WO2024090230A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

情報処理装置２は、ユーザの顔が撮像された動画像を取得する動画像取得部２３１と、動画像取得部２３１が取得した動画像に基づいて、ユーザの一以上の表情パターンと、一以上の表情パターンそれぞれにおける表情の強さの度合いを示す表情強度とを検出する検出部２３２と、検出部２３２による検出結果に基づいて、ユーザの顔の美容に関する美容情報を出力する出力部２３５と、を有する。情報処理装置２は、検出部２３２により検出された一以上の表情パターンそれぞれの発生頻度と、表情強度とに基づいて、ユーザの顔にシワが発生する発生リスクを推定する推定部２３４をさらに有し、出力部２３５は、推定部２３４により推定された発生リスクに応じた美容情報を出力する。

Description

情報処理装置、情報処理方法及びプログラム

　本発明は、情報処理装置、情報処理方法及びプログラムに関する。

　従来、ユーザの顔の美容に関する情報を提供するシステムが知られている。特許文献１には、ユーザの肌の画像によって特定されたユーザの肌質に応じた情報を提供する技術が開示されている。

特開２０１８－１６０２３０号公報

　しかしながら、上記技術においては、現在のユーザの肌の状態に応じた情報しか提供できないという問題があった。

　そこで、本発明はこれらの点に鑑みてなされたものであり、将来においてユーザに発生し得る肌の変化を考慮した情報を提供することを目的とする。

　本発明の第１の態様にかかる情報処理装置は、ユーザの顔が撮像された動画像を取得する動画像取得部と、前記動画像取得部が取得した前記動画像に基づいて、前記ユーザの一以上の表情パターンと、前記一以上の表情パターンそれぞれにおける表情の強さの度合いを示す表情強度とを検出する検出部と、前記検出部による検出結果に基づいて、前記ユーザの顔の美容に関する美容情報を出力する出力部と、を有する。

　前記情報処理装置は、前記検出部により検出された一以上の表情パターンそれぞれの発生頻度と、前記表情強度とに基づいて、前記ユーザの顔にシワが発生する発生リスクを推定する推定部をさらに有してもよいし、前記出力部は、前記推定部により推定された前記発生リスクに応じた前記美容情報を出力してもよい。

　前記検出部は、所定の間隔ごとに、前記表情パターンと前記表情強度とを検出してもよいし、前記情報処理装置は、前記所定の間隔ごとに検出された前記表情強度の総和を算出する算出部と、予め定められた閾値と前記総和とに基づいて、前記ユーザの顔にシワが発生する発生リスクを推定する推定部と、をさらに有してもよい。

　前記情報処理装置は、顔の部位ごとに、一以上の表情パターンを対応付けて記憶する記憶部をさらに有してもよいし、前記算出部は、前記部位ごとに、前記検出部が検出した前記表情パターンであって、当該部位に対応付けられている前記一以上の表情パターンそれぞれの前記表情強度の総和を算出してもよいし、前記推定部は、前記部位ごとに、当該部位に対応する前記閾値と当該部位に対応する前記総和とに基づいて、前記発生リスクを推定してもよい。

　前記出力部は、前記美容情報として、前記ユーザの顔にシワが発生する発生リスクを示す指標を出力してもよい。
　前記出力部は、前記美容情報として、前記ユーザの顔にシワが発生する発生リスクに対応するための商品を示す情報を出力してもよい。
　前記商品は、化粧品、美容機器、食品のうちの少なくともいずれか一つであってもよい。

　前記情報処理装置は、前記ユーザによる前記商品の購入履歴を取得する履歴取得部をさらに有してもよいし、前記出力部は、前記購入履歴を参照し、前記ユーザが前記商品を購入した日から所定の期間が経過した後に、前記動画像の送信を要求するための情報を出力してもよい。
　前記出力部は、前記美容情報として、前記ユーザの顔にシワが発生する発生リスクに対応するための美容法を示す情報を出力してもよい。

　前記情報処理装置は、前記ユーザによる前記美容法の実施履歴を取得する履歴取得部をさらに有してもよいし、前記出力部は、前記実施履歴を参照し、前記ユーザが前記美容法を実施した日から所定の期間が経過した後に、前記動画像の送信を要求するための情報を出力してもよい。

　前記出力部は、前記検出部が検出した一以上の表情パターンのうちの発生頻度が所定の閾値以上である表情パターンが検出されたときの前記動画像のシーンと、前記検出部が検出した一以上の表情パターンのうちの前記表情強度が所定の閾値以上である表情パターンが検出されたときの前記動画像のシーンのうちの少なくともいずれかを、前記美容情報として出力してもよい。

　前記出力部は、前記動画像である第１動画像に基づいて推定された前記ユーザの顔にシワが発生する発生リスクと、前記第１動画像が撮像される前に撮像された第２動画像に基づいて推定された前記発生リスクとを比較した結果を前記美容情報として出力してもよい。

　前記出力部は、前記動画像取得部が前記動画像を取得する前に、前記ユーザへの質問を出力してもよいし、前記動画像取得部は、前記出力部が前記ユーザへの質問を出力した後における前記動画像を取得してもよい。

　本発明の第２の態様にかかる情報処理方法は、コンピュータが実行する、ユーザの顔が撮像された動画像を取得するステップと、取得した前記動画像に基づいて、前記ユーザの一以上の表情パターンと、前記一以上の表情パターンそれぞれにおける表情の強さの度合いを示す表情強度とを検出するステップと、検出結果に基づいて、前記ユーザの顔の美容に関する美容情報を出力するステップと、を有する。

　本発明の第３の態様にかかるプログラムは、コンピュータを、ユーザの顔が撮像された動画像を取得する動画像取得部、前記動画像取得部が取得した前記動画像に基づいて、前記ユーザの一以上の表情パターンと、前記一以上の表情パターンそれぞれにおける表情の強さの度合いを示す表情強度とを検出する検出部、及び前記検出部による検出結果に基づいて、前記ユーザの顔の美容に関する美容情報を出力する出力部、として機能させる。

　本発明によれば、将来においてユーザに発生し得る肌の変化を考慮した情報を提供することができるという効果を奏する。

情報処理システムの概要を説明するための図である。 情報処理システムの概要を説明するための図である。 情報処理装置の構成を示す図である。 対応表の構成の一例を示す図である。 美容管理データベースの構成の一例を示す図である。 検出部による検出結果を模式的に表した図である。 美容情報が表示された表示画面を模式的に表した図である。 情報処理装置の処理の流れを示すフローチャートである。

［情報処理システムＳの概要］
　図１及び図２は、情報処理システムＳの概要を説明するための図である。情報処理システムＳは、ユーザに情報処理サービスを提供するために用いられるシステムである。情報処理サービスは、ユーザに美容情報を提供するサービスである。美容情報は、ユーザの顔の美容に関する情報であり、例えば、美容に関する商品（例えば、化粧品、美容機器又は食品等）又は美容法等である。

　ユーザは、感情の変化に伴って様々な表情をする。一般的に、ユーザごとに各感情に対応する表情のパターンが定まっており、ユーザは、ある感情を顔に表す場合、当該感情に対応するパターンの表情をする。ユーザの肌においては、ユーザがある感情に対応するパターンの表情をすると、当該表情の癖に伴って線（シワ）が発生し、真顔に戻ると、当該表情の癖に伴って発生したシワが消失する。しかし、ユーザが、同じパターンの表情を繰り返すと、真顔に戻っても表情の癖に伴ってユーザの肌に一時的に発生したシワの一部が残るようになり、その残ったシワが定着し得る。

　図２（ａ）は、ユーザの通常の表情（例えば真顔）を示し、図２（ｂ）は、ユーザが笑ったときの表情を示す。ユーザの顔においては、図２（ａ）に示す通常の表情ではシワが無いが、ユーザが笑うたびに図２（ｂ）に示すような表情を繰り返すと、将来において目じりのシワ及びほうれい線のシワが戻らなくなり、シワが定着する可能性がある。また、ユーザの顔においては、図２（ｂ）に示すような表情の度合いが強くなると、目じりのシワ及びほうれい線のシワが深くなり、シワが定着しやすくなる。なお、ユーザは、上記のように意識的にある表情を行うだけでなく、無意識的にある表情を行うこともあり、無意識的にある表情を繰り返すことによってもユーザの顔にシワが定着する可能性がある。そのため、情報処理サービスにおいては、将来においてユーザに発生し得るシワ等の肌の変化を考慮した美容情報をユーザに提供する事が望ましい。

　そこで、情報処理システムＳは、将来においてユーザの顔に発生し得る肌の変化を考慮した美容情報をユーザに提供する。図１に示す情報処理システムＳは、ユーザ端末１と、情報処理装置２とを有する。

　ユーザ端末１は、ユーザが使用する端末であり、例えば、スマートフォン、タブレット端末又はパーソナルコンピュータである。ユーザ端末１は、ユーザの操作を受け付けるためのタッチパネルやキーボード等の操作部と、情報を表示するための液晶ディスプレイ等の表示部と、画像を撮像するためのカメラ等の撮像部と、音を出力するためのスピーカ等の音声出力部と、集音するためのマイク等の音声入力部とを有する。ユーザ端末１は、ネットワークを介して情報処理装置２と通信可能である。

　情報処理装置２は、情報処理サービスを管理する装置であり、例えばサーバである。情報処理装置２は、ネットワークを介してユーザ端末１と通信可能である。
　以下において、情報処理システムＳがユーザの顔の美容を維持又は改善するための情報を提供するために実行する処理について、図１を用いて説明する。

　まず、ユーザがユーザ端末１においてユーザの顔の動画像を撮像すると、ユーザ端末１は、撮像した動画像を情報処理装置２に送信する（図１における（１））。情報処理装置２は、ユーザ端末１から取得した動画像に基づいて、ユーザの一以上の表情パターンと、当該一以上の表情パターンそれぞれの表情強度とを検出する（図１における（２））。

　表情パターンは、例えば、「まゆの内側を上げる」、「頬を持ち上げる」等のパターンであり、様々な表情パターンが予め定められている。表情パターンは、例えば、フェイシャルアクションコーディングシステム（ＦＡＣＳ: Facial Action Coding System）において定義されているアクションユニット（ＡＵ：Action Unit）である。表情強度は、表情の強さの度合いを示し、例えば、ユーザの顔が通常の表情から所定の表情パターンの表情に変化する強さの度合いを示す数値である。

　そして、情報処理装置２は、検出結果に基づいて、美容情報をユーザ端末１に送信する（図１における（３））。その後、ユーザ端末１は、美容情報を表示部に表示させる。

　このようにすることで、情報処理システムＳは、将来においてユーザの意識的または無意識的な表情からユーザに発生し得る肌の変化を考慮した情報を提供することができる。例えば、ユーザは、提供された情報をもとに、肌の状態の変化の進行を遅らせたり、現在のユーザの肌の状態が保たれる期間を延ばしたりすることができる。また、例えば、情報処理システムＳは、ユーザの表情の癖を、将来においてユーザに発生し得る肌の変化を考慮した情報として知らせることで、将来において発生し得るシワ（将来においてユーザの肌に定着し得るシワ）をユーザに予測させることができる。
　以下、情報処理装置２の構成について説明する。

［情報処理装置２の構成］
　図３は、情報処理装置２の構成を示す図である。情報処理装置２は、通信部２１と、記憶部２２と、制御部２３とを有する。制御部２３は、動画像取得部２３１と、検出部２３２と、算出部２３３と、推定部２３４と、出力部２３５と、履歴取得部２３６とを有する。

　通信部２１は、ネットワークに接続するためのインターフェイスであり、例えば通信コントローラを含んで構成されている。記憶部２２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びハードディスク等の記憶媒体である。記憶部２２は、制御部２３が実行するプログラムを記憶している。

　記憶部２２は、表情パターンと顔の部位とが対応付けられた対応表を記憶している。図４は、対応表の構成の一例を示す図である。図４に示す例において、表情パターンと、顔の各部位（おでこ、まゆ、目、鼻及び口等）の対応有無とが関連づけられている。例えば、表情パターン「１」においては、顔の複数の部位のうちの「おでこ」が対応付けられている。

　また、記憶部２２は、ユーザに勧める美容に関する情報を管理する美容管理データベースを記憶している。図５は、美容管理データベースの構成の一例を示す図である。図５に示す例において、美容管理データベースは、顔の部位と、指標と、商品と、美容法とを関連付けて記憶している。

　指標は、ユーザの顔の部位又はユーザの顔の部位の周囲にシワが発生するリスク（以下、「シワ発生リスク」という。）を示す数値である。商品は、顔の部位等のシワ発生リスクの程度に応じて、当該シワ発生リスクを低減させるためにユーザに勧める商品である。商品は、例えば、化粧品、美容機器、食品のうちの少なくともいずれか一つである。美容法は、顔の部位等のシワ発生リスクの程度に応じて、当該シワ発生リスクを低減させるためにユーザに勧めるマッサージ等の実施方法である。美容法は、例えば、ユーザ自身で実施するマッサージ等の実施方法を紹介する画像又は動画像、及びマッサージ等を実施するエステサロン等の店舗を示す情報のうちの少なくともいずれか一つである。

　図３に戻り、制御部２３は、例えばＣＰＵ（Central Processing Unit）である。制御部２３は、記憶部２２に記憶されたプログラムを実行することにより、動画像取得部２３１、検出部２３２、算出部２３３、推定部２３４、出力部２３５及び履歴取得部２３６として機能する。

　動画像取得部２３１は、ユーザ端末１からユーザの顔を撮像した動画像を取得する。動画像取得部２３１は、ユーザを識別するための識別情報（ＩＤ：identifier）をさらに取得してもよい。

　動画像取得部２３１は、例えば、ユーザが会話中に撮像された動画像を取得する。具体的には、まず、出力部２３５は、動画像取得部２３１が動画像を取得する前に、ユーザへの質問を出力する。そして、動画像取得部２３１は、出力部２３５がユーザへの質問を出力した後における動画像を取得する。

　例えば、ユーザがユーザ端末１を用いて情報処理サービスのＷｅｂサイトにアクセスすると、出力部２３５は、情報処理サービスの表示画面をユーザ端末１に表示させる。表示画面には、ユーザ端末１の撮像部に動画像を撮像させるための撮像ボタンが設けられており、ユーザがユーザ端末１に表示された表示画面において撮像ボタンを押下すると、ユーザ端末１の撮像部は、動画像の撮像を開始する。

　また、撮像ボタンが押下されると、出力部２３５は、ユーザに予め定められた質問を音声でユーザ端末１に出力させる。例えば、ユーザ端末１の撮像部は、撮像ボタンが押下されてから所定の期間（例えば数分）が経過するまでの間において、質問を聞き取るときのユーザの表情及び質問に答えるときのユーザの表情等を撮像する。そして、撮像ボタンが押下されてから所定の期間が経過すると、ユーザ端末１は、撮像した動画像を情報処理装置２に送信する。このようにすることで、情報処理装置２は、ユーザの顔の変化を撮像させることができる。

　上記において、情報処理サービスの表示画面がＷｅｂサイトにアクセスしたことに応じて表示される表示画面である例を説明したが、これに限らない。例えば、情報処理サービスの表示画面は、情報処理サービスを提供するための専用のアプリケーションプログラム（以下、「専用アプリ」という。）が起動されたことに応じて表示される表示画面であってもよい。例えば、ユーザ端末１には、専用アプリがインストールされており、ユーザがユーザ端末１において専用アプリを起動する操作を行うと、ユーザ端末１は、情報処理サービスの表示画面を表示部に表示させる。

　検出部２３２は、動画像取得部２３１が取得した動画像に基づいて、ユーザの一以上の表情パターンと、一以上の表情パターンそれぞれの表情強度とを検出する。具体的には、検出部２３２は、動画像取得部２３１が取得した動画像において所定の間隔ごとに、一以上の表情パターンと当該一以上のパターンそれぞれの表情強度とを検出する。

　図６は、検出部２３２による検出結果を模式的に表した図である。図６に示す例においては、動画像のフレームごとに、複数の表情パターンそれぞれの表情強度を示す数値が示されている。例えば、ある表情パターンが検出された場合においては、０よりも大きい数値で表情強度が示され、ある表情パターンが検出されなかった場合においては、０で表情強度が示される。このように、検出部２３２は、動画像のフレームごとに、予め定められた複数の表情パターンそれぞれの表情強度を検出する。

　検出部２３２は、外部のサービスを利用して、ユーザの表情パターンと、当該表情パターンの表情強度とを検出してもよい。例えば、外部のサービスは、動画像に映るユーザの顔を分析し、所定の間隔（例えば動画像のフレーム）ごとに予め定められた複数の表情パターンそれぞれの表情強度を検出した検出結果を提供するサービスである。この場合において、検出部２３２は、外部のサービスに動画像を送信することによって当該外部のサービスが出力した検出結果を取得する。

　出力部２３５は、検出部２３２による検出結果に基づいて、ユーザの顔の美容に関する美容情報を出力する。具体的には、出力部２３５は、美容情報をユーザ端末１に送信することにより、ユーザ端末１に美容情報を表示させる。例えば、情報処理装置２は、不図示の表示部をさらに有し、出力部２３５は、美容情報を当該表示部に表示させてもよい。

　出力部２３５は、美容情報として、商品を示す情報及び美容法を示す情報のうちの少なくともいずれかの情報を出力する。出力部２３５は、例えば、検出部２３２による検出結果に基づくシワ発生リスクに応じた美容情報を出力する。具体的には、情報処理装置２は、以下の２つのステップを実行することにより、シワ発生リスクに応じた美容情報を出力する。

　第１のステップとして、推定部２３４は、検出部２３２が検出した検出結果に基づいて、将来においてユーザの肌が変化するリスクを推定する。具体的には、推定部２３４は、検出部２３２により検出された一以上の表情パターンそれぞれの発生頻度と、検出部２３２により検出された一以上の表情パターンそれぞれの表情強度とに基づいて、シワ発生リスクを推定する。

　より具体的には、推定部２３４は、検出部２３２により検出された一以上の表情パターンそれぞれの発生頻度と、検出部２３２により検出された一以上の表情パターンそれぞれの表情強度とに基づいて、シワ発生リスクを指標に分類することにより、シワ発生リスクを推定する。

　例えば、シワ発生リスクを示す指標には、「低」及び「高」が含まれている。この場合において、推定部２３４は、表情パターンの発生頻度が低いほど又は当該表情パターンの表情強度が強くないことを示すほど（表情強度を示す数値が小さいほど）、シワ発生リスクを指標「低」に分類する。また、推定部２３４は、表情パターンの発生頻度が高いほど又は当該表情パターンの表情強度が強いことを示すほど（表情強度を示す数値が大きいほど）、シワ発生リスクを指標「高」に分類する。

　推定部２３４は、予め定められた閾値を用いて、シワ発生リスクを推定してもよい。具体的には、まず、算出部２３３は、検出部２３２が所定の間隔ごとに検出した表情強度の総和を算出する。算出部２３３は、例えば、検出部２３２が動画像のフレームごとに検出した各表情パターンの表情強度の総和を算出する。

　推定部２３４は、算出部２３３が算出した表情強度の総和（以下、「総和値」という。）と、予め定められた閾値である閾総和値とに基づいて、シワ発生リスクを推定する。推定部２３４は、例えば、総和値が閾総和値未満である場合、シワ発生リスクを指標「低」に分類し、総和値が閾総和値以上である場合、シワ発生リスクを指標「高」に分類する。

　推定部２３４は、複数の閾総和値を用いて、シワ発生リスクを推定してもよい。例えば、情報処理装置２には、指標に含まれる「低」、「中」及び「高」のうちのいずれかに分類するための複数の閾総和値（例えば、第１閾総和値及び当該第１閾総和値よりも大きい第２閾値の２つの閾値）が定められている。

　この場合において、推定部２３４は、総和値が第１閾総和値未満である場合、シワ発生リスクを指標「低」に分類する。また、推定部２３４は、総和値が第１閾総和値以上であって第２閾総和値未満である場合、シワ発生リスクを指標「中」に分類する。また、推定部２３４は、総和値が第２閾総和値以上である場合、シワ発生リスクを指標「高」に分類する。

　第２のステップとして、出力部２３５は、推定部２３４により推定されたシワ発生リスクに応じた美容情報を出力する。具体的には、出力部２３５は、推定されたシワ発生リスクに応じた美容情報として、ユーザの顔にシワが発生する発生リスクに対応するための商品を示す情報及びユーザの顔にシワが発生する発生リスクに対応するための美容法を示す情報のうちの少なくともいずれかの情報を出力する。

　例えば、シワ発生リスクが指標「高」に分類された場合、出力部２３５は、美容管理データベースにおいて指標「高」に関連付けられている商品及び美容法のうちの少なくともいずれかの情報を出力する。このようにすることで、情報処理装置２は、将来においてユーザの顔に発生し得るシワの進行を遅らせるための情報を提供することすることができる。

　出力部２３５は、顔の複数の部位のうちの少なくともいずれかに対応する美容情報を出力してもよい。例えば、情報処理装置２には、顔の部位ごとに閾総和値が定められている。この場合において、まず、算出部２３３は、記憶部２２に記憶されている対応表を参照し、顔の部位ごとに、検出部２３２が検出した表情パターンであって、当該部位に対応付けられている一以上の表情パターンそれぞれの表情強度の総和を算出する。例えば、対応表において顔の部位「おでこ」が表情パターン「１」、「２」に対応付けられている場合、算出部２３３は、検出部２３２が所定の間隔ごとに検出した表情パターン「１」、「２」それぞれの表情強度を示す数値を合計することにより、顔の部位「おでこ」の表情強度の総和を算出する。

　推定部２３４は、顔の部位ごとに、当該部位に対応する一以上の閾総和値と当該部位に対応する総和値とに基づいて、シワ発生リスクを推定する。そして、出力部２３５は、各部位に対応するシワ発生リスクに基づいて、顔の複数の部位のうちの少なくともいずれかに対応する美容情報を出力する。

　出力部２３５は、例えば、顔の複数の部位それぞれに対応する美容情報を出力する。出力部２３５は、顔の複数の部位のうち、シワ発生リスクが相対的に高い部位に対応する美容情報を出力してもよい。出力部２３５は、例えば、シワ発生リスクが相対的に高い部位として、顔の複数の部位それぞれに対応する指標のうち、指標が閾指標（例えば指標「中」）以上である顔の部位に対応する美容情報を出力する。出力部２３５は、シワ発生リスクが相対的に高い部位として、顔の複数の部位それぞれに対応する指標のうち、シワ発生リスクが最も高い指標（例えば指標「高」）である顔の部位に対応する美容情報を出力してもよい。このようにすることで、情報処理装置２は、将来においてシワ発生リスクが高い部位に発生し得るシワの進行を遅らせるための情報を提供することすることができる。

　上記において、出力部２３５が美容情報として商品を示す情報及び美容法を示す情報のうちのいずれかの情報を出力する例を説明したが、これに限らない。例えば、出力部２３５は、美容情報として、推定部２３４が分類した指標を出力してもよい。

　出力部２３５は、顔の部位すべての指標を出力してもよいし、顔の部位の一部の指標を出力してもよい。このようにすることで、情報処理装置２は、将来においてユーザの顔にシワが発生するリスクがどのくらい高いかをユーザに認識させることができる。

　出力部２３５は、美容情報として、発生頻度が相対的に高い表情パターンが検出されたときの動画像のシーン（フレーム）と、表情パターンにおいて相対的に高い表情強度が検出されたときの動画像のシーンとのうちの少なくともいずれかを出力してもよい。具体的には、出力部２３５は、検出部２３２が検出した一以上の表情パターンのうちの発生頻度が予め定められた閾頻度以上である表情パターンが検出されたときの動画像のシーンと、検出部２３２が検出した一以上の表情パターンのうちの表情強度が予め定められた閾強度以上である表情パターンが検出されたときの動画像のシーンのうちの少なくともいずれかを、美容情報として出力する。

　出力部２３５は、検出部２３２が検出した一以上の表情パターンのうちの発生頻度が相対的に高い表情パターン（例えば、発生頻度が最も高い表情パターン）が検出されたときの動画像のシーンと、検出部２３２が検出した一以上の表情パターンのうちの表情強度が相対的に強い表情パターン（例えば、表情強度が最も強い表情パターン）が検出されたときの動画像のシーンのうちの少なくともいずれかを、美容情報として出力してもよい。このようにすることで、情報処理装置２は、ユーザの表情の癖をユーザに認識させることができる。これにより、ユーザは、どのような表情をすることが原因でシワが発生するリスクが高まっているかを認識することができる。また、ユーザは、自身の表情の癖をもとに将来において発生し得るシワを予測することができる。

　出力部２３５は、美容情報として、今回推定されたシワ発生リスクと、前回推定されたシワ発生リスクとを比較した結果を出力してもよい。具体的には、出力部２３５は、第１動画像に基づいて推定されたシワ発生リスク（以下、「第１シワ発生リスク」という。）と、第２動画像に基づいて推定されたシワ発生リスク（以下、「第２シワ発生リスク」という。）とを比較した比較結果を美容情報として出力する。第１動画像は、今回撮像された動画像である。第２動画像は、前回撮像された動画像であり、具体的には、第１動画像が撮像される前に撮像された動画像である。

　例えば、記憶部２２には、ユーザのＩＤと、過去において推定部２３４が当該ユーザの第２動画像に基づいて推定した第２シワ発生リスクを示す情報とが関連付けて記憶されている。この場合において、出力部２３５は、動画像取得部２３１が取得したユーザの第１動画像に基づいて推定された第１シワ発生リスクと、記憶部２２において当該ユーザのＩＤに関連付けて記憶されている第２シワ発生リスクとを比較した比較結果を出力する。例えば、第１シワ発生リスクの指標が「中」であり、第２シワ発生リスクの指標が「高」である場合、出力部２３５は、シワ発生リスクが低減している旨のメッセージを比較結果として出力する。このようにすることで、情報処理装置２は、情報処理サービスを繰り返し利用するユーザに対して、シワ発生リスクが改善しているか否かを認識させることができる。

　図７は、美容情報が表示された表示画面を模式的に表した図である。図７には、複数の表示領域（Ｒ１、Ｒ２、Ｒ３）それぞれに美容情報が表示されている。表示領域Ｒ１には、動画像の所定のシーン（発生頻度が相対的に高い表情パターンが検出されたときの動画像のシーン、又は表情パターンにおいて相対的に高い表情強度が検出されたときの動画像のシーン）が表示されている。表示領域Ｒ２には、顔の部位「目」の周囲のシワ発生リスクを示す指標と、第１シワ発生リスクと第２シワ発生リスクとを比較した比較結果を示すメッセージとが表示されている。表示領域Ｒ３には、顔の部位「目」の周囲のシワ発生リスクに対応するための化粧品を示す情報が表示されている。例えば、ユーザは、ユーザ端末１に表示された美容情報の表示画面において「購入する」ボタンを押下すると、表示領域Ｒ３に表示されている化粧品を購入することができる。

　情報処理装置２は、ユーザが情報処理サービスを利用したことに応じて提供した美容情報によって示される商品を購入した後において、一定の期間が経過したときに、再度の情報処理サービスの利用をユーザに促してもよい。具体的には、まず、履歴取得部２３６は、ユーザによる商品の購入履歴を取得する。購入履歴は、例えば、ユーザが情報処理サービスを介して購入した商品の履歴であり、購入された商品と、当該商品が購入された日とが関連付けられている。購入履歴は、記憶部２２に記憶されていてもよいし、外部のサーバによって管理されていてもよい。

　そして、出力部２３５は、購入履歴を参照し、ユーザが商品を購入した日から所定の期間（例えば１か月等）が経過した後に、動画像の送信を要求するための情報を出力する。このようにすることで、情報処理装置２は、シワ発生リスクが改善しているか否かを診断することができる。

　情報処理装置２は、ユーザが情報処理サービスを利用したことに応じて提供した美容情報によって示される美容法を実施した後において、一定の期間が経過したときに、再度の情報処理サービスの利用をユーザに促してもよい。具体的には、まず、履歴取得部２３６は、ユーザによる美容法の実施履歴を取得する。美容法の実施履歴は、例えば、マッサージ等の実施方法を紹介する画像の閲覧履歴、マッサージ等の実施方法を紹介する動画像の視聴履歴、又はマッサージ等を実施するエステサロン等の店舗の利用履歴等であり、実施された美容法と、当該美容法が実施された日とが関連付けられている。

　そして、出力部２３５は、実施履歴を参照し、ユーザが美容法を実施した日から所定の期間が経過した後に、動画像の送信を要求するための情報を出力する。このようにすることで、情報処理装置２は、シワ発生リスクが改善しているか否かを診断することができる。

［情報処理装置２の処理］
　続いて、情報処理装置２の処理の流れについて説明する。図８は、情報処理装置２の処理の流れを示すフローチャートである。本フローチャートは、動画像取得部２３１がユーザ端末１から動画像を取得したことを契機として開始する（Ｓ１）。

　検出部２３２は、動画像取得部２３１が取得した動画像において所定の間隔ごとに、一以上の表情パターンと当該一以上のパターンそれぞれの表情強度とを検出する（Ｓ２）。算出部２３３は、検出部２３２が所定の間隔ごとに検出した表情強度の総和を算出する（Ｓ３）。

　推定部２３４は、総和値（算出部２３３が算出した表情強度の総和）と、閾総和値とに基づいて、シワ発生リスクを推定する（Ｓ４）。そして、出力部２３５は、推定部２３４により推定されたシワ発生リスクに応じた美容情報を出力する（Ｓ５）。

［本実施の形態における効果］
　以上説明したとおり、情報処理装置２は、ユーザの動画像に基づいてユーザの一以上の表情パターンと一以上の表情パターンそれぞれの表情強度とを検出し、検出した検出結果に基づいて美容情報を出力する。このようにすることで、情報処理装置２は、将来においてユーザの意識的または無意識的な表情からユーザに発生し得るシワ等の肌の変化を考慮した情報を提供することができる。

　以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。

１　ユーザ端末
２　情報処理装置
２１　通信部
２２　記憶部
２３　制御部
２３１　動画像取得部
２３２　検出部
２３３　算出部
２３４　推定部
２３５　出力部
２３６　履歴取得部
Ｓ　情報処理システム

Claims (15)

1. 　ユーザの顔が撮像された動画像を取得する動画像取得部と、
   　前記動画像取得部が取得した前記動画像に基づいて、前記ユーザの一以上の表情パターンと、前記一以上の表情パターンそれぞれにおける表情の強さの度合いを示す表情強度とを検出する検出部と、
   　前記検出部による検出結果に基づいて、前記ユーザの顔の美容に関する美容情報を出力する出力部と、
   　を有する情報処理装置。
2. 　前記検出部により検出された一以上の表情パターンそれぞれの発生頻度と、前記表情強度とに基づいて、前記ユーザの顔にシワが発生する発生リスクを推定する推定部をさらに有し、
   　前記出力部は、前記推定部により推定された前記発生リスクに応じた前記美容情報を出力する、
   　請求項１に記載の情報処理装置。
3. 　前記検出部は、所定の間隔ごとに、前記表情パターンと前記表情強度とを検出し、
   　前記所定の間隔ごとに検出された前記表情強度の総和を算出する算出部と、
   　予め定められた閾値と前記総和とに基づいて、前記ユーザの顔にシワが発生する発生リスクを推定する推定部と、
   　をさらに有する、
   　請求項１に記載の情報処理装置。
4. 　顔の部位ごとに、一以上の表情パターンを対応付けて記憶する記憶部をさらに有し、
   　前記算出部は、前記部位ごとに、前記検出部が検出した前記表情パターンであって、当該部位に対応付けられている前記一以上の表情パターンそれぞれの前記表情強度の総和を算出し、
   　前記推定部は、前記部位ごとに、当該部位に対応する前記閾値と当該部位に対応する前記総和とに基づいて、前記発生リスクを推定する、
   　請求項３に記載の情報処理装置。
5. 　前記出力部は、前記美容情報として、前記ユーザの顔にシワが発生する発生リスクを示す指標を出力する、
   　請求項１に記載の情報処理装置。
6. 　前記出力部は、前記美容情報として、前記ユーザの顔にシワが発生する発生リスクに対応するための商品を示す情報を出力する、
   　請求項１に記載の情報処理装置。
7. 　前記商品は、化粧品、美容機器、食品のうちの少なくともいずれか一つである、
   　請求項６に記載の情報処理装置。
8. 　前記ユーザによる前記商品の購入履歴を取得する履歴取得部をさらに有し、
   　前記出力部は、前記購入履歴を参照し、前記ユーザが前記商品を購入した日から所定の期間が経過した後に、前記動画像の送信を要求するための情報を出力する、
   　請求項６又は７に記載の情報処理装置。
9. 　前記出力部は、前記美容情報として、前記ユーザの顔にシワが発生する発生リスクに対応するための美容法を示す情報を出力する、
   　請求項１に記載の情報処理装置。
10. 　前記ユーザによる前記美容法の実施履歴を取得する履歴取得部をさらに有し、
    　前記出力部は、前記実施履歴を参照し、前記ユーザが前記美容法を実施した日から所定の期間が経過した後に、前記動画像の送信を要求するための情報を出力する、
    　請求項９に記載の情報処理装置。
11. 　前記出力部は、前記検出部が検出した一以上の表情パターンのうちの発生頻度が所定の閾値以上である表情パターンが検出されたときの前記動画像のシーンと、前記検出部が検出した一以上の表情パターンのうちの前記表情強度が所定の閾値以上である表情パターンが検出されたときの前記動画像のシーンのうちの少なくともいずれかを、前記美容情報として出力する、
    　請求項１に記載の情報処理装置。
12. 　前記出力部は、前記動画像である第１動画像に基づいて推定された前記ユーザの顔にシワが発生する発生リスクと、前記第１動画像が撮像される前に撮像された第２動画像に基づいて推定された前記発生リスクとを比較した結果を前記美容情報として出力する、
    　請求項１に記載の情報処理装置。
13. 　前記出力部は、前記動画像取得部が前記動画像を取得する前に、前記ユーザへの質問を出力し、
    　前記動画像取得部は、前記出力部が前記ユーザへの質問を出力した後における前記動画像を取得する、
    　請求項１に記載の情報処理装置。
14. 　コンピュータが実行する、
    　ユーザの顔が撮像された動画像を取得するステップと、
    　取得した前記動画像に基づいて、前記ユーザの一以上の表情パターンと、前記一以上の表情パターンそれぞれにおける表情の強さの度合いを示す表情強度とを検出するステップと、
    　検出結果に基づいて、前記ユーザの顔の美容に関する美容情報を出力するステップと、
    　を有する情報処理方法。
15. 　コンピュータを、
    　ユーザの顔が撮像された動画像を取得する動画像取得部、
    　前記動画像取得部が取得した前記動画像に基づいて、前記ユーザの一以上の表情パターンと、前記一以上の表情パターンそれぞれにおける表情の強さの度合いを示す表情強度とを検出する検出部、及び
    　前記検出部による検出結果に基づいて、前記ユーザの顔の美容に関する美容情報を出力する出力部、
    　として機能させるためのプログラム。

Images