JP6778006B2 - 情報処理装置、プログラム及び情報処理システム - Google Patents

Description

本発明は情報処理装置、プログラム及び情報処理システムに関する。

人間の行った感情表現または、行った感情表現の度合いなどを思い出すために、行った感情表現を記録する記録装置は従来から知られている（例えば特許文献１参照）。

特開２０１２−１７４２５８号公報

従来の記録装置は、ユーザに例えば「怒」の感情表現を行った日時を認識させることにより今後の生活の改善を見込むものである。しかし、従来の記録装置はユーザの行った感情表現を記録するものであって、ユーザの感情状態を向上させるものではなかった。

本発明は上記した課題に鑑みなされたものであり、ユーザの感情状態を向上させることができる情報処理装置、プログラム及び情報処理システムを提供することを目的とする。

上記した課題を解決するために、本願請求項１の情報処理装置は、撮像画像に含まれるユーザの笑顔値を計測する笑顔値計測手段と、前記笑顔値計測手段により計測可能な笑顔値の範囲を複数に分け、それぞれの笑顔値の範囲を笑顔レベルと対応付ける笑顔レベル情報を記憶する笑顔レベル情報記憶手段と、前記笑顔値計測手段により計測された笑顔値と前記笑顔レベル情報記憶手段に記憶された笑顔レベル情報とに基づき、撮像画像に含まれるユーザの笑顔値を笑顔レベルに変換する笑顔レベル変換手段と、前記笑顔レベル変換手段により変換された前記笑顔レベルを記録する記録手段と、第１の顔画像提示部に提示する顔画像の笑顔レベルが前記記録手段に記録する前記笑顔レベルよりも高くなるように補正する笑顔レベル補正手段と、を有することを特徴とする。

本発明によれば、ユーザの感情状態を向上させることができる。

本実施形態に係る情報処理システムの一例の構成図である。 本実施形態に係る情報処理装置の一例のハードウェア構成図である。 本実施形態に係る情報処理装置の一例のハードウェア構成図である。 本実施形態に係る笑顔フィードバック装置の一例の処理ブロック図である。 笑顔レベル情報の一例の構成図である。 コンテンツ画像の一例のイメージ図である。 気分アイコンの一例のイメージ図である。 本実施形態に係る笑顔フィードバック装置の全体処理の一例を示したフローチャートである。 笑顔フィードバック装置が表示する画面のイメージ図である。 記録画面表示処理の一例のフローチャートである。 キャラクターの顔画像を利用したコンテンツ画像の一例のイメージ図である。 ユーザ本人の顔画像を利用したコンテンツ画像の一例のイメージ図である。 笑顔値に対応する印象評価ワードの一例の説明図である。 終了画面表示処理の一例のフローチャートである。 第２の実施形態に係る笑顔フィードバック装置の一例の処理ブロック図である。 終了画面表示処理の一例のフローチャートである。 本実施形態に係る笑顔フィードバック装置の一例の処理ブロック図である。 笑顔レベル情報の一例の構成図である。 記録画面表示処理の一例のフローチャートである。 笑顔値と気分値とをパラメータとする２次元の表である。

次に、本発明の実施形態について、詳細に説明する。
［第１の実施形態］
＜システム構成＞
図１は、本実施形態に係る情報処理システムの一例の構成図である。本実施形態に係る情報処理システムは、図１（Ａ）に示すように笑顔フィードバック装置１０単体で構成してもよいし、図１（Ｂ）に示すようにネットワーク１６で接続された笑顔フィードバックサーバ装置１２及び笑顔フィードバッククライアント装置１４で構成してもよい。

図１（Ａ）の笑顔フィードバック装置１０は例えば本実施形態の笑顔アプリケーションが搭載された情報処理装置により実現される。なお、笑顔フィードバック装置１０という名称及び笑顔アプリケーションという名称は一例であって、他の名称であってもよい。笑顔フィードバック装置１０はユーザが操作するＰＣ、スマートフォン、タブレットなどの情報処理装置である。

図１（Ｂ）の情報処理システムは１台以上の笑顔フィードバッククライアント装置１４と笑顔フィードバックサーバ装置１２とがインターネット等のネットワーク１６を介して接続されている。笑顔フィードバッククライアント装置１４の名称と笑顔フィードバックサーバ装置１２の名称とは一例であって、他の名称であってもよい。笑顔フィードバッククライアント装置１４はユーザが操作するＰＣ、スマートフォン、タブレットなどの情報処理装置である。笑顔フィードバックサーバ装置１２は笑顔フィードバッククライアント装置１４でユーザにより操作される笑顔アプリケーションの管理や制御等を行う。

このように、本実施形態に係る情報処理システムは、図１（Ａ）に示すように単体の情報処理装置で実現しても、図１（Ｂ）に示すようにクライアント・サーバ型で実現してもよい。また、図１の情報処理システムは一例であって、用途や目的に応じて様々なシステム構成例があることは言うまでもない。例えば図１（Ｂ）の笑顔フィードバックサーバ装置１２は複数の情報処理装置に分散して構成してもよい。

＜ハードウェア構成＞
《笑顔フィードバック装置、笑顔フィードバッククライアント装置》
笑顔フィードバック装置１０、笑顔フィードバッククライアント装置１４は例えば図２に示すハードウェア構成の情報処理装置により実現される。図２は本実施形態に係る情報処理装置の一例のハードウェア構成図である。

図２（Ａ）の情報処理装置は入力装置５０１、表示装置５０２、外部Ｉ／Ｆ５０３、ＲＡＭ５０４、ＲＯＭ５０５、ＣＰＵ５０６、通信Ｉ／Ｆ５０７、ＨＤＤ５０８、撮影装置５０９などを備えており、それぞれがバスＢで相互に接続されている。なお、入力装置５０１及び表示装置５０２は内蔵されている形態であっても、必要なときに接続して利用する形態であってもよい。

入力装置５０１はユーザが各種信号を入力するのに用いるタッチパネル、操作キーやボタン、キーボードやマウスなどである。表示装置５０２は画面を表示する液晶や有機ＥＬなどのディスプレイである。通信Ｉ／Ｆ５０７は、ローカルエリアネットワーク（ＬＡＮ）やインターネットなどのネットワーク１６に接続するインタフェースである。情報処理装置は通信Ｉ／Ｆ５０７を利用し、笑顔フィードバックサーバ装置１２等と通信を行うことができる。

また、ＨＤＤ５０８はプログラム等を格納する不揮発性の記憶装置の一例である。格納されるプログラムには基本ソフトウェアであるＯＳ、笑顔アプリケーションなどのアプリケーションが含まれる。なお、ＨＤＤ５０８は記憶媒体としてフラッシュメモリを用いるドライブ装置（例えばソリッドステートドライブ：ＳＳＤ）やメモリカードなどの記憶装置に置き換えられていてもよい。外部Ｉ／Ｆ５０３は記録媒体５０３ａなどの外部装置とのインタフェースである。図２（Ａ）の情報処理装置は外部Ｉ／Ｆ５０３を利用して記録媒体５０３ａの読み取り及び／又は書き込みを行うことができる。

記録媒体５０３ａにはフレキシブルディスク、ＣＤ、ＤＶＤ、ＳＤメモリカード、ＵＳＢメモリなどがある。ＲＯＭ５０５は、電源を切ってもプログラム等を保持することができる不揮発性の半導体メモリ（記憶装置）の一例である。ＲＯＭ５０５には、起動時に実行されるＢＩＯＳなどのプログラム、ＯＳ設定やネットワーク設定などの各種設定が格納されている。ＲＡＭ５０４はプログラム等を一時保持する揮発性の半導体メモリ（記憶装置）の一例である。ＣＰＵ５０６は、ＲＯＭ５０５やＨＤＤ５０８などの記憶装置からプログラムをＲＡＭ５０４上に読み出し、処理を実行する演算装置である。撮影装置５０９はカメラにより撮影を行う。

本実施形態に係る笑顔フィードバック装置１０及び笑顔フィードバッククライアント装置１４は上記したハードウェア構成において笑顔アプリケーションを実行することにより後述するような各種処理を実現できる。なお、図２（Ａ）の情報処理装置は撮影装置５０９を備える（内蔵された）構成であるが、例えば図２（Ｂ）に示すように、外部Ｉ／Ｆ５０３を介して接続した撮影装置５０９を利用する構成であってもよい。図２（Ｂ）の情報処理装置は、撮影装置５０９が外付けされている点で図２（Ａ）に示した情報処理装置と異なっている。

《笑顔フィードバックサーバ装置》
笑顔フィードバックサーバ装置１２は例えば図３に示すハードウェア構成の情報処理装置により実現される。図３は本実施形態に係る情報処理装置の一例のハードウェア構成図である。なお、図２と同一な部分についての説明は省略する。

図３の情報処理装置は、入力装置６０１、表示装置６０２、外部Ｉ／Ｆ６０３、ＲＡＭ６０４、ＲＯＭ６０５、ＣＰＵ６０６、通信Ｉ／Ｆ６０７、及びＨＤＤ６０８などを備えており、それぞれがバスＢで相互に接続されている。図３の情報処理装置は図２（Ａ）の情報処理装置の撮影装置５０９が無い構成である。図３の情報処理装置は通信Ｉ／Ｆ６０７を利用し、笑顔フィードバッククライアント装置１４等と通信を行う。本実施形態に係る笑顔フィードバックサーバ装置１２は上記したハードウェア構成においてプログラムを実行することにより笑顔フィードバッククライアント装置１４と連携して後述するような各種処理を実現できる。

＜本実施形態の概要＞
ここでは図１（Ａ）に示した笑顔フィードバック装置１０を例として、本実施形態の概要について説明する。本実施形態の笑顔フィードバック装置１０は撮影装置５０９により撮影されたユーザの笑顔値を計測する。笑顔フィードバック装置１０は撮影装置５０９により撮影されたユーザの顔画像を表示装置５０２に表示すると共に、その顔画像から計測したユーザの笑顔値を表示装置５０２に表示する。また、笑顔フィードバック装置１０は計測したユーザの笑顔値を笑顔レベルに変換し、笑顔レベルに対応付けられて記憶されている顔画像を表示装置５０２に表示する。笑顔レベルに対応付けられて記憶されている顔画像は、その笑顔レベルにおける笑顔の度合い（強度）を表す顔画像となる。例えば最も低い笑顔レベルに対応付けられる顔画像は真顔となる。また、最も高い笑顔レベルに対応付けられる顔画像は「歯を見せ口角を最大に上げた顔」となる。

なお、笑顔レベルに対応付けられて記憶されている顔画像はキャラクター、本人、タレント、モデル、友人、家族などの顔画像であってもよい。このように、本実施形態の笑顔フィードバック装置１０は撮影中のユーザの笑顔レベルをリアルタイム表示し、更に、笑顔レベルに対応付けられている顔画像を表示する。したがって、ユーザは表示装置５０２に表示される笑顔レベルと、その笑顔レベルに対応付けられている顔画像とを確認することにより、現在の笑顔の度合いを知ることができる。

さらに、本実施形態の笑顔フィードバック装置１０は記録ボタンを備え、記録ボタンの押下をトリガーとして、撮影したユーザの顔画像と、その顔画像の笑顔値から変換した笑顔レベルと、を記録する。また、本実施形態の笑顔フィードバック装置１０はユーザから気分の入力も受け付ける。そして、撮影したユーザの顔画像と、その顔画像の笑顔値から変換した笑顔レベルと、ユーザから入力された気分との登録が終了すると、本実施形態の笑顔フィードバック装置１０は笑顔レベルに対応付けられている顔画像を表示する。

ところで、人は一般的に表情模倣という行為が備わっている。表情模倣は他者の表情を見て、自分も同じような表情を自動的・反射的に行う現象である。また、人は笑顔になることで笑顔を脳が模倣し、感情状態が向上し、ストレスが解消する。

そこで、本実施形態の笑顔フィードバック装置１０は笑顔レベルに対応付けられている顔画像を表示する場合に、実際に計測した笑顔値の笑顔レベルよりも高い笑顔レベルの顔画像を表示する。このようにすることで、ユーザは自分の笑顔レベルよりも高い笑顔レベルの顔画像を見ることになり、表情模倣により笑顔レベルが上がる。したがって、本実施形態に係る笑顔フィードバック装置１０の使用によりユーザは感情状態が向上し、ストレスが解消する。

なお、実際に計測した笑顔値の笑顔レベルよりも高い笑顔レベルの顔画像の表示は時間や疲労度などの条件を満たした場合に行うようにしてもよい。また、本実施形態に係る笑顔フィードバック装置１０は、笑顔レベルに対応付けられている顔画像を表示する場面が複数ある場合に、少なくとも一の場面において、実際に計測した笑顔値の笑顔レベルよりも高い笑顔レベルの顔画像で表示するようにしてもよい。

＜ソフトウェア構成＞
ここでは図１（Ａ）に示した笑顔フィードバック装置１０を例として、本実施形態のソフトウェア構成について説明する。図４は本実施形態に係る笑顔フィードバック装置の一例の処理ブロック図である。笑顔フィードバック装置１０は、画像入力部１００、入力画像提示部１０１、笑顔値計測部１０２、笑顔レベル変換部１０３、笑顔レベル補正部１０４、時計部１０５、リアルタイム用コンテンツ生成部１０６、リアルタイム用コンテンツ提示部１０７、気分入力部１０８、気分−笑顔レベル変換部１０９、終了画面用コンテンツ生成部１１０、終了画面用コンテンツ提示部１１１、コンテンツ記憶部１１２、笑顔レベル情報記憶部１１３、気分−笑顔レベル情報記憶部１１４を有する構成である。

画像入力部１００は撮影装置５０９が撮影した画像（入力画像）を取得する。画像入力部１００は入力画像を入力画像提示部１０１と笑顔値計測部１０２とに提供する。入力画像提示部１０１は画像入力部１００から取得した入力画像を、後述する記録画面１０００の入力画像表示欄１００２に表示する。笑顔値計測部１０２は画像入力部１００から取得した入力画像に含まれる顔画像の笑顔値を計測する。なお、顔画像から笑顔値を計測する技術は公知であり、説明を省略する。

笑顔レベル情報記憶部１１３は笑顔値計測部１０２が計測可能な笑顔値の範囲を複数に分け、それぞれの笑顔値の範囲を笑顔レベルと対応付ける例えば図５に示すような笑顔レベル情報を記憶する。図５は笑顔レベル情報の一例の構成図である。図５の笑顔レベル情報は笑顔値計測部１０２が計測可能な笑顔値の範囲を７つに分け、７段階の笑顔レベルと対応付けている。

笑顔レベル変換部１０３は笑顔値計測部１０２が計測した笑顔値と図５の笑顔レベル情報とに基づき、笑顔値計測部１０２が計測した笑顔値を笑顔レベルに変換する。時計部１０５は現在時刻を提供する。笑顔レベル補正部１０４は時計部１０５から取得した現在時刻が笑顔レベルを補正する時間帯であれば、笑顔レベル変換部１０３で変換した笑顔レベルよりも笑顔レベルが高くなるように、笑顔レベルを補正する。なお、本実施形態では笑顔レベル補正部１０４が笑顔レベルを１段階引き上げるように笑顔レベルを補正する例を説明するが、１段階の引き上げに限定するものではない。笑顔レベル補正部１０４において補正する笑顔レベルの程度は、様々考えられる。

コンテンツ記憶部１１２は、笑顔レベルごとに対応付けられている顔画像（コンテンツ画像）を記憶する。以下では入力画像に含まれる顔画像と区別するため、コンテンツ記憶部１１２が記憶する顔画像をコンテンツ画像と呼ぶ。コンテンツ画像は例えば図６に示すようなものである。図６はコンテンツ画像の一例のイメージ図である。図６のコンテンツ画像は、笑顔レベルごとに、その笑顔レベルにおける笑顔の度合いをユーザ自身の顔画像で表したものである。リアルタイム用コンテンツ生成部１０６は笑顔レベル補正部１０４から笑顔レベルを取得すると、その笑顔レベルのコンテンツ画像をコンテンツ記憶部１１２から読み出す。リアルタイム用コンテンツ提示部１０７はリアルタイム用コンテンツ生成部１０６から取得したコンテンツ画像を、後述する記録画面１０００のリアルタイム用コンテンツ表示欄１００４に表示する。

気分入力部１０８はユーザから現在の気分の入力を受け付ける。例えば気分入力部１０８は図７に示すような気分アイコンを使用し、ユーザに現在の気分を自己申告で選ばせるようにしてもよい。図７は気分アイコンの一例のイメージ図である。図７の気分アイコンは気分を６段階に分けた例を示している。

気分−笑顔レベル情報記憶部１１４はユーザに選択させる気分アイコンを笑顔レベルと対応付けた気分−笑顔レベル情報を記憶する。気分−笑顔レベル変換部１０９はユーザが選択した気分アイコンと気分−笑顔レベル情報とに基づき、ユーザの現在の気分を笑顔レベルに変換する。終了画面用コンテンツ生成部１１０は気分−笑顔レベル変換部１０９から笑顔レベルを取得すると、その笑顔レベルのコンテンツ画像をコンテンツ記憶部１１２から読み出す。終了画面用コンテンツ提示部１１１は終了画面用コンテンツ生成部１１０から取得したコンテンツ画像を、後述する終了画面１１００の終了画面用コンテンツ表示欄１１０２に表示する。

＜処理＞
《全体処理》
本実施形態に係る笑顔フィードバック装置１０は、例えば図８に示すような手順で処理を行う。図８は、本実施形態に係る笑顔フィードバック装置の全体処理の一例を示したフローチャートである。笑顔フィードバック装置１０はユーザにより笑顔アプリが実行されたあと、記録画面を表示する操作を受け付けると、ステップＳ１１に進み、例えば図９に示す記録画面１０００を表示するための記録画面表示処理を行う。

図９は笑顔フィードバック装置が表示する画面のイメージ図である。図９は記録画面１０００及び終了画面１１００の一例を示している。図９の記録画面１０００は入力画像表示欄１００２、リアルタイム用コンテンツ表示欄１００４、気分選択欄１００６及び記録ボタン１００８を備えている。

入力画像表示欄１００２は撮影装置５０９により撮影された画像（入力画像）がリアルタイムに表示される。リアルタイム用コンテンツ表示欄１００４はコンテンツ記憶部１１２から前述のように読み出されたコンテンツ画像が表示される。気分選択欄１００６は図７に示した気分アイコンを表示し、ユーザに現在の気分を選ばせる選択欄である。記録ボタン１００８は、ユーザから入力画像、笑顔レベル、気分などの記録開始の指示を受け付けるボタンである。

また、図９の終了画面１１００は入力画像、笑顔レベル、気分などの記録が終了した後に表示される画面の一例である。図９の終了画面１１００は終了画面用コンテンツ表示欄１１０２を備えている。終了画面用コンテンツ表示欄１１０２はコンテンツ記憶部１１２から前述のように読み出されたコンテンツ画像が表示される。

図８に戻り、笑顔フィードバック装置１０は記録ボタン１００８がユーザにより押下されるまでステップＳ１１の処理を繰り返す。したがって、記録画面１０００の入力画像表示欄１００２は入力画像がリアルタイムに表示される。また、記録画面１０００のリアルタイム用コンテンツ表示欄１００４には入力画像に含まれるユーザの笑顔レベル（補正された笑顔レベルを含む）と対応付けられたコンテンツ画像が表示される。記録ボタン１００８が押下されると、笑顔フィードバック装置１０はステップＳ１３に進み、終了画面１１００を表示するための終了画面表示処理を行う。

《Ｓ１１：記録画面表示処理》
図１０は記録画面表示処理の一例のフローチャートである。ステップＳ２１において入力画像提示部１０１は記録画面１０００の入力画像表示欄１００２に対して入力画像の表示を行う。ステップＳ２２に進み、笑顔値計測部１０２は入力画像に含まれる顔画像の笑顔値を計測する。ステップＳ２３に進み、笑顔レベル変換部１０３はステップＳ２２で計測された笑顔値を、笑顔レベル情報記憶部１１３に記憶されている例えば図５に示す笑顔レベル情報を用いて、笑顔レベルに変換する。

ステップＳ２４に進み、笑顔レベル補正部１０４は、時計部１０５から取得した現在時刻が笑顔レベルを補正する時間帯（補正適用時刻）であれば、ステップＳ２５において笑顔レベルを補正する処理を行う。ステップＳ２５において行う笑顔レベルを補正する処理では、例えばステップＳ２３で変換した笑顔レベルを１段階引き上げるように笑顔レベルを補正する。なお、補正適用時刻でなければ、笑顔レベル補正部１０４はステップＳ２５の処理をスキップする。

ステップＳ２６において、リアルタイム用コンテンツ生成部１０６は補正適用時刻であればステップＳ２５で補正された笑顔レベルのコンテンツ画像をコンテンツ記憶部１１２から読み出す。また、補正適用時刻でなければ、リアルタイム用コンテンツ生成部１０６はステップＳ２３で変換された笑顔レベルのコンテンツ画像をコンテンツ記憶部１１２から読み出す。そして、ステップＳ２７に進み、リアルタイム用コンテンツ提示部１０７はステップＳ２６で読み出したコンテンツ画像を、記録画面１０００のリアルタイム用コンテンツ表示欄１００４に表示する。

図１０の記録画面表示処理によれば、笑顔フィードバック装置１０は図１１又は図１２に示すように、補正適用時刻であるか否かで異なる笑顔レベルに対応付けられたコンテンツ画像を表示できる。図１１はキャラクターの顔画像を利用したコンテンツ画像の一例のイメージ図である。また、図１２はユーザ本人の顔画像を利用したコンテンツ画像の一例のイメージ図である。図１１（Ａ）及び図１２（Ａ）は補正適用時刻でない場合に表示されるコンテンツ画像（通常のフィードバック画像）であり、ステップＳ２３で変換された笑顔レベルのコンテンツ画像となる。図１１（Ｂ）及び図１２（Ｂ）は補正適用時刻である場合に表示されるコンテンツ画像（１段階上のフィードバック画像）であり、ステップＳ２５で１段階引き上げるように補正された笑顔レベルのコンテンツ画像となる。つまり図１０の記録画面表示処理によれば、笑顔フィードバック装置１０は補正適用時刻である場合に、実際に計測した笑顔値の笑顔レベルよりも高い笑顔レベルのコンテンツ画像を表示できる。例えば補正適用時刻として夜間など、ストレスが溜まりやすい時間帯を設定しておくことで、ユーザはストレスが溜まりやすい時間帯に自分の笑顔レベルよりも高い笑顔レベルのコンテンツ画像を見ることになり、感情状態の向上によるストレス解消の効果が期待される。

なお、ステップＳ２７のリアルタイム用コンテンツの提示の際、リアルタイム用コンテンツ提示部１０７は図１３に示すような笑顔値に対応する印象評価ワードを表示するようにしてもよい。図１３は笑顔値に対応する印象評価ワードの一例の説明図である。「高野ルリ子：顔の印象評価におけるメーキャップと笑顔度の影響，日本顔学会誌，十巻一号，pp.37-48」には顔の印象評価における笑顔度の影響が報告されている。図１３は、このような報告に基づき、笑顔値と印象評価ワードとを対応付けたものである。

《Ｓ１３：終了画面表示処理》
図１４は終了画面表示処理の一例のフローチャートである。ステップＳ３１において気分−笑顔レベル変換部１０９はユーザが気分選択欄１００６から選択した気分アイコンを気分−笑顔レベル情報を用いて笑顔レベルに変換する。ステップＳ３２に進み、気分−笑顔レベル変換部１０９はステップＳ３１で変換した笑顔レベルを補正する処理を行う。ステップＳ３２において行う笑顔レベルを補正する処理では、例えばステップＳ３１で変換した笑顔レベルを１段階引き上げるように笑顔レベルを補正する。

ステップＳ３３において、終了画面用コンテンツ生成部１１０はステップＳ３２で補正された笑顔レベルのコンテンツ画像をコンテンツ記憶部１１２から読み出す。ステップＳ３４に進み、終了画面用コンテンツ提示部１１１はステップＳ３３で読み出したコンテンツ画像を、終了画面１１００の終了画面用コンテンツ表示欄１１０２に表示する。

図１４の終了画面表示処理によれば、笑顔フィードバック装置１０はユーザの現在の気分に対応する笑顔レベルが１段階引き上げた笑顔レベルのコンテンツ画像を終了画面用コンテンツ表示欄１１０２に表示できる。つまり図１４の終了画面表示処理によれば、笑顔フィードバック装置１０はユーザの現在の気分よりも高い笑顔レベルのコンテンツ画像を表示できる。ユーザは、現在の気分よりも高い笑顔レベルのコンテンツ画像を見ることになり、感情状態の向上によるストレス解消の効果が期待される。
［第２の実施形態］
第１の実施形態は、ユーザが気分入力部１０８から入力した現在の気分を笑顔レベルに変換し、その笑顔レベルを１段階引き上げるように補正したあと、補正後の笑顔レベルのコンテンツ画像を、終了画面１１００の終了画面用コンテンツ表示欄１１０２に表示していた。第２の実施形態は、入力画像に含まれる顔画像の笑顔レベルを１段階引き上げるように補正した補正後の笑顔レベルのコンテンツ画像を、終了画面１１００の終了画面用コンテンツ表示欄１１０２に表示する。

なお、第２の実施形態は第１の実施形態と一部を除いて同様であるため、同一部分についての説明を適宜省略する。図１５は、第２の実施形態に係る笑顔フィードバック装置の一例の処理ブロック図である。

図１５の笑顔フィードバック装置１０は図４の笑顔フィードバック装置１０の気分−笑顔レベル変換部１０９が無い構成である。また、図１５の笑顔フィードバック装置１０の笑顔レベル補正部１０４はリアルタイム用コンテンツ生成部１０６に提供する笑顔レベルの補正を第１の実施形態に示したように行う他、終了画面用コンテンツ生成部１１０に提供する笑顔レベルの補正を行う。終了画面用コンテンツ生成部１１０に提供する笑顔レベルの補正は、時計部１０５から提供される現在時刻に関わらず行うようにしてもよいし、時計部１０５から提供される現在時刻が笑顔レベルを補正する時間帯であるときに行うようにしてもよい。そして、図１５の笑顔フィードバック装置１０の終了画面用コンテンツ生成部１１０は、笑顔レベル補正部１０４において１段階引き上げるように補正された笑顔レベルを取得する。さらに、図１５の終了画面用コンテンツ生成部１１０はユーザが選択した気分を気分入力部１０８から取得する。

終了画面用コンテンツ生成部１１０は笑顔レベル補正部１０４から１段階引き上げるように補正された笑顔レベルを取得すると、その笑顔レベルのコンテンツ画像をコンテンツ記憶部１１２から読み出す。終了画面用コンテンツ提示部１１１は終了画面用コンテンツ生成部１１０から取得したコンテンツ画像を、後述する終了画面１１００の終了画面用コンテンツ表示欄１１０２に表示する。

図１６は終了画面表示処理の一例のフローチャートである。ステップＳ４１において終了画面用コンテンツ生成部１１０は笑顔レベル補正部１０４において１段階引き上げるように補正された笑顔レベルを取得する。ステップＳ４２に進み、終了画面用コンテンツ生成部１１０は、ステップＳ４１で取得した笑顔レベルのコンテンツ画像をコンテンツ記憶部１１２から読み出す。ステップＳ４３に進み、終了画面用コンテンツ提示部１１１はステップＳ４２で読み出したコンテンツ画像を、終了画面１１００の終了画面用コンテンツ表示欄１１０２に表示する。

図１６の終了画面表示処理によれば、笑顔フィードバック装置１０は入力画像に含まれるユーザの顔画像の笑顔レベルを１段階引き上げた笑顔レベルのコンテンツ画像を終了画面用コンテンツ表示欄１１０２に表示できる。笑顔フィードバック装置１０は入力画面に含まれるユーザの笑顔レベルよりも高い笑顔レベルのコンテンツ画像を表示し、ユーザの感情状態を向上させることで、ユーザのストレスを解消する効果を実現する。
［第３の実施形態］
第１及び第２の実施形態は、入力画像に含まれるユーザの顔画像の笑顔値、又は、気分入力部１０８からユーザが入力した現在の気分、を笑顔レベルに変換している。第３の実施形態は、入力画像に含まれるユーザの顔画像の笑顔値、及び、ユーザの現在の気分を表す気分値に基づき、総合的な笑顔値（気分適応笑顔値）を算出し、その気分適応笑顔値を笑顔レベルに変換するものである。

なお、第３の実施形態も第１及び第２の実施形態と同一部分を含むため、同一部分についての説明を適宜省略する。ここでも、図１（Ａ）に示した笑顔フィードバック装置１０を例として、第３の実施形態のソフトウェア構成について説明する。図１７は本実施形態に係る笑顔フィードバック装置の一例の処理ブロック図である。笑顔フィードバック装置１０は、画像入力部１００、入力画像提示部１０１、笑顔値計測部１０２、笑顔レベル変換部１０３、笑顔レベル補正部１０４、時計部１０５、コンテンツ記憶部１１２、笑顔レベル情報記憶部１１３、気分適応笑顔値計算部１２１、コンテンツ生成部１２２、コンテンツ提示部１２３を有する構成である。

画像入力部１００は撮影装置５０９が撮影した画像（入力画像）を取得する。なお、画像入力部１００は入力画像が動画である場合、ある時点の１フレームを入力画像として使用する。このように、本実施形態では静止画から笑顔値を計測する。画像入力部１００は入力画像を入力画像提示部１０１と笑顔値計測部１０２とに提供する。入力画像提示部１０１は画像入力部１００から取得した入力画像を、記録画面１０００の入力画像表示欄１００２に表示する。笑顔値計測部１０２は、画像入力部１００から取得した入力画像に含まれる顔画像の笑顔認識を行い、例えば０．０〜１．０までの正規化された笑顔値を計測する。

気分入力部１０８は例えば図７に示した気分アイコンを使用し、ユーザに現在の気分を自己申告で選ばせる。例えば図７の気分アイコンでは一番左の悲しい顔を０．０、一番右の笑顔を１．０として設定する。また、図７の気分アイコンでは、一番左の気分アイコンと一番右の気分アイコンとの間にある気分アイコンの気分値として均等間隔の数値を設定している。

気分適応笑顔値計算部１２１は笑顔値計測部１０２が計測した笑顔値に対し、気分入力部１０８でユーザにより選択された気分アイコンの気分値を適応させた気分適応笑顔値を算出する。例えば気分適応笑顔値計算部１２１は例えば以下の式（１）により気分適応笑顔値を計算する。

式（１）においてＳは笑顔値を表す。Ｍは気分値を表す。Ｗｓは笑顔値の重み付け係数を表す。Ｗｍは気分値の重み付け係数を表す。式（１）においては、気分値の影響をどの程度大きくするのかを重み付け係数Ｗｓ、Ｗｍにより調整する。なお、２つの重み付け係数Ｗｓ、Ｗｍの合計値は１．０とし、かつ、それぞれの重み付け係数Ｗｓ、Ｗｍの値を０以上１以下とする。

例えば笑顔値Ｓが０．７５、気分値Ｍが０．４、重み付け係数Ｗｓが０．８、重み付け係数Ｗｍが０．２である場合は、
気分適応笑顔値Ｔ＝０．８×０．７５＋０．２×０．４＝０．６８となる。

また、笑顔値Ｓが０．７５、気分値Ｍが０．４、重み付け係数Ｗｓ及びＷｍが同じ重み付け０．５である場合は、
気分適応笑顔値Ｔ＝０．５×０．７５＋０．５×０．４＝０．５７５となる。

さらに、重み付け係数Ｗｍを０にすれば、式（１）は気分値Ｍを加味せず、笑顔値Ｓが気分適応笑顔値Ｔとなる。式（１）では笑顔値Ｓ及び気分値Ｍを０以上１以下に正規化しており、且つ、２つの重み付け係数Ｗｓ、Ｗｍの合計値を１．０とすることで、算出される気分適応笑顔値Ｔも０以上１以下の正規化された値となる。

笑顔レベル情報記憶部１１３は気分適応笑顔値計算部１２１が算出する気分適応笑顔値Ｔの範囲０〜１を複数に分け、それぞれの気分適応笑顔値Ｔの範囲を笑顔レベルと対応付ける例えば図１８に示すような笑顔レベル情報を記憶する。図１８は笑顔レベル情報の一例の構成図である。図１８の笑顔レベル情報は気分適応笑顔値計算部１２１が算出する気分適応笑顔値Ｔの範囲０〜１を７つに分け、範囲０〜１を笑顔レベルの数の７で除算した間隔（≒０．１４３）で均等に分割している。

なお、笑顔レベル情報は、気分適応笑顔値計算部１２１が算出する気分適応笑顔値Ｔの範囲０〜１を必ずしも均等に分割しなくてもよく、不均等に分割してもよい。例えば笑顔の苦手なユーザの練習には低い気分適応笑顔値Ｔが高い笑顔レベルに変換される笑顔レベル情報を利用するようにしてもよい。

笑顔レベル変換部１０３は気分適応笑顔値計算部１２１が計算した気分適応笑顔値と図１８の笑顔レベル情報とに基づき、気分適応笑顔値Ｔを笑顔レベルに変換する。時計部１０５は現在時刻を提供する。笑顔レベル補正部１０４は時計部１０５から取得した現在時刻が笑顔レベルを補正する時間帯であれば、笑顔レベル変換部１０３で変換した笑顔レベルよりも笑顔レベルが高くなるように、笑顔レベルを補正する。なお、本実施形態では笑顔レベル補正部１０４が笑顔レベルを１段階引き上げるように笑顔レベルを補正する例を説明する。笑顔レベル変換部１０３が変換した笑顔レベルが最高レベル（例えば図１８の笑顔レベル６）であった場合、笑顔レベル補正部１０４は笑顔レベル変換部１０３が変換した笑顔レベルを維持する。また、笑顔レベル補正部１０４は時計部１０５から取得した現在時刻が笑顔レベルを補正する時間帯でなければ、笑顔レベルの補正を行わない。

笑顔レベル補正部１０４による笑顔レベルの補正はユーザの実際の笑顔値や気分値よりも笑顔レベルが高いコンテンツ画像をユーザにフィードバックすることで、ユーザの気持ちを少しずつポジティブにし、ユーザのストレスを解消する効果を狙って行われる。本実施形態に係る笑顔フィードバック装置１０は例えば１日の終わりである就寝前や起床時に１段階上の笑顔レベルのコンテンツ画像をユーザへのフィードバック画像とすることを想定している。

コンテンツ記憶部１１２は、笑顔レベルごとに対応付けられているコンテンツ画像を記憶する。また、コンテンツ生成部１２２は笑顔レベル補正部１０４から笑顔レベルを取得すると、その笑顔レベルのコンテンツ画像をコンテンツ記憶部１１２から読み出す。コンテンツ提示部１２３はコンテンツ生成部１２２から取得したコンテンツ画像を、記録画面１０００のリアルタイム用コンテンツ表示欄１００４に表示する。

なお、図１７の笑顔フィードバック装置１０は必ずしもコンテンツ記憶部１１２に予め笑顔レベルと対応付けたコンテンツ画像を用意しておく必要はなく、モーフィングと呼ばれる技術を利用して、１枚のユーザの顔画像から笑顔レベルに応じた表情変化を付ける画像処理を行い、笑顔レベルと対応付けたコンテンツ画像を用意してもよい。

図１９は記録画面表示処理の一例のフローチャートである。ステップＳ５１において入力画像提示部１０１は記録画面１０００の入力画像表示欄１００２に対して入力画像の表示を行う。ステップＳ５２に進み、笑顔値計測部１０２は入力画像に含まれる顔画像の笑顔値を計測する。

ステップＳ５３に進み、気分適応笑顔値計算部１２１はユーザにより最後に選択された気分アイコンの気分値を気分入力部１０８から取得する。なお、ステップＳ５３の処理はユーザによる気分アイコンの選択を待つ訳ではなく、ユーザが最後に選択した気分アイコンの気分値を取得するものとする。また、ユーザは図１９に示す記録画面表示処理と関係なく、図９の気分選択欄１００６から任意のタイミングで気分アイコンを選択できるものとする。

ユーザが気分選択欄１００６から気分アイコンを選択済みでなく、ユーザにより最後に選択された気分アイコンの気分値を取得できない場合は、デフォルトの気分値を利用してもよいし、第１の実施形態のように笑顔値を笑顔レベルに変換してもよい。

ステップＳ５４に進み、気分適応笑顔値計算部１２１は笑顔値計測部１０２が計測した笑顔値に対し、気分入力部１０８でユーザにより選択された気分アイコンの気分値を適応させた気分適応笑顔値を算出する。ステップＳ５５に進み、笑顔レベル変換部１０３はステップＳ５４で計算された気分適応笑顔値を、笑顔レベル情報記憶部１１３に記憶されている例えば図１８に示す笑顔レベル情報を用いて、笑顔レベルに変換する。

ステップＳ５６に進み、笑顔レベル補正部１０４は、時計部１０５から取得した現在時刻が笑顔レベルを補正する時間帯（補正適用時刻内）であれば、ステップＳ５７において笑顔レベルを１段階上に補正する処理を行い、ステップＳ５８に進む。ステップＳ５８において、笑顔レベル補正部１０４はステップＳ５７で変換した補正後の笑顔レベルが最高レベルを超えたか否かを判定する。補正後の笑顔レベルが最高レベルを超えていれば笑顔レベル補正部１０４はステップＳ５９に進み、補正後の笑顔レベルを最高レベルに補正してステップＳ６０に進む。なお、補正後の笑顔レベルが最高レベルを超えていなければ笑顔レベル補正部１０４はステップＳ５８からステップＳ６０に進む。

ステップＳ６０においてコンテンツ生成部１２２は補正適用時刻であればステップＳ２５で補正された笑顔レベル（最高レベル以下）のコンテンツ画像をコンテンツ記憶部１１２から読み出す。また、補正適用時刻でなければ、コンテンツ生成部１２２はステップＳ５５で変換された笑顔レベルのコンテンツ画像をコンテンツ記憶部１１２から読み出す。そして、ステップＳ６１に進み、コンテンツ提示部１２３はステップＳ６０で読み出したコンテンツ画像を、記録画面１０００のリアルタイム用コンテンツ表示欄１００４に表示する。

図１９の記録画面表示処理によれば、笑顔フィードバック装置１０は図１１又は図１２に示したように、補正適用時刻であるか否かで異なる笑顔レベルに対応付けられたコンテンツ画像を表示できる。笑顔フィードバック装置１０は補正適用時刻である場合に、実際に計測した笑顔値の笑顔レベルよりも高い笑顔レベルのコンテンツ画像を表示する。例えば補正適用時刻として夜間など、ストレスが溜まりやすい時間帯を設定しておくことによりユーザはストレスが溜まりやすい時間帯に自分の笑顔レベルよりも高い笑顔レベルのコンテンツ画像を見ることができ、ストレス解消の効果が期待できる。

なお、終了画面表示処理は第１の実施形態に示したように、ユーザの気分に対応付けられた笑顔レベルを１段階引き上げた笑顔レベルのコンテンツ画像を表示するように行うようにしてもよい。また、終了画面表示処理は第２の実施形態に示したように、入力画像に含まれるユーザの顔画像の笑顔レベルを１段階引き上げた笑顔レベルのコンテンツ画像を表示するようにしてもよい。さらに、終了画面表示処理は、笑顔レベル変換部１０３により気分適応笑顔値から変換された笑顔レベルを１段階引き上げた笑顔レベルのコンテンツ画像を表示するようにしてもよい。

また、フィードバック画像を表示する処理は笑顔フィードバック装置１０が入力画像を取得したあと、ユーザが気分を入力したタイミングで行っていた。しかし、本実施形態の笑顔フィードバック装置１０はユーザの気分を使用しないか、又は、入力画像に含まれるユーザの顔画像や生体情報から自動的に気分値を取得できるようにすれば、一連の処理を自動で繰り返し行うことも可能となる。

例えば笑顔フィードバック装置１０は入力画像から連続的に顔画像を取得し、リアルタイムに笑顔値を計測することで、フィードバック画像の表示までの一連の処理を短時間に繰り返し行うことができる。なお、顔画像から気分値を計測する技術としては、顔画像から感情の推定を行う技術や音声から感情の推定を行う技術などを利用できる。
［他の実施形態］
本実施形態の笑顔フィードバック装置１０はユーザから現在の気分の入力を手入力で受け付ける他、顔画像や生体情報から自動的に取得した現在のユーザの気分値を入力として受け付けてもよい。また、本実施形態の笑顔フィードバック装置１０は笑顔値と気分値だけでなく、疲労度、緊張度など、より多くのパラメータを入力として受け付ける気分適応笑顔値計算部１２１を構成してもよい。例えば正規化済みのパラメータＰがｎ種類ある場合に、それぞれのパラメータに重み付けを行った最終的なパラメータ適応笑顔値を一般化すると式（２）で表現できる。

また、単純な線形の重み付けが難しいパラメータの場合はパラメータの種類数に合わせてｎ次元の表を作成し、その表にパラメータ適応笑顔値を設定しておいてもよい。実際に取得したｎ種類のパラメータ値から対応する表の項目を参照することで、本実施形態に係る笑顔フィードバック装置１０はパラメータ適応笑顔値を取得できる。この方式の利点は線形の重み付けでは表現が難しい笑顔値の分布を表現できることにある。

図２０は笑顔値と気分値とをパラメータとする２次元の表である。この方式では図２０に示すように、気分値が最大（１．０）であれば、笑顔値によらずパラメータ適応笑顔値も最大（１．０）となるような極端な表の作成も可能となる。人間の感覚は器械による計測と異なることも多く、実施に被験者を使って実験を行うと、線形ではない結果がでることも多々ある。このため、図２０のような非線形の表を利用してパラメータ適応笑顔値を得られる方式は有用である。

また、フィードバック画像は上記の実施形態に示した顔画像の他、動画素材や音声を利用することも考えられる。例えばフィードバック画像は真顔から特定の笑顔レベルの笑顔に変化する動画であってもよいし、同時に「明日も笑顔で」というような音声を再生するようにしてもよい。また、フィードバック画像は笑顔レベルに合わせて、背景の音楽や効果音（ＳＥ）を変化させる提示方法も考えられる。

さらに、フィードバック画像は笑顔レベルに対応付いた印象的な言葉（図１３に示した印象評価ワードなど）を同時に表示するようにしてもよい。例えば笑顔フィードバック装置１０は笑顔レベルが最高の場合に「活発な笑顔です」という言葉、笑顔レベルが最低の場合に「信頼感のある表情です」という言葉、笑顔レベルが中間の場合に「魅力的な笑顔です」という言葉、というように特定の印象を表すキーワードを、フィードバック画像に表示してもよい。

さらに、本実施形態の笑顔フィードバック装置１０は時間帯により笑顔レベルを１段階引き上げる補正を行う例を説明した。しかしながら、補正を行う条件は時間帯に限るものでなく、例えばユーザの疲労度により笑顔レベルの補正を行うことも考えられる。疲労度はユーザによる自己申告であってもよいし、自動的に入力するようにしてもよい。ウェアラブルの活動量計と連動して運動量の大小から推測する方法や、フリッカー値と呼ばれる指標を利用した疲労度計測などを利用する方法により、疲労度は自動的に入力できる。

なお、時間帯により笑顔レベルを１段階引き上げる補正を行う方式では、就寝前の時間に効果的なフィードバック画像を返すことが望ましい。一方で、就寝時間は個人差が大きいため、笑顔レベルを補正する時間帯をユーザによって可変できることが望ましい。例えば日々の就寝時間を学習する機能を利用することで、就寝前の時間の確度を上げることができる。最近のウェアラブル活動計は睡眠状態を計測できる機能が付いているものが多くあり、ユーザが何時に就寝し、何時に起床したかのデータを取得できるので、ウェアラブル活動計が計測したデータを活用してもよい。

本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば上記の実施形態では笑顔フィードバック装置１０を例として説明したが、図４などに示した処理ブロックを図１（Ｂ）に示した笑顔フィードバックサーバ装置１２及び笑顔フィードバッククライアント装置１４に分散配置した構成であってもよいことは言うまでもないことである。

例えば図１（Ｂ）の構成によれば、ユーザが笑顔レベル及び気分を記録できるクラウドサービスなどにおいて実際のユーザの笑顔レベルよりも高い笑顔レベルの顔画像をユーザに提示することで、ユーザの感情状態を向上させる（ポジティブにする）メンタルヘルス機能を実現できる。

１０ 笑顔フィードバック装置
１２ 笑顔フィードバックサーバ装置
１４ 笑顔フィードバッククライアント装置
１６ ネットワーク
１００ 画像入力部
１０１ 入力画像提示部
１０２ 笑顔値計測部
１０３ 笑顔レベル変換部
１０４ 笑顔レベル補正部
１０５ 時計部
１０６ リアルタイム用コンテンツ生成部
１０７ リアルタイム用コンテンツ提示部
１０８ 気分入力部
１０９ 気分−笑顔レベル変換部
１１０ 終了画面用コンテンツ生成部
１１１ 終了画面用コンテンツ提示部
１１２ コンテンツ記憶部
１１３ 笑顔レベル情報記憶部
１１４ 気分−笑顔レベル情報記憶部
１２１ 気分適応笑顔値計算部
１２２ コンテンツ生成部
１２３ コンテンツ提示部
５０１、６０１ 入力装置
５０２、６０２ 表示装置
５０３、６０３ 外部Ｉ／Ｆ
５０３ａ、６０３ａ 記録媒体
５０４、６０４ ＲＡＭ
５０５、６０５ ＲＯＭ
５０６、６０６ ＣＰＵ
５０７、６０７ 通信Ｉ／Ｆ
５０８、６０８ ＨＤＤ
５０９ 撮影装置
Ｂ バス

Claims (9)

1. 撮像画像に含まれるユーザの笑顔値を計測する笑顔値計測手段と、
   前記笑顔値計測手段により計測可能な笑顔値の範囲を複数に分け、それぞれの笑顔値の範囲を笑顔レベルと対応付ける笑顔レベル情報を記憶する笑顔レベル情報記憶手段と、
   前記笑顔値計測手段により計測された笑顔値と前記笑顔レベル情報記憶手段に記憶された笑顔レベル情報とに基づき、撮像画像に含まれるユーザの笑顔値を笑顔レベルに変換する笑顔レベル変換手段と、
   前記笑顔レベル変換手段により変換された前記笑顔レベルを記録する記録手段と、
   第１の顔画像提示部に提示する顔画像の笑顔レベルが前記記録手段に記録する前記笑顔レベルよりも高くなるように補正する笑顔レベル補正手段と、
   を有する情報処理装置。
2. 笑顔レベルごとに顔画像を記憶する顔画像記憶手段と、
   前記笑顔レベル補正手段により補正されたユーザの笑顔レベルの顔画像を前記顔画像記憶手段から読み出して前記第１の顔画像提示部に提示させる顔画像生成手段と、
   を更に有すること
   を特徴とする請求項１記載の情報処理装置。
3. ユーザの気分を表す気分値の範囲を複数に分け、それぞれの気分値の範囲を笑顔レベルと対応付ける気分−笑顔情報を記憶する気分−笑顔レベル情報記憶手段と、
   前記気分−笑顔レベル情報記憶手段に記憶された気分−笑顔情報に基づき、撮像画像に含まれるユーザの気分値を笑顔レベルに変換する気分−笑顔レベル変換手段と、
   を更に有し、
   前記記録手段は、更に前記撮像画像に含まれるユーザの気分値を記録し、
   前記気分−笑顔レベル変換手段は、第２の顔画像提示部に提示する顔画像の笑顔レベルが前記記録手段に記録する前記ユーザの気分値の笑顔レベルよりも高くなるように補正すること
   を特徴とする請求項１又は２記載の情報処理装置。
4. 前記笑顔値計測手段により計測された笑顔値にユーザの気分を表す気分値を適応させた気分適応笑顔値を計算する気分適応笑顔値計算手段、を更に有し、
   前記笑顔レベル情報記憶手段は、前記笑顔値計測手段により計測可能な範囲の笑顔値にユーザの気分を表す気分値を適応させた気分適応笑顔値の範囲を複数に分け、それぞれの気分適応笑顔値の範囲を笑顔レベルと対応付ける笑顔レベル情報を記憶し、
   前記笑顔レベル変換手段は、前記気分適応笑顔値計算手段により計算された気分適応笑顔値と前記笑顔レベル情報記憶手段に記憶された笑顔レベル情報とに基づき、撮像画像に含まれるユーザの気分適応笑顔値を笑顔レベルに変換すること
   を特徴とする請求項１又は２記載の情報処理装置。
5. 前記顔画像記憶手段は、撮像画像に含まれるユーザの顔画像を笑顔レベルごとに記憶していること
   を特徴とする請求項２記載の情報処理装置。
6. 前記顔画像生成手段は、前記第１の顔画像提示部に提示させる顔画像として前記笑顔レベル変換手段により変換されたユーザの笑顔レベルよりも笑顔レベルの高い顔画像を、撮像画像に含まれるユーザの顔画像からモーフィング技法により作成すること
   を特徴とする請求項２記載の情報処理装置。
7. 前記笑顔レベル補正手段は、現在時刻が補正適用時刻内であれば、前記第１の顔画像提示部に提示する顔画像の笑顔レベルが前記笑顔レベル変換手段により変換されたユーザの笑顔レベルよりも高くなるように補正すること
   を特徴とする請求項１乃至６何れか一項記載の情報処理装置。
8. コンピュータを、
   撮像画像に含まれるユーザの笑顔値を計測する笑顔値計測手段、
   前記笑顔値計測手段により計測可能な笑顔値の範囲を複数に分け、それぞれの笑顔値の範囲を笑顔レベルと対応付ける笑顔レベル情報を記憶する笑顔レベル情報記憶手段、
   前記笑顔値計測手段により計測された笑顔値と前記笑顔レベル情報記憶手段に記憶された笑顔レベル情報とに基づき、撮像画像に含まれるユーザの笑顔値を笑顔レベルに変換する笑顔レベル変換手段、
   前記笑顔レベル変換手段により変換された前記笑顔レベルを記録する記録手段、
   第１の顔画像提示部に提示する顔画像の笑顔レベルが前記記録手段に記録する前記笑顔レベルよりも高くなるように補正する笑顔レベル補正手段、
   として機能させるためのプログラム。
9. サーバ装置とクライアント装置とがネットワークを介して接続された情報処理システムであって、
   撮像画像に含まれるユーザの笑顔値を計測する笑顔値計測手段と、
   前記笑顔値計測手段により計測可能な笑顔値の範囲を複数に分け、それぞれの笑顔値の範囲を笑顔レベルと対応付ける笑顔レベル情報を記憶する笑顔レベル情報記憶手段と、
   前記笑顔値計測手段により計測された笑顔値と前記笑顔レベル情報記憶手段に記憶された笑顔レベル情報とに基づき、撮像画像に含まれるユーザの笑顔値を笑顔レベルに変換する笑顔レベル変換手段と、
   前記笑顔レベル変換手段により変換された前記笑顔レベルを記録する記録手段と、
   第１の顔画像提示部に提示する顔画像の笑顔レベルが前記記録手段に記録する前記笑顔レベルよりも高くなるように補正する笑顔レベル補正手段と、
   を有する情報処理システム。