WO2023089816A1 - 情報処理装置、情報処理システム、情報処理方法、及び非一時的なコンピュータ可読媒体 - Google Patents

Abstract

情報処理装置（１０）は、ユーザがミラーの前に位置した場合、ユーザの少なくとも顔が撮影された撮影画像から抽出された顔特徴情報と、予め登録された複数の人物の顔特徴情報との間の照合結果を取得する認証制御部（１３）と、照合結果が、顔認証が成功したことを示す場合、予め登録されたユーザに関連するユーザ情報に基づいて、複数の商品から少なくとも１つの商品を推奨商品として選択する選択部（１４）と、推奨商品に関連する表示情報を、ミラーに対応付けて設けられる表示装置に出力する表示制御部（１５）とを備える。

Description

情報処理装置、情報処理システム、情報処理方法、及び非一時的なコンピュータ可読媒体

　本開示は情報処理装置、情報処理システム、情報処理方法、及び非一時的なコンピュータ可読媒体に関し、特にユーザにレコメンド情報を提供する情報処理装置、情報処理システム、情報処理方法、及び非一時的なコンピュータ可読媒体に関する。

　ユーザに合った化粧品をレコメンドする方法が提案されている。例えば特許文献１では、第１ユーザの本人認証が成功した場合、第１ユーザの好みに基づいて類似ユーザを選定し、類似ユーザの化粧に使用される化粧品に関する化粧品情報を、表示装置に表示するメイクアップ支援装置が開示されている。

国際公開第２０１８／０２９９６３号

　ここで、ユーザが化粧品を購入する目的で意図的にログインするといったユーザの特別の意図を要せずに、ユーザに合った化粧品をレコメンドできるようにすることで、販促効果を高めたいというニーズがある。これは化粧品に限らず、その他の商品についても同様である。

　本開示の目的は、上述した課題に鑑み、販促効果を向上できる情報処理装置、情報処理システム、情報処理方法、及び非一時的なコンピュータ可読媒体を提供することにある。

　本開示の一態様にかかる情報処理装置は、
　ユーザがミラーの前に位置した場合、前記ユーザの少なくとも顔が撮影された撮影画像から抽出された顔特徴情報と、予め登録された複数の人物の顔特徴情報との間の照合結果を取得する認証制御手段と、
　前記照合結果が、顔認証が成功したことを示す場合、予め登録された前記ユーザに関連するユーザ情報に基づいて、複数の商品から少なくとも１つの商品を推奨商品として選択する選択手段と、
　前記推奨商品に関連する表示情報を、前記ミラーに対応付けて設けられる表示装置に出力する表示制御手段と
　を備える。

　本開示の一態様にかかる情報処理システムは、
　情報処理装置と、
　顔認証装置と
　を備え、
　前記情報処理装置は、
　ユーザが、前記ユーザ側にミラーが付加された表示装置の前に位置した場合、前記ユーザの少なくとも顔が撮影された撮影画像から抽出された顔特徴情報と、予め登録された複数の人物の顔特徴情報との間の照合結果を、前記顔認証装置から取得する認証制御手段と、
　前記照合結果が、顔認証が成功したことを示す場合、予め登録された前記ユーザに関連するユーザ情報に基づいて、複数の商品から少なくとも１つの商品を推奨商品として選択する選択手段と、
　前記推奨商品に関連する表示情報を、前記表示装置に出力する表示制御手段と
　を有する。

　本開示の一態様にかかる情報処理方法は、
　ユーザがミラーの前に位置した場合、前記ユーザの少なくとも顔が撮影された撮影画像から抽出された顔特徴情報と、予め登録された複数の人物の顔特徴情報との間の照合結果を取得し、
　前記照合結果が、顔認証が成功したことを示す場合、予め登録された前記ユーザに関連するユーザ情報に基づいて、複数の商品から少なくとも１つの商品を、推奨商品として選択し、
　前記推奨商品に関連する表示情報を、前記ミラーに対応付けて設けられる表示装置に出力する。

　本開示の一態様にかかる非一時的なコンピュータ可読媒体は、
　ユーザがミラーの前に位置した場合、前記ユーザの少なくとも顔が撮影された撮影画像から抽出された顔特徴情報と、予め登録された複数の人物の顔特徴情報との間の照合結果を取得する手順と、
　前記照合結果が、顔認証が成功したことを示す場合、予め登録された前記ユーザに関連するユーザ情報に基づいて、複数の商品から少なくとも１つの商品を推奨商品として選択する手順と、
　前記推奨商品に関連する表示情報を、前記ミラーに対応付けて設けられる表示装置に出力する手順と
　をコンピュータに実行させるためのプログラムが格納される。

　本開示により、ユーザの特別の意図を要せずに商品をレコメンドできるため、販促効果を向上できる情報処理装置、情報処理システム、情報処理方法、及び非一時的なコンピュータ可読媒体を提供できる。

実施形態１にかかる情報処理装置の構成を示すブロック図である。 実施形態１にかかる情報処理方法の流れを示すフローチャートである。 実施形態２にかかる情報処理システムの全体構成を示すブロック図である。 実施形態２にかかるミラーサイネージの構成を示すブロック図である。 実施形態２にかかる顔認証装置の構成を示すブロック図である。 実施形態２にかかる顔情報登録処理の流れを示すフローチャートである。 実施形態２にかかる顔認証処理の流れを示すフローチャートである。 実施形態２にかかるユーザ端末の構成を示すブロック図である。 実施形態２にかかるサーバの構成を示すブロック図である。 実施形態２にかかるユーザ登録処理の流れの一例を示すシーケンス図である。 実施形態２にかかる情報提供処理の流れの一例を示すシーケンス図である。 実施形態２にかかるミラーサイネージの表示装置の表示の一例を示す図である。 実施形態２にかかるミラーサイネージの表示装置の表示の一例を示す図である。 実施形態２にかかるミラーサイネージの表示装置の表示の一例を示す図である。 実施形態３にかかるサーバの構成を示すブロック図である。 実施形態３にかかる情報提供処理の流れの変形例を示すシーケンス図である。 実施形態３にかかる撮影画像の一例を示す図である。 実施形態３にかかるミラーサイネージの表示装置の表示の一例を示す図である。 実施形態３にかかる撮影画像の一例を示す図である。

　以下では、本開示の実施形態について、図面を参照しながら詳細に説明する。各図面において、同一又は対応する要素には同一の符号が付されており、説明の明確化のため、必要に応じて重複説明は省略される。

　＜実施形態の課題＞
　ここで、実施形態の課題について改めて説明する。
　百貨店などの化粧品を販売する店舗では、店員が顧客に合った化粧品を提案している。しかし感染症蔓延の影響で、対面でのサービスを避ける顧客が増えており、実店舗での化粧品の売り上げ低下が問題となっている。化粧品は、顧客１人１人の好みや肌質が深く関わるため、店頭でレコメンドすることができない場合、顧客へ効果的に遡及することが難しいという問題がある。

　そこで上述の特許文献１のように、ユーザに合った化粧品をレコメンドする方法が提案されている。しかしユーザが化粧品を購入する目的で意図的にログインしなければならない、あるいは煩雑な入力操作を要するといった、ユーザの特別の意図又は操作が必要となると、販促効果が限定的になってしまう。またユーザの特別の操作が必要となることも、販促効果を限定的にする要因となってしまう。したがって、ユーザの特別の意図又は操作を要せずに化粧品をレコメンドできるようにすることで、販促効果を高めることが求められる。

　上述の課題は、化粧品において特に顕著であるが、化粧品に限らずその他の商品についても同様である。本実施形態は、このような課題を解決するためになされたものである。

　＜用語の説明＞
　以下では、下記の用語を次のように定義する。
　「ユーザＩＤ」はユーザを識別する情報である。「ユーザＩＤ」は、ユーザ名であってもよいし、ユーザの電話番号、クレジットカード番号又はその他の識別番号であってもよい。
　「ユーザ情報」は、ユーザに関連する情報である。「ユーザ情報」は、ユーザの属性情報を含む。また「ユーザ情報」は、ユーザの利用履歴やユーザの入力情報を含んでもよい。
　「商品」は、実店舗又はオンライン店舗で販売されている任意の商品である。「商品」は、化粧品、衣服、帽子、アクセサリ、鞄、靴、又はユーザが身に着けることが可能なその他の商品が好ましい。しかし「商品」は、ユーザが身に着けることができない商品であってもよい。
　「利用履歴」は、ユーザが商品を取り扱う実店舗を利用したこと、実店舗又はオンラインで商品を注文若しくは購入したこと、及び試供品の配送要求をしたことの少なくとも１つを示す。

　＜実施形態１＞
　次に本開示の実施形態１について説明する。図１は、実施形態１にかかる情報処理装置１０の構成を示すブロック図である。情報処理装置１０は、ミラーの前に位置するユーザに対して商品をレコメンドするコンピュータ装置である。ミラーの前に位置することは、ミラーの前に立つこと又はミラーの前に座ることであってよい。例えばユーザは、身だしなみを整えるためにミラーの前に立つ。

　情報処理装置１０は、ネットワーク（不図示）に接続される。ネットワークは、有線であっても無線であってもよい。ネットワークには、ミラーに対応付けて設けられる表示装置（不図示）が接続されていてよい。情報処理装置１０は、認証制御部１３と、選択部１４と、表示制御部１５とを備える。

　認証制御部１３は、認証制御手段とも呼ばれる。認証制御部１３は、ユーザがミラーの前に位置した場合、ユーザの少なくとも顔が撮影された撮影画像から抽出された顔特徴情報と、予め登録された複数の人物の顔特徴情報との間の照合結果を取得する。つまり認証制御部１３は、ミラーの前に位置するユーザの顔認証結果を取得する。これにより認証制御部１３は、ユーザを特定する。例えば認証制御部１３はユーザＩＤを特定する。

　選択部１４は、選択手段とも呼ばれる。選択部１４は、認証制御部１３が取得した照合結果が、顔認証が成功したことを示す場合、ユーザ情報に基づいて、複数の商品から少なくとも１つの商品を推奨商品として選択する。ユーザ情報は、ユーザと対応付けてユーザデータベース（ＤＢ）（不図示）に予め登録されている。また複数の商品の情報は、予め商品データベース（ＤＢ）（不図示）に登録されている。

　表示制御部１５は、表示制御手段とも呼ばれる。表示制御部１５は、選択部１４が選択した推奨商品に関連する表示情報を、上述したミラーに対応付けて設けられる表示装置に出力する。表示情報は、推奨商品の商品情報であってもよいし、推奨商品の購入先を示す情報であってもよいし、推奨商品の試供品の配送又は注文を受け付けるための情報であってもよい。また表示情報は、ユーザが推奨商品を使用した場合のシミュレーション画像であってもよい。出力するとは、送信することであってもよいし、送信して表示させることであってもよい。

　図２は、実施形態１にかかる情報処理方法の流れを示すフローチャートである。まず情報処理装置１０の認証制御部１３は、ユーザがミラーの前に位置しているか否かを判定する（Ｓ１０）。例えば認証制御部１３は、ミラー周辺の風景を撮影するカメラ（不図示）の映像から所定サイズ以上の人物領域を検出した場合、ユーザがミラーの前に位置すると判定してよい。また認証制御部１３は、上記映像から所定サイズ以上の人物領域を所定時間以上検出した場合、ユーザがミラーの前に位置すると判定してもよい。また認証制御部１３は、所定の入力操作があった場合や人感センサにより人物を検出した場合に、ユーザがミラーの前に位置すると判定してもよい。

　ユーザがミラーの前に位置していると判定した場合（Ｓ１０でＹｅｓ）、認証制御部１３は、ユーザの撮影画像から抽出された顔特徴情報と、予め登録された複数の人物の顔特徴情報との間の照合結果を取得する（Ｓ１１）。例えば認証制御部１３は、ユーザの撮影画像を用いて顔認証を実行することで、照合結果（つまり顔認証結果）を取得してよい。また例えば認証制御部１３は、ユーザの撮影画像、又は撮影画像から抽出した顔特徴情報を、ネットワークを介して接続される顔認証装置（不図示）に送信し、顔認証装置から照合結果を受信することで、照合結果を取得してもよい。

　次に認証制御部１３は、顔認証に成功したか否かを判定する（Ｓ１２）。顔認証が成功したとは、ユーザといずれかの登録ユーザとの顔特徴情報が一致したことを示す。一致とは、顔特徴情報の一致度が所定値以上であったことを示してよい。

　顔認証に成功しなかった場合（Ｓ１２でＮｏ）、情報処理装置１０は処理を終了する。

　一方、顔認証に成功した場合（Ｓ１２でＹｅｓ）、選択部１４は、予め登録されたユーザ情報に基づいて推奨商品を選択する（Ｓ１３）。一例として、選択部１４は、予め定められた複数の商品のうち、ユーザ情報に基づいてユーザの好み又は志向性を解析し、好み又は志向性に合致した商品属性を有する商品を推奨商品として選択する。また一例として、選択部１４は、予め定められた複数の商品のうち、ユーザ情報に基づいてユーザの好み又は志向性を解析し、好み又は志向性に合致したメーカやブランドの商品を推奨商品として選択する。また一例として、選択部１４は、予め定められた複数の商品のうち、ユーザ情報に含まれるユーザの肌質又は肌色に適合する商品属性を有する商品を推奨商品として選択する。

　次に表示制御部１５は、推奨商品に関連する表示情報を、表示装置に出力する（Ｓ１４）。

　このように実施形態１によれば、情報処理装置１０は、ユーザがミラーを使用することに伴って顔認証を行って本人確認を実施し、ユーザにパーソナライズした推奨商品の情報を提供する。ユーザは、推奨商品の情報を得るために、意図的にログインする等の特別の意図及び操作を要しない。これにより販促効果を高めることができる。またユーザは、その都度情報を入力する等の特別な操作を要しない。これによっても販促効果を高めることができる。

　＜実施形態２＞
　次に、本開示の実施形態２について説明する。図３は、実施形態２にかかる情報処理システム１０００の全体構成を示すブロック図である。情報処理システム１０００は、ミラーを含むミラーサイネージの前に立ったユーザに対して商品をレコメンドするコンピュータシステムである。実施形態２では、一例として「商品」は化粧品である。

　情報処理システム１０００は、顔認証装置１００と、情報処理装置（以下、サーバと呼ぶ）２００と、ユーザ端末３００と、ミラーサイネージ４００とを備える。各装置及び端末は、ネットワークＮを介して互いに接続されている。ネットワークＮは、有線又は無線の通信回線である。

　ユーザ端末３００は、ユーザが使用する情報端末である。ユーザ端末３００は、サーバ２００に対してユーザ登録要求を送信する。これにより、ユーザの顔特徴情報が登録され、ユーザＩＤが発行される。またユーザ端末３００は、ユーザ情報をサーバ２００に送信し、サーバ２００に対して、ユーザＩＤに対応付けてユーザ情報を登録させる。

　ミラーサイネージ４００は、ミラー付きの表示装置である。ミラーサイネージ４００は、ミラーとして機能する一方で、表示情報を表示する。ミラーサイネージ４００は、ユーザの自宅の洗面台に設けられてよい。またミラーサイネージ４００は、不特定多数の人が利用する場所、例えば会社の共有スペース、売店、共用トイレの洗面台（特に女性用トイレ）、エレベータの中又は待合スペースに設けられてもよい。またミラーサイネージ４００は、デパートの化粧品売り場の一角に設けられてもよい。
　ミラーサイネージ４００には、さらにカメラ（不図示）が設けられていて、ミラーの前に位置するユーザＵの少なくとも顔を撮影する。そしてミラーサイネージ４００は、撮影画像を、ネットワークＮを介してサーバ２００に送信する。これによりサーバ２００は、撮影画像に人物領域が含まれている場合は、情報提供処理を開始する。

　サーバ２００は、上述した情報処理装置１０の一例である。サーバ２００は、ミラーサイネージ４００から撮影画像を受信し、撮影画像に人物が含まれていると判定した場合に、情報提供処理を実施する。サーバ２００は、情報提供処理において、撮影画像に基づいて顔認証により特定されたユーザＵのユーザ情報に基づいて、推奨商品を決定し、推奨商品に関連する表示情報を生成する。そしてサーバ２００は、表示情報をミラーサイネージ４００に送信する。ミラーサイネージ４００は、受信した表示情報をサーバ２００から受信し、表示情報を表示する。

　顔認証装置１００は、複数の人物の顔特徴情報を記憶するコンピュータ装置である。また、顔認証装置１００は、外部から受信した顔認証要求に応じて、当該要求に含まれる顔画像又は顔特徴情報について、各ユーザの顔特徴情報と照合を行う、顔認証機能を有する。本実施形態２では、顔認証装置１００は、ユーザ登録時に、ユーザの顔特徴情報を登録する。そして顔認証装置１００は、ミラーサイネージ４００から、サーバ２００を介して、ミラーサイネージ４００の前に立ったユーザの撮影画像を取得し、撮影画像中の顔領域を用いた顔認証を実行する。そして顔認証装置１００は、照合結果（顔認証結果）をサーバ２００へ返信する。

　図４は、実施形態２にかかるミラーサイネージ４００の構成を示すブロック図である。ミラーサイネージ４００は、ミラーの一例としてハーフミラー４１０と、表示装置４２０と、カメラ４４０とを有する。

　ハーフミラー４１０は、ハーフミラーである。しかしこれに代えてハーフミラー４１０は、その他のビームスプリッタであってもよい。ハーフミラー４１０は、前方に位置するユーザＵ側の光の少なくとも一部を反射するため、鏡として機能する。これによりユーザＵは自分の姿を確認することができる。またハーフミラー４１０は、背面側に設けられた表示装置４２０からの光の少なくとも一部を透過させるため、ユーザＵは表示装置４２０に映された表示情報を閲覧することができる。

　カメラ４４０は、表示装置４２０に接続されている。例えばカメラ４４０は、ハーフミラー４１０の上部に設けられ、ハーフミラー４１０の前方の風景を撮影できるように設置されている。ユーザＵがハーフミラー４１０の前に立っている場合は、撮影画像にユーザＵの少なくとも顔を含む身体領域が含まれる。カメラ４４０は、撮影画像を表示装置４２０に供給する。

　表示装置４２０は、液晶ディスプレイ又は有機ＥＬディスプレイ等の表示部を含む装置である。また表示装置４２０は、表示部を有するタブレット端末であってもよい。表示装置４２０は、ハーフミラー４１０の背面側に設けられる。表示装置４２０は、ネットワークＮを介してサーバ２００から受信した表示情報を表示する。また表示装置４２０は、カメラ４４０から取得した、ハーフミラー４１０の前方に位置するユーザＵの撮影画像を左右に回転させて表示することで、ミラーサイネージ４００を鏡として機能させてもよい。表示装置４２０は、ハーフミラー４１０の全体の領域に配置されていてもよいし、ハーフミラー４１０の上部の領域に配置されていてもよい。例えば表示装置４２０は、ハーフミラー４１０の下から１００ｃｍより上の領域に配置されており、概ね、身体の上半身部分に表示情報が表示されるようにしてよい。また表示装置４２０は、ハーフミラー４１０の下から１８０ｃｍより上の領域に配置されており、頭部の付近に表示情報が表示されるようにしてもよい。

　表示装置４２０は、表示部の他に、ネットワークＮとの通信インタフェースである通信部（不図示）と、表示装置４２０が有するハードウェアの制御を行う制御部（不図示）とを含んでよい。

　図５は、実施形態２にかかる顔認証装置１００の構成を示すブロック図である。顔認証装置１００は、顔情報ＤＢ（DataBase）１１０と、顔検出部１２０と、特徴点抽出部１３０と、登録部１４０と、認証部１５０とを備える。顔情報ＤＢ１１０は、ユーザＩＤ１１１と当該ユーザＩＤの顔特徴情報１１２とを対応付けて記憶する。顔特徴情報１１２は、顔画像から抽出された特徴点の集合であり、顔情報の一例である。尚、顔認証装置１００は、顔特徴情報１１２の登録ユーザからの要望に応じて、顔特徴ＤＢ１１０内の顔特徴情報１１２を削除してもよい。または、顔認証装置１００は、顔特徴情報１１２の登録から一定期間経過後に削除してもよい。

　顔検出部１２０は、顔情報を登録するための登録画像に含まれる顔領域を検出し、特徴点抽出部１３０に供給する。特徴点抽出部１３０は、顔検出部１２０が検出した顔領域から特徴点を抽出し、登録部１４０に顔特徴情報を供給する。また、特徴点抽出部１３０は、サーバ２００から受信した撮影画像に含まれる特徴点を抽出し、認証部１５０に顔特徴情報を供給する。

　登録部１４０は、顔特徴情報の登録に際して、ユーザＩＤ１１１を新規に発行する。登録部１４０は、発行したユーザＩＤ１１１と、登録画像から抽出した顔特徴情報１１２とを対応付けて顔情報ＤＢ１１０へ登録する。認証部１５０は、顔特徴情報１１２を用いた顔認証を行う。具体的には、認証部１５０は、撮影画像から抽出された顔特徴情報と、顔情報ＤＢ１１０内の顔特徴情報１１２との照合を行う。認証部１５０は、顔特徴情報の一致の有無をサーバ２００に返信する。顔特徴情報の一致の有無は、認証の成否に対応する。尚、顔特徴情報が一致する（一致有）とは、一致度が所定値以上である場合をいうものとする。

　図６は、実施形態２にかかる顔情報登録処理の流れを示すフローチャートである。まず、顔認証装置１００は、顔登録要求に含まれるユーザＵの登録画像を取得する（Ｓ２１）。例えば、顔認証装置１００は、顔登録要求を、ユーザ端末３００からユーザ登録要求を受けたサーバ２００から、ネットワークＮを介して受け付ける。尚、顔認証装置１００は、これに限らず、ユーザ端末３００から直接、顔登録要求を受け付けてもよい。次に、顔検出部１２０は、登録画像に含まれる顔領域を検出する（Ｓ２２）。次に、特徴点抽出部１３０は、ステップＳ２２で検出した顔領域から特徴点を抽出し、登録部１４０に顔特徴情報を供給する（Ｓ２３）。最後に、登録部１４０は、ユーザＩＤ１１１を発行し、当該ユーザＩＤ１１１と顔特徴情報１１２とを対応付けて顔情報ＤＢ１１０に登録する（Ｓ２４）。なお、顔認証装置１００は、顔登録要求元から顔特徴情報１１２を受信し、ユーザＩＤ１１１と対応付けて顔情報ＤＢ１１０に登録してもよい。

　図７は、実施形態２にかかる顔認証処理の流れを示すフローチャートである。まず、特徴点抽出部１３０は、認証用の顔特徴情報を取得する（Ｓ３１）。例えば、顔認証装置１００は、サーバ２００からネットワークＮを介して顔認証要求を受信し、顔認証要求に含まれる撮影画像からステップＳ２１からＳ２３のように顔特徴情報を抽出する。または、顔認証装置１００は、サーバ２００から顔特徴情報を受信してもよい。次に、認証部１５０は、取得した顔特徴情報を、顔情報ＤＢ１１０の顔特徴情報１１２と照合する（Ｓ３２）。顔特徴情報が一致した場合、つまり、顔特徴情報の一致度が所定値以上である場合（Ｓ３３でＹｅｓ）、認証部１５０は、顔特徴情報が一致したユーザのユーザＩＤ１１１を特定する（Ｓ３４）。そして認証部１５０は、顔認証に成功した旨と特定したユーザＩＤ１１１とを、顔認証結果としてサーバ２００に返信する（Ｓ３５）。一致する顔特徴情報が存在しない場合（Ｓ３３でＮｏ）、認証部１５０は、顔認証に失敗した旨を、顔認証結果としてサーバ２００に返信する（Ｓ３６）。

　図８は、実施形態２にかかるユーザ端末３００の構成を示すブロック図である。ユーザ端末３００は、カメラ３１０と、記憶部３２０と、通信部３３０と、表示部３４０と、入力部３５０と、制御部３６０とを備える。
　カメラ３１０は、制御部３６０の制御に応じて撮影を行う撮影装置である。記憶部３２０は、ユーザ端末３００の各機能を実現するためのプログラムが格納される記憶装置である。通信部３３０は、ネットワークＮとの通信インタフェースである。表示部３４０は、表示装置である。入力部３５０は、ユーザからの入力を受け付ける入力装置である。表示部３４０及び入力部３５０は、タッチパネルのように一体的に構成されていてもよい。制御部３６０は、ユーザ端末３００が有するハードウェアの制御を行う。

　図９は、実施形態２にかかるサーバ２００の構成を示すブロック図である。サーバ２００は、記憶部２１０と、メモリ２２０と、通信部２３０と、制御部２４０とを備える。記憶部２１０は、ハードディスク、フラッシュメモリ等の記憶装置である。記憶部２１０は、プログラム２１１と、ユーザＤＢ２１２と、商品ＤＢ２１３とを記憶する。プログラム２１１は、本実施形態２にかかる情報処理方法の処理が実装されたコンピュータプログラムである。

　ユーザＤＢ２１２は、ユーザに関連する情報を記憶する。具体的には、ユーザＤＢ２１２は、ユーザＩＤ２１２１に対応付けて、ユーザ情報２１２２を記憶する。ユーザＩＤ２１２１は、顔情報登録時に顔認証装置１００により発行されるユーザＩＤである。本実施形態２ではユーザ情報２１２２は、ユーザの属性情報を含む。属性情報は、年齢、住所、性別、職業及び年収を含んでよい。またユーザ情報２１２２は、ユーザの肌質又は肌色に関する登録情報又はユーザの利用履歴を含んでもよい。またユーザ情報２１２２は、ユーザのクレジットカード番号等の個人情報を含んでもよい。

　商品ＤＢ２１３は、商品に関する情報を記憶する。具体的には、商品ＤＢ２１３は、商品ＩＤ２１３１に対応付けて、商品情報２１３２を記憶する。商品ＩＤ２１３１は、商品を識別する情報である。商品ＩＤ２１３１は、商品名又は商品の型番であってよい。商品情報２１３２は、商品に関する情報であり、例えばメーカ情報、商品属性、及び商品画像を含んでよい。メーカ情報は、商品を製造販売するメーカのメーカＩＤや、メーカのグループ会社のＩＤであってよい。メーカＩＤ及びグループＩＤは、その名称又は識別番号であってよい。商品属性は、商品の属性情報である。例えば商品属性は、商品の種別（例えばスキンケア若しくはメイクアップの別や、ファンデーション、チーク、又はリップの別）、価格、商品を適用させる部位（例えば、肌、頬又は唇）、又は商品に適している肌質若しくは肌色（例えば、乾燥肌向けや色白向け）を含む。また例えば商品属性は、商品の色情報（例えば、ライトベージュ若しくはオークル等の色名称、又はＲＧＢ情報）や質感情報（例えばマット又は艶あり）を含んでもよい。

　また商品情報２１３２は、その商品の試供品若しくはその商品の注文先情報、又はその商品の購入先情報を含んでよい。注文先情報及び購入先情報は、例えば注文や購入を受け付けるオンラインストアのＵＲＬ（Uniform Resource Locator）を含んでもよい。

　メモリ２２０は、ＲＡＭ（Random Access Memory）等の揮発性記憶装置であり、制御部２４０の動作時に一時的に情報を保持するための記憶領域である。通信部２３０は、ネットワークＮとの通信インタフェースである。

　制御部２４０は、サーバ２００の各構成を制御するプロセッサつまり制御装置である。制御部２４０は、記憶部２１０からプログラム２１１をメモリ２２０へ読み込ませ、プログラム２１１を実行する。これにより、制御部２４０は、登録部２４１、画像取得部２４２、認証制御部２４３、選択部２４４、表示制御部２４５及び応答処理部２４６の機能を実現する。

　登録部２４１は、登録手段とも呼ばれる。登録部２４１は、ユーザ端末３００から登録画像を受信した場合、顔登録要求を顔認証装置１００に送信する。そして登録部２４１は、顔認証装置１００が顔情報を登録し、ユーザＩＤを発行した場合、そのユーザＩＤをユーザＤＢ２１２に登録する。また登録部２４１は、ユーザ端末３００からユーザ登録要求を受信した場合、そのユーザ端末３００が使用するユーザのユーザＩＤに対応付けて、そのユーザのユーザ情報をユーザＤＢ２１２に登録する。

　画像取得部２４２は、画像取得手段とも呼ばれる。画像取得部２４２は、ミラーサイネージ４００から撮影画像を受信した場合、撮影画像を認証制御部２４３に供給する。

　認証制御部２４３は、上述した認証制御部１３の一例である。本実施形態２では認証制御部２４３は、撮影画像から所定サイズ以上の人物領域を検出した場合、以下の認証制御処理を開始する。認証制御部２４３は、認証制御処理において、撮影画像に含まれるユーザＵの顔領域に対する顔認証を制御し、ユーザを特定する。すなわち、認証制御部２４３は、ミラーサイネージ４００から取得した撮影画像について、顔認証装置１００に対して顔認証を行わせる。例えば、認証制御部２４３は、取得した撮影画像を含めた顔認証要求を、ネットワークＮを介して顔認証装置１００へ送信する。尚、認証制御部２４３は、撮影画像からユーザＵの顔領域を抽出し、抽出した画像を顔認証要求に含めてもよい。また認証制御部２４３は、顔領域から顔特徴情報を抽出し、顔特徴情報を顔認証要求に含めてもよい。そして認証制御部２４３は、顔認証装置１００から顔認証結果を受信する。これにより認証制御部２４３は、ユーザのユーザＩＤを特定する。

　選択部２４４は、上述した選択部１４の一例である。
　選択部２４４は、ユーザＤＢ２１２を参照し、ユーザＤＢ２１２において、認証制御部２４３が特定したユーザＩＤに対応付けられたユーザ情報を抽出する。
　そして選択部２４４は、ユーザ情報に基づいて、商品ＤＢ２１３に記憶されている各種メーカの商品から推奨商品を選択する。例えば選択部２４４は、ユーザ情報に含まれる属性情報に基づいて、そのユーザの好み又は志向性を解析する。ユーザ情報に利用履歴が含まれる場合は、解析の基礎に利用履歴を含めてよい。

　そして選択部２４４は、商品ＤＢ２１３を参照し、商品ＤＢ２１３に記憶されている各種メーカの商品から、解析結果に合致した商品属性を有する商品を推奨商品として選択する。ユーザ情報に利用履歴が含まれる場合は、選択の基礎に、商品種別に応じた購入サイクルと、その商品種別の商品の購入履歴とを含ませてよい。例えばユーザＵが３か月前にチークを購入しており、チークの購入サイクルが３か月である場合、商品種別がチークである商品を、優先的に推奨商品として選択してよい。またユーザ情報に肌質又は肌色に関する登録情報が含まれる場合は、選択の基礎に当該登録情報を含めてよい。例えば選択部２４４は、ユーザの肌質又は肌色に適合する商品属性を有する商品を、優先的に推奨商品として選択してよい。

　そして選択部２４４は、選択した推奨商品の商品情報に基づいて、表示情報を生成する。例えば選択部２４４は、選択した推奨商品の商品名、メーカ名及び価格の情報と、商品画像とに基づいて、表示情報を生成する。また例えば商品情報２１３２に注文先情報又は購入先情報が含まれる場合、選択部２４４は、注文先又は購入先を示す表示画像を表示情報として生成してもよい。また選択部２４４は、推奨商品を注文・購入するためのウェブサイトにアクセスして、推奨商品に関する情報を取得し、これに基づいて表示情報を生成してもよい。

　表示制御部２４５は、上述した表示制御部１５の一例である。表示制御部２４５は、選択部２４４が生成した表示情報を、ミラーサイネージ４００に送信し、ミラーサイネージ４００に表示させる。

　応答処理部２４６は、応答処理手段とも呼ばれる。応答処理部２４６は、ミラーサイネージ４００が表示情報を表示したことにより、ユーザＵからの応答があった場合に、応答に応じた処理を実行する。例えば応答に応じた処理は、ユーザの個人情報（クレジットカード番号や住所）を用いた推奨商品の試供品の配送処理、推奨商品の注文処理、決済処理又は配送処理である。

　図１０は、実施形態２にかかるユーザ登録処理の流れの一例を示すシーケンス図である。まずユーザ端末３００は、ユーザＵを撮影し（Ｓ５００）、撮影により生成された登録画像を含むユーザ登録要求を、サーバ２００へ送信する（Ｓ５０１）。そしてサーバ２００の登録部２４１は、受信したユーザ登録要求に含まれる登録画像を、顔登録要求に含ませて、顔認証装置１００に送信する（Ｓ５０２）。そして、顔認証装置１００は、受信した顔登録要求に含まれる登録画像に基づいて、ユーザＵの顔情報（顔特徴情報）を登録する（Ｓ５０３）。そして、顔認証装置１００は、発行したユーザＩＤをサーバ２００に通知する（Ｓ５０４）。また、ユーザ端末３００は、ユーザからユーザ情報の入力を受け付け、ユーザ情報をサーバ２００に送信する（Ｓ５０５）。ここで送信されるユーザ情報は、ユーザの属性情報を含む。サーバ２００の登録部２４１は、通知されたユーザＩＤ及びユーザ情報を、互いに対応付けてユーザＤＢ２１２に登録する（Ｓ５０６）。

　図１１は、実施形態２にかかる情報提供処理の流れの一例を示すシーケンス図である。まずミラーサイネージ４００は、カメラ４４０が撮影したハーフミラー４１０前方の撮影画像を、サーバ２００に送信する（Ｓ５１０）。これによりサーバ２００の画像取得部２４２は、撮影画像を取得する。次にサーバ２００の認証制御部２４３は、撮影画像内に所定サイズ以上の人物領域が含まれるかを判定する人物検出処理を実行する（Ｓ５１１）。ここでは、人物領域が含まれるものとする。そしてサーバ２００の認証制御部２４３は、撮影画像内のユーザＵの顔領域に対する顔認証要求を、顔認証装置１００へ送信する（Ｓ５１２）。このとき認証制御部２４３は、顔認証要求に撮影画像を含めてもよいが、撮影画像から人物領域を切り出した画像を含めてもよい。そして、顔認証装置１００は、受信した顔認証要求に含まれる顔画像内のユーザＵの顔領域について顔認証を行う（Ｓ５１３）。ここでは、顔認証に成功したユーザＩＤがあったものとする。顔認証装置１００は、顔認証に成功した旨及びユーザＩＤを含めた顔認証結果を、サーバ２００へ送信する（Ｓ５１４）。顔認証結果に含まれるユーザＩＤにより、サーバ２００の認証制御部２４３は、ユーザＵを特定する。

　サーバ２００の選択部２４４は、ユーザＤＢ２１２において、ユーザＩＤに対応付けられたユーザ情報を抽出する（Ｓ５１５）。次に選択部２４４は、ユーザ情報に基づいて、商品ＤＢ２１３に記憶される商品から、推奨商品を選択する（Ｓ５１６）。次に選択部２４４は、推奨商品の商品情報の少なくとも一部に基づいて、推奨商品に関する表示情報を生成する（Ｓ５１７）。

　次にサーバ２００の表示制御部２４５は、表示情報をミラーサイネージ４００に送信する（Ｓ５１８）。これによりミラーサイネージ４００の表示装置４２０は、表示情報を表示する（Ｓ５１９）。

　図１２は、実施形態２にかかるミラーサイネージ４００の表示装置４２０の表示の一例を示す図である。表示装置４２０の表示部には、表示情報Ｃ１と表示情報Ｃ２とが表示されている。表示情報Ｃ１は、推奨商品のメーカ名、商品種別及び商品画像を含んでいる。表示情報Ｃ２は、試供品の配送の申し込み用ウェブサイトのＵＲＬを示すＱＲコード（登録商標）を含んでいる。ユーザＵはユーザ端末３００を用いてＱＲコードを読み取り、試供品の配送を要求することができる。試供品の配送の要求は、応答処理部２４６が受け付けることができる。要求を受けた応答処理部２４６は、ユーザＤＢ２１２において、ユーザＩＤに対応付けられた住所の情報を用いて、試供品の配送処理を行ってよい。したがってユーザが、試供品の配送の要求のために住所を入力する必要はない。

　尚、表示装置４２０は、カメラ４４０が取得したユーザＵの撮影画像を左右反転して表示してもよい。しかしハーフミラー４１０によりユーザＵの姿がミラーサイネージ４００上に映っているため、表示装置４２０は、ユーザＵの撮影画像を表示しなくてもよい。

　このように実施形態２によれば、サーバ２００は、ユーザがミラーを使用することに伴って顔認証を行って本人確認を実施し、ユーザにパーソナライズした推奨商品の情報を提供する。ユーザは、推奨商品の情報を得るために、意図的にログインする等の特別の意図及び操作を要しない。またサーバ２００は、事前に登録されたユーザ情報（ユーザ情報が利用履歴である場合は、事前に収集されたユーザ情報）に基づいて推奨商品を選択するため、ユーザは、その場で入力する等の特別な操作を要しない。したがってユーザは、身だしなみを整えるついでや、ちょっとした待ち時間に、手軽に自分に合った商品の情報を獲得することができる。これによって販促効果を高めることができる。

　尚、実施形態２は、以下のように変形を加えることも可能である。

　例えば商品が化粧品の場合、表示制御部２４５は、表示情報を、ユーザＵの顔の部位の位置に応じた表示態様で、ミラーサイネージ４００の表示装置４２０に出力させてよい。表示態様は、一例として表示位置である。表示位置については、選択部２４４が、商品ＤＢ２１３に記憶される推奨商品の種別（例えばファンデーション、リップ又はチーク）又は商品を適用させる部位の情報と、撮影画像に含まれるユーザＵの顔の部位の位置とに基づいて決定してよい。

　図１３は、実施形態２にかかるミラーサイネージ４００の表示装置４２０の表示の一例を示す図である。例えば推奨商品の種別がチークである場合、表示位置は、撮影画像に含まれるユーザＵの頬に対応する位置である。サーバ２００から表示情報及び表示位置の情報を受信した表示装置４２０は、表示位置の情報に基づいて、ミラーサイネージ４００上のユーザＵの頬に対応付けて表示情報Ｃ３を表示する。図１３では、表示情報Ｃ３は、推奨商品のメーカ名、商品種別及び商品画像を含んでいる。

　尚、表示情報は、ユーザＵが推奨商品を使用した場合のシミュレーション画像であってもよい。このとき商品ＤＢ２１３には、商品ＩＤに対応付けて、シミュレーション画像を生成するためのスタイルデータが記憶される。例えばスタイルデータは、その商品の色情報又は質感情報を含む。

　選択部２４４は、シミュレーション画像を生成するために、推奨商品のスタイルデータを商品ＤＢ２１３から読み出す。そして選択部２４４は、ユーザＵの撮影画像とスタイルデータとに基づいて、撮影画像に含まれるユーザＵの顔の部位の位置に、推奨商品を適用させた場合のシミュレーション画像を生成する。そして表示制御部２４５は、シミュレーション画像を表示情報として、ミラーサイネージ４００に送信し、表示させる。

　図１４は、実施形態２にかかるミラーサイネージ４００の表示装置４２０の表示の一例を示す図である。表示装置４２０には、メーカ名及び商品種別を含む表示情報Ｃ４と、購入先ウェブサイトのＵＲＬを示すＱＲコードを含む表示情報Ｃ５と、シミュレーション画像Ｃ６とが表示されている。シミュレーション画像Ｃ６は、ユーザＵの撮影画像を含んでもよいが、含まなくてもよい。例えばシミュレーション画像Ｃ６は、チークを使用した場合の頬部の画像であってもよい。この場合、ハーフミラー４１０上に映るユーザの姿に頬部のシミュレーション画像Ｃ６が表示される。

　尚、ユーザＵはユーザ端末３００を用いてＱＲコードを読み取り、注文及び決済をすることができる。注文及び決済は、応答処理部２４６が行うことができる。応答処理部２４６は、ユーザＤＢ２１２において、ユーザＩＤに対応付けられたクレジットカード番号を用いて注文及び決済処理を行ってよい。また応答処理部２４６は、ユーザＩＤに対応付けられた住所の情報を用いて、商品の配送処理を行ってよい。したがってユーザが、注文、決済及び配送のためにクレジットカード番号や住所を入力する必要はない。

　また表示装置４２０には、上述した表示情報だけでなく、商品提供元の広告を表示してもよい。例えばサーバ２００の表示制御部２４５は、ミラーサイネージ４００に商品提供元の広告データを送信し、広告データを表示装置４２０に表示させてよい。

　＜実施形態３＞
　次に、本開示の実施形態３について説明する。実施形態３は、サーバが、ユーザからの操作を検出し、操作に応じた処理を実行することに特徴を有する。

　図１５は、実施形態３にかかるサーバ２００ａの構成を示すブロック図である。サーバ２００ａは、サーバ２００と基本的に同様の構成及び機能を有する。ただしサーバ２００ａは、記憶部２１０及び制御部２４０に代えて、記憶部２１０ａ及び制御部２４０ａを備える点でサーバ２００と異なる。

　記憶部２１０ａは、プログラム２１１に代えてプログラム２１１ａと、ユーザＤＢ２１２に代えてユーザＤＢ２１２ａとを記憶する。プログラム２１１ａは、実施形態３にかかる情報処理方法の処理が実装されたコンピュータプログラムである。

　ユーザＤＢ２１２ａは、ユーザＩＤ２１２１に対応付けて、さらに操作履歴２１２３及び特典情報２１２４を記憶する点でユーザＤＢ２１２と異なる。操作履歴２１２３は、ユーザが、表示に応答して行った操作の履歴である。特典情報２１２４は、ユーザが獲得した特典に関する情報である。特典情報２１２４は、例えば付与されたポイント、クーポン、又は試供品の配送限度回数の拡大に関する情報であってよい。また特典情報２１２４は、特典の有効期限情報を含んでもよい。

　制御部２４０ａは、表示制御部２４５及び応答処理部２４６に代えて、表示制御部２４５ａ及び応答処理部２４６ａを含む点で、制御部２４０と異なる。

　応答処理部２４６ａは、応答処理部２４６の機能の他に、ユーザによる操作を検出し、操作に応じた処理を実行する。このような処理を実行するために、応答処理部２４６ａは、例えば操作検出部２４７、操作記録部２４８及び特典付与部２４９を含んでよい。

　操作検出部２４７は、操作検出手段とも呼ばれる。操作検出部２４７は、ミラーサイネージ４００が表示情報を表示した場合のユーザＵの撮影画像から、ユーザによる操作を検出する。例えば操作検出部２４７は、撮影画像から、ユーザＵが表示情報に含まれる操作領域に手をかざしたことや指をさしたことを検出した場合に、選択操作が行われたと認識してよい。また操作検出部２４７は、予め定められたジェスチャ（例えば指を右から左に動かす等のフィンガージェスチャ）を撮影画像から検出した場合に、そのジェスチャに対応して定められる処理の実行を受け付けてもよい。

　そして応答処理部２４６ａは、操作に応じた処理を実行する。例えばシミュレーション画像の表示を要求する旨の操作に対しては、応答処理部２４６ａは、ユーザが推奨商品を使用した場合のシミュレーション画像を生成し、シミュレーション画像を表示制御部２４５ａに供給する。シミュレーション画像の生成方法については、実施形態２で説明した方法と同様であってよい。また操作によっては、応答処理部２４６ａは、上述で説明した、ＱＲコードを読み取ったユーザ端末３００から受け付けた処理と同様の処理を行ってよい。例えば試供品の配送、又は推奨商品の注文、決済若しくは配送を要求する操作については、操作に応じた処理は、ユーザの個人情報（クレジットカード番号や住所）を用いた推奨商品の試供品の配送処理、推奨商品の注文処理、決済処理又は配送処理である。

　操作記録部２４８は、操作記録手段とも呼ばれる。操作記録部２４８は、操作履歴をユーザＩＤに対応付けてユーザＤＢ２１２ａに記録する。例えば操作記録部２４８は、操作日及び操作種別を、操作履歴としてユーザＤＢ２１２ａに記録する。このとき操作記録部２４８は、総操作回数又は操作種別毎の操作回数若しくは操作頻度を算出し、操作履歴に含めて記録してよい。また操作記録部２４８は、操作に関連する推奨商品のメーカ情報を、操作履歴に含めて記録してもよい。

　特典付与部２４９は、特典付与手段とも呼ばれる。特典付与部２４９は、操作履歴に応じた特典を、ユーザＵに対して付与する。例えば特典付与部２４９は、所定のタイミングでユーザＤＢ２１２ａに記憶される操作履歴を読み出す。そして特典付与部２４９は総操作回数、所定の操作種別の操作回数（例えばお試し回数や購入回数）、又は試した若しくは購入した商品のメーカの数が多いほど、ユーザＵに多くの特典を付与する。ここで、試すとは、シミュレーション画像の表示を要求することであってもよいし、試供品の配送を要求することであってもよい。特典を付与することで、ユーザＵにシミュレーションや試供品の配送を促すことができる。ここで、シミュレーションや試供品の配送の回数が多いほど、実際の商品を試す機会が増えるため、購買意欲が高くなり、購入につながる可能性が高くなる。したがって、特典を付与することで、結果的に商品の購入を促すことができる。

　表示制御部２４５ａは、操作に応じた処理の結果をミラーサイネージ４００に送信し、表示装置４２０に表示させる。

　図１６は、実施形態３にかかる情報提供処理の流れの変形例を示すシーケンス図である。まず情報処理システム１０００は、Ｓ５１０～Ｓ５１８と同様の処理を実行する。これによりミラーサイネージ４００の表示装置４２０には推奨商品に関連する表示情報が表示される（Ｓ５１９）。

　次にミラーサイネージ４００のカメラ４４０は、表示情報の表示中のユーザＵを撮影し（Ｓ５３０）、撮影画像をサーバ２００ａに送信する。サーバ２００ａの応答処理部２４６ａの操作検出部２４７は、撮影画像からユーザＵの操作を検出する（Ｓ５３２）。次に応答処理部２４６ａは、操作に応じた処理を実行する（Ｓ５３３）。次に応答処理部２４６ａの操作記録部２４８は、操作履歴をユーザＩＤに対応付けて、ユーザＤＢ２１２ａに記録する（Ｓ５３４）。そして応答処理部２４６ａの特典付与部２４９は、ユーザに対してユーザＤＢ２１２ａの操作履歴２１２３に応じた特典を付与し、特典情報をユーザＩＤに対応付けてユーザＤＢ２１２ａに記録する（Ｓ５３５）。

　尚、Ｓ５３５に示す特典付与処理は、操作履歴が更新される度に行われてもよいし、更新された操作履歴が所定量蓄積された場合に行われてもよい。また特典付与処理は、定期的に行われてもよい。

　ここでＳ５１９における表示情報の表示後、ユーザＵがシミュレーション画像の表示（いわゆるバーチャルお試し）を希望した場合について説明する。この場合、サーバ２００ａは、図１７に示す撮影画像５００を取得する。
　図１７は、実施形態３にかかる撮影画像５００の一例を示す図である。現在ミラーサイネージ４００の表示装置４２０には、推奨商品のメーカ名及び商品種別を含む表示情報Ｃ６と、推奨商品に関連する操作領域である表示情報Ｃ７とが表示されている。図１７では、表示情報Ｃ７は、バーチャルお試しを要求するための操作領域であるが、これに限らない。例えば表示情報Ｃ７は、推奨商品の詳細な商品情報の閲覧を要求するための操作領域であってもよいし、推奨商品のウェブサイト又はＥＣサイトへのアクセスを要求するための操作領域であってもよい。尚、図１７では説明のため現在表示中の表示画像Ｃ６～Ｃ７が示されているが、これらは撮影画像５００には含まれない。

　サーバ２００ａの応答処理部２４６ａの操作検出部２４７は、撮影画像５００中のユーザの手Ｈ又は指Ｆの位置と、表示装置４２０に表示された表示情報Ｃ７の表示位置とに基づいて、操作を検出する。例えば操作検出部２４７は、撮影画像５００中のユーザの手Ｈ又は指Ｆの位置と、表示装置４２０に表示された表示情報Ｃ７の表示位置との距離が所定閾値未満であった場合に、表示情報Ｃ７の選択操作がなされたと判定してよい。

　本例では、操作検出部２４７が選択操作を検出すると、応答処理部２４６ａは、選択操作に応じた処理としてシミュレーション画像の生成処理を実行する。そして表示制御部２４５ａは、シミュレーション画像をミラーサイネージ４００に送信して表示装置４２０に表示させる。これにより表示装置４２０には、上述した図１４と同様の表示がなされる。

　このように実施形態３によれば、サーバ２００ａは、画像解析により、ユーザＵの簡単な動作を操作として検出するため、ユーザが推奨商品に興味を示した場合、手軽に操作して、試供品や推奨商品自体を注文したり、決済したりすることができる。しかも操作はタッチレスで完結するため、衛生的である。尚、ミラーサイネージ４００がタッチパネルとなっており、タッチ操作を検出できるようになっていても、手軽に操作できるという点で効果を奏する。

　尚、実施形態３は、以下のように変形を加えることも可能である。
　例えばミラーサイネージ４００がデパートの化粧品売り場の一角に設けられている場合、応答処理部２４６ａは、ユーザＵの操作に応じた処理として、操作対象となる推奨商品の売り場を示す案内データを生成してよい。そして表示制御部２４５は案内データをミラーサイネージ４００に送信し、表示装置４２０に表示させてよい。これによりユーザＵが店員による接客やその他の人との接触を避けたい場合でも、複数の店舗の複数の商品を事前に試した上で、商品を決め、売り場に直行することができる。したがって購入を効果的に促すことができる。

　また上述の説明では、特典付与部２４９は、操作履歴に応じた特典、例えば「シミュレーション」又は「試供品の配送」の回数に応じた特典を、ユーザＵに対して付与するとした。このとき表示制御部２４５は、現在の「シミュレーション」又は「試供品の配送」の回数をミラーサイネージ４００に送信し、表示装置４２０に表示させてよい。
　図１８は、実施形態３にかかるミラーサイネージ４００の表示装置４２０の表示の一例を示す図である。図１８の表示装置４２０には、表示情報Ｃ８が表示されている。表示情報Ｃ８は、現在のお試しの回数を示している。また表示情報Ｃ８は、あと何回のお試しで、特典が付与されるかという情報を示してもよい。本図では特典は、クーポン券である。

　また特典付与部２４９は、顔認証履歴に応じた特典を、ユーザＵに対して付与してもよい。例えば特典付与部２４９は、所定期間あたりの顔認証回数（すなわちログイン回数）が多いほど、多くの特典をユーザＵに付与してよい。

　また特典付与部２４９は、操作履歴に応じた特典を、商品の提供元に対して付与してもよい。提供元とは、例えばメーカ又は販売店である。この場合、サーバ２００ａの操作記録部２４８は、推奨商品の提供元毎に、その推奨商品に関連するユーザの操作回数をカウントし、特典付与部２４９は、推奨商品の提供元毎に、その提供元の操作回数に応じた特典を、その提供元に対して付与してよい。一例として特典付与部２４９は、提供元の操作回数が多いほど、提供元に対して多くの特典を付与してよい。提供元に対する特典は、提供元の商品を登録するための手数料を軽減することであってよい。また表示装置４２０に提供元の広告を表示可能な場合は、提供元に対する特典は、表示する提供元の広告の量を増やしたり、広告料を軽減させることであってもよい。

　またミラーの利用シーンやユーザＵの気分・状況に合わせてレコメンドの制御モードを切り替えることが可能であってもよい。例えばユーザＵが操作により制御モードを選択したことに応じて、サーバ２００ａは、レコメンドの制御モードを、選択された制御モードに切り替えてよい。

　図１９は、実施形態３にかかる撮影画像５００の一例を示す図である。例えば現在ミラーサイネージ４００の表示装置４２０には、ビジネスモードを選択するための操作領域Ｉ－１と、カジュアルモードを選択するための操作領域Ｉ－２とが表示されている。尚、図１７では説明のため現在表示中の操作領域Ｉ－１，Ｉ－２が示されているが、これらは撮影画像５００には含まれない。

　サーバ２００ａの応答処理部２４６ａの操作検出部２４７は、撮影画像５００中のユーザの手Ｈ又は指Ｆの位置と、表示装置４２０に表示された各操作領域Ｉ－１，Ｉ－２の表示位置とに基づいて、選択操作を検出する。そしてサーバ２００の選択部２４４は、ユーザ情報と、選択された制御モードの種別とに基づいて、推奨商品を選択する。本例では、ユーザＵはビジネスモードを選択している。したがって例えば選択部２４４は、商品ＤＢ２１３に記憶される商品から、ユーザ情報から得られるユーザの好み、志向性、肌質又は肌色等に適合する商品属性であり、かつビジネス向きの商品属性を有する商品を、推奨商品として選択してよい。

　これによりミラーの利用シーンやユーザＵの気分・状況に合ったレコメンドが実現できる。したがってユーザＵの満足度をより高めることができるため、販促効果が向上できる。尚、制御モードの設定は、ユーザＵの選択操作を必須とはせず、例えばミラーサイネージ４００（表示装置４２０）の設置場所又は顔認証の日時に応じて予め設定されていてもよい。一例として選択部２４４は、ミラーサイネージ４００がオフィスビルに設置されている場合、ビジネス向けの商品を推奨商品として優先的に選択し、商業施設に設置されている場合、カジュアルスタイルの商品を推奨商品として優先的に選択してよい。また一例として選択部２４４は、顔認証が平日の昼間である場合、ビジネス向けの商品を推奨商品として優先的に選択し、顔認証が休日である場合、カジュアルスタイルの商品を推奨商品として優先的に選択してよい。これによってもユーザＵの満足度の向上及び販促効果の向上を奏することができる。

　上述の実施形態では、ハードウェアの構成として説明したが、これに限定されるものではない。本開示は、任意の処理を、プロセッサにコンピュータプログラムを実行させることにより実現することも可能である。

　上述の例において、プログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disc（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。

　尚、本開示は上記実施形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば上述の実施形態では、選択部２４４はユーザ情報から推定される好み、志向性、又は肌質若しくは肌色に応じた商品属性を有する推奨商品を選択するとした。しかし選択部２４４は、これに限らず、ユーザ情報に基づいてパーソナルカラーを推定し、パーソナルカラーに適合する商品属性を有する推奨商品を選択してもよい。このような構成をとることで、ユーザＵのパーソナルカラーを反映させたレコメンドが可能となり、ユーザＵに対して推奨商品が特別であるとの印象を与えることが可能となる。その結果、販促効果が向上する。

　また例えば選択部２４４は、顔認証用の撮影画像から把握できる、その日のユーザＵの顔色、服装、又は髪型等の外観の特徴を、推奨商品の選択の基礎に加えてよい。すなわち選択部２４４は、顔認証に成功した場合、ユーザ情報に基づいて推定される好み、志向性の特徴、肌質若しくは肌色の情報と、顔認証用の撮影画像に基づいて推定される外観の特徴とに基づいて、推奨商品を選択する。また選択部２４４は、外観の特徴に基づいて、上述したパーソナルカラーを診断してもよい。このような構成をとることで、当日の外観を考慮したレコメンドが可能となり、ユーザＵに対して推奨商品が特別であるとの印象を与えることが可能となる。その結果、販促効果が向上する。

　また上述の実施形態では、顔認証機能を顔認証装置１００が有していたが、顔認証装置１００に代えて又は加えて、サーバ２００，２００ａが顔認証機能を有してもよい。

　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　　　（付記１）
　ユーザがミラーの前に位置した場合、前記ユーザの少なくとも顔が撮影された撮影画像から抽出された顔特徴情報と、予め登録された複数の人物の顔特徴情報との間の照合結果を取得する認証制御手段と、
　前記照合結果が、顔認証が成功したことを示す場合、予め登録された前記ユーザに関連するユーザ情報に基づいて、複数の商品から少なくとも１つの商品を推奨商品として選択する選択手段と、
　前記推奨商品に関連する表示情報を、前記ミラーに対応付けて設けられる表示装置に出力する表示制御手段と
　を備える情報処理装置。
　　　（付記２）
　前記ミラーはハーフミラーであり、
　前記表示装置は、前記ミラーの背面側に設けられる
　付記１に記載の情報処理装置。
　　　（付記３）
　前記ユーザによる操作を検出し、前記操作に応じた処理を実行する応答処理手段を備え、
　前記表示制御手段は、前記操作に応じた処理の結果を前記表示装置に出力する
　付記１又は２に記載の情報処理装置。
　　　（付記４）
　前記操作に応じた処理は、前記ユーザの、予め登録された個人情報を用いた前記推奨商品の試供品の配送処理、前記推奨商品の注文処理、決済処理又は配送処理である
　付記３に記載の情報処理装置。
　　　（付記５）
　前記操作に応じた処理は、前記ユーザが前記推奨商品を使用した場合のシミュレーション画像を生成する処理であり、
　前記表示制御手段は、前記シミュレーション画像を前記表示装置に出力する
　付記３又は４に記載の情報処理装置。
　　　（付記６）
　前記応答処理手段は、前記撮影画像中の前記ユーザの手又は指の位置と、前記表示装置に表示された、前記推奨商品に関連する操作領域の表示位置とに基づいて、前記操作を検出する
　付記３から５のいずれか一項に記載の情報処理装置。
　　　（付記７）
　前記操作の履歴に応じた特典を、前記ユーザに対して付与する特典付与手段を備える
　付記３から６のいずれか一項に記載の情報処理装置。
　　　（付記８）
　推奨商品の提供元毎に、その推奨商品に関連する前記ユーザの操作回数をカウントする操作記録手段と、
　推奨商品の提供元毎に、その提供元の前記操作回数に応じた特典を、その提供元に対して付与する特典付与手段と
　を備える付記３から６のいずれか一項に記載の情報処理装置。
　　　（付記９）
　前記表示制御手段は、前記推奨商品の種別と、前記撮影画像に含まれる前記ユーザの前記顔の部位の位置とに基づいて決定された表示態様により、前記表示情報を前記表示装置に出力する
　付記１から８のいずれか一項に記載の情報処理装置。
　　　（付記１０）
　前記選択手段は、前記ユーザ情報と、制御モードの種別とに基づいて、複数の商品から少なくとも１つの商品を、前記推奨商品として選択する
　付記１から９のいずれか一項に記載の情報処理装置。
　　　（付記１１）
　前記顔認証に成功した場合、前記選択手段は、前記ユーザ情報と、前記撮影画像に基づいて推定される外観の特徴とに基づいて、前記推奨商品を選択する
　付記１から１０のいずれか一項に記載の情報処理装置。
　　　（付記１２）
　情報処理装置と、
　顔認証装置と
　を備え、
　前記情報処理装置は、
　ユーザがミラーの前に位置した場合、前記ユーザの少なくとも顔が撮影された撮影画像から抽出された顔特徴情報と、予め登録された複数の人物の顔特徴情報との間の照合結果を、前記顔認証装置から取得する認証制御手段と、
　前記照合結果が、顔認証が成功したことを示す場合、予め登録された前記ユーザに関連するユーザ情報に基づいて、複数の商品から少なくとも１つの商品を推奨商品として選択する選択手段と、
　前記推奨商品に関連する表示情報を、前記ミラーに対応付けて設けられる表示装置に出力する表示制御手段と
　を有する
　情報処理システム。
　　　（付記１３）
　前記表示装置をさらに備える
　付記１２に記載の情報処理システム。
　　　（付記１４）
　ユーザがミラーの前に位置した場合、前記ユーザの少なくとも顔が撮影された撮影画像から抽出された顔特徴情報と、予め登録された複数の人物の顔特徴情報との間の照合結果を取得し、
　前記照合結果が、顔認証が成功したことを示す場合、予め登録された前記ユーザに関連するユーザ情報に基づいて、複数の商品から少なくとも１つの商品を、推奨商品として選択し、
　前記推奨商品に関連する表示情報を、前記ミラーに対応付けて設けられる表示装置に出力する
　情報処理方法。
　　　（付記１５）
　ユーザがミラーの前に位置した場合、前記ユーザの少なくとも顔が撮影された撮影画像から抽出された顔特徴情報と、予め登録された複数の人物の顔特徴情報との間の照合結果を取得する手順と、
　前記照合結果が、顔認証が成功したことを示す場合、予め登録された前記ユーザに関連するユーザ情報に基づいて、複数の商品から少なくとも１つの商品を推奨商品として選択する手順と、
　前記推奨商品に関連する表示情報を、前記ミラーに対応付けて設けられる表示装置に出力する手順と
　をコンピュータに実行させるためのプログラムが格納された非一時的なコンピュータ可読媒体。

　１０　情報処理装置
　１３，２４３　認証制御部
　１４，２４４　選択部
　１５，２４５，２４５ａ　表示制御部
　１００　顔認証装置
　１１０　顔情報ＤＢ
　１１１　ユーザＩＤ
　１１２　顔特徴情報
　１２０　顔検出部
　１３０　特徴点抽出部
　１４０　登録部
　１５０　認証部
　２００，２００ａ　情報処理装置（サーバ）
　２１０　記憶部
　２１１　プログラム
　２１２，２１２ａ　ユーザＤＢ
　２１２１　ユーザＩＤ
　２１２２　ユーザ情報
　２１２３　操作履歴
　２１２４　特典情報
　２１３　商品ＤＢ
　２１３１　商品ＩＤ
　２１３２　商品情報
　２２０　メモリ
　２３０　通信部
　２４０，２４０ａ　制御部
　２４１　登録部
　２４２　画像取得部
　２４６，２４６ａ　応答処理部
　２４７　操作検出部
　２４８　操作記録部
　２４９　特典付与部
　３００　ユーザ端末
　３１０　カメラ
　３２０　記憶部
　３３０　通信部
　３４０　表示部
　３５０　入力部
　３６０　制御部
　４００　ミラーサイネージ
　４１０　ハーフミラー
　４２０　表示装置
　４３０　制御装置
　４３１　記憶部
　４３２　通信部
　４３３　制御部
　４４０　カメラ
　５００　撮影画像
　１０００　情報処理システム
　Ｕ　ユーザ

Claims (15)

1. 　ユーザがミラーの前に位置した場合、前記ユーザの少なくとも顔が撮影された撮影画像から抽出された顔特徴情報と、予め登録された複数の人物の顔特徴情報との間の照合結果を取得する認証制御手段と、
   　前記照合結果が、顔認証が成功したことを示す場合、予め登録された前記ユーザに関連するユーザ情報に基づいて、複数の商品から少なくとも１つの商品を推奨商品として選択する選択手段と、
   　前記推奨商品に関連する表示情報を、前記ミラーに対応付けて設けられる表示装置に出力する表示制御手段と
   　を備える情報処理装置。
2. 　前記ミラーはハーフミラーであり、
   　前記表示装置は、前記ミラーの背面側に設けられる
   　請求項１に記載の情報処理装置。
3. 　前記ユーザによる操作を検出し、前記操作に応じた処理を実行する応答処理手段を備え、
   　前記表示制御手段は、前記操作に応じた処理の結果を前記表示装置に出力する
   　請求項１又は２に記載の情報処理装置。
4. 　前記操作に応じた処理は、前記ユーザの、予め登録された個人情報を用いた前記推奨商品の試供品の配送処理、前記推奨商品の注文処理、決済処理又は配送処理である
   　請求項３に記載の情報処理装置。
5. 　前記操作に応じた処理は、前記ユーザが前記推奨商品を使用した場合のシミュレーション画像を生成する処理であり、
   　前記表示制御手段は、前記シミュレーション画像を前記表示装置に出力する
   　請求項３又は４に記載の情報処理装置。
6. 　前記応答処理手段は、前記撮影画像中の前記ユーザの手又は指の位置と、前記表示装置に表示された、前記推奨商品に関連する操作領域の表示位置とに基づいて、前記操作を検出する
   　請求項３から５のいずれか一項に記載の情報処理装置。
7. 　前記操作の履歴に応じた特典を、前記ユーザに対して付与する特典付与手段を備える
   　請求項３から６のいずれか一項に記載の情報処理装置。
8. 　推奨商品の提供元毎に、その推奨商品に関連する前記ユーザの操作回数をカウントする操作記録手段と、
   　推奨商品の提供元毎に、その提供元の前記操作回数に応じた特典を、その提供元に対して付与する特典付与手段と
   　を備える請求項３から６のいずれか一項に記載の情報処理装置。
9. 　前記表示制御手段は、前記推奨商品の種別と、前記撮影画像に含まれる前記ユーザの前記顔の部位の位置とに基づいて決定された表示態様により、前記表示情報を前記表示装置に出力する
   　請求項１から８のいずれか一項に記載の情報処理装置。
10. 　前記選択手段は、前記ユーザ情報と、制御モードの種別とに基づいて、複数の商品から少なくとも１つの商品を、前記推奨商品として選択する
    　請求項１から９のいずれか一項に記載の情報処理装置。
11. 　前記顔認証に成功した場合、前記選択手段は、前記ユーザ情報と、前記撮影画像に基づいて推定される外観の特徴とに基づいて、前記推奨商品を選択する
    　請求項１から１０のいずれか一項に記載の情報処理装置。
12. 　情報処理装置と、
    　顔認証装置と
    　を備え、
    　前記情報処理装置は、
    　ユーザがミラーの前に位置した場合、前記ユーザの少なくとも顔が撮影された撮影画像から抽出された顔特徴情報と、予め登録された複数の人物の顔特徴情報との間の照合結果を、前記顔認証装置から取得する認証制御手段と、
    　前記照合結果が、顔認証が成功したことを示す場合、予め登録された前記ユーザに関連するユーザ情報に基づいて、複数の商品から少なくとも１つの商品を推奨商品として選択する選択手段と、
    　前記推奨商品に関連する表示情報を、前記ミラーに対応付けて設けられる表示装置に出力する表示制御手段と
    　を有する
    　情報処理システム。
13. 　前記表示装置をさらに備える
    　請求項１２に記載の情報処理システム。
14. 　ユーザがミラーの前に位置した場合、前記ユーザの少なくとも顔が撮影された撮影画像から抽出された顔特徴情報と、予め登録された複数の人物の顔特徴情報との間の照合結果を取得し、
    　前記照合結果が、顔認証が成功したことを示す場合、予め登録された前記ユーザに関連するユーザ情報に基づいて、複数の商品から少なくとも１つの商品を、推奨商品として選択し、
    　前記推奨商品に関連する表示情報を、前記ミラーに対応付けて設けられる表示装置に出力する
    　情報処理方法。
15. 　ユーザがミラーの前に位置した場合、前記ユーザの少なくとも顔が撮影された撮影画像から抽出された顔特徴情報と、予め登録された複数の人物の顔特徴情報との間の照合結果を取得する手順と、
    　前記照合結果が、顔認証が成功したことを示す場合、予め登録された前記ユーザに関連するユーザ情報に基づいて、複数の商品から少なくとも１つの商品を推奨商品として選択する手順と、
    　前記推奨商品に関連する表示情報を、前記ミラーに対応付けて設けられる表示装置に出力する手順と
    　をコンピュータに実行させるためのプログラムが格納された非一時的なコンピュータ可読媒体。

Images