JP6470438B1 - ミラー装置及びプログラム - Google Patents

Abstract

【課題】ミラーを利用してヘアの施術を行う美容室などにおいて、ユーザにカスタマイズされたヘアパターンのイメージを利用して、ヘアの施術をオーダーすることを可能とする技術を提供する。
【解決手段】制御部１２１は、ヘアパターンＨＰの選択がなされたことを検知すると（ステップＳ１００Ｅ；ＹＥＳ）、選択されたヘアパターンＨＰをユーザの顔（具体的には、ユーザの顔を撮像した撮像画像）に重畳し、ディスプレイパネル１０２の右側に表示する（ステップＳ２００Ｅ）。制御部１２１は、ユーザ等によってヘア画像Ｈを拡大する操作がなされると、ヘア画像Ｈの調整操作に基づきヘア画像Ｈを加工し、加工したヘア画像Ｈをディスプレイパネル１０２に表示する（ステップＳ５００Ｅ）。
【選択図】図１５

Description

本発明は、美容室やフィットネス、アパレル関連施設など、ミラーを利用する各種施設で用いて好適なミラー装置及びプログラムに関する。

美容室などでは、着席した個々の利用者の正面に大型の鏡が据え付けられているのが一般的である。各利用者は、自分の理想の髪型を口頭で美容師に伝える。各利用者は、美髪を受けている間、鏡を眺めながら美容師と世間話をするか、眠るなどして時間を過ごすことが多い（例えば特許文献１参照）。

特開２００９−２３０５２８号公報

このように、現状の美容室などにおいては、美髪を受けている間、各利用者は椅子に座っている必要がある等の理由から、美容師と世間話をするなどして時間を過ごすことが多く、時間を有効に活用できないという問題があった。
また、別の問題として、各利用者は、自分の理想の髪型（ヘアスタイル）をわかりやすく伝えるために、雑誌の切り抜きなどを美容師に見せることもあるが、ヘアスタイルのモデルとして雑誌に掲載されているのは、あくまで他人であって、そのヘアスタイルがそのまま自分に似合うとは限らない。したがって、利用者のヘアスタイルはイメージ通りにならないことが多く、ヘアの施術に不満が残る、という問題があった。

本発明は、以上説明した事情を鑑みてなされたものであり、美容室などのミラーを利用する各種施設において、単に利用者の姿をミラーに映し出すだけでなく、利用者にとって有益な広告情報をミラーに投影することが可能な広告提供技術を提供することを目的の一つとする。
また、本発明は、ミラーを利用してヘアの施術を行う美容室などにおいて、ユーザにカスタマイズされたヘアパターンのイメージを利用して、ヘアの施術をオーダーすることを可能とする技術を提供することを目的の一つとする。

本発明の一実施形態に係るミラー装置は、表示画面を有するディスプレイパネルと、半透過反射面を有し、半透過反射面の後面が表示画面に対向配置されたハーフミラーと、ハーフミラーにおける半透過反射面の前面に存在する利用者を撮像する撮像部とを備えたミラー装置であって、ヘアパターンを複数記憶する第１記憶部と、利用者によるヘアパターンの選択操作を受け付ける第１入力部と、利用者によるヘアパターンを構成するヘアの調整操作を受け付ける第２入力部と、撮像部によって撮像される利用者の撮像画像に、利用者によって選択されたヘアパターンを重畳して重畳画像を生成し、ディスプレイパネルに表示する生成部と、利用者による調整操作に従って、ヘアパターンを構成するヘアを調整する調整部とを具備することを要旨とする。

本発明によれば、美容室などのミラーを利用する各種施設において、単に利用者の姿をミラーに映し出すだけでなく、利用者にとって有益な広告情報をミラーに投影することが可能となる。
また、本発明によれば、ミラーを利用してヘアの施術を行う美容室などにおいて、ユーザにカスタマイズされたヘアパターンのイメージを利用して、ヘアの施術をオーダーすることが可能となる。

本実施形態に係る広告提供システムの概略構成を示す図である。 ミラー装置の構成を示す図である。 利用者管理テーブルの登録内容を例示した図である。 ミラー装置の動作を示すフローチャートである。 利用者によるミラー装置の操作態様を模式的に示した図である。 利用者によるミラー装置の操作態様を模式的に示した図である。 個人情報の登録処理を示すフローチャートである。 個人情報の更新処理を示すフローチャートである。 広告提供処理を示すフローチャートである。 ミラー装置の表示画面に表示された広告情報を例示した図である。 商材サーバの動作を示すフローチャートである。 商材の購入操作から実際に商材を受け取るまでの流れを模式的に示した図である。 ヘアデザインの調整機能を説明するための模式図である。 ヘアデザインの調整機能を説明するための模式図である。 ヘア調整処理を示すフローチャートである。 ミックス・シミュレーション機能を説明するための模式図である。 ミックス・シミュレーション処理を示すフローチャートである。 ミックス・シミュレーション処理を示すフローチャートである。

以下、本発明の実施形態について図面を参照しつつ詳細に説明する。なお、同一の要素には同一の符号を付し、重複する説明を省略する。

Ａ．本実施形態
Ａ−１．構成
図１は、本実施形態に係る広告提供システム１０００の概略構成を示す図である。広告提供システム１０００は、美容室などの対象施設に設けられたミラー装置１００と、通信ネットワークＮを介してミラー装置１００を利用するユーザ（以下、「利用者」ともいう。）の個人情報を管理する個人情報管理サーバ２００と、利用者等にとって有益と思われる広告情報を提供する広告提供サーバ３００と、利用者に提供するシャンプーやメイク素材などの美容関連商品（以下、「商材」と総称する。）を管理する商材サーバ４００とを備えている。なお、通信ネットワークＮは、ミラー装置１００、個人情報管理サーバ２００、広告提供サーバ３００、商材サーバ４００の間で相互に情報を送受信可能な通信網を含む。通信ネットワークＮは、例えば、インターネット、ＬＡＮ、専用線、電話回線、企業内ネットワーク、移動体通信網、ブルートゥース（登録商標）、ＷｉＦｉ（Wireless Fidelity）、その他の通信回線、それらの組み合わせ等のいずれであってもよく、有線であるか無線であるかを問わない。

＜ミラー装置１００＞
図２は、本実施形態に係るミラー装置１００の構成を示す図である。
図１に示すように、ミラー装置１００は、ハーフミラー１０１、ディスプレイパネル１０２、カメラ１１０、及びコンピュータ１２０を備えて構成されている。

ハーフミラー１０１の後面はディスプレイパネル１０２の表示画面１０３に対向配置されている。ハーフミラー１０１は、例えば、プラスチックやガラス等の平板状透明基材の上に、反射材として、例えば銀やアルミニウムなどの金属膜をスパッタ等により形成したものである。反射材を形成する際には、完全に光を反射するミラーよりも反射材の蒸着量を少なく調整することで、光の一部が透過できる半透過反射面１０１Ｓを形成する。なお、半透過反射面１０１Ｓは、多相膜または単一層膜のいずれで形成してもよく、その製造方法も様々な方法を採用することができる。

ここで、半透過反射面１０１Ｓの前面側からの光は、部分的に反射される一方、半透過反射面１０１Ｓの後面側からの光は、半透過反射面１０１Ｓを介して部分的に前面側へ透過される。従って、ハーフミラー１０１は、例えば、前面側からの外光が強い状態においては通常のミラーとして機能する一方、当該ハーフミラー１０１の後面側に配置された、ディスプレイパネル１０２から表示光が発せられた状態においては、当該ハーフミラー１０１を介して表示光の一例たる様々な映像を投影するディスプレイとして機能することができる。

よって、ハーフミラー１０１の前面に位置する被写体（ここでは利用者）は、ハーフミラー１０１をミラーとして利用することで、自身の姿（すなわち、鏡像）を確認することができるとともに、ハーフミラー１０１をディスプレイとして利用することで、例えばユーザを撮像した撮像画像や、広告情報、様々なコンテンツなどを見ることができる。

ディスプレイパネル１０２は、表示画面１０３を有する既存のパネル状のディスプレイであり、例えば有機ＥＬディスプレイパネルやプラズマディスプレイパネル等の自発光型ディスプレイパネルによって構成される。本実施形態では、スタンドに支持されるタイプのディスプレイパネル１０２を例示するが、壁掛けタイプのディスプレイパネルであってもよい。なお、自発光型のディスプレイパネルの代わりに、バックライト型や反射型のディスプレイパネルを用いてもよい。

カメラ（撮像部）１１０は、例えばＣＣＤ（Charge Coupled Device）イメージセンサまたはＣＭＯＳ(Complementary Metal Oxide Semiconductor)イメージセンサなどを用いたカメラであり、例えばハーフミラー１０１のいずれかの場所に埋め込んで設けられている。カメラ１１０は、ハーフミラー１０１の前面側に位置する利用者の姿（例えば顔）を非接触で撮像する。利用者の撮像画像は、コンピュータ１２０に出力される。

コンピュータ１２０は、ＣＰＵ等を備えた制御部１２１と、光ディスク装置、半導体メモリ、ハードディスク装置等からなる記憶装置１２２と、キーボード、マウス、タッチパネル等からなる入力部１２３と、ＩＳＤＮモデム、ＡＤＳＬモデム、ケーブルモデム、光モデム、ソフトモデム等からなる通信部１２４とを備えている。制御部１２１は、記憶装置１２２に格納された様々のプログラムを実行することにより、コンピュータ１２０の各部を中枢的に制御する。

なお、記憶装置１２２には、事前にカメラ１１０によって撮影された各利用者の撮像画像や、美容関連アプリケーション（以下、美容関連ＡＰ）、各種動画コンテンツ（映画など）が格納されている。
ここで、美容関連ＡＰとは、ミラー装置１００を利用して理想のヘアスタイルや理想のメイクアップ方法など、利用者の容姿向上や健康増進を目的とした美容関連のアプリケーションであり、例えば、ヘアスタイル・アプリケーション（以下、ヘアスタイルＡＰ）やメイクアップ・アプリケーション（以下、メイクアップＡＰ）、エクササイズなどのヘルス・アプリケーション（以下、ヘルスＡＰ）などが挙げられるが、これらはあくまで一例にすぎない。また、記憶装置１２２には、広告提供サーバから配信される広告情報や、当該店舗における各利用者の識別ＩＤと個人情報とを対応づけた利用者管理テーブルなども格納される。

＜個人情報管理サーバ２００＞
個人情報管理サーバ２００は、例えば、演算処理能力の高いコンピュータによって構成され、そのコンピュータにおいて所定のサーバ用プログラムが動作することにより、サーバ機能を実現するものである（図１参照）。ここで、個人情報管理サーバ２００を構成するコンピュータは、必ずしも１台である必要はなく、通信ネットワークＮ上に分散する複数のコンピュータから構成されてもよい。個人情報管理サーバ２００は、各施設（本実施形態では美容室を想定）のミラー装置１００と、通信ネットワークＮを介して接続されている。個人情報管理サーバ２００は、各店舗の利用者の個人情報を管理するための個人情報ＤＢ２１０と、ＣＰＵ、ＲＯＭ、ＲＡＭ等からなるプロセッサ２２０とを備えている。個人情報ＤＢ２１０には、利用者管理テーブルＴＡ１が格納されている。

図３は、利用者管理テーブルＴＡ１の登録内容を例示した図である。
利用者管理テーブルＴＡ１には、利用者ごとに、利用者を識別するための識別ＩＤと電子カルテ（すなわち、個人情報）が対応づけて登録されている。個人情報としては、利用者の氏名、年齢、性別、生年月日、居住所、電話番号、メールアドレスやＳＮＳのアカウント名などのほか、社会的地位を示すステータス情報（職業の有無、職種や年収など）、利用する美容室の店舗ＩＤやメールアドレス、電話番号などのコンタクト情報、利用履歴を示す履歴情報（施術内容や施術日時の履歴）、さらには利用者の撮像画像（美容室の場合であれば顔や上半身など）が含まれる。プロセッサ４２０は、利用者管理テーブルＴＡ１への個人情報の新規登録、登録された個人情報の更新などを行う。

なお、本実施形態では、複数の美容室にミラー装置１００が導入される態様を例示するが、美容室の店舗数は１つであってもよい。もちろん、美容室に限る趣旨ではなく、ミラー装置１００を導入する様々な施設（アパレル関連の店舗やフィットネスジム、エンターテイメント施設など）に適用可能である。

＜広告提供サーバ３００＞
広告提供サーバ３００は、広告選択部３１０、広告ＤＢ３２０、広告配信部３３０などを備えている（図１参照）。

広告選択部３１０は、ミラー装置１００から送信される利用者の個人情報をもとに、予め設定された広告選択アルゴリズムに従い、利用者に適した広告を選択する。一例を挙げて説明すると、広告選択部３１０は、利用者の個人情報に含まれる性別、年齢などを利用して、当該世代に最もポピュラーなスポーツや料理、住宅などに関する広告情報を１つまたは複数選択することができる。

その他、広告選択部３１０は、職種や年収などのステータス情報を利用して、不動産や投資信託などに関する広告情報（富裕層向け）や、保険や家計の見直しサービスなどに関する広告情報（マス層向け）などを選択するようにしてもよい。さらに、広告選択部３１０は、利用者の個人情報に加えて（または個人情報に代えて）、今回、利用者が美容室で受けたヘアカットやヘアメイクなどのサービス（別言すれば、ユーザが選択した美容情報）を利用して、おすすめの化粧品やシャンプーなどの商材に関する広告情報を選択するようにしてもよい。なお、同一ジャンルに属する広告が複数ある場合には、ランダムに１つまたは複数選択しても良いが、注目度（人気）の高い広告から順に１つまたは複数選択しても良い。

広告データベースＤＢ３２０には、各広告を識別するための識別ＩＤ、広告名、広告内容を含む広告情報が複数登録されている。

広告配信部３３０は、広告選択部３１０によって選択された１つまたは複数の広告情報を、対応する店舗のミラー装置１００宛てに送信する。

＜商材サーバ４００＞
商材サーバ４００は、例えばサーバコンピュータなどにより構成され、商材ＤＢ４１０と、ＣＰＵ、ＲＯＭ、ＲＡＭ等からなるプロセッサ４２０を備えている（図１参照）。
商材ＤＢ４１０には、リップやアイシャドウなどの化粧品、シャンプーやコンディショナーなどのヘアケア用品、プロテインやトレーニンググッズなどのヘルスケア用品などの商材について、各商材の識別ＩＤ、在庫状況、受注状況などを管理する商材管理テーブルＴＡ２が登録されている。

プロセッサ４２０は、ミラー装置１００を介して利用者からの商材（例えば、今回のメイクアップで見つけたお気に入りのリップなど；数量も含む）の購入指示を受け取ると、まず、購入指示に含まれる商材の識別ＩＤを検索キーとして商材管理テーブルＴＡ２を検索することにより、利用者が購入を希望する商材を特定する。そして、プロセッサ４２０は、購入指示に含まれる利用者の個人情報（具体的には、氏名や居住所、電話番号など）を利用して、利用者の居住所先に、利用者が購入を希望する商材を配送するよう、商品の梱包・配送処理を開始する。

Ａ−２．動作
＜ミラー装置１００の動作＞
以下、本実施形態に係るミラー装置１００の動作について、美容室において利用者がメイクアップする場合を例に説明する。

図４は、ミラー装置１００の動作を示すフローチャートであり、図５及び図６は、利用者によるミラー装置１００の操作態様を模式的に示した図である。
利用者は、ミラー装置１００の前面側に立つ（または設置された椅子に座る）と、ハーフミラー１０１の半透過反射面１０１Ｓに、利用者の姿が映し出される（図５のＡ参照）。

利用者は、ミラー装置１００をスクロール操作することで、ミラー装置１００で利用する所望の美容関連ＡＰ（ここでは、メイクアップＡＰを想定）を選択し、さらに、利用者を識別する情報（例えば、利用者の識別ＩＤなど）をタッチ操作で入力する（図５のＢ及び図５のＣ参照）。なお、本実施例では、利用者を識別する情報として識別ＩＤを想定するが、利用者の氏名や生年月日などであってもよい。

ミラー装置１００は、利用者によって、特定の美容関連ＡＰ（ここでは、メイクアップＡＰ）が選択され、利用者の識別ＩＤが入力されたことを検知すると（ステップＳ１００）、記憶装置１２２からメイクアップＡＰを読み出すとともに、入力される利用者の識別ＩＤをもとに、記憶装置１２２から個人情報の読み出しを行う（ステップＳ２００）。

そして、ミラー装置（表示制御部）１００は、ディスプレイパネル１０２の表示画面１０３に、読み出した個人情報に含まれる利用者の撮像画像を表示する（ステップＳ３００）。さらに、ミラー装置１００は、メイクアップＡＰを実行し、利用者の撮像画像を用いたメイクのシミュレーションを行う（ステップＳ４００；図６Ａ参照）。詳述すると、ミラー装置１００は、様々な種類（メーカ、色、形状、大きさなど）のリップ、アイシャドウ、チーク、ファンデーションなどを適宜組み合わせたメイク情報（美容情報）を、利用者の撮像画像に重畳し、表示画面１０３に表示していく。

なお、本実施例では、ミラー装置１００によるメイク情報の重畳対象として、ディスプレイパネル１０２の表示画面に表示される利用者の撮像画像を例示したが、これに代えてハーフミラー１０１の半透過反射面１０１Ｓに映し出される利用者のミラー画像としてもよい。

利用者は、例えば自分の顔タイプにあった気に入ったメイク情報を見つけると、ミラー装置１００をタッチ操作する。ミラー装置１００は、利用者によるタッチ操作に応じて、利用者が気に入ったメイク情報を表示画面１０３上にストップ表示させる（ステップＳ５００）。

利用者は、ディスプレイパネル１０２に表示されているお気に入りのメイク情報をタッチ操作するなどして、お気に入りのメイク情報を個人情報に含めて記憶装置３０４に登録することができる。これにより、次回来店の際、利用者は、自身の識別ＩＤを入力するという簡単な操作により、自身のお気に入りのメイク情報を呼び出すことが可能となる。

一方、美容師は、表示画面１０３に表示されている利用者が気に入ったメイク情報を参照しながら、利用者のイメージに近づくように、利用者に実際のメイクを施す（図６Ｂ参照）。表示画面１０３上に表示されるメイク情報には、リップ、アイシャドウ、チーク、ファンデーションといったメイク素材を一意に特定するためのメイク素材情報（具体的にはメーカや型番など）が含まれ、表示画面１０３に表示される。その他、メイク補足情報として、各メイク素材を用いたプロによるメイクのコツなどをあらわす情報（動画など）が、メイク情報に含まれていてもよい。

メイクが終了すると、利用者は、ミラー装置１００をタッチ操作するなどして、メイクアップＡＰの終了を指示する。ミラー装置１００は、メイクアップＡＰの終了指示が入力されたことを検知すると（ステップＳ６００）、全ての美容関連ＡＰを終了してもよいか、利用者に確認する（ステップＳ７００）。ミラー装置１００は、利用者によってすべての美容関連ＡＰを終了してもよい旨の入力が行われたことを検知すると（ステップＳ７００；ＹＥＳ）、以上説明した処理を終了する。一方、利用者によって別の美容関連ＡＰ（例えば、ヘアスタイルＡＰ）を利用したい旨の入力が行われた場合、ミラー装置１００は、ステップＳ２００に戻り、利用者によって選択された別の美容関連ＡＰを起動する。この後の動作については、上記と同様に説明することができるため、割愛する。

＜個人情報管理サーバ２００の動作＞
[個人情報登録処理]
図７は、個人情報管理サーバ２００による個人情報の登録処理を示すフローチャートである。
利用者は、美容室のミラー装置１００の入力部１２３（例えばタッチパネル）を適宜操作して、必要な個人情報（例えば、利用者の氏名、年齢、性別、生年月日、居住所、電話番号、メールアドレスやＳＮＳのアカウント名、ステータス情報、利用する美容室の店舗名、来店日、さらには利用者の撮像画像など）の入力を行う。
入力された利用者の個人情報は、利用者を識別するためのユニークな識別ＩＤが付与されたうえで、ミラー装置１００の記憶装置３０４に格納されるとともに、ミラー装置１００から通信ネットワークＮを介して個人情報管理サーバ２００に受信される（ステップＳ１００Ａ）。個人情報管理サーバ２００は、利用者の識別ＩＤと個人情報を受信すると、識別ＩＤと個人情報とを対応付けて利用者管理テーブルＴＡ１に登録する（ステップＳ２００Ａ）。

[個人情報更新処理]
図８は、個人情報管理サーバ２００による個人情報の更新処理を示すフローチャートである。
個人情報管理サーバ２００は、いずれかの店舗のミラー装置１００から識別ＩＤを受信するとともに、更新された個人情報（例えば来店履歴や、利用者の最新の髪型など）を受け取ると（ステップＳ１００Ｂ）、更新された個人情報に基づき、利用者管理テーブルＴＡ１に登録されている識別ＩＤに合致する利用者の電子カルテ（すなわち、個人情報を）を更新し（ステップＳ２００Ｂ）、処理を終了する。

＜広告提供サーバ３００の動作＞
図９は、広告提供サーバ３００によって実行される広告提供処理を示すフローチャートである。
利用者によってミラー装置１００の利用が開始されると、ミラー装置１００は、利用者の個人情報を含む広告リクエストを広告提供サーバ３００に送信する。広告提供サーバ３００の広告選択部３１０は、広告リクエストを受信すると（ステップＳ１００Ｃ）、広告リクエストに含まれる利用者の個人情報をもとに、利用者に適した１つまたは複数の広告情報を、広告ＤＢ３２０から選択する（ステップＳ２００Ｃ）。

前述したように、広告選択部３１０は、利用者の個人情報に含まれる性別、年齢などを利用して、当該世代に最もポピュラーなスポーツや料理、住宅などに関する広告情報を１つまたは複数選択するほか、職種や年収などのステータス情報を利用して、不動産や投資信託などに関する広告情報（富裕層向け）や、保険や家計の見直しサービスなどに関する広告情報（マス層向け）などを選択するようにしてもよい。さらに、広告選択部３１０は、利用者の個人情報に加えて（または個人情報に代えて）、今回、利用者が美容室で受けたヘアカットやヘアメイクなどのサービス情報（別言すれば、利用者が選択した美容情報）を利用して、おすすめの化粧品やシャンプーなどの商材に関する広告情報を選択するようにしてもよい。この場合、ミラー装置１００は、利用者の個人情報とともに、今回、利用者が美容室で受けたサービス情報を含む広告リクエストを広告提供サーバ３００に送信すればよい。

広告選択部３１０は、利用者に適した１つまたは複数の広告情報を選択すると、選択した広告情報を広告配信部３３０に送る。広告配信部３３０は、広告選択部３１０によって選択された１つまたは複数の広告情報を、対応する店舗のミラー装置１００宛てに送信し（ステップＳ３００Ｃ）、処理を終了する。前述したように、広告提供サーバ３００が受信する個人情報には、利用者が利用する美容室の店舗ＩＤやメールアドレス、電話番号などのコンタクト情報など含まれている。広告提供サーバ３００は、この店舗のコンタクト情報を用いることで、利用者が利用するミラー装置１００に確実に広告情報を送信することができる。

ミラー装置１００は、広告提供サーバ３００から広告情報を受信すると、ディスプレイパネル１０２の表示画面１０３に、広告情報を表示する。図１０は、ミラー装置１００の表示画面１０３に表示された広告情報を例示した図である。図１０では、利用者が最新のリップに興味をもっていることから、利用者の世代に評判の高いリップに関する広告情報が、表示画面１０３に表示されている例を示している。

このように、利用者の個人情報や利用者が選択した美容情報に基づき、ミラー装置１００に表示される広告情報が選択されるため、利用者等にとって有益な広告情報を提供することができる。

＜商材サーバ４００の動作＞
図１１は、商材サーバ４００の動作を示すフローチャートである。
利用者は、ミラー装置１００の表示画面１０３に表示されるメイク素材情報（具体的にはメーカや型番など）や広告情報を参照し、お気に入りの商材（例えば、リップなど）を発見すると、タッチ操作するなどして、お気に入りの商材（以下、「希望商材」ともいう。）の購入指示を入力する（例えば図１２のＡ参照）。このように、ミラー装置１００に送信される広告情報には、利用者によって購入可能な商材を特定する商材情報が含まれる。ミラー装置１００は、希望商材の購入指示の入力操作を受け付けると、利用者の個人情報を含めて商材サーバ４００に送信する。

商材サーバ４００のプロセッサ（特定部）４２０は、ミラー装置１００を介して利用者からの希望商材（商材情報）の購入指示を受け取ると（ステップＳ１００Ｄ）、まず、購入指示に含まれる商材の識別ＩＤを検索キーとして商材管理テーブルＴＡ２を検索することにより、利用者が購入を希望する希望商材を特定する（ステップＳ２００Ｄ）。そして、プロセッサ４２０は、購入指示に含まれる利用者の個人情報（具体的には、利用者の居住所を示す居住地情報など）を利用して、利用者の居住所先に、利用者が購入を希望する希望商材を配送するよう、商材の梱包・配送処理を開始し（ステップＳ３００Ｄ）、処理を終了する。これにより、希望商材は、後日、利用者の居住所先に配送されることとなる（図１２のＢ参照）。

このように、本実施形態によれば、利用者は、ミラー装置１００を用いたメイクのシミュレーションにより提案された商材や、広告情報に掲載されている商材を簡単な操作で購入することができる。購入された商材は、その店舗（例えば美容室）で渡されるのではなく、利用者の個人情報に登録されている居住所に届けられることとなる。よって、店舗で商材の在庫を持つ必要がないため、店舗側で商材を抱えるリスクや商材を設置するスペースなどを省くことができるというメリットがある。また、商材を売り込むディーラーは、店舗側に商材を置いてもらう必要がないため、従来に比して契約を締結しやすくなるというメリットもある。

Ｂ．応用例
Ｂ−１．ヘアデザインの調整機能
図１３及び図１４は、ミラー装置１００にインストールされたヘアスタイルＡＰによって実現されるヘアデザインの調整機能を説明するための模式図である。
ディスプレイパネル１０２の上部には、選択可能なヘアパターンＨＰ１〜ＨＰ５が表示される一方、ディスプレイパネル１０２の右側には、ユーザの撮像画像ＩＰが表示される。選択可能な複数のヘアパターンＨＰは、記憶装置１２２に記憶されている。美容師は、ユーザに似合うと思われるお勧めのヘアパターン（図１３ではヘアパターンＨＰ４）をタッチ操作して選択する。かかる操作がなされると、ユーザの顔にヘアパターンＨＰ４が重畳された画像がディスプレイパネル１０２の右側に表示される。なお、美容師ではなく、ユーザ自身（または他の第３者；以下、これらを総称して「ユーザ等」という。）がヘアパターンを選択してもよいのはもちろんである。

応用例に係るヘアパターンＨＰは、入力操作に応じてヘアの調整（カスタマイズ）が可能となっている。具体的には、図１４に示すようにユーザ等がヘアパターンＨＰ４をタッチ操作することで、ヘア画像Ｈを左右や上下方向などにひねったり、ヘア画像Ｈを拡大または縮小すると、かかるタッチ操作に応じてヘアの流れを変えたり（例えば、ウェーブをかける、ウェーブの強さを変える、ウェーブの方向を変えるなど）、ヘアのボリュームをコントロール（ボリュームアップまたはボリュームダウン）することが可能となる。

ユーザの顔は十人十色であり、ユーザが希望するヘアパターン（例えば、ドレッドヘアやショートボブなど）があったとしても、単にユーザ等が選択したヘアパターンＨＰがユーザの顔に重畳されただけでは、ヘアパターンＨＰがユーザの顔から浮いてしまい、当該ヘアパターンＨＰがユーザに似合うのか否か、正確に判断することができない。このように、固定的なヘアパターンＨＰを利用してヘアの施術をオーダーした場合には、ユーザのヘアはイメージ通りにならないことが多く、ヘアの施術に不満が残る、という問題があった。

これに対し、応用例に係るヘアパターンＨＰによれば、単に選択したヘアパターンＨＰがユーザの顔に重畳して表示されるだけでなく、タッチ操作という直感的な操作によって、ユーザ等によって選択されたヘアパターンＨＰのヘア画像Ｈを調整することができる。このため、ヘアパターンＨＰをベースとしつつも、ユーザの顔に重畳されたヘアパターンＨＰのヘア画像Ｈを細やかに調整することができ、ユーザのイメージを限りなく忠実に再現することができる。このようにカスタマイズされたヘアパターンＨＰのイメージを利用してヘアの施術をオーダーすることで、ユーザはイメージ通りのヘアを得ることができる。

図１５は、ミラー装置１００の制御部１２１によって実行されるヘア調整処理を示すフローチャートである。
制御部１２１は、ディスプレイパネル１０２に表示されるいずれかのヘアパターンＨＰの選択操作がなされたか否かを判断する（ステップＳ１００Ｅ）。制御部１２１は、いずれのヘアパターンＨＰも選択されていない場合には（ステップＳ１００Ｅ；ＮＯ）、ステップＳ１００Ｅを繰り返し実行する。その後、制御部（第１入力部、生成部）１２１は、例えばユーザ等によっていずれかのヘアパターンＨＰの選択がなされたことを検知すると（ステップＳ１００Ｅ；ＹＥＳ）、選択されたヘアパターンＨＰをユーザの顔（具体的には、ユーザの顔を撮像した撮像画像）に重畳し、ディスプレイパネル１０２の右側に表示する（ステップＳ２００Ｅ）。

その後、制御部１２１は、ユーザの顔に重畳されたヘアパターンＨＰについて、ヘア画像Ｈの調整操作（具体的にはタッチ操作）がなされたか否かを検知する（ステップＳ３００Ｅ）。制御部１２１は、ヘア画像Ｈの調整操作がなされていないと判断すると（ステップＳ３００Ｅ；ＮＯ）、ヘア調整処理の終了指示が入力された否かを判断する（ステップＳ４００Ｅ）。制御部１２１は、ヘア調整処理の終了指示が入力された場合には（ステップＳ４００Ｅ；ＹＥＳ）、ステップＳ５００Ｅ等をスキップしてヘア調整処理を終了する。

一方、ヘア調整処理の終了指示が入力されていないと判断すると（ステップＳ４００Ｅ；ＮＯ）、制御部１２１は、ステップＳ３００Ｅに戻る。その後、制御部（第２入力部）１２１は、例えばユーザ等によってヘア画像Ｈの調整操作（例えば、ヘア画像Ｈを拡大する操作など）がなされたことを検知すると（ステップＳ３００Ｅ；ＹＥＳ）、ステップＳ５００Ｅに進む。

ステップＳ５００Ｅにおいて、制御部（調整部）１２１は、ヘア画像Ｈの調整操作に基づきヘア画像Ｈを加工（調整）し、加工したヘア画像Ｈをディスプレイパネル１０２に表示した後、ステップＳ４００Ｅに進む。例えば、ヘア画像Ｈを拡大する操作がなされた場合であれば、制御部１２１は、かかる操作に従い、ユーザの顔に重畳されたヘア画像Ｈをボリュームアップするような加工を施し、加工したヘア画像Ｈをディスプレイパネルに表示する。制御部１２１は、ヘア調整処理の終了指示が入力されていないと判断すると（ステップＳ４００Ｅ；ＮＯ）、ステップＳ３００Ｅに戻る一方、ヘア調整処理の終了指示が入力されたことを検知すると（ステップＳ４００Ｅ；ＹＥＳ）、以上説明したヘア調整処理を終了する。

Ｂ−２．ミックス・シミュレーション機能
一般に、エステや化粧品カウンターなどでは、肌分析システムなどを用いてユーザの肌の水分量や肌年齢、肌の問題点などを明らかにし、当該ユーザにお勧めのスキンケアやメイクアップ方法などを提案することが行われている一方、美容室などでは、専用の機械などを用いて、髪質や髪の水分量、頭皮チェックなどを行い、当該ユーザにお勧めのヘアケアやヘアスタイルを提案することが行われている。

ところで、何らかのきっかけでヘアスタイルを変えた場合に、これまでのメイクが似合わなくなることがある。例えばラフウェーブのロングヘアからショートボブに変更するなど、自分のヘアスタイルを大きく変えたと仮定した場合に、どのようなメイクが似合うようになるのか、自分の好みのヘアスタイルとともに、当該ヘアスタイルに似合うメイクをシミュレートし、リコメンドするのがミックス・シミュレーション機能である。

図１６は、ミラー装置１００にインストールされたメイクアップＡＰ及びヘアスタイルＡＰによって実現されるミックス・シミュレーション機能を説明するための模式図であり、図１７は、ミラー装置１００の制御部１２１によって実行されるミックス・シミュレーション処理を示すフローチャートである。なお、前提として、選択可能な複数のヘアパターンＨＰが記憶装置（第１記憶部）１２２に記憶されているとともに、選択可能な複数のメイクパターンＭＰが記憶装置（第２記憶部）１２２に記憶されているものとする。ここで、「メイクパターン」には、少なくとも、メイク種別情報とメイク詳細情報と化粧品情報が含まれる。「メイク種別情報」は、ファンデーション、アイシャドウ、口紅、チークなど、メイク対象となる顔パーツとの位置関係により区別されるメイクの種別をあらわす情報である。「メイク詳細情報」は、メイクの色、濃度、及び範囲の組をあらわす情報である。「化粧品情報」は、メイクを適用する化粧品を特定するための情報である。

制御部１２１は、ディスプレイパネル１０２に表示されるいずれかのヘアパターンＨＰの選択操作がなされたか否かを判断する（ステップＳ１００Ｆ）。制御部１２１は、いずれのヘアパターンＨＰも選択されていない場合には（ステップＳ１００Ｆ；ＮＯ）、ステップＳ１００Ｆを繰り返し実行する。その後、制御部（第１入力部、生成部）１２１は、例えばユーザ等によっていずれかのヘアパターンＨＰの選択がなされたことを検知すると（ステップＳ１００Ｆ；ＹＥＳ）、選択されたヘアパターンＨＰをユーザの顔（具体的には、ユーザの顔を撮像した撮像画像）に重畳し、ディスプレイパネル１０２の右側に表示する（ステップＳ２００Ｆ；図１６に示すＡ参照）。

その後、制御部（分析部）１２１は、選択されたヘアパターンＨＰがユーザの顔に重畳された画像（以下、「ヘアチェンジ後のユーザの顔画像」ともいう。）を分析する（ステップＳ３００Ｆ）。制御部（適用部）１２１は、分析結果に基づき、ヘアチェンジ後のユーザの顔画像に似合うと思われるメイクパターン（以下、「リコメンド・メイクパターン」ともいう。）を記憶装置１２２から選択し（ステップＳ４００Ｆ）し、リコメンド・メイクパターンをヘアチェンジ後のユーザの顔画像に適用する（ステップＳ５００Ｆ）。そして、制御部１２１は、ヘア及びメイクパターンチェンジ後のユーザの顔画像をディスプレイパネル１０２の右側に表示し（ステップＳ６００Ｆ；図１６に示すＢ参照）、処理を終了する。

かかる構成によれば、ユーザは、自分のヘアスタイルを変えた場合に、印象等がどのように変化するのか、事前に予想できるだけでなく、ヘアスタイルを変えた後の自分に似合うメイクを事前に把握することが可能となる。なお、上記例では、リコメンド・メイクパターンの数について特に言及しなかったが、単数または複数のいずれであってもよい。リコメンド・メイクパターンを複数選択した場合には、お気に入りのリコメンド・メイクパターンをユーザに選択させるようにしてもよい。

また、リコメンド・メイクパターンについては、例えば以下に示す選択方法が考えられるが、これらに限定する趣旨でないのはもちろんである。
ミラー装置１００の記憶装置１２２には、ユーザごとに、ヘアスタイルの履歴情報及びメイクの履歴情報が格納されている。制御部１２１は、例えば、チェンジ後のヘアスタイル（例えば、ショートボブ）と同じ（または類似の）ヘアスタイルをしている他ユーザのメイクの履歴情報を参照し、ヘアチェンジ後のユーザに当該メイクが似合うか否かの判断を行う。制御部１２１は、例えば、大量の過去のサンプルデータ（様々なユーザの顔画像や、スポーツ選手、芸能人の顔画像など）と、ヘアチェンジ後のユーザの顔画像とを比較し、顔画像の類似度が閾値以上であることから、当該メイクが似合うと判断すると、当該メイクをリコメンド・メイクパターンとして選択する。一方、制御部１２１は、顔画像の類似度が閾値未満であることから、当該メイクが似合わないと判断すると、他のユーザのメイクの履歴情報を読み出し、これをリコメンド・メイクパターンとして選択する。なお、以上説明したミックス・シミュレーション機能とヘアデザインの調整機能とを組み合わせて利用してもよい。

また、上記説明では、ヘアチェンジ後に似合うと思われるメイクパターンをリコメンドする場合について説明したが、これとは逆に、メイクチェンジ後に似合うと思われるヘアパターンをリコメンドしてもよい。図１８は、メイクチェンジ後に似合うと思われるヘアパターンをリコメンドする場合のミックス・シミュレーション処理を示すフローチャートである。なお、前提条件及び基本的な処理の流れは、図１７に示すミックス・シミュレーション処理と同様である。

制御部１２１は、ディスプレイパネル１０２に表示されるいずれかのメイクパターンＭＰの選択操作がなされたか否かを判断する（ステップＳ１００Ｇ）。制御部１２１は、いずれのメイクパターンＭＰも選択されていない場合には（ステップＳ１００Ｇ；ＮＯ）、ステップＳ１００Ｇを繰り返し実行する。その後、制御部（第２入力部、生成部）１２１は、例えばユーザ等によっていずれかのメイクパターンＭＰの選択がなされたことを検知すると（ステップＳ１００Ｇ；ＹＥＳ）、選択されたメイクパターンＭＰをユーザの顔（具体的には、ユーザの顔を撮像した撮像画像）に重畳し、ディスプレイパネル１０２の右側に表示する（ステップＳ２００Ｇ）。

その後、制御部（分析部）１２１は、選択されたメイクパターンＭＰがユーザの顔に重畳された画像（以下、「メイクチェンジ後のユーザの顔画像」ともいう。）を分析する（ステップＳ３００Ｇ）。制御部（適用部）１２１は、分析結果に基づき、メイクチェンジ後のユーザの顔画像に似合うと思われるヘアパターン（以下、「リコメンド・ヘアパターン」ともいう。）を記憶装置１２２から選択し（ステップＳ４００Ｇ）し、リコメンド・ヘアパターンをメイクチェンジ後のユーザの顔画像に適用する（ステップＳ５００Ｇ）。そして、制御部１２１は、メイク及びヘアパターンチェンジ後のユーザの顔画像をディスプレイパネル１０２の右側に表示し（ステップＳ６００Ｇ）、処理を終了する。

かかる構成によれば、ユーザは、自分のメイクを変えた場合に、印象等がどのように変化するのか、事前に予想できるだけでなく、メイクを変えた後の自分に似合うヘアスタイルを事前に把握することが可能となる。

Ｃ．その他
なお、本発明は、上述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、他の様々な形で実施することができる。このため、上記実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈されるものではない。例えば、上述した各処理ステップは処理内容に矛盾を生じない範囲で任意に順番を変更し、または並列に実行することができる。

上述の実施形態では、一例として利用者の個人情報に登録されている居住所に希望商材が届けられる場合を例示したが、例えば利用者が届け先の住所を別途指定してもよい。

また、ミラー装置１００に複数の広告が提供される場合、ミラー装置１００は、提供される広告情報をランダムに表示画面１０３に表示してもよいが、所定の順序（例えば、メイクアップの広告情報→ヘアの広告情報→ヘルスケアの広告情報）で表示画面１０３に表示してもよい。

また、上述の実施形態では、個人情報管理サーバ２００、広告提供サーバ３００、商材サーバ４００のそれぞれを別体構成としたが、例えば個人情報管理サーバ２００、広告提供サーバ３００、商材サーバ４００がそれぞれ有する機能のすべて（または一部）を、いずれか１つのサーバ（例えば、広告提供サーバ３００）にまとめてもよい。また、これら各サーバの機能のいずれか１つ以上を、ミラー装置１００に搭載してもよい。また、上述の実施形態では、１つ以上のカメラ（撮像部）１１０を搭載したミラー装置１００を例示したが、カメラ１１０を搭載しないミラー装置１００にも適用可能である。

また、上述の実施形態では、利用者がミラー装置１００を操作する場合を例示したが、これに限る趣旨ではなく、利用者に関わる者（例えば、美容室であれば美容師、フィットネスジムであればトレーナーなど）が操作してもよいのはもちろんである。

また、上述の実施形態では、ミラー装置１００の利用者によって選択される美容情報としてリップ、アイシャドウ、チーク、ファンデーションなどを適宜組み合わせたメイク情報を例示したが、ヘアスタイルやヘアカラーなどを適宜組み合わせたヘア情報や、エクササイズや食材レシピなどを適宜組み合わせたヘルス情報などであってもよい。

（付記１）
表示画面を有するディスプレイパネルと、半透過反射面を有し、該半透過反射面の後面が前記表示画面に対向配置されたハーフミラーと、前記ハーフミラーにおける前記半透過反射面の前面に存在する利用者を撮像する撮像部とを備えたミラー装置に、広告を提供する広告提供システムであって、
各利用者の個人情報を記憶した個人情報データベースと、
広告情報を複数記憶した広告データベースと、
前記撮像部によって撮像される利用者の個人情報を、前記個人情報データベースから取得する取得部と、
前記取得された撮像対象の利用者の個人情報に基づき、複数の前記広告情報の中から、前記ディスプレイパネルに表示すべき広告情報を選択する選択部と、
前記選択部によって選択された前記広告情報を、前記ミラー装置に送信する送信部と
を具備する広告提供システム。

（付記２）
前記個人情報データベースには、利用者ごとに、利用者を識別する識別ＩＤと個人情報とが対応づけて記憶され、
前記取得部は、前記ミラー装置から、前記撮像部によって撮像される利用者の識別ＩＤを受信し、受信した識別ＩＤに対応する利用者の個人情報を、前記個人情報データベースから取得する、付記１に記載の広告提供システム。

（付記３）
前記各個人情報には、前記各利用者の社会的地位を示すステータス情報が含まれ、
前記選択部は、前記取得された撮像対象の利用者のステータス情報に基づき、前記広告情報を選択する、付記１または付記２に記載の広告提供システム。

（付記４）
前記各個人情報には、前記各利用者の撮像画像が含まれ、
前記ミラー装置は、前記個人情報データベースから前記利用者の撮像画像を取得し、取得した撮像画像に、前記利用者によって選択可能な美容情報を重畳して表示する表示制御部を備え、
前記選択部は、前記取得された撮像対象の利用者の個人情報と、前記利用者によって選択された前記美容情報とに基づき、前記広告情報を選択する、付記１に記載の広告提供システム。

（付記５）
前記ミラー装置は、前記ハーフミラーに映る前記利用者のミラー画像に、前記利用者によって選択可能な美容情報を重畳して表示する表示制御部を備え、
前記選択部は、前記取得された撮像対象の利用者の個人情報と、前記利用者によって選択された前記美容情報とに基づき、前記ハーフミラーに表示すべき広告を選択する、付記１に記載の広告提供システム。

（付記６）
前記美容情報には、ヘア情報、メイク情報、ヘルス情報の少なくともいずれかの情報が含まれる、付記５に記載の広告提供システム。

（付記７）
付記６に記載の広告提供システムと、前記利用者によって購入可能な商材を販売する販売サーバとを備えた広告・販売システムであって、
前記個人情報には、前記各利用者の居住地を示す居住地情報が含まれ、
前記美容情報には、前記利用者によって購入可能な商材を特定する商材情報が含まれ、
前記ミラー装置は、
前記利用者から前記商材の購入希望を受け付ける受付部と、
前記商材の購入希望を前記販売サーバに送信する送信部とを備え、
前記販売サーバは、
前記商材の購入希望を受信した場合に、前記個人情報データベースから前記商材の購入を希望した利用者の居住地情報を取得し、取得した居住地情報に示される居住地を、前記商材の送付先として特定する特定部を備える、広告・販売システム。

１０００…広告提供システム、１００…ミラー装置、１０１…ハーフミラー、１０１Ｓ…半透過反射面、１０２…ディスプレイパネル、１０３…表示画面、１１０…カメラ、１２０…コンピュータ、２００…個人情報管理サーバ、２１０…個人情報ＤＢ、２２０…プロセッサ、３００…広告提供サーバ、３１０…広告選択部、３２０…広告ＤＢ、３３０…広告配信部、４００…商材サーバ、４１０…商材ＤＢ、４２０…プロセッサ、ＴＡ１…利用者管理テーブル、ＴＡ２…商材管理テーブル、Ｎ…通信ネットワーク

Claims (3)

1. 表示画面を有するディスプレイパネルと、半透過反射面を有し、該半透過反射面の後面が前記表示画面に対向配置されたハーフミラーと、前記ハーフミラーにおける前記半透過反射面の前面に存在する利用者を撮像する撮像部とを備えたミラー装置であって、
   ヘアパターンを複数記憶する第１記憶部と、
   メイクパターンを複数記憶する第２記憶部と、
   利用者による前記ヘアパターンの選択操作を受け付ける第１入力部と、
   前記撮像部によって撮像される利用者の撮像画像に、前記利用者によって選択されたヘアパターンを重畳して重畳画像を生成し、前記ディスプレイパネルに表示する生成部と、
   前記ディスプレイパネルに表示されたヘアチェンジ後の前記利用者の画像を分析する分析部と、
   前記分析部による分析結果に基づき、前記利用者に似合うと思われるメイクパターンを、前記第２記憶部から選択し、リコメンド・メイクパターンとしてヘアチェンジ後の前記利用者の画像に適用する適用部とを具備し、
   前記分析部は、前記ディスプレイパネルに表示されたヘアチェンジ後の前記利用者の顔画像と、他のユーザの顔画像とを比較し、
   前記適用部は、比較の結果、顔画像の類似度が閾値以上である他のユーザのメイクを、前記利用者に似合うと思われるメイクパターンとして、前記第２記憶部から選択する、ミラー装置。
2. 前記メイクパターン及び前記リコメンド・メイクパターンは、少なくとも、メイク対象となる顔パーツとの位置関係により区別されるメイクの種別をあらわすメイク種別情報と、メイクの色、濃度、及び範囲の組をあらわすメイク詳細情報とを含む、請求項１に記載のミラー装置。
3. 表示画面を有するディスプレイパネルと、半透過反射面を有し、該半透過反射面の後面が前記表示画面に対向配置されたハーフミラーと、前記ハーフミラーにおける前記半透過反射面の前面に存在する利用者を撮像する撮像部とを備えたミラー装置のコンピュータであって、前記コンピュータは、ヘアパターンを複数記憶する第１記憶部と、メイクパターンを複数記憶する第２記憶部とを備え、
   前記コンピュータを、
   利用者による前記ヘアパターンの選択操作を受け付ける第１入力部と、
   前記撮像部によって撮像される利用者の撮像画像に、前記利用者によって選択されたヘアパターンを重畳して重畳画像を生成し、前記ディスプレイパネルに表示する生成部と、
   前記ディスプレイパネルに表示されたヘアチェンジ後の前記利用者の画像を分析する分析部と、
   前記分析部による分析結果に基づき、前記利用者に似合うと思われるメイクパターンを、前記第２記憶部から選択し、リコメンド・メイクパターンとしてヘアチェンジ後の前記利用者の画像に適用する適用部として機能させ、
   前記分析部は、前記ディスプレイパネルに表示されたヘアチェンジ後の前記利用者の顔画像と、他のユーザの顔画像とを比較し、
   前記適用部は、比較の結果、顔画像の類似度が閾値以上である他のユーザのメイクを、前記利用者に似合うと思われるメイクパターンとして、前記第２記憶部から選択する、ためのプログラム。