JP7319393B2 - 製品使用結果を向上させるためにユーザフィードバック情報を生成する方法 - Google Patents

Description

本開示は、概して、スキンケアシステムに関し、より具体的には、スキンケア製品の使用事例を識別し、スキンケア製品に関するユーザの体験を向上させるためのフィードバックをユーザに提供するためのスキンケアアシスタントに関する。

典型的には、ホームアシスタントデバイス又は他のコンピューティングデバイスは、ネットワーク対応デバイスからデータを収集して、ネットワーク対応デバイスに関するユーザの体験を向上させる。例えば、ホームアシスタントデバイスは、スマートライト、スマートＴＶ、スマート暖房及び空調システムなどの他のネットワーク対応デバイスとのユーザの相互作用に基づいて、ユーザの習慣を学習することができる。そして、ホームアシスタントデバイスは、学習した習慣に従ってネットワーク対応デバイスを自動的に制御することができる。別の例では、スマートＴＶは、ユーザが現在見ているものと同様のＴＶ番組及び映画の推奨を提供するリモートサーバにユーザの視聴習慣の指標を提供することができる。

しかしながら、このようなデバイスは、スキンケア製品などのネットワークに対応されていないデバイスとのユーザ相互作用に基づいて、習慣を学習する同様の方法を有しない。ユーザは、日常的に、化粧品、シャンプー、コンディショナ、保湿剤、ハンドクリーム、フェイスクリーム、歯ブラシ、マウスウォッシュ、洗顔クレンザなどのスキンケア製品と相互作用するが、コンピューティングデバイスは、ユーザ経験を向上させるために、これらの製品とのユーザの相互作用に基づく使用データを収集しない。したがって、ユーザは、製品を正しく、適切な速度で、又は適切な時間にわたって使用しているかどうかを把握していない。

本開示は、スキンケア製品に関するフィードバックをユーザに提供するためのコンピューティングデバイスに関する。デバイスは、ユーザインターフェースと、通信インターフェースと、１つ以上のプロセッサと、プロセッサ、ユーザインターフェース、及び通信インターフェースのそれぞれに結合された非一時的コンピュータ可読メモリと、を備える。非一時的コンピュータ可読メモリは、１つ以上のプロセッサによって実行されると、コンピューティングデバイスに、ユーザによるスキンケア製品の製品使用の指標を取得させ、取得されたスキンケア製品の製品使用の指標に基づいて、スキンケア製品を識別させ、スキンケア製品のユーザに関連する製品使用イベントデータであって、経時的なスキンケア製品の製品使用に関する製品使用イベントデータを取得させ、ユーザのユーザプロフィールデータを取得させ、スキンケア製品の製品使用イベントデータ及びユーザについてのユーザプロフィールデータに基づいて、スキンケア製品又は関連するスキンケア製品の製品使用についてユーザを支援するためのユーザフィードバック情報を生成させ、ユーザインターフェース又は通信インターフェースを介してユーザフィードバック情報をユーザのモバイルデバイスに提供させる、命令を含む。

本システムの実施例を示している。 スキンケアコンピューティングデバイスが動作することができるシステムの実施例を示している。 ユーザプロフィールデータを含む例示的なデータテーブルを示している。 製品使用イベントデータを含む別の例示的なデータテーブルを示している。 ユーザにフィードバックを提供する実施例を示している。 本方法の例を示すフロー図である。 本方法の例を示すフロー図である。

本明細書中での「実施形態」等への言及は、その実施形態と関連付けて説明される、特定の材料、特徴、プロセス、プロセス工程、構造及び／又は特性が、少なくとも１つの実施形態、任意選択的に多数の実施形態に含まれていることを意味するが、全ての実施形態に、説明された材料、特徴、プロセス、プロセス工程、構造、及び／又は特性が組み入れられることを意味するものではない。更に、材料、特徴、プロセス、プロセス工程、構造、及び／又は特性は、異なる実施形態にわたって、任意の好適な方法で組み合わされてもよく、材料、特徴、プロセス、プロセス工程、構造、及び／又は特性は、説明されるものから除外されてもよいし、代用されてもよい。したがって、本明細書に記載されている実施形態及び態様は、別段明記しない限り又は不適合性が明記されてされない限り、組み合わせて明示的に例示されていなくても、他の実施態様及び／又は態様の要素又は構成成分を含むか又はこれらと組み合わされることが可能である。

本明細書に記載の装置、システム、及び方法は、必須の要素又は特徴並びに本明細書に記載の任意の要素又は特徴を備えるか、それらから本質的になるか、又はそれらからなることができる。「から本質的になる」とは、システム、装置、及び／又は方法が追加の要素又は特徴を含んでもよいが、追加の要素又は特徴が、特許請求されるシステム、装置、又は方法の基本的且つ新規の特徴を実質的に変化させない場合に限ることを意味する。本明細書及び添付の特許請求の範囲において使用される単数形「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈が明らかに他の意味を示さない限り、複数形も含むものとする。

「スキンケア」とは、皮膚状態の制御及び／又は改善を意味する。いくつかの非限定的な例としては、より滑らかで、より均一な外観及び／若しくは感触を提供することによって皮膚の外観及び／若しくは感触を改善すること；皮膚の１つ以上の層の厚さを増加させること；皮膚の弾性又は弾力性を改善すること；皮膚のハリを改善すること；並びに
皮膚の脂っぽい、てかてかした、及び／若しくはくすんだ外観を低減し、皮膚の水分量の状態若しくは保湿を改善し、小じわ及び／若しくはしわの外観を改善し、皮膚角質除去若しくは落屑を改善し、皮膚を膨化させ、皮膚バリア特性を改善し、皮膚の色合いを改善し、発赤若しくは皮膚のしみの外観を低減させ、及び／又は皮膚の明るさ、つや、若しくは透明感を改善することが挙げられる。

「スキンケア製品」は、皮膚の状態を調整及び／又は改善する製品を意味する。

「消費者のスキンケア習慣」とは、ユーザのスキンケア製品の使用慣行（例えば、スキンケアルーチン又はレジメン）を指す。消費者のスキンケア習慣のいくつかの非限定的な例としては、スキンケア製品が使用されるとき、スキンケア製品が使用される頻度、スキンケア製品のセットが使用される順序、スキンケア製品の使用に関連する時間量、使用されるスキンケア製品の量、及びユーザがスキンケア製品の取扱説明書に従うかどうかが挙げられる。

一般的に言えば、スキンケア製品に関するフィードバックを提供するための技術は、１つ以上のスキンケア製品、スキンケアコンピューティングデバイス、１つ以上の他のクライアントコンピューティングデバイス、１つ以上のネットワークサーバ、及び／又はこれらのデバイスのいくつかを含むシステムに実装されてもよい。しかしながら、明確にするために、以下の例は、主として、スキンケアコンピューティングデバイスが、ユーザによって使用されているスキンケア製品を識別し、かつ、スキンケア製品の名称、使用の日付及び／又は時間、使用期間、スキンケア製品が使用される方法、スキンケア製品と同じ時間枠で使用される他のスキンケア製品などのスキンケア製品の識別情報など、スキンケア製品の製品使用イベントデータを判定する実施形態に焦点を当てる。次に、スキンケアコンピューティングデバイスは、ユーザについての識別情報（例えば、ユーザＩＤ、ユーザログイン資格情報など）及び製品使用イベントデータをサーバデバイスに提供してもよい。サーバデバイスは、次に、識別情報に基づいてユーザについてのユーザプロフィールを取得し、製品使用イベントデータを含むようにユーザプロフィールを更新してもよい。いくつかのシナリオでは、スキンケアコンピューティングデバイスはまた、ユーザに関するバイオグラフィカル情報、ユーザの現在の位置、ユーザの画像、又はスキンケア製品に関するユーザの好み若しくは目標などのユーザプロフィールデータをサーバデバイスに提供してもよい。したがって、サーバデバイスは、ユーザプロフィールデータを用いてユーザプロフィールを更新してもよい。

ユーザプロフィールは、いくつかの時間間隔ごとのユーザについてのスキンケア製品使用イベントデータを含んでもよく、サーバデバイスは、経時的なスキンケア製品使用イベントデータ及び／又はユーザについてのユーザプロフィールデータを分析し、ユーザフィードバック情報を生成してもよい。次いで、サーバデバイスは、スピーカを介して音声フィードバックを、又はユーザインターフェースを介して視覚フィードバックを提示するスキンケアコンピューティングデバイスに、ユーザフィードバック情報を提供する。他の実装形態では、スキンケアコンピューティングデバイスは、クライアントコンピューティングデバイス上で提示するためにユーザフィードバック情報をユーザのクライアントコンピューティングデバイスに転送するか、又はサーバデバイスは、例えば、ＳＭＳメッセージ、電子メール、プッシュ通知などを介して、クライアントコンピューティングデバイスに直接ユーザフィードバック情報を提供する。

図１は、スキンケアシステム１００を実装する例示的な環境の様々な態様を示している。スキンケアシステム１００は、浴室シンクなどの浴室内に配置されることができるスキンケアコンピューティングデバイス１０２を含む。スキンケアシステム１００はまた、１つ以上のスキンケア製品１０４を含む。以下により詳細に記載されるスキンケアコンピューティングデバイス１０２は、マイクロフォン１０６のアレイなどの１つ又は複数のマイクロフォン１０６と、スピーカのアレイ１０８などの１つ又は複数のスピーカ１０８と、を有する音声アシスタントを含む。音声アシスタントはまた、プロセッサと、音声入力を受信し、分析し、音声出力を提供する命令を記憶するメモリと、を含んでもよい。スキンケアコンピューティングデバイス１０２に含まれる音声アシスタントは、参照により本明細書に組み込まれる、２０１３年４月１８日出願の米国特許第９，３０４，７３６号に記載されている音声制御アシスタントのハードウェア及びソフトウェア構成要素を含んでもよい。

更に、スキンケアコンピューティングデバイス１０２は、スキンケア製品に関するユーザフィードバック情報などのスキンケア製品に関する情報を表示するためのユーザインターフェース１１０を含む。ユーザインターフェース１１０はまた、識別情報（例えば、ユーザログイン資格情報、ユーザＩＤ、バイオグラフィカル情報、スキンケアに関するユーザの好み又は目標などの自身に関する情報をユーザが提供するためのユーザ制御を提示してもよい。更に、ユーザインターフェース１１０は、スキンケア製品の名称、スキンケア製品を使用する頻度、各スキンケア製品を使用する方法、各使用の持続時間などのユーザが使用するスキンケア製品に関する情報をユーザが提供するためのユーザ制御を含んでもよい。

更に、スキンケアコンピューティングデバイス１０２は、カメラ１１２の視野内の領域のビデオ及び／又は画像をキャプチャするためのカメラ１１２を含んでもよい。このようにして、スキンケアコンピューティングデバイス１０２は、スキンケア製品１０４が現在使用中であることを判定するために、使用の持続時間を判定するためになど、画像又はビデオフレーム内のスキンケア製品１０４を識別してもよい。スキンケアコンピューティングデバイス１０２はまた、インターネットなどの長距離通信ネットワークに接続し、ＮＦＣ、ブルートゥース、ＲＦＩＤ、Ｗｉ－Ｆｉなどの近距離通信ネットワークを介して無線信号を送受信するための通信インターフェース（図示せず）を含んでもよい。例えば、スキンケアコンピューティングデバイス１０２は、ＲＦＩＤタグ、ＮＦＣタグ、ブルートゥースローエネルギ（ＢＬＥ）タグなどからの無線信号を受信するための、ＲＦＩＤリーダ又はＮＦＣリーダを含んでもよい。

いくつかの実装形態では、スキンケア製品１０４は、スキンケア製品の識別情報をスキンケアコンピューティングデバイス１０２内のＲＦＩＤリーダに送信する、ＲＦＩＤタグ、ＮＦＣタグ、ＢＬＥタグなどの無線識別タグ（図示せず）を含む。このようにして、スキンケアコンピューティングデバイス１０２は、無線識別タグに基づいて、スキンケアコンピューティングデバイス１０２の通信範囲内のスキンケア製品を識別してもよく、識別されたスキンケア製品がユーザによって使用されていることを判定してもよい。無線識別タグは、無線識別タグが電池などの内部電源を含まないように、受動無線識別タグであってもよい。その代わりに、スキンケア製品１０４の識別情報を含むＲＦＩＤ又はＮＦＣリーダに無線識別タグが無線信号を送信することができるように、無線識別タグの通信範囲内のＲＦＩＤ又はＮＦＣリーダは、無線識別タグに通電する電磁信号を提供する。他の実装形態では、スキンケア製品１０４は、無線識別タグ又は任意の他の送受信機を含まず、スキンケアコンピューティングデバイス１０２は、スキンケア製品１０４を他の方法で識別してもよい（例えば、スキンケア製品１０４を識別するために使用されることができるカメラ１１２によって収集された画像又はビデオからスキンケア製品１０４内の視覚的特徴を識別する、画像若しくはビデオからスキンケア製品上に配置されたラベル、バーコード、又は他のテキストを識別する、又はユーザインターフェース１１０上のユーザ制御を介して又はユーザのモバイルデバイスを介してユーザがスキンケア製品１０４を使用しているという指標を取得する）。

いくつかの実施態様では、スキンケアコンピューティングデバイス１０２は、ユーザの居所の浴室、台所、洗濯室、リビングルームなどの、スキンケアコンピューティングデバイス１０２を取り囲む領域における環境特性をキャプチャするための環境センサを含んでもよい。環境センサは、温度センサ、湿度センサ、音響センサ、超音波センサ、例えば、Ｗｉ－Ｆｉ又はブルートゥース（商標）信号を受信するための無線アンテナ、体重計、ウェアラブルセンサ、揮発性有機化合物（ＶＯＣ）センサなどの空気品質センサ、又は、それぞれがカメラ１１２と組み合わせて使用されて３Ｄ点群を生成することができる、光検出及び測距（ＬｉＤＡＲ）センサ若しくは赤外線（ＩＲ）センサなどの環境センサを取り囲む領域の３Ｄ点群を生成するための奥行きセンサであってもよい。領域内の音の音量、領域内の音の周波数、領域内の音の音色、及び／又は音が領域内から到来する方向などのオーディオ特性を検出するための音響センサ（例えば、１つ以上のマイクロフォン１０６）を含むことが特に望ましい場合がある。このようにして、スキンケアコンピューティングデバイス１０２は、環境センサに基づいてユーザによって実行されている活動を識別してもよい。

図２は、スキンケアコンピューティングデバイス１０２及びスキンケア製品１０４が、スキンケア製品に関するユーザの体験を向上させるように動作することができる例示的な通信システムを示している。図２に示すスキンケアコンピューティングデバイス１０２は、ユーザインターフェース１１０と、カメラ１１２と、１つ以上のプロセッサ１１４と、長距離及び近距離通信ネットワークを介してデータを送受信するための通信ユニット１１６と、メモリ１１８と、を備える。スキンケアコンピューティングデバイス１０２は、長距離無線通信リンク（例えば、セルラリンク）を介してインターネットなどの広域通信ネットワーク２００へのアクセスを有する。図２の例示的構成では、スキンケアコンピューティングデバイス１０２は、ユーザのスキンケア製品１０４とのユーザの相互作用に基づいてユーザフィードバック情報を生成するサーバデバイス２０２と通信する。スキンケアコンピューティングデバイス１０２は、任意の数の好適なサーバと通信するように構成されてもよい。

上述したように、スキンケアコンピューティングデバイス１０２はまた、ユーザのスキンケア製品１０４と通信するために、単独で又は組み合わせて、様々な構成を使用することができる。いくつかの実装形態では、スキンケアコンピューティングデバイス１０２は、ブルートゥース（商標）、ＲＦＩＤ、ＮＦＣなどを含む近距離無線周波数リンクなどの近距離通信リンクを介して、ユーザのスキンケア製品１０４から識別情報を取得する。いくつかのスキンケア製品１０４は、ＲＦＩＤタグ、ＮＦＣタグ、ＢＬＥタグなどの通信構成要素１３０を含んでもよい。他のスキンケア製品１０４は、通信構成要素１３０を含まなくてもよい。スキンケアコンピューティングデバイス１０２はまた、ブルートゥース（商標）、ＷｉＦｉ（８０２．１１ベースなど）を含む近距離無線周波数リンク、又は無線ＵＳＢなどの別の種類の無線周波数リンクなどの近距離通信リンクを介して、タブレット又はスマートフォンを含むモバイルデバイスなどのユーザのクライアントコンピューティングデバイス２２２と通信してもよい。

クライアントコンピューティングデバイス２２２は、タブレットコンピュータ、携帯電話、携帯情報端末（ＰＤＡ）、スマートフォン、ラップトップコンピュータ、ポータブルメディアプレーヤ、家庭用電話、ページャ、ウェアラブルコンピューティングデバイス、スマートグラス、スマートウォッチ又はブレスレット、ファブレット、別のスマートデバイスなどのモバイルデバイスであってもよい。クライアントコンピューティングデバイス２２２はまた、デスクトップコンピュータであってもよい。クライアントコンピューティングデバイス２２２は、長距離通信ネットワーク及び近距離通信ネットワークを介してデータを送受信するための、１つ以上のプロセッサ２２６と、不揮発性メモリ２２８と、通信ユニット（図示せず）と、データをユーザに提示するためのユーザインターフェース２３２と、を備えてもよい。メモリ２２８は、例えば、ユーザのスキンケア製品の名称、ユーザが各スキンケア製品を使用する頻度、持続時間、及び／又は方法などの、ユーザのスキンケア製品に関する情報を提供するためのユーザ制御を含むスキンケアアプリケーション２３０の命令を記憶してもよい。スキンケアアプリケーション２３０はまた、ユーザログイン資格情報、ユーザＩＤ、ユーザの氏名又は他のバイオグラフィカル情報、写真の前後などのユーザの画像などのユーザプロフィールデータを提供するためのユーザ制御を含んでもよい。加えて、スキンケアアプリケーション２３０は、ユーザフィードバック情報を受信してユーザインターフェース２３２上に又はスピーカを介した音声出力として提示してもよい。ユーザフィードバック情報は、ブルートゥース（商標）などの近距離通信リンクを介してスキンケアコンピューティングデバイス１０２から、又はインターネット若しくはセルラーネットワークなどの長距離通信リンクを介してサーバデバイス２０２から受信されてもよい。

メモリ１１８は、オペレーティングシステム１２０及びスキンケアアシスタントアプリケーション１２２の命令を記憶することができる。スキンケアアシスタントアプリケーション１２２は、製品識別モジュール１２４、推奨判定モジュール１２６、及び制御モジュール１２８を介してスキンケア製品又は関連するスキンケア製品についてユーザを支援するために、使用されているスキンケア製品１０４の指標を取得し、指標に基づいてスキンケア製品１０４を識別し、ユーザフィードバック情報を生成してユーザに提示してもよい。

スキンケアコンピューティングデバイス１０２は、使用されているスキンケア製品１０４の指標を取得してもよく、製品識別モジュール１２４は、取得された指標に基づいてスキンケア製品１０４を識別してもよい。スキンケア製品１０４の指標は、スキンケアコンピューティングデバイス１０２のユーザインターフェース１１０上のユーザ制御を介した手動入力によって提供されてもよい。例えば、ユーザは、ユーザインターフェース１１０上のドロップダウンメニューに含まれるスキンケア製品のリストからスキンケア製品１０４を選択してもよい。そして、製品識別モジュール１２４は、ユーザ制御を介して選択されたスキンケア製品１０４を識別してもよい。追加的に又は代替的に、スキンケア製品１０４の指標は、後述するように、スキンケア製品１０４からの無線信号、スキンケア製品１０４の画像若しくはビデオ、又はスキンケア製品１０４に関連するユーザによって行われるアクティビティを示す環境特性などを介して、自動的に提供されてもよい。例えば、スキンケア製品１０４の指標は、無線識別タグからの歯牙形成情報であってもよい。例えば、識別情報は、無線信号を送信するスキンケア製品１０４が、ＯＬＡＹ ＲＥＧＥＮＥＲＩＳＴ ＭＩＣＲＯ ＳＣＵＬＰＴＩＮＧ ＣＲＥＡＭであることを示してもよい。

場合によっては、スキンケア製品１０４の指標は、カメラ１１２の視野内の領域の画像又はビデオであってもよい。カメラ１１２は、浴室カウンタ又はユーザが浴室鏡の前に座ることができる領域を含んでもよい、カメラ１１２の前の領域の画像を周期的にキャプチャしてもよく又は連続ビデオをキャプチャしてもよい。次に、各画像又はビデオフレーム内で、製品識別モジュール１２４は、オブジェクトを識別し、オブジェクトの視覚記述子及び意味的手がかりに基づいて、オブジェクトに対応するスキンケア製品を判定してもよい。オブジェクトの視覚記述子及び意味的手がかりの少なくとも一部は、製品タグ、製品ラベル、製品色、製品形状、製品サイズ、又は製品ロゴに基づいてもよい。いくつかのシナリオでは、画像又はビデオフレームは、複数のオブジェクトを含んでもよく、製品識別モジュール１２４は、各オブジェクトに対応するスキンケア製品を判定してもよい。画像又はビデオフレーム内のオブジェクトを識別するために、製品識別モジュール１２４は、エッジ検出、ピクセルエントロピー、又は他の画像処理技術を使用して、オブジェクトの境界をセグメント化してもよい。例えば、画像内の隣接する画素が閾値量を超えて強度が異なるとき、製品識別モジュール１２４は、隣接する画素間の交点をオブジェクトの境界として識別してもよい。別の例では、画像内の画素のクラスタが、隣接する画素のクラスタから閾値量を超えて強度が異なるとき、製品識別モジュール１２４は、隣接する画素間の交点をオブジェクトの境界として識別してもよい。上述したエッジ検出技術を実行してオブジェクトの境界を識別することに加えて、製品識別モジュール１２４は、境界の位置を精緻化し、更にノイズを除去するために、アクティブ輪郭モデルを使用してもよい。境界セグメント化に基づいて、製品識別モジュール１２４は、画像内のオブジェクトのそれぞれを識別してもよい。識別された各オブジェクトについて、製品識別モジュール１２４は、その境界に従ってオブジェクトのサイズ及び形状を判定してもよい。

場合によっては、製品識別モジュール１２４はまた、オブジェクト内の視覚的特徴の対応する位置と共に、オブジェクト内の視覚的特徴を識別してもよい。例えば、第１の視覚的特徴は、オブジェクトの右上隅に配置されてもよく、第２の視覚的特徴は、オブジェクトの中心に配置されてもよい。視覚的特徴は、ぼやけ、動き、歪み、向き、照明、スケーリング、及び／又はカメラ視点における他の変化にかかわらず検出可能であるオブジェクト内の安定領域であるキーポイントを含んでもよい。安定領域は、スケール不変特徴変換（scale-invariant feature transform、ＳＩＦＴ）、高速化ロバスト特徴（speeded up robust features、ＳＵＲＦ）、高速網膜キーポイント（fast retina keypoint、ＦＲＥＡＫ）、バイナリロバスト不変スケーラブルキーポイント（binary robust invariant scalable keypoints、ＢＲＩＳＫ）、又は任意の他の好適なコンピュータビジョン技術を使用して、オブジェクトから抽出されてもよい。いくつかの実施形態では、キーポイントは、オブジェクト内のエッジなどのオブジェクトの高コントラスト領域に配置されてもよい。境界ボックスは、キーポイントの周りに形成されてもよく、境界ボックスによって形成されるオブジェクトの部分は、視覚的特徴であってもよい。いくつかの実施形態では、各視覚的特徴は、ＲＧＢ画素値などの視覚的特徴の属性、オブジェクト内の視覚的特徴の位置などを含んでもよいベクトルとして符号化される。

加えて、識別された各オブジェクトについて、製品識別モジュール１２４は、オブジェクト上に表示されるテキスト（例えば、製品ラベル）、オブジェクト上又はオブジェクトに隣接するタグ、オブジェクト上のパターン又は記号（例えば、製品ロゴ）などのオブジェクトの意味的手がかりを識別してもよい。テキストをオブジェクトと同一視するために、製品識別モジュール１２４は、ストローク幅変換（stroke width transform、ＳＷＴ）を適用してもよい。ＳＷＴは、テキストを含む部分を見つけ、テキストを含まない画像の残りの部分をフィルタリング除去するために使用される。このようにして、画像のテキスト部分は、テキスト文字列に変換されてもよい。ＳＷＴ技術は、画像内の全てのテキスト文字が同じストローク幅を有するという仮定に基づいてもよい。例えば、文字「Ｔ」が画像内に配置されるとき、文字「Ｔ」における水平線の画素幅は、画像内の文字「Ｔ」における垂直線の画素幅と同じであってもよい。この幅はまた、画像内のテキスト文字を構成する他の全ての線又は曲線について同じであってもよい。

この仮定に基づいて、製品識別モジュール１２４は、同じ又は類似の幅を有する（例えば、互いの閾値分散内）いくつかの線又は曲線を識別することによって、画像内のテキスト文字を識別してもよい。より具体的には、製品識別モジュール１２４は、オブジェクト内の線及び曲線の境界を識別するために、境界セグメント化に関して上述したエッジ検出技術など、オブジェクトのうちの１つの中でエッジ検出技術を実行してもよい。次に、製品識別モジュール１２４は、これらの線及び曲線のそれぞれの画素幅を、それらのそれぞれの境界の位置に基づいて計算してもよい。いくつかの線及び／又は曲線の画素幅が同じであるか、又は互いの閾値分散内にあるとき、製品識別モジュール１２４は、テキストとして線及び／又は曲線を識別してもよく、オブジェクトの残りの部分をフィルタリング除去してもよい。

画像内のテキスト文字を識別するために、追加のフィルタリングステップも適用されてもよい。例えば、テキスト文字は、テキスト文字の長さが、閾値を超えてテキスト文字の幅を超えないように、最小アスペクト比及び最大アスペクト比を有してもよい。したがって、識別された線及び／又は曲線は、最小アスペクト比及び最大アスペクト比と比較されてもよい。候補テキスト文字の長さ対幅比が最小又は最大アスペクト比の外側にある場合、候補テキスト文字は、テキストを含まない画像の一部としてフィルタリング除去されてもよい。

テキスト文字の直径とテキスト文字の平均ストローク幅との間の閾値比もまた、テキストを含まない画像の部分をフィルタリング除去するために使用されてもよい。例えば、製品識別モジュール１２４が文字「Ｏ」に類似する画像の一部を識別する場合、製品識別モジュール１２４は、候補テキスト文字の直径の平均ストローク幅に対する比を計算してもよい。その比が閾値分散を超えて閾値比未満である場合（例えば、候補テキスト文字がドーナツ形である）、又はその比が閾値分散を超えて閾値比よりも大きい場合、候補テキスト文字は、テキストを含まない画像の一部としてフィルタリング除去されてもよい。更に、製品識別モジュール１２４は、最小閾値サイズよりも小さい又は最大閾値サイズよりも大きい（例えば、８画素の最小高さ及び３００画素の最大高さ）候補テキスト文字をフィルタリング除去してもよい。いくつかの実施形態では、フィルタリング重複境界ボックス、又は任意の他の好適なフィルタリングステップなど、他のフィルタリングステップも適用されてもよい。

テキスト文字を識別することに加えて、製品識別モジュール１２４はまた、単語を識別するためにＳＷＴを使用してもよい。例えば、単語内の全てのテキスト文字は、同じ色を有してもよく、均等に離間されてもよく、互いに閾値距離内にあってもよく、同じ高さであっても又は閾値量未満の高さ差異を有してもよい。したがって、製品識別モジュール１２４は、互いに閾値高さ差異内にある、互いに閾値距離内にある、及び／又は同じ距離だけ離間している、同じ色を有する識別されたテキスト文字をグループ化することによって単語を識別してもよい。

いくつかの実施形態では、製品識別モジュール１２４は、オブジェクト内のテキストを識別するために、最大安定極値領域（Maximally Stable Extremal Regions、ＭＳＥＲ）技術を使用してもよく、又はテキストを識別するためにＳＷＴ及びＭＳＥＲの組み合わせを使用してもよい。テキストがオブジェクト内で識別されると、テキストを含むオブジェクトの部分は、画像（例えば、テキストを含むオブジェクトの部分）をテキスト文字列に変換することができる光学文字認識（optical character recognition、ＯＣＲ）エンジンに提供されてもよい。いくつかの実施形態では、識別された各オブジェクトについて、製品識別モジュール１２４は、識別されたオブジェクト内のバーコード又はＱＲコードを識別してもよく、バーコード又はＱＲコードを復号して、意味的手がかりとして使用されてもよい文字列又は他のデータストリームにバーコード又はＱＲコードを変換してもよい。

オブジェクトに対応するスキンケア製品を識別するために、製品識別モジュール１２４は、オブジェクトの視覚的特徴、意味的手がかり、及び／又は他の視覚的特性のそれぞれを、スキンケア製品のテンプレートの視覚的記述子、意味的手がかり、及び／又は他の視覚的特性と比較して、オブジェクトがスキンケア製品の１つに対応する尤度を判定してもよい。スキンケアコンピューティングデバイス１０２は、データベースにスキンケア製品のテンプレートを記憶してもよい。各テンプレートは、テンプレートスキンケア製品についての視覚的特徴、意味的手がかり、及び／又は他の視覚的特性を含んでもよい。例えば、オブジェクトについての識別された各テキスト文字列は、スキンケア製品のテンプレート内のテキスト文字列と比較されて、オブジェクトが各テンプレートスキンケア製品に対応する尤度を判定してもよい。オブジェクトについて最も高い尤度を有するか又は尤度閾値を超える尤度を有するスキンケア製品は、オブジェクトに対応するスキンケア製品として識別されてもよい。

いくつかの実施形態では、製品識別モジュール１２４は、画像分類及び／又は機械学習技術を使用して、視覚的特徴及び意味的手がかりに基づいてスキンケア製品を識別するための機械学習モデルを生成してもよい。機械学習技術は、線形回帰、多項式回帰、ロジスティック回帰、ランダムフォレスト、ブースティング、最近傍、ベイジアンネットワーク、ニューラルネットワーク、深層学習、サポートベクトルマシン、又は任意の他の好適な機械学習技術を含んでもよい。その際、製品識別モジュール１２４は、オブジェクトの視覚的特徴及び意味的手がかりを機械学習モデルに適用して、オブジェクトに対応するスキンケア製品を識別してもよい。

いくつかの実施形態では、テンプレート特徴及びテンプレート意味的手がかりは、特徴及び意味的手がかりの数値表現を作成して特徴ベクトル（例えば、スキンケア製品の画素幅及び高さ）及びスキンケア製品のＲＧＢ画素値を生成する最近傍アルゴリズムを使用して、オブジェクトの特徴及び意味的手がかりと比較されてもよい。オブジェクトの特徴又は特徴ベクトルの数値表現は、テンプレートスキンケア製品の特徴ベクトル（例えば、データベースに記憶されている）と比較されて、オブジェクトの特徴と各テンプレートスキンケア製品との間のベクトル距離を判定してもよい。

場合によっては、意味的手がかりは、テンプレートスキンケア製品内のテキストと比較され、一致するテキスト文字、単語、又は記号の量を識別し、オブジェクトの意味的手がかりと各テンプレートスキンケア製品との間のベクトル距離を判定してもよい。製品識別モジュール１２４は、各ベクトル（例えば、各視覚的特徴及び意味的手がかり）のベクトル距離を生成し、個々のベクトル距離を組み合わせて、オブジェクトと特定のテンプレートスキンケア製品との間の全体的なベクトル距離を生成してもよい。製品識別モジュール１２４は、次に、オブジェクトの視覚的特徴及び意味的手がかりとテンプレートスキンケア製品の視覚的特徴及び意味的手がかりとの間の類似性の量、又は最近傍アルゴリズムにおけるベクトル距離に基づいて、オブジェクトに対応するスキンケア製品を識別してもよい。製品識別モジュール１２４は、オブジェクトに対応するテンプレートスキンケア製品として、オブジェクトとテンプレートスキンケア製品との間の最小の全体ベクトル距離を有するテンプレートスキンケア製品を識別してもよい。

他の例では、製品識別モジュール１２４は、カメラ１１２の視野内の領域の画像又はビデオを、オブジェクトを識別して上述したものと同様の技術を使用してオブジェクトに対応するスキンケア製品を判定することができるサーバデバイス２０２に提供してもよい。次いで、サーバデバイス２０２は、識別されたスキンケア製品を製品識別モジュール１２４に提供してもよい。いずれにせよ、ユーザによって使用されているスキンケア製品１０４を識別することに加えて、製品識別モジュール１２４は、スキンケア製品１０４の製品使用イベントデータなどの消費者習慣を識別してもよい。製品使用イベントデータは、スキンケア製品の名称、使用の日付及び／又は時間、使用の持続時間、スキンケア製品１０４が使用される方法、スキンケア製品１０４などと同じ時間枠で使用される他のスキンケア製品などの、スキンケア製品１０４の識別情報を含んでもよい。

製品識別モジュール１２４は、製品識別モジュール１２４がスキンケア製品１０４を識別する日付及び／又は時間に基づいて、使用の日付及び／又は時間を判定してもよい。例えば、スキンケアコンピューティングデバイス１０２がスキンケア製品１０４によって提供される無線識別タグからの識別情報を受信すると、製品識別モジュール１２４は、識別情報を受信した日付及び／又は時間を記録してもよい。

加えて、製品識別モジュール１２４は、スキンケア製品１０４がもはや識別されることができないときを判定することによって、使用の持続時間を判定してもよい。例えば、製品識別モジュール１２４は、スキンケアコンピューティングデバイス１０２がスキンケア製品１０４からの無線信号の受信を停止するまで、スキンケア製品１０４がもはやカメラ１１２の視野内になくなるまで等の時間量を記録してもよい。

更にまた、製品識別モジュール１２４は、上述したのと同様の方法で他のスキンケア製品を識別し、他のスキンケア製品のそれぞれの識別時間をスキンケア製品の識別時間と比較することによって、スキンケア製品１０４と同じ時間枠で使用される他のスキンケア製品を識別してもよい。スキンケア製品の閾値期間（例えば、２分、５分、１０分など）内で別のスキンケア製品が識別された場合、製品識別モジュール１２４は、スキンケア製品１０４と同じ時間枠で他のスキンケア製品が使用されたと判定してもよい。例えば、製品識別モジュール１２４は、５つのスキンケア製品が１０分の期間内で使用されたことを判定してもよく、したがって、５つのスキンケア製品のそれぞれが同じ時間枠で使用されたと判定してもよい。製品識別モジュール１２４はまた、スキンケア製品のセットが同じ時間枠で使用されたときに、スキンケア製品のセットが使用された順序を生成してもよい。

更に、スキンケア製品１０４が使用される方法を判定するために、スキンケアコンピューティングデバイス１０２は、ユーザインターフェース１１０上で又はスピーカ１０８を介して、識別されたスキンケア製品１０４の使用に関連する質問を提示してもよい。したがって、ユーザは、マイクロフォンを介して、又はドロップダウンメニュー、テキストフィールドなどのユーザインターフェース１１０上のユーザ制御を介して受信された音声応答によって質問に応答してもよい。例えば、スキンケア製品１０４がアイメイクであるとき、スキンケアコンピューティングデバイス１０２は、どの色が使用されているのか、眼の周囲のどこにアイメイクが適用されているのなどを尋ねてもよい。いくつかの実装形態では、製品識別モジュール１２４は、質問に対するユーザの応答に基づいてスキンケア製品１０４が使用されている方法を判定してもよい。他の実装形態では、製品識別モジュール１２４は、コンピュータビジョン技術を使用してカメラ１１２からの画像又はビデオを分析することによって、スキンケア製品１０４が使用されている方法を判定してもよい。例えば、製品識別モジュール１２４は、ユーザの眼、唇、及び鼻などの画像からユーザの顔及び顔の特徴を識別してもよく、ユーザの顔のどこにユーザが化粧、口紅、保湿剤などを適用しているかを判定してもよい。

製品識別モジュール１２４は、ユーザを識別するように構成されてもよい。例えば、製品識別モジュール１２４は、スキンケアコンピューティングデバイス１０２のユーザインターフェース１１０上のユーザ制御を介した手動入力からユーザの識別情報の指標を取得してもよい。場合によっては、ユーザは、ログイン資格情報（例えば、氏名、パスワード、又は他の好適な識別情報）を使用して、ユーザプロフィールにログインしてもよい。追加的に又は代替的に、製品識別モジュール１２４は、ユーザの画像又はビデオ、及び／又はユーザからの音声データなどの環境センサデータから自動的にユーザの識別情報の指標を取得してもよい。

スキンケアコンピューティングデバイス１０２は、スキンケアコンピューティングデバイス１０２を利用する各ユーザのそれぞれのテンプレート画像を記憶してもよい。例えば、スキンケアコンピューティングデバイス１０２は、画像、ビデオ、顔特徴パターン、指紋、音声記録、オーディオシグネチャ、及び／又は各ユーザの他の生体データを記憶してもよい。製品識別モジュール１２４は、ユーザを識別するために、従来のコンピュータベースの方法（例えば、機械学習技術）を使用して、環境センサデータを記憶された生体データと比較してもよい。機械学習技術のいくつかの非限定的な例としては、線形回帰、多項式回帰、ロジスティック回帰、ランダムフォレスト、ブースティング、最近傍、ベイジアンネットワーク、ニューラルネットワーク、深層学習、サポートベクトルマシン、これらの組み合わせなどが挙げられる。いくつかの実施形態では、テンプレートの顔の特徴及び／又はテンプレートの音声特徴は、未知のユーザの識別子（例えば、ユーザＩＤ）を取得するために、例えば、最近傍アルゴリズムを使用して、識別情報が未知であるユーザの顔の特徴及び／又は音声特徴と比較されてもよい。

推奨判定モジュール１２６は、識別されたスキンケア製品１０４の製品使用イベントデータ、及び／又はアクティビティに関するアクティビティデータ、並びにユーザについての識別情報（例えば、ユーザログイン資格情報、ユーザＩＤなど）をサーバデバイス２０２に提供してもよい。サーバデバイス２０２は、アクティビティデータ及び／又は製品使用イベントデータを、識別されたスキンケア製品１０４及び他のスキンケア製品の履歴製品使用イベントデータ及び／又は識別されたアクティビティ及び他のアクティビティの履歴アクティビティデータを含んでもよいユーザについてのユーザプロフィールに記憶してもよい。ユーザプロフィールはまた、ユーザに関するバイオグラフィカル情報、ユーザの現在の位置、ユーザの画像、又はスキンケア製品に関するユーザの好み若しくは目標など、ユーザについてのユーザプロフィールデータを含んでもよい。いくつかの実装形態では、スキンケアコンピューティングデバイス１０２又はユーザのクライアントコンピューティングデバイス２２２は、ユーザからユーザプロフィールデータを取得し、このユーザプロフィールデータをサーバデバイス２０２に提供する。例えば、ユーザのクライアントコンピューティングデバイス２２２は、（例えば、ＧＰＳモジュールなどの測位センサを介して、又はＩＰアドレスを介して取得される）位置データを、ユーザの現在の位置とすることができるサーバデバイス２０２に提供してもよい。次に、サーバデバイス２０２は、ユーザプロフィールデータをユーザについてのユーザプロフィールに記憶してもよい。

ユーザプロフィールデータ及び製品使用イベントデータを例示する例示的なデータテーブル３００、４００がそれぞれ図３及び図４に示されている。図３のデータテーブル３００に示すように、ユーザプロフィール内のユーザプロフィールデータは、ユーザＩＤ３０２、ユーザの氏名３０４、ユーザの住所３０６、ユーザの生年月日３０８、ユーザによって提供されるスキンケア目標３１０、ユーザによって提供される、報告された化粧上の問題３１２、ユーザの報酬ポイント３１４、又はユーザに関する任意の他の好適な情報を含んでもよい。データテーブル３００はまた、ユーザの画像（図示せず）、製品使用に関連するユーザ実績メトリック（図示せず）などを含んでもよい。図４のデータテーブル４００に示すように、ユーザプロフィール内の製品使用イベントデータは、製品使用イベントデータをユーザと関連付けるためのユーザプロフィールデータと同じユーザＩＤであってもよいユーザＩＤ４０２を含んでもよい。製品使用イベントデータはまた、スキンケア製品の名称４０４、使用の日付及び／又は時間４０６、使用の持続時間４０８、及びスキンケア製品がどのように使用されたかを説明する使用方法４１０を含んでもよい。例えば、データテーブル４００に示すように、ジェーン・スミス（ユーザＩＤ２）は、Ｏｌａｙ（商標）トータルエフェクトホイップフェイスモイスチャライザを２０１９年７月２６日午前９時１４分に１分間適用した。彼女は、保湿剤を顔の部分に不均一に塗った。７月１４日に戻ると、ジェーン・スミスは、Ｏｌａｙ（商標）トータルエフェクトホイップフェイスモイスチャライザを午後７時１５分に３０秒間適用した。その時点で、彼女は、保湿剤を顔全体に均一に塗った。加えて、７月２２日に、ジェーン・スミスは、ＳＫ－ＩＩ（商標）フェイシャルトリートメントマスクを午前９時３７分に７分間使用した。彼女は、マスクを顔に置き、７分間放置して洗い流した。

サーバデバイス２０２は、１つ以上のプロセッサ２０４と、長距離及び近距離通信ネットワークを介してデータを送受信するための通信ユニット（図示せず）と、メモリ２０６と、を含んでもよい。サーバデバイス２０２はまた、アクティビティデータを含むデータテーブル（図示せず）を記憶してもよい。ユーザプロフィール内のアクティビティデータは、アクティビティデータをユーザと関連付けるためのユーザプロフィールデータと同じユーザＩＤであってもよいユーザＩＤを含んでもよい。アクティビティデータはまた、アクティビティの種類、アクティビティの日付及び／又は時間、並びにアクティビティの持続時間を含んでもよい。更にまた、アクティビティデータは、アクティビティデータに基づくアクティビティ及び／又は他のメトリックの日付及び／又は時間に基づいて、特定の期間（例えば、日、週、月）にわたるアクティビティの頻度を含んでもよい。サーバデバイス２０２は、特定のスキンケア製品の製品使用イベントデータ、特定の種類のアクティビティに関するアクティビティデータ、及び／又はユーザについてのユーザプロフィールデータを分析して、スキンケア製品又は関連するスキンケア製品を使用する際にユーザを支援するユーザフィードバック情報を生成してもよい。これは、スキンケア製品に関するユーザの体験を向上させ、スキンケア製品を使用することによる改善された結果を提供することができる。

メモリ２０６は、オペレーティングシステム（図示せず）及びスキンケア推奨生成器２０８の命令を記憶することができる。サーバデバイス２０２はまた、数人のユーザについてのユーザプロフィールを記憶するデータベース２１０に通信可能に結合されてもよく、各ユーザプロフィールは、上述したように、ユーザプロフィールデータ及び製品使用イベントデータを含む。データベース２１０はまた、テンプレートスキンケア製品の視覚的特徴、意味的手がかり、及び／又は他の視覚的特性を含むスキンケア製品のテンプレートを記憶してもよい。更に、データベース２１０は、アクティビティに対応するオーディオ特性のセットをそれぞれ含む様々なアクティビティについてのオーディオシグネチャを記憶してもよい。加えて、データベース２１０は、テンプレートスキンケア製品の視覚的特徴、意味的手がかり、及び／又は他の視覚的特性に基づいて、及び／又は様々なアクティビティについてのオーディオシグネチャに基づいて生成された機械学習モデルを記憶してもよい。更にまた、各スキンケア製品又はスキンケア製品の各種類に関して、データベース２１０は、スキンケア製品の適切な頻度、持続時間、及び使用方法に関する規則のセットを記憶してもよい。規則は、特定のユーザの人口統計に応じて異なってもよい。例えば、規則は、第１の年齢群のユーザが第２の年齢群のユーザよりも多くの頻度で保湿されるべきであることを示してもよい。規則のセットに加えて、データベース２１０は、ユーザの以前の使用パターン及び／又はユーザが経験した結果に基づいて、特定のユーザに特有であるスキンケア製品の適切な頻度、持続時間、及び使用方法を判定するための機械学習モデルを記憶してもよい。例えば、一般的な規則が毎日保湿することであるが、ユーザの製品使用イベントデータは、ユーザが毎週保湿していたことを示し、ユーザの肌のきめが大幅に改善されたことを更にユーザの最近の画像が示す場合、ユーザ固有の機械学習モデルは、ユーザの適切な保湿頻度が毎週であるように調整されてもよい。

更に、データベース２１０は、特定のアクティビティについての適切な頻度、持続時間、及び使用方法に関する規則のセットを記憶してもよい。規則のセットはまた、アクティビティが実行されることができる推定総回数、及び／又はユーザが石鹸及びシャンプーを交換する必要がある前のシャワーの回数など、アクティビティに関連する製品が補充される必要がある前にアクティビティを実行する複数の例にわたる推定総持続時間を含んでもよい。規則のセットに加えて、データベース２１０は、ユーザの以前の使用パターン及び／又はユーザが経験した結果に基づいて、特定のユーザに固有の特定のアクティビティについての適切な頻度、持続時間、及び使用方法を判定するための機械学習モデルを記憶してもよい。

スキンケア推奨生成器２０８は、（例えば、データベース２１０内のユーザプロフィールからの）識別されたスキンケア製品１０４についてのいくつかの時間例においてアクティビティデータ及び／又は製品使用イベントデータを分析して、ユーザフィードバック情報を生成してもよい。例えば、スキンケア推奨生成器２０８は、特定の時間窓（例えば、前年、前月、前週など）にわたってアクティビティデータ及び／又は製品使用イベントデータを分析してもよい。次いで、スキンケア推奨生成器２０８は、特定の時間窓にわたる使用頻度、使用の平均持続時間、使用の日時など、スキンケア製品１０４の製品使用メトリックを判定してもよい。例えば、図４に記載されたＯｌａｙ（商標）トータルエフェクトホイップフェイスモイスチャライザについて、スキンケア推奨生成器２０８は、ユーザが保湿剤を週に約１回適用したと判定してもよい。スキンケア推奨生成器２０８はまた、特定の時間窓にわたるアクティビティの頻度、アクティビティの平均持続時間、アクティビティの日時などのアクティビティについてのアクティビティメトリックを判定してもよい。

スキンケア推奨生成器２０８は、製品使用メトリック及び／又は製品使用イベントデータを、例えばデータベース２１０からの識別されたスキンケア製品１０４の規則のセットと比較して、ユーザフィードバック情報を生成してもよい。スキンケア推奨生成器２０８はまた、アクティビティメトリック及び／又はアクティビティデータを、例えばデータベース２１０からの識別されたアクティビティの規則のセットと比較して、ユーザフィードバック情報を生成してもよい。アクティビティメトリック、アクティビティデータ、製品使用メトリック、及び／又は製品使用イベントデータは、人口統計、又はユーザのスキンケア目標及び報告された問題など、ユーザについてのユーザプロフィールデータを考慮して規則のセットと比較されてもよい。

他の実装形態では、スキンケア推奨生成器２０８は、アクティビティメトリック、アクティビティデータ、製品使用メトリック、製品使用イベントデータ、及び／又はユーザプロフィールデータを、他のユーザの実績に基づいて生成された機械学習モデルに適用してもよい。例えば、スキンケア推奨生成器２０８は、スキンケア製品によって美容上の欠陥を改善した第１の組のユーザについてのアクティビティメトリック、アクティビティデータ、製品使用メトリック、製品使用イベントデータ、及び／又はユーザプロフィールデータの第１のセットと、スキンケア製品によって美容上の欠陥を改善しなかった第２の組のユーザについてのアクティビティメトリック、アクティビティデータ、製品使用メトリック、製品使用イベントデータ、及び／又はユーザプロフィールデータの第２のセットとを使用して、機械学習モデルを訓練してもよい。ユーザフィードバック情報の各種類（例えば、報酬、推奨、助言など）について、スキンケア推奨生成器２０８は、スキンケア製品に関するユーザフィードバック情報の種類を受信した第１の組のユーザについてのアクティビティメトリック、アクティビティデータ、製品使用メトリック、製品使用イベントデータ、及び／又はユーザプロフィールデータの第１のセットと、スキンケア製品に関するユーザフィードバック情報の種類を受信しなかった第２の組のユーザについてのアクティビティメトリック、アクティビティデータ、製品使用メトリック、製品使用イベントデータ、及び／又はユーザプロフィールデータの第２のセットとを使用して、機械学習モデルを訓練してもよい。

スキンケア推奨生成器２０８は、規則のセット及び／又は機械学習モデルを使用してユーザフィードバック情報を生成してもよい。ユーザフィードバック情報は、（例えば、場合によってはアクティビティデータを介して判定されてもよいスキンケア製品の閾値使用回数の後、又はスキンケア製品が規則のセット及び／又は機械学習モデルに従って閾値年齢を超える場合）スキンケア製品を補充するための推奨を含んでもよい。ユーザフィードバック情報は、スキンケア製品の使用方法又はスキンケア製品の使用を改善する方法に関する助言を含んでもよい。

各スキンケア製品について、サーバデバイス２０２は、例えば、データベース２１０内にスキンケア製品を使用する命令セットを記憶してもよい。ユーザが製品使用イベントデータに基づいてスキンケア製品を不正確に使用しているとき、スキンケア推奨生成器２０８は、スキンケア製品の使用方法に関する助言を生成してもよい。（例えば、図４を参照して上述したように、ユーザは、ＳＫ－ＩＩ（商標）フェイシャルトリートメントマスクを顔に置き、それを７分間放置し、洗い流した。ＳＫ－ＩＩ（商標）フェイシャルトリートメントマスクの規則のセットは、ユーザがマスクを洗い流すべきではなく、代わりにマスクを擦り込むべきであることを示してもよい。したがって、スキンケア推奨生成器２０８は、次回は、ユーザがマスクを洗い流すことなくマスクを擦り込むべきであることを示す助言を生成してもよい。助言はまた、スキンケア製品を使用する頻度及び持続時間、並びに／又はユーザがスキンケア製品を使用している頻度及び持続時間の説明を含んでもよい。スキンケア推奨生成器２０８は、ユーザが製品使用イベントデータに従って最初にスキンケア製品を使用したとき、又はユーザが製品使用イベントデータ及びスキンケア製品を使用する際の指標のセットに従ってスキンケア製品を過度に頻繁に、十分な頻繁ではなく、長すぎる時間にわたって、又は不十分な長さにわたって使用しているときに、頻度及び／又は持続時間を示す助言を生成してもよい。

製品の使用方法に関する助言は、ユーザの消費者習慣に基づいてもよい。例えば、ユーザの習慣が特定の製品を使用するための規則のセットから逸脱する場合、スキンケア推奨生成器２０８は、製品の使用方法を示す助言を生成してもよい。更に、ユーザフィードバック情報は、ユーザの習慣に基づいて特定の衛生レジメンを最適化する機会を含んでもよい。より具体的には、ユーザフィードバック情報は、ユーザが特定の順序に従っていないことをユーザの習慣が示す場合など、ユーザが特定の衛生レジメンのために製品のセットを使用すべき特定の順序を含んでもよい。例えば、ユーザがファンデーションをつける前にコンシーラーを適用することをユーザの習慣が示す場合、ユーザフィードバック情報は、ファンデーションをつけた後にコンシーラーを適用すべきとの推奨を含んでもよい。加えて、ユーザフィードバック情報は、特定の衛生レジメンの間に使用すべき追加又は代替製品についての推奨を、ユーザが現在レジメンで使用している製品と共に含んでもよい。

いくつかの実施形態では、製品の使用方法に関する助言は、ユーザの場所の気象条件、時季、又は時刻などのユーザプロフィールデータに基づいてもよい。暑い、湿度の高い日である場合、又は雨が降っている場合、スキンケア推奨生成器２０８は、低湿度の日照日とは異なる、スキンケア製品の使用の種類を推奨してもよい。また、夏季の日中である場合、スキンケア推奨生成器２０８は、日焼け止め剤を有する日中保湿剤を購入することを推奨して、ユーザの夜間保湿剤と共に継続することを推奨してもよい。冬季では、スキンケア推奨生成器２０８は、ユーザが日中及び夜間に同じ保湿剤を適用することを推奨してもよい。

場合によっては、ユーザフィードバック情報は、関連するスキンケア製品を購入すべきとの推奨を含んでもよい。例えば、サーバデバイス２０２は、スキンケア製品の成分又は他のユーザに対するスキンケア製品の効果に従って、一緒になって良好に機能するスキンケア製品のリストを記憶してもよい。ユーザが特定の種類のシャンプーを使用しているとき、スキンケア推奨生成器２０８は、シャンプーを補完する特定の種類のコンディショナを推奨してもよい。ユーザプロフィールは、ユーザが過去に、別のスキンケア製品と同じ時間枠内に特定のスキンケア製品を使用したことを示してもよい。スキンケア推奨生成器２０８は、ユーザが、特定のケア製品をもう一度購入して他のスキンケア製品と共に使用することを推奨してもよい。

ユーザフィードバック情報は、ユーザが特定のスキンケア製品を使用する持続時間及び／又は頻度に基づくスコアなどのユーザ実績メトリックを含んでもよい。例えば、ユーザ実績メトリックは、ユーザがコンディショナを使用するたびに増加する０～１００からのスコアであってもよい。ユーザが閾値期間にわたってコンディショナを使用しない場合、スコアは減少するか、又は０にリセットされてもよい。いくつかの実装形態では、スキンケア推奨生成器２０８は、回帰モデルなどの機械学習モデルを使用してユーザ実績メトリックを生成する。上述したように、機械学習モデルは、スキンケア製品によって美容上の欠陥を改善した第１の組のユーザについてのアクティビティメトリック、アクティビティデータ、製品使用メトリック、及び／又は製品使用イベントデータの第１のセットと、スキンケア製品によって美容上の欠陥を改善しなかった第２の組のユーザについてのアクティビティメトリック、アクティビティデータ、製品使用メトリック、及び／又は製品使用イベントデータの第２のセットとを使用して訓練されてもよい。次に、スキンケア推奨生成器２０８は、ユーザのアクティビティメトリック、アクティビティデータ、製品使用メトリック、及び／又は製品使用イベントデータを機械学習モデルに適用して、ユーザ実績メトリックを生成してもよい。

ユーザフィードバック情報はまた、ユーザ実績メトリックが閾値を超えたとき、ユーザが異なるスキンケア製品の閾値回数よりも多く使用したとき、ユーザがスキンケアコンピューティングデバイスによって提供される推奨又は助言に従ったときに与えられることができる報酬を含んでもよい。ユーザ実績メトリックはまた、他のユーザの実績との比較であってもよい。いくつかの実施形態では、スキンケア推奨生成器２０８は、ユーザの実績を、同じ人口統計（例えば、年齢群）における他のユーザの実績と比較してもよい。例えば、ユーザは、アイメイクに関して６５である未加工のユーザ実績メトリックを有してもよいが、これは、同じ年齢群、同じ地理的領域などの他のユーザと比較して、未加工のユーザ実績メトリックの７５パーセンタイルであり得る。したがって、ユーザフィードバック情報は、未加工ユーザ実績メトリック、他のユーザと比べた未加工ユーザ実績メトリックのパーセンタイル又はランキング、他のユーザと比べた、ユーザの実績を考慮して調整されたユーザ実績メトリック、又は任意の他の好適な相対ユーザ実績メトリックを提供してもよい。場合によっては、ユーザフィードバック情報は、ユーザ実績メトリックを改善する方法に関する推奨、高いスコアに到達して報酬ポイントを受け取るためにスキンケア製品を使用し続ける奨励、又はスキンケア製品の一貫した使用を維持するための他のインセンティブを含んでもよい。

例示的なユーザフィードバック情報は、図５のデータテーブル５００に示されている。例えば、スキンケア推奨生成器２０８は、ユーザが「日焼け止め剤を有するスキンケア製品を使用して有害な紫外線から保護する」ことを推奨してもよい。保湿剤について、スキンケア推奨生成器２０８は、「過去１か月において、週に約２回保湿していました。確実に毎日保湿してください。」と助言してもよい。別の例では、スキンケア推奨生成器２０８は、「５回の使用後にスキンケア製品を交換するのを忘れないでください」と助言してもよい。更に別の例では、スキンケア推奨生成器２０８は、ユーザが「ＯＬＡＹリンクルリペアセラムを購入して保湿剤と共に使用する」ことを推奨してもよい。ユーザフィードバック情報の別の例は、「適切なスキンケア習慣を維持するために２００報酬ポイントを獲得しました」であってもよい。

データベース２１０はまた、スキンケアコンピューティングデバイス１０２が同じユーザフィードバック情報をユーザに繰り返し提供しないように、ユーザに提供された以前のユーザフィードバック情報を記憶してもよい。様々なユーザフィードバック情報に対するユーザの応答に基づいて、スキンケア推奨生成器２０８は、どの種類のユーザフィードバック情報がユーザの実績を改善するかを学習してもよい。例えば、スキンケア推奨生成器２０８は、ユーザが推奨される関連製品を購入しないことを学習してもよく、したがって、関連製品推奨を提供することを停止してもよい。スキンケア推奨生成器２０８は、ＳＭＳメッセージ、電子メール、プッシュ通知などを介して、ユーザフィードバック情報をスキンケアコンピューティングデバイス１０２又はクライアントコンピューティングデバイス２２２に提供してもよい。他の実装形態では、スキンケアコンピューティングデバイス１０２内の推奨判定モジュール１２６は、製品使用イベントデータをサーバデバイス２０２に送信することなく、ユーザについての製品使用イベントデータを分析してユーザフィードバック情報を生成してもよい。

制御モジュール１２８は、例えば、ユーザインターフェース１１０を介してユーザフィードバック情報を含む表示を提示する、スピーカ１０８を介してユーザフィードバック情報を含むオーディオ出力を提示する、振動モータを介してユーザフィードバック情報を示す触覚フィードバックを提供する、又は通信ユニット１１６を介してユーザフィードバック情報をクライアントコンピューティングデバイス２２２に送信することによって、スキンケアコンピューティングデバイス１０２の動作を制御してもよい。

図６は、スキンケア製品に関するフィードバックを提供するための例示的な方法６００を表すフロー図を示している。方法６００は、スキンケアアシスタントアプリケーション１２２によって実行され、スキンケアコンピューティングデバイス１０２上で実行されてもよい。いくつかの実施形態では、方法６００は、非一時的コンピュータ可読メモリ上に記憶され且つスキンケアコンピューティングデバイス１０２の１つ以上のプロセッサ上で実行可能な命令のセットに実装されてもよい。例えば、方法６００は、図２に示されるように、製品識別モジュール１２４、推奨判定モジュール１２６、及び制御モジュール１２８によって少なくとも部分的に実行されてもよい。

ブロック６０２において、ユーザによって使用されているスキンケア製品１０４の指標が取得される。スキンケア製品１０４の指標は、スキンケアコンピューティングデバイス１０２のユーザインターフェース１１０又はクライアントコンピューティングデバイス２２２上のユーザ制御を介した手動入力によって提供されることができる。例えば、ユーザは、ユーザインターフェース１１０上のドロップダウンメニューに含まれるスキンケア製品のリストからスキンケア製品１０４を選択してもよい。スキンケア製品１０４の指標はまた、スキンケア製品１０４からの無線信号、又はスキンケア製品１０４の画像若しくはビデオなどを介して自動的に提供されてもよい。

いくつかの実施形態では、アクティビティの指標が取得されてもよい。アクティビティの指標は、マイクロフォン若しくはマイクロフォンのアレイなどのオーディオセンサ、温度センサ、超音波センサ、例えば、Ｗｉ－Ｆｉ若しくはブルートゥース信号を受信するための無線アンテナ、体重計、ウェアラブルセンサ、ＶＯＣセンサなどの空気品質センサ、ＬｉＤＡＲセンサ若しくはＩＲセンサなどの環境センサを取り囲む領域の３Ｄ点群を生成するための奥行きセンサ、及び／又は湿度センサなどのいずれか１つ、いずれか２つ、又は任意の好適な組み合わせであってもよい環境センサによって検出されたスキンケアコンピューティングデバイス１０２を取り囲む領域に関する環境特性などを介して、自動的に提供されてもよい。

ブロック６０４において、スキンケア製品１０４は、取得された指標に基づいて識別される。手動入力の場合、スキンケアコンピューティングデバイス１０２は、ユーザ制御を介して選択されたスキンケア製品１０４を識別することができる。スキンケア製品１０４の指標が無線信号であるとき、スキンケアコンピューティングデバイス１０２は、無線信号に含まれる識別情報に基づいて無線信号を送信するスキンケア製品１０４を識別してもよい。更にまた、スキンケア製品１０４の指標が画像又はビデオであるとき、スキンケアコンピューティングデバイス１０２は、画像又はビデオフレーム内のオブジェクトを識別し、オブジェクトの視覚的特徴、意味的手がかり、及び／又は他の視覚的特性を識別するために、上述したコンピュータビジョン技術を使用して画像又はビデオフレームを分析することによってスキンケア製品１０４を識別してもよい。次に、スキンケアコンピューティングデバイス１０２は、スキンケア製品のテンプレートの視覚的特徴、意味的手がかり、及び／又は他の視覚的特性をこの視覚的特徴、意味的手がかり、及び／又は他の視覚的特性と比較して、オブジェクトがスキンケア製品の１つに対応する尤度を判定してもよい。他の実装形態では、スキンケアコンピューティングデバイス１０２又はサーバデバイス２０２は、画像分類及び／又は機械学習技術を使用して、視覚的特徴及び意味的手がかりに基づいてスキンケア製品を識別するための機械学習モデルを生成してもよい。次に、スキンケアコンピューティングデバイス１０２は、オブジェクトの視覚的特徴及び意味的手がかりを機械学習モデルに適用して、オブジェクトに対応するスキンケア製品を識別してもよい。

場合によっては、スキンケアコンピューティングデバイス１０２は、スキンケア製品１０４の取得された指標をサーバデバイス２０２に提供して、指標に対応するスキンケア製品１０４を識別してもよい。次に、サーバデバイス２０２は、識別されたスキンケア製品１０４及び／又は識別されたアクティビティをスキンケアコンピューティングデバイス１０２に提供する。スキンケア製品１０４を識別することに加えて、スキンケアコンピューティングデバイス１０２は、スキンケア製品１０４とのユーザの相互作用に基づいて、スキンケア製品１０４の製品使用イベントデータを識別してもよい（ブロック６０６）。製品使用イベントデータは、スキンケア製品の名称、使用の日付及び／又は時間、使用の持続時間、スキンケア製品１０４が使用される方法、スキンケア製品１０４と同じ時間枠で使用される他のスキンケア製品などの、スキンケア製品１０４の識別情報を含んでもよい。例えば、スキンケアコンピューティングデバイス１０２がスキンケア製品１０４によって提供される無線識別タグからの識別情報を受信すると、スキンケアコンピューティングデバイス１０２は、識別情報を受信した日付及び／又は時間を記録してもよい。スキンケアコンピューティングデバイス１０２は、スキンケア製品１０４がもはや識別されることができないときを判定することによって、使用の持続時間を判定してもよい。更にまた、スキンケアコンピューティングデバイス１０２は、上述したのと同様の方法で他のスキンケア製品を識別し、他のスキンケア製品のそれぞれの識別時間をスキンケア製品の識別時間と比較することによって、スキンケア製品１０４と同じ時間枠で使用される他のスキンケア製品を識別してもよい。

更に、スキンケア製品１０４が使用される方法を判定するために、スキンケアコンピューティングデバイス１０２は、ユーザインターフェース１１０上で又はスピーカ１０８を介して、識別されたスキンケア製品１０４の使用に関連する質問を提示してもよい。したがって、ユーザは、マイクロフォンを介して、又はドロップダウンメニュー、テキストフィールドなどのユーザインターフェース１１０上のユーザ制御を介して受信された音声応答によって質問に応答してもよい。他の実装形態では、スキンケアコンピューティングデバイス１０２は、コンピュータビジョン技術を使用してカメラ１１２からの画像又はビデオを分析することによってスキンケア製品１０４が使用されている方法を判定してもよい。例えば、スキンケアコンピューティングデバイス１０２は、ユーザの眼、唇、及び鼻などの画像からユーザの顔及び顔の特徴を識別してもよく、ユーザが顔のどこに化粧品、口紅、保湿剤などを適用しているかを判定してもよい。更に他の実装形態では、スキンケアコンピューティングデバイス１０２は、スキンケア製品１０４がアクティビティデータに基づいて使用されている方法を判定してもよい。より具体的には、アクティビティデータは、スキンケア製品１０４を使用している間に実行されるユーザのアクティビティの種類を示してもよい。スキンケアコンピューティングデバイス１０２がアクティビティの種類、アクティビティの日付及び／若しくは時間、並びに／又はアクティビティの持続時間などのアクティビティデータを識別することが望ましい場合もある。

いくつかの実施形態では、スキンケアコンピューティングデバイス１０２又はクライアントコンピューティングデバイス２２２はまた、ユーザに関するバイオグラフィカル情報及び／又は生体情報、ユーザの現在の位置、ユーザの画像、又はスキンケア製品に関するユーザの好み若しくは目標など、ユーザのユーザプロフィールデータも取得する。次に、スキンケアコンピューティングデバイス１０２又はクライアントコンピューティングデバイス２２２は、ユーザプロフィールデータをサーバデバイス２０２に提供する。

ブロック６０８において、スキンケアコンピューティングデバイス１０２は、アクティビティデータ、識別されたスキンケア製品１０４の製品使用イベントデータ、及び／又はユーザについての識別情報（例えば、ユーザログイン資格情報、ユーザＩＤなど）をサーバデバイス２０２に提供する。サーバデバイス２０２は、識別されたアクティビティについてのアクティビティデータ、識別されたスキンケア製品１０４の製品使用イベントデータ、及び／又はユーザについてのユーザプロフィールデータを分析し、スキンケア製品又は関連するスキンケア製品を使用する際にユーザを支援するためのユーザフィードバック情報を生成してもよい。より具体的には、サーバデバイス２０２は、識別されたスキンケア製品１０４及び／又は識別されたアクティビティについてのいくつかの時間例におけるアクティビティデータ及び／又は製品使用イベントデータを分析し、ユーザフィードバック情報を生成してもよい。例えば、サーバデバイス２０２は、特定の時間窓（例えば、前年、前月、前週など）にわたってアクティビティデータ及び／又は製品使用イベントデータを分析してもよい。次に、サーバデバイス２０２は、特定の時間窓にわたる使用頻度、使用の平均持続時間、使用の日時など、スキンケア製品１０４の製品使用メトリックを判定してもよい。サーバデバイス２０２はまた、特定の時間窓にわたるアクティビティの頻度、アクティビティの平均持続時間、アクティビティの日時などのアクティビティデータに基づいてアクティビティメトリックを識別してもよい。サーバデバイス２０２は、次に、アクティビティデータ、アクティビティメトリック、製品使用メトリック及び／又は製品使用イベントデータを、例えばデータベース２１０からの識別されたスキンケア製品１０４の規則のセットと比較して、ユーザフィードバック情報を生成してもよい。他の実装形態では、サーバデバイス２０２は、アクティビティデータ、アクティビティメトリック、製品使用メトリック、製品使用イベントデータ、及び／又はユーザプロフィールデータを、他のユーザの実績に基づいて生成された機械学習モデルに適用してもよい。

サーバデバイス２０２は、いくつかの種類のユーザフィードバック情報を生成してもよい。データベース２１０はまた、ユーザに提供された以前のユーザフィードバック情報を記憶してもよく、サーバデバイス２０２は、閾値期間内にユーザに提示されなかった複数種類のユーザフィードバック情報をスキンケアコンピューティングデバイス１０２又はクライアントコンピューティングデバイス２２２に提供してもよい。他の実装形態では、いくつかの種類のユーザフィードバック情報が、ユーザ実績メトリックなどの他のものよりも多く提供されてもよい。サーバデバイス２０２は、ユーザ実績メトリックが変化するたびに、更新されたユーザ実績メトリックをユーザに提供してもよい。一方、サーバデバイス２０２は、例えば、１週間に１回又は１か月に１回、スキンケア製品を使用する方法に関する推奨を提供するのみであってもよい。

ブロック６１２において、スキンケアコンピューティングデバイス１０２は、サーバデバイス２０２からユーザフィードバック情報を取得する。他の実装形態では、スキンケアコンピューティングデバイス１０２は、アクティビティデータ、スキンケア製品の製品使用イベントデータ、及び／又はユーザプロフィールデータに基づいてユーザフィードバック情報を生成してもよい。いずれにしても、スキンケアコンピューティングデバイス１０２は、ユーザにユーザフィードバック情報を提示する（ブロック６１４）。スキンケアコンピューティングデバイス１０２は、ユーザインターフェース１１０上にユーザフィードバック情報を含む表示を提示してもよく、振動モータを介してユーザフィードバック情報を示す触覚フィードバックを提供してもよく、ユーザフィードバック情報に基づいて発光ダイオード（ＬＥＤ）のセットをオン又はオフにしてもよく、スピーカ１０８を介してユーザフィードバック情報を含む音声出力を提示してもよく、又は通信ユニット１１６を介してクライアントコンピューティングデバイス２２２上に表示するためのユーザフィードバック情報を送信してもよい。

図７は、スキンケア製品に関するフィードバックを生成するための例示的な方法７００を表すフロー図を示している。方法７００は、サーバデバイス２０２によって実行されてもよい。いくつかの実施形態では、方法７００は、非一時的コンピュータ可読メモリ上に記憶され且つサーバデバイス２０２の１つ以上のプロセッサ上で実行可能な命令のセットに実装されてもよい。例えば、方法７００は、図２に示されるように、スキンケア推奨生成器２０８によって少なくとも部分的に実行されてもよい。

ブロック７０２において、サーバデバイス２０２は、ユーザについてのユーザプロフィールデータを受信する。サーバデバイス２０２は、ユーザのスキンケアコンピューティングデバイス１０２又はクライアントコンピューティングデバイス２２２からユーザプロフィールデータを受信してもよい。ユーザプロフィールデータは、ユーザに関するバイオグラフィカル情報及び／又は生体情報（例えば、ユーザの現在の位置、ユーザの画像、又はスキンケア製品に関するユーザの好み若しくは目標）を含んでもよい。いくつかの実装形態では、サーバデバイス２０２は、ユーザプロフィールデータの少なくとも一部を含むユーザについてのユーザプロフィールをデータベース２１０内に記憶する。サーバデバイス２０２は、次に、スキンケアコンピューティングデバイス１０２又はクライアントコンピューティングデバイス２２２から受信したユーザプロフィールデータによってユーザプロフィールを更新してもよい。

サーバデバイス２０２はまた、ユーザのスキンケア製品１０４との相互作用を示す製品使用イベントデータを受信する（ブロック７０４）。例えば、スキンケアコンピューティングデバイス１０２又はクライアントコンピューティングデバイス２２２が、ユーザがスキンケア製品１０４と相互作用していることを識別するたびに、スキンケアコンピューティングデバイス１０２又はクライアントコンピューティングデバイス２２２は、使用の記録を生成し、生成された記録をサーバデバイス２０２に提供してもよい。これは、スキンケア製品の名称、使用の日付及び／又は時間、使用の持続時間、スキンケア製品１０４が使用される方法、スキンケア製品１０４と同じ時間枠で使用される他のスキンケア製品などの、スキンケア製品１０４の識別情報を含んでもよい。

加えて、サーバデバイス２０２は、ユーザによって実行されたアクティビティを示すアクティビティデータを受信してもよい。例えば、スキンケアコンピューティングデバイス１０２がアクティビティを識別するたびに、スキンケアコンピューティングデバイス１０２は、アクティビティの記録を生成し、生成された記録をサーバデバイス２０２に提供してもよい。これは、アクティビティの種類、アクティビティの持続時間、アクティビティの日付及び／又は時間、アクティビティに関連する１つ以上のスキンケア製品などのアクティビティデータを含んでもよい。

サーバデバイス２０２は、例えば、データベース２１０において、ユーザについてのユーザプロフィール内にアクティビティデータ、製品使用イベントデータ、及び／又はユーザプロフィールデータを記憶してもよい（ブロック７０６）。いくつかの実施形態では、サーバデバイス２０２がアクティビティデータ及び／又は製品使用イベントデータの新たなインスタンスを受信するたびに、サーバデバイス２０２は、アクティビティデータ及び／又は製品使用イベントデータの新たなインスタンス、並びにアクティビティ／スキンケア製品についての以前に記憶されたアクティビティデータ及び／又は製品使用イベントデータのインスタンスを分析して、ユーザフィードバック情報を生成する（ブロック７０８）。例えば、サーバデバイス２０２は、同じアクティビティ及び／又はスキンケア製品１０４についての異なる時間間隔におけるアクティビティデータ及び／又は製品使用イベントデータのいくつかのインスタンスを含んでもよい特定の時間窓（例えば、前年、前月、前週など）にわたるアクティビティデータ及び／又は製品使用イベントデータを分析してもよい。

サーバデバイス２０２は、特定の時間窓にわたる使用頻度、使用の平均持続時間、及び／又は使用の日時などの、スキンケア製品１０４についての製品使用メトリックを判定してもよい。サーバデバイス２０２はまた、特定の時間窓にわたるアクティビティの頻度、アクティビティの平均持続時間、及び／又はアクティビティの日時などの、アクティビティについてのアクティビティメトリックを判定してもよい。サーバデバイス２０２は、次に、アクティビティデータ、アクティビティメトリック、製品使用メトリック、及び／又は製品使用イベントデータを、例えばデータベース２１０からの識別されたスキンケア製品１０４及び／又は識別されたアクティビティについての規則のセットと比較して、ユーザフィードバック情報を生成してもよい。他の実装形態では、サーバデバイス２０２は、アクティビティデータ、アクティビティメトリック、製品使用メトリック、製品使用イベントデータ、及び／又はユーザプロフィールデータを、他のユーザの実績に基づいて生成された機械学習モデルに適用してもよい。

ユーザフィードバック情報は、スキンケア製品を補充すべきとの推奨、スキンケア製品の使用方法に関する助言、スキンケア製品の使用を改善する方法に関する推奨、スキンケア製品を使用する頻度及び／又は持続時間、ユーザがスキンケア製品を使用している頻度及び／又は持続時間の説明、関連するスキンケア製品を購入すべきとの推奨、ユーザ実績メトリック、ユーザ実績メトリックを改善する方法に関する推奨、スキンケア製品を使用し続けることの奨励、及び／又はスキンケア製品の一貫した使用を維持するためのインセンティブ（例えば、より高いスコアに到達する及び／又は報酬ポイントを受け取る）を含んでもよい。場合によっては、ユーザフィードバック情報はまた、ユーザ実績メトリックが閾値を超えたとき、ユーザが異なるスキンケア製品の閾値回数よりも多く使用したとき、及び／又はユーザがスキンケアコンピューティングデバイスによって提供される推奨又は助言に従ったときのための報酬を含んでもよい。

ユーザ実績メトリックは、サーバデバイス２０２がいくつかのスキンケア製品のそれぞれ又はいくつかの種類のスキンケア製品のそれぞれについての異なるユーザ実績メトリックを生成するように、スキンケア製品特有のユーザ実績メトリックであってもよい。場合によっては、ユーザ実績メトリックは、ユーザが特定のスキンケア製品を使用する持続時間及び／又は頻度に基づいて増加又は減少する、０から１００のポイント値などのスコアであってもよい。各ユーザ実績メトリックはまた、他のユーザの実績との比較であってもよい。いくつかの実施形態では、サーバデバイス２０２は、ユーザの実績を、同じ人口統計（例えば、年齢群）における他のユーザの実績と比較してもよい。例えば、ユーザは、アイメイクに関して６５である未加工のユーザ実績メトリックを有してもよいが、これは、同じ年齢群、同じ地理的領域などの他のユーザと比較して、未加工のユーザ実績メトリックの７５パーセンタイルであり得る。したがって、サーバデバイス２０２は、未加工ユーザ実績メトリック、他のユーザと比べた、ユーザの実績を考慮して調整されたユーザ実績メトリック、及び／又は同じスキンケア製品についての他のユーザに対する未加工ユーザ実績メトリックのパーセンタイル又はランキングを生成してもよい。

データベース２１０は、スキンケアコンピューティングデバイス１０２が同じユーザフィードバック情報をユーザに繰り返し提供しないように、ユーザに提供された以前のユーザフィードバック情報を記憶してもよい。様々なユーザフィードバック情報に対するユーザの応答に基づいて、サーバデバイス２０２は、どの種類のユーザフィードバック情報がユーザの実績を改善するかを学習してもよい。例えば、サーバデバイス２０２は、ユーザが推奨される関連製品を購入しないことを学習してもよく、したがって、関連製品推奨を提供することを停止してもよい。

ブロック７１０において、サーバデバイス２０２は、ＳＭＳメッセージ、電子メール、プッシュ通知などを介して、スキンケアコンピューティングデバイス１０２又はクライアントコンピューティングデバイス２２２などのクライアントデバイスにユーザフィードバック情報を提供してもよい。

本明細書における装置及び方法の特定の特徴は、ロジック又は多数のルーチン、サブルーチン、アプリケーション、又は命令を含むものとして本明細書に記載されることを理解されたい。これらは、ソフトウェア（例えば、機械可読媒体上に若しくは送信信号内に具現化されたコード）又はハードウェアのいずれかを構築し得る。ハードウェアでは、ルーチン、サブルーチン、アプリケーション、又は命令は、特定の動作を実施することが可能な有形のユニットであり、特定の様式で構成又は配置されてもよい。例示的な実施形態では、１つ以上のコンピュータシステム（例えば、スタンドアロン、クライアント若しくはサーバコンピュータシステム）又はコンピュータシステムの１つ以上のハードウェアモジュール（例えば、プロセッサ若しくはプロセッサのグループ）が、本明細書に記載されるような特定の動作を実施するように動作するハードウェアモジュールとしてソフトウェア（例えば、アプリケーション若しくはアプリケーション部分）によって構成されてもよい。

様々な実施形態において、ハードウェアモジュールは、機械的に実装されても電子的に実装されてもよい。例えば、ハードウェアモジュールは、特定の動作を実施するように（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）若しくは特定用途向け集積回路（ＡＳＩＣ）などの専用プロセッサとして）恒久的に構成された専用回路又はロジックを含んでもよい。ハードウェアモジュールはまた、特定の動作を実施するようにソフトウェアによって一時的に構成されるプログラマブルロジック又は回路（例えば、汎用プロセッサ若しくは他のプログラマブルプロセッサ内に包含される）を含んでもよい。ハードウェアモジュールを機械的に、専用に且つ恒久的に構成された回路に実装するか、それとも一時的に構成された回路（例えば、ソフトウェアによって構成される）に実装するかの判断は、コスト及び時間を考慮することによって判定され得ることが理解されるであろう。

したがって、用語「ハードウェアモジュール」は、特定の様式で動作するようにあるいは本明細書に記載された特定の動作を実行するように、有形の実体、すなわち、物理的に構築された、恒久的に構成された（例えば、配線された）、又は一時的に構成された（例えば、プログラムされた）要素又は装置を包含すると理解されるべきである。ハードウェアモジュールが一時的に構成される（例えば、プログラムされる）実施形態を考慮すると、ハードウェアモジュールのそれぞれは、任意の時点で構成又は具現化される必要はない。例えば、ハードウェアモジュールが、ソフトウェアを使用して構成された汎用プロセッサを含む場合、汎用プロセッサは、異なる時間にそれぞれの異なるハードウェアモジュールとして構成されてもよい。したがって、ソフトウェアは、例えば、ある１つの時点では特定のハードウェアモジュールを形成するように、また異なる時点では異なるハードウェアモジュールを形成するように、プロセッサを構成してもよい。

ハードウェアモジュールは、他のハードウェアモジュールに情報を提供し、他のハードウェアモジュールから情報を受け取ることができる。したがって、記載されたハードウェアモジュールは、通信可能に連結されていると見なされ得る。複数のそのようなハードウェアモジュールが同時に存在する場合、通信は、ハードウェアモジュールを接続する信号伝送を通じて（例えば、適切な回路及びバスを介して）達成され得る。複数のハードウェアモジュールが異なる時間に構成又はインスタンス化される実施形態では、そのようなハードウェアモジュール間の通信は、例えば、複数のハードウェアモジュールがアクセスするメモリ構造内の情報の記憶及び取り出しを通じて達成されてもよい。例えば、１つのハードウェアモジュールは、ある動作を実施し、そのハードウェアモジュールが通信可能に連結されているメモリデバイス内にその動作の出力を記憶することができる。次いで、更なるハードウェアモジュールが後に、記憶された出力を取り出し、処理するために、メモリデバイスにアクセスすることができる。ハードウェアモジュールはまた、入力又は出力デバイスとの通信を開始することができ、リソース（例えば、情報の集合体）上で動作することができる。

本明細書に記載される例示的方法の様々な動作は、少なくとも部分的に、関連する動作を実施するように一時的に構成された（例えば、ソフトウェアによって）又は恒久的に構成された１つ以上のプロセッサによって実施されてもよい。一時的に構成されたか、又は恒久的に構成されたかにかかわらず、このようなプロセッサは、１つ以上の動作若しくは機能を実施するように動作するプロセッサ実装モジュールを形成し得る。本明細書で言及されるモジュールは、いくつかの例示的な実施形態では、プロセッサ実装モジュールを含み得る。同様に、本明細書に記載される方法又はルーチンは、少なくとも部分的にプロセッサ実装され得る。例えば、ある方法の動作のうちの少なくともいくつかは、１つ以上のプロセッサ又はプロセッサ実装ハードウェアモジュールによって実施され得る。それらの動作の特定の性能は、１つ以上のプロセッサに分散されてもよく、単一のマシン内に存在するだけでなく、多数のマシンにわたって展開されてもよい。いくつかの例示的な実施形態では、プロセッサ（１つ又は複数）は、単一の場所（例えば、家庭環境、オフィス環境内に、あるいはサーバファームとして）に配置されてもよく、他の実施形態では、プロセッサは、いくつかの場所にわたって分散されてもよい。

動作の性能は、１つ以上のコンピュータに常駐する１つ以上のプロセッサ間に分散されてもよい。いくつかの例示的な実施形態では、１つ以上のプロセッサ又はプロセッサ実装モジュールが、単一の地理的位置（例えば、家庭環境、オフィス環境、又はサーバファーム内）に配置されてもよい。他の例示的な実施形態では、１つ以上のプロセッサ又はプロセッサ実装モジュールが、多数の地理的位置にわたって分散されてもよい。

特に明記しない限り、「処理する」、「算出する」、「計算する」、「判定する」、「提示する」、「表示する」などの単語を用いた本明細書における説明は、１つ以上のメモリ（例えば、揮発性メモリ、不揮発性メモリ、又はこれらの組み合わせ）、レジスタ、又は情報を受信、記憶、送信、又は表示する他の機械構成要素内に物理的（例えば、電子的、磁気的、又は光学的）量として表現されるデータを操作又は変換する機械（例えば、コンピュータ）のアクション又はプロセスに関連し得る。いくつかの実施形態は、その派生物と共に「連結された」及び「接続された」という表現を用いて説明され得る。例えば、いくつかの実施形態は、２つ以上の要素が直接物理的又は電気的に接触していることを示すために、「連結された」という用語を用いて説明され得る。しかしながら、「連結された」という用語はまた、２つ以上の要素が互いに直接接触していないが、依然として互いに協働又は相互作用することを意味し得る。実施形態は、この状況に限定されない。

本明細書に開示される寸法及び値は、列挙された正確な数値に厳密に限定されるものとして理解されるべきではない。その代わりに、特に指示がない限り、そのような寸法は各々、列挙された値とその値を囲む機能的に同等な範囲との両方を意味することが意図される。例えば、「４０ｍｍ」として開示される寸法は、「約４０ｍｍ」を意味するものとする。

相互参照される又は関連する任意の特許又は特許出願、及び本願が優先権又はその利益を主張する任意の特許出願又は特許を含む、本明細書に引用される全ての文書は、除外又は限定することを明言しない限りにおいて、参照によりその全体が本明細書に組み込まれる。いかなる文献の引用も、本明細書中で開示又は特許請求される任意の発明に対する先行技術であるとは見なされず、あるいはそれを単独で又は他の任意の参考文献（単数又は複数）と組み合わせたときに、そのようないかなる発明も教示、示唆又は開示するとは見なされない。更に、本文書における用語の任意の意味又は定義が、参照により組み込まれた文書内の同じ用語の任意の意味又は定義と矛盾する場合、本文書においてその用語に与えられた意味又は定義が適用されるものとする。

本発明の特定の実施形態を例示及び説明してきたが、本発明の趣旨及び範囲から逸脱することなく様々な他の変更及び修正を行うことができる点は当業者には明白であろう。したがって、本発明の範囲内にある全てのそのような変更及び修正を添付の特許請求の範囲に網羅することが意図される。

Claims (15)

1. パーソナルケア製品に関するフィードバックを提供するためのコンピューティングデバイスであって、
   ユーザインターフェースと、
   通信インターフェースと、
   １つ以上のプロセッサと、
   前記１つ以上のプロセッサ、前記ユーザインターフェース、及び前記通信インターフェースに結合された非一時的コンピュータ可読メモリと、を備え、前記非一時的コンピュータ可読メモリが、前記１つ以上のプロセッサによって実行されると、前記コンピューティングデバイスに、
   ユーザによるパーソナルケア製品の製品使用の指標を取得させ、
   前記パーソナルケア製品の製品使用の前記取得された指標に基づいて、前記パーソナルケア製品を識別させ、
   前記パーソナルケア製品の前記ユーザに関連する製品使用イベントデータであって、経時的な前記パーソナルケア製品の製品使用に関する製品使用イベントデータを取得させ、
   前記ユーザのユーザプロフィールのユーザプロフィールデータを取得させ、
   前記パーソナルケア製品の製品使用イベントデータ及び前記ユーザについての前記ユーザプロフィールデータに基づいて、前記パーソナルケア製品又は関連するパーソナルケア製品の前記製品使用について前記ユーザを支援するためのユーザフィードバック情報を機械学習モデルに基づいて生成させ、ここで前記機械学習モデルは、前記パーソナルケア製品によって美容上の欠陥を改善した第１の組のユーザについてのアクティビティメトリック、アクティビティデータ、製品使用メトリック、及び製品使用イベントデータの第１のセットと、前記パーソナルケア製品によって美容上の欠陥を改善しなかった第２の組のユーザについてのアクティビティメトリック、アクティビティデータ、製品使用メトリック、及び製品使用イベントデータの第２のセットとを使用して訓練して生成するものであり、
   前記ユーザインターフェース又は前記通信インターフェースを介して前記ユーザフィードバック情報を前記ユーザのモバイルデバイスに提供させる、そこに記憶された命令を含む、コンピューティングデバイス。
2. カメラを更に備え、パーソナルケア製品の製品使用の前記指標を取得し、前記パーソナルケア製品の製品使用の前記取得された指標に基づいて前記パーソナルケア製品を識別するために、前記命令が、前記コンピューティングデバイスに、
   前記カメラの視野内の領域の画像をキャプチャさせ、
   前記画像内のオブジェクトを識別させ、
   前記識別されたオブジェクトの視覚的特性を判定させ、
   前記識別されたオブジェクトの前記視覚的特性に基づいて前記パーソナルケア製品を識別させる、請求項１に記載のコンピューティングデバイス。
3. 前記識別されたオブジェクトについての前記視覚的特性が、製品タグ、製品ラベル、製品色、製品形状、製品サイズ、又は製品ロゴのうちの少なくとも１つを含む、請求項２に記載のコンピューティングデバイス。
4. 前記識別されたオブジェクトについての前記視覚的特性に基づいて前記パーソナルケア製品を識別するために、前記命令が、前記コンピューティングデバイスに、
   前記識別されたオブジェクトについての前記視覚的特性を、複数のテンプレートパーソナルケア製品のうちのテンプレートパーソナルケア製品にそれぞれ対応する複数の視覚的特性のセットと比較させ、
   前記識別されたオブジェクトについての前記視覚的特性に一致する視覚的特性のセットを有する、前記複数のテンプレートパーソナルケア製品のうちのテンプレートパーソナルケア製品を識別させ、
   前記テンプレートパーソナルケア製品に対応する前記パーソナルケア製品を識別させる、請求項２又は３に記載のコンピューティングデバイス。
5. 前記識別されたオブジェクトについての前記視覚的特性に基づいて前記パーソナルケア製品を識別するために、前記命令が、前記コンピューティングデバイスに、
   １つ以上の機械学習技術を使用して、前記識別されたオブジェクトについての前記視覚的特性に基づいて、前記パーソナルケア製品を識別させる、請求項２～４のいずれか一項に記載のコンピューティングデバイス。
6. 前記パーソナルケア製品の製品使用の前記指標を取得し、前記パーソナルケア製品の製品使用の前記取得された指標に基づいて前記パーソナルケア製品を識別するために、前記命令が、前記コンピューティングデバイスに、
   前記通信インターフェースを介して、前記パーソナルケア製品からの通信信号であって、前記パーソナルケア製品についての識別情報を含む通信信号を受信させる、請求項１～５のいずれか一項に記載のコンピューティングデバイス。
7. 前記パーソナルケア製品が、前記通信信号を提供する電源なしの通信構成要素を含み、前記コンピューティングデバイスが、前記通信構成要素に電磁信号を提供して前記通信構成要素に電力を供給する、請求項６に記載のコンピューティングデバイス。
8. 前記ユーザプロフィールデータが、前記ユーザに関するバイオグラフィカル情報、前記ユーザの現在の位置、前記ユーザの画像、及び前記パーソナルケア製品に関するユーザの好み又は目標のうちの少なくとも１つを含み、
   前記製品使用イベントデータが、前記ユーザが前記パーソナルケア製品を使用した時間、前記ユーザが前記パーソナルケア製品を使用した日付、前記ユーザが他のパーソナルケア製品に対して前記パーソナルケア製品を使用した順序、前記パーソナルケア製品と共に使用される前記他のパーソナルケア製品の指標、前記ユーザが前記パーソナルケア製品を使用した持続時間、又は前記ユーザが前記パーソナルケア製品を使用した方法を含む、請求項１～７のいずれか一項に記載のコンピューティングデバイス。
9. 前記ユーザプロフィールデータのうちの少なくとも一部が、前記ユーザインターフェース、前記通信インターフェース及び前記モバイルデバイスのうちの少なくとも１つを介して前記ユーザに提示されるアンケートから取得される情報を含む、請求項８に記載のコンピューティングデバイス。
10. 前記ユーザフィードバック情報が、（ｉ）前記パーソナルケア製品の前記製品使用に基づく報酬、（ｉｉ）前記パーソナルケア製品を補充する推奨、（ｉｉｉ）前記パーソナルケア製品の前記製品使用に関する助言、（ｉｖ）関連するパーソナルケア製品を購入するための推奨、（ｖ）前記ユーザによる前記パーソナルケア製品の製品使用量に関する情報、（ｖｉ）前記パーソナルケア製品の製品使用の適切な量に関する情報、（ｖｉｉ）前記製品使用、行動の選択肢、又は経時的な前記パーソナルケア製品の結果に関する前記ユーザの実績情報、（ｖｉｉｉ）相乗効果又はその欠如を示すルーチンで使用されるパーソナルケア製品の組み合わせに関する情報、又は（ｉｘ）前記ユーザによる前記パーソナルケア製品の製品使用量、前記パーソナルケア製品の製品使用の前記適切な量、又は前記ユーザによる前記パーソナルケア製品の前記製品使用に関する前記実績情報のうちの１つ以上に基づく、前記ユーザによる前記パーソナルケア製品の前記製品使用を改善する方法に関する推奨、のうちの少なくとも１つを含む、請求項１～９のいずれか一項に記載のコンピューティングデバイス。
11. ユーザフィードバック情報を生成するために、前記命令が、前記コンピューティングデバイスに、
    前記製品使用イベントデータ及び前記ユーザについての識別情報をサーバデバイスに提供させることと、
    前記サーバデバイスから前記ユーザフィードバック情報を受信させることであって、前記サーバデバイスが、経時的な前記パーソナルケア製品の前記製品使用及び前記ユーザについての前記ユーザプロフィールデータに基づいて、前記ユーザフィードバック情報を生成する、ことと、を行わせる、請求項１～１０のいずれか一項に記載のコンピューティングデバイス。
12. パーソナルケア製品に関するフィードバックを提供するための、請求項１～１１のいずれか一項に記載のコンピューティングデバイスの使用方法であって、
    前記コンピューティングデバイスにおいて、ユーザによるパーソナルケア製品の製品使用の指標を取得することと、
    前記コンピューティングデバイスによって、前記パーソナルケア製品の製品使用の前記取得された指標に基づいて前記パーソナルケア製品を識別することと、
    前記コンピューティングデバイスによって、前記パーソナルケア製品の前記ユーザに関連する製品使用イベントデータであって、経時的な前記パーソナルケア製品の製品使用に関する製品使用イベントデータを取得することと、
    前記コンピューティングデバイスによって、前記ユーザのユーザプロフィールについてのユーザプロフィールデータを取得することと、
    前記コンピューティングデバイスによって、前記パーソナルケア製品の製品使用イベントデータ及び前記ユーザについての前記ユーザプロフィールデータに基づいて、前記パーソナルケア製品又は関連するパーソナルケア製品の前記製品使用について前記ユーザを支援するためのユーザフィードバック情報を機械学習モデルに基づいて生成することと、
    前記コンピューティングデバイスによって、前記機械学習モデルを、前記パーソナルケア製品によって美容上の欠陥を改善した第１の組のユーザについてのアクティビティメトリック、アクティビティデータ、製品使用メトリック、及び製品使用イベントデータの第１のセットと、前記パーソナルケア製品によって美容上の欠陥を改善しなかった第２の組のユーザについてのアクティビティメトリック、アクティビティデータ、製品使用メトリック、及び製品使用イベントデータの第２のセットとを使用して訓練して生成することと、
    前記コンピューティングデバイスによって、ユーザインターフェース又は通信インターフェースを介して前記ユーザフィードバック情報を前記ユーザのモバイルデバイスに提供することと、を含む、使用方法。
13. 前記パーソナルケア製品の製品使用の前記指標を取得すること及び前記パーソナルケア製品を識別することが、
    前記コンピューティングデバイスによって、前記コンピューティングデバイスに含まれるカメラの視野内の領域の画像をキャプチャすることと、
    前記コンピューティングデバイスによって、前記画像内のオブジェクトを識別することと、
    前記コンピューティングデバイスによって、前記識別されたオブジェクトの視覚的特性を判定することと、
    前記コンピューティングデバイスによって、前記識別されたオブジェクトについての前記視覚的特性に基づいて、前記パーソナルケア製品を識別することと、を含む、請求項１２に記載の使用方法。
14. 前記パーソナルケア製品の製品使用の前記指標を取得すること及び前記パーソナルケア製品を識別することが、
    前記コンピューティングデバイスによって、前記パーソナルケア製品からの通信信号であって、前記パーソナルケア製品についての識別情報を含む通信信号を受信することを含む、請求項１２又は１３に記載の使用方法。
15. 前記ユーザフィードバック情報を生成することが、
    前記コンピューティングデバイスによって、前記製品使用イベントデータ及び前記ユーザについての識別情報をサーバデバイスに提供することと、
    前記コンピューティングデバイスによって、前記サーバデバイスから前記ユーザフィードバック情報を受信することであって、前記サーバデバイスが、経時的な前記パーソナルケア製品の前記製品使用及び前記ユーザについての前記ユーザプロフィールデータに基づいて、前記ユーザフィードバック情報を生成する、ことと、を含む、請求項１２から１４のうちのいずれか一項に記載の使用方法。

Images