JP2024529959A - ヘアケアの監視及びフィードバック - Google Patents

Abstract

本開示の第１の態様によれば、ヘアケアを実行する際にユーザを支援するための方法が提供され、前記ユーザの頭部及びヘアケア器具の一連の画像を受信することと、前記一連の画像を使用して前記ヘアケア器具の位置及び向きを追跡することによって、１つ以上の器具パラメータを決定することと、前記１つ以上の器具パラメータに基づいて、前記ユーザに対するフィードバックを提供することとを含む。【選択図】図１９

Description

本開示は、身だしなみ（personal grooming）を行うユーザを支援するための、限定はしないが、特に、ヘアスタイリングを行うユーザを支援するためのシステム及び方法に関する。

人のヘアケアルーチンの有効性は、ヘアケアルーチンの持続時間、スタイリストのスキル、毛髪の状態、及びヘアケア技術を含むいくつかの要因に応じてかなり変化し得る。ブラッシング技術に関するフィードバックを提供し、ユーザが最適なヘアケアルーチンを達成するのを支援するために、ユーザの頭部に隣接するヘアブラシの運動を追跡するためのいくつかのシステムが開発されている。

これらのブラシ追跡システムのいくつかは、ヘアブラシに組み込まれた加速度計などの運動センサを必要とするという欠点を有する。そのような運動センサは、そうでなければ、低コストで比較的使い捨て可能なヘアブラシなどの物品に追加するには高価である可能性があり、ブラシ上又はブラシ内のセンサから適切な処理デバイス及び表示デバイスにデータを渡すために関連する信号送信ハードウェア及びソフトウェアを必要とする可能性もある。

電子センサをヘアブラシ自体に内蔵又は適用する必要なく、ユーザの頭部に隣接するブラシ又は他のヘアケア器具の運動を追跡するなど、ユーザのヘアケアルーチンを監視できることが望ましい。また、ユビキタス「スマートフォン」又はコンピュータタブレットなどの他の広く利用可能な消費者デバイスに見られるような比較的従来のビデオ撮像システムを使用して、ユーザのヘアケアルーチンを監視できることが望ましい。使用されるビデオ撮像システムは、立体撮像を使用するような３次元撮像システムである必要がないことが望ましい。また、ヘアケアセッション中に得られたリアルタイムのフィードバックベースのデータをユーザに提供することができるブラシ又は他のケア器具追跡システムを提供することが望ましい。本開示のいくつかの態様は、上記の目的のうちの１つ以上を達成することができる。

本開示の第１の態様によれば、ヘアケアを実行する際にユーザを支援するための方法が提供され、方法は、
ユーザの頭部及びヘアケア器具の一連の画像を受信することと、
一連の画像を使用してヘアケア器具の位置及び／又は向きを追跡することによって、１つ以上の器具パラメータを決定することと、
１つ以上の器具パラメータに基づいて、ユーザに対するフィードバックを生成又は提供することと
を含む。

例示的な実施形態によれば、本方法は、器具パラメータに基づいて、１つ以上の性能パラメータ及び／又は１つ以上のヘアケアイベントを決定することを含むことができる。本方法は、１つ以上の性能パラメータ及び／又は１つ以上のヘアケアイベントに基づいて、フィードバックを提供することを含むことができる。

１つ以上の例では、フィードバックは、ヘアケアの実行方法に関するユーザへの命令、又は特定の製品推奨を含むが、これに限定されない、適切な化学的又は熱トリートメントの推奨を含み得る。

１つ以上の例では、１つ以上のヘアケアイベントは、デタングリングイベント、不適切な器具ストローク及び不適切な器具－毛髪接触のうちの１つ以上を含み得る。

１つ以上の例では、１つ以上の性能パラメータが、加えられた器具力、器具－毛髪グリップ、及びユーザ満足度のうちの１つ以上を含んでもよい。

１つ以上の例では、ヘアケア器具の位置及び向きを追跡することが、ユーザの頭部に対する位置及び向きを追跡することを含んでもよい。

１つ以上の例では、ユーザの頭部に対する位置及び向きを追跡することは、１つ以上の顔ランドマークに対する位置及び向きを追跡することを含むことができる。

１つ以上の例では、ヘアケア器具の位置及び向きを追跡することが、ヘアケア器具の端部に結合された基準マーカを追跡することを含んでもよい。

１つ以上の例では、基準マーカは、ヘアケア器具の一体部分を形成してもよく、又はヘアケア器具に結合されたアタッチメントを含んでもよい。

１つ以上の例では、基準マーカが、ヘアケア器具の長手方向軸に対応する長手方向軸の周りに配置された複数の色つき４分円を有する実質的に球形のマーカを備え得る。

１つ以上の例では、４分円の各々は、強く対照的な色の帯によって隣接する４分円から分離されてもよい。強く対照的な色の帯は、隣接する４分円のうちのただ１つの色と非常に対照的であってもよく、又は帯の両側の４分円と非常に対照的であってもよい。

１つ以上の例では、器具パラメータが、器具位置、器具の向き、線速度、角速度、線加速度、角加速度及び器具経路のうちの１つ以上を含み得る。

１つ以上の例では、ヘアケア器具は、ヘアブラシ、コーム、デタングリングコーム／ブラシ、又は任意の他のヘアスタイリング器具のうちの１つを備えてもよい。方法は、線速度、角速度、線加速度、及び角加速度のうちの１つ以上が対応するデタングリング運動閾値未満である場合に、デタングリングイベントを決定することを更に含み得る。

１つ以上の例では、線速度、角速度、線加速度、及び角加速度のうちの１つ以上が実質的に０に等しい場合に、デタングリングイベントを判定することができる。

１つ以上の例では、本方法はまた、器具経路に基づいて、不適切な器具ストロークを決定することを含んでもよい。

１つ以上の例では、器具経路は、一連の画像上の基準マーカの位置に基づいて決定することができる。

１つ以上の例では、不適切な器具ストロークの決定は、機械学習アルゴリズムによって実行されてもよい。機械学習アルゴリズムは、器具経路と毛髪の結果との間の関係モデルを含むことができる。

１つ以上の例では、不適切な器具ストロークを判定することはまた、管理がより困難な毛髪に関連する器具ストロークを識別することを含んでもよい。これは、毛髪が不健康であるか、又は元来もつれやすい毛髪に起因し得る。例えば、毛髪が波打っていたり、カールしていたりすることが原因である可能性があり、これは自然と管理がより困難であり得る。

１つ以上の例では、本方法は、検出された性能パラメータ又はヘアケアイベントに従って、適切な化学トリートメントを識別することを更に含むことができる。フィードバックを提供することは、識別された化学トリートメントを実行するための命令をユーザに提供することを含むことができる。

１つ以上の例では、適切な化学トリートメントを識別することは、製剤化された製品、又は配合された製品が使用される時間を識別することを含み得る。

１つ以上の例では、フィードバックを提供することが、ユーザがヘアケア器具を特定の方法で操作するための命令を提供することを含み得る。

１つ以上の例では、命令は、ユーザがヘアケアを行っている間又は後に提供されてもよい。ユーザは、セッションにおいてヘアケアを行うことができる。

１つ以上の例では、本方法は、検出された性能パラメータ又はヘアケアイベントに従って、器具技術を識別することを更に含むことができる。フィードバックを提供することは、器具技術を実行するための命令をユーザに提供することを含むことができる。

１つ以上の例では、器具技術は、器具経路、器具位置、器具の向き、及び／又は加えられた器具力を含むことができる。１つ以上の例では、加えられる器具力は、器具の線速度、角速度、線加速度及び角加速度、又は加えられる力の代理となり得る任意の他のパラメータのうちの１つ以上を監視することによって決定されてもよい。

１つ以上の例では、本方法は、一連の画像内のユーザの表情を判定することを含むことができる。本方法は、ユーザの表情及び器具パラメータに基づいて、１つ以上の性能パラメータ及び／又は１つ以上のヘアケアイベントを決定することを含むことができる。

１つ以上の例では、表情は、痛みを表現することを含み得る。１つ以上のヘアケアイベントは、デタングリングイベント、不適切な器具－毛髪接触のうちの１つ以上を含み得る。１つ以上の性能パラメータが、加えられた器具力、器具－毛髪グリップのうちの１つ以上を含んでもよい。

１つ以上の例では、表情は、例えば、外見上の幸福、外見上の痛み、及び外見上の信頼を含む１つ以上の外見上の感情応答を含むか又は示すことができる。１つ以上の性能パラメータは、ユーザ満足度を含むことができる。

１つ以上の例では、ヘアケア器具は、ヘアブラシ、コーム、カーリングトング、毛髪矯正装置、又はユーザの手を含み得る。

１つ以上の例では、本方法は、一連の画像内のユーザの表情を判定することによってヘアケア性能を分析することを含むことができる。本方法は、ヘアケア性能に基づいてユーザにフィードバックを提供することを含んでもよい。

１つ以上の例では、方法は、コンピュータ実施方法であってもよい。

本開示の更なる態様によれば、プロセッサを含むヘアケア監視システムが提供され、プロセッサは、
ユーザの頭部及びヘアケア器具の一連の画像を受信し、
一連の画像を使用してヘアケア器具の位置及び／又は向きを追跡することによって、１つ以上の器具パラメータを決定し、
１つ以上の器具パラメータに基づいて、ヘアケアを実行するユーザに対するフィードバックを提供するように構成されている。

また、消費者の顔及び毛髪のビデオ画像を受信し、スタイリング中に毛髪のデタングリング／グリップを追跡し、主要な毛髪の損傷及び毛髪形状の消費者の利益を予測するために、トラッカ付属物を有するブラシと組み合わせて機械学習を使用する、消費者の毛髪の手入れ（grooming）及びヘアスタイリング活動を追跡する方法も開示される。

また、消費者の毛髪の手入れ及びスタイリング活動を追跡し、消費者の顔及び毛髪のビデオ画像を受信し、トラッカ付属物を有するブラシと組み合わせて機械学習を使用して、毛髪のデタングリング／スタイリングイベント中に表情を測定し、表情（痛み、しかめ面）を消費者の毛髪の手入れルーチン／損傷レベルにリンクして、製品の推奨を行う方法も開示される。

また、ビデオ画像をリアルタイムで受信し、機械学習を使用して毛髪の動きを固定された顔の特徴にリンクして自然な動きを予測し、製品の推奨を行うために、消費者のヘアスタイルを追跡する方法も開示される。

コンピュータ上で実行されると、コンピュータに、本明細書に開示される回路又はデバイスを含む任意のデバイスを構成させるか、又は本明細書に開示される任意の方法を実行させるコンピュータプログラムが提供されてもよい。コンピュータプログラムはソフトウェア実施であってもよく、コンピュータは、非限定的な例として、デジタル信号プロセッサ、マイクロコントローラ、及び読取り専用メモリ（ＲＯＭ）又は電子的消去可能プログラム可能読取り専用メモリ（ＥＥＰＲＯＭ）内の実装を含む、任意の適切なハードウェアとみなされてもよい。

コンピュータプログラムは、ディスク又はメモリデバイスなどの物理的なコンピュータ可読媒体であってもよいコンピュータ可読媒体上に提供されてもよく、又は過渡信号として具現化されてもよい。そのような過渡信号は、インターネットダウンロードを含むネットワークダウンロードであってもよい。コンピューティングシステムによって実行されると、コンピューティングシステムに本明細書で開示される任意の方法を実行させるコンピュータ実行可能命令を記憶する１つ以上の非一時的コンピュータ可読記憶媒体が提供されてもよい。

本開示の更なる態様は、コンピュータシステムに関する。コンピュータシステムは、携帯電話又はタブレットコンピュータなどのユーザデバイスによって提供されてもよい。画像は、コンピュータシステムのカメラからコンピュータシステムのプロセッサによって受信されてもよい。いくつかの例では、ユーザ画像のすべての処理は、ユーザプライバシー及びデータセキュリティを改善するためにローカルで実行されてもよい。このようにして、ユーザの画像がユーザの電話から離れないことを保証することができる。キャプチャされた画像は、処理されると削除され得る。キャプチャされた画像の分析は、ユーザデバイスからリモートデバイスに送信されてもよい。

ここで、添付の図面を参照して、１つ以上の実施形態を単なる例として説明する。

ヘアケア監視システムを示す図である。 ヘアケアルーチンでユーザを支援する方法を示す図である。 パーソナルケア器具用の例示的なマーカを示す図である。 ヘアブラシに結合された図３のマーカを示す図である。 使用中に、別のヘアブラシに結合された図３のマーカを示す図である。 ヘアスタイルの例を示す図である。 デタングリングイベントを検出する方法を示す図である。 スマートフォンカメラを介して監視されたヘアケアセッションから収集された研究データを示す図である。 図７に示すプロファイルの第１のブローアップ部分を示す図である。 図７に示すプロファイルの第２のブローアップ部分を示す図である。 図７に示すプロファイルの第３のブローアップ部分を示す図である。 特定の訓練プロトコルに従ってキャプチャされた更なる研究データを示す図である。 図９のプロトコルに従ってキャプチャされたデータについての様々な力ブラシパラメータに対する痛みスコアのプロットを示す。 画像データ内のマーカの位置及び向きに基づいて、ブラシ運動分類器によって決定された様々な運動パラメータに対する痛みスコアのプロットを示す図である。 角速度についての追加のマーカ導出データと共にフィルタリング後の図１１のデータを示す図である。 関連する痛みスコアを有する図１１のデータ点のｙ位置に対してプロットされたｘ位置を示す図である。 力ブラシ及びマーカブラシのデータの様々なパラメータ間の相関強度を識別する相関行列を示す図である。 ヘアスタイリングセグメントデータの画像データ内のマーカの位置及び向きに基づいて、ブラシ運動分類器によって決定された様々な運動パラメータに対する痛みスコアのプロットを示す図である。 フィルタリング後の図１５の速度データを示す図である。 関連する痛みスコアを有する図１５のデータ点のｙ位置に対してプロットされたｘ位置を示す図である。 配合された製品の選択に対する適用されたブラシ力の依存性を示す図である。 本開示の一実施形態によるヘアケア監視システムの例示的な方法を示す。

開示されたシステムは、毛髪の手入れ及びスタイリング行動追跡システムを提供することができる。一般的に言えば、システムは、（ｉ）ヘアケア器具上の既知のマーカの追跡に基づく３Ｄ運動追跡構成要素、及び（ｉｉ）顔の位置／姿勢、及び外見上の感情の尺度（痛み、幸福等）を追跡するために使用される顔面筋／ランドマーク追跡構成要素のうちの１つ又は両方を使用してもよい。

外見上の感情は、顔面筋活性化ユニット（ＦＡＵ）上の特定の点の入力動作として採用される表情モデルを介して、表情から推測され得るものである。表情モデルは、試験対象のパネルを使用して、所与の感情に対して使用する前に訓練することができる。測定値からの感情認識は、「Ａｆｆｅｃｔｉｖｅ Ｃｏｍｐｕｔｉｎｇ（感情コンピューティング）」と呼ばれることがある。

外見上の（又は表現された）感情は、個人が感じる感情を直接反映していないことがある。例えば、ユーザは、痛みを異なる程度に表現することがある。しかしながら、表現された感情測定値は、対象／ユーザ間で比較可能であり得、したがって、自動的に較正されたパラメータを提供する。

一例では、ユーザは、ヘアケアセッション中に体験する痛みのレベルに関する意見を提供するように求められてもよい。フィードバックは、例えば、ユーザがイベント又はセッション全体がどの程度痛みを伴ったかを示す入力を０～１０などのスケールで提供することによって提供されてもよい。次いで、ユーザ入力を、対応する外見上の痛みスコアと比較することができる。ユーザのための補正値を作成するために、複数のそのような比較が判定されてもよい。例えば、ユーザ入力痛み値が５であり、対応する外見上の痛み値が８である場合、値間の差分値は＋３である。複数のそのような比較のための差の平均は、較正目的のための補正値として使用することができる。複数の入力セットは、単一のヘアケアセッション内で、又は複数の異なるヘアケアセッションにわたって取得されてもよい。入力のセットが長期間にわたって異なるセッションで取得される場合、ユーザの痛み応答が経時的に変化した場合に、より最近のセッションが顕著になるように重み付けを適用することができる。

システムを較正することにより、システムによって決定されたその後の痛み値がユーザの体験をより正確に反映することが可能になり、より関連性の高いフィードバックをユーザに提供することが可能になり得る。

更に、製品試験環境では、上記のような較正手順を使用して、参加者間の応答を標準化することができる。あるいは、そのような較正手順は、同様の痛み応答を有するユーザが製品を評価するための、グループの一部として選択されることを可能にし得る。この文脈における製品試験は、例えば、ユーザ若しくはユーザの毛髪のための化学トリートメント、又はヘアケア器具に関連し得ることが理解されよう。

運動（ブラシ追跡）及び感情（顔感情追跡）の両方の構成要素は、モバイルデバイスを使用して収集することができる毛髪の手入れ及びスタイリングプロセスの受信された一連の画像から作用する。いくつかの例では、システムは、電話機の外部にいかなる検知能力も必要とせず、すべての画像処理をデバイス上で実行することができ、ユーザへのリアルタイムフィードバックを可能にするので、最新の携帯電話（又はタブレット、他のエッジコンピューティングデバイス）の検知及び計算能力を活用することができる。したがって、ユーザは、既存のハードウェアを使用し、特注のソフトウェアでアップグレードし、場合によっては提供された既知のマーカと組み合わせて、自分のヘアケアルーチンの自己監視を支援することができる。

多くの人々（ユーザ）は、週に数回（典型的には週に２～５回、時には毎日）毛髪を洗浄する。洗髪ルーチンは、典型的にはシャンプーの使用を含む。洗髪ルーチンはまた、第２の製品、すなわちコンディショナー製品の使用を含むことがある。これらの「リンスオフ」製品は、シャワールーチン中に適用され、洗浄プロセスの終了前に洗い流される。ユーザは、ヘアスタイリング又はヘアケアルーチンの前に、タオルを使用して毛髪から過剰な水分を乾燥させることができる。ヘアケアルーチンは、２つのサブプロセス、すなわち、グルーミングプロセス及びスタイリングプロセスに分割され得る。

多くのユーザは、スタイリングの前に髪を整える。手入れプロセスは、ブラシ又はコームを使用して毛髪からもつれを除去し（デタングリングプロセス）、これはユーザにとって痛みを伴い不快な体験となり得る。

スタイリングプロセスは、通常、以下の２つのアプローチのうちの１つに従う：
・ 熱スタイリング－熱スタイリングプロセス中、ユーザはブロードライヤー及びヘアブラシを使用して毛髪を熱スタイリングすることができる。これに続いて、ストレートアイロン又はカーリングトングなどの更なる熱スタイリング器具を使用することができる。熱スタイリングは、一般に、毛髪の形状をその自然な形状から異なる形状に「変換」するために行われる。ユーザは、自分の毛髪のボリューム、例えば、非常にストレートな毛髪（「ボリュームダウン」又は天然よりも少ないボリューム）又は「ボリュームアップ」（天然よりも多いボリューム／ボディ）を調整しようとすることがある。形状変換は、濡れた状態から乾燥した状態へと進むにつれて（ブロー乾燥又は他の加熱されたヘアケア器具とブラッシング／コーミング動作との組み合わせ）、毛髪に加えられる熱及び張力によって「水の波」によって達成することができる。熱スタイリングプロセス中に加えられる力は、ヘアスタイリングプロセスの結果に影響を与える可能性があり、ブラシ又はコームに対する最適なレベルの力又はグリップが所望の結果をもたらす。
・ 自然乾燥派－多くのユーザは、毛髪を自然に乾燥させる。タオルで乾燥させた後、ユーザは、もつれをブラッシング又はコームで梳かすだけでよく、その後、ブラシ又は指でさえ使用してもよく、例えば指を使用して毛髪を所定のカールにねじるなどして毛髪をスタイリングすることができる。これらのユーザは、「形状変換者」ではなく「形状増強者」である。彼らは、毛髪を梳かす際に同様に困難を体験することがある。

ユーザは、第３の製品、例えば、付けたままのコンディショナー、ゲル、クリーム、マウス、セラム、パテ又はヘアスプレーなど、ユーザのヘアケア（ヘアスタイリング）ルーチンの前、間又は後のいずれかに洗浄後ヘアケア製品を使用することができる。これらの製品のいくつかは、スタイリングの最後に適用されて、スタイルを「固定」し、それを長持ちさせることができる。

洗浄／トリートメント段階で使用されるリンスオフ製品は、毛髪の手入れプロセスで体験されるデタングリングのレベルに重要な影響を及ぼし得る。ユーザは、自分の製品選択の結果を、体験したデタングリングの量に容易に結び付けることができない場合がある。例えば、ユーザは、ヘアスタイリング又はカラーケアに最適であると考えているので、シリコーンをほとんど又は全く含まないリンスオフ製品を使用することがある。

洗浄／トリートメント段階で使用されるリンスオフ製品はまた、ヘアスタイリングプロセスに影響を及ぼし得る。熱スタイラーの場合、達成されるブラシのグリップ量は、シャンプー及びコンディショナー製品の選択によって影響を受け得る。これは最終的に、所望の最終的な外観（ボリュームアップ、ストレートなど）を達成する能力に影響を与える。

ユーザのヘアケアルーチンを監視し、ユーザのヘアケア体験の痛みを軽減し、及び／又はより満足のいくものにし、ユーザが所望の結果をより良好に達成するのを助けることができるフィードバックを提供することができるシステムを提供することが望ましい。有益なフィードバックは、洗浄プロセス中若しくは洗浄プロセスの終了時及び／又はヘアケア（手入れ／スタイリング）ルーチン中に使用するためのヒント及びアドバイス及び／又は製品推奨を含み得る（例えば、「ブラッシングが強すぎます」、「次回は、より優しく」）。

図１を参照すると、ユーザのヘアケア活動を監視するためのヘアケア監視システム１は、ビデオカメラ２を備えてもよい。「ビデオカメラ 」という表現は、ヘアケアセッションを実行しているユーザの一連の画像を取得するのに適した任意の画像取込デバイスを包含することを意図している。一構成では、ビデオカメラは、スマートフォン又は他のコンピューティングデバイス内に従来見られるようなカメラであってもよい。

ビデオカメラ２は、データ処理モジュール３と通信する。データ処理モジュール３は、例えば、スマートフォン又は他のコンピューティングデバイス内に設けられてもよく、スマートフォン又は他のコンピューティングデバイスは、以下に説明するように処理モジュールを実装するように適切にプログラム又は構成されてもよい。データ処理モジュール３は、ビデオの一連のフレームを受信し、ユーザの頭部及び顔の様々な特徴又はパラメータを決定するように構成された頭部追跡モジュール４を含むことができる。例えば、頭部追跡モジュール４は、ユーザの顔又は頭部上のランドマーク及びそこからのユーザの顔又は頭部の向きを決定することができる。更なる例として、頭部追跡モジュール４は、顔面筋動作に対応する１つ以上の顔動作ユニットを決定することができる。また更なる例として、頭部追跡モジュール４は、ユーザの毛髪のスタイルを分類することができる。

データ処理モジュール３は、ビデオの一連のフレームを受信し、ヘアケアセッションを実行する際にユーザによって使用されるヘアケア器具の位置及び運動パラメータを決定するように構成されたブラシ追跡モジュール１５を含んでいてもよい。ヘアケア器具は、例えば、ヘアブラシ又は毛髪矯正装置デバイスであってもよく、ヘアケアセッションは、例えば、毛髪ブラッシング又は毛髪矯正セッションであってもよい。後述する特定の実施形態における「ブラシ」（本明細書ではヘアブラシと同義に使用される）を参照して説明される例は、ブラシの代わりに他のタイプのヘアケア器具にも等しく適用され得ることが理解されよう。

ブラシ追跡モジュール１５は、ブラシマーカ位置検出モジュール５と、ブラシマーカ向き推定モジュール６とを含むことができる。位置検出モジュール５は、ビデオの一連のフレームを受信し、各フレーム内のブラシの位置を決定するように構成されてもよい。ブラシマーカ向き推定モジュール６は、ビデオの一連のフレームを受信し、各フレーム内のブラシの向きを決定／推定するように構成されてもよい。

「一連のフレーム」という表現は、ビデオカメラによって取り込まれたありとあらゆるフレームを構成してもしなくてもよい、概して時系列のフレームシーケンスを包含することを意図しており、周期的にサンプリングされたフレーム及び／又は集約された若しくは平均化されたフレームの連続を包含することを意図している。

頭部追跡モジュール４、ブラシマーカ位置検出モジュール５、及びブラシマーカ向き検出モジュール６のそれぞれの出力７、８、９は、ヘアケア分類器１０への入力として提供されてもよい。ヘアケア分類器１０は、ヘアケアセッションのヘアケアイベント及び／又はヘアケア性能パラメータを決定するように構成される。ブラシ追跡モジュール１５を備える例では、ヘアケア分類器１０は、１つ以上のブラッシングパラメータを決定するように構成されたブラシ運動分類器１６を備えることができる。ブラッシングパラメータは、位置及び線速度及び／又は角速度、及び加速度などの機械的パラメータを含むことができる。直線運動は、画像（カメラ）のフレームを参照して、又は３Ｄ物体自体を参照して行われ得る。回転特徴は、３Ｄ物体自体を基準とする。ブラッシングパラメータはまた、特定のブラシストロークに対応するブラシ経路又は軌跡を含むことができる。一部の実施例では、ヘアケア分類器１０は、痛み、フラストレーション、混乱又は幸福などのユーザの１つ以上の感情表現を判定するように構成された顔感情分類器１７を含み得る。

頭部追跡モジュール４は、ブラシ運動分類器１６からブラッシングパラメータを受信することができ、及び／又は顔感情分類器１７から１つ以上の感情表現を受信することができるヘアケア性能分析器１８を含むことができる。以下のセクション４ Ｃで更に説明するように、性能分析器１８は、ブラッシングパラメータ及び／又は感情表現を処理して、ユーザのヘアケア性能を分析することができる。性能分析器１８は、１つ以上のヘアケアイベント又は１つ以上のヘアケア性能パラメータを検出することによって、ヘアケア性能を分析することができる。ヘアケアイベントは、デタングリングイベントイベント、不適切なブラシストローク、不適切なブラシ－毛髪接触などのいずれかを含むことができる。性能パラメータは、ヘアブラシに加えられた力、ヘアブラシ－毛髪グリップ、ユーザ満足度、又はユーザが手入れタスクを構成する構成要素を実行する順序のいずれかを含むことができる。一例では、分類器１０は、ユーザのブラッシング動作の各ビデオフレームを分類することができるように構成される。

プログラム及びヘアケアデータのために適切な記憶デバイス１１を提供することができる。記憶デバイス１１は、例えばスマートフォン又は他のコンピューティングデバイスの内部メモリを備えてもよく、及び／又はリモート記憶装置を備えてもよい。適切なディスプレイ１２は、例えば、ヘアケアセッションのリアルタイムの進行に関する視覚フィードバック、及び／又は現在及び過去のヘアケアセッションの有効性に関する報告をユーザに提供することができる。

ユーザに対する性能パラメータは、セッション間で変更又は改善することができる。したがって、ヘアケアを行うユーザのパフォーマンスを分析することは、現在のヘアケアセッションで取得されたデータ及び１つ以上の以前のヘアケアセッションで取得されたデータに基づいて、性能パラメータを決定することを含むことができる。

スピーカなどの更なる出力デバイス１３は、ユーザにオーディオフィードバックを提供することができる。オーディオフィードバックは、別の頭部領域にいつ移動すべきかに関する命令又はブラッシング動作に関するガイダンスなど、ヘアケアセッションの進行中の実行に関するリアルタイムの音声命令を含むことができる。入力デバイス１４は、ユーザがデータ又はコマンドを入力するために提供されてもよい。ディスプレイ１２、出力デバイス１３、及び入力デバイス１４は、例えば、スマートフォンの一体型タッチスクリーン及びオーディオ出力によって提供されてもよい。

次に、図２を参照して上記の様々なモジュール４～６及び１０の機能を説明する。

１．頭部追跡モジュール
頭部追跡モジュール４は、ビデオカメラ２から各連続フレーム又は選択されたフレームを入力として受信することができる（ボックス２０）。一構成において、頭部追跡モジュール４は、３６０×６４０画素のＲＧＢカラー画像を取得し、その中の顔（又は頭部）の検出を試みる（ボックス２１）。顔が検出された場合（ボックス２２）、顔追跡モジュール４は、その中の複数の顔ランドマーク（又はより一般的には頭部ランドマーク）のＸ－Ｙ座標を推定する（ボックス２３）。画像の解像度及び種類は、撮像処理の要件に従って変更及び選択することができる。

一例では、頭部、鼻、目、頬、耳、及び顎のエッジ又は他の特徴を含む、最大６６個の顔ランドマークを検出することができる。好ましくは、ランドマークは、ユーザの鼻に関連付けられた少なくとも２つのランドマーク、好ましくは頭部特徴位置（例えば、頭部の角、頭部の中心）及び目特徴位置（例えば、目の角、目の中心）から選択された少なくとも１つ以上のランドマークを含む。頭部追跡モジュール４はまた、ランドマークを使用して、頭部ピッチ角、ロール角、及びヨー角の一部又はすべてを推定することが好ましい（ボックス２７）。頭部追跡モジュール４はまた、顔ランドマークを使用して、１つ以上の顔動作ユニット（ＦＡＵ）を判定することができる（ボックス４３）。ＦＡＵは、当技術分野で知られている顔動作符号化システム（ＦＡＣＳ）の一部を形成する。いくつかの例では、頭部トラッカモジュール４は、顔動作記述子（ＦＡＤ）などの他のＦＡＣＳパラメータを決定することができる。頭部追跡モジュール４は、Ｅ．Ｓaｎｃｈｅｚ－Ｌｏｚａｎｏ ｅｔ ａｌ．（２０１６）．“Ｃａｓｃａｄｅｄ Ｒｅｇｒｅｓｓｉｏｎ ｗｉｔｈ Ｓｐａｒｓｉｆｉｅｄ Ｆｅａｔｕｒｅ Ｃｏｖａｒｉａｎｃｅ Ｍａｔｒｉｘ ｆｏｒ Ｆａｃｉａｌ Ｌａｎｄｍａｒｋ Ｄｅｔｅｃｔｉｏｎ”，Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ Ｌｅｔｔｅｒｓに記載されているような従来の顔追跡技術を展開することができる。

頭部追跡モジュール４が顔を検出しない場合（ボックス２２）、モジュール４は、ループバックして（経路２５）、次の入力フレームを取得し、及び／又は適切なエラーメッセージを配信するように構成され得る。ランドマークが検出されないか、又はそれらの不十分な数が検出された場合（ボックス２４）、頭部追跡モジュール４は、処理のために次のフレームを取得するために、及び／又は、エラーメッセージを配信するために、ループバックし得る（経路２６）。ＦＡＵが検出されない場合（ボックス４４）、頭部追跡モジュール４も同様にループバックすることができる（経路４５）。以前のフレームで顔検出が達成され、ランドマークを推定するための検索ウィンドウを定義し、ランドマークを後続のフレームで追跡することができる（ボックス４３）（例えば、それらの位置が正確に予測される）場合、顔検出手順は省略することができる（ボックス２１、２２）。

いくつかの例では、頭部追跡モジュール４は、ユーザのヘアスタイル又は毛髪の種類を判定することができる。図５は、ストレート、ウェーブ、カール、キンキー、編み込み、ドレッドロックス、及びショートメンズを含む例示的なヘアスタイルを示す。頭部追跡モジュール４は、ヘアケアセッションの前後の画像に対してそのような決定を行うことができる。例えば、ユーザは、セッションの開始時及び終了時に「自撮り」画像を記録することができる。頭部追跡モジュール４は、ユーザの毛髪に関する画素を分離するために画像に対してセグメント化を実行することができる。頭部トラッカモジュール４は、畳み込みニューラルネットワーク（ＣＮＮ）を実装することができ、訓練目的で収集されたブラッシングビデオから取得された様々な頭部の向き及び照明条件を有する様々なユーザからのラベルが付けられたヘアスタイル画像からなるデータセットで訓練されている場合がある。頭部トラッカモジュール４は、分類された毛髪の種類をヘアケア分類器１０に出力することができる。任意の１つのフレームにおいて、ヘアスタイルの異なる領域には、関連するものに応じて異なるクラス（すなわち、いくつかの部分は直線状であってもよく、いくつかの部分は波状であってもよい）又は１つの全体的なクラスが与えられてもよいことに留意されたい。頭部追跡モジュール４が毛髪の種類を判定できない場合、頭部追跡モジュール４は、処理のために次の画像を取得するためにループバックすることができる。

一例では、顔検出顔ポイント追跡（ＦＡＣＳ）及び表現された感情認識モジュールは、
ステップ１）顔検出－顔の周りに境界ボックスを描画し、カメラによって取り込まれた画像から顔パッチを抽出する。
ステップ２）顔ポイント追跡－６４個の顔ポイントを顔パッチに当てはめ、顔が失われるまでこれらのポイントを各フレームで更新する。
ステップ３）顔ポイント及び視覚的外観からの顔動作ユニットシステム（ＦＡＣＳ）起動の推定。ステップ３は、ステップ１及び２に依存する。
ステップ４）痛み推定－ＦＡＣＳ活性化を使用して、表現された痛みを、ソロモンの痛み強度（ＰＳＰＩ）スケールに基づいて推定するが、よりロバストにするためにそれを修正する。ステップ４はステップ３に依存する。

２．ブラシマーカ位置検出モジュール
使用されるブラシには、ブラシマーカ位置検出モジュール５によって認識可能なブラシマーカ特徴が設けられてもよい。ブラシマーカ特徴は、基準マーカとして機能する。ブラシマーカ特徴は、例えば、ヘアケアセッション中に見るために通常露出されたままであるブラシの部分上の明確な形状及び／又は色パターンであってもよい。ブラシマーカ特徴は、ブラシの一体部分を形成してもよく、又は例えば製造時に、又は購入後にユーザによってブラシに加えられてもよい。

１つの特に有益なアプローチは、ヘアブラシなどのヘアケア器具のハンドルの端部、すなわち毛の反対側の端部に構造を設けることである。この構造は、ブラシハンドルの一体部分を形成することができ、又は製造後にアタッチメント又は「ドングル 」として適用することができる。特に成功した構造の形態は、長手方向軸（ブラシの長手方向軸に対応する）の周りに配置された複数の着色４分円６１ａ、６１ｂ、６１ｃ、６１ｄを有する略球形のマーカ６０（図３）である。図３に見られるいくつかの構成では、４分円６１ａ、６１ｂ、６１ｃ、６１ｄの各々は、強く対照的な色の帯６２ａ、６２ｂ、６２ｃ、６２ｄによって隣接する４分円から分離されている。略球形のマーカは、ハンドル受け端６４の遠位に平坦な端部６３を有することができ、平坦な端部６３は、ブラシを平坦な端部６３に直立させることができるように平坦な表面を画定する。

この特徴の組み合わせは、典型的な手入れ環境でヘアケア器具を検出することと、その３Ｄ向きを決定することとの両方に有利であることが分かっている。異なる色は、構造の性能を高め、好ましくは、不十分な及び／又は不均一な照明条件で容易にセグメント化するために高い色飽和値を有するように選択される。色の選択は、使用中のビデオカメラの特定のモデルに対して最適化することができる。消費者向けアプリケーションの場合、色の選択は、ユーザデバイス上の様々な消費者画像センサで良好に機能するようなものであってもよい。図４Ａに見られるように、マーカ６０は、ブラシハンドル７０の端部に取り付けられた第１の極７１と、平坦な端部６３の中心にある第２の極７２とを有すると考えることができる。４分円６１はそれぞれ、第１の極７１から第２の極７２まで途切れることなく延びる均一な色又は色パターンを提供することができ、この色又は色パターンは、少なくとも隣接する４分円から強く区別され、好ましくは他のすべての４分円から強く区別される。この配置では、極間に赤道の色変化の境界が存在しない場合がある。図４Ａにも見られるように、第１の極７１と第２の極７２との間に延びるマーカの軸は、好ましくはヘアケア器具／ブラシハンドル７０の軸と実質的に整列している。

図４Ｂは、ヘアブラシ７０Ｂに取り付けられたマーカ６０Ｂを示す。ブラシの回転の様々な軸Ｘ、Ｙ、Ｚが図４Ｂに示されている。方向運動は、ラベル付けされた軸を使用してマーカ（したがってブラシ）の３Ｄフレームで決定することができる。マーカ６０Ｂの直線運動は、カメラセンサのフレーム内の２Ｄ運動として決定することができる。

各セグメントの対比色の選択は、ブラシを使用するユーザの肌の色合い又は髪の色と最適に対比するように行われてもよい。一例では、赤色、青色、黄色及び緑色が使用される。色及び色領域の寸法はまた、例えばスマートフォン撮像デバイスに使用されるビデオカメラ２撮像デバイスに対して最適化されてもよい。色の最適化は、撮像センサの特性と処理ソフトウェアの特性及び制限の両方を考慮に入れることができる。

ブラシマーカ特徴の設計の変更が可能である。少なくとも関心のある向きについて、ビデオ解像度でのビデオのフレーム内のマーカの視覚的外観とマーカの向きとの間に１－２－１の対応関係を作ることができ、向きを学習するためにＭＬモデルを訓練するのに十分な注釈付け可能な訓練データがあることを条件として、原則として任意の設計を使用することができる。好ましい例では、マーカ６０の直径は２５ｍｍ～３５ｍｍ（一具体例では約２８ｍｍ）であり、帯６２の幅は２ｍｍ～５ｍｍ（具体例では３ｍｍ）であってもよい。

一構成では、ブラシマーカ位置検出モジュール５は、頭部追跡モジュール４から顔位置座標を受信する。次いで、得られた画像は、ブラシマーカ検出モジュール５内のＣＮＮ（ボックス２９）によって使用され、ブラシマーカ検出モジュール５は、例えば０～１の範囲の検出スコアをそれぞれ伴う候補ブラシマーカ検出の境界ボックス座標のリストを返す。

検出スコアは、特定の境界ボックスがブラシマーカを囲む信頼を示す。一構成では、システムは、検出信頼度が所定の閾値よりも高いという条件で、最も高い戻り信頼度を有する境界ボックスが画像内のマーカの正しい位置に対応することを提供することができる（ボックス３０）。最高の戻り検出信頼度が所定の閾値未満である場合、システムは、ブラシマーカが見えないと判定することができる。この場合、システムは、現在のフレームをスキップし、次のフレーム（経路３１）にループバックし、及び／又は適切なエラーメッセージを配信することができる。一般的な態様では、ブラシマーカ位置検出モジュールは、ビデオ画像の複数のフレームの各々において、ブラシ位置及び向きを確立することができる使用中のブラシの所定のマーカ特徴を識別するための手段を例示する。

ヘアケア器具マーカが検出された場合（ボックス３０）、ヘアケア器具マーカ検出モジュール５は、顔面（又は頭部）ランドマークとヘアケア器具マーカ座標との間の距離をチェックする（ボックス３２）。これらが互いに離れすぎて発見された場合、システムは、現在のフレームをスキップし、次のフレーム（経路３３）にループバックし、及び／又は適切なエラーメッセージを返すことができる。ボックス３２で試験されるブラシ－頭部間距離は、以下で更に説明するように、ノーズ長さによって正規化された距離であってもよい。

システムはまた、誰かがヘアケア器具を使用していないときを検出する目的で、ヘアケア器具のマーカ座標を経時的に追跡し、マーカ移動値を推定することができる（ボックス３４）。この値が所定の閾値を下回る場合（ボックス３５）、ブラシマーカ検出モジュール５は、現在のフレームをスキップし、次のフレームにループバックし（経路３６）、及び／又は適切なエラーメッセージを返すことができる。

ブラシマーカ検出モジュール５は、好ましくは、機械学習において典型的なデータ増強技術を使用して拡張することができる、訓練目的のために収集されたブラッシングビデオから撮影された様々な向き及び照明条件のラベル付けされた現実のブラシマーカ画像からなるデータセットで訓練される。訓練データセット内のすべての画像に、ブラシマーカ座標を用いて半自動で注釈を付けることができる。ブラシマーカ検出器は、ブラシマーカを検出するように再訓練することができる既存の事前訓練された物体検出畳み込みニューラルネットワークに基づくことができる。これは、転移学習として知られる技術であるブラシマーカデータセット画像を使用して物体検出ネットワークを調整することによって達成することができる。

３．ブラシマーカ向き推定器
ブラシマーカ座標、又はブラシマーカ境界ボックス座標（ボックス３７）は、ブラシ向き検出モジュール６に渡され、ブラシ向き検出モジュール６は、ブラシマーカ画像をトリミングし、ブラシマーカ向き検出モジュール６内のニューラルネットワークの動作のために最適化され得る画素数にブラシマーカ画像をサイズ変更する（ボックス３８）。一例では、画像は６４×６４画素までトリミング／サイズ変更される。次いで、結果として得られたブラシマーカ画像は、ブラシマーカ画像のピッチ角、ロール角、及びヨー角のセットを返すブラシマーカ向き推定器畳み込み人工ニューラルネットワーク（ＣＮＮ－ボックス３９）に渡される。ブラシマーカ位置検出ＣＮＮと同様に、ブラシマーカ向き推定ＣＮＮもまた、０～１の範囲の推定角度ごとに信頼度レベルを出力することができる。

ブラシマーカ向き推定ＣＮＮは、広範囲の可能な向き及び背景の変動の下で、マーカの画像の任意の適切なデータセットについて訓練することができる。データセット内のすべての画像は、対応するマーカピッチ角、ロール角、及びヨー角を伴うことができる。

いくつかの実装形態では、ブラシマーカ位置検出器５及びブラシ向き検出モジュール６は、ハードウェア及び／又はソフトウェアの同じ機能ユニットによって提供されてもよい。

４．ヘアケア分類器
４Ａ．ブラシ運動分類器
ブラシ運動分類器１６は、上述の３つのモジュール（顔追跡モジュール４、ブラシマーカ位置検出モジュール５、及びブラシマーカ向き検出モジュール６）によって生成されたデータを蓄積して、ヘアケア器具分類のタスクのために特に設計された特徴のセットを抽出する（ボックス４０）。

顔ランドマーク座標（目、鼻及び口の位置など）及びブラシ座標は、好ましくは、分類器１０に直接供給されず、上述したような他の特徴の中でも、顔に対するブラシの様々な相対距離及び角度を計算するために使用される。このようにして、ブラシ運動分類器１６は、ユーザの頭部姿勢に対する相対ブラシ位置及び相対ブラシ向きを決定することができる。

ブラシ運動分類器は、１つ以上のブラッシングパラメータを出力することができる。ブラッシングパラメータは、絶対及び／又は相対ブラシ位置及び向き、線速度、角速度、直線加速度、及び角加速度のいずれかを含む機械的パラメータを含むことができる。ブラシ運動分類器は、連続するフレーム間の位置及び向きの変化に基づいて、動的パラメータ（速度、加速度など）を決定することができる。機械的パラメータは、１つ以上の軸に沿った絶対大きさ又は値を含むことができる。ブラッシングパラメータはまた、ブラシストロークの平面及び曲面を含むブラシ経路又は軌跡など、個々のブラシストロークに関するブラシストロークパラメータを含むことができる。ブラッシングパラメータはまた、毛髪のブラッシングされた領域（頭部右側、左側それぞれの前、中、後）などのより一般的なパラメータを含むことができる。

ブラシ長さは投影された長さであり、カメラからの距離及びカメラに対する角度の関数として変化することを意味する。頭部角度は、分類器が可変角度を考慮するのに役立ち、ブラシ長さのノーズ長さ正規化は、カメラからの距離によって引き起こされる投影ブラシ長さの変動に対応するのに役立つ。

ブラシ運動分類器１６は、人のブラッシングをキャプチャするラベル付きビデオのデータセットで訓練することができる。データセットは、ラベル付けが機械的パラメータを含むことができるように、較正された加速度計を含むマーカを有するブラシをキャプチャすることができる。データセット内のすべてのフレームは、加速度計からのブラッシングパラメータ及び／又はフレームが描写する動作によってラベル付けされてもよい。動作は、「ＩＤＬＥ」（ブラッシングなし）、「マーカが見えない」、「ＯＴＨＥＲ（その他）」、及びブラッシング動作を含むことができる。このようにして、ブラシマーカの位置、向き及び存在とブラッシングパラメータとの間の関係を理解するように分類器を訓練することができる。

４Ｂ．顔感情分類器
顔感情分類器１７は、頭部トラッカ４からＦＡＵを受信し、ＦＡＵに基づいて１つ以上の表情を判定し得る（ボックス４５）。ＦＡＵの値は、関連する顔面筋の動きの強度であってもよい。いくつかの例では、顔感情分類器１７は、ＦＡＵのセットに基づいてスコアを決定することができる。顔感情分類器１７は、正規化手順に基づいてスコアを決定する前にＦＡＵ値を正規化することができ、これにより、対象固有のＡＵ出力変動を最小化することができる。正規化手順は、較正ルーチン中にキャプチャされたユーザデータに基づくことができる。

上記で概説したように、ヘアケアルーチンは、デタングリング及び関連する頭皮上の引っ張りから生じる１つ以上の有痛性の体験に関連付けられ得る。顔感情分類器１７は、ＦＡＵに基づいてユーザの痛み表現を判定することができる。いくつかの例では、顔感情分類器は、Ｐｒｋａｃｈｉｎ及びＳｏｌｏｍｏｎ Ｐａｉｎ Ｉｎｔｅｎｓｉｔｙ Ｍｅｔｒｉｃ（ＰＳＰＩ）スケールに基づいて痛み表現を決定することができる。ＰＳＰＩスケールは、以下に基づいて計算することができる：

式中、ＡＵ４はＦＡＵ「眉毛下がり」であり、ＡＵ６はＦＡＵ「頬隆起」であり、ＡＵ７はＦＡＵ「まぶた狭い」であり、ＡＵ９はＦＡＵ「鼻のしわ」であり、ＡＵ１０はＦＡＵ「上唇隆起」であり、ＡＵ４３はＦＡＵ「目が閉じている」である。一部の実施例では、痛みスコアは、ＡＵ４及びＡＵ９依存性を含めずに、方程式に従って決定され得る。いくつかの例では、顔感情分類器１７は、痛みスコアを計算する前に画像をフィルタリングすることができる。例えば、顔感情分類器１７は、面外頭部回転が大きい画像を除去してもよく、ブラッシングが行われていない、又はブラシが存在しない画像を除去してもよく、毛髪が顔面のかなりの部分を遮る画像を除去してもよく、低い顔検出信頼度の画像を除去してもよい。顔感情分類器１７は、フィルタリング処理を実行するために、頭部追跡モジュール４又はブラシ追跡モジュール１５から出力７、８、９のいずれかを受信することができる。

ユーザの毛髪ブラッシングのスマートフォン画像シーケンスを含む研究データを上記の式に従って処理した。ＰＳＰＩスコアの有意な増加は、ユーザが痛み表現を示した画像の７５～８０％で識別された（手動で評価）。更なる分析により、誤検知（関連する痛み表現のない高い痛みスコア）は、上記のＡＵ４及びＡＵ９の依存性を除去することによって減少させることができることが明らかになった。ＡＵ４及びＡＵ９は、より誤りやすいことが分かり、典型的には痛みの他の指示と相関していた。したがって、精度に影響を与えることなく誤検知を低減することができた。誤検知を低減するための他の方法には、以下が含まれる：面外頭部回転が大きい画像をフィルタリングすることと、ブラッシングが発生していない、又はブラシが存在しない画像をフィルタリングすることと、毛髪が顔面のかなりの部分を遮る画像をフィルタリングすることと、顔検出信頼度が低い画像を無視することとが含まれる。

いくつかの例では、顔感情分類器１７は、ＦＡＵに基づいてユーザの幸福表現を判定することができる。いくつかの例では、顔感情分類器は、ＡＵ６（「頬持ち上げ器」）及びＡＵ１２（「唇角引き上げ器」）の強度に基づいて、幸福表現を決定することができる。ＡＵ６も痛み表現に存在する可能性があるため、顔感情分類器１７はまた、他の痛みインジケータ（ＡＵ４、ＡＵ１０、ＡＵ４３）の存在に基づいて幸福スコアを減少させることによって、幸福表情を決定することができる。一例として、顔感情分類器１７は、幸福スコアを以下のように決定することができる：

いくつかの例では、顔感情分類器１７は、幸福スコアを計算する前に画像をフィルタリングすることができる。例えば、顔感情分類器１７は、面外頭部回転が大きい画像を除去してもよく、毛髪が顔面のかなりの部分を遮る画像を除去してもよく、低い顔検出信頼度の画像を除去してもよい。顔感情分類器１７は、フィルタリング処理を実行するために、頭部追跡モジュール４又はブラシ追跡モジュール１５から出力７、８、９のいずれかを受信することができる。

ユーザの毛髪ブラッシングのスマートフォン画像シーケンスを含む研究データを上記の式に従って処理した。幸福スコアの有意な増加は、ユーザが幸福表現を示した画像の８０％で識別された（手動で評価）。

４Ｃ．ヘアケア性能分析器
ヘアケア性能分析器１８は、ブラシ運動分類器１６からブラッシングパラメータを受信することができ、及び／又は顔感情分類器１７から１つ以上の感情表現を受信することができる。性能分析器１８は、ブラッシングパラメータ及び／又は感情表現を処理して、ユーザのヘアケア性能を分析することができる（ボックス４１）。性能分析器１８は、１つ以上のヘアケアイベント又は１つ以上のヘアケア性能パラメータを検出することによって、ヘアケア性能を分析することができる。ヘアケアイベントは、デタングリングイベント、不適切なブラシストローク、不適切なブラシ毛髪接触などのいずれかを含むことができる。性能パラメータは、適切に較正された場合に、ヘアブラシに加えられた力、ブラシ－毛髪グリップ若しくはユーザ満足度、又はこれらのパラメータのいずれかに対する任意の代理尺度のいずれかを含むことができる。性能分析器は、ヘアケア性能に関連する１つ以上の性能モデルを備えてもよい。例示的な性能モデルは、デタングリングイベントを検出するためのデタングリングモデルと、ヘアブラシに加えられる力（又は加えられた力の代表（代理））を決定するための力モデルと、ヘアケアセッションに対するユーザ満足度を判定するための満足度モデルとを含む。性能モデルは、手動でラベル付けされたデータで訓練された機械学習アルゴリズムを含むことができる。性能分析器１８は、有利には、ユーザのヘアケアルーチンの性能及びユーザの毛髪の関連する健康状態を評価することができる。システム１は、ヘアケアルーチン及び関連するユーザの毛髪の健康を改善するために、ユーザにフィードバックを提供することができる。

タングリングモデル－デタングリングイベントの検出
上記で概説したように、ヘアケアの手入れプロセス中のデタングリングプロセスは、ユーザにとって痛みを伴う不快な体験であり得る。性能分析器１８は、デタングリングモデルを使用して、顔感情分類器１７及び／又はブラシ運動分類器１８からの出力に基づいてデタングリングイベントを検出することができる。以下に説明するように、その後、将来のデタングリングイベントを緩和又は防止するためにフィードバックをユーザに提供することができる。

いくつかの例では、性能分析器１８は、ブラシ運動分類器１６からの実質的にゼロの速度又は加速度と組み合わされた顔感情分類器１７からの痛みの指示に基づいて、デタングリングイベントを検出することができる。

図６は、性能分析器１８によって実行され得るような、デタングリングイベントを検出する方法を示す。最初のステップ８０において、性能分析器１８は、顔感情分類器１７から、処理されている画像（又は一連の画像）の痛みスコアを受信する。第２のステップ８２において、性能分析器１８は、痛みスコアをデタングリング痛み閾値と比較する。痛みスコアがデタングリング痛み閾値未満である場合、プロセスはループバックして最初のステップ８０に戻り、後続の画像から痛みデータを受信する。痛みスコアがデタングリング痛み閾値以上である場合、プロセスは第３のステップ８４に進む。一部の実施例では、性能分析器１８は、単一の画像について、痛みスコアをデタングリング痛み閾値と比較することができる。他の例では、性能分析器１８は、より長い持続時間に対応する複数の画像について、痛みスコアをデタングリング痛み閾値と比較することができる。第２のステップ８２は、第３のステップ８４に進むために、複数の画像のそれぞれについて痛みスコアがデタングリング痛み閾値を超えること、又は平均痛みスコアが閾値を超えることを必要としてもよい。このようにして、デタングリング痛みイベントのよりロバストな検出を検出することができる。

第３のステップ８６において、性能分析器１８は、ブラシ運動分類器１６からブラシ運動パラメータを受け取る。性能分析器１８は、１つ以上のブラシ運動パラメータを対応するデタングリング閾値と比較して、デタングリング運動を検出することができる。図示のように、性能分析器１８は、線速度又は角速度、及び線加速度又は角加速度が実質的に０に等しい、のうちの１つ以上を判定してもよい。言い換えれば、ブラッシングパラメータが対応するデタングリング運動閾値未満であるか否かである。１つ以上のブラッシングパラメータがそれらの対応するデタングリング運動閾値よりも大きい場合、プロセスは第１のステップ８０にループバックする。１つ以上のブラッシングパラメータ（のそれぞれ又はいずれか）がそれらの対応するデタングリング運動閾値未満である場合、性能分析器１８はステップ８８に進み、識別されたデタングリングイベントを出力する。線速度／加速度若しくは角速度／加速度は、（図４Ｂに関連して前述したように）１つ以上の軸に沿った、又はその周りの線速度／加速度若しくは角速度／加速度を含むことができ、又は線速度／加速度若しくは角速度／加速度の絶対大きさに関連することができる。

図６の例では、性能分析器１８は、閾値を超える痛みについての痛み信号と、低速又はゼロ速度／加速度についての運動パラメータからの速度信号又は加速度信号とを一緒に分析することによって、痛みを伴うデタングリングイベントを識別することができる。他の例では、性能分析器１８は、ステップ８０及び８２又は８４及び８６を省略し、顔感情分析器１７からの痛みデータ又はブラシ運動分析器１６からのブラシ運動データのいずれかに基づいて、デタングリングイベントを検出してもよい。

実質的にゼロである加速度又は速度に基づいてデタングリングイベントを決定することは、性能分析器１８が、転換点の前後のパラメータの変化率ではなく、加速度又は速度の転換点のみを分析しているため、システム１の較正要件を低減する。したがって、デタングリング検出方法は、有利には、異なるユーザ間のブラシ力の変動から独立することができる。更に、ＰＳＰＩスコアは、異なるユーザに対して同等の結果を提供し、較正要件を更に低減する。

いくつかの例では、ステップ８６の間に、性能分析器１８は、１つ以上の他のブラシ運動パラメータを分析することができる。性能分析器１８は、ユーザが自分の毛髪のブラッシングのプロセス中であると判定するために、１つ以上のブラシ運動パラメータを分析してもよい。例えば、性能分析器１８は、（図２に関連して上述したように）ブラシ運動分類器１６又はブラシマーカ位置検出モジュール５からそのような表示を受信することができる。いくつかの例では、性能分析器１８は、ブラシの軌跡又は軌跡に関するパラメータを分析して、ブラシがもつれた髪に絡むときの突然の加速度解除及び／又は急な運動を識別することができる。いくつかの例では、性能分析器１８は、図１２に関連して以下で更に説明するように、ブラシ位置をもつれやすいことが知られている１つ以上の所定の位置と比較することができる。

いくつかの例では、図９に関連して以下に説明するように、性能分析器１８は、既知の条件下でヘアケアルーチンを実行しているユーザの画像を含むデータを使用して訓練された人工ニューラルネットワークなどの機械学習（ＭＬ）アルゴリズムを含むことができる。訓練データ内の画像は、デタングリングイベントを識別するために手動でラベル付けされてもよい。ＭＬモデルを構築するために使用される消費者の集団は、モデルを特定の人口統計学的集団グループ（例えば、特定の基本毛髪タイプを有する集団、又はおそらくより高齢の（より弱い／あまり器用でない）に合わせるように選択され得る。次いで、ＭＬアルゴリズムは、デタングリングイベントに関連する１つ以上のブラシ運動パラメータを識別することができる。図６のプロセスのステップ８６において、性能分析器１８は、対応する閾値を超えるこれらの識別されたブラシ運動パラメータのうちの１つ以上に基づいて、デタングリングイベントを決定することができる。

いくつかの例では、デタングリングイベントの識別（ステップ８８）に続いて、性能分析器１８又は分類器モジュール１０は、デタングリングイベントの近辺の期間（及び関連する画像）において、１つ以上のブラシ運動パラメータに対して更なる分析を実行することができる。このようにして、分類器は、もつれが少ない又はもつれが少ないように配合された製品の有効性を識別する他のブラシ運動パラメータを抽出することができる。例えば、デタングリングイベント後のピーク加速度又はブラシが静止したままである時間の長さは、配合された製品の有効性に関する定量的な洞察を提供し得る。このようにして、システム１は、特定のユーザに対する１つ以上の製品の有効性を追跡、監視、及び比較することができる。

図７～図１４は、痛み及び／又はブラシ運動に基づくデタングリングイベント検出を実証する関係を支持する実験データを示す。

図７は、スマートフォンカメラを介して監視されたヘアケアセッションから収集された研究データを示す図である。カメラは、力ブラシで髪をブラッシングしているユーザの一連の画像をキャプチャした。力ブラシは、ブラシの動きに関連する複数の機械的パラメータを測定するための力センサ、加速度計、及びジャイロスコープを含む複数のセンサを含んでいた。この図は、すべて力ブラシから取得された０度歪みデータ１００、加速度計Ｘ軸データ２００、及びジャイロスコープＺ軸データ３００によって表されるような横方向のデタングリング力のプロットを含む。すべてのデータ１００、２００、３００、４００が時間に対してプロットされている。

データ１００、２００、３００は、対応するビデオデータセットから得られた定性的記述で注釈付けされる。定性的記述には、第１のマーカ１０２、第２のマーカ１０４及び第３のマーカ１０６が含まれる。３つのマーカ１０２、１０４、１０６はそれぞれ、デタングリングイベントに対応する。第１のマーカ１０２は、（手動で評価された）ビデオデータから見える可視痛み及び引っ張りのインジケータを提供する。第２のマーカ１０４は、ビデオデータからの可視引っ張りを示す。第３マーカ１０６は、ビデオデータからの可視痛みを示す。この図は、対応するビデオ画像からのＰＳＰＩスコアによって決定される痛みデータ４００のプロットを更に含む。痛み信号４００は、第１、第２及び第３のマーカ１０２、１０４及び１０６に対応するピークを含み、手動で評価された外見上の痛みとＰＳＰＩスコアとの間の相関を示す。

図８Ａは、第１のマーカ１０２の周りの図７に関して前述したプロファイルのブローアップ部分を示す。この例では、デタングリング横方向力プロファイルは、痛み及び引っ張りイベントに関連する力の長い期間を含む。同時に、Ｘ軸に沿った加速度は０になる傾向がある（スケーリングオフセットあり）。また、この間、Ｚ軸周りの角速度（ジャイロスコープＺ）も０まで低下する。定性的には、デタングリングイベント中、ブラシのねじれ及びブラシの加速度は０になる傾向がある。

図８Ｂは、第３のマーカ１０６の周りの図７に関して前述したプロファイルのブローアップ部分を示す。この例では、デタングリング横方向力プロファイルは、画像内の可視痛みに関連する力の長期間を含む。同時に、第１のマーカ１０４で見られる効果と同様に、Ｘ軸に沿った加速度及びＺ軸周りの角速度はゼロになる傾向がある。

データは、マーカ１０２、１０４、１０６におけるデタングリングの存在が、（デタングリングに必要な持続力を示す）横方向力ピークの広がり、実質的に０のｘ軸加速度、実質的に０のｚ軸角速度、及びＰＳＰＩスコアの増加の各々に関連することを示している。

関係を更に説明するために、図８Ｃは、図７を参照して前述したデータの別のセクションの拡張部分を示す。２８秒から３４秒の時間の間の部分では、デタングリング横方向力１００、Ｘ軸２００の加速度、及びＺ（ジャイロスコープＺ）３００プロファイルの周りの角速度は、ユーザが毛髪の痛み又は引っ張りを視覚的に感じていない期間を示す。このセクションでは、ブラッシング動作の周期性は、加速度計プロファイル２００及びＺ（ジャイロスコープＺ）プロファイル３００の周りの角速度から見ることができ、約１秒の周期性を有する。同様に、この期間中の加速度計Ｘプロファイル２００及びジャイロスコープＺプロファイル３００の変化は、可視痛み及び／又は引っ張りが見える図８Ａ及び図８Ｂで前述した周期サイクルの間により大きい。図８Ｃのプロファイル１００、２００、３００は、成功したデタングリングイベントを示すと考えることができる。

図９は、特定の訓練プロトコルに従ってキャプチャされた更なる研究データを示す図である。データを使用して、機械学習（ＭＬ）アルゴリズムを訓練し、（以下で更に説明するように、加えられた力を決定するなどの）デタングリングイベント又は他の性能分析に関連する１つ以上のブラシ運動パラメータなどの１つ以上のパラメータを決定することができる。データは、顔感情分類器１７、ブラシ運動分類器１６、及び性能分析器１８を含む分類器１０を訓練するために使用することができる。

このプロトコルは、ブラッシング及びブロー乾燥の組み合わせを含む、手入れ／デタングリングプロセス１１０と、それに続く６つの周期的に離間した熱スタイリングセグメント１１２とを含む。６つのセグメントは、頭部の各側の３つの異なる領域（頭部の正面、中央、及び背面）のブラッシングに対応する。熱スタイリングセグメント間では、ブラッシングを行わずにブロー乾燥のみを行う。デタングリングプロセスに関するデタングリングデータ１１０は、デタングリングイベントを検出するように分類器１０／性能分析器１８を訓練するための離散データセットとして使用することができる。６つの熱スタイリングセグメントに関するスタイリングデータ１１２は、分類器／性能分析器１８を訓練して、不適切なブラシの使用、不適切な毛髪グリップ、及びスタイリング中の器具の他の準最適な使用を検出するための第２の離散データセットとして使用することができる。

このようにして、訓練プロトコルの範囲内の複数の対象を使用して取得されたデータを使用して、分類器は、より一般的には、任意の毛髪のグルーミングイベントの構成要素部分に対して開発され、次いで、フィードバック及び推奨のために、制御されていない手入れイベントを管理可能な部分に分解するために適用され得る。

この例では、ハンドルの端部にマーカを付けた（図３に関連して説明したように）力ブラシ（図７に関連して説明したように）を用いてデータをキャプチャした。力ブラシでキャプチャされたデータは、０度（横）曲げ歪みデータ５００、９０度曲げ歪みデータ６００、ｘ軸加速度計データ２００、及びｚ軸ジャイロスコープデータ３００を含む。

画像データもキャプチャして、（頭部追跡モジュール４、ブラシマーカ位置検出モジュール５、ブラシ向き検出モジュール６、及びブラシ運動分類器１６を用いて）マーカ並びにＦＡＵ及び（頭部追跡モジュール４及び顔感情分類器１７を使用して）関連する表情から運動パラメータを決定した。

図１０は、図９のプロトコルに従ってキャプチャされたプロセスデータ１１０をデタングリングするための様々な力ブラシパラメータに対してプロットされたＰＳＰＩ痛みスコアのプロットを示す。プロットは、（ｉ）９０度曲げ歪み６００、（ｉｉ）０度曲げ歪み５００、及び（ｉｉｉ）回転歪み８００に対する痛みスコアを含む：プロットは、より高い割合の歪みが一般に、より高い値の痛みの表現に関連することを示している。歪みは、使用中のブラシの「微小」線形及び回転変形であると見なされ得るため、ブラシはもつれた状態で動けなくなり、物理的にわずかに変形し（弾性的であるが経時的な時間ヒステリシス）、経時的なこれらの微小変形の履歴は、もつれの複雑さと「もつれから抜け出す」ユーザの行動の両方に依存する。

図１１は、画像データ内のマーカの位置及び向きに基づいて、ブラシ運動分類器によって決定された様々な運動パラメータに対するプロットされたＰＳＰＩスコアのプロットを示す図である。プロットは、（ｉ）加速度９００、ｘ位置１０００、ｙ位置１１００、及び速度１２００に対する痛みスコアを含む。ｘ及びｙ位置座標について、ｘ＝０、ｙ＝０の値は、画像の左上画素に対応する。ブラシ運動分類器１６は、位置値のフレーム間の変化に基づいて、動的パラメータ、すなわち速度１２００及び加速度９００を決定することができる。この例では、値を決定することができない場合、運動パラメータはデフォルトで０になる。この例では、ＰＳＰＩスコアを決定できない場合、痛み値はデフォルトで０になる。

プロットは、高い痛みスコアが実質的にゼロの速度及び実質的にゼロの加速度に関連するのに対して、低い痛みスコアは一般により広い範囲の加速度及び速度に関連することを示している。同様に、ｘ位置１０００及びｙ位置１１００の固定値は、高い痛みスコアと関連付けられ、一方、より低い痛みスコアは、より広い範囲の位置座標と関連付けられる。

図１２は、角速度１３００についての追加のマーカ導出データと共にフィルタリング後の図１１のデータを示す図である。フィルタリングは、痛みスコアが０に等しいデータを除去することと、ｘ位置及びｙ位置が０に等しいデータを除去することと、加速度データについては、加速度が２２，０００画素／秒平方未満であったデータを除去することと、速度データについては、速度が８００画素／秒未満であったデータを除去することと、痛みスコアが０．２５より大きいデータを追加して戻すことと、を含む。図１２のフィルタリングされたデータは、より高い痛みスコアが低い速及び加速度のデータ点と関連付けられることを示している。

図１３は、関連する痛みスコアを有する図１１のデータ点のｙ位置１１００に対してプロットされたｘ位置１０００を示す。この例では、Ｘ位置及びＹ位置はカメラの画素に対応し、したがってカメラの参照フレームに関連する。外見上の痛みのレベルは、特定の位置におけるマーカのサイズによって示される。データは、高濃度の高い痛みスコアを有する３つの領域１１４を示す。このようにして、性能分析器１８は、引っ張り及びデタングリングイベントが発生する領域を識別することができ、システム１は、痛み領域１１４に適用され得るもつれを緩和するためのスプレー／セラムの推奨などのフィードバックを提供することができる。

図１４は、（検証に使用される）力ブラシ及びマーカブラシについての図９から図１３の基礎となるデータの様々なパラメータ間の相関強度を識別する相関行列を示す。痛みと力ブラシからの絶対ジャイロ値との間、両方ともマーカブラシからの痛み及び角速度、並びに痛み及び（線）速度に強い相関が見られる。

図７～図１４のデータは、痛みとブラシ運動との間に関係が存在し、両方ともデタングリングイベントを識別するために使用できることを示している。結果として、性能分析器１８は、デタングリング痛み閾値を超える痛みスコア、及び／又は、デタングリング速度閾値未満である線速度若しくは角速度、及び／又は、デタングリング加速度閾値未満である加速度に基づいて、デタングリングイベントを決定することができる。後述するように、デタングリングイベントの検出後、システム１は、ユーザフィードバックを提供して、デタングリング痛みを軽減し、及び／又は将来のデタングリングイベントの発生率を低減することができる。

力モデル－印加されたブラシ力の決定
ヘアケア研究における長年の課題は、スタイリングプロセスの異なる時点に関与する力を推定することである。デタングリングイベントを達成するために加えられるブラシ力は、洗浄及びヘアケアプロセス中に使用される１つ以上のヘアケア製品の配合特性に直接依存し得る。典型的なアプローチは、加えられたブラッシング力を推定することである（図７に関連して上述した）が、そのようなブラシは高価であり、広い消費者ベースに合わせて拡大するには実用的ではない。

１つ以上の例では、性能分析器１８は、力モデルを使用して、顔感情分類器１７から受信した痛みスコアに基づいて、ヘアブラシに加えられる力の相対レベルを表す力信号を決定することができる。以下で（及び図７～図８ Ｃに関連して上記で）説明するように、痛みスコアは、加えられたブラシ力と相関し、その結果、痛みスコアは、加えられたブラシ力の代理として使用することができる。このようにして、開示されたシステム１及び方法は、力ブラシを必要とせずに力の代理尺度を報告することができる。

いくつかの例では、痛みスコアは、例えばブラシが最初にユーザの毛髪をグリップするときの新しいブラシストロークの開始時など、ヘアケアセッションの特定の段階中に加えられたブラシ力とのみ相関し、ブラシと毛髪との間のグリップから生じる摩擦に起因するいくらかの引っ張りをもたらし得る。例えば、ユーザがもつれに巻き込まれた場合、もつれを解消するために、非常に制限された方法があるだけであり、これは他の要因に関係なく必要な力を決定し、これらの時点で、表現された痛みは力の良好な代理である可能性が高い。したがって、いくつかの例では、性能分析器１８は、ブラシ運動分類器１６から受信した痛みスコア及びブラシ運動パラメータに基づいて力信号を決定することができる。性能分析器１８は、ブラシ運動パラメータが新しいブラシストロークの開始を示すとき、痛みスコアに基づいて力信号を決定することができる。

デタングリングモデルと同様に、力モデルは、図７～図１４に関連して説明したものと同様のデータセットで訓練することができるＭＬアルゴリズムであってもよい。すなわち、図３のマーカが取り付けられた力ブラシを用いてヘアケアルーチンを実行するユーザについてデータを取得することができる。力ブラシ自体からのデータ及びヘアケアルーチン中にキャプチャされた一連の画像に関する画像データを使用して、モデルを生成することができる。モデルは、図７及び図１０に示すように、力ブラシデータと、同じ時間軸に対応するビデオ画像からの対応するＰＳＰＩスコアとに基づいて訓練することができる。モデルは、図１１及び図１２に示すデータなど、一連の画像内のブラシマーカ位置からブラシ運動分類器１６によって導出されたブラシ運動データを更に組み込むことができる。

訓練データは、図９の訓練プロトコルデータのヘアスタイリングセグメント１１２を含むことができる。図１５～図１８は、図１１～図１４のデタングリングプロセスデータと同様の方法で提示されたスタイリングセグメント１１２についてキャプチャされたデータを示している。そのようなデータは、上述したように、ブラシストロークの開始などの追加のパラメータ依存性で力モデルを補完するのに有用であり得る。

図１５は、ヘアスタイリングセグメントデータを除いて図１１と同じ方法で様々な運動パラメータに対してプロットされたＰＳＰＩスコアのプロットを示す。プロットは、高い痛みスコアが実質的にゼロの速度及び実質的にゼロの加速度に関連するのに対して、低い痛みスコアは一般により広い範囲の加速度及び速度に関連することを示している。同様に、ｘ位置１０００及びｙ位置１１００の固定値は、高い痛みスコアと関連付けられ、一方、より低い痛みスコアは、より広い範囲の位置座標と関連付けられる。

図１６は、フィルタリング後の図１５の速度データを示す図である。フィルタリングは、痛みスコアが０に等しいデータを除去することと、ｘ位置及びｙ位置が０に等しいデータを除去することと、速度が８００画素／秒未満であったデータを除去することと、痛みスコアが０．２５より大きいデータを追加して戻すことと、を含む。図１５のフィルタリングされたデータは、０．７５のＲ２適合での痛みスコアとブラシ速度との間の相関を示す。

図１７は、関連する痛みスコアを有する図１５のデータ点のｙ位置１１００に対してプロットされたｘ位置１０００を示す。データは、高濃度の高い痛みスコアを有する３つの領域１１６を示す。このようにして、性能分析器１８は、加えられたブラシ力が高すぎる領域を識別することができる。システム１は、痛み領域１１６に適用され得るブラシと毛髪との間の摩擦を低減するためのスプレー／セラムの推奨などのフィードバックを提供することができる。

力モデルを使用して、性能分析器１８は、キャプチャされたビデオ画像から痛みスコア及び代理力信号を監視することができる。このようにして、システム１は、対応する力信号（ヘアケアセッションにわたる平均力信号であり得る）に基づいて、特定のユーザのための１つ以上の配合された製品の有効性を追跡、監視、及び比較することができる。そのような製品有効性監視は、製品開発又は消費者調査中に、又は異なるヘアケア製品を比較しようとする特定のエンドユーザにとって特に有利であり得る。

いくつかの例では、性能分析器は、特定のユーザを更に特徴付け、よりパーソナライズされたフィードバックを提供するために、デタングリングモデルと組み合わせて力モデルを適用することができる。例えば、性能分析器は、デタングリングイベントの数と力信号によって示される力のレベルとに基づいてユーザを４つのユーザタイプに分割することができる：「低力、多くのもつれ」、「強力、多くのもつれ」、「低力、もつれがほとんどない」、及び「強力、もつれがほとんどない」。

いくつかの例では、性能分析器１８は、デタングリングプロセス１１０に関するデータとスタイリングに関するデータとを区別することができる。性能分析器１８は、ドライヤーの存在を判定することによって、又はブラシストロークの平均軌跡によって、そのような区別を行うことができる。デタングリングプロセス１１０とヘアスタイリングプロセス１１２とを区別することにより、性能分析器は、デタングリングプロセスデータにデタングリングモデルを、ヘアスタイリングデータ１１２に力モデルを選択的に適用することができる。

ユーザ満足度モデル
いくつかの例では、性能分析器１８は、満足度モデルを適用して、顔感情分類器１７から受信した幸福スコアに基づいて、ヘアケアルーチンに対するユーザの満足度のレベルを表すユーザの幸福を判定することができる。性能分析器１８は、ヘアケアセッションの終了に関する画像に対するユーザ満足度のみを分析することができる。例えば、性能分析器１７は、ブラシマーカ位置検出モジュール５又はブラシ運動分類器１６から、ブラシマーカがヘアケアルーチンが終了したことを示す、閾値時間にわたって静止していたことを示す出力を受信することができる。ヘアケアセッションの終わりにユーザの幸福（又はその欠如）を検出することによって、顔感情分類器１７は、ルーチンに対するユーザ満足度を有利に判定し、適切なフィードバックを提供することができる。フィードバックは、例えば、更なるスタイリングのためのアドバイス、製品選択のアドバイス、及び例えば、健康な状態を向上させるための「今日はきれいだね」などの積極的なメッセージングを含むことができる。

他の性能分析モデル
性能モデリング及び分析に対する上記のアプローチは、ヘアケアルーチンの他の重要な構成要素に適用することができ、それによって更なる構成要素モデルを生成することができる。次いで、性能分析器は、そのようなモデルを適用して、エンドユーザケースにおけるフィードバックの個人化を更に強化するか、又は研究ユースケースにおける製品の優位性／使用性能を実証するより洗練された方法を提供することができる。

本開示の一部として想定される１つの更なる例示的な性能モデルは、ブラシストロークモデルである。ブラシ及びマーカを用いてヘアケアルーチンを実行するユーザの複数のビデオシーケンスからのブラシ運動パラメータデータを使用して、ブラシストロークモデルを訓練することができる。訓練データは、どのルーチンが健康な毛髪、不快な感情、多数のデタングリングイベントなどをもたらしたかを強調するようにラベル付けすることができる。相対的な毛髪の健康は、毛髪の光沢のレベル、毛髪の量、枝毛の数、水分レベル、ふけレベルなどのいずれかに従って定量化することができる。毛髪の健康の相対的なレベルは、訓練データに対して手動で決定することができ、又はシステムは、画像を適宜分析することによって健康のレベルを決定することができる。次いで、性能分析器１８は、ブラシモデルを使用してユーザのブラシストロークを監視し、特定のブラッシング技術の可能性のある結果に関してユーザにフィードバックを提供することができる。ブラシストロークモデルは、ユーザの髪の種類／スタイルに従って分類することができる。

他のモデルは、グリップ／ブラシカールのモデルを含むことができる。

５．フィードバック
フィードバックは、性能分析に基づいて生成され（４１）、例えば、ディスプレイ１２、オーディオフィードバック、及び触覚フィードバックのうちの１つ以上によってユーザに出力される（４２）。

少なくとも１項目のフィードバックは、（ｉ）製品又は器具の適用のための目標毛髪領域を示す、（ｉｉ）製品又は器具の過剰な適用の毛髪領域を示す、のうちの少なくとも１つを含んでもよい。ヘアケア活動の例では、フィードバック項目は、製品又は器具の適用のための目標毛髪領域を示すこと、及び／又はヘアドライヤー、カール又は毛髪矯正器具による過熱などの製品又は器具の過剰適用の毛髪領域を示すことを含むことができる。

いくつかの例では、フィードバックは、特定の毛髪の種類に合わせてパーソナライズされてもよい。システムは、ユーザ入力として、又は以下に説明するルーチン前画像及びルーチン後画像などの１つ以上の画像から毛髪タイプを判定することによって、毛髪タイプを受信することができる。システムは、上述のようにセグメント化を実行することによって毛髪の種類を判定することができる。

即時フィードバック
いくつかの例では、システム１は、ヘアケアルーチン中にユーザにフィードバックを提供することができる。性能分析器１８が特定のイベントを検出した場合、そのイベントに関連して即時フィードバックを与えることができる。例えば、性能分析器１８がデタングリングイベントを検出した場合、システムは「もつれの瞬間」にフィードバックを提供することができる。フィードバックは、根元で手で毛髪を把持して他方の手でブラッシングすること、又は毛髪の端部から短い部分でもつれた毛髪をブラッシングすることなどの、デタングリング中の痛みに対処するためのブラッシング戦略、又は配合された製品（化学トリートメント）のもつれた領域への即時適用を推奨する、例えば、デタングリング溶液又は洗い流さないコンディショナーを含み得る。フィードバックは、ブラッシング戦略又は推奨製品を適用するための（図１３に示すような）もつれの高い領域を識別することができる。

更なる例では、性能分析器１８がブラシストロークモデルを使用して望ましくない結果に関連するブラシストロークを検出した場合、システム１は即時の是正フィードバックを提供することができる。フィードバックは、より良いブラッシングストロークに関するアドバイスを含むことができ、そのようなストロークを示すアニメーションを含むことができる。

更なる例では、性能分析器１８が力モデルを適用し、ブラシと毛髪との間の不十分なグリップ（ブラシストロークの開始時の閾値よりも大きい痛みスコア）を検出した場合、システムは、ブラッシング技術（ブラッシングストローク、ブラシの回転など）に関する情報又は熱適用の提案を提供するなどの即時フィードバックを提供することができる。

ルーチンフィードバックの終了
いくつかの例では、システム１は、ヘアケアルーチンの完了時にユーザにフィードバックを提供することができる。システム１は、ヘアケア器具が閾値時間にわたって静止しているか、又は画像境界から外れていることに基づいて、ヘアケアルーチンの完了を検出することができる。他の例では、ユーザは、ルーチンが完了したことを示すために手動入力を提供することができる。

いくつかの例では、フィードバックは、ヘアケアルーチンを要約するレポートを含むことができる。例えば、レポートは、デタングリングモデルで検出されたデタングリングイベントの数及び／又は位置、ブラシストロークモデル出力に基づくブラッシングストロークの統計、及び／又は力モデル出力に基づくブラシと毛髪との間の平均グリップを示すことができる。データは、同等のユーザの母集団分布に対して、又は異なる製品について以前にキャプチャされた同様のデータに対して示すことができ、ユーザが性能の変化を製品の変化に起因させることを可能にする。データは、ルーチン中にキャプチャされた画像、使用された製品の記録、並びにユーザの毛髪の種類及び状態と共に提示されてもよい。

マルチセッションフィードバック
いくつかの例では、システム１は、複数のセッションにわたって測定された性能の態様に関連するフィードバックをユーザに提供することができる。通常、そのような性能の評価は、いくつかの異なるセッションにわたって同じユーザに対して実行される。

そのような例では、ヘアケア性能を分析することは、
ｉ）現在のヘアケアセッションにおける１つ以上のブラッシングパラメータ及び／又はユーザの１つ以上の表情と、
ｉｉ）以前のパーソナルケアセッションからのユーザの、１つ以上の対応するブラッシングパラメータ及び／又は１つ以上の表情とに基づいて、１つ以上の性能パラメータを決定することを含む。

マルチセッションフィードバックを提供することにより、システムは、ユーザが自分の現在のヘアケア性能を以前のセッションと比較することを可能にすることができる。例えば、フィードバックは「今日の朝と同じように、ゆっくりとブラシをかけてみてはどうでしょうか」とすることができる。あるいは、性能の変化は、「普段よりもつれが多いようです。製品Ｘを適用してみては？製品Ｘは、髪のもつれを減らすように配合されたタイプのものです。」などの新しい化学トリートメント推奨をもたらし得る。

フィードバックの種類
いくつかの例では、フィードバックは、将来の洗髪又はヘアケアルーチン中に使用するための製品推奨を含み得る。例えば、製品推奨は、デタングリングイベントを低減し、ブラシ－毛髪グリップを改善し、及び／又はヘアスタイリング若しくは毛髪の健康結果を改善するための配合された製品に関することができる。図１８は、加えられるブラシ力が配合された製品の選択に依存し得ることを示している。製品推奨はまた、より細かいブラシなどの器具推奨を含むことができる。

いくつかの例では、ユーザがエンドスタイル、例えばスタイリング中のブラッシング動作及びブラシ－毛髪グリップをどのように達成するかに基づいてフィードバックを提供することができる。上述の即時フィードバックと同様に、システム１は、推奨されるブラッシング技術の形態でフィードバックを提供することができる。

いくつかの例では、システム１は、ユーザ満足度モデルからのユーザ満足度に基づいてフィードバックを提供し、ユーザが自分の最終的な外見にどれだけ満足しているかを示すことができる。幸福スコアが幸福閾値未満である場合、フィードバックは、より高い幸福スコアをもたらしたヘアケアルーチンと以前のヘアケアルーチンとの間の差（ブラッシングスタイル、グリップ、製品選択）を強調表示し、次回の推奨を提供することができる。幸福スコアが幸福閾値より大きい場合、システムは、信頼を喚起し、健康を支援するために肯定的なメッセージングの形態でフィードバックを提供することができる。

適用例
図１９は、開示されたシステムの例示的な使用方法を示す。システム１は、スマートフォン又はタブレット又は同様のパーソナルモバイルデバイス上のモバイルアプリケーション（アプリ）に展開することができる。

本システムは、アプリストアなどからのユーザダウンロード後の消費者対応アプリケーションに有利に適用することができる。システムはまた、製品の研究開発に有利に使用され得る。例えば、研究に募集されたユーザはアプリケーションを使用することができ、ヘアケア製品の有効性を実証するために性能分析データを使用することができる。例えば、データは、（例えば、必要な力を低減することによって）デタングリングイベントを「緩和」する際の配合された製品の性能を定量化することができる。

ユーザがアプリケーションを開始した後、システムは何らかの初期設定を実行することができる（ステップ１２０）。例えば、システムは、デバイス上のカメラを可能にし、ヘアスタイリングイベントの良好な画像をキャプチャできるようにデバイスを配置するようにユーザを案内する命令を提供することができる。ユーザは、アプリからの命令（近すぎる、遠すぎる、低すぎる、高すぎるなど）によって案内される距離でデバイスを鏡として使用することができる。

ヘアケアルーチンを開始する前に、システムは、ユーザにいくつかの質問を提示することができる（例えば、あなたのヘアスタイルは何ですか？ 髪を着色する頻度はどれくらいですか？等）、応答として適切なユーザ入力を受信する（ステップ１２１）。

システムは、ユーザのルーチン前画像をキャプチャして記憶することができる（ステップ１２２）。

ユーザが自分のヘアケアルーチンを開始すると、システムはデバイスのカメラから一連の画像を受信する（ステップ１２３）。次いで、システムは、上記で詳細に説明したように性能を分析することができる（ステップ１２４）。いくつかの例では、システムは、一連の画像内のヘアケア器具の位置を追跡することによってヘアケア性能を分析することができる。いくつかの例では、システムは、ユーザの表情を分析することによってヘアケア性能を分析することができる。システムは、１つ以上の性能パラメータ（例えば、ブラシ－毛髪グリップ、ブラシストローク軌跡）を決定することによって、又は１つ以上のヘアケアイベント（例えば、デタングリングイベント）を検出することによって、ヘアケア性能を分析することができる。システムは、デタングリングプロセス及びスタイリングプロセスなどのヘアケアルーチンの段階に応じて異なる性能分析を実行することができる。

性能分析に応答して、システムは、上述したように、即座の是正フィードバックをユーザに提供することができる（ステップ１２５）。

ヘアケアルーチンの完了に続いて、システムは、ルーチン後の画像をキャプチャして記憶することができる（ステップ１２６）。ルーチン前画像及びルーチン後画像は、毛髪を背景から分離するためにセグメント化され、次いで「既知の」形状スケールに対して分類され得る。画像は、ユーザの開始及び終了の髪の種類／スタイルを定義し、髪の種類に最も適した製品推奨などのフィードバックに影響を与えることができる。

ステップ１２７において、システムは、上述のようにルーチン後のフィードバックを提供することができる。

上記で例示されたブラシ追跡システムは、ブラシ及び顔面の特徴の純粋に視覚ベースの追跡を可能にすることができる。ブラシにセンサを配置する必要はない。ブラッシングしている人にセンサを配置する必要はない。この技術は、現在利用可能な携帯電話技術において十分な性能でロバストに実装することができる。この技術は、従来の２Ｄカメラビデオ画像を使用して実行することができる。

本明細書を通して、「モジュール」という表現は、汎用若しくはカスタムプロセッサ上で、又は例えば特定用途向け集積回路上で、機能のハードウェアマシン実装上で実行されるコンピュータコードを含み得る機能システムを包含することを意図している。

例えば、顔追跡モジュール４、ブラシマーカ位置検出モジュール５、ブラシマーカ向き推定器／検出器モジュール６、及び分類器１０の機能は、別個のモジュールとして説明されているが、その機能は、単一又はマルチスレッドプロセスとして適切なプロセッサ内で組み合わせることができ、又は異なるプロセッサ及び／又は処理スレッド間で異なるように分割することができる。機能は、単一の処理デバイス又は分散コンピューティングプラットフォーム上に提供することができ、例えば、いくつかのプロセスはリモートサーバで実施される。

データ処理システムの機能の少なくとも一部は、モバイル通信デバイス上で実行されるスマートフォンアプリケーション又は他のプロセスによって実施されてもよい。記載された機能の一部又は全部は、スマートフォン上で提供されてもよい。機能の一部は、携帯電話ネットワーク及び／又は無線インターネット接続などのスマートフォンの長距離通信設備を使用するリモートサーバによって提供されてもよい。

本開示の態様は、ヘアケアよりも広く適用可能であり得ることが理解されよう。例えば、様々な実施形態は、個人の手入れに応用することができる。個人の手入れ活動は、歯のケア活動、スキンケア活動、及びヘアケア活動のうちの１つを含み得る。個人の手入れ活動は、歯磨きを含むことができ、少なくとも１項目のフィードバックは、口の複数のブラッシング領域において十分又は不十分なレベルのブラッシングを示すことを含むことができる。フィードバック情報は、ブラッシング領域に対応する位置のユーザの顔面に、ブラッシングのレベルの視覚的指示を与えることを含むことができる。

他の実施形態は、添付の特許請求の範囲内に意図的に含まれる。

本明細書を通して、「水平」、「垂直」、「上部」、「底部」、及び「側面」などの相対的な向き及び位置に関する記述子は、図面に示される装置の向きの意味で使用される。しかしながら、そのような記述子は、記載された又は特許請求された発明の意図された用途に決して限定するものではない。更に、本明細書における力の決定への言及は、例えば加速度などの力の代理の決定に関連し得る。

「に近い」、「前に」、「直前に」、「後に」、「直後に」、「より高い」、又は「より低い」などへの任意の言及は、文脈に応じて、問題のパラメータが閾値未満若しくは閾値超、又は２つの閾値の間であることを指すことができることが理解されよう。

Claims (14)

1. ヘアケアを実行する際にユーザを支援するためのコンピュータ実施方法であって、
   前記ユーザの頭部、及び、ヘアスタイリング器具であるヘアケア器具の一連の画像を受信することと、
   前記一連の画像を使用して前記ヘアケア器具の位置又は向きを追跡することによって、１つ以上の器具動作パラメータを決定することと、
   前記ヘアケア器具の前記１つ以上の器具動作パラメータと、対応するデタングリング運動閾値との比較に基づいて、デタングリングイベントを決定することと、
   前記決定されたデタングリングイベントに基づいて、前記ユーザに対するフィードバックを生成することと
   を含む、コンピュータ実施方法。
2. 前記ヘアケア器具の位置及び向きを追跡することが、前記ユーザの前記頭部に対する前記位置及び向きを追跡することを含む、請求項１に記載のコンピュータ実施方法。
3. 前記ヘアケア器具の前記位置及び向きを追跡することが、前記ヘアケア器具の端部に結合された基準マーカを追跡することを含む、請求項１又は２に記載のコンピュータ実施方法。
4. 前記基準マーカが、前記ヘアケア器具の長手方向軸に対応する長手方向軸の周りに配置された複数の色つき４分円を有する実質的に球形のマーカ６０を備える、請求項５に記載のコンピュータ実施方法。
5. 前記器具パラメータが、器具位置、器具の向き、線速度、角速度、線加速度、角加速度及び器具経路のうちの１つ以上を含む、請求項１から４のいずれか一項に記載のコンピュータ実施方法。
6. 前記ヘアケア器具がヘアブラシを備える、請求項１から５のいずれか一項に記載のコンピュータ実施方法。
7. 線速度、角速度、線加速度、及び角加速度のうちの１つ以上が対応するデタングリング運動閾値未満である場合に、デタングリングイベントを決定することを含む、請求項１から６のいずれか一項に記載のコンピュータ実施方法。
8. 前記方法が、器具経路に基づいて不適切な器具ストロークを決定することを含む、請求項１から７のいずれか一項に記載のコンピュータ実施方法。
9. 検出された性能パラメータ又はヘアケアイベントに従って適切な化学トリートメントを識別することを更に含み、
   前記フィードバックを提供することが、前記識別された化学トリートメントを実施するための命令を前記ユーザに提供することを更に含む、請求項１から８のいずれか一項に記載のコンピュータ実施方法。
10. フィードバックを生成することが、前記ユーザが前記ヘアケア器具を特定の方法で操作するための命令を生成することを含む、請求項１から９のいずれか一項に記載のコンピュータ実施方法。
11. 検出された性能パラメータ又はヘアケアイベントに従って器具技術を識別することを更に含み、
    前記フィードバックを生成することが、前記器具技術を実施するための命令を前記ユーザに生成することを含む、請求項１から１０のいずれか一項に記載のコンピュータ実施方法。
12. 前記一連の画像における前記ユーザの表情を判定することと、
    前記ユーザの前記表情及び前記器具パラメータに基づいて、前記１つ以上の性能パラメータ及び／又は前記１つ以上のヘアケアイベントを決定することと
    を更に含む、請求項１から１１のいずれか一項に記載のコンピュータ実施方法。
13. コンピュータ上で実行されると、前記コンピュータに、請求項１から１２のいずれか一項に記載の方法を実行させる、コンピュータ可読命令を含む、コンピュータプログラム製品。
14. 請求項１から１２のいずれか一項に記載の方法を実行するように構成されたプロセッサを備えるヘアケア監視システム。

Images