JP2024529958A - パーソナルケアモニタリング及びフィードバック - Google Patents

Abstract

本開示は、パーソナルケアを実施するユーザを支援するための方法であって、ユーザの顔及びパーソナルケア器具の一連の画像を受信することと、一連の画像を使用してパーソナルケア５器具を追跡することによって、１又は複数の器具パラメータを決定することと、一連の画像を使用してユーザの１又は複数の表情を決定することと、１又は複数の器具パラメータ及びユーザの１又は複数の表情に基づいてパーソナルケアパフォーマンスを分析することと、パーソナルケアパフォーマンスに基づいて、パーソナルケアを実施するユーザにフィードバックを生成又は提供することと、を含む、方法に関する。【選択図】図１９

Description

本開示は、パーソナルケアを実施するユーザを支援するためのシステム及び方法に関し、特に、限定するものではないが、ヘアスタイリングを実施するユーザを支援するためのシステム及び方法に関する。

人間のヘアケアルーティンの有効性は、ヘアケアルーティンの期間、スタイリストの技能、毛髪の状態及びヘアケア技術を含むいくつかの要因に従って大きく変動し得る。ブラッシング技術のフィードバックを提供し、最適なヘアケアルーティンを達成しようとするユーザを支援する目的でユーザの頭部付近にあるヘアブラシの動作を追跡するためのいくつかのシステムが開発されている。

こうしたブラシ追跡システムのいくつかは、ヘアブラシに組み込まれた加速度計など、モーションセンサを必要とするという欠点を有している。こうしたモーションセンサは、ヘアブラシなど、そういったセンサが付いていなければ低コストであり、なおかつ比較的使い捨て可能である物品に付加するには高額な可能性があり、ブラシ上又は中のセンサから好適な処理装置及びディスプレイ装置に送るための関連する信号伝送ハードウェア及びソフトウェアをも必要とし得る。

ブラシ動作又はユーザの頭部に隣接するヘアケア器具の動作を追跡するなど、ヘアブラシ自体に電子センサが組み込まれたり適用されたりする必要なく、ユーザのヘアケアルーティンをモニタリング可能であることが望ましい。ユビキタスな「スマートフォン」又はコンピュータタブレットなど、他の広範に利用可能な消費者デバイスのような比較的従来のビデオイメージングシステムを使用して、ユーザのヘアケアルーティンをモニタリング可能であることもまた望ましい。使用されるビデオイメージングシステムが、３次元映像を使用したものなど、３次元イメージングシステムを必要としないことが望ましい。ヘアケアセッション中に取得されたデータをベースとするリアルタイムフィードバックをユーザに提供することができるブラシ又は他のケア器具追跡システムを提供することもまた望ましい。本開示のいくつかの態様は、上記の目的のうちの１以上を達成することができる。

本開示の第１の態様によれば、パーソナルケアを実施する上でユーザを支援するための方法が提供され、該方法は、
ユーザの顔及びパーソナルケア器具の一連の画像を受信することと、
一連の画像を使用してパーソナルケア器具を追跡することによって、１又は複数の器具パラメータを決定することと、
一連の画像を使用してユーザの１又は複数の表情を決定することと、
１又は複数の器具パラメータ及びユーザの１又は複数の表情に基づいてパーソナルケアパフォーマンスを分析することと、
パーソナルケアパフォーマンスに基づいて、パーソナルケアを実施するユーザにフィードバックを生成又は提供することと、
を含む。

１又は複数の例では、パーソナルケアパフォーマンスを分析することは、１又は複数の器具パラメータ及びユーザの１又は複数の表情に基づいて、１又は複数のパフォーマンスパラメータ及び／又は１又は複数のパーソナルケアイベントを決定することを含んでもよい。フィードバックを提供することは、１又は複数のパフォーマンスパラメータ及び／又は１又は複数のパーソナルケアイベントに基づいたフィードバックを提供することを含んでもよい。

１又は複数の例では、フィードバックは、どのようにしてパーソナルケアを実施するかに関するユーザ向けの指示を含んでもよい。

パーソナルケアパフォーマンスを分析することは、ｉ）現在のヘアケアセッションにおける１又は複数の器具パラメータ及びユーザの１又は複数の表情、並びにｉｉ）先のパーソナルケアセッションからの１又は複数の器具パラメータ及びユーザの１又は複数の表情に基づいて、１又は複数のパフォーマンスパラメータを決定することを含んでもよい。先のパーソナルケアセッション及び現在のパーソナルケアセッションは、同じユーザに関連していてもよい。先の及び現在のパーソナルケアセッションは、連続していないものであってもよい。

該方法は、現在のセッションに関連した１又は複数のパフォーマンスパラメータと先のセッションに関連した１又は複数の対応するパフォーマンスパラメータとの差分を決定することを含んでもよい。フィードバックは、決定された差分の表示を提供してもよい。

１又は複数の例では、該方法は、一連の画像中のそれぞれの画像に関する１又は複数の顔面動作単位を決定することを含んでもよい。該方法は、１又は複数の顔面動作単位に基づいて表情スコアを決定することによって、ユーザの表情を決定することを含んでもよい。

１又は複数の例では、ユーザの表情を決定することは、自信、喜び、苦痛、苛立ち、混乱及び幸福のうちの１以上を含む感情表現を決定することを含んでもよい。

１又は複数の例では、パーソナルケア器具を追跡することは、パーソナルケア器具の位置及び／又は向きを追跡することを含んでもよい。

１又は複数の例では、パーソナルケア器具の位置及び向きを追跡することは、ユーザの頭部に対する位置及び向きを追跡することを含んでもよい。

１又は複数の例では、ユーザの頭部に対する位置及び向きを追跡することは、１又は複数の顔ランドマークに対する位置及び向きを追跡することを含んでもよい。

１又は複数の例では、パーソナルケア器具の位置及び向きを追跡することは、パーソナルケア器具の端部に連結された基準マーカを追跡することを含んでもよい。

１又は複数の例では、基準マーカは、パーソナルケア器具の一構成要素を形成してもよく、又はパーソナルケア器具に連結されたアタッチメントを備えてもよい。

１又は複数の例では、基準マーカは、パーソナルケア器具の長手方向軸に対応する、長手方向軸の周囲に配置された複数の色付き四分円を有する実質的に球形のマーカを備えてもよい。

１又は複数の例では、四分円のそれぞれは、色相がはっきりと対照的な色の帯で隣接する四分円と分けられてもよい。色相がはっきりと対照的な色の帯は、隣接する四分円の片側の色との対照度が高くてもよく、又は帯の四分円の両側との対照度が高くてもよい。

１又は複数の例では、器具パラメータは、器具の位置、器具の向き、線速度、角速度、直線加速度、角加速度及び器具経路のうちの１以上を含んでもよい。

１又は複数の例では、該方法は、検出されたパフォーマンスパラメータ又はパーソナルケアイベントに従って好適な処置を特定することを含んでもよい。フィードバックを提供することは、特定された処置を実施するための指示をユーザに提供することを含んでもよい。

１又は複数の例では、好適な処置を特定することは、考案された製品又は考案された製品が使用されるべき時間量を特定することを含んでもよい。

１又は複数の例では、フィードバックを提供することは、特定の方法でパーソナルケア器具を操作するための指示をユーザに提供することを含んでもよい。

１又は複数の例では、パーソナルケアは、歯のケア活動、スキンケア活動、ヘアケア活動及びシェービング活動のいずれかを含んでもよい。該方法は、典型的には、ユーザに実施される治療又は診断方法ではない。

１又は複数の例では、該方法は、検出されたパフォーマンスパラメータ又はパーソナルケアイベントに従って器具技術を特定することを更に含んでもよい。フィードバックを提供することは、器具技術を実施するための指示をユーザに提供することを含んでもよい。

１又は複数の例では、器具技術は、器具経路、器具の位置、器具の向き及び／又は印加された器具の力を含んでもよい。１又は複数の例では、印加された器具の力は、器具の線速度、角速度、直線加速度及び角加速度、又は印加された力の代替となり得る任意の他のパラメータのうちの１以上をモニタリングすることによって決定されてもよい。

該方法は、コンピュータに実装された方法であってもよい。

本発明の第２の態様によれば、
ユーザの顔及びパーソナルケア器具の一連の画像を受信することと、
一連の画像を使用してパーソナルケア器具を追跡することによって１又は複数の器具パラメータを決定することと、
一連の画像を使用してユーザの１又は複数の表情を決定することと、
１又は複数の器具パラメータ及びユーザの１又は複数の表情に基づいてパーソナルケアパフォーマンスを分析することと、
パーソナルケアパフォーマンスに基づいて、パーソナルケアを実施するユーザにフィードバックを提供することと、
を行うように構成されたプロセッサを含むパーソナルケアモニタリングシステムが開示される。

消費者の顔及び頭髪のビデオ画像を受信し、スタイリング中の頭髪のデタングリング／把持を追跡し、消費者の利益となる重大な頭髪の損傷及び頭髪形状を予測するための追跡アタッチメントを備えたブラシと併用して機械学習を使用する、消費者による頭髪の手入れ及びヘアスタイリング行動を追跡する方法もまた開示される。

消費者の顔及び頭髪のビデオ画像を受信し、頭髪のデタングリング／スタイリングイベント中の表情を測定し、表情（苦痛、しかめ面）を消費者による頭髪の手入れルーティン／損傷レベルと関連付け、製品の推奨を行うための追跡アタッチメントを備えたブラシと併用して機械学習を使用する、消費者による頭髪の手入れ及びヘアスタイリング行動を追跡する方法もまた開示される。

ビデオ画像を受信し、頭髪の動作を固定の顔のパーツと関連付けて自然な動作を予測し、製品の推奨を行うために機械学習を使用する、消費者のヘアスタイルをリアルタイムで追跡する方法もまた開示される。

コンピュータの実行時に、コンピュータに、回路又は本明細書に開示のデバイスを含む任意の装置を構成させるか、本明細書に開示の任意の方法を実施させる、コンピュータプログラムが提供されてもよい。コンピュータプログラムは、ソフトウェアの実装であってもよく、コンピュータは、非限定的な例として、デジタル信号プロセッサ、マイクロコントローラ及びリードオンリーメモリ（ＲＯＭ）、電気的に消却・プログラム可能な読取専用メモリ（ＥＥＰＲＯＭ）の実装を含む、任意の適切なハードウェアと見なされてもよい。

コンピュータプログラムは、コンピュータ可読媒体上で提供されてもよい。これは、ディスク又はメモリデバイスなどの物理的なコンピュータ可読媒体であってもよく、又は過渡信号として現れてもよい。こうした過渡信号は、インターネットダウンロードを含むネットワークダウンロードであってもよい。演算システムによって実行されると演算システムに本明細書に開示されたいずれかの方法を実施させる、コンピュータ実行可能命令を記憶する１又は複数の非一時的コンピュータ可読記録媒体が提供されてもよい。

本開示の更なる態様は、コンピュータシステムに関する。コンピュータシステムは、携帯電話又はタブレットコンピュータなどのユーザデバイスによって提供されてもよい。画像は、コンピュータシステムのカメラからコンピュータシステムのプロセッサによって受信されてもよい。いくつかの例では、ユーザ画像のすべての処理は、ユーザのプライバシー及びデータの安全性を改善するためにローカルで実施されてもよい。このようにして、ユーザの画像がユーザの電話に決して残らない状態を保証することができる。撮像画像は、処理するとすぐに削除されてもよい。撮像画像の分析は、ユーザデバイスから遠隔デバイスに転送されてもよい。

１又は複数の実施形態は、ここでは、添付の図面を参照した一例としてのみ説明される。

ヘアケアモニタリングシステムを示す。 ヘアケアルーティンを用いてユーザを支援する方法を示す。 パーソナルケア器具用の例示的マーカを示す。 ヘアブラシに連結された図３のマーカを示す。 使用中の別のヘアブラシに連結された図３のマーカを示す。 例示的なヘアスタイルを示す。 デタングリングイベントを検知する方法を示す。 スマートフォンのカメラによってモニタリングされているヘアケアセッションから収集された学習データを示す。 図７に示されたプロファイルの第１の引き延ばし部分を示す。 図７に示されたプロファイルの第２の引き延ばし部分を示す。 図７に示されたプロファイルの第３の引き延ばし部分を示す。 特定の訓練プロトコルに従って取り込まれた更なる学習データを示す。 図９のプロトコルに従って取り込まれたデータの様々な力のブラシパラメータに対する苦痛スコアのプロットを示す。 画像データのマーカ位置及び向きに基づき、ブラシ動作分類部によって決定された様々な動作パラメータに対する苦痛スコアのプロットを示す。 角速度についての追加のマーカ由来データとともにフィルタリングした後の図１１のデータを示す。 苦痛スコアに関連する図１１のデータポイントのｙ位置に対してプロットされたｘ位置を示す。 ブラシの力及びブラシのマーカについてのデータの様々なパラメータ間の相関強度を特定する相関マトリクスを示す。 ヘアスタイリングセグメントデータの画像データにおけるマーカ位置及び向きに基づいてブラシ動作分類部によって決定された様々な動作パラメータに対する苦痛スコアのプロットを示す。 フィルタリング後の図１５の速度データを示す。 関連する苦痛スコアについての図１５のデータポイントのｙ位置に対してプロットされたｘ位置を示す。 ブラシに加わる力が考案された製品に依存することを示す。 本開示の一実施形態によるヘアケアモニタリングシステムの例示的方法を示す。

開示されたシステムは、頭髪の手入れ及びスタイリング挙動追跡システムを提供し得る。一般的に、システムは、（ｉ）ヘアケア器具上で公知のマーカを追跡することに基づいた３Ｄモーション追跡コンポーネント、並びに（ｉｉ）顔の筋肉／顔の位置／体勢及び外見上の感情（苦痛、幸福など）の測定を追跡するために使用されるランドマーク追跡コンポーネントうちの１つ又は両方を使用してもよい。

外見上の感情は、顔面筋肉活動単位（ＦＡＵｓ、Ｆａｃｉａｌ Ｍｕｓｃｌｅ Ａｃｔｉｖａｔｉｏｎ Ｕｎｉｔｓ）上の特定の点の入力動作として取得される表情モデルを介して表情から類推することができるものである。表情モデルは、被験者パネルを使って与えられた感情が使用される前に訓練されることができる。測定による感情認識は、「アフェクティブコンピューティング」とも称され得る。

外見上の（又は表された）感情は、個体が感じる感情を直接反映していない場合がある。例えば、ユーザは苦痛を異なる程度で表し得る。しかし、表された感情測定値は被験者／ユーザ間で比較されることができることから、自動的に較正されたパラメータを提供する。

一例では、ユーザは、ヘアケアセッション中に体験する苦痛のレベルに関する意見を提供するように求められてもよい。例えば、ユーザがイベント又はセッション全体において０～１０といったスケールではどの程度の苦痛なのかを示す入力を提供することによって、フィードバックが提供されてもよい。その後、ユーザ入力は、対応する外見上の苦痛スコアと比較され得る。複数のこうした比較は、ユーザ向けの補正値を作成するために設けられ得る。例えば、ユーザ入力苦痛値が５である場合、対応する外見上の苦痛値は８であり、値間の差分値は＋３である。複数のこうした比較についての差分の平均値は、較正目的の補正値として使用され得る。複数の入力セットは、単回のヘアケアセッション中に、又はいくつかの異なるヘアケアセッションにわたって取得されてもよい。入力セットは、長時間にわたって異なるセッション中に取得される場合には、ユーザの苦痛反応が経時的に変化した場合に備えて直近のセッションが顕著であるように重み付けが適用されてもよい。

システムを較正することによって、システムによって特定されたその後の苦痛値をユーザの体験により正確に反映させることが可能となる。こうすることで、より適切なフィードバックをユーザに提供することが可能となり得る。

更に、製品の試験環境では、上述された較正手順は、参加者間の反応を標準化するために使用され得る。

代替的には、こうした較正手順によって、製品を評価するための群の一部として同様の苦痛反応を有するユーザを選択することが可能となる。本文中における製品の試験は、ユーザ又はユーザの頭髪のための化学処置又は例えばヘアケア器具に関連し得ることが理解されるだろう。

動作（ブラシ追跡）及び感情（顔の感情追跡）の両コンポーネントは、モバイルデバイスを使用して収集することができ、頭髪の手入れ及びスタイリングプロセスにおける一連の受信画像により作動する。いくつかの例では、システムは、電話外部にいかなるセンシング機能も必要とせず、すべての画像処理がデバイス上で実施され得ることから、センシング機能及び最新の携帯電話（又はタブレット、他のエッジコンピューティングデバイス）の演算能力を利用することができ、その結果、ユーザへのリアルタイムフィードバックが可能となる。したがって、ユーザは、自らのヘアケアルーティンを自己モニタリングするのを支援するために、特注ソフトウェアを用いてアップグレードし、場合によっては提供された公知のマーカと併用される既存のハードウェアを使用することができる。

多くの人々（ユーザ）は、週に数回（典型的には、週に２～５回、時には毎日）頭髪を洗浄する。頭髪洗浄ルーティンは、典型的にはシャンプーの使用を含む。頭髪洗浄ルーティンはまた、第２の製品、すなわちコンディショナー製品の使用を含み得る。こうした「洗い流し」製品は、シャワールーティン中に使用され、すすがれて洗浄プロセスが終了する。ユーザは、ヘアスタイリング又はヘアケアルーティン前に、タオルを使用して頭髪の過剰な水分を乾かし得る。ヘアケアルーティンは、手入れプロセス及びスタイリングプロセスといった２つのサブプロセスに分けられてもよい。

多くのユーザは、スタイリング前に毛髪の手入れを行うことになる。手入れプロセスは、ブラシ又はくしを使用して毛髪からもつれを取り除く（デタングリングプロセス）が、これはユーザにとって苦痛があり、かつ不快な体験であり得る。

スタイリングプロセスは、典型的には、２つのアプローチのうちの１つが続く：
・ヒートスタイリング－ヒートスタイリングプロセス中、ユーザはヘアドライヤとヘアブラシとを使用し、自らの毛髪を熱を利用してスタイリングすることができる。この後に、ストレートアイロン又はカールアイロンなどの更なるヒートスタイリング器具が用いられてもよい。ヒートスタイリングは、一般には、頭髪形状を自然な形状から異なる形状へと「変える」ために実施される。ユーザは、例えば非常にストレートな毛髪（「ボリュームダウン」又は自然状態よりも少ないボリューム）又は「ボリュームアップ」（自然状態よりも多いボリューム／ボディ）など、頭髪のボリュームを調整しようとする場合がある。形状の変化は、頭髪が濡れた状態から乾いた状態となるまで（ブロー乾燥又は他の加熱されたヘアケア器具及びブラッシング／髪をとかす動作の組合せ）頭髪に印加される熱及び伸張による「水の波（water wave）」を経て達成され得る。ヒートスタイリングプロセス中に印加された力は、ヘアスタイリングプロセスの結果に影響を与え得り、ブラシ又はくしへの最適なレベルの力又は把持によって所望の結果が生じる。
・自然乾燥－多くのユーザは自身の毛髪を自然乾燥させる。タオルで乾かした後、ユーザはもつれをブラッシング又はくしでとかすのみで、例えば手指を使用して毛髪をねじり、所望のカールにするなど、その後ブラシ又は更に手指を使用して毛髪のスタイリングを行い得る。このようなユーザは、「形状を変えるもの（shape transformers）」というよりは「形状を強化・改善するもの(shape enhancers)」である。こういったユーザは、自身の毛髪のデタングリングと同様に難儀を覚え得る。

ユーザは、第３の製品、すなわちヘアケア（ヘアスタイリング）ルーティンの前、その最中又はその後のいずれかで、例えば洗い流さないコンディショナー、ゲル、クリーム、ムース（ｍｏｕｓｅ）、セラム、パテ又はヘアスプレーといった洗浄後ヘアケア製品を使用してもよい。こうした製品のいくつかは、スタイルを「固定」して持続させるために、スタイリングの最後に塗布されてもよい。

洗浄／処置段階で使用される洗い流し製品は、頭髪の手入れプロセスにて体験するデタングリングのレベルに重要な影響を及ぼし得る。ユーザは、製品選択の結果と体験したデタングリングの回数とが容易に結びつかないことがある。例えば、ユーザは、シリコーンをほとんど含まない、又はシリコーンを全く含まない洗い流し製品がヘアスタイリング又はカラーケアに最適に作用すると考えることから、これらを使用する場合がある。

洗浄／処置段階で使用される洗い流し製品はまた、ヘアスタイリングプロセスに影響を与え得る。カールアイロンについては、得られるブラシの把持回数は、シャンプー及びコンディショナー製品の選択によって影響され得る。これは、所望の最終的な外観（ボリュームアップ、ストレートなど）の完成度に最終的には影響する。

ユーザのヘアケアルーティンをモニタリングし、ユーザのヘアケア体験をより苦痛が少なく、かつ／又は快適なものにすることができるフィードバックを提供し、ユーザが所望の結果をより良好に達成するのに役立ち得るシステムを提供することが望ましい。有益なフィードバックは、洗浄プロセス若しくはその終わりまで及び／又はヘアケア（手入れ／スタイリング）ルーティン中において、使用に関するコツ若しくは助言、及び／又は製品の推奨を含んでもよい（例えば、「ブラッシングが強すぎます」、「次回はよりやさしくブラッシングしましょう」）。

図１に関して、ユーザのヘアケア動作をモニタリングするためのヘアケアモニタリングシステム１は、ビデオカメラ２を備えてもよい。「ビデオカメラ」といった表現は、ヘアケアセッションを実施するユーザの一連の画像を取得するのに好適である任意の画像撮像デバイスを包含することを意図している。一実施形態において、ビデオカメラは、スマートフォン又は他のコンピューティングデバイス内で従来見られるようなカメラであってもよい。

ビデオカメラ２は、データ処理モジュール３と通信する。データ処理モジュール３は、例えば、スマートフォン又は他のコンピューティングデバイス内に設けられてよく、これらは、以下に記載されるような処理モジュールを実装するように好適にプログラムされ得るし、それ以外の場合では実装するように構成され得る。データ処理モジュール３は、一連のビデオのフレームを受信し、ユーザの頭部及び顔の様々な特徴又はパラメータを決定するように構成された頭部追跡モジュール４を含んでもよい。例えば、頭部追跡モジュール４は、ユーザの顔又は頭部上のランドマーク及びそれらからのユーザの顔又は頭部の向きを決定してもよい。更なる例として、頭部追跡モジュール４は、顔の筋肉動作に対応する１又は複数の顔面動作単位を決定してもよい。更なる例としては、頭部追跡モジュール４は、ユーザの頭髪のスタイルを分類してもよい。

データ処理モジュール３は、一連のビデオのフレームを受信するように構成されたブラシ追跡モジュール１５を含んでもよく、ヘアケアセッションを実施する際にユーザによって使用されるヘアケア器具の位置及び動作パラメータを決定してもよい。ヘアケア器具は、例えばヘアブラシ又は毛髪矯正装置であってもよく、例えば、ヘアケアセッションは、例えば頭髪のブラッシング又は毛髪矯正セッションであってもよい。以下に述べられる特定の実施形態における「ブラシ（brush）」（本明細書ではヘアブラシと同義に使用される）に関して説明される例は、ブラシに代えて他のタイプのヘアケア器具にも等しく適用され得ることが理解されるだろう。

ブラシ追跡モジュール１５は、ブラシマーカ位置検出モジュール５及びブラシマーカ向き推定モジュール６を含んでもよい。位置検出モジュール５は、一連のビデオのフレームを受信し、各フレーム内でのブラシの位置を決定するように構成されてもよい。ブラシマーカ向き推定モジュール６は、一連のビデオのフレームを受信し、各フレーム内でのブラシの向きを決定／推定するように構成されてもよい。

「一連のフレーム」といった表現は、概して時系列順のフレームの包含を意図しており、これらは、ビデオカメラによって撮像された各フレーム及びあらゆるフレームを構成してもしなくてもよい。さらに、該表現は、定期的にサンプリングされたフレーム及び／又は集約された若しくは平均化された一連のフレームの包含を意図している。

頭部追跡モジュール４、ブラシマーカ位置検出モジュール５及びブラシマーカ向き検出モジュール６のそれぞれの出力７、８、９は、ヘアケア分類部１０への入力として提供されてもよい。ヘアケア分類部１０は、ヘアケアイベント及び／又はヘアケアセッションのヘアケアパフォーマンスパラメータを決定するように構成されている。ブラシ追跡モジュール１５を備える例では、ヘアケア分類部１０は、１又は複数のブラッシングパラメータを決定するように構成されたブラシ動作分類部１６を備えることができる。ブラッシングパラメータは、位置並びに線速度及び／又は角速度、速さ並びに加速度などの機械的パラメータを含んでもよい。直線の動作は、画像のフレームを基準として（カメラ）又は３Ｄ物体自体を基準として行われてもよい。回転の特徴は、３Ｄ物体自体を基準としている。ブラッシングパラメータはまた、特定のブラシストロークに対応するブラシ経路又は軌跡を含んでもよい。いくつかの例では、ヘアケア分類部１０は、苦痛、苛立ち、混乱又は幸福といったユーザの１又は複数の感情表現を決定するように構成された顔感情分類部１７を備えてもよい。

頭部追跡モジュール４は、ブラシ動作分類部１６からブラッシングパラメータを受信することができ、かつ／又は顔感情分類部１７から１又は複数の感情表現を受信することができるヘアケアパフォーマンス分析部１８を含むことができる。以下の節４Ｃで更に述べられるように、パフォーマンス分析部１８は、ユーザのヘアケアパフォーマンスを分析するためにブラッシングパラメータ及び／又は感情表現を処理することができる。パフォーマンス分析部１８は、１又は複数のヘアケアイベント又は１又は複数のヘアケアパフォーマンスパラメータを検出することによってヘアケアパフォーマンスを分析することができる。ヘアケアイベントは、デタングリングイベント、不適格なブラシストローク、不適格なブラシと頭髪の接触などのうちのいずれかを含んでもよい。パフォーマンスパラメータは、ヘアブラシに対する印加力、ヘアブラシの頭髪把持力、ユーザ満足度又は手入れタスクを構成するコンポーネントをユーザが実行する順序のうちのいずれかを含んでもよい。一例では、分類部１０は、ユーザのブラッシング動作の各ビデオフレームを分類することが可能であるよう構成されている。

プログラム及びヘアケアデータ用の好適な記憶装置１１が提供されてもよい。記憶装置１１は、例えば、スマートフォン又は他のコンピューティングデバイスの内部メモリを備えてもよく、かつ／又はリモートストレージを備えてもよい。好適なディスプレイ１２は、例えばヘアケアセッションのリアルタイム進行に関する視覚的フィードバック及び／又は現在の、若しくは先のヘアケアセッションの有効性に関するレポートをユーザに提供することができる。

ユーザのパフォーマンスパラメータは、セッション間に変更又は改善することができる。したがって、ヘアケアを実施するユーザのパフォーマンスを分析することは、現在のヘアケアセッションで取得されたデータ及び先の１又は複数のヘアケアセッションで取得されたデータに基づくパフォーマンスパラメータを決定することに関与し得る。

スピーカなどの更なる出力デバイス１３は、ユーザに音声フィードバックを提供することができる。音声フィードバックは、頭部の別領域にいつ移動すべきかの指示又は頭髪ブラッシング動作に関する案内など、進行中のヘアケアセッションの挙動に関するリアルタイムの音声指示を含んでもよい。ユーザがデータ又はコマンドを入力するための入力デバイス１４が提供されてもよい。ディスプレイ１２、出力デバイス１３及び入力デバイス１４は、例えばスマートフォンの一体型タッチスクリーン及び音声出力によって提供されてもよい。

ここで、上記の様々なモジュール４～６及び１０の機能を図２を参照して説明する。

１．頭部追跡モジュール
頭部追跡モジュール４は、それぞれビデオカメラ２から得られた一連のフレーム又は選択されたフレームを入力として受信することができる（ボックス２０）。一例には、頭部追跡モジュール４は、３６０×６４０画素のＲＧＢ色画像を取得し、それらの中の顔（又は頭部）の検出を実施する（ボックス２１）。顔が検出される場合（ボックス２２）、顔追跡モジュール４は、それらの中の複数の顔ランドマーク（又はより一般的には頭部ランドマーク）のＸ－Ｙ座標を推定する（ボックス２３）。画像の解像度及びタイプは、イメージング処理の要件に従って変更かつ選択され得る。

一例では、淵又は頭部、鼻、目、頬、耳若しくは下顎の他のパーツを含む、最大で６６個の顔ランドマークが検出され得る。好ましくは、ランドマークは、ユーザの鼻に関連する少なくとも２個のランドマークを含み、好ましくは、少なくとも１個以上のランドマークは、頭部パーツ位置（例えば、頭部の端、頭部の中心）及び目のパーツ位置（例えば、目の端、目の中心）から選択される。頭部追跡モジュール４はまた、ランドマークを使用して、頭部のピッチ角、ロール角及びヨー角のいくつか又はそれらすべてを推定することが好ましい（ボックス２７）。頭部追跡モジュール４はまた、顔ランドマークを使用して１又は複数の顔面動作単位（ＦＡＵｓ）を決定することができる（ボックス４３）。ＦＡＵは、当技術分野で知られている顔面動作符号化システム（ｆａｃｉａｌ ａｃｔｉｏｎ ｃｏｄｉｎｇ ｓｙｓｔｅｍ、ＦＡＣＳ）の一部を形成している。いくつかの例では、頭部追跡モジュール４は、顔面動作記述子（ｆａｃｉａｌ ａｃｔｉｏｎ ｄｅｓｃｒｉｐｔｏｒｓ、ＦＡＤｓ）などの他のＦＡＣＳパラメータを決定することができる。頭部追跡モジュール４は、Ｅ．Ｓａｎｃｈｅｚ－Ｌｏｚａｎｏ ｅｔ ａｌ．（２０１６）．“Ｃａｓｃａｄｅｄ Ｒｅｇｒｅｓｓｉｏｎ ｗｉｔｈ Ｓｐａｒｓｉｆｉｅｄ Ｆｅａｔｕｒｅ Ｃｏｖａｒｉａｎｃｅ Ｍａｔｒｉｘ ｆｏｒ Ｆａｃｉａｌ Ｌａｎｄｍａｒｋ Ｄｅｔｅｃｔｉｏｎ”，Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ Ｌｅｔｔｅｒｓに説明されるものなどの従来の顔追跡技術を採用してもよい。

頭部追跡モジュール４が顔の検出に失敗した場合（ボックス２２）、モジュール４は、ループバックして（パス２５）次の入力フレームを取得し、かつ／又は適切なエラーメッセージを配信するように構成されてもよい。ランドマークが検出されない、又は不十分な数のランドマークが検出される場合（ボックス２４）、頭部追跡モジュール４は、ループバックして（パス２６）処理用の次のフレームを取得し、かつ／又はエラーメッセージを配信してもよい。ＦＡＵｓが検出されない場合（ボックス４４）、頭部追跡モジュール４はまた、同様の様式でループバックしてもよい（パス４５）。顔検出が先のフレームで取得された場合、ランドマークを推定するための検索窓を定義し、その後のフレーム中でランドマークを追跡（例えば、正確に予測されたランドマークの位置）することができ（ボックス４３）、その後顔検出手順（ボックス２１、２２）を省略してもよい。

いくつかの例では、頭部追跡モジュール４は、ユーザのヘアスタイル又は頭髪タイプを決定することができる。図５は、ストレート、ウェーブ、カール、キンキー、編み組み、ドレッドヘア及びメンズショートカット（short men’s）を含む、例示的なヘアスタイルを示す。頭部追跡モジュール４は、ヘアケアセッション前後に画像上でこうした決定を行うことができる。例えば、ユーザは、セッション開始時及び終了時に「セルフィー」画像を記録してもよい。頭部追跡モジュール４は、ユーザの頭髪に関連する画素を分離するために、画像上でセグメント化を実施してもよい。頭部追跡モジュール４は、畳み込みニューラルネットワーク（ｃｏｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ、ＣＮＮ）を実装してもよく、訓練目的のために収集されたブラッシングビデオから取得された様々な頭部の向き及び照明条件において様々なユーザをもとにラベル付けされたヘアスタイル画像からなるデータセット上で訓練されてもよい。頭部追跡モジュール４は、ヘアケア分類部１０に分類された頭髪タイプを出力してもよい。いずれか１つのフレームでは、ヘアスタイルの異なる領域は、関連性に応じて、異なるクラス（すなわち、一部分はストレートであるが、一部分はウェーブであり得る）又は全体として１のクラスが与えられてもよい。頭部追跡モジュール４が頭髪タイプを決定することができない場合、頭部追跡モジュール４は、ループバックして処理すべき次の画像を取得してもよい。

一例では、顔検出顔面点追跡（ＦＡＣＳ）及び表された感情認識モジュールは、
ステップ１）顔検出－顔周辺に境界ボックスを描画し、カメラで撮像された画像から顔パッチを抽出すること、
ステップ２）顔の点追跡－６４個の顔の点を顔パッチに当てはめ、顔が消失するまでこれらの点を各フレームに更新すること、
ステップ３）顔の点及び外観からの顔面動作単位システム（ＦＡＣＳ）の起動を推定することであって、ステップ３がステップ１及び２に依拠している、こと、
ステップ４）苦痛の推定－ＦＡＣＳの活用は、より強力であるように変更したＳｏｌｏｍｏｎの痛みの強度（ＰＳＰＩ）スケールに基づいた苦痛を推定するために使用される。ステップ４はステップ３に依拠している。

２．ブラシマーカ位置検出モジュール
使用されるブラシには、ブラシマーカ位置検出モジュール５によって認識可能なブラシマーカ機能が提供されてもよい。ブラシマーカ機能は、基準マーカとして作用する。ブラシマーカ機能は、例えば、通常、ヘアケアセッション中に視認するために露出しているブラシの一部分において、その輪郭がはっきりとした形状及び／又は色パターンであってもよい。ブラシマーカ機能は、ブラシの一構成要素を形成してもよく、又は例えば製造時若しくは購入後にユーザによってブラシに適用されてもよい。

１つの特に有益なアプローチは、ヘアブラシなどのヘアケア器具のハンドル端部、すなわちブラシの毛の反対側である端部に構造を提供することである。該構造は、ブラシハンドルの一構成要素を形成することができ、又は製造後にアタッチメント又は「ドングル（dongle）」として適用され得。特に適切であると明らかになっている構造の一形態は、長手方向軸（ブラシの長手方向軸に対応する）の周囲に配置された複数の色付き四分円６１ａ、６１ｂ、６１ｃ、６１ｄを有する概して球形のマーカ６０（図３）である。図３で見られるようないくつかの構成では、四分円のそれぞれ６１ａ、６１ｂ、６１ｃ、６１ｄは、色相がはっきりと対照的な帯６２ａ、６２ｂ、６２ｃ、６２ｄによって隣接する四分円から分離される。概して球形のマーカは、ハンドル受容端部６４の遠位に平坦な端部６３を有してもよく、平坦な端部６３は、平坦な端部６３に対してブラシが直立することができるように平坦な表面を画定している。

こうした特徴の組合せは、典型的な手入れ環境でヘアケア器具を検出すること、及び３Ｄの向きを決定することに対して有利であることが明らかになっている。異なる色によって構造のパフォーマンスは高められ、不十分な、及び／又は均一ではない照明条件で容易にセグメント化するために高い彩度値を有するように選択されることが好ましい。色の選択は、使用時のビデオカメラの特定のモデルに最適化され得る。消費者向けの着色アプリケーションについては、色の選択は、ユーザのデバイス上で消費者画像センサの範囲で良好に機能するようなものであってもよい。図４Ａで見られるように、マーカ６０は、ブラシハンドル７０の端部に取り付けられた第１の極７１と、平坦な端部６３の中心にある第２の極７２とを有するものと考えられ得る。四分円６１は、第１の極７１から第２の極７２まで連続する均一の色又は色パターンをそれぞれ提供してもよく、これらの色又は色パターンが少なくとも隣接する四分円とはっきりと区別され、他のすべての四分円とはっきりと区別することが好ましい。この実施形態では、極間において球周囲（equatorial）で色が変化する境界が存在しない場合がある。図４Ａでも見られるように、第１の極７１と第２の極７２との間に延在しているマーカの軸は、ヘアケア器具／ブラシハンドル７０の軸と実質的に合わせた状態であることが好ましい。

図４Ｂは、ヘアブラシ７０Ｂに取り付けられたマーカ６０Ｂを示す。ブラシの回転の様々な軸Ｘ、Ｙ、Ｚが図４Ｂに示されている。動作方向は、ラベル付きの軸を使用してマーカの３Ｄフレーム（したがってブラシ）で決定されてもよい。マーカ６０Ｂの直線的な動作は、カメラセンサのフレームでは２Ｄの動作として決定されてもよい。

セグメントのそれぞれについての対照色の選択は、ブラシを使用するユーザの肌のトーン又は毛髪の色と最適に対比するように行われてもよい。一例では、赤色、青色、黄色及び緑色が使用される。色及び色領域の寸法はまた、例えばスマートフォンイメージングデバイス用に、使用されるビデオカメラ２イメージングデバイス用に最適化されてもよい。色の最適化は、イメージングセンサの特性若しくは処理ソフトウェアの特性及び限界を考慮してもよい。

ブラシマーカの特徴を変更することは可能である。原則的にいずれのデザインを使用してもよく、ビデオ解像度についてビデオのフレームにおけるマーカの外観とマーカの向きとの間に１－２－１の対応関係を構築することができ、少なくとも目的の向きについてＭＬモデルを訓練して向きを学習させるのに十分にアノテーション可能な訓練データが存在すればよい。好ましい例では、マーカ６０の径は、２５～３５ｍｍであり（特定の実施形態ではおよそ２８ｍｍ）、帯６２の幅は、２ｍｍ～５ｍｍであってもよい（特定の実施形態では３ｍｍ）。

一例において、ブラシマーカ位置検出モジュール５は、頭部追跡モジュール４から顔位置座標を受信する。得られた画像は、ブラシマーカ検出モジュール５ではＣＮＮ（ボックス２９）に利用され、これは例えば、０～１の範囲の検出スコアとともに候補ブラシマーカ検出のバウンディングボックス座標の一覧を返す。

検出スコアは、特定のバウンディングボックスがブラシマーカを囲む信頼度を示す。一例においては、システムは、検出信頼度が定義済みのしきい値よりも高い条件において、最も高い戻り信頼値を有するバウンディングボックスは、画像中のマーカが正しい位置に対応することを提供してもよい（ボックス３０）。最も高い戻り検出信頼値が定義済みのしきい値未満である場合、システムは、ブラシマーカが視認できないと決定してもよい。この場合には、システムは、現在のフレームをスキップし、次のフレーム（経路３１）にループバックし、かつ／又は適切なエラーメッセージを配信してもよい。一般的な態様では、ブラシマーカ位置検出モジュールは、ビデオ画像の複数のフレームのそれぞれにおいてブラシ位置及び向きを規定することができる、使用中のブラシの所定のマーカ特徴を特定するための手段を例示する。

ヘアケア器具マーカが検出される場合（ボックス３０）には、ヘアケア器具マーカ検出モジュール５は、顔（又は頭部）ランドマークとヘアケア器具マーカ座標（ボックス３２）との間の距離を確認する。これらが互いに非常に離れた状態で認められる場合には、システムは現在のフレームをスキップして次のフレーム（経路３３）にループバックし、かつ／又は適切なエラーメッセージに戻ってもよい。ボックス３２で試験されたブラシから頭部への距離は、以下で更に述べられるように、鼻の長さによって正規化された距離であってもよい。

システムはまた、経時的にヘアケア器具マーカ座標の追跡を維持してもよく、誰かがヘアケア器具を使用していないときを検出する目的のために、マーカの動作の値（ボックス３４）を推定する。この値が定義済みのしきい値（ボックス３５）を下回る場合、ブラシマーカ検出モジュール５は、現在のフレームをスキップし、次のフレーム（経路３６）にループバックし、かつ／又は適切なエラーメッセージを返してもよい。

ブラシマーカ検出モジュール５は、訓練目的のために収集されたブラッシングビデオから取得された様々な向き及び照明条件にてラベル付けされた実生活におけるブラシマーカ画像からなるデータセット上で訓練されることが好ましく、機械学習で典型的なデータ拡張技術を使用して拡張され得る。訓練データセットにおけるあらゆる画像は、半自動でブラシマーカ座標を用いてアノテーションを付すことができる。ブラシマーカ検出部は、既存の予め訓練された物体検出畳み込みニューラルネットワークに基づいていてもよく、ブラシマーカを検出するために再度訓練されてもよい。これは、転移学習として知られている技術である、ブラシマーカデータセット画像を使用した物体検出ネットワークの調整によって達成され得る。

３．ブラシマーカ向き推定部
ブラシマーカ座標又はブラシマーカバウンディングボックス座標（ボックス３７）は、ブラシマーカ画像を切り出し、これをブラシマーカ向き検出モジュール６におけるニューラルネットワークの操作に最適化され得る画素数にサイズ変更する（ボックス３８）ことができるブラシ向き検出モジュール６に送られる。一例では、画像は６４×６４画素へと切り出し／サイズ変更される。得られたブラシマーカ画像は、ブラシマーカ向き推定部畳み込み人工ニューラルネットワーク（ＣＮＮ－ボックス３９）に送られ、ブラシマーカ画像の一連のピッチ角、ロール角及びヨー角を返す。ブラシマーカ位置検出ＣＮＮと同様に、ブラシマーカ向き推定ＣＮＮもまた、０～１の範囲のあらゆる推定角についての信頼度レベルを出力してもよい。

ブラシマーカ向き推定ＣＮＮは、広範囲の可能な向き及びバックグラウンドバリエーションの下でマーカの画像の任意の好適なデータセット上で訓練されてもよい。データセットのあらゆる画像には、対応するマーカピッチ角、ロール角及びヨー角が付加されてもよい。

いくつかの実装では、ブラシマーカ位置検出部５及びブラシ向き検出モジュール６は、ハードウェア及び／又はソフトウェアの同じ機能ユニットによって提供されてもよい。

４．ヘアケア分類部
４Ａ．ブラシ動作分類部
ブラシ動作分類部１６は、上記の３つのモジュール（顔追跡モジュール４、ブラシマーカ位置検出モジュール５及びブラシマーカ向き検出モジュール６）によって生成されたデータを蓄積し、ヘアケア器具分類（ボックス４０）のタスク向けに特に設計された一連の特徴を抽出する。

顔ランドマーク座標（目、鼻及び口の位置など）及びブラシ座標は、分類部１０に直接入力されないが、上記に示されるような他のパーツの中でも顔に対するブラシの様々な相対距離及び角度を演算するために使用されることが好ましい。このようにして、ブラシ動作分類部１６は、ユーザの頭部位置に対して相対的なブラシ位置及び相対的なブラシの向きを決定することができる。

ブラシ動作分類部は、１又は複数のブラッシングパラメータを出力してもよい。ブラッシングパラメータは、絶対的及び／又は相対的ブラシ位置及び向き、線速度、角速度、直線加速度及び角加速度を含む機械的パラメータを含んでもよい。ブラシ動作分類部は、連続するフレーム間の位置及び向きの変化に基づいて動的パラメータ（速さ、加速度など）を決定してもよい。機械的パラメータは、１又は複数の軸に沿って絶対量又は値を含んでもよい。ブラッシングパラメータはまた、ブラシストロークのうちの平面及び湾曲部を包含するブラシ経路又は軌跡などの個々のブラシストロークに関連するブラシストロークパラメータを含んでもよい。ブラッシングパラメータはまた、ブラッシングされた頭髪の領域（頭部の右側及び左側のそれぞれの前部、中間部、背部）などのより一般的なパラメータを含んでもよい。

ブラシ長さは、投影長さである。これは、この長さがカメラからの距離及びカメラに対する角度の関数として変化することを意味している。頭部の角度によって、分類部があらゆる角度に対応可能となり、ブラシ長さを鼻の長さによって正規化することにより、カメラからの距離によって生じる投影ブラシ長さ変動に対応可能となる。

ブラシ動作分類部１６は、人のブラッシングを撮像してラベル付けされたビデオのデータセット上で訓練されてもよい。データセットは、ラベル付けによって機械的パラメータを含み得るように較正された加速度計を含むマーカを有するブラシを取り込み得る。データセットにおけるあらゆるフレームは、加速度計から、かつ／又はフレームが描写する動作によってブラッシングパラメータを用いてラベル付けされてもよい。動作は、「休止（ブラッシングなし）」、「マーカを確認できない」、「その他」及びブラッシング動作を含んでもよい。このようにして、分類部は、ブラシマーカの位置、向き及び存在とブラッシングパラメータとの関係を理解するために訓練され得る。

４Ｂ．顔感情分類部
顔感情分類部１７は、頭部追跡部４からＦＡＵｓを受信し、ＦＡＵｓに基づいて１又は複数の表情を決定する（ボックス４５）。ＦＡＵの値は、関連する顔の筋肉の動作の強度であってもよい。いくつかの例では、顔感情分類部１７は、ＦＡＵｓのセットに基づいてスコアを決定することができる。顔感情分類部１７は、対象固有のＡＵ出力変動を最小化することができる正規化手順に基づいてスコアを決定する前に、ＦＡＵ値を正規化してもよい。正規化手順は、較正ルーティン中に取り込まれたユーザデータに基づいていてもよい。

上で概説したように、ヘアケアルーティンは、頭皮でのデタングリングとそれに関連する引っ張りから生じる１又は複数の苦痛体験に関連し得る。顔感情分類部１７は、ＦＡＵｓに基づいてユーザの苦痛の表れを決定することができる。いくつかの例では、顔感情分類部は、ＰｒｋａｃｈｉｎとＳｏｌｏｍｏｎの苦痛強度尺度（ＰＳＰＩ）スケールに基づいて苦痛の表れを決定することができる。ＰＳＰＩスケールは、

に基づいて演算され得る。

ここで、ＡＵ４は、ＦＡＵ「眉が下がっている」であり、ＡＵ６は、ＦＡＵ「頬が上がっている」であり、ＡＵ７は、「眼瞼が張っている」であり、ＡＵ９は、ＦＡＵ「鼻のしわ」であり、ＡＵ１０は、ＦＡＵ「上唇が上がっている」であり、かつＡＵ４３は、ＦＡＵ「目が閉じている」である。いくつかの例では、苦痛スコアは、ＡＵ４及びＡＵ９依存性を含まない式に従って決定され得る。いくつかの例では、顔感情分類部１７は、苦痛スコアを演算する前に画像をフィルタリングしてもよい。例えば、顔感情分類部１７は、頭部の回転が平面から大きく外れている画像（images with a large out of plane head rotation）を取り除いてもよく、ブラッシングがなされていない、又はブラシが存在しない画像を取り除いてもよく、頭髪が顔の大部分を覆っている画像を取り除いてもよく、顔検出信頼度が低い画像を取り除いてもよい。顔感情分類部１７は、フィルタリングプロセスを実施するための頭部追跡モジュール４又はブラシ追跡モジュール１５からの出力７、８、９のいずれかを受信してもよい。

ユーザの頭髪ブラッシングにおいてスマートフォンの画像シーケンスを含む学習データを、上記式に従って処理した。ユーザが苦痛の表れを呈した７５～８０％の画像についてはＰＳＰＩスコアの著しい増加を確認した（手動で評価した）。更なる分析によって、上記ＡＵ４及びＡＵ９の依存性を取り除くことによって偽陽性（関連する苦痛の表れはないものの、高い苦痛スコア）が減少され得ることを明らかにした。本発明者らは、ＡＵ４及びＡＵ９がより誤差がある傾向があることを見出し、典型的には苦痛の他の兆候と相関していた。したがって、偽陽性は、精度に影響することなく減少され得る。偽陽性を減少させるための他の方法は、頭部の回転が平面から大きく外れている画像をフィルタリングすること、ブラッシングがなされていない、又はブラシが存在しない画像をフィルタリングすること、毛髪が顔の大部分を覆っている画像をフィルタリングすること、顔検出信頼度が低い画像を無視することを含む。

いくつかの例では、顔感情分類部１７は、ＦＡＵｓに基づいてユーザの幸福の表情を決定してもよい。いくつかの例では、顔感情分類部は、ＡＵ６（「頬が上がっている」）及びＡＵ１２（「唇の端が上がっている」）の強度に基づいて幸福の表情を決定することができる。ＡＵ６も苦痛の表れで存在するため、顔感情分類部１７はまた、他の苦痛表示指数（ＡＵ４、ＡＵ１０、ＡＵ４３）の存在に基づいて幸福スコアを減少させることによって、幸福の表情を決定してもよい。一例として、顔感情分類部１７は、

として幸福スコアを決定することができる。

いくつかの例では、顔感情分類部１７は、幸福スコアを演算する前に画像をフィルタリングしてもよい。例えば、顔感情分類部１７は、頭部の回転が平面から大きく外れている画像を取り除いてもよく、頭髪が顔の大部分を覆っている画像を取り除いてもよく、顔検出信頼度が低い画像を取り除いてもよい。顔感情分類部１７は、フィルタリングプロセスを実施するための頭部追跡モジュール４又はブラシ追跡モジュール１５からの出力７、８、９のいずれかを受信してもよい。

ユーザの頭髪ブラッシングのスマートフォン画像シーケンスを含む学習データを、上記式に従って処理した。ユーザが幸福の表れを呈した８０％の画像については幸福スコアの著しい増加を割り出した（手動で評価した）。

４Ｃ．ヘアケアパフォーマンス分析部
ヘアケアパフォーマンス分析部１８は、ブラシ動作分類部１６からブラッシングパラメータを受信することができ、かつ／又は顔感情分類部１７から１又は複数の感情表現を受信することができる。パフォーマンス分析部１８は、ユーザのヘアケアパフォーマンスを分析するためにブラッシングパラメータ及び／又は感情表現を処理することができる（ボックス４１）。パフォーマンス分析部１８は、１又は複数のヘアケアイベント又は１又は複数のヘアケアパフォーマンスパラメータを検出することによってヘアケアパフォーマンスを分析することができる。ヘアケアイベントは、デタングリングイベント、不適格なブラシストローク、不適格なブラシと頭髪の接触などのうちのいずれかを含んでもよい。パフォーマンスパラメータは、ヘアブラシ印加力、ヘアブラシの頭髪把持力若しくはユーザ満足度、又は好適に較正されたときにこれらのパラメータのいずれかについて任意の代わりの尺度のうちのいずれかを含んでもよい。パフォーマンス分析部は、ヘアケアパフォーマンスに関連した１又は複数のパフォーマンスモデルを含んでもよい。例示的なパフォーマンスモデルは、デタングリングイベントを検出するためのデタングリングモデル、ヘアブラシに印加された力を決定するための力モデル（又は印加された力の代表（代わり））及びヘアケアセッションのユーザ満足度を決定するための満足度モデルを含む。パフォーマンスモデルは、手動でラベル付けされたデータ上で訓練された機械学習アルゴリズムを含んでもよい。パフォーマンス分析部１８は、有利には、ユーザのヘアケアルーティンのパフォーマンス及びユーザの頭髪の関連する健康状態を評価することができる。システム１は、ヘアケアルーティン及びユーザの頭髪の関連する健康状態を改善するために、ユーザにフィードバックを提供することができる。

デタングリングモデル－デタングリングイベントの検出
上で概説したように、ヘアケア手入れプロセス中のデタングリングプロセスは、ユーザにとって苦痛であり、不快な体験であり得る。性能分析部１８は、デタングリングモデルを使用し、顔感情分類部１７及び／又はブラシ動作分類部１８からの出力に基づいてデタングリングイベントを検出することができる。以下に述べられるように、フィードバックは、将来のデタングリングイベントを緩和又は防止するためにユーザに提供されてもよい。

いくつかの例では、パフォーマンス分析部１８は、ブラシ動作分類部１６からの実質的にゼロ速度又は加速度と併用される顔感情分類部１７からの苦痛の表示に基づいて、デタングリングイベントを検出してもよい。

図６は、パフォーマンス分析部１８によって実施され得るようなデタングリングイベントを検出する方法を示す。第１のステップ８０では、パフォーマンス分析部１８は、顔感情分類部１７から、処理済み画像（又は一連の画像）についての苦痛スコアを受信する。第２のステップ８２では、パフォーマンス分析部１８は、苦痛スコアとデタングリング苦痛しきい値とを比較する。苦痛スコアがデタングリング苦痛しきい値未満である場合には、プロセスは第１のステップ８０にループバックし、その後の画像から苦痛データを受信する。苦痛スコアがデタングリング苦痛しきい値以上である場合には、プロセスは第３のステップ８４に進む。いくつかの例では、パフォーマンス分析部１８は、苦痛スコアと単独画像についてのデタングリング苦痛しきい値とを比較し得る。一例において、パフォーマンス分析部１８は、一の画像について、苦痛スコアとデタングリング苦痛しきい値とを比較し得る。他の例において、パフォーマンス分析部１８は、より長い期間に対応する複数の画像について、苦痛スコアとデタングリング苦痛しきい値とを比較し得る。第２のステップ８２は、第３のステップ８４に進めるために、苦痛スコアが複数の画像のそれぞれについてのデタングリング苦痛しきい値を超えること、又は平均苦痛スコアがしきい値を超えることを必要としてもよい。このようにして、デタングリング苦痛イベントをより強力に検出することができる。

第３のステップ８６では、パフォーマンス分析部１８は、ブラシ動作分類部１６からブラシ動作パラメータを受信する。パフォーマンス分析部１８は、デタングリング動作を検出するために、１又は複数のブラシ動作パラメータと対応するデタングリングしきい値とを比較し得る。示されるように、パフォーマンス分析部１８は、線速度又は角速度、及び直線加速度又は角加速度のうちの１つ以上が実質的にゼロと等しいかどうかを決定し得る。言い換えると、ブラッシングパラメータが対応するデタングリング動作しきい値未満であるかどうかを決定し得る。１又は複数のブラッシングパラメータが対応するデタングリング動作しきい値よりも大きい場合、プロセスは第１のステップ８０にループバックする。１又は複数のブラッシングパラメータ（のうちのそれぞれ、又はそれらのうちのいずれか）が対応するデタングリング動作しきい値未満である場合には、パフォーマンス分析部１８はステップ８８に進み、特定されたデタングリングイベントを出力する。線速度又は角速度／加速度は、（図４Ｂに関連して既に述べられたように）１又は複数の軸に沿った、若しくは該軸における線速度又は角速度／加速度を含んでもよく、又は線速度若しくは角速度／加速度の絶対量に関するものであってもよい。

図６の例では、パフォーマンス分析部１８は、しきい値を超える苦痛についての苦痛信号及び低い又はゼロ速度／加速度である動作パラメータからの速度又は加速度信号を併せて分析することによって、苦痛があるデタングリングイベントを特定することができる。他の例において、パフォーマンス分析部１８は、ステップ８０及び８２又は８４及び８６を省略し、顔感情分析部１７からの苦痛データ又はブラシ動作分析部１６からのブラシ動作データのいずれかに基づいてデタングリングイベントを検出してもよい。

パフォーマンス分析部１８は、加速度又は速度の転回点（turning point）前後におけるパラメータ変化率ではなく、加速度又は速度の転回点を分析するのみであることから、実質的にゼロである加速度又は速度に基づいてデタングリングイベントを決定することにより、システム１の較正要件が減少する。したがって、デタングリング検出方法は、有利には、異なるユーザ間においてブラシの力の変数と独立したものであり得る。更に、ＰＳＰＩスコアにより、異なるユーザについて同等の結果を提供し、更に較正要件が減少する。

いくつかの例では、ステップ８６中にパフォーマンス分析部１８は、１又は複数の他のブラシ動作パラメータを分析してもよい。パフォーマンス分析部１８は、ユーザが自身の頭髪をブラッシングするプロセス中であることを決定するために、１又は複数のブラシ動作パラメータを分析してもよい。例えば、パフォーマンス分析部１８は、ブラシ動作分類部１６又はブラシマーカ位置検出モジュール５から例えば表示（図２に関連して上記に記載）を受信してもよい。いくつかの例では、パフォーマンス分析部１８は、もつれた毛髪によってブラシが絡まることで起こる、突然の減速及び／又は急な動作（jerking motion）を特定するために、ブラシの軌跡又は軌跡に関連するパラメータを分析してもよい。いくつかの例では、パフォーマンス分析部１８は、図１２に関連して以下で更に述べられるように、ブラシ位置と、もつれる傾向があると知られている１又は複数の所定の位置と、を比較してもよい。

いくつかの例では、図９に関連して以下に述べられるように、パフォーマンス分析部１８は、公知の条件下でヘアケアルーティンを実施するユーザの画像を含むデータを使用して訓練された、人工ニューラルネットワークなどの機械学習（ＭＬ）アルゴリズムを含んでもよい。訓練データの画像は、デタングリングイベントを特定するために手動でラベル付けされてもよい。ＭＬモデルを構築するために使用される消費者の集団は、特定の人口統計（例えば、特定のベースの毛髪タイプ又はあるいはより高齢の（より虚弱／手先が器用ではない）集団の群にモデルを適応させるために選択されてもよい。ＭＬアルゴリズムは、デタングリングイベントに関連した１又は複数のブラシ動作パラメータを特定してもよい。図６のプロセスのステップ８６では、パフォーマンス分析部１８は、対応するしきい値を超えて特定されたこれらのブラシ動作パラメータのうちの１又は複数に基づいてデタングリングイベントを決定してもよい。

いくつかの例では、デタングリングイベントの特定（ステップ８８）後、パフォーマンス分析部１８又は分類部モジュール１０は、デタングリングイベント前後にわたって１又は複数のブラシ動作パラメータ（及び関連する画像）に基づいて更なる分析を実施してもよい。このようにして、分類部は、他のブラシ動作パラメータを抽出し、もつれを少なくするか、堅いもつれを少なくするために考案された製品の有効性を割り出してもよい。例えば、デタングリングイベント後のピーク加速度又はブラシが静止状態である時間の長さは、考案された製品の有効性における定量的な洞察を提供し得る。このようにして、システム１は、特定のユーザ向けに１又は複数の製品の有効性を追跡、モニタリング及び比較することができる。

図７～図１４は、苦痛及び／又はブラシ動作に基づいたデタングリングイベントの検出を裏付ける関係性を立証する実験データを示す。

図７は、スマートフォンのカメラによってモニタリングされているヘアケアセッションから収集された学習データを示す。カメラは、ブラシの力で頭髪をブラッシングするユーザの一連の画像を撮像した。ブラシの力は、ブラシの動作に関連する複数の機械的パラメータを測定するための力センサ、加速度計及びジャイロスコープを含む複数のセンサを含んでいた。この図は、すべてのブラシの力から取得された０度歪みデータ１００、加速度計Ｘ軸データ２００及びジャイロスコープＺ軸データ３００によって表されるような横方向のデタングリング力のプロットを含む。すべてのデータ１００、２００、３００、４００は、時間に対してプロットされている。

データ１００、２００、３００は、対応するビデオデータセットから得られた定性的記述を用いて注釈がつけられる。定性的記述は、第１のマーカ１０２、第２のマーカ１０４及び第３のマーカ１０６を含む。３つのマーカ１０２、１０４、１０６は、それぞれデタングリングイベントに対応する。第１のマーカ１０２は、視認できる苦痛及びビデオデータから視認できる引っ張り（tugging）の表示を提供する（手動で評価される）。第２のマーカ１０４は、ビデオデータから視認できる引っ張り（tugging）を示す。第３のマーカ１０６は、ビデオデータから視認できる苦痛を示す。図は、対応するビデオ画像からのＰＳＰＩスコアによって決定される苦痛データ４００のプロットを更に含む。苦痛信号４００は、第１のマーカ１０２、第２のマーカ１０４及び第３のマーカ１０６に対応するピークを含有するが、これは手動で評価した外見上の苦痛とＰＳＰＩスコアとの相関性を示す。

図８Ａは、図７の第１のマーカ１０２周辺に関して既に示したプロファイルの引き延ばし部分を示す。この例では、デタングリングの横方向の力プロファイルは、苦痛及び引っ張り（tugging）のイベントが関連することで、力のかかる時間が延びることを含む。同時に、Ｘ軸に沿った加速度は、（スケーリングオフセットにより）０になる傾向がある。加えて、Ｚ軸周りの角速度（ジャイロスコープＺ）もまた、この間ゼロまで減少する。定性的には、ブラシのねじれ（twisting）及びブラシの加速度は、デタングリングイベント中に０になる傾向がある。

図８Ｂは、図７の第３のマーカ１０６周辺に関して既に示したプロファイルの引き延ばし部分を示す。この例では、デタングリングの横方向の力プロファイルは、画像中の視認できる苦痛に関連して、力のかかる時間が大きく延びることを含む。同時に、第１のマーカ１０４で見られる効果と同様に、Ｘ軸に沿った加速度及びＺ軸周りの角速度は０になる傾向がある。

データは、マーカ１０２、１０４、１０６におけるデタングリングの存在は、横方向に広がる力のピーク（デタングリングに必要とされる持続的な力を表す）、実質的にゼロのＸ軸加速度、実質的にゼロのＺ軸角速度及びＰＳＰＩスコアの増加のそれぞれに関連することを示す。

更に関係を示すために、図８Ｃは、図７に関して既に説明されたデータの別のセクションの拡張部分を示す。２８～３４秒の間の部分では、デタングリングの横方向の力１００、Ｘ軸の加速度２００及びＺ周囲の角速度（ジャイロスコープＺ）３００におけるプロファイルは、ユーザが苦痛又は毛髪の引っ張りを明白に認識していない期間を示す。このセクションでは、ブラッシング動作の周期性は、加速度計プロファイル２００及びＺ周囲の角速度（ジャイロスコープＺ）プロファイル３００から視認でき、約１秒の周期性を有する。同様に、この期間中の加速度計Ｘプロファイル２００及びジャイロスコープＺプロファイル３００の変化は、視認できる苦痛及び／又は引っ張りが視認できる図８Ａ及び図８Ｂにおいて既に見られる周期サイクル中のものより大きい。図８Ｃのプロファイル１００、２００、３００は、適切なデタングリングイベントを示すと考えられ得る。

図９は、特定の訓練プロトコルに従って取り込まれた更なる学習データを示す。データは、デタングリングイベント又は他のパフォーマンス分析（以下で更に述べられるように印加された力を決定するものなど）に関連する、１又は複数のブラシ動作パラメータなど、１又は複数のパラメータを決定する機械学習（ＭＬ）アルゴリズムを訓練するために使用されてもよい。データは、顔感情分類部１７、ブラシ動作分類部１６及びパフォーマンス分析部１８を含む分類部１０を訓練するために使用されてもよい。

プロトコルは、手入れ／デタングリングプロセス１１０、続くブラッシングとブロー乾燥との組合せを含む６つの周期的に間隔をあけたヒートスタイリングセグメント１１２を含む。６つのセグメントは、頭部のそれぞれの側で３つの異なる領域（頭の前部、中央及び背面）のブラッシングに対応する。ヒートスタイリングセグメント間では、ブラッシングなしでブロー乾燥のみが実施される。デタングリングプロセスに関連するデタングリングデータ１１０は、デタングリングイベントを検出する分類部１０／パフォーマンス分析部１８を訓練するための離散データセットとして使用することができる。６つのヒートスタイリングセグメントに関連するスタイリングデータ１１２は、不適切なブラシ使用、不適切な頭髪の把持及びスタイリング中の器具における他の最適な使用を検出する分類部／パフォーマンス分析部１８を訓練するための第２の離散データセットとして使用することができる。

このようにして、種々の訓練プロトコルで複数の対象を使用して取得されたデータを使用し、分類部は、任意の頭髪の手入れイベントにおける構成要素としてより広く開発され得る。また、制御されていない手入れイベントをフィードバック及び推奨を行うために管理可能な要素に分解すべく適用されてもよい。

この例では、データは、ハンドル（図３に関連して説明される）の端部に備えられたマーカを有するブラシの力（図７に関連して説明される）を捉えて取り込まれた。ブラシの力を捉えて取り込まれたデータは、０度（横方向）曲げ歪みデータ５００、９０度曲げ歪みデータ６００、Ｘ軸加速度計データ２００及びＺ軸ジャイロスコープデータ３００を含む。

画像データはまた、マーカ（頭部追跡モジュール４、ブラシマーカ位置検出モジュール５、ブラシの向き検出モジュール６及びブラシ動作分類部１６を使用）並びにＦＡＵｓ及び関連する表情（頭部追跡モジュール４及び顔感情分類部１７を使用）から動作パラメータを決定するために取り込まれた。

図１０は、図９のプロトコルに従って取り込まれたデタングリングプロセスデータ１１０の様々な力のブラシパラメータに対してプロットされたＰＳＰＩ苦痛スコアのプロットを示す。プロットは、（ｉ）９０度曲げ歪み６００、（ｉｉ）０度曲げ歪み５００及び（ｉｉｉ）回転歪み８００に対する苦痛スコアを含む。プロットは、歪みの割合がより高い場合は、これに関連して、表された苦痛の値がより高くなることを示す。歪みは、使用中のブラシの「微小」な直線変形及び回転変形であると考えられ得るため、ブラシはもつれて動けない状態となって物理的にわずかに変形し（弾性的ではあるが、経過とともにヒステリシス）、これらの経時的な微小変形の経緯は、もつれの複雑さと「もつれから抜け出すための」ユーザの動作の両方に依存する。

図１１は、画像データのマーカ位置及び向きに基づき、ブラシ動作分類部によって決定された様々な動作パラメータに対してプロットされたＰＳＰＩスコアのプロットを示す。プロットは、（ｉ）加速度９００、ｘ位置１０００、ｙ位置１１００及び速度１２００に対する苦痛スコアを含む。ｘ位置及びｙ位置座標について、ｘ＝０、ｙ＝０の値は、画像の左上画素に対応する。ブラシ動作分類部１６は、位置の値におけるフレーム間変化に基づいて、動的パラメータである速度１２００及び加速度９００を決定することができる。この例では、値を決定することができない場合には、動作パラメータはデフォルトでゼロになる。この例では、ＰＳＰＩスコアを決定することができない場合には、苦痛値はデフォルトでゼロになる。

プロットは、苦痛スコアが高い場合、これに関連して、実質的に速度がゼロ及び実質的に加速度がゼロとなり、一方でそれよりも低い苦痛スコアは、これに関連して、加速度及び速度が広範囲（broader）となることを一般的に示す。同様に、ｘ位置１０００及びｙ位置１１００の固定値は、高い苦痛スコアに関連するが、一方でそれよりも低い苦痛スコアは、広範囲の位置座標（co-ordinates）に関連していることを示す。

図１２は、角速度１３００における追加のマーカ由来データとともにフィルタリングした後の図１１のデータを示す。フィルタリングは、苦痛スコアが０と等しいデータを取り除くこと、ｘ位置及びｙ位置が０と等しいデータを取り除くこと、加速度が毎秒２２，０００画素（22,000 pixels per second squared）未満であるデータを取り除くこと、速度が毎秒８００画素未満であるデータを取り除いた速度データ、及び苦痛スコアが０．２５超であるデータを戻して加えることを含んだ。図１２のフィルタリング済データは、苦痛スコアがより高いと、これに関連して、速度及び加速度データポイントが低くなることを示す。

図１３は、苦痛スコアに関連する図１１のデータポイントのｙ位置１１００に対してプロットされたｘ位置１０００を示す。この例では、Ｘ位置及びＹ位置は、カメラの画素に対応するため、カメラの基準フレームに関連する。外見上の苦痛のレベルは、特定の位置でマーカのサイズによって示される。データは、高密度の高い苦痛スコアを有する３つの領域１１４を示す。このようにして、パフォーマンス分析部１８は、引っ張り及びデタングリングイベントが生じる領域を特定することができ、システム１は、苦痛１１４の領域に塗布され得るもつれを解消するためのスプレー／セラムを推奨するなどのフィードバックを提供することができる。

図１４は、ブラシの力（確認のために使用）及びブラシのマーカについて図９～１３に基づくデータの様々なパラメータ間の相関強度を特定する相関マトリクスを示す。強い相関関係は、苦痛とブラシの力から得られるジャイロ絶対値との間、角速度及び線形速度はそれぞれブラシのマーカから得られるが、苦痛と角速度との間、並びに苦痛と（線形）速度との間で見られ得る。

図７～図１４のデータは、苦痛とブラシの動作との間に関係性が存在し、それら両方がデタングリングイベントを特定するために使用できることを示す。結果として、パフォーマンス分析部１８は、デタングリング苦痛しきい値を超える苦痛スコアに基づくデタングリングイベント、及び／又はデタングリング速度しきい値未満である線速度若しくは角速度、及び／又はデタングリング加速度しきい値未満である加速度を決定することができる。以下に述べられるように、デタングリングイベントの検出に続いて、システム１は、デタングリングによる苦痛を緩和し、かつ／又は将来的なデタングリングイベントの発生率が減少するようにユーザフィードバックを提供することができる。

力モデル－印加されたブラシの力の決定
ヘアケア研究における長年の課題は、スタイリングプロセスの異なる時点で関与する力を推定することである。デタングリングイベントを達成するために印加されたブラシの力は、洗浄及びヘアケアプロセス中に使用される１又は複数のヘアケア製品の配合特性に直接依存し得る。典型的なアプローチとしては、ブラシの力（図７に関連して上に記載）を利用して印加されたブラッシング力を推定することであるが、こうしたブラシは高価であり、幅広い顧客ベースに合わせてスケールを変更するのは実用的ではない。

１又は複数の例では、パフォーマンス分析部１８は、顔感情分類部１７から受信された苦痛スコアに基づき、力の信号、ヘアブラシに印加された力の相対レベルと表すが、を決定するために力モデルを使用することができる。以下に述べられるように（図７～図８Ｃに関連して上記で）、苦痛スコアは印加されたブラシの力と相関し、結果として、苦痛スコアは印加されたブラシの力の代替として使用され得る。このようにして、開示されたシステム１及び方法は、ブラシの力を必要とすることなく力の代替手段をレポートすることができる。

いくつかの例では、ヘアケアセッションのある特定の段階、例えば、ブラシが最初にユーザの頭髪を把持し、ブラシと頭髪との間の把持から生じる摩擦によってある程度引っ張りが生じ得るとき、苦痛スコアは、新しいブラシストロークの開始時に印加されたブラシの力とのみ相関する。例えば、ユーザがもつれを感じる場合には、もつれを解消するための非常に制約された方法しか存在しない場合があり、これは、他の要素にかかわらず必要な力を決定し得るが、このような時に表される苦痛は、力の良好な代替となる可能性が高い。したがって、いくつかの例では、パフォーマンス分析部１８は、ブラシ動作分類部１６から受信された苦痛スコア及びブラシ動作パラメータに基づいて力の信号を決定してもよい。パフォーマンス分析部１８は、ブラシ動作パラメータが新しいブラシストロークの発生を示すときには苦痛スコアに基づいて力の信号を決定してもよい。

デタングリングモデルと同様の方法では、力モデルは、図７～図１４に関連して説明されたものと同様のデータセットで訓練され得るＭＬアルゴリズムであってもよい。すなわち、データは、添付した図３のマーカを備えたブラシの力を用いて、ヘアケアルーティンを実施するユーザについて取得することができる。ブラシの力自体から得られるデータ及びヘアケアルーティン中に取り込まれた一連の画像に関連する画像データは、モデルを生成するために使用することができる。モデルは、図７及び図１０に示されるように、同じ時間軸に対応するビデオ画像のブラシの力に関するデータ及び対応するＰＳＰＩスコアに基づいて訓練されてもよい。モデルは、図１１及び図１２に示されるように、一連の画像におけるブラシマーカ位置から、ブラシ動作分類部１６によって導き出されたブラシ動作データを更に組み込んでもよい。

訓練データは、図９の訓練プロトコルデータのヘアスタイリングセグメント１１２を含んでもよい。図１５～図１８は、図１１～図１４のデタングリングプロセスデータと同様の様式で示されたスタイリングセグメント１１２について取得したデータを示す。このようなデータは、上記で言及されたブラシストロークの発生などの追加パラメータの依存性を有する力モデルを補完する上で有用であり得る。

図１５は、ヘアスタイリングセグメントデータを除き、図１１と同じ様式で様々な動作パラメータに対してプロットされたＰＳＰＩスコアのプロットを示す。プロットは、苦痛スコアが高い場合、これに関連して、速度及び加速度は実質的にゼロとなり、一方でそれよりも苦痛スコアが低い場合は、これに関連して、加速度及び速度が広範囲となることを一般的に示す。同様に、ｘ位置１０００及びｙ位置１１００の固定値は、高い苦痛スコアに関連するが、一方でそれよりも低い苦痛スコアは、広範囲の位置座標に関連していることを示す。

図１６は、フィルタリング後の図１５の速度データを示す。フィルタリングは、苦痛スコアが０と等しいデータを取り除くこと、ｘ位置及びｙ位置が０と等しいデータを取り除くこと、速度が毎秒８００画素未満であるデータを取り除いた速度データ、及び苦痛スコアが０．２５超であるデータを戻して加えることを含む。図１５のフィルタリングデータは、Ｒ２フィットが０．７５である苦痛スコアとブラシとの相関関係を示す。

図１７は、苦痛スコアに関連する図１５のデータポイントのｙ位置１１００に対してプロットされたｘ位置１０００を示す。データは、密度の高い苦痛スコアを有する３つの領域１１６を示す。このようにして、パフォーマンス分析部１８は、印加されるブラシ力がとても高い領域を特定することができる。システム１は、苦痛の領域１１６に印加され得るブラシと毛髪との間の摩擦を減少するためのスプレー／セラムの推奨などのフィードバックを提供することができる。

力モデルを使用すると、パフォーマンス分析部１８は、苦痛スコア及び取り込まれたビデオ画像から得られる代替となる力の信号をモニタリングすることができる。このように、システム１によって、対応する力の信号（ヘアケアセッションにおける平均の力の信号であってもよい）に基づいて特定のユーザ用に１又は複数の考案された製品の有効性を追跡、モニタリング及び比較することができる。このような製品の有効性をモニタリングすることは、製品開発若しくは消費者調査中に、又は異なるヘアケア製品を比較しようとする特定のエンドユーザにとって特に有利である。

いくつかの例では、パフォーマンス分析部は、特定のユーザを更に特徴付けし、かつよりパーソナライズされたフィードバックを提供するために、デタングリングモデルと併用して力モデルを適用してもよい。例えば、パフォーマンス分析部は、デタングリングイベントの数並びに力の信号によって示される力のレベルに基づいて、「力が低く、もつれが多い」、「力が高く、もつれが多い」、「力が低く、もつれが少ない」及び「力が高く、もつれが少ない」といった４つのユーザタイプにユーザを分けてもよい。

いくつかの例では、パフォーマンス分析部１８は、デタングリングプロセス１１０に関連するデータとスタイリングに関連するデータとを区別してもよい。パフォーマンス分析部１８は、ドライヤの存在を決定することによって、又はブラシストロークの平均軌跡によってこのような区別を実施してもよい。デタングリングプロセス１１０とヘアスタイリングプロセス１１２とを区別することによって、パフォーマンス分析部は、デタングリングプロセスデータにデタングリングモデル、ヘアスタイリングデータ１１２に力モデルを選択的に適用することができる。

ユーザ満足度モデル
いくつかの例では、パフォーマンス分析部１８は、顔感情分類部１７から受信された幸福スコア、これはヘアケアルーティンによるユーザの満足度のレベルを表しているが、に基づきユーザの幸福を決定するための満足度モデルを適用してもよい。パフォーマンス分析部１８は、ヘアケアセッションの終了に関係する画像について、ユーザ満足度のみを分析してもよい。例えば、パフォーマンス分析部１７は、ヘアケアルーティンが終了したことを示す、しきい値の時間においてブラシマーカが静止していることを示すブラシマーカ位置検出モジュール５又はブラシ動作分類部１６から出力を受信してもよい。ヘアケアセッションの終わりにユーザの幸福（又はその欠如）を検出することによって、顔感情分類部１７は、ルーティンにおけるユーザ満足度を有利に決定し、適切なフィードバックを提供する。フィードバックは、例えば更なるスタイリングについてのアドバイス、製品選択アドバイス及び例えば幸福感を高めるための「とてもすてきですよ」といった前向きなメッセージを含むことができる。

他のパフォーマンス分析モデル
パフォーマンスモデリング及び分析に対する上記アプローチは、ヘアケアルーティンの他の重要なコンポーネントに適用され、それによって更なるコンポーネントモデルを提供することができる。パフォーマンス分析部は、かかるモデルを適用し、エンドユーザのケースにおいてフィードバックの個別化を更に強化し、あるいは、製品の優位性／試験使用における使用パフォーマンスを説明するために説明、より洗練された方法を提供することができる。

本開示の一部として想定された更なる例示的なパフォーマンスモデルの１つは、ブラシストロークモデルである。ブラシストロークモデルは、ブラシ及びマーカを用いるヘアケアルーティンを実施するユーザの複数のビデオシーケンスから得られるブラシ動作パラメータデータを使用して訓練し得る。訓練データは、どのようなルーティンによって健康的な毛髪、不快な感情、多くのデタングリングイベントなどが生じたかを強調するためにラベル付けされ得る。相対的な毛髪の健康状態は、毛髪の光沢度、毛髪のボリューム、枝毛の数、水分レベル、ふけの量などのいずれかに従って定量化されてもよい。毛髪の健康状態の相対レベルは、訓練データのために手動で決定されてもよく、又はシステムは、それに応じて画像を分析することによって健康状態のレベルを決定してもよい。パフォーマンス分析部１８は、続いてブラシモデルを使用してユーザのブラシストロークをモニタリングし、かつ特定のブラッシング技術の結果に関連し得るフィードバックをユーザに提供することができる。ブラシストロークモデルは、ユーザの毛髪タイプ／スタイルに従ってカテゴリ化されてもよい。

他のモデルは、把持力／ブラシのカールについてのモデルを含んでもよい。

５．フィードバック
フィードバックは、パフォーマンス分析に基づいて４１を生成し、例えばディスプレイ１２、音声フィードバック及び触覚フィードバックなどの１又は複数によってユーザに４２を出力することで行われる。

フィードバックの少なくとも１つの項目は、（ｉ）製品又は器具の適用にあたり、ターゲットとなる頭髪領域を示すこと、（ｉｉ）製品又は器具を過剰に適用している頭髪領域を示すこと、のうちの少なくとも１つを含んでもよい。ヘアケア活動の例では、フィードバック項目は、製品若しくは器具の適用にあたり、ターゲットとなる頭髪領域を示すこと、及び／又はヘアドライヤ、カール若しくはストレート矯正器具による過熱など、製品若しくは器具の過剰に適用している頭髪領域を示すことを含んでもよい。

いくつかの例では、フィードバックは、特定の毛髪タイプに個別化されてもよい。システムは、ユーザの入力によって、又は以下に記載されるルーティン前後の画像などの１又は複数の画像から頭髪タイプを決定することによって、頭髪タイプを受信してもよい。システムは、上記のセグメント化を実施することによって頭髪タイプを決定してもよい。

即時フィードバック
いくつかの例では、システム１は、ヘアケアルーティン中にユーザにフィードバックを提供してもよい。パフォーマンス分析部１８が特定のイベントを検出する場合には、イベントに関連する即時フィードバックが与えられ得る。例えば、パフォーマンス分析部１８はデタングリングイベントを検出する場合には、システムは「もつれた瞬間に」フィードバックを提供することができる。フィードバックは、手を用いて根元で頭髪を把持し、もう一方の手を用いてブラッシングすること、又は毛髪端部から始まる短いセクションにおけるもつれた毛髪をブラッシングすること、又はもつれた領域への、デタングリング溶液又は洗い流さないコンディショナーなどの考案された製品（化学処置）の即時適用を推奨することなど、デタングリング中の苦痛を処理するためのブラッシング戦略を含んでもよい。フィードバックは、ブラッシング戦略又は推奨された製品を適用するための、もつれが大きい領域（図１３に示されている）を特定してもよい。

更なる例では、パフォーマンス分析部１８がブラシストロークモデルを使用して望ましくない結果に関連するブラシストロークを検出する場合には、システム１は、即時是正フィードバックを提供してもよい。フィードバックは、より良好なブラッシングストロークに関するアドバイスを含んでもよく、かかるストロークを示すアニメーションを含んでもよい。

更なる例では、パフォーマンス分析部１８が力モデルを適用し、かつブラシと頭髪との間の不適格な把持（ブラシストローク開始時でしきい値よりも大きな苦痛スコア）を検出する場合には、システムは、ブラッシング技術に関する情報（ブラッシングストローク、ブラシの回転など）又は熱印加の提案を提供することなど、即時フィードバックを提供してもよい。

ルーティンフィードバックの終了
いくつかの例では、システム１は、ヘアケアルーティン完了時にユーザにフィードバックを提供してもよい。システム１は、ヘアケア器具が静止状態のままであるか、又は閾値の長さの時間において画像境界から外れていることに基づいてヘアケアルーティンの完了を検出してもよい。他の例では、ユーザは、ルーティンが完了したことを示すために手動入力を提供してもよい。

いくつかの例では、フィードバックは、ヘアケアルーティンをまとめたレポートを含んでもよい。例えば、レポートは、デタングリングモデルで検出されたデタングリングイベントの数及び／若しくは位置、ブラシストロークモデルの出力に基づいたブラッシングストロークに関する統計、並びに／又は力モデルの出力に基づいたブラシと頭髪との間の平均把持力を示してもよい。データは、比較可能なユーザの母集団分布に関連して、又は異なる製品について予め取り込まれた同様のデータに関連して示されてもよく、これによってユーザは、パフォーマンスの変化を製品の変化に起因させることが可能となる。データは、ルーティン中に取り込まれた画像、使用される製品の記録、並びにユーザの頭髪タイプ及び状態とともに提示されてもよい。

マルチセッションフィードバック
いくつかの例では、システム１は、複数のセッションにわたって測定されたパフォーマンスの態様に関連するフィードバックをユーザに提供してもよい。典型的には、かかるパフォーマンスの評価は、いくつかの異なるセッションにわたって同じユーザについて実行される。

いくつかの例では、ヘアケアパフォーマンスを分析することは、
ｉ）現在のヘアケアセッションにおける１又は複数のブラッシングパラメータ及び／又はユーザの１又は複数の表情、並びに
ｉｉ）先のパーソナルケアセッションからの１又は複数の対応するブラッシングパラメータ及び／又はユーザの１又は複数の表情
に基づく１又は複数のパフォーマンスパラメータを決定することを含む。

マルチセッションフィードバックを提供することによって、ユーザは、システムを通じて現在のヘアケアパフォーマンスと先のセッションでのパフォーマンスとを比較することが可能になる。例えば、フィードバックは、「今朝のように、もっとゆっくりブラッシングしてはいかがでしょうか」であり得る。代替的には、パフォーマンスの変化によって、「いつもよりも髪がもつれているようです、製品Ｘを使ってみてはいかがでしょうか？」といった新しい化学処置の推奨がもたらされ得る。ここでは、製品Ｘは毛髪のもつれを減少させるように考案されたタイプのものである。

フィードバックのタイプ
いくつかの例では、フィードバックは、将来的な頭髪の洗浄又はヘアケアルーティン中に使用するための製品の推奨を含んでもよい。例えば、製品の推奨は、改善されたブラシ－頭髪の把持力及び／又は改善したヘアスタイリング若しくは頭髪の健康状態の結果など、デタングリングイベントを減少させるための考案された製品に関連してもよい。図１８は、印加されたブラシの力が考案された製品の選択に依存し得ることを示している。製品の推奨はまた、より細かいブラシなどの器具の推奨を含んでもよい。

いくつかの例では、どのようにしてユーザが自身の最終的なスタイルを達成するかに基づいて、例えばスタイリング中のブラッシング動作及びブラシ－頭髪の把持力などのフィードバックが提供されてもよい。上記即時フィードバックと同様に、システム１は、推奨されたブラッシング技術という形態でフィードバックを提供してもよい。

いくつかの例では、システム１は、ユーザが自身の最終的な見た目にどのくらい満足しているかを示すユーザ満足度モデルからのユーザ満足度に基づいてフィードバックを提供してもよい。幸福スコアが幸福しきい値未満である場合には、フィードバックは、ヘアケアルーティンと幸福スコアが高かった先のヘアケアルーティンとの違い（ブラッシングスタイル、把持力、製品の選択）を強調し、次回のための推奨を提供してもよい。幸福スコアが幸福しきい値を超える場合には、システムは、自信を与え、幸福感を後押しする前向きなメッセージという形態でフィードバックを提供してもよい。

適用例
図１９は、開示されたシステムの使用の例示的方法を示す。システム１は、スマートフォン若しくはタブレット、又は同様のパーソナルモバイルデバイス上のモバイルアプリケーション（アプリ）で展開されてもよい。

システムは、アプリストアなどからユーザがダウンロードした後に消費者対応アプリケーションによってより好適に適用され得る。システムはまた、好適には製品の研究開発に利用されてもよい。例えば、研究に動員されたユーザは、アプリケーションを使用することができ、パフォーマンス分析データは、ヘアケア製品の有効性を実証するために使用され得る。例えば、データは、（例えば、必要とされる力が減少することによって）デタングリングイベントを「緩和する」ために考案された製品のパフォーマンスを定量化し得る。

ユーザがアプリケーションを開始した後、システムはいくつかの初期セットアップを実施してもよい（ステップ１２０）。例えばシステムは、デバイス上のカメラを有効にし、ヘアスタイリングイベントの良好な画像を取り込むことができるように、ユーザにデバイス設置を誘導する指示を提供してもよい。ユーザは、アプリからの指示（近すぎる、遠すぎる、低すぎる、高すぎるなど）によって誘導される距離でデバイスを鏡として使用することができる。

ヘアケアルーティンを開始する前に、システムは、いくつかの質問（例えば、あなたのヘアスタイルはどれですか？どのくらいの頻度で髪色を変えますか？など）をユーザに提示し、応答する適切なユーザ入力を受信してもよい（ステップ１２１）。

システムは、ユーザのルーティン前画像を取り込み、これを記憶してもよい（ステップ１２２）。

ユーザが自身のヘアケアルーティンを開始すると、システムはデバイスのカメラから一連の画像を受信する（ステップ１２３）。続いてシステムは、上記で詳細に説明されるようにパフォーマンスを分析してもよい（ステップ１２４）。いくつかの例では、システムは、一連の画像においてヘアケア器具の位置を追跡することによってヘアケアパフォーマンスを分析してもよい。いくつかの例では、システムは、ユーザの表情を分析することによってヘアケアパフォーマンスを分析してもよい。システムは、１又は複数のパフォーマンスパラメータ（例えば、ブラシー頭髪の把持力、ブラシストローク軌跡）を決定することによって、又は１又は複数のヘアケアイベント（例えば、デタングリングイベント）を検出することによってヘアケアパフォーマンスを分析してもよい。システムは、デタングリングプロセス及びスタイリングプロセスなどのヘアケアルーティンの段階に応じて異なるパフォーマンス分析を実施してもよい。

パフォーマンス分析に応答して、システムは、上記のようにユーザに即時に是正フィードバックを提供してもよい（ステップ１２５）。

ヘアケアルーティンの完了後、システムは、ルーティン後の画像を取り込んで記憶してもよい（ステップ１２６）。ルーティン前画像及びルーティン後画像は、頭髪と背景とを分離するためにセグメント化され、「既知の」形状スケールと照らし合わせて分類することができる。画像は、ユーザの開始時及び終了時の頭髪タイプ／スタイルを定義し、自身のヘアタイプに最も好適な製品を推奨するなどのフィードバックに影響を与えることができる。

ステップ１２７では、システムは、上記のようにルーティン後フィードバックを提供することができる。

上記に例示されるようなブラシ追跡システムによって、ブラシ及び顔の特徴を純粋な視覚ベースで追跡することができる。センサをブラシに配置する必要はない。センサをブラッシング中の人に配置する必要はない。該技術は、現在利用可能な携帯電話技術において十分なパフォーマンスで堅牢に実装することができる。該技術は、従来の２Ｄカメラビデオ画像を使用して実施され得る。

本明細書を通じて、「モジュール」といった表現は、一般若しくはカスタムプロセッサ上で実行されるコンピュータコード、又は、例えば、アプリケーション向け集積回路など、ハードウェアマシンの実装化を含む機能的システムを包含することを意図している。

例えば、顔追跡モジュール４、ブラシマーカ位置検出モジュール５、ブラシマーカ向き推定部／検出モジュール６及び分類部１０の機能は別個のモジュールとして記載されているが、それらの機能性は、単独又はマルチスレッドプロセスとして好適なプロセッサ内で組み合わせられるか、異なるプロセッサ及び／若しくはプロセシングスレッド間で別々に分離され得る。機能性は、単独の処理装置又は分散コンピューティングプラットフォーム上に提供されることができ、例えば、いくつかのプロセスはリモートサーバ上に実装される。

データ処理システムの機能性の少なくとも一つは、スマートフォンアプリケーション又はモバイル通信デバイス上で実行する他のプロセスによって実装されてもよい。記載したいくつかの機能性又はすべての機能性は、スマートフォン上に提供されてもよい。いくつかの機能性は、携帯電話ネットワーク及び／又は無線インターネット接続などのスマートフォンの長距離通信設備を使用し、リモートサーバによって提供されてもよい。

本開示の態様は、ヘアケアに留まらず広範に適用可能であることが理解されるだろう。例えば、様々な実施形態が個人の手入れにおいて適用され得る。個人の手入れ活動は、歯のケア活動、スキンケア活動及びヘアケア活動のうちの１つを含んでもよい。個人での手入れ活動は、歯磨きを含んでもよく、フィードバックのうちの少なくとも１アイテムは、口腔内での複数のブラッシング領域において十分又は不十分なブラッシングレベルを示すことを含んでもよい。フィードバック情報は、ブラッシング領域に対応する位置のユーザの顔におけるブラッシングレベルの視覚的な表示を与えることを含んでもよい。

他の実施形態は、添付の特許請求の範囲に意図的に含まれる。

本明細書を通じて、「水平」、「垂直」、「上部」、「底部」及び「側部」など相対的な向き及び位置に関連する記述子は、図面に提示される装置の向きの意味で使用される。ただし、こうした記述子は、いかなる方法であっても、本明細書中、又は特許請求の範囲の発明に限定しようとするものではない。更には、本明細書において力の決定に対する言及は、例えば加速度などの力の代替となるものの決定に関連し得る。

「に近い」、「の前に」、「の少し前に」、「の後に」、「の少し後に」、「よりも高い」又は「よりも低い」などのいかなる言及は、文脈に応じてしきい値未満又はしきい値よりも大きい、又は２つのしきい値間にある問題のパラメータを指し得ることが理解されるだろう。

Claims (15)

1. パーソナルケアを実施するユーザを支援するための方法であって、
   ユーザの顔及びパーソナルケア器具の一連の画像を受信することと、
   前記一連の画像を使用して前記パーソナルケア器具を追跡することによって、１又は複数の器具パラメータを決定することと、
   前記一連の画像を使用して前記ユーザの１又は複数の表情を決定することと、
   前記１又は複数の器具パラメータ及び前記ユーザの前記１又は複数の表情に基づいてパーソナルケアパフォーマンスを分析することと、
   前記パーソナルケアパフォーマンスに基づいて、パーソナルケアを実施する前記ユーザにフィードバックを提供することと、
   を含む、方法。
2. 前記パーソナルケアパフォーマンスを分析することが、前記１又は複数の器具パラメータ及び前記ユーザの前記１又は複数の表情に基づいて１又は複数のパフォーマンスパラメータ及び／又は１又は複数のパーソナルケアイベントを決定することを含み、かつ
   フィードバックを提供することが、前記１又は複数のパフォーマンスパラメータ及び／又は前記１又は複数のパーソナルケアイベントに基づいてフィードバックを提供することを含む、
   請求項１に記載の方法。
3. 前記パーソナルケアパフォーマンスを分析することが、ｉ）現在のヘアケアセッションにおける前記１又は複数の器具パラメータ及び前記ユーザの前記１又は複数の表情、並びにｉｉ）先のパーソナルケアセッションにおける前記１又は複数の器具パラメータ及び前記ユーザの前記１又は複数の表情に基づいて、１又は複数のパフォーマンスパラメータを決定することを含む、請求項２に記載の方法。
4. 前記現在のセッションに関連した１又は複数のパフォーマンスパラメータと前記先のセッションに関連した１又は複数の対応するパフォーマンスパラメータとの差分を決定することを含み、前記フィードバックが、決定された前記差分の表示を提供する、請求項３に記載の方法。
5. 前記ユーザの表情を決定することが、自信、喜び、苦痛、苛立ち、混乱及び幸福のうちのいずれかである外見上の感情表現を決定することを含む、請求項１～４のいずれか一項に記載の方法。
6. 前記パーソナルケア器具を追跡することが、前記パーソナルケア器具の前記位置及び前記向きを追跡することを含む、請求項１～５のいずれか一項に記載の方法。
7. 前記パーソナルケア器具の前記位置及び前記向きを追跡することが、前記ユーザの前記頭部に対する前記パーソナルケア器具の前記位置及び前記向きを追跡することを含む、請求項５に記載の方法。
8. 前記パーソナルケア器具を追跡することが、前記パーソナルケア器具の端部に連結された基準マーカを追跡することを含む、請求項１～７のいずれか一項に記載の方法。
9. 前記基準マーカが、前記パーソナルケア器具の一構成要素を形成する、又は前記パーソナルケア器具に連結されたアタッチメントを含む、請求項８に記載の方法。
10. 前記基準マーカが、前記パーソナルケア器具の長手方向軸に対応する、長手方向軸の周囲に配置された複数の色付き四分円四分円を有する実質的に球形のマーカ６０を含む、請求項８又は９に記載の方法。
11. 前記器具パラメータが、器具の位置、器具の向き、線速度、角速度、直線加速度、角加速度及び器具経路のうちの１以上を含む、請求項１～１０のいずれか一項に記載の方法。
12. 検出されたパフォーマンスパラメータ又はパーソナルケアイベントに従った好適な処置を特定することを更に含み、
    前記フィードバックを提供することが、前記特定された処置を実施するための指示を前記ユーザに提供することを含む、
    請求項２又はその従属請求項に記載の方法。
13. 前記パーソナルケアが、歯のケア活動、スキンケア活動、ヘアケア活動及びシェービング活動のいずれかを含む、請求項１～１２のいずれか一項に記載の方法。
14. コンピュータ上で実行したときに、前記コンピュータに請求項１～１３のいずれか一項に記載の方法を実施させるコンピュータ可読命令を含む、コンピュータプログラム製品。
15. ユーザの顔及びパーソナルケア器具の一連の画像を受信することと、
    前記一連の画像を使用して前記パーソナルケア器具を追跡することによって１又は複数の器具パラメータを決定することと、
    前記一連の画像を使用して前記ユーザの１又は複数の表情を決定することと、
    前記１又は複数の器具パラメータ及び前記ユーザの前記１又は複数の表情に基づいてパーソナルケアパフォーマンスを分析することと、
    前記パーソナルケアパフォーマンスに基づいて、パーソナルケアを実施する前記ユーザにフィードバックを提供することと、
    を行うように構成されたプロセッサを含む、パーソナルケアモニタリングシステム。

Images