JP7121034B2 - ガイダンス・インジケータのユーザに対する表示 - Google Patents

Description

本発明は、ユーザにガイダンスを提供することに関し、より具体的には、特定の条件が満たされた場合にユーザに対してガイダンス・インジケータを表示することに関する。方法及び装置が開示される。

メイクアップ、スキン・ケア活動、シェービング（ｓｈａｖｉｎｇ：ひげ剃り）又はヘア・トリミングなどのパーソナル・ケア活動を行う場合、ユーザは、カメラを有するスマート・ミラー、又はカメラとタブレット・コンピュータ又はスマートフォンなどの関連するディスプレイ画面を有する電子デバイスを使用して、活動に関するガイダンス（ｇｕｉｄａｎｃｅ）及び／又はフィードバック（ｆｅｅｄｂａｃｋ）を提供することができる。例えば、タブレット・コンピュータ上で動作するアプリケーションを使用して、特定のスタイルをユーザの顔の毛（ｆａｃｉａｌ ｈａｉｒ）にシェービング又はトリミングするときに、ユーザにガイダンスを提供することができる。ガイダンスは、例えば、ユーザの画像上にガイダンス線を表示することを含み、ユーザは、所望の外観を達成するためにシェービング・デバイスをガイドするために使用することができる。

いくつかのシナリオにおいて、ユーザに提供されるガイダンスは、画像、例えば、ユーザの表示（例えば、カメラによってキャプチャされた画像、又はスマート・ミラー内の反射）の上に重ね合わせられるか又は他の方法で表示される所望の顔の毛のデザインの画像の形態をとってもよい。
米国特許出願公開第２０１２／０２２３９５６号明細書には、顔の画像上に重ね合わせられたメイクアップ画像を表す出力画像データを生成する方法が開示されている。
マリシア‐ガナディ（Ｍｅｒｃｉａ－Ｇａｎａｄｙ）他による「マインド・ミラー：ＥＥＧ及び拡張現実を用いて自分の頭の中の活動として自分の脳を見る（Ｔｈｅ Ｍｉｎｄ－Ｍｉｒｒｏｒ： Ｓｅｅ Ｙｏｕｒ Ｂｒａｉｎ ｉｎ Ａｃｔｉｏｎ ｉｎ Ｙｏｕｒ Ｈｅａｄ Ｕｓｉｎｇ ＥＥＧ ａｎｄ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）」は、ユーザの反射及びユーザの脳の活動の仮想表示を表示する方法を開示する。
キタノフスキ（Ｋｉｔａｎｏｖｓｋｉ）他による「仮想顔修正に対する拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ Ｍｉｒｒｏｒ ｆｏｒ Ｖｉｒｔｕａｌ Ｆａｃｉａｌ Ａｌｔｅｒａｔｉｏｎｓ）」は、拡張現実における丁寧な顔の幾何学的修正を実行する方法を開示する。
米国特許第９４４２５６４号には、ユーザの頭部の位置に依存するユーザ・インターフェースを動作させる装置が開示されている。

ユーザの画像又は反射上にガイダンス線又はガイダンス画像を表示することは、ユーザの顔の一部を分かりにくくする（ｏｂｓｃｕｒｅ）ことがあり、その結果、場合によっては、パーソナル・ケア活動の遂行を阻害する可能性のある、ユーザが自身を明確に見ることができない。他の場合には、パーソナル・ケア活動が実行されている間、ガイダンス線又は画像を表示することが望ましい場合がある。

従って、ユーザにガイダンス・インジケータ（ｇｕｉｄａｎｃｅ ｉｎｄｉｃａｔｏｒ）を表示するための改良された方法が必要であり、これは、選択的に表示でき、視界から適切に取り除くことができる。

第１の態様によれば、ガイダンス・インジケータをユーザに表示する方法が提供される。この方法は、ユーザの頭部の一連の画像を受信することと、前記一連の画像の各画像から、前記ユーザの前記頭部の位置に関する情報を決定することと、前記頭部の前記位置に関する１つ以上の定義された条件のそれぞれが満たされる場合にのみ、前記ユーザの前記頭部の表示に関連するガイダンス・インジケータをディスプレイ画面上にユーザに表示することとを含み、前記頭部の前記位置に関する前記定義された条件は、ｉ）前記頭部の前記位置に関する前記情報は、前記頭部の前記位置が定義された精度のしきい値レベルまで決定可能であることを示すこと、ｉｉ）前記頭部の前記位置に関する前記情報は、定義された期間にわたる前記頭部の前記位置の変化が定義されたしきい値未満であることを示すこと、及びｉｉｉ）前記頭部の前記位置に関する前記情報は、前記ディスプレイ画面に対する前記頭部の向きが定義された角度範囲内にあることを示すこと、の１つ以上を含む。

ガイダンス・インジケータは、定義された条件のすべてが満たされた場合にのみ表示することにより、装置が自信を持って自身の位置及び向きを決定することができるように、ユーザは自身がディスプレイに対して適切な位置にいることを示す表示を与えられる。さらに、ユーザがパーソナル・ケア活動を行っている間（例えば、毛切断装置をその顔まで保持する）、その表示の視界を不明瞭にすることがあるのでガイダンス・インジケータを表示することは望ましくない。従って、このようなシナリオでガイダンス・インジケータを表示しないことは（ユーザの頭部の位置が正確に決定できないため）、ユーザがパーソナル・ケア活動を実行する能力を支援する可能性がある。

頭部（ｈｅａｄ）の位置の信頼性又は頭部の顔の特徴の位置の信頼性が、定義された信頼水準（ｃｏｎｆｉｄｅｎｃｅ ｌｅｖｅｌ）を超える場合、頭部の位置は、定義された精度のしきい値レベルに決定されるとみなされてもよい。

定義された期間にわたる頭部の位置の変化の定義されたしきい値は、画像の幅又は高さの１０％未満の変化を含むことができる。いくつかの実施形態では、定義されたしきい値は、画像の幅又は高さの６％未満の変化を含んでもよい。定義された期間は、いくつかの実施形態では、定義された期間（例えば、０．５秒）を含んでもよく、他の実施形態では、定義された期間は、一連の画像において第１の画像と第２の画像をキャプチャする間の期間を含んでもよい。従って、一連の画像において、第１の画像と第２の画像との間で、頭部の位置の変化を測定することができる。

いくつかの実施形態では、定義された角度範囲は、ディスプレイ画面に対する法線から１５度を含む。他の実施形態では、定義された角度範囲は、ディスプレイ画面に対する法線の両側に１０度又は２０度を含むことができる。

一連の画像は、いくつかの実施形態では、ディスプレイ画面に関連するカメラを介して受信されてもよい。

ガイダンス・インジケータは、ユーザがパーソナル・ケア活動を支援するための線（ライン）、テキスト、又は画像のうちの少なくとも１つを含んでもよい。ガイダンス・インジケータは、ユーザの表示を重ねることができる。

いくつかの実施形態において、ガイダンス・インジケータを表示することは、頭部の位置に関する情報が、定義された条件のすべてが満たされていることを示すとき、ガイダンス・インジケータの漸進的な出現を生じさせることを含んでもよい。このようにして、頭部の位置が自信を持って知ることができる位置／向きにいつ接近しているかを、ユーザは決定することができる。

ガイダンス・インジケータの可視性（ｖｉｓｉｂｉｌｉｔｙ）は、定義された条件を満たすための頭部の位置の近さの関数として変化し得る。従って、ユーザがすべての条件が満たされる位置に向かうか離れるように動くにつれて、ユーザは、ガイダンス・インジケータを表示するために自分の頭部をどのような位置に置く必要があるかを容易かつ無意識に知ることができる。

いくつかの実施形態によれば、本方法は、ガイダンス・インジケータがディスプレイ画面に表示されている間に、頭部の位置に関する情報が、定義された条件のいずれか１つが満たされていないことを示す場合、ガイダンス・インジケータを徐々に消失させるステップをさらに含むことができる。ユーザがガイダンス・インジケータを消失させる位置に移動すると、ユーザは、ガイダンス・インジケータが完全に再出現するためには、自分の位置がどのように変化する必要があるかを直感的に学習することができる。

ガイダンス・インジケータの可視性は、頭部の位置が定義した条件からずれるレベルの関数として低下してもよい。

いくつかの実施形態では、ガイダンス・インジケータは、頭部の位置に関する定義された条件のすべてが満たされる場合にのみ、ユーザに対して表示されてもよく、他の実施形態では、ガイダンス・インジケータは、定義された条件の一部が満たされると、ユーザに対して表示されてもよい。

第２の態様によれば、ユーザに対してガイダンスを提供する装置が提供され、この装置は、ユーザの頭部の一連の画像を受信するための画像化ユニットと、前記一連の画像の各画像から、前記ユーザの前記頭部の前記位置に関する情報を決定するための処理ユニットと、ディスプレイ画面とを含み、前記処理ユニットは、前記頭部の前記位置に関する１つ以上の定義された条件のそれぞれが満たされる場合にのみ、前記ユーザの前記頭部の表示に関連するガイダンス・インジケータをディスプレイ画面に表示するように構成され、前記頭部の前記位置に関する前記定義された条件は、ｉ）前記頭部の前記位置に関する前記情報は、前記頭部の前記位置が定義された精度のしきい値レベルまで決定可能であることを示すこと、ｉｉ）前記頭部の前記位置に関する前記情報は、定義された期間にわたる前記頭部の前記位置の変化が定義されたしきい値未満であることを示すこと、及びｉｉｉ）前記頭部の前記位置に関する前記情報は、前記ディスプレイ画面に対する前記頭部の向きが定義された角度範囲内にあることを示すこと、の１つ以上を含む。

いくつかの実施形態では、処理ユニットは、ユーザの頭部の位置に関する情報に基づいて、条件が満たされるか否かを決定することができる。いくつかの実施形態では、処理ユニットは、頭部の位置に関する定義された条件のすべてが満たされる場合にのみ、ガイダンス・インジケータをユーザに対して表示してもよく、他の実施形態では、処理ユニットは、定義された条件の一部が満たされると、ガイダンス・インジケータをユーザに対して表示してもよい。

この装置は、ユーザの頭部の一連の画像をキャプチャするためのカメラをさらに含んでもよい。

いくつかの実施形態では、装置は、受信された一連の画像、及びユーザの頭部の位置に関する決定された情報のうちの少なくとも１つを記憶する記憶媒体を含んでもよい。

この装置は、スマートＴＶ、スマート・ミラー、スマートフォン、タブレット・コンピュータ、ラップトップ・コンピュータ及びデスクトップ・コンピュータのうちの１つを含むことができる。

本発明のこれら及び他の実施形態は、以下に記載される実施形態から明らかになり、それらを参照して解明されるであろう。

本発明をより良く理解し、それがどのように実施され得るかをより明確に示すために、次に、添付の図面を例としてのみ参照する。図面には、以下のものが含まれる。
スマート・ミラーを使用してパーソナル・ケア活動を行うユーザの図である。 ガイダンス・インジケータの図である。 パーソナル・ケア活動を実行するユーザの表示の一例を示す図である。 パーソナル・ケア活動を実行するユーザの表示のさらなる例の図である。 パーソナル・ケア活動を実行するユーザの表示のさらなる例の図である。 パーソナル・ケア活動を行うユーザの図である。 ディスプレイに関して３つの異なる向きにおけるユーザの頭部の図である。 ガイダンス・インジケータをユーザに対して表示する方法の一例のフローチャートである。 ユーザにガイダンスを提供するための装置の一例の概略図である。 ユーザにガイダンスを提供するためのさらなる例又は装置の概略図である。

他の目的の中でも、本発明は、いくつかの例において、例えばユーザが自身のリアルタイムビデオ（画像ストリーム）又は自身の反射を見ている間、ユーザに対するガイダンス・インジケータの表示を改善するために使用され得る。例えば、本発明は、メイクアップ適用、メイクアップ除去、スキン・ケア、ヘア・ケア、オーラル・ケア、及び剃毛、脱毛及びトリミングなどの除毛活動を含むが、これらに限定されない、パーソナル・ケア活動を実施するときに実施することができる。

顔の毛を剃るなどのパーソナル・ケア活動を行う場合、ユーザは、ガイダンスを提供するガイダンス・システム又は装置を使用することができる。このような装置は、スマート・ミラー又はタブレット・コンピュータのようなコンピューティング・デバイスに関連付けられるか又はそれに接続されたカメラを含んでもよい。ユーザがカメラの前でシェービング活動を行うと、例えば、装置に関連するディスプレイ画面上（例えば、スマート・ミラーの画面上又はコンピューティング・デバイスのディスプレイ画面上）に表示されるガイダンス・インジケータの形態で、装置はユーザにガイダンスを提供することができる。ガイダンス・インジケータは、線、テキスト、画像、又は一連の点（ドット）を含んでもよく、例えば、剃毛されるべきユーザの領域及び剃毛されるべきでない領域を示す。いくつかの例において、ガイダンス・インジケータは、所望の左右対称なルック（ｌｏｏｋ）を達成するために、ユーザが顔の毛（例えば、もみあげ）を剃るレベルを示すための１つ以上の線を含んでもよい。他の実施形態では、メッセージをユーザに伝えるためにテキストを表示してもよい。

このようなガイダンス・システムでは、ユーザ（又はユーザの一部）を表す画像データが、一連の画像の形態でカメラを介して受信され、画像データは、システムに関連付けられた処理装置を用いて処理される。次いで、ガイダンス・インジケータが生成され、ユーザの画像と共に表示されるか、又はユーザの画像の上に重ねられる。ガイダンス・システムがユーザに正確なガイダンスを提供するために、処理されるユーザの部分（例えば、ユーザの頭部）の位置が決定できるように、カメラはユーザを画像化できる必要がある。

図面を参照すると、図１は、装置１０２の前でパーソナル・ケア活動を行うユーザ１００を示す図である。装置１０２は、この例では、ディスプレイ１０４とカメラ１０６とを有するスマート・ミラーである。装置１０２はまた、ディスプレイ１０４及び／又はカメラ１０６を制御し、カメラによって受信された情報及びディスプレイ上に存在する情報を処理するための、処理装置（図示せず）を含んでもよく、又はこれに接続されてもよい。破線は、カメラ１０６の視野の例を示す。ディスプレイ１０４は、ユーザがその反射を見ることを可能にするミラー部分と、画像又はテキストなどの情報をユーザ１００に提示するために使用することができる、ミラー部分の背後又はその中に組み込まれたディスプレイ部分又は画面とを含む。ディスプレイ１０４は、いくつかの実施形態において、ニュース記事、気象情報、カレンダー・エントリーなどの情報をユーザに表示するために使用することができる。しかしながら、本明細書に開示された実施例では、ディスプレイ１０４は、また、パーソナル・ケア活動を行うユーザ１００を支援するためのガイダンス・インジケータ１０８を表示するように構成される。

装置１０２によって表示され得るガイダンス・インジケータ１０８の例を図２に示す。上述のように、ガイダンス・インジケータ１０８は、いくつかの例において、図２Ａに示されるように、画像又はマスク（ｍａｓｋ）を含んでもよい。画像又はマスク１０８は、ユーザが活動の意図された結果を見ることができるように、ユーザ１００の反射の上に投影又は重ね合わせることができる。ユーザ１００は、また、投影画像又はマスクを使用して、パーソナル・ケア活動を行う場所の境界を示すことができる。例えば、顔の毛を剃る又はトリミングするとき、ユーザは、所望の顔の毛のスタイルを達成するために、毛を剃る場所を示すために、画像を使用することができる。他の例では、図２Ｂに示すように、ガイダンス・インジケータ１０８は、対称的な顔の毛のスタイルを達成するために、もみあげなどの顔の毛を剃るか、又はトリムするかを示すための１つ以上の線（図１にも示すように）を含んでもよい。

他の実施例では、装置１０２は、スマートＴＶ、スマートフォン、タブレット・コンピュータ、又はラップトップ又はデスクトップ・コンピュータなどのコンピューティング・デバイスを含むか、又はその一部を形成することができる。いくつかの例では、ディスプレイ１０４は、コンピューティング・デバイスのディスプレイ画面を含んでもよく、カメラ１０６は、装置に内蔵又は接続されたカメラであってもよい。ディスプレイ１０４は、ユーザの反射ではなく、ユーザ１００の画像又はライブ・ビデオ・ストリームを表示することができる。画像又は一連の画像は、カメラ１０６によってキャプチャされてもよい。

一般に、ディスプレイ１０４は、反射又はキャプチャされた画像であってもよいユーザ１００の表示１１０を表示すると考えられる。いくつかの実施形態では、装置１０２は、カメラ１０６を含まないかもしれないが、遠隔画像収集システムのような外部ソースから画像データ、一連の画像又はフレーム（例えば、ビデオ・ストリーム）を取得してもよい。

装置１０２が、ユーザ１００の表示１１０に対して正確な位置にガイダンス・インジケータ１０８を正確に提示することができるためには、装置は、ユーザの位置及び向きを正確に知る必要がある。いくつかの実施形態において、装置１０２は、例えばユーザの目又は口の角、ユーザの鼻又は顎の縁、又はユーザの眉の端のような顔の特徴又はランドマークを検出するために、顔ランドマーク検出（ＦＬＤ：ｆａｃｅ ｌａｎｄｍａｒｋ ｄｅｔｅｃｔｉｏｎ）アルゴリズム又はエンジンを使用することができる。このような特徴は、人間の顔の標準的又は一般的な特徴であると考えられる。ＦＬＤアルゴリズムは、このような特徴を識別することができ、十分な数の特徴がカメラ１０６によって取得された特定の画像内に見える場合、画像内の顔の向き及び位置を決定することができる。

ユーザの顔又は頭の特定のランドマーク又は特徴がＦＬＤアルゴリズムによって検出され、識別されると、信頼値が決定され、その特定のランドマークと関連付けられる。信頼値は、ＦＬＤアルゴリズムがランドマークの位置の決定にどの程度自信があるかを示すものである。他の近傍のランドマークの位置も決定できれば、信頼値は比較的高いかもしれない。逆に、近傍の、又は隣接する、他のランドマークの位置が決定できない場合、特定のランドマークの信頼値は、比較的低くてもよい。例えば、そのランドマークが画像をキャプチャするカメラ１０６の視野から外れるように、ユーザの顔が回転、傾斜、又は方向付けられる場合、ランドマークの位置は、決定できないことがある。同様に、例えば、ランドマークとカメラ１０６との間に配置された手又はパーソナル・ケア器具のような物体によって、ランドマークがカメラの視界から覆われている場合、ランドマークの位置を決定することはできない。

ユーザの頭部の個々のランドマークに関連する信頼値は、ユーザ１００の頭部の位置の全体的な信頼値を決定するために使用されてもよい。例えば、個々のランドマークの信頼値を組み合わせて、頭部の位置における全信頼値を与えることができる。頭部に関連する信頼値が定義されたしきい値を下回る場合、装置は、ユーザの頭部の位置が正確に決定できないと結論することができる。

本発明によれば、ガイダンス・インジケータ１０８は、１つ以上の定義された条件のそれぞれが満たされる場合にのみ表示することができる。特に、条件は、ユーザ１００の頭部の位置に関係してもよい。言い換えれば、１つ以上の条件又は基準が設定され（例えば、装置１０２に関連する処理装置にプログラムされる）、条件又は基準のすべてが満たされる場合にのみ、ガイダンス・インジケータ１０８は、ディスプレイ１０４上に表示される。いくつかの実施形態において、装置１０２は、ガイダンス・インジケータ１０８を表示するために、１つ以上の条件（すなわち、すべての条件ではない）のみが満たされることを要求してもよい。設定可能な種々の条件を、図３～図７を参照して以下で検討する。

適用される場合、装置１０２がガイダンス・インジケータ１０８をユーザ１００に対して表示するために満たさなければならない第１の条件又は基準は、頭部の位置に関連する情報が、正確であれば、ユーザの頭部の位置が定義されたしきい値レベルに決定することができることを示さなければならないということである。上述のように、ユーザ１００の頭部の位置は、顔のランドマークのいくつかがカメラ１０６に見えなければ、最低限の信頼水準まででは決定できないことがある。図３は、ビデオ・ストリームからの個々のフレーム（すなわち、一連のキャプチャされた画像からの個々の画像）の一例を示す図であり、この場合、顔の毛をトリミングするパーソナル・ケア活動を行うユーザ１００を示す。図３に示される例では、ユーザ１００の表示１１０の一例がディスプレイ１０４上に提示される。この例では、トリマー又はシェーバーなどのヘア・カッティング装置１１２が、ユーザの顔の毛をトリミングするために使用されており、従って、カメラ１０６による視界からユーザ１００の頭部の一部を見えなくしている。ヘア・カッティング装置１１２は、カメラ１０６の視界から顔のランドマークの一部をブロックするため、装置１０２は、それらの位置を正確に決定することができず、従って、頭部の位置及び向きを高い信頼水準に決定することができない。装置１０２が頭部の正確な位置を決定することができない場合、頭部の表示１１０に対して正確にガイダンス・インジケータ１０８をディスプレイ上に配置することができない。従って、頭部の表示１１０に対してガイダンス・インジケータ１０８を不正確に提示するリスクを回避するために、装置は、第１の条件が満たされないと決定し、従って、ガイダンス・インジケータを提示しない。

いくつかの実施形態では、装置１０２は、頭部の決定された位置に関連する信頼水準を決定し、信頼水準を定義されたしきい値と比較する。決定された信頼水準がしきい値を超える（すなわち、より高い）場合、装置１０２は、条件が満たされていると見なすことができる。言い換えれば、頭部の位置の信頼性又は頭部の顔の特徴の位置の信頼性が定義された信頼水準を超える場合、頭部の位置は、定義された精度のしきい値レベルに決定されると考えられる。従って、ユーザの頭部のいくつかのランドマークは、カメラの視野から覆い隠されてもよいが（例えば、ヘア・カッティング装置１１２又はユーザの手によって）、頭部の位置が依然として確実に決定され得るので、ガイダンス・インジケータ１０８は依然として提示されてもよい。

適用された場合、装置１０２がガイダンス・インジケータ１０８をユーザ１００に対して表示するために満たさなければならない第２の条件又は基準は、頭部の位置に関する情報が、定義された期間にわたる頭部の位置の変化が定義されたしきい値未満であることを示さなければならないことである。言い換えれば、ユーザの頭部は、定義された時間内に、過度に遠くに及び／又は過度に速く動いてはいけない。いくつかの実施形態では、定義された期間は、ある期間（例えば、０．５秒）を含んでもよく、他の実施形態では、定義された期間は、一連の画像において第１の画像と第２の画像をキャプチャする間の期間を含んでもよい。従って、一連の画像における第１の画像と第２の画像との間で頭部の位置の変化を測定することができる。この条件の一例を図４に示す。図４は、例示的に、ディスプレイ１０４上に提示されるユーザ１００の頭部の表示１１０を示す。この例では、定義された期間に、又は一連の画像の第１の画像と第２の画像との間で、頭部の表示１１０は、第１の位置１１４ａから第２の位置１１４ｂに移動した。カメラ１０６によってキャプチャされる（又は処理のために装置１０２によって受け取られる）各画像又はフレームに対して、各ランドマークの位置は、例えば、装置に関連する記憶媒体に、記録される。例えば、各画像に対して、座標集合は、各可視ランドマークに対して決定されてもよい。一連の画像における複数の連続画像における各ランドマークの座標を比較することにより、装置１０２は、ユーザの頭部の動きの尺度を決定することができる。例えば、いくつかの実施形態では、カメラ１０６は、毎秒２０フレームの速度（ｆｐｓ）で画像をキャプチャすることができる。装置１０２は、頭部の動きを測定するために使用するために、３秒の画像（すなわち６０の画像）をメモリに記憶することができる。

装置１０２は、単一のランドマーク若しくは一組のランドマークの移動に基づいて、又は例えば可視のランドマークの座標の平均から計算された画像内の点の移動に基づいて、ユーザ１００の頭部の移動を決定することができる。このような平均座標値が特定の画像に対して計算される場合、それは、一連の画像の中の前の画像から計算される参照座標値又はメモリに記憶された画像から計算される平均参照座標値（例えば、以前の６０個の画像の少なくとも一部からの平均）と比較されてもよい。計算された座標値と基準座標値の間の移動が定義されたしきい値より小さい場合、第２の条件は満たされるとみなされる。いくつかの実施形態において、第１の画像と第２の画像との間の頭部の位置の変化の定義されたしきい値は、画像の幅又は高さの１０％未満の変化を含むことができる。他の実施形態では、定義されたしきい値は、画像の高さ又は幅の異なるパーセンテージ（例えば、６％）であり得る。

上述のように、画像のセットは、装置１０２に関連するメモリに記憶される。いくつかの実施形態では、メモリは、最新の画像セット（例えば、最新の６０フレーム）が記憶されるように、先入れ先出し（ＦＩＦＯ）型メモリであってもよい。新しい画像でメモリを更新するたびに、新しい平均基準座標値が計算される。他の実施形態では、ローリング平均（ｒｏｌｌｉｎｇ ａｖｅｒａｇｅ）は、例えば、新しいフレームがキャプチャされるたびに新しい平均座標値を計算し、計算された平均座標値を基準値として使用することによって計算される。いくつかの実施形態では、いくつかのランドマークの位置は、例えば、決定された位置に関連する信頼値に基づいて重み付けされてもよい。従って、より高い信頼水準に既知のポジションは、より低い信頼水準に既知のポジションのおかげで、より強く重み付けされ得る。

適用される場合、装置１０２がガイダンス・インジケータ１０８をユーザ１００に表示するために満たさなければならない第３の条件又は基準は、頭部の位置に関する情報が、ディスプレイ１０４に対する頭部の向きが定義された角度範囲内にあることを示さなければならないことである。言い換えれば、ユーザはディスプレイ１０４に向いているか、又はディスプレイの法線から定義された角度よりも小さく、頭部を回転又は傾斜しなければならない（ヨーを変えるためには左又は右に、ピッチを変えるためには上又は下に）。例えば、ユーザの視線は、例えば、図６及び図７に示されるように、ユーザの顔からまっすぐ前方に延びる線であると考えられ、ユーザの視線からディスプレイの法線までの角度を計算することができる。いくつかの実施形態では、定義された角度範囲は１５度とすることができ、一方、他の実施形態では、定義された角度範囲は、例えば、５度、１０度又は２０度とすることができる。一般に、定義された角度範囲は、法線から２５度未満であってもよい。図５は、ディスプレイ１０４上に提示されるユーザ１００の頭部の表示１１０を示す。この例では、頭部は、ディスプレイ１０４に対して回転される（すなわち、ユーザが直接ディスプレイに顔を向けていない）。このような例において、ユーザ１００の頭部の画像をキャプチャするカメラ１０６は、頭部のランドマークのすべてを見ることができず、従って、装置１０２は、すべてのランドマークの位置又は頭部の位置を正確に決定することができない。

図６は、例示的に、ユーザ１００の頭部が、ディスプレイ１０４に対して２つの向きにあることを示す。図６Ａにおいて、ユーザの視線がディスプレイの法線と一直線になるように、頭部は、ディスプレイ１０４に向いている。図６ではディスプレイの法線を破線で示す。図６Ｂにおいて、頭部は、ユーザの視線がディスプレイの法線と一直線にならないように、頭部は回転している。

上述のように、ユーザの視線が、ディスプレイ１０４の法線の定義された角度範囲内にあると装置が決定する場合、第３の条件又は基準が満たされるとみなされてもよい。いくつかの実施形態では、定義された角度範囲は、ディスプレイの法線の両側で２０度、１５度又は１０度であってもよい。

従って、装置１０２は、一組の定義された条件のすべての条件が満たされる場合にのみ、ガイダンス・インジケータ１０８を表示するようにプログラムされてもよい。上述の３つの条件のうちの１つ以上を装置に適用することができる。

いくつかの実施形態では、ガイダンス・インジケータ１０８の表示は、単にインジケータをディスプレイ１０４上に突然現わすことを含むことができるが、他の実施形態では、ガイダンス・インジケータの出現は、より段階的であり得る。例えば、いくつかの実施形態において、頭部の位置に関する情報が、定義された条件のすべてが満たされていることを示す場合、ガイダンス・インジケータ１０８は、徐々に現れてもよい。同様に、ガイダンス・インジケータ１０８がディスプレイ１０４に表示されている間に、頭部の位置に関する情報が、定義された条件のいずれかが満たされていないことを示す場合、ガイダンス・インジケータは徐々に消失し得る。

ガイダンス・インジケータ１０８の漸進的な出現／消失（ｇｒａｄｕａｌ ａｐｐｅａｒａｎｃｅ／ｄｉｓａｐｐｅａｒａｎｃｅ）は、図７に示す例を参照して説明する。図７の例は、ユーザがディスプレイに対して頭部を左又は右に回転することを示す（すなわち、ヨーの動き）。同じ原理は、ディスプレイに対する頭部の上下の傾き（ｔｉｌｔｉｎｇ ｍｏｖｅｍｅｎｔ）（すなわち、ピッチの動き）及び視線に沿った軸周りの回転（ｒｏｔａｔｉｏｎｓ）（すなわち、ロールの動き）にも適用される。

図７Ａにおいて、ユーザの視線が、ディスプレイ１０４の法線（図７においてＮとラベル付けされた）に整列されるようにユーザ１００の頭部は向きを合わせる。破線θｍｉｎ及びθｍａｘは、それぞれ、上述の第３の条件を満たしながら、ユーザ１００の頭部が回転できる最小及び最大の角度を表す。言い換えれば、ユーザの顔が角度範囲θｍｉｎからθｍａｘの範囲内に向いている間に、第３の条件が満たされ、ガイダンス・インジケータ１０８が表示される。点線θｌｉｍ＿ｍｉｎ及びθｌｉｍ＿ｍａｘは、頭部がそれぞれθｍｉｎ及びθｍａｘに向かって回転するにつれて、ガイダンス・インジケータ１０８が消失し始める角度を表し、又は頭部がθｍｉｎからθｌｉｍ＿ｍｉｎに向かって、又はθｍａｘからθｌｉｍ＿ｍａｘに向かって回転する場合に出現し始める角度を表す。

図７Ｂにおいて、ユーザの頭部はθｍａｘに向かって回転したが、角度範囲θｍｉｎからθｍａｘの範囲内であり、ガイダンス・インジケータ１０８が表示される。また、頭部の向きは、頭部の回転が角度θｌｉｍ＿ｍｉｎからθｌｉｍ＿ｍａｘの範囲内であるため、ガイダンス・インジケータ１０８が最大の可視性をもって表示され、消え始めていない。ガイダンス・インジケータの可視性は、図７Ａ、７Ｂ、７Ｃのディスプレイの上のグラフに示されている。

図７Ｃにおいて、ユーザの頭部は、図７Ｂにおいてよりもさらに回転し、この場合、角度範囲θｍｉｎからθｍａｘを越えて回転する。従って、ガイダンス・インジケータ１０８は徐々に消失し、ユーザ１００には見えなくなる。

ユーザの頭部がθｌｉｍ＿ｍａｘとθｍａｘの間の角度に回転される場合、ガイダンス・インジケータ１０８は、完全に見える状態から見えない状態に移行する間、ユーザに部分的に見えるようになる。従って、ガイダンス・インジケータ１０８の可視性は、頭部の位置が定義された条件からずれるレベルの関数として低下する。いくつかの実施形態では、ガイダンス・インジケータ１０８は、徐々に消失するにつれて、フェードして（ｆａｄｅ）もよい。

ガイダンス・インジケータ１０８の出現と類似の方法で、ユーザ１００の頭部がθｍａｘからθｌｉｍ＿ｍａｘ（又はθｍｉｎからθｌｉｍ＿ｍｉｎ）に回転すると、ガイダンス・インジケータ１０８が徐々に現れてもよい。

図７に示される例は、上述の第３の条件に関連する。しかしながら、ガイダンス・インジケータ１０８の漸進的な出現及び消失は、頭部が他の条件を満たす位置に近づくか又は逸脱するにつれて生じ得る。例えば、ユーザ１００がヘア・カッティング装置１１２をその顔の上を移動させ、ユーザの頭部の位置に対する信頼性が低下すると、ガイダンス・インジケータ１０８の可視性は低下してもよい（上述の第１の条件におけるように）。同様に、ユーザの頭部の移動速度がしきい値レベルまで増加するにつれて、ガイダンス・インジケータ１０８の可視性は、低下してもよい（上述の第２の条件におけるように）。

従って、ガイダンス・インジケータ１０８の可視性は、定義された条件を満たすための頭部の位置の近さの関数として変化し得る。このようにして、ユーザ１００は、条件が満たされている（この場合、ガイダンス・インジケータ１０８は完全に見える）、満たされていない（この場合、ガイダンス・インジケータ１０８は見えない）、又はほぼ満たされている（この場合、ガイダンス・インジケータ１０８は、例えば、フェード状態で部分的に見える）、を容易に理解することができる。

ガイダンス・インジケータ１０８の可視性を、単にインジケータを表示又は消失させるのではなく、徐々に調整することによって、ユーザ１００は、自身の動作のどれが可視性の変化をもたらしたかを理解することができる。例えば、ユーザがガイダンス・インジケータ１０８を消失し始める程度まで自分の頭部を回転させる場合、ユーザは、インジケータを完全に見えるようにするために、直感的に自身の頭部を回転させることができる。従って、満たされている定義された条件からの逸脱のレベルの関数として、ガイダンス・インジケータの可視性を変化させることによって、ユーザは、ディスプレイに対する彼の位置に関するフィードバックを与えられる。

図８は、ガイダンス・インジケータ１０８をユーザ１００に表示する方法２００の一例を示すフローチャートである。方法２００は、ステップ２０２において、ユーザ１００の頭部の一連の画像を受信することを含む。一連の画像は、ビデオ・ストリームのフレームを含んでもよく、外部カメラなどの遠隔ソースから受信してもよく、又はこの方法を実行する装置１０２に接続又は関連付けられたカメラ１０６によってキャプチャされてもよい。この方法はまた、ステップ２０４において、一連の画像の各画像から、ユーザ１００の頭部の位置に関連する情報を決定することを含む。決定２０４は、装置１０２に関連する処理装置によって実行されてもよい。ステップ２０６において、方法２００は、頭部の位置に関する１つ以上の定義された条件のそれぞれが満たされる場合にのみ、ユーザ１００の頭部の表示に関連するガイダンス・インジケータ１０８をディスプレイ画面１０４上にユーザに対して表示することを含む。条件は、上述の３つの条件のうちの１つ以上を含み得る。例えば、頭部の位置に関する定義された条件は、以下のｉ）頭部の位置に関する情報は、頭部の位置が定義されたしきい値レベルの精度で決定され得ることを示すこと、ｉｉ）頭部の位置に関する情報は、定義された期間にわたる頭部の位置の変化が定義されたしきい値未満であることを示すこと、及びｉｉｉ）頭部の位置に関する情報は、ディスプレイ画面に対する頭部の向きが定義された角度範囲内にあることを示すこと、うちの１つ以上を含む。いくつかの実施形態では、処理装置は、ユーザ１００の頭部の位置に関する情報に基づいて、条件が満たされるか否かを決定することができる。いくつかの実施形態では、ガイダンス・インジケータ１０８は、頭部の位置に関する定義された条件（例えば、上述の第１、第２及び第３の条件）のすべてが満たされる場合にのみユーザに表示されてもよく、他の実施形態では、ガイダンス・インジケータ１０８は、１つの（例えば、第１の）条件のみが満たされる場合にユーザに表示されてもよい。

本発明はまた、ユーザにガイダンスを提供するための装置を提供し、これは方法１００を実施するために使用することができる。図９は、そのような装置３００の一例を概略的に示す。上述の装置１０２であってもよい装置３００は、ユーザ１００の頭部の一連の画像を受信するための画像化ユニット３０２を備える。装置３００はまた、一連の画像の各画像から、ユーザ１００の頭部の位置に関する情報を決定するための処理ユニット３０４を含む。装置３００はまた、ディスプレイ１０６のようなディスプレイ画面３０６を含む。処理ユニット３０４は、頭部の位置に関する１つ以上の定義された条件のそれぞれが満たされる場合にのみ、ユーザ１００の頭部の表示に関連するガイダンス・インジケータ１０８をディスプレイ画面３０６上に表示するように構成される。例えば、頭部の位置に関する定義された条件は、以下のｉ）頭部の位置に関する情報は、頭部の位置が定義されたしきい値レベルの精度で決定され得ることを示すこと、ｉｉ）頭部の位置に関する情報は、定義された期間にわたる頭部の位置の変化が定義されたしきい値未満であることを示すこと、及びｉｉｉ）頭部の位置に関する情報は、ディスプレイ画面に対する頭部の向きが定義された角度範囲内にあることを示すこと、うちの１つ以上を含む。

装置３００の代替の実施形態を図１０に示す。図１０において、装置３００は、図９の装置と同様であるが、ユーザの頭部の一連の画像をキャプチャするためのカメラ３０８をさらに含む。カメラ３０８は、上述のカメラ１０６と同じであってもよい。装置３００はまた、受信された一連の画像及びユーザ１００の頭部の位置に関する決定された情報のうちの少なくとも１つを記憶するための記憶媒体３１０を含んでもよい。

装置３００は、スマートＴＶ、スマート・ミラー、スマートフォン、タブレット・コンピュータ、ラップトップ・コンピュータ及びデスクトップ・コンピュータのうちの１つを含んでもよい。

開示された実施形態の変形は、図面、開示、及び添付の特許請求の範囲の検討から、請求項された発明を実施する当業者によって理解され、実行され得る。請求項において、「含む（ｃｏｍｐｒｉｓｉｎｇ）」という語は、他の要素又はステップを排除せず、また、不定冠詞「１つの（ａ）」又は「１つの（ａｎ）」は、複数の要素を排除しない。単一のプロセッサ又はその他のユニットは、請求項に記載されたいくつかの項目の機能を遂行することができる。特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせを有利に使用することができないことを示していない。コンピュータ・プログラムは、他のハードウェアと共に又はその一部として供給される光記憶媒体又は固体媒体のような適切な媒体上で記憶／配布することができるが、インターネット又は他の有線又は無線通信システムを介して他の形式で配布することもできる。

請求項中の参照符号は、範囲を限定するものと解釈してはならない。

Claims (15)

1. ガイダンス・インジケータをユーザに対して表示する方法であって、
   前記ユーザの頭部の一連の画像を受信することと、
   前記一連の画像の各画像から、前記ユーザの前記頭部の位置に関する情報を決定することと、
   前記頭部の前記位置に関する１つ以上の定義された条件のそれぞれが満たされる場合にのみ、前記ユーザの前記頭部の表示に関連するガイダンス・インジケータをディスプレイ画面上に表示することによって、決定される前記頭部の前記位置に対して適切に置かれていることを表示によって前記ユーザに提供することと、
   を含み、
   前記頭部の前記位置に関する前記定義された条件は、
   ｉ）前記頭部の前記位置に関する前記情報は、定義された期間にわたる前記頭部の前記位置の変化が定義されたしきい値未満であることを示すこと、及び
   ｉｉ）前記頭部の前記位置に関する前記情報は、前記ディスプレイ画面に対する前記頭部の向きが定義された角度範囲内にあることを示すこと、
   の１つ以上を含む、方法。
2. 前記１つ以上の定義された条件に加えて、前記頭部の前記位置に関する前記情報は、前記頭部の前記位置が定義された精度のしきい値レベルまで決定可能であることを示す場合、前記ガイダンス・インジケータを表示する、請求項１に記載の方法。
3. 前記頭部の前記位置の信頼度又は前記頭部の顔の特徴の位置の信頼度が定義された信頼水準を超える場合に、前記頭部の前記位置が定義された精度のしきい値レベルに決定されるとみなされる、請求項２に記載の方法。
4. 前記定義された期間にわたる前記頭部の前記位置の前記変化の前記定義されたしきい値は、前記画像の幅又は高さの１０％未満を含む、請求項１乃至３のいずれか１項記載の方法。
5. 前記定義された角度範囲は、前記ディスプレイ画面に対する法線から１５度を含む、請求項１乃至４のいずれか１項記載の方法。
6. 前記一連の画像が、前記ディスプレイ画面に関連するカメラを介して受信される、請求項１乃至５のいずれか１項記載の方法。
7. 前記ガイダンス・インジケータが、パーソナル・ケア活動をする前記ユーザを支援するための線、テキスト、又は画像のうちの少なくとも１つを含む、請求項１乃至６のいずれか１項記載の方法。
8. 前記ガイダンス・インジケータを表示することは、前記頭部の前記位置に関する前記情報が、前記定義された条件のすべてが満たされていることを示すとき、前記ガイダンス・インジケータを徐々に出現させることを含む、請求項１乃至７のいずれか１項記載の方法。
9. 前記ガイダンス・インジケータの可視性の度合いは、前記定義された条件を満たすための前記頭部の前記位置の近さの関数として変化する、請求項８に記載の方法。
10. 前記ディスプレイ画面に前記ガイダンス・インジケータが表示されている間に、前記頭部の前記位置に関する前記情報が、前記定義された条件のいずれかをもはや満たしていないことを示す場合、前記ガイダンス・インジケータを徐々に消失させること、をさらに含む、請求項１乃至９のいずれか１項記載の方法。
11. 前記ガイダンス・インジケータの可視性は、前記定義された条件からの前記頭部の前記位置のずれのレベルの関数として減少する、請求項１０に記載の方法。
12. ユーザに対してガイダンスを提供するための装置であって、
    前記ユーザの頭部の一連の画像を受信するための画像化ユニットと、
    前記一連の画像の各画像から、前記ユーザの前記頭部の位置に関する情報を決定するための処理ユニットと、
    ディスプレイ画面と、
    を含み、
    前記処理ユニットは、前記頭部の前記位置に関する１つ以上の定義された条件のそれぞれが満たされる場合にのみ、前記ユーザの前記頭部の表示に関連するガイダンス・インジケータをディスプレイ画面に表示することによって、決定される前記頭部の前記位置に対して適切に置かれていることを表示によって前記ユーザに提供するように構成され、
    前記頭部の前記位置に関する前記定義された条件は、
    ｉ）前記頭部の前記位置に関する前記情報は、定義された期間にわたる前記頭部の前記位置の変化が定義されたしきい値未満であることを示すこと、及び
    ｉｉ）前記頭部の前記位置に関する前記情報は、前記ディスプレイ画面に対する前記頭部の向きが定義された角度範囲内にあることを示すこと、
    の１つ以上を含む、装置。
13. 前記ユーザの前記頭部の前記一連の画像をキャプチャするためのカメラをさらに含む、請求項１２に記載の装置。
14. 前記受信された一連の画像及び前記ユーザの前記頭部の前記位置に関する前記決定された情報のうちの少なくとも１つを記憶するための記憶媒体をさらに含む、請求項１２又は１３に記載の装置。
15. 前記装置が、スマートＴＶ、スマート・ミラー、スマートフォン、タブレット・コンピュータ、ラップトップ・コンピュータ及びデスクトップ・コンピュータのうちの１つを含む、請求項１２乃至１４のいずれか１項記載の装置。

Images