JP2023526011A - ディスプレイズームレベルの決定 - Google Patents

Abstract

一実施形態において、コンピュータにより実施される方法１００が記載されている。方法は、ユーザのイメージングデータから特定の顔面ジェスチャを識別するステップ１０２を有する。方法は、特定の顔面ジェスチャがユーザの顔を表示するのに用いられる特定のズームレベルを示すかを決定するステップ１０４をさらに有する。ユーザの顔を表示するのに用いられる以前に決定されたズームレベルの代わりに、特定のズームレベルが用いられるべきであると決定するステップに応答して、ユーザの顔のビデオ画像を示しているディスプレイは、特定のズームレベルと以前に決定されたズームレベルとの差に基づいて、ビデオ画像上のユーザの顔の少なくとも一部の表示されたサイズを変更させられる。

Description

本発明は、ディスプレイズームレベルを決定するための方法、装置及び有形の機械可読媒体に関する。

パーソナルケア活動に対応するユーザは、ミラーを用いて、この活動を支援する。ユーザは、自分自身をミラーで見るとき、適切にミラーの固定フレーム内で自分の顔の位置決めを調整する。パーソナルケア活動を支援する新たな技術は、いわゆるスマートミラーである。スマートミラーは、ユーザの反射又はユーザの反射の表現（例えば、ディスプレイ上の）に加えて、ユーザに強化された視覚情報を提供する。この強化された視覚情報は、ユーザのパーソナルケア活動、例えば、健康管理モニタリング、セルフケア（例えば、口腔衛生の検査及び維持、スキンケアへの対応、化粧）、身繕いなどを支援する。スマートミラーに加えて、ユーザの視覚表現を表示することができるユーザデバイス、例えば、スマートフォン、タブレット、スマートウォッチ、拡張現実眼鏡及び／又はディスプレイを有する他の任意のデバイスは、（例えば、ユーザの画像を獲得するオンボードデバイスカメラのようなイメージングデバイスを用いることにより）スマートミラー技術に類似の機能を提供する。

いくつかのパーソナルケア活動は、既存の技術を用いて実行するのが困難である。例えば、ユーザの顔又は頭部の特定の部分は、反射において、又は、ユーザの反射の表現においてディスプレイで見るのが困難である。ユーザが自分の顔又は頭部の特定の部分を視覚化する際に支援可能である場合、ユーザは、特定のパーソナルケア活動を実行することがより容易であると分かる。

本願明細書において記載されている態様又は実施形態は、ユーザが自分の顔又は頭部の特定の部分を視覚化する際に支援することに関する。本願明細書において記載されている態様又は実施形態は、ユーザの反射の表現を表示するためにミラー又はディスプレイの前でパーソナルケア活動を実行しているユーザに関連付けられた１つ又は複数の問題を取り除く。

第１の態様において、方法が記載されている。方法は、コンピュータにより実施される方法である。方法は、ユーザのイメージングデータから特定の顔面ジェスチャを識別するステップを有する。方法は、特定の顔面ジェスチャがユーザの顔を表示するのに用いられる特定のズームレベルを示すかを決定するステップをさらに有する。方法は、ユーザの顔を表示するのに用いられる以前に決定されたズームレベルの代わりに、特定のズームレベルが用いられるべきであると決定するステップに応答して、特定のズームレベルと以前に決定されたズームレベルとの差に基づいて、ユーザの顔のビデオ画像を示しているディスプレイに、ビデオ画像上のユーザの顔の少なくとも一部の表示されたサイズを変更させるステップをさらに有する。

第１の態様に関するいくつかの実施形態が後述される。

いくつかの実施形態において、イメージングデータから特定の顔面ジェスチャを識別するステップは、基準の方向に対してユーザの頭部の方向を識別するステップを有する。識別された方向は、用いられる特定のズームレベルを示す。

いくつかの実施形態において、ユーザのイメージングデータから特定の顔面ジェスチャを識別するステップは、ユーザが特定の顔面ジェスチャを実行したか否かを決定するために、基準点又は基準軸に対するユーザの顔の位置を追跡するステップを有する。基準点又は基準軸に対するユーザの顔の位置を追跡するステップは、顔面ランドマークと基準点との間の距離及び／又は基準軸に対するユーザの頭部の方向を、用いられる特定のズームレベルに対する変化を示す閾値と比較するステップを有する。

いくつかの実施形態において、ユーザの頭部の方向のための閾値は、ユーザの頭部ヨーのために１度と４５度との間であり、ユーザの頭部ピッチのために１度と４５度との間である。

いくつかの実施形態において、特定のズームレベルを決定するステップは、基準点又は基準軸に対するユーザの顔の位置の変化が、用いられる特定のズームレベルを示す特定の顔面ジェスチャに対応するか否かを決定するステップを有する。

いくつかの実施形態において、基準点又は基準軸は、ユーザの頭部の基準のヨー、ユーザの頭部の基準のピッチ、及び／又は、ユーザの頭部とディスプレイ又はイメージングデータを獲得するためのイメージングデバイスとの間に定義される軸に対するユーザの頭部の基準の横方向オフセットに対応する。

いくつかの実施形態において、特定の顔面ジェスチャは、それぞれ基準のヨー、基準のピッチ及び／又は基準の横方向オフセットに対するユーザの頭部のヨー、ピッチ及び／又は横方向オフセットの変化を備える。

いくつかの実施形態において、特定のズームレベルが用いられるべきであると決定するステップは、ユーザの頭部のヨー、ピッチ及び／又は横方向オフセットの変化に基づく。用いられる特定のズームレベルは、それぞれ基準のヨー、基準のピッチ及び／又は基準の横方向オフセットに対するユーザの頭部のヨー、ピッチ及び／又は横方向オフセットの差に依存して連続的に変化するか、又は、それぞれ閾値を越える、基準のヨー、基準のピッチ及び／又は基準の横方向オフセットに対するユーザの頭部のヨー、ピッチ及び／又は横方向オフセットの差に応じて急激に変化する。

いくつかの実施形態において、方法は、ユーザの顔の寸法、ユーザの顔とイメージングデータを獲得するためのイメージングデバイスとの間の距離及び／又はディスプレイの解像度に基づいて、ユーザの顔が完全にディスプレイ上に表示されることを確実にするために、第１の特定のズームレベルが用いられるべきであると決定するステップと、ユーザが特定の顔面ジェスチャを実行したことを識別すると、ユーザの顔の少なくとも一部を示すために、第２の増加した特定のズームレベルが用いられるべきであると決定するステップとを有する。

いくつかの実施形態において、第１及び／又は第２の特定のズームレベルは、画像品質測定基準が、第１及び第２の特定のズームレベルの両方でユーザの顔をディスプレイ上に表示するために満たされるように、ディスプレイの解像度及び／又は第１及び第２の特定のズームレベルでユーザの顔を表示するのに用いられるディスプレイの比例エリアを定義する特定のフィルファクタに基づいて計算される。

いくつかの実施形態において、方法は、ユーザの顔のビデオ画像を示しているディスプレイに、特定のズームレベルでユーザの顔の少なくとも一部を示させるステップと、識別された特定の顔面ジェスチャに基づいて、第１及び第２の特定のズームレベルの一方が、第１及び第２の特定のズームレベルの他方の代わりに用いられることを決定するステップと、を有する。方法は、ディスプレイに、時間遅延の後用いられる第１又は第２の特定のズームレベルでユーザの顔の少なくとも一部を示させるステップをさらに有する。

いくつかの実施形態において、方法は、イメージングデバイスにイメージングデータを獲得させるステップを有する。

第２の態様において、有形の機械可読媒体が記載されている。有形の機械可読媒体は、命令を格納し、この命令は、少なくとも１つのプロセッサによって実行されるとき、少なくとも１つのプロセッサに第１の態様に従う方法又は任意の関連した実施形態を実施させる。

第３の態様において、装置が記載されている。装置は、処理回路を備える。処理回路は、ユーザのイメージングデータから特定の顔面ジェスチャを識別するように構成される識別モジュールを備える。処理回路は、特定の顔面ジェスチャがユーザの顔を表示するのに用いられる特定のズームレベルを示すかを決定するように構成される決定モジュールをさらに備える。処理回路は、ユーザの顔を表示するのに用いられる以前に決定されたズームレベルの代わりに、特定のズームレベルが用いられるべきであると決定することに応答して、特定のズームレベルと以前に決定されたズームレベルとの差に基づいて、ユーザの顔のビデオ画像を示しているディスプレイに、ビデオ画像上のユーザの顔の少なくとも一部の表示されたサイズを変更させるように構成される制御モジュールをさらに備える。

第３の態様に関する一実施形態が後述される。

いくつかの実施形態において、装置は、ディスプレイ及び／又はイメージングデータを獲得するためのイメージングデバイスをさらに備える。

本発明のこれら及び他の態様は、以下に記載されている実施形態を参照することで明らかになり、解明される。

本発明の例示的な実施形態は、単に実施形態として以下の図面を参照して記載されている。

一実施形態に従うディスプレイズームレベルを決定する方法を参照する。 一実施形態に従うユーザを支援するためのシステムの概略図である。 一実施形態に従うディスプレイズームレベルを決定するための装置の概略図である。 一実施形態に従うディスプレイズームレベルを決定する方法を参照する。 一実施形態に従うディスプレイズームレベルを決定するための装置の概略図である。 一実施形態に従うディスプレイズームレベルを決定するための装置の概略図である。 一実施形態に従うディスプレイズームレベルを決定するための機械可読媒体の概略図である。

図１は、一実施形態に従うディスプレイズームレベルを決定する方法１００（例えば、コンピュータにより実施される方法）を示す。例えば、方法１００は、ユーザの表現を示すときに用いるディスプレイ（例えば、スマートミラー又はユーザの視覚表現を表示することができる他のデバイス）のための特定のズームレベルの決定を容易にすることができる。したがって、ディスプレイ寸法、ユーザ（例えば、顔面）寸法及びディスプレイに対するユーザの近さのような要因に応じて、方法１００は、ユーザがディスプレイ上に拡大又は縮小されて示されるべきか否かを決定する。例えば、ディスプレイの寸法が十分に大きい場合、ユーザの画像は、ユーザの顔の実際の寸法と比較して拡大される。一方、ディスプレイの寸法がユーザの顔の実際の寸法より小さい場合、ユーザの顔の画像は、縮小されてディスプレイ上に示される。以下に詳述するように、ディスプレイのためのズームレベルの決定は、ユーザ入力に基づいて決定される。例えば、顔面ジェスチャのようなユーザ入力を用いて、ディスプレイのためのズームレベルを決定する。

方法１００は、ブロック１０２において、ユーザのイメージングデータから特定の顔面ジェスチャを識別するステップを有する。例えば、方法１００は、イメージングデータのフレーム間のユーザの動きが、認識可能な顔面ジェスチャか顔面の動きの手がかりに対応するか否かを決定することができる。

（例えば、顔ランドマーク検出アルゴリズムを用いた）顔面の追跡は、ユーザの顔の動きを検出するために実行される。ユーザの顔面の動きに関するこの情報は、それが特定の顔面ジェスチャに対応するか否かを見るために分析される。例えば、ユーザの顔面の動きに関する情報は、モデル（例えば、特定の顔面ジェスチャの画像シーケンスで訓練された機械学習モデル）に入力され、ユーザの顔面の動きが特定の顔面ジェスチャに対応するか否かを識別する。

一例において、顔面ジェスチャは、ユーザが、自分の表情を変えながら又は変えずに自分の頭部を動かすことを有する。他の例では、顔面ジェスチャは、ユーザが、自分の頭部を動かすか又は動かさずに自分の表情を変えることを有する。いずれにせよ、自分の頭部を動かすこと及び／又は自分の表情を変えることによるユーザの顔の動きは、特定の顔面ジェスチャ又は顔面の動きの他の手がかりに対応する。

一例において、（例えば、ユーザの頭部の基準の方向に対応する）基準の顔面位置は、（例えば、ユーザのイメージングデータを獲得するための）イメージングデバイス及び／又は（例えば、ユーザの顔の画像又はその他の視覚表現を示すための）ディスプレイに対して定義される。例えば、基準の顔面位置は、イメージングデバイス及び／又はディスプレイに対して自分の頭部のヨー、ピッチ、回転及び／又は横方向オフセットなしで（例えば、「基準の方向」）、イメージングデバイス及び／又はディスプレイをまっすぐに「見る」ようにユーザの顔が位置決めされることによって定義される。本願明細書において記載されているように、基準の方向は、イメージングデバイス及び／又はディスプレイに対するユーザの頭部の基準のヨー、ピッチ及び横方向オフセットを参照する。

以下でさらに詳細に述べられる一例において、ユーザは、例えば、自分の頭部のヨー、ピッチ、回転及び／又は横方向オフセットを変えることによって、自分の顔を動かす。自分の顔のこの種の動きは、基準の顔面位置から離れるか、又は、基準の顔面位置の方に向かう。一例において、閾値を超えるヨー及び／又はピッチの特定の変化による基準の顔面位置から離れるユーザの顔の動きは、「特定の」顔面ジェスチャに対応する。他の例では、（例えば、閾値を以前に超えた位置から）基準の顔面位置の方へのユーザの顔の動きは、「特定の」顔面ジェスチャに対応する。言い換えれば、閾値ヨー及び／又はピッチが定義され、閾値ヨー及び／又はピッチを越えるような顔面の動きの場合、この動きは、「特定の」顔面ジェスチャとみなされる。

いくつかの実施形態において、イメージングデータから特定の顔面ジェスチャを識別することは、基準の方向に対してユーザの頭部の方向を識別することを有する。識別された方向は、用いられる特定のズームレベルを示す。

一例において、ユーザの顔の動きが特定の顔面ジェスチャに対応することをモデルが示す場合、この指示を用いて、ユーザの顔がディスプレイ上に示されるやり方に特定の変化を引き起こすか、又は、どんな情報が現在ディスプレイ上に示されるかに対する何らかの他の変化を引き起こす。

ユーザの顔のすべての動きが、特定の顔面ジェスチャに対応するわけではない。したがって、一例において、ユーザが特定の顔面ジェスチャに対応する顔面の動きを実行しなかったことをモデルが示す場合、ユーザの顔がディスプレイ上に示されるやり方、又は、どんな情報がディスプレイ上に示されるかに対する変化はない。

方法１００は、ブロック１０４において、特定の顔面ジェスチャがユーザの顔を表示するのに用いられる特定のズームレベルを示すかを決定するステップをさらに有する。したがって、特定の顔面ジェスチャが識別されるとき、対応する（すなわち、特定の）ズームレベルを選択することができる。特定のズームレベルは、ユーザの顔をビデオ画像に表示するのに現在用いられる現在のズームレベル（例えば、以前に決定されたズームレベル）の代わりに選択される。

例えば、（例えば、所定の）顔面ジェスチャのセットが存在し、ユーザがその顔面ジェスチャを実行する場合、各顔面ジェスチャは、用いられる特定のズームレベルに関連付けられる。

方法１００は、ユーザの顔を表示するのに用いられる以前に決定されたズームレベルの代わりに、特定のズームレベルが用いられるべきであると決定するステップに応答して、ブロック１０６において、特定のズームレベルと以前に決定されたズームレベルとの差に基づいて、ユーザの顔のビデオ画像を示しているディスプレイに、ビデオ画像上のユーザの顔の少なくとも一部の表示されたサイズを変更させるステップをさらに有する。

他の要因、例えば、ディスプレイ解像度並びにイメージングデバイス及び／又はディスプレイからのユーザ距離は、ディスプレイの用途に対する適切なズームレベルであるものに影響を及ぼすが、顔面ジェスチャのセットのための特定のズームレベルは、比較のズームレベルを参照する。例えば、基準の顔面位置においてユーザの顔を示すための特定の（基準の）ズームレベルと、ユーザの頭部のヨー及び／又はピッチが閾値に等しいか又は閾値を超えるとき、ユーザの顔を示すための特定の（拡大された）ズームレベルと、の間の差は、要因に関連する（例えば、要因は、特定の拡大されたズームレベルと基準のズームレベルとの間の比率に関連する）。

したがって、特定のズームレベルが基準のズームレベルから拡大されたズームレベルに切り替わる場合、ディスプレイによって示される画像は、要因によって（さらに）拡大される。対応して、特定のズームレベルが拡大されたズームレベルから基準のズームレベルに切り替わる場合、ディスプレイによって示される画像は、要因によって縮小される。

ディスプレイ上に表示されるユーザの顔の量は、特定の要因、例えば、特定のズームレベル、ディスプレイの解像度、ユーザの実際の顔面寸法及び／又はユーザの顔とイメージングデバイス及び／又はディスプレイとの間の距離に依存する。一例において、ユーザの顔全体は、ディスプレイ上に表示される（例えば、特定のズームレベルが基準の顔面位置に対応する場合）。他の例では、ユーザの顔の一部（すなわち、部分）は、ディスプレイ上に表示される（例えば、特定のズームレベルが基準の顔面位置のために特定されるズームレベルと比較して拡大される場合）。

特定の顔面ジェスチャを実行することによって、ユーザは、ディスプレイに、ディスプレイのための特定のズームレベルを自動的に変更させ、例えば、ユーザのパーソナルケア活動を支援するために、ユーザの顔の少なくとも一部の表示されたサイズを変更させる。ユーザが自分の顔の特定の部分を見ることを困難にする特定の顔面位置が存在する。例えば、ユーザが（例えば、自分の頭部のヨー及び／又はピッチを変えることによって）基準の顔面位置に対して自分の頭部を回転させる場合、これは、ディスプレイに、ユーザの顔の少なくとも一部の拡大バージョンを示させる特定の顔面ジェスチャに対応する。ユーザの顔の少なくとも一部の拡大バージョンは、ユーザが自分の顔の特定の部分を見ることをより容易にし、このことは、ユーザのパーソナルケア活動を支援する。

一例において、ユーザの顔が基準の顔面位置にある場合、ユーザの顔は、ディスプレイサイズの９０％を占めるものとして示される。特定のズームレベルが拡大される場合、ユーザの顔の少なくとも一部（例えば、「顔面ゾーン」）又は頭部は、ディスプレイによって示される。いくつかの場合には、これは、ユーザの顔の部分が拡大されたので、ユーザの顔の一部がディスプレイにおいて見えないことを意味する。しかしながら、ディスプレイにより、ユーザが拡大せずに見るのが困難かもしれない自分の顔の一部又は頭部を見ることがより容易になる場合、ユーザは、パーソナルケア活動に集中することがより容易であると分かる。

図２は、一実施形態に従うユーザ２０２を支援するためのシステム２００を示す。システム２００は、装置２０４、例えば、スマートミラー又はディスプレイ（図示せず）を備える他のユーザデバイス又はユーザ２０２の視覚表現を表示することができる他のデバイスを備える。装置２０４は、ユーザ２０２のイメージングデータを獲得するためのセルフィーカメラ（図示せず）のようなオンボードイメージングデバイスを備える。図２において、ユーザ２０２は、ユーザ２０２が見ることができるように、ディスプレイ上に表示されるユーザ２０２の画像を獲得するオンボードイメージングデバイスに使用中に向いているように、装置２０４に向いている。

システム２００は、本願明細書において記載されている特定の方法（例えば、図１の方法１００又は後述する任意の方法）を実施するための処理回路２０６をさらに含む。図２の処理回路２０６は、装置２０４自体に対して別個のエンティティである。例えば、図２において、処理回路２０６は、サーバ又はクラウドベースのサービスのようなエンティティによって実施される。装置２０４及び処理回路２０６は、それらの間でデータを交換するために（例えば、処理回路２０６が装置２０４からイメージングデータを獲得するように、及び／又は、装置２０４のディスプレイ上に何が示されるかを制御するための命令を提供するように）通信可能に結合される。他の実施形態では、処理回路２０６は、装置２０４自体によって実施される。

ユーザ２０２は、種々のやり方で自分の頭部及び装置２０４の相対的な位置決めを変更する。２つの例の頭部の動きのタイプは、第１の垂直軸２０８ａ及び第２の垂直軸２０８ｂによって表現される。第１の軸２０８ａの周りの頭部回転は、ユーザが自分の頭部のピッチを変更すること（すなわち、自分の頭部を上又は下に動かすこと）に対応する。ピッチの影響の類似の変化は、ユーザの顔に対して上下に装置２０４を動かしながら、装置２０４をユーザの頭部に向いたままにすることによって観察される。第２の軸２０８ｂの周りの頭部回転は、ユーザが自分の頭部のヨーを変更すること（すなわち、自分の頭部を左又は右に向けること）に対応する。ヨーの影響の類似の変化は、ユーザの顔に対して左又は右に装置２０４を動かしながら、装置２０４をユーザの頭部に向いたままにすることによって観察される。

第１の軸２０８ａ及び第２の軸２０８ｂによって定義される面に垂直なさらなる軸２１０は、ユーザの頭部と装置２０４のディスプレイ及び／又はイメージングデバイスとの間に定義される。この例では、軸２１０は、装置２０４によって定義される面上の中心位置から垂直に延在する（例えば、装置２０４のディスプレイは、この種の面を定義し、ディスプレイの中心は、中心位置を参照する）。図２によって示すように、ユーザ２０２は、装置２０４に向いているので、「基準の方向」にいる。この点に関して、軸２１０に対するユーザの頭部の基準の横方向オフセットは、ユーザの顔の中心が軸２１０に整列するように存在する。

したがって、ユーザの頭部が、基準の横方向オフセットに対して横に、上に又は下に動く場合（すなわち、「横方向オフセットの変化」）、ユーザの顔の中心は、軸２１０にもはや整列しない。言い換えれば、ユーザ２０２は、自分の頭部又は装置２０４の向く方向を変えることなく、第１の軸２０８ａ及び第２の軸２０８ｂによって定義される面内で又は面に平行に装置２０４に対して自分の頭部を動かす。

相対的な位置決めのさらなるタイプは、ユーザ２０２が、さらなる軸２１０の周りで自分の頭部を回転させる及び／又は自分の頭部に対して装置２０４を動かして同じ「回転」の影響を生成する「回転」を含む。

装置２０４の観点から、ユーザの頭部の位置決めにおける任意の見かけの変化は、装置２０４に対するユーザの頭部のピッチ、ヨー、回転及び／又は横方向オフセットの変化として現れる。ユーザ２０２が特定の顔面ジェスチャを実行したか否かを決定するとき、システム２００は、これらのさまざまな潜在的な動きのタイプを考慮し、装置２０４のディスプレイ上に示されるものに対する変化を引き起こすべきか否かを決定する。

図３は、ユーザ３０２が（例えば、ディスプレイ３１０に対して自分の頭部を動かすことによって）特定の顔面ジェスチャを実行するとき、何が（例えば、図２の装置２０４のような装置の）ディスプレイ３１０に示されるかをより詳細に示す。

図３（ａ）から図３（ｃ）は、ユーザ３０２が（第１の軸３０８ａの周りで自分の頭部を回転させることによって）自分の頭部のピッチを変えていることを示す。図３（ａ）において、ユーザ３０２は、（例えば、「上方を見る」ために）ディスプレイ３１０に対して自分の頭部を上に回転させた。図３（ｂ）において、ユーザ３０２は、ディスプレイ３１０をまっすぐに見ている（例えば、「基準の顔面位置」）。図３（ｃ）において、ユーザ３０２は、（例えば、「下方を見る」ために）ディスプレイ３１０に対して自分の頭部を下に回転させた。図３（ｂ）において、ユーザ３０２は、（自分の実際の顔面寸法と比較して）ディスプレイ３１０上に拡大された形で示され、自分の顔全体は、自分の顔を示すために用いられるディスプレイ３１０の大部分でディスプレイにおいて見える。図３（ａ）において、ユーザの頭部のピッチに対する変化は、「特定の顔面ジェスチャ」とみなされるので、ディスプレイ３１０は、ユーザの顔のズームイン画面（すなわち、さらに拡大された画面）を示す。この例では、ユーザの顔の部分のみ（すなわち、自分の鼻及び口）が、拡大のレベルのためディスプレイ３１０において見えるが、他の例では、ディスプレイ３１０は十分に大きい、及び／又は、拡大のレベルは異なるので、ユーザの顔全体は、実質的に又は完全にディスプレイ３１０上で見える。類似のズームイン画面は図３（ｃ）に示され、ユーザの顔の部分のみ（すなわち、自分の目及び鼻）が見える。図３（ｂ）の顔面位置に戻ることは（すなわち、図３（ａ）又は３（ｃ）から）他の「特定の顔面ジェスチャ」とみなされるので、ディスプレイ３１０は、ユーザの顔の比較的ズームアウトされた画面を示す。

図３（ｄ）から図３（ｆ）は、ユーザ３０２が（第２の軸３０８ｂの周りで自分の頭部を回転させることによって）自分の頭部のヨーを変えていることを示す。図３（ｄ）において、ユーザ３０２は、ディスプレイ３１０に対して自分の頭部を右に回転させた。図３（ｅ）において、ユーザ３０２は、ディスプレイ３１０をまっすぐに見ている（例えば、「基準の顔面位置」）。図３（ｅ）は、図３（ｂ）と同一である。図３（ｆ）において、ユーザ３０２は、ディスプレイ３１０に対して自分の頭部を左に回転させた。図３（ｄ）において、ユーザの頭部のヨーに対する変化は、「特定の顔面ジェスチャ」とみなされるので、ディスプレイ３１０は、ユーザの顔の左側（すなわち、ユーザの左側）のズームイン画面（すなわち、さらに拡大された画面）を示す。類似のズームイン画面は、ユーザの顔の右側が示される図３（ｆ）に示される。

ユーザ３０２が、基準の顔面位置に対して特定の（例えば、閾値）量のピッチ及び／又はヨーによって自分の顔面位置を変えるとき、ディスプレイ３１０は、ユーザの顔（又は頭部）のズームイン画面を示すので、ユーザ３０２は、さもなければディスプレイ３１０において見るのが困難かもしれない自分の顔／頭部のその部分のためのパーソナルケア活動を実行することがより容易であると分かる。ズームイン／アウトは、ユーザ３０２が自分の顔面位置を変える及び／又は自分の顔／頭部に対してディスプレイ３１０を動かすことによって自動的に実行される。それゆえ、この自動的なズームイン／アウト機能によって、ユーザ３０２は、ディスプレイ３１０設定に対するいかなる変化を行うことについて考える必要なく、ディスプレイ３１０上に示されるものを直観的に変えることができる。言い換えれば、ユーザの顔又は頭部の見るのが困難なゾーンでのパーソナルケア活動に対応するためのユーザの顔面の動きは、ディスプレイ３１０にズームレベルを自動的に変えさせるので、ユーザ３０２は、任意の追加の入力をディスプレイ３１０に提供する必要なく、そのゾーンをより容易に見ることができる。

図４は、一実施形態に従うディスプレイズームレベルを決定する方法４００を参照する。方法４００は、図１のブロック１０２から１０６に対応する特徴を備え、それゆえ、図１に関して上記の特徴を参照する。同様に、図２のシステム２００及び／又は図３の装置に関して記載されている任意の特徴は、方法４００の説明において参照される。必要に応じて、図４の特定のブロックは省略される、及び／又は、図４の特定のブロックは図４によって描写されるのとは異なる順番で実施される。

いくつかの実施形態において、方法４００のブロック４０２において、イメージングデバイス、例えば、装置（例えば、図２の装置２０４）のオンボードカメラ又は他のイメージングデバイス（例えば、これは、装置２０４とは別個のエンティティとすることができる）は、イメージングデータを獲得させられる。このイメージングデータは、ユーザのライブ映像の形である及び／又はユーザ２０２の画像のシーケンスを備える。

イメージングデータを獲得すると、方法４００は、ブロック４０４において、顔検出及び／又は追跡を用いて（例えば、顔面ランドマーク検出アルゴリズムを用いて）イメージングデータからユーザの顔を検出するステップを有する。顔がイメージングデータにおいて検出されない場合、方法４００のブロック４０６において、方法４００は、（ブロック４０２において）顔が検出されるまで、イメージングデータをモニタし続ける。

しかしながら、一旦ブロック４０６において顔が検出されると、方法４００は、ユーザの顔面寸法の測定値がイメージングデータから決定されるブロック４０８に進む。例えば、ユーザの顔の長さ及び／又は幅は、イメージングデータから決定される。この種の情報は、ユーザの顔とイメージングデバイスとの間の距離を決定するために用いられる。

それゆえ、一例において、ユーザ２０２がイメージングデバイスに近接している（近い）場合、方法４００は、明らかに装置２０４の近くにいるようにユーザを示すのに用いるための適切なズームレベル（すなわち、拡大）を決定し、ユーザ２０２がイメージングデバイスから遠い（離れている）場合、方法４００は、明らかに装置２０４から離れているようにユーザを示すのに用いるための適切なズームレベルを決定する。

他の例では、ズームレベルは、ユーザの顔とイメージングデバイスとの間の距離に従って設定されるので、ユーザの顔は、特定のサイズで装置２０４のディスプレイ上に表示される（例えば、ユーザの顔は、ユーザがイメージングデバイスからどれくらい離れているかに関係なくディスプレイ上に同一サイズとして示される）。

ディスプレイの解像度は、ズームレベルを決定する際の要因である。例えば、ディスプレイが高解像度を有する場合、ズームレベルは、ユーザ２０２によって見られる画像を歪めるか又はピクセル化することなく、高倍率を提供するために設定される。しかしながら、ディスプレイが低解像度を有する場合、ズームレベルは、より低い倍率を提供し、ユーザ２０２によって見られる画像を歪めるか又はピクセル化することを減少する。

いくつかの実施形態では、ブロック４１０において、方法４００は、ユーザの顔が完全にディスプレイ上に表示されることを確実にするために、第１の特定のズームレベル（例えば、「基準のズームレベル」）が用いられるべきであると決定するステップを有する。この第１の特定のズームレベルは、ユーザの顔の寸法、ユーザの顔とイメージングデータを獲得するためのイメージングデバイスとの間の距離及び／又はディスプレイの解像度に基づく。第１の特定のズームレベルは、「セルフィーカメラ」画像において見られる通常のズームレベルではなく、拡大されたズームレベルである（ただし、これは、ユーザの顔とイメージングデバイスとの間の距離に依存する）。第１の特定のズームレベルは、ユーザの実際の顔面寸法に対して特定の比率（例えば、倍率１．７）であると計算され、ディスプレイ解像度も考慮する。

方法４００は、ブロック４１０において、ユーザ２０２が特定の顔面ジェスチャを実行したことを識別すると、ユーザの顔の少なくとも一部を示すために、第２の増加した特定のズームレベル（例えば、上記のような「エリアズームレベル」又は「拡大されたズームレベル」）が用いられるべきであると決定するステップをさらに有する。第２の特定のズームレベルは、（第１の特定のズームレベルに対して）定数係数によって計算され、ディスプレイの解像度に依存する。

いくつかの実施形態において、第１及び／又は第２の特定のズームレベルは、画像品質測定基準が、第１及び第２の特定のズームレベルの両方でユーザの顔をディスプレイ上に表示するために満たされるように、ディスプレイの解像度及び／又は第１及び第２の特定のズームレベルでユーザの顔を表示するのに用いられるディスプレイの比例エリアを定義する特定のフィルファクタに基づいて計算される。

ディスプレイの比例エリアは、ディスプレイエリアのどのくらい多くがユーザの顔を表示するのに用いられるかを参照する。

一例の画像品質測定基準は、ユーザの顔の一部を表示するための最小解像度である。デジタルズームが用いられる場合、解像度は、その一部が拡大されるとき低下する。一例において、ユーザの顔の一部が第１及び第２の特定のズームレベルの両方で、少なくとも最小解像度で表示される場合、画像品質測定基準が満たされる。したがって、第１及び第２の特定のズームレベルは、あまりに遠くをズームインするのを回避するように選択され、このことは、もはや満たされていない画像品質測定基準に関連付けられている。

一例において、方法４００は、ディスプレイの特定の割合がユーザの顔を示すために用いられることを確実にする。例えば、ディスプレイ幅及び／又は高さの第１の比率（例えば、６０％から９０％の間又は他の任意の適切な範囲）がユーザの顔を示すために用いられ（例えば、第１の特定のズームレベルであるとき）、ディスプレイ幅及び／又は高さの第２のより高い比率（例えば、７０％と１００％との間又は他の任意の適切な範囲）がユーザの顔を示すために用いられる（例えば、第２の特定のズームレベルであるとき）。ディスプレイの高さ及び／又は幅の１００％が用いられる場合、これは、特定のズームレベルがあまりに高いので、及び／又は、ディスプレイが特定のズームレベルでユーザの顔全体を示すにはあまりに小さいので、ユーザの顔のすべてが見えるわけではないことを示唆する。

第１及び第２のズームレベルの間の比率は、第１の割合に対する第２の割合の比を参照する。上述したように、用いられるズームレベルは、ユーザ２０２によって見られている歪み又は「ピクセル化」の影響を回避するために、換言すれば、画像品質測定基準が満たされることを確実にするためにディスプレイ解像度に依存する。

一旦第１及び第２の特定のズームレベルが決定されると、方法４００は、ディスプレイに、第１の特定のズームレベルでユーザを示させるブロック４１２に進む。これにより、ユーザ２０２は、最初にディスプレイにおいて自分の顔全体を見ることができる。

次に、測定は、方法４００のブロック４１４において実行され、ディスプレイに対するユーザの顔面位置を決定する（すなわち、イメージングデバイスによって観察されるユーザの頭部の方向に基づいて）。この例では、この測定は、ユーザの頭部のヨー及び／又はピッチを決定することを含む。上述したように、顔面ランドマーク検出を用いて、イメージングデータからユーザの顔面の動きを追跡する。

方法４００のブロック４１６において、測定が成功していないと決定される場合、方法４００は、現在のズームレベルが第２の特定のズームレベルに対応するか否かを決定するブロック４１８に進む。そうでない場合には、方法４００は、ブロック４１４に戻る。そうである場合、方法４００は、ブロック４１２において第１の特定のズームレベルへの戻りを遅延させるブロック４２０に進む。したがって、方法４００がディスプレイに対するユーザの現在の顔面位置を決定することができず、現在のズームレベルが第２の特定のズームレベルである場合、方法４００は、ディスプレイに第１の特定のズームレベルに戻らせる。遅延は、５００ｍｓのオーダ又はユーザ２０２がズームレベルの変化によって混乱するのを回避する他の適切な遅延である。

いくつかの例において、ズームレベルの変化は、（例えば、第１及び第２の特定のズームレベルの間の急激な変化によって）瞬間的であるか、又は、（例えば、第１及び第２の特定のズームレベルの間の緩やかな変化によって）滑らかである。

方法４００のブロック４１６において、測定が成功していると決定される場合、方法４００は、ユーザの顔面位置が特定の顔面ジェスチャに対応するか否かを決定するブロック４２２に進む。この例では、ブロック４２２は、基準の顔面位置に対するユーザの顔のヨー及び／又はピッチが閾値に等しいか又は閾値を超えるかを決定する。そうでない場合には、方法４００は、ブロック４１８に進む。そうである場合、方法４００は、現在のズームレベルが第２の特定のズームレベルであるか否かを決定するブロック４２４に進む。そうである場合、方法４００は、ブロック４１４に進む。言い換えれば、ユーザ２０２が特定の顔面ジェスチャを実行し、現在のズームレベルが第２の特定のズームレベルに設定される場合、方法４００は、現在のズームレベルが依然として第２の特定のズームレベルに維持されるべきであることを確実にするためにユーザの顔面位置の点検を継続する。

ブロック４２４において、現在のズームレベルが第１の特定のズームレベルであると決定される場合、方法４００は、ユーザの混乱を減少する遅延を伴って、ズームレベルが第２の特定のズームレベルに変更されるブロック４２６に進む。言い換えれば、ユーザ２０２が、（例えば、自分の頭部を、閾値を超えて動かすことによって）ズームレベルが増加されるべきであることを示す特定の顔面ジェスチャを実行した場合、次に、ディスプレイは、ユーザの顔の少なくとも一部を第２の特定のズームレベルで示す。

次に、方法４００は、（例えば、顔ランドマーク検出を用いて）顔検出が実行されるブロック４２８に進み、次に、顔が検出されるか否かを決定するブロック４３０に進む。そうである場合、方法４００は、ブロック４１４に進む。言い換えれば、ユーザ２０２が特定の顔面ジェスチャを実行し、現在のズームレベルが第２の特定のズームレベルに設定され、ユーザの顔が依然として検出可能な場合、方法４００は、現在のズームレベルが依然として第２の特定のズームレベルに維持されるべきか否かを決定するためにユーザの顔面位置の点検を継続する。そうでない場合には、方法４００は、ユーザの顔の検出を再構築するために、ブロック４０２に進む。これは、ユーザ２０２が特定の顔面ジェスチャを行ったか否かを再構築する前に、ブロック４１２において第１の特定のズームレベルに戻ることを含む。

いくつかの実施形態において、ユーザのイメージングデータから特定の顔面ジェスチャを識別することは、ユーザが特定の顔面ジェスチャを実行したか否かを決定するために、基準点又は基準軸に対するユーザの顔の位置を追跡することを有する。例えば、基準点又は基準軸は、ユーザの顔が基準の顔面位置にあることによって定義される。

いくつかの実施形態において、基準点又は基準軸に対するユーザの顔の位置を追跡することは、顔面ランドマークと基準点との間の距離及び／又は基準軸に対するユーザの頭部の方向を、用いられる特定のズームレベルに対する変化を示す閾値と比較することを有する。方法４００において、ブロック４２２は、ユーザの頭部の閾値ヨー及び／又はピッチを参照する。したがって、閾値との比較は、特定のズームレベルが変更されることを示す。例えば、ユーザの頭部方向が閾値を越えたと検出されるため、現在のズームレベルが変更されるべきである場合、方法４００は、ブロック４１８、４２０を介して（すなわち、以前にズームインされた後ズームアウトする）、又は、ブロック４２４から４２６を介して（すなわち、以前にズームアウトされた後ズームインする）４１２に進む。

いくつかの実施形態において、ユーザの頭部の方向のための閾値は、ユーザの頭部ヨーのために１度と４５度との間であり、ユーザの頭部ピッチのために１度と４５度との間である。一例において、ユーザの頭部の方向のための閾値は、ユーザの頭部ヨーのために１０度と２０度との間（例えば、１５度）であり、ユーザの頭部ピッチのために２０度と３０度との間（例えば、２５度）である。閾値ヨー及びピッチのためのこれらの例の値が、ユーザが自分の顔の部分を見ることがより困難であると分かる点を表現するということが分かっている。誤解を避けるために、閾値は、０度の上下にある。例えば、（０度のチルト及びヨーでの）基準の顔面位置に対して、閾値はユーザの頭部ヨーのために±１５度に設定され、ユーザの頭部チルトのために±２５度に設定される。

それゆえ、例えば、ユーザの頭部ヨーが１５度未満であること及び／又は頭部ピッチが２５度未満であることは、ユーザが、第１の特定のズームレベルでディスプレイにおいて自分の顔を適切に見ることができることを意味する。しかしながら、ユーザの頭部ヨーが１５度以上である、及び／又は、自分の頭部ピッチが２５度以上である場合、これは、ユーザがディスプレイにおいて自分の顔の少なくとも一部を、その一部をディスプレイが第２の特定のズームレベルで示さない限り、適切に又は容易に見ることができないことを意味する。したがって、第２の特定のズームレベルにズームすることによって、ユーザは、自分の顔の少なくとも一部をより容易に見ることができる。

いくつかの実施形態において、特定のズームレベルを決定することは、基準点又は基準軸に対するユーザの顔の位置の変化が、用いられる特定のズームレベルを示す特定の顔面ジェスチャに対応するか否かを決定することを有する。

いくつかの実施形態において、基準点又は基準軸は、ユーザの頭部の基準のヨー、ユーザの頭部の基準のピッチ、及び／又は、ユーザの頭部とディスプレイ又はイメージングデータを獲得するためのイメージングデバイスとの間に定義される軸（例えば、軸２１０）に対するユーザの頭部の基準の横方向オフセットに対応する。言い換えれば、ユーザの顔面位置が基準の顔面位置に対応する場合、これは基準点又は基準軸を定義する。

いくつかの実施形態において、特定の顔面ジェスチャは、それぞれ基準のヨー、基準のピッチ及び／又は基準の横方向オフセットに対するユーザの頭部のヨー、ピッチ及び／又は横方向オフセットの変化を備える。方法４００において、これは、ユーザの頭部ヨー及び／又はピッチが閾値を越えるか否かを決定するブロック４２２を参照する。いくつかの例において、他の顔面ジェスチャは、例えば、頭部回転及び／又は表情を考慮する。

いくつかの実施形態において、特定のズームレベルが用いられるべきであると決定することは、ユーザの頭部のヨー、ピッチ及び／又は横方向オフセットの変化に基づき、用いられる特定のズームレベルは、それぞれ基準のヨー、基準のピッチ及び／又は基準の横方向オフセットに対するユーザの頭部のヨー、ピッチ及び／又は横方向オフセットの差に依存して連続的に（又は滑らかに）変化する、又は、それぞれ閾値を越える、基準のヨー、基準のピッチ及び／又は基準の横方向オフセットに対するユーザの頭部のヨー、ピッチ及び／又は横方向オフセットの差に応じて急激に変化する。特定のズームレベルが連続的に又は滑らかに変化する場合、これは、２つより大きい特定のズームレベルが存在するので、ユーザが自分の頭部を回転させるとき、ズームレベルはこの回転に従って変化することを示唆する。特定のズームレベルが急激に変化する場合、ズームレベルは、ズームレベルが変化するとすぐに閾値が越えられるまで、同一のままである。

連続的及び急激なズームレベル変化の組み合わせが用いられてもよい。例えば、頭部ヨー及びピッチの特定の範囲のために（例えば、閾値未満）、ズームレベルに変化がなく（例えば、現在のズームレベルは、第１の特定のズームレベルに維持される）、閾値において、現在のズームレベルは、第２の特定のズームレベルに急激に変化する。閾値を超えたユーザの頭部の任意のさらなる回転のために、ユーザが基準の顔面位置に対する自分の頭部ヨー及び／又はピッチを増加させるとき、ズームレベルは、（例えば、より大きな倍率を伴って）第２の特定のズームレベルよりさらに増加する。それゆえ、ヨー及び／又はピッチは、増加し、ユーザの顔の一部の可視性が減少するとき、（第２の特定のズームレベルを超えた）より大きな倍率は、ユーザのパーソナルケア活動を支援する。

いくつかの実施形態において、方法４００は、ユーザの顔のビデオ画像を示すディスプレイに、特定のズームレベルでユーザの顔の少なくとも一部を示させるステップと（例えば、方法１００のブロック１０６）、識別された特定の顔面ジェスチャに基づいて、第１及び第２の特定のズームレベルの一方が、第１及び第２の特定のズームレベルの他方の代わりに用いられることを決定するステップと、ディスプレイに、第１又は第２の特定のズームレベルでユーザの顔の少なくとも一部が時間遅延の後用いられるべきであることを示させるステップと、を有する。図４に示すように、ブロック４１８又は４２４において異なるズームレベルが用いられるべきであるということが決定される。

図５は、方法１００及び／又は方法４００のような本願明細書において記載されている特定の方法を実施するために用いられる、処理回路５０２を備える装置５００を示す。装置５００は、図２の処理回路２０６のような図２のシステム２００に関して記載されている特徴に対応する機能を有するモジュールを備える。

処理回路５０２は、ユーザのイメージングデータから特定の顔面ジェスチャを識別するように構成される識別モジュール５０４を備える（例えば、方法１００のブロック１０２に対応する）。

処理回路５０２は、特定の顔面ジェスチャがユーザの顔を表示するのに用いられる特定のズームレベルを示すかを決定するように構成される決定モジュール５０６をさらに備える（例えば、方法１００のブロック１０４に対応する）。

処理回路５０２は、ユーザの顔を表示するのに用いられる以前に決定されたズームレベルの代わりに、特定のズームレベルが用いられるべきであると決定することに応答して、特定のズームレベルと以前に決定されたズームレベルとの差に基づいて、ユーザの顔のビデオ画像を示しているディスプレイに、ビデオ画像上のユーザの顔の少なくとも一部の表示されたサイズを変更させるように構成される制御モジュール５０８をさらに備える（例えば、方法１００のブロック１０６に対応する）。

図６は、方法１００及び／又は方法４００のような本願明細書において記載されている特定の方法を実施するために用いられる装置６００を示す。装置６００は、図２の処理回路２０６のような図２のシステム２００及び／又は図５の装置５００に関して記載されている特徴に対応する機能を有するモジュールを備える。装置６００は、図５の処理回路５０２を備える。

いくつかの実施形態において、装置６００は、（例えば、装置２０４の）ディスプレイ６０２及び／又はイメージングデータを獲得するための（例えば、装置２０４の）イメージングデバイス６０４をさらに備える。したがって、これらの実施形態の装置６００は、図２の装置２０４又は本願明細書において記載されている他の任意の装置に対応する。装置６００が処理回路５０２を備えるので、本願明細書において記載されている特定の方法は、サーバ又はクラウドベースのサービスを利用してこの種の方法を実施する代わりに、装置６００自体によって実施される（特定の他の実施形態に関して述べられるように）。

いくつかの場合には、上記のモジュールのいずれか（例えば、識別モジュール５０４、決定モジュール５０６及び／又は制御モジュール５０８）は、モジュールの機能を実施するための少なくとも１つの専用プロセッサ（例えば、特定用途向け集積回路（ＡＳＩＣ）及び／又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ）など）を備える。

いくつかの場合には、モジュール（例えば、識別モジュール５０４、決定モジュール５０６及び／又は制御モジュール５０８）は、少なくとも１つのプロセッサに上記のモジュールの機能を実施させる命令を実施するための少なくとも１つのプロセッサを備える。この種の例において、命令は、少なくとも１つのプロセッサにアクセス可能な機械可読媒体（図示せず）内に格納される。いくつかの例において、モジュールそのものは、機械可読媒体を備える。いくつかの例において、機械可読媒体は、モジュールそのものとは別個である（例えば、モジュールの少なくとも１つのプロセッサは、内部に格納される命令にアクセスするために機械可読媒体と通信するように提供される）。

図７は、少なくとも１つのプロセッサ７０４によって実行されるとき、少なくとも１つのプロセッサ７０４に、（方法１００及び／又は方法４００のような）本願明細書において記載されている特定の方法を実施させる命令７０２を格納する有形の機械可読媒体７００を示す。

図７において、命令７０２は、ユーザのイメージングデータから特定の顔面ジェスチャを識別するための命令７０６を備える（例えば、方法１００のブロック１０２に対応する）。

命令７０２は、特定の顔面ジェスチャがユーザの顔を表示するのに用いられる特定のズームレベルを示すかを決定するための命令７０８をさらに備える（例えば、方法１００のブロック１０４に対応する）。

命令７０２は、ユーザの顔を表示するのに用いられる以前に決定されたズームレベルの代わりに、特定のズームレベルが用いられるべきであると決定することに応答して、特定のズームレベルと以前に決定されたズームレベルとの差に基づいて、ユーザの顔のビデオ画像を示しているディスプレイに、ビデオ画像上のユーザの顔の少なくとも一部の表示されたサイズを変更させる命令７１０をさらに備える（例えば、方法１００のブロック１０６に対応する）。

一実施形態において記載されている１つ又は複数の特徴は他の実施形態において記載されている特徴と組み合わせたり、置換したりしてもよい。例えば、図１及び図４の方法１００及び４００は、図２、図４及び図５のシステム２００、装置４００、５００に関して記載されている特徴に基づいて修正され、逆もまた同じである。

本願明細書において記載されている特定の実施形態が、用いられるズームレベルを制御するための特定の顔面ジェスチャを参照するが、ヨー／ピッチの代わりに異なる顔面ジェスチャを用いてもよい。例えば、ユーザの頭部の回転、横方向オフセット及び／又は他の任意の表情を用いて、ディスプレイにより用いられるズームレベルを自動制御してもよい。本願明細書において記載されている実施形態は、例えば、フラットディスプレイ及び曲面（例えば、凹）ディスプレイを含む任意のディスプレイタイプにおいて実施される。

特定の実施形態が第１及び第２の特定のズームレベルを参照するが、２つ以上のズームレベルは、適切である場合、本願明細書において記載されている実施形態によって実施される。

この開示は、以下の番号をつけられた段落によって定義される主題を含む。

段落１．コンピュータにより実施される方法であって、方法は、ユーザのイメージングデータから特定の顔面ジェスチャを識別するステップと、特定の顔面ジェスチャに基づいてユーザの顔を表示するのに用いられる特定のズームレベルを決定するステップと、ユーザの顔のビデオ画像を示しているディスプレイに、特定のズームレベルでユーザの顔の少なくとも一部を示させるステップとを有する、方法。

段落２．ユーザのイメージングデータから特定の顔面ジェスチャを識別するステップは、ユーザが特定の顔面ジェスチャを実行したか否かを決定するために、基準点又は基準軸に対するユーザの顔の位置を追跡するステップを有する、段落１の方法。

段落３．基準点又は基準軸に対するユーザの顔の位置を追跡するステップは、顔面ランドマークと基準点との間の距離及び／又は基準軸に対するユーザの頭部の方向を、用いられる特定のズームレベルに対する変化を示す閾値と比較するステップを有する、段落２の方法。

段落４．ユーザの頭部の方向のための閾値は、ユーザの頭部ヨーのために１度と４５度との間であり、ユーザの頭部ピッチのために１度と４５度との間である、段落３の方法。

段落５．特定のズームレベルを決定するステップは、基準点又は基準軸に対するユーザの顔の位置の変化が、用いられる特定のズームレベルを示す特定の顔面ジェスチャに対応するか否かを決定するステップを有する、段落２、３又は４の方法。

段落６．基準点又は基準軸は、ヨー、ピッチ、及び／又は、ディスプレイ及び／又はイメージングデータを獲得するためのイメージングデバイスに対するオフセットがゼロであるユーザの頭部に基づく、段落２から５のいずれかの方法。

段落７．特定の顔面ジェスチャは、ヨー、ピッチ、及び／又は、ディスプレイ及び／又はイメージングデータを獲得するためのイメージングデバイスに対するユーザの頭部のオフセットの変化を備える、段落１から６のいずれかの方法。

段落８．特定のズームレベルが用いられるべきであると決定するステップは、ユーザの頭部のヨー、ピッチ及び／又はオフセットの変化に基づき、用いられる特定のズームレベルは、ユーザの頭部のヨー、ピッチ及び／又はオフセットに依存して連続的に変化するか、又は、ユーザの頭部のヨー、ピッチ及び／又はオフセットのための閾値を越えるユーザの頭部のヨー、ピッチ及び／又はオフセットに応じて急激に変化するかの一方である、段落７の方法。

段落９．方法は、ユーザの顔の寸法、ユーザの顔とイメージングデータを獲得するためのイメージングデバイスとの間の距離及び／又はディスプレイの解像度に基づいて、ユーザの顔が完全にディスプレイ上に表示されることを確実にするために、第１の特定のズームレベルが用いられるべきであると決定するステップと、ユーザが特定の顔面ジェスチャを実行したことを識別すると、ユーザの顔の少なくとも一部を示すために、第２の増加した特定のズームレベルが用いられるべきであると決定するステップとを有する、段落１から８のいずれかの方法。

段落１０．第１及び第２の特定のズームレベルの間の比率は、ディスプレイの解像度及び／又はディスプレイの寸法に対するユーザの顔の一部の寸法のための特定のフィルファクタに基づいて計算される、段落９の方法。

段落１１．ユーザの顔のビデオ画像を示しているディスプレイに、特定のズームレベルでユーザの顔の少なくとも一部を示させるステップは、第１及び第２の特定のズームレベルの一方が、第１及び第２の特定のズームレベルの他方の代わりに用いられることを決定するステップと、ディスプレイに、時間遅延の後用いられる第１又は第２の特定のズームレベルでユーザの顔の少なくとも一部を示させるステップと、を有する、段落９又は１０の方法。

段落１２．方法は、イメージングデバイスにイメージングデータを獲得させるステップをさらに有する、段落１から１１のいずれかの方法。

段落１３．命令を格納する有形の機械可読媒体であって、命令は、少なくとも１つのプロセッサによって実行されるとき、少なくとも１つのプロセッサに段落１から１２のいずれかの方法を実施させる、有形の機械可読媒体。

段落１４．処理回路を備える装置であって、処理回路は、ユーザのイメージングデータから特定の顔面ジェスチャを識別する識別モジュールと、特定の顔面ジェスチャに基づいてユーザの顔を表示するのに用いられる特定のズームレベルを決定する決定モジュールと、ユーザの顔のビデオ画像を示しているディスプレイに、特定のズームレベルでユーザの顔の少なくとも一部を示させる制御モジュールとを備える、装置。

段落１５．装置は、ディスプレイ及び／又はイメージングデータを獲得するためのイメージングデバイスをさらに備える、段落１４に記載の装置。

本開示の実施形態は、方法として、システムとして、又は、機械可読命令及び処理回路の組み合わせとして提供可能である。この種の機械可読命令は、コンピュータ可読プログラムコードを有する非一時的な機械（例えば、コンピュータ）可読記憶媒体（ディスク記憶装置、ＣＤ－ＲＯＭ、光記憶装置などを含むが、これらに限定されるものではない）に含まれる。

本開示は、本開示の実施形態に従って、方法、デバイス並びにシステムのフローチャート及びブロック図を参照して記載されている。上記のフローチャートは、実行の特定の順番を示すが、実行の順番は描写されるものと異なってもよい。１つのフローチャートに関して記載されているブロックは、他のフローチャートのブロックと組み合わせてもよい。フローチャート及び／又はブロック図の各ブロック、並びに、フローチャート及び／又はブロック図のブロックの組み合わせは、機械可読命令によって実現可能であるということを理解されたい。

機械可読命令は、例えば、汎用コンピュータ、専用コンピュータ、組み込みプロセッサ又は他のプログラマブルデータ処理デバイスのプロセッサによって実行され、明細書及び図面に記載されている機能を実現する。特に、プロセッサ又は処理回路又はそのモジュールは、機械可読命令を実行する。したがって、装置５００、６００の機能モジュール（例えば、識別モジュール５０４、決定モジュール５０６及び／又は制御モジュール５０８）及び本願明細書において記載されている他のデバイスは、メモリ内に格納される機械可読命令を実行するプロセッサ、又は、論理回路内に組み込まれる命令に従って動作するプロセッサによって実施される。「プロセッサ」という用語は、ＣＰＵ、処理ユニット、ＡＳＩＣ、論理ユニット又はプログラマブルゲートアレイなどを含むものと広く解釈されるべきである。方法及び機能モジュールは、すべて、シングルプロセッサによって実行されるか、又は、いくつかのプロセッサ間で分けられる。

この種の機械可読命令はまた、コンピュータ又は他のプログラマブルデータ処理デバイスをガイドして特定のモードで動作することができるコンピュータ可読記憶媒体内に格納される。

この種の機械可読命令はまた、コンピュータ又は他のプログラマブルデータ処理デバイス上にロードされ、その結果、コンピュータ又は他のプログラマブルデータ処理デバイスは、コンピュータ実施処理を生成するための一連の動作を実行し、したがって、コンピュータ又は他のプログラマブルデバイス上で実行される命令は、フローチャート及び／又はブロック図のブロックにより特定される機能を実現する。

さらに、本願明細書における教示は、コンピュータプログラム製品の形で実施され、コンピュータプログラム製品は、記憶媒体内に格納され、本開示の実施形態において詳述される方法をコンピュータに実施させるための複数の命令を備える。

一実施形態に関して記載されている要素又はステップは、他の実施形態に関して記載されている要素又はステップと組み合わせてもよいし、又は、置換されてもよい。開示された実施形態に対する他のバリエーションは、当業者が、請求された本発明を実行する際に、図面、明細書及び添付の請求項を検討することによって理解可能であり、かつ、遂行可能である。請求項において、「有する」という単語は、他の要素又はステップを除外せず、単数の記載は、複数を除外しない。シングルプロセッサ又は他のユニットは、請求項において詳述されるいくつかのアイテムの機能を果たす。特定の手段が相互に異なる従属請求項において詳述されるという単なる事実は、これらの手段の組み合わせを有効に用いることができないということを示すわけではない。コンピュータプログラムは、適切な媒体、例えば、他のハードウェアと一緒に、又は、それの一部として供給される光記憶媒体又は固体媒体上に格納されるか、又は、配信されるが、他の形で、例えばインターネット又は他の有線若しくは無線通信システムを介して配信されてもよい。請求項の任意の参照符号は、範囲を制限するものとして解釈されるべきではない。

Claims (15)

1. コンピュータにより実施される方法であって、前記方法は、
   ユーザのイメージングデータから特定の顔面ジェスチャを識別するステップと、
   前記特定の顔面ジェスチャが前記ユーザの顔を表示するのに用いられる特定のズームレベルを示すかを決定するステップと、
   前記ユーザの顔を表示するのに用いられる以前に決定されたズームレベルの代わりに、前記特定のズームレベルが用いられるべきであると決定するステップに応答して、前記特定のズームレベルと以前に決定された前記ズームレベルとの差に基づいて、前記ユーザの顔のビデオ画像を示しているディスプレイに、前記ビデオ画像上の前記ユーザの顔の少なくとも一部の表示されたサイズを変更させるステップと、
   を有する、方法。
2. 前記イメージングデータから前記特定の顔面ジェスチャを識別するステップは、基準の方向に対して前記ユーザの頭部の方向を識別するステップを有し、識別された前記方向は、用いられる前記特定のズームレベルを示す、
   請求項１に記載の方法。
3. 前記ユーザのイメージングデータから前記特定の顔面ジェスチャを識別するステップは、前記ユーザが前記特定の顔面ジェスチャを実行したか否かを決定するために、基準点又は基準軸に対する前記ユーザの顔の位置を追跡するステップを有し、
   前記基準点又は基準軸に対する前記ユーザの顔の前記位置を追跡するステップは、顔面ランドマークと前記基準点との間の距離及び／又は前記基準軸に対する前記ユーザの頭部の方向を、用いられる前記特定のズームレベルに対する変化を示す閾値と比較するステップを有する、
   請求項１又は２に記載の方法。
4. 前記ユーザの頭部の前記方向のための前記閾値は、ユーザの頭部ヨーのために１度と４５度との間であり、前記ユーザの頭部ピッチのために１度と４５度との間である、
   請求項３に記載の方法。
5. 前記特定のズームレベルを決定するステップは、前記基準点又は基準軸に対する前記ユーザの顔の位置の変化が、用いられる前記特定のズームレベルを示す前記特定の顔面ジェスチャに対応するか否かを決定するステップを有する、
   請求項３又は４に記載の方法。
6. 前記基準点又は基準軸は、
   前記ユーザの頭部の基準のヨー、
   前記ユーザの頭部の基準のピッチ、及び／又は、
   前記ユーザの頭部と前記ディスプレイ又は前記イメージングデータを獲得するためのイメージングデバイスとの間で定義される軸に対する前記ユーザの頭部の基準の横方向オフセットに対応する、
   請求項３から５のいずれか一項に記載の方法。
7. 前記特定の顔面ジェスチャは、それぞれ前記基準のヨー、基準のピッチ及び／又は基準の横方向オフセットに対する前記ユーザの頭部のヨー、ピッチ及び／又は横方向オフセットの変化を備える、
   請求項１から６のいずれか一項に記載の方法。
8. 前記特定のズームレベルが用いられるべきであると決定するステップは、前記ユーザの頭部のヨー、ピッチ及び／又は横方向オフセットの前記変化に基づき、用いられる前記特定のズームレベルは、
   それぞれ前記基準のヨー、基準のピッチ及び／又は基準の横方向オフセットに対する前記ユーザの頭部の前記ヨー、ピッチ及び／又は横方向オフセットの差に依存して連続的に変化するか、又は、
   それぞれ閾値を越える、前記基準のヨー、基準のピッチ及び／又は基準の横方向オフセットに対する前記ユーザの頭部の前記ヨー、ピッチ及び／又は横方向オフセットの差に応じて急激に変化する、
   請求項７に記載の方法。
9. 前記方法は、
   前記ユーザの顔の寸法、前記ユーザの顔と前記イメージングデータを獲得するためのイメージングデバイスとの間の距離及び／又は前記ディスプレイの解像度に基づいて、前記ユーザの顔が完全に前記ディスプレイ上に表示されることを確実にするために、第１の特定のズームレベルが用いられるべきであると決定するステップと、
   前記ユーザが前記特定の顔面ジェスチャを実行したことを識別すると、前記ユーザの顔の少なくとも前記一部を示すために、第２の増加した特定のズームレベルが用いられるべきであると決定するステップとを有する、
   請求項１から８のいずれか一項に記載の方法。
10. 前記第１及び／又は第２の特定のズームレベルは、画像品質測定基準が、前記第１及び第２の特定のズームレベルの両方で前記ユーザの顔を前記ディスプレイ上に表示するために満たされるように、前記ディスプレイの解像度及び／又は前記第１及び第２の特定のズームレベルで前記ユーザの顔を表示するのに用いられる前記ディスプレイの比例エリアを定義する特定のフィルファクタに基づいて計算される、
    請求項９に記載の方法。
11. 前記ユーザの顔の前記ビデオ画像を示している前記ディスプレイに、前記特定のズームレベルで前記ユーザの顔の少なくとも前記一部を示させるステップは、
    識別された前記特定の顔面ジェスチャに基づいて、前記第１及び第２の特定のズームレベルの一方が、前記第１及び第２の特定のズームレベルの他方の代わりに用いられることを決定するステップと、
    前記ディスプレイに、時間遅延の後用いられる前記第１又は第２の特定のズームレベルで前記ユーザの顔の少なくとも前記一部を示させるステップとを有する、
    請求項９又は１０に記載の方法。
12. 前記方法は、イメージングデバイスに前記イメージングデータを獲得させるステップをさらに有する、
    請求項１から１１のいずれか一項に記載の方法。
13. 命令を格納する有形の機械可読媒体であって、前記命令は、少なくとも１つのプロセッサによって実行されるとき、前記少なくとも１つのプロセッサに、請求項１から１２のいずれか一項に記載の方法を実施させる、
    有形の機械可読媒体。
14. 処理回路を備える装置であって、前記処理回路は、
    ユーザのイメージングデータから特定の顔面ジェスチャを識別する識別モジュールと、
    前記特定の顔面ジェスチャが前記ユーザの顔を表示するのに用いられる特定のズームレベルを示すかを決定する決定モジュールと、
    前記ユーザの顔を表示するのに用いられる以前に決定されたズームレベルの代わりに、前記特定のズームレベルが用いられるべきであると決定することに応答して、前記特定のズームレベルと以前に決定された前記ズームレベルとの差に基づいて、前記ユーザの顔のビデオ画像を示しているディスプレイに、前記ビデオ画像上の前記ユーザの顔の少なくとも一部の表示されたサイズを変更させる制御モジュールと、
    を備える、装置。
15. 前記装置は、前記ディスプレイ及び／又は前記イメージングデータを獲得するためのイメージングデバイスをさらに備える、
    請求項１４に記載の装置。

Images