JP6630665B2 - 生体ｉｄ、フィードバックおよびユーザインタラクション状態の相関表示 - Google Patents

Description

[0001] いくつかの現代のコンピュータベースのシステムは、何らかの形態の生体識別を提供する。例えば、いくつかのラップトップコンピュータおよび携帯電話は、ユーザが指紋を用いてサインインすることを可能にしている。ユーザの指紋が認識されない場合、ユーザはリトライすることができる。これはワンタイムサインインであり、この後、全てのアクションはその認証されたユーザによるものとなる。

[0002] 現代のゲームコンソールまたはデジタル広告掲示板等の生体識別を用いた動的マルチユーザシステムにおいて、ユーザは、システムとのインタラクション中に、生体測定により（例えば顔スキャンを介して）識別される。ユーザが生体測定により識別された後、アプリケーションを起動すること、または電話をかけること等のユーザのアクションが、識別されたユーザのために行われる。

[0003] 一方、動的マルチユーザシステムにおいて、ユーザが別の誰かであると判断される誤認識が生じる可能性がある。その後の任意のアクションはユーザ固有のものであるため、誤った認識により重大な結果が生じる場合がある。例えば、ユーザは、（例えば、Ｓｋｙｐｅ（登録商標）を介した）電話呼が、当該ユーザを発呼者として正しく識別することを望み、オンラインで購入した製品が別の誰かの住所ではなく当該ユーザの住所に正しく配送されることを望み、当該ユーザのアプリケーションおよび関連データが、別の誰かではなく当該ユーザにのみ利用可能であることを望む等である。ユーザは、最初に正しく識別された場合であっても、例えば、このユーザがカメラの視野を出入りする場合があることに起因して、必ずしも１回しか識別されないわけではなく、通常は連続して定期的に生じる識別プロセスにおいて再識別される場合があり、これにより更なる誤認識の機会がもたらされる。

[0004] この発明の概要は、以下で詳細な説明において更に説明される代表的な概念の抜粋を、簡略化された形式で紹介するために提供される。この発明の概要は、特許請求される主題の主要な特徴または重要な特徴を特定することを意図するものでもなければ、特許請求される主題の範囲をいかなる形においても限定するように用いられることを意図するものでもない。

[0005] 簡単にいえば、本明細書に記載される主題の様々な態様は、生体認識機能を有するマルチユーザシステムにおいてフィードバックを提供し、それによって、ユーザが、システムが当該ユーザを当該ユーザのＩＤと正しく関連付けたか否かを知るようにすることを目的とする。１つまたは複数の態様は、生体認識によって判断されたユーザの認識に対応するＩＤデータを受信することと、ＩＤデータをユーザに関連付けることとを対象とする。ＩＤデータに基づいて、認識されたＩＤがユーザに関連付けられていることを示すフィードバックが（出力デバイスに）出力される。フィードバックは、ユーザが、出力デバイスに結合されているかまたは出力デバイスを組み込んでいるシステムとインタラクトすることができることを示すフィードバックを含む。

[0006] １つまたは複数の態様は、１つまたは複数の生体測定により認識されたユーザの識別データを受信するように構成されたユーザインタフェースコンポーネントを目的とする。生体測定により認識されたユーザごとに、ユーザインタフェースコンポーネントは、フィードバックを出力し、このフィードバックは、識別データに基づいてユーザのＩＤを示すフィードバックと、ユーザのインタラクション状態（例えば、エンゲージメント）を示すフィードバックとを含む。

[0007] １つまたは複数の態様は、画像内の１人または複数人の人物の検出および生体認識のために、その画像を処理して、各人物を認識することを試みることを対象とする。認識された人物は、関連付けられたＩＤデータを有し、ＩＤデータに基づいてシステムにサインインする。ＩＤデータに基づいてフィードバックデータも取得される。このフィードバックデータは、認識された人物を可視表現としてレンダリングするためのフィードバックデータを含む。フィードバックデータは、システムに結合されているかまたはシステムに組み込まれた表示デバイス上に、認識された人物を可視表現としてレンダリングするために出力される。これは、認識された人物がシステムにサインインしていることを示すフィードバックデータをレンダリングすることを含む。

[0008] 以下の詳細な説明を図面と併せると、他の利点が明らかとなるであろう。

[0009] 本発明は例として説明され、添付の図面に限定されるものではない。添付の図面において、同様の参照符号は同様の要素を示す。

[0010]１つまたは複数の例示的な実施態様による、生体認識機能を有するマルチユーザシステムの１人または複数人のユーザにフィードバックを提供する際に用いることができる例示的なコンポーネントを示すブロック図であり、フィードバックは、ユーザの認識されたＩＤおよびエンゲージメント状態を示す。 [0011]１つまたは複数の例示的な実施態様による、システムがユーザをどのように認識することができるかに関して例示的な状態および遷移を示す状態図である。 [0012]１つまたは複数の例示的な実施態様による、生体認識機能を有するマルチユーザシステム内のユーザに、関係のあるＩＤ関連フィードバックを提供することを目的とした例示的なステップを表す流れ図である。 [0013]１つまたは複数の例示的な実施態様による、コントローラの保有を示すユーザにインタラクション関連フィードバックを提供することを目的とした例示的なステップを表す流れ図である。 [0014]１つまたは複数の例示的な実施態様による、ユーザがシステムを駆動しているときを当該ユーザに示すインタラクション関連フィードバックを提供することを目的とした例示的なステップを表す流れ図である。 [0015]１つまたは複数の例示的な実施態様による、ユーザＩＤデータを示す情報を含むアイコン／タイルの形態のレンダリングされたフィードバックを含むシステムディスプレイの例示的な表現である。 [0016]１つまたは複数の例示的な実施態様による、ユーザＩＤデータおよび状態情報を示す情報を含むアイコン／タイルおよびその中のデータを例示する、例示的な表現（概ね図５の拡大部に対応する）である。 [0017]１つまたは複数の例示的な実施態様による、フィードバックを提供するカメラビュー表現を含むシステムディスプレイの例示的な表現である。 [0018]１つまたは複数の例示的な実施態様による、フィードバックおよびユーザインタラクション制御を提供する代替的なカメラビュー表現を含むシステムディスプレイの例示的な表現である。 [0019]本明細書に記載する様々な実施形態の１つまたは複数の態様を実施することができる、例示的な非限定的コンピューティングシステムまたは動作環境を表すブロック図である。

[0020] 本明細書に説明する技術の１つまたは複数の態様は、生体識別機能を有する動的マルチユーザシステムを目的とする。ここで、システムは、システムによって現在認識され、システムに登録されている各ユーザＩＤに関してユーザにフィードバックを提供する。フィードバックにより、ユーザは自身の生体測定により認識されたＩＤおよびシステムとのユーザエンゲージメント状態を、自身の実際のＩＤ（および場合によってはエンゲージメント状態）と相関付け、これにより、システムが正しいユーザについて正しく動作しているか否かを知ることができる。このため、システムフィードバックは、ユーザに、当該ユーザがシステムによって正しく（または誤って）認識されているという情報を提供する。このため、生体識別を用いるマルチユーザシステムにおいて、ユーザは、動的再認識が生じるときを含めた、インタラクションモデルの一部として、システムが自身を正しく認識したことに確信を持つことができる。誤認識または他のシステムエラーについて、結果として任意の望ましくないユーザアクションが生じる前に修復することができる。

[0021] この目的のために、１つまたは複数の態様は、カメラが見るものについてユーザにフィードバックを提供することを目的とする。例えば、カメラがリビングルームに向かってテレビの近くに設置されている場合、カメラは通常、リビングルーム内の全てのユーザを見ることになる。このカメラフィードのライブビューを示すことにより、１人または複数人のユーザに、システムが所与の時点において見ることができるものについて直接フィードバックを与える。

[0022] 別の態様は、カメラフィード内の各ユーザを強調する。例えば、カメラビューのライブビデオを示す代わりに、システムは、カメラ内の各ユーザを独立して示すことができる。代替的に、システムは、ライブビデオ内の各ユーザを区別するようにユーザのライブビデオを示してもよい。これは、各ユーザの周りにボックスを描くこと、各ユーザの近くにインジケータを置くこと、またはシステムに可視であり、システムによって（例えば、物体等の別のエンティティではなく）人物であるとわかる人物が存在することを示す他のそのような要素をユーザインタフェース内に表示することを含む、多岐にわたる方法で行うことができる。

[0023] 別の態様は、カメラによって見える所与の人物が、システムに登録された特定のユーザとして認識されていることを示すことを目的とする。これは、（例えば、ユーザ名および／または関連付けられた画像の表示を介して）カメラビュー内の特定の人物が特定のユーザＩＤとして認識されていることを示すことによって行うことができる。複数のユーザを独立して識別することができる。システムによって人物であることが理解されるが、システムに登録されていないユーザは、「不明」の人物等として識別され得る。

[0024] カメラビュー内の人物が、システムに登録されたユーザに目に見える形で相関付けられると、多くの補足的相関が表示され得る。１つの例は、ユーザが生体測定により認識されたことを示すために、ユーザ表現を強調するかまたは他の方法で目に見える形で示すことである。別の例は、人物が、生体測定により認識され、システムにより認証される（ここで、人物は、アプリケーションを起動し、文書にアクセスし、他者と通信する等のアクセスを有する）こととすることができる。

[0025] 別の例は、ユーザが生体測定により認識され、現在、様々な入力方法を介してシステムとインタラクトしていることとすることができる。いくつかの例として、ユーザは、ユーザがコントローラとインタラクトしている場合に、ある方式で強調することができ、ユーザが音声コマンドを介してインタラクトしている場合に、別の方式で強調することができ、ユーザがジェスチャを用いてインタラクトしている場合に、更に別の方式で強調することができ、そして、ユーザが電話またはタブレット等を通じて遠隔でインタラクトしている場合に、また別の方式で強調することができる。

[0026] いくつかの実施態様では、一度に１人のユーザのみがオペレーティングシステム制御タイプコマンドを入力することができる（これらは複数のユーザが同時に入力することができるゲームプレイコマンドでも他のマルチユーザコマンドでもない）。そのような指令および制御シナリオでは、現在インタラクトしている人物は、インタラクションが停止するまで単独でインタラクトする能力を保持することができ、インタラクションが停止した時点で、別のユーザが入力を駆動することができる。オペレーティングシステム制御タイプコマンドを用いてシステムを駆動することは、２人以上のユーザに拡張することができ、衝突するコマンドが入力されるシナリオの場合は、何らかのタイブレーキング方式が用いられることに留意されたい。このため、システム動作または初期ゲームセットアップを目的としたコマンド入力は、ゲームをプレイするために複数のユーザがインタラクトするかまたは他の形で同時に入力を提供する場合があるアプリケーション入力等の他の入力と異なることができる。

[0027] システムは、ユーザのうちの１人を認識し、システムがフォーカス（または何らかの同様の優先度）を有するように指定したユーザであるとして強調することができる。例えば、指令および制御シナリオ等において、フォーカスを有するユーザの入力（例えば、ジェスチャおよび／または発話）のみがシステムによって承認され得る。概して、フォーカスに関して、１人の人物のみがインタラクトしている場合、その人物はフォーカスおよびアクティブ入力能力を得る。フォーカスに関して、誰もシステムを駆動していないとき、または複数のユーザがシステムの駆動を試みている（そして全員が一度にそれを行うことができるわけではない）とき、あるユーザがフォーカスを保持することができる。

[0028] いくつかの実施態様では、ユーザは依然として未来のインタラクションのためのフォーカスを保持している場合がある。例えば、フォーカスを有するユーザは、別のユーザにフォーカスを譲るためには、ある特定のジェスチャを行う、特定の発話コマンドを発話する、コントローラコマンドを入力する、カメラビューを去る、または何らかの他の適切なアクションをとる等の何らかのアクションをとらなくてはならない。譲られるまでユーザにフォーカスを保持させる代わりに、（衝突する入力が受信される場合がある指令および制御シナリオ等において）複数の人物がＵＩ入力の駆動を試みている場合、タイブレーカシステムを用いることができる。タイブレーキング方式は、階層メカニズム（例えば、親が子よりも上）を介するか、またはタイミング制御、例えば、インタラクトを試みた最も近時のユーザにフォーカスが移ることによるものであり得る。更に、フォーカス変更は、例えば、システムがもはや存在しないユーザにフォーカスを与え続けている場合に、何らかのオーバライドメカニズムによって達成することができる。フィードバックの例示において、フォーカスは通常、別段に示されない限り、以後説明されず、代わりに、例示されるフィードバックのうちのいくつかは、ユーザが存在する場合、いずれのユーザがシステムをアクティブに駆動するかを示す。

[0029] 本明細書における例はいずれも非限定的であることを理解するべきである。例えば、技術は通常、娯楽コンソール／ゲームシステムの文脈で説明されるが、１人または複数人のユーザが、自身が生体測定により正しく認識されたことを確認することを望む、パーソナルコンピュータ、スマートテレビまたはモニタ、タブレット、スマートフォン等の他のデバイスも、本明細書に記載される技術により利益を受けることができる。同様に、本明細書に例示される例示的な表示メカニズムおよび技法以外によりフィードバックを提供する多数の方法を用いることができることも理解される。これは、限定ではないが、代替的なグラフィック、アニメーション、ビデオ、オーディオおよび／または触覚フィードバックを含む。複数の同時ユーザを伴う例が示されているが、単一のユーザが、自身がシステムによって正しいＩＤで適切に認識されていることを知ることにより利益を得ることができることが理解される。したがって、本発明は、本明細書において説明されるいかなる特定の実施形態、態様、概念、構造、機能または例にも限定されない。むしろ、本明細書において説明される実施形態、態様、概念、構造、機能または例の任意のものは非限定的であり、本発明は、コンピューティング、自動認識およびフィードバック全般において利益および利点を提供する様々な方法で用いることができる。

[0030] 図１は、システム１００が、データ１０４を生体認識システム１０６に提供することができるセンサ１０２を組み込むか、またはこのセンサ１０２に結合されている、一般化されたブロック図を示す。データは、例えば、赤外線画像データ、奥行きデータ（例えば、ステレオマッチングまたは経過時間を介して取得される）および／またはカラー画像（例えば、ＲＧＢ）データとすることができる。音声データ等の他のセンサ提供データを、カメラ／センサ１０２によって認識システム１０６に利用可能にすることができる。

[0031] ローカルおよび／または遠隔で（例えば、クラウド内に）維持することができる記憶された登録ユーザデータ１０８に基づいて、以前に登録されたユーザを、生体識別を介して、システムに既に登録されたＩＤとして認識することができる。任意の生体技術、例えば、顔認識、眼球スキャン、音声認識（ユーザが発話する場合）等を用いることができる。顔認識等のいくつかのタイプの生体識別は、ある点において概ねカメラに向かうこと以外にユーザによるアクションを一切必要としない。

[0032] ＩＤは、システムが検出し認識する人物ごとの関連データとして、骨格追跡１１０にマッピングすることができる。これによって、ユーザインタフェース１１２は、ユーザが動き回っているときを含めて、ＩＤに対応するフィードバックを提供し、ユーザが入ることができる１つまたは複数の様々なモード（例えば、システムをアクティブに駆動することが１つのそのようなモードであり、これは例えば、骨格追跡によりジェスチャを検出することによって判断することができる）を検出することも可能になる。別のモードは、システムへの「サインイン」である。サインインは、認識時に自動で行うことができるが、本明細書において説明するように、いくつかの実施態様において、ユーザは、認識されるがサインインしない場合がある。

[0033] 本明細書に説明されているように、ユーザインタフェース１１２は補正コンポーネントも備える。補正コンポーネントとのユーザインタラクションは、ユーザが他の誰かとして認識されるとき、登録されたユーザとして認識されないとき等を含む、誤認識の補正を容易にする。１つまたは複数の実施態様では、ユーザインタフェースは、手動サインインまたはサインアウト等のための他のＩＤ関連インタラクション機能も提供することができる。

[0034] 図２は、人物がビュー内にいるとき（状態２２０）から開始して、人物がカメラベースの認識システム内にいるときに、システムがこの人物をどのように検討することができるかに関するいくつかの可能な状態を示す。図２はいくつかの例示的な状態のみを示し、全ての可能な状態が示されているわけではないことに留意されたい。他の状態のいくつかの例として、人物がビュー外にいるが依然としてシステムにサインインしている状態、人物が認識されているがサインインしていない状態、所与の人物がフォーカスを有する状態等が存在し得る。

[0035] 図２に表す１つの状態は不明状態２２２であり、この状態において、システムは人物が存在することを検出するが、その人物を認識することができない。これは、人物がシステムに登録されていないこと、人物の顔が（顔認識ベースの生体測定システムにおいて）曖昧であること等に起因し得る。フィードバックを用いて、人物が不明であることを示すことができ、これによって、人物は、認識されるために何らかの修復アクションをとることができる（例えば、トラブルシューティングが起動される場合がある）。トラブルシューティング／修復アクションは、図２において、「状態」２２４（必ずしも従来の意味における状態である必要はないが）として示される。これは、人物に、カメラの方に向くように命令するか、または人物に初期登録もしくは再登録するかを尋ねる（例えば、顔がよく見えているが、単に認識されない）ことのように単純であり得る。トラブルシューティング／修復アクションについては本明細書において概ね説明されないが、トラブルシューティング／修復アクションは、システム誤認識または他のエラーを補正するように、および／または人物を認識された状態に入れるように所望に応じて起動され得ることは記しておく。

[0036] 図２の別の状態は、正しく認識された状態（状態２２６）である。これは、人物を自動的にシステムにサインインさせることを含むことができ、これによって、その人物はその後自身でシステムとインタラクトすることができる。人物が別の人物としてふるまう（例えば、人物Ａが映画をレンタルし、これに対し支払いを行うが、この映画を人物Ｂのコンソールにロードする）ことが実現可能であることに留意されたい。例えば、生体検知は手動サインインによりオーバライドされ得る。

[0037] 図２に示す別の状態は、「未検出」状態２２８である。例えば、人物は、例えば、カメラのビューから出ていること、または人物が家具または背景と区別可能でないような位置にいることを含む何らかの理由で、人物であると識別されない場合がある。そのような状況では、フィードバックがないことを、ユーザが人物として認識されないことのインジケータとすることができる。ユーザは、認識および／または登録されるために、または少なくともシステムによって不明な人物として理解されるために、移動するかまたはそうでない場合トラブルシューティングを実行することができる。

[0038] フィードバックの一部が除去するのに役立つ重大な状態は、図２に状態２３０として示す誤認識状態である。上記で説明したように、誤認識は望ましくない結果を有する場合があり、このため、フィードバックは、ユーザがこの状態を検出し脱するのに（少なくとも部分的に）役立つことを目的とする。

[0039] 図３は、画像ベースの生体測定システムにおいて本明細書に説明するような相関フィードバックを提供するための例示的なステップを示す流れ図である。この流れ図は、ステップ３０２および３０４から開始し、これらのステップにおいて、センサデータ（例えば、画像データ／奥行きデータ）が処理され、画像内の人物が発見される。ステップ３０６により示すように、人物ごとに、骨格データを追跡することができる。顔追跡、音声追跡等を、骨格追跡の代わりに行ってもよく、または骨格追跡と組み合わせて用いてもよいことに留意されたい。図３は人物ごとに行ってもよく、その一部を複数の人物について並列に行ってもよいことに留意されたい。

[0040] ステップ３０８は、認識のための画像データ（または、代替的な実施態様では他の生体データ）を送信する。例えば、これは人物の顔を含む画像の一部分のみとすることができる。ステップ３１０は、登録された人物のデータストアにアクセスすることによってこの人物を認識しようと試みることを表す。人物に合致しない場合、ステップ３１０はステップ３２６に分岐し、ステップ３２６において、人物は不明であるとみなされる（そして例えば、その人物の骨格データに不明ＩＤを割り当てることができる）。代替的な実施態様では、不明な人物は、ゲスト等としてサインインする（またはサインインを許可される）ことができることに留意されたい。このように、例えば、一時ユーザ（casual acquaintance）が何らかの限定された「サインイン」タイプの権利を有することを登録する必要がない。

[0041] 人物がデータストア内のＩＤに合致する場合、ステップ３１２においてＩＤデータが受信される。この受信したＩＤデータはシステム固有の識別子を含むことができ、この識別子は、個人化されたデータ（例えば、ユーザを表すカスタムアイコン）を検索する（ステップ３２４）ためのキーとして用いることができるか、または個人化されたデータを直接含むことができる。

[0042] １つまたは複数の実施態様では、自動サインインは、ステップ３２０に自動的に「分岐する」オプションの（破線の）ステップ３１４によって表すように行うことができる。一方、上述したように、１つまたは複数の代替的な実施態様では、ユーザがシステムによって認識されるが、自動的にサインインされない状態が存在してもよい。例えば、ユーザは、認識された場合であっても、サインインの前にパスワードが必要とされることを指定することができる。別の例として、システムは、ある時間ビュー内にいた後に初めて認識を試みるようにセットアップすることができ、例えば、一時的に部屋を通り過ぎるユーザは認識および／または自動サインインされないようにできるのに対し、ある時間（例えば、５秒）ビュー内にいるユーザは認識およびサインインされるようにできる。別の例として、ある特定のサインインジェスチャを用いる必要があってもよい。

[0043] これらの判断基準または１つもしくは複数の他の判断基準のうちの任意のものは、単独でまたは組み合わせると、結果として、自動サインイン以外の何らかの追加のサインインアクションを行うためのオプションのステップ３１６が行われることになる場合がある。このため、ステップ３１６は、サインインを行うことができるようになる前に、認証情報の入力が必要な場合があり、特定のジェスチャが必要な場合があり、ビュー内に最小時間いる必要がある場合がある等の状況を表す。

[0044] ステップ３１８は、ステップ３１６において何らかの必要なサインイン判断基準が満たされたかに基づいてユーザをサインインさせることがＯＫであるか否かを表す。ＯＫである場合、ステップ３１８は、ステップ３１８における１つまたは複数のユーザ判断基準（アクション）を満たすと、認識された登録ユーザをサインインさせるステップ３２０に分岐する。

[0045] 図３の例において、ステップ３１８は別のオプションも表す。このオプションでは、ユーザはサインインを望んでいないことを示す場合があるが、システムは、ＩＤを全く用いない（ステップ３２４）こととは対照的に、インタラクションのためにサインインすることなく必要に応じてユーザのＩＤを用いることができる（ステップ３２２）。例えば、認証情報が要求されるが提供されないとき等、１人の登録ユーザは、単にシステムが自身を適切に認識するか否かを確認することを望むが、インタラクションのためにサインインしない場合がある。別のユーザは、認識されるが、表示が遠隔に位置する人物と共有されている場合等、不明な人物として識別されたままであることを望む場合がある。そのようなオプションについて、ステップ３１８によって何らかのジェスチャ、発話、コントローラまたは他の入力を用いてこれらの選択肢間を区別することができる。例示された「ＩＤ使用ＯＫ」オプションが、ステップ３１８に類似した選択肢において存在しない場合、または存在するがユーザが自身のＩＤが用いられることを望まない場合、ステップ３１８はステップ３２６に分岐し、ステップ３２６において、人物は、システムによって登録されたＩＤを有すると認識された場合であっても、不明として扱われることを留意されたい。

[0046] このため、認識されていない人物、または識別されることを望まない人物を、システムによって「不明」としてラベル付けすることができる（ステップ３２６）。ユーザは、存在していると識別されることを望むが、サインインしない場合がある。この場合、そのような状態に（例えばステップ３２２に分岐するステップ３１８を介して）フィードバックが向けられる。

[0047] ステップ３２２は、（骨格追跡が用いられている場合）骨格データにユーザ識別子を割り当てることを提示する。ステップ３２４は、このユーザのためのフィードバック関連データ（例えば、アイコンまたはフラグ等の個人化された可視データ）を検索し、このデータをユーザに関連付けることを表す。本明細書に記載されるとき、このフィードバックは、ユーザが、システムが自身を正確に認識したか否かを知ることを可能にし、場合によっては、ユーザがシステムを駆動しているか否か、ユーザがどのようにインタラクトしているか等の他の状態データを伝達することも可能にする。

[0048] ステップ３２８は、例えば、ユーザインタフェースが現在表示しているものと一貫するようにユーザインタフェースディスプレイにフィードバックを出力することを表す（図５〜図８は表示されたフィードバックのいくつかの可能な例を提供する）。

[0049] ステップ３３０は、誤認識されているかまたは認識されていないが認識されることを望むユーザに特に有用な、トラブルシューティングまたは他の変更アクション（例えば、修復アクション）を可能にする。同様に、ユーザは、認識されているがサインインしていない状態からサインインしている状態に、または（認識されているにも関わらず）「不明」としてリストされている状態から、認識された状態、もしくは認識され、サインインしている状態に変更することを望む場合がある。サインインした人物はサインアウトを望む場合があり、および／または認識された人物は不明に変更することを望む場合がある。不明な人物は登録することを望む場合がある。通常、ステップ３３０は、システム（または人物）が現在人物を入れている任意の状態にオーバライドするかまたはこの状態を変更することを可能にする。

[0050] 図４Ａおよび図４Ｂは、システムが認識し、フィードバックとして提供することができるいくつかの追加のモードを表す。図４Ａはコントローラ検出４０２に関係し、ユーザが現在コントローラを保有しているか否かを対象とし（ステップ４０４）、これはシステムによって検知することができる。保有している場合、ステップ４０６において、フィードバックがそのような保有を示すことができる。容易に理解することができるように、他のタイプの入力も同様に検出することができ、結果として、対応するフィードバックを得ることができる。例えば、ユーザがジェスチャ、発話を介してインタラクトしているか否か、または遠隔でインタラクトしているか否かが、そのようなフィードバックの結果生じる場合があるインタラクションの例である。

[0051] 図４Ｂは、ユーザが現在システムを駆動している（または場合によっては、現在システムを誰も駆動していない場合にフォーカスを有している）か否かを対象とし、駆動検出４１０として示される。駆動している場合（ステップ４１２）、例えば、ユーザの表現（例えば、タイル）が表示上にどのように現れるかを変更するため等の、ステップ４１４によるフィードバックを用いることができる。

[0052] フィードバックは、システムが誰を人物とみなしているか、システムが誰を認識し／登録されたＩＤにマッピングしているか、誰がシステムを駆動しているか（または場合によっては、誰がフォーカスを有するか）、および他のモード、例えば、人物がゲームコントローラを有するか否か等の、通信することができる様々な情報のうちの任意のものを含む。フィードバックは、多くの異なる可視の方法において、例えば、強調、色、フラッシュ、ラベル、人物の表現の周囲の形状の配置（例えば、ボックス）、アニメーション、ビデオ等を介して、ならびに他の方法、例えば、カスタムメロディまたは名称の発話等のオーディオ再生、場合によっては特定の振動パターンおよび／または強度でのコントローラのバズ音等を介して通信することができる。

[0053] フィードバックの多くの可能な非限定的な例のうちのいくつかが図５〜図８に例示されている。簡潔にするために、および説明のために、視覚的な例のみが用いられる。例のうちのいくつかは、いずれのプロファイルが現在ＩＤにより認識されており、サインインされているかを、不明な人物と対比して示し、また、いずれのユーザがシステムを駆動しているかを示す。一方、いずれの人物が現在見えているか、いずれの人物が登録されているが見えていないか、どのタイプの入力（発話、コントローラ、ジェスチャ等）が、それらが存在する場合に受信されているか等を含む他の状態をフィードバックとして提示することができることが理解される。

[0054] ほとんど任意の所望の状態（モードを含む）および遷移を検出し、ユーザにフィードバックを提供するために用いることができる。例えば、認識された／サインインしたばかりのユーザは、自身がシステムに参加したばかりであることを示すために、自身のタイルを何らかの形で強調することができる（例えば、一時的に明るくされるか、または他の形で視覚的にアニメーション化される）。

[0055] 図５は、タイル／アイコン５５０、５５２および５５４におけるフィードバックを介して誰が登録ユーザとして識別されているかを例示しており、図５の一部が図６において拡大されている。このフィードバックは、ディスプレイ上の任意の場所に提示することができるが、図５の例示的な実施態様では、フィードバックはビデオ（例えば、ライブテレビ、ゲームプレイ、記録されたビデオ等）および場合によっては広告等を示すための表示空間を提供するためのディスプレイの左上コーナーに表示される。ＩＤを表示するために、実際の顔、漫画のようなキャラクターアイコン、写真または類似の画像、アバター、テキスト等をそのようなタイル内に表示することができることに留意されたい。例えば、１人の人物は（例えば、登録中に）、自身のユーザアカウントを表すために、実際のまたは漫画のような「キツネ」の画像によって表されることを選択することができる。他のユーザは、数ある可能な例の中でも、ユーザの実際の画像、または場合によっては、テキストラベルを付けることも可能である、ビデオおよび／またはアニメーションとすることができる他のピクチャによって表すことができる。

[0056] 図５および図６では、提供されるフィードバックにおいて、１人の人物のタイル表現５５４は、他のタイル５５０および５５２よりも大きい（かつ明るく、太線によって表される）。（拡大された図６は、ユーザタイル５５０および５５２および５５４内の例示的な画像を示す一方、空間の理由から図５はこれらを示していないことに留意されたい。）より大きくより明るいタイル５５４が、誰が入力を駆動しているか（または、場合によっては誰がフォーカスを有するか）を示している。更に、タイル５５０および５５４（タイル５５２ではない）はそれぞれ、カメラのビュー内に現在存在することを示す可視のバー（例えば、タイルの底部に破線で表すように、いくつかの実施態様では色付けされている）を含む。図７は、同様のフィードバックであるが、図７において、入力を駆動しているユーザのタイル表現７５４がより大きなタイル／画像を有さず、「より明るい」タイル／画像（図７において太線になっている）のみを有するという点で代替的であるフィードバックを示すことに留意されたい。

[0057] 図５および図６において、インジケータ「＋２」をラベル付けされた５５６は、認識されたがもはやビュー内にいない人物の数を示すことができ、および／または、全員についてフィードバックを表示するには、ビュー内にいる人物が多すぎるときを表すのに用いることができる。

[0058] 追加のフィードバックとして、カメラが奥行き方向に見ているものの色付けされた奥行き表現（画像）５５８を提供することができる。ここで、より明るく強調された（またはこの例では太線にされた）人物の奥行き「形状」は、誰がシステムをアクティブに駆動しているか（または場合によっては誰がフォーカスを有するか）に対応する。

[0059] 図７は、現在のカメラビューの可視光カメラ（例えば、ＲＧＢまたはモノクロ）画像７７０が示される別のフィードバック例を示す。これは、フルフレームレートまたはサンプリングレートでのライブビューとすることができる。この例では、１人のユーザが認識され、そのユーザが、例えば、フラグ７７２等により当該ユーザの画像の上方に浮かぶ当該ユーザの名前（「Ｒｏｂ」）を用いてラベル付けされる。不明な人物はラベル付けされる必要がないか、または代替的に、図７の「？」ラベル７７４により示されているように、人物であるがシステムにとって不明であると認識されているものとしてラベル付けされてもよい。ラベルは、画像内の関連する人物の上に重ねるかまたは近くにあってもよく、または画像に隣接し、関連する人物へのポインティングメカニズムを有するキャプション／バブルを含んでもよい。図７の例の左上のコーナーにおけるフィードバックタイル７７６は、奥行き画像を含まないが、これは一例にすぎず、奥行き画像を、可視光カメラ画像と同じユーザインタフェースディスプレイ上に表示することができることに留意されたい。

[0060] 図８は、２人のユーザが現在認識され、サインインし、これが、そのような各ユーザの上に重ね合わされたアイコン８８０およびアイコンセット８８２によって表されている、表現（フィードバックが重ね合わされた実際の可視光カメラ画像とすることができる）を示している。アイコンセット８８２は、誰が入力を駆動しているかを示す人物名と、人物がコントローラを保有していることを示すコントローラロゴとを含む。アイコン８８０に対応する人物は、自身が認識されていることを知っている。なぜなら、当該人物の画像の上方のアイコン８８０は、自身を表すことをユーザが知っているアイコンであるためである。他の人物は、当該人物の画像の上方の不明な疑問符「？」アイコン８８４によって示されるように、人物であるとして検出されているが認識されていない。ピクチャ内の任意の他の人物は、存在していると検出されてすらおらず、これによるフィードバックは、関連付けられたアイコン等が一切ないことであることに留意されたい。

[0061] 図８も、例えば、ユーザインタフェース１１２の補正コンポーネントによってとることができるいくつかの例示的なトラブルシューティングオプションを示している。図８の例は、全く認識されなかったときおよび他の誤認識のシナリオ時に用いることができる「認識されなかった」オプションを含む。

[0062] 見てとることができるように、生体認識を含むシステムに関して、各ユーザに当該ユーザの現在の状態を示すための技術が提供される。これは、例のうちのいくつか等において、視覚フィードバックとすることができる。様々な状態データ、特に、人物が、自身が正しく認識されたかまたは誤って認識されたかを知ることを可能にする状態データを伝達することができる。サインイン（または非サインイン）状態、インタラクションモード等の他の状態データを出力してもよい。

[0063] 例えば、いくつかの態様では、比較的小さなタイルを用いてフィードバックを伝達することができる。他の態様では、ロバストな可視のカメラビューによってユーザがより容易に自身を識別することが可能になり、例えば、カメラビュー自体の実際の表示において、フラグ等を、人物の頭上に、フラグ上の人物名および場合によっては他の情報と共に表示することができる。これは、システムがカメラビュー内の特定の人物を特定のユーザとして認識していることを示す。そのような時点において、カメラビューは、このレベルの詳細情報を表示するために、（ディスプレイがより標準的なビューおよびインタラクションに用いられるときと比較して）表示スクリーン上のより多くの空間を取得するが、これにより、ユーザが正しい人物として認識されていることのより直接的なフィードバックがユーザに提供される。

[0064] これは、生体認識によって判断されたユーザの認識に対応するＩＤデータを受信し、このＩＤデータをユーザに関連付けることを目的とした１つまたは複数の態様により達成することができる。ＩＤデータに基づいて、認識されたＩＤがユーザに関連付けられることを示すフィードバックが（出力デバイスに）出力される。これには、ユーザが出力デバイスに結合されているかまたは出力デバイスを組み込んでいるシステムとインタラクトすることが可能であることを示すフィードバックが含まれる。

[0065] １つまたは複数の態様では、ユーザは、ＩＤデータに基づいてシステムに自動的にサインインすることができる。顔認識は、ＩＤデータを取得するのに用いることができる生体認識の１つのタイプである。ユーザに関連付けられたＩＤデータは、ユーザインタラクションに基づいて異なるＩＤデータに変更することができる。

[0066] フィードバックを出力することは、認識されたＩＤを表す視覚的標識を提供することを示す。ここで、視覚的標識は、画像、アイコン、テキスト、アニメーションおよび／またはビデオを含む。例えば、カメラビューは、ユーザの画像を捕捉することができ、フィードバックを出力することは、カメラビューの可視画像およびフィードバックを出力することを含むことができる。フィードバックを出力することは、可視画像の上に、および／または可視画像に隣接して、少なくとも１つの視覚的標識を重ね合わせることを含むことができる。可視画像は、奥行き画像および／または可視画像を含むことができる。

[0067] 他のフィードバックが出力される場合もある。例えば、ユーザがコントローラを有していると判断すると、ユーザがコントローラを有していることを示す追加のフィードバックを出力することができる。ユーザがシステムを駆動していると判断すると、ユーザがシステムを駆動していることを示すフィードバックを出力することができる。

[0068] １つまたは複数の態様は、１つまたは複数の生体測定により認識されたユーザの識別データを受信するように構成されたユーザインタフェースコンポーネントを対象とする。生体測定により認識されたユーザごとに、ユーザインタフェースコンポーネントは、識別データに基づいてそのユーザのＩＤを示すフィードバックと、ユーザのインタラクション状態を示すフィードバックとを含むフィードバックを出力する。

[0069] フィードバックは、少なくとも１人の認識されたユーザを表す可視画像上にまたは可視画像に重ね合わせるかもしくは隣接することができ、および／または少なくとも１人の認識されたユーザを表す１つもしくは複数のアイコンを含むことができる。ユーザのインタラクション状態を表すフィードバックの非限定的な例は、サインイン状態、ビュー内状態、現在のシステム駆動状態および／またはフォーカスを有する状態を示すことができる。他の例示的なフィードバックは、コントローラ入力、発話入力、ジェスチャ入力および／または遠隔入力等の、システムインタラクションのためのユーザの現在の入力方法（または入力方法に関する機能）を示すことができる。

[0070] １つまたは複数の態様において、ユーザインタフェースコンポーネントは、誤って認識されたユーザが、誤って認識されたユーザに関連付けられたＩＤを変更することを可能にする補正コンポーネントを含むことができる。ユーザインタフェースコンポーネントはまた、人物が検出されたが認識されていないことを示すデータを受信することができ、その人物に関連付けられた認識されていない状態を示すフィードバックを出力することができる。

[0071] １つまたは複数の態様は、画像内の１人または複数人の人物の検出および生体認識のために、その画像を処理して、各人物を認識することを試みることを対象とする。認識された人物は、関連付けられたＩＤデータを有し、ＩＤデータに基づいてシステムにサインインする。また、ＩＤデータに基づいてフィードバックデータが取得され、このフィードバックデータは、認識された人物を可視表現としてレンダリングするためのフィードバックデータを含む。フィードバックデータは、システムに結合されているかまたはシステムに組み込まれた表示デバイス上に、認識された人物の可視表現としてレンダリングするために出力される。これは、認識された人物がシステムにサインインしていることを示すフィードバックデータをレンダリングすることを含む。

[0072] 認識された人物をシステムにサインインさせることは、認識された人物の生体認識時に自動的に行うことができる。また、認識された人物の骨格データを追跡することも説明され、ＩＤデータを画像内の認識された人物に関連付けることは、ＩＤデータを認識された人物の骨格データに関連付けることを含むことができる。

例示的な動作環境
[0073] 上記で説明した実施態様およびその代替形態は、ゲームシステム、パーソナルコンピュータ、タブレット、ＤＶＲ、セットトップボックス、スマートフォン等を含む任意の適切なコンピューティングデバイス上で実施することができることを容易に理解することができる。そのようなデバイスの組合せは、複数のそのようなデバイスが共に連結されているときにも実現可能である。説明の目的で、（メディアを含む）ゲームシステムは、以後、１つの例示的な動作環境として説明される。

[0074] 図９は、例示的なゲームおよびメディアシステム９００の機能ブロック図であり、機能コンポーネントをより詳細に示す。コンソール９０１は中央処理装置（CPU）９０２と、フラッシュリードオンリーメモリ（ROM）９０４、ランダムアクセスメモリ（RAM）９０６、ハードディスクドライブ９０８およびポータブルメディアドライブ９０９を含む様々なタイプのメモリへのプロセッサアクセスを容易にするメモリコントローラ９０３とを有する。１つの実施態様では、ＣＰＵ９０２は、データを一時的に記憶するレベル１キャッシュ９１０と、レベル２キャッシュ９１２とを含み、このため、ハードドライブに対し行われるメモリアクセスサイクル数を低減し、これによって処理速度およびスループットを改善する。

[0075] ＣＰＵ９０２、メモリコントローラ９０３および様々なメモリデバイスは、１つまたは複数のバス（図示せず）を介して相互接続される。この実施態様において用いられるバスの詳細は、本明細書において検討される対象の主題を理解することに特に関係していない。しかしながら、そのようなバスは、多岐にわたるバスアーキテクチャのうちの任意のものを用いる、シリアルバスおよびパラレルバス、メモリバス、周辺バス、ならびにプロセッサバスまたはローカルバスのうちの１つまたは複数を含むことができることが理解されよう。例として、そのようなアーキテクチャは、業界標準アーキテクチャ（ISA）バス、マイクロチャネルアーキテクチャ（MCA）バス、拡張ＩＳＡ（EISA）バス、ビデオエレクトロニクス標準アソシエーション（VESA）ローカルバス、およびメザニンバスとしても知られる周辺コンポーネントインターコネクト（PCI）バスを含むことができる。

[0076] １つの実施態様では、ＣＰＵ９０２、メモリコントローラ９０３、ＲＯＭ９０４およびＲＡＭ９０６は、共通モジュール９１４上に統合される。この実施態様では、ＲＯＭ９０４は、周辺コンポーネントインターコネクト（PCI）バス等およびＲＯＭバス等（それらはいずれも図示されていない）を介してメモリコントローラ９０３に接続されるフラッシュＲＯＭとして構成される。ＲＡＭ９０６は、別個のバス（図示せず）を介してメモリコントローラ９０３によって独立して制御される、複数のダブルデータレート同期ダイナミックＲＡＭ（DDR SDRAM）モジュールとして構成することができる。ハードディスクドライブ９０８およびポータブルメディアドライブ９０９は、ＰＣＩバスおよびＡＴアタッチメント（ATA）バス９１６を介してメモリコントローラ９０３に接続されて示されている。一方、他の実施態様では、選択肢として異なるタイプの専用データバス構造も適用することができる。

[0077] ３次元グラフィック処理装置９２０およびビデオエンコーダ９２２は、高速で高分解能の（例えば高精細）グラフィック処理のためのビデオ処理パイプラインを形成する。データは、デジタルビデオバス（図示せず）を介してグラフィック処理装置９２０からビデオエンコーダ９２２に搬送される。オーディオ処理ユニット９２４およびオーディオコーデック（コーダ／デコーダ）９２６は、様々なデジタルオーディオフォーマットのマルチチャネルオーディオ処理のための対応するオーディオ処理パイプラインを形成する。オーディオデータは、オーディオ処理ユニット９２４とオーディオコーデック９２６との間で通信リンク（図示せず）を介して搬送される。ビデオおよびオーディオ処理パイプラインは、データを、テレビまたは他のディスプレイ／スピーカに送信するためのＡ／Ｖ（オーディオ／ビデオ）ポート９２８に出力する。示される実施態様では、ビデオおよびオーディオ処理コンポーネント９２０、９２２、９２４、９２６および９２８は、モジュール９１４上に取り付けられる。

[0078] 図９は、有線および／または無線コンポーネントを含むことができる、ＵＳＢホストコントローラ９３０およびネットワークインタフェース（NW I/F）９３２を含むモジュール９１４を示す。バス（例えば、ＰＣＩバス）を介してＣＰＵ９０２およびメモリコントローラ９０３と通信するＵＳＢホストコントローラ９３０が示され、このＵＳＢホストコントローラ９３０は、周辺コントローラ９３４のためのホストとしての役割を果たす。ネットワークインタフェース９３２は、ネットワーク（例えば、インターネット、ホームネットワーク等）へのアクセスを提供し、イーサネットカードまたはインタフェースモジュール、モデム、Ｂｌｕｅｔｏｏｔｈモジュール、ケーブルモデム等を含む多岐にわたる様々な有線または無線インタフェースコンポーネントのうちの任意のものとすることができる。

[0079] 図９に示す例示的な実施態様では、コンソール９０１は、４つのゲームコントローラ９４１（１）〜９４１（４）をサポートするためのコントローラサポートサブアセンブリ９４０を含む。コントローラサポートサブアセンブリ９４０は、例えば、メディアおよびゲームコントローラ等の外部制御デバイスを用いた有線および／または無線動作をサポートするのに必要な任意のハードウェアおよびソフトウェアコンポーネントを含む。フロントパネルＩ／Ｏサブアセンブリ９４２は、電力ボタン９４３、取出しボタン９４４、ならびに任意の他のボタンおよび任意のＬＥＤ（発光ダイオード）またはコンソール９０１の外面に露出した他のインジケータの複数の機能をサポートする。サブアセンブリ９４０および９４２は１つまたは複数のケーブルアセンブリ９４６等を介してモジュール９１４と通信する。他の実施態様では、コンソール９０１は、追加のコントローラサブアセンブリを含むことができる。示される実施態様は、モジュール９１４に通信することができる信号を（例えばリモートコントロール９４９から）送受信するように構成された光Ｉ／Ｏインタフェース９４８も示している。

[0080] メモリユニット（MU）９５０（１）および９５０（２）は、それぞれＭＵポート「Ａ」９５２（１）および「Ｂ」９５２（２）に接続可能なものとして示されている。各ＭＵ９５０は、ゲーム、ゲームパラメータおよび他のデータを記憶することができる追加のストレージを提供する。いくつかの実施態様では、他のデータは、デジタルゲームコンポーネント、実行可能なゲームアプリケーション、ゲームアプリケーションを拡張するための命令セット、およびメディアファイルのうちの１つまたは複数を含むことができる。各ＭＵ９５０は、コンソール９０１に挿入されると、メモリコントローラ９０３によってアクセスすることができる。

[0081] システム電源モジュール９５４は、ゲームシステム９００のコンポーネントに電力を提供する。ファン９５６がコンソール９０１内の回路を冷却する。

[0082] マシン（例えばコンピュータ実行可能）命令／ロジックを含むアプリケーション９６０が、通常、ハードディスクドライブ９０８上に記憶される。コンソール９０１が電源オンにされると、ＣＰＵ９０２における実行のために、アプリケーション９６０の様々な部分がＲＡＭ９０６および／またはキャッシュ９１０および９１２にロードされる。通常、アプリケーション９６０は、ディスプレイ（例えば高精細モニタ）上で提示するためのダイアログスクリーンの制御、ユーザ入力に基づくトランザクションの制御、ならびにコンソール９０１と外部に接続されたデバイスとの間のデータ送信および受信の制御等の様々な表示機能を実行するための１つまたは複数のプログラムモジュールを含むことができる。

[0083] ゲームシステム９００は、システムを高精細モニタ、テレビ、ビデオプロジェクタまたは他の表示デバイスに接続することによって、スタンドアロンシステムとして動作することができる。このスタンドアロンモードにおいて、ゲームシステム９００は、１人または複数人のプレーヤがゲームをプレイするか、または例えば、映画を見るかもしくは音楽を聴くことによってデジタルメディアを堪能することを可能にする。一方、ネットワークインタフェース９３２を通じて可能にされたブロードバンド接続の統合によりゲームシステム９００は更に、より大型のネットワークのゲームコミュニティまたはシステムにおける参加コンポーネントとして動作することができる。

結論
[0084] 本発明は、様々な変更および代替的な構成を受け入れる余地があるが、そのうちのいくつかの例示された実施形態が図面に示され、上記で詳細に記載された。しかしながら、本発明を開示した特定の形態に限定する意図はなく、それどころか、本発明の趣旨および範囲内にある全ての変更、代替、構成および均等物を包含することが意図されていることを理解するべきである。

Claims (14)

1. コンピュータにより実施される方法であって、
   ユーザの画像を捕捉する一又は複数のカメラビューに基づいて、生体認識によって判断されたユーザの認識に対応するＩＤデータを受信することと、
   前記ＩＤデータを前記ユーザに関連付けることと、
   前記ＩＤデータに基づいて、認識されたＩＤが前記ユーザに関連付けられていることを示すフィードバックを出力デバイスに出力することであって、前記フィードバックは、前記ユーザが、複数の他の識別されたユーザからのフォーカスを有し、したがって、前記出力デバイスに結合されているかまたは前記出力デバイスを組み込んでいるシステムとインタラクトすることができることを示すフィードバックを含むことを含み、前記フォーカスは、前記ユーザがとるアクションによって、または複数のユーザが前記システムの駆動を試みている場合、タイブレーカシステムによって、前記ユーザから別のユーザに移すことができ、前記フィードバックは、前記カメラビューで捕捉された前記ユーザのライブビデオ表現を修正する標識と、前記ユーザの前記修正されたライブビデオ表現とともに表示される前記ユーザのタイル表現画像であって、前記ユーザの前記ＩＤデータに関連づけて予め記憶されており、前記ユーザが前記システムとインタラクトすることができることを示すように表示される前記ユーザの前記タイル表現画像と、を含む、方法。
2. 前記タイブレーカシステムは、階層メカニズムまたはタイミング制御により動作するように構成される、請求項１に記載のコンピュータにより実施される方法。
3. 前記ＩＤデータに基づいて前記システムに前記ユーザを自動的にサインインさせることを更に含む、請求項１に記載のコンピュータにより実施される方法。
4. 前記フィードバックを出力することは、前記認識されたＩＤを表す視覚的標識を提供することを含み、前記視覚的標識は、画像、アイコン、テキスト、アニメーションまたはビデオのうちの少なくとも１つを含む、請求項１に記載のコンピュータにより実施される方法。
5. 前記ユーザに関連付けられた前記ＩＤデータを、ユーザインタラクションに基づいて異なるＩＤデータに変更することを更に含む、請求項１に記載のコンピュータにより実施される方法。
6. 前記ＩＤデータを前記ユーザに関連付けることは、前記ＩＤデータを前記ユーザに対応する骨格データに関連付けることを含む、請求項１に記載のコンピュータにより実施される方法。
7. カメラビューが、前記ユーザの画像を捕捉し、前記フィードバックを出力することは、前記カメラビューおよび前記フィードバックの可視画像を出力することを含み、前記可視画像は、奥行き画像、可視画像、または奥行き画像および可視画像の双方を含む、請求項１に記載のコンピュータにより実施される方法。
8. 前記ユーザがコントローラを有するか否かを判断し、有する場合、前記ユーザが前記コントローラを有することを示す追加のフィードバックを出力することを更に含む、請求項１に記載のコンピュータにより実施される方法。
9. カメラビューが、前記ユーザの画像を捕捉し、前記ＩＤデータを受信することは、前記画像に対し顔認識を実行する生体認識器に画像を提供することを含む、請求項１に記載のコンピュータにより実施される方法。
10. ユーザの画像を捕捉する一又は複数のカメラビューに基づいて、１つまたは複数の生体測定により認識されたユーザの識別データを受信するユーザインタフェースコンポーネントを備えるシステムであって、生体測定により認識されたユーザごとに、前記ユーザインタフェースコンポーネントは、フィードバックを出力し、前記フィードバックは、前記識別データに基づいて前記ユーザのＩＤを示すフィードバックと、前記ユーザのインタラクション状態を示すフィードバックであって、前記ユーザが複数の他の識別されたユーザからのフォーカスを有することを示し、これはフォーカスを有する前記ユーザの入力のみが前記システムによって承認されることを意味する、フィードバックとを含み、前記フォーカスは、前記ユーザがとるアクションによって、または複数のユーザが前記システムの駆動を試みている場合、タイブレーカシステムによって、前記ユーザから別のユーザに移すことができ、前記フィードバックは、前記カメラビューで捕捉された前記ユーザのライブビデオ表現を修正する標識と、前記ユーザの前記修正されたライブビデオ表現とともに表示される前記ユーザのタイル表現画像であって、前記ユーザの前記識別データに関連づけて予め記憶されており、前記ユーザが前記システムとインタラクトすることができることを示すように表示される前記ユーザの前記タイル表現画像と、を含む、システム。
11. 前記タイブレーカシステムは、階層メカニズムまたはタイミング制御により動作する、請求項１０に記載のシステム。
12. 前記ユーザインタフェースコンポーネントは、誤って認識されたユーザが、前記誤って認識されたユーザに関連付けられた前記ＩＤを変更することを可能にする補正コンポーネントを含む、請求項１０に記載のシステム。
13. 前記フィードバックの少なくとも一部は、少なくとも１人の認識されたユーザを表す可視画像上に重ね合わされるかもしくは前記可視画像に隣接するか、または前記フィードバックの少なくとも一部は、少なくとも１人の認識されたユーザを表す１つもしくは複数のアイコンを含むか、または前記フィードバックの少なくとも一部は、少なくとも１人の認識されたユーザを表す可視画像上に重ね合わされるかもしくは前記可視画像に隣接し、かつ前記フィードバックの少なくとも一部は、少なくとも１人の認識されたユーザを表す１つもしくは複数のアイコンを含む、請求項１０に記載のシステム。
14. 実行可能な命令を有する１つまたは複数の機械可読ストレージデバイスであって、実行されると、請求項１〜９のいずれか１項に記載のコンピュータにより実施される方法を実行する、１つまたは複数の機械可読ストレージデバイス。

Images