JP6000929B2 - 情報処理装置 - Google Patents

Description

本発明は、ユーザ認証処理を行う情報処理装置に関する。

ゲーム装置などの情報処理装置にユーザがログインする際、情報処理装置は、ログインするユーザが、予め登録されたユーザであるか否かを識別するユーザ認証処理を行う。ユーザ認証の種類には様々あり、従来よりパスワードによるユーザ認証は広く使用されている。

パスワードによるユーザ認証とは別に、ユーザの生体情報を用いたユーザ認証も一般的に使用されている。生体情報を用いたユーザ認証は、ユーザがパスワードを入力する必要がなく、認証におけるユーザの手間は少ない。

生体認証の中でも、特にデジタル画像からユーザの顔を認識する顔認証システムは、基本的にはユーザに特別な動作を要求するものではないため、簡便なユーザ認証の１つとして知られている。本発明者は、顔認証システムを利用することで、ユーザ認証を簡易に実現して、ユーザが情報処理装置にログインするための仕組みを想到するに至った。

また、たとえばゲーム装置に関して言えば、ユーザがゲーム装置にログインして、それからプレイしようとするゲームの種類は様々であり、またゲーム装置においてユーザログインのために登録されているユーザ情報にもユーザによって多寡が生じていることもある。たとえば、ゲームコントローラを用いて操作するゲームは多いが、ゲームコントローラを用いないゲームも存在し、また、顔認証ログイン用の顔画像を登録しているユーザもいれば、そうでないユーザも存在する。そこでゲーム装置などの情報処理装置は、このようなユーザの状況に応じて、適切なログイン処理を実行できることが好ましい。

そこで本発明は、効率的なユーザ認証を行う技術を提供することを目的とする。

上記課題を解決するために、本発明のある態様の情報処理装置は、撮像画像をディスプレイに表示する撮像画像表示部と、登録ユーザの顔識別用データを保持する登録ユーザ情報保持部と、登録ユーザ情報保持部に保持された顔識別用データを用いて、撮像画像に存在する登録ユーザの顔画像を検出する顔認証部と、検出された登録ユーザに対して、オブジェクトの位置を指定する位置指定画像をディスプレイに表示する画像処理部と、位置指定画像によって指定した領域内に、オブジェクト画像が含まれていることを検出するオブジェクト認証部と、を備える。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明の情報処理技術によると、効率的なユーザ認証を行う技術を提供することが可能となる。

本発明の実施例にかかる情報処理システムを示す図である。 （ａ）は、入力装置上面の外観構成を示す図であり、（ｂ）は、入力装置奥側側面の外観構成を示す図である。 入力装置の構成を示す図である。 情報処理装置の機能ブロックを示す図である。 情報処理装置の構成を示す図である。 （ａ）および（ｂ）は、ログイン処理１におけるログイン画面を示す図である。 カメラによって撮影される空間の一例を示す図である。 顔認証部による顔識別結果を示す図である。 ログイン処理２におけるログイン画面を示す図である。 ログイン処理２におけるログイン画面を示す図である。 ログイン画面の一例を示す図である。 （ａ）および（ｂ）は、位置決定アルゴリズムで使用するパラメータを説明するための図である。 位置指定画像の位置決定処理のフローチャートを示す図である。 （ａ）および（ｂ）は、顔領域下方に、コントローラ画像を配置した状態を示す図である。 （ａ）は、顔領域下方にコントローラ画像を配置した状態を示す図であり、（ｂ）は、コントローラ画像を配置しない状態を示す図である。 顔認証部による顔識別結果を示す図である。 ログイン処理３におけるログイン画面を示す図である。 ログイン処理３におけるログイン画面を示す図である。 本実施例のログイン処理の実行フローチャートを示す図である。

図１は、本発明の実施例にかかる情報処理システム１を示す。情報処理システム１は、ユーザ端末である情報処理装置１０と、サーバ５とを備える。アクセスポイント（以下、「ＡＰ」とよぶ）８は、無線アクセスポイントおよびルータの機能を有し、情報処理装置１０は、無線または有線経由でＡＰ８に接続して、ネットワーク３上のサーバ５と通信可能に接続する。

補助記憶装置２は、ＨＤＤ（ハードディスクドライブ）やフラッシュメモリなどの大容量記憶装置であり、ＵＳＢ（Universal Serial Bus）などによって情報処理装置１０と接続する外部記憶装置であってよく、また内蔵型記憶装置であってもよい。出力装置４は、画像を出力するディスプレイおよび音声を出力するスピーカを有するテレビであってよく、またコンピュータディスプレイであってもよい。出力装置４は、情報処理装置１０に有線ケーブルで接続されてよく、また無線接続されてもよい。情報処理装置１０は、ユーザが操作する入力装置６と無線または有線で接続し、入力装置６はユーザの操作結果を示す操作信号を情報処理装置１０に出力する。情報処理装置１０は、入力装置６からの操作信号を受け付けるとＯＳ（システムソフトウェア）やアプリケーションの処理に反映し、出力装置４から処理結果を出力させる。入力装置６は複数のプッシュ式の操作ボタンや、アナログ量を入力できるアナログスティック、回動式ボタンなどの複数の入力部を有して構成される。

情報処理装置１０は、入力装置６からの操作信号を受け付けるとアプリケーションの処理に反映し、出力装置４から処理結果を出力させる。情報処理システム１において情報処理装置１０はゲームを実行するゲーム装置であり、入力装置６はゲームコントローラなど情報処理装置１０に対してユーザの操作信号を提供する機器である。なお入力装置６は、キーボードやマウスなどの入力インタフェースであってもよい。撮像装置であるカメラ７は出力装置４の近傍に設けられ、出力装置４周辺の空間を撮像する。図１ではカメラ７が出力装置４の上部に取り付けられている例を示しているが、出力装置４の側部または下部に配置されてもよく、いずれにしても出力装置４の前方に位置するユーザを撮像できる位置に配置される。カメラ７は、ステレオカメラであってもよい。

サーバ５は、情報処理システム１のユーザに対してネットワークサービスを提供する。サーバ５は、各ユーザを識別するネットワークアカウントを管理しており、各ユーザは、ネットワークアカウントを用いて、サーバ５が提供するネットワークサービスにサインインする。ユーザは情報処理装置１０からネットワークサービスにサインインすることで、サーバ５に、ゲームのセーブデータや、またゲームプレイ中に獲得した仮想的な表彰品であるトロフィを登録できる。

入力装置６のボタン構成について説明する。
［上面部の構成］
図２（ａ）は、入力装置上面の外観構成を示す。ユーザは左手で左側把持部７８ｂを把持し、右手で右側把持部７８ａを把持して、入力装置６を操作する。入力装置６の筐体上面には、入力部である方向キー７１、アナログスティック７７ａ、７７ｂと、４種の操作ボタン７６が設けられている。４種のボタン７２〜７５には、それぞれを区別するために、異なる色で異なる図形が記されている。すなわち、○ボタン７２には赤色の丸、×ボタン７３には青色のバツ、□ボタン７４には紫色の四角形、△ボタン７５には緑色の三角形が記されている。筐体上面上において、方向キー７１と操作ボタン７６の間の平坦な領域には、タッチパッド７９が設けられる。タッチパッド７９は、ユーザが押すことで下方に沈み込み、またユーザが手を離すと元の位置に復帰する押下式ボタンとしても機能する。

２つのアナログスティック７７ａ、７７ｂの間に機能ボタン８０が設けられる。機能ボタン８０は、入力装置６の電源をオンし、同時に入力装置６と情報処理装置１０とを接続する通信機能をアクティブにするために使用される。なお情報処理装置１０のメイン電源がオフとなっている場合、機能ボタン８０が押下されると、情報処理装置１０は、入力装置６から送信される接続要求を、メイン電源をオンにするための指示としても受け付け、これにより情報処理装置１０のメイン電源がオンとなる。入力装置６が情報処理装置１０と接続した後は、機能ボタン８０は、情報処理装置１０にメニュー画面を表示させるためにも使用される。

ＳＨＡＲＥボタン８１は、タッチパッド７９と方向キー７１の間に設けられる。ＳＨＡＲＥボタン８１は、情報処理装置１０におけるＯＳないしはシステムソフトウェアに対するユーザからの指示を入力するために利用される。またＯＰＴＩＯＮＳボタン８２は、タッチパッド７９と操作ボタン７６の間に設けられる。ＯＰＴＩＯＮＳボタン８２は、情報処理装置１０において実行されるアプリケーション（ゲーム）に対するユーザからの指示を入力するために利用される。ＳＨＡＲＥボタン８１およびＯＰＴＩＯＮＳボタン８２は、いずれもプッシュ式ボタンとして形成されてよい。

［奥側側面部の構成］
図２（ｂ）は、入力装置奥側側面の外観構成を示す。入力装置６の筐体奥側側面の上側には、タッチパッド７９が筐体上面から延設されており、筐体奥側側面の下側には、横長の発光部８５が設けられる。発光部８５は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のＬＥＤを有し、情報処理装置１０から送信される発光色情報にしたがって点灯する。図１に示すように、２台の入力装置６ａ、６ｂが使用されている場合、情報処理装置１０は、ユーザＡ、Ｂが各入力装置６を区別できるように、入力装置６ａ、６ｂの発光部８５の点灯色を異なる色、それぞれ赤、緑と定めてよい。これにより各ユーザは、自分が使用している入力装置６を発光部８５の点灯色によって認識できるため、入力装置６を取り違える可能性が低減される。

筐体奥側側面において、上側ボタン８３ａ、下側ボタン８４ａと、上側ボタン８３ｂ、下側ボタン８４ｂとが長手方向の左右対称な位置に設けられる。上側ボタン８３ａ、下側ボタン８４ａは、それぞれユーザ右手の人差し指、中指により操作され、上側ボタン８３ｂ、下側ボタン８４ｂは、それぞれユーザ左手の人差し指、中指により操作される。図示されるように発光部８５が、右側の上側ボタン８３ａ、下側ボタン８４ａの並びと、左側の上側ボタン８３ｂ、下側ボタン８４ｂの並びの間に設けられることで、各ボタンを操作する人差し指または中指によって隠れることはなく、カメラ７は、点灯した発光部８５を好適に撮像することができる。上側ボタン８３はプッシュ式ボタンとして構成され、下側ボタン８４は回動支持されたトリガー式のボタンとして構成されてよい。

図３は、入力装置６の構成を示す。入力装置６は、無線通信モジュール９０、処理部９１、発光部８５および振動子９８を備える。無線通信モジュール９０は、情報処理装置１０の無線通信モジュールとの間でデータを送受信する機能をもつ。処理部９１は、入力装置６における所期の処理を実行する。

処理部９１は、メイン制御部９２、入力受付部９３、発光制御部９４、３軸加速度センサ９５、３軸ジャイロセンサ９６および駆動制御部９７を有する。メイン制御部９２は、無線通信モジュール９０との間で必要なデータの送受を行う。

入力受付部９３は、方向キー７１、操作ボタン７６、アナログスティック７７、タッチパッド７９、機能ボタン８０、ＳＨＡＲＥボタン８１、ＯＰＴＩＯＮＳボタン８２、上側ボタン８３および下側ボタン８４などの入力部からの入力情報を受け付け、メイン制御部９２に送る。メイン制御部９２は、受け取った入力情報を必要に応じて所定の制御信号に変換して無線通信モジュール９０に供給し、無線通信モジュール９０は、所定のタイミングで情報処理装置１０に送信する。発光制御部９４は、発光部８５を構成する赤色ＬＥＤ８７、緑色ＬＥＤ８８、青色ＬＥＤ８９の発光を制御する。

本実施例の情報処理システム１において、入力装置６が電源オフの状態で、ユーザが機能ボタン８０を押下すると、入力装置６が電源オンされるとともに、メイン制御部９２が情報処理装置１０への接続要求を生成して、無線通信モジュール９０が接続要求を情報処理装置１０に送信する。このとき情報処理装置１０がメイン電源オフの状態にあっても、情報処理装置１０における無線通信モジュールは、メイン電源オフの状態でもアクティブ状態にあるため、情報処理装置１０は接続要求を受信すると、メイン電源をオンしてＯＳ（システムソフトウェア）を起動し、入力装置６との間の無線接続を確立する。

情報処理装置１０のシステムソフトウェアは、接続要求を送信した入力装置６の発光部８５の発光色を決定し、発光色情報を入力装置６に送信する。このときシステムソフトウェアは、カメラ７に撮像された空間に含まれる色情報を解析し、可能な限り環境色に含まれていない色を特定して、発光部８５の発光色を決定することが好ましい。これにより発光部８５の点灯後、カメラ７の撮像画像から、指定した発光色で点灯する発光部８５を、好適に検出することが可能となる。

無線通信モジュール９０にて受信した発光色情報はメイン制御部９２に渡され、メイン制御部９２は、発光制御部９４に発光色情報を通知する。これにより発光制御部９４は、指定された発光色で発光部８５を発光させることができる。

振動子９８は偏心モータなどを含んで構成され、駆動制御部９７により駆動される。３軸加速度センサ９５は、入力装置６のＸＹＺの３軸方向の加速度成分を検出し、３軸ジャイロセンサ９６は、ＸＺ平面、ＺＹ平面、ＹＸ平面における角速度を検出する。

図４は、情報処理装置１０の機能ブロック図を示す。情報処理装置１０は、メイン電源ボタン２０、電源ＯＮ用ＬＥＤ２１、スタンバイ用ＬＥＤ２２、システムコントローラ２４、クロック２６、デバイスコントローラ３０、メディアドライブ３２、ＵＳＢモジュール３４、フラッシュメモリ３６、無線通信モジュール３８、有線通信モジュール４０、サブシステム５０およびメインシステム６０を有して構成される。

メインシステム６０は、メインＣＰＵ（Central Processing Unit）、主記憶装置であるメモリおよびメモリコントローラ、ＧＰＵ（Graphics Processing Unit）などを備える。ＧＰＵはゲームプログラムの演算処理に主として利用される。これらの機能はシステムオンチップとして構成されて、１つのチップ上に形成されてよい。メインＣＰＵはＯＳを起動し、ＯＳが提供する環境下において、補助記憶装置２にインストールされたアプリケーションを実行する機能をもつ。

サブシステム５０は、サブＣＰＵ、主記憶装置であるメモリおよびメモリコントローラなどを備え、ＧＰＵを備えない。サブＣＰＵの回路ゲート数は、メインＣＰＵの回路ゲート数よりも少なく、サブＣＰＵの動作消費電力は、メインＣＰＵの動作消費電力よりも少ない。上記したように、サブＣＰＵは、メインＣＰＵがスタンバイ状態にある間に動作するものであり、消費電力を低く抑えるべく、その処理機能を制限されている。なおサブＣＰＵおよびメモリは、別個のチップに形成されてもよい。

メイン電源ボタン２０は、ユーザからの操作入力が行われる入力部であって、情報処理装置１０の筐体の前面に設けられ、情報処理装置１０のメインシステム６０への電源供給をオンまたはオフするために操作される。以下、メイン電源がオン状態にあるとは、メインシステム６０がアクティブ状態にあることを意味し、メイン電源がオフ状態にあるとは、メインシステム６０がスタンバイ状態にあることを意味する。電源ＯＮ用ＬＥＤ２１は、メイン電源ボタン２０がオンされたときに点灯し、スタンバイ用ＬＥＤ２２は、メイン電源ボタン２０がオフされたときに点灯する。

システムコントローラ２４は、ユーザによるメイン電源ボタン２０の押下を検出する。メイン電源がオフ状態にあるときにメイン電源ボタン２０が押下されると、システムコントローラ２４は、その押下操作を「オン指示」として取得し、一方で、メイン電源がオン状態にあるときにメイン電源ボタン２０が押下されると、システムコントローラ２４は、その押下操作を「オフ指示」として取得する。

メインＣＰＵは補助記憶装置２やＲＯＭ媒体４４にインストールされているゲームプログラムを実行する機能をもつ一方で、サブＣＰＵはそのような機能をもたない。しかしながらサブＣＰＵは補助記憶装置２にアクセスする機能、サーバ５との間でデータを送受信する機能を有している。サブＣＰＵは、このような制限された処理機能のみを有して構成されており、したがってメインＣＰＵと比較して小さい消費電力で動作できる。これらのサブＣＰＵの機能は、メインＣＰＵがスタンバイ状態にある際に実行される。本実施例の情報処理装置１０は、メインシステム６０のスタンバイ時にはサブシステム５０が稼働しているため、サーバ５が提供するネットワークサービスに、常時サインインした状態を維持する。

クロック２６はリアルタイムクロックであって、現在の日時情報を生成し、システムコントローラ２４やサブシステム５０およびメインシステム６０に供給する。

デバイスコントローラ３０は、サウスブリッジのようにデバイス間の情報の受け渡しを実行するＬＳＩ（Large-Scale Integrated Circuit）として構成される。図示のように、デバイスコントローラ３０には、システムコントローラ２４、メディアドライブ３２、ＵＳＢモジュール３４、フラッシュメモリ３６、無線通信モジュール３８、有線通信モジュール４０、サブシステム５０およびメインシステム６０などのデバイスが接続される。デバイスコントローラ３０は、それぞれのデバイスの電気特性の違いやデータ転送速度の差を吸収し、データ転送のタイミングを制御する。

メディアドライブ３２は、ゲームなどのアプリケーションソフトウェア、およびライセンス情報を記録したＲＯＭ媒体４４を装着して駆動し、ＲＯＭ媒体４４からプログラムやデータなどを読み出すドライブ装置である。ＲＯＭ媒体４４は、光ディスクや光磁気ディスク、ブルーレイディスクなどの読出専用の記録メディアである。

ＵＳＢモジュール３４は、外部機器とＵＳＢケーブルで接続するモジュールである。ＵＳＢモジュール３４は補助記憶装置２およびカメラ７とＵＳＢケーブルで接続してもよい。フラッシュメモリ３６は、内部ストレージを構成する補助記憶装置である。無線通信モジュール３８は、Bluetooth（登録商標）プロトコルやIEEE802.11プロトコルなどの通信プロトコルで、たとえば入力装置６と無線通信する。なお無線通信モジュール３８は、ＩＴＵ（International Telecommunication Union；国際電気通信連合）によって定められたＩＭＴ−２０００（International Mobile Telecommunication 2000）規格に準拠した第３世代（3rd Generation）デジタル携帯電話方式に対応してもよく、さらには別の世代のデジタル携帯電話方式に対応してもよい。有線通信モジュール４０は、外部機器と有線通信し、たとえばＡＰ８を介してネットワーク３に接続する。

本実施例の情報処理装置１０は、複数種類のログイン処理を用意しており、ユーザからのログイン要求があると、ユーザの状況や、ログイン要求を生成した操作状況などに応じて、実行する１つのログイン処理を決定し、決定したログイン処理のユーザインタフェースをユーザに提供する。以下、３種類のログイン処理の概要を説明する。

＜ログイン処理１＞
ログイン処理１は、情報処理装置１０が出力装置４にユーザ選択画面を表示し、ユーザがユーザ選択画面において、入力装置６を利用して自分のアイコンを選択し、ログイン用パスコードを入力することで、情報処理装置１０がユーザ認証を行い、ユーザをログインさせる処理である。ログイン処理１は、パスコードを利用した従来型のログイン処理である。
＜ログイン処理２＞
ログイン処理２は、情報処理装置１０がカメラ７の撮像画像を利用してユーザの顔認証を行い、検出された顔画像が登録ユーザの顔であることを判定した場合に、その登録ユーザに対して、ディスプレイに映し出されているカメラ画像内で入力装置６を動かすべき位置を指定し、ユーザが入力装置６を指定領域に動かすことによってユーザ認証を行い、ユーザをログインさせる処理である。
＜ログイン処理３＞
ログイン処理３は、情報処理装置１０がカメラ７の撮像画像を利用してユーザの顔認証を行い、検出された顔画像が登録ユーザの顔であることを判定した場合に、その登録ユーザに対して、ディスプレイに映し出されているカメラ画像内で顔を動かすべき位置を指定し、ユーザが顔を指定領域に動かすことによってユーザ認証を行い、ユーザをログインさせる処理である。

ログイン処理１、２は、入力装置６を利用したユーザ認証を行う点で共通しているが、ログイン処理１では、ユーザがパスコードを入力することでユーザ認証が行われるのに対し、ログイン処理２では、ユーザが入力装置６を所定の領域に動かすだけでユーザ認証が行われる点で異なっている。
ログイン処理１は、ユーザが入力装置６からログイン要求を情報処理装置１０に送信した場合であって、ユーザの顔画像が情報処理装置１０に登録されていない場合に実行され、一方でログイン処理２は、ユーザが入力装置６からログイン要求を情報処理装置１０に送信した場合であって、ユーザの顔画像が情報処理装置１０に登録されている場合に実行される。ログイン処理１と２とを比較すると、ログイン処理２の方が、パスコードを入力する必要がないため、ユーザにとって簡易なログイン操作であると言える。

ログイン処理２、３は、ともにカメラ７の撮像画像を利用した顔認証を行う点で共通しているが、ログイン処理２では、入力装置６が所定の領域に動かされたことを検出してユーザ認証を行うのに対し、ログイン処理３では、ユーザの顔が所定の領域に動かされたことを検出してユーザ認証を行う点で異なっている。
ゲームをプレイする際、ユーザが入力装置６を操作することが一般的であるが、近年では、ユーザの動きをゲームキャラクタの動きに反映するゲームも登場している。ユーザのジェスチャーを利用したゲームでは、そもそもユーザが入力装置６を用いないため、ユーザが情報処理装置１０のＯＳにログインする際にも、入力装置６を用いずにユーザ認証が行われることが好ましい。
そのため、ログイン処理３は、ユーザが入力装置６からログイン要求を情報処理装置１０に送信するのではなく、たとえば情報処理装置１０が電源オフの状態で、ユーザがメイン電源ボタン２０を押下したときに実行されるようにする。

このように情報処理装置１０は、ユーザが顔画像を登録しているか否か、またユーザが入力装置６からログイン要求を送信しているか否かに応じて、ログイン処理１〜３のいずれを実行するか決定する。

図５は、情報処理装置１０の構成を示す。情報処理装置１０は、通信部１０２、入力受付部１０４、画像取得部１０６、マイク１０８、管理部１００および登録ユーザ情報保持部１５０を備える。管理部１００の機能は情報処理装置１０のＯＳ（システムソフトウェア）およびＯＳにより実行されるアプリケーションやメモリにより実現され、発光色決定部１１０、処理決定部１２０およびログイン制御部１３０を有する。ログイン制御部１３０は、選択画像表示部１３２、撮像画像表示部１３４、顔認証部１３６、顔枠処理部１３８、位置指定画像処理部１４０、オブジェクト認証部１４２、ログイン処理部１４４およびログインユーザ記憶部１４６を有する。通信部１０２は、図４に示す無線通信モジュール３８および有線通信モジュール４０の機能を示す。

図５において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

本実施例の情報処理装置１０は、ユーザの好適なログイン動作を支援することを１つの特徴とする。ユーザは、情報処理装置１０のＯＳにログインするために、その前提として、ユーザアカウントを予め取得して、情報処理装置１０に様々なユーザ情報を登録している必要がある。以下、ユーザアカウントを情報処理装置１０に登録したユーザを、「登録ユーザ」とよぶ。

登録ユーザ情報保持部１５０は、登録ユーザに関する様々な情報を保持し、具体的には、ユーザアカウントに関連付けて、ログイン用パスコード、サーバ５にサインインするためのサインインＩＤ、ネットワークアカウント、ユーザのオンラインＩＤ（ネットワーク上でのニックネーム）、またユーザを表現するためのユーザアイコンなどを、登録ユーザ情報として保持している。なお、顔認証処理のために予め顔画像を登録している登録ユーザに関しては、登録ユーザ情報保持部１５０が、ユーザアカウントに関連付けて、顔識別用データを登録ユーザ情報として保持している。

ここで顔識別用データは、登録ユーザの顔画像の特徴量データであるが、顔画像データそのものであってもよい。顔識別用データは、顔認証部１３６による顔認識処理において比較対象とされるデータであり、顔認証部１３６が採用する顔認識アルゴリズムにしたがって生成される。たとえば顔識別用データは、顔のパーツの相対位置や大きさ、目や鼻やほお骨やあごの形を特徴として抽出したデータであってよい。また顔識別用データは、顔画像の標準データからの差分データとして抽出したデータであってよい。どのような顔識別用データを抽出するかは、採用する顔認識アルゴリズムによって定まり、本実施例では顔認証部１３６が既知の顔認識アルゴリズムを採用している。なお、顔画像を登録していない登録ユーザに関しては、当然のことながら、顔識別用データは、登録ユーザ情報保持部１５０に含まれていない。

以下、少なくともユーザＡ、Ｂの登録ユーザ情報が登録ユーザ情報保持部１５０に格納されており、ユーザＡのオンラインＩＤが「ＨＡＮＡＫＯ」、ユーザＢのオンラインＩＤが「ＳＡＣＨＩＫＯ」であるとする。以下、登録ユーザが情報処理装置１０のＯＳにログインする際の詳細な処理について説明する。

＜ログイン処理１＞
ユーザが入力装置６の機能ボタン８０を押下すると、その押下情報が情報処理装置１０に送信される。情報処理装置１０において、通信部１０２が押下情報を接続要求として受け付けて、入力装置６と通信部１０２とを接続する。なお情報処理装置１０のメイン電源がオフとなっている場合には、機能ボタン８０の押下情報により情報処理装置１０のメイン電源がオンとなった後、通信部１０２が入力装置６と接続する。また機能ボタン８０の押下情報は入力受付部１０４に伝達され、入力受付部１０４は、この押下情報を、ユーザからのログイン要求として受け付け、管理部１００に伝える。

まず発光色決定部１１０は、ログイン要求を送信した入力装置６の発光部８５の発光色を決定する。画像取得部１０６は、カメラ７から撮像画像データを取得する。たとえばカメラ７は周期的（たとえば１／３０秒ごと）に空間を撮像して、撮像画像をＵＳＢモジュール３４を経由して画像取得部１０６に提供する。発光色決定部１１０は、所定の割当順序にしたがって発光色を決定するが、このとき割当順序により決定される発光色が撮像空間に存在していれば、撮像画像から、撮像空間に存在しない色を特定して、特定した色の中から発光色を決定してもよい。発光色決定部１１０が発光色を決定すると、通信部１０２が入力装置６に発光色情報を送信する。入力装置６において無線通信モジュール９０が発光色情報を受信し、発光制御部９４が、発光色情報に応じた発光色で発光部８５を点灯する。たとえば発光色情報が赤色を指定する場合、入力装置６の発光部８５は赤色で点灯することになる。

また選択画像表示部１３２は、登録ユーザ情報保持部１５０に保持されている登録ユーザ情報を読み出し、情報処理装置１０に登録されたユーザを選択するための選択画像を生成する。具体的に選択画像表示部１３２は、登録ユーザ情報のうち、ユーザアイコンおよびオンラインＩＤを読み出して、登録されたユーザのオンラインＩＤをリスト形式で並べたユーザ選択画面を出力装置４に表示する。この選択画面は、ログイン処理１におけるログイン画面を構成するが、後述するように、選択画面の初期表示時には、ログイン処理２を実行するか否かの判定処理が行われており、ログイン処理２の不実行が決定した後、正式にユーザ選択画面がログイン処理１におけるログイン画面を構成することになる。

図６（ａ）はユーザ選択画面の一例を示す。選択画像表示部１３２は、登録ユーザ情報保持部１５０に保持されている全ての登録ユーザのユーザアイコンおよびオンラインＩＤを読み出し、読み出したユーザアイコンおよびオンラインＩＤをリスト形式でユーザが選択可能に表示する。以下、ユーザアイコンおよびオンラインＩＤを、「ユーザ特定情報」とよぶ。

ユーザ選択画面の一部の小窓領域２０２に、撮像画像表示部１３４が、画像取得部１０６が取得した撮像画像を表示する。この表示画像は、カメラ７のライブ画像であり、小窓領域２０２の近傍には、「登録されている顔を探しています」とメッセージが表示される。このメッセージは、顔認証部１３６による顔認証処理中に表示され、したがって顔認証処理が終了すると、メッセージ表示は消される。つまり図６（ａ）に示す状態では、ユーザ選択画面が表示されつつ、そのバックグランドにおいては、顔認証部１３６により、撮像画像中に、顔画像を登録したユーザが存在しているかが確認されている。

図７は、カメラ７によって撮影される空間の一例を示す。この撮影空間には、３人のユーザが存在している。図７において３人のユーザを取り囲む四角の枠はカメラ７の撮像範囲を表現している。カメラ７の撮像範囲は、出力装置４にてライブ画像として表示される範囲を規定するが、ライブ画像は、撮像画像の一部であってもよい。顔認証部１３６は、撮像画像において、人の顔と推定される部分を抜き出し、その部分の特徴量データを導出して、登録ユーザ情報保持部１５０に保持された顔識別用データと比較し、抜き出した顔が登録ユーザの顔であるか否かを判定する。

具体的に顔認証部１３６は、抜き出したユーザの顔画像の特徴量データと、登録ユーザ情報保持部１５０に保持されている全ての登録ユーザの顔識別用データとの一致度を導出する。この一致度は数値表現され、たとえば１００点満点中の何点という形で一致度が導出される。登録された顔画像の特徴量データとの一致度が９０点を超えていれば、顔認証部１３６は、撮像されたユーザが、登録ユーザであることを判定するとともに、撮像されたユーザがどの登録ユーザであるかを特定する。なお一致度が９０点を超えるものが複数存在する場合には、顔認証部１３６は、撮像されたユーザが、最高点が導出された顔識別用データの登録ユーザであることを判定すればよい。なお、撮像画像から抜き出したユーザの顔画像の特徴量データと、全ての登録ユーザの顔識別用データとの一致度を導出した結果、一致度が９０点を超えるものがなければ、顔認証部１３６は、撮像画像に含まれるユーザが、登録ユーザでないことを判定する。このように顔認証部１３６は、登録ユーザ情報保持部１５０に保持された顔識別用データを用いて、撮像画像に存在する登録ユーザの顔画像を検出する。この顔識別技術は、既知の技術を用いてよい。

顔認証部１３６により、撮像画像に含まれる３人のユーザの全てが登録ユーザでないことが判定されると、ログイン処理部１４４は、「登録されている顔を探しています」と表示していたメッセージを非表示とし、また小窓領域２０２も非表示としてよい。なお顔認証部１３６により、登録ユーザであることが判定された全てのユーザが既にログイン済みである場合にも、ログイン処理部１４４は、「登録されている顔を探しています」と表示していたメッセージを非表示とし、また小窓領域２０２も非表示としてよい。このように、入力装置６の操作によりログイン要求が生成される場合には、顔認証部１３６が、カメラ７の撮像画像に、まだログインしていない顔画像を登録したユーザが含まれているかを判定し、顔画像を登録したユーザが含まれていないことが判明したときに、選択画像表示部１３２が、ユーザ選択画面の表示を継続して、ログイン処理部１４４が、ログイン処理１を開始する。顔認証部１３６による判定時間は数秒であり、したがって、小窓領域２０２およびメッセージは、ユーザ選択画面において、数秒間だけ表示される。

ログイン処理１では、ユーザ選択画面において、ログイン処理部１４４が、１つのユーザ特定情報を取り囲むフォーカス枠２００をリスト上で移動可能に表示する。ユーザは入力装置６の入力部を操作してフォーカス枠２００を自分のユーザ特定情報の表示領域に動かし、入力装置６の決定ボタン（○ボタン７２）を押すことで、自分のユーザ特定情報を選択できる。ユーザ選択画面において、ユーザ特定情報の表示個数は制限され、図６（ａ）に示す例では最大で４つに制限される。登録ユーザ数が４人を超える場合には、ユーザは入力装置６の入力部を操作して、ユーザ特定情報のリストを左方または右方にスクロールさせることができる。

ここでログインを要求するユーザがユーザＡであるとし、入力装置６ａを操作して、選択画面において「ＨＡＮＡＫＯ」を選択すると、ログイン処理部１４４は、図６（ｂ）に示すパスコードの入力画面を出力装置４に表示する。ここでユーザＡが登録したパスコードを入力すると、ログイン処理部１４４が、登録ユーザ情報保持部１５０に保持されているユーザＡのログイン用パスコードと同じであるか判定して、ユーザＡのログインの許否を判定する。この一連のログイン作業において、ログイン処理部１４４は、入力装置６ａからの操作情報のみを受け付け、入力装置６ａ以外の入力装置６からの操作情報を受け付けない。以上のようにログイン制御部１３０は、ユーザのログイン処理１を実行する。

このように顔認証部１３６により、まだログインしていない登録ユーザが検出されない場合には、ログイン制御部１３０が、ログイン処理１を実行して、顔画像を登録していないユーザが円滑にログインできるようにする。

＜ログイン処理２＞
上記したように、ユーザが入力装置６を操作してログイン要求を生成した場合、顔認証部１３６が、撮像画像中に、顔画像を登録したユーザが存在しないことを判定すると、ログイン処理１が実行される。一方で、ユーザが入力装置６を操作してログイン要求を生成した場合に、顔認証部１３６が、撮像画像中に、まだログインしていない顔画像を登録したユーザが存在することを判定すると、ログイン処理２が実行される。

図８は、顔認証部１３６による顔識別結果を示す。ここでは、左側のユーザがユーザＡであること、右側のユーザがユーザＢであること、真ん中のユーザが、顔画像を登録した登録ユーザではないことが判定されている。顔認証部１３６は、ユーザＡ（オンラインＩＤ：ＨＡＮＡＫＯ）の顔の撮像画像中の位置を示す顔領域２０４ａと、ユーザＢ（オンラインＩＤ：ＳＡＣＨＩＫＯ）の顔の撮像画像中の位置を示す顔領域２０４ｂを設定し、顔領域２０４ａ、２０４ｂの位置座標および撮像された登録ユーザを特定する情報とを顔枠処理部１３８に提供する。以下、位置座標は、撮像画像をディスプレイに表示したときの２次元座標により表現される例を示すが、ＶＲＡＭ上に定義される座標であってもよく、いずれにしても顔領域２０４の座標および後述する顔枠の座標とが共通の座標系で表現されればよい。

各顔領域２０４は、撮像画像中の顔の輪郭に接する矩形領域として設定されてよいが、顔輪郭よりも若干広い矩形領域として設定されてもよい。なお、ここで顔の輪郭は、頭髪まで含む輪郭を意味しているが、たとえば顔認証部１３６の顔認識処理が頭髪を考慮しない場合には、頭髪を除いて顔の輪郭が設定されてもよい。撮像画像中のユーザの顔の大きさおよび形状により顔領域２０４の大きさおよび形状は定まり、したがってユーザごとに顔領域２０４の大きさおよび形状は異なり、また同じユーザであっても、カメラ７との距離に応じて顔領域２０４の大きさおよび形状は変化する。

顔認証部１３６から顔枠処理部１３８に提供される登録ユーザを特定する情報は、登録ユーザのユーザアカウントであってもよく、またオンラインＩＤであってもよい。顔認証部１３６は、顔領域２０４の位置座標と登録ユーザ特定情報とを対応付けて顔枠処理部１３８に提供し、すなわち図８に示す例では、顔領域２０４ａとユーザＡの特定情報の組合せと、顔領域２０４ｂとユーザＢの特定情報の組合せとを顔枠処理部１３８に提供する。顔枠処理部１３８は、顔認証部１３６により検出された登録ユーザに対して、出力装置４に顔枠を表示する。

図９は、ログイン処理２におけるログイン画面を示す。図９に示すログイン画面は、図６に示すユーザ選択画面が表示されている間に顔認証部１３６により撮像画像中に顔画像を登録したユーザが検出されて、ユーザ選択画面が非表示にされた後に、出力装置４に表示される。

ログイン処理２におけるログイン画面において、撮像画像表示領域２０６に、撮像画像表示部１３４が、カメラ７の撮像画像をライブ表示する。顔枠処理部１３８は、顔認証部１３６より提供される顔領域２０４ａ、２０４ｂの位置座標および撮像された登録ユーザを特定する情報をもとに、登録ユーザに対して顔枠２１０を表示する。ここではユーザＡに対して顔枠２１０ａを表示し、ユーザＢに対して顔枠２１０ｂを表示している。このとき顔枠処理部１３８は、顔枠２１０ａの近傍にユーザＡのオンラインＩＤ（ＨＡＮＡＫＯ）を表示し、顔枠２１０ｂの近傍にユーザＢのオンラインＩＤ（ＳＡＣＨＩＫＯ）を表示する。これによりユーザＡ、Ｂは、自身の顔認識が行われていることを知ることができる。ユーザは、自身の顔枠２１０の近傍に、自身とは別のオンラインＩＤが表示されていれば、顔認識が適切に行われていないことを知ることができる。なお真ん中のユーザは、顔画像を登録した登録ユーザではないため、顔枠２１０は表示されていない。

位置指定画像処理部１４０は、顔認証部１３６により検出された登録ユーザに対して、オブジェクトの位置を指定する位置指定画像２１２を、ディスプレイである出力装置４に表示する。ここで、オブジェクトは、ゲームコントローラである入力装置６であり、位置指定画像２１２は、撮像画像表示領域２０６に表示している撮像画像において、ユーザが入力装置６を動かしてカメラ７に撮像させる位置を指定する。ログイン処理２において、位置指定画像２１２は、登録ユーザがログインする際に、入力装置６を動かして配置するために表示される。

位置指定画像処理部１４０は、顔認証部１３６より提供される顔領域２０４ａ、２０４ｂの位置座標をもとに、各登録ユーザに対して位置指定画像２１２を表示する。ここではユーザＡに対して位置指定画像２１２ａを表示し、ユーザＢに対して位置指定画像２１２ｂを表示している。位置指定画像処理部１４０は、位置指定画像２１２のそれぞれにＩＤを付し、位置指定画像ＩＤと、対応するユーザの特定情報をログイン処理部１４４に提供する。たとえば位置指定画像処理部１４０は、位置指定画像２１２ａの指定位置画像ＩＤを“ＩＤ１”、位置指定画像２１２ｂの指定位置画像ＩＤを“ＩＤ２”と設定し、“ＩＤ１”とユーザＡの特定情報との組合せと、“ＩＤ２”とユーザＢの特定情報との組合せとを、ログイン処理部１４４に提供する。したがって、ここでは位置指定画像処理部１４０が、“ＩＤ１”とユーザＡの特定情報の組合せと、“ＩＤ２”とユーザＢの特定情報の組合せとを、ログイン処理部１４４に提供する。

位置指定画像処理部１４０は、ログインしようとするユーザに対して、今から行うべき動作を理解できるような位置指定画像２１２を表示することが好ましい。この例では、位置指定画像２１２は、ゲームコントローラの画像を含み、さらに、ゲームコントローラのＬＥＤを赤色に点灯させた画像にしている。これにより、ログインしようとするユーザは、発光部８５が赤色点灯した入力装置６を、位置指定画像２１２で指定される領域に動かして、カメラ７に撮像させればよいことを容易に認識できるようになる。

ログイン処理２では、入力装置６を、位置指定画像２１２で指定される領域に動かすことをユーザに要求するため、位置指定画像２１２で指定される領域は、ユーザが入力装置６を動かしやすい位置とすることが好ましい。そこで位置指定画像処理部１４０は、登録ユーザの顔画像の下側の位置、すなわち顔枠２１０の下側の位置を指定する位置指定画像２１２を表示する。

図１０は、ユーザが位置指定画像２１２で指定された位置に、入力装置６を動かしたログイン画面を示す。ここではユーザＡが、出力装置４に表示されている位置指定画像２１２ａに含まれるゲームコントローラ画像に入力装置６が重なるように、入力装置６を上に持ち上げた状態を示している。オブジェクト認証部１４２は、撮像画像において、位置指定画像２１２ａにより指定された指定領域内に、入力装置６の画像が含まれているか監視する。なお、ユーザが入力装置６を動かすべき位置は、ユーザに対しては位置指定画像２１２ａに含まれるゲームコントローラ画像により指定されるが、オブジェクト認証部１４２は、ゲームコントローラ画像だけでなく、その近傍まで含めた領域内で、入力装置６の画像を監視することが好ましい。たとえばオブジェクト認証部１４２が監視する領域は、位置指定画像２１２に含まれるゲームコントローラ画像の中心から所定の半径内の領域として、ゲームコントローラ画像に入力装置６が完全に合わせられなくても、オブジェクト認証部１４２が、位置指定画像２１２によって指定した領域内に、入力装置６の画像が含まれていることを検出できるようにすることが好ましい。指定領域は、矩形であっても、また他の形状であってもよい。

なお図１０においては、位置指定画像処理部１４０が、ユーザＡ、Ｂに対してそれぞれ位置指定画像２１２ａ、２１２ｂを表示しており、したがってオブジェクト認証部１４２は、位置指定画像２１２ａ、２１２ｂで指定される領域内に、入力装置６の画像が含まれているか監視する。この例では、発光部８５が赤色点灯した入力装置６のログイン処理を行っているため、位置指定画像処理部１４０は、赤色点灯したゲームコントローラ画像を位置指定画像２１２ａ、２１２ｂとしてそれぞれ表示し、オブジェクト認証部１４２は、指定領域内に、赤色の矩形領域が存在するか否かを判定して、入力装置６の存在を検出するようにしてもよい。オブジェクト認証部１４２は、いずれかの指定領域内において入力装置６の存在を検出すると、オブジェクト認証部１４２は、赤色点灯した発光部８５を有する入力装置６が検出された位置指定画像２１２を特定する情報（位置指定画像ＩＤ）を、ログイン処理部１４４に通知する。

既述したようにログイン処理部１４４は、予め位置指定画像処理部１４０から、位置指定画像ＩＤおよびユーザの特定情報の組合せを通知されている。ログイン処理部１４４は、オブジェクト認証部１４２から位置指定画像ＩＤを通知されると、予め通知された組合せ情報から、ユーザの特定情報を取得できる。したがってログイン処理部１４４は、ユーザＡ用に表示された位置指定画像２１２ａで指定される領域内に赤色点灯した入力装置６が検出されたことを認識する。これによりログイン処理部１４４は、ユーザＡを情報処理装置１０にログインさせる。ログイン処理部１４４は、ログインユーザ記憶部１４６に、ログイン情報、すなわちユーザＡを特定する情報（ユーザアカウント）と、ユーザＡが使用する入力装置６ａを特定する情報（ゲームコントローラＩＤ）と、撮像画像に含まれる入力装置６ａを識別する情報（赤色発光情報）とを対応付けて記憶する。

以上のように、ログイン処理２では、顔認証部１３６が顔認証を行い、その後、オブジェクト認証部１４２が指定領域内に入力装置６が含まれていることを検出することで、ログイン処理部１４４が登録ユーザをログインさせる。たとえば顔認証処理において、最初の撮影画像において人の顔を検出し、登録ユーザであるか否かの判定を行った後は、新たなユーザが撮影されない限り、顔認証処理を行わなくてもよい。なお、この場合は、検出した人の顔を撮影画像中で追跡処理し、常時、撮影画像における顔画像の位置座標を顔枠処理部１３８および位置指定画像処理部１４０に提供する。これにより顔枠２１０および位置指定画像２１２は、ユーザの顔の動きに追従して撮像画像表示領域２０６にて表示されることになる。なお顔認証を所定の周期で実行し、顔認証を行わない時間帯は、検出した人の顔を追跡処理するようにしてもよい。

顔枠処理部１３８および位置指定画像処理部１４０は、既にログイン済みのユーザに対しては、顔枠２１０および位置指定画像２１２を表示しない。顔認証部１３６が、登録ユーザが撮像画像に含まれていることを検出すると、顔枠処理部１３８および位置指定画像処理部１４０は、検出された登録ユーザが、ログインユーザ記憶部１４６を参照して既にログイン済みであるか否かを判定する。たとえば画面右側のユーザＢ（オンラインＩＤ：ＳＡＣＨＩＫＯ）が、ログイン済みのユーザであれば、顔枠処理部１３８および位置指定画像処理部１４０は、顔枠２１０ｂ、位置指定画像２１２ｂを表示しない。

以下、顔枠２１０と位置指定画像２１２の表示態様について説明する。なお図１１〜図１５では、説明の便宜上、撮影画像に含まれる登録ユーザの顔以外の身体部分や他のユーザの表示を省略している。

顔枠処理部１３８は、顔認証部１３６より提供される顔領域２０４ａ、２０４ｂの位置座標および撮像された登録ユーザを特定する情報をもとに、登録ユーザに対して顔枠２１０を表示する。顔認証部１３６から提供される顔領域２０４の位置座標は、たとえば矩形として設定される顔領域２０４の４つの頂点の座標値であってもよい。位置指定画像処理部１４０は、登録ユーザの顔画像の下側の位置を指定する位置指定画像２１２を表示する。

各ユーザは、顔枠２１０および位置指定画像２１２を表示された後、撮像範囲内を動くこともある。上記したように、顔枠２１０および位置指定画像２１２は、ユーザの動きに追従するように撮像画像表示領域２０６にて表示されることが好ましい。

図１１は、ログイン画面の一例を示す。このログイン画面では、顔認証部１３６が、撮影画像中でユーザＢを検出できなくなり、顔領域２０４ｂを設定できなくなっている。ユーザＢの不検出は、顔認証部１３６の顔識別精度によるところもあるため、顔認証部１３６がユーザＢを検出できなくなったからといって、ユーザＢがカメラ７からフレームアウトしたとは限らない。そこで、顔枠処理部１３８は、所定の条件のもとで、仮にユーザＢが顔認証部１３６により不検出となった場合であっても、一度表示した顔枠２１０ｂを表示し続ける。これにより顔認証部１３６がユーザＢの検出成功、検出不成功を交互に繰り返したような場合に、顔枠２１０ｂの表示、非表示が交互に繰り返される事態を回避できる。なお顔枠処理部１３８は、ユーザＢが検出されていないことを顔認証部１３６から通知されると、顔枠２１０ｂの表示態様を、顔枠２１０ａとは異ならせてもよい。たとえば顔枠２１０ｂは、点滅表示されてもよい。位置指定画像処理部１４０は、顔枠２１０ｂが表示される限りにおいて、位置指定画像２１２ｂを、顔枠２１０ｂの下方に表示し続ける。

上記した例では、ユーザＢが不検出の場合であっても、所定の条件のもとで顔枠２１０ｂを表示し続けることを説明した。この所定の条件を構成するための基準について、以下説明する。
まず前提として、顔枠処理部１３８は、複数の登録ユーザに対して顔枠２１０を表示する場合に、表示する顔枠２１０の数を所定数に制限する。これは出力装置４に多数の顔枠２１０を表示するのが困難であるためである。そこで顔枠処理部１３８は、たとえば表示する顔枠２１０の上限を４つとし、仮に顔認証部１３６によって撮影画像中に５人以上の登録ユーザが検出されたとしても、４人分の顔枠２１０を表示することとする。

このとき、顔枠処理部１３８が、どのユーザの顔枠２１０を表示するかを決定する必要があるが、この決定の基準とするべく、撮像されている複数の登録ユーザに対して、顔枠２１０を表示する優先順位を定める。この優先順位は、以下のように決定される。
（ａ）まずは、初期ログイン画面に含まれる登録ユーザの順位が決定される。ここでユーザＡ、Ｂが初期ログイン画面に含まれていたとすると、顔枠処理部１３８は、ユーザＡとＢのログイン回数の多い方を１位、少ない方を２位として決定してもよい。たとえばユーザＢのログイン回数が多い場合には、ユーザＢが１位、ユーザＡが２位とされる。なお顔枠処理部１３８は、顔領域２０４の大きいユーザの優先順位を高く決定してもよい。顔枠処理部１３８は、顔認証部１３６により設定された複数の顔領域２０４の面積を比較して、顔領域２０４の大きいユーザの優先順位を高く決定してもよい。なおカメラ７がステレオカメラである場合、ユーザとカメラ７との間の距離が測定できるため、顔枠処理部１３８は、カメラ７との距離が近いユーザの優先順位を高く決定してもよい。
（ｂ）次に、図９に示す初期ログイン画面表示後のログイン画面に含まれるようになった登録ユーザの順位を高く決定する。つまり顔枠処理部１３８は、新たにカメラ７に撮影されるようになった登録ユーザの順位を１位として決定し、既に撮影されていた登録ユーザの順位を１つ下げる。したがって、新たにユーザＣがカメラ７で撮影されると、ユーザＣが１位、ユーザＢが２位、ユーザＡが３位とされる。このように顔枠処理部１３８は、（ａ）よりも（ｂ）の基準を高く設定し、新たに顔認証部１３６により認識されたユーザの順位を高く設定する。

顔枠処理部１３８は、カメラ７に撮影される登録ユーザの優先順位を決定するが、ユーザＤ、Ｅも新たに撮影された結果、ユーザＢの順位が４位になったとする。このときユーザＡの順位は５位であり、顔枠処理部１３８は、１位から４位のいずれかが設定されたユーザＢ、Ｃ、Ｄ、Ｅに対して、顔枠２１０を表示する。ここで、ユーザＢが顔認証部１３６により検出されなくなると、顔枠処理部１３８は、ユーザＢの顔枠２１０ｂを消して、ユーザＡの顔枠２１０ａを表示する。顔枠処理部１３８は、顔認証部１３６により不検出となったユーザについては、その順位を最下位に落とし、表示の優先順位を決定する。

このように顔枠処理部１３８は、撮像されている複数の登録ユーザに対して、顔枠２１０を表示する優先順位を定め、顔枠処理部１３８は、定められた優先順位にしたがって、所定の上限数の範囲内で顔枠２１０を表示する。

以上のことから、図１１に示すログイン画面において顔枠２１０ｂが表示され続ける条件は、このログイン画面において、４人以上の登録ユーザが検出されていない場合であり、そのような条件が満足する限りにおいて、顔枠処理部１３８は、顔枠２１０ｂを表示し続けるようにする。既述したように、位置指定画像処理部１４０は、顔枠２１０が表示されている限り、対応する位置指定画像２１２を顔枠２１０の近傍に表示する。なおユーザＢが所定時間（たとえば３０秒または１分）検出されない場合には、顔枠２１０ｂおよび位置指定画像２１２ｂが非表示とされてもよい。

なお顔枠処理部１３８は、複数の顔枠２１０が重なる場合には、一方のみを表示するようにしてもよい。

以下、顔領域２０４（顔枠２１０）に対する位置指定画像２１２の位置を決定するアルゴリズムを説明する。
図１２（ａ）および図１２（ｂ）は、位置決定アルゴリズムで使用するパラメータを説明するための図である。ここでは理解を容易にするために、撮像画像表示領域２０６にＸＹ座標を設定しているが、実際には位置指定画像処理部１４０が、ＶＲＡＭなどに展開される画像データをもとに、演算処理を実行する。ここでは撮像画像表示領域２０６の下端にＸ軸、左端にＹ軸を設定し、Ｘｍａｘは撮像画像表示領域２０６の横方向の画面サイズ、Ｙｍａｘは撮像画像表示領域２０６の縦方向の画面サイズを示す。位置指定画像処理部１４０は、以下のようにユーザＡの顔枠２１０ａに対する座標パラメータを導出する。

図１２（ａ）に示すように、位置指定画像処理部１４０は、顔領域２０４ａに対する基準パラメータＬ、Ｗ、Ｈを以下のように導出する。
Ｌ：顔枠２１０ａの縦方向の長さ
Ｗ：顔枠２１０ａの横方向の幅
Ｈ：顔領域２０４ａの高さ（顔領域２０４ａの下端から撮像画像表示領域２０６の下端までの距離）

図１２（ｂ）は、顔領域２０４ａのＹ軸方向下方において、別のユーザの顔領域２０４ｂが重なって存在する状態を示す。この場合、位置指定画像処理部１４０は、重なりパラメータＨｏｌ、Ｗｏｌを以下のように求める。
Ｈｏｌ：顔領域２０４ａの下端と顔領域２０４ｂの上端との距離
Ｗｏｌ：重なり幅、すなわち顔領域２０４ａの右端（ないしは左端）と顔領域２０４ｂの左端（ないしは右端）との距離

またさらに、位置指定画像処理部１４０は、位置指定画像２１２の位置導出アルゴリズムで用いる閾値パラメータを以下のように設定する。
なお、Ｌ１＝Ｌ×α（αは１以下の定数）とする。
Ｔｈ１：Ｌ１×ａ（ａは１〜２の間の定数）
Ｔｈ２：Ｌ１×ｄ（ｄは０．４〜０．６の間の定数）
Ｔｈ３：Ｗ×ｅ（ｅは０．１〜０．３の間の定数）
Ｔｈ４：Ｙｍａｘ×ｆ（ｆは０．１以下の定数）

図１３は、位置指定画像処理部１４０による位置指定画像２１２の位置決定処理のフローチャートを示す。以下、位置指定画像２１２を、コントローラ画像を呼び、ユーザＡの顔枠２１０ａの下方に、コントローラ画像を配置する例を示す。
位置指定画像処理部１４０は、ユーザＡの顔領域２０４ａの下方に、別のユーザの顔領域が存在するか確認する（Ｓ１０）。以下、説明を簡略化するため、別のユーザがユーザＢであるとする。ここで顔領域２０４ａの下方とは、図１２（ａ）に示すように、顔領域２０４ａの顔幅ＷのＹ軸下方向の画面下端までの領域を意味し、この領域に、別のユーザの顔領域（たとえば顔領域２０４ｂ）が存在するか確認する。

顔領域２０４ａの下方に別のユーザの顔領域が存在しなければ（Ｓ１０のＮ）、位置指定画像処理部１４０は、コントローラ画像を、顔領域２０４ａのＴｈ１下方に配置することを決定する。図１４（ａ）は、顔領域２０４ａのＴｈ１下方に、コントローラ画像を配置した状態を示す。

一方、顔領域２０４ａの下方に別のユーザの顔領域が存在していれば（Ｓ１０のＹ）、位置指定画像処理部１４０は、Ｘ軸方向の重なりＷｏｌを導出し、重なり幅ＷｏｌがＴｈ３よりも小さいか否かを判定する（Ｓ１４）。ここで、重なり幅ＷｏｌがＴｈ３よりも小さければ（Ｓ１４のＹ）、位置指定画像処理部１４０は、コントローラ画像を、顔領域２０４ａのＴｈ１下方に配置することを決定する。図１４（ｂ）は、顔領域２０４ａのＴｈ１下方に、コントローラ画像を配置した状態を示す。

このように位置指定画像処理部１４０は、Ｙ軸方向（すなわち画面縦方向）において、顔領域２０４ａに別の顔領域が重なっていない、または重なっていても重なり幅Ｗｏｌが小さい場合には、顔領域２０４ａのＴｈ１下方に、コントローラ画像（位置指定画像２１２）を配置する。なお、この配置位置が、画面下端のぎりぎりとなるような場合には、位置指定画像処理部１４０は、コントローラ画像を、画面下端からＴｈ４上方に配置する。これによりユーザＡは、撮像画像表示領域２０６内でコントローラ画像を容易に確認でき、入力装置６をコントローラ画像の表示位置に合わせるように動かすことができる。

一方、重なり幅ＷｏｌがＴｈ３以上であれば（Ｓ１４のＮ）、位置指定画像処理部１４０は、顔領域２０４ａと顔領域２０４ｂとの距離ＨｏｌがＴｈ２以上あるか否かを判定する（Ｓ１６）。ここで、距離ＨｏｌがＴｈ２以上であれば（Ｓ１６のＹ）、位置指定画像処理部１４０は、コントローラ画像を、顔領域２０４ｂの上端からＴｈ４上方に配置する（Ｓ１８）。図１５（ａ）は、顔領域２０４ｂの上端からＴｈ４上方に、コントローラ画像を配置した状態を示す。このように位置指定画像処理部１４０は、顔領域２０４ａに別の顔領域２０４ｂが大きく重なっている場合には、顔領域同士のＹ軸方向の間隔が大きい場合に、顔領域２０４ｂのＴｈ４上方に、コントローラ画像（位置指定画像２１２）を配置する。これにより、ユーザＡは、表示されているコントローラ画像が自分用に表示されていることを認識でき、一方で、ユーザＢは、そのコントローラ画像は、自分用のものではないことを認識できる。

このように位置指定画像処理部１４０は、ユーザＡの顔領域２０４ａの下方に、ユーザＢの顔領域２０４ｂが重なって存在する場合に、２つの顔領域２０４ａ、２０４ｂの左右方向における重なりに応じて、入力装置６を配置するべき位置を決定して、コントローラ画像を表示する。これによりユーザは、自分用のコントローラ画像であるか容易に確認できるようになる。

一方、距離ＨｏｌがＴｈ２未満であれば（Ｓ１６のＮ）、位置指定画像処理部１４０は、コントローラ画像を、表示しない（Ｓ２０）。図１５（ｂ）は、顔領域２０４ａと顔領域２０４ｂとが近接して、コントローラ画像を配置できない状態を示す。このような場合にコントローラ画像を表示しても、誰用のコントローラ画像であるかユーザが混乱する可能性があるため、位置指定画像処理部１４０は、コントローラ画像を表示しないこととしている。

以上のように位置指定画像処理部１４０は、コントローラ画像（位置指定画像２１２）の配置位置を決定し、撮像画像表示領域２０６に表示する。位置指定画像処理部１４０は位置指定画像２１２を、常に、対応するユーザの顔の下方に表示することとし、したがってユーザは、撮像画像表示領域２０６に複数の位置指定画像２１２が表示されている場合であっても、自分用に表示されている位置指定画像２１２を直観的に認識できるようになる。

このようなアルゴリズムにより位置指定画像２１２が表示され、ユーザＡが、入力装置６を位置指定画像２１２に合わせるように動かすと、オブジェクト認証部１４２が、位置指定画像２１２に指定された領域内に入力装置６が存在することを検出し、ログイン処理部１４４が、ユーザＡをＯＳにログインさせる。

＜ログイン処理３＞
続いて、ログイン処理３について説明する。ログイン処理３では、ユーザは入力装置６を使用せずにログインする。
ユーザが情報処理装置１０のメイン電源ボタン２０を押下すると、情報処理装置１０のメイン電源がオンとなり、入力受付部１０４がメイン電源の押下情報を、ユーザからのログイン要求として受け付ける。

入力受付部１０４が、メイン電源の押下に基づいたログイン要求を受け付けると、撮像画像表示部１３４が、画像取得部１０６が取得した撮像画像をディスプレイである出力装置４に表示する。これにより出力装置４には、カメラ７が撮影したライブ画像が表示されることになり、出力装置４の前方にいるユーザが、出力装置４に映し出される。

ログイン処理１、２に関して説明したように、顔認証部１３６は、登録ユーザ情報保持部１５０に保持された顔識別用データを用いて、撮像画像に存在する登録ユーザの顔画像を検出する。ログイン処理３において、この顔認証処理は、第１段階の顔認証と位置づけられる。

図１６は、顔認証部１３６による顔識別結果を示す。ここでは、左側のユーザがユーザＡであること、右側のユーザがユーザＢであること、真ん中のユーザが顔画像を登録した登録ユーザではないことが判定されている。顔認証部１３６は、ユーザＡ（オンラインＩＤ：ＨＡＮＡＫＯ）の顔の撮像画像中の位置を示す顔領域２２０ａと、ユーザＢ（オンラインＩＤ：ＳＡＣＨＩＫＯ）の顔の撮像画像中の位置を示す顔領域２２０ｂを設定し、顔領域２２０ａ、２２０ｂの位置座標および撮像された登録ユーザを特定する情報とを顔枠処理部１３８に提供する。

顔認証部１３６から顔枠処理部１３８に提供される登録ユーザを特定する情報は、登録ユーザのユーザアカウントであってもよく、またオンラインＩＤであってもよい。顔認証部１３６は、顔領域２２０の位置座標と登録ユーザ特定情報とを対応付けて顔枠処理部１３８に提供し、すなわち図１６に示す例では、顔領域２２０ａとユーザＡの特定情報の組合せと、顔領域２２０ｂとユーザＢの特定情報の組合せとを顔枠処理部１３８に提供する。

顔枠処理部１３８は、顔認証部１３６により検出された登録ユーザに対して、出力装置４に顔枠を表示する。ログイン処理３において、この顔枠は、登録ユーザがログインする際に、顔を動かして配置するために表示される。したがって登録ユーザは、出力装置４に表示された顔枠に自身の顔を入れることで、情報処理装置１０にログインできるようになる。

図１７は、出力装置４に表示される顔枠を含むログイン画面を示す。ログイン処理３におけるログイン画面において、撮像画像表示領域２３０に、撮像画像表示部１３４が、カメラ７の撮像画像をライブ表示する。

顔枠処理部１３８は、顔認証部１３６より提供される顔領域２２０ａ、２２０ｂの位置座標および撮像された登録ユーザを特定する情報をもとに、登録ユーザに対して顔枠２２２を表示する。ここではユーザＡに対して顔枠２２２ａを表示し、ユーザＢに対して顔枠２２２ｂを表示している。このとき顔枠処理部１３８は、顔枠２２２ａの近傍にユーザＡのオンラインＩＤを表示し、顔枠２２２ｂの近傍にユーザＢのオンラインＩＤを表示する。これによりユーザＡ、Ｂは、自身の顔認識が適切に行われたことを知ることができ、ログインする際には、顔枠２２２ａ、２２２ｂに、顔を移動させればよいことを知る。なお真ん中のユーザは顔画像を登録した登録ユーザではないため、顔枠２２２は表示されていない。

顔枠処理部１３８は、顔枠２２２のそれぞれにＩＤを付し、顔枠ＩＤ、顔枠２２２の位置座標および顔枠２２２を表示したユーザの特定情報とを顔認証部１３６に提供する。なお、顔枠処理部１３８が顔認証部１３６に提供する顔枠２２２の位置座標は、顔枠２２２そのものの位置座標であってもよいが、顔枠２２２に外接する矩形座標であってもよい。以下、顔枠２２２そのものの位置座標と、顔枠２２２に外接する矩形の位置座標を、まとめて顔枠の位置座標と呼ぶ。顔枠の位置座標は、顔認証部１３６において、ユーザの顔画像を検出するために利用される。

たとえば顔枠処理部１３８は、顔枠２２２ａの顔枠ＩＤを“ＩＤ１”、顔枠２２２ｂの顔枠ＩＤを“ＩＤ２”と設定し、“ＩＤ１”と顔枠２２２ａの位置座標とユーザＡの特定情報との組合せと、“ＩＤ２”と顔枠２２２ｂの位置座標とユーザＢの特定情報との組合せとを、顔認証部１３６に提供する。また顔枠処理部１３８は、顔枠ＩＤおよび顔枠２２２を表示したユーザの特定情報を、ログイン処理部１４４に提供する。したがって、ここでは顔枠処理部１３８が、“ＩＤ１”とユーザＡの特定情報の組合せと、“ＩＤ２”とユーザＢの特定情報の組合せとを、ログイン処理部１４４に提供する。

図１８は、ユーザが顔枠に顔を入れたログイン画面を示す。ここではユーザＡが、出力装置４に表示されている顔枠２２２ａに顔が入るように、顔や体を動かした様子を示している。顔認証部１３６は、顔枠２２２に人の顔が入っているか監視し、顔が入っている場合には、登録ユーザ情報保持部１５０に保持された顔識別用データを用いて、顔枠２２２内に入っている顔が登録ユーザのものであるか判定する。

顔認証部１３６は、顔枠処理部１３８から提供された顔枠２２２の位置座標をもとに、顔枠２２２に人の顔が入っているか監視することができる。顔認識アルゴリズムについては上記したとおりであり、顔認証部１３６は、顔枠２２２において、人の顔が含まれていることを推定すると、その部分の特徴量データを導出して、登録ユーザ情報保持部１５０に保持された顔識別用データと比較し、抜き出した顔が登録ユーザの顔であることを判定する。なお顔認証部１３６は、顔枠処理部１３８から、顔枠ＩＤ、顔枠２２２の位置座標および顔枠２２２を表示したユーザの特定情報との組合せを通知されており、顔枠２２２に含まれた人の顔画像の特徴量データを、顔枠２２２を表示したユーザの顔識別用データと比較する。顔認証部１３６は、顔枠２２２に含まれるべきユーザを予め通知されていることで、顔枠２２２に含まれる顔の特徴量データを全ての登録ユーザの顔識別用データと比較する必要なく、効率的に顔認識処理を行うことができる。このとき顔認証部１３６は、顔枠２２２に登録ユーザの顔が所定時間（たとえば数秒）入っていることを検出することで、顔枠２２２に登録ユーザの顔が入れられたことを判定してもよい。

図１８の例では、顔認証部１３６が、顔枠２２２ａに入った顔がユーザＡの顔であることを判定する。ログイン処理３において、この処理は、第２段階の顔認証と位置づけられる。第１段階と第２段階の顔認証により、ログイン時におけるユーザ認証が終了する。

顔認証部１３６は、顔枠２２２ａにユーザＡの顔が入っていることを検出すると、顔枠２２２ａを特定する顔枠ＩＤと、ユーザＡを特定するユーザ特定情報を、ログイン処理部１４４に通知する。既述したようにログイン処理部１４４は、予め顔枠処理部１３８から、顔枠ＩＤおよび顔枠２２２を表示したユーザの特定情報を通知されている。ログイン処理部１４４は、顔認証部１３６から顔枠ＩＤおよびユーザ特定情報を通知されると、顔枠処理部１３８から通知された顔枠ＩＤに対応付けられたユーザ特定情報を抽出し、ユーザ特定情報同士の一致を判定する。ここでは、ＩＤ１の顔枠ＩＤに対して、双方ともユーザＡの特定情報が通知されており、したがってログイン処理部１４４は、ユーザＡ用に表示された顔枠２２２ａ内にユーザＡの顔が検出されたことを認識する。これによりログイン処理部１４４は、ユーザＡを情報処理装置１０にログインさせる。

図１９は、本実施例のログイン処理の実行フローチャートを示す。まず入力受付部１０４がログイン要求を受け付けると、その旨を管理部１００に通知する。管理部１００がログイン要求を受け付けると、顔認証部１３６が顔識別処理を実行し（Ｓ３０）、撮像画像に、顔画像を登録したユーザが含まれているか判定する（Ｓ３２）。なお、このとき顔認証部１３６は、まだログインしていない登録ユーザが含まれているか判定することが好ましい。撮像画像に、顔画像を登録した未ログインユーザが含まれていない場合には（Ｓ３２のＮ）、処理決定部１２０が、ログイン処理１を、実行するべきログイン処理として決定し、ログイン制御部１３０が、ログイン処理１を実行する（Ｓ３４）。

一方で、撮像画像に顔画像を登録したユーザが１人でも含まれていれば（Ｓ３２のＹ）、ログイン制御部１３０は、入力装置６が接続しているか否かを判定する（Ｓ３６）。なおＳ３６では、ログインユーザ記憶部１４６を参照して、まだログインしていない入力装置６が情報処理装置１０に接続しているか否かが判定され、まだログインしていない入力装置６が存在している場合に（Ｓ３６のＹ）、処理決定部１２０が、ログイン処理２を、実行するべきログイン処理として決定し、ログイン制御部１３０が、ログイン処理２を実行する（Ｓ３８）。一方、まだログインしていない、情報処理装置１０に接続した入力装置６が存在しなければ（Ｓ３６のＮ）、処理決定部１２０が、ログイン処理３を、実行するべきログイン処理として決定し、ログイン制御部１３０が、ログイン処理３を実行する（Ｓ４０）。

以上のように、処理決定部１２０は、撮像画像に撮像されているユーザや、ゲームコントローラの接続の有無に応じて、実行するべきログイン処理を決定する。この決定処理はユーザの手を煩わせることなく自動的に行われるため、ユーザは、自分の状況に適したユーザインタフェースを提供されることになり、簡易なログイン動作を実現できる。なお、たとえばログイン処理３の実行中に、ユーザが所定のコマンドを発声すると、マイク１０８が、発声を受け付けて、これによって処理決定部１２０が、ログイン処理３からログイン処理１に切り替えるようにしてもよい。

以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。実施例ではログイン用パスコードが設定されている場合に、ログイン処理１においてログイン用パスコードの入力を求めることを説明したが、たとえばログイン処理２および３においてもログイン用パスコードの入力を求めてもよい。

ログイン処理２において、顔枠処理部１３８は、顔枠２１０を表示して、ログイン動作できることをユーザに知らしめているが、顔枠２１０以外の他のインジケータによって、ログイン動作できることを知らしめてもよい。たとえば、ログイン可能なユーザのオンラインＩＤを提示するだけでもよく、また、たとえば顔付近に、ログイン対象であることを示す矢印を表示するなどして、ユーザが、ログインできることを認識させるようにしてもよい。

またログイン処理２において、位置指定画像２１２の大きさは、顔領域２０４の大きさや、ユーザとの距離に応じて設定されてもよい。

またログイン処理２において、オブジェクト認証部１４２は、発光部８５の発光色をもとに指定領域内における入力装置６の存在を色認識により検出している。カメラ７がステレオカメラである場合、一方のカメラで空間画像を撮像して、撮像画像表示部１３４が、撮像画像を表示し、また、もう一方のカメラで発光色を検出するための画像を撮像して、オブジェクト認証部１４２が、入力装置６を色認識により検出してもよい。なおオブジェクト認証部１４２は、指定領域内における入力装置６の存在を、形状認識などの認識技術によって検出してもよい。

１・・・情報処理システム、４・・・出力装置、６・・・入力装置、７・・・カメラ、１０・・・情報処理装置、８５・・・発光部、１００・・・管理部、１０２・・・通信部、１０４・・・入力受付部、１０６・・・画像取得部、１０８・・・マイク、１１０・・・発光色決定部、１２０・・・処理決定部、１３０・・・ログイン制御部、１３２・・・選択画像表示部、１３４・・・撮像画像表示部、１３６・・・顔認証部、１３８・・・顔枠処理部、１４０・・・位置指定画像処理部、１４２・・・オブジェクト認証部、１４４・・・ログイン処理部、１４６・・・ログインユーザ記憶部、１５０・・・登録ユーザ情報保持部、２００・・・フォーカス枠、２０２・・・小窓領域、２０４・・・顔領域、２０６・・・撮像画像表示領域、２１０・・・顔枠、２１２・・・位置指定画像、２２０・・・顔領域、２２２・・・顔枠、２３０・・・撮像画像表示領域。

Claims (7)

1. 撮像画像をディスプレイに表示する撮像画像表示部と、
   登録ユーザの顔識別用データを保持する登録ユーザ情報保持部と、
   前記登録ユーザ情報保持部に保持された顔識別用データを用いて、撮像画像に存在する登録ユーザの顔画像を検出する顔認証部と、
   検出された登録ユーザに対して、オブジェクトの位置を指定する位置指定画像をディスプレイに表示する画像処理部と、
   位置指定画像によって指定した領域内に、オブジェクト画像が含まれていることを検出するオブジェクト認証部と、
   を備えることを特徴とする情報処理装置。
2. 前記画像処理部は、検出された登録ユーザの顔画像の下側の位置を指定する位置指定画像をディスプレイに表示することを特徴とする請求項１に記載の情報処理装置。
3. 前記画像処理部は、撮像画像において、検出された登録ユーザの顔領域の下方に、別のユーザの顔領域が存在する場合に、２つの顔領域の左右方向における重なりに応じて、オブジェクトの位置を決定することを特徴とする請求項１または２に記載の情報処理装置。
4. オブジェクトは、発光する発光部を有しており、
   前記オブジェクト認証部は、指定領域内の発光色を検出することで、指定領域内にオブジェクト画像が含まれていることを検出することを特徴とする請求項１から３のいずれかに記載の情報処理装置。
5. 前記オブジェクト認証部が指定領域内にオブジェクト画像が含まれていることを検出すると、当該登録ユーザをログインさせるログイン処理部を、さらに備えることを特徴とする請求項１から４のいずれかに記載の情報処理装置。
6. コンピュータに、
   撮像画像をディスプレイに表示する機能と、
   登録ユーザ情報保持部に保持された顔識別用データを用いて、撮像画像に存在する登録ユーザの顔画像を検出する顔認証部と、
   検出された登録ユーザに対して、オブジェクトの位置を指定する位置指定画像をディスプレイに表示する機能と、
   位置指定画像によって指定した領域内に、オブジェクト画像が含まれていることを検出するオブジェクト機能と、
   を実現するためのプログラム。
7. 請求項６に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images