JP6324939B2 - 情報処理装置およびログイン制御方法 - Google Patents

Description

本発明は、ユーザのログイン動作を支援するための情報処理技術に関する。

特許文献１は、ユーザをログインさせる複数の処理を開示する。特許文献１に開示される１つのログイン処理では、カメラ画像を利用して顔認証を行うことで第１段階のユーザ認証を行い、ディスプレイ内の指定領域にユーザが顔を動かすことで第２段階のユーザ認証を行って、ユーザをログインさせる。また別のログイン処理では、カメラ画像を利用して顔認証を行うことで第１段階のユーザ認証を行い、ディスプレイ内の指定領域にユーザが入力装置を動かすことで第２段階のユーザ認証を行って、ユーザをログインさせる。

特開２０１５−９０６６１号公報

特許文献１に開示される２つのログイン処理において、第１段階のユーザ認証は、ユーザが意識することなく自動実施される。この第１段階のユーザ認証により、撮像された人が登録ユーザであることが判定されると、ユーザの顔の近傍にユーザ名が表示され、ユーザは自身が正しく認識されたことを確認した上で、ディスプレイに表示される指定領域に顔や入力装置を動かして、ユーザ認証されるようになっている。

近年、多くのユーザに、利用しやすいサービスを提供する「ユーザアクセシビリティ」の向上に関する技術が注目されている。ユーザによるログイン場面を考えると、全てのユーザがスムーズにログインできる仕組みを構築することが、ユーザアクセシビリティの向上を実現する。

そこで本発明は、ユーザによるログイン動作を支援するための技術を提供することを目的とする。

上記課題を解決するために、本発明のある態様の情報処理装置は、撮像画像をディスプレイに表示する撮像画像表示部と、登録ユーザの顔識別用データを保持する登録ユーザ情報保持部と、登録ユーザ情報保持部に保持された顔識別用データを用いて、撮像画像に存在する登録ユーザの顔画像を検出する顔認証部と、検出された登録ユーザに対して、物体を動かすべき領域を指定する領域画像をディスプレイに表示する領域画像表示部と、を備える。この態様の情報処理装置は、検出された登録ユーザが、物体を領域画像で指定される領域に動かしやすくするための案内支援を実施する案内制御部を、さらに備える。

本発明の別の態様は、ログイン制御方法である。この方法は、撮像画像をディスプレイに表示するステップと、登録ユーザ情報保持部に保持された登録ユーザの顔識別用データを用いて、撮像画像に存在する登録ユーザの顔画像を検出するステップと、検出された登録ユーザに対して、物体を動かすべき領域を指定する領域画像をディスプレイに表示するステップと、領域画像に動かされた物体を認証するステップと、登録ユーザをログインさせるステップと、を備える。このログイン制御方法は、検出された登録ユーザが、物体を領域画像で指定される領域に動かしやすくするための案内支援を実施するステップをさらに備える。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明の情報処理技術によると、ユーザが好適にログイン動作を行うための技術を提供できる。

本発明の実施例にかかる情報処理システムを示す図である。 （ａ）は入力装置上面の外観構成を示す図であり、（ｂ）は入力装置奥側側面の外観構成を示す図である。 情報処理装置の機能ブロック図である。 情報処理装置の構成を示す図である。 （ａ）はユーザ選択画面を示す図であり、（ｂ）はパスコード入力画面を示す図である。 ログイン処理２におけるログイン画面の一例を示す図である。 ログイン処理３におけるログイン画面の一例を示す図である。 領域画像表示部による領域画像の作成手法の一例を説明するための図である。 顔枠である領域画像の強調表示の例を示す図である。 図８に示す回転領域を拡大した回転領域を示す図である。 ユーザＢに対するログイン制御の例を示す図である。 顔認証部による照合領域の例を示す図である。

図１は、本発明の実施例にかかる情報処理システム１を示す。情報処理システム１は、ユーザ端末である情報処理装置１０と、サーバ５とを備える。アクセスポイント（以下、「ＡＰ」とよぶ）８は、無線アクセスポイントおよびルータの機能を有し、情報処理装置１０は、無線または有線経由でＡＰ８に接続して、ネットワーク３上のサーバ５と通信可能に接続する。

補助記憶装置２は、ＨＤＤ（ハードディスクドライブ）やフラッシュメモリなどの大容量記憶装置であり、ＵＳＢ（Universal Serial Bus）などによって情報処理装置１０と接続する外部記憶装置であってよく、また内蔵型記憶装置であってもよい。出力装置４は、画像を出力するディスプレイおよび音声を出力するスピーカを有するテレビであってよく、またコンピュータディスプレイであってもよい。情報処理装置１０は、ユーザが操作する入力装置６と無線または有線で接続し、入力装置６はユーザの操作結果を示す操作信号を情報処理装置１０に出力する。情報処理装置１０は、入力装置６からの操作信号を受け付けるとＯＳ（システムソフトウェア）やアプリケーションの処理に反映し、出力装置４から処理結果を出力させる。

情報処理システム１において情報処理装置１０はゲームを実行するゲーム装置であり、入力装置６はゲームコントローラなど情報処理装置１０に対してユーザの操作信号を提供する機器であってよい。撮像装置であるカメラ７は出力装置４の近傍に設けられ、出力装置４周辺の空間を撮像する。図１ではカメラ７が出力装置４の上部に取り付けられている例を示しているが、出力装置４の側部または下部に配置されてもよく、いずれにしても出力装置４の前方に位置するユーザを撮像できる位置に配置される。カメラ７は、ステレオカメラであってもよい。

サーバ５は、情報処理システム１のユーザに対してネットワークサービスを提供する。サーバ５は、各ユーザを識別するネットワークアカウントを管理しており、各ユーザは、ネットワークアカウントを用いて、サーバ５が提供するネットワークサービスにサインインする。ユーザは情報処理装置１０からネットワークサービスにサインインすることで、サーバ５に、ゲームのセーブデータや、またゲームプレイ中に獲得した仮想的な表彰品であるトロフィを登録できる。

図１では、２人のユーザＡ、Ｂが、ゲームコントローラである入力装置６ａ、６ｂを操作している様子が示されている。ユーザＡ、Ｂは、それぞれ情報処理装置１０のＯＳにログインすることで、ゲームなどのアプリケーションを楽しむことができる。

入力装置６のボタン構成について説明する。
［上面部の構成］
図２（ａ）は、入力装置上面の外観構成を示す。ユーザは左手で左側把持部７８ｂを把持し、右手で右側把持部７８ａを把持して、入力装置６を操作する。入力装置６の筐体上面には、入力部である方向キー７１、アナログスティック７７ａ、７７ｂと、４種の操作ボタン７６が設けられている。４種のボタン７２〜７５には、それぞれを区別するために、異なる色で異なる図形が記されている。筐体上面上において、方向キー７１と操作ボタン７６の間の平坦な領域には、タッチパッド７９が設けられる。タッチパッド７９は、ユーザが押すことで下方に沈み込み、またユーザが手を離すと元の位置に復帰する押下式ボタンとしても機能する。

２つのアナログスティック７７ａ、７７ｂの間に機能ボタン８０が設けられる。機能ボタン８０は、入力装置６の電源をオンし、同時に入力装置６と情報処理装置１０とを接続する通信機能をアクティブにするために使用される。なお情報処理装置１０のメイン電源がオフとなっている場合、機能ボタン８０が押下されると、情報処理装置１０は、入力装置６から送信される接続要求を、メイン電源をオンにするための指示としても受け付け、これにより情報処理装置１０のメイン電源がオンとなる。入力装置６が情報処理装置１０と接続した後は、機能ボタン８０は、情報処理装置１０にホーム画面を表示させるためにも使用される。

ＳＨＡＲＥボタン８１は、タッチパッド７９と方向キー７１の間に設けられる。ＳＨＡＲＥボタン８１は、情報処理装置１０におけるＯＳないしはシステムソフトウェアに対するユーザからの指示を入力するために利用される。またＯＰＴＩＯＮＳボタン８２は、タッチパッド７９と操作ボタン７６の間に設けられる。

［奥側側面部の構成］
図２（ｂ）は、入力装置奥側側面の外観構成を示す。入力装置６の筐体奥側側面の上側には、タッチパッド７９が筐体上面から延設されており、筐体奥側側面の下側には、横長の発光部８５が設けられる。発光部８５は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のＬＥＤを有し、情報処理装置１０から送信される発光色情報にしたがって点灯する。図１に示すように、２台の入力装置６ａ、６ｂが使用されている場合、情報処理装置１０は、ユーザＡ、Ｂが各入力装置６を区別できるように、入力装置６ａ、６ｂの発光部８５の点灯色を異なる色、それぞれ青、赤と定めてよい。これにより各ユーザは、自分が使用している入力装置６を発光部８５の点灯色によって認識できるため、入力装置６を取り違える可能性が低減される。

筐体奥側側面において、上側ボタン８３ａ、下側ボタン８４ａと、上側ボタン８３ｂ、下側ボタン８４ｂとが長手方向の左右対称な位置に設けられる。上側ボタン８３ａ、下側ボタン８４ａは、それぞれユーザ右手の人差し指、中指により操作され、上側ボタン８３ｂ、下側ボタン８４ｂは、それぞれユーザ左手の人差し指、中指により操作される。上側ボタン８３はプッシュ式ボタンとして構成され、下側ボタン８４は回動支持されたトリガー式のボタンとして構成されてよい。

近年では、ユーザの動きをゲームキャラクタの動きに反映するゲームも登場している。ユーザのジェスチャーを利用したゲームでは、ユーザが入力装置６をもつ必要がなく、直観的にキャラクタを動かすことができる。このようなゲームでは、そもそもユーザが入力装置６を用いないため、ユーザが情報処理装置１０のＯＳにログインする際にも、入力装置６を用いずにユーザ認証が行われることが好ましい。なおログイン後にユーザがプレイするゲームの種類に関わらず、簡易なユーザ認証を経てユーザがログインできることは、情報処理システム１において有意義である。

そこで本実施例の情報処理システム１では、カメラ７の撮像画像を利用して、顔認識処理によりユーザ認証を簡易に行うことのできる技術を提供する。

図３は、情報処理装置１０の機能ブロック図を示す。情報処理装置１０は、メイン電源ボタン２０、電源ＯＮ用ＬＥＤ２１、スタンバイ用ＬＥＤ２２、システムコントローラ２４、クロック２６、デバイスコントローラ３０、メディアドライブ３２、ＵＳＢモジュール３４、フラッシュメモリ３６、無線通信モジュール３８、有線通信モジュール４０、サブシステム５０およびメインシステム６０を有して構成される。

メインシステム６０は、メインＣＰＵ（Central Processing Unit）、主記憶装置であるメモリおよびメモリコントローラ、ＧＰＵ（Graphics Processing Unit）などを備える。ＧＰＵはゲームプログラムの演算処理に主として利用される。これらの機能はシステムオンチップとして構成されて、１つのチップ上に形成されてよい。メインＣＰＵはＯＳを起動し、ＯＳが提供する環境下において、補助記憶装置２にインストールされたアプリケーションを実行する機能をもつ。

サブシステム５０は、サブＣＰＵ、主記憶装置であるメモリおよびメモリコントローラなどを備え、ＧＰＵを備えない。サブＣＰＵは、メインＣＰＵがスタンバイ状態にある間においても動作するものであり、消費電力を低く抑えるべく、その処理機能を制限されている。本実施例の情報処理装置１０は、メインシステム６０のスタンバイ時にはサブシステム５０が稼働しているため、サーバ５が提供するネットワークサービスに、常時サインインした状態を維持する。

メイン電源ボタン２０は、ユーザからの操作入力が行われる入力部であって、情報処理装置１０の筐体の前面に設けられ、情報処理装置１０のメインシステム６０への電源供給をオンまたはオフするために操作される。以下、メイン電源がオン状態にあるとは、メインシステム６０がアクティブ状態にあることを意味し、メイン電源がオフ状態にあるとは、メインシステム６０がスタンバイ状態にあることを意味する。電源ＯＮ用ＬＥＤ２１は、メイン電源ボタン２０がオンされたときに点灯し、スタンバイ用ＬＥＤ２２は、メイン電源ボタン２０がオフされたときに点灯する。

システムコントローラ２４は、ユーザによるメイン電源ボタン２０の押下を検出する。メイン電源がオフ状態にあるときにメイン電源ボタン２０が押下されると、システムコントローラ２４は、その押下操作を「オン指示」として取得し、一方で、メイン電源がオン状態にあるときにメイン電源ボタン２０が押下されると、システムコントローラ２４は、その押下操作を「オフ指示」として取得する。

クロック２６はリアルタイムクロックであって、現在の日時情報を生成し、システムコントローラ２４やサブシステム５０およびメインシステム６０に供給する。

デバイスコントローラ３０は、サウスブリッジのようにデバイス間の情報の受け渡しを実行するＬＳＩ（Large-Scale Integrated Circuit）として構成される。図示のように、デバイスコントローラ３０には、システムコントローラ２４、メディアドライブ３２、ＵＳＢモジュール３４、フラッシュメモリ３６、無線通信モジュール３８、有線通信モジュール４０、サブシステム５０およびメインシステム６０などのデバイスが接続される。デバイスコントローラ３０は、それぞれのデバイスの電気特性の違いやデータ転送速度の差を吸収し、データ転送のタイミングを制御する。

メディアドライブ３２は、ゲームなどのアプリケーションソフトウェア、およびライセンス情報を記録したＲＯＭ媒体４４を装着して駆動し、ＲＯＭ媒体４４からプログラムやデータなどを読み出すドライブ装置である。ＲＯＭ媒体４４は、光ディスクや光磁気ディスク、ブルーレイディスクなどの読出専用の記録メディアである。

ＵＳＢモジュール３４は、外部機器とＵＳＢケーブルで接続するモジュールである。ＵＳＢモジュール３４は補助記憶装置２およびカメラ７とＵＳＢケーブルで接続してもよい。フラッシュメモリ３６は、内部ストレージを構成する補助記憶装置である。無線通信モジュール３８は、Bluetooth（登録商標）プロトコルやIEEE802.11プロトコルなどの通信プロトコルで、たとえば入力装置６と無線通信する。なお無線通信モジュール３８は、ＩＴＵ（International Telecommunication Union；国際電気通信連合）によって定められたＩＭＴ−２０００（International Mobile Telecommunication 2000）規格に準拠した第３世代（3rd Generation）デジタル携帯電話方式に対応してもよく、さらには別の世代のデジタル携帯電話方式に対応してもよい。有線通信モジュール４０は、外部機器と有線通信し、たとえばＡＰ８を介してネットワーク３に接続する。

本実施例の情報処理装置１０は、複数種類のログイン処理を用意しており、ユーザからのログイン要求があると、ログイン要求の生成状況や、顔識別用データが登録されているか否かに応じて、実行する１つのログイン処理を決定し、決定したログイン処理のユーザインタフェースをユーザに提供する。以下、３種類のログイン処理の概要を説明する。

＜ログイン処理１＞
ログイン処理１は、情報処理装置１０が出力装置４にユーザ選択画面を表示し、ユーザがユーザ選択画面において、入力装置６を利用して自分のアイコンを選択し、ログイン用パスコードを入力することで、情報処理装置１０がユーザ認証を行い、ユーザをログインさせる処理である。
＜ログイン処理２＞
ログイン処理２は、情報処理装置１０がカメラ７の撮像画像を利用してユーザの顔認証（第１段階のユーザ認証）を行い、検出された顔画像が登録ユーザの顔であることを判定した場合に、その登録ユーザに対して、ディスプレイに映し出されているカメラ画像内で入力装置６を動かすべき位置を指定し、ユーザが入力装置６を指定領域に動かすことによってユーザ認証（第２段階のユーザ認証）を行って、ユーザをログインさせる処理である。
＜ログイン処理３＞
ログイン処理３は、情報処理装置１０がカメラ７の撮像画像を利用してユーザの顔認証（第１段階のユーザ認証）を行い、検出された顔画像が登録ユーザの顔であることを判定した場合に、その登録ユーザに対して、ディスプレイに映し出されているカメラ画像内で顔を動かすべき位置を指定し、ユーザが顔を指定領域に動かすことによってユーザ認証（第２段階のユーザ認証）を行って、ユーザをログインさせる処理である。

ログイン処理２、３は、ともにカメラ７の撮像画像を利用した第１段階のユーザ認証を行う点で共通しているが、ログイン処理２では、入力装置６が所定の領域に動かされたことを検出して第２段階のユーザ認証を行うのに対し、ログイン処理３では、ユーザの顔が所定の領域に動かされたことを検出して第２段階のユーザ認証を行う点で相違する。
ゲームをプレイする際、ユーザが入力装置６を操作することが一般的であるが、近年では、ユーザの動きをゲームキャラクタの動きに反映するゲームも登場している。ユーザのジェスチャーを利用したゲームでは、そもそもユーザが入力装置６を用いないため、ユーザが情報処理装置１０のＯＳにログインする際にも、入力装置６を用いずにユーザ認証が行われることが好ましい。
そのため、ログイン処理３は、ユーザが入力装置６からログイン要求を情報処理装置１０に送信するのではなく、たとえば情報処理装置１０が電源オフの状態で、ユーザがメイン電源ボタン２０を押下したときや、電源オンの状態でユーザから所定の音声入力を受け付けたときに実行されるようにする。

図４は、情報処理装置１０の構成を示す。情報処理装置１０は、通信部１０２、入力受付部１０４、画像取得部１０６、マイク１０８、スピーカ１０９、処理部１００および登録ユーザ情報保持部１８０を備える。処理部１００は、発光色決定部１１０、ログイン処理決定部１１２およびログイン制御部１２０を備え、これらの機能は情報処理装置１０のＯＳ（システムソフトウェア）およびＯＳにより実行されるアプリケーションやメモリにより実現される。ログイン制御部１２０は、選択画像表示部１２２、撮像画像表示部１２４、顔認証部１２６、領域画像表示部１２８、オブジェクト認証部１３０、案内実行判定部１３２、案内制御部１４０、ログイン処理部１６０およびログインユーザ記憶部１６２を有する。通信部１０２は、図３に示す無線通信モジュール３８および有線通信モジュール４０の機能を示す。

図４において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

ユーザは、情報処理装置１０のＯＳにログインするために、その前提として、ユーザアカウントを予め取得して、情報処理装置１０に様々なユーザ情報を登録している必要がある。以下、ユーザアカウントを情報処理装置１０に登録したユーザを、「登録ユーザ」とよぶこともある。

登録ユーザ情報保持部１８０は、登録ユーザに関する様々な情報を保持し、具体的には、ユーザアカウントに関連付けて、ログイン用パスコード、サーバ５にサインインするためのサインインＩＤ、ネットワークアカウント、ユーザのオンラインＩＤ（ネットワーク上でのユーザ名）、またユーザを表現するためのユーザアイコンなどを、登録ユーザ情報として保持している。なお、顔認証処理のために予め顔画像を登録している登録ユーザに関しては、登録ユーザ情報保持部１８０が、ユーザアカウントに関連付けて、顔識別用データを登録ユーザ情報として保持している。

ここで顔識別用データは、登録ユーザの顔画像の特徴量データであるが、顔画像データそのものであってもよい。顔識別用データは、顔認証部１２６による顔認識処理において比較対象とされるデータであり、顔認証部１２６が採用する顔認識アルゴリズムにしたがって生成される。たとえば顔識別用データは、顔のパーツの相対位置や大きさ、目や鼻やほお骨やあごの形を特徴として抽出したデータであってよい。また顔識別用データは、顔画像の標準データからの差分データとして抽出したデータであってよい。どのような顔識別用データを抽出するかは、採用する顔認識アルゴリズムによって定まり、本実施例では顔認証部１２６が既知の顔認識アルゴリズムを採用している。

後述するが情報処理装置１０は、視力の弱い登録ユーザであっても、ログイン処理２、３によって視覚の不自由さをできるだけ感じることなくログインできる仕組みを構築する。実施例の登録ユーザ情報保持部１８０は、登録ユーザの属性情報として、登録ユーザがログイン時にログイン支援の提供を受けるか否かを示す支援設定情報を含む。なお、このログイン支援の提供は、ユーザアクセシビリティに関するユーザ選択肢の一つであり、ユーザは、ユーザアカウントを登録する際に、ログイン支援の提供を受けるか否かを選択して登録できる。

以下、ログイン支援の提供を受ける登録ユーザに対する支援処理を説明する前に、ユーザがログイン支援の提供を受けずに情報処理装置１０にログインする際の処理について説明する。ログイン処理決定部１１２は、ログイン処理１〜３の中から実行するべきログイン処理を決定する。

ログイン処理決定部１１２による決定手法を簡単に説明する。ログインしようとするユーザが顔識別用データを登録していなければ、ログイン処理２、３における第１段階の顔認証処理が実施できないため、ログイン処理決定部１１２は、実行するべきログイン処理として、ログイン処理１を決定する。一方、顔識別用データが登録されており、ユーザが入力装置６からログイン要求を入力した場合には、ログイン処理決定部１１２は、実行するべきログイン処理としてログイン処理２を決定し、ユーザが入力装置６以外からログイン要求を入力した場合には、ログイン処理決定部１１２は、実行するべきログイン処理としてログイン処理３を決定する。

この決定処理は基本的にユーザの手を煩わせることなく自動的に行われるため、ユーザは、自分の状況に適したユーザインタフェースを提供される。

＜ログイン処理１＞
ユーザが入力装置６の所定のボタン（たとえば機能ボタン８０）を押下すると、その押下情報が情報処理装置１０に送信される。情報処理装置１０において、通信部１０２が押下情報を接続要求として受け付けて、入力装置６と通信部１０２とを接続する。また機能ボタン８０の押下情報は入力受付部１０４に伝達され、入力受付部１０４は、この押下情報を、ユーザからのログイン要求として受け付け、処理部１００に伝える。

まず発光色決定部１１０は、ログイン要求を送信した入力装置６の発光部８５の発光色を決定する。発光色決定部１１０が発光色を決定すると、通信部１０２が入力装置６に発光色情報を送信する。発光色情報が青色を指定する場合、入力装置６の発光部８５は青色で点灯する。

画像取得部１０６は、カメラ７から撮像画像データを取得する。たとえばカメラ７は周期的（たとえば１／３０秒ごと）に空間を撮像して、撮像画像をＵＳＢモジュール３４を経由して画像取得部１０６に提供する。なおカメラ７は、メイン電源がオンの間、常に撮像画像を画像取得部１０６に提供してよい。

選択画像表示部１２２は、登録ユーザ情報保持部１８０に保持されている登録ユーザ情報を読み出し、情報処理装置１０に登録されたユーザを選択するための選択画像を生成する。具体的に選択画像表示部１２２は、登録ユーザ情報のうち、ユーザアイコンおよびオンラインＩＤ（ユーザ名）を読み出して、登録されたユーザのオンラインＩＤをリスト形式で並べたユーザ選択画面を出力装置４に表示する。この選択画面は、ログイン処理１におけるログイン画面を構成するが、後述するように、選択画面の初期表示時には、ログイン処理２を実行するか否かの判定処理が行われており、ログイン処理２の不実行が決定した後、正式にユーザ選択画面がログイン処理１におけるログイン画面を構成することになる。

図５（ａ）はユーザ選択画面の一例を示す。選択画像表示部１２２は、登録ユーザ情報保持部１８０に保持されている全ての登録ユーザのユーザアイコンおよびオンラインＩＤを読み出し、読み出したユーザアイコンおよびオンラインＩＤをリスト形式でユーザが選択可能に表示する。以下、ユーザアイコンおよびオンラインＩＤを、「ユーザ特定情報」とよぶ。

ユーザ選択画面の一部の小窓領域２０２に、撮像画像表示部１２４が、画像取得部１０６が取得した撮像画像を表示する。この表示画像は、カメラ７のライブ画像であり、小窓領域２０２の近傍には、「登録されている顔を探しています」とメッセージが表示される。このメッセージは、顔認証部１２６による顔認証処理中に表示され、したがって顔認証処理が終了すると、メッセージ表示は消される。つまり図５（ａ）に示す状態では、ユーザ選択画面が表示されつつ、そのバックグランドにおいて顔認証部１２６が、登録ユーザ情報保持部１８０から全ての登録ユーザの顔識別用データを読み出し、撮像画像中に、顔画像を登録したユーザが存在しているかが確認されている。

顔認証部１２６は、撮像画像において、人の顔と推定される部分を抜き出し、その部分の特徴量データを導出する。続いて顔認証部１２６は、読み出した顔識別用データと比較し、抜き出した顔が登録ユーザの顔であるか否かを判定する。

具体的に顔認証部１２６は、抜き出したユーザの顔画像の特徴量データと、登録ユーザ情報保持部１８０から読み出した全ての登録ユーザの顔識別用データとの一致度を導出する。この一致度は数値表現され、たとえば１００点満点中の何点という形で一致度が導出される。登録された顔画像の特徴量データとの一致度が９０点を超えていれば、顔認証部１２６は、撮像されたユーザが、登録ユーザであることを判定するとともに、撮像されたユーザがどの登録ユーザであるかを特定する。なお一致度が９０点を超えるものが複数存在する場合には、顔認証部１２６は、撮像されたユーザが、最高点が導出された顔識別用データの登録ユーザであることを判定すればよい。なお、撮像画像から抜き出したユーザの顔画像の特徴量データと、全ての登録ユーザの顔識別用データとの一致度を導出した結果、一致度が９０点を超えるものがなければ、顔認証部１２６は、撮像画像に含まれるユーザが、登録ユーザでないことを判定する。このように顔認証部１２６は、登録ユーザ情報保持部１８０から読み出した顔識別用データを用いて、撮像画像に存在する登録ユーザの顔画像を検出する。この顔識別技術は、既知の技術を用いてよい。

顔認証部１２６により、撮像画像に含まれるユーザの全てが登録ユーザでないことが判定されると、ログイン処理部１６０は、「登録されている顔を探しています」と表示していたメッセージを非表示とし、また小窓領域２０２も非表示とする。このように顔認証部１２６が、カメラ７の撮像画像に、顔画像を登録したユーザが含まれていないことを判定すると、ログイン処理決定部１１２が、ログイン処理１を、実行するべきログイン処理として決定する。これにより選択画像表示部１２２が、ユーザ選択画面の表示を継続して、ログイン処理部１６０が、ログイン処理１を開始する。顔認証部１２６による判定時間は数秒であり、したがって、小窓領域２０２およびメッセージは、ユーザ選択画面において、数秒間だけ表示される。なお小窓領域２０２は、ログイン処理１でユーザが自分のユーザ特定情報を選択するまで表示されてもよく、またメッセージは、ユーザが入力装置６の入力部を操作するまで表示されてもよい。

ログイン処理１では、ユーザ選択画面において、ログイン処理部１６０が、１つのユーザ特定情報を取り囲むフォーカス枠２００をリスト上で移動可能に表示する。ユーザは入力装置６の入力部を操作してフォーカス枠２００を自分のユーザ特定情報の表示領域に動かし、入力装置６の所定の決定ボタンを押すことで、自分のユーザ特定情報を選択できる。

ここでログインを要求するユーザが入力装置６を操作して、選択画面において「ＨＡＮＡＫＯ」を選択すると、ログイン処理部１６０は、図５（ｂ）に示すパスコードの入力画面を出力装置４に表示する。ここでユーザが登録したパスコードを入力すると、ログイン処理部１６０が、登録ユーザ情報保持部１８０に保持されているユーザのログイン用パスコードと同じであるか判定して、ユーザのログインの許否を判定する。ログイン処理部１６０は、ログインユーザ記憶部１６２に、ログイン情報、すなわちユーザを特定する情報（ユーザアカウント）と、ユーザが使用する入力装置６を特定する情報（ゲームコントローラＩＤ）とを対応付けて記憶する。以上のようにログイン制御部１２０は、ユーザのログイン処理１を実行する。以上は、ログイン処理１の説明である。

以下、ユーザＡ、Ｂの顔識別用データが登録ユーザ情報保持部１８０に格納されており、ユーザＡのオンラインＩＤが「ＨＡＮＡＫＯ」、ユーザＢのオンラインＩＤが「ＳＡＣＨＩＫＯ」であるとする。
＜ログイン処理２＞
上記したように、ユーザが入力装置６を操作してログイン要求を生成した場合、顔認証部１２６が、撮像画像中に、顔画像を登録したユーザが存在しないことを判定すると、ログイン処理１が実行される。一方で、ユーザが入力装置６を操作してログイン要求を生成した場合に、顔認証部１２６が、撮像画像中に、顔画像を登録したユーザが存在することを判定すると、ログイン処理決定部１１２が、ログイン処理２を、実行するべきログイン処理として決定する。なお検出されるユーザは、ログインしていないユーザである必要がある。この顔認証処理は、第１段階のユーザ認証と位置づけられる。

図６（ａ）は、ログイン処理２におけるログイン画面を示す。図６（ａ）に示すログイン画面は、図５（ａ）に示すユーザ選択画面が表示されている間に顔認証部１２６により撮像画像中に顔画像を登録したユーザが検出されて、ユーザ選択画面が非表示にされた後に、出力装置４に表示される。ログイン処理２におけるログイン画面において、撮像画像表示領域２０６に、撮像画像表示部１２４が、カメラ７の撮像画像をライブ表示する。

顔認証部１２６は、ユーザＡ（オンラインＩＤ：ＨＡＮＡＫＯ）の顔の撮像画像中の位置を示す顔領域と、ユーザＢ（オンラインＩＤ：ＳＡＣＨＩＫＯ）の顔の撮像画像中の位置を示す顔領域を設定し、ログイン処理部１６０は、それぞれの顔領域の位置座標および撮像された登録ユーザを特定する情報をもとに、登録ユーザに対して顔枠２１０を表示する。

ここではユーザＡに対して顔枠２１０ａを表示し、ユーザＢに対して顔枠２１０ｂを表示している。このときログイン処理部１６０は、顔枠２１０ａの近傍にユーザＡのオンラインＩＤ（ＨＡＮＡＫＯ）を表示し、顔枠２１０ｂの近傍にユーザＢのオンラインＩＤ（ＳＡＣＨＩＫＯ）を表示する。これによりユーザＡ、Ｂは、自身の顔認識が行われていることを知ることができる。なおユーザは、自身の顔枠２１０の近傍に、自身とは別のオンラインＩＤが表示されていれば、顔認識が適切に行われていないことを知ることができる。

領域画像表示部１２８は、顔認証部１２６により検出された登録ユーザに対して、物体を動かすべき領域を指定する領域画像２１２を、ディスプレイである出力装置４に表示する。ログイン処理２において、領域画像２１２は入力装置６を動かすべき領域を指定するオブジェクト枠であり、登録ユーザが入力装置６を領域画像２１２に動かすことで第２段階のユーザ認証が行われる。なお図示されるように、オブジェクト枠内には、動かすべき物体が入力装置６（ゲームコントローラ）であることを明確にするために、ゲームコントローラ画像が含まれる。オブジェクト認証部１３０は、撮像画像において、領域画像２１２ａにより指定された指定領域内に、入力装置６の画像が含まれるか監視する。

図６（ｂ）は、ユーザが領域画像２１２で指定された位置に、入力装置６を動かしたログイン画面を示す。ここではユーザＡが入力装置６を上に持ち上げて、領域画像２１２ａ内に入力装置６を動かした状態を示す。

オブジェクト認証部１３０が、ユーザＡ用に表示された領域画像２１２ａで指定されるオブジェクト枠内に入力装置６が動かされたことを認識する。このオブジェクト認証処理は、第２段階のユーザ認証と位置づけられ、ユーザＡがログイン動作を行ったことを判定し、ログイン処理部１６０が、ユーザＡを情報処理装置１０にログインさせる。ログイン処理部１６０は、ログインユーザ記憶部１６２に、ログイン情報、すなわちユーザＡを特定する情報（ユーザアカウント）と、ユーザＡが使用する入力装置６ａを特定する情報（ゲームコントローラＩＤ）とを対応付けて記憶する。

以上のように、ログイン処理２では、顔認証部１２６が顔認証（第１段階のユーザ認証）を行い、その後、オブジェクト認証部１３０が指定領域内に入力装置６が含まれていることを検出する（第２段階のユーザ認証）ことで、ログイン処理部１６０が、登録ユーザをログインさせる。ログイン処理部１６０および領域画像表示部１２８は、ログインユーザ記憶部１６２を参照して、既にログイン済みのユーザに対しては顔枠２１０および領域画像２１２を表示しない。たとえば画面右側のユーザＢ（オンラインＩＤ：ＳＡＣＨＩＫＯ）が、ログイン済みのユーザであれば、顔枠２１０ｂ、領域画像２１２ｂは表示されない。

＜ログイン処理３＞
続いて、ログイン処理３について説明する。ログイン処理３では、ユーザは入力装置６を使用せずにログインする。
たとえばユーザが情報処理装置１０のメイン電源ボタン２０を押下すると、情報処理装置１０のメイン電源がオンとなり、入力受付部１０４がメイン電源の押下情報を、ログイン処理３によるログイン要求として受け付ける。また、たとえばユーザによる所定の発声をマイク１０８が取得した場合に、入力受付部１０４が、ログイン処理３によるログイン要求として受け付けてよい。

入力受付部１０４が、ログイン処理３によるログイン要求を受け付けると、撮像画像表示部１２４が、画像取得部１０６が取得した撮像画像を出力装置４に表示する。これにより出力装置４には、カメラ７が撮影したライブ画像が表示されることになり、出力装置４の前方にいるユーザが、出力装置４に映し出される。

ログイン処理３においても、ログイン処理１、２に関して説明したように、顔認証部１２６は、登録ユーザ情報保持部１８０から読み出した顔識別用データを用いて、撮像画像に存在する登録ユーザの顔画像を検出する。この処理は、ユーザに意識させることなくバックグランドで自動実施され、これによりログイン処理決定部１１２が、ログイン処理３を、実行するべきログイン処理として決定する。ログイン処理３において、この顔認証処理は、第１段階のユーザ認証と位置づけられる。

図７（ａ）は、出力装置４に表示される顔枠を含むログイン画面を示す。ログイン処理３におけるログイン画面において、撮像画像表示領域２３０に、撮像画像表示部１２４が、カメラ７の撮像画像をライブ表示する。

顔認証部１２６は、ユーザＡ（オンラインＩＤ：ＨＡＮＡＫＯ）の顔の撮像画像中の位置を示す顔領域と、ユーザＢ（オンラインＩＤ：ＳＡＣＨＩＫＯ）の顔の撮像画像中の位置を示す顔領域を設定し、領域画像表示部１２８は、それぞれの顔領域の位置座標および撮像された登録ユーザを特定する情報をもとに、登録ユーザに対して、物体を動かすべき領域を指定する領域画像２２２を表示する。ここで領域画像２２２は、ユーザの顔を動かすべき領域を指定する顔枠である。

ここではユーザＡに対して領域画像２２２ａを表示し、ユーザＢに対して領域画像２２２ｂを表示している。このときログイン処理部１６０は、領域画像２２２ａの近傍にユーザＡのオンラインＩＤを表示し、領域画像２２２ｂの近傍にユーザＢのオンラインＩＤを表示する。これによりユーザＡ、Ｂは、自身の顔認識が適切に行われたことを知ることができ、ログインする際には、領域画像２２２ａ、２２２ｂに、顔を移動させればよいことを知る。

図８は、領域画像表示部１２８による領域画像２２２の作成手法の一例を説明するための図である。検出領域２２０ａは、顔認証部１２６により、顔識別のために顔識別用データと照合される矩形領域を示す。領域画像表示部１２８は、検出領域２２０ａを上下左右に拡大した拡大領域２２０ｂを設定する。拡大領域２２０ｂは、検出領域２２０ａを上下方向にＳＦａ倍、左右方向にＳＦｂ倍することで設定される。領域画像表示部１２８は、拡大領域２２０ｂを、左または右に、拡大領域２２０ｂの左右方向の幅Ｗより短い長さ分動かした横移動領域２２０ｃを設定する。領域画像表示部１２８は、横移動領域２２０ｃの上辺が顔から離れる方向に、横移動領域２２０ｃの重心を中心として角度αだけ回転させた回転領域２２０ｄを設定する。角度αは、たとえば１０度より大きく、３０度より小さい角度であってよい。領域画像表示部１２８は、このように回転領域２２０ｄを設定し、回転領域２２０ｄの外枠に所定の色を付けて、顔枠となる領域画像２２２を作成する。この領域画像２２２の作成手法は一例であり、回転領域２２０ｄをさらに下方に動かし、その位置で領域画像２２２を作成してもよい。

図７（ｂ）は、ユーザが顔枠に顔を入れたログイン画面を示す。ここではユーザＡが、出力装置４に表示されている領域画像２２２ａに顔が入るように、顔や体を動かした様子を示している。なお図示の例では、領域画像２２２ａが、ユーザの顔とほぼ等しい大きさに設定されているが、図８に関して説明したように、ユーザの顔よりも若干大きく設定されていてよい。顔認証部１２６は、領域画像２２２に人の顔が入っているか監視し、顔が入っている場合には、登録ユーザ情報保持部１８０から読み出した顔識別用データを用いて、領域画像２２２内に入っている顔が登録ユーザのものであるか判定する。

顔認証部１２６は、領域画像２２２の位置座標をもとに、領域画像２２２に人の顔が入っているか監視する。具体的に顔認証部１２６は、領域画像２２２ａの水平フェレ径および垂直フェレ径により規定される矩形領域を縮小した領域を、顔画像を識別する照合領域２２４とし、照合領域２２４に人の顔が入っているか監視する。顔認証部１２６は、照合領域２２４に人の顔が含まれていることを推定すると、その部分の特徴量データを導出して、読み出した顔識別用データと比較し、抜き出した顔が登録ユーザの顔であることを判定する。図７（ｂ）の例では、顔認証部１２６が、照合領域２２４に入った顔がユーザＡの顔であることを判定する。ログイン処理３において、この処理は、第２段階のユーザ認証と位置づけられる。第１段階と第２段階のユーザ認証により、ログイン時におけるユーザ認証が終了し、ログイン処理部１６０は、ユーザＡを情報処理装置１０にログインさせる。

以上、情報処理装置１０による複数のログイン処理について説明した。ログイン処理２、３では、出力装置４に表示されている領域画像２１２、２２２に、ユーザが入力装置６、顔を入れる動作を行う。そのため視力の低いユーザは、領域画像で指定される枠をはっきりと見ることができず、不便を感じる可能性がある。また図６、図７に示すように、画面にはログイン動作に関する説明文が表示され、また顔枠の近傍にユーザのオンラインＩＤが表示されているが、ユーザの視力が低ければ、これらの情報もはっきりと見えない可能性がある。そのためユーザが、ログインするためにどのような動作を行えばよいか、また自身が正しく認識されているかを把握できない可能性もある。この場合、ユーザを簡単にログインさせるために考案したログイン処理２、３が、あるユーザにとっては簡単ではないというデメリットを生じさせることになる。

そこで実施例では、案内制御部１４０が、ログイン動作のための案内支援を実施して、ログイン処理２、３におけるログイン動作を支援する。具体的には、ログイン処理２、３において、案内制御部１４０が、物体（顔、入力装置）を領域画像で指定される領域に動かしやすくするための案内支援を実施する。つまり図６、図７において説明したログイン処理２、３において、ログイン動作をサポートして、ユーザがログインしやすい環境を提供し、ユーザアクセシビリティを向上させる。

なお案内制御部１４０の機能は、ログイン支援の提供を受けることを示す支援設定情報を登録ユーザ情報保持部１８０に登録したユーザに対して実行される。ログイン制御部１２０は、案内制御部１４０の機能を常に実行するわけではなく、実行するか否かは、案内実行判定部１３２により判定される。

案内実行判定部１３２は、情報処理装置１０に登録された設定情報、または第１段階のユーザ認証で顔認証部１２６により検出された登録ユーザの属性情報にもとづいて、案内制御部１４０の機能の実行有無を決定する。ここで情報処理装置１０に登録された設定情報とは、ユーザログインに関する設定画面において登録された情報であり、ユーザログイン時に、「通常モード」でログイン処理を行うか、または「ログイン支援モード」でログイン処理を行うかを選択した情報である。通常モードのログイン処理とは、図６、７に関して説明したログイン処理であり、ログイン支援モードのログイン処理とは、図６、７に関して説明したログイン処理に、案内支援を付加したログイン処理である。ログイン設定画面の初期状態では「通常モードのログイン処理」が選択されており、ユーザが、ログイン設定画面において「ログイン支援モードのログイン処理」を選択することで、この設定情報が情報処理装置１０に登録される。このように「ログイン支援モードのログイン処理」が設定情報として情報処理装置１０に登録されている場合、案内実行判定部１３２は、案内制御部１４０の機能を実行することを決定する。なお「通常モードのログイン処理」が設定情報として情報処理装置１０に登録されている場合、案内実行判定部１３２は、登録ユーザの属性情報にもとづいて、案内制御部１４０の機能の実行有無を決定する。

登録ユーザの属性情報は、登録ユーザがログイン支援の提供を受けるか否かを示す支援設定情報であり、登録ユーザ情報保持部１８０に登録されている。ログイン処理２、３においては、ユーザに意識させることなく、顔認証部１２６により第１段階の顔認証が実施される。顔認証部１２６により、カメラ７に撮像されている登録ユーザが検出されると、案内実行判定部１３２は、検出された登録ユーザの属性情報（支援設定情報）を参照して、ユーザがログイン支援の提供を希望しているか否かを判定する。このときユーザがログイン支援の提供を希望していれば、案内実行判定部１３２は、案内制御部１４０の機能を実行することを決定する。以下、ログイン支援の提供を受けることを支援設定情報として登録したユーザのことを「支援希望ユーザ」と呼び、ログイン支援の提供を受けないことを支援設定情報として登録したユーザのことを「通常ユーザ」と呼ぶ。なお複数の登録ユーザが顔認証部１２６により検出された場合、案内実行判定部１３２は支援希望ユーザが１人でもいれば、案内制御部１４０の機能を実行することを決定する。なお検出された全ての登録ユーザが通常ユーザであれば、案内実行判定部１３２は案内制御部１４０の不実行を決定する。このようにして案内実行判定部１３２は、効率的なユーザアクセシビリティの向上を実現する。

以下、ログイン処理３に関する支援希望ユーザのログイン支援処理について説明する。なお上記した「ログイン支援モードのログイン処理」が情報処理装置１０に登録されている場合、これから説明するログイン支援は、支援希望ユーザおよび通常ユーザの別を問わず実施されてもよいが、以下では、ユーザの属性情報にもとづいて、支援希望ユーザのみを対象として、ログイン支援処理が実施される場合を説明する。

案内制御部１４０は、ユーザ特定部１４２、音声案内部１４４、表示変更部１４６、認識条件設定部１４８および相対位置導出部１５０を備える。案内制御部１４０は、支援希望ユーザのログイン支援を行うものであり、支援の対象となるユーザは、まだログインしていない支援希望ユーザである。ユーザ特定部１４２は、第１段階のユーザ認証により顔認証部１２６が検出した支援希望ユーザを特定する。たとえば図７には、顔認証部１２６が、ログインしていない２人のユーザＡ、Ｂを検出した様子を示しているが、このうちユーザＡ（ＨＡＮＡＫＯ）が支援希望ユーザであり、ユーザＢ（ＳＡＣＨＩＫＯ）が通常ユーザである場合、ユーザ特定部１４２は、ユーザＡを、ログイン支援の対象ユーザとして特定する。

音声案内部１４４は、ユーザＡに対して、ログイン支援のための音声案内を出力する。図７（ａ）を参照して、ユーザＡの顔の近傍には、ユーザＡのオンラインＩＤ（ＨＡＮＡＫＯ）の文字がテキスト表示されているが、ユーザＡは視力が低ければ、この文字を読めない（見えない）可能性がある。またユーザＡは、撮像画像表示領域２３０の下方に記載されているログイン動作に関する説明文を読めない可能性もある。そこで音声案内部１４４は、ユーザＡのユーザ名（オンラインＩＤ）および説明文を、スピーカ１０９から音声出力する。たとえば音声案内部１４４は、「ＨＡＮＡＫＯさんを見つけました。ＨＡＮＡＫＯさんがログインしたい場合には、顔枠に顔をいれてください。」と音声で通知してよい。これによりユーザＡは、自身の顔認識が行われていることを知ることができるとともに、ログイン動作の方法を知ることができる。

音声案内部１４４は、スピーカ１０９から、ユーザＡが首を傾ける方向を音声出力してもよい。たとえば音声案内部１４４は、「ＨＡＮＡＫＯさん、顔枠に入るように顔を左に傾けて下さい」と音声通知してもよい。また音声案内部１４４は、ユーザＡの顔と領域画像２２２ａとの距離を音声で表現してもよい。相対位置導出部１５０が、ユーザＡの顔と領域画像２２２ａとの相対位置関係を導出し、音声案内部１４４は、ユーザＡが顔を傾けている間、領域画像２２２ａに近づいている場合と遠ざかる場合とで、音の間隔、種類、トーンなどを異ならせて、ユーザＡが正しいログイン動作を行っているか知らせるようにしてもよい。このように音声案内部１４４は、ユーザの動きを誘導する音声をスピーカ１０９から出力することが好ましい。これによりユーザＡは、領域画像２２２ａがはっきりと見えなくても、ログインするために行うべき動作を音声通知により知ることができる。

表示変更部１４６は、ユーザＡに対して顔枠として表示する領域画像２２２ａの表示態様を通常モードから変更する処理を行う。具体的には、支援希望ユーザであるユーザＡの顔枠を強調表示することで、ユーザＡが顔枠を見えやすくするようにする。ユーザＡは、音声案内部１４４により音声案内を受け、さらに顔枠を強調表示されることで、ログイン動作を容易に行えるようになる。表示変更部１４６は、領域画像表示部１２８に領域画像２２２の変更を指示し、これにより領域画像表示部１２８は、ログイン支援モードにおける領域画像２２２を、通常モードとは異なる態様で表示する。

図９（ａ）は、顔枠である領域画像の強調表示の例を示す。領域画像表示部１２８は、支援希望ユーザであるユーザＡの顔枠を通常よりも太くした領域画像２２２ｃを表示する。なお領域画像表示部１２８は、顔枠の色や大きさ、形状などを通常モードと異ならせて表示してもよい。なお表示色を変更する場合、表示変更部１４６は、顔枠を表示する位置に存在する背景色を抽出して、背景色に対して目立つ色を顔枠の色として定め、領域画像表示部１２８に通知してもよい。

図９（ｂ）は、顔枠である領域画像の強調表示の別の例を示す。領域画像表示部１２８は、ユーザＡの顔枠を点滅させる領域画像２２２ｄを表示する。なお領域画像表示部１２８は、顔枠を周期的に拡縮させて、目立つように表示させてもよい。

また表示変更部１４６は、相対位置導出部１５０が導出するユーザＡの顔と領域画像２２２との相対位置関係に応じて、領域画像２２２の表示態様を異ならせてもよい。たとえば両者の距離が離れていると領域画像２２２を青色で、所定距離以下に近づくと領域画像２２２を赤色で表示するように、表示変更部１４６は、領域画像表示部１２８に色の変更を指示してもよい。

変更態様の１つである顔枠の大きさを変更する場合について説明する。
既述したように図８は、通常モードにおける顔枠の作成手法を示している。領域画像表示部１２８は、表示変更部１４６から領域画像２２２の拡大指示を受けると、以下のように領域画像２２２を拡大してよい。通常モードにおいて領域画像表示部１２８は、検出領域２２０ａを上下左右に拡大して拡大領域２２０ｂを設定したが、上下方向の拡大率ＳＦａ、左右方向の拡大率ＳＦｂを、それぞれ、さらに大きな拡大率としてもよい。領域画像表示部１２８は、より大きな拡大領域を設定した後は、既に説明したように横移動領域および回転領域を設定して、顔枠となる領域画像２２２を作成する。

図１０は、図８に示す回転領域２２０ｄを拡大した回転領域２２０ｅを示す。ログイン支援モードにおいて、領域画像表示部１２８は、回転領域２２０ｅの外枠に所定の色を付けて、顔枠となる領域画像２２２を作成する。このように図８に関して説明した顔枠の作成手法において、検出領域２２０ａの拡大率を大きくすることで、領域画像表示部１２８は、回転領域２２０ｅを変更し、拡大した領域画像２２２を作成できる。

なお領域画像表示部１２８は、通常モードにおける領域画像２２２を単純に拡大することで、ログイン支援モードにおける領域画像２２２を作成してもよい。通常モードの領域画像２２２を拡大する場合、領域画像表示部１２８は、ユーザの顔が存在する方向には拡大しないことが好ましい。顔認証部１２６は、領域画像２２２で指定される領域を少なくとも含む矩形領域を、顔識別用データとの照合領域２２４（図７（ｂ）参照）とするため、領域画像２２２を顔が存在する方向に広げると、ユーザが顔を動かしていないのにもかかわらず顔画像が照合領域２２４内で検出されて、顔認証部１２６が、顔認証を行う可能性がある。実施例では、支援希望ユーザであるユーザＡがログインしやすくする環境を提供するものの、ログインする意思のない場合にまでログインさせることは好ましくない。そこで顔枠を拡大する場合には、ユーザの顔が存在しない方向に拡大することで、ユーザが意図せずログインする状況を回避する。

このようにログイン支援モードにおいて、領域画像２２２の表示態様が変更されることが好ましいが、これに合わせて、ログイン処理部１６０が、ユーザ名（ＨＡＮＡＫＯ）の表示態様を、通常モードと異なる態様で表示することが好ましい。たとえばログイン処理部１６０は、文字の大きさ、太さ、色、フォントなどを通常モードと異ならせてもよく、また文字自体を点滅させたり、拡縮したりして、目立つ態様としてもよい。これによりユーザＡは、自身のユーザ名を認識しやすくなる。

なおログイン処理３において、第１段階のユーザ認証（顔認証）は、ユーザの意思とは関係なく実施されており、ユーザＡが検出された場合であっても、ユーザＡがログイン意思を有しているかは不明である。そのため音声案内部１４４および表示変更部１４６による支援処理は、所定回数または所定時間を上限として実施されてもよい。特に音声案内部１４４による支援は、通知メッセージを音声案内するものであるため、ユーザＡにログイン意思がなければ、繰り返される音声案内は煩わしいものとなる可能性がある。そこで音声案内部１４４は、たとえば「ＨＡＮＡＫＯさんを見つけました。ＨＡＮＡＫＯさんがログインしたい場合には、顔枠に顔をいれてください。」のメッセージの通知上限回数を設定し、メッセージ通知回数が上限回数に達すれば、メッセージ通知を終了することが好ましい。なおメッセージ通知回数の上限が設定されていてもよく、またメッセージ通知時間の上限が設定されていてもよい。このとき、領域画像２２２の表示態様の変更状態は、メッセージの通知終了に合わせて終了とされてもよい。

図９に示した例では、ユーザＡ（ＨＡＮＡＫＯ）が支援希望ユーザ、ユーザＢ（ＳＡＣＨＩＫＯ）が通常ユーザである。そのため音声案内部１４４は、ユーザＢに対して音声案内は実施せず、また表示変更部１４６は、ユーザＢに対する領域画像２２２ｂの変更を領域画像表示部１２８に指示しない。

しかしながら図９に示すログイン画面において、ユーザＢは領域画像２２２ｂに顔を入れるとログインできる。たとえば情報処理装置１０において、顔枠に顔を入れた最初のユーザのみがログイン処理３によりログインできるという制約がある場合、ユーザＢがログインすると、ユーザＡは、ログイン処理３によるログインができなくなる。この点を支援希望ユーザのログイン支援の観点から検討すると、支援希望ユーザの視力が低い場合には、ログイン動作に難があるため、支援希望ユーザを優先的にログインさせるように設計することが好ましい。

図１１は、通常ユーザであるユーザＢに対するログイン制御の例を示す図である。
図１１（ａ）は、ユーザＢに対する領域画像２２２ｂを非表示とする例を示す。表示変更部１４６は、支援希望ユーザであるユーザＡに対して、通常モードとは異なる領域画像２２２ｃを表示させている間、ユーザＢがログインできないように、領域画像２２２ｂを非表示とさせる。このときユーザＢは、顔を入れるべき顔枠が存在しないため、ログインできない。

図１１（ｂ）は、ユーザＢに対する領域画像２２２ｅを点線表示とする例を示す。表示変更部１４６は、ユーザＡに対して領域画像２２２ｃを表示させている間、ユーザＢがログインしにくいように、通常モードと異なる領域画像２２２ｅを表示させる。ユーザＢは、領域画像２２２ｅの表示態様が通常モードとは異なることで、ユーザＡのログイン支援中であることを認識できる。なお領域画像２２２ｅは、点線表示に限らず、薄い色で表示されたり、ユーザＢが見づらい態様で表示されて、ユーザＢのログイン動作を妨げるようにしてもよい。

なお認識条件設定部１４８は、ログイン支援モードにおける通常ユーザのユーザ認証に用いる閾値を、通常モードよりも上げるように変更してもよい。たとえば通常モードにおいてユーザを認証する閾値を９０点とすると、認識条件設定部１４８は、通常ユーザに対する閾値を９５点に変更する。これによりユーザＢのログイン動作を妨げるようにしてもよい。

なお上記したように、ユーザＡに対するログイン支援処理には、所定の上限回数または上限時間が設定されており、その上限を超えて支援処理は実施されない。そのためユーザＡに対するログイン支援処理が終了すると、ユーザＢに対して、通常モードの領域画像２２２ｂが表示されるようになる。

なおユーザＢは、ログイン支援処理を強制的に終了させるようにしてもよい。ユーザＢは所定の発声を行うことで、ログイン支援処理を終了させることができる。たとえばユーザＢが「ログイン支援を終了してください」と発声すると、マイク１０８で受け付けた音声が入力受付部１０４に供給され、入力受付部１０４は音声認識機能により発声を解析して、支援希望ユーザ用の案内の終了指示として受け付ける。これにより案内実行判定部１３２が、案内制御部１４０による機能を強制停止し、ログイン支援が終了する。なお、この発声は、ユーザＡによって行われてもよい。またユーザＡ、Ｂは、他の手段により、ログイン支援の強制終了の入力を行い、入力受付部１０４が受け付けてもよい。

カメラ７の前にユーザＡ、Ｂが存在する場合に、ユーザＡにログイン意思がないことが明らかなこともある。その場合は、ユーザＡ、Ｂが、所定の発声を行うことで、ログイン支援を強制終了させることが好ましい。強制終了をしない場合、ユーザＡに対するログイン支援処理は、所定の上限回数または上限時間の範囲で実施されるため、ユーザＢは、ログイン意思があっても、その間待機しなければならない。そこでユーザＢは、ユーザＡにログイン意思がないことを知っていれば、ログイン支援処理を強制終了することで、すみやかにログインすることが可能となる。

なお、以上は、ユーザＡが支援希望ユーザであり、ユーザＢが通常ユーザである例を示したが、以下では、ユーザＡ、Ｂともに支援希望ユーザである例について説明する。
複数のユーザが支援希望ユーザである場合、音声案内部１４４および表示変更部１４６は、各ユーザごとに順番に案内支援を実施してよい。たとえば最初にユーザＡに対して案内支援が実施され、続いてユーザＢに対して案内支援が実施される。この案内は、所定の上限回数または上限時間を限度として実施されて、各ユーザに対して実施された後は、支援希望ユーザ用の案内支援が終了する。なお、上限回数または上限時間は、各ユーザごとに設定されていてもよく、たとえばユーザの属性情報として登録ユーザ情報保持部１８０に登録されていてもよい。

なお複数のユーザが支援希望ユーザである場合、ログイン支援処理を実施する順番は、所定の優先順位にしたがって定められてよい。たとえば最近ログインしたユーザの優先順位を高く設定してもよく、撮像画像表示領域２３０に含まれる顔画像の大きいユーザの優先順位を高く設定してもよく、ログイン頻度が高いユーザの優先順位を高く設定してもよい。

以上は、音声ガイドや、顔枠の強調表示により、ユーザがログインしやすい環境を生成することについて説明した。以下では、顔認証条件を制御することで、ユーザがログインしやすい環境を作成することを説明する。

図１２は、顔認証部１２６による照合領域２２４の例を示す。実施例において、顔認証部１２６が顔画像を識別する領域は、領域画像表示部１２８により表示される領域画像２２２のフェレ径を用いて設定される。認識条件設定部１４８は、ログイン支援モードにおける領域画像２２２の水平フェレ径および垂直フェレ径により規定される矩形領域を縮小して、顔画像を識別する照合領域２２４として設定し、顔認証部１２６に照合領域２２４ｂの位置座標を通知する。

照合領域２２４ａは、通常モードにおいて回転領域２２０ｄ（図８参照）により規定される領域を示し、照合領域２２４ｂは、ログイン支援モードにおいて回転領域２２０ｅ（図１０参照）により規定される領域を示す。図示されるように、ログイン支援モードにおける照合領域２２４ｂは、通常モードにおける照合領域２２４ａよりも大きく設定される。このようにログイン支援モードでは、照合領域２２４が広く設定されることで、ユーザが顔識別される範囲が広がり、ログインしやすくなる。

なお照合領域２２４ｂは、照合領域２２４ａに対して、顔から離れる方向に広げられることが好ましい。これにより上記したように、ユーザがログインする意思がないにもかかわらず、照合領域２２４ｂに顔が含まれることでログインする事態を回避する。

なお、この例ではログイン支援モードにおいて顔枠である領域画像２２２を広げることを前提としたが、顔枠を広げずに、照合領域２２４だけを広げるようにしてもよい。この場合であっても、照合領域２２４ｂは、通常モードにおける照合領域２２４ａに対して、顔から離れる方向に広げられることが好ましい。

顔認証部１２６は、照合領域２２４から抜き出したユーザの顔画像の特徴量データと、登録ユーザ情報保持部１８０から読み出した登録ユーザの顔識別用データとの一致度を導出する。認識条件設定部１４８は、ログイン支援モードにおけるユーザ認証に用いる閾値を、通常モードよりも下げるように変更してもよい。たとえば通常モードにおいてユーザを認証する閾値を９０点とすると、認識条件設定部１４８は、ログイン支援モードにおける閾値を７０点に変更する。顔認証の際、ユーザは、カメラ７に顔を正対させることが好ましいが、支援希望ユーザであるユーザは、顔枠内で顔の方向を適切に向けられないこともある。そのような場合、一致度の点数評価は下がることになり、そのような場合を救済するために、認識条件設定部１４８は、認証閾値を、通常モードよりも下げることが好ましい。

また顔認証部１２６は、ユーザの顔画像の特徴量データと、顔識別用データとの一致度を導出する際、顔の一部の特徴量データについては一致度の導出に使用しないようにしてもよい。視力の悪い人は、物体を見ようとする際に目を細める傾向がある。そのような状態で撮像された顔画像は、特に目や眉の周辺領域で、登録時の顔識別用データとは異なることも想定される。そのため顔認証部１２６は、ユーザの顔画像の特徴量データのうち、目や眉の部分に相当する箇所の特徴量データは顔認証に使用せず、その他の特徴量と、顔識別用データとの一致度を導出するようにしてよい。この条件は、認識条件設定部１４８により顔認証部１２６に通知される。たとえば、無視する特徴量データについてはユーザにより入力されて、認識条件設定部１４８が、顔認証部１２６に通知してもよい。

以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。実施例では、ログイン支援処理として、音声案内、領域画像２２２の強調表示、照合領域２２４の拡大、顔認証閾値の変更などを説明したが、これらは任意の組合せで実施されてよい。

実施例では、ログイン処理３のログイン支援について説明したが、ログイン処理２にいても同様にログイン支援を実施できる。特に表示変更部１４６は、領域画像２１２の表示態様を、通常モードとログイン支援モードとで異ならせてよく、ログイン支援モードにおいては、領域画像２１２を強調表示することで、支援希望ユーザであるユーザが、入力装置６を領域画像２１２内に動かしやすくしてよい。また音声案内部１４４は、ログイン処理３と同じく、音声ガイドにより、ユーザのログイン動作を誘導してよい。

また実施例では、認識条件設定部１４８が、支援希望ユーザがログインしやすくなるように認識条件を通常モードよりも緩く設定した。一方で、ログイン意思がない支援希望ユーザが、意図せずログインしてしまう状況を回避することも必要である。そのため、たとえば上限回数または上限時間の範囲内でログイン支援処理を実施している際、前半は認識条件を緩く設定し、後半は、逆に認識条件を厳しく設定するようにしてもよい。ログイン意思があれば、前半のうちに（早いタイミングで）ログイン動作を行って、ログインすることが想定される一方で、ログイン意思がなければ、後半のタイミングでログイン動作をする可能性が低いと考えられるためである。これにより、支援希望ユーザが誤ってログインしてしまう状況を回避できる。

なお支援希望ユーザであるユーザに対して、案内制御部１４０は、当該ユーザのモバイル端末に、案内支援を提示してもよい。ユーザのモバイル端末のアクセス先（アドレスや電話番号など）は、登録ユーザ情報保持部１８０にユーザアカウントに関連付けて登録されており、ログイン支援モードでは、案内制御部１４０が、当該アクセス先を読み出して、モバイル端末にアクセスする。

たとえば音声案内部１４４は、「ＨＡＮＡＫＯさんを見つけました。ＨＡＮＡＫＯさんがログインしたい場合には、顔枠に顔をいれてください。」とする音声データを、ユーザＡのモバイル端末に送信してよい。このとき相対位置導出部１５０が、顔枠とユーザＡの顔との相対位置関係を導出して、音声案内部１４４が、ユーザＡが顔を顔枠に入れられるように音声で誘導してもよい。たとえば音声案内部１４４は、顔枠と顔との距離に応じて「もう少し右に傾けて下さい」などの音声誘導を行ってもよい。特に周囲が騒がしいような場合、出力装置４からの音声では聞こえないことも想定されるため、モバイル端末から音声を大音量で出力することで、ユーザＡが音声を聞き取りやすくなる。

またログイン処理部１６０は、モバイル端末の表示画面に、顔を動かす方向を、矢印、文字などにより表現するための画像データまたはテキストデータを、モバイル端末に送信してよい。モバイル端末は、画像データまたはテキストデータを画面表示し、ユーザＡは出力装置４よりも近い位置でモバイル端末の画面表示を見ることができるため、仮にユーザＡの視力が低くても、ログイン動作を好適に行うことができる。またログイン処理部１６０は、ログイン処理２における撮像画像表示領域２０６や、ログイン処理３における撮像画像表示領域２３０に映し出される画像データをモバイル端末に送信してもよい。これによりユーザは、自分が、入力装置６や顔を、どの方向に動かせばよいか認識できるようになる。

またログイン処理３において、第２段階のユーザの顔認証を、モバイル端末側においても実行してよい。上記したように情報処理装置１０において、ユーザの第１段階の顔認証は実行されているため、第２段階の顔認証を、モバイル端末で実行することで、出力装置４に表示された顔枠に顔を入れるログイン動作を省略できる。なおモバイル端末は、カメラを有し、且つユーザ認証機能を有していることが前提となるが、情報処理装置１０およびモバイル端末の双方でユーザ認証が成功した場合に、ログイン可能とすることで、ユーザ認証の精度を保つことができる。なお、実施例においてログイン支援モードにおいては、顔認証における一致度の閾値を下げることを説明したが、情報処理装置１０およびモバイル端末の双方で顔認証を実施する場合、それぞれにおける閾値を低く設定してよい。モバイル端末における顔認識の結果は、情報処理装置１０に送信されて、ログイン処理部１６０は、モバイル端末においてユーザＡの顔認証が行われたことをもって、ユーザＡをログインさせる。

なおログイン処理３において、第２段階のユーザ認証をモバイル端末で実行する場合には、モバイル端末で顔認証を行うだけでなく、パスワード認証や、瞳認識などのユーザ認証を実施してもよい。このように複数の端末装置によりユーザ認証を複合的に実施することで、ユーザ認証精度を高めることが可能となる。

またログイン処理２、３において、ログイン支援モードによる支援を行ったにもかかわらず、第２段階のユーザ認証が成功しなかった場合には、ログイン処理部１６０が、ログイン処理１に切り替えてもよい。また、この場合、別のログイン処理、たとえば音声認識によるログイン処理などを実施してもよい。

実施例では、領域画像表示部１２８が、人の顔や入力装置６を動かすべき領域を指定する領域画像をディスプレイに表示することを説明した。領域画像表示部１２８は、顔や入力装置６以外の物体を動かすべき領域を指定する領域画像を表示してもよい。たとえば動かすべき物体は、人の顔以外の部位、たとえば手や足や、予め定められた物、たとえばバーコードなどのコード識別子などであってもよく、領域画像表示部１２８は、ログインに要求する物体を動かすべき領域を指定する領域画像を表示する。

１・・・情報処理システム、６・・・入力装置、７・・・カメラ、１０・・・情報処理装置、１００・・・処理部、１０２・・・通信部、１０４・・・入力受付部、１０６・・・画像取得部、１０８・・・マイク、１０９・・・スピーカ、１１０・・・発光色決定部、１１２・・・ログイン処理決定部、１２０・・・ログイン制御部、１２２・・・選択画像表示部、１２４・・・撮像画像表示部、１２６・・・顔認証部、１２８・・・領域画像表示部、１３０・・・オブジェクト認証部、１３２・・・案内実行判定部、１４０・・・案内制御部、１４２・・・ユーザ特定部、１４４・・・音声案内部、１４６・・・表示変更部、１４８・・・認識条件設定部、１５０・・・相対位置導出部、１６０・・・ログイン処理部、１６２・・・ログインユーザ記憶部、１８０・・・登録ユーザ情報保持部。

Claims (6)

1. 撮像画像をディスプレイに表示する撮像画像表示部と、
   登録ユーザの顔識別用データを保持する登録ユーザ情報保持部と、
   前記登録ユーザ情報保持部に保持された顔識別用データを用いて、撮像画像に存在する登録ユーザの顔画像を検出する顔認証部と、
   検出された登録ユーザに対して、物体を動かすべき領域を指定する領域画像をディスプレイに表示する領域画像表示部と、
   検出された登録ユーザが、物体を領域画像で指定される領域に動かしやすくするための案内支援を実施する案内制御部と、
   物体が領域画像で指定される領域に動かされると、検出された登録ユーザをログインさせるログイン処理部と、を備え、検出された登録ユーザの顔の近傍にユーザ名が表示されるものであって、
   前記案内制御部は、検出された登録ユーザのユーザ名とログイン動作に関する説明を含む通知メッセージを音声案内するものであって、通知回数が上限回数に達すると、音声案内を終了する、
   ことを特徴とする情報処理装置。
2. 前記顔認証部により検出された登録ユーザの属性情報にもとづいて、前記案内制御部の機能の実行有無が決定される、ことを特徴とする請求項１に記載の情報処理装置。
3. 前記案内制御部は、案内支援の実施時、領域画像を通常時とは異なる態様で前記領域画像表示部により表示させる、ことを特徴とする請求項１または２に記載の情報処理装置。
4. 前記顔認証部により複数の登録ユーザの顔画像が検出された場合に、前記案内制御部はユーザごとに案内支援を実施する、ことを特徴とする請求項１から３のいずれかに記載の情報処理装置。
5. 撮像画像をディスプレイに表示するステップと、
   登録ユーザ情報保持部に保持された登録ユーザの顔識別用データを用いて、撮像画像に存在する登録ユーザの顔画像を検出するステップと、
   検出された登録ユーザの顔の近傍にユーザ名を表示するステップと、
   検出された登録ユーザに対して、物体を動かすべき領域を指定する領域画像をディスプレイに表示するステップと、
   検出された登録ユーザが、物体を領域画像で指定される領域に動かしやすくするための案内支援を実施するステップと、
   領域画像に動かされた物体を認証するステップと、
   登録ユーザをログインさせるステップと、を備えたログイン制御方法であって、
   案内支援の実施ステップは、検出された登録ユーザのユーザ名とログイン動作に関する説明を含む通知メッセージを音声案内するものであって、通知回数が上限回数に達すると、音声案内を終了する、
   ことを特徴とするログイン制御方法。
6. コンピュータに、
   撮像画像をディスプレイに表示する機能と、
   登録ユーザ情報保持部に保持された登録ユーザの顔識別用データを用いて、撮像画像に存在する登録ユーザの顔画像を検出する機能と、
   検出された登録ユーザの顔の近傍にユーザ名を表示する機能と、
   検出された登録ユーザに対して、物体を動かすべき領域を指定する領域画像をディスプレイに表示する機能と、
   検出された登録ユーザが、物体を領域画像で指定される領域に動かしやすくするための案内支援を実施する機能と、
   領域画像に動かされた物体を認証する機能と、
   登録ユーザをログインさせる機能と、を実現させるためのプログラムであって、
   案内支援を実施する機能は、検出された登録ユーザのユーザ名とログイン動作に関する説明を含む通知メッセージを音声案内するものであって、通知回数が上限回数に達すると、音声案内を終了する機能を含む、
   ことを特徴とするプログラム。

Images