JP6096161B2 - 情報処理装置および情報処理方法 - Google Patents

Description

本発明は、撮影画像を用いて情報処理を行う情報処理装置、およびその情報処理方法に関する。

近年、パーソナルコンピュータやゲーム機などにカメラを搭載し、ユーザの姿を撮像して様々な形で利用することが一般的に行われるようになってきた。例えばテレビ電話、ビデオチャットなど、ユーザの画像を、ネットワークを介してそのまま相手に伝送するものや、画像解析によってユーザの動きを認識し、ゲームや情報処理の入力情報とするものなどが実用化されている（例えば特許文献１参照）。近年ではさらに、奥行き方向を含む３次元空間における対象物の動きを精度よく検出することにより、より臨場感のあるゲームや画像表現を実現できるようになってきた。

ＷＯ ２００７／０５０８８５ Ａ２公報

多様な物が存在する空間を撮影し、その撮影画像を入力データとして情報処理を行う場合、入力装置のボタンやＧＵＩ（Graphical User Interface）を介した操作と比較し、情報処理の精度が撮影環境などの影響を受けやすい。そのため、環境が変化しても安定した情報処理を行える装置の実現が望まれている。特にログイン時などに、個々のユーザと撮影画像におけるユーザの像とを対応づけ認証を行う場合、ユーザの負担を少なく正確な対応づけがなされることが望ましい。

本発明はこのような課題に鑑みてなされたものであり、その目的は、撮影画像を用いた認証処理を、ユーザの負担を少なく安定した精度で行える技術を提供することにある。

上記課題を解決するために、本発明のある態様は情報処理装置に関する。この情報処理装置は、ユーザの撮影画像を取得する画像取得部と、登録ユーザの顔識別用データを保持する登録ユーザ情報保持部と、登録ユーザ情報保持部に保持された顔識別用データを用いて、撮影画像中の顔画像の認証を行う顔認証部と、顔認証部による認証結果に基づき情報処理を行う情報処理部と、撮影画像から抽出した顔画像に基づき顔識別用データを更新する顔識別用データ登録部と、顔画像が所定の条件を満たすとき、当該顔画像に係るデータを一時的に保持する仮登録データ保持部と、を備え、顔識別用データ登録部は、仮登録データ保持部が保持する顔画像に係るデータを、その後の所定のタイミングで評価することにより、当該顔画像に基づき顔識別用データを更新するか否かを判定することを特徴とする。

本発明の別の態様は情報処理方法に関する。この情報処理方法は、情報処理装置が、ユーザの撮影画像を撮像装置から取得するステップと、記憶装置に記憶された登録ユーザの顔識別用データを読み出し、それを用いて撮影画像中の顔画像の認証を行うステップと、認証結果に基づき情報処理を行うステップと、撮影画像から抽出した顔画像に基づき記憶装置に格納された顔識別用データを更新するステップと、顔画像が所定の条件を満たすとき、当該顔画像に係るデータを一時的にメモリに格納するステップと、を含み、顔識別用データを更新するステップは、メモリに格納された顔画像に係るデータを、その後の所定のタイミングで評価することにより、当該顔画像に基づき前記顔識別用データを更新するか否かを判定するステップを含むことを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

本発明によると、撮影画像を利用した認証処理の精度を容易に安定化させることができる。

本実施の形態における情報処理システムを示す図である。 本実施の形態における情報処理装置の内部構成を示す図である。 本実施の形態における情報処理装置の機能ブロック構成を示す図である。 本実施の形態においてカメラによって撮影される空間の一例を示す図である。 本実施の形態における顔認証部による顔識別結果を示す図である。 本実施の形態における出力装置に表示される顔枠を含むログイン画面を示す図である。 本実施の形態においてユーザが顔枠に顔を入れたログイン画面を示す図である。 本実施の形態における登録ユーザ情報保持部および仮登録データ保持部に格納するデータを模式的に示す図である。 本実施の形態における顔識別用データ登録部が顔識別用データを登録する処理手順を示すフローチャートである。 本実施の形態における登録条件および仮登録条件の設定例を説明するための図である。 本実施の形態における登録判定部が、仮登録したデータを本登録する処理手順を示すフローチャートである。 本実施の形態における信頼度更新条件の設定例を説明するための図である。 本実施の形態における信頼度のデータ例を模式的に示す図である。 本実施の形態における撮影条件制御部の基本的な調整動作を説明するための図である。 本実施の形態において、撮影条件制御部がカメラの撮影条件を調整しながら、顔認証部が顔認証を行う処理手順を示すフローチャートである。

図１は、本発明の実施形態における情報処理システム１を示す。情報処理システム１は、ユーザ端末である情報処理装置１０と、サーバ５とを備える。アクセスポイント（以下、「ＡＰ」とよぶ）８は、無線アクセスポイントおよびルータの機能を有し、情報処理装置１０は、無線または有線経由でＡＰ８に接続して、ネットワーク３上のサーバ５と通信可能に接続する。

補助記憶装置２は、ＨＤＤ（ハードディスクドライブ）やフラッシュメモリなどの大容量記憶装置であり、ＵＳＢ（Universal Serial Bus）などによって情報処理装置１０と接続する外部記憶装置であってよく、また内蔵型記憶装置であってもよい。出力装置４は、画像を出力するディスプレイおよび音声を出力するスピーカを有するテレビであってよく、またコンピュータディスプレイであってもよい。出力装置４は、情報処理装置１０に有線ケーブルで接続されてよく、また無線接続されてもよい。

情報処理装置１０は、ユーザが操作する入力装置６と無線または有線で接続し、入力装置６はユーザの操作結果を示す操作信号を情報処理装置１０に出力する。情報処理装置１０は、入力装置６からの操作信号を受け付けるとＯＳ（システムソフトウェア）やアプリケーションの処理に反映し、出力装置４から処理結果を出力させる。入力装置６は複数のプッシュ式の操作ボタンや、アナログ量を入力できるアナログスティック、回動式ボタンなどの複数の入力部を有して構成される。

情報処理装置１０は、入力装置６からの操作信号を受け付けるとアプリケーションの処理に反映し、出力装置４から処理結果を出力させる。情報処理システム１において情報処理装置１０はゲームを実行するゲーム装置であり、入力装置６ａ、６ｂ（以下、入力装置６と総称する場合がある）はゲームコントローラなど情報処理装置１０に対してユーザの操作信号を提供する機器である。なお入力装置６は、キーボードやマウスなどの入力インタフェースであってもよい。撮像装置であるカメラ７は出力装置４の近傍に設けられ、出力装置４周辺の空間を撮像する。図１ではカメラ７が出力装置４の上部に取り付けられている例を示しているが、出力装置４の側部に配置されてもよく、いずれにしても出力装置４の前方に位置するユーザを撮像できる位置に配置される。カメラ７は、ステレオカメラであってもよい。

サーバ５は、情報処理システム１のユーザに対してネットワークサービスを提供する。サーバ５は、各ユーザを識別するネットワークアカウントを管理しており、各ユーザは、ネットワークアカウントを用いて、サーバ５が提供するネットワークサービスにサインインする。ユーザは情報処理装置１０からネットワークサービスにサインインすることで、サーバ５に、ゲームのセーブデータや、またゲームプレイ中に獲得した仮想的な表彰品であるトロフィを登録できる。

図１では、２人のユーザＡ、Ｂが、ゲームコントローラである入力装置６ａ、６ｂを操作している様子が示されている。ユーザＡ、Ｂは、それぞれ入力装置６ａ、６ｂを操作してログイン用パスコードを入力し、情報処理装置１０により認証された後、情報処理装置１０のＯＳにログインすることで、ゲームなどのアプリケーションを楽しむことができる。

近年では、ユーザの動きをゲームキャラクタの動きに反映するゲームも登場している。ユーザのジェスチャーを利用したゲームでは、ユーザが入力装置６をもつ必要がなく、直観的にキャラクタを動かすことができる。このようなゲームでは、そもそもユーザが入力装置６を用いないため、ユーザが情報処理装置１０のＯＳにログインする際にも、入力装置６を用いずにユーザ認証が行われることが好ましい。なおログイン後にユーザがプレイするゲームの種類に関わらず、簡易なユーザ認証を経てユーザがログインできることは、情報処理システム１において有意義である。そこで本実施形態の情報処理システム１では、カメラ７の撮像画像を利用して、ユーザ認証を簡易に行うことのできる技術を提供する。

図２は、情報処理装置１０の内部構成を示す。情報処理装置１０は、メイン電源ボタン２０、電源ＯＮ用ＬＥＤ２１、スタンバイ用ＬＥＤ２２、システムコントローラ２４、クロック２６、デバイスコントローラ３０、メディアドライブ３２、ＵＳＢモジュール３４、フラッシュメモリ３６、無線通信モジュール３８、有線通信モジュール４０、サブシステム５０およびメインシステム６０を有して構成される。

メインシステム６０は、メインＣＰＵ（Central Processing Unit）、主記憶装置であるメモリおよびメモリコントローラ、ＧＰＵ（Graphics Processing Unit）などを備える。ＧＰＵはゲームプログラムの演算処理に主として利用される。これらの機能はシステムオンチップとして構成されて、１つのチップ上に形成されてよい。メインＣＰＵはＯＳを起動し、ＯＳが提供する環境下において、補助記憶装置２にインストールされたアプリケーションを実行する機能をもつ。

サブシステム５０は、サブＣＰＵ、主記憶装置であるメモリおよびメモリコントローラなどを備え、ＧＰＵを備えない。サブＣＰＵの回路ゲート数は、メインＣＰＵの回路ゲート数よりも少なく、サブＣＰＵの動作消費電力は、メインＣＰＵの動作消費電力よりも少ない。上記したように、サブＣＰＵは、メインＣＰＵがスタンバイ状態にある間に動作するものであり、消費電力を低く抑えるべく、その処理機能を制限されている。なおサブＣＰＵおよびメモリは、別個のチップに形成されてもよい。

メイン電源ボタン２０は、ユーザからの操作入力が行われる入力部であって、情報処理装置１０の筐体の前面に設けられ、情報処理装置１０のメインシステム６０への電源供給をオンまたはオフするために操作される。以下、メイン電源がオン状態にあるとは、メインシステム６０がアクティブ状態にあることを意味し、メイン電源がオフ状態にあるとは、メインシステム６０がスタンバイ状態にあることを意味する。電源ＯＮ用ＬＥＤ２１は、メイン電源ボタン２０がオンされたときに点灯し、スタンバイ用ＬＥＤ２２は、メイン電源ボタン２０がオフされたときに点灯する。

システムコントローラ２４は、ユーザによるメイン電源ボタン２０の押下を検出する。メイン電源がオフ状態にあるときにメイン電源ボタン２０が押下されると、システムコントローラ２４は、その押下操作を「オン指示」として取得し、一方で、メイン電源がオン状態にあるときにメイン電源ボタン２０が押下されると、システムコントローラ２４は、その押下操作を「オフ指示」として取得する。

メインＣＰＵは補助記憶装置２やＲＯＭ媒体４４にインストールされているゲームプログラムを実行する機能をもつ一方で、サブＣＰＵはそのような機能をもたない。しかしながらサブＣＰＵは補助記憶装置２にアクセスする機能、サーバ５との間でデータを送受信する機能を有している。サブＣＰＵは、このような制限された処理機能のみを有して構成されており、したがってメインＣＰＵと比較して小さい消費電力で動作できる。これらのサブＣＰＵの機能は、メインＣＰＵがスタンバイ状態にある際に実行される。本実施形態の情報処理装置１０は、メインシステム６０のスタンバイ時にはサブシステム５０が稼働しているため、サーバ５が提供するネットワークサービスに、常時サインインした状態を維持する。

クロック２６はリアルタイムクロックであって、現在の日時情報を生成し、システムコントローラ２４やサブシステム５０およびメインシステム６０に供給する。

デバイスコントローラ３０は、サウスブリッジのようにデバイス間の情報の受け渡しを実行するＬＳＩ（Large-Scale Integrated Circuit）として構成される。図示のように、デバイスコントローラ３０には、システムコントローラ２４、メディアドライブ３２、ＵＳＢモジュール３４、フラッシュメモリ３６、無線通信モジュール３８、有線通信モジュール４０、サブシステム５０およびメインシステム６０などのデバイスが接続される。デバイスコントローラ３０は、それぞれのデバイスの電気特性の違いやデータ転送速度の差を吸収し、データ転送のタイミングを制御する。

メディアドライブ３２は、ゲームなどのアプリケーションソフトウェア、およびライセンス情報を記録したＲＯＭ媒体４４を装着して駆動し、ＲＯＭ媒体４４からプログラムやデータなどを読み出すドライブ装置である。ＲＯＭ媒体４４は、光ディスクや光磁気ディスク、ブルーレイ（登録商標）ディスクなどの読出専用の記録メディアである。

ＵＳＢモジュール３４は、外部機器とＵＳＢケーブルで接続するモジュールである。ＵＳＢモジュール３４は補助記憶装置２およびカメラ７とＵＳＢケーブルで接続してもよい。フラッシュメモリ３６は、内部ストレージを構成する補助記憶装置である。無線通信モジュール３８は、Bluetooth（登録商標）プロトコルやIEEE802.11プロトコルなどの通信プロトコルで、たとえば入力装置６と無線通信する。

なお無線通信モジュール３８は、ＩＴＵ（International Telecommunication Union；国際電気通信連合）によって定められたＩＭＴ−２０００（International Mobile Telecommunication 2000）規格に準拠した第３世代（3rd Generation）デジタル携帯電話方式に対応してもよく、さらには別の世代のデジタル携帯電話方式に対応してもよい。有線通信モジュール４０は、外部機器と有線通信し、たとえばＡＰ８を介してネットワーク３に接続する。

本実施形態の情報処理システム１において、情報処理装置１０が電源オフの状態で、ユーザがメイン電源ボタン２０を押下すると、情報処理装置１０はメイン電源をオンしてＯＳ（システムソフトウェア）を起動し、ユーザのログイン処理を実行する。このログイン処理では、情報処理装置１０が、カメラ７の撮像画像を利用した顔認証システムとして機能する。

図３は情報処理装置１０の機能ブロック構成を示す。なお情報処理装置１０はログイン処理後にゲームなど各種情報処理を実行する機能を有するが、同図では認証を含むログイン処理に係る機能ブロックのみを示している。情報処理装置１０は、入力受付部１０２、画像取得部１０４、撮影条件制御部１０６、ログイン制御部１１０、登録ユーザ情報保持部１３０、および顔識別用データ登録部１５０を備える。ログイン制御部１１０は、撮像画像表示部１１２、顔認証部１１４、顔枠処理部１１６およびログイン処理部１２０を有する。顔識別用データ登録部１５０は、データ生成部１５２、登録判定部１５４、および仮登録データ保持部１５６を有する。

図３において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のＬＳＩで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

本実施形態の情報処理装置１０は、ユーザの簡易なログイン動作を支援することを１つの特徴とする。ユーザは、情報処理装置１０のＯＳにログインするために、ユーザアカウントを予め取得して、情報処理装置１０に登録しておくことを基本とする。以下、ユーザアカウントを情報処理装置１０に登録したユーザを、「登録ユーザ」とよぶ。

入力受付部１０２は、ユーザからの操作情報を、入力装置６を介して受け付け、必要に応じて他の機能ブロックに当該情報を供給する。画像取得部１０４は、カメラ７で撮像された撮像画像を取得しメモリに格納する。カメラ７は所定の周期、たとえば１／３０秒に１枚の空間画像を撮影し、その撮像画像を画像取得部１０４に提供する。カメラ７は、その光軸が出力装置４の前方を向くように配置されることにより、出力装置４の前方に存在するユーザを撮影する。

ログイン制御部１１０は、画像取得部１０４が取得した撮影画像のうち顔が写っている領域を抽出し、当該領域に表れている顔の特徴量データを用いて顔認証を行う。そして認証が成功した場合、すなわち撮影された顔が登録ユーザのものであることが判定された場合に、当該ユーザをログインさせる。

登録ユーザ情報保持部１３０は、登録ユーザに関する様々な情報を保持する。具体的には、ユーザアカウントに関連付けて、顔識別用データ、ユーザのオンラインＩＤ（ネットワーク上でのニックネーム）、ログイン用パスコードなどを、登録ユーザ情報として保持する。ここで顔識別用データは、登録ユーザの顔画像の特徴量データ、あるいは顔画像データそのものであってもよい。

顔識別用データは、ログイン制御部１１０における顔認証処理において比較対象とされるデータであり、採用する顔認識アルゴリズムにしたがって生成され、顔識別用データ登録部１５０が登録ユーザ情報保持部１３０に格納する。たとえば顔識別用データは、顔のパーツの相対位置や大きさ、目や鼻やほお骨やあごの形を特徴として抽出したデータであってよい。また顔識別用データは、平均顔からの差分を表すデータであってもよい。また輝度ベクトルの分布などを表す統計量であってよい。どのような顔識別用データを抽出するかは、採用する顔認識アルゴリズムによって定まる。

撮影条件制御部１０６は、ログイン処理時の撮影画像が、登録ユーザ情報保持部１３０が保持する顔識別用データを取得したときの撮影画像に近づくように、カメラ７の撮影条件を制御する。具体的には、撮影画像が有する各種特性のうち、輝度分布や周波数分布など、撮影条件の調整により変化する特性が、顔識別用データを取得したときの撮影画像に近づくように撮影条件を調整する。これにより撮影環境の変化等に起因した認証精度の悪化を抑える。

本実施形態において撮像画像表示部１１２、顔枠処理部１１６、および顔識別用データ登録部１５０の機能は、顔認証アプリケーションにより実現され、顔認証部１１４の機能は、顔認識エンジンにより実現されて、メイン電源ボタン２０が押下された際にＯＳにより自動起動される。なお顔認証アプリケーションおよび顔認識エンジンは、１つのアプリケーションとして構成されてもよい。

まず、本実施の形態を適用できるログイン処理の例について説明する。ただし本実施の形態は、登録された画像データと撮影画像との比較により認証を行ういかなる技術にも適用可能であり、次に述べるログイン処理に適用範囲を限定する趣旨ではない。この例では、少なくともユーザＡ、Ｂがおり、ユーザＡのオンラインＩＤが「ＨＡＮＡＫＯ」、ユーザＢのオンラインＩＤが「ＳＡＣＨＩＫＯ」であるとする。

ユーザが情報処理装置１０のメイン電源ボタン２０を押下すると、情報処理装置１０のメイン電源がオンとなり、入力受付部１０２がメイン電源の押下情報を、ユーザからのログイン要求として受け付ける。ログイン要求は入力装置６を介して受け付けてもよい。入力受付部１０２がログイン要求を受け付けると、ログイン制御部１１０における各機能が実現される。ログイン制御部１１０は、ユーザの顔認識の結果に基づいて、ユーザのログインの許否を判定する機能をもつ。

入力受付部１０２がログイン要求を受け付けると、撮像画像表示部１１２が、画像取得部１０４が取得した撮像画像をメモリから読み出しディスプレイである出力装置４に表示する。これにより出力装置４には、カメラ７が撮影したライブ画像が表示されることになり、出力装置４の前方にいるユーザが、出力装置４に映し出される。

図４は、カメラ７によって撮影される空間の一例を示す。この撮影空間には、３人のユーザが存在している。図４においてユーザを取り囲む四角の枠はカメラ７の撮像範囲を表現している。カメラ７の撮像範囲は、出力装置４にてライブ画像として表示される範囲を規定するが、ライブ画像は、撮像画像の一部であってもよい。顔認証部１１４は、撮像画像において、人の顔と推定される部分を抜き出し、その部分の特徴量データを導出して、登録ユーザ情報保持部１３０に保持された顔識別用データと比較し、抜き出した顔が登録ユーザの顔であることを判定する。

具体的に顔認証部１１４は、抜き出したユーザの顔画像の特徴量データと、登録ユーザ情報保持部１３０に保持されている全ての登録ユーザの顔識別用データとの一致度を導出する。この一致度は数値表現され、例えば１００点満点中の何点という形で導出される。登録された顔画像の特徴量データとの一致度が９０点など所定の認証しきい値を超えていれば、顔認証部１１４は、撮像されたユーザが、登録ユーザであることを判定するとともに、撮像されたユーザがどの登録ユーザであるかを特定する。

なお一致度が認証しきい値を超えるユーザが複数存在する場合には、顔認証部１１４は、撮像されたユーザが、最高点が導出された顔識別用データの登録ユーザであることを判定すればよい。なお、撮像画像から抜き出したユーザの顔画像の特徴量データと、全ての登録ユーザの顔識別用データとの一致度を導出した結果、一致度が認証しきい値を超えるものがなければ、顔認証部１１４は、撮像画像に含まれるユーザが、登録ユーザでないことを判定する。このようにすることで顔認証部１１４は、登録ユーザ情報保持部１３０に保持された顔識別用データを用いて、撮像画像中の顔画像と登録ユーザとを対応づけることにより認証処理を行う。本実施の形態において、この処理は、第１段階の顔認証と位置づけられる。

図５は、顔認証部１１４による顔識別結果を示す。ここでは、左側のユーザがユーザＡであること、右側のユーザがユーザＢであること、真ん中のユーザが登録ユーザではないことが判定されている。顔認証部１１４は、ユーザＡ（オンラインＩＤ：ＨＡＮＡＫＯ）の顔の撮像画像中の位置を示す顔領域２００ａと、ユーザＢ（オンラインＩＤ：ＳＡＣＨＩＫＯ）の顔の撮像画像中の位置を示す顔領域２００ｂを設定し、顔領域２００ａ、２００ｂの位置座標および撮像された登録ユーザを特定する情報とを顔枠処理部１１６に提供する。

以下、位置座標は、撮像画像をディスプレイに表示したときの２次元座標により表現される例を示すが、ＶＲＡＭ上に定義される座標であってもよく、いずれにしても顔領域２００ａ、２００ｂ（以下、顔領域２００と総称する場合がある）の座標および後述する顔枠の座標とが共通の座標系で表現されればよい。

各顔領域２００は、撮像画像中の顔の輪郭に接する矩形領域として設定されてよいが、顔輪郭よりも若干広い矩形領域として設定されてもよい。なお、ここで顔の輪郭は、頭髪まで含む輪郭を意味しているが、たとえば顔認証部１１４の顔認識処理が頭髪を考慮しない場合には、頭髪を除いて顔の輪郭が設定されてもよい。撮像画像中のユーザの顔の大きさおよび形状により顔領域２００の大きさおよび形状は定まる。したがってユーザごとに顔領域２００の大きさおよび形状は異なり、また同じユーザであっても、カメラ７との距離に応じて顔領域２００の大きさおよび形状は変化する。

顔認証部１１４から顔枠処理部１１６に提供される登録ユーザを特定する情報は、登録ユーザのユーザアカウントであってもよく、またオンラインＩＤであってもよい。顔認証部１１４は、顔領域２００の位置座標と登録ユーザ特定情報とを対応付けて顔枠処理部１１６に提供する。すなわち図５に示す例では、顔領域２００ａとユーザＡの特定情報の組合せと、顔領域２００ｂとユーザＢの特定情報の組合せとを顔枠処理部１１６に提供する。

顔枠処理部１１６は、顔認証部１１４により検出された登録ユーザに対して、出力装置４に顔枠を表示する。この顔枠は、登録ユーザがログインする際に、顔を動かして配置するために表示される。したがって登録ユーザは、出力装置４に表示された顔枠に自身の顔を入れることで、情報処理装置１０にログインできるようになる。

図６は、出力装置４に表示される顔枠を含むログイン画面を示す。顔枠処理部１１６は、顔認証部１１４より提供される顔領域２００ａ、２００ｂの位置座標および撮像された登録ユーザを特定する情報をもとに、登録ユーザに対して顔枠２１０ａ、２１０ｂ（以下、顔枠２１０と総称する場合がある）を表示する。ここではユーザＡに対して顔枠２１０ａを表示し、ユーザＢに対して顔枠２１０ｂを表示している。このとき顔枠処理部１１６は、顔枠２１０ａの近傍にユーザＡのオンラインＩＤを表示し、顔枠２１０ｂの近傍にユーザＢのオンラインＩＤを表示する。これによりユーザＡ、Ｂは、自身の顔認識が適切に行われたことを知ることができ、顔枠２１０ａ、２１０ｂに、顔を移動させるようにする。

なおユーザは、自身の顔の近傍に表示された顔枠２１０の近傍に、自身とは別のオンラインＩＤが表示されていれば、顔認識が適切に行われていないことを知ることができ、したがって、顔枠２１０に顔を入れる動作を行わない。なお真ん中のユーザは登録ユーザではないため、顔枠２１０は表示されていない。ただし後述するように未登録ユーザをゲストユーザとして認識する場合は、当該ユーザに対する顔枠２１０も表示する場合がある。

顔枠処理部１１６は、顔枠２１０のそれぞれにＩＤを付し、顔枠ＩＤ、顔枠２１０の位置座標および顔枠２１０を表示したユーザの特定情報を顔認証部１１４に提供する。なお、顔枠処理部１１６が顔認証部１１４に提供する顔枠２１０の位置座標は、顔枠２１０そのものの位置座標であってもよいが、顔枠２１０に外接する矩形座標であってもよい。以下、顔枠２１０そのものの位置座標と、顔枠２１０に外接する矩形の位置座標を、まとめて顔枠の位置座標と呼ぶ。顔枠の位置座標は、顔認証部１１４において、ユーザの顔画像を検出するために利用される。

たとえば顔枠処理部１１６は、顔枠２１０ａの顔枠ＩＤを“ＩＤ１”、顔枠２１０ｂの顔枠ＩＤを“ＩＤ２”と設定し、“ＩＤ１”と顔枠２１０ａの位置座標とユーザＡの特定情報との組合せと、“ＩＤ２”と顔枠２１０ｂの位置座標とユーザＢの特定情報との組合せとを、顔認証部１１４に提供する。また顔枠処理部１１６は、顔枠ＩＤおよび顔枠２１０を表示したユーザの特定情報を、ログイン処理部１２０に提供する。したがって、ここでは顔枠処理部１１６が、“ＩＤ１”とユーザＡの特定情報の組合せと、“ＩＤ２”とユーザＢの特定情報の組合せとを、ログイン処理部１２０に提供する。

図７は、ユーザが顔枠に顔を入れたログイン画面を示す。ここではユーザＡが、出力装置４に表示されている顔枠２１０ａに顔が入るように、顔や体を動かした様子を示している。顔認証部１１４は、顔枠２１０に人の顔が入っているか監視し、顔が入っている場合には、登録ユーザ情報保持部１３０に保持された顔識別用データを用いて、顔枠２１０内に入っている顔が登録ユーザのものであるか判定する。

顔認証部１１４は、顔枠処理部１１６から提供された顔枠２１０の位置座標をもとに、顔枠２１０に人の顔が入っているか監視することができる。顔認識アルゴリズムについては上記したとおりである。すなわち顔認証部１１４は、顔枠２１０において、人の顔が含まれていることを推定すると、その部分の特徴量データを導出して、登録ユーザ情報保持部１３０に保持された顔識別用データと比較し、抜き出した顔が登録ユーザの顔であることを判定する。

なお顔認証部１１４は、顔枠処理部１１６から、顔枠ＩＤ、顔枠２１０の位置座標および顔枠２１０を表示したユーザの特定情報との組合せを通知されており、顔枠２１０に含まれた人の顔画像の特徴量データを、顔枠２１０を表示したユーザの顔識別用データと比較する。顔認証部１１４は、顔枠２１０に含まれるべきユーザを予め通知されていることで、顔枠２１０に含まれる顔の特徴量データを全ての登録ユーザの顔識別用データと比較する必要なく、効率的に顔認識処理を行うことができる。

このとき顔認証部１１４は、顔枠２１０に登録ユーザの顔が所定時間（たとえば数秒）入っていることを検出することで、顔枠２１０に登録ユーザの顔が入れられたことを判定してもよい。結果として図７の例では、顔認証部１１４が、顔枠２１０ａに入った顔がユーザＡの顔であることを判定する。本実施例において、この処理は、第２段階の顔認証と位置づけられる。

第１段階と第２段階の顔認証により、ログイン時におけるユーザ認証が終了する。ユーザが顔枠２１０に顔を入れる行為は、ユーザがログインする意思に基づいて行われ、ユーザがログインを希望しない場合には、顔を顔枠２１０に入れなければよい。このように本実施例では、第１段階の顔認証により、ログインする可能性のある登録ユーザを検出し、第２段階の顔認証により、ログインする意思をもった登録ユーザを検出する。登録ユーザは、顔を顔枠２１０に入れるという簡易な動作を行うだけで、認証されることになり、ログイン時におけるユーザの作業負担を非常に小さくできる。

顔認証部１１４は、顔枠２１０ａにユーザＡの顔が入っていることを検出すると、顔枠２１０ａを特定する顔枠ＩＤと、ユーザＡを特定するユーザ特定情報を、ログイン処理部１２０に通知する。既述したようにログイン処理部１２０は、予め顔枠処理部１１６から、顔枠ＩＤおよび顔枠２１０を表示したユーザの特定情報を通知されている。ログイン処理部１２０は、顔認証部１１４から顔枠ＩＤおよびユーザ特定情報を通知されると、顔枠処理部１１６から通知された顔枠ＩＤに対応付けられたユーザ特定情報を抽出し、ユーザ特定情報同士の一致を判定する。ここでは、ＩＤ１の顔枠ＩＤに対して、双方ともユーザＡの特定情報が通知されている。したがってログイン処理部１２０は、ユーザＡ用に表示された顔枠２１０ａ内にユーザＡの顔が検出されたことを認識する。これによりログイン処理部１２０は、ユーザＡを情報処理装置１０にログインさせる。

なお、上記の例では顔認証部１１４が、顔枠２１０に含まれるべき１人のユーザの顔識別用データと、顔枠２１０に含まれた顔の特徴量データとを比較したが、顔認証部１１４は、全ての登録ユーザの顔識別用データを、顔枠２１０に含まれた顔の特徴量データと比較してもよい。その結果、顔認証部１１４は、ユーザＡ用に表示された顔枠２１０ａ内に、ユーザＡ以外の登録ユーザの顔を検出することもある。顔認証部１１４は、顔枠２１０に含まれたユーザを特定するユーザ特定情報と、顔枠ＩＤとをログイン処理部１２０に通知し、ログイン処理部１２０は、予め顔枠処理部１１６から予め通知されている顔枠ＩＤおよび顔枠２１０を表示したユーザの特定情報と比較する。

同じ顔枠ＩＤに対して、顔枠２１０を表示されたユーザの特定情報と、実際に顔枠２１０にて検出されたユーザの特定情報とが異なる場合、つまりユーザＡ用に表示された顔枠２１０ａ内に、ユーザＡ以外の登録ユーザの顔が検出されている場合、ログイン処理部１２０は、顔枠２１０ａにおいて検出された顔画像がユーザＡのものでないことを判定し、ユーザＡ、ないしは顔枠２１０ａに顔を入れた登録ユーザをログインさせないようにする。

以上のように、本実施例では、ログイン制御部１１０が、２段階の顔認証によるユーザ認証を行った後、登録ユーザをログインさせる。第１段階の顔認証と第２段階の顔認証は並行して、異なる周期で実行してもよい。例えば第１段階の顔認証を１秒周期、第２段階の顔認証を１／６０秒周期で並列に動作させる。これにより一度に多数のユーザが存在する場合は特に、２段階の顔認証を一人ずつ行うよりログイン処理を高速化できる。上記のように第１段階の顔認証の動作周期を長く、第２段階の顔認証の動作周期を短くすることにより、処理の負荷を抑えつつ、第１段階から第２段階への移行を即座に行える。

また第２段階の顔認証処理により１人の登録ユーザがログインした後は、まだログインしていない登録ユーザが撮影されていれば、その登録ユーザがログインするまで、ログイン画面が表示され続けてもよい。このとき、顔枠処理部１１６は、ログインしたユーザに対して表示していた顔枠２１０を、出力装置４から消すことが好ましい。なお、この顔認証によりログインできる登録ユーザは１人という限定がある場合には、１人の登録ユーザのログイン後、情報処理装置１０のＯＳが提供するホーム画面等に遷移してもよい。

なお、ログイン画面において顔枠２１０が表示された後、所定時間、顔認証部１１４が、顔枠２１０内に顔を検出できない場合には、顔認識によるログイン処理を終了し、入力装置６を用いたログイン処理に移行してもよい。またユーザが顔認識によるログイン処理を望まない場合には、たとえば入力装置６を用いて顔認識によるログイン処理を終了させ、入力装置６を用いたログイン処理に移行してもよい。

ここで用いる顔識別用データは上述のとおり顔認証部１１４が採用する顔認識アルゴリズムによって異なり、特徴量データであってもよいし顔画像のデータ自体であってもよい。顔認識アルゴリズムの１つとして、撮影された顔画像とあらかじめ登録された顔画像との差分画像、および事前に取得しておいた差分画像群の固有空間との距離に基づき一致度を算出する手法がある（例えば特開２００２−１５７５９６号公報参照）。

この技術に限らず、認証時に撮影した画像と登録画像とをブロックマッチングしたり、共分散行列などの統計量によって画像の輝度分布ベクトルに基づき確率密度を求めたり、といった画素値集合に基づく認証においては、登録データの元となる顔画像が認証精度に影響しやすい。例えば日中、窓から入射した自然光のもとで撮影した画像と、夜間に室内照明のもとで撮影した画像では、全体的な輝度や、顔にあたる光の角度が大きく異なることが考えられる。

これらの画像を比較した場合、同じ照明環境のもとで撮影した画像同士を比較するのに比べ、一致度の導出精度、ひいては認証精度が低くなりやすい。このような照明環境の変化は、時間帯、天気、カーテンの開閉、どの照明を点灯しているか、といった様々な要因で生じる。照明環境のみならず、顔のむくみ具合、経年変化、化粧の有無、髪型などユーザ自身の変化によっても認証精度が変化し得る。

このような外的要因で認証精度が変化し、登録ユーザであるにも関わらずなかなか認識されなかったり、他人として認識されてしまったりすると、ユーザに多大なストレスを与えるばかりでなく、その後になすべきゲームなどの情報処理が適正に行われないなどの不都合が生じうる。そこで本実施の形態の情報処理装置１０は、
（１）顔識別用データの自動登録
（２）ログイン時の撮影条件の調整
の少なくともいずれかを行うことにより、上記のような問題の発生を抑える。以下、各処理について詳述する。

（１）顔識別用データの自動登録
照明などの撮影環境やユーザ自身に変化が生じても、登録済みの顔識別用データとの比較によって正しくユーザを特定するためには、できるだけ多くの状態で撮影した画像から顔識別用データを生成し登録しておくことが望ましい。しかし実際にはユーザ自身がそのような状態を作り出すのには限界がある。そこで本実施の形態では、ユーザ自身が顔識別用データの格納を要求したタイミング以外に、情報処理装置１０が判断した適切なタイミングで顔識別用データを登録していく。これによりユーザの手間を少なく、経時変化や状況変化の影響を受けにくい認証処理を実現する。

図８は図３で示した登録ユーザ情報保持部１３０および顔識別用データ登録部１５０の仮登録データ保持部１５６に格納するデータを模式的に示している。顔認証部１１４が認証に用いるデータは登録ユーザ情報保持部１３０に格納される。このデータは上述のとおり、登録ユーザの「ユーザ特定情報」と「顔識別用データ」とを対応づけたものである。図８ではユーザ「Ａ」、「Ｂ」、「Ｃ」に対応するメモリ領域１３２ａ、１３２ｂ、１３２ｃに、「ユーザ特定情報」、「顔識別用データ」がそれぞれ格納されている様子が示されている。

同図の例では、複数のタイミングで取得した顔識別用データを、重なり合う複数の矩形で示している。定性的には集積したデータが多いほど認証精度が安定することになる。まず新規のユーザがユーザ登録を要求した場合、入力受付部１０２は入力装置６を介して当該要求を受け付け、その旨を顔識別用データ登録部１５０に通知する。一方、カメラ７は当該ユーザの顔の撮影を開始し、顔識別用データ登録部１５０は、画像取得部１０４が取得した撮影画像のデータをメモリから読み出す。

続いてデータ生成部１５２は、撮影画像から顔の領域を抜き出して特徴量データを導出するとともに、入力受付部１０２がユーザから受け付けた新規のオンラインＩＤや装置が付与するアカウントなどのユーザ特定情報と対応づけ、登録ユーザ情報保持部１３０に新たに確保したメモリ領域に格納する。ユーザ登録を済ませたユーザが、その後の別のタイミングで顔識別用データの登録を希望したときも同様に、データ生成部１５２はそのタイミングで撮影した画像から顔の領域を抜き出して特徴量データを導出し、顔識別用データとして登録ユーザ情報保持部１３０に格納する。

ただしこの場合は、ログイン処理などにより特定しておいたユーザ特定情報に基づき、対応するメモリ領域に顔識別用データを追加で格納する。なおこのような追加登録は、例えば前の登録からある程度時間が経過したり、ユーザの状態が変化したりしてユーザ自身が登録の必要性を自覚した場合に発生し得る。

それらのケースに加え、顔識別用データ登録部１５０の登録判定部１５４は、ユーザがログインを要求しログイン制御部１１０がログインのための認証処理を行うタイミングを利用して、顔識別用データを追加で格納すべきか否かを判定する。具体的には第１段階の顔認証や第２段階の顔認証が成功したとき、つまり新たに撮影された顔画像がいずれかの登録ユーザのものであることが特定されたとき、当該顔画像が所定の条件を満たしたら、その顔画像に基づく特徴量データを、特定したユーザのメモリ領域に格納する。

この場合、新たに格納すべき特徴量のデータは、顔認証部１１４による認証処理において生成済みのため、データ生成部１５２は当該データを顔認証部１１４より取得して登録ユーザ情報保持部１３０に格納すればよい。ここで格納する条件として、認証時に導出する登録済みの顔識別用データとの一致度を利用する。例えば一致度が所定値以上である場合、当該特徴量データを追加登録しても顔識別用データの多様化への貢献は小さいと考えられるため格納しない。

また一致度が所定値以下である場合は、別人である可能性も残されるため格納しない。さらに、認証の結果として特定されたユーザ以外のユーザの顔識別用データとも比較を行い、一致度が所定値以上となるユーザが他に一人でも存在する場合は、当該ユーザのデータである可能性が残されるため格納しなくてもよい。このようにすることで、ユーザに手間をかけることなく、様々な状況における信頼性の高い顔識別用データを効率的かつ継続的に集めることが可能になり、認証精度が安定化する。

本実施の形態ではさらに、第１段階の顔認証、第２段階の顔認証が成功せずとも、そのときの撮影画像から得られた顔画像の特徴量データを破棄せず保持しておき、登録の是非を長期的に評価することで、ログイン処理時に得られるデータを最大限に活用する。そのため登録判定部１５４は、一致度が顔識別用データとしての登録条件に満たなかった顔画像の特徴量データを、一旦、仮登録データ保持部１５６に格納する。以後、このように特徴量データを一時保存することを「仮登録」と呼ぶ。

そしてその後にログイン処理が行われ、認証が成功するなど登録済みのあるユーザの画像として確度が高いことが判明した顔画像が撮影される都度、その特徴量データを仮登録された特徴量データとも照合する。この照合処理の手法は顔認証部１１４が行う顔認証処理と同様でよい。登録判定部１５４は、複数回の照合処理により所定の条件を満たした特徴量データを、認証に用いる顔識別用データとして登録ユーザ情報保持部１３０に格納することにより「本登録」する。例えば特定の登録ユーザの顔識別用データと高い確率で一致する特徴量データを検出した場合、その特徴量データを当該ユーザの顔識別用データとして本登録する（例えば矢印ａ）。

また、どの登録ユーザの顔識別用データとも一致しない事象が高い確率で発生している特徴量データは、登録ユーザ以外のユーザのデータである可能性が高いと判定し、登録ユーザ情報保持部１３０に新たに確保したメモリ領域に格納する（例えば矢印ｂ）。つまり当該特徴量データに対応するユーザは、ユーザ特定情報が登録された登録ユーザではないが、今後もログインを要求する可能性が高いと考えられるため、ゲストユーザとして認識し、その特徴量データを顔識別用データとして本登録する。図８ではそのようなゲストユーザを「ゲスト１」、「ゲスト２」、「ゲスト３」として示している。

一旦、ゲストユーザとして認識されたら、その後の処理は登録ユーザと同等に行う。つまりログイン制御部１１０の顔認証部１１４は、ログイン処理時に、登録ユーザとともにゲストユーザについても顔識別用データを用いた認証を行う。ログイン対象がゲストユーザとして認証された場合は、図６、図７で示したような第２段階の認証において表示するオンラインＩＤを「ゲスト１」、「ゲスト２」、・・・などとする。また登録判定部１５４は、ゲストユーザとしての認証が成功した顔画像の特徴量データについても、仮登録した特徴量データと照合する。その結果、ゲストユーザのいずれかとの一致が高確率で発生すれば、その特徴量データを、当該ゲストユーザの顔識別用データとして追加で本登録する。

なおゲストユーザの顔識別用データが登録ユーザ情報保持部１３０に格納されている場合、新規のユーザがユーザ登録を要求した際は、当該ユーザがゲストユーザとして登録されていないかを確認する。すなわち入力受付部１０２がユーザ登録要求を受け付け、データ生成部１５２が撮影画像から当該ユーザの特徴量データを導出した際、顔認証部１１４は、登録済みのゲストユーザの顔識別用データとの顔認証を行い、一致度が認証しきい値を超える顔識別用データがないか確認する。

該当するデータが存在した場合、登録されている顔識別用データを当該ユーザのものと判断し、新規に登録されたユーザ特定情報と対応づけるなどの措置をとることによりゲストユーザとしての登録を抹消する。このようにすることで、新規登録したユーザのデータの一部がゲストユーザのものとして残ることにより認証が正確になされなかったり、自動で登録される顔識別用データが本来のユーザ特定情報に対応づけられなかったりする不具合の発生を防止する。

図９は、顔識別用データ登録部１５０が顔識別用データを登録する処理手順を示すフローチャートである。この処理はログイン制御部１１０において第１段階の顔認証および第２段階の顔認証の少なくともいずれかがなされる都度、開始される。このときログイン制御部１１０の顔認証部１１４は、撮影画像における顔領域の特徴量データと、登録ユーザ情報保持部１３０に格納された、登録済みの顔識別用データとを照合し、その一致度に基づき対応するユーザあるいはゲストユーザを特定する認証処理を行う（Ｓ４０）。ログイン制御部１１０では、この結果に基づき適宜ログイン処理がなされる。

一方、顔識別用データ登録部１５０の登録判定部１５４は、顔画像から得られた特徴量データと認証結果とを顔認証部１１４から取得し、認証結果が登録条件を満たす場合は（Ｓ４２のＹ）、特徴量データを登録ユーザ情報保持部１３０に登録する（Ｓ４４）。ここで認証結果とは、認証の成功／不成功のみならず、各ユーザおよび各ゲストユーザの顔識別用データとの一致度を含む。そして、例えば上述のように特定の登録ユーザの顔識別用データとの一致度が所定範囲にある場合に、当該ユーザのユーザ特定情報に対応づけて特徴量データを登録する。

Ｓ４２の判定において、撮影画像の特徴量データが登録条件を満たさない場合（Ｓ４２のＮ）、続いて仮登録条件を満たすか否かを判定する（Ｓ４６）。仮登録条件を満たす場合（Ｓ４６のＹ）、登録判定部１５４は、取得した特徴量データを仮登録データ保持部１５６に格納することにより仮登録する（Ｓ４８）。基本的には、特定のユーザのデータとして直接登録できるほどの確度はないものの、ある程度以上の可能性を有するような一致度が得られていることを仮登録条件とする。

仮登録条件をも満たさない場合は、特徴量データはいずれのメモリ領域にも格納しない（Ｓ４６のＮ）。ただしＳ４２で登録条件を満たさなかった特徴量データは、例外なく仮登録データ保持部１５６に仮登録するようにしてもよい。この場合はＳ４６の判定が省略される。いずれの場合も登録判定部１５４は引き続いて、その段階で仮登録データ保持部１５６に格納されている特徴量データを評価し、登録ユーザ情報保持部１３０に格納できるものがあれば適宜格納することにより本登録する（Ｓ５０）。

図１０は、登録条件および仮登録条件の設定例を説明するための図である。登録ユーザ情報保持部１３０にはユーザＡ、Ｂ、Ｃの顔識別用データが登録されているとする。上述のとおりさらにゲストユーザの顔識別用データが登録されている場合も登録ユーザと同様に扱う。顔認証部１１４は、新たに撮影された顔画像の特徴量データを各ユーザの顔識別用データと照合することにより、それぞれに対する一致度を計算する。

図１０の各ユーザ「Ａ」、「Ｂ」、「Ｃ」の下の矩形は、一致度の範囲を縦方向に表しており、下辺が最低の一致度の例として０点、上辺が最高の一致度の例として１００点を示している。なお各ユーザに対し顔識別用データが複数ある場合は、個別に一致度を計算してもよいし、統計処理によりユーザごとに一致度を計算してもよい。

定性的には、特定のユーザとの一致度が高ければ、その特徴量データを当該ユーザの顔識別用データとして直接登録する。これは図９のＳ４２における「登録条件」に対応する。ただし上述のように、登録済みの顔識別用データとあまりにも近い特徴量データは、新たに格納しても認証精度の向上には寄与しにくいと考えられる。そのため図示した例では、一致度に与える登録条件として下限Ｔｈ１および上限Ｔｈ２を設定している。例えばユーザＡの顔識別用データとの一致度がＴｈ１以上Ｔｈ２以下であれば、その特徴量データをユーザＡの顔識別用データとして登録する。

ただし複数のユーザに対し当該条件を満たす場合は例外として、直接登録せずに一旦、仮登録とすることにより、どのユーザの特徴量データであるかを、時間をかけて評価する。また登録条件の下限Ｔｈ１は、顔認証部１１４が行う顔認証において認証が成功したことを判定するための認証しきい値と同じでもよいし、異なっていてもよい。例えば図示するように認証しきい値より高い一致度を登録条件の下限Ｔｈ１とすることにより、特徴量データの登録の是非をログイン処理より厳しい基準で判定してもよい。

また、登録条件の下限Ｔｈ１には満たないが、それに近い一致度を得ている場合、例えば同図に示すように、一致度がＴｈ０以上Ｔｈ１未満であるときを、図９のＳ４６における「仮登録条件」とし、その特徴量データを仮登録する。このとき、図８に示すようにどのユーザとも紐付けしない状態で仮登録データ保持部１５６に格納してもよいし、仮登録条件を満たした対象ユーザと紐付けをしておいてもよい。後者の場合は、その後の評価において当該紐付けをしたユーザの顔識別用データのみと一致度を確認するようにしてもよい。また仮登録された特徴量データに対しては長期的な評価がなされるため、仮登録条件を満たした対象ユーザが複数存在しても例外なく仮登録してよい。

なお図１０で示した登録条件、仮登録条件は一例であり、その他にも様々な設定が考えられる。例えば上述のように登録条件の下限Ｔｈ１に満たない一致度を有する特徴量データは全て仮登録としてもよい。あるいは全てのユーザに対する一致度が所定値以下である特徴量データをさらに仮登録対象としてもよい。このようなデータは上述のゲストユーザの顔識別用データの候補となり得るためである。

図１１は図９のＳ５０において登録判定部１５４が、仮登録したデータを本登録する処理手順を示すフローチャートである。まず登録判定部１５４は、図９のＳ４０で撮影、抽出した顔画像のうち、登録済みの顔識別用データとの一致度が所定値以上であるなど、特定のユーザのものである可能性の高い顔画像の特徴量データと、仮登録データ保持部１５６に格納されている特徴量データとを比較して一致度を算出する。前者の顔画像は認証の成功条件と同じ条件で特定してもよい。またこの比較処理は、ログイン処理時に顔認証部１１４が、撮影画像中の顔画像の特徴量データと各ユーザの顔識別用データとの一致度を算出する処理と同様でよい。

そして一致度が所定値以上、または所定値以下、なる信頼度更新条件を満たすか否かを判定する（Ｓ６２）。ここで信頼度とは、対象の特徴量データが登録済みのユーザまたはゲストユーザのデータである確率の高さ、またはいずれのユーザのデータでもない、すなわち未登録のユーザのデータである確率の高さを表す度数であり、例えば信頼度更新条件を満たした回数により表される。特徴量データが信頼度更新条件を満たす場合（Ｓ６２のＹ）、該当するユーザまたは未登録ユーザの信頼度を更新する（Ｓ６４）。

信頼度を更新したら、当該信頼度が所定値に到達するなど、本登録条件を満たすか否かを確認し、満たす場合は（Ｓ６６のＹ）、その特徴量データを登録ユーザ情報保持部１３０の該当メモリ領域に格納することにより本登録する（Ｓ６８）。Ｓ６２において信頼度更新条件を満たさない場合は（Ｓ６２のＮ）、信頼度が変化しないため本登録条件の判定は省略する。このような信頼度更新判定、本登録可否判定を各特徴量データについて行い（Ｓ７０のＮ、Ｓ６０〜Ｓ６８）、仮登録された全ての特徴量データについて評価が完了したら処理を終了する（Ｓ７０のＹ）。

図１２は図１１のＳ６２において用いる信頼度更新条件の設定例を説明するための図である。図１０と同様、登録ユーザ情報保持部１３０にはユーザ「Ａ」、「Ｂ」、「Ｃ」の顔識別用データが登録されているとし、各ユーザのものである確度が高いと判定された顔画像の特徴量データとの一致度の範囲をそれぞれ矩形で表している。なおゲストユーザが登録済みであっても登録ユーザと同様に扱う。図示するように、顔画像との一致度がしきい値ｔｈ１以上である場合、信頼度更新条件を満たしているとし、そのユーザに対応する信頼度を更新する。例えばユーザＡと判定された顔画像との一致度がｔｈ１以上であれば、ユーザＡに対応する信頼度を更新する。さらに、顔画像との一致度がしきい値ｔｈ０以下である場合も信頼度更新条件を満たしているとし、この場合は未登録ユーザに対応する信頼度を更新する。

図１３は信頼度のデータ例を模式的に示している。仮登録された特徴量データはそれぞれ、図示するように各ユーザ（ユーザ「Ａ」、「Ｂ」、「Ｃ」）および「未登録ユーザ」に対応する信頼度を保持する。そして図１２で示したような信頼度更新条件を満たす度に、該当するユーザまたは未登録ユーザの信頼度を更新し、いずれかの信頼度が所定値Ｐに到達した時点で、該当するユーザまたは新たなゲストユーザの顔識別用データとして特徴量データを本登録する。なお同図の場合、信頼度は該当ユーザのデータである可能性が高いほど増加するものとして示しているが、信頼度の特性をそれに限定する趣旨ではない。

これにより、撮影時点では確度が低く登録を回避した顔画像の特徴量データも、その後の評価結果により本登録とすることで活用の機会を与えることができる。特に登録ユーザ情報保持部１３０に格納される顔識別用データは、上述した自動登録処理などによって随時更新されるため、認証処理を利用して継続的に評価していくことにより一致度が上昇していき登録となる可能性がある。また撮影された顔画像を媒介として仮登録されたデータを評価することにより、登録済みの顔識別用データに変化がなくとも、一致度の許容範囲内にあるデータの信頼度を適正に更新できる。

結果として、撮影環境の一時的な変化やノイズなどによる僅かな差でデータが登録されない状況を回避できるとともに、ユーザ自身の成長や外見の変化など、比較的長い期間にわたる変化を加味した精度の高いデータを継続的に登録していくことが可能となる。また、長期の評価においていずれの登録ユーザとも一致しない、ということを条件にゲストユーザを許容し、その特徴量データを登録しておくことにより、以後のログイン処理において未登録のユーザを登録ユーザのいずれかと誤認識する可能性を低くすることができる。

なお信頼度更新条件を満たす頻度が小さく、所定期間が経過してもいずれの信頼度も所定値Ｐに到達しなかった特徴量データは、データ自体に欠陥があったりして登録には適さない可能性が高いため仮登録から抹消してもよい。例えば仮登録できる特徴量データの数に上限を設けておき、上限に達したら、仮登録されてからの期間が長く、かつ信頼度と所定値Ｐとの差が大きい特徴量データを破棄し、新たな特徴量データを格納するようにしてもよい。これにより、仮登録データ保持部１５６のメモリ容量を限定的にできる。

（２）ログイン時の撮影条件の調整
これまで述べたような顔認証処理において、登録された顔識別用データとログイン時に得られた顔画像の特徴量データとを比較する場合、それぞれの画像の撮影環境が上述のように異なると、輝度分布など画像特性の差に起因し、同じユーザであるのに認証しきい値を超える一致度が得られないことが考えられる。またそのような状況を加味して認証しきい値を下げてしまうと、別のユーザとも一致しやすくなってしまう。

一般的なカメラでは、その時々の照明環境などに応じ、最適な撮影画像が得られるように露出、絞り、ガンマ値、ホワイトバランスといった撮影条件（補正条件を含む）を自動で調整する機能を備えることが多い。例えばオートエクスポージャやオートゲインコントロールなどの機能により、画像の見栄えを良くしたり、対象物の検出精度を向上させたりする技術が普及している。しかしながらこのような機能は画像ごとに全体的なバランスを調整することを旨としているため、２つの画像の一部領域の比較を前提とする上述のような顔認証には有効に働かないばかりか、却って画像特性の差が大きくなり悪影響を及ぼすことも考えられる。

そこで情報処理装置１０の撮影条件制御部１０６は、ログイン処理時に撮影する顔画像の画像特性が、登録されている顔識別用データの元となる顔画像の画像特性に近づくように、カメラ７の撮影条件を制御する。このとき、顔識別用データを顔画像そのものとする場合は当該画像の画像特性を目標とすればよい。顔識別用データを顔のパーツの大きさやサイズ、平均顔からの差分など、撮影画像以外のデータとした場合は、顔識別用データとともに、元の顔画像の画像特性に係るデータを登録ユーザ情報保持部１３０に保存しておき調整時に読み出す。

図１４は、撮影条件制御部１０６の基本的な調整動作を説明するための図である。まず登録ユーザ情報保持部１３０には登録ユーザの顔識別用データが格納されている。顔識別用データは実際には図８で示したようにユーザ特定情報と対応づけて格納される。また上述のように顔識別用データは顔画像そのものとは限らないが同図では顔画像１８２として表象的に示している。一方、ログイン処理に際し撮影された画像から抽出された顔領域が、例えば顔画像１８０ａであったとすると、登録されている顔画像１８２と比較し輝度が全体的に異なるため、同一ユーザであっても認証に失敗する可能性がある。

そこで撮影条件制御部１０６は、顔画像１８０ａのデータを顔認証部１１４から取得し、その画像特性が、顔識別用データの元となる顔画像１８２の画像特性に近づくように撮影条件の調整目標を決定する。画像特性としては、画像解析や画像処理技術に用いられるいかなるパラメータを採用してもよく、例えば輝度分布、周波数特性、色分布、階調分布などのいずれか、あるいはそれらの組み合わせでよい。画像特性以外に、顔のパーツの分布など画像中の像の特性を利用してもよい。図１４の例では、矢印に示すように露出を下げる方向にシャッタースピードや絞りを調整したりゲインを下げたりする。

そしてカメラ７に、決定した目標に達するように撮影条件を所定量ずつ変化させて撮影させる。このとき撮影画像が得られる都度、その顔画像（例えば顔画像１８０ｂ）と、登録されている顔画像１８２（またはその顔識別用データ）との一致度を確認していき、最適条件で撮影されたと考えられる顔画像（例えば顔画像１８０ｃ）を取得する。なお調整目標に達する経路は、図示するような一方向とは限らず、撮影条件を大小に振っていくなどして目標に近づけていってもよい。

あるいは、ブラケット撮影により所定の条件範囲の複数の顔画像１８０ｂ、１８０ｃ、１８０ｄを一度に取得した後、最適な顔画像１８０ｃを選択してもよい。また着目する画像特性によっては、撮影条件を徐々に変化させずに、計算によって最適な撮影条件を求めてもよい。この場合、顔識別用データの元となる顔画像１８２の画像特性と、撮影された顔画像１８０ａの画像特性との差分に基づき、あらかじめ準備した計算式に従って撮影条件の調整量を算出し、調整後の条件で撮影した顔画像を採用する。当該計算式は画像特性によって様々に与えられることは当業者には理解されるところである。

図１５は、撮影条件制御部１０６がカメラ７の撮影条件を調整しながら、顔認証部１１４が顔認証を行う処理手順を示すフローチャートである。なおこの処理は、典型的には撮影の初期である第１段階の顔認証で行うが、第２段階の顔認証にも適用できる。まずカメラ７は初期設定に従う条件で撮影を行い、顔認証部１１４は当該撮影画像を取得する（Ｓ８０、Ｓ８２）。このときの撮影条件は、カメラ７が有する一般的な自動調整機能を利用して決定してよい。

次に顔認証部１１４は、上述のとおり撮影画像から抽出した顔領域の画像の特徴量データと、登録ユーザ情報保持部１３０に格納された各登録ユーザの顔識別用データとを比較し、一致度を算出する（Ｓ８４）。そして当該一致度が認証しきい値を超える登録ユーザが存在したら（Ｓ８６のＹ）、特に問題なく認証が成功したと判定し、第２段階の顔認証やログイン処理など、その後の処理へ移行する（Ｓ８８）。

一方、顔が検出されたにも関わらず一致度が認証しきい値を越えるユーザが存在しなかった場合（Ｓ８６のＮ）、撮影条件制御部１０６は撮影条件の調整処理を開始する（Ｓ９０のＹ、Ｓ９４〜Ｓ９８）。具体的には、まず撮影画像から複数の顔画像が抽出されている場合は、そのうち比較対象とする顔画像を所定の規則により決定する（Ｓ９４）。例えばＳ８４において算出された一致度として最も高い値が得られた顔画像を選択する。あるいは顔領域のサイズが最も大きい顔画像、カメラ７に最も近いと推定される顔画像、撮影画像の中央に最も近い位置にある顔画像、などを選択してもよい。

次に、登録されている顔識別用データの顔画像のうち、画像特性を近づける目標とする顔画像を所定の規則により決定する（Ｓ９６）。例えば登録時期が最も遅い顔画像、過去の認証処理において認証しきい値を越えた頻度が高い顔画像、Ｓ９４で決定した比較対象の顔画像との一致度が最も高い顔画像、Ｓ９４で決定した顔画像と顔の向きが最も近い顔画像、などのいずれかを選択する。選択規則として複数の基準を採用してもよい。登録ユーザ情報保持部１３０には、用いる基準によって必要な情報を顔識別用データに対応づけて適宜格納しておく。また過去の認証処理において一致度が所定値を越えなかった顔画像を選択肢から除外するなどしてもよい。

次に、撮影画像のうちＳ９４で決定した比較対象の顔画像と、Ｓ９６で決定した目標とする顔画像とを、上述のような画像特性に基づき比較することにより、撮影条件の調整目標を決定し、その結果に従いカメラ７の撮影条件を変化させる（Ｓ９８）。そして調整後の条件で撮影した画像を顔認証部１１４が取得することにより、再度、顔領域の画像の特徴量データと、登録ユーザ情報保持部１３０に格納された各登録ユーザの顔識別用データとを比較し、一致度を算出する（Ｓ８４）。これにより認証しきい値を超えたユーザが得られたら（Ｓ８６のＹ）、認証が成功したと判定する（Ｓ８８）。

認証しきい値を超えたユーザがおらず（Ｓ８６のＮ）、撮影条件にまだ調整の余地があれば（Ｓ９０のＹ）、撮影条件制御部１０６は再び撮影条件を調整する（Ｓ９４〜Ｓ９８）。なおＳ８４において算出される一致度によってはＳ９４、Ｓ９６の処理を省略することもできる。すなわち、一致度が改善する方向に変化している場合は、最初に決定した調整方針が正しいと推定されるため、Ｓ９４、Ｓ９６の処理を省略し、撮影条件の変更のみを行ってよい。

一致度が変化していなかったり悪化したりした場合は、Ｓ９４、Ｓ９６において比較対象の顔画像や目標とする顔画像を選択し直したり、Ｓ９８で撮影条件の調整目標を変更したりしてもよい。このような撮影条件の調整および認証を繰り返し、一致度が認証しきい値を超えたユーザが得られたら（Ｓ８６のＹ）、認証が成功したと判定する（Ｓ８８）。認証しきい値を超えるユーザが得られないまま（Ｓ８６のＮ）、撮影条件の調整範囲が所定の限度に到達したら（Ｓ９０のＮ）、ログイン対象が登録ユーザでないことが考えられるため認証不成功と判定し処理を終える（Ｓ９２）。

なおブラケット撮影により所定の調整範囲まで撮影条件を変化させながら連続的に撮影する場合は、Ｓ８４、Ｓ８６において撮影画像の取得順に認証処理を実施し、最も高い一致度が得られた撮影画像に基づき認証の成功、不成功を判定する。また上述の例では、認証が一人でも成功したら、撮影条件の調整をそれ以上は行わずに認証処理を終了させたが、認証が成功していない顔画像が残っている間は、撮影条件に調整の余地がある限り調整を続行してもよい。この場合、Ｓ９４において比較対象とする顔画像は、当該残っている顔画像のいずれかとする。この場合、Ｓ９４において上述した基準により顔画像を選択せず、撮影画像に含まれる顔画像を端から順に比較対象とするなどして全顔画像を調整に用いてもよい。このとき認証対象を、当該調整に用いた顔画像に限定してもよいし、それ以外の顔画像についても認証処理の対象としてもよい。

また図示する手順では、Ｓ９６において目標とする登録画像を一つに絞ることにより調整処理の効率性を追求したが、全登録画像を順次、目標として撮影条件を様々な角度から調整してもよい。つまりＳ９６において、登録されている顔画像を１つずつ抽出して目標とし、Ｓ９８以後の撮影条件調整、および認証処理を行う。この場合、認証しきい値を超えるユーザが得られないまま（Ｓ８６のＮ）、撮影条件の調整範囲が所定の限度に到達したら（Ｓ９０のＮ）、比較対象の顔画像はそのままに、次の登録画像を目標として同様の処理を繰り返す。そして全ての登録画像に対し調整しても認証が不成功であったときに処理を終了する。

このような調整処理により、照明などの撮影環境が変化したことにより、ログイン時に撮影した画像が登録された顔識別用データの画像特性と異なってしまっても、それに起因して認証精度が悪化し、ユーザがなかなかログインできないなどの不都合の発生を抑えることができる。また登録済みのデータに合わせて調整を行うため、データ登録時に、認証が適正に行われるようなデータが得られるまで撮影をやり直すといった手間が軽減される。

したがって、例えば上述の顔識別用データの自動登録と組み合わせた場合、登録対象を比較的平易に決定しても、それによる認証精度の悪化を防ぐことができる。またこの場合、条件を調整して撮影した画像が登録対象となるため、登録されているデータの画像特性が自ずと均一化する。結果として、正しいユーザのデータとの一致度が得られやすくなり、ひいては認証精度を向上させることができる。

以上、本発明を実施例をもとに説明した。この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

例えば本実施の形態はその活用先がユーザログインに限定されるものではない。すなわち登録された画像と新たに取得した画像との一致度を確認することにより何らかの判定、判別、検出を行うものであればその分野や利用目的によらず、本実施の形態を適用できる。例えば被写体が誰であるか、何であるか、を特定するのみでも、上述したデータの自動登録技術や撮影条件の調整技術は適用でき、本実施の形態で述べたのと同様の効果を得ることができる。

１ 情報処理システム、 ４ 出力装置、 ６ 入力装置、 ７ カメラ、 １０ 情報処理装置、 ２０ メイン電源ボタン、 １０２ 入力受付部、 １０４ 画像取得部、 １０６ 撮影条件制御部、 １１０ ログイン制御部、 １１２ 撮像画像表示部、 １１４ 顔認証部、 １１６ 顔枠処理部、 １２０ ログイン処理部、 １３０ 登録ユーザ情報保持部、 １５０ 顔識別用データ登録部、 １５２ データ生成部、 １５４ 登録判定部、 １５６ 仮登録データ保持部。

Claims (11)

1. ユーザの撮影画像を取得する画像取得部と、
   登録ユーザの顔識別用データを保持する登録ユーザ情報保持部と、
   前記登録ユーザ情報保持部に保持された顔識別用データを用いて、前記撮影画像中の顔画像の認証を行う顔認証部と、
   前記顔認証部による認証結果に基づき情報処理を行う情報処理部と、
   撮影画像から抽出した顔画像に基づき前記顔識別用データを更新する顔識別用データ登録部と、
   前記顔画像が所定の条件を満たすとき、当該顔画像に係るデータを仮登録のために一時的に保持する仮登録データ保持部と、
   を備え、
   前記顔識別用データ登録部は、前記仮登録の後に、前記画像取得部が新たな撮影画像を取得し、前記顔認証部が当該撮影画像中の顔画像の認証処理を実施したタイミングで、仮登録された顔画像のデータを複数回評価することにより、当該仮登録された顔画像に基づき前記顔識別用データを更新するか否かを判定することを特徴とする情報処理装置。
2. 前記顔識別用データ登録部は、前記新たな撮影画像から抽出された顔画像うち前記登録ユーザ情報保持部が保持する特定の登録ユーザの顔識別用データとの一致度が所定値以上である顔画像と、前記仮登録された顔画像との一致度が所定値以上のとき、当該仮登録された顔画像が当該特定の登録ユーザの顔画像である信頼度を増加させ、当該信頼度が所定値に到達したとき、当該仮登録された顔画像に基づき、前記特定の登録ユーザの顔識別用データを更新することを特徴とする請求項１に記載の情報処理装置。
3. 前記顔識別用データ登録部は、前記新たな撮影画像から抽出した顔画像うち前記登録ユーザ情報保持部が保持する特定の登録ユーザの顔識別用データとの一致度が所定値以上である顔画像と、前記仮登録された顔画像との一致度が所定値以下のとき、当該仮登録された顔画像が未登録のユーザの顔画像である信頼度を増加させ、当該信頼度が所定値に到達したとき、当該仮登録された顔画像のデータを一のゲストユーザの顔識別用データとして前記登録ユーザ情報保持部に格納することを特徴とする請求項２に記載の情報処理装置。
4. 前記顔識別用データ登録部は、前記新たな撮影画像から抽出された顔画像うち前記登録ユーザ情報保持部が保持する特定のゲストユーザの顔識別用データとの一致度が所定値以上である顔画像と、前記仮登録された顔画像との一致度が所定値以上のとき、当該仮登録された顔画像が当該特定のゲストユーザの顔画像である信頼度を増加させ、当該信頼度が所定値に到達したとき、当該仮登録された顔画像に基づき、前記特定のゲストユーザの顔識別用データを更新することを特徴とする請求項３に記載の情報処理装置。
5. 前記顔識別用データ登録部は、前記画像取得部が新たな撮影画像を取得し、前記顔認証部が当該撮影画像中の顔画像の認証処理を実施したタイミングにおいて、当該撮影画像から抽出した顔画像と、特定の登録ユーザの前記顔識別用データとの一致度が所定値未満であるとき、当該抽出した顔画像のデータを仮登録し、前記一致度が前記所定値以上のとき、仮登録することなく当該顔画像に基づき前記特定の登録ユーザの前記顔識別用データを直接更新することを特徴とする請求項１から４のいずれかに記載の情報処理装置。
6. 前記顔識別用データ登録部はさらに、前記撮影画像から抽出した顔画像と前記顔識別用データとの一致度が所定値以上である登録ユーザが複数あるとき、当該抽出した顔画像を仮登録することを特徴とする請求項５に記載の情報処理装置。
7. 前記顔認証部は、新規の登録ユーザとして撮影された顔画像に対し、前記登録ユーザ情報保持部が保持するゲストユーザの顔識別用データを用いて認証処理を行い、前記顔画像がゲストユーザのものであることが判定されたら、ゲストユーザとしての登録を抹消することを特徴とする請求項３または４に記載の情報処理装置。
8. 前記顔識別用データ登録部は、前記仮登録された顔画像のデータのうち、前記信頼度が所定値に到達しないデータを、前記仮登録データ保持部に保持されている期間に応じて削除することを特徴とする請求項２から４のいずれかに記載の情報処理装置。
9. 情報処理装置が、
   ユーザの撮影画像を撮像装置から取得するステップと、
   記憶装置に記憶された登録ユーザの顔識別用データを読み出し、それを用いて前記撮影画像中の顔画像の認証を行うステップと、
   認証結果に基づき情報処理を行うステップと、
   撮影画像から抽出した顔画像が所定の条件を満たすとき、当該顔画像に係るデータを仮登録のために一時的にメモリに格納するステップと、
   前記仮登録の後に、新たに取得された撮影画像中の顔画像の認証処理を実施したタイミングで、仮登録された顔画像のデータを複数回評価することにより、当該仮登録された顔画像に基づき前記顔識別用データを更新するか否かを判定するステップと、
   更新すると判定された際、前記記憶装置に格納された前記顔識別用データを更新するステップと、
   を含むことを特徴とする情報処理方法。
10. ユーザの撮影画像を取得する機能と、
    記憶装置に記憶された登録ユーザの顔識別用データを読み出し、それを用いて前記撮影画像中の顔画像の認証を行う機能と、
    認証結果に基づき情報処理を行う機能と、
    撮影画像から抽出した顔画像に基づき前記顔識別用データを更新する機能と、
    前記顔画像が所定の条件を満たすとき、当該顔画像に係るデータを仮登録のために一時的にメモリに格納する機能と、
    をコンピュータに実現させ、
    前記顔識別用データを更新する機能は、前記仮登録の後に、前記画像を取得する機能が新たな撮影画像を取得し、前記認証を行う機能が当該撮影画像中の顔画像の認証処理を実施したタイミングで、仮登録された顔画像のデータを複数回評価することにより、当該仮登録された顔画像に基づき前記顔識別用データを更新するか否かを判定する機能を含むことを特徴とするコンピュータプログラム。
11. ユーザの撮影画像を取得する機能と、
    記憶装置に記憶された登録ユーザの顔識別用データを読み出し、それを用いて前記撮影画像中の顔画像の認証を行う機能と、
    認証結果に基づき情報処理を行う機能と、
    撮影画像から抽出した顔画像に基づき前記顔識別用データを更新する機能と、
    前記顔画像が所定の条件を満たすとき、当該顔画像に係るデータを仮登録のために一時的にメモリに格納する機能と、
    をコンピュータに実現させ、
    前記顔識別用データを更新する機能は、前記仮登録の後に、前記画像を取得する機能が新たな撮影画像を取得し、前記認証を行う機能が当該撮影画像中の顔画像の認証処理を実施したタイミングで、仮登録された顔画像のデータを複数回評価することにより、当該仮登録された顔画像に基づき前記顔識別用データを更新するか否かを判定する機能を含むコンピュータプログラムを記録したことを特徴とするコンピュータにて読み取り可能な記録媒体。