JP6092485B2 - 情報処理装置 - Google Patents

情報処理装置 Download PDF

Info

Publication number
JP6092485B2
JP6092485B2 JP2016535811A JP2016535811A JP6092485B2 JP 6092485 B2 JP6092485 B2 JP 6092485B2 JP 2016535811 A JP2016535811 A JP 2016535811A JP 2016535811 A JP2016535811 A JP 2016535811A JP 6092485 B2 JP6092485 B2 JP 6092485B2
Authority
JP
Japan
Prior art keywords
face
user
unit
identification data
registered
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016535811A
Other languages
English (en)
Other versions
JPWO2016013249A1 (ja
Inventor
陽 徳永
陽 徳永
啓悟 田村
啓悟 田村
善彦 諏訪
善彦 諏訪
渉一 池上
渉一 池上
智弘 小川
智弘 小川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Application granted granted Critical
Publication of JP6092485B2 publication Critical patent/JP6092485B2/ja
Publication of JPWO2016013249A1 publication Critical patent/JPWO2016013249A1/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172Classification, e.g. identification
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60Static or dynamic means for assisting the user to position a body part for biometric acquisition
    • G06V40/67Static or dynamic means for assisting the user to position a body part for biometric acquisition by interactive indications to the user
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00Network architectures or network communication protocols for network security
    • H04L63/08Network architectures or network communication protocols for network security for authentication of entities
    • H04L63/0861Network architectures or network communication protocols for network security for authentication of entities using biometrical features, e.g. fingerprint, retina-scan
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/131Protocols for games, networked simulations or virtual reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Biomedical Technology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Collating Specific Patterns (AREA)

Description

本発明は、ユーザの顔識別用データを用いてユーザをログインさせる情報処理装置に関する。
ゲーム装置などの情報処理装置にユーザがログインする際、情報処理装置は、ログインするユーザが、予め登録されたユーザであるか否かを識別するユーザ認証処理を行う。ユーザ認証の種類には様々あり、パスワードによるユーザ認証は広く使用されている。
パスワードによるユーザ認証とは別に、ユーザの生体情報を用いたユーザ認証が使用されることがある。生体情報を用いたユーザ認証は、ユーザがパスワードを入力する必要がなく、認証におけるユーザの手間は少ない。特に、デジタル画像からユーザの顔を認識する顔認証システムは、基本的にはユーザに特別な動作を要求するものではないため、簡便なユーザ認証の1つとして知られている。顔認証システムにおいては、ユーザが顔認証のための顔識別用データを予め登録する必要があるが、登録した顔識別用データが何らかの原因で破損している場合には、顔認証システムが正しく動作できない。
そこで本発明は、顔識別用データが破損している場合に、顔認証システムを好適な状態に復帰させるための技術を提供することを目的とする。
上記課題を解決するために、本発明のある態様の情報処理装置は、撮像装置から撮像画像を取得する画像取得部と、登録ユーザの顔識別用データを保持する登録ユーザ情報保持部と、登録ユーザ情報保持部に保持された顔識別用データを用いて、撮像画像に存在する登録ユーザの顔画像を検出する顔認証部と、登録ユーザをログインさせるログイン処理部と、を備えた情報処理装置であって、登録ユーザ情報保持部に保持された顔識別用データが破損しているか否かを判定する破損判定部と、顔識別用データが破損していることが判定された場合に、顔識別用データが破損していることを通知する通知部と、をさらに備える。
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
本発明の実施例にかかる情報処理システムを示す図である。 (a)は入力装置上面の外観構成を示す図であり、(b)は入力装置奥側側面の外観構成を示す図である。 情報処理装置の機能ブロック図である。 情報処理装置の構成を示す図である。 (a)はユーザ選択画面を示す図であり、(b)はパスコード入力画面を示す図である。 ログイン処理2におけるログイン画面の一例を示す図である。 ログイン処理3におけるログイン画面の一例を示す図である。 (a)は顔登録のスタート画面の一例を示す図であり、(b)は周辺環境についての説明文の一例を示す図である。 (a)は出力装置に表示されるライブ画面を示す図であり、(b)はメッセージの表示例を示す図である。 (a)は顔探索の実行画面を示す図であり、(b)はユーザの顔画像を顔枠が囲んでいる状態を示す図である。 ユーザが行う顔回転動作の概要を説明するための説明画面を示す図である。 ユーザの顔のロール回転動作を案内するための画面例を示す図である。 顔画像の再登録処理のフローチャートを示す図である。 顔認証用リストの一例を示す図である。 顔ファイルの破損を通知する通知画面の一例を示す図である。 ログイン処理1におけるログイン画面を示す図である。 (a)はログイン処理2におけるログイン画面を示し、(b)はログイン処理3におけるログイン画面を示す図である。 顔画像の登録を促す通知画面の一例を示す図である。 顔画像の追加登録を促す通知画面の一例を示す図である。
図1は、本発明の実施例にかかる情報処理システム1を示す。情報処理システム1は、ユーザ端末である情報処理装置10と、サーバ5とを備える。アクセスポイント(以下、「AP」とよぶ)8は、無線アクセスポイントおよびルータの機能を有し、情報処理装置10は、無線または有線経由でAP8に接続して、ネットワーク3上のサーバ5と通信可能に接続する。
補助記憶装置2は、HDD(ハードディスクドライブ)やフラッシュメモリなどの大容量記憶装置であり、USB(Universal Serial Bus)などによって情報処理装置10と接続する外部記憶装置であってよく、また内蔵型記憶装置であってもよい。出力装置4は、画像を出力するディスプレイおよび音声を出力するスピーカを有するテレビであってよく、またコンピュータディスプレイであってもよい。情報処理装置10は、ユーザが操作する入力装置6と無線または有線で接続し、入力装置6はユーザの操作結果を示す操作信号を情報処理装置10に出力する。情報処理装置10は、入力装置6からの操作信号を受け付けるとOS(システムソフトウェア)やアプリケーションの処理に反映し、出力装置4から処理結果を出力させる。
情報処理システム1において情報処理装置10はゲームを実行するゲーム装置であり、入力装置6はゲームコントローラなど情報処理装置10に対してユーザの操作信号を提供する機器であってよい。撮像装置であるカメラ7は出力装置4の近傍に設けられ、出力装置4周辺の空間を撮像する。図1ではカメラ7が出力装置4の上部に取り付けられている例を示しているが、出力装置4の側部または下部に配置されてもよく、いずれにしても出力装置4の前方に位置するユーザを撮像できる位置に配置される。カメラ7は、ステレオカメラであってもよい。
サーバ5は、情報処理システム1のユーザに対してネットワークサービスを提供する。サーバ5は、各ユーザを識別するネットワークアカウントを管理しており、各ユーザは、ネットワークアカウントを用いて、サーバ5が提供するネットワークサービスにサインインする。ユーザは情報処理装置10からネットワークサービスにサインインすることで、サーバ5に、ゲームのセーブデータや、またゲームプレイ中に獲得した仮想的な表彰品であるトロフィを登録できる。
図1では、2人のユーザA、Bが、ゲームコントローラである入力装置6a、6bを操作している様子が示されている。ユーザA、Bは、それぞれ情報処理装置10のOSにログインすることで、ゲームなどのアプリケーションを楽しむことができる。
入力装置6のボタン構成について説明する。
[上面部の構成]
図2(a)は、入力装置上面の外観構成を示す。ユーザは左手で左側把持部78bを把持し、右手で右側把持部78aを把持して、入力装置6を操作する。入力装置6の筐体上面には、入力部である方向キー71、アナログスティック77a、77bと、4種の操作ボタン76が設けられている。4種のボタン72〜75には、それぞれを区別するために、異なる色で異なる図形が記されている。すなわち、○ボタン72には赤色の丸、×ボタン73には青色のバツ、□ボタン74には紫色の四角形、△ボタン75には緑色の三角形が記されている。筐体上面上において、方向キー71と操作ボタン76の間の平坦な領域には、タッチパッド79が設けられる。タッチパッド79は、ユーザが押すことで下方に沈み込み、またユーザが手を離すと元の位置に復帰する押下式ボタンとしても機能する。
2つのアナログスティック77a、77bの間に機能ボタン80が設けられる。機能ボタン80は、入力装置6の電源をオンし、同時に入力装置6と情報処理装置10とを接続する通信機能をアクティブにするために使用される。なお情報処理装置10のメイン電源がオフとなっている場合、機能ボタン80が押下されると、情報処理装置10は、入力装置6から送信される接続要求を、メイン電源をオンにするための指示としても受け付け、これにより情報処理装置10のメイン電源がオンとなる。入力装置6が情報処理装置10と接続した後は、機能ボタン80は、情報処理装置10にホーム画面を表示させるためにも使用される。
SHAREボタン81は、タッチパッド79と方向キー71の間に設けられる。SHAREボタン81は、情報処理装置10におけるOSないしはシステムソフトウェアに対するユーザからの指示を入力するために利用される。またOPTIONSボタン82は、タッチパッド79と操作ボタン76の間に設けられる。OPTIONSボタン82は、情報処理装置10において実行されるアプリケーション(ゲーム)に対するユーザからの指示を入力するために利用される。SHAREボタン81およびOPTIONSボタン82は、いずれもプッシュ式ボタンとして形成されてよい。
[奥側側面部の構成]
図2(b)は、入力装置奥側側面の外観構成を示す。入力装置6の筐体奥側側面の上側には、タッチパッド79が筐体上面から延設されており、筐体奥側側面の下側には、横長の発光部85が設けられる。発光部85は、赤(R)、緑(G)、青(B)のLEDを有し、情報処理装置10から送信される発光色情報にしたがって点灯する。図1に示すように、2台の入力装置6a、6bが使用されている場合、情報処理装置10は、ユーザA、Bが各入力装置6を区別できるように、入力装置6a、6bの発光部85の点灯色を異なる色、それぞれ青、赤と定めてよい。これにより各ユーザは、自分が使用している入力装置6を発光部85の点灯色によって認識できるため、入力装置6を取り違える可能性が低減される。
筐体奥側側面において、上側ボタン83a、下側ボタン84aと、上側ボタン83b、下側ボタン84bとが長手方向の左右対称な位置に設けられる。上側ボタン83a、下側ボタン84aは、それぞれユーザ右手の人差し指、中指により操作され、上側ボタン83b、下側ボタン84bは、それぞれユーザ左手の人差し指、中指により操作される。図示されるように発光部85が、右側の上側ボタン83a、下側ボタン84aの並びと、左側の上側ボタン83b、下側ボタン84bの並びの間に設けられることで、各ボタンを操作する人差し指または中指によって隠れることはなく、カメラ7は、点灯した発光部85を好適に撮像することができる。上側ボタン83はプッシュ式ボタンとして構成され、下側ボタン84は回動支持されたトリガー式のボタンとして構成されてよい。
近年では、ユーザの動きをゲームキャラクタの動きに反映するゲームも登場している。ユーザのジェスチャーを利用したゲームでは、ユーザが入力装置6をもつ必要がなく、直観的にキャラクタを動かすことができる。このようなゲームでは、そもそもユーザが入力装置6を用いないため、ユーザが情報処理装置10のOSにログインする際にも、入力装置6を用いずにユーザ認証が行われることが好ましい。なおログイン後にユーザがプレイするゲームの種類に関わらず、簡易なユーザ認証を経てユーザがログインできることは、情報処理システム1において有意義である。
そこで本実施例の情報処理システム1では、カメラ7の撮像画像を利用して、顔認識処理によりユーザ認証を簡易に行うことのできる技術を提供する。
図3は、情報処理装置10の機能ブロック図を示す。情報処理装置10は、メイン電源ボタン20、電源ON用LED21、スタンバイ用LED22、システムコントローラ24、クロック26、デバイスコントローラ30、メディアドライブ32、USBモジュール34、フラッシュメモリ36、無線通信モジュール38、有線通信モジュール40、サブシステム50およびメインシステム60を有して構成される。
メインシステム60は、メインCPU(Central Processing Unit)、主記憶装置であるメモリおよびメモリコントローラ、GPU(Graphics Processing Unit)などを備える。GPUはゲームプログラムの演算処理に主として利用される。これらの機能はシステムオンチップとして構成されて、1つのチップ上に形成されてよい。メインCPUはOSを起動し、OSが提供する環境下において、補助記憶装置2にインストールされたアプリケーションを実行する機能をもつ。
サブシステム50は、サブCPU、主記憶装置であるメモリおよびメモリコントローラなどを備え、GPUを備えない。サブCPUの回路ゲート数は、メインCPUの回路ゲート数よりも少なく、サブCPUの動作消費電力は、メインCPUの動作消費電力よりも少ない。サブCPUは、メインCPUがスタンバイ状態にある間においても動作するものであり、消費電力を低く抑えるべく、その処理機能を制限されている。なおサブCPUおよびメモリは、別個のチップに形成されてもよい。
メイン電源ボタン20は、ユーザからの操作入力が行われる入力部であって、情報処理装置10の筐体の前面に設けられ、情報処理装置10のメインシステム60への電源供給をオンまたはオフするために操作される。以下、メイン電源がオン状態にあるとは、メインシステム60がアクティブ状態にあることを意味し、メイン電源がオフ状態にあるとは、メインシステム60がスタンバイ状態にあることを意味する。電源ON用LED21は、メイン電源ボタン20がオンされたときに点灯し、スタンバイ用LED22は、メイン電源ボタン20がオフされたときに点灯する。
システムコントローラ24は、ユーザによるメイン電源ボタン20の押下を検出する。メイン電源がオフ状態にあるときにメイン電源ボタン20が押下されると、システムコントローラ24は、その押下操作を「オン指示」として取得し、一方で、メイン電源がオン状態にあるときにメイン電源ボタン20が押下されると、システムコントローラ24は、その押下操作を「オフ指示」として取得する。
メインCPUは補助記憶装置2やROM媒体44にインストールされているゲームプログラムを実行する機能をもつ一方で、サブCPUはそのような機能をもたない。しかしながらサブCPUは補助記憶装置2にアクセスする機能、サーバ5との間でデータを送受信する機能を有している。サブCPUは、このような制限された処理機能のみを有して構成されており、したがってメインCPUと比較して小さい消費電力で動作できる。これらのサブCPUの機能は、メインCPUがスタンバイ状態にある際に実行される。本実施例の情報処理装置10は、メインシステム60のスタンバイ時にはサブシステム50が稼働しているため、サーバ5が提供するネットワークサービスに、常時サインインした状態を維持する。
クロック26はリアルタイムクロックであって、現在の日時情報を生成し、システムコントローラ24やサブシステム50およびメインシステム60に供給する。
デバイスコントローラ30は、サウスブリッジのようにデバイス間の情報の受け渡しを実行するLSI(Large-Scale Integrated Circuit)として構成される。図示のように、デバイスコントローラ30には、システムコントローラ24、メディアドライブ32、USBモジュール34、フラッシュメモリ36、無線通信モジュール38、有線通信モジュール40、サブシステム50およびメインシステム60などのデバイスが接続される。デバイスコントローラ30は、それぞれのデバイスの電気特性の違いやデータ転送速度の差を吸収し、データ転送のタイミングを制御する。
メディアドライブ32は、ゲームなどのアプリケーションソフトウェア、およびライセンス情報を記録したROM媒体44を装着して駆動し、ROM媒体44からプログラムやデータなどを読み出すドライブ装置である。ROM媒体44は、光ディスクや光磁気ディスク、ブルーレイディスクなどの読出専用の記録メディアである。
USBモジュール34は、外部機器とUSBケーブルで接続するモジュールである。USBモジュール34は補助記憶装置2およびカメラ7とUSBケーブルで接続してもよい。フラッシュメモリ36は、内部ストレージを構成する補助記憶装置である。無線通信モジュール38は、Bluetooth(登録商標)プロトコルやIEEE802.11プロトコルなどの通信プロトコルで、たとえば入力装置6と無線通信する。なお無線通信モジュール38は、ITU(International Telecommunication Union;国際電気通信連合)によって定められたIMT−2000(International Mobile Telecommunication 2000)規格に準拠した第3世代(3rd Generation)デジタル携帯電話方式に対応してもよく、さらには別の世代のデジタル携帯電話方式に対応してもよい。有線通信モジュール40は、外部機器と有線通信し、たとえばAP8を介してネットワーク3に接続する。
本実施例の情報処理装置10は、複数種類のログイン処理を用意しており、ユーザからのログイン要求があると、ユーザの状況や、ログイン要求を生成した操作状況、また顔識別用データが登録されているか否かに応じて、実行する1つのログイン処理を決定し、決定したログイン処理のユーザインタフェースをユーザに提供する。以下、3種類のログイン処理の概要を説明する。
<ログイン処理1>
ログイン処理1は、情報処理装置10が出力装置4にユーザ選択画面を表示し、ユーザがユーザ選択画面において、入力装置6を利用して自分のアイコンを選択し、ログイン用パスコードを入力することで、情報処理装置10がユーザ認証を行い、ユーザをログインさせる処理である。ログイン処理1は、ユーザ選択画面を利用した従来型のログイン処理である。
<ログイン処理2>
ログイン処理2は、情報処理装置10がカメラ7の撮像画像を利用してユーザの顔認証を行い、検出された顔画像が登録ユーザの顔であることを判定した場合に、その登録ユーザに対して、ディスプレイに映し出されているカメラ画像内で入力装置6を動かすべき位置を指定し、ユーザが入力装置6を指定領域に動かすことによってユーザ認証を行い、ユーザをログインさせる処理である。
<ログイン処理3>
ログイン処理3は、情報処理装置10がカメラ7の撮像画像を利用してユーザの顔認証を行い、検出された顔画像が登録ユーザの顔であることを判定した場合に、その登録ユーザに対して、ディスプレイに映し出されているカメラ画像内で顔を動かすべき位置を指定し、ユーザが顔を指定領域に動かすことによってユーザ認証を行い、ユーザをログインさせる処理である。
ログイン処理1、2は、入力装置6を利用したユーザ認証を行う点で共通しているが、ログイン処理1では、ユーザがユーザ選択画面で自分を選択することでユーザ認証が行われるのに対し、ログイン処理2では、ユーザが入力装置6を所定の領域に動かすだけでユーザ認証が行われる点で異なっている。
ログイン処理1は、ユーザが入力装置6からログイン要求を情報処理装置10に送信した場合であって、ユーザの顔画像が情報処理装置10に登録されていない場合に実行され、一方でログイン処理2は、ユーザが入力装置6からログイン要求を情報処理装置10に送信した場合であって、ユーザの顔画像が情報処理装置10に登録されている場合に実行される。ログイン処理1と2とを比較すると、ログイン処理2の方が、ユーザ選択画面で自分を選択する必要がないため、ユーザにとって簡易なログイン操作であると言える。
ログイン処理2、3は、ともにカメラ7の撮像画像を利用した顔認証を行う点で共通しているが、ログイン処理2では、入力装置6が所定の領域に動かされたことを検出してユーザ認証を行うのに対し、ログイン処理3では、ユーザの顔が所定の領域に動かされたことを検出してユーザ認証を行う点で異なっている。
ゲームをプレイする際、ユーザが入力装置6を操作することが一般的であるが、近年では、ユーザの動きをゲームキャラクタの動きに反映するゲームも登場している。ユーザのジェスチャーを利用したゲームでは、そもそもユーザが入力装置6を用いないため、ユーザが情報処理装置10のOSにログインする際にも、入力装置6を用いずにユーザ認証が行われることが好ましい。
そのため、ログイン処理3は、ユーザが入力装置6からログイン要求を情報処理装置10に送信するのではなく、たとえば情報処理装置10が電源オフの状態で、ユーザがメイン電源ボタン20を押下したときに実行されるようにする。なおログイン処理3において、カメラ画像中で登録ユーザの顔画像が検出できない場合には、入力装置6を利用したログイン処理1に移行し、ユーザは入力装置6を操作して選択画面から自分のアイコンを選択する。
このように情報処理装置10は、ユーザが顔画像を登録しているか否か、またユーザが入力装置6からログイン要求を送信しているか否かに応じて、ログイン処理1〜3のいずれを実行するか決定する。
図4は、情報処理装置10の構成を示す。情報処理装置10は、通信部102、入力受付部104、画像取得部106、マイク108、処理部100および登録ユーザ情報保持部180を備える。処理部100の機能は情報処理装置10のOS(システムソフトウェア)およびOSにより実行されるアプリケーションやメモリにより実現され、ログイン制御部120および顔データ処理部140を有する。ログイン制御部120は、発光色決定部122、処理決定部124、選択画像表示部126、撮像画像表示部128、顔データ読出部130、顔認証部132、ログイン処理部134およびログインユーザ記憶部136を有する。顔データ処理部140は、破損判定部142、通知部144、顔データ削除部146、ユーザ選択受付部148および顔データ生成部150を有し、顔データ生成部150は、顔枠表示部152、案内表示部154、登録処理部156を含む。通信部102は、図3に示す無線通信モジュール38および有線通信モジュール40の機能を示す。
図4において、さまざまな処理を行う機能ブロックとして記載される各要素は、ハードウェア的には、回路ブロック、メモリ、その他のLSIで構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。なお撮像画像表示部128および顔認証部132の各機能は、ログイン制御部120に含まれるように示しているが、顔データ処理部140においても利用される。
本実施例の情報処理装置10は、ユーザの好適なログイン動作を支援することを1つの特徴とする。ユーザは、情報処理装置10のOSにログインするために、その前提として、ユーザアカウントを予め取得して、情報処理装置10に様々なユーザ情報を登録している必要がある。以下、ユーザアカウントを情報処理装置10に登録したユーザを、「登録ユーザ」とよぶこともある。
登録ユーザ情報保持部180は、登録ユーザに関する様々な情報を保持し、具体的には、ユーザアカウントに関連付けて、ログイン用パスコード、サーバ5にサインインするためのサインインID、ネットワークアカウント、ユーザのオンラインID(ネットワーク上でのニックネーム)、またユーザを表現するためのユーザアイコンなどを、登録ユーザ情報として保持している。なお、顔認証処理のために予め顔画像を登録している登録ユーザに関しては、登録ユーザ情報保持部180が、ユーザアカウントに関連付けて、顔識別用データを登録ユーザ情報として保持している。
ここで顔識別用データは、登録ユーザの顔画像の特徴量データであるが、顔画像データそのものであってもよい。顔識別用データは、顔認証部132による顔認識処理において比較対象とされるデータであり、顔認証部132が採用する顔認識アルゴリズムにしたがって生成される。たとえば顔識別用データは、顔のパーツの相対位置や大きさ、目や鼻やほお骨やあごの形を特徴として抽出したデータであってよい。また顔識別用データは、顔画像の標準データからの差分データとして抽出したデータであってよい。どのような顔識別用データを抽出するかは、採用する顔認識アルゴリズムによって定まり、本実施例では顔認証部132が既知の顔認識アルゴリズムを採用している。顔識別用データは、後述するように、ユーザが顔画像を登録することに同意して、顔データ生成部150により提供される案内にしたがってカメラ7の前でユーザが顔を動かすことによって生成される。なお顔画像を登録しないユーザに関しては、当然のことながら、そのユーザ用の顔識別用データは生成されないが、顔認証部132による顔認証処理を実現させるために、人間の顔画像として認識されることのない初期データが登録ユーザ情報保持部180に登録されてもよい。なお、この初期データは、顔認証部132による顔認証処理の際に存在すればよいため、顔画像を登録しないユーザに関しては登録ユーザ情報保持部180には顔識別用データが登録されず、顔認証処理の際に、顔画像を登録しないユーザの顔識別用データとして、初期データが割り当てられてもよい。
以下、登録ユーザが情報処理装置10のOSにログインする際の詳細な処理について説明する。
<ログイン処理1>
ユーザが入力装置6の所定のボタン(たとえば機能ボタン80)を押下すると、その押下情報が情報処理装置10に送信される。情報処理装置10において、通信部102が押下情報を接続要求として受け付けて、入力装置6と通信部102とを接続する。なお情報処理装置10のメイン電源がオフとなっている場合には、機能ボタン80の押下情報により情報処理装置10のメイン電源がオンとなった後、通信部102が入力装置6と接続する。また機能ボタン80の押下情報は入力受付部104に伝達され、入力受付部104は、この押下情報を、ユーザからのログイン要求として受け付け、処理部100に伝える。
まず発光色決定部122は、ログイン要求を送信した入力装置6の発光部85の発光色を決定する。画像取得部106は、カメラ7から撮像画像データを取得する。たとえばカメラ7は周期的(たとえば1/30秒ごと)に空間を撮像して、撮像画像をUSBモジュール34を経由して画像取得部106に提供する。発光色決定部122は、所定の割当順序にしたがって発光色を決定するが、このとき割当順序により決定される発光色が撮像空間に存在していれば、撮像画像から、撮像空間に存在しない色を特定して、特定した色の中から発光色を決定してもよい。発光色決定部122が発光色を決定すると、通信部102が入力装置6に発光色情報を送信する。発光色情報が青色を指定する場合、入力装置6の発光部85は青色で点灯する。
また選択画像表示部126は、登録ユーザ情報保持部180に保持されている登録ユーザ情報を読み出し、情報処理装置10に登録されたユーザを選択するための選択画像を生成する。具体的に選択画像表示部126は、登録ユーザ情報のうち、ユーザアイコンおよびオンラインIDを読み出して、登録されたユーザのオンラインIDをリスト形式で並べたユーザ選択画面を出力装置4に表示する。この選択画面は、ログイン処理1におけるログイン画面を構成するが、後述するように、選択画面の初期表示時には、ログイン処理2を実行するか否かの判定処理が行われており、ログイン処理2の不実行が決定した後、正式にユーザ選択画面がログイン処理1におけるログイン画面を構成することになる。
図5(a)はユーザ選択画面の一例を示す。選択画像表示部126は、登録ユーザ情報保持部180に保持されている全ての登録ユーザのユーザアイコンおよびオンラインIDを読み出し、読み出したユーザアイコンおよびオンラインIDをリスト形式でユーザが選択可能に表示する。以下、ユーザアイコンおよびオンラインIDを、「ユーザ特定情報」とよぶ。
ユーザ選択画面の一部の小窓領域202に、撮像画像表示部128が、画像取得部106が取得した撮像画像を表示する。この表示画像は、カメラ7のライブ画像であり、小窓領域202の近傍には、「登録されている顔を探しています」とメッセージが表示される。このメッセージは、顔認証部132による顔認証処理中に表示され、したがって顔認証処理が終了すると、メッセージ表示は消される。つまり図5(a)に示す状態では、ユーザ選択画面が表示されつつ、そのバックグランドにおいては、顔データ読出部130が登録ユーザ情報保持部180から全ての登録ユーザの顔識別用データを読み出し、顔認証部132により、撮像画像中に、顔画像を登録したユーザが存在しているかが確認されている。
顔認証部132は、撮像画像において、人の顔と推定される部分を抜き出し、その部分の特徴量データを導出する。続いて顔認証部132は、顔データ読出部130により読み出された顔識別用データと比較し、抜き出した顔が登録ユーザの顔であるか否かを判定する。
具体的に顔認証部132は、抜き出したユーザの顔画像の特徴量データと、顔データ読出部130により登録ユーザ情報保持部180から読み出された全ての登録ユーザの顔識別用データとの一致度を導出する。この一致度は数値表現され、たとえば100点満点中の何点という形で一致度が導出される。登録された顔画像の特徴量データとの一致度が90点を超えていれば、顔認証部132は、撮像されたユーザが、登録ユーザであることを判定するとともに、撮像されたユーザがどの登録ユーザであるかを特定する。なお一致度が90点を超えるものが複数存在する場合には、顔認証部132は、撮像されたユーザが、最高点が導出された顔識別用データの登録ユーザであることを判定すればよい。なお、撮像画像から抜き出したユーザの顔画像の特徴量データと、全ての登録ユーザの顔識別用データとの一致度を導出した結果、一致度が90点を超えるものがなければ、顔認証部132は、撮像画像に含まれるユーザが、登録ユーザでないことを判定する。このように顔認証部132は、顔データ読出部130により登録ユーザ情報保持部180から読み出された顔識別用データを用いて、撮像画像に存在する登録ユーザの顔画像を検出する。この顔識別技術は、既知の技術を用いてよい。
なお既述したように、情報処理システム1において登録ユーザは、顔画像を登録するか否かを自分の意思で決めることができ、したがって登録ユーザによっては、顔画像を登録していないものも存在する。本実施例の顔認証部132は、全ての登録ユーザの顔認識を行う識別エンジンとして構成されているため、顔画像を登録していないユーザに対しては、初期データが顔識別用データとして利用される。この初期データは、顔画像の特徴量データと比較可能なフォーマットを有するものの、必ず一致度が低いスコアとなるようなデータであり、したがって顔画像を登録していないユーザの初期データと、撮像画像から抜き出された顔の特徴量データとの一致度が90点を超えることはない。既述したように、顔画像を登録しないユーザに対して、初期データが顔識別用データとして登録ユーザ情報保持部180にデフォルト登録されていてもよく、また顔認証処理の際に、顔画像を登録しないユーザに対して、顔識別用データとして初期データが設定されてもよい。
顔認証部132により、撮像画像に含まれるユーザの全てが登録ユーザでないことが判定されると、ログイン処理部134は、「登録されている顔を探しています」と表示していたメッセージを非表示とし、また小窓領域202も非表示としてよい。なお顔認証部132により、登録ユーザであることが判定された全てのユーザが既にログイン済みである場合にも、ログイン処理部134は、「登録されている顔を探しています」と表示していたメッセージを非表示とし、また小窓領域202も非表示としてよい。このように、入力装置6の操作によりログイン要求が生成される場合には、顔認証部132が、カメラ7の撮像画像に、まだログインしていない顔画像を登録したユーザが含まれているかを判定し、顔画像を登録したユーザが含まれていないことが判明したときに、処理決定部124が、ログイン処理1を、実行するべきログイン処理として決定する。これにより選択画像表示部126が、ユーザ選択画面の表示を継続して、ログイン処理部134が、ログイン処理1を開始する。顔認証部132による判定時間は数秒であり、したがって、小窓領域202およびメッセージは、ユーザ選択画面において、数秒間だけ表示される。
ログイン処理1では、ユーザ選択画面において、ログイン処理部134が、1つのユーザ特定情報を取り囲むフォーカス枠200をリスト上で移動可能に表示する。ユーザは入力装置6の入力部を操作してフォーカス枠200を自分のユーザ特定情報の表示領域に動かし、入力装置6の決定ボタン(○ボタン72)を押すことで、自分のユーザ特定情報を選択できる。
ここでログインを要求するユーザがユーザDであるとし、入力装置6を操作して、選択画面において「SABURO」を選択すると、ログイン処理部134は、図5(b)に示すパスコードの入力画面を出力装置4に表示する。ここでユーザDが登録したパスコードを入力すると、ログイン処理部134が、登録ユーザ情報保持部180に保持されているユーザDのログイン用パスコードと同じであるか判定して、ユーザDのログインの許否を判定する。ログイン処理部134は、ログインユーザ記憶部136に、ログイン情報、すなわちユーザDを特定する情報(ユーザアカウント)と、ユーザDが使用する入力装置6を特定する情報(ゲームコントローラID)とを対応付けて記憶する。以上のようにログイン制御部120は、ユーザのログイン処理1を実行する。
このように顔認証部132により、まだログインしていない登録ユーザが検出されない場合には、処理決定部124が、ログイン処理1を、実行するべきログイン処理として決定し、ログイン処理部134が、ログイン処理1を実行して、顔画像を登録していないユーザDが円滑にログインできるようにする。
後述するが、ログイン処理1は、顔画像を登録したにもかかわらず、登録したはずの顔識別用データが破損してしまった登録ユーザに対しても適用される。たとえば、登録ユーザCの顔識別用データが破損している場合、登録ユーザCは、顔認証によるログインを行うことができない。そこで、このような場合には、登録ユーザCが、ログイン処理1により情報処理装置10にログインしつつ、情報処理装置10は、ユーザCに対して、顔認証によるログインを可能とする状態に速やかに復帰できるような仕組みを提供する。この仕組みについては後述する。
以下では、ユーザA、Bの顔識別用データが登録ユーザ情報保持部180に格納されており、ユーザAのオンラインIDが「HANAKO」、ユーザBのオンラインIDが「SACHIKO」であるとする。
<ログイン処理2>
上記したように、ユーザが入力装置6を操作してログイン要求を生成した場合、顔認証部132が、撮像画像中に、顔画像を登録したユーザが存在しないことを判定すると、ログイン処理1が実行される。一方で、ユーザが入力装置6を操作してログイン要求を生成した場合に、顔認証部132が、撮像画像中に、まだログインしていない顔画像を登録したユーザが存在することを判定すると、処理決定部124が、ログイン処理2を、実行するべきログイン処理として決定する。
図6(a)は、ログイン処理2におけるログイン画面を示す。図6(a)に示すログイン画面は、図5(a)に示すユーザ選択画面が表示されている間に顔認証部132により撮像画像中に顔画像を登録したユーザが検出されて、ユーザ選択画面が非表示にされた後に、出力装置4に表示される。ログイン処理2におけるログイン画面において、撮像画像表示領域206に、撮像画像表示部128が、カメラ7の撮像画像をライブ表示する。
顔認証部132は、ユーザA(オンラインID:HANAKO)の顔の撮像画像中の位置を示す顔領域と、ユーザB(オンラインID:SACHIKO)の顔の撮像画像中の位置を示す顔領域を設定し、ログイン処理部134は、それぞれの顔領域の位置座標および撮像された登録ユーザを特定する情報をもとに、登録ユーザに対して顔枠210を表示する。
ここではユーザAに対して顔枠210aを表示し、ユーザBに対して顔枠210bを表示している。このときログイン処理部134は、顔枠210aの近傍にユーザAのオンラインID(HANAKO)を表示し、顔枠210bの近傍にユーザBのオンラインID(SACHIKO)を表示する。これによりユーザA、Bは、自身の顔認識が行われていることを知ることができる。ユーザは、自身の顔枠210の近傍に、自身とは別のオンラインIDが表示されていれば、顔認識が適切に行われていないことを知ることができる。なお真ん中のユーザは、顔画像を登録した登録ユーザではないため、顔枠210は表示されていない。なお真ん中のユーザが顔画像を登録した登録ユーザであっても、何らかの理由により顔識別用データが破損してしまっている場合には、顔枠210は表示されない。
ログイン処理部134は、顔認証部132により検出された登録ユーザに対して、入力装置6の位置を指定する位置指定画像212を、ディスプレイである出力装置4に表示する。ログイン処理2において、位置指定画像212は、登録ユーザがログインする際に、入力装置6を動かして配置するために表示される。
図6(b)は、ユーザが位置指定画像212で指定された位置に、入力装置6を動かしたログイン画面を示す。ここではユーザAが、出力装置4に表示されている位置指定画像212aに含まれるゲームコントローラ画像に入力装置6が重なるように、入力装置6を上に持ち上げた状態を示している。ログイン処理部134は、撮像画像において、位置指定画像212aにより指定された指定領域内に、入力装置6の画像が含まれているか監視する。
ログイン処理部134は、ユーザA用に表示された位置指定画像212aで指定される領域内に青色点灯した入力装置6が検出されたことを認識することで、ユーザAを情報処理装置10にログインさせる。ログイン処理部134は、ログインユーザ記憶部136に、ログイン情報、すなわちユーザAを特定する情報(ユーザアカウント)と、ユーザAが使用する入力装置6aを特定する情報(ゲームコントローラID)と、撮像画像に含まれる入力装置6aを識別する情報(青色発光情報)とを対応付けて記憶する。
以上のように、ログイン処理2では、顔認証部132が顔認証を行い、その後、ログイン処理部134が指定領域内に入力装置6が含まれていることを検出することで、登録ユーザをログインさせる。ログイン処理部134は、既にログイン済みのユーザに対しては、顔枠210および位置指定画像212を表示しない。顔認証部132が、登録ユーザが撮像画像に含まれていることを検出すると、ログイン処理部134は、検出された登録ユーザが、ログインユーザ記憶部136を参照して既にログイン済みであるか否かを判定する。たとえば画面右側のユーザB(オンラインID:SACHIKO)が、ログイン済みのユーザであれば、ログイン処理部134は、顔枠210b、位置指定画像212bを表示しない。
<ログイン処理3>
続いて、ログイン処理3について説明する。ログイン処理3では、ユーザは入力装置6を使用せずにログインする。
ユーザが情報処理装置10のメイン電源ボタン20を押下すると、情報処理装置10のメイン電源がオンとなり、入力受付部104がメイン電源の押下情報を、ユーザからのログイン要求として受け付ける。
入力受付部104が、メイン電源の押下に基づいたログイン要求を受け付けると、撮像画像表示部128が、画像取得部106が取得した撮像画像をディスプレイである出力装置4に表示する。これにより出力装置4には、カメラ7が撮影したライブ画像が表示されることになり、出力装置4の前方にいるユーザが、出力装置4に映し出される。
ログイン処理1、2に関して説明したように、顔認証部132は、顔データ読出部130により登録ユーザ情報保持部180から読み出された顔識別用データを用いて、撮像画像に存在する登録ユーザの顔画像を検出する。これにより処理決定部124が、ログイン処理3を、実行するべきログイン処理として決定する。
ログイン処理3において、この顔認証処理は、第1段階の顔認証と位置づけられる。
図7(a)は、出力装置4に表示される顔枠を含むログイン画面を示す。ログイン処理3におけるログイン画面において、撮像画像表示領域230に、撮像画像表示部128が、カメラ7の撮像画像をライブ表示する。
顔認証部132は、ユーザA(オンラインID:HANAKO)の顔の撮像画像中の位置を示す顔領域と、ユーザB(オンラインID:SACHIKO)の顔の撮像画像中の位置を示す顔領域を設定し、ログイン処理部134は、それぞれの顔領域の位置座標および撮像された登録ユーザを特定する情報をもとに、登録ユーザに対して顔枠222を表示する。
ここではユーザAに対して顔枠222aを表示し、ユーザBに対して顔枠222bを表示している。このとき顔枠処理部138は、顔枠222aの近傍にユーザAのオンラインIDを表示し、顔枠222bの近傍にユーザBのオンラインIDを表示する。これによりユーザA、Bは、自身の顔認識が適切に行われたことを知ることができ、ログインする際には、顔枠222a、222bに、顔を移動させればよいことを知る。なお真ん中のユーザは顔画像を登録した登録ユーザではないため、顔枠222は表示されていない。なお真ん中のユーザが顔画像を登録した登録ユーザであっても、何らかの理由により顔識別用データが破損してしまっている場合には、顔枠222は表示されない。
図7(b)は、ユーザが顔枠に顔を入れたログイン画面を示す。ここではユーザAが、出力装置4に表示されている顔枠222aに顔が入るように、顔や体を動かした様子を示している。顔認証部132は、顔枠222に人の顔が入っているか監視し、顔が入っている場合には、顔データ読出部130により登録ユーザ情報保持部180から読み出された顔識別用データを用いて、顔枠222内に入っている顔が登録ユーザのものであるか判定する。
顔認証部132は、顔枠222の位置座標をもとに、顔枠222に人の顔が入っているか監視することができる。顔認識アルゴリズムについては上記したとおりであり、顔認証部132は、顔枠222において、人の顔が含まれていることを推定すると、その部分の特徴量データを導出して、顔データ読出部130により読み出された顔識別用データと比較し、抜き出した顔が登録ユーザの顔であることを判定する。図7(b)の例では、顔認証部132が、顔枠222aに入った顔がユーザAの顔であることを判定する。ログイン処理3において、この処理は、第2段階の顔認証と位置づけられる。第1段階と第2段階の顔認証により、ログイン時におけるユーザ認証が終了する。これによりログイン処理部134は、ユーザAを情報処理装置10にログインさせる。
以上のようにログイン処理2、3においては、登録ユーザ情報保持部180が顔識別用データを保持していることが前提となる。たとえばユーザが新規のユーザアカウントを生成する際、ユーザは、顔識別用データの登録作業を行ってもよい。なおユーザは、別のタイミングで顔識別用データをあらためて登録してもよい。以下に、顔識別用データを登録ユーザ情報保持部180に登録する処理について説明する。
本実施例において情報処理装置10は、据置型のゲーム装置であって、カメラ7とユーザ間の距離は、通常、数メートル程度離れている。そのため登録ユーザが顔認証によるログインを行う際、登録ユーザの顔がカメラ7に対して正対していないことも少なくないことが考えられ、そのような場合であっても顔認証部132が、撮像画像に含まれるユーザが登録ユーザであることを判定できることが好ましい。つまり顔認証部132は、撮像画像に含まれる登録ユーザの顔が若干傾いていたり、また顔の向きがカメラ7の光軸方向とずれていたとしても、その状態ですみやかに顔認証処理を行えることが好ましい。
そこで顔データ生成部150は、ユーザの顔が回転したときの顔識別用データを生成して、登録ユーザ情報保持部180に登録し、顔認証部132が、登録ユーザの顔がカメラ7に対して正対しているときだけでなく、カメラ7に対して顔が傾いたり、顔の向きがカメラ7の光軸方向からずれた状態であっても、顔認証処理を好適に実行できるようにする。これによりユーザは、ログイン処理2、3によるログインの際に、カメラ7に対して顔を正対させる必要なく、すみやかに情報処理装置10にログインすることができる。
入力受付部104が、ユーザの入力装置6から顔登録要求を受け付けると、案内表示部154が、顔登録のスタート画面を出力装置4に表示する。このとき登録処理部156はユーザのユーザアカウントを特定し、保持しておく。登録処理部156は、後に顔識別用データを登録ユーザ情報保持部180に格納する際に、このユーザアカウントに紐付けて顔識別用データを登録する。なお、ユーザが新規のユーザアカウントを生成し、そのときにカメラ7が情報処理装置10に接続されていれば、案内表示部154が、顔登録のスタート画面を出力装置4に表示してもよい。
図8(a)は、顔登録のスタート画面の一例を示す。スタート画面において、ユーザが入力装置6の決定ボタンを押すと、入力受付部104が決定操作を受け付けて、案内表示部154が、周辺環境についての説明文を出力装置4に表示する。図8(b)は、周辺環境についての説明文の一例を示す。ユーザは、説明文を見て、顔登録にふさわしい周辺環境を整える。
ここでユーザが入力装置6の決定ボタンを押すと、入力受付部104が決定操作を受け付けて、撮像画像表示部128が、画像取得部106が取得した撮像画像を出力装置4に表示する。これにより出力装置4には、カメラ7が撮影したライブ画像が表示されることになり、出力装置4の前方にいるユーザが、出力装置4に映し出される。
図9(a)は、出力装置4に表示されるライブ画面を示す。ライブ画面には、2人のユーザが含まれている。ユーザは、顔識別用データの登録作業において、入力装置6を操作する。撮像画像表示部128がライブ画像を表示してから所定時間(たとえば3秒)が経過すると、案内表示部154は、顔登録を行うユーザに、自分の顔を選択する旨のメッセージを、ライブ画像に重ねて表示する。図9(b)は、メッセージの表示例を示す。ユーザが入力装置6の決定ボタンを押すと、入力受付部104が決定操作を受け付けて、案内表示部154が、メッセージを画面から消す。
図10(a)は、顔探索の実行画面を示す。顔認証部132は、カメラ7により撮影された撮像画像において顔探索処理を行い、人の顔と推定される部分(顔領域)を特定する。ここでは2人のユーザが撮像画像に含まれており、したがって顔認証部132は、2つの顔領域を特定する。図10(b)は、ユーザの顔画像を顔枠が囲んでいる状態を示す。顔枠表示部152は、顔認証部132による顔探索処理の終了後、特定されたユーザの顔領域を囲むように、顔枠240a、240bを表示する。図10(b)において、顔枠240aは黒枠として示され、顔枠240bは白枠として示されているが、ここで黒枠は、選択された状態を示し、白枠は、選択されていない状態を示す。図10(b)に示す画面において、ユーザが入力装置6を用いて右方向操作をすると、黒枠が右に移動し、顔枠200bを黒枠にできる。顔登録を行うユーザは、自分の顔枠を黒枠に設定して、入力装置6の決定ボタンを押すと、入力受付部104が決定操作を受け付けて、案内表示部154が、カメラ7に対してユーザが顔を相対回転するための案内を出力装置4に表示する。
図11は、これからユーザが行う顔回転動作の概要を説明するための説明画面を示す。図10(b)に示される顔枠240aがユーザにより選択されると、撮像画像表示部128は、撮像画像に含まれる、選択されたユーザの顔領域を拡大して出力装置4に表示する。これによりユーザは、これから自分の顔登録処理が開始されることを認識する。案内表示部154は、拡大表示されたユーザの顔画像に重畳して、案内画像242を表示する。
本実施例では、案内画像242に示されるように、ユーザがカメラ7の前で3種類の顔回転動作を行う。いずれの顔回転動作を行う場合においても、ユーザは、カメラ7に正対した姿勢を基準姿勢とし、案内表示部154より提供される案内にしたがって、基準姿勢から顔を動かす(実際には首を動かす)ことで、登録処理部156が、撮像画像に含まれるユーザの顔画像をもとに、ユーザの顔識別用データをユーザアカウントに紐付けて登録ユーザ情報保持部180に登録する。
3種類の顔回転動作について説明する。以下の説明では、カメラ7の光軸方向を前後方向と呼び、またユーザの身体を基準として左右方向、上下方向が設定される。
まず1つめは、ロール(roll)回転動作であり、これは前後を軸にした回転動作である。ロール回転動作では、ユーザは顔をカメラ7に向けたまま、首を所定角度の範囲内で左右に少なくとも1往復するように傾ける。
2つめは、ヨー(yaw)回転動作であり、これは上下を軸にした回転動作である。ヨー回転動作では、ユーザは首を所定角度の範囲内で左右に少なくとも1往復するように振る。
3つめは、ピッチ(pitch)回転動作であり、これは左右を軸にした回転動作である。ロール回転動作では、ユーザは首を所定角度の範囲内で上下に少なくとも1往復するように振る。
ユーザは、図11に示される案内画面を見て、これから3種類の顔回転動作を行うことを知る。図11に示す案内画面において、ユーザが入力装置6の決定ボタンを押すと、入力受付部104が決定操作を受け付ける。
図12は、ユーザの顔のロール回転動作を案内するための画面例を示す。図12(a)および図12(b)は、ロール回転動作に関する案内画面を示す。案内表示部154は、3次元表示された箱体250が前後を軸とする回転方向に往復運動する案内画像256を出力装置4に表示する。案内画像256においては、箱体250が、左に右に、ゆらゆらとロール回転する様子が動画像で表示される。ユーザは箱体250に合わせて首を左右に傾ける動作を行う。
登録処理部156は、撮像画像に含まれるユーザの顔画像をもとに、顔識別用データを生成する。ここでは図12(a)および図12(b)に示される箱体250の表示中にユーザが首を左右に傾け、登録処理部156が、ユーザの顔画像が、カメラ7に正対する位置だけでなく、斜め方向に所定の角度傾いている位置の顔画像をもとに、顔識別用データを生成する。なお、たとえばこの角度は、プラス15度およびマイナス15度であってよい。登録処理部156は、所定の角度に傾いている顔画像の顔識別用データを生成すると、案内表示部154に対して、顔識別用データの生成処理が完了したことを通知する。なお案内表示部154は、完了通知を受け取るまでは、撮像画像中に箱体250を動かし続ける。
顔データ生成部150は、以上の処理を、他の回転方向、すなわちユーザの顔のヨー回転とピッチ回転に対しても実行する。ユーザは、顔を、3つの回転方向に動かすことで、登録処理部156は、様々な角度から取得した顔識別用データを生成する。登録処理部156は、ユーザの顔の3つの回転動作における顔識別用データをそれぞれ生成し、所定のフォーマットで顔識別用データを登録ユーザ情報保持部180に登録する。この顔識別用データは、ユーザごとに1つの顔ファイルとしてまとめられ、顔ファイルは、所定のファイルサイズを有して構成される。
以上のように、ユーザは、顔識別用データを登録ユーザ情報保持部180に登録することで、ログイン処理2、3による顔認証により、情報処理装置10にログインできるようになる。しかしながら、登録処理部156が顔識別用データを登録ユーザ情報保持部180に登録する際に、たとえば情報処理装置10の電源ケーブルがコンセントから抜かれてしまった場合には、顔識別用データが破損した状態で登録ユーザ情報保持部180に登録されることになる。また正常に登録された顔識別用データが、その後、何らかの理由で破損することも可能性としては起こりえる。このように、ユーザが顔データを登録したことを認識しているにも関わらず、ユーザの意図しない原因により顔識別用データが破損していることがあり、そのような場合には、当該ユーザに対して、ログイン処理2、3が実行できないことになる。
そこで以下においては、情報処理装置10が、顔データが破損した登録ユーザに、顔登録処理を再度行わせる仕組みについて説明する。
(顔画像の再登録処理1)
顔画像の再登録処理1では、ログイン制御部120が、顔認証を行わないログイン処理1により、顔データが破損した登録ユーザをログインさせた後に、顔データ処理部140が、当該ユーザに、再度の顔登録処理を行わせるようにする。
図13は、顔画像の再登録処理1のフローチャートを示す。
既述したように、ログイン前のユーザが入力装置6の機能ボタン80を押下し、または、ログイン前のユーザが情報処理装置10が電源オフの状態で、ユーザがメイン電源ボタン20を押下すると、顔データ読出部130が、登録ユーザ情報保持部180から、全ての登録ユーザの顔識別用データを読み出す(S10)。なお、以下においては、これからユーザCが情報処理装置10にログインしようとしており、このユーザCの顔識別用データが破損している場合について説明する。
破損判定部142は、顔データ読出部130により読み出された各ユーザの顔識別用データが破損しているか否かを判定する(S12)。たとえば破損判定部142は、読み出された顔識別用データのファイルサイズが適切でない場合に、そのユーザの顔識別用データが破損していることを判定する。ファイルサイズが適切でない場合とは、ファイルサイズが0である、ファイルサイズが所定の第1基準値よりも大きい、または所定の第2基準値よりも小さいなど、読み出された顔ファイルのサイズが想定されている範囲外であることを意味する。正常な顔識別用データを含む顔ファイルは、所定のフォーマットで、所定のファイルサイズを有するように構成されているため、破損判定部142は、読み出した顔ファイルのファイルサイズを参照することで、顔識別用データが破損しているか否かを判定できる。これにより破損判定部142は、顔識別用データが完全に破損している状態のみならず、顔識別用データの信頼性が低下していることが予想される状態を検出できる。また顔データ読出部130がユーザの顔識別用データのファイルを開けない、または読み込めない場合にも、破損判定部142は、顔識別用データの破損を判定してもよい。
なお破損判定部142による破損判定のために、登録処理部156は、顔識別用データの顔ファイルを生成する際に、チェックサムなどの符号を顔ファイルに付加してもよい。これにより破損判定部142は、顔データ読出部130により読み出された顔ファイルのチェックサムを参照することで、顔識別用データが破損しているか否かを容易に判定できるようになる。また登録処理部156が、顔識別用データの生成の際に、その生成日時を示すタイムスタンプを顔識別用データに付加してもよい。これにより破損判定部142は、タイムスタンプで示される生成日時と現在日時を比較して、生成日時の方が現在日時よりも未来であるような場合には、顔識別用データの破損を判定できる。
登録処理部156が、顔識別用データのファイル名を所定のルールで生成している場合に、破損判定部142が、ファイル名が所定のルールにしたがっていないことを検出すると、顔識別用データの破損を判定してもよい。また顔識別用データが、顔画像の特徴量を記録している場合には、破損判定部142が、その特徴量が妥当であるか否かを検出して、破損判定を行ってもよい。たとえば両目の間隔が顔の横幅よりも大きい場合には、破損判定部142は、顔識別用データの破損を判定できる。
以上のように破損判定部142は、顔データ読出部130による顔識別用データの読み出しの際に、各ユーザの顔識別用データに破損が生じているか否かを判定する。上記したように破損判定部142は、顔識別用データの信頼性が何らかの理由で低下していると判断される場合にも、破損が生じていることを判定する。
顔データ読出部130は、顔識別用データを読み出すと、顔認証部132が顔認識に使用するための顔認証用リストを作成する(S14)。このときリストには、破損判定部142による判定結果も挿入される。
本実施例の情報処理装置10においては、4人のユーザA、B、C、Dの情報が登録ユーザとして登録ユーザ情報保持部180に登録されている。ここでユーザA、B、Cは、顔画像を登録しており、しかしながらユーザCの顔識別用データが破損しているものとする。またユーザDは、顔画像を登録しておらず、したがってユーザDの顔識別用データとしては初期データが利用される。既述したように初期データは、顔認識処理により、顔画像との一致度が著しく低いスコアとなるデータである。
図14は、顔認証用リストの一例を示す。顔認証用リスト260は、全てのユーザA〜Dに関する認証用データを含み、顔データ読出部130による顔ファイルの読出状況に応じて作成される。ここで項目「顔データ」は、顔認証部132による顔認識処理で比較対象として使用されるデータであり、項目「破損判定」は、破損判定部142による破損判定結果を示す。項目「顔登録の有無」は、ユーザが顔登録処理を行ったか否かを示す。ここでは、ユーザA、B、Cが顔画像を登録したユーザであり、したがって、ユーザA、B、Cが、顔画像を登録していることを示す情報が、ユーザDが顔画像を登録していないことを示す情報が、「顔登録の有無」の各フィールドに含まれている。顔登録の有無は、フラグ値により表現されてもよい。
上記したように、破損判定部142が、ユーザCの顔識別用データに破損が生じていることを判定すると、ユーザCの「破損判定」のフィールドに、破損あり、を示す情報が入力される。また破損判定部142が、ユーザA、B、Dの顔識別用データが正常であることを判定すると、ユーザA、B、Dの「破損判定」のフィールドに、破損なし、を示す情報が入力される。破損の有無は、フラグ値により表現されてもよい。このとき顔データ読出部130は、ユーザCの項目「顔データ」に、初期データないしは初期データへのリンク情報を入力する。本実施例において顔認証部132は全ての登録ユーザの顔識別用データを、撮像された顔画像データと比較するように動作するが、ユーザCの顔識別用データが破損している場合には、顔データ読出部130が、比較可能な初期データを、ユーザCの顔識別用データとして顔認証用リスト260に登録する。
なお破損判定部142は、ユーザCの「破損判定フィールド」に、破損あり、を示す情報とともに、破損タイプの情報を入力してもよい。たとえば破損のタイプには、ファイルサイズが不適切であったことや、ファイルが開けなかったことなどがあるが、このような破損タイプを特定する情報も入力することで、ユーザに顔識別用データの破損を通知する際に、破損タイプの情報もあわせて通知することが可能となる。
ここでユーザCがログインしようとする場合、画像取得部106により取得される撮像画像にはユーザCの顔画像が含まれているが、顔認証用リスト260には、ユーザCの顔識別用データは含まれておらず、顔認証部132は、ユーザCの顔画像を検出しない。そのためユーザCは、図5(a)に示すユーザ選択画面から、自身のユーザ特定情報を選択して、ログインする(S16)。つまり、この場合には、ログイン処理部134が、ユーザCをログイン処理1によりログインさせる。通知部144は、顔認証用リスト260を参照して、ログインしたユーザCの顔識別用データが破損していたことを認識すると(S18のY)、ログインしたユーザCに対して、顔識別用データが破損していることを通知する(S20)。なお、ログインしたユーザCの顔識別用データが破損していなければ(S18のN)、処理部100は、情報処理装置10のホーム画面を出力装置4に表示する(S24)。
図15は、顔ファイルの破損を通知する通知画面の一例を示す。通知部144は、ログインしたユーザCの顔識別用データが破損判定部142により破損判定されている場合に、顔識別用データが破損していることをユーザCに通知する。このとき通知部144は、破損タイプを特定する情報もあわせて通知してもよい。このように、ユーザCに対して顔ファイルの破損を通知することで、ユーザCは、なぜ顔認証ログインできなかったかを知ることができ、また顔認証ログインできるようになるためには、顔データを再度登録しなければならないことを知ることができる。図15に示す通知画面でユーザCが入力装置6の決定ボタンを操作すると、顔データ生成部150による顔画像の再登録処理1が起動する。
再登録処理1が起動すると、顔データ生成部150は、図8〜図12に関連して説明した顔登録処理を実行し、ユーザCは、3つの回転方向に首を傾けることで、顔識別用データを、顔登録をしたことを示す情報とともに登録ユーザ情報保持部180に登録できる(S22)。登録処理部156が、ユーザCの顔識別用データの顔ファイルを登録ユーザ情報保持部180に登録する際に、顔データ削除部146が、登録ユーザ情報保持部180に格納されているユーザCの破損した顔識別用データを削除する。なお破損した顔識別用データは、新たな顔識別用データで上書き保存されることで、削除されてもよい。これによりユーザCは、次回のログイン時に、顔認識ログインを行うことができるようになる。顔登録処理が終了すると、処理部100が、情報処理装置10のホーム画面を出力装置4に表示する(S24)。
なお、図8(a)の顔登録のスタート画面においてユーザがキャンセルボタン(戻るボタン)を操作すると、顔データの再登録処理1が実行されず、処理部100は、ユーザCをログインさせた状態で、ホーム画面を出力装置4に表示する(S24)。このとき顔データ削除部146は、破損した顔ファイルを登録ユーザ情報保持部180から削除しない。なお顔登録処理の途中でユーザがキャンセルボタンを操作して、顔データの再登録処理1が完了しなかった場合も、顔データ削除部146は、破損した顔ファイルを登録ユーザ情報保持部180から削除しない。したがって再登録処理1が実行されなければ、破損したユーザCの顔ファイルは、登録ユーザ情報保持部180に残ることになる。
なおユーザCが、図15に示す通知画面において顔データを再登録することに同意した後に、顔データ削除部146は、ユーザCの顔識別用データを削除することも可能である。しかしながら、ユーザCが顔データの再登録処理1を途中でキャンセルして、顔画像を再登録しなかった場合には、破損した顔識別用データを登録ユーザ情報保持部180に残しておいた方が、通知部144が、再度、図15に示す通知画面をユーザCに提示できるというメリットがある。そこで顔データ削除部146は、再登録処理1が完了して、顔識別用データが再登録される際に、破損した顔ファイルを削除するようにしている。この削除のタイミングは、以下の再登録処理2においても同様である。
(顔画像の再登録処理2)
顔画像の再登録処理2では、ログイン処理部134が登録ユーザをログインさせる前に、通知部144が、顔識別用データが破損していることを、その顔識別用データが破損したユーザを特定する情報とともに通知する。該当するユーザCは、ログイン画面において自身の顔識別用データの破損通知を見ることで、再度の顔画像登録処理が必要なことを認識できるようになる。
図16は、ログイン処理1におけるログイン画面を示す。破損判定部142が、ユーザCの顔識別用データが破損していることを判定すると、通知部144が、ログイン画面において、ユーザCの顔識別用データが破損していることを示す破損通知メッセージ270を表示する。
顔画像の再登録処理2では、ユーザのログイン処理中、つまりログイン画面の表示中に通知部144が、ログインしようとするユーザが誰であるかに関係なく、破損通知メッセージ270を通知する。このときログインしようとするユーザがユーザCであれば、ユーザCは入力装置6を操作して破損通知メッセージ270を選択すると、ユーザ選択受付部148が選択操作を受け付ける。これにより顔データ生成部150は、ユーザCに対して図8〜図12に関連して説明した顔登録処理を実行することができ、ユーザCは、顔画像を再登録する。このように破損通知メッセージ270は、顔データ生成部150を起動させるためのGUIとして表示され、ユーザCが破損通知メッセージ270を選択することで、顔画像の登録処理にスムーズに移行できることが好ましい。なおログインしようとするユーザがユーザCでなければ、破損通知メッセージ270を無視すればよい。
なお通知部144が、最初に破損通知メッセージ270を通知したタイミングで、ユーザ選択受付部148が、破損通知メッセージ270の選択操作を受け付けなければ、通知部144は、次回の破損通知メッセージ270の通知タイミングを、所定期間が経過した後(たとえば一週間経過後)としてもよい。破損通知メッセージ270の選択操作がされない場合には、ユーザC以外のユーザがログインしたことが想定されるが、ユーザC以外のユーザに、破損通知メッセージ270を高頻度に見せることは好ましくないとも考えられるため、通知部144は、破損通知メッセージ270をログイン画面が表示される度に通知するのではなく、所定期間経過後に表示されるログイン画面において通知するようにしてもよい。
図17(a)は、ログイン処理2におけるログイン画面を示し、図17(b)は、ログイン処理3におけるログイン画面を示す。これらのログイン画面においても、通知部144は、破損通知メッセージ270を通知する。なお、ログイン処理2、3のログイン画面が生成されるためには、カメラ7の撮像画像に、顔画像を登録したユーザが含まれている必要がある。図17(a)、図17(b)の例では、ユーザA、Bの顔識別用データが登録ユーザ情報保持部180に登録されているため、顔認証部132が、ユーザA、Bを検出することで、これらのログイン画面が表示されている。ここで、真ん中のユーザがユーザCである場合、ユーザCは、カメラ画像をみて、自身に顔枠が設定されておらず、また自身のオンラインID(JIRO)も表示されていないことが認識できる。そこで破損通知メッセージ270を選択することで、ユーザCは、顔画像の登録処理にスムーズに移行できる。
以上のように、顔画像の再登録処理2においては、ユーザCが、ログイン処理中に、すなわちログイン画面において、顔認識用データが破損していることを通知されるため、ユーザCは、ログイン前に、顔データを再登録した方がよいことを知ることができる。顔データ生成部150によりユーザCの顔識別用データの顔ファイルが登録ユーザ情報保持部180に登録されると、ログイン処理部134は、ユーザCをログインさせてよい。
なお再登録処理2において、ユーザCが、図16(a)に示す選択画面からログイン処理1によりログインした後に、再登録処理1が起動してもよい。つまり、この場合には、ユーザCがログイン後、通知部144が、図15に示す通知画面を表示して、ユーザCに顔画像を再登録する機会を与えてもよい。
以上、ユーザCのログイン後に実行される再登録処理1と、ユーザCのログイン処理中に実行される再登録処理2について説明した。なお通知部144は、ログイン画面の表示前に破損通知メッセージ270を通知してもよいし、またホーム画面において破損通知メッセージ270を通知してもよい。
以上、本発明を実施例をもとに説明した。実施例においては、登録ユーザの顔識別用データに破損が生じている場合に、その登録ユーザに顔画像の再登録を促す仕組みについて説明したが、この実施例は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。たとえばユーザがパスコードを登録している場合には、ログイン処理2、3においても、顔認証ログインの際に、ユーザに、パスコードの入力を求めるようにしてもよい。
実施例では、顔データ削除部146が、再登録処理が完了して、顔識別用データが再登録される際に、破損した顔ファイルを削除するようにしていた。変形例では、顔データ削除部146が再登録処理の実行前または完了前に破損した顔ファイルを削除していてもよく、この場合、通知部144が、ユーザCに対して図15に示す通知画面を提示するように制御されてよい。
顔認証ログインでは、顔画像の誤識別を可能な限り少なくすることが好ましい。ここで顔認証部132は、撮像画像に含まれる顔画像の特徴量データと、登録ユーザ情報保持部180から読み出された顔識別用データとの一致度を導出し、一致度が90点を超えていれば、顔認証部132は、撮像されたユーザが、登録ユーザであることを判定する。このとき一致度が90点を超えるものが複数存在する場合には、顔認証部132は、撮像されたユーザが、最高点が導出された顔識別用データの登録ユーザであることを判定する。
そのため、たとえば兄弟のうち、兄が顔識別用データを登録しており、弟が顔識別用データを登録していない場合には、顔認証部132は、兄の顔識別用データに対して、弟の顔画像を高い一致度で評価して、弟が、兄として認証されることも生じうる。このとき弟の顔識別用データが登録されていれば、弟の顔画像は、弟の顔識別用データに対して、より高い一致度を示すため、顔認証部132は、撮像された顔画像が弟であることを適切に判定できる。このように顔認証部132による誤識別の可能性を減らすためには、全ての登録ユーザが顔画像を登録し、顔認証部132が、各ユーザの顔識別用データと、撮像された顔画像との一致度を導出できることが重要となる。
そこで顔画像を登録していないユーザに対しては、以下の条件が成立する場合に、顔データ処理部140が、顔データの登録処理を促すようにしてもよい。なおカメラ7が情報処理装置10に接続されていれば、ユーザが新規のユーザアカウントを生成した後、続けてユーザには顔登録のスタート画面(図8(a)参照)が自動的に提供される。ユーザが、この顔登録のスタート画面でキャンセルボタン(戻るボタン)を操作したり、また顔登録の途中でキャンセルボタンを操作すると、顔データが登録されないため、そのようなユーザに対して、以下の条件が成立する場合に、顔データの登録処理を勧めるようにする。
(条件1)過去、ユーザに顔登録のスタート画面が提供されたにもかかわらず、顔画像を登録していないこと(顔データの登録を行わなかったこと)
(条件2)顔認証によるログイン(つまりログイン処理2、3)をキャンセルしたこと(誤認識されたこと)
条件1は、顔登録処理をキャンセルしたことがあるか否かを判定するためのものであり、顔登録処理をキャンセルしたことがあるか否かを示す情報は、登録ユーザ情報保持部180において、各ユーザに対して登録されていてもよい。
条件2は、顔画像を登録していないユーザ(たとえばユーザD)がログイン処理部134により、顔画像を登録しているユーザと誤認識された結果、ログイン処理2ないし3が起動してしまい、ユーザDが、その顔認証ログイン処理をキャンセルしたことを意味する。
条件1および条件2を満たす、顔画像の未登録ユーザに対しては、通知部144が、顔画像の登録を促す通知画面を生成する。
図18は、顔画像の登録を促す通知画面の一例を示す。通知部144は、条件1および条件2を満たす、顔画像の未登録ユーザが存在する場合に、そのユーザに対して、顔画像の登録を促すメッセージを通知する。実施例では、ユーザDが、顔画像を登録していないが、ユーザDが、条件1および条件2を満たすユーザである場合に、通知部144は、ユーザDのログイン後に、ユーザDに対して通知画面を提示する。
ユーザDが通知画面において、OKボタンを操作すると、顔データ生成部150が、図8〜図12に関連して説明した顔登録処理を実行する。一方、ユーザDが通知画面において、スキップボタンを選択すると、顔登録処理は実行されない。なお、ユーザDが通知画面において顔登録処理をスキップしたことを示す情報は、登録ユーザ情報保持部180において登録される。通知画面におけるスキップボタンの操作は、ユーザDが別のユーザと誤認識されたにも関わらず、それでも顔データの登録を希望しないことを意味しており、したがって、その後、通知部144は、ユーザDが条件1および条件2を満たしたとしても、通知画面において顔登録処理をスキップしたことを示す情報を参照して、ユーザDには通知画面を提示しないようにする。
以上は、顔画像を登録していないユーザに対して、顔画像の登録を勧める例であるが、顔画像を登録しているユーザであっても、誤認識が生じる場合もある。そこで顔識別精度を高めるために、以下の条件が成立する場合には、顔データ処理部140が、顔データの登録済みのユーザに対しても、顔データの追加登録処理を促すようにしてもよい。
(条件3)ログインしたユーザに対して顔認証用のログイン画面を提示しなかったこと(認識されなかったこと)、または、顔認証用のログイン画面を提示したが、顔認識したユーザとは別のユーザとしてログインしたこと(誤認識されたこと)
条件3は、顔画像を登録しているユーザがログイン処理部134により、本人と認識されなかったこと、または、別人と認識されたことを意味する。
条件3を満たす、顔画像の登録ユーザに対しては、通知部144が、顔画像の追加登録を促す通知画面を生成する。
図19は、顔画像の追加登録を促す通知画面の一例を示す。通知部144は、条件3を満たす、顔画像の登録ユーザが存在する場合に、そのユーザに対して、顔画像の追加登録を促すメッセージを通知する。顔画像が追加登録されると、登録処理部156は、これまでの顔識別用データを更新し、現在の顔画像と、より一致度を高めた顔識別用データを再生成する。実施例では、ユーザBが、顔画像を登録しているが、ユーザBが、条件3を満たすユーザである場合に、通知部144は、ユーザBのログイン後に、ユーザBに対して通知画面を提示する。
ユーザBが通知画面において、OKボタンを操作すると、顔データ生成部150が、図8〜図12に関連して説明した顔登録処理を実行する。一方、ユーザBが通知画面において、スキップボタンを選択すると、顔登録処理は実行されない。なお、ユーザBが通知画面において顔登録処理をスキップしたことを示す情報は、登録ユーザ情報保持部180において登録される。通知画面におけるスキップボタンの操作は、ユーザBが本人と認識されなかった、または別のユーザと誤認識されたにも関わらず、それでも顔データの追加登録を希望しないことを意味しており、したがって、その後、通知部144は、ユーザBが条件3を満たしたとしても、通知画面において顔登録処理をスキップしたことを示す情報を参照して、ユーザBには通知画面を提示しないようにする。
1・・・情報処理システム、6・・・入力装置、7・・・カメラ、10・・・情報処理装置、85・・・発光部、100・・・処理部、102・・・通信部、104・・・入力受付部、106・・・画像取得部、108・・・マイク、120・・・ログイン制御部、122・・・発光色決定部、124・・・処理決定部、126・・・選択画像表示部、128・・・撮像画像表示部、130・・・顔データ読出部、132・・・顔認証部、134・・・ログイン処理部、136・・・ログインユーザ記憶部、140・・・顔データ処理部、142・・・破損判定部、144・・・通知部、146・・・顔データ削除部、148・・・ユーザ選択受付部、150・・・顔データ生成部、152・・・顔枠表示部、154・・・案内表示部、156・・・登録処理部、180・・・登録ユーザ情報保持部。
本発明は、ユーザの顔識別用データを用いてユーザをログインさせる情報処理技術に利用できる。

Claims (8)

  1. 撮像装置から撮像画像を取得する画像取得部と、
    登録ユーザの顔識別用データを保持する登録ユーザ情報保持部と、
    前記登録ユーザ情報保持部に保持された顔識別用データを用いて、撮像画像に存在する登録ユーザの顔画像を検出する顔認証部と、
    登録ユーザをログインさせるログイン処理部と、を備えた情報処理装置であって、
    前記登録ユーザ情報保持部に保持された顔識別用データが破損しているか否かを判定する破損判定部と、
    顔識別用データが破損していることが判定された場合に、顔識別用データが破損していること、および破損のタイプを特定する情報を通知する通知部と、をさらに備えることを特徴とする情報処理装置。
  2. 前記ログイン処理部は、登録ユーザが顔識別用データを前記登録ユーザ情報保持部に登録している場合には、前記顔認証部による顔画像の検出結果を用いて登録ユーザのログイン処理を行い、一方で、登録ユーザが顔識別用データを前記登録ユーザ情報保持部に登録していない場合には、前記顔認証部による顔画像の検出結果を用いずに登録ユーザのログイン処理を行うことを特徴とする請求項1に記載の情報処理装置。
  3. 前記破損判定部が、前記ログイン処理部がログインさせた登録ユーザの顔識別用データの破損を判定すると、前記通知部が、顔識別用データが破損していることを、ログインした登録ユーザに通知することを特徴とする請求項1または2に記載の情報処理装置。
  4. 前記破損判定部が、顔識別用データの破損を判定すると、前記ログイン処理部が登録ユーザをログインさせる前に、前記通知部が、顔識別用データが破損していることを、顔識別用データが破損したユーザを特定する情報とともに通知することを特徴とする請求項1または2に記載の情報処理装置。
  5. 前記通知部による通知の後、顔識別用データの登録処理を行う顔データ生成部をさらに備えることを特徴とする請求項1から4のいずれかに記載の情報処理装置。
  6. 前記顔データ生成部が、生成した顔識別用データを前記登録ユーザ情報保持部に登録する際に、破損した顔識別用データを前記登録ユーザ情報保持部から削除するデータ削除部をさらに備えることを特徴とする請求項5に記載の情報処理装置。
  7. コンピュータに、
    撮像装置から撮像画像を取得する機能と、
    登録ユーザ情報保持部に保持された登録ユーザの顔識別用データを用いて、撮像画像に存在する登録ユーザの顔画像を検出する機能と、
    登録ユーザをログインさせる機能と、
    登録ユーザ情報保持部に保持された顔識別用データが破損しているか否かを判定する機能と、
    顔識別用データが破損していることが判定された場合に、顔識別用データが破損していること、および破損のタイプを特定する情報を通知する機能と、
    を実現させるためのプログラム。
  8. 請求項7に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2016535811A 2014-07-24 2015-03-16 情報処理装置 Active JP6092485B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014151129 2014-07-24
JP2014151129 2014-07-24
PCT/JP2015/057740 WO2016013249A1 (ja) 2014-07-24 2015-03-16 情報処理装置

Publications (2)

Publication Number Publication Date
JP6092485B2 true JP6092485B2 (ja) 2017-03-08
JPWO2016013249A1 JPWO2016013249A1 (ja) 2017-04-27

Family

ID=55162788

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016535811A Active JP6092485B2 (ja) 2014-07-24 2015-03-16 情報処理装置

Country Status (3)

Country Link
US (1) US10248846B2 (ja)
JP (1) JP6092485B2 (ja)
WO (1) WO2016013249A1 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102559017B1 (ko) 2007-09-24 2023-07-25 애플 인크. 전자 장치 내의 내장형 인증 시스템들
US8600120B2 (en) 2008-01-03 2013-12-03 Apple Inc. Personal computing device control using face detection and recognition
US9002322B2 (en) 2011-09-29 2015-04-07 Apple Inc. Authentication with secondary approver
US9898642B2 (en) 2013-09-09 2018-02-20 Apple Inc. Device, method, and graphical user interface for manipulating user interfaces based on fingerprint sensor inputs
US10043185B2 (en) 2014-05-29 2018-08-07 Apple Inc. User interface for payments
JP6573193B2 (ja) * 2015-07-03 2019-09-11 パナソニックIpマネジメント株式会社 判定装置、判定方法、および判定プログラム
DK179186B1 (en) 2016-05-19 2018-01-15 Apple Inc REMOTE AUTHORIZATION TO CONTINUE WITH AN ACTION
US10621581B2 (en) 2016-06-11 2020-04-14 Apple Inc. User interface for transactions
CN109313759B (zh) 2016-06-11 2022-04-26 苹果公司 用于交易的用户界面
DK201670622A1 (en) 2016-06-12 2018-02-12 Apple Inc User interfaces for transactions
US10496808B2 (en) 2016-10-25 2019-12-03 Apple Inc. User interface for managing access to credentials for use in an operation
EP4155988A1 (en) 2017-09-09 2023-03-29 Apple Inc. Implementation of biometric authentication for performing a respective function
KR102185854B1 (ko) 2017-09-09 2020-12-02 애플 인크. 생체측정 인증의 구현
US11170085B2 (en) * 2018-06-03 2021-11-09 Apple Inc. Implementation of biometric authentication
JP7185130B2 (ja) * 2018-07-06 2022-12-07 フリュー株式会社 管理サーバ、携帯端末、管理サーバの制御方法、携帯端末の制御方法、制御プログラム、および記録媒体
CN109118616A (zh) * 2018-07-09 2019-01-01 深圳市商汤科技有限公司 门禁控制方法及门禁控制装置
JP6479245B1 (ja) * 2018-07-31 2019-03-06 株式会社メルカリ プログラム、情報処理方法、情報処理装置
JP6490860B1 (ja) * 2018-07-31 2019-03-27 株式会社メルカリ プログラム、情報処理方法、情報処理装置
JP6481073B1 (ja) * 2018-07-31 2019-03-13 株式会社メルカリ プログラム、情報処理方法、情報処理装置
US11100349B2 (en) 2018-09-28 2021-08-24 Apple Inc. Audio assisted enrollment
US10860096B2 (en) 2018-09-28 2020-12-08 Apple Inc. Device control using gaze information
US11816194B2 (en) 2020-06-21 2023-11-14 Apple Inc. User interfaces for managing secure operations
US11367306B1 (en) * 2020-06-23 2022-06-21 Amazon Technologies, Inc. System to determine user engagement with autonomous mobile device
KR102472956B1 (ko) 2020-08-25 2022-12-01 네이버 주식회사 사용자 인증 방법 및 시스템
CN113160162B (zh) * 2021-04-14 2022-02-18 深圳远荣智能制造股份有限公司 应用于工件的孔识别方法、孔识别装置和孔处理设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09147110A (ja) * 1995-11-21 1997-06-06 Fujitsu Denso Ltd 指紋照合方法
JP2000137818A (ja) * 1998-11-04 2000-05-16 Ntt Data Corp パターン認識方式
JP2002032755A (ja) * 2000-07-19 2002-01-31 Nippon Telegr & Teleph Corp <Ntt> 本人認証システム、本人認証装置、および、本人認証方法
JP2004240632A (ja) * 2003-02-05 2004-08-26 Fuji Photo Film Co Ltd Icカード
JP2005129043A (ja) * 2003-10-02 2005-05-19 Fuji Photo Film Co Ltd 画像処理方法および装置ならびにプログラム
JP2005242677A (ja) * 2004-02-26 2005-09-08 Ntt Comware Corp 複合認証システムおよびその方法ならびにプログラム
JP2007226327A (ja) * 2006-02-21 2007-09-06 Oki Electric Ind Co Ltd 個人識別装置,個人識別方法
JP2010067008A (ja) * 2008-09-10 2010-03-25 Oki Electric Ind Co Ltd 撮像管理システム、撮像管理方法、認証システム及び認証方法
US20100208950A1 (en) * 2009-02-17 2010-08-19 Silvester Kelan C Biometric identification data protection
WO2010140191A1 (ja) * 2009-06-02 2010-12-09 株式会社新興機材 情報通信ネットワーク
JP2013161104A (ja) * 2012-02-01 2013-08-19 Hitachi Media Electoronics Co Ltd 生体認証システム、生体認証装置、および、生体認証方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010208950A (ja) 2009-03-06 2010-09-24 Nippon Zettoc Co Ltd 化粧料およびその製造方法
US8368555B2 (en) * 2009-11-19 2013-02-05 Silver Spring Networks, Inc. Utility network interface device configured to detect and report abnormal operating condition
US8572707B2 (en) * 2011-08-18 2013-10-29 Teletech Holdings, Inc. Multiple authentication mechanisms for accessing service center supporting a variety of products
RU2543950C2 (ru) * 2011-12-28 2015-03-10 Кэнон Кабусики Кайся Устройство формирования изображения и способ управления указанным устройством
KR101341243B1 (ko) * 2012-04-04 2013-12-12 (주) 넥스트칩 기상 현상으로 인해 훼손된 영상을 복원하는 장치 및 방법
JP6036335B2 (ja) * 2013-01-24 2016-11-30 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
US9098914B2 (en) * 2013-03-11 2015-08-04 Gates Corporation Enhanced analysis for image-based serpentine belt wear evaluation

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09147110A (ja) * 1995-11-21 1997-06-06 Fujitsu Denso Ltd 指紋照合方法
JP2000137818A (ja) * 1998-11-04 2000-05-16 Ntt Data Corp パターン認識方式
JP2002032755A (ja) * 2000-07-19 2002-01-31 Nippon Telegr & Teleph Corp <Ntt> 本人認証システム、本人認証装置、および、本人認証方法
JP2004240632A (ja) * 2003-02-05 2004-08-26 Fuji Photo Film Co Ltd Icカード
JP2005129043A (ja) * 2003-10-02 2005-05-19 Fuji Photo Film Co Ltd 画像処理方法および装置ならびにプログラム
JP2005242677A (ja) * 2004-02-26 2005-09-08 Ntt Comware Corp 複合認証システムおよびその方法ならびにプログラム
JP2007226327A (ja) * 2006-02-21 2007-09-06 Oki Electric Ind Co Ltd 個人識別装置,個人識別方法
JP2010067008A (ja) * 2008-09-10 2010-03-25 Oki Electric Ind Co Ltd 撮像管理システム、撮像管理方法、認証システム及び認証方法
US20100208950A1 (en) * 2009-02-17 2010-08-19 Silvester Kelan C Biometric identification data protection
WO2010140191A1 (ja) * 2009-06-02 2010-12-09 株式会社新興機材 情報通信ネットワーク
JP2013161104A (ja) * 2012-02-01 2013-08-19 Hitachi Media Electoronics Co Ltd 生体認証システム、生体認証装置、および、生体認証方法

Also Published As

Publication number Publication date
US10248846B2 (en) 2019-04-02
US20170169287A1 (en) 2017-06-15
WO2016013249A1 (ja) 2016-01-28
JPWO2016013249A1 (ja) 2017-04-27

Similar Documents

Publication Publication Date Title
JP6092485B2 (ja) 情報処理装置
JP6324939B2 (ja) 情報処理装置およびログイン制御方法
JP5920894B2 (ja) 情報処理装置および顔識別用データの登録方法
JP6000805B2 (ja) 情報処理装置
US10362028B2 (en) Information processing apparatus
EP2919103B1 (en) Information processing device, information processing method and computer-readable recording medium
US9922184B2 (en) Information processing apparatus
JP6001132B2 (ja) 情報処理装置
JP2015201131A (ja) 情報処理装置
US20200167007A1 (en) Character string input system
JP5968834B2 (ja) 情報処理装置
US20190266887A1 (en) Remote control system, remote control method, and program
US20200147483A1 (en) Interactive gaming system
JP6452750B2 (ja) 情報処理装置および処理方法
JP2019090943A (ja) 情報処理装置およびプログラム
JPWO2018150757A1 (ja) 情報処理システム、情報処理方法、およびプログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20170131

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20170208

R150 Certificate of patent or registration of utility model

Ref document number: 6092485

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250