WO2005022462A1

WO2005022462A1 - 使用者認証機能付き電子機器

Info

Publication number: WO2005022462A1
Application number: PCT/JP2004/012884
Authority: WO
Inventors: Shin Yamada; Kaoru Morita; Kenji Nagao; Megumi Yamaoka; Keisuke Hayata
Original assignee: Matsushita Electric Industrial Co., Ltd.
Priority date: 2003-09-01
Filing date: 2004-08-30
Publication date: 2005-03-10
Also published as: EP1662438A1; CN1846228A

Abstract

本発明の課題は、顔画像情報を用いた利用者の認証を行う電子機器であって、認証画像の登録及び認証動作を楽しみながら行うことができる電子機器を提供することである。撮像部（５）を介して入力した顔画像データを、不揮発性メモリ（４）の照合用データと比較し、使用者の認証を行う。電子機器（１００）は、キャラクタを模擬して表示部（６）に表示する機能を有する。また、認証の正解率を向上させるために使用者の新しい顔画像の撮影が必要かつ可能であるかどうかの判断を行う取得開始判断機能を有し、必要かつ可能であると判断されたときに、キャラクタ画像を表示部（６）に表示し、照合用データの取得を開始するかどうか使用者に通知する。また、照合処理を行う場合、キャラクタ画像を表示部（６）に表示させる。

Description

明細書使用者認証機能付き電子機器く技術分野 >

本発明は、使用者認証機能付き電子機器であって、使用者の顔画像による認証処理を行う電子機器に関する。ぐ背景技術 >

携帯電話機等の電子機器を、利用者本人以外の人物が使用できないように使用制限する場合、本人認証を行う。本人認証方法としては、パスワードによるものや、人体の特徴を示す指紋、声紋、虹彩等のバイオメトリック情報を利用するものが知られている。

携帯電話機に指紋を利用した本人認証技術を適用したものが、特許文献 1に記載されている。また、認証用のバイオメトリック情報として顔画像を利用するものが、特許文献 2に記載されている。

し力、し、指紋、声紋、虹彩等を利用する場合、それらの情報を入力するために手段としてかなり高精度のものが必要であり、コストアップにつながる。バイオメトリック情報として顔画像を利用する場合、携帯電話機に設けられるような力メラを入力手段として利用できるが、顔画像によって確実な本人認証を行うためには、複数の照合用画像の登録が必要である。すなわち、認証のために撮影される顔画像は、撮影場所、時間等によって異なるので、予め複数の条件で撮影しておくことが重要である。このような複数の顔画像の登録は、利用者にとって負担であるとともに、どの程度登録すれば充分であるかの判断も困難である。

—方、パスワードによる本人認証は、手軽に採用できるが、利用者にとって面白味に欠ける。

また、楽しみながら不正使用の防止をするものとしては、特許文献 3に、ぺット飼育ゲームが所定の状態になったことを条件として、電話機能を停止させるようにした携帯電話機が記載されている。この携帯電話機は、ペット飼育ゲームが所定の状態になるまで一定の時間経過が必要であり、その間のセキュリティが問題である。なお、ペット等の仮想的なキャラクタとの間でコミュニケーションを行う電子機器としては、特許文献 3の他に特許文献 4及び特許文献 5に記載されたものが提案されている。

(特許文献 1) 特開 2002— 44727号公報

(特許文献 2) 特開 2002— 26 1 914号公報

(特許文献 3) 特開 2003— 169 1 32号公報

(特許文献 4) 国際公開第 00Z5328 1号パンフレット

(特許文献 5 ) 特開 2001— 5 1 970号公報

本発明は、上記事情に鑑みなされたもので、顔画像情報を用いた利用者の認証を行う電子機器であって、認証画像の登録及び認証動作を楽しみながら行うことができる電子機器を提供することを目的とする。

<発明の開示 >

本発明の電子機器は、使用者を認証して適正な使用者かどうかを判定する機能を有する使用者認証機能付き電子機器であって、使用者の顔画像を撮影可能な撮像手段と、適正な使用者の顔画像データである照合用データを記憶する照合画像記憶手段と、前記照合用データの取得処理、及び前記撮像手段によって撮影された入力画像データと前記照合用データとの照合処理を含む使用者認証処理を行う認証処理手段と、新しい照合用データの取得が必要であるかどうかの必要性判断処理、及び必要な照合用データの元になる顔画像の撮影が可能かどうかの可能性判断処理を行う取得開始判断手段と、キャラクタを模擬するキャラクタ模擬手段と、前記キャラクタ模擬手段が模擬する前記キャラクタの画像の表示が可能な表示手段とを備え、前記認証処理手段は、前記必要性判断処理及ぴ前記可能性判断処理の結果から、前記新しい照合用データの取得が必要であり、かつ、前記必要な照合用データの元になる顔画像の撮影が可能である場合に、キャラクタ画像を前記表示手段に表示して、前記取得処理を開始するかどうか使用者に通知するものである。本発明によれば、キャラクタとのコミュュケーシヨンを楽しみながら使用者の照合用データの取得処理がなされる。また、照合の正解率の向上が期待できる場合に新しい照合用データの取得が必要であると判断するように、必要性判断処理の判断基準を設定しておくことで、ユーザが意識しなくても自然に照合の正解率を向上させることができる。したがって、使用者の照合用データの取得処理、つまり顔画像の登録処理を行う際の煩わしさを軽減することができる。本発明の電子機器は、前記認証処理手段が、前記記憶処理時及び前記照合処理時に、前記キャラクタ画像を前記表示手段に表示させて、ユーザに応答する処理を含むものである。本発明によれば、仮想的なキャラクタとのコミュニケーションを楽しみながら使用者の認証処理がなされる。また、照合用データの取得処理も、同様に仮想的なキャラクタとのコミュニケーシヨンを楽しみながら行うことができる。したがって、使用者の認証をする際の煩わしさを軽減することができる。

本発明の電子機器は、前記照合用データが、顔の部位毎の部分領域画像データ又は顔の部位毎の特徴データを含み、前記認証処理手段の前記照合処理は、前記入力画像データから抽出した顔の部位毎の画像データと前記照合データとの類似度の算出を含むものを含む。本発明によれば、撮影手段で顔を撮影するだけで照合処理がなされるので、ユーザにとつて難しい操作をせずに照合を行うことができる。

本発明の電子機器は、前記照合用データが、撮影日時又は撮影場所が異なる複数の撮影画像データから作成されたものである。本発明によれば、照合用データを撮影条件に応じて体系的に記憶させるので、顔画像による使用者の認証精度を向上させることができる。

本発明の電子機器は、前記認証処理手段の前記取得処理が、予め定めた撮影日時又は撮影場所での適正な使用者の顔画像の撮影支援処理を含むものを含む。本発明によれば、撮影条件毎の照合用データを効率的に記憶させることができる。本発明の電子機器は、前記必要性判断処理又は前記可能性判断処理が、日時又は撮影場所の情報を使った判断であることを特徴とする。本発明によれば、複数の撮影日時、撮影場所で適正な利用者の顔画像を撮影できるので、使用者の認証精度を向上させることができる。本発明によれば、顔画像情報を用いた利用者の認証を行う電子機器であって、認証画像の登録及び認証動作を楽しみながら行うことができる電子機器を提供することができる。

<図面の簡単な説明 >

図 1は、本発明の実施の形態のカメラ付き携帯電話機の概略構成を示す図である。

図 2は、本発明の実施の形態のカメラ付き携帯電話機の照合用データの項目例を示す図である。

図 3は、本発明の実施の形態のカメラ付き携帯電話機の照合用データの撮影曰時と撮影場所の設定区分の一例を示す図である。

図 4は、本発明の実施の形態の力メラ付き携帯電話機の操作部の操作を行つた場合の概略動作フローを示す図である。

図 5は、本発明の実施の形態のカメラ付き携帯電話機の顔画像データの照合処理の概略フローを示す図である。

図 6は、本発明の実施の形態のカメラ付き携帯電話機の照合用データの記憶処理の概略フローを示す図である。

図 7は、本発明の実施の形態のカメラ付き携帯電話機において、操作部の操作に応じた応答を行う場合の表示部の表示例を示す図である。

なお、図中の符号 1は制御部、 2は R OM、 3は R AM、 4は不揮発性メモリ、 5は撮像部、 6は表示部、 7は操作部、 1 0は内部バス、 2 0は通信部、 2 1はアンテナ、 3 0は音声処理部、 3 1はマイクロホン、 3 2はスピーカ、 1 0 0はカメラ付き携帯電話機である。

<発明を実施するための最良の形態 >

以下、本発明の実施の形態について、図面を用いて説明する。この実施の形態では、適用する電子機器がカメラ付き携帯電話機であるが、適用対象はカメラ付き携帯電話機に限らず、撮像手段を備える電子機器であればよい。

図 1は、本発明の実施の形態の電子機器であるカメラ付き携帯電話機の概略構成を示す図である。図 1のカメラ付き携帯電話機 1 0 0は、制御部 1、 R OM 2、 R AM 3、不揮発性メモリ 4、撮像部 5、表示部 6、操作部 7、内部バス 1 0、通信部 2 0、アンテナ 2 1、音声処理部 3 0、マイクロホン 3 1、スピーカ 3 2 を含む。

制御部 1は、携帯電話機 1 0 0全体の動作を制御するものであり、所定のプログラムを実行するプロセッサ（図示せず）を主体に構成される。制御部 1は、携帯電話機 1 0 0の各要素相互間の内部バス 1 0を介したデータや命令の授受の制御を行う。また、制御部 1は、撮像部 5で撮影された使用者の顔画像データと、不揮発性メモリ 4に記憶された適正な使用者の顔画像データを用いた認証処理機能を有する。さらに、使用者の新しい顔画像データの撮影が必要かつ可能であるかどうかの判断を行う取得開始判断機能を有する。また、仮想的なキャラクタを模擬する機能を有する。仮想的なキャラクタを模擬する機能は、育成ゲーム機能の実現と同様の方法で実現できるので、詳細な説明は省略する。キャラクタの行動を模擬した画像を出力する場合は、表示部 6を介して出力し、キャラクタの行動を模擬した音声を出力する場合は、音声処理部 3 0、スピーカ 3 2を介して出力する。

R OM 2は、制御部 1を構成するプロセッサによって実行されるプログラムや携帯電話機 1 0 0で利用する各種データを記憶する。 R AM 3は、データを一時的に記憶するメモリであり、制御部 1による各種処理を実行する際のワークメモリとしても利用される。不揮発性メモリ 4は、例えば E E P R OMで構成され、後述する適正使用者の顔画像データである照合用データ、キャラクタの行動を模擬した画像を出力する場合の画像データ等を記憶するとともに、利用者がカメラ付き携帯電話機 1 0 0を利用する際の各種データファイル用としても利用される。撮像部 5は、レンズ等の光学系、撮像素子、画像処理部（いずれも図示せず）等を含み、撮影画像信号に基づくデジタル画像データを出力するものである。撮像部 5は、従来からのカメラ付き携帯電話機に設けられるものと同様のものであり、通常の撮影モード時の動作も同様である。すなわち、撮影モード時のスルー画像は表示部 6に表示され、操作部 7のシャッターボタンを操作すると、その時の撮影画像信号に基づくデジタル画像データが R AM 3に一時的に保持され、操作部 7から保存を支持すると、不揮発性メモリ 4に記憶される。なお、このような撮影動作を行うカメラ付き携帯電話機は周知であるので、詳細な説明は省略する。

撮像部 5は、不揮発性メモリに記憶される照合用データの取得に利用される。また、携帯電話機 1 0 0の使用者の認証時の顔画像データの取得にも利用される。このような認証処理に利用する場合には、表示部 6の表示画面を見ながら操作する場合が多いので、撮像部 5のレンズは、表示部 6の表示面側に向けられているのが好ましい。撮像部 5を複数設け、そのうちの 1つを表示部 6の表示面側撮影用としたり、撮像部 5の撮影方向を可変とし、認証処理時に表示部 6の表示面側を撮影方向とすることにより、実現できる。

表示部 6は、携帯電話機 1 0 0の各種情報を表示するもので、表示を行う液晶表示パネルとこの液晶表示パネルを駆動する表示制御回路（いずれも図示せず）とから構成される。

操作部 7は、利用者が携帯電話機 1 0 0を操作するための指令やデータの入力するためのものであり、電話番号や各種データを入力するためのテンキー、各種のファンクションキー等を含む。これらのキーは、動作モードによって異なる機能を有し、通常の撮影モード時のシャッターボタンやズームボタンの機能、後述する認証処理時の画像撮影及び各種データの入力キーとしても機能する。また、制御部 1によって模擬される仮想的なキャラクタとのコミュニケーションを行うためのデータ入力にも利用される。

アンテナ 2 1と接続された通信部 2 0は、外部との無線通信を行うもので、送信データを搬送波に乗せてアンテナ 2 1から送信し、またアンテナ 2 1で受信した受信データを復調するものである。復調したデータが音声データである場合は、音声処理部 3 0に送られ、その他のデータである場合は、制御部 1の制御により、内部バス 1 0を介して制御部 1、 R AM 3、不揮発性メモリ 4等に送られる。また、送信データは、音声処理部 3 0から直接又は他の要素から内部パス 1 0を介して入力される。

音声処理部 3 0は、マイクロホン 3 1から入力された音声信号をデジタルデータに変換し、送信データとして通信部 2 0へ出力するとともに、通信部 2 0から出力された受信データ（音声データ）をアナログ音声信号に変換し、スピーカ 3 2へ出力するものである。また、マイクロホン 3 1からの音声信号に基づくデジタルデータを、内部バス 1 0を介して制御部 1等に送るとともに、内部パス 1 0 介して入力されるデジタルデータを音声信号に変換し、スピーカ 3 2に出力することも可能である。

次に、図 1のカメラ付き携帯電話機 1 0 0の動作について説明する。この携帯電話機 1 0 0は、音声による通話を行うだけでなく、撮像部 5を利用するカメラ機能、通信部 2 0を利用するデータ通信機能を有する。これらの機能は、操作部 7の所定のキーを操作することにより、選択的に動作可能である。なお、音声通話機能、カメラ機能、データ通信機能は、従来のものと同様であるので、説明を省略する。また、携帯電話機 1 0 0は、使用者認証機能を備えており、適正な使用者以外は使用制限をすることが可能となっている。使用制限は、携帯電話機 1 0 0のすベての機能について制限してもよいし、一部のみの機能について制限してもよい。適正な使用者であるかどうかは、使用者の顔画像の比較により行うとともに、パスワードの入力によっても行う。

使用者の顔画像の比較による認証には、適正な使用者の顔画像データを使用するので、まず、不揮発性メモリ 4に記憶される照合用データについて説明する。照合用データは、携帯電話機 1 0 0の適正な使用者が、少なくとも 1枚の自分の顔画像を撮像部 5で撮影し、その画像データ又は特徴データを予め記憶させておくものである。

照合用データは、例えば、個別顔情報と平均顔情報を含む。個別顔情報は、撮影した顔画像 1枚毎のデータを、図 2に示すような項目毎に分析したデータである。例えば、目、鼻、口、耳、眉等についてはそれらの頂点座標を、輪郭については輪郭線上の複数の点座標と、髪型については髪領域とそれ以外の領域を²値で区別したデータを、照合用データとして利用することが可能である。また、要素配置データとしては、目、鼻、口等の代表的な要素の相対位置データを照合用データとして記憶する。なお、目、鼻、口、耳、眉等については、頂点座標ではなく、縮小した画像を照合用データにしてもよい。例えば目であれば、目を含むように目周辺の画像を切出して縮小した画像を照合用データとしてもよい。照合用データは、使用者の認証時に撮影されて取得される顔画像データと個別に比較され、類似度が算出されるものである。適正な使用者であるかどうかを判定するためには、撮影日時や撮影場所が異なる複数の顔画像を記憶しておくのが好ましい。図 3に、撮影日時と撮影場所の設定区分の一例を示す。これらの区分の組み合わせ毎に 1又は複数枚の顔画像データあるいは特徴データを記憶しておくと、撮影条件、使用者の顔の状態等にかかわらず、確実に適正な使用者かどうかの判別が期待できる。

なお、顔画像データによる認証は、適正使用者の照合用データを複数区分で複数枚記憶させたあとに、利用可能とするのが好ましいが、 1枚だけの記憶後に利用可能としてもよい。また、撮影日時と撮影場所の設定区分の組み合わせによる顔画像の撮影を、所定の種類だけ行うことによって初めて顔画像認証が有効になるようにすると、認証のための顔画像撮影自体をゲーム感覚で楽しみながら行うことができる。

平均顔情報は、複数枚の適正使用者の顔画像データを図 2に示す項目毎に分析し、それらの項目毎のデータを複数の顔画像データについて平均したものである。したがって、適正使用者の平均的な顔画像の特徴を示す。

続いて、携帯電話機 1 0 0の動作について図 4ないし図 6を用いて説明する。図 4は、使用者が操作部 7の操作を行った場合の概略動作フローを示す図である。図 4の動作は、制御部 1のプログラムによって制御される。携帯電話機 1 0 0は、通話機能を除く機能について適正な使用者以外の使用を制限する機能を有し、適正な使用者がどうかの認証は、使用者の顔画像データの入力、又はパスワードの入力によって行うものととして説明する。

操作部 7の操作が行われると、その操作が通話処理についての操作かどうかを判断する（ステップ S 4 0 1 ) 。すなわち、通話受信に対する着信操作であるか通話発信のための操作であるかどうかを判断する。通話操作でないと判断された場合、携帯電話機 1 0 0が機能制限モードであるか、すなわち適正な使用者以外の使用を制限するモードに設定されているかどうかを判断する（ステップ S 4 0

2 ) 。機能制限モードに設定されている場合は、顔画像による使用者認証が可能どうかを判断する（ステップ S 4 0 3 ) 。このステップでは、例えば、照合用データ力図 3に示す撮影日時と撮影場所の設定区分の所定数の組み合わせについて、不揮発性メモリ 4に記憶されているかどうかを判断する。なお、このような判断は必ずしも必須ではなく、不揮発性メモリ 4に少なくとも 1枚の照合用データが記憶されている場合には、使用者認証が可能としてもよい。

顔画像による使用者認証が可能な場合、ステップ S 4 0 4で、使用者の顔画像の撮影を行い、撮影した顔画像データを入力する。顔画像の撮影に際しては、認証のための画像撮影が必要なこと、及び撮影の方法等を示す情報を表示するように、仮想的キャラクタの行動を模擬した画像を表示部 6に表示させてもよい。合わせて、音声情報をスピーカ 3 2から出力してもよい。

図 7に、その場合の表示例を示す。図 7の例では、制御部 1が模擬するキャラクタが猫であり、操作部 7の操作が行われるまでは、図 7 ( a ) に示すように、寝ていたり、勝手に遊んでいる画像が表示される。顔画像による認証処理が必要な場合は、図 7 ( b ) に示すように正面を向いて質問等をする。

そして、「X (適正使用者の名前）さんじやないと使えないんだけど、君は X さん？」のように問い合わせ、使用者が所定のキー (例えば、「確定」キー）を操作して、 Xである旨の応答をすると、「確かめるから、顔を見せて？」と応答し、撮像部 5による顔画像撮影状態に移行する。顔画像の撮影状態に移行するときには、撮影すべき構図を図 7 ( c ) のように表示させてもよい。

使用者がシャッターボタンを操作して使用者の顔画像を撮影し、画像データが R AM 3に記憶されると、ステップ S 4 0 5では、 R AM 3に記憶された画像データと不揮発性メモリ 4に記憶された照合用データとの照合処理を行い、撮影され、入力された顔画像データが適正な使用者の顔画像データであるかどうかを判断する。照合処理及び適正な使用者であるかの判断については、後述する。入力された顔画像データが適正な使用者本人の顔画像であると判断されると (ステップ S 4 0 6 )、「確かに Xさんだね。使っていいよ。」等の応答を行い、不揮発性メモリ 4に記憶された照合用データの更新を行う（ステップ S 4 0 7 )。この更新処理はスキップすることも可能であり、記憶されていない撮影日時や撮影場所での顔画像である場合のみ行ってもよい。

なお、制御部 1によって模擬されるキャラクタは、猫などの現実の生物を模擬したものでも、想像上の生物を模擬したものでも、口ポット等の無生物を模擬したものでもよい。このようなキャラクタを模擬した画像を表示する技術は、各種ゲーム装置において周知であるので説明を省略する。また、キャラクタからのメッセージを文字によって表示するだけでなく、音声によって出力させてもよい。ステップ S 4 0 8では、操作部 7に応じた各種処理が可能となっているので、使用者は任意の処理を行わせることができる。機能制限モードの設定及び解除も操作可能である。また、この状態で、携帯電話機 1 0 0は、必要に応じて照合用データの記憶処理を行う（ステップ S 4 0 9 ) 。ステップ S 4 0 9の記憶処理については後述する。

次いで、ステップ 4 1 0で、携帯電話機 1 0 0の終了操作がされたかどうかを判断し、終了である場合は、終了し、そうでない場合は、ステップ S 4 0 8へ戻る。

ステップ S 4 0 6で、入力された顔画像データが適正な使用者本人の顔画像でないと判断されると、パスワードの入力を促す表示がされる。例えば、「本当に Xさん？ Xさんならパスワードを入力して」のような指示が表示される。

パスワードが入力されると（ステップ S 4 1 1 ) 、パスワードの照合処理が行われ（ステップ S 4 1 2 ) 、適正な使用者であるかどうかが判断される。なお、照合すべきパスワードは、予め設定され、不揮発性メモリ 4に記憶させておく。パスヮードの照合結果、パスヮードの入力者が適正な使用者本人であると判断されると（ステップ S 4 0 6 ) 、「本当に Xさんだつたんだね。使っていいよ。 J 等の応答を行い、ステップ S 4 0 8に移行する。また、適正な使用者でないと判断された場合は、ステップ S 4 1 4でエラー処理を行う。このステップでは、例えば、「目元が違うから Xさんじやないね。使用できないよ。」等の応答を行い、勝手な行動の表示画面に移行する。

ステップ S 4 0 2で、携帯電話機 1 0 0が機能制限モードに設定されていないと判断された場合は、ステップ S 4 0 8に移行し、操作部 7の操作を待つ。また、ステップ S 4 0 1で、操作部 7の操作が通話処理についての操作であると判断された場合は、ステップ S 4 1 6で通話終了操作を検出するまで、通話処理を行う (ステップ S 4 1 5 ) 。

次に、ステップ S 4 0 4の顔画像データの照合処理について、図 5の概略フロ一図を用いて説明する。ステップ S 5 0 1では、 R AM 3に記憶された顔画像データから、顔部位毎の画像データを抽出する。抽出する項目は、図 2に示した項目である。そして、照合用データと項目毎に比較し、項目毎の類似度を求める（ステツプ S 5 0 2 ) 。ステップ S 5 0 3では、項目毎の類似度に基づき、顔画像を撮影した使用者が適正な使用者である確からしさを示すマツチングスコアを演算する。

照合用データとの比較に際しては、個別顔情報と比較する。そして、ほぼ一致する項目（類似度が閾値以上になる）の数を求め、その数をマッチングスコアとする。いずれかの個別顔情報との類似度に基づくマッチングスコアが大きい場合には、適正な使用者であると判断する。

個別顔情報との比較で充分高いマッチングスコアが得られない場合には、複数枚の適正な使用者の顔画像データの項目毎の分析結果の平均値である平均顔情報との比較を行う。そして、項目毎の類似度の荷重平均をマッチングスコアとする。マッチングスコアが大きい場合に適正な使用者であると判断する点は、個別顔情報の場合と同様であるが、全ての項目の類似度が所定値以上であるとの条件を付加してもよい。

なお、以上の照合処理基準は一例であり、要求する本人認証の精度等によって適宜変更可能である。例えば、先に平均顔情報との比較を行ってもよいし、個別顔情報との比較と平均顔情報との比較の両方を行い、両方から得られるマツチングスコアが所定値以上の場合に適正な使用者であると判断するようにしてもよい。また、照合用データの統計量を使って比較してもよい。例えば、照合用データが顔の部位毎の縮小画像を含むように構成しておく。このとき一つの顔の一つの部位の縮小画像の各画素の濃度値を並べて n次元の縦べクトル Xを作ることができる。 P枚（ただし！）は nより小さい）の顔の同一部位の縮小画像を不揮発メモリ 4から読み出し、縮小画像の各画素の濃度値からなるベクトル X _f ( は1以上 p以下の自然数）を作る。この X _fの平均ベクトル mを求めておいてから、 p 個のベタトル（x _f—m> の分散共分散行列∑の固有べクトル 1 _fを算出する。行列∑の固有ベクトルとは、固有値を； I、単位行列を Iと表記したときに、

(∑ - 1 j I) 1〗=0

を満足するべクトノレであり、固有べクトル 1 jと固有値; l jは、ヤコビ法などを用いて算出できることが知られている。さらに、固有ベクトルを並べた p行 p列の行列 A= ( 1ぃ 1 ₂、 ■ · ■ ·、 1 _p) の転置行列と、照合用データの縮小画像の各画素の濃度値の平均からのずれを並べた n行！）列の行列 X= (_{X l}— m、 x ₂ 一 m、 · . ·、 X _p-m) の転置行列を作り、 2つの転置行列をかけた p行 n 列の行列 A* X を求め、の各行のノルムが 1になるように正規化した行列を変換行列 Bとする。ここで、変換行列 Bの各行は、上記行列 Xを構成する列べクトル（x _f— m) (f は 1以上！)以下の自然数）の主成分方向を意味している。次に、 RAM 3に記憶された顔画像データの顔部位の縮小画像の各画素の濃度値からなるベクトル yを作る。このベクトル yと、同一部位の照合用データであるベクトル x _f (f は 1以上 p以下の自然数）の平均ベクトル mとの間の差（y— m) を算出する。そして、この差（y— m) に左から変換行列 Bをかけてさらに左から上記変換行列の転置行列 B *をかけたベクトル B tB (y -m) を求める。これは、 RAM 3に記憶された顔画像データの一つの顔部位を表すベクトル（y — m) を、上記行列 Xを構成する列ベクトル（x _f— m) (f は 1以上 p以下の自然数）の張る空間に射影する処理に相当する。そして、ベクトル（BtB (y -m) - (y— m) ) のノルムを計算する。このノルムは射影時の垂線の長さに等しく、照合用データの顔部位と R AM 3に記憶された顔画像データの顔部位の類似度として使うことができる。

続いて、ステップ S 409の照合用データの記憶処理について、図 6の概略フロー図を用いて説明する。ステップ S 60 1では、照合用データの記憶が必要かどうかを判断する。図 4のステップ S 403で顔画像による認証が可能でないと判断された場合は、照合用データの記憶が必要と判断する。顔画像による認証が可能であると判断した場合でも、撮影日時と撮影場所の設定区分の区分の組み合わせ（図 3参照）について照合用データの記憶が充分でない場合には、照合用データの記憶が必要であると判断する。なお、照合結果のログをとつておき、認証の正解率が低い場合に、照合用データの記憶が必要であると判断してもよい。次いで、ステップ S 6 0 2では、必要な顔画像の撮影が可能かどうかを判断する。例えば、休日の日中の照合用データを必要とするが、携帯電話機 1 0 0内の時計手段（図示せず) 力平日又は夜間を示している場合は、必要な照合用データの取得が不可能なので、画像の撮影を行わない。なお、顔画像の撮影が可能であるという判断が、必要以上の頻繁に発生しないようにするために、使用者に撮影可能な状態かどうかを問い合わせてから一定時間以上経過していなければ、強制的に「必要な顔画像の撮影が不可能である」と判断してもよい。

必要な顔画像の撮影が可能な場合は、ステップ S 6 0 3で使用者が撮影可能な状態かどうかを問い合わせる。この問い合わせは、仮想的キャラクタの行動を模擬した画像を表示部 6に表示させることによって行う。図 4のステップ S 4 0 9 は、通話処理以外の処理を行っている状態なので、使用者の操作の合間に仮想的キャラクタに顔画像の撮影をしたい旨の応答をさせることは、簡単にできる。なお、図 3に示す撮影日時と撮影場所の判断は、携帯電話機 1 0 0に設けた時計手段（図示せず）等によって行う。また、屋外か室内かの判断は、撮像手段が検出する照度やユーザが指定した設定等によって行うことができる。ユーザが指定した設定の例としては、ホワイトバランス（電球、晴天、曇天）やフラッシュの O NZO F Fがある。携帯電話機 1 0 0で判断が不可能な場合あるいは不正確な場合は、ステップ S 6 0 3で問い合わせを行って判断する。

ステップ S 6 0 3で、仮想的キャラクタは、例えば、「今、 Xさんの顔を撮影したいんだけど、大丈夫？」、「今、外にいるのなら、顔を撮影したいんだけど、いい？」等の問い合わせを行う。

ステップ S 6 0 4で撮影可能の操作を検出する（撮影可能の応答は、操作部 7 の確定キー等によって行う。）と、ステップ S 6 0 5で、顔画像の撮影状態に移行する。このとき、撮影ガイドの提示を行ってもよい。撮影ガイドの提示は、例えば、ステップ S 4 0 4と同様の表示であってよい（図 7 ( c ) 参照）。なお、顔画像の撮影状態に移行する直前に、パスワードの入力を促し、パスワードによつて適正な使用者であるかどうか判断する処理を行ってもよい。使用者がシャッターポタンを操作して使用者の顔画像を撮影すると、 R AM 3 が顔画像データを記憶し、図 2に示すような項目毎に分析し、分析結果を不揮発性メモリ 4に記憶する（ステップ S 6 0 6 ) 。そして、ステップ S 6 0 7で複数枚の顔画像の撮影が必要かどうかを判断し、必要な場合は、ステップ S 6 0 3に戻って繰り返す。

本発明を詳細にまた特定の実施態様を参照して説明したが、本発明の精神と範囲を逸脱することなく様々な変更や修正を加えることができることは当業者にとつて明らかである。

本出願は、 2003年 9月 1日出願の B本特許出願 Να2003- 308616に基づくものであり、その内容はここに参照として取り込まれる。

<産業上の利用可能性 >

本発明は、顔画像情報を用いた利用者の認証を行う電子機器等に利用可能である。

Claims

1 . 使用者を認証して適正な使用者かどうかを判定する機能を有する便用者認証機能付き電子機器であって、

使用者の顔画像を撮影可能な撮像手段と、

適正な使用者の顔を表す照合用データを記憶する照合画像記憶手段と、前記照合用データの取得処理、及び前記撮像手段によつて撮影された入力画像請

データと前記照合用データとの照合処理を含む使用者認証処理を行う認証処理手段と、

新しい照合用データの取得が必要であるかどうかの必要性判断処理、及び必要な照合用データの元になる顔画像の撮影が可能かどうかの可能性判断処理を行う取得開始判断手段と、囲

キャラクタを模擬するキャラクタ模擬手段と、

前記キャラクタ模擬手段が模擬する前記キャラクタの画像の表示が可能な表示手段とを備え、

前記認証処理手段は、前記必要性判断処理及ぴ前記可能性判断処理の結果から、前記新しい照合用データの取得が必要であり、かつ、前記必要な照合用データの元になる顔画像の撮影が可能である場合に、キャラクタ画像を前記表示手段に表示して、前記取得処理を開始するかどうか使用者に通知するものである電子機器。

2 . 請求の範囲第 1項に記載の電子機器であって、

前記認証処理手段は、前記取得処理時及び前記照合処理時に、前記キャラクタ画像を前記表示手段に表示させて、ユーザに応答する処理を含むものである電子機器。

3 . 請求の範囲第 1項又は第 2項に記載の電子機器であつて、

前記照合用データは、顔の部位毎の部分領域画像データ又は顔の部位毎の特徴データを含み、前記認証処理手段の前記照合処理は、前記入力画像データから抽出した顔の部位毎の画像データと前記照合用データとの類似度の算出を含む電子機器。

4. 請求の範囲第 1項ないし第 3項のいずれか 1項に記載の電子機器であつて、

前記照合用データは、撮影日時又は撮影場所が異なる複数の撮影画像データから作成されたものである電子機器。

5 . 請求の範囲第 4項に記載の電子機器であって、

前記認証処理手段の前記取得処理は、予め定めた撮影日時又は撮影場所での適正な使用者の顔画像の撮影支援処理を含む電子機器。

6 . 請求の範囲第 1項ないし第 5項のいずれか 1項に記載の電子機器であつて、

前記必要性判断処理又は前記可能性判断処理は、日時又は撮影場所の情報を使つた判断である電子機器。