JP6089577B2 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Description

本発明は、例えば、ユーザの継続認証に用いる画像処理装置、画像処理方法および画像処理プログラムに関する。

近年、情報機器の急速な普及に伴い、情報機器内に多種多様な情報が保持されるようになっている。このため、情報機器内に保持されている情報の漏洩等を抑制するセキュリティ技術の確立は、極めて重要な課題になってきており、様々な認証技術（例えばパスワード認証や生体認証、カード認証等）が提案されている。しかし、既存の認証技術の多くは、ログイン時にのみ認証処理を実施するものであり、例えば、正規のユーザが情報機器の設置位置から離席している間に第三者が情報機器を不正に使用した場合、不正使用を検知できないという共通の課題がある。

上記の課題を解決するため、ログイン後もユーザに対して継続的に認証処理を行う継続認証技術が提案されている。代表的な継続認証として、特徴ベクトルを用いた顔認証による継続認証が存在する。顔認証は画像中のユーザに対応する顔領域の特徴ベクトル群となる特徴点群を登録しておき、登録した特徴点群との認証時に抽出する特徴点群との対応関係に基づいて、画像中のユーザを検知することで継続認証が実現される。

また、ユーザを撮影した画像の色ヒストグラムを用いる色ヒストグラム認証も提案されている。色ヒストグラム認証は、顔認証等を用いる他の方式と比較して、ユーザの姿勢変化に対して頑健な継続認証が可能という特長を有している。色ヒストグラム認証では、例えば、画像中のユーザに対応する領域（例えば体領域）の色ヒストグラムを登録しておき、登録した色ヒストグラムとの色ヒストグラムの類似度に基づいて、画像中のユーザの体領域を検知し、その移動を追跡することで継続認証が実現される。

F. Monrose and A. D. Rubin, "Keystroke dynamics as biometrics for authentication," Future Generation Comput. Syst., vol. 16, pp. 351-359, 2000. A. Altinok and M. Turk, "Temporal integration for continuous multimodal biometrics," in Proc. Workshop on Multimodal User Authentication, 2003, pp. 131-137. T. Sim, S. Zhang, R. Janakiraman, and S. Kumar, "Continuous verification using multimodal biometrics," IEEE Trans. Pattern Anal. Mach. Intell., vol. 29, no. 4, pp. 687-700, Apr. 2007. K. Niinuma, U. Park, A. K. Jain, "Soft Biometric Traits For Continuous User Authentication", IEEE Transactions on Information Forensics and Security (TIFS), Vol. 5, No. 4, pp. 771-780, 2, 2010.

上述の特徴ベクトルを用いる顔認証による継続認証においては、画像を撮像する撮像部に対してユーザが正面を向いていないと正確に継続認証が行うことが困難である。つまり、特徴ベクトルを用いる顔認証による継続認証は、姿勢の変化に対するロバスト性が低く、ＦＲＲ（Ｆａｌｓｅ Ｒｅｊｅｃｔｉｏｎ Ｒａｔｅ；本人拒否率）が高い為、可用性が低い課題を有している。

一方、色ヒストグラムを用いる継続認証においては、特徴ベクトルを用いる顔認証とは異なり、統計量を取り扱う性質上、ユーザの顔や体の向きの姿勢の変化に対するロバスト性が高い利点を有している。この為、色ヒストグラムを用いた継続認証はＦＲＲが低く、特徴ベクトルを用いる顔認証による継続認証よりも高い可用性を有している。しかしながら、本発明者らの検証により以下の課題を有していることが新たに見出された。色ヒストグラムを用いた継続認証においては、継続認証中に、同一または類似の衣服の色を着用する別のユーザが画像に入ってくると、本来登録されたユーザの色ヒストグラムと別のユーザの色ヒストグラムが類似しているため、別のユーザを本人として誤って認証を続けてしまう問題が発生する。通常、認証システムを設計する際には、ＦＡＲ（Ｆａｌｓｅ Ａｃｃｅｐｔａｎｃｅ Ｒａｔｅ；他人受入率）を一定以下（例えば１％）と設定する必要がある。ところが、同じ衣服を着たユーザが多い環境（例えば、オフィスや工場等）においては、上述のような問題が発生しやすくＦＡＲが高くなり、堅牢性が低くなる場合がある。

上述の事情を考慮して、ＦＡＲが低くＦＲＲが高い（可用性が低い堅牢性が高い）特徴ベクトルと、ＦＡＲが高くＦＲＲが低い（可用性が高く堅牢性が低い）色ヒストグラムを組み合わせた継続認証の適用を新たに本発明者らが検証した。しかしながら、上述の通り、特徴ベクトルを用いる顔認証による継続認証は、姿勢の変化に対するロバスト性が低い。特徴ベクトルを用いた顔認証において、ＦＲＲを低くして可用性を向上させる為には、ユーザの様々なパターンの複数の特徴ベクトルを、認証に用いる認証用特徴ベクトルとして登録し、当該複数の認証用特徴ベクトルを用いて認証を行うことが考えられる。しかしながら、認証に用いる認証用特徴ベクトルを増やすと、認証処理時間の増大と、ＦＡＲの増大を招く結果となる。特徴ベクトルを用いる顔認証のＦＡＲが増大すると、色ヒストグラムを用いる認証と組み合わせても高い堅牢性を具備させることは難しい。よって、現状の継続認証技術おいては、可用性と堅牢性の双方を具備した継続認証を実施できる画像処理装置は提唱されていない状況である。

本発明は、可用性と堅牢性を具備した継続認証が可能となる画像処理装置を提供することを目的とする。

１つの態様では、画像処理装置が、撮像された複数の画像それぞれについての、前記画像から所定対象を検出した際の確度と、前記画像における前記所定対象に対応する第１領域の第１特徴量とを対応付けて記憶する記憶部と、撮像された処理画像を取得する第１取得部と、前記処理画像から前記所定対象を検出する検出部と、前記処理画像から前記所定対象が検出された場合の確度である処理確度と、前記処理画像における前記第１領域の第１特徴量である処理第１特徴量を取得する第２取得部と、前記処理確度と所定基準以上の相関を有する前記確度を特定するとともに、特定された前記確度に対応付けられた前記第１特徴量を特定する特定部と、特定した前記第１特徴量と前記処理第１特徴量とに基づいて、前記処理画像に前記所定対象が含まれるか否かを判定する判定部を備える。

なお、本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成されるものである。また、上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を制限するものではないことを理解されたい。

本明細書に開示される画像処理装置では、可用性と堅牢性を具備した継続認証が可能となる。

一つの実施形態による画像処理装置１が含まれる継続認証装置１０の機能ブロック図である。 継続認証装置１０による認証処理のフローチャートである。 画像処理装置１による初期登録処理のフローチャートである。 （ａ）は、色ヒストグラム抽出における顔領域と体領域の概念図である。（ｂ）は色ヒストグラムのデータ構造の一例を示すテーブルである。（ｃ）は色ヒストグラムの概念図である。 （ａ）は、顔検出尤度と特徴ベクトル抽出における顔領域の概念図である。（ｂ）は、顔検出尤度と特徴点を用いた特徴ベクトル情報のデータ構造の一例を示すテーブルである。 認証テーブル生成の為のデータ構造の一例を示すテーブル（その１）である。 認証テーブル生成の為のデータ構造の一例を示すテーブル（その２）である。 認証テーブル生成の為のデータ構造の一例を示すテーブル（その３）である。 認証テーブル生成の為のデータ構造の一例を示すテーブル（その４）である。 認証テーブル生成の為のデータ構造の一例を示すテーブル（その５）である。 認証テーブル生成の為のデータ構造の一例を示すテーブル（その６）である。 認証テーブル生成の為のデータ構造の一例を示すテーブル（その７）である。 認証テーブル生成の為のデータ構造の一例を示すテーブル（その８）である。 認証テーブル生成の為のデータ構造の一例を示すテーブル（その９）である。 認証テーブル生成の為のデータ構造の一例を示すテーブル（その１０）である。 認証テーブル生成の為のデータ構造の一例を示すテーブル（その１１）である。 認証テーブルのデータ構造の一例を示すテーブルである。 画像処理装置１による継続認証処理のフローチャートを示す。 （ａ）は、特徴ベクトルを用いた第１認証判定値（Ｔｈ１）と、特徴ベクトル認証による本人拒否率（ＦＲＲ）と他人受入率（ＦＡＲ）との関係図である。（ｂ）は、色ヒストグラム認証による本人拒否率（ＦＲＲ）と他人受入率（ＦＡＲ）との関係図である。 一つの実施形態による画像処理装置１として機能するコンピュータのハードウェア構成図である。

以下に、一つの実施形態による画像処理装置、画像処理方法及び画像処理プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例は、開示の技術を限定するものではない。

（実施例１）
図１は、一つの実施形態による画像処理装置１が含まれる継続認証装置１０の機能ブロック図である。継続認証装置１０は、画像処理装置１、ログイン認証部２、撮像部３、記憶部４を有する。更に、画像処理装置１は、取得部５、抽出部６、生成部７、認証部８を有する。

継続認証装置１０は、例えば、ＰＣや携帯端末等の情報機器を使用するユーザの認証を行う装置である。なお、継続認証装置１０は、ユーザによって使用されるＰＣや携帯端末等の情報機器に内蔵または接続することもできる。また、情報機器そのものを継続認証装置１０として機能させることもできる。更に、情報機器と通信回線を介して接続されたコンピュータを継続認証装置１０として機能させることでも実現できる。実施例１においては、一つの継続認証装置１０をクライアント認証型の継続認証を例として説明するが、通信回線を利用したサーバ認証型の継続認証にも適用可能である。例えば、サーバ認証型の継続認証を行う場合は、クライアント側から後述するログイン認証処理に必要な情報や、ユーザの画像を受け取る。そして、継続認証装置１０が有する各機能の処理をサーバ側で実施し、認証結果をクライアント側へ通知すれば良い。

ログイン認証部２は、例えば、ワイヤードロジックによるハードウェア回路である。また、ログイン認証部２は、継続認証装置１０で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。ログイン認証部２は、ユーザの認証方式として、公知の各種の認証方式（例えば、パスワード認証や生体認証、カード認証等）の何れを適用することで、ユーザのログイン認証処理を実施することが可能になる。

撮像部３は、例えば、ＣＣＤ（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）やＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）カメラなどの撮像デバイスである。撮像部３は、例えば、ログイン認証部２によるログイン認証処理を経て情報機器を使用しており、正規の使用権限を有する第１ユーザや、ログイン認証処理を経ていない正規の使用権限を有さない第２ユーザのユーザ領域となる顔領域または体領域を含む画像を一定時間毎に撮像する。なお、第２ユーザは第１ユーザ以外の一人でも良いし複数人の何れでも良い。

記憶部４は、例えば、フラッシュメモリ（ｆｌａｓｈ ｍｅｍｏｒｙ）などの半導体メモリ素子、または、ＨＤＤ（ｈａｒｄ ｄｉｓｋ ｄｒｉｖｅ）、光ディスクなどの記憶装置である。なお、記憶部４は、上記の種類の記憶装置に限定されるものではなく、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、ＲＯＭ（ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）であってもよい。記憶部４には、例えば、画像処理装置１が算出する色ヒストグラムや特徴ベクトル等の各種データ等が、必要に応じて記憶される。なお、記憶部４は、必ずしも継続認証装置１０に含まれる必要はない。例えば、当該各種データは、画像処理装置１に含まれる各機能部の図示しないキャッシュやメモリ等に記憶しても良い。また、継続認証装置１０または、画像処理装置１に設けられる図示しない通信ユニットを用いて通信回線を介することによって、記憶部４を継続認証装置１０以外の外部装置に設けることも可能である。

取得部５は、例えば、ワイヤードロジックによるハードウェア回路である。また、取得部５は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。取得部５は、撮影部３が撮影を行うことで得られた画像を一定時間毎に取得する。なお、取得部５は、撮像部３以外からも画像を受信することが可能である。例えば、取得部５は、当該画像を図示しない通信ユニット用いて、通信回線を介することで外部装置から受け取っても良い。この場合、撮像部３は継続認証装置１０の中に配置する必要は必ずしもない。

抽出部６は、例えば、ワイヤードロジックによるハードウェア回路である。また、抽出部６は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。抽出部６は、取得部５から画像を受け取り、画像に含まれる第１ユーザまたは第２ユーザのユーザ領域の一部である第１領域から、第１特徴量となる色ヒストグラムを抽出する。なお、当該第１領域は、例えば、ユーザの顔領域あるいは顔領域と体領域の双方の領域を示す。更に、抽出部６は、画像に含まれる第１ユーザまたは第２ユーザのユーザ領域の一部である第２領域から、第２特徴量となる特徴ベクトルを抽出する。なお、第２領域は、例えば、ユーザの顔領域を示す。更に、抽出部６は、画像に含まれる第１ユーザまたは第２ユーザ領域の一部である第２領域から、第２特徴量を抽出する部位の尤度を示す第３特徴量を抽出する。換言すると、抽出部６は、ユーザの顔領域から顔らしさを示す顔検出尤度を抽出する。また、第１領域と第２領域におけるユーザの顔領域は必ずしも一致させる必要は無く、独立した領域として設定しても良い。なお、抽出部６による第１特徴量となる色ヒストグラム、第２特徴量となる特徴ベクトルと、第３特徴量となる顔検出尤度の抽出方法については後述する。また、説明の便宜上、第１特徴量を色ヒストグラムと称し、第２特徴量を特徴ベクトルと称し、第３特徴量を顔検出尤度と以後称することにする。

生成部７は、例えば、ワイヤードロジックによるハードウェア回路である。また、生成部７は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。生成部７は、抽出部６から第１ユーザまたは第２ユーザの色ヒストグラム、特徴ベクトルと、顔検出尤度を受け取る。生成部７は、第１ユーザの認証後において、撮像時間が異なる複数の画像から抽出部６が抽出する、複数の色ヒストグラム、複数の特徴ベクトル、複数の顔検出尤度を抽出部６から受け取り、認証テーブルを生成する。なお、認証テーブルの技術的な意味と、生成部７による認証テーブルの生成方法については後述する。

認証部８は、例えば、ワイヤードロジックによるハードウェア回路である。また、認証部８は、画像処理装置１で実行されるコンピュータプログラムにより実現される機能モジュールであっても良い。認証部８は、生成部７が生成する認証テーブルを基づいて第１ユーザを継続認証する。具体的には、認証部８は、第１ユーザの認証時に抽出される第３特徴量となる顔検出尤度と、認証テーブルに含まれる第３特徴量となる顔検出尤度に基づいて、認証テーブルに含まれる第１特徴量となる色ヒストグラム、第２特徴量となる特徴ベクトルを選択する。そして、認証部８は、選択した色ヒストグラム、特徴ベクトル、ならびに認証時に抽出される色ヒストグラムと特徴ベクトルに基づいて第１ユーザを継続認証する。なお、認証部８による継続認証フローの詳細については後述する。

図２は、継続認証装置１０による認証処理のフローチャートである。図２に示す認証処理は、ユーザによって継続認証装置１０または、継続認証装置１０に接続（または内蔵）される情報機器の使用が開始される際に実行される。先ず、ログイン認証部２は、ログイン認証処理を行う（ステップＳ２０１）。このログイン認証処理における認証方式は、公知の各種の認証方式（例えばパスワード認証や生体認証、カード認証等）の何れを用いることが可能である。次に、ログイン認証部２は、ログイン認証処理によってユーザが正規の利用者となる第１ユーザであることを確認できたか否か判定する（ステップＳ２０２）。

ログイン認証部２によりログイン認証の判定が否定された場合（ステップＳ２０２−Ｎｏ）は、継続認証装置１０は認証処理を終了する。これにより、正規の利用者である第１ユーザ以外の第２ユーザが、継続認証装置１０または継続認証装置１０が接続される情報機器を使用することを阻止することが出来る。一方、ログイン認証部２によりログイン認証の判定が肯定された場合（ステップＳ２０２−Ｙｅｓ）は、ログイン認証部２は画像処理装置１を起動し、画像処理装置１は、継続認証処理を行う（ステップＳ２０３）。なお、ステップＳ２０３における継続認証処理の詳細フローについては後述する。

画像処理装置１により継続認証の判定が否定された場合（ステップＳ２０４−Ｎｏ）は、継続認証装置１０または、継続認証装置１０に接続される情報機器のロック処理を行う（ステップＳ２０６）。ここで、ロック処理は、例えば、一時的にログアウト処理することで、ログイン認証部２によるログイン認証処理が再度実行出来る状態にする処理である。また、ロック処理は、情報機器を完全に操作不能にさせた上で、管理者等にアラームを通知する処理でも良い。

一方、画像処理装置１により継続認証の判定が肯定された場合（ステップＳ２０４−Ｙｅｓ）は、画像処理装置１は一定時間待機し（ステップＳ２０５）、継続認証処理（ステップＳ２０３）を繰り返し実行する。なお、ステップＳ２０５における一定時間は、継続認証装置１０に求められる堅牢性等を考慮して任意に設定することが出来る。例えば、一定時間は３０秒または６０秒の何れかに設定すれば良い。

以上の図２のフローチャートに示す処理により、ログイン認証によって正規の利用者である第１ユーザであることが確認されたユーザは、画像処理装置１によって継続認証処理が行われている間、継続認証装置１０または、継続認証装置１０接続される情報機器を使用することが可能となる。

次に、図２に示す認証処理のステップＳ２０３で画像処理装置１によって実行される継続認証処理の詳細フローを説明する。図３は、画像処理装置１による初期登録処理のフローチャートである。図２に示す継続認証処理のステップＳ２０３では、先ず始めに図３に示す初期登録処理が実行される。

先ず、取得部５は、撮像部３から取得する画像取得数ｉを、初期値である１にセットする（ステップＳ３０１）。次に、取得部５は、撮像部３によって撮像された画像を取得する（ステップＳ３０２）。抽出部６は、取得部５から画像を受け取り、画像に含まれる第１ユーザの顔を検出する（ステップＳ３０３）。なお、顔の検出は、例えば、「P. Viola and M. Jones, “Rapid object detection using a boosted cascade of simple features,” in Proc. IEEE Computer Vision and Pattern Recognition, pp. I-511 - I-518, 2001.」に開示されるＨａａｒ ｃｌａｓｓｉｆｉｅｒまたは、Ｇａｂｏｒ Ｗａｖｅｌｅｔ変換の任意の公知手法を用いることが可能である。抽出部６は、第１ユーザの顔を適格に抽出できたか否か判定する（ステップＳ３０４）。

撮像部３による撮影時において、第１ユーザが何らかの動作を行っており、画像にボケが生じた場合等により、第１ユーザの顔抽出の適格性が否定された場合（ステップＳ３０４−Ｎｏ）は、撮像部３により再度撮像が実行された後、取得部５による画像の取得が実行される（ステップＳ３０２）。なお、ステップＳ３０４において、一定回数に渡り第１ユーザの顔抽出の適格性が否定された場合は、初期登録処理を完了させた上で、図２のステップＳ２０６のロック処理を行っても良い。一方、図３において、顔抽出の適格性が肯定された場合（ステップＳ３０４−Ｙｅｓ）は、抽出部６は、第１ユーザの顔に対応する一定形状（例えば、円形状、楕円形状、または矩形状）を顔領域として設定する（ステップＳ３０５）。更に、抽出部６は、設定した顔領域の下方に、第１ユーザの体の一部に対応する一定形状（例えば矩形状、楕円形状または半円形状)を体領域として設定する（ステップＳ３０５）。なお、体領域は、例えば、顔領域に対して２倍の横幅、等倍の縦幅に設定することが出来る。

図４（ａ）は、色ヒストグラム抽出における顔領域と体領域の概念図である。図４（ａ）に示す例では、形状を円形とする顔領域と、形状を矩形とする体領域が設定されている。なお、図４（ａ）に示す通り、顔領域には頭部を含ませることで、ユーザの髪の色も特徴量として含まれる為、色ヒストグラムを用いる類似度の判定精度を向上させることが可能になる。また、抽出部６は、色ヒストグラム抽出における第１領域として顔領域と体領域のいずれかを設定しても良い。なお、ユーザの服装のユニーク性を考慮して、色ヒストグラム抽出における第１領域として、顔領域と体領域の双方を設定しても良い。図５（ａ）は、顔検出尤度と特徴ベクトル抽出における顔領域の概念図である。図５（ａ）に示す例では、顔検出尤度と特徴ベクトル抽出におけるユーザ検知領域は、形状を円形とする顔領域が設定される。

図３において、抽出部６は、ステップＳ３０５で設定した第１ユーザの顔領域または体領域の色ヒストグラムを抽出する（ステップＳ３０６）。抽出部６は、例えば、画像の画素のＲＧＢレベルが各２５６階調の場合、画像中の顔領域または体領域の対象画素について、ＲＧＢ色空間の各成分を１６分割し、１６×１６×１６＝４０９６階調化する。ここで、Ｒの画素値をＶｒ（０〜２５５）として、Ｒを１６分割したビンＶｒ’は、次式で表現することが出来る。
（数１）
Ｖｒ’ ＝ Ｖｒ×１６÷２５６
なお、Ｇの画素値をＶｇ（０〜２５５）としてＧを１６分割したビンＶｇ’ならびに、Ｂの画素値をＶｂ（０〜２５５）としてＧを１６分割したビンＶｂ’は、上述のＶｒ’と同様の手法で算出することが出来る為、詳細な説明は省略する。抽出部６は、算出したビンＶｒ’、ビンＶｇ’、ビンＶｂ’を用いることで、次式にて表現される４０９６階調化した画素レベルＶ’を算出する。
（数２）
Ｖ’ = Ｖｒ’×１６×１６＋Ｖｇ’×１６＋Ｖｂ’

抽出部６は、４０９６階調化した各階調について、顔領域または体領域の画素の和を求めた配列を色ヒストグラムとする。図４（ｂ）は、色ヒストグラムのデータ構造の一例を示すテーブルである。図４（ｂ）は、例として体領域の色ヒストグラムのデータの構造を示しているが、顔領域の色ヒストグラムのデータ構造も同様のデータ構造で表現することが出来る為、詳細な説明は省略する。図４（ｂ）に示す通り、抽出部６は必要に応じて体領域の形状や、当該形状の位置情報等の付帯情報を領域形状・位置情報としてテーブルに格納しても良い。図４（ｂ）においては、形状が矩形であり、体領域の中心が、例えば画像の左上端を原点とする座標（２００、２００）に位置しており、幅が２００画素分、高さが１５０画素分のサイズであることを表している。また、図４（ｂ）に示す色ヒストグラム（Ｒ、Ｇ、Ｂ）は、上述のビンＶｒ’、ビンＶｇ’、ビンＶｂ’の各々の数値範囲内に入る色の割合によって色ヒストグラムを表している。例えば、図４（ａ）に示す色ヒストグラム（１５、１５、１５）は、（Ｒ、Ｇ、Ｂ）＝（０、０、０）〜（１５、１５、１５）の数値範囲の色の画素数の全体に占める割合が０．０１＝１％であることを表している。なお、抽出部６は、色ヒストグラムの抽出において、ＲＧＢ色空間以外の他の色空間（例えばＨＳＶ色空間、ＣＭＫ色空間、ＹＣｂＣｒ系色空間など）を用いることも可能である。

図４（ｃ）は、色ヒストグラムの概念図である。図４（ｃ）に示される通り、抽出部６は、比較対象となる色ヒストグラムの領域サイズ（領域に含まれる画素数）が異なると、異なる色ヒストグラム同士の類似度の算出処理が煩雑になることを考慮し、任意の標準の領域サイズで画素数を正規化した正規化ヒストグラムを生成しても良い。

図３において、抽出部６は、ステップＳ３０６で抽出した色ヒストグラムを色ヒストグラムとして、生成部７の図示しないキャッシュまたはメモリ、または記憶部４に記憶する（ステップＳ３０７）。

抽出部６は、第１ユーザの顔領域から、例えば、「L. Sirovich and M. Kirby, "Low-dimensional procedure for the characterization of human faces". Journal of the Optical Society of America A 4 (3): 519-524, 1987」に開示される、事前に用意された固有顔データに対するユーザの顔データの主成分分析を行う固有顔（Ｅｉｇｅｎ ｆａｃｅ）方式を用いて特徴ベクトルを抽出する（ステップＳ３０８）。抽出部６は、当該特徴ベクトルを生成部７の図示しないキャッシュまたはメモリ、または記憶部４に記憶する（ステップＳ３０９）。また、抽出部６は、ステップＳ３０７おいて、上述の固有顔方式以外にも、フィシャー（Ｆｉｓｈｅｒ ｆａｃｅ）顔方式、ＩＰＡ方式など公知の任意の適用することが出来る。

抽出部６は、第１ユーザの顔領域から、例えば、上述のＨａａｒ ｃｌａｓｓｉｆｉｅｒまたは、Ｇａｂｏｒ Ｗａｖｅｌｅｔ変換を用いて第１ユーザの顔検出尤度を抽出する（ステップＳ３１０）。抽出部６は、当該顔検出尤度を、生成部７の図示しないキャッシュまたはメモリ、または記憶部４に記憶する（ステップＳ３１１）する。

取得部５は、撮像部３から取得する画像取得数ｉの値を１つインクリメントする（ステップＳ３１２）。取得部５は、画像取得数ｉが、所定の画像取得数ｎ以上か否かを判定する（ステップＳ３１３）。なお、所定の画像取得数ｎは、ＦＡＲを考慮した任意の数で規定することが出来るが、例えば２０であれば良い。画像取得数ｉが、所定の画像取得数ｎより小さい場合（ステップＳ３１３−Ｎｏ）、画像処理装置１はステップＳ３０２ないしＳ３１３の処理を繰り返す。画像取得数ｉが、所定の画像取得数ｎ以上の場合（ステップＳ３１３−Ｙｅｓ）、生成部７は、生成部７の図示しないキャッシュまたはメモリに記憶された複数の色ヒストグラム、複数の特徴ベクトル、複数の顔検出尤度を用いて認証テーブルを生成する（ステップＳ３１４）。生成部７が認証テーブルを生成することで、図３のフローチャートに示す、初期登録処理が終了する。なお、ステップＳ３１４における認証テーブルの生成方法の詳細については後述する。

図３において、画像処理装置１は、ステップＳ３０６、Ｓ３０８、Ｓ３１０の処理を任意の順序または、並列に処理しても良い。また、ステップＳ３１３において、画像取得数ｉが、所定の画像取得数ｎ以上に達した後でも、取得部５は、定時間毎に撮像部３から画像を取得し、取得時間が最も古い画像と入れ替え、認証テーブルを更新しても良い。これにより、日照時間による照明条件の変化や、使用環境の変化に追従することが可能となる。

また、抽出部６は、図３のステップＳ３０８において、上述の固有顔方式以外にも、Ｈａｒｒｉｓ ｃｏｒｎｅｒ ｄｅｔｅｃｔｏｒ等を利用して特徴点を抽出し、当該特徴点から特徴ベクトルを抽出することも可能である。この場合、ステップＳ３０８において、顔領域から抽出する特徴点は、記述子（ｄｅｓｃｒｉｐｔｏｒ）と呼ばれる特徴点ごとの特徴ベクトルが計算される特徴点であれば良い。例えば、ＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）特徴点や、ＳＵＲＦ（Ｓｐｅｅｄｅｄ Ｕｐ Ｒｏｂｕｓｔ Ｆｅａｔｕｒｅｓ）特徴点等の公知の特徴点を使用することが可能である。なお、ＳＩＦＴ特徴点の抽出方法については、例えば、米国特許第６、７１１、２９３号に開示されている方法を用いることが出来る。ＳＵＲＦの抽出方法については、例えば、「H. Bay, et.al. "SURF : Speeded Up Robust Features”, Computer Vision AND Image Understanding, Vol. 110, No.3, pp.346-359, 2008」に開示されている方法を用いることが出来る。

図５（ａ）においては、顔領域で抽出された特徴点の位置の例を示している。当該特徴点の位置は、画像の基準位置（例えば画像の左上端）を原点とした場合における基準位置からの距離（ｘ、ｙ）で定義される。方向は、基準位置に対する特徴点の方向で定義される。また、特徴ベクトルは、色や形状などの複数の特徴量（例えば１２８次元）の集合で定義される。図５（ｂ）は、顔検出尤度と特徴点を用いた特徴ベクトル情報のデータ構造の一例を示すテーブルである。図５（ｂ）に示す通り、抽出部６は必要に応じて顔領域の形状や、当該形状の位置情報等の付帯情報を領域形状・位置情報としてテーブルに格納しても良い。図５（ｂ）に示す例では、形状が円形であり、顔領域の中心が、画像の左上端を原点とする座標（２００、１００）に位置しており、幅が１００画素分、高さが１５０画素分のサイズであることを表している。顔検出尤度は、例えば、第１ユーザの顔領域が正面を向いている程高い値になり、横方向など正面以外を向いているほど低い値になり、その範囲は０〜１００（％）となる。また、図５（ｂ）に示す特徴ベクトルは、抽出部６が抽出した特徴ベクトルのＩＤと、当該特徴ベクトルの画像中の位置・方向等の情報を有する。なお、方向は、基準位置に対する特徴点の方向で定義される。特徴ベクトルは、色や形状などの複数の特徴量（例えば１２８次元）の集合で定義される。なお、特徴ベクトルは、上述の方法以外にも様々な公知の特徴量を用いることが出来る。なお、実施例１では、ユーザの顔領域から特徴ベクトルを抽出しているが、他の任意の領域から特徴ベクトルを抽出しても良い。また、顔検出尤度は、顔の角度以外にも様々な公知の手法を用いて抽出することが可能あり、例えば、上述の固有顔（Ｅｉｇｅｎ ｆａｃｅ）方式で用いられる特徴ベクトルを用いた尤度を顔検出尤度として用いることが出来る。

次に、図３のステップＳ３１４における生成部７による認証テーブルの生成方法について説明する。図６は、認証テーブル生成の為のデータ構造の一例を示すテーブル（その１）である。図６に示すテーブル６０には、抽出部６が抽出する色ヒストグラム、特徴ベクトル、ならびに顔検出尤度が、画像ＩＤと共に記憶される。なお、画像ＩＤは、例えば、取得部５が画像を取得する時系列順に付与されれば良い。また、認証テーブルならびに、認証テーブル生成の為のテーブルは、生成部７が生成し、生成部７の図示しないキャッシュやメモリ、または記憶部４に保存される。

生成部７は、図６のテーブル６０の顔検出尤度の大きさと、所定の第１閾値を用いて、複数の第１グループからなる第１グループ群に分類する。例えば、第１閾値を１０％として顔検出尤度の大きさ順を基準として、複数の第１グループからなる第１グループ群に分類すると、図６のテーブル６０においては、３つの第１グループが生成される。図７は、認証テーブル生成の為のデータ構造の一例を示すテーブル（その２）である。なお、図７のテーブル７０は、図６のテーブル６０に基づいて生成される。図７のテーブル７０に示される通り、顔検出尤度の上限を１００％、第１閾値を１０％として、顔検出尤度を複数の第１グループからなる第１グループ群に分類すると、３つの第１グループが生成される（顔検出尤度が９０％以上、８０％以上、７０％以上と、第１閾値１０％毎に分類される）。図７のテーブル７０に示す通り、生成部７は、それぞれの第１グループに対して、第１グループＩＤを付与して、当該テーブル７０を記憶する。なお、図７のテーブル７０において、説明の便宜上、顔検出尤度の大きさ順にソートしているが、第１グループＩＤが付与されれば、生成部７は、画像ＩＤと第１グループを対応付けることが可能である為、必ずしもソートする必要はない。当該ソートの不必要性については、後述する図７ないし図１７のテーブルにおいても同様である。また、第１閾値を顔検出尤度の百分率を用いる以外にも、画像ＩＤの個数を閾値として用いても良い。また、第１閾値を複数の閾値群として規定しても良い。例えば、第１閾値を１０％として第１グループＩＤの１−Ａを生成した後、第１閾値を５％と変化させて、第１グループＩＤの１−Ｂと１−Ｃを生成しても良い。

図７のテーブル７０は、顔検出尤度に基づいて複数の第１グループからなる第１グループ群に分類されている。この為、認証時に抽出される第１ユーザの顔検出尤度に基づいて何れかの第１グループを選択し、当該第１グループに属している任意の色ヒストグラムと特徴ベクトルを用いることで、可用性と堅牢性を向上させた継続認証が可能となる。この理由の一つとして、異なる顔の向きから抽出された色ヒストグラムと特徴ベクトルを認証処理の対象から予め排除することが可能になることが挙げられる。これ加えて、選択された第１グループに属する複数の色ヒストグラムと、特徴ベクトルを一意的に選択するで、更に可用性と堅牢性を向上させることが可能になる。この為、生成部７は、第１部グループ群のいずれかに属し、複数の第２グループからなる第２部グループ群を分類する。実施例１においては、図７のテーブル７０の第１グループＩＤが１−Ａである第１グループから、少なくとも一つの第２グループを生成する方法を説明する。

生成部７は、第１グループＩＤが１−Ａである、第１グループに属するすべての画像ＩＤに対応付けられる色ヒストグラム同士の類似度と、所定の第２閾値を用いることで第２グループを分類する。ここで、色ヒストグラム同士の類似度の算出処理について説明する。色ヒストグラム同士の類似度の算出には、様々な公知の手法を用いることが可能であるが、例えば、Ｂｈａｔｔａｃｈａｒｙｙａ距離を用いることが出来る。Ｂｈａｔｔａｃｈａｒｙｙａ距離を用いた類似度計算については、例えば、「Kailath T. The Divergence AND Bhattacharyya Distance Measures in Signal Selection". IEEE Transactions on Communication Technology 15 (1) pp.52-60, 1967」に開示されている計算方法を用いることが出来る。また、図４（ｃ）に示す様に、正規化色ヒストグラムを生成している場合は、例えば、画像ＩＤ１に対応付けられる色ヒストグラム「ｈｉｓｔｇｒａｍ０１」の正規化色ヒストグラムをｐｕ、画像ＩＤ２に対応付けられる色ヒストグラム「ｈｉｓｔｇｒａｍ０２」の正規化色ヒストグラムをｐｕとすると、類似度ρは、次式を用いて算出することが出来る。
（数３）

なお、生成部７は、顔領域と体領域の色ヒストグラムの類似度を組み合わせて判定する場合は、顔領域の色ヒストグラムの類似度をＳｆａｃｅ、体領域の色ヒストグラムの類似度をＳｂｏｄｙとした場合、総合類似度Ｓｔｏｔａｌは、例えば次式で算出することが出来る。
（数４）
Ｓｔｏｔａｌ＝ｔ×Ｓｆａｃｅ＋（１−ｔ）×Ｓｂｏｄｙ
但し、ｔは顔領域の色ヒストグラムの類似度Ｓｆａｃｅに対する重み係数であり、０≦ｔ≦１である。

図８は、認証テーブル生成の為のデータ構造の一例を示すテーブル（その３）である。なお、図８のテーブル８０は、少なくとも図７のテーブル７０に基づいて生成される。図８のテーブル８０には、生成部７が算出する色ヒストグラム同士の類似度を示す第１類似度が格納される。図８のテーブル８０においては、第２グループが未だ分類されていない為、「第２グループＩＤ」の項目には、例えば、ＴＢＤ（ｔｏ ｂｅ ｄｅｔｅｒｍｉｎｅｄ）の値が格納されている。図８のテーブル８０においては、画像ＩＤ１と画像ＩＤ１５のペアの第１類似度が９８％であり、最も高くなっている。

生成部７は、図８のテーブル８０において、第１類似度が最も高くなる画像ＩＤのペアにおいて、いずれか一方の任意の画像ＩＤを選択する。例えば、生成部７は、画像ＩＤ１を選択し、画像ＩＤ１に対応付けられる色ヒストグラム「ｈｉｓｔｇｒａｍ０１」に対する第１類似度が高い順にソートする。ここで、第２閾値を、例えば９０％と規定して、画像ＩＤ１の色ヒストグラムに対する第１類似度が９０％以上となる画像ＩＤ群を、一つの第２グループとして規定する。

図９は、認証テーブル生成の為のデータ構造の一例を示すテーブル（その４）である。なお、図９のテーブル９０は、少なくとも図８のテーブル８０に基づいて生成される。図９に示すテーブル９０においては、上述の方法で規定された、第２グループ群に属する一つの第２グループとなる第２グループＩＤ２−ａが付与される。

次に、生成部７は、第２グループＩＤが２−ａにグループ分類された画像ＩＤ群を除く、残りの画像ＩＤ群同士のペアの中で、第１類似度が最も高くなるペアを探索する。図１０は、認証テーブル生成の為のデータ構造の一例を示すテーブル（その５）である。なお、図１０のテーブル１００は、少なくとも図９のテーブル９０に基づいて生成される。図１１は、認証テーブル生成の為のデータ構造の一例を示すテーブル（その６）である。なお、図１１のテーブル１１０は、少なくとも図１０のテーブル１００に基づいて生成される。図１０のテーブル１００において、画像ＩＤ２と画像ＩＤ１０のペアの第１類似度が９７％と最も高くなっていることが分かる。ここで、生成部７は、図１１のテーブル１１０に示す通り、第１類似度が最も高くなる画像ＩＤペアのうちの何れかの一方の画像ＩＤ、例えば、画像ＩＤ２を選択し、当該画像ＩＤ２に対応する色ヒストグラムに対する第１類似度が高い順にソートする。生成部７は、画像ＩＤ２に対応する色ヒストグラムに対する第１類似度が、第２閾値となる９０％以上となる画像ＩＤ群を、一つの第２グループとして分類する。具体的には、第２グループＩＤとして、２−ｂを付与する。以上の処理を、残りの画像ＩＤ数が２以下になるまで繰り返し実行することで、第２グループ群のグループ分類を実施する。図１１のテーブル１１０においては、画像ＩＤ１３と、画像ＩＤ１７が残り２つの画像ＩＤとなり、第２グループＩＤとして２−ｃが付与される。

図１２は、認証テーブル生成の為のデータ構造の一例を示すテーブル（その７）である。なお、図１２のテーブル１２０は、少なくとも図１１のテーブル１１０に基づいて生成される。図１２のテーブル１２０に示す通り、生成部７は、ある任意の第２グループに属する画像ＩＤの第１類似度の、当該第２グループ内における平均値を算出する。例えば、画像ＩＤ１は、画像ＩＤ１、画像ＩＤ１５、画像ＩＤ８、画像ＩＤ４、画像ＩＤ１１、画像ＩＤ１９の第１類似度を用いて、第２グループＩＤ２−ａ内の平均値を算出する。算出した平均値は、例えば、図１２のテーブル１２０の「所属第２グループＩＤ内における第１類似度の平均値」の項目に記憶される。なお、当該平均値が高い画像ＩＤである程、当該画像ＩＤが属する第２グループ内における平均的な色ヒストグラムを有していると換言することが出来る。

図１３は、認証テーブル生成の為のデータ構造の一例を示すテーブル（その８）である。なお、図１３のテーブル１３０は、少なくとも図１２のテーブル１２０に基づいて生成される。図１３のテーブル１３０は、顔検出尤度に基づいて複数の第１グループからなる第１グループ群に分類されている。更に、色ヒストグラム同士の類似度を示す第１類似度に基づいて複数の第２グループからなる第２グループ群に分類されている。ここで、同一の第２グループに属している画像ＩＤに対応付けられる色ヒストグラムは、顔検出尤度がほぼ同等であることを考慮すると、類似する外部要因の影響を受けていると考えることが出来る。なお、外部要因は、例えば、照明条件が挙げられる。換言すると、色ヒストグラムに影響を与える外部要因は、第２グループの数に区別出来ることを示し、同じ第１グループに属する異なる第２グループ間では、この外部要因が異なっていることを示す。

ここで、図１３のテーブル１３０を認証テーブルとして用いることを想定する。この場合、認証時に抽出される第１ユーザの顔検出尤度に基づいて何れかの第１グループを選択した後、当該第１グループに分類されており、第２グループに属している任意の色ヒストグラムと特徴ベクトルを用いることで、可用性と堅牢性を向上させた継続認証が可能となる。更に、第２グループに属している画像ＩＤに対応付けられる色ヒストグラムの内、第１類似度の平均値が、最も高い色ヒストグラムを一意的に優先して選択することで、更に可用性と堅牢性を向上させた継続認証が可能になる。これは、第１類似度の平均値が高い色ヒストグラムは、選択された第２グループの中で最も平均的な色ヒストグラムである為、様々な外部要因により特徴量が変化する第１ユーザの認証時に抽出される色ヒストグラムと類似する確率が高くなる為である。

これ加えて、選択された第２グループに属する特徴ベクトルを一意的に選択することで、更に可用性と堅牢性を向上させた継続認証を行うことが可能になる。この為、生成部７は、第２グループ群のいずれかに属し、複数の第２’グループからなる第２’グループ群を分類する。実施例１においては、図１３のテーブル１３０の第２グループＩＤが２−ａの第２グループから、少なくとも一つの第２’グループを生成する方法を説明する。なお、第２’グループを第３グループと称しても良い。

生成部７は、第２グループＩＤが２‐ａの、第２グループに属するすべての画像ＩＤに対応付けられる特徴ベクトル同士の類似度を示す第２類似度と、所定の第３閾値を用いることで第２’グループを分類することが出来る。ここで、特徴ベクトル同士の類似度算出処理について説明する。特徴ベクトルの類似度は、例えば、画像ＩＤ１に対応付けられる特徴ベクトル「ｖｅｃｔｏｒ１」に含まれる特徴点群と、画像ＩＤ１５に対応付けられる特徴ベクトル「ｖｅｃｔｏｒ１５」に含まれる特徴点群を用いた一般的な対応点探索によるマッチング処理を用いることが出来る。生成部７は、例えば、対応点探索の成功率（対応点探索成功数／特徴点群数×１００）を第２類似度として算出する。また、生成部７は、所定の第３閾値を９０％として第２’グループを分類する

なお、特徴点を抽出した際の第１ユーザの実際の顔位置によっては、抽出した特徴点の中に背景領域に対応する特徴点が一部含まれていることも考えられる。これを考慮すると、抽出した個々の特徴点に個別に信頼度を付与して顔領域を判定するようにしてもよい。信頼度は、例えば、特徴点群の重心からの距離に基づき、この距離が小さくなるに従って信頼度が高くなるように付与することができる。顔領域を判定する際には、信頼度の高い特徴点のみを使用するか、或いは、信頼度に応じて個々の特徴点を重み付けすることで、顔領域の判定精度を向上させることができる。

図１４は、認証テーブル生成の為のデータ構造の一例を示すテーブル（その９）である。なお、図１４のテーブル１４０は、少なくとも図１３のテーブル１３０に基づいて生成される。図１４のテーブル１４０には、生成部７が算出する特徴ベクトル同士の類似度を示す第２類似度が格納される。図１４のテーブル１４０においては、第２’グループが未だ規定されていない為、「第２’グループＩＤ」の項目には、例えば、ＴＢＤ（ｔｏ ｂｅ ｄｅｔｅｒｍｉｎｅｄ）の値が格納されている。図１４のテーブル１４０においては、画像ＩＤ１と画像ＩＤ１５のペアの第２類似度が９８％であり、最も高くなっている。

生成部７は、図１４のテーブル１４０において、第２類似度が最も高い画像ＩＤのペアのいずれか一方の任意の画像ＩＤを選択する。例えば、生成部７は、画像ＩＤ１を選択し、画像ＩＤ１に対応付けられる特徴ベクトルに対する第２類似度が高い順にソートする。ここで、第３閾値を、例えば９０％と規定して、画像ＩＤ１の特徴ベクトルに対する第２類似度が９０％以上となる画像ＩＤ群を、一つの第２’グループとして規定する。

図１５は、認証テーブル生成の為のデータ構造の一例を示すテーブル（その１０）である。なお、図１５のテーブル１５０は、少なくとも図１４のテーブル１４０に基づいて生成される。図１５に示すテーブル１５０においては、上述の方法で分類された、第２’グループ群に属する一つの第２グループとなる、第２’グループＩＤ２’−Ａ’が付与される。次に、生成部７は、第２’グループＩＤ２’−Ａ’にグループ分類された、画像ＩＤ群を除く，残りの画像ＩＤ同士のペアの中で、第２類似度が最も高くなるペアを探索する。図１５のテーブル１５０に示す例の場合、画像ＩＤ４と画像ＩＤ１９のペアの第２類似度が９５％と最も高くなっていることが分かる。そこで、図１５のテーブル１５０に示される通り、生成部７は、例えば、第２類似度が最も高くなるペアのうちの画像ＩＤ４を選択し、当該画像ＩＤ４に対する第２類似度が高い順に、画像ＩＤのソートを行う。第２類似度が、第３の閾値となる９０％以上となっているペアを構成する画像ＩＤ群を、1つの第２’グループＩＤ２’−Ｂ’としてグループ分類する。

生成部７は、上述の処理をグループ分類が出来なくなる、すなわち残りの画像ＩＤが２つ未満になるまで繰り返し実行することで，図１５のテーブル１５０に示される通り、第２’グループの分類を行う。図１５のテーブル１５０においては、画像ＩＤ１３と、画像ＩＤ１７が、上述の残り２つ未満の画像ＩＤとなり、第２’グループＩＤとして、２’−Ｃ’が付与される。

図１５のテーブル１５０に示す通り、生成部７は、ある任意の第２’グループに属する画像ＩＤの第２類似度の、第２’グループにおける平均値を算出する。例えば、画像ＩＤ１は、画像ＩＤ１、画像ＩＤ１５、画像ＩＤ８の第２類似度を用いて、所属する第２グループ内の平均値を算出する。算出した平均値は、例えば、図１５のテーブル１５０の「所属第２’グループＩＤ内における第２類似度の平均値」の項目に格納される。当該平均値が高い画像ＩＤの程、当該画像ＩＤが属する第２’グループ内における平均的な特徴ベクトルを有していると換言出来る。なお、例えば、第２’グループＩＤが２’−Ｃ’の様に、１つの画像ＩＤのみが、第２’グループを構成している場合は、平均値を算出せずに、空値を示す「ｎｕｌｌ」を「所属第２’グループＩＤ内における第２類似度の平均値」の項目に格納する。

図１６は、認証テーブル生成の為のデータ構造の一例を示すテーブル（その１１）である。なお、図１６のテーブル１６０は、少なくとも図１５のテーブル１５０に基づいて生成される。図７ないし図１５において説明した方法を用いることで、図１６のテーブル１６０に示される通り、複数の画像ＩＤ群は、第１グループ群、第２グループ群、第２’グループ群にそれぞれ分類される。ここで、生成部７は、必要に応じて第２’グループに属する画像ＩＤの代表画像ＩＤを規定する。具体的には、各第２’グループ内で、第２類似度の平均値が最も高くなる画像ＩＤを選定する。当該選定された画像ＩＤを代表画像ＩＤと規定し、「特徴ベクトル代表値判定」の項目にＹｅｓを格納する。代表画像ＩＤ以外の画像ＩＤにはＮｏを格納する。なお、生成部７は、選別されなかった画像ＩＤと、当該画像ＩＤに付随する各種データは、必要に応じて削除しても良い。実施例１においては削除した例として説明する。

例えば、第２’グループＩＤが２’−Ａ’に着目すると、「所属第２’グループＩＤ内における第２類似度の平均値」の項目の値が、最も高い画像ＩＤは、画像ＩＤ１（９７．５％）であるため、画像ＩＤ１を第２グループ２’−Ａ’の代表画像ＩＤと規定し、残りの画像ＩＤ８と画像ＩＤ１５を削除する。第２’グループＩＤが２’−Ｂ’に着目すると「所属第２’グループＩＤ内における第２類似度の平均値」の項目の値が同値のため、「所属第２グループＩＤ内における第１類似度の平均値」の値がより高い画像ＩＤ１９を、第２’グループ２’−Ｂ’の代表画像データと規定し，残りの画像ＩＤ４を削除する。

図１７は、認証テーブルのデータ構造の一例を示すテーブルである。なお、図１７のテーブル１７０は、少なくとも図１６のテーブル１６０に基づいて生成される。図１７のテーブル１７０において、生成部７は、第２グループに属する画像ＩＤの代表画像ＩＤを規定する。具体的には、各第２グループ内で、第１類似度の平均値が最も高くなる画像ＩＤを選定する。当該選定された画像ＩＤを代表画像ＩＤと規定し、「色ヒストグラム代表値判定」の項目にＹｅｓを格納する。代表画像ＩＤ以外の画像ＩＤにはＮｏを格納する。

図１７のテーブル１７０を用いて認証時に抽出される第１ユーザの顔検出尤度に基づいて何れかの第１グループを選択した後、当該第１グループに分類されており、第２グループに属している任意の色ヒストグラムと特徴ベクトルを用いることで、可用性と堅牢性を向上させた継続認証が可能となる。更に、第２グループに属している画像ＩＤに対応付けられる色ヒストグラムの内、第１類似度の平均値が、最も高い色ヒストグラムを一意的に優先して選択することで、更に可用性と堅牢性を向上させた継続認証が可能になる。これは、第１類似度の平均値が高い色ヒストグラムは、選択された第２グループの中で最も平均的な色ヒストグラムである為、様々な外部要因により特徴量が変化する第１ユーザの認証時に抽出される色ヒストグラムと類似する確率が高くなる為である。これ加えて、選択された第２グループに属する第２’グループを選択して特徴ベクトルを一意的に選択することで、更に可用性と堅牢性を向上させた継続認証を行うことが可能になる。これは、色ヒストグラムと特徴ベクトルは、同一の外部要因でも、抽出される特徴量の変化の感度が異なる為である。

図１８は、画像処理装置１による継続認証処理のフローチャートを示す。当該フローは図２のステップＳ２０３の詳細フローを示す。なお、図１８に示す処理フローを開始する時点で、生成部７は、認証テーブルを生成しているものとする。

取得部５は、撮像部３によって撮像された画像を取得する（ステップＳ１８０１）。次に抽出部６は、取得部５から画像を受け取り、画像に含まれる第１ユーザのユーザ領域となる顔領域と体領域を設定する。なお、顔領域と体領域の設定は、図３のステップＳ３０２ないしＳ３０４に示す方法で同様に検出することが出来る。図１８において、抽出部６は、第１ユーザのユーザ領域を適格に設定できたか否か判定する（ステップＳ１８０２）。

撮像部３による撮影時に第１ユーザが何らかの動作を行っており、画像にボケが生じた場合等により、第１ユーザのユーザ領域設定の適格性が否定された場合（ステップＳ１８０２−Ｎｏ）は、撮像部３により再度撮像が実行された後、取得部５による画像の取得が実行される（ステップＳ１８０１）。なお、ステップＳ１８０２において、一定回数に渡り第１ユーザのユーザ領域設定の適格性が否定された場合は、図２のステップＳ２０６のロック処理を行っても良い。一方、図１８において、ユーザ領域の設定の適格性が肯定された場合（ステップＳ１８０２−Ｙｅｓ）、抽出部６は、当該ユーザ領域から認証用色ヒストグラム、認証用特徴ベクトル、認証用顔検出尤度を抽出する（ステップＳ１８０３）。なお、認証用色ヒストグラムは、図３のステップＳ３０６に示す同様の方法で抽出することが出来る。認証用特徴ベクトルは、図３のステップＳ３０８に示す同様の方法で抽出することが出来る。認証用顔検出尤度は、図３のステップＳ３１０に示す同様の方法で抽出することが出来る。

図１８において、認証部８は、認証判定回数ｍの初期値を１にセットする（ステップＳ１８０４）。認証部８は、認証用顔検出尤度に基づいて、認証テーブルから第１グループを選択する（ステップＳ１８０５）。例えば、認証用顔検出尤度が９３％の場合、生成部７は、図１７のテーブル１７０において、第１グループＩＤ１−Ａを選択する。

図１８において、認証用色ヒストグラムと、選択した第１グループに属する第２グループ群の色ヒストグラムに基づいて、第２グループを選択する（ステップＳ１８０６）。具体的には、認証部８は、認証用色ヒストグラムと、図１７のテーブル１７０に示す、「色ヒストグラム代表値判定」の項目に「Ｙｅｓ」が格納されている画像ＩＤに対応する色ヒストグラムと、認証用ヒストグラムの類似度を算出し、類似度が最も高い色ヒストグラムを有する画像ＩＤが属している第２グループを選択する。なお、認証用色ヒストグラムと、認証テーブルに格納されている色ヒストグラムの類似度は、上述の第１類似度の算出方法と同様の方法で算出することが可能である。

図１８において、認証部８は、認証用特徴ベクトルと、選択した第２グループに属する第２’グループ群の特徴ベクトルに基づいて、第２’グループを選択する（ステップＳ１８０７）。具体的には、生成部７は、認証用特徴ベクトルと、図１７のテーブル１７０に示す、選択した第２グループに属する特徴ベクトルと、認証用特徴ベクトルの類似度を算出し、類似度が最も高い特徴ＩＤを有する画像ＩＤが属している第２’グループを選択する。なお、認証用特徴ベクトルと、認証テーブルに格納されている特徴ベクトルの類似度は、上述の第２類似度と同様の方法で算出することが可能である。また、図１６のテーブル１６０において、必要に応じて第２’グループに属する画像ＩＤの代表画像ＩＤを規定し、図１７のテーブル１７０の通り、第２’グループに属する画像ＩＤが１つになっている場合は、認証部８は、ステップＳ１８０７を省略することが出来る。

認証部８は、図１８のステップＳ１８０５ないしＳ１８０８の処理を実行することで、図１７のテーブル１７０から一つの画像ＩＤを選択することになる。認証部８は、当該画像ＩＤに対応付けられている特徴ベクトルと認証用特徴ベクトル同士の類似度が、所定の第１認証判定値（Ｔｈ_１）以上か否かを判定する（ステップＳ１８０９）。なお、ステップＳ１８０９における特徴ベクトル同士の類似度は、ステップＳ１８０８で算出した類似度を用いることが可能である。なお、第１認証判定値（Ｔｈ_１）は、画像処理装置１に要求されるＦＲＲとＦＡＲを考慮した認証精度によって適宜決定されれば良く、例えば９０％である。

ステップＳ１８０９における特徴ベクトル同士の類似度が、第１認証判定値（Ｔｈ_１）以上の場合（ステップＳ１８０９−Ｙｅｓ）、認証部８は、ステップＳ１８０９で用いた特徴ベクトルの画像ＩＤに対応する色ヒストグラムと、認証用色ヒストグラム同士の類似度が、所定の第２認証判定値（Ｔｈ_２）以上か否かを判定する（ステップＳ１８１０）。なお、ステップＳ１８１０における色ヒストグラム同士の類似度は、ステップＳ１８０６で算出した類似度を用いることが可能である。なお、第２認証判定値（Ｔｈ_２）は、画像処理装置１に要求されるＦＲＲとＦＡＲを考慮した認証精度によって適宜決定されれば良く、例えば９５％である。

ステップＳ１８１０における色ヒストグラム同士の類似度が、第２認証判定値（Ｔｈ_２）以上の場合（ステップＳ１８１０−Ｙｅｓ）、認証部８は、継続認証成功と判定し（ステップＳ１８１５）、画像処理装置１は、画像に含まれるユーザを第１ユーザとして認識することで継続認証処理を終了する。

ステップＳ１８０９における特徴ベクトル同士の類似度が、第１認証判定値（Ｔｈ_１）より小さい場合（ステップＳ１８０９−Ｎｏ）、または、ステップＳ１８１０における色ヒストグラム同士の類似度が、第２認証判定値（Ｔｈ_２）より小さい場合（ステップＳ１８１０−Ｎｏ）、認証部８は、ステップＳ１８０９またはステップＳ１８１０において認証判定に用いた画像ＩＤを、継続認証処理に用いる画像ＩＤの選択対象から除外し（ステップＳ１８１１）する。そして、認証判定回数ｍの値を１つインクリメントする（ステップＳ１８１２）。

認証部８は、認証判定回数ｍが、繰り返し認証回数Ｎ_ｒｅｐ以上か否かを判定する（ステップＳ１８１３）。認証部８は、認証判定回数ｍが、繰り返し認証回数Ｎ_ｒｅｐより小さい場合（ステップＳ１８１３−Ｎｏ）、ステップＳ１８０５ないしＳ１８１３の処理を繰り返す。認証部８は、認証判定回数ｍが、繰り返し認証回数Ｎ_ｒｅｐ以上の場合（ステップＳ１８１３−Ｙｅｓ）、認証部８は、継続認証失敗と判定し（ステップＳ１８１４）、画像処理装置１は、画像に含まれるユーザを第２ユーザとして認識することで継続認証処理を終了する。なお、繰り返し認証回数Ｎ_ｒｅｐを大きくする程、ＦＲＲが下がる一方、ＦＡＲは大きくなる。また、繰り返し認証回数Ｎ_ｒｅｐが大きくなる程、継続認証処理時間、即ち継続認証処理に要する演算負荷が増加する。この為、繰り返し認証回数Ｎ_ｒｅｐは、画像処理装置１に要求される認証精度と、演算能力に応じて決定すれば良く、例えば５回である。

上述した通り、実施例１に示す画像処理においては、可用性と堅牢性を向上させた継続認証が可能となる。例えば、比較例として図６のテーブル６０において、画像ＩＤ１ないし画像ＩＤ２０からランダムに画像ＩＤを選択して、認証を行う場合、一回で本人と認証される確率は、１／２０（画像ＩＤ数）×１００（％）＝５％となる。一方、実施例１に開示する方法によれば、第３特徴量の顔検出尤度を用いて第１グループを選択する。第１グループに属する画像ＩＤ数は１１個の為、一回で本人と認証される確率は１／１１（画像ＩＤ数）×１００（％）＝９％となる。更に第１特徴量となる色ヒストグラムと、第２特徴量となる特徴ベクトルを用いて、第２グループを選択して継続認証を実施する為、一回で本人と認証される確率が更に向上する。例えば、図１７の認証テーブル１７０において、画像ＩＤ６が、図１８のステップＳ１８０９とＳ１８１０における認証条件を満たすと過程する。この場合、先ず、認証部８は、第１グループＩＤ１−Ａを選択する。次に、認証部８は、顔の色ヒストグラムの類似度が最も高い第２グループＩＤ２−ｂが選択される。この場合、認証を行う場合、一回で本人と認証される確率は１／２（画像ＩＤ数）×１００（％）＝５０％となる。更に、第２’グループを選択して継続認証を実施すると、外乱の影響を受けない限り、一回で本人と認証される。

実施例１に開示する生成部７が生成する認証テーブルによれば、第１グループ、第２グループ、第２’グループそれぞれに影響を与える外部要因に応じてグループ分類される。このグループ数は、画像処理装置１の使用環境で考慮する必要が有る外部要因の最低個数となる。その一方で、代表画像ＩＤ間はそれぞれの外部要因を代表し、かつ相互に特徴量が最も類似していないものを選択することが可能となる。換言すると、特徴量が類似の登録データは排除することができ、認証テーブルに登録する画像ＩＤ数を最小限に抑えることも可能となる。また、継続認証処理を実行する場合に、類似の特徴量を使用することによる、演算負荷の増大を抑制することが可能となる。

（実施例２）
実施例２においては、図１８のステップＳ１８０９において、第１認証判定値（Ｔｈ_１）をより詳細に規定する方法について開示する。なお、実施例２においては、図１８のステップＳ１８１０の処理は実行しないものとして説明する。上述の通り、繰り返し認証回数Ｎ_ｒｅｐは、画像処理装置１の要件として規定されているＦＲＲとＦＡＲを満たすように規定する必要が有る。図１９（ａ）は、特徴ベクトルを用いた第１認証判定値（Ｔｈ１）と、特徴ベクトル認証による本人拒否率（ＦＲＲ）と他人受入率（ＦＡＲ）との関係図である。図１９（ａ）に示される通り、特徴ベクトル認証におけるＦＡＲとＦＲＲは反比例の関係になっており、一方を規定すると他方も規定することになる。この為、実施例２においては、ＦＡＲを規定する場合について説明する。

特徴ベクトル認証の成否（第１ユーザ／第２ユーザの判定）は、特徴ベクトル同士の類似度を基準として判定する為、ＦＡＲは判定に用いる第１認証判定値（Ｔｈ_１）で規定される。図１９（ａ）から理解出来る通り、第１認証判定値（Ｔｈ_１）が規定されると、ＦＲＲも一意的に規定される。

繰り返し認証回数Ｎ_ｒｅｐは、画像処理装置１の要件として規定されているＦＡＲとなるＦＡＲ_ＴＨと、特徴ベクトル認証処理１回あたりのＦＡＲの設計値ＦＡＲ_ＦＲに対応して、次式の通り規定することが可能である。
（数５）
Ｎ_ｒｅｐ = ＦＡＲ_ＴＨ / ＦＡＲ_ＦＲ
ここで、一般的には、ＦＡＲ_ＴＨは、装置の要件として定数として予め規定される為、上述の（数５）を満たす様に、Ｎ_ｒｅｐとＦＡＲ_ＦＲを調整する。ここで、Ｎ_ｒｅｐは、例えば、整数であり、画像処理装置１の演算能力度等の性能によって上限が規定されてしまう場合が多いため、上述の（数５）においては、ＦＡＲ_ＦＲを調整することになる。具体的な例を示すと、画像処理装置１の要求仕様として，ＦＡＲ_ＴＨが１％とし、Ｎ_ｒｅｐを５回とする場合、特徴ベクトル認証処理１回あたりのＦＡＲ_ＦＲは、
ＦＡＲ_ＦＲ = ＦＡＲ_ＴＨ / Ｎ_ｒｅｐ= １％ / ５回 = ０．２％
となる。認証部８は、この値に対応する第１認証判定値（Ｔｈ_１）を、図１９（ａ）の関係図から規定すれば良い。

（実施例３）
実施例３においては、図１８のステップＳ１８１０における第２認証判定値（Ｔｈ_２）を使用する場合の、ステップＳ１８０９における第１認証判定値（Ｔｈ_１）をより詳細に規定する方法について開示する。図１９（ｂ）は、色ヒストグラム認証による本人拒否率（ＦＲＲ）と他人受入率（ＦＡＲ）との関係図である。図１９（ｂ）に示される通り、色ヒストグラム認証におけるＦＡＲとＦＲＲは反比例の関係になっており、一方を規定すると他方も規定することになる。また、一般的に、色ヒストグラム認証でのＦＡＲは、特徴べクトル認証のＦＡＲに対して高くなるものの、ＦＡＲが１００％になるということは無く，ある程度の識別性能を有している。図１９（ｂ）に示す、ＦＡＲとＦＲＲの関係が既知の場合に、色ヒストグラム同士の類似度（ＳＣＨ）を算出すれば，これに対応するＦＡＲを、ＦＡＲ_ＣＨ（ＳＣＨ）として算出することが可能である。この場合に、ＦＡＲ_ＦＲを次式に従って調整する。
（数６）
ＦＡＲ_ＦＲ（ＳＣＨ） = （ ＦＡＲ_ＴＨ / Ｎ_ｒｅｐ ) / ＦＡＲ_ＣＨ（ＳＣＨ）
上述の（数６）に従って調整後のＦＡＲ_ＦＲ（ＳＣＨ）を満たす様に、図１９（ａ）の関係図から第１認証判定値（Ｔｈ_１）を規定すれば良い。

上述の様に第１認証判定値（Ｔｈ_１）を規定することで、画像処理装置１全体のＦＡＲ_ＴＨを維持したまま、特徴ベクトルを用いた認証時のＦＡＲ_ＦＲ（ＳＣＨ）を上げることが可能となる。つまり、ＦＡＲ_ＴＨが同じであっても、画像処理装置１全体の本人拒否率ＦＲＲの方を低下させられることで、画像処理装置１の可用性を向上させることが可能となる。なお、上述の（数５）は、（数６）においてＦＡＲ_ＣＨ（ＳＣＨ） ＝１ （＝ １００％）とした場合に相当する。

実施例３における具体的な例を示す。画像処理装置１の要求仕様の例として、ＦＡＲ_ＴＨ = １％とし、Ｎ_ｒｅｐを５回とする。ここで，認証用色ヒストグラムの類似度に対応したＦＡＲが、ＦＡＲ_ＣＨ（ＳＣＨ） = ６０％と既知の場合を想定する。この場合に特徴ベクトル認証で許容されるＦＡＲは、上述の（数６）より、
ＦＡＲ_ＦＲ（ＳＣＨ） = （ ＦＡＲ_ＴＨ / Ｎ_ｒｅｐ ) / ＦＡＲ_ＣＨ（ＳＣＨ）
= ( １％/ ５回 ) / ６０％ = ０．３３％
となる。この値は，実施例２におけるＦＡＲ_ＦＲ＝０．２％に比較して、ＦＡＲの必要性能を０．１３％だけ緩和することが可能となることを意味している。ＦＡＲが緩和されれば、対応してＦＲＲも緩和されるため，本人が拒否される可能性を低減させること、すなわち、可用性を向上させることが可能となる。

（実施例４）
図２０は、一つの実施形態による画像処理装置１として機能するコンピュータのハードウェア構成図である。図２０に示すように、画像処理装置１は、制御部１１、主記憶部１２、補助記憶部１３、ドライブ装置１４、ネットワークＩ／Ｆ部１７、入力部１８、表示部１９を含む。これら各構成は、バスを介して相互にデータ送受信可能に接続されている。

制御部１１は、コンピュータの中で、各装置の制御やデータの演算、加工を行うＣＰＵである。また、制御部１１は、主記憶部１２や補助記憶部１３に記憶されたプログラムを実行する演算装置であり、入力部１８や記憶装置からデータを受け取り、演算、加工した上で、表示部１９や記憶装置などに出力する。

主記憶部１２は、ＲＯＭやＲＡＭなどであり、制御部１１が実行する基本ソフトウェアであるＯＳやアプリケーションソフトウェアなどのプログラムやデータを記憶または一時保存する記憶装置である。

補助記憶部１３は、ＨＤＤなどであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。

ドライブ装置１４は、記録媒体１５、例えばフレキシブルディスクからプログラムを読み出し、補助記憶部１３にインストールする。

また、記録媒体１５に、所定のプログラムを格納し、この記録媒体１５に格納されたプログラムはドライブ装置１４を介して画像処理装置１にインストールされる。インストールされた所定のプログラムは、画像処理装置１により実行可能となる。

ネットワークＩ／Ｆ部１７は、有線及び／又は無線回線などのデータ伝送路により構築されたＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）などのネットワークを介して接続された通信機能を有する周辺機器と画像処理装置１とのインターフェースである。

入力部１８は、カーソルキー、数字入力及び各種機能キー等を備えたキーボード、表示部１９の表示画面上でキーの選択等を行うためのマウスやスライスパット等を有する。また、入力部１８は、ユーザが制御部１１に操作指示を与えたり、データを入力したりするためのユーザインターフェースである。

表示部１９は、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）やＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）等により構成され、制御部１１から入力される表示データに応じた表示が行われる。

なお、上述した画像処理方法は、コンピュータに実行させるためのプログラムとして実現されてもよい。このプログラムをサーバ等からインストールしてコンピュータに実行させることで、上述した画像処理方法を実現することができる。

また、このプログラムを記録媒体１５に記録し、このプログラムが記録された記録媒体１５をコンピュータや携帯端末に読み取らせて、前述した画像処理を実現させることも可能である。なお、記録媒体１５は、ＣＤ−ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的、電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記録媒体を用いることができる。

また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。

以上、説明した実施形態に関し、更に以下の付記を開示する。
（付記１）
撮像された画像を取得する取得部と、
前記画像に含まれるユーザの第１特徴量、第２特徴量、ならびに前記第２特徴量を抽出する部位の尤度を示す第３特徴量を抽出する抽出部と、
前記取得部が取得する複数の前記画像から抽出される、複数の前記第１特徴量、複数の前記第２特徴量、ならびに複数の前記第３特徴量を含む認証テーブルを生成する生成部と、
前記ユーザの認証時に抽出される前記第３特徴量と、前記認証テーブルに含まれる前記第３特徴量に基づいて、前記認証テーブルに含まれる前記第１特徴量と前記第２特徴量を選択し、
選択した前記第１特徴量と前記第２特徴量、ならびに前記認証時に抽出される前記第１特徴量と前記第２特徴量に基づいて前記ユーザを認証する認証部と、
を備えることを特徴とする画像処理装置。
（付記２）
前記第１特徴量は色ヒストグラムであり、前記第２特徴量は特徴量ベクトルであることを特徴とする付記１記載の画像処理装置。
（付記３）
前記生成部は、前記認証テーブルを、前記第３特徴量の大きさと所定の第１閾値に基づいて、複数の第１グループからなる第１グループ群に分類し、
前記認証部は、前記認証時に抽出される前記第３特徴量に基づいて、前記第１グループ群のいずれかに属し、複数の第２グループからなる第２グループ群の中から一つの第２グループを選択し、
選択した前記第２グループに属している前記第１特徴量と前記第２特徴量、ならびに
前記認証時に抽出される前記第１特徴量と前記第２特徴量に基づいて前記ユーザを認証することを特徴とする付記１または付記２記載の画像処理装置。
（付記４）
前記生成部は、前記第２グループ群を、前記第１グループにそれぞれ属している、
複数の前記第１特徴量同士の第１類似度と所定の第２閾値と、
複数の前記第２特徴量同士の第２類似度と所定の第３閾値に基づいて、複数の前記第２グループに分類することを特徴とする付記３記載の画像処理装置。
（付記５）
前記生成部は、前記第１類似度が最大となる前記第１特徴量に対する前記第１類似度と、前記第２閾値に基づいて一つの前記第２グループを分類し、
前記一つの前記第２グループに分類されなかった複数の前記第１特徴量において、前記第１類似度が最大となる前記第１特徴量に対する前記第１類似度と、前記第２閾値に基づいて他の前記第２グループを分類することを特徴とする付記４記載の画像処理装置。
（付記６）
前記生成部は、前記第２類似度が最大となる前記第２特徴量に対する前記第２類似度と、前記第３閾値に基づいて一つの前記第２グループを分類し、
前記一つの前記第２グループに分類されなかった複数の前記第２特徴量において、前記第２類似度が最大となる前記第２特徴量に対する前記第２類似度と、前記第３閾値に基づいて他の前記第２グループを分類することを特徴とする付記４記載の画像処理装置。
（付記７）
前記認証部は、前記第２グループにおいて、前記第１類似度の平均または総和が最大の前記第１特徴量または、前記第２類似度の平均または総和が最大の前記第２特徴量を用いて前記ユーザを認証することを特徴とする付記３ないし付記６いずれか一項に記載の画像処理装置。
（付記８）
前記認証部は、前記ユーザを認証出来なかった場合、前記選択した前記第１特徴量または前記第２特徴量を、前記認証テーブルの選択対象から除外し、
画像処理装置の要件として規定される他人受入率と、前記第２特徴量を用いた認証処理一回当たりの他人受入率に基づいて、繰返し認証を行うことを特徴とする付記１記載の画像処理装置。
（付記９）
前記認証部は、前記ユーザを認証出来なかった場合、前記選択した前記第１特徴量または前記第２特徴量を、前記認証テーブルの選択対象から除外し、
画像処理装置の要件として規定される他人受入率と、前記第１特徴量を用いた認証処理一回当たりの他人受入率に基づいて、繰返し認証を行うことを特徴とする付記１記載の画像処理装置。
（付記１０）
撮像された画像を取得し、
前記画像に含まれるユーザの第１特徴量、第２特徴量、ならびに前記第２特徴量を抽出する部位の尤度を示す第３特徴量を抽出し、
複数の前記画像から抽出される、複数の前記第１特徴量、複数の前記第２特徴量、ならびに複数の前記第３特徴量を含む認証テーブルを生成し、
前記ユーザの認証時に抽出される前記第３特徴量と、前記認証テーブルに含まれる前記第３特徴量に基づいて、前記認証テーブルに含まれる前記第１特徴量と前記第２特徴量を選択し、
選択した前記第１特徴量と前記第２特徴量、ならびに前記認証時に抽出される前記第１特徴量と前記第２特徴量に基づいて前記ユーザを認証する
することを含むことを特徴とする画像処理方法。
（付記１１）
前記第１特徴量は色ヒストグラムであり、前記第２特徴量は特徴量ベクトルであることを特徴とする付記１０記載の画像処理方法。
（付記１２）
前記生成することは、前記認証テーブルを、前記第３特徴量の大きさと所定の第１閾値に基づいて、複数の第１グループからなる第１グループ群に分類し、
前記認証部は、前記認証時に抽出される前記第３特徴量に基づいて、前記第１グループ群のいずれかに属し、複数の第２グループからなる第２グループ群の中から一つの第２グループを選択し、
選択した前記第２グループに属している前記第１特徴量と前記第２特徴量と、ならびに
前記認証時に抽出される前記第１特徴量と前記第２特徴量に基づいて前記ユーザを認証することを特徴とする付記１０または付記１１記載の画像処理方法。
（付記１３）
前記生成することは、前記第２グループ群を、前記第１グループにそれぞれ属している、
複数の前記第１特徴量同士の第１類似度と所定の第２閾値と、
複数の前記第２特徴量同士の第２類似度と所定の第３閾値に基づいて、複数の前記第２グループに分類することを特徴とする付記１２記載の画像処理方法。
（付記１４）
前記生成することは、前記第１類似度が最大となる前記第１特徴量に対する前記第１類似度と、前記第２閾値に基づいて一つの前記第２グループを分類し、
前記一つの前記第２グループに分類されなかった複数の前記第１特徴量において、前記第１類似度が最大となる前記第１特徴量に対する前記第１類似度と、前記第２閾値に基づいて他の前記第２グループを分類することを特徴とする付記１３記載の画像処理方法。
（付記１５）
前記生成することは、前記第２類似度が最大となる前記第２特徴量に対する前記第２類似度と、前記第３閾値に基づいて一つの前記第２グループを分類し、
前記一つの前記第２グループに分類されなかった複数の前記第２特徴量において、前記第２類似度が最大となる前記第２特徴量に対する前記第２類似度と、前記第３閾値に基づいて他の前記第２グループを分類することを特徴とする付記１３記載の画像処理方法。
（付記１６）
前記認証することは、前記第２グループにおいて、前記第１類似度の平均または総和が最大の前記第１特徴量または、前記第２類似度の平均または総和が最大の前記第２特徴量を用いて前記ユーザを認証することを特徴とする付記１２ないし付記１５いずれか一項に記載の画像処理方法。
（付記１７）
前記認証することは、前記ユーザを認証出来なかった場合、前記選択した前記第１特徴量または前記第２特徴量を、前記認証テーブルの選択対象から除外し、
画像処理装置の要件として規定される他人受入率と、前記第２特徴量を用いた認証処理一回当たりの他人受入率に基づいて、繰返し認証を行うことを特徴とする付記１記載の画像処理方法。
（付記１８）
前記認証することは、前記ユーザを認証出来なかった場合、前記選択した前記第１特徴量または前記第２特徴量を、前記認証テーブルの選択対象から除外し、
画像処理装置の要件として規定される他人受入率と、前記第１特徴量を用いた認証処理一回当たりの他人受入率に基づいて、繰返し認証を行うことを特徴とする付記１記載の画像処理方法。
（付記１９）
コンピュータに、
撮像された画像を取得し、
前記画像に含まれるユーザの第１特徴量、第２特徴量、ならびに前記第２特徴量を抽出する部位の尤度を示す第３特徴量を抽出し、
複数の前記画像から抽出される、複数の前記第１特徴量、複数の前記第２特徴量、ならびに複数の前記第３特徴量を含む認証テーブルを生成し、
前記ユーザの認証時に抽出される前記第３特徴量と、前記認証テーブルに含まれる前記第３特徴量に基づいて、前記認証テーブルに含まれる前記第１特徴量と前記第２特徴量を選択し、
選択した前記第１特徴量と前記第２特徴量、ならびに前記認証時に抽出される前記第１特徴量と前記第２特徴量に基づいて前記ユーザを認証する
ことを実行させることを特徴とする画像処理プログラム。

１ 画像処理装置
２ ログイン認証部
３ 撮像部
４ 記憶部
５ 取得部
６ 抽出部
７ 生成部
８ 認証部
１０ 継続認証装置

Claims (9)

1. 撮像された複数の画像それぞれについての、前記画像から所定対象を検出した際の確度と、前記画像における前記所定対象に対応する第１領域の第１特徴量とを対応付けて記憶する記憶部と、
   撮像された処理画像を取得する第１取得部と、
   前記処理画像から前記所定対象を検出する検出部と、
   前記処理画像から前記所定対象が検出された場合の確度である処理確度と、前記処理画像における前記第１領域の第１特徴量である処理第１特徴量を取得する第２取得部と、
   前記処理確度と所定基準以上の相関を有する前記確度を特定するとともに、特定された前記確度に対応付けられた前記第１特徴量を特定する特定部と、
   特定した前記第１特徴量と前記処理第１特徴量とに基づいて、前記処理画像に前記所定対象が含まれるか否かを判定する判定部と、
   を備えることを特徴とする画像処理装置。
2. 前記所定対象はユーザであり、
   前記第１領域は、前記ユーザの顔領域であり、
   前記記憶部はさらに、前記ユーザの顔領域または体領域の少なくとも一方を含む第２領域に対応する第２特徴量を、前記確度および前記第１特徴量と対応付けて記憶し、
   前記確度および前記処理確度は、前記ユーザの顔領域を検出した場合の尤度であり、
   特定された前記確度は、前記記憶部に記憶された前記確度のうちの前記処理確度との差が最も小さい確度である、
   ことを特徴とする請求項１記載の画像処理装置。
3. 前記所定対象を撮像範囲に含む複数の画像それぞれについて取得された、前記確度と前記第１特徴量または前記第２特徴量の少なくともいずれかに基づいて、それぞれが前記確度と前記第１特徴量または前記第２特徴量の少なくともいずれかとの対応関係を示す複数の判定基準情報を生成する生成部を備え、
   前記記憶部は、前記生成部により生成された前記複数の判定基準情報を記憶する、
   ことを特徴とする請求項２記載の画像処理装置。
4. 前記第２特徴量は色ヒストグラムであり、前記第１特徴量は特徴量ベクトルであることを特徴とする請求項２記載の画像処理装置。
5. 前記生成部は、前記複数の判定基準情報を、前記確度の値と所定の第１閾値とに基づいて、複数の第１グループからなる第１グループ群に分類し、
   前記特定部は、前記処理確度に基づいて、前記第１グループ群のいずれかに属し、複数の第２グループからなる第２グループ群の中から一つの第２グループを選択し、
   前記判定部は、選択された前記第２グループに属している判定基準情報に含まれる前記第１特徴量と前記第２特徴量の少なくともいずれかと、前記処理第１特徴量と前記処理画像について取得された前記第２特徴量である処理第２特徴量の少なくともいずれかとの比較結果に基づいて前記処理画像に前記所定対象が含まれるか否かを判定する、
   ことを特徴とする請求項３記載の画像処理装置。
6. 前記生成部は、前記第２グループ群を、前記第１グループにそれぞれ属している複数の前記第１特徴量同士の第１類似度と所定の第２閾値と、前記第１グループにそれぞれ属している複数の前記第２特徴量同士の第２類似度と所定の第３閾値と、に基づいて、複数の前記第２グループに分類することを特徴とする請求項５記載の画像処理装置。
7. 前記生成部は、前記第２類似度が最大となる前記第２特徴量に対する前記第２類似度と、前記第３閾値に基づいて一つの前記第２グループを分類し、
   前記一つの前記第２グループに分類されなかった複数の前記第２特徴量において、前記第２類似度が最大となる前記第２特徴量に対する前記第３類似度と、前記第３閾値に基づいて他の前記第２グループを分類することを特徴とする請求項６記載の画像処理装置。
8. コンピュータが、
   撮像された処理画像を取得し、
   前記処理画像から所定対象を検出する検出部と、
   前記処理画像から前記所定対象が検出された場合の確度である処理確度と、前記処理画像における第１領域の第１特徴量である処理第１特徴量を取得し、
   撮像された複数の画像それぞれについての、前記画像から前記所定対象を検出した際の確度と、前記画像における前記所定対象に対応する前記第１領域の第１特徴量とを対応付けて記憶する記憶部を参照して、前記処理確度と所定基準以上の相関を有する前記確度を特定するとともに、特定された前記確度に対応付けられた前記第１特徴量を特定し、
   特定した前記第１特徴量と前記処理第１特徴量とに基づいて、前記処理画像に前記所定対象が含まれるか否かを判定する、
   ことを含むことを特徴とする画像処理方法。
9. コンピュータに、
   撮像された処理画像を取得し、
   前記処理画像から所定対象を検出する検出部と、
   前記処理画像から前記所定対象が検出された場合の確度である処理確度と、前記処理画像における第１領域の第１特徴量である処理第１特徴量を取得し、
   撮像された複数の画像それぞれについての、前記画像から前記所定対象を検出した際の確度と、前記画像における前記所定対象に対応する前記第１領域の第１特徴量とを対応付けて記憶する記憶部を参照して、前記処理確度と所定基準以上の相関を有する前記確度を特定するとともに、特定された前記確度に対応付けられた前記第１特徴量を特定し、
   特定した前記第１特徴量と前記処理第１特徴量とに基づいて、前記処理画像に前記所定対象が含まれるか否かを判定する、
   ことを実行させることを特徴とする画像処理プログラム。
   

Images