JP6891641B2 - 情報処理システム、画像処理装置、及び認証方法 - Google Patents

Description

本発明は、情報処理システム、画像処理装置、及び認証方法に関する。

利用者を認証する認証方法として、パスワード入力等の操作が不要であり、ＩＣカードの紛失や盗難等によるなりすましを防ぐことができる顔認証等の生体認証技術が普及している。

例えば、利用者の顔を含む領域を撮像して得られた顔画像から生成した情報と、予め登録された認証情報とを比較、照合することで、利用者の認証を行う画像処理装置が知られている（例えば、特許文献１参照）。

しかし、顔認証等の撮像された画像による認証方法（以下、生体認証と呼ぶ）は、一般的に普及しているＩＣカード等の所持物による認証方法（以下、所持物認証と呼ぶ）と比べて認証の精度が低いという問題がある。

そこで、例えば、生体認証と所持物認証等、２つの異なる種類の情報を用いて利用者の認証を行う認証（２要素認証）を行うことにより、認証の精度を向上させると共に、なりすましを防止することができるようになる。

しかし、例えば、情報処理システム等に、このような認証方式を用いることにより、認証の精度は高くなるが、２つの認証を行うことにより、利用者の認証待ち時間が増加し、ユーザビリティが低下するという問題がある。

本発明の実施の形態は、上記問題点に鑑みてなされたものであって、生体による認証と所持物による認証とを用いて利用者を認証する情報処理システムにおいて、利用者の認証の待ち時間を低減し、ユーザビリティを向上させることを目的とする。

上記課題を解決するため、本発明の一実施形態に係る情報処理システムは、利用者を認証する情報処理システムであって、前記利用者の画像を撮像する撮像部と、前記撮像部が撮像した画像から、生体認証において前記利用者の照合に用いる第１の情報を抽出する情報抽出部と、前記情報抽出部が抽出した１つ以上の第１の情報を記憶部に記憶する抽出情報管理部と、前記利用者の所定の所持物から、所持物認証に用いる第２の情報を取得する情報取得部と、前記情報取得部が取得した前記第２の情報を用いて、前記利用者の前記所持物認証を行う所持物認証部と、前記所持物認証が許可された場合、前記記憶部に記憶した前記１つ以上の第１の情報を用いて前記利用者の前記生体認証を行う生体認証部と、前記生体認証が許可された前記利用者に、前記情報処理システムの利用を許可する利用制御部と、を有し、前記所持物認証部は、前記情報取得部が前記第２の情報を取得した場合、前記情報抽出部による処理を中断して前記所持物認証を行い、前記所持物認証が許可された場合、前記中断した前記情報抽出部による処理を再開させる。

本発明の実施の形態によれば、生体による認証と所持物による認証とを用いて利用者を認証する情報処理システムにおいて、利用者の認証の待ち時間を低減し、ユーザビリティを向上させることができる。

一実施形態に係る情報処理システムの構成例を示す図である。 一実施形態に係る画像形成装置のハードウェア構成の例を示す図である。 一実施形態に係る画像形成装置の機能構成の例を示す図である。 一実施形態に係る利用者情報の例を示す図である。 第１の実施形態に係る認証処理の例を示すフローチャートである。 第１の実施形態に係る特徴情報の記憶処理の例を示すフローチャートである。 第１の実施形態に係る顔画像について説明するための図である。 第１の実施形態に係るＩＣカードの認証処理の例を示すフローチャートである。 第１の実施形態に係る顔の認証処理の例を示すフローチャートである。 第１の実施形態に係る顔の認証処理について説明するための図である。 第１の実施形態に係る認証処理の例を示すシーケンス図である。 第１の実施形態に係る表示画面の例を示す図である。 第２の実施形態に係る認証処理の例を示すフローチャートである。 第２の実施形態に係る特徴情報の記憶処理の例を示すフローチャートである。 第３の実施形態に係る認証処理の例を示すフローチャート（１）である。 第３の実施形態に係る認証処理の例を示すフローチャート（２）である。 第４の実施形態に係る認証処理の概要を示すフローチャートである。 第４の実施形態に係る画像形成装置のソフトウェア構成の例を示す図である。 第４の実施形態に係る省電力状態の解除処理の例を示すシーケンス図である。

以下に、本発明の実施の形態について、添付の図面を参照して説明する。

＜システムの構成＞
図１は一実施形態に係る情報処理システムの構成例を示す図である。情報処理システム１００は、画像形成装置１０１、及び画像形成装置１０１に内蔵（又は外付け）されたカメラ１０２、ＩＣカードリーダ１０３等を含む。

画像形成装置（画像処理装置）１０１は、例えば、プリンタ、スキャナ、コピー、ファクシミリ等の機能を有するＭＦＰ（Multifunction Peripheral）、コピー機、プリンタ等の電子機器である。

画像形成装置１０１は、ＩＣカードリーダ１０３により、利用者１０５が所持するＩＣカード１０４（所持物の一例）から認証情報を取得し、利用者１０５のＩＣカードの認証（所持物認証の一例）を行う。

また、画像形成装置１０１は、カメラ１０２で撮像した利用者１０５の画像から抽出した顔の特徴情報と、ＩＣカード認証が許可された利用者１０５の予め記憶した顔の特徴情報とを照合し、利用者１０５の顔の認証（生体認証の一例）を行う。

さらに、画像形成装置１０１は、ＩＣカードの認証、及び顔の認証が許可された利用者１０５に、画像形成装置１０１の利用を許可する（例えば、ログインを許可する）。

このように、種類の異なる２つの要素による認証を組み合わせて利用者を認証する認証方式は、２要素認証（多要素認証）として知られている。

種類の異なる要素による認証には、例えば、利用者１０５が知っている情報による認証（知識認証）、利用者１０５の所持物による認証（所持物認証）、及び利用者１０５の生体の特徴による認証（生体認証）等が含まれる。

本実施形態に係る情報処理システム１００では、この３つの種類の異なる要素による認証のうち、所持物認証（例えば、ＩＣカードの認証）と、生体認証（例えば、顔の認証）とを用いて、利用者１０５の認証を行う。

なお、ＩＣカード１０４による認証は所持物認証の一例であり、ＩＣカード１０４に代えて、例えば、利用者１０５が所持する携帯端末、ウェアラブル端末等を用いて、利用者１０５の所持物認証を行うものであっても良い。

また、利用者１０５の顔による認証は生体認証の一例であり、顔に代えて、利用者１０５の音声や、歩き方、虹彩等の特徴情報を用いて、利用者１０５の生体認証を行うものであっても良い。

ここでは、画像形成装置１０１が、利用者１０５が所持するＩＣカード１０４によるＩＣカードの認証（所持物認証）と利用者１０５の顔画像による顔の認証（生体認証）とを組み合わせて、利用者１０５の認証（２要素認証）を行うものとして、以下の説明を行う。

図１において、画像形成装置１０１を利用する利用者１０５が、画像形成装置１０１に近づき、ＩＣカードリーダ１０３にＩＣカード１０４を近接させると、画像形成装置１０１は、利用者１０５の認証が行われる。

しかし、従来の技術では、顔認証を行うためには、利用者１０５の顔の特徴情報を抽出する必要があり、この顔の特徴情報の抽出処理に時間を要するため、利用者１０５の認証待ち時間が増加して、ユーザビリティが低下するという問題があった。

そこで、本実施形態に係る画像形成装置１０１は、ＩＣカード認証が行われる前に、顔認証に用いる利用者１０５の顔の特徴情報を抽出しておき、ＩＣカード認証が許可された利用者１０５の顔の特徴情報と照合することにより利用者１０５の顔認証を行う。

これにより、利用者１０５が、画像形成装置１０１の近傍（例えば、３ｍ以内等）に近づいてから、ＩＣカードリーダ１０３にＩＣカード１０４を近接させるまでの間に、利用者１０５の１つ以上の顔の特徴情報を抽出することができる。したがって、画像形成装置１０１は、利用者１０５がＩＣカード認証を行うとき、抽出済の特徴情報を用いて利用者１０５の顔認証を行うことができるので、利用者１０５の待ち時間を低減し、ユーザビリティを向上させることができるようになる。

なお、図１に示すシステム構成はあくまで一例である。例えば、画像形成装置１０１は、ＰＣ（Personal Computer）、タブレット端末、スマートフォン、ゲーム機、テレビ会議装置等、利用者を認証する他の情報処理装置であっても良い。また、カメラ１０２や、ＩＣカードリーダ１０３等は、画像形成装置１０１の外部に接続されているものであっても良い。

＜ハードウェア構成＞
図２は、一実施形態に係る画像形成装置のハードウェア構成の例を示す図である。画像形成装置１０１は、例えば、コピー機能、スキャナ機能、ファクス機能、プリンタ機能などの各種の画像形成機能を実現する本体２１０と、ユーザの操作を受け付ける操作部２２０とを備える。なお、ユーザの操作を受け付けるとは、ユーザの操作に応じて入力される情報（画面の座標値を示す信号などを含む）を受け付けることを含む概念である。本体２１０と操作部２２０は、専用の通信路２３０を介して相互に通信可能に接続されている。通信路２３０は、例えばＵＳＢ（Universal Serial Bus）規格のものを用いることができるが、有線か無線かを問わず任意の規格のものであって良い。

なお、本体２１０は、操作部２２０で受け付けた操作に応じた動作を行うことができる。また、本体２１０は、クライアントＰＣ（パーソナルコンピュータ）などの外部装置とも通信可能であり、外部装置から受信した指示に応じた動作を行うこともできる。

（本体のハードウェア構成）
まず、本体２１０のハードウェア構成について説明する。図２に示すように、本体２１０は、ＣＰＵ（Central Processing Unit）２１１、ＲＯＭ（Read Only Memory）２１２、ＲＡＭ（Random Access Memory）２１３、ストレージ部２１４、通信Ｉ／Ｆ（Interface）２１５、接続Ｉ／Ｆ２１６、エンジン部２１７、移動体センサ２１８、及びシステムバス２１９等を有する。

ＣＰＵ２１１は、ＲＡＭ２１３をワークエリア（作業領域）としてＲＯＭ２１２又はストレージ部２１４等に格納されたプログラムを実行することで、本体２１０全体の動作を制御する演算装置である。例えば、ＣＰＵ２１１は、エンジン部２１７を用いて、コピー機能、スキャナ機能、ファクス機能、プリンタ機能などの各種機能を実現する。

ＲＯＭ２１２は、例えば、本体２１０の起動時に実行されるＢＩＯＳ（Basic Input/Output System）や、各種の設定等を記憶する不揮発性のメモリである。ＲＡＭ２１３は、ＣＰＵ２１１のワークエリア等として用いられる揮発性のメモリである。ストレージ部２１４は、例えば、ＯＳ（Operating System）、アプリケーションプログラム、各種データ等を記憶する不揮発性の記憶装置であり、例えば、ＨＤＤ（Hard Disk Drive）や、ＳＳＤ（Solid State Drive）等で構成される。

通信Ｉ／Ｆ２１５は、本体２１０をネットワーク２４０に接続し、ネットワーク２４０に接続された外部装置との通信を行うための、例えば、無線ＬＡＮ、有線ＬＡＮ等のネットワークインタフェースである。接続Ｉ／Ｆ２１６は、通信路２３０を介して、本体２１０と操作部２２０との間で通信するためのインタフェースである。

エンジン部２１７は、コピー機能、スキャナ機能、ファクス機能、及びプリンタ機能等の機能を実現させるための、汎用的な情報処理及び通信以外の処理を行うハードウェアである。エンジン部２１７には、例えば、原稿の画像をスキャンして読み取るスキャナ（画像読取部）、用紙等のシート材への印刷を行うプロッタ（画像形成部）、ファクス通信を行うファクス部等が含まれる。さらに、エンジン部２１７には、印刷済みシート材を仕分けるフィニッシャや、原稿を自動給送するＡＤＦ（自動原稿給送装置）のような特定のオプションが含まれていても良い。

移動体センサ２１８は、画像形成装置１０１の周囲の検知範囲内にある人体等の移動体を検知するセンサであり、例えば焦電センサ等が用いられる。

また、別の一例として、移動体センサ２１８は、利用者１０５が所持する所定の所持物（例えば、スマートフォン、スマートウォッチ、無線タグ）等、人体以外の移動体を検知するものであっても良い。

システムバス２１９は、上記各構成要素に接続され、アドレス信号、データ信号、及び各種制御信号等を伝送する。

（操作部のハードウェア構成）
次に、操作部２２０のハードウェア構成について説明する。図２に示すように、操作部２２０は、ＣＰＵ２２１、ＲＯＭ２２２、ＲＡＭ２２３、フラッシュメモリ２２４、通信Ｉ／Ｆ２２５、操作パネル２２６、接続Ｉ／Ｆ２２７、外部接続Ｉ／Ｆ２２８、ＩＣカードリーダ１０３、カメラ１０２、及びシステムバス２２９等を有する。

ＣＰＵ２２１は、ＲＡＭ２２３をワークエリア（作業領域）としてＲＯＭ２２２又はフラッシュメモリ２２４等に格納されたプログラムを実行することで、操作部２２０全体の動作を制御する演算装置である。ＲＯＭ２２２は、例えば、操作部２２０の起動時に実行されるＢＩＯＳや、各種の設定等を記憶する不揮発性のメモリである。ＲＡＭ２２３は、ＣＰＵ２２１のワークエリア等として用いられる揮発性のメモリである。フラッシュメモリ２２４は、例えば、ＯＳ、アプリケーションプログラム、各種データ等を記憶する不揮発性の記憶装置である。

通信Ｉ／Ｆ２２５は、操作部２２０をネットワーク２４０に接続し、ネットワーク２４０に接続された外部装置との通信を行うための、例えば、無線ＬＡＮ、有線ＬＡＮ等のネットワークインタフェースである。

操作パネル２２６は、ユーザの操作に応じた各種の入力を受け付けると共に、各種の情報を表示する。操作パネル２２６は、例えば、タッチパネル機能を搭載した液晶表示装置（LCD: Liquid Crystal Display）で構成されるが、これに限られるものではない。操作パネル２２６は、例えばタッチパネル機能が搭載された有機ＥＬ（Electro Luminescence）表示装置で構成されていても良い。さらに、操作パネル２２６は、これに加えて又はこれに代えて、ハードウェアキー等の操作部や、ランプ等の表示部を設けることもできる。

接続Ｉ／Ｆ２２７は、通信路２３０を介して、操作部２２０と本体２１０との間で通信するためのインタフェースである。

外部接続Ｉ／Ｆ２２８は、外部装置を接続するための、例えばＵＳＢ等のインタフェースである。

ＩＣカードリーダ１０３は、図１のＩＣカードリーダ１０３に対応しており、ＩＣカード１０４から認証情報（例えば、カードＩＤ）を取得する読込装置である。なお、ＩＣカードリーダ１０３は、画像形成装置１０１の外部に設置され、外部接続Ｉ／Ｆ２２８を介して操作部２２０に接続されているものであっても良い。また、ＩＣカードリーダ１０３は、本体２１０側に設けられているものであっても良い。

カメラ１０２は、図１のカメラ１０２に対応しており、利用者１０５の画像を撮像する撮像装置である。なお、カメラ１０２は、画像形成装置１０１の外部に設置され、外部接続Ｉ／Ｆ２２８を介して操作部２２０に接続されているものであっても良い。

システムバス２２９は、上記各構成要素に接続され、アドレス信号、データ信号、及び各種制御信号等を伝送する。

＜機能構成＞
図３は、第１の実施形態に係る画像形成装置の機能構成の例を示す図である。

（本体の機能構成）
画像形成装置１０１の本体（実行装置）２１０は、移動体検知部３２１、状態制御部３２２、画像形成部３２３、記憶部３２４、及び通信部３２５等を有する。

移動体検知部３２１は、例えば、図２のＣＰＵ２１１（又はＣＰＵ２２１）で実行されるプログラムによって実現され、移動体センサ２１８を用いて、画像形成装置１０１の周辺（検知範囲内）にある移動体（利用者１０５等）を検知する。また、移動体検知部３２１は、検知範囲内で移動体が検知された場合、移動体が検知されたことを状態制御部３２２に通知する。

状態制御部３２２は、例えば、図２のＣＰＵ２１１（又はＣＰＵ２２１）で実行されるプログラムによって実現され、操作部２２０や、本体２１０の電力状態を制御する。例えば、状態制御部３２２は、予め設定された時間を超えて、画像形成装置１０１の利用がない場合、画像形成装置１０１を、画像形成処理が可能な通常状態よりも消費電力が少ない省電力状態へ移行させる。また、状態制御部３２２は、画像形成装置１０１が省電力状態中に、移動体検知部３２１から、移動体が検知されたことを示す通知を受け付けると、操作部２２０、本体２１０等を、通常の動作が可能な通常状態へ復帰させる。

画像形成部３２３は、例えば、図２のＣＰＵ２１１で実行されるプログラムによって実現され、画像形成装置１０１が備える画像形成機能（例えば、印刷、コピー、スキャン、ファクス等の画像処理）を、図３のエンジン部２１７を用いて実行する。

記憶部３２４は、例えば、図２のストレージ部２１４、ＲＡＭ２１３、及び図２のＣＰＵ２１１で実行されるプログラム等によって実現され、予め登録された利用者の情報である利用者情報等の情報を記憶する。

通信部３２５は、例えば、図２のＣＰＵ２１１で実行されるプログラムによって実現され、図３の接続Ｉ／Ｆ２１６を用いて、操作部２２０等と通信を行う。

（利用者情報）
図４は、一実施形態に係る利用者情報の例を示す図である。利用者情報４００には、画像形成装置１０１の利用が許可されている複数の利用者の情報が記憶されており、図４の例では、「ユーザＩＤ」、「メールアドレス」、「ログインパスワード」、「カードＩＤ」、「顔の特徴情報」等の情報が含まれている。

「ユーザＩＤ」は、情報処理システム１００（又は画像形成装置１０１）に登録済の利用者を識別するための識別情報である。

「メールアドレス」は、各利用者のメールアドレスである。

「ログインパスワード」は、各利用者が、パスワード入力によって画像形成装置１０１にログインする場合等に用いられるパスワードである。

「カードＩＤ」は、各利用者が所持しているＩＣカード１０４が有する識別情報である。なお、「カードＩＤ」は、所持物認証に用いる認証情報（第２の情報）の一例である。

「顔の特徴情報」は、各利用者の顔の特徴情報である。なお、「顔の特徴情報」は、生体認証において利用者の照合に用いる生体の特徴情報（第１の情報）の一例である。

なお、利用者情報４００は、本体２１０の記憶部３２４に限られず、操作部２２０の記憶部３１２や、ネットワーク２４０を介して通信可能な外部サーバ等に記憶されているものであっても良い。

（操作部の機能構成）
ここで、図３に戻り、操作部２２０の機能構成について説明する。

画像形成装置１０１の操作部（操作装置）２２０は、撮像部３０１、情報抽出部３０２、抽出情報管理部３０３、情報取得部３０４、所持物認証部３０５、生体認証部３０６、利用制御部３０７、利用者情報管理部３０８、表示制御部３０９、操作受付部３１０、通信部３１１、記憶部３１２、及び設定部３１３等を有する。

撮像部３０１は、例えば、図２のＣＰＵ２２１で実行されるプログラム、又はカメラ１０２で実行されるプログラム等によって実現され、カメラ１０２で利用者１０５の画像を撮像する。

情報抽出部３０２は、例えば、図２のＣＰＵ２２１（又はＣＰＵ２１１）で実行されるプログラムによって実現され、撮像部３０１が撮像した画像から、生体認証において利用者１０５の照合に用いる顔の特徴情報（第１の情報）を抽出する。

抽出情報管理部３０３は、例えば、図２のＣＰＵ２２１（又はＣＰＵ２１１）で実行されるプログラムによって実現され、情報抽出部３０２が抽出した１つ以上の顔の特徴情報（第１の情報）を記憶部３１２に記憶して、管理する。例えば、抽出情報管理部３０３は、予め設定された所定の数であるｎ個（ｎは１以上の整数）の顔の特徴情報を記憶部３１２に記憶し、新たな顔の特徴情報が抽出されると、最も古い顔の特徴情報を破棄して、最新の情報を記憶する。

情報取得部３０４は、例えば、図２のＣＰＵ２２１（又はＣＰＵ２１１）で実行されるプログラム、又はＩＣカードリーダ１０３で実行されるプログラム等によって実現される。情報取得部３０４は、利用者１０５のＩＣカード１０４から、ＩＣカード１０４の認証（所持物認証）に用いるカードＩＤを取得する。なお、カードＩＤは、所持物認証に用いる認証情報（第２の情報）の一例である。

所持物認証部３０５は、例えば、図２のＣＰＵ２２１（又はＣＰＵ２１１）で実行されるプログラムによって実現され、情報取得部３０４が取得したカードＩＤ（第２の情報の一例）を用いて、利用者１０５のＩＣカード１０４の認証を行う。例えば、所持物認証部３０５は、情報取得部３０４が取得したカードＩＤが予め登録された利用者情報４００に登録されている場合、利用者１０５のＩＣカード１０４の認証を許可する（認証を成功させる）。また所持物認証部３０５は、情報取得部３０４が取得したカードＩＤが予め登録された利用者情報４００に登録されていない場合、利用者１０５のＩＣカード１０４の認証を拒否する（認証を失敗させる）。

生体認証部３０６は、例えば、図２のＣＰＵ２２１（又はＣＰＵ２１１）で実行されるプログラムによって実現される。生体認証部３０６は、利用者１０５の所持物認証が許可された場合、抽出情報管理部３０３が記憶部３１２に記憶した１つ以上の顔の特徴情報を用いて、利用者１０５の生体認証を行う。

例えば、生体認証部３０６は、記憶部３１２に記憶した顔の特徴情報の各々と、利用者情報４００に登録された顔の特徴情報のうち、所持物認証が許可された利用者１０５の顔の特徴情報との類似度を算出する。また、生体認証部３０６は、算出された類似度が閾値以上である場合、利用者１０５の生体認証を許可し、算出された類似度が閾値未満である場合、利用者１０５の生体認証を拒否する。

なお、生体認証部３０６は、任意の顔認証方式（例えば、特許文献１に開示された技術等）を用いて、利用者１０５の顔認証を行うものであって良い。

利用制御部３０７は、例えば、図２のＣＰＵ２２１（又はＣＰＵ２１１）で実行されるプログラムによって実現される。利用制御部３０７は、生体認証が許可された利用者１０５（所持物認証、及び生体認証が許可された利用者１０５）に、画像形成装置１０１（又は情報処理システム１００）の利用を許可する。

利用者情報管理部３０８は、例えば、図２のＣＰＵ２２１（又はＣＰＵ２１１）で実行されるプログラムによって実現され、画像形成装置１０１の利用が許可された利用者１０５の顔の特徴情報、及びカードＩＤを含む利用者情報４００を管理する。例えば、利用者情報管理部３０８は、図４に示すような利用者情報４００を、本体２１０の記憶部３２４、又は操作部２２０の記憶部３１２等に記憶して管理する。

表示制御部３０９は、例えば、図２のＣＰＵ２２１で実行されるプログラムによって実現され、操作パネル２２６に操作画面等を表示させる。

操作受付部３１０は、例えば、図２のＣＰＵ２２１で実行されるプログラムによって実現され、操作パネル２２６に表示された操作画面等に対する利用者１０５の操作を受付する。

通信部３１１は、例えば、図２のＣＰＵ２２１で実行されるプログラムによって実現され、接続Ｉ／Ｆ２２７を用いて、本体２１０との通信を行う。

記憶部３１２は、図２のフラッシュメモリ２２４、ＲＡＭ２２３、及び図２のＣＰＵ２２１で実行されるプログラム等によって実現され、例えば、利用者情報４００等の様々な情報を記憶する。

設定部３１３は、例えば、図２のＣＰＵ２２１で実行されるプログラムによって実現され、抽出情報管理部３０３が管理する特徴情報の数の上限値（所定の数ｎ）を設定するための手段である。

例えば、利用者１０５は、特徴情報の数の上限値ｎを設定する場合、画像形成装置１０１に近づき、ＩＣカード１０４をＩＣカードリーダ１０３に近接させる。これにより、利用者１０５のＩＣカード１０４の認証、及び顔の認証が許可された場合、利用者１０５による画像形成装置１０１の利用が許可される。

この状態で、利用者１０５は、所定の設定画面を用いて、特徴情報の数の上限値ｎを設定することができるようになる。なお、特徴情報の数の上限値ｎは、顔の認証に係る設定値であるため、ＩＣカード１０４の認証のみでは、設定値を変更できないことが望ましい。

なお、図３に示す画像形成装置１０１の機能構成は一例であり、本発明の範囲を限定するものではない。例えば、操作部２２０に含まれる機能構成のうちの少なくとも一部は、本体２１０に含まれているものであっても良い。また、本体２１０に含まれる機能構成のうちの少なくとも一部は、操作部２２０に含まれているものであっても良い。

さらに、画像形成装置１０１は、本体２１０と操作部２２０に分かれていない一体型の画像形成装置１０１等であっても良い。さらにまた、図３に示す各機能構成のうち、少なくとも一部はハードウェアによって実現されるものであっても良い。

＜処理の流れ＞
続いて、本実施形態に係る情報処理システム１００における認証方法の処理の流れについて説明する。

［第１の実施形態］
（画像形成装置の認証処理）
図５は、第１の実施形態に係る認証処理の例を示すフローチャートである。この処理は、画像形成装置１０１（又は情報処理システム１００）による認証処理の全体の流れを示している。なお、図５に示す処理の開始時点において、操作部２２０は、省電力状態から、通常の動作が可能な通常状態に移行済であるものとする。なお、省電力状態から通常状態への移行処理については後述する。

ステップＳ５０１において、画像形成装置１０１のは、図６に示す特徴情報の記憶処理を実行する。

図６は、第１の実施形態に係る顔の特徴情報の記憶処理の例を示すフローチャートである。

ステップＳ６０１において、情報抽出部３０２は、撮像部３０１で撮像された撮像画像を取得する。このとき、取得される撮像画像の例を図７（ａ）に示す。

図７（ａ）に示す撮像画像７１０には、画像形成装置１０１の前方にいる利用者７１１が撮像されている。このように、画像形成装置１０１のカメラ１０２は、画像形成装置１０１の前方にいる利用者７１１が、撮像画像７１０に含まれるように設置されている。

ステップＳ６０２において、情報抽出部３０２は、ステップＳ６０１で取得した撮像画像７１０から顔部分の画像（顔画像）を検出する。このとき、検出される顔画像の例を図７（ｂ）に示す。情報抽出部３０２は、例えば、撮像部３０１で撮像した撮像画像７１０から、利用者の顔の輪郭７２１、目７２２、鼻７２３等のパーツを抽出し、例えば、公知のパターンマッチング技術等を用いて利用者の顔画像７２０を検出する。

ステップＳ６０３において、情報抽出部３０２は、ステップＳ６０２で顔画像７２０が検出されたか否かを判断する。顔画像７２０が検出されない場合、情報抽出部３０２は、処理をステップＳ６０１に戻して、同様の処理を繰り返し実行する。一方、顔画像７２０が検出された場合、情報抽出部３０２は、処理をステップＳ６０４に移行させる。

ステップＳ６０４に移行すると、情報抽出部３０２は、検出された顔画像７２０から、顔の特徴情報（以下、単に「特徴情報」と呼ぶ）を抽出する。ここで、特徴情報は、顔認証において利用者の照合に用いる特徴量（例えば、目、鼻、口等に共通する特徴を表す情報）であり、公知の様々な特徴情報を用いることができる。

本実施形態では、利用する特徴情報の種類を特に限定しないが、例えば、公知のＨａａｒ−Ｌｉｋｅ特徴量等を用いて抽出することができる。例えば、情報抽出部３０２は、検出された顔画像７２０から、顔の各パーツの特徴量を抽出し、数値化する。

この抽出時には、例えば、顔画像７２０の左上側のパーツから順次に数値化する等、顔画像７２０の端から順次に数値化するため、特徴情報の抽出時間には時間を要する。そのため、本実施形態では、ＩＣカード１０４からカードＩＤが取得される前に、利用者１０５の特徴情報を予め抽出しておく。

ステップＳ６０５において、抽出情報管理部３０３は、記憶部３１２に記憶した記憶済の特徴情報の数が、予め設定されたｎ個未満であるかを判断する。

記憶済の特徴情報の数がｎ個未満である場合、抽出情報管理部３０３は、処理をステップＳ６０７に移行させる。一方、記憶済の特徴情報の数がｎ個未満でない場合、抽出情報管理部３０３は、処理をステップＳ６０６に移行させる。

ステップＳ６０６に移行すると、抽出情報管理部３０３は、記憶部３１２に記憶した記憶済の特徴情報のうち、最も古い特徴情報を削除する。

ステップＳ６０７に移行すると、抽出情報管理部３０３は、ステップＳ６０４で抽出された特徴情報を記憶部３１２に記憶する。

ステップＳ６０８において、情報抽出部３０２は、情報取得部３０４によってカードＩＤが取得されたかを判断する。

カードＩＤが取得されていない場合、情報抽出部３０２は、処理をステップＳ６０１に移行させて、同様の処理を繰り返し実行する。一方、カードＩＤが取得された場合、情報抽出部３０２は、処理を終了させる。

上記の処理により、情報抽出部３０２は、カードＩＤが取得されるまで、利用者１０５の特徴情報を繰り返し抽出し、抽出情報管理部３０３は、抽出された特徴情報のうち、最新のｎ個を記憶部３１２に記憶する。

ここで、図５に戻り、認証処理のフローチャートについて説明を続ける。

ステップＳ５０２において、所持物認証部３０５は、図８に示すＩＣカードの認証処理を実行する。

図８は、第１の実施形態に係るＩＣカードの認証処理の例を示すフローチャートである。

ステップＳ８０１において、画像形成装置１０１は、例えば図１２（ａ）に示すような表示画面１２１０を操作パネル２２６に表示させて、情報取得部３０４が利用者１０５のＩＣカード１０４からカードＩＤを取得するとステップＳ８０２以降の処理を実行する。

ステップＳ８０２において、所持物認証部３０５は、情報取得部３０４が取得したカードＩＤに対応する利用者情報を、利用者情報管理部３０８が管理する利用者情報４００から取得する。

ステップＳ８０３において、所持物認証部３０５は、取得したカードＩＤに対応する利用者情報が取得できたか、すなわち、取得したカードＩＤに対応する利用者情報があるかを判断する。

取得したカードＩＤに対応する利用者情報がない場合、所持物認証部３０５は、処理をステップＳ８０４に移行させる。一方、取得したカードＩＤに対応する利用者情報がある場合、所持物認証部３０５は、処理をステップＳ８０５に移行させる。

ステップＳ８０４に移行すると、所持物認証部３０５は、ＩＣカード１０４の認証を拒否する。

一方、ステップＳ８０５に移行すると、所持物認証部３０５は、ＩＣカード１０４の認証を許可する。

ステップＳ８０６に移行すると、所持物認証部３０５は、ＩＣカード１０４の認証が許可された利用者１０５の利用者の情報を、例えば、生体認証部３０６に出力する。

ここで、再び図５に戻り、認証処理のフローチャートについて説明を続ける。

ステップＳ５０３において、所持物認証部３０５は、ＩＣカードの認証が許可されたか否かに応じて処理を分岐させる。

ＩＣカードの認証が許可されなかった場合、所持物認証部３０５は、処理をステップＳ５０１に戻し、特徴情報の記憶処理を再度実行させる。一方、ＩＣカードの認証が許可された場合、所持物認証部３０５は、処理をステップＳ５０４に移行させる。

ステップＳ５０４に移行すると、生体認証部３０６は、所持物認証部３０５から出力された利用者の情報から、ＩＣカード１０４の認証が許可された利用者１０５の特徴情報を取得する。

ステップＳ５０５において、生体認証部３０６は、図９に示す顔の認証処理を実行する。

図９は、第１の実施形態に係る顔の認証処理の例を示すフローチャートである。

ステップＳ９０１において、生体認証部３０６は、図６に示す特徴情報の記憶処理により、記憶部３１２に特徴情報が記憶されているかを判断する。

記憶部３１２に特徴情報が記憶されている場合、生体認証部３０６は、処理をステップＳ９０２に移行させる。一方、記憶部３１２に特徴情報が記憶されていない場合、生体認証部３０６は、処理をステップＳ９０３に移行させる。

ステップＳ９０２に移行すると、生体認証部３０６は、記憶部３１２に記憶されている１つ以上の特徴情報を取得する。

一方、ステップＳ９０３に移行すると、生体認証部３０６は、例えば、図１２（ｂ）に示すような表示画面１２２０を操作パネル２２６に表示させて、特徴情報の取得処理を実行する。この特徴情報の取得処理では、例えば、図６のステップＳ６０１〜Ｓ６０４の処理を実行し、利用者１０５の顔の特徴情報を取得する。

ステップＳ９０４において、生体認証部３０６は、ステップＳ９０２、又はステップＳ９０３で取得した特徴情報と、ＩＣカード１０４の認証が許可された利用者１０５の特徴情報とを照合する。

ステップＳ９０５において、生体認証部３０６は、ステップＳ９０４で照合した特徴情報のうち、類似度が閾値以上の特徴情報があるかを判断する。

類似度が閾値以上の特徴情報がある場合、生体認証部３０６は、処理をステップＳ９０６に移行させる。一方、類似度が閾値以上の特徴情報がない場合、生体認証部３０６は、処理をステップＳ９０７に移行させる。

ステップＳ９０６に移行すると、生体認証部３０６は、利用者１０５の顔の認証を許可する。

一方、ステップＳ９０７に移行すると、生体認証部３０６は、利用者１０５の顔の認証を拒否する。

図１０は、第１の実施形態に係る顔の認証処理について説明するための図である。

本実施形態では、生体認証部３０６は、記憶部３２４、又は記憶部３１２に記憶された利用者情報４００に含まれる複数の特徴情報１００１のうち、ＩＣカード認証が許可された利用者の特徴情報１００２を取得する。

また、生体認証部３０６は、取得した特徴情報１００２を、予め記憶部３１２に記憶された１つ以上の特徴情報１００３と照合して、顔の認証処理を行う。これにより、特徴情報の抽出に要する時間を削減することができるので、利用者の待ち時間を低減し、ユーザビリティを向上させることができるようになる。

ここで、再び図５に戻り、認証処理のフローチャートについて説明をさらに続ける。

ステップＳ５０６において、利用制御部３０７は、利用者１０５の顔の認証が許可されたかを判断する。顔の認証が許可されない場合、利用制御部３０７は処理をステップＳ５０１に戻す。

一方、顔の認証が許可された場合、利用制御部３０７は、ステップＳ５０７において、利用者１０５による画像形成装置１０１の利用を許可する。

このように、本実施形態では、所持物認証部３０５は、撮像部３０１が撮像した画像から情報抽出部３０２が抽出した１つ以上の顔の特徴情報を、抽出情報管理部３０３が記憶部３１２に記憶した後にＩＣカードの認証を実行する。また、生体認証部３０６は、ＩＣカード認証が許可された場合、所持物認証に用いたカードＩＤに紐付けられた顔の特徴情報と、記憶部３１２に記憶された１つ以上の顔の特徴情報とを照合して生体認証を行う。

なお、利用制御部３０７は、ステップＳ５０２、Ｓ５０３においてＩＣカード１０４の認証が許可された後、ステップＳ５０５、Ｓ５０６で顔の認証が許可されるまでの間、画像形成装置１０１の機能のうち、一部の機能の利用を許可するものであっても良い。

（認証処理のシーケンス図）
図１１は、第１の実施形態に係る認証処理の例を示すシーケンス図である。この処理は、図５〜９で説明した認証処理により、利用者情報４００に登録されている利用者１０５に対して、画像形成装置１０１の利用が許可されるまでの処理の一例を示している。

ステップＳ１１０１において、操作部２２０は起動し、通常動作状態であるものとする。

また、ステップＳ１１０２において、利用者１０５は、特徴情報が抽出できる距離まで、接近しているものとする。

ステップＳ１１０３において、情報抽出部３０２は、撮像部３０１が撮像した撮像画像７１０を取得する。

ステップＳ１１０４において、情報抽出部３０２は、取得した撮像画像７１０から、顔画像７２０を検出する。

ステップＳ１１０５において、情報抽出部３０２は、検出された顔画像７２０から、利用者１０５の特徴情報（顔の特徴情報）を抽出する。

ステップＳ１１０６、Ｓ１１０７において、抽出情報管理部３０３は、情報抽出部３０２が抽出した特徴情報のうち、最新のｎ個（例えば５個）の特徴情報を、順次に記憶部３１２に記憶する。

情報抽出部３０２、及び抽出情報管理部３０３は、ステップＳ１１０８において、利用者１０５が、ＩＣカード１０４をＩＣカードリーダ１０３にタッチさせるまで、ステップＳ１１０３〜Ｓ１１０７に示す特徴情報の記憶処理１１００を繰り返し実行する。

ステップＳ１１０８において、利用者１０５は、ＩＣカード１０４をＩＣカードリーダ１０３にタッチさせる。

ステップＳ１１０９において、情報取得部３０４は、ＩＣカード１０４からカードＩＤを取得する。

ステップＳ１１１０において、情報取得部３０４は、カードＩＤを取得したことを情報抽出部３０２に通知する。

ステップＳ１１１１において、情報抽出部３０２は、カードＩＤが取得されると、一例として、特徴情報の記憶処理１１００を中止する。

ステップＳ１１１２において、情報抽出部３０２は、取得したカードＩＤを所持物認証部３０５に通知する。

ステップＳ１１１３において、所持物認証部３０５は、情報取得部３０４から通知されたカードＩＤを用いて、利用者情報管理部３０８に利用者情報の取得を要求する。

ステップＳ１１１４において、利用者情報管理部３０８は、所持物認証部３０５から受付したカードＩＤをキーとして、例えば、図４に示すような利用者情報４００を検索する。なお、ここでは、利用者１０５の情報が、利用者情報４００に登録されており、利用者１０５の情報が検索されるものとする。

ステップＳ１１１５において、利用者情報管理部３０８は、検索された利用者の情報を、所持物認証部３０５に通知する。

ステップＳ１１１６において、所持物認証部３０５は、カードＩＤに対応する利用者の情報が検索されたか否かを判断することにより、ＩＣカード１０４の認証を行う。ここでは、利用者１０５の情報が利用者情報４００に登録されているので、所持物認証部３０５は、利用者１０５のＩＣカード１０４の認証を許可する。

ステップＳ１１１７において、所持物認証部３０５は、ＩＣカード１０４の認証が許可されたことを示す認証結果（ＯＫ）を、利用制御部３０７に通知する。この通知には、例えば、ＩＣカード１０４の認証が許可された利用者１０５のユーザＩＤ等が含まれる。

ステップＳ１１１８において、所持物認証部３０５は、ＩＣカード１０４の認証が許可された利用者１０５の利用者の情報を生体認証部３０６に通知する。この利用者の情報には、ＩＣカード１０４の認証が許可された利用者１０５の特徴情報が含まれる。

ステップＳ１１１９において、生体認証部３０６は、抽出情報管理部３０３が、記憶部３１２に記憶した１つ以上の特徴情報を取得する。

ステップＳ１１２０において、生体認証部３０６は、所持物認証部３０５から取得した、ＩＣカード１０４の認証が許可された利用者１０５の特徴情報と、抽出情報管理部３０３から取得した１つ以上の特徴情報とを照合することにより、利用者１０５の顔認証を行う。ここでは、利用者１０５の顔認証が許可されるものとする。

ステップＳ１１２１において、生体認証部３０６は、利用者１０５の顔認証に成功したことを示す認証結果を、利用制御部３０７に通知する。この通知には、例えば、顔の認証が許可された利用者１０５のユーザＩＤ等が含まれる。

ステップＳ１１２２において、利用制御部３０７は、ＩＣカード１０４の認証、及び顔の認証が許可された利用者１０５による画像形成装置１０１（又は情報処理システム１００）の利用を許可する。

上記の処理により、画像形成装置１０１は、利用者１０５が画像形成装置１０１に接近し、ＩＣカード１０４をＩＣカードリーダ１０３にタッチさせるまでの間に、利用者１０５の特徴情報を抽出して、記憶部３１２に記憶する。

また、画像形成装置１０１は、利用者１０５のＩＣカード１０４の認証が許可されると、ＩＣカード１０４の認証が許可された利用者１０５の特徴情報と、記憶部３１２に記憶した特徴情報とを用いて、利用者１０５の顔の認証を行う。これにより、画像形成装置１０１は、利用者１０５の特徴情報の抽出に要する時間を短縮させることができる。

例えば、従来の技術では、利用者１０５が、ＩＣカード１０４をＩＣカードリーダ１０３にタッチさせると、例えば、図１２（ｃ）に示すような表示画面１２３０を、操作パネル２２６に表示させて、利用者１０５の特徴情報の取得を行っていた。

本実施形態に係る情報処理システム１００では、利用者１０５が、ＩＣカード１０４をＩＣカードリーダ１０３にタッチさせた時点で、抽出された１つ以上の特徴情報が記憶部３１２に記憶されているので、認証に要する時間を短縮することができる。

したがって、本実施形態によれば、生体による認証と所持物による認証とを用いて利用者を認証する情報処理システム１００において、利用者１０５の認証の待ち時間を低減し、ユーザビリティを向上させることができる。

好ましくは、画像形成装置１０１の設定部３１３は、例えば、図１２（ｄ）に示すような設定画面１２４０を、操作パネル２２６に表示させて、抽出情報管理部３０３が、記憶部３１２に記憶する特徴情報の数を変更することができる。

記憶部３１２に記憶する特徴情報の数をより少なく設定することにより、顔の認証を行う特徴情報の数が減るので、顔の認証に要する時間をより短くすることができる。一方、記憶部３１２に記憶する特徴情報の数をより多く設定することにより、顔の認証の失敗を低減させることができる。

［第２の実施形態］
第１の実施形態では、例えば、図５のステップＳ５０１で特徴情報の記憶処理を実行した後に、ステップＳ５０２でＩＣカードの認証処理を行っていた。ただし、これは一例であり、特徴情報の記憶処理と、ＩＣカードの認証処理は、並行して実行されるものであっても良い。第２の実施形態では、特徴情報の記憶処理と、ＩＣカードの認証処理とを並行して実行する場合の認証処理の例について説明する。

（画像形成装置の認証処理）
図１３は、第２の実施形態に係る認証処理の例を示すフローチャートである。この処理は、第２の実施形態に係る画像形成装置１０１による認証処理の全体の流れを示している。なお、基本的な処理は、図５に示す第１の実施形態に係る認証処理と同様なので、ここでは詳細な説明は省略する。

ステップＳ１３０１において、情報抽出部３０２、及び抽出情報管理部３０３は、図１４に示す顔の特徴情報の記憶処理を実行する。なお、図１４に示す処理のうち、ステップＳ６０１〜Ｓ６０７の処理は、図６に示す第１の実施形態に係る顔の特徴情報の記憶処理と同様なので、ここでは、第１の実施形態との相違点を中心に説明を行う。

ステップＳ１４０１において、情報抽出部３０２は、利用者１０５のログインが完了したかを判断し、利用者１０５のログインが完了するまで、ステップＳ６０１〜Ｓ６０７の処理を繰り返し実行する。

ここで、図１３に戻り認証処理のフローチャートの説明を続ける。

画像形成装置１０１は、ステップＳ１３０１の処理と並行して、ステップＳ１３０２〜Ｓ１３１２の処理を実行する。

ステップＳ１３０２において、所持物認証部３０５は、例えば、図８に示すようなＩＣカードの認証処理を実行する。

ステップＳ１３０３において、所持物認証部３０５は、ＩＣカード１０４の認証か許可された場合、処理をステップＳ１３０４に移行させる。一方、所持物認証部３０５は、ＩＣカード１０４の認証か許可されない場合、ステップＳ１３０２の処理を繰り返し実行する。

ステップＳ１３０４において、生体認証部３０６は、ＩＣカード１０４の認証が許可された利用者１０５の顔の特徴情報を取得する。

ステップＳ１３０５において、生体認証部３０６は、記憶部３１２に抽出情報管理部３０３によって記憶された特徴情報が記憶されているかを判断する。

記憶部３１２に抽出情報管理部３０３によって記憶された特徴情報が記憶されていない場合、生体認証部３０６は、処理をステップＳ１３０６に移行させる。一方、記憶部３１２に抽出情報管理部３０３によって記憶された特徴情報が記憶されている場合、生体認証部３０６は、処理をステップＳ１３０７に移行させる。

ステップＳ１３０６に移行すると、生体認証部３０６は、ステップＳ１３０１の特徴情報の記憶処理で特徴情報が検出されるのを待ち、特徴情報が検出されると、処理をステップＳ１３０５に戻す。

ステップＳ１３０７に移行すると、生体認証部３０６は、記憶部３１２に記憶されている１つ以上の特徴情報を取得する。

ステップＳ１３０８において、生体認証部３０６は、ステップＳ１３０７で取得した特徴情報と、ＩＣカード１０４の認証が許可された利用者１０５の特徴情報とを照合する。

ステップＳ１３０９において、生体認証部３０６は、ステップＳ１３０８で照合した特徴情報のうち、類似度が閾値以上の特徴情報があるかを判断する。

類似度が閾値以上の特徴情報がない場合、生体認証部３０６は、処理をステップＳ１３１０に移行させる。一方、類似度が閾値以上の特徴情報がある場合、生体認証部３０６は、処理をステップＳ１３１１に移行させる。

ステップＳ１３１０に移行すると、生体認証部３０６は、利用者１０５の顔の認証を拒否し、処理をステップＳ１３０２に戻す。

一方、ステップＳ１３１１に移行すると生体認証部３０６は、利用者１０５の顔の認証を許可する。

ステップＳ１３１２に移行すると、利用制御部３０７は、利用者１０５の画像形成装置１０１（又は情報処理システム１００）へのログインを許可する。これにより、図１４に示す顔の特徴情報の記憶処理も終了する。

上記の処理により、利用者１０５がＩＣカード１０４をＩＣカードリーダ１０３にタッチさせた後も、図１４に示す顔の特徴情報の記憶処理が継続される。したがって、例えば、ＩＣカードの認証、又は顔の認証に失敗した場合でも、最新の特徴情報が記憶部３１２に記憶されているので、認証処理のリトライに要する時間が削減される。

［第３の実施形態］
第１の実施形態では、画像形成装置１０１は、例えば、図６に示す特徴情報の記憶処理において、抽出した特徴情報を記憶部３１２に記憶した後に、カードＩＤが取得されたか否かの判断を行っていた。第３の実施形態では、特徴情報の記憶処理を実行中においても、カードＩＤが取得されたか否かの判断を行う場合の処理の例について説明する。

図１５、１６は、第３の実施形態に係る認証処理の例を示すフローチャートである。なお、図１５に示す各処理の基本的な処理内容は第１の実施形態と同様なので、ここでは詳細な説明は省略する。

ステップＳ１５０１において、情報抽出部３０２は、撮像部３０１で撮像した撮像画像を取得する。

ステップＳ１５０２において、所持物認証部３０５は、情報取得部３０４がカードＩＤを取得したかを判断する。カードＩＤを取得していない場合、所持物認証部３０５は処理をステップＳ１５０３に移行させる。一方、カードＩＤを取得している場合、所持物認証部３０５は処理をステップＳ１５１２に移行させる。

ステップＳ１５１２に移行すると、所持物認証部３０５は、情報抽出部３０２による処理を中断し、例えば、図８に示すようなＩＣカードの認証処理を実行する。

ステップＳ１５１３において、所持物認証部３０５は、ＩＣカード１０４の認証が許可されたか否かに応じて、処理を分岐させる。

ＩＣカード１０４の認証が許可された場合、ステップＳ１５１４において、所持物認証部３０５は中断した処理を再開させる。ここでは、所持物認証部３０５は、処理をステップＳ１５０３に移行させる。

一方、ＩＣカード１０４の認証が拒否された場合、所持物認証部３０５は、処理を中止させる。これにより、例えば、利用者１０５が、画像形成装置１０１の利用に必要なＩＣカード１０４を有していない場合等、不要な特徴情報の記憶処理を中止させることができる。

ステップＳ１５０３に移行すると、情報抽出部３０２は、ステップＳ１５０１で取得した撮像画像７１０から顔画像７２０を検出する。

ステップＳ１５０４において、所持物認証部３０５は、情報取得部３０４がカードＩＤを取得したかを判断する。カードＩＤを取得していない場合、所持物認証部３０５は、処理をステップＳ１５０５に移行させる。一方、カードＩＤを取得している場合、所持物認証部３０５は処理をステップＳ１５１２に移行させる。

ステップＳ１５１２に移行すると、前述したようにＩＣカードの認証処理を実行し、ステップＳ１５１３において、ＩＣカードの認証結果に応じて処理を分岐させる。ＩＣカード１０４の認証が許可された場合、ステップＳ１５１４において、所持物認証部３０５は中断した処理を再開させる。ここでは、所持物認証部３０５は、処理をステップＳ１５０５に移行させる。

一方、ＩＣカード１０４の認証が拒否された場合、所持物認証部３０５は、処理を中止させる。

ステップＳ１５０５に移行すると、情報抽出部３０２は、ステップＳ１５０３で顔画像７２０が検出されたか否かを判断する。顔画像７２０が検出されない場合、情報抽出部３０２は、処理をステップＳ１５０１に戻して、同様の処理を繰り返し実行する。一方、顔画像７２０が検出された場合、情報抽出部３０２は、処理をステップＳ１５０６に移行させる。

ステップＳ１５０６に移行すると、情報抽出部３０２は、検出された顔画像７２０から特徴情報を抽出する。

ステップＳ１５０７において、抽出情報管理部３０３は、記憶部３１２に記憶した記憶済の特徴情報の数が、予め設定されたｎ個未満であるかを判断する。

記憶済の特徴情報の数がｎ個未満である場合、抽出情報管理部３０３は、処理をステップＳ１５０９に移行させる。一方、記憶済の特徴情報の数がｎ個未満でない場合、抽出情報管理部３０３は、処理をステップＳ１５０８に移行させる。

ステップＳ１５０８に移行すると、抽出情報管理部３０３は、記憶部３１２に記憶した記憶済の特徴情報のうち、最も古い特徴情報を削除する。

ステップＳ１５０９において、抽出情報管理部３０３は、情報取得部３０４がカードＩＤを取得したかを判断する。カードＩＤを取得していない場合、所持物認証部３０５は、処理をステップＳ１５１０に移行させる。一方、カードＩＤを取得している場合、所持物認証部３０５は処理をステップＳ１５１２に移行させる。

ステップＳ１５１２に移行すると、前述したようにＩＣカードの認証処理を実行し、ステップＳ１５１３において、ＩＣカードの認証結果に応じて処理を分岐させる。ＩＣカード１０４の認証が許可された場合、ステップＳ１５１４において、所持物認証部３０５は中断した処理を再開させる。ここでは、所持物認証部３０５は、処理をステップＳ１５１０に移行させる。

一方、ＩＣカード１０４の認証が拒否された場合、所持物認証部３０５は、処理を中止させる。

ステップＳ１５１０に移行すると、抽出情報管理部３０３は、ステップＳ１５０６で抽出された特徴情報を記憶部３１２に記憶する。

ステップＳ１５１１において、所持物認証部３０５は、処理を開始してからカードＩＤが未取得であるかを判断する。カードＩＤを未取得である場合、所持物認証部３０５は処理をステップＳ１５０１に戻し、再び同様の処理を実行させる。一方、カードＩＤを未取得でない場合、処理を図１６のステップＳ１６０１に移行させる。

ステップＳ１６０１に移行すると、所持物認証部３０５は、ＩＣカードが、例えば、図１５のステップＳ１５１２で認証済であるかを判断する。ＩＣカードが認証済である場合、所持物認証部３０５は、処理をステップＳ１６０４に移行させる。一方、Ｃカードが認証済でない場合、所持物認証部３０５は、処理をステップＳ１６０２に移行させる。

ステップＳ１６０２に移行すると、所持物認証部３０５は、例えば、図８に示すようなＩＣカードの認証処理を実行する。

ステップＳ１６０３において、所持物認証部３０５は、ＩＣカードの認証が許可されたか否かに応じて処理を分岐させる。ＩＣカードの認証が許可された場合、所持物認証部３０５は、処理をステップＳ１６０４に移行させる。一方、ＩＣカードの認証が許可されない場合、所持物認証部３０５は、処理を終了させる。

ステップＳ１６０４に移行すると、生体認証部３０６は、所持物認証部３０５から、ＩＣカードの認証が許可された利用者の特徴情報を取得する。

ステップＳ１６０５に移行すると、生体認証部３０６は、例えば、図９に示すような顔の認証処理を実行する。

ステップＳ１６０６において、利用制御部３０７は、顔の認証が許可されたかを判断する。

顔の認証が許可された場合、利用制御部３０７は、ステップＳ１６０７において、利用者による画像形成装置１０１の利用を許可する。一方、顔の認証が許可されない場合、利用制御部３０７は処理を終了させる。

上記の処理により、画像形成装置１０１は、ＩＣカードの認証が拒否された場合、不要な特徴情報の抽出処理、及び記憶処理を中止することができるようになる。

［第４の実施形態］
第１〜３の実施形態に示す画像形成装置１０１の認証処理は、例えば、移動体センサ２１８によって、利用者１０５の接近が検知されたときに実行されることが望ましい。これにより、操作部２２０は、周辺に利用者１０５がいないときに、省電力状態に移行することができるようになる。第４の実施形態では、画像形成装置１０１における電力状態の制御の一例について説明する。

図１７は、第４の実施形態に係る認証処理の概要を示すフローチャートである。

ステップＳ１７０１において、本体２１０の移動体検知部３２１により、例えば、利用者１０５等の移動体が検知されると、ステップＳ１７０１において、本体２１０の状態制御部３２２は、操作部２２０の省電力状態を解除する。これにより、操作部２２０が起動し、第１〜３の実施形態で説明した画像形成装置１０１の認証処理を実行することができるようになる。

ステップ１７０３において、操作部２２０は、第１〜３の実施形態に示した画像形成装置１０１の認証処理を実行する。

ここでは、主に画像形成装置１０１の省電力の解除処理について説明を行う。

＜ソフトウェア構成＞
図１８は、第４の実施形態に係る画像形成装置のソフトウェア構成の例を示す図である。

（操作部のソフトウェア構成）
図１８に示すように、操作部２２０は、アプリ層１８１１、サービス層１８１２、ＯＳ（操作部）１８１３を有する。操作部２２０は、図２のＣＰＵ２２１で所定のプログラムを実行することにより、図１８に示す各機能構成を実現している。

アプリ層１８１１は、所定の機能を提供するためのアプリケーションプログラム（以下、「アプリ」と呼ぶ）であり、例えば、画像形成アプリ１８２１、生体認証アプリ１８２２、所持物認証アプリ１８２３等を含む。

画像形成アプリ１８２１は、画像形成装置１０１が提供するコピー、スキャン、印刷、ファクス等の機能を利用するためのアプリである。

生体認証アプリ１８２２は、例えば、図９に示すような顔の認証処理（生体認証の一例）を実行するアプリである。操作部２２０は、生体認証アプリ１８２２を実行することにより、例えば、図３示す情報抽出部３０２、生体認証部３０６等を実現している。

所持物認証アプリ１８２３は、例えば、図８に示すようなＩＣカードの認証処理（所持物認証の一例）を実行するアプリである。操作部２２０は、所持物認証アプリ１８２３を実行することにより、図３に示す所持物認証部３０５を実現している。

サービス層１８１２は、アプリ層１８１１とＯＳ（操作部）１８１３との間に介在し、アプリ層１８１１のアプリに対し、画像形成装置１０１が備える様々な機能を利用するためのインタフェースを提供するソフトウェアである。アプリ層１８１１の各アプリは、操作部ＡＰＩ１８１４を利用して、サービス層１８１２で提供される各機能を利用することができる。

サービス層１８１２には、例えば、図３に示す利用者情報管理部３０８、抽出情報管理部３０３、利用制御部３０７、及び通信部３１１等が含まれる。操作部２２０は、例えば、所定のプログラム（システムアプリ等）を実行することにより、利用者情報管理部３０８、抽出情報管理部３０３、利用制御部３０７、及び通信部３１１等を実現している。

ＯＳ（操作部）１８１３は、操作部２２０が備える基本機能を提供するための基本ソフトウェア（オペレーティングシステム）である。サービス層１８１２は、各アプリからのハードウェア資源の利用要求等を、ＯＳ（操作部）１８１３が解釈可能なコマンドに変換してＯＳ（操作部）１８１３に渡す。そして、ＯＳ（操作部）１８１３によりコマンドが実行されることで、ハードウェア資源は、アプリの要求に従った動作を行う。

ＯＳ（操作部）１８１３は、例えば、カメラ１０２、ＩＣカードリーダ１０３等の制御も行う。例えば、操作部２２０が省電力状態から通常状態に復帰すると、ＯＳ（操作部）１８１３は、カメラ１０２、ＩＣカードリーダ１０３を起動させる。

カメラ１０２は、一般的なコンピュータの構成を有しており、所定のプログラムを実行することにより、例えば、図３に示す撮像部３０１を実現している。

ＩＣカードリーダ１０３は、一般的なコンピュータの構成を有しており、所定のプログラムを実行することにより、例えば、図３に示す情報取得部３０４を実現している。

（本体のソフトウェア構成）
図１８に示すように、本体２１０は、アプリ層１８３１、サービス層１８３２、ＯＳ（本体）１８３３、及び画像形成エンジン１８３６等を有する。本体２１０は、本体コントローラ１８３０に備えられた、図２のＣＰＵ２１１で所定のプログラムを実行することにより、アプリ層１８３１、サービス層１８３２、ＯＳ（本体）１８３３等を実現している。また、画像形成エンジン１８３６は、例えば、図２のエンジン部２１７で実行されるプログラム等によって実現される。

アプリ層１８１１は、所定の機能を提供するためのアプリであり、例えば、コピーアプリ１８４１、スキャンアプリ１８４２、プリントアプリ１８４３、及びファクスアプリ１８４４等を含む。アプリ層１８１１の各アプリは、例えば、Ｗｅｂ ＡＰＩ１８３５を用いて、操作部２２０の画像形成アプリ１８２１等から利用可能である。

サービス層１８３２は、アプリ層１８３１とＯＳ（本体）１８３３との間に介在し、アプリ層１８３１のアプリや、操作部２２０等に対し、画像形成装置１０１が備える様々な機能を利用するためのインタフェースを提供するソフトウェアである。アプリ層１８３１の各アプリは、本体ＡＰＩ１８３４を利用して、サービス層１８３２で提供される各機能を利用することができる。

サービス層１８１２には、例えば、状態制御部３２２、画像形成部３２３、通信部３２５、認証制御部１８４５、及び利用者情報管理部１８４６等が含まれる。本体２１０は、例えば、所定のプログラムを実行することにより、状態制御部３２２、画像形成部３２３、通信部３２５、認証制御部１８４５、及び利用者情報管理部１８４６等を実現している。

このうち、状態制御部３２２、画像形成部３２３、及び通信部３２５は、それぞれ、図３に示す状態制御部３２２、画像形成部３２３、及び通信部３２５に対応している。

状態制御部３２２は、前述したように、操作部２２０や本体２１０の電力状態を制御する。画像形成部３２３は、エンジンＡＰＩ１８３７を利用して画像形成エンジン１８３６を制御し、画像形成装置１０１が備える画像形成機能（例えば、印刷、コピー、スキャン、ファクス等）を実行する。通信部３２５は、操作部２２０の通信部３１１と、例えば、ＵＳＢ ｏｖｅｒ ＩＰで通信可能に接続され、操作部２２０と本体２１０との間の通信（例えば、ＨＴＴＰ通信）を行う。

認証制御部１８４５は、本体の認証処理を制御する。例えば、認証制御部１８４５は、操作部２２０の利用制御部３０７によって、利用者１０５による画像形成装置１０１の利用が許可された場合、本体２１０の画像形成機能の実行を許可する。

利用者情報管理部１８４６は、例えば、図４に示すような利用者情報４００を管理する。

ＯＳ（本体）１８３３は、本体２１０が備えるハードウェアを制御する基本機能を提供するための基本ソフトウェアである。サービス層１８３２は、各アプリからのハードウェア資源の利用要求等を、ＯＳ（本体）１８３３が解釈可能なコマンドに変換してＯＳ（本体）１８３３に渡す。そして、ＯＳ（本体）１８３３によりコマンドが実行されることで、ハードウェア資源は、アプリの要求に従った動作を行う。

ＯＳ（本体）１８３３は、操作部２２０のＩＰアドレスを、本体２１０のＩＰアドレスに変換するアドレス変換機能１８４７を有している。これにより、操作部２２０は、本体２１０を介して、ネットワーク上の外部サーバ等と通信を行い、例えば、外部サーバから、外部サーバが管理する利用者情報を取得することができる。

また、移動体センサ２１８は、一般的なコンピュータの構成を有しており、所定のプログラムを実行することにより、例えば、図３に示す移動体検知部３２１を実現している。

なお、本実施形態では、本体２１０のＯＳ（本体）１８３３と、操作部２２０のＯＳ（操作部）１８１３とは、互いに異なるＯＳで動作している。

例えば、本体２１０のＯＳ（本体）１８３３は、Ｌｉｎｕｘ（登録商標）等のＯＳが用いられ、操作部２２０のＯＳ（操作部）１８１３は、Ａｎｄｒｏｉｄ（登録商標）等の省電力型のＯＳが用いられる。

そのため、本体２１０と操作部２２０との間の通信は、通常のプロセス間の通信とは異なり、例えば、前述したようにＨＴＴＰ通信等が用いられる。

＜処理の流れ＞
図１９は、第４の実施形態に係る省電力状態の解除処理の例を示すシーケンス図である。この処理は、省電力状態にある画像形成装置１０１が、利用者１０５の接近に応じて、第１〜３の実施形態に示す認証処理を実行可能な通常状態に移行するまでの処理の例を示している。

ステップＳ１９０１において、利用者１０５が画像形成装置１０１に接近すると、ステップＳ１９０２において、移動体検知部３２１は、移動体（利用者１０５）を検知する。

ステップＳ１９０３において、本体２１０の移動体検知部３２１は、移動体を検知したことを示す検知情報を、状態制御部３２２に通知する。

ステップＳ１９０４、Ｓ１９０５において、本体２１０の状態制御部３２２は、操作部２２０に起動を要求する起動要求を、通信部３２５を介して操作部２２０に送信する。

ステップＳ１９０６において、操作部２２０の通信部３１１は、本体２１０から起動要求を受付すると、受付した起動要求をＯＳ（操作部）１８１３に通知する。

ステップＳ１９０７において、起動要求を受付したＯＳ（操作部）１８１３は、ＯＳ（操作部）１８１３、及びシステムアプリ等を起動させる。これにより、例えば、図１８のサービス層１８１２に含まれる利用者情報管理部３０８、抽出情報管理部３０３、及び利用制御部３０７等が利用できるようになる。なお、サービス層１８１２の通信部３１１は、例えば、常時起動しているものとする。

ステップＳ１９０８〜Ｓ１９１０において、操作部２２０のＯＳ（操作部）１８１３は、ＯＳ（操作部）１８１３が起動したことを示す起動通知を、通信部３１１を介して本体２１０に通知する。

ステップＳ１９１１、Ｓ１９１２において、操作部２２０のＯＳ（操作部）１８１３は、カメラ１０２に起動要求を送信し、カメラ１０２を起動させる。

ステップＳ１９１３、Ｓ１９１４において、操作部２２０のＯＳ（操作部）１８１３は、ＩＣカードリーダ１０３に起動要求を送信し、カードリーダ１０３を起動させる。

ステップＳ１９１５において、操作部２２０のＯＳ（操作部）１８１３は、生体認証アプリ１８２２を起動する。これにより、図３に示す情報抽出部３０２、生体認証部３０６等が利用できるようになる。

ステップＳ１９１６において、操作部２２０のＯＳ（操作部）１８１３は、所持物認証アプリ１８２３を起動する。これにより、図３に示す所持物認証部３０５が利用できるようになる。

上記の処理により、ステップＳ１９１７において、操作部２２０の起動が完了し、例えば、図１１のステップＳ１１０２以降の認証処理を実行することができるようになる。本実施形態によれば、画像形成装置１０１の操作部２２０は、利用者１０５が画像形成装置１０１に接近したときに、第１〜３の実施形態に係る認証処理を実行することができるようになる。

１００ 情報処理システム
１０４ ＩＣカード（所定の所持物の一例）
２１０ 本体（実行装置）
２２０ 操作部（操作装置）
３０１ 撮像部
３０２ 情報抽出部
３０３ 抽出情報管理部
３０４ 情報取得部
３０５ 所持物認証部
３０６ 生体認証部
３０７ 利用制御部
３０８、１８４６ 利用者情報管理部
３１２ 記憶部
３１３ 設定部

特開２０１５−３５１７８号公報

Claims (10)

1. 利用者を認証する情報処理システムであって、
   前記利用者の画像を撮像する撮像部と、
   前記撮像部が撮像した画像から、生体認証において前記利用者の照合に用いる第１の情報を抽出する情報抽出部と、
   前記情報抽出部が抽出した１つ以上の第１の情報を記憶部に記憶する抽出情報管理部と、
   前記利用者の所定の所持物から、所持物認証に用いる第２の情報を取得する情報取得部と、
   前記情報取得部が取得した前記第２の情報を用いて、前記利用者の前記所持物認証を行う所持物認証部と、
   前記所持物認証が許可された場合、前記記憶部に記憶した前記１つ以上の第１の情報を用いて前記利用者の前記生体認証を行う生体認証部と、
   前記生体認証が許可された前記利用者に、前記情報処理システムの利用を許可する利用制御部と、
   を有し、
   前記所持物認証部は、
   前記情報取得部が前記第２の情報を取得した場合、前記情報抽出部による処理を中断して前記所持物認証を行い、
   前記所持物認証が許可された場合、前記中断した前記情報抽出部による処理を再開させる、
   情報処理システム。
2. 前記所持物認証部は、前記撮像部が撮像した画像から前記情報抽出部が抽出した前記第１の情報を、前記抽出情報管理部が前記記憶部に記憶した後に前記所持物認証を実行し、
   前記生体認証部は、前記所持物認証が許可された場合、前記所持物認証に用いた前記第２の情報に紐付けられた生体の特徴情報と、前記記憶部に記憶された前記第１の情報とを照合して前記生体認証を行う、請求項１に記載の情報処理システム。
3. 前記利用者の前記第１の情報、及び前記第２の情報を記憶した利用者情報を管理する利用者情報管理部を有し、
   前記生体認証部は、前記利用者情報管理部から前記所持物認証が許可された前記利用者の前記第１の情報を取得し、取得した前記利用者の前記第1の情報と、前記記憶部に記憶した前記１つ以上の第１の情報とを照合して前記生体認証を行う、請求項１に記載の情報処理システム。
4. 前記情報抽出部は、前記情報取得部が前記第２の情報を取得した場合、前記第１の情報の抽出を中止する、請求項３に記載の情報処理システム。
5. 前記記憶部に記憶する前記第１の情報の数の上限値を設定する設定部を有し、
   前記抽出情報管理部は、前記上限値の範囲内で前記第１の情報を記憶する、請求項１乃至４のいずれか一項に記載の情報処理システム。
6. 前記利用制御部は、前記所持物認証が許可された後、前記生体認証が許可されるまでの間、前記情報処理システムの機能のうち予め定められた一部の機能を利用可能にする、請求項１乃至５のいずれか一項に記載の情報処理システム。
7. 前記第１の情報は、生体の特徴情報である、請求項１乃至６のいずれか一項に記載の情報処理システム。
8. 前記第２の情報は、前記所定の所持物の識別情報である、請求項１乃至７のいずれか一項に記載の情報処理システム。
9. 画像処理を実行する実行装置と、前記実行装置に接続される操作装置とを含む画像処理装置であって、
   前記操作装置は、
   利用者の画像を撮像する撮像部と、
   前記撮像部が撮像した画像から、生体認証において前記利用者の照合に用いる第１の情報を抽出する情報抽出部と、
   前記情報抽出部が抽出した１つ以上の第１の情報を記憶部に記憶する抽出情報管理部と、
   前記利用者の所定の所持物から、所持物認証に用いる第２の情報を取得する情報取得部と、
   前記情報取得部が取得した前記第２の情報を用いて、前記利用者の前記所持物認証を行う所持物認証部と、
   前記所持物認証が許可された場合、前記記憶部に記憶した前記１つ以上の第１の情報を用いて前記利用者の前記生体認証を行う生体認証部と、
   前記生体認証が許可された前記利用者に、前記画像処理装置の利用を許可する利用制御部と、
   を有し、
   前記生体認証が許可された前記利用者に前記画像処理の実行を許可し、
   前記所持物認証部は、
   前記情報取得部が前記第２の情報を取得した場合、前記情報抽出部による処理を中断して前記所持物認証を行い、
   前記所持物認証が許可された場合、前記中断した前記情報抽出部による処理を再開させる、
   画像処理装置。
10. 利用者を認証する情報処理システムにおいてコンピュータが実行する認証方法であって、
    前記コンピュータが、
    前記利用者の画像を撮像する撮像ステップと、
    前記撮像した画像から、生体認証において前記利用者の照合に用いる第１の情報を抽出する情報抽出ステップと、
    前記情報抽出ステップで抽出した１つ以上の第１の情報を記憶部に記憶する抽出情報管理ステップと、
    前記利用者の所定の所持物から、所持物認証に用いる第２の情報を取得する情報取得ステップと、
    前記情報取得ステップで取得した第２の情報を用いて、前記利用者の前記所持物認証を行う所持物認証ステップと、
    前記所持物認証が許可された場合、前記記憶部に記憶した前記１つ以上の第１の情報を用いて前記利用者の前記生体認証を行う生体認証ステップと、
    前記生体認証が許可された前記利用者に、前記情報処理システムの利用を許可する利用制御ステップと、
    を実行し、
    前記所持物認証ステップは、
    前記情報取得ステップで前記第２の情報を取得した場合、前記情報抽出ステップによる処理を中断して前記所持物認証を行い、
    前記所持物認証が許可された場合、前記中断した前記情報抽出ステップによる処理を再開させる、
    認証方法。

Images