図1は、情報処理システムの構成例を示した図である。情報処理システムは、情報処理装置としての画像処理装置と、サーバとを含んで構成される。なお、情報処理装置は、ユーザが利用し、そのユーザに対して何らかの機能やサービスを提供することができる装置であれば、画像処理装置以外のいかなる装置であってもよい。画像処理装置としては、プリンタ、スキャナ、ファックス装置、コピー機、これらの機能を備えるMFP(Multi Function Peripheral)等を挙げることができる。画像処理装置以外の装置としては、電子黒板、プロジェクタ等を挙げることができる。
以下、画像処理装置をMFPとして説明する。なお、この構成は一例であり、MFPがサーバの機能を有し、MFPのみの構成であってもよいし、ユーザが使用するPC等の情報処理端末を含む構成であってもよい。
MFP10とサーバ11は、ネットワーク12に接続され、ネットワーク12を介して互いに通信を行う。ネットワーク12は、有線ネットワークであってもよいし、無線LAN(Local Area Network)等の無線ネットワークであってもよい。また、ネットワーク12は、1つのネットワークに限られるものではなく、ルータやプロキシサーバ等の中継装置により接続された2以上のネットワークから構成されるものであってもよい。
サーバ11は、ユーザが使用するPCと通信を行い、MFP10に対する機能の実行要求をジョブとして受信し、MFP10がそのジョブを実行することが可能になるまで、そのジョブを蓄積する。MFP10は、機能として、印刷機能、コピー機能、スキャナ機能、ファックス機能等の複数の機能を有し、サーバ11に蓄積されたジョブを、蓄積された順に実行する。以下、機能を印刷機能として説明する。
ユーザは、PCを使用して印刷したい原稿を作成し、PCに実装されたプリンタドライバによりMFP10が解釈可能なデータに変換し、プリントジョブとしてサーバ11に送信する。なお、このプリンタドライバは、サーバ11に実装されていてもよい。
サーバ11は、MFP10との間で通信を行い、MFP10が実行中のジョブのジョブ情報を取得し、また、蓄積しているジョブのジョブ情報も取得し、実行を要求された全ジョブのジョブ情報をリストし、ジョブ一覧情報を生成する。
MFP10は、ユーザに対して機能を使用させるにあたって、ユーザからユーザ情報を受け付ける。ユーザ情報としては、例えばユーザID、パスワード、ユーザが所持する通信機器としてのICカードを識別するための無線タグID、社員番号、生体情報等を挙げることができる。
ユーザは、ユーザ情報をMFP10が備える操作パネルやハードウェアキー等を使用して入力することができる。そのほか、ユーザは、ユーザ情報が記録されたICカードを所持し、MFP10に搭載または接続された無線通信装置にその情報を取得させることにより、ユーザ情報を入力することもできる。なお、ICカードに限られるものではなく、携帯電話、スマートフォン等を使用して入力してもよい。
ICカードは、例えばRFID(Radio Frequency Identifier)タグを備えることができる。RFIDタグは、ICチップとアンテナとから構成され、ICチップは、アンテナを使用し、MFP10が備える無線通信装置と通信し、無線通信装置からの要求により、内部に記憶されたユーザ情報を送信することができる。なお、RFIDタグには、電池を内蔵し、通信時に自らの電力で電波を発信するアクティブタイプと、無線通信装置等からの電波により動作し、それによって応答を返すパッシブタイプとがある。無線通信装置には、RFタグリーダ等を用いることができる。
MFP10は、ICカードから取得したユーザ情報を用いてユーザ認証を行い、認証を許可する場合、そのユーザに対して、予め設定された画面として、ジョブ一覧画面を生成し、表示する。例えば、プリントジョブを要求した後でMFP10を利用するために認証処理をするユーザは、プリントジョブ一覧を最初に表示してほしいという可能性が高い。このため、ユーザが画面を切り替える手間が発生するホーム画面ではなく、ジョブ一覧画面を生成する。MFP10は、ジョブ一覧に表示されたジョブを順に実行するが、ユーザは、必要に応じてジョブを削除し、ジョブを保留し、ジョブの実行順序を入れ替えることができる。MFP10は、ジョブ実行に際し、サーバ11と通信を行い、蓄積されたジョブを取得する。
MFP10は、認証を許可しない場合、エラー画面やユーザ情報の入力画面等を表示し、ジョブ一覧画面を表示しないようにすることができる。これは一例であり、それまでが省電力状態で画面OFFの状態であった場合、画面OFFの状態を継続する等してもよい。
ユーザの認証方法は、このようなICカードから取得した情報による無線認証に限られるものではなく、ユーザの顔を撮像し、その顔の特徴情報を含む顔画像を用いた画像認証等であってもよい。また、ユーザの認証方法は、上記の無線認証と画像認証とを組み合わせた複合認証であってもよい。
複合認証は、異なる情報を用いて認証するものであれば、上記の無線認証と画像認証の組み合わせに限られるものではなく、その他の認証方法との組み合わせであってもよい。また、その組み合わせは、2つの方法の組み合わせに限られるものではなく、3つ以上の方法の組み合わせであってもよい。より多くの認証方法を用い、より多くのユーザ情報で認証を実行するほうが、認証強度(セキュリティ強度)を高くすることができるので望ましい。しかしながら、多くの認証手段を用いた構成にすると、認証に手間と時間がかかり、コストもかかる。
ICカードに記録されたユーザ情報は、ユーザの向き、表情、身体的な変化等によっても変化しない情報であるため、認証処理を実行する際の認証精度が高い。このようなユーザ情報を、認証処理に使用する情報であるため、第1の認証情報と呼ぶ。第1の認証情報は、ICカードに記録されたユーザ情報に限らず、ユーザが手入力するユーザ情報であってもよい。第1の認証情報は、認証精度が高いという利点を有する一方で、欠点として、第三者がICカードを不正に利用した場合、認証が許可されてしまうという脆弱性を有している。
顔の特徴情報は、ユーザの向き、表情、身体的な変化等によって変化する情報であるため、認証処理を実行する際の認証精度が、上記の第1の認証情報より低い。このような顔の特徴情報を含む生体情報を、第2の認証情報と呼ぶ。第2の認証情報は、顔の特徴情報に限らず、指紋、虹彩、静脈等の生体情報であってもよい。第2の認証情報は、認証精度が低いという欠点を有する一方で、第三者による不正な利用が困難という利点を有している。
認証精度が高い第1の認証情報と不正利用が困難な第2の認証情報とを用いて認証し、その両方で認証が許可されたユーザが同一である場合に、MFP10の使用を許可することで、不正利用を困難にさせつつ、認証精度を向上させることができる。
このため、多くの認証方法を用いなくても、2つの認証方法のみを用いて認証処理を実行することができる。これにより、充分な高さの認証強度を実現することができる。なお、認証情報は、ICカードに記録されたものを用いることで、無線通信装置に取得させるだけであるため、容易に認証精度を向上させることができる。
ユーザは、MFP10を使用しようとする場合、MFP10に接近し、MFP10に搭載または接続された無線通信装置にICカードに記録された情報を自動取得させる。また、ユーザは、MFP10に搭載または接続されたカメラに顔を向け、顔を含む画像を撮像させる。これにより、MFP10は、第1の認証情報と、第2の認証情報を含む顔画像を取得することができる。
MFP10は、複数のユーザの第1の認証情報および第2の認証情報を保持しており、取得したユーザの第1の認証情報と第2の認証情報を、その保持している複数のユーザの第1の認証情報および第2の認証情報と比較する。そして、MFP10は、ユーザの第1の認証情報および第2の認証情報と一致するものがあるかを確認する。なお、第2の認証情報は、顔の特徴情報等で、完全に一致することは稀であることから、ある程度似ていれば一致すると判断することができる。どの程度似ていれば一致すると判断するかについては、システムの管理者が任意に設定することができる。
MFP10は、ユーザの第1の認証情報および第2の認証情報と一致するものがある場合、いずれも認証成功と判断する。次に、MFP10は、第1の認証情報と第2の認証情報が同一のユーザのものであるかを確認する。MFP10は、同一のユーザのものであることが確認された場合、そのユーザにMFP10の使用を許可する。MFP10は、使用を許可する場合、ユーザをログインし、予め設定された画面を表示し、ユーザが要求したジョブの実行を可能にさせる。一方、同一のユーザのものでないことが確認された場合、ユーザに対し、MFP10の使用を許可しない。
また、MFP10は、ユーザの第1の認証情報および第2の認証情報が、複数のユーザの第1の認証情報および第2の認証情報のいずれとも一致しない場合、また、いずれか一方が一致しない場合、認証失敗であり、ユーザのMFP10の使用を許可しない。
なお、第1の認証情報と第2の認証情報のいずれか一方が一致しない場合、ユーザの上司等の承認者に確認し、承認者が認証を許可することも可能である。承認者への確認は、メール等により実施することができる。例えば、第1の認証情報の1つである無線タグIDは一致するが、第2の認証情報である顔の特徴情報が一致しない場合、メールに顔画像を添付して承認者へ送信し、その顔画像を確認してもらうことができる。
ユーザは、ICカードを所持し、MFP10が設置されている場所へ向けて移動する。ICカードがMFP10により検知可能な範囲(エリア)内に入ると、MFP10がICカードから第1の認証情報を取得し、認証処理を実行する。この認証処理で認証が許可された場合、ユーザが先に送信したプリントジョブがMFP10およびサーバ11内に存在するかを確認し、存在する場合、そのジョブの実行を可能にさせるため、実行中および蓄積されているジョブの情報を取得し、ジョブ一覧の画面を生成する。この間、ユーザはMFP10へ向けて移動し続ける。
ユーザは、MFP10に接近したところで、MFP10は、顔を含む画像を撮像し、その画像から顔の特徴情報を第2の認証情報として取得し、認証処理を実行する。MFP10は、この認証処理で認証を許可すると、これら2つの認証処理で使用した第1の認証情報と第2の認証情報とが同一のユーザのものであるかを確認する。MFP10は、同一のユーザのものであることを確認したところで、そのユーザにMFP10の使用を許可する。
MFP10は、ユーザの使用を許可する場合、ユーザをログインし、予め設定された画面として、上記で生成したジョブ一覧画面を表示する。この画面の表示を受けて、ユーザは、自分が要求したジョブの状態を確認し、必要に応じてジョブを削除、保留、順序の入れ替え等を行うことができる。
MFP10は、ユーザの使用を許可しない場合、例えばユーザに対して再度の認証情報の入力を促す画面を表示する。ユーザ認証は、上記のいずれか1つの認証情報を用いるものや、3つ以上の認証情報を用いるものであってもよいが、以下、2つの認証情報を用いる無線認証と画像認証とを組み合わせた複合認証として説明する。
その前に、図2を参照して、MFP10のハードウェア構成について説明する。MFP10は、コピー機能、スキャナ機能、ファックス機能、プリンタ機能等の複数の機能を実現する本体20と、ユーザの操作を受け付ける操作部30とを備える。本体20と操作部30とは、専用の通信路50を介して相互に通信可能に接続されている。通信路50は、USB(Universal Serial Bus)規格等の任意の規格のものを用いることができ、有線の通信路であってもよいし、無線の通信路であってもよい。
操作部30は、ユーザの操作を受け付け、本体20に対して操作を指示し、本体20は、指示された操作に応じた動作を実行する。操作の受け付けは、ユーザの操作に応じて入力される情報の受け付けを含む概念であり、入力される情報は、画面の座標値を示す信号等を含むものである。
本体20は、CPU(Central Processing Unit)21、ROM(Read Only Memory)22、RAM(Random Access Memory)23、HDD(Hard Disk Drive)24、接続I/F25、エンジン26、通信I/F27、移動体検知センサ28、システムバス29を含む。CPU21は、ROM22やHDD24に格納されたプログラムを実行して、本体20の動作を制御する。ROM22は、プログラムとして、本体20の起動時に実行されるBIOS(Basic Input/Output System)、各種の設定値等を格納する不揮発性メモリである。RAM23は、CPU21が実行するために読み出したプログラムを保持する等の作業領域を提供する揮発性メモリである。
HDD24は、OS(Operating System)、各機能を実現するためのアプリケーションプログラム、各種のデータを格納する不揮発性の記憶装置である。CPU21は、HDD24に格納されたアプリケーションプログラムを実行することで、プリンタ機能、スキャナ機能、ファックス機能、コピー機能等の各機能を実現する。ここでは、HDD24を用いているが、これに限られるものではなく、SSD(Solid State Drive)等を用いてもよい。
接続I/F25は、通信路50を介して操作部30と通信するためのインタフェースである。エンジン26は、上記複数の機能を実現するための、情報処理や通信以外の処理を実行するハードウェアである。エンジン26は、原稿を読み取るスキャナ、紙等の記録媒体に印刷するプロッタ、ファックス送受信を実行するファックスユニットを含んで構成される。エンジン26は、これら以外に、原稿を自動給送する自動原稿給送装置(ADF)や、印刷された紙を仕分けするフィニッシャ等の特定のオプションを含んでいてもよい。
通信I/F27は、本体20をネットワーク12に接続し、ネットワーク12に接続された外部装置と通信するためのネットワークインタフェースである。外部装置は、PCのほか、ネットワーク12に接続された他のPC等であり、通信I/F27は、当該他のPC等から印刷要求等を受け付けることができる。
移動体検知センサ28は、MFP10の周囲のセンサが検知可能な検知範囲内にいる移動体を検出するセンサである。移動体としては、例えば人を挙げることができ、センサとしては、人を検出する焦電センサを挙げることができる。焦電センサは、温度変化を検出する赤外線センサで、人感センサとして用いられるものである。システムバス29は、CPU21やROM22等と接続され、アドレス信号、データ信号、各種の制御信号を伝送する。
本体20は、そのほか、外部接続I/F等を備えることができる。外部接続I/Fは、ICカードから第1の認証情報を読み取るICカードリーダやユーザのキー入力を受け付けるキーボード等を接続するためのインタフェースである。外部接続I/Fは、本体20と操作部30の両方に設けられていてもよいし、いずれか一方にのみ設けられていてもよい。
操作部30は、CPU31、ROM32、RAM33、フラッシュメモリ34、接続I/F35、通信I/F36、操作パネル37、カメラ38、無線通信装置39、システムバス40を含む。CPU31は、ROM32やフラッシュメモリ34に格納されたプログラムを実行して、操作部30の動作を制御する。ROM32は、プログラムとして、操作部30の起動時に実行されるBIOSや各種の設定値等を格納する不揮発性メモリである。RAM33は、CPU31が実行するために読み出したプログラムを保持する等の作業領域を提供する揮発性メモリである。
フラッシュメモリ34は、OS、アプリケーションプログラム、各種のデータ等を格納する不揮発性の記憶装置である。CPU31は、フラッシュメモリ34に格納されたアプリケーションプログラムを実行することで、ユーザから受け付けた入力に応じた情報(画像)の表示等の各種の機能を実現する。接続I/F35は、通信路50を介して本体20と通信するためのインタフェースである。通信I/F36は、操作部30をネットワーク12に接続し、ネットワーク12に接続された外部装置と通信するためのネットワークインタフェースである。
操作パネル37は、ユーザの操作に応じた各種の入力を受け付け、各種の情報を表示する。各種の情報としては、受け付けた操作に応じた情報、MFP10の動作状況を示す情報、各種の設定値の情報、ログイン後に表示する予め設定された画面等である。操作パネル37は、タッチパネル機能が搭載された液晶ディスプレイ(LCD)や有機EL(Electro Luminescence)ディスプレイを用いることができる。操作パネル37は、タッチパネル機能を搭載したものに限られるものではなく、ディスプレイと別個にハードウェアキーを備えるものであってもよい。
カメラ38は、撮像範囲内の画像を撮像する撮像装置である。無線通信装置39は、数cmから数mといった近距離無線通信により、所定の通信範囲内のICカード等と通信するための装置である。
システムバス40は、CPU31やROM32等と接続され、アドレス信号、データ信号、各種の制御信号を伝送する。操作部30は、そのほか、本体20と同様、外部接続I/F等を備えることができる。
通信路50は、本体20と操作部30との間の通信のほか、本体20から操作部30への電力供給にも使用される。このため、MFP10は、操作部30のみの電源制御を実行することができる。
次に、図3を参照して、サーバ11のハードウェア構成について説明する。サーバ11は、汎用的なPCと同様、CPU60、ROM61、RAM62、HDD63、通信I/F64、システムバス65を含む。
CPU60は、ROM61やHDD63に格納されたプログラムを実行し、サーバ11全体の動作を制御する。ROM61は、サーバ11の起動時に実行されるBIOSや各種の設定値等を格納する不揮発性メモリである。RAM62は、CPU60が実行するために読み出したプログラムを保持する等の作業領域を提供する揮発性メモリである。HDD63は、OS、アプリケーションプログラム、各種のデータを格納する不揮発性の記憶装置である。ここでは、HDD63を用いているが、これに限られるものではなく、SSD等を用いてもよい。
通信I/F64は、サーバ11をネットワーク12に接続し、ネットワーク12に接続された外部装置、例えばMFP10と通信するためのネットワークインタフェースである。システムバス65は、CPU60やROM61等と接続され、アドレス信号、データ信号、各種の制御信号を伝送する。
図4を参照して、MFP10の機能構成について説明する。MFP10は、1つの実施形態として、移動体検知部70、電源制御部71、無線通信部72、無線認証部73、画像取得部74、特徴情報抽出部75、画像認証部76、記憶部77、ユーザ認証部78を含む。また、MFP10は、ジョブ判定部79、通信部80、画面生成部81、表示制御部82を含む。
移動体検知部70は、CPU21がプログラムを実行することにより実現され、移動体検知センサ28を用いて、MFP10の周囲の検知範囲内にいる移動体(人)を検知する。電源制御部71は、CPU21がプログラムを実行することにより実現され、予め設定された時間を超えて、MFP10の利用がない場合、MFP10を、印刷等を実行することができる通常状態より消費電力が少ない省電力状態へ移行させる。この省電力状態では、本体20のエンジン26、HDD24、操作部30の機能を停止させることにより消費電力を低減させる。
電源制御部71は、MFP10が省電力状態にあるとき、移動体検知部70から人を検知した旨の情報(人検知情報)を受けて、MFP10へ供給する電源を制御し、操作部30を省電力状態から通常の動作が可能な通常状態へ復帰させる。通常状態は、操作パネル37の画面を表示させ、ユーザがその画面を見て、操作することが可能な状態である。電源制御部71は、通信路50を介して操作部30に復帰命令を通知することにより、操作部30を省電力状態から復帰させることができる。操作部30以外のエンジン26、HDD24等も、復帰させることができる。
操作部30は、復帰する際、カメラ38や無線通信装置39の電源をONにし、カメラ38および無線通信装置39を起動させる。無線通信部72は、CPU31がプログラムを実行することにより実現され、無線通信装置39を用いて、MFP10の周囲の検知範囲内にあるICカードと通信し、ICカードから無線タグID等の所定の情報を取得する。
無線通信装置39の検知範囲90は、図5に示すMFP10の前方の扇形で表される範囲とされる。その範囲は、例えばMFP10を中心とした半径L=3m、その扇形の中心角である角度θ=150°の範囲とすることができる。
再び図4を参照して、無線認証部73は、CPU31がプログラムを実行することにより実現され、無線通信部72の無線通信により取得された無線タグIDと、記憶部77に記憶されている複数のユーザに対して登録された無線タグIDとを比較する。そして、無線認証部73は、一致する無線タグIDが存在するかを確認する。
記憶部77は、図6に示すユーザ毎の無線タグID等の情報を、アドレス帳データとして記憶する。アドレス帳データは、ユーザ毎に登録され、ユーザ毎に割り振られたアドレス帳番号、ユーザの氏名、メールアドレス、ログインID、ログインパスワード、無線タグID、画像認証用の個人データを含む。アドレス帳番号は、ユーザに固有の識別番号であり、ユーザに固有な情報であれば、社員ID等であってもよい。
無線タグIDは、例えば8桁の数字からなるものを用いることができる。画像認証用の個人データは、例えば顔領域を抽出した画像のグレースケール255階調で、30画素×30画素のデータとすることができる。個人データは、顔画像に限られるものではなく、顔の特徴情報であってもよい。顔の特徴情報としては、例えば顔の輪郭、目、鼻、あご、ほお骨等の各部分(パーツ)の形状や相対位置等の情報を含むことができる。また、個人データは、顔画像のデータや顔の特徴情報を記憶する場所を示すURL(Uniform Resource Locator)等のアドレスであってもよい。この場合、顔画像のデータ等は、ネットワーク12に接続されたサーバ11等の他の装置に格納することもできる。
記憶部77は、本体20と操作部30の各々に設けることができる。記憶部77を本体20と操作部30の各々に設けた場合、操作部30の記憶部には、アドレス帳データの一部のユーザ情報を記憶し、本体20の記憶部に残りのユーザ情報を記憶することができる。ちなみに、操作部30の記憶部は、記憶容量が少ないため、300件〜1800件程度のユーザ情報しか記憶することができない。しかしながら、このように本体20と操作部30に分けて記憶することで、操作部30にユーザ情報が記憶されていれば、操作部30からユーザ情報を速く読み出すことができる。
再び図4を参照して、無線認証部73は、ユーザ認証部78やジョブ判定部79に対して認証結果を通知する。一致する無線タグIDが存在する場合、認証成功という認証結果を通知する。これに対し、一致する無線タグIDが存在しない場合、認証失敗という認証結果を通知する。認証結果には、ユーザを識別するための識別情報として、アドレス帳番号や社員ID等を含めることができる。
画像取得部74は、CPU31がプログラムを実行することにより実現され、カメラ38が撮像した画像を取得する。取得する画像は、例えば図7に示すような画像である。画像は、少なくともユーザ100の顔を含む画像であり、例えばRGBそれぞれ255階調で、640画素×480画素の画像とされる。
特徴情報抽出部75は、CPU31がプログラムを実行することにより実現され、画像取得部74が取得した画像から人の顔領域91を検出し、抽出する。抽出される顔画像は、例えば図8に示すグレースケール255階調で、30画素×30画素の画像である。
顔領域を検出する手法としては、例えばHaar-Like特徴を用いた顔検出を用いることができる。なお、Haar-Like特徴に限られるものではなく、LBP(Local Binary Pattern)特徴やHOG(Histogram of Oriented Gradients)特徴等を用いてもよい。
Haar-Like特徴は、複数の矩形領域内の平均輝度差に基づき顔領域かどうかを判断する手法である。この手法は、画像中の様々な位置や大きさの探索領域から、弱識別器と呼ばれるHaar-Like特徴を用いた識別器によって、少数の顔らしい候補領域に絞り込むものである。なお、弱識別器は、その識別性能が高くないため、この手法では、ブースティングと呼ばれる学習方法により各弱識別器を事前学習で重み付けし、重要度が高い上位数十個の弱識別器を選択し、強識別器を作成する。そして、この強識別器(人の顔らしさを示す白黒矩形数パターン)によって、その領域が人の顔領域かどうかを判断する。
LBP特徴は、輝度の分布に基づき顔領域かどうかを判断する手法である。この手法は、画像を分割し、分割した画像の中心画素とその周辺画素の輝度を比較し、中心画素より輝度が高いかどうかによりバイナリデータにし、分割された画像のバイナリデータの集合をヒストグラムとする。そして、このヒストグラムの組み合わせから、顔領域であるかどうかを判断する。
HOG特徴は、輝度の勾配方向の分布に基づき顔領域かどうかを判断する手法である。この手法は、画像を切り出した一部分につき、輝度が変化している方向と輝度の差を求め、それをヒストグラムとし、このヒストグラムの組み合わせから、顔領域であるかどうかを判断する。
特徴情報抽出部75は、検出された顔領域から顔の特徴情報を抽出する。顔の特徴情報は、上記の各パーツの形状や相対位置等の情報で、顔領域の輝度の分布や位置等の情報から抽出することができる。
画像認証部76は、CPU31がプログラムを実行することにより実現され、特徴情報抽出部75により抽出された顔の特徴情報と、記憶部77に記憶されている複数の画像認証用の個人データとを比較することにより画像認証を行う。画像認証部76は、抽出された顔の特徴情報に対応する1の特徴情報が個人データに含まれるかどうかにより画像認証を行うことができる。
画像認証部76は、顔の特徴情報ではなく、顔画像を用いて画像認証を行うことも可能である。この場合、顔画像と個人データとして登録された画像とのマッチングを実行することができる。マッチングは、成功するまで記憶されているユーザの人数分実行することができる。マッチングは、顔の特徴点を見つけ出し、特徴点間を比較する手法や、顔画像1枚当たりの各画素の輝度値を1本のベクトルとし、パターン認識により実行する手法等を用いることができる。
パターン認識によりマッチングを実行する手法としては、例えば、部分空間法を用いることができる。部分空間法は、登録されている複数のユーザの顔の特徴を低次元で表現する部分空間を作成し、認識対象のユーザの顔との類似度を評価することで認識する手法である。
類似度は、認証対象のユーザの顔について作成した部分空間と、登録されている複数のユーザの各々の顔について作成した部分空間のなす角(正準角)から求めることができる。部分空間は、ベクトル空間の部分集合で、ベクトル空間になっていることから、ベクトル同士のなす角を求め、その角が0に近いほど類似している。ちなみに、部分空間同士が完全に一致していれば、そのなす角は0である。類似度が所定の値以上である場合にマッチングが成功と判断することができる。部分空間法は、よく知られた手法であるため、その詳細については説明を省略する。
画像認証部76は、顔の特徴情報を比較した結果を認証結果として通知する。なお、上記のマッチングを行った場合、認証結果は、マッチングの結果であってもよい。また、顔の特徴情報の比較とマッチングの両方を行った結果であってもよい。認証結果は、認証成功または認証失敗という情報を含み、ユーザを識別するための識別情報として、アドレス帳番号や社員ID等を含めることができる。
ユーザ認証部78は、無線認証部73および画像認証部76からの認証結果を受けて、そのユーザによるMFP10の使用を許可するか否かを判断する。ユーザ認証部78は、無線認証部73および画像認証部76から認証成功という認証結果を受けると、これら2つの認証結果に含まれるアドレス帳番号等のユーザ情報を比較し、ユーザが同一かどうかを判断する。ユーザ認証部78は、同一であれば、そのユーザによるMFP10の使用を許可すると判断し、ログインを行う。同一でない場合は、MFP10の使用を許可しないと判断する。また、ユーザ認証部78は、無線認証部73および画像認証部76の少なくとも一方から認証失敗という認証結果を受けると、MFP10の使用を許可しないと判断する。
ユーザ認証部78は、ユーザが同一であることを確認し、MFP10の使用を許可するが、2つの認証結果のうち、一方が認証成功で、他方が認証失敗の場合、上記のように承認者にメール等により通知することができる。ユーザ認証部78は、承認者から認証を許可する旨の回答を受け付けた場合、ユーザが同一であるとして、MFP10の使用を許可し、許可しない旨の回答を受け付けた場合、MFP10の使用を許可しないと判断することができる。
ジョブ判定部79は、無線認証部73により認証されたユーザからジョブを受け付けているかを判定する。サーバ11は、実行中のジョブと実行待ちのジョブの情報をジョブ一覧情報として保持し、ジョブ判定部79は、そのジョブ一覧情報を参照することで、そのユーザからジョブを受け付けているかを判定することができる。
図9に、ジョブ一覧情報を例示する。ジョブ一覧情報は、パラメータとして、ジョブID、ジョブ状態、アドレス帳番号、ジョブを要求したユーザのユーザ名、ジョブの内容等を含む。ジョブIDは、受け付けたジョブに対して割り振られる番号等で、ジョブを識別するための識別情報である。ジョブ状態は、ジョブの状態を表す「印刷中」、「待機中」等の情報である。なお、パラメータとしては、そのほか、印刷対象の画像データのデータ名(文書名)、文書のページ数、印刷部数等を挙げることができる。
例えば、無線認証部73により認証されたユーザがユーザAである場合、ジョブ判定部79は、図9に示すジョブ一覧情報のユーザ名を参照し、そのジョブ一覧情報の中にユーザAが存在するかどうかを確認することにより、ユーザAからジョブを受け付けているかを判定する。
通信部80は、サーバ11と通信を行い、サーバ11から印刷に関する情報、すなわちプリントジョブの情報を取得する。サーバ11は、図9に示すジョブ一覧情報を保持しているため、通信部80は、そのジョブ一覧情報を取得する。通信部80は、取得したジョブ一覧情報を記憶部77に記憶することができ、また、ジョブ判定部79に渡して上記の判定を実行させることができる。
画面生成部81は、ジョブ一覧情報を用いて、ログイン後に操作パネル37に表示させる画面を生成する。画面生成部81は、ジョブID、ジョブ状態、ジョブを要求したユーザのユーザ名、ジョブの内容等を含む画面を生成する。
通信部80によるジョブ一覧情報の取得、画面生成部81による画面の生成は、画像取得部74による画像の取得、特徴情報抽出部75による顔の特徴情報の抽出、画像認証部76による画像認証、ユーザ認証部78によるMFP10の使用許可の判断と並行して実行される。
表示制御部82は、ユーザ認証部78の判断結果に応じて、操作パネル37に表示する画面を制御する。具体的には、表示制御部82は、ユーザ認証部78がMFP10の使用を許可すると判断し、ユーザをログインしたことを受けて、画面生成部81により生成された画面を操作パネル37に表示させる。
このように並行して処理を実行することで、ログイン時に遅延することなく設定された画面を表示することができ、ユーザがすぐにジョブを選択することで、ユーザがストレスを感じることなく、ジョブを実行させることができる。
図10を参照して、ICカードを使用した無線認証について説明する。ステップ1000で、ユーザがMFP10に接近し、移動体検知部70が人を検知し、電源制御部71が省電力状態から復帰させ、カメラ38および無線通信装置39が起動することにより、この処理を開始する。ステップ1005では、無線通信部72が、無線通信装置39を用いて、ICカードに記録された無線タグIDを取得する。ステップ1010では、無線認証部73が無線タグIDを用いて無線認証を実行する。この無線認証の詳細については既に説明したので、ここではその説明を省略する。
ステップ1015において、無線認証部73が、認証成功か、認証失敗かを判断し、認証成功の場合、認証成功である旨と、その無線タグIDに対応するアドレス帳番号とをユーザ認証部78に通知し、ステップ1020で、この処理を終了する。一方、認証失敗の場合、ステップ1005へ戻り、再度無線タグIDの取得を行う。
図11を参照して、画像認証について説明する。ステップ1100において、カメラ38が撮像対象を撮像することにより処理を開始する。ステップ1105では、画像取得部74が、カメラ38から画像を取得する。ステップ1110では、特徴情報抽出部75が、取得した画像の中から顔画像を検出し、顔画像から顔の特徴情報を抽出する。
ステップ1115では、特徴情報抽出部75が、顔画像を検出することにより人を検知したかを判断する。人を検知した場合、ステップ1120へ進み、人を検知しない場合、ステップ1105へ戻り、画像取得部74が次の画像を取得する。ステップ1120では、画像認証部76が、抽出された顔の特徴情報を用いて画像認証を実行する。
ステップ1125において、画像認証部76が、認証成功か、認証失敗かを判断する。画像認証部76は、認証成功の場合、認証成功である旨と、画像認証における認証成功時に使用した画像認証用の個人データに対応するアドレス帳番号とをユーザ認証部78に通知し、ステップ1130で、この処理を終了する。一方、認証失敗の場合、ステップ1105へ戻り、画像取得部74が次の画像を取得する。
図12を参照して、無線認証と画像認証とを組み合わせた複合認証について説明する。ステップ1200から複合認証処理を開始し、ステップ1205では、ICカードとの通信が可能な範囲内にユーザが入り、無線通信部72がICカードから無線タグIDを取得する。ステップ1210では、無線認証部73が取得された無線タグIDを用いて無線認証を行う。
ステップ1205およびステップ1210の処理と並行して、ステップ1215で、画像取得部74が画像を取得し、特徴情報抽出部75が画像取得部74により取得された画像から顔画像を検出し、その顔画像から顔の特徴情報を抽出する。ステップ1220では、画像認証部76が抽出された顔の特徴情報を用いて画像認証を行う。
実際には、最初に無線タグIDを取得するステップ1205の処理が実行され、続くステップ1210の無線認証処理中に、ステップ1215の画像を取得する処理、ステップ1220の画像認証処理が並行して実行される。
ステップ1225では、ユーザ認証部78が、ステップ1210における認証結果およびステップ1220における認証結果が無線認証成功かつ画像認証成功であるかを判断する。いずれも失敗である場合、いずれか一方が成功で、他方が失敗である場合は、ステップ1205へ戻り、再度無線タグIDの取得および画像の取得を行う。
無線認証成功かつ画像認証成功である場合、ステップ1230へ進み、ユーザ認証部78が、無線認証成功を判断した際に用いた無線タグIDに対応するアドレス帳番号と、画像認証成功を判断した際に用いた画像認証用の個人データに対応するアドレス帳番号とが一致するかを判断する。一致しない場合、ステップ1205へ戻り、再度無線タグIDの取得および画像の取得を行う。一致する場合は、ステップ1235へ進み、ユーザのログインを行い、ステップ1240でこの複合認証処理を終了する。
アドレス帳番号が一致しない場合の例としては、ICカードを保持しているユーザがMFP10の周辺を通過し、ICカードを保持していない登録済みユーザがMFP10の前にいるようなケースが該当する。このようなケースでは、ログインを行わず、アドレス帳番号が一致するまで待ち続ける。
MFP10全体の機能構成は、図4に例示した通りであるが、MFP10は、本体20と操作部30とを備えることから、詳細には、図13に示すように、本体20と操作部30との間で通信を行う通信部80が、本体20と操作部30の各々に通信部80a、80bとして設けられる。また、記憶部77も、本体20と操作部30の各々に記憶部77a、77bとして設けられる。
なお、本体20は、記憶部77bにアドレス帳情報を記憶し、Linux(登録商標)等のOSと、スキャナ、プリンタ等を動作させる画像形成アプリケーションとを実装し、印刷機能、コピー機能、スキャナ機能、ファックス機能等の複数の機能を実現する。操作部30は、本体20に対してユーザが操作指示の入力を行う入力部を備え、Linux(登録商標)等のOSと、複数のアプリケーションとを実装し、複数のアプリケーションが各機能部を含み、各機能部を各手段として機能させ、各機能を実現することができる。
複数のアプリケーションとしては、無線認証アプリケーション、顔認証アプリケーション、プルプリントアプリケーションを一例として挙げることができ、これらはOSの下で動作させることができる。
無線認証アプリケーションは、破線で示すように、少なくとも無線認証部73を含む。無線認証アプリケーションは、そのほか、無線通信部72も含むことができる。顔認証アプリケーションは、破線で示すように、少なくとも画像認証部76を含む。顔認証アプリケーションは、そのほか、画像取得部74、特徴情報抽出部75を含むことができる。プルプリントアプリケーションは、破線で示すように、ジョブ判定部79、画面生成部81を含み、外部サーバからジョブ情報を取得し、本体20の画像形成アプリケーションにプリントジョブを投入する。
表示制御部82は、プルプリントアプリケーションが外部サーバからジョブ情報を取得したときに、顔認証アプリケーションによる画像認証が成功していない場合、ジョブ一覧画面の上に、顔認証アプリケーションの画像認証を促す画面を重ねて表示させることができる。
図13に示した機能構成において実施される無線認証を、図14を参照して説明する。本体20は、通信部80aと、記憶部77aとを備え、操作部30は、無線認証部73と、通信部80bと、記憶部77bとを備えている。ここでは、その他の機能部については省略している。操作部30が備える記憶部77bは、記憶容量が小さいことから、特定のユーザのユーザ情報しか記憶させることができない。このため、それ以外のユーザのユーザ情報は、本体20が備える記憶容量が大きい記憶部77aに記憶させることになる。
このため、無線認証部73は、ICカードから無線タグIDを取得した場合、最初に同じ操作部30が備える記憶部77b内を探し、記憶部77b内に存在しない場合、本体20が備える記憶部77a内を探すことになる。いずれかに同一の無線タグIDが存在している場合、無線認証を許可し、存在しない場合、無線認証を許可しない。
操作部30の無線認証部73は、無線通信部72がICカードから取得した無線タグIDを受け取ると、記憶部77bに記憶されているアドレス帳データ内の1ユーザ分のユーザ情報を取得する(図14S1)。記憶部77bが、図6に示すようなアドレス帳データを保持している場合、先頭のデータ(アドレス帳番号001)から順にデータを1ユーザ分のユーザ情報として取得する。
1ユーザ分のユーザ情報は、そのデータの形式として、テキストファイルで保持し、テキストファイルとして取得することができる。テキストファイルは、例えば無線タグIDをファイル名として用い、無線タグIDが「00522213」であれば、「00522213.txt」というファイル名を付して保持することができる。無線タグIDは、固有の情報であるため、その情報が重複することはない。また、無線タグIDをファイル名として使用することで、ファイルの内容を参照しなくても、ファイル名のみで検索することが可能となり、後述する検索を迅速に行うことができる。
無線認証部73は、受け取った無線タグIDが、取得したユーザ情報に含まれる無線タグIDと一致するかを確認する(図14S2)。一致することを確認できた場合、無線認証を許可し、無線認証を終了する(図14S3)。一致しない場合は、S1へ戻り、次のデータを取得し、認証許可となるまで繰り返す。
記憶部77bに記憶されている全ユーザのデータのいずれとも一致しない場合、無線認証部73は、通信部80bに対して無線タグIDを渡し、無線タグIDに対応するユーザのユーザ情報の取得を要求する(図14S4)。通信部80bは、その指示を受けて、最初に本体20の通信部80aとの間に通信が確立されているかを確認し、確立されていない場合は、通信を確立する(図14S5)。通信を確立した後、通信部80bは、通信部80aに対してユーザ情報の取得を要求する(図14S6)。このとき、通信部80bは、通信部80aに対し、無線タグIDを送信する。
本体20の通信部80aは、通信部80bからの要求を受け付けると、その要求とともに受信した無線タグIDに基づき、記憶部77aに記憶されているアドレス帳データ内のユーザ情報を検索し、無線タグIDが一致するユーザ情報を取得する(図14S7)。通信部80aは、取得したユーザ情報を、操作部30の通信部80bに送信し(図14S8)、通信部80bは、受信したユーザ情報を無線認証部73に送信する(図14S9)。
無線認証部73は、通信部80bからユーザ情報を取得できた場合、受け取った無線タグIDを含むユーザ情報が本体20に存在していると判断し、認証を許可する(図14S10)。
S7で無線タグIDが一致するユーザ情報を検索することができない場合、通信部80aは、通信部80bに対してユーザ情報を送信しない。この場合、無線認証部73は、通信部80bからユーザ情報を取得することができないため、受け取った無線タグIDを含むユーザ情報が本体20にも存在しないと判断し、認証を許可しない(図14S11)。
この例では、操作部30の通信部80bが、本体20の通信部80aに対し、無線タグIDを送信してユーザ情報の取得を要求している。しかしながら、これに限られるものではなく、通信部80bは、本体20に記憶されているユーザ情報を1ユーザ分ずつ要求し、無線認証部73は、本体20から1ユーザ分のユーザ情報を取得する毎に無線タグIDが一致するかを判断してもよい。
次に、図15を参照して、画像認証の流れを詳細に説明する。特徴情報抽出部75により顔の特徴情報が抽出されたことを受けて開始する。操作部30の無線認証部73は、図14に示すS1もしくはS7においてユーザ情報を取得済みである。このため、画像認証部76は、無線認証部73からユーザ情報を取得する(図15S1)。ユーザ情報には、図6に示すように顔の特徴情報としての画像認証用の個人データが含まれている。
画像認証部76は、無線認証部73からユーザ情報の取得に成功した場合、上述した公知の画像認証(顔認証)技術を適用し、特徴情報抽出部75により抽出された顔の特徴情報と、無線認証部73から取得したユーザ情報に含まれる画像認証用の個人データとを比較する(図15S2)。顔の特徴情報は、パーツ毎の特徴情報を含み、全てのパーツの特徴および位置等が完全に一致することは稀であるため、閾値を設け、例えば一致する特徴情報の数が閾値以上であるかを判断することができる。
また、パーツの特徴や位置も、完全に一致することは稀であるため、近似していれば一致と判断することができる。近似しているかどうかは、例えばパーツの画像領域を構成する各画素の画素値と一致する画素値の割合が一定以上であるかにより判断することができる。これは一例であるため、この方法に限定されるものではない。
画像認証部76は、比較結果が閾値以上である場合、認証を許可し(図15S3)、閾値未満である場合、認証を許可しない(図15S4)。また、画像認証部76は、無線認証部73からユーザ情報の取得に失敗した場合、認証を許可しない(図15S5)。
上記では、無線認証を行い、それに続いて画像認証を行う場合の詳細な処理の流れについて説明してきたが、無線認証と画像認証は並行して行ってもよい。図16を参照して、無線認証と画像認証とを並行して行う場合の詳細な処理の流れについて説明する。図14に示す処理と同様に、無線認証部73が無線認証を行う(図16S1)。認証を許可する場合、ユーザ情報に含まれるアドレス帳番号を保持する。ここではアドレス帳番号を保持するようにしているが、ユーザを識別することができれば、社員ID、ユーザ名、無線タグID、メールアドレス等であってもよい。無線認証の詳細については既に図14を参照して詳細に説明したので、ここでは簡単に無線認証処理と記載する。
画像認証部76は、操作部30の記憶部77bに記憶されたアドレス帳データ内の1ユーザ分のユーザ情報を取得する(図16S2)。画像認証部76は、特徴情報抽出部75により抽出された顔の特徴情報と、取得したユーザ情報に含まれる画像認証用の個人データとを比較する(図16S3)。比較の結果、閾値以上である場合、認証を許可し、その取得したユーザ情報に含まれるアドレス帳番号を保持する(図16S4)。閾値未満である場合は、S2へ戻り、次のデータを取得し、認証許可となるまで繰り返す。
操作部30の記憶部77bに記憶されている全ユーザ情報につき、上記の比較を行い、閾値以上にならなかった場合、画像認証部76は、通信部80bに対し、本体20が保持するユーザ情報の取得を要求する(図16S5)。通信部80bは、その指示を受けて、最初に本体20の通信部80aとの間に通信が確立されているかを確認し、確立されていない場合は、通信を確立する(図16S6)。通信が確立されている場合、または通信を確立した後、通信部80bは、通信部80aに対してユーザ情報の取得を要求する(図16S7)。
本体20の通信部80aは、通信部80bからの要求を受け付けると、記憶部77aに記憶されているアドレス帳データ内の1ユーザ分のユーザ情報を取得する(図16S8)。通信部80aは、取得したユーザ情報を、操作部30の通信部80bに送信し(図16S9)、通信部80bは、受信したユーザ情報を画像認証部76に送信する(図16S10)。
画像認証部76は、特徴情報抽出部75により抽出された顔の特徴情報と、通信部80bから受け取ったユーザ情報に含まれる画像認証用の個人データとを比較する(図16S11)。比較の結果、閾値以上である場合、認証を許可し、ユーザ情報に含まれるアドレス帳番号を保持する(図16S12)。閾値未満である場合は、S5へ戻り、次のデータを取得し、認証許可となるまで繰り返す。
図17を参照して、MFP10の使用を許可するか否かを判断する詳細な処理の流れについて説明する。ユーザ認証部78は、無線認証部73から、無線認証部73がアドレス帳番号を保持する場合はそのアドレス帳番号を取得する(図17S1)。また、ユーザ認証部78は、画像認証部76から、画像認証部76がアドレス帳番号を保持する場合はそのアドレス帳番号を取得する(図17S2)。
ユーザ認証部78は、無線認証部73から取得したアドレス帳番号と、画像認証部76から取得したアドレス帳番号とを比較する(図17S3)。比較の結果、2つのアドレス帳番号が一致する場合、MFP10の使用を許可し(図17S4)、ユーザをログインし、一致しない場合、MFP10の使用を許可しない(図17S5)。すなわち、S4ではユーザの認証を許可し、S5ではユーザの認証を許可しない。
無線認証部73は、無線タグIDが一致しない場合、認証を許可しない。画像認証部76は、閾値以上でない場合、認証を許可しない。このように認証を許可しない場合、無線認証部73および画像認証部76はアドレス帳番号を保持しないことから、ユーザ認証部78が比較を行う対象が存在しないことになる。このため、ユーザ認証部78は、一方または両方のアドレス帳番号が存在しない場合、MFP10の使用を許可しない(図17S6)。すなわち、S6ではユーザの認証を許可しない。
無線認証、画像認証、MFP10の使用許可の判断という個々の処理について詳細に説明してきた。次に、最初に実施される無線認証からユーザのログイン後の画面起動までの処理を、図18を参照して説明する。ICカードを所持するユーザ100は、MFP10がそのICカードを検出可能な範囲(エリア)へ移動(接近)する(図18S1)。
実際には、無線通信部72がICカードから無線タグIDを取得し、無線認証部73が取得された無線タグIDを用いて無線認証を実施するが、ここでは説明を簡単にするために、無線タグIDを取得する処理の説明を省略する。その接近により無線タグIDを取得すると、無線認証部73は、無線認証処理を実施する(図18S2)。
無線認証部73による無線認証処理では、認証が成功である場合と、認証が失敗である場合とがあるが、認証が成功しないと、次の処理に移行しないことから、ここでは成功である場合について説明する。無線認証部73は、ジョブ判定部79に対し、認証が成功した旨をアドレス帳番号とともに通知する(図18S3)。このとき、図18には図示しないが、認証が成功した旨をアドレス帳番号とともにユーザ認証部78へも通知する。ジョブ判定部79は、本体の通信部80aに対して通信部80bを介してジョブ一覧情報の取得を要求する(図18S4)。
通信部80aは、サーバ11からジョブ一覧情報を取得し(図18S5)、ジョブ判定部79に取得したジョブ一覧情報を送信する(図18S6)。
ジョブ判定部79は、通知されたアドレス帳番号が一致するジョブが、ジョブ一覧に存在するかを判定する(図18S7)。アドレス帳番号が一致するジョブは、そのユーザが実行を要求したジョブである。ユーザが実行を要求したジョブが存在しない場合、次の処理に移行しないことから、ここではジョブが存在するものとして説明する。
ジョブ判定部79は、ジョブが存在する旨を、取得したジョブ一覧情報とともに画面生成部81に通知する(図18S8)。画面生成部81は、ジョブ一覧情報を用いて、ログイン後に操作パネル37に表示するための画面を生成する(図18S9)。画面生成部81は、生成した画面を表示制御部82に送信し(図18S10)、表示制御部82が、画像認証を促す画面の下側に重ね合わせ、その生成された画面がユーザからは見えないように配置し、その画像認証を促す画面を表示させる(図18S11)。
ユーザ100は、顔を含む画像を撮影可能なエリアまでさらに接近する(図18S12)。この場合も、実際には、画像取得部74が撮像された画像を取得し、特徴情報抽出部75が顔の特徴情報を抽出するが、ここでは説明を簡単にするために、それらの処理の説明を省略する。その接近により画像を取得し、顔の特徴情報を抽出すると、画像認証部76は、画像認証処理を実施する(図18S13)。認証が成功しないと、次の処理に移行しないことから、ここでも成功である場合について説明する。画像認証部76は、認証が成功した旨をアドレス帳番号とともにユーザ認証部78に通知する(図18S14)。
ユーザ認証部78は、無線認証部73と画像認証部76とから取得したアドレス帳番号を比較し、一致する場合に、ユーザに対してMFP10の使用を許可し、そのユーザをログインする。ユーザ認証部78は、ユーザをログインすると、ログインした旨を表示制御部82に通知する(図18S15)。表示制御部82は、重ね合わせた上側の画像認証を促す画面を削除し、下側のジョブ一覧の画面を表示させる(図18S16)。このように重ね合わせた上側の画像認証を促す画面を削除して下側のジョブ一覧画面を表示させることで、必要な画面の表示を高速化することができる。
ちなみに、S2の無線認証で認証が失敗した場合は、例えば手入力での認証を促す画面を表示させることができる。また、S7でジョブ一覧に存在しないと判定された場合、機能の使用を可能にするために画像認証を促す画面を表示させることができる。S10の画像認証で認証が失敗した場合は、無線認証と同様に、例えば手入力での認証を促す画面を表示させることができる。
図18に示す例では、サーバ11からジョブ一覧情報を取得するものとしているが、本体20の通信部80aとサーバ11とは通信を行い、定期的にジョブ一覧情報を取得し、記憶部77aに記憶している。このため、サーバ11ではなく、記憶部77aからジョブ一覧情報を取得してもよい。この場合の処理は、図19に示すようなものとなる。図19では、ジョブ一覧情報を保持する場所がサーバ11から記憶部77aに変わっただけであるため、この処理の説明については省略する。
図18および図19に示した処理をフローチャートにまとめると、図20に示すようなフローになる。すなわち、ステップ2000から処理を開始し、ステップ2005では、ユーザがMFP10のICカードを検知可能なエリアへ接近する。ステップ2010では、ユーザがそのエリア内に入ったところで、無線認証処理を実施する。ステップ2015では、無線認証が成功したかを判断する。失敗した場合は、ステップ2020へ進み、成功した場合は、ステップ2025へ進む。
ステップ2020では、無線通信によるユーザ情報の取得が失敗したため、手入力での認証を促す画面を表示させる。ステップ2025では、無線認証成功後の処理として、ジョブ一覧情報の中にユーザが要求したジョブが存在するかを判断する。存在しない場合、ステップ2030へ進み、存在する場合、ステップ2035へ進む。
ステップ2030では、画像認証を促す画面を表示させる。ステップ2035では、ジョブ一覧画面を生成し、その上に画像認証を促す画面を配置し、その画像認証を促す画面を表示させる。ステップ2040では、ユーザが顔を含む画像を撮影することが可能なエリアまで接近する。ステップ2045においてユーザがその撮像可能なエリア内に入ったところで、画像を撮像し、顔の特徴情報を抽出して、画像認証処理を実施する。
ステップ2050では、画像認証が成功したかを判断する。失敗した場合は、ステップ2020へ進み、成功した場合、ステップ2055へ進む。ステップ2055では、表示している上側の画像認証を促す画面を削除し、隠れていた下側のジョブ一覧画面を表示させる。ステップ2020、ステップ2030、ステップ2055のいずれかの画面を表示したところで、ステップ2060へ進み、この処理を終了する。
図21に、ログイン後に表示される画面として、ジョブ一覧画面を例示する。ジョブ一覧は、サーバ11や本体20の記憶部77aに記憶されるジョブ一覧情報に含まれるアドレス帳番号を除いた、ジョブID、ジョブ状態、ユーザ名、文書名、ページ数、部数を含み、実行を要求された全ジョブの情報もしくは一部の情報を、リストの形で、要求された順に並べて表示したものとされる。
ジョブ一覧画面には、全ジョブの情報に加え、3つのボタンが設けられる。3つのボタンは、ジョブを削除するための削除ボタンと、ジョブの実行を保留するための保留ボタンと、ジョブの実行順序を入れ替える入替ボタンである。ここでは3つのボタンを設けているが、これに限られるものではなく、1つもしくは2つ、または4つ以上のボタンを設けてもよい。
ジョブ一覧画面は、図21に示すように、ログインしたユーザのジョブ情報のみを見えるように表示し、他のユーザのジョブ情報はマスク表示(内容が分からない表示)にすることができる。これは一例であり、全ユーザのジョブ情報を見えるように表示してもよい。
手入力を促す画面としては、一例として、図22に示すようなユーザIDおよびパスワードを入力させる画面とすることができる。ユーザIDおよびパスワードは、数字、文字、記号、またはこれらの組み合わせからなるものとされ、その桁数や文字数はいかなる数であってもよい。
画像認証を促す画面としては、一例として、図23に示すような画像認証を行う旨等のメッセージを表示させ、ユーザに対して顔が映るように促す画面とすることができる。
MFP10は、ICカードを所持するユーザがICカードを検出可能なエリアを通過するたびに、無線認証を行うが、画像認証が行われないと、ジョブを実行しないので、ジョブが蓄積し続けることになる。ジョブは、要求した順に実行されるため、先のジョブが実行されないと、いつまでも実行されないまま残ってしまう。
このようなジョブの蓄積を防止するための1つの方法として、無線認証が成功した後、一定時間内に画像認証を実施しない場合、その無線認証で使用した無線タグIDに対応するユーザのジョブを削除する方法を採用することができる。なお、一定時間としては、例えば30秒とすることができる。
このジョブを削除する処理について、図24を参照して説明する。図20のステップ2015で無線認証が成功した後、ステップ2400からこの処理を開始する。ステップ2405で、一定時間内に画像認証を実施したかを判断する。このステップ2405では、ユーザが要求したジョブが存在するかの判断、ジョブ一覧画面の生成等を含む処理も実施される。実施しなかった場合、ステップ2410へ進み、ジョブ一覧情報の中のその無線認証が成功したユーザのジョブ情報を削除し、ジョブ一覧情報を更新する。ジョブ一覧画面が生成されていれば、その画面も破棄される。
ステップ2415では、ジョブ一覧情報の中に、そのユーザのジョブは存在しないので、画像認証を促す画面を表示し、ステップ2435でこの処理を終了する。
実施した場合、ステップ2420で、画像認証が成功したかを判断する。失敗した場合は、ステップ2425へ進み、成功した場合、ステップ2430へ進む。ステップ2425では、手入力での認証を促す画面を表示させる。ステップ2430では、ジョブ一覧画面を表示させる。いずれかの画面を表示したところで、ステップ2435へ進み、この処理を終了する。
図18では、ジョブが存在しない場合に表示する画面を、画像認証を促す画面を一例として挙げて説明した。しかしながら、印刷するジョブを要求していない場合、他の機能を使用する可能性が高いことから、他の機能を選択可能なホーム画面を表示させることが望ましい。印刷するジョブを要求せずにMFP10を利用するユーザは、スキャン機能やコピー機能等、印刷機能以外を利用すると考えられ、そのため、スキャン機能やコピー機能等を利用するボタン(アイコン)が表示されているホーム画面を表示してほしいという可能性が高いからである。
そこで、無線認証からユーザのログイン後の画面起動までの処理の別の例を、図25を参照して説明する。ICカードを所持するユーザ100は、MFP10がそのICカードを検出可能なエリアへ接近する(図25S1)。その接近により無線タグIDを取得すると、無線認証部73は、無線認証処理を実施する(図25S2)。
無線認証部73による無線認証処理では、認証が成功である場合と、認証が失敗である場合とがあるが、認証が成功しないと、次の処理に移行しないことから、成功である場合について説明する。無線認証部73は、ジョブ判定部79に対し、認証が成功した旨をアドレス帳番号とともに通知する(図25S3)。このとき、無線認証部73は、ユーザ認証部78に対しても、認証が成功した旨をアドレス帳番号とともに通知する。ジョブ判定部79は、通信部80bに対してジョブ一覧情報の取得を要求する(図25S4)。
ジョブ判定部79は、通知されたアドレス帳番号が一致するジョブが、ジョブ一覧に存在するかを判定する(図25S5)。アドレス帳番号が一致するジョブは、そのユーザが実行を要求したジョブである。
ジョブ判定部79は、ジョブが存在すると判定した場合、その旨を、取得したジョブ一覧情報とともに画面生成部81に通知する。この場合は、図19に示す例と同じものとなる。この例では、ジョブが存在しないと判定した場合について説明する。ジョブ判定部79は、ジョブが存在しない旨を画面生成部81に通知する(図25S6)。
画面生成部81は、ログイン後に操作パネル37に表示するための所定の画面を生成する(図25S7)。生成する画面は、例えばホーム画面である。ホーム画面は、全ての操作の基本となる画面で、MFP10に搭載されている機能を実行させるためのアプリケーションを表すアイコン等が並んだ画面である。画面生成部81は、ホーム画面を生成すると、その画面を表示制御部82に送信する(図25S8)。
表示制御部82は、受信したホーム画面を、画像認証を促す画面の下側に重ね合わせ、ユーザからは見えないように配置して、上側の画像認証を促す画面を表示させる(図25S9)。
ユーザ100は、顔を含む画像を撮影可能なエリアまでさらに接近する(図25S10)。その接近により画像を取得し、顔の特徴情報を抽出すると、画像認証部76は、画像認証処理を実施する(図25S11)。認証が成功しないと、次の処理に移行しないことから、成功である場合について説明する。画像認証部76は、認証が成功した旨をアドレス帳番号とともにユーザ認証部78に通知する(図25S12)。
ユーザ認証部78は、無線認証部73と画像認証部76とから取得したアドレス帳番号を比較し、一致する場合に、ユーザに対してMFP10の使用を許可し、そのユーザをログインする。ユーザ認証部78は、ユーザをログインすると、ログインした旨を表示制御部82に通知する(図24S13)。
表示制御部82は、ジョブ判定部79によりジョブが存在しないと判定された場合、重ね合わせた上側の画像認証を促す画面を削除し、下側のホーム画面を表示させる(図25S14)。
図19および図25に示した処理をフローチャートにまとめると、図26に示すようなフローになる。すなわち、ステップ2600から処理を開始し、ステップ2605では、ユーザ100がMFP10のICカードを検知可能なエリアへ接近する。ステップ2610では、ユーザがそのエリア内に入ったところで、無線認証処理を実施する。ステップ2615では、無線認証が成功したかを判断する。失敗した場合は、ステップ2620へ進み、成功した場合は、ステップ2625へ進む。
ステップ2620では、手入力での認証を促す画面を表示させる。ステップ2625では、ジョブ一覧情報の中にユーザが要求したジョブが存在するかを判断する。存在しない場合、ステップ2630へ進み、存在する場合、ステップ2635へ進む。
ステップ2630では、ホーム画面を生成し、その上に画像認証を促す画面を配置し、その画像認証を促す画面を表示させる。ステップ2635では、ジョブ一覧画面を生成し、その上に画像認証を促す画面を配置し、その画像認証を促す画面を表示させる。ステップ2640では、ユーザが顔を含む画像を撮影することが可能なエリアまで接近する。ステップ2645では、ユーザがその撮像可能なエリア内に入ったところで、画像を撮像し、顔の特徴情報を抽出して、画像認証処理を実施する。
ステップ2650では、画像認証が成功したかを判断する。失敗した場合は、ステップ2620へ進み、成功した場合、ステップ2655へ進む。ステップ2655では、画像認証を促す画面を削除し、ホーム画面またはジョブ一覧画面を表示させる。これらのいずれかの画面を表示したところで、ステップ2660へ進み、この処理を終了する。
ステップ2655では、そのユーザが要求したジョブが存在しない場合、ホーム画面を表示させ、ジョブが存在する場合、ジョブ一覧画面を表示させる。ジョブが存在しない場合、印刷以外の機能を利用しようと考えている可能性が高く、利用しようとしている機能が分からないことから、ここでは、いずれかの機能を選択させ、実行させるためのホーム画面を表示させている。一方、ジョブが存在する場合は、そのジョブの状態がどのような状態であるかを確認できるように、ジョブ一覧画面を表示させている。
ステップ2655で表示させるホーム画面の一例を図27に示す。ホーム画面は、スキャンアプリ、コピーアプリ、ファックス送受信アプリ、プリントアプリ、各種設定用アプリを起動させるためのアイコンを含む。ホーム画面には、これらのアプリのほか、各種SDK(Software Development Kit)アプリ、各種URL(Uniform Resource Locator)リンク、その他のプログラム等を起動させるためのアイコンを含むことができる。ここで、SDKは、MFP10に対応したソフトウェアを開発するために必要なプログラム等をまとめたものである。
表示するアイコンが増加する場合、1画面に入らないため、ホーム画面を複数の画面から構成することができる。ユーザは、操作パネル37に表示されるホーム画面内のアイコンをタッチすることで、その機能を起動させ、矢印をタッチすることで、前の画面または次の画面に移動することができる。
また、上記のジョブ一覧画面に代えて、スキャンアプリ、コピーアプリ、ファックス送受信アプリ、プリントアプリのアイコンを含むホーム画面を、プルプリントの画面として表示させることも可能である。プルプリントは、サーバにジョブを蓄積し、ログイン後に印刷を実行する機能である。
図19では、本体20の通信部80aに対してアドレス帳番号に対応するジョブ情報を記憶部77aから取得する例について説明した。しかしながら、無線認証時に本体20の記憶部77aから取得したジョブ一覧情報について、その後一定時間が経過して画像認証を行う場合に、サーバ11においてジョブ一覧情報が更新されていると、最新のジョブ一覧画面を表示させることができない。そこで、適宜サーバ11にアクセスし、最新のジョブ一覧情報を取得し、取得した最新のジョブ一覧情報を用いて生成したジョブ一覧画面の情報を更新することができる。
そのサーバ11から最新のジョブ一覧情報を取得してジョブ一覧画面を更新する処理について、図27を参照して説明する。ICカードを所持するユーザ100は、MFP10がそのICカードを検出可能なエリアへ接近する(図28S1)。その接近により無線タグIDを取得すると、無線認証部73は、無線認証処理を実施する(図28S2)。
無線認証部73による無線認証処理では、認証が成功である場合と、認証が失敗である場合とがあるが、認証が成功しないと、次の処理に移行しないことから、成功である場合について説明する。無線認証部73は、ジョブ判定部79に対し、認証が成功した旨をアドレス帳番号とともに通知する(図28S3)。ジョブ判定部79は、通信部80a、80bを介して記憶部77aからジョブ一覧情報を取得する(図28S4)。
ジョブ判定部79は、取得したジョブ一覧情報の中に、通知されたアドレス帳番号が一致するジョブが存在するかを判定する(図28S5)。S2の無線認証において無線タグIDを取得することができているので、無線タグIDに対応したアドレス帳番号を参照し、そのアドレス帳番号をもつジョブ情報がジョブ一覧情報の中に存在するかを探す。
ジョブ判定部79は、ジョブが存在すると判定した場合、その旨を、取得したジョブ一覧情報とともに画面生成部81に通知する(図28S6)。画面生成部81は、ジョブ一覧情報を用いて、ログイン後に操作パネル37に表示するための画面を生成する(図28S7)。生成した画面は、ジョブ一覧画面である。画面生成部81は、画像認証が終了し、ログイン後に表示するため、表示制御部82に対して生成した画面を送信する(図28S8)。
表示制御部82は、受信した画面を、画像認証を促す画面の下側に重ね合わせ、ユーザからは見えないように配置して、上側の画像認証を促す画面を表示させる(図28S9)。
ジョブ判定部79は、サーバ11が保持する最新のジョブ一覧情報を取得するため、本体20の通信部80aに対してサーバ11が保持するジョブ一覧情報を要求する(図28S10)。通信部80aとの通信は、通信部80bを介して実施される。通信部80aは、その要求を受けて、サーバ11からジョブ一覧情報を取得する(図28S11)。通信部80aは、取得したジョブ一覧情報を、通信部80bを介してジョブ判定部79に送信する(図28S12)。
ジョブ判定部79は、受け取ったジョブ一覧情報と、記憶部77aから取得したジョブ一覧情報とを比較し、変更された部分が存在するかを判定し、存在する場合、受け取ったジョブ一覧情報を記憶部77aに設定し、ジョブ一覧情報を更新する。(図28S13)。
また、ジョブ判定部79は、画面生成部81に対しても画面内容の更新を指示する(図28S14)。画面生成部81は、その指示を受けて、画像認証を促す画面の下側に重ね合わせるジョブ一覧画面を新たに生成する(図28S15)。画面生成部81は、生成した画面を表示制御部82に送信する(図28S16)。
表示制御部82は、受信した画面を元の画面と差し替え、画面を更新する(図28S17)。ここでは、画面を新たに生成して差し替える処理としているが、これに限られるものではなく、その下側の画面を取り出し、その画面の変更部分を修正し、再びその下側に配置する処理であってもよい。このサーバ11にアクセスして最新のジョブ一覧情報を取得する処理は、所定の時間毎に実施することができ、所定の時間としては、例えば2秒とすることができる。
その後の処理は、図19に示すS10からS14までの処理と同様である。すなわち、ユーザ100は、顔を含む画像を撮影可能なエリアまでさらに接近する。その接近により画像を取得し、顔の特徴情報を抽出すると、画像認証部76は、画像認証処理を実施する。そして、ユーザ認証部78は、無線認証部73と画像認証部76とから取得したアドレス帳番号を比較し、一致する場合に、ユーザに対してMFP10の使用を許可し、そのユーザをログインする。表示制御部82は、重ね合わせた上側の画像認証を促す画面を削除し、下側のジョブ一覧画面を表示させる。
図28に示したサーバ11からジョブ一覧情報を取得する処理をまとめると、図29に示すようなフローになる。すなわち、ステップ2900から処理を開始し、ステップ2905では、無線認証処理を実施し、無線認証が成功する。ステップ2910では、本体20からジョブ一覧情報を取得する。
ステップ2915では、サーバ11から最新のジョブ一覧情報を取得する。ステップ2920では、本体20から取得したジョブ一覧情報と、サーバ11から取得したジョブ一覧情報とを比較し、一致するかを判断する。一致する場合、ステップ2925へ進み、所定時間が経過するのを待つ。経過したところで、ステップ2915へ戻り、再度サーバ11から最新のジョブ一覧情報を取得する。
ステップ2920で一致しないと判断した場合、ステップ2930で、ジョブ一覧情報の中のジョブがすべて実行され、ジョブ情報がなくなったかを判断する。なくなった場合は、ステップ2935へ進み、本体20の記憶部77aに記憶されているジョブ一覧情報を削除し、ステップ2940で、ジョブ一覧画面を更新する。
ジョブ一覧情報は一致しないが、その中のジョブ情報がなくなっていない場合、ジョブが増減している状態であるため、ステップ2945へ進み、記憶部77aに記憶されているジョブ一覧情報を、サーバ11から取得した最新のジョブ一覧情報で更新する。そして、ステップ2950で、ジョブ一覧画面を更新する。その後、ステップ2925へ進み、所定時間が経過するのを待ち、所定時間の経過後、ステップ2915へ戻り、再度サーバ11から最新のジョブ一覧情報を取得する。
図30に、記憶部77aから取得したジョブ一覧情報を用いて生成したジョブ一覧画面と、サーバ11から取得した最新のジョブ一覧情報により更新されたジョブ一覧画面とを例示する。図30(a)は、記憶部77aから取得したジョブ一覧情報を用いて生成したジョブ一覧画面を例示した図である。この画面では、2つのジョブのジョブ情報を表示している。
図30(b)〜(d)は、サーバ11から取得した最新のジョブ一覧情報により更新されたジョブ一覧画面を例示した図である。図30(b)は、1つのジョブの実行が終了し、1つジョブが減ったジョブ一覧画面を示している。図30(c)は、その反対に、ユーザが1つのジョブの実行をさらに要求し、1つジョブが増加したジョブ一覧画面を示している。図30(d)は、2つのジョブの実行が終了し、実行するジョブがなくなったときのジョブ一覧画面を示している。
以上のようにして、ジョブが存在しない、MFP10の使用を許可されたユーザに対しては、ホーム画面を表示させることで、そのユーザが使用したい機能を選択して起動させることができる。また、ログイン時に操作パネル37に表示させるジョブ一覧画面を常に最新の画面に維持することができ、ユーザは、ジョブについて最新の情報を得ることができる。
これまで本発明を、情報処理システム、情報処理装置、情報処理方法およびプログラムとして上述した実施の形態をもって説明してきたが、本発明は上述した実施の形態に限定されるものではない。本発明は、他の実施の形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。
したがって、上記のプログラムは、インストール可能な形式または実行可能な形式のファイルでフロッピー(登録商標)ディスク、CD(Compact Disk)、CD-R(Compact Disk Read Only Memory)、DVD(Digital Versatile Disk)、SDメモリカード(SD Memory Card)、USBメモリ(Universal Serial Bus Memory)等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成することができる。また、上記のプログラムは、インターネット等のネットワーク経由で提供または配布するように構成されていてもよい。さらに、上記のプログラムを他の各種ソフトウェアとともにROM等に予め組み込んで提供するように構成してもよい。
上記の実施形態では、上記の各機能部は、CPUがHDD等に記憶されたプログラムを読み出して実行することにより、各機能部を実現するプログラムがRAM上にロードされ、上記の各機能部が生成されている。しかしながら、これに限られるものではなく、例えば各機能部のうちの少なくとも一部が専用のハードウェア回路(例えば半導体集積回路)で実現されていてもよい。