以下に、本発明の実施の形態について、添付の図面を参照して説明する。
<システムの構成>
図1は一実施形態に係る画像処理システムのシステム構成の例を示す図である。画像処理システム1は、例えば、利用者105の操作を受付する操作部(第1の情報処理装置)102と、利用者105の操作に応じて画像処理を実行する機器本体部(第2の情報処理装置)101とを有する画像形成装置(画像処理装置)100を含む。また、画像処理システム1には、例えば、画像形成装置100が備えるICカードリーダ103、及び利用者105が所持するICカード104等が含まれ得る。
画像形成装置100は、例えば、プリンタ、スキャナ、コピー、ファクシミリ等の機能を有するMFP(Multifunction Peripheral)等の画像処理装置である。画像形成装置100は、例えば、ICカードリーダ103を用いて、ICカード104から認証情報を取得して利用者105の認証(以下、ICカード認証と呼ぶ)を行い、ICカード認証に成功した利用者105に画像形成装置100の利用を許可する。
このように、ICカード等を用いて利用者の認証を行う画像形成装置100では、利用者105がICカード104を忘れてきた場合、画像処理を実行できないという問題がある。このような場合、利用者105は、例えば、予め登録したユーザ名やパスワード等を、画像形成装置100の操作部102に入力することにより、画像形成装置100を利用することができる。しかし、普段からICカードを用いて認証を行っている利用者105は、ユーザ名やパスワード等を覚えていない場合がある。
そこで、本実施形態に係る画像形成装置100は、利用者105が所持している、免許証、社員証、保険証、学生証等の身分証(所定の画像の一例)を画像データとして読取りし、利用者105を認証する機能(以下、スキャン認証と呼ぶ)を有している。これにより、例えば、利用者105がICカードを持っておらず、パスワードを忘れてしまった場合でも、身分証を用いて画像形成装置100を利用することができるようになる。
さらに、本実施形態に係る画像形成装置100は、操作部102を用いて、利用者105に対して、身分証による認証のガイダンスを表示すると共に、機器本体部101に身分証の読取り、装置認証等の制御を行う。これにより、利用者105は、身分証による認証を容易に実行することができるようになる。
なお、図1に示す画像処理システム1のシステム構成は一例である。例えば、画像形成装置100は、スキャン認証を行えるものであれば、ICカード認証の機能を必ずしも有していなくても良い。また、画像形成装置100は、ICカード104に代えて、例えば、スマートフォン、ウェアラブル端末等の情報端末や、スマートキー等を用いて利用者105を認証するものであっても良い。さらに、身分証は、身分証に準ずる所定の画像情報であれば良く、必ずしも利用者105の身分を証明するものでなくても良い。
また、画像形成装置100は、画像処理を実行可能な電子機器(画像処理装置)の一例である。
<ハードウェア構成>
図2は、一実施形態に係る画像形成装置のハードウェア構成の例を示す図である。画像形成装置100は、例えば、コピー機能、スキャナ機能、ファクス機能、プリンタ機能などの1つ以上の画像処理を実行する機器本体部101と、ユーザの操作を受け付ける操作部102とを備える。なお、ユーザの操作を受け付けるとは、ユーザの操作に応じて入力される情報(画面の座標値を示す信号などを含む)を受け付けることを含む概念である。機器本体部101と操作部102は、通信路201を介して相互に通信可能に接続されている。通信路201は、例えばUSB(Universal Serial Bus)規格のものを用いることができるが、有線か無線かを問わず任意の規格のものであって良い。
(機器本体部のハードウェア構成)
まず、機器本体部101のハードウェア構成について説明する。図2に示すように、機器本体部101は、CPU(Central Processing Unit)211、ROM(Read Only Memory)212、RAM(Random Access Memory)213、ストレージ部214、通信I/F(Interface)215、接続I/F216、エンジン部217、外部接続I/F218、及びシステムバス218等を有する。
CPU211は、RAM213をワークエリア(作業領域)としてROM212又はストレージ部214等に格納されたプログラムを実行することで、機器本体部101全体の動作を制御する演算装置である。例えば、CPU211は、エンジン部217を用いて、コピー機能、スキャナ機能、ファクス機能、プリンタ機能などの各種機能を実現する。
ROM212は、例えば、機器本体部101の起動時に実行されるBIOS(Basic Input/Output System)や、各種の設定等を記憶する不揮発性のメモリである。RAM213は、CPU211のワークエリア等として用いられる揮発性のメモリである。ストレージ部214は、例えば、OS(Operating System)、アプリケーションプログラム、各種データ等を記憶する不揮発性の記憶装置であり、例えば、HDD(Hard Disk Drive)や、SSD(Solid State Drive)等で構成される。
通信I/F215は、機器本体部101をネットワーク202に接続し、ネットワーク202に接続された外部装置との通信を行うための、例えば、無線LAN、有線LAN等のネットワークインタフェースである。接続I/F216は、通信路201を介して、機器本体部101と操作部102との間で通信するためのインタフェースである。
エンジン部217は、コピー機能、スキャナ機能、ファクス機能、及びプリンタ機能等の機能を実現させるための、汎用的な情報処理及び通信以外の処理を行うハードウェアである。エンジン部217には、例えば、原稿の画像をスキャンして読取るスキャナ(画像読取部)、用紙等のシート材への印刷を行うプロッタ(画像形成部)、ファクス通信を行うファクス部等が含まれる。さらに、エンジン部217には、印刷済みシート材を仕分けるフィニッシャや、原稿を自動給送するADF(自動原稿給送装置)のような特定のオプションが含まれていても良い。
外部接続I/F218は、機器本体部101に外部装置を接続するためのインタフェースである。外部装置には、例えば、ICカードリーダ103や、移動体センサ等が含まれ得る。システムバス219は、上記各構成要素に接続され、アドレス信号、データ信号、及び各種制御信号等を伝送する。
(操作部のハードウェア構成)
次に、操作部102のハードウェア構成について説明する。図2に示すように、操作部102は、CPU221、ROM222、RAM223、フラッシュメモリ224、通信I/F225、操作パネル226、接続I/F227、外部接続I/F228、カメラ229、及びシステムバス230等を有する。
CPU221は、RAM223をワークエリア(作業領域)としてROM222又はフラッシュメモリ224等に格納されたプログラムを実行することで、操作部102全体の動作を制御する演算装置である。ROM222は、例えば、操作部102の起動時に実行されるBIOSや、各種の設定等を記憶する不揮発性のメモリである。RAM223は、CPU221のワークエリア等として用いられる揮発性のメモリである。フラッシュメモリ224は、例えば、OS、アプリケーションプログラム、各種データ等を記憶する不揮発性の記憶装置である。
通信I/F225は、操作部102をネットワーク202に接続し、ネットワーク202に接続された外部装置との通信を行うための、例えば、無線LAN、有線LAN等のネットワークインタフェースである。
操作パネル226は、ユーザの操作に応じた各種の入力を受け付けると共に、各種の情報を表示する。操作パネル226は、例えば、タッチパネル機能を搭載した液晶表示装置(LCD: Liquid Crystal Display)で構成されるが、これに限られるものではない。操作パネル226は、例えばタッチパネル機能が搭載された有機EL(Electro Luminescence)表示装置で構成されていても良い。さらに、操作パネル226は、これに加えて又はこれに代えて、ハードウェアキー等の操作部や、ランプ等の表示部を設けることもできる。
接続I/F227は、通信路201を介して、操作部102と機器本体部101との間で通信するためのインタフェースである。外部接続I/F228は、外部装置を接続するための、例えばUSB等のインタフェースである。
カメラ229は、利用者105の画像を撮影する撮影装置である。なお、カメラ229は、画像形成装置100の外部に設置され、外部接続I/F228を介して操作部102に接続されているものであっても良い。システムバス230は、上記各構成要素に接続され、アドレス信号、データ信号、及び各種制御信号等を伝送する。
<機能構成>
図3は、第1の実施形態に係る画像形成装置の機能構成の例を示す図である。
(機器本体部の機能構成)
機器本体部101は、図2のCPU211で所定のプログラムを実行することにより、画像処理部311、装置認証部312、ウェブAPI(Application Programming Interface)サービス313、及び記憶部314等を実現している。
また、上記の各機能構成のうち、少なくとも一部はハードウェアによって実現されるものであっても良い。
画像処理部311は、画像形成装置100が備える1つ以上の画像処理を、エンジン部217を制御して実行する。なお、1つ以上の画像処理には、例えば、文書を読取るスキャン処理(読取処理)、スキャンした画像データから文字列を抽出する文字列の抽出処理、印刷処理、コピー処理、及びファックス処理等が含まれ得る。
装置認証部312は、予め登録された認証情報を用いて利用者105を認証する認証(第1の認証)を実行し、認証に成功した利用者105に画像処理の実行を許可する。
例えば、装置認証部312は、図1のICカードリーダ103が、利用者105のICカード104から読出した識別情報(以下、カードIDと呼ぶ)が、記憶部314に記憶した利用者情報A315に登録されている場合、利用者105の認証を成功させる。
また、装置認証部312は、操作部102から受信したログイン要求に含まれる認証情報(例えば、利用者の名前、ログインパスワード等)が、記憶部314に記憶した利用者情報A315に登録されている場合、利用者105の認証を成功させる。
なお、記憶部314に記憶された利用者情報A315、及び操作部102の記憶部324に記憶された利用者情報a325には、例えば、図4に示すような利用者情報400が記憶されている。
図4は、第1の実施形態に係る利用者情報の例を示す図である。利用者情報400には、画像形成装置100の利用が許可されている利用者の情報が記憶されている。図4の例では、利用者情報400には、「ユーザID」、「名前」、「メールアドレス」、「ログインパスワード」、「カードID」、「顔の特徴情報」等の情報が含まれている。
「ユーザID」は、画像形成装置100、又は画像処理システム1に登録済の利用者を識別するための識別情報である。「名前」は、利用者の名前(氏名等)を示す情報である。「メールアドレス」は、各利用者のメールアドレスである。
「ログインパスワード」は、利用者が、パスワード入力によって画像形成装置100にログインする場合に用いられるパスワードである。「カードID」は、利用者が所持しているICカード104に記憶されている識別情報である。「顔の特徴情報」は、利用者の顔の特徴情報である。
なお、利用者情報400は、機器本体部101の記憶部314や、操作部102の記憶部324に限られず、ネットワーク202を介して通信可能な外部サーバ等に記憶されているものであっても良い。
ここで、図3に戻り、機器本体部101の機能構成の説明を続ける。
ウェブAPIサービス(インタフェース部)313は、操作部102に、機器本体部101が備える機能(画像処理、装置認証等)を利用するためのインタフェースであるウェブAPI(WebAPI)を提供する。ウェブAPIは、HTTP(Hypertext Transfer Protocol)等のウェブ技術を用いて、操作部102や、ネットワーク202を介して接続される外部装置等に、機器本体部101が備える機能を利用できるようにするインタフェースである。
これにより、機器本体部101は、操作部102で受け付けた操作に応じた様々な処理を行うことができる。また、機器本体部101は、ネットワーク202を介して接続されるクライアントPC(Personal Computer)等の外部装置とも通信可能であり、外部装置から受信した指示に応じた動作を行うこともできる。
記憶部314は、例えば、図2のCPU211で実行されるプログラム、及びストレージ部214、RAM213等によって実現され、利用者情報A315等の様々な情報を記憶する。
(操作部の機能構成)
操作部102は、例えば、表示入力制御部321、画像処理要求部322、認証制御部323、及び記憶部324等を有する。
操作部102は、例えば、図2のCPU221で、スキャン認証用のアプリケーションプログラムであるスキャン認証アプリ330を実行することにより、上記の表示入力制御部321、画像処理要求部322、認証制御部323等を実現している。
表示入力制御部(表示制御部)321は、画像形成装置100を利用する利用者105に、画像形成装置100の様々な操作を案内する表示画面を表示させると共に、利用者105による入力操作を受け付ける。
例えば、表示入力制御部321は、例えば、図6(a)に示すような、身分証のスキャン(読取り)を促す表示画面を、操作パネル226に表示させる。なお、身分証は、例えば、免許証、保険証、社員証、学生証等、利用者105が所持する所定の画像情報の一例である。
画像処理要求部322は、図6(a)に示すような、利用者105による身分証のスキャン操作に応じて、機器本体部101の画像処理部311に、身分証の読取処理、及び文字列の抽出処理(又は文字認識処理)等の画像処理を要求する。
認証制御部323は、画像処理要求部322が要求した画像処理の処理結果に基づいて、機器本体部101の装置認証部312に認証(第1の認証)を要求する。例えば、認証制御部323は、画像処理部311によるOCR(Optical Character Reader)等の文字認識処理によって抽出された、利用者105の名前や、識別情報等を含むログイン要求を、機器本体部101の装置認証部312に送信する。
なお、認証制御部323は、利用者の105の名前や、識別情報に代えて、図4に示すような利用者情報400を用いて、利用者105の名前や、識別情報に対応するパスワード、カードID等を含むログイン要求を、装置認証部312に送信しても良い。
記憶部324は、例えば、図2のCPU221で実行されるプログラム、及びフラッシュメモリ224、RAM223等によって実現され、利用者情報a325等の様々な情報を記憶する。なお、利用者情報a325は、機器本体部101の記憶部314に記憶された利用者情報A315と同じ情報であっても良いし、利用者情報A315のサブセットであっても良い。
なお、図3に示す画像形成装置100の機能構成は一例である。図3において、操作部102に含まれる機能構成のうち、少なくとも一部は、機器本体部101に含まれていても良い。また、機器本体部101に含まれる機能構成のうち、少なくとも一部は、操作部102に含まれていても良い。
<処理の流れ>
続いて、本実施形態に係る画像処理システム1における認証方法の処理の流れについて説明する。
(認証処理)
図5は、第1の実施形態に係る認証処理の例を示すシーケンス図である。
ステップS501において、利用者105が画像形成装置100に対して起動操作を行うものとする。なお、起動操作は、例えば、利用者105による操作パネル226への操作であっても良いし、画像形成装置100の電源投入や、外部接続I/F218に接続された移動体センサへの接近等であっても良い。
ステップS502において、操作部102の表示入力制御部321は、例えば、図6(a)に示すような、スキャン認証画面610を、操作パネル226等の表示部に表示させる。スキャン認証画面610には、例えば、図6(a)に示すように、スキャン認証を行うためのガイダンス611、及びスキャン認証を開始させるための「スキャン認証開始」ボタン612等が表示される。
また、好適な一例として、表示入力制御部321は、例えば、図6(d)に示すようなログイン画面を表示させて、ICカード104を忘れた利用者105が、「スキャン認証」ボタン641を選択したときに、スキャン認証画面610を表示させるものであっても良い。
ステップS503において、利用者105は、スキャン認証画面610のガイダンス611に従って身分証を置き、「スキャン認証開始」ボタン612を選択するスキャン認証操作を行うものとする。
ステップS504、S505において、表示入力制御部321は、スキャン認証操作の受付に応じて、スキャン認証操作を受け付けたことを示す操作受付通知を、認証制御部323、画像処理要求部322等に通知する。また、表示入力制御部321は、ステップS506において、例えば、図6(b)に示すようなスキャン認証中画面620を、操作パネル226等の表示部に表示させる。
ステップS507、S508において、操作部102の画像処理要求部322は、利用者105によるスキャン認証操作に応じて、身分証のスキャン処理及び文字列の抽出処理等の画像処理を、ウェブAPIサービス313を介して、画像処理部311に要求する。
ステップS509において、画像処理部311は、例えば、エンジン部217を制御して、身分証の読取処理を実行し、身分証の画像データを取得する。
ステップS510において、画像処理部311は、身分証の画像データに対して、例えば、OCR処理(文字列の抽出処理の一例)等を実行し、身分証の画像データから文字列を抽出する。
ステップS511、S512において、画像処理部311は、ウェブAPIサービス313を介して、要求元の画像処理要求部322に、画像処理が完了したことを示す完了通知を通知する。
なお、以下の説明においても、操作部102と、機器本体部101の画像処理部311、及び装置認証部312との間の通信は、特に明記しない限り、ウェブAPIサービス313を介して行われるものとする。
ステップS513において、操作部102の画像処理要求部322は、画像処理が完了したことを示す完了通知を認証制御部323に通知する。
ステップS514、S515において、認証制御部323は、表示入力制御部321から操作受付通知(スキャン認証)を受け付けた後、画像処理要求部322から完了通知を受け付けると、機器本体部101の画像処理部311にOCRデータの取得を要求する。
ステップS516、S517において、OCRデータの取得要求を受け付けた画像処理部311は、ステップS510で抽出したOCRデータ(文字列)を、要求元の認証制御部323に送信する。
ステップS518において、認証制御部323は、画像処理部311から取得した文字列から「名前」を抽出する。なお、「名前」を抽出する方法は任意の方法であって良いが、例えば、画像処理部311から取得した文字列から、図4に示すような利用者情報400に記憶された「名前」のいずれかに該当する文字列を抽出するものであって良い。
なお、認証制御部323は、「名前」代えて、例えば、図4の利用者情報400に含まれる「ユーザID」、「メールアドレス」、「カードID」を読取るものであっても良い。
ステップS519、S520において、認証制御部323は、ステップS518で抽出した「名前」を含むログイン要求を、機器本体部101の装置認証部312に通知する。なお、認証制御部323は、ステップS518で、「名前」が抽出されない場合、ログイン要求を送信せず、スキャン認証処理を終了させる。
ステップS521において、装置認証部312は、例えば、図4に示すような利用者情報400を用いて、利用者105を認証する。例えば、装置認証部312は、ログイン要求に含まれる「名前」等が、利用者情報400に記憶されている場合、利用者105の認証を成功と判断する。一方、装置認証部312は、ログイン要求に含まれる「名前」等が、利用者情報400に記憶されていない場合、利用者105の認証を失敗と判断する。
ステップS522において、装置認証部312は、利用者105の認証が成功した場合、利用者105による画像形成装置100の利用を許可する。なお、利用者105の認証が失敗した場合、装置認証部312は、利用者105による画像形成装置100の利用を許可しない。
ステップ523、S524において、装置認証部312は、利用者105のログインが完了したことを示すログイン完了通知を、要求元の認証制御部323に通知する。
ステップS525において、認証制御部323は、ログイン完了通知を表示入力制御部321に通知し、通知を受けた表示入力制御部321は、例えば、図6(c)に示すような、認証結果を示す表示画面630を、操作パネル226等の表示部に表示させる。
上記の処理により、画像形成装置100は、例えば、ICカード104を所持していない利用者105に対して、スキャン認証のガイダンス611を表示して身分証のスキャンを実行させると共に、認証結果を表示することができるようになる。
このように、本実施形態によれば、認証が許可された利用者に画像処理の実行を許可する画像形成装置100において、利用者が、例えば、免許証、保険証、学生証等の所定の画像情報を用いて、容易に画像処理を実行できるようになる。
[第2の実施形態]
第2の実施形態では、第1の実施形態に係る認証処理に加えて、操作部102側で顔認証等の第2の認証を行う場合の例について説明する。
<機能構成>
図7は、第2の実施形態に係る画像形成装置の機能構成の例を示す図である。図7に示すように、第2の実施形態に係る画像形成装置100の操作部102は、図3に示す第1の実施形態に係る操作部102の機能構成に加えて、撮影部701、特徴情報抽出部702、及び画像認証部703を有している。なお、撮影部701、特徴情報抽出部702、及び画像認証部703は、例えば、図2のCPU221で実行されるスキャン認証アプリ330等によって実現される。
撮影部701は、カメラ229等を用いて、利用者105の画像を撮影する。
特徴情報抽出部702は、画像データから顔画像を検出し、検出した顔画像から顔の特徴情報を抽出する。例えば、特徴情報抽出部702は、撮影部701が撮影した利用者105の画像から、利用者105の顔画像を検出し、検出した顔画像から顔の特徴情報を抽出する。また、特徴情報抽出部702は、身分証の画像データから、顔画像を検出し、検出した顔画像から顔の特徴情報を抽出することもできる。
図8は、第2の実施形態に係る顔画像について説明するための図である。図8(a)は、例えば、撮影部701が撮影した利用者の画像810の例を示している。利用者の画像810には、例えば、利用者811が撮影されているものとする。
図8(b)は、特徴情報抽出部702が検出する顔画像820の例を示している。特徴情報抽出部702は、例えば、撮影部701が撮影した利用者の画像810から、利用者811の顔の輪郭821、目822、鼻823等のパーツを抽出し、公知のパターンマッチング技術等を用いて、利用者811の顔画像820を検出する。
また、特徴情報抽出部702は、検出された顔画像820から、顔の特徴情報を抽出する。ここで、顔の特徴情報は、顔認証において利用者の照合に用いる特徴量(例えば、目、鼻、口等の特徴を表す情報)であり、公知の様々な特徴情報を適用することができる。
本実施形態では、利用する顔の特徴情報の種類を特に限定しないが、例えば、公知のHaar-Like特徴量等を用いて、顔の各パーツの特徴量を抽出し、数値化することができる。
画像認証部703は、特徴情報抽出部702が抽出した顔の特徴情報と、例えば、図4に示すような利用者情報400に記憶された「顔の特徴情報」とを比較して、顔認証を行う。なお、顔認証は、利用者105の画像を用いて利用者105を認証する画像認証の一例である。
例えば、画像認証部703は、特徴情報抽出部702が抽出した利用者105の顔の特徴情報と、利用者情報400に記憶された利用者105の「顔の特徴情報」との類似度を算出する。また、画像認証部703は、算出された類似度が閾値以上である場合、利用者の105の顔認証を成功と判断し、算出された類似度が閾値未満である場合、利用者105の顔認証を失敗と判断する。
このように、第2の実施形態に係る操作部102は、利用者105の画像を用いて、利用者105の認証を行う機能を有している。
なお、画像形成装置100の他の機能構成は、図3に示す第1の実施形態に係る画像形成装置100の機能構成と同様で良い。
<処理の流れ>
続いて、第2の実施形態に係る認証方法の処理の流れについて説明する。なお、図9に示す処理のうち、ステップS501~S506、及びステップS525、S526の処理は、図5に示す第1の実施形態に係る認証処理と同様なので、ここでは、第1の実施形態との相違点を中心に説明を行う。また、図9に示す処理において、機器本体部101の処理は、図5に示す第1の実施形態と同様なので、ここでは詳細な記載は省略する。
(認証処理1)
図9は、第2の実施形態に係る認証処理の例を示すシーケンス図(1)である。この処理は、画像形成装置100の操作部102が、カメラ229等で撮影した利用者105の画像を用いて、利用者105の顔認証を行う場合の処理の例を示している。
ステップS901において、操作部102の認証制御部323は、表示入力制御部321から、スキャン認証操作を受け付けたことを示す操作受付通知を受け付けると、撮影部701に撮影の開始を要求する。
ステップS902において、撮影部701は、認証制御部323からの撮影開始要求に応じて、カメラ229を用いて撮影を開始する。
ステップS903において、操作部102の画像処理要求部322は、利用者105によるスキャン認証操作に応じて、身分証のスキャン処理、及び文字列の抽出処理等の画像処理を、機器本体部101に要求する。
ステップS904において、機器本体部101の画像処理部311は、例えば、図5のステップS509に示す読取処理、及びステップS510に示すOCR処理を実行し、画像処理が完了したことを示す完了通知を、要求元の画像処理要求部322に通知する。
ステップS905において、操作部102の画像処理要求部322は、画像処理が完了したことを示す完了通知を認証制御部323に通知する。
ステップS906において、認証制御部323は、表示入力制御部321から操作受付通知(スキャン認証)を受け付けた後に、画像処理要求部322から完了通知を受け付けると、機器本体部101にOCRデータの取得を要求する。
ステップS907において、機器本体部101の画像処理部311は、例えば、図5のステップS510に示すOCR処理で抽出したOCRデータ(文字列)を、要求元の認証制御部323に送信する。
ステップS908において、認証制御部323は、画像処理部311から取得した文字列から、例えば、「名前」を抽出する。
ステップS909において、認証制御部323は、ステップS908で抽出した「名前」を含む画像認証要求を、画像認証部に通知する。これにより、画像認証部703は、例えば、ステップS910~S915に示すような画像認証処理を実行する。
ステップS910~S912において、特徴情報抽出部702は、撮影部701が撮影した撮影画像を取得し、取得した撮影画像から顔の特徴情報を抽出する。また、特徴情報抽出部702は、顔の特徴情報が抽出された場合、抽出された顔の特徴情報を画像認証部703に通知する。
ステップS913において、画像認証部703は、例えば、図4に示すような利用者情報400から、画像認証要求に含まれる「名前」に対応する「顔の特徴情報」を読出す。
ステップS914において、画像認証部703は、ステップS912で特徴情報抽出部702から通知された顔の特徴情報と、ステップS913で読出した「顔の特徴情報」とを比較して、利用者105の顔認証処理を行う。例えば、画像認証部703は、前述したように、特徴情報抽出部702が抽出した顔の特徴情報と、ステップS913で読出した「顔の特徴情報」との類似度を算出し、算出された類似度が閾値以上である場合、利用者105の顔認証を成功させる。
ステップS915において、画像認証部703は、顔認証の認証結果を認証制御部323に通知する。
ステップS916において、認証制御部323は、画像認証部703から通知された認証結果を確認し、顔認証に成功した場合、ステップS917以降の処理を実行する。なお、認証制御部323は、顔認証に失敗した場合、機器本体部101へのログイン要求の送信を中止する。
ステップS917において、認証制御部323は、ステップS518で抽出した「名前」を含むログイン要求を、機器本体部101に通知する。
ステップS918において、機器本体部101の装置認証部312は、図5のステップS521、S522に示すような認証処理を実行し、利用者105の認証に成功した場合、要求元の認証制御部323にログイン完了通知を通知する。
上記の処理により、画像形成装置100は、利用者105の顔認証に失敗した場合、スキャン認証を中止するので、例えば、不正な利用者が、利用者105の身分証を使って、画像形成装置100にログインすることを防止することができる。
(認証処理2)
図10は、第2の実施形態に係る認証処理の例を示すシーケンス図(2)である。この処理は、画像形成装置100の操作部102が、身分証に含まれる利用者の顔画像を用いて、利用者105の顔認証を行う場合の処理の例を示している。なお、図10に示す処理のうち、ステップS901~S908、及びステップS916~S918に示す処理は、図9に示す処理と同様なので、ここでは、図9に示す処理との相違点を中心に説明を行う。
ステップS1001において、認証制御部323は、ステップS908で抽出した「名前」を含む画像認証要求を、画像認証部に通知する。これにより、画像認証部703は、例えば、ステップS1002~S1011に示すような画像認証処理を実行する。
ステップS1002において、画像認証部703は、機器本体部101に対して、身分証の画像データの取得を要求する。
ステップS1003において、機器本体部101の画像処理部311は、例えば、図5のステップS509で読取った身分証の画像データを、要求元の画像認証部703に送信する。
ステップS1004において、画像認証部703は、取得した身分証の画像データを特徴情報抽出部702に送信して、顔の特徴情報の抽出を要求する。
ステップS1005において、特徴情報抽出部702は、身分証の画像データから顔画像を検出し、顔画像が検出された場合、検出した顔画像から顔の特徴情報を抽出する。なお、ここでは、例えば、免許証等のように、身分証に利用者105の顔画像が含まれているものとする。
ステップS1006において、特徴情報抽出部702は、抽出した顔の特徴情報(特徴情報1)を、画像認証部703に通知する。
ステップS1007~S1009において、特徴情報抽出部702は、撮影部701が撮影した撮影画像を取得し、取得した撮影画像から顔の特徴情報を抽出する。また、特徴情報抽出部702は、顔の特徴情報が抽出された場合、抽出された顔の特徴情報(特徴情報2)を画像認証部703に通知する。
ステップS1010において、画像認証部703は、ステップS1006で取得した顔の特徴情報(特徴情報1)と、ステップS1009で取得した顔の特徴情報(特徴情報2)とを比較して、利用者105の顔認証処理を行う。例えば、画像認証部703は、前述したように、特徴情報1と、特徴情報2との類似度を算出し、算出された類似度が閾値以上である場合、利用者105の顔認証を成功させる。
ステップS1011において、画像認証部703は、顔認証の認証結果を認証制御部323に通知する。
ステップS1012において、認証制御部323は、顔認証の認証結果を確認し、顔認証に成功した場合、機器本体部101にログインを要求する。一方、認証制御部323は、顔認証に失敗した場合、認証処理を中止する。
上記の処理により、画像形成装置100は、身分証の顔画像と、カメラ229で撮影した利用者105の顔画像とを用いて顔認証を行い、顔認証に失敗した場合、スキャン認証を中止する。これにより、画像形成装置100は、利用者105が他人の身分証明書を用いて、スキャン認証することを防止することができる。
[第3の実施形態]
第3の実施形態では、顔の特徴情報の登録や、利用者情報の編集等の処理について説明する。
<機能構成>
図11は、第3の実施形態に係る画像形成装置の機能構成の例を示す図である。図11に示すように、第3の実施形態に係る操作部102は、図7に示す第2の実施形態に係る操作部102の機能構成に加えて、利用者情報管理部1101を有している。また、第3の実施形態に係る機器本体部101は、第2の実施形態に係る機器本体部101の機能構成に加えて、利用者情報管理部1102を有している。なお、画像形成装置100の他の機能構成については、第2の実施形態に係る画像形成装置100の機能構成と同様で良い。
利用者情報管理部1101は、例えば、図2のCPU221で実行されるスキャン認証アプリ330等によって実現され、記憶部324に記憶した利用者情報a325を管理する。
利用者情報管理部1102は、例えば、図2のCPU211で実行されるプログラム等によって実現され、記憶部314に記憶した利用者情報A315を管理する。
なお、利用者情報管理部1101、及び利用者情報管理部1102が実行する処理内容については、図12~14を用いて説明する。
<処理の流れ>
続いて、利用者情報管理部1101、及び利用者情報管理部1102が実行する処理の流れについて説明する。
(顔の特徴情報の登録処理1)
図12は、第3の実施形態に係る特徴情報の登録処理の例を示すシーケンス図(1)である。この処理は、画像形成装置100に、利用者105の顔の特徴情報を登録する処理の一例を示している。
ステップS1201において、利用者105が操作部102に対して顔の特徴情報の登録操作を行うものとする。例えば、利用者105は、画像形成装置100へのログインが許可された後、メニュー画面等から、顔の特徴情報の登録処理を選択し、身分証を画像形成装置100にセットした後、開始ボタンを押下する。
ステップS1202、S1205において、表示入力制御部321は、特徴情報の登録操作の受付に応じて、特徴情報の登録操作を受け付けたことを示す操作受付通知を、利用者情報管理部1101、画像処理要求部322等に通知する。
ステップS1203において、利用者情報管理部1101は、表示入力制御部321から、特徴情報の登録操作を受け付けたことを示す操作受付通知を受け付けると、撮影部701に撮影の開始を要求する。
ステップS1204において、撮影部701は、利用者情報管理部1101からの撮影開始要求に応じて、カメラ229を用いて撮影を開始する。
ステップS1206、S1207において、画像処理要求部322は、利用者105による特徴情報の登録操作に応じて、身分証のスキャン処理、及び文字列の抽出処理等の画像処理を、機器本体部101の画像処理部311に要求する。
ステップS1208において、画像処理部311は、例えば、エンジン部217を制御して、身分証の読取処理を実行し、身分証の画像データを取得する。
ステップS1209において、画像処理部311は、身分証の画像データに対してOCR処理を実行し、身分証の画像データから文字列を抽出する。
ステップS1210、S1211において、画像処理部311は、要求元の画像処理要求部322に、画像処理が完了したことを示す完了通知を通知する。
ステップS1212において、画像処理要求部322は、画像処理が完了したことを示す完了通知を利用者情報管理部1101に通知する。
ステップS1213、S1214において、利用者情報管理部1101は、表示入力制御部321から操作受付通知(特徴情報の登録)を受け付けた後に、画像処理要求部322から完了通知を受け付けると、画像処理部311にOCRデータの取得を要求する。
ステップS1215、S1216において、OCRデータの取得要求を受け付けた画像処理部311は、ステップS1209で抽出したOCRデータ(文字列)を、要求元の利用者情報管理部1101に送信する。
ステップS1217において、認証制御部323は、画像処理部311から取得した文字列から「名前」を抽出する。
ステップS1218において、利用者情報管理部1101は、特徴情報抽出部702に、特徴情報の取得を要求する。
ステップS1219~S1221において、特徴情報抽出部702は、撮影部701が撮影した撮影画像を取得して、取得した撮影画像から利用者105の顔の特徴情報を抽出し、抽出した顔の特徴情報を利用者情報管理部1101に通知する。
ステップS1222において、利用者情報管理部1101は、ステップS1217で抽出した名前と、ステップS1221で取得した顔の特徴情報とを対応づけて、記憶部324の利用者情報a325に記憶する。
ステップS1223において、利用者情報管理部1101は、顔の特徴情報の登録が完了したことを示す完了通知を表示入力制御部321に通知する。
ステップS1224において、表示入力制御部321は、顔の特徴情報の登録が完了したことを示す完了画面を、操作パネル226等の表示部に表示させる。
上記の処理により、例えば、図4に示す利用者情報400のように、利用者の名前に対応づけて、顔の特徴情報を登録することができる。
(顔の特徴情報の登録処理2)
図13は、第3の実施形態に係る特徴情報の登録処理の例を示すシーケンス図(2)である。この処理は、画像形成装置100に、利用者105の顔の特徴情報を登録する処理の別の一例を示している。
なお、図13に示す処理のうち、ステップS1201~S1217の処理は、図12に示す処理と同様なので、ここでは、図12に示す処理との相違点を中心に説明を行う。
ステップS1301、S1302において、利用者情報管理部1101は、機器本体部101の画像処理部311に対して、身分証の画像データの取得を要求する。
ステップS1303、S1304において、画像処理部311は、ステップS1208で読取った身分証の画像データを、要求元の利用者情報管理部1101に送信する。
ステップS1305において、利用者情報管理部1101は、取得した身分証の画像データを特徴情報抽出部702に送信して、顔の特徴情報の取得を要求する。
ステップS1306において、特徴情報抽出部702は、身分証の画像データから顔画像を検出し、顔画像が検出された場合、検出した顔画像から顔の特徴情報を抽出する。
ステップS1307において、特徴情報抽出部702は、抽出した顔の特徴情報を利用者情報管理部1101に送信する。
ステップS1308において、利用者情報管理部1101は、ステップS1217で抽出した名前と、ステップS1307で取得した顔の特徴情報とを対応づけて、記憶部324の利用者情報a325に記憶する。
このように、画像形成装置100は、利用者105の身分証の顔画像を用いて、利用者105の顔の特徴情報を登録することもできる。
(利用者情報の登録処理)
図14は、第3の実施形態に係る利用者情報の登録処理の例を示すシーケンス図である。この処理は、利用者105が、機器本体部101の記憶部314に記憶された利用者情報A315に、利用者105の利用者情報を登録する処理の例を示している。
ステップS1401において、利用者105が操作部102に対して利用者情報の登録操作を行うものとする。例えば、利用者105は、画像形成装置100へのログインが許可された後、メニュー画面等から、利用者情報の登録処理を選択し、身分証を画像形成装置100にセットした後、開始ボタンを押下する。
ステップS1402において、表示入力制御部321は、利用者情報の登録操作の受付に応じて、利用者情報の登録操作を受け付けたことを示す操作受付通知を、利用者情報管理部1101等に通知する。
ステップS1403において、利用者情報管理部1101は、表示入力制御部321から、利用者情報の登録操作を受け付けたことを示す操作受付通知を受け付けると、撮影部701に、利用者105の画像の撮影を要求する。
ステップS1405~S1407において、特徴情報抽出部702は、撮影部701が撮影した撮影画像を取得して、取得した撮影画像から利用者105の顔の特徴情報を抽出し、抽出した顔の特徴情報を利用者情報管理部1101に通知する。
ステップS1408において、利用者情報管理部1101は、特徴情報抽出部702から取得した顔の特徴情報に対応する利用者の「名前」を、記憶部324に記憶した利用者情報a325から抽出する。
ステップS1409において、利用者情報管理部1101は、取得した「名前」を含む確認画面の表示要求を、表示入力制御部321に送信する。
ステップS1410において、表示入力制御部321は、利用者105に「名前」の確認を促す名前の確認画面を、操作パネル226等の表示部に表示させる。
ステップS1411において、利用者105は、名前の確認画面に表示された「名前」を確認し、自分の名前である場合、確認操作(OK)を行う。
ステップS1412において、表示入力制御部321は、確認操作(OK)を受け付けると、利用者情報の編集画面を、操作パネル226等の表示部に表示させる。
ステップS1413~S1415において、利用者が編集操作を行うと、表示入力制御部321は、編集内容を利用者情報管理部1101に通知し、利用者情報管理部1101は、編集内容を、例えば、記憶部324に記憶した利用者情報a325に記憶する。
ステップS1416において、利用者105が、編集完了操作を行うものとする。
ステップS1417において、表示入力制御部321は、編集が完了したことを示す編集完了通知を利用者情報管理部1101に通知する。
ステップS1418、S1419において、利用者情報管理部1101は、編集された利用者105の利用者情報の登録を要求する登録要求を、機器本体部101の利用者情報管理部1102に送信する。
ステップS1420において、機器本体部101の利用者情報管理部1102は、要求された利用者情報を、記憶部314に記憶した利用者情報A315に登録する。
ステップS1421、S1422において、機器本体部101の利用者情報管理部1102は、利用者情報の登録が完了したことを示す登録完了通知を、要求元の利用者情報管理部1101に通知する。
ステップS1423、S1424において、利用者情報管理部1101は、利用者情報の登録が完了したことを表示入力制御部321に通知し、表示入力制御部321は、利用者情報の登録が完了したことを示す登録完了画面を、操作パネル226等に表示させる。
上記の処理により、利用者105は、画像形成装置100を用いて、利用者105の利用者情報を編集し、登録することができる。
[第4の実施形態]
第4の実施形態では、画像形成装置100が、スキャン認証に用いられる利用者の身分証が有効な身分証であるか否かを判断し、有効な身分証でない場合、スキャン認証を中止する処理の例について説明する。
<機能構成>
図15は、第4の実施形態に係る画像形成装置の機能構成の例を示す図である。図15に示すように、第4の実施形態に係る操作部102は、図7に示す第2の実施形態に係る操作部102の機能構成に加えて、身分証判断部1501を有している。また、操作部102の記憶部324には、例えば、図16に示すような身分証情報1502が記憶されている。
図16は、第4の実施形態に係る身分証情報の例を示す図である。身分証情報1502は、身分証が有効な身分証であるか否かを判断するための情報が予め記憶されている。例えば、図16において、身分証種類「運転免許証(表)」の行には、身分証が運転免許証の表面であることを判断するための「画像データ」、画像データの「開始位置」、「終了位置」を示す座標情報等が記憶されている。
これにより、身分証判断部1501は、身分証の画像データの「開始位置」と「終了位置」とで示される座標範囲に、「画像データ」に対応する画像データが含まれる場合、身分証を運転免許証の表面であると判断することができる。
同様にして、身分証情報1502には、運転免許証の裏面であることを判断するための情報が記憶されている。これにより、身分証判断部1501は、利用者105が、誤って身分証の裏面をスキャンしたことを検知することができる。
また、身分証種類「運転免許証(写真)」の行には、運転免許証の顔写真の位置を示す「開始位置」、「終了位置」が記憶されている。さらに、身分証種類の「運転免許証(有効期限)」の行には、運転免許証の有効期限の位置を示す「開始位置」、「終了位置」等が記憶されている。
なお、図16に示す身分証情報1502は一例であり、他の形式で身分証が有効な身分証であることを判断するための情報が記憶されているものであっても良い。
また、第4の実施形態に係る画像形成装置100の他の機能構成については、図7に示す第2の実施形態に係る画像形成装置100の機能構成と同様で良い。
<処理の流れ>
(認証処理)
図17は、第4の実施形態に係る認証処理の例を示すフローチャートである。この処理は、第4の実施形態に係る画像形成装置100における認証処理の全体の流れを示している。
ステップS1701において、操作部102の表示入力制御部321は、例えば、図6(d)に示すようなログイン指示画面640を、操作パネル226等の表示部に表示させる。
ステップS1702において、表示入力制御部321が、ログイン指示画面640の「スキャン認証」ボタン641の選択を受け付けると、画像形成装置100は、ステップS1703以降の処理を実行する。
ステップS1703において、表示入力制御部321は、例えば、図18(a)に示すようなスキャン認証画面1810を、操作パネル226等の表示部に表示させる。
好ましくは、スキャン認証画面1810には、スキャン認証で利用可能な身分証の情報1811や、身分証のセット方法の情報1812等が含まれる。これにより、無効な読取り処理を低減させることが期待できる。
ステップS1704において、表示入力制御部321が、利用者105による読取操作を受け付けると、操作部102は、ステップS1705以降の処理を実行する。例えば、利用者105は、図18(a)に示すようなスキャン認証画面1810において、「読取りスタート」ボタン1813を選択することにより、読取操作を行うことができる。
ステップS1705において、画像形成装置100は、例えば、図5のステップS507~S512に示すような、身分証の画像データの読取処理を実行する。
ステップS1706において、身分証判断部1501は、ステップS1705で読取った身分証の画像データと、記憶部324に記憶した身分証情報1502とを用いて、利用者105の身分証が有効な身分証であるか、無効な身分証であるかを判断する。なお、身分証判断部1501による判断処理については、図19、20を用いて後述する。
利用者105の身分証が有効な身分証である場合、画像形成装置100は、処理をステップS1708に移行させる。一方、利用者105の身分証が有効な身分証でない場合(無効な身分証である場合)、画像形成装置100は、スキャン認証を中止する。
ステップS1708に移行すると、画像形成装置100は、例えば、第1、2の実施形態で説明したスキャン認証処理を実行する。
例えば、第1の実施形態の例では、画像形成装置100は、図5のステップS514以降のスキャン認証処理を実行する。また、第2の実施形態の例では、画像形成装置100は、図9のステップS906以降のスキャン認証処理を実行する。
ステップS1709において、利用者105のスキャン認証に成功した場合、画像形成装置100は、ステップS1710において、利用者105のログインを許可する(利用者105による画像形成装置100の利用を許可する)。
一方、利用者105のスキャン認証に成功しない場合、画像形成装置100は、利用者105のログインを許可せずに、処理を終了させる。
上記の処理により、画像形成装置100は、利用者105身分証が有効でない場合、スキャン認証処理を中止するので、無効な身分証を用いた不正な画像形成装置100の利用を低減させることができる。
(判断処理)
図19は、第4の実施形態に係る判断処理の例を示すフローチャートである。この処理は、図17のステップS1706において、身分証判断部1501が、身分証が有効な身分証であるか否かを判断する判断処理の一例を示している。
ステップS1901において、操作部102の身分証判断部1501は、図17のステップS1705で読取った身分証の画像データと、図16に示すような身分証情報1502とを比較、照合して、身分証の種類を特定する。
ステップS1902において、身分証判断部1501は、身分証の有効期限の情報を取得する。
例えば、身分証の種類が、図16に示す「運転免許証(表)」である場合、身分証判断部1501は、「運転免許証(有効期限)」に対応する座標範囲のOCR処理を、画像処理部311に要求し、抽出された文字列から有効期限の情報を取得する。
ステップS1903において、身分証判断部1501は、現在の日時が、身分証の有効期限内であるかを判断する。例えば、身分証判断部1501は、ステップS1902で取得した有効期限と、機器本体部101のOS等が有する現在の時刻情報とを比較して現在の日時が、身分証の有効期限内であるか否かを判断する。
現在の日時が、身分証の有効期限内である場合、身分証判断部1501は、処理をステップS1904に移行させる。
一方、現在の日時が身分証の有効期限外である場合、及び身分証の有効期限が取得できなかった場合、身分証判断部1501は、スキャン認証を中止する。このとき、操作部102の表示入力制御部321は、例えば、図18(b)に示すような表示画面1820を、操作パネル226等の表示部に表示させる。
ステップS1904において、身分証判断部1501は、図17のステップS1705で読取った身分証の画像データを用いて、規定の範囲内で顔検出を行う。例えば、身分証の種類が、図16に示す「運転免許証(表)」である場合、身分証判断部1501は、「運転免許証(写真)」に対応する座標範囲内で、例えば、図8(b)で前述したような顔画像820の検出を行う。
ステップS1905において、身分証判断部1501は、規定の領域内で顔画像が検出されたか否かを判断する。
規定の領域内で顔画像が検出された場合、身分証判断部1501は、ステップS1906において、スキャン認証処理を実行する。一方、規定の領域内で顔画像が検出されなかった場合、身分証判断部1501は、スキャン認証処理を中止する。なお、図19のステップS1906の処理は、図18のステップS1708の処理に対応している。
なお、図19に示す処理は、身分証判断部1501による判断処理の一例である。例えば、有効期限の記載がない身分証を処理対象とする場合、身分証判断部1501は、図19のステップS1902の処理を省略しても良い。同様に、顔画像を含まない身分証を処理対象とする場合、身分証判断部1501は、図19のステップS1904、S1905の処理を省略しても良い。
(身分証の特定処理)
図20は、第4の実施形態に係る身分証の特定処理の例を示すフローチャートである。この処理は、図19のステップS1901において、身分証判断部1501が実行する身分証の種類を特定する処理の一例を示している。
ステップS2001において、身分証判断部1501は、例えば、ステップS1705で読取った身分証の読取画像データと、図16に示すような身分証情報1502の「画像データ」とを比較する。
ステップS2002において、身分証判断部1501は、ステップS2001の比較により、一致する画像データがあるか否かを判断する。
一致する画像データがある場合、身分証判断部1501は、処理をステップS2003に移行させる。一方、一致する画像データがない場合、身分証判断部1501は、処理をステップS2005に移行させる。
ステップS2003に移行すると、身分証判断部1501は、一致した画像データが、例えば、図16に示す身分証情報1502の身分証種類において、「裏面」の画像データであるかを判断する。
裏面の画像データである場合、身分証判断部1501は、処理をステップS2006に移行させる。一方、裏面の画像データでない場合、身分証判断部1501は、処理をステップS2004に移行させる。
ステップS2004に移行すると、ステップS1705で読取った身分証の種類が、図16に示す身分証情報1502において、一致した「画像データ」に対応する「身分証種類」であると判断する。
一方、ステップS2002からステップS2005に移行すると、操作部102の表示入力制御部321は、例えば、図18(c)に示すような第1のリトライ画面1830を、操作パネル226等の表示部に表示させる。
また、ステップS2006からステップS2006に移行すると、操作部102の表示入力制御部321は、例えば、図18(d)に示すような第2のリトライ画面1840を、操作パネル226等の表示部に表示させる。
ステップS2007において、身分証判断部1501は、第1のリトライ画面1830、又は第2のリトライ画面1840において、リトライが選択されたか否かを判断する。
リトライが選択された場合、身分証判断部1501は、身分証の読取りを再実行し、処理をステップS2001に戻す。一方、リトライが選択されない場合(例えば、終了が選択された場合、身分証判断部1501は、スキャン認証処理を中止する。
以上、上記の各実施形態によれば、認証が許可された利用者に画像処理の実行を許可する画像形成装置100において、利用者が、例えば、免許証、保険証、学生証等の所定の画像情報を用いて、容易に画像処理を実行できるようになる。
[応用例]
上記の各実施形態で説明した画像形成装置100、及び画像処理システム1は好適な一例であり、本発明は、用途や目的に応じて様々なシステム構成が可能である。
例えば、本発明は、画像形成装置100に限られず、遠隔会議装置、電子黒板装置、プロジェクタ等の様々なオフィス機器に適用することができる。また、本発明は、公共施設等に設置されたキャッシュ ディスペンサ、その他の公共用の電子機器や、家庭用の様々な電子機器等に適用することができる。