JP6886090B2

JP6886090B2 - 画像形成装置

Info

Publication number: JP6886090B2
Application number: JP2017076708A
Authority: JP
Inventors: 卓史村上
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2017-04-07
Filing date: 2017-04-07
Publication date: 2021-06-16
Anticipated expiration: 2037-04-07
Also published as: JP2018182453A; US20180295249A1; US11025792B2

Description

本発明は、画像形成装置に関する。

スキャンした文書に対して情報処理を実行する装置の中には、個人情報を含んだ文書の不正利用等がなされないように、スキャンした文書画像中に個人情報が含まれていると、情報処理の実行を禁止するものがある。また、個人情報を含んだ文書の処理を一律に禁止すると不便なので、特定の場合にそのような文書の処理を可能とする装置も知られている。

例えば、複合機で個人番号が記載された文書を活用する際に、正当な理由であれば機能制限を行わないことで利便性を高める技術として、特許文献１に記載された技術が知られている。この技術では、個人番号管理サーバを構築し、そのサーバに個人番号とその番号で許可される機能、ユーザとそのユーザが利用可能な機能の情報を予め登録する。個人番号の記載された文書を活用する処理を実行する際に、複合機がそのサーバにある情報にアクセスし、機能制限する、しないを制御する。

特開２０１６−１３９９７９号公報

個人情報を含んだ文書の処理を許可するか否かをサーバに問い合わせる方式の場合、そのような処理を許可するか否かをユーザ毎にサーバに登録しておく必要がある。

本発明は、個人情報を含んだ文書画像についての処理を許可するかどうかをユーザ毎に事前に登録しておかなくても、ユーザの個人情報と顔画像を含んだ文書画像について処理の実行を許可するかどうかを判定できるようにすることを目的とする。

請求項１に係る発明は、人物の顔を撮影するためのカメラと、文書を読み取って文書画像を出力する画像読取手段と、所定の処理の対象となる個人情報文書のフォーマットを示すフォーマット情報を記憶する手段と、前記文書画像が前記個人情報文書に該当するか否かを前記フォーマット情報に基づいて判定し、前記文書画像が前記個人情報文書に該当すると判定した場合には、前記カメラが撮影した顔の画像が前記文書画像から抽出された顔画像と一致すれば、前記文書画像についての前記所定の処理を許可する制御を行い、前記文書画像が前記個人情報文書に該当しないと判定した場合には、前記カメラが撮影した顔の画像が前記文書画像から抽出された前記顔画像と一致するか否かによらず、当該文書画像に対してユーザから指示された処理であって前記所定の処理以外の処理を実行する制御を行う制御手段と、を有する画像形成装置である。

請求項２に係る発明は、前記制御手段は、前記文書画像から前記顔画像は抽出されなかった場合、前記文書画像についての前記所定の処理の実行を禁止する制御を行う、ことを特徴とする請求項１に記載の画像形成装置である。

請求項３に係る発明は、前記制御手段は、前記文書画像が個人情報と顔画像とを含む場合に、前記カメラが撮影した顔の画像が前記文書画像に含まれる前記顔画像と一致すれば、前記文書画像についての所定の処理を許可する制御を行う、ことを特徴とする請求項１に記載の画像形成装置である。

請求項４に係る発明は、前記制御手段は、前記カメラが撮影した顔の画像が前記文書画像から抽出された顔画像と一致しない場合、前記文書画像についての前記所定の処理の実行を禁止する制御を行う、ことを特徴とする請求項１〜３のいずれか１項に記載の画像形成装置である。

請求項５に係る発明は、前記所定の処理を許可した場合に、前記所定の処理の実行に関するログ情報の１つとして前記カメラが撮影した顔の画像を記録する手段を更に含む、請求項１〜４のいずれか１項に記載の画像形成装置である。

請求項１又は２に係る発明によれば、個人情報を含んだ文書画像についての処理を許可するかどうかをユーザ毎に事前に登録しておかなくても、ユーザの個人情報と顔画像を含んだ文書画像について処理の実行を許可するかどうかを判定できる。

請求項３に係る発明によれば、個人情報と顔画像の両方を含む文書についてのみ、その顔画像とカメラで撮影した顔の画像の一致の判定に基づく制御が行われるようにすることができる。

請求項４に係る発明によれば、文書画像に含まれる顔画像と異なる顔の人物からの指示又は求めに応じてその文書画像に対して処理が行われることを防ぐことができる。

請求項５に係る発明によれば、処理の実行を許可した場合の、その許可の判定の根拠となる顔画像を後の監査や検証等で確認できるようにすることができる。

画像形成装置の構成の例を示す図である。制御部が実行する処理の手順を例示する図である。読み取り作業の案内画面の例を示す図である。個人情報文書のフォーマット情報の例を示す図である。文書画像から顔画像が抽出できなかった場合に表示されるエラー画面の例を示す図である。顔画像撮影画面の例を示す図である。文書中の顔画像と認証用カメラで撮影した人物の顔画像とが一致しなかった場合に表示されるエラー画面の例を示す図である。顔画像が一致して正常に処理を実行する場合に表示される画面の例を示す図である。制御部が実行する処理の手順の別の例を示す図である。

図１に、本発明に係る画像形成装置の一実施形態を示す。以下の例では、画像形成装置として、スキャナ、プリンタ、コピー機、ファクシミリ等の機能を兼ね備えた複合機を例にとって説明する。しかし、画像形成装置は必ずしも複合機である必要はなく、スキャナ機能を有する装置であればよい。

本実施形態の画像形成装置は、画像形成装置本体１０と認証用カメラ２０を備えている。画像形成装置本体１０は、スキャナ機構１２、プリンタ機構１４、制御部１６、表示装置１７、アプリケーション処理部１８を備える。スキャナ機構１２は、紙等の媒体上に表示された文書画像に対して光学的読み取り（スキャン）を行って文書画像データを生成する。プリンタ機構１４は、スキャナ機構１２のスキャンにより得られた文書画像データや、ネットワーク等を経由して画像形成装置に入力された印刷データを媒体上に印刷する。制御部１６は、画像形成装置の動作を制御する装置であり、プロセッサ及びメモリ等のハードウエアと、そのプロセッサにより実行されるプログラムとから構成される。本実施形態では、特に個人情報を含んだ紙文書を読み取ったときの処理について制御部１６が実行する制御に着目する。表示装置１７は、ユーザインタフェースのための表示画面を表示する装置である。表示装置１７は、タッチパネルのようにユーザの入力を受け付ける機能を持っていてもよいし、表示のみを行うものであってもよい。アプリケーション処理部１８は、スキャナ機構１２が読み取った文書画像に関する情報処理のためのアプリケーションソフトウエアを実行する。アプリケーション処理部１８が実行する情報処理は、例えば、役所や金融機関等における本人確認書類の提示を伴う各種届け出の受付処理等である（ただしこれはあくまで一例に過ぎない）。アプリケーション処理部１８が実行する情報処理は、ネットワークを介して接続された他の情報処理システム（例えば、届出書類を記録するシステムや届け出に応じた交付書類を発行したりするシステム）と連携するものであってもよい。

認証用カメラ２０は、画像形成装置本体１０が読み取る、記事内容として個人情報を含んだ文書（以下「個人情報文書」と呼ぶ）を提示した人物の顔を撮影するための撮影装置である。認証用カメラ２０は、一つの例では画像形成装置本体１０に内蔵される。また別の例では、認証用カメラ２０は、文書を提示する人物を応対する窓口カウンター等に設置され、画像形成装置本体１０に対して有線又は無線で接続されたものであってもよい。いずれにしても、認証用カメラ２０は、画像形成装置本体１０がスキャンする文書を提示した人物の顔を撮影できる位置に、画像形成装置本体１０と接続した状態で設置されている。

本実施形態の画像形成装置は、提示者から提示された個人情報文書をスキャンした際、その個人情報文書に含まれる顔画像と、その提示者の顔を認証用カメラ２０で撮影した画像とを比較することで、その個人情報文書がその提示者本人の情報を記したものであるかどうかを確認する。そして、その個人情報文書がその提示者本人の者と確認した場合、画像形成装置は、スキャンしたその文書の画像についてのアプリケーション処理を実行する。

以下、図２を参照して、本実施形態の画像形成装置が実行する処理手順の一例を説明する。以下では、画像形成装置を操作する操作者（例えば役所の窓口スタッフ）が、提示者（例えば客）の提示する個人情報文書を受け取って画像形成装置に読み取らせ、処理を行う場合を例にとって説明する。

この手順では、あるアプリケーションの実行が指示された場合、制御部１６は、そのアプリケーションの対象とする文書のスキャンの実行方法を案内する案内画面を表示装置１７に表示する。図３に案内画面の例を示す。図３に例示する案内画面１０２及び１０４は、提示者のＩＤカード（身分証明書カード）の表裏両面を読み取って処理するアプリケーションにおいて用いられるものである。この例では、制御部１６はまずＩＤカードの表面の読み取りを案内する案内画面１０２を表示し、操作者は、提示者から受け取ったＩＤカードの表面をその案内画面１０２に示されるようにプラテン上にセットし、画像形成装置にスキャン実行を指示する。

スキャンの後、制御部１６は、アプリケーションのために必要な文書の面がすべてスキャンされたかどうかを判定する（Ｓ１２）。図３に例示したＩＤカードの両面を読み取るアプリケーションの例の場合、更に裏面の読み取りが必要なので、Ｓ１２の判定結果はＮｏとなる。制御部１６は、次にＩＤカードの裏面のスキャンのための案内画面１０４を表示し（Ｓ１０）、その案内に応じた操作者の操作に従って裏面のスキャンを実行する。

制御部１６は、スキャンにより得られた各面の文書画像に対して、公知のＯＣＲ（光学文字認識）処理や顔画像抽出処理等の、画像の特徴抽出及び解析処理を実行する（Ｓ１３）。

必要な面数のスキャン及びＯＣＲ等が完了すると、制御部１６は、スキャンにより生成された各面の文書画像が、そのアプリケーションの対象としている個人情報文書の種類に該当するかどうかを判定する（Ｓ１４）。この判定では、Ｓ１３でのＯＣＲや顔画像抽出等の特徴抽出及び解析処理により、その文書画像が、アプリケーションの処理対象である個人情報文書の特徴を持つかどうかを判定し、持つと判定した場合に、Ｓ１４の判定結果をＹｅｓとする。例えばＩＤカードを読み取って処理するアプリケーションの場合、スキャン結果の文書画像からそのＩＤカードの特徴（例えばＩＤカードのフォーマットに従ったマークや罫線、文字列等の配置）が読み取れるか試み、読み取れたらその文書画像がアプリケーションの対象の文書のものであると判定する。

Ｓ１４の判定に利用可能な個人情報文書のフォーマット情報の一例を図４に示す。これはＩＤカードについてのフォーマット情報の例であり、ＩＤカードに記載されＩＤ番号や生年月日等の個々の個人情報項目について、ＩＤカードの面内でその項目が記載される記載領域（図示例では矩形の記載領域の左上と右下の頂点の座標の組みで表現）と、その項目の文字列の形式とを示している。例えば、ＩＤ番号は数字１２桁で表現され、生年月日は、それぞれ年、月、日を示す４桁、２桁、２桁の３つの数字の並びで表現されることを示している。文書を読み取って得た文書画像のサイズがＩＤカードのサイズ（図示省略）であり、その文書画像中の各個人情報項目の記載領域の文字認識結果が当該項目の文字列形式に一致していれば、その文書は処理の対象であるＩＤカードであると確認できる。新たな種類の個人情報文書についてのフォーマット情報や、個人情報に該当する文字列の形式の情報の設定を受け付けるプログラムを画像形成装置の制御部１６にインストールしておいてもよい。

図示例では必要な面数分の画像をスキャンした後Ｓ１４の判定を行ったが、Ｓ１４の判定は、提示された文書の各面を読み取る毎に行ってもよい。

Ｓ１４の判定結果がＮｏの場合、スキャンされた文書は処理対象の文書でない（あるいは個人情報を含んでいない）ことになる。この場合、制御部１６は、エラー画面を表示装置１７に表示し（Ｓ１６）、処理を終了する。このエラー画面は、例えば読み取った文書が処理対象の文書種類とは異なることを示すメッセージを表示したものでよい。制御部１６は、スキャンした文書画像に対するアプリケーション処理部１８の処理の実行を禁止しているので、アプリケーションは実行されず、今回読み取った文書についての処理は終了する。

Ｓ１４の判定結果がＹｅｓの場合、制御部１６は、スキャン結果の文書画像から顔画像が抽出できたかどうかを判定する（Ｓ１８）。この判定は、スキャンにより得られる文書の各面の画像のうち、顔画像を有しているべき面（これは文書の種類により決まっており、アプリケーションが決まれば決まる）の画像について行う。Ｓ１８の判定結果がＮｏの場合、制御部１６は、表示装置１７に、例えば図５に例示したように顔画像が抽出されなかったために処理を中止する旨のメッセージを表示したエラー画面１０６を表示する（Ｓ２０）。制御部１６は、スキャンした文書画像に対するアプリケーション処理部１８の処理の実行を禁止しており、これで読み取った文書についての処理は終了する。

Ｓ１８の判定結果がＹｅｓ（文書画像から顔画像が抽出できた）の場合、制御部１６は、顔照合のために顔画像撮影画面１０８（図６参照）を表示装置１７に表示する。顔画像撮影画面１０８の中央には、認証用カメラ２０が現在補足している画像が表示される画像表示欄１１０が設けられている。画像形成装置の操作者は、個人情報文書の提示者に対して、顔画像を撮影するために認証用カメラ２０を見るように促し、顔画像撮影画面１０８の画像表示欄１１０に提示者の顔が適切に表示されたことを確認すると、撮影ボタン１１２を押下して、提示者の顔の静止画像の撮影を指示する。これにより、認証用カメラ２０により提示者の現在の顔画像が撮影され、制御部１６に取り込まれる（Ｓ２２）。

制御部１６は、Ｓ１３で文書画像から抽出した顔画像と、Ｓ２２で撮影した提示者の顔画像とを照合し（Ｓ２４）、それら両者が一致する、すなわち同一人物の顔を示している、かどうかを公知の顔画像照合アルゴリズムにより判定する（Ｓ２６）。

この判定の結果がＮｏ（不一致）の場合、制御部１６は、図７に例示するような顔画像が不一致の旨を示すエラー画面１１４を表示する（Ｓ２８）。この段階では文書画像に対するアプリケーション処理部１８の処理は禁止されているので、今回読み取った文書についての処理は終了する。

Ｓ２６の判定結果がＹｅｓの場合、制御部１６は、表示装置１７に例えば図８に例示する正常読取完了画面１１６を表示し、スキャン結果の文書画像に対するアプリケーション処理部１８の処理実行を許可する（Ｓ３０）。これに応じ、アプリケーション処理部１８は、文書画像に対して指定されたアプリケーションによる処理を実行する。また、この場合制御部１６は、今回の操作者からの指示に応じて画像形成装置が実行した処理ログデータの一項目として、実行したアプリケーションの識別情報、及びＳ２２で撮影した提示者の顔画像を記録する。この顔画像は、後で画像形成装置でのアプリケーション処理の実行等の監査や不正な処理が見つかった場合等における原因究明等において参照される。なお、撮影した提示者の顔画像をログデータに残すかどうかは、管理者等により画像形成装置に対して設定可能とする。

図２の手順では、アプリケーション処理部１８による文書画像に対する処理実行を許可するか禁止するかをＳ２６の判定に基づいて制御部１６が自動的に制御したが、これは一例に過ぎない。この代わりに、Ｓ２６の判定結果（顔画像同士の一致／不一致）を表示して操作者に最終確認を求めるメッセージを表示した画面を表示装置１７に表示し、操作者がこの画面に対して、アプリケーション処理部１８の処理を許可するか禁止するかの指示を入力してもよい。また図２の手順では、ＩＤカードそのものを読み取る場合を説明したが、これは一例に過ぎない。ＩＤカードそのものを読み取る代わりに、ＩＤカードをコピーしたＡ４文書を読み取ってもよい。

図２に例示した手順は、画像形成装置がスキャンする文書が基本的に個人情報文書であることが想定される場合の手順であった。これに対して、画像形成装置が個人情報文書以外の文書をスキャンする場合があるケースについての処理手順の例を、図９を参照して説明する。図９の手順では、スキャンした文書が個人情報文書であり、かつ顔画像が含まれている場合、その文書のスキャン画像についての処理がその顔画像に該当する本人以外の人の指示によっては実行されないようにする。図９の処理は、例えばコンビニエンスストア等の店舗に設けられた画像形成装置に適用される。

この手順では、ユーザの指示に応じてスキャナ機構１２によって文書がスキャンされると（Ｓ４０）、制御部１６はスキャンにより得られた文書画像に対して、ＯＣＲ処理や顔画像抽出処理等の、画像の特徴抽出及び解析処理を実行する（Ｓ４２）。そして、その文書画像が、個人情報文書に該当するかどうかを判定する（Ｓ４４）。Ｓ４２及びＳ４４の処理は、図２の手順のＳ１３及びＳ１４の処理と同様でよい。例えばＳ４４では、ＯＣＲにより認識した文字列やその位置が、画像形成装置に登録されているいずれかの個人情報文書のフォーマットに合致するか否かを判定し、合致すればその文書が個人情報文書であると判定する。

Ｓ４４の判定結果がＮｏ（個人情報文書でない）場合、制御部１６は、その文書画像に対して、ユーザの指示した処理を実行（続行）する（Ｓ５６）。

Ｓ４４の判定結果がＹｅｓの場合、制御部１６は、文書画像から顔画像が抽出できたかどうかを判定する（Ｓ４６）。抽出できなかった場合、この例では処理可否を判定する材料がない場合ユーザの指示を優先するという方針に基づき、制御部１６は、ユーザの指示した処理を実行する（Ｓ５６）。なお、これは一例であり、個人情報を含んだ文書画像から顔画像が抽出できなかった場合に、その文書画像に対する処理を禁止するという方針を採用してもよい。

Ｓ４６で顔画像が抽出できたと判定した場合、制御部１６は、表示装置１７に対して、顔撮影案内画面を表示する。この画面には、画像形成装置に設けられた認証用カメラ２０を見るようユーザを案内するメッセージや案内図が表示される。ユーザがこの画面の案内に従って認証用カメラ２０を見ると、制御部１６は撮影指示を発し、認証用カメラ２０がキャプチャした画像からユーザの顔画像を抽出する（Ｓ４８）。

そして、制御部１６は、Ｓ４２で文書画像から抽出した顔画像と、Ｓ４８で撮影した提示者の顔画像とを照合し（Ｓ５０）、それら両者が同一人物の顔を示しているかどうかを判定する（Ｓ５２）。

この判定の結果がＮｏの場合、制御部１６は、顔画像が不一致のため処理が不可である旨を示すエラー画面を表示し（Ｓ５４）、一連の処理を終了する。

Ｓ５２の判定結果がＹｅｓの場合、制御部１６は、表示装置１７にスキャン結果の文書画像に対する処理の続行を許可する（Ｓ５６）。これに応じ、アプリケーション処理部１８は、文書画像に対して、ユーザに指定されたアプリケーションの処理を実行する。この例でも、制御部１６は、今回の処理のログデータの一項目として、Ｓ４８で撮影した提示者の顔画像を記録してもよい。

１０画像形成装置本体、１２スキャナ機構、１４プリンタ機構、１６制御部、１７表示装置、１８アプリケーション処理部、２０認証用カメラ。

Claims

人物の顔を撮影するためのカメラと、
文書を読み取って文書画像を出力する画像読取手段と、
所定の処理の対象となる個人情報文書のフォーマットを示すフォーマット情報を記憶する手段と、
前記文書画像が前記個人情報文書に該当するか否かを前記フォーマット情報に基づいて判定し、前記文書画像が前記個人情報文書に該当すると判定した場合には、前記カメラが撮影した顔の画像が前記文書画像から抽出された顔画像と一致すれば、前記文書画像についての前記所定の処理を許可する制御を行い、前記文書画像が前記個人情報文書に該当しないと判定した場合には、前記カメラが撮影した顔の画像が前記文書画像から抽出された前記顔画像と一致するか否かによらず、当該文書画像に対してユーザから指示された処理であって前記所定の処理以外の処理を実行する制御を行う制御手段と、
を有する画像形成装置。
前記制御手段は、前記文書画像から前記顔画像は抽出されなかった場合、前記文書画像についての前記所定の処理の実行を禁止する制御を行う、ことを特徴とする請求項１に記載の画像形成装置。
前記制御手段は、前記文書画像が個人情報と顔画像とを含む場合に、前記カメラが撮影した顔の画像が前記文書画像に含まれる前記顔画像と一致すれば、前記文書画像についての所定の処理を許可する制御を行う、
ことを特徴とする請求項１に記載の画像形成装置。
前記制御手段は、前記カメラが撮影した顔の画像が前記文書画像から抽出された顔画像と一致しない場合、前記文書画像についての前記所定の処理の実行を禁止する制御を行う、ことを特徴とする請求項１〜３のいずれか１項に記載の画像形成装置。
前記所定の処理を許可した場合に、前記所定の処理の実行に関するログ情報の１つとして前記カメラが撮影した顔の画像を記録する手段を更に含む、請求項１〜４のいずれか１項に記載の画像形成装置。