JP6476877B2 - 情報処理装置、システム及びプログラム - Google Patents

Description

本発明は、情報処理装置、システム及びプログラムに関する。

特許文献１には、基準となる画像の輪郭線と入力された画像の輪郭線とを比較して算出した類似度が高いものを登録する技術が記載されている。また特許文献２には、色や罫線、文字等の特徴を使って帳票を識別する技術が記載されている。

特許第３４６９３４５号公報 特許第３８５１７４２号公報

上記のように、帳票や書類の種類を認識するための方法は複数存在する。本発明は、認識対象が複数種類の書類を一式としてまとめたものであっても、それぞれの書類に適した書類認識の方法をそれぞれ適用して認識することを目的とする。

本発明の請求項１に係る情報処理装置は、複数種類の画像認識の方法を有する認識手段であって、書類を読み取って当該書類の画像データを生成する生成手段によって複数の書類のうちの第１の書類と第２の書類の画像データがそれぞれ生成された場合、前記第１の書類の画像データから当該第１の書類の種類を認識し、前記複数種類の画像認識の方法のうち当該第１の書類の種類に応じた画像認識の方法を用いて前記第２の書類の画像データから当該第２の書類の種類を認識する認識手段を備えることを特徴とする。

本発明の請求項２に係る情報処理装置は、請求項１に記載の構成において、前記複数の書類は、書類の種類の組合せが予め定められている書類群として提出されるものであり、前記認識手段が認識した結果に基づいて、提出された前記複数の書類の揃い具合を表す情報を出力する出力手段を備えることを特徴とする。

本発明の請求項３に係る情報処理装置は、請求項１または２に記載の構成において、前記認識手段は、前記第１の書類の種類を認識する際、認識に成功するまで前記画像認識の方法を変えて認識を試みることを特徴とする。

本発明の請求項４に係る情報処理装置は、請求項３に記載の構成において、前記生成手段は複数の書類を１枚ずつ順番に読み取り、前記認識手段は、前記生成手段により最初に読み取られた書類の画像データを前記第１の書類の画像データとした場合に、当該第１の書類の画像データからは当該第１の書類の種類が認識されない場合には、前記生成手段により最後に読み取られた書類の画像データを前記第１の書類の画像データとして前記第１の書類の種類の認識を試みることを特徴とする。

本発明の請求項５に係る情報処理装置は、請求項１から４のいずれか１項に記載の構成において、前記複数の書類には、枚数が決まっていない第１の種類の書類と、第２の種類の書類とが含まれ、前記認識手段は、第１の種類の書類の次に第２の種類の書類を認識するように順番が決められている場合に、前記第１の種類に応じた第１の画像認識の方法及び前記第２の種類に応じた第２の画像認識の方法を用いて書類の種類を認識し、前記第１の画像認識の方法での認識が成功したときには当該方法及び前記第２の画像認識の方法で次の書類の種類を認識し、前記第２の画像認識の方法での認識が成功したときには当該方法で次の書類の種類を認識することを特徴とする。

本発明の請求項６に係る情報処理装置は、請求項１から５のいずれか１項に記載の構成において、前記第２の書類には複数の種類があり、当該複数の種類は前記生成手段により読み取られる順番が決まっておらず、前記認識手段は、複数の前記第２の書類の種類にそれぞれ対応する複数の画像認識の方法を用いた第２の書類の種類の認識を繰り返し試み、それまで認識が成功していた方法を用いた認識が失敗すると、その方法を除いた画像認識の方法を用いた前記第２の書類の種類の認識を試みることを特徴とする。

本発明の請求項７に係るシステムは、書類を読み取って当該書類の画像データを生成する生成手段と、複数種類の画像認識の方法を有し、前記生成手段によって複数の書類のうちの第１の書類と第２の書類の画像データがそれぞれが生成された場合、前記第１の書類の画像データから当該第１の書類の種類を認識し、前記複数種類の画像認識の方法のうち当該第１の書類の種類に応じた画像認識の方法を用いて前記第２の書類の画像データから当該第２の書類の種類を認識する認識手段とを備えることを特徴とする。

本発明の請求項８に係るプログラムは、コンピュータを、複数種類の画像認識の方法を有する認識手段であって、書類を読み取って当該書類の画像データを生成する生成手段によって複数の書類のうちの第１の書類と第２の書類の画像データがそれぞれ生成された場合、前記第１の書類の画像データから当該第１の書類の種類を認識し、前記複数種類の画像認識の方法のうち当該第１の書類の種類に応じた画像認識の方法を用いて前記第２の書類の画像データから当該第２の書類の種類を認識する認識手段として機能させることを特徴とする。

請求項１、７、８に係る発明によれば、認識対象が複数種類の書類を一式としてまとめたものであっても、それぞれの書類に適した書類認識の方法をそれぞれ適用して認識することができる。
請求項２に係る発明によれば、書類を提出した者に書類が足りているか否かを伝えることができる。
請求項３に係る発明によれば、第１の書類の種類に適した書類認識の方法が分からなくても第１の書類の種類を認識することができる。
請求項４に係る発明によれば、最初に読み取られた書類の種類が最後に認識される場合でも、第１の書類の種類を認識することができる。
請求項５に係る発明によれば、枚数が決まっていない種類の書類が含まれている場合でも、その枚数分だけその書類の種類を認識し、さらにその次の書類の種類も認識することができる。
請求項６に係る発明によれば、複数の種類の第２の書類を読み取る順番が決まっていない場合でも、それらの第２の書類の種類を認識することができる。

情報処理装置のハードウェア構成を表す図 情報処理装置が実現する機能構成を表す図 ＱＲコード認識の対象となる書類の画像の一例を表す図 領域限定ＯＣＲの対象となる書類の画像の一例を表す図 申請に必要な書類群の例を表す図 複数の書類が読み取られる順番の一例を表す図 定義テーブルの一例を表す図 結果データが表す認識の結果の一例を表す図 申請書類の揃い具合を表す情報の一例を表す図 認識処理における動作の手順の一例を表す図 第２の書類の認識処理における動作の手順の一例を表す図 申請の種類を指定するための画像の一例を表す図 変形例の定義テーブルの一例を表す図 変形例の定義テーブルの他の一例を表す図 変形例の第２の書類の認識処理における動作の手順の一例を表す図 変形例の第２の書類の認識処理における動作の手順の一例を表す図 変形例の認識処理における動作の手順の一例を表す図 変形例で実現される機能構成の例を表す図 変形例で用いられる定義テーブルの一例を表す図 書類の画像に対する画像認識の様子の一例を表す図 複数の書類の画像の一例を表す図 変形例の認識処理における動作の手順の一例を表す図

［１］実施形態
例えば役所や企業などで行われる申請の業務では、その申請に必要な書類群が揃っていなければ申請が認められない。そのため、提出された書類を受け取った担当者は、申請に必要な書類群が揃っているか否かを確認する。本実施形態では、このように予め定められた申請に必要な書類群として提出された複数の書類の確認の作業を支援する情報処理装置について説明する。

図１は情報処理装置１０のハードウェア構成を表す。情報処理装置１０は、制御部１１と、記憶部１２と、表示部１３と、操作部１４と、画像読取部１５とを備えるコンピュータである。制御部１１は、ＣＰＵ（Central Processing Unit）やＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）を有する。制御部１１は、ＣＰＵがＲＯＭや記憶部１２に記憶されているプログラムを実行することで、各部の動作を制御する。

記憶部１２は、不揮発メモリであり、各種プログラムやデータを記憶する。表示部１３は、各種メッセージや画像を表示するディスプレイ装置を備えている。操作部１４は、情報処理装置１０を操作するための操作子等を有する。画像読取部１５は、例えばスキャナであり、用紙等のシートを光学的に読み取って、読み取ったシートを表す画像データを制御部１１に供給する。画像読取部１５は、トレーにセットされた複数のシートを順番に送り出して画像の読み取りを行う位置まで搬送する手段を有し、この手段により送り出されたシートを１枚ずつ順番に読み取る。本実施形態では、画像読取部１５は複数のシートのうち、トレー側を下とした場合に上（トレーから離れた側）に重ねられたものから順番に送り出す。

情報処理装置１０は、制御部１１が記憶部１２に記憶されているプログラムを実行することで、図２に示す機能が実現される。
図２は情報処理装置１０が実現する機能構成を表す。情報処理装置１０は、生成手段１０１と、認識手段１０２と、出力手段１０３とを備える。生成手段１０１は、書類を読み取ってその書類を表す画像データを生成する手段である。生成手段１０１は、複数の書類を１枚ずつ順番に読み取ると、生成したそれら複数の書類を表す画像データを認識手段１０２に供給する。このデータは、それぞれが書類を表す複数の画像データであってもよいし、複数の書類を表す１つの画像の画像データであってもよい。

認識手段１０２は、生成手段１０１によって画像データが生成された場合にその画像が表す書類の種類を認識する手段である。認識手段１０２は、以下に述べる複数の方法のいずれかまたはそれらを組み合わせた方法で書類の種類を認識する。具体的には、ＱＲ（Quick Response）コード（登録商標）認識、領域限定ＯＣＲ（Optical Character Recognition）、罫線認識及びキーワード抽出、地色除去という５つの画像認識の方法が用いられる。

ＱＲコード認識は、書類の画像にＱＲコードが表されている場合に、そのＱＲコードによりコード化されている情報（以下「コード情報」という）に基づいてその書類の種類を認識する方法である。ＱＲコードは画像内のどの位置に表されていても認識可能なので、ＱＲコードが表されていればどういった書類の画像であってもＱＲコード認識の対象となる。

図３はＱＲコード認識の対象となる書類の画像の一例を表す。図３では、「Ａ申込書」という種類の書類の画像Ｓ１が表されている。画像Ｓ１の右上にはＱＲコードＱ１が形成されている。この「Ａ申込書」は例えば「０００１」というコード情報に対応付けられているものとする。認識手段１０２は、ＱＲコードＱ１のコード情報を読み取り、読み取ったコード情報が「０００１」である場合に、このコード情報に対応する「Ａ申込書」という種類を、画像Ｓ１が表す書類の種類として認識する。

領域限定ＯＣＲは、画像内の文字の形を認識して対応する文字列のコードを取得するいわゆるＯＣＲ処理を書類の画像の決められた領域に限定して行った結果に基づいて、その書類の種類を認識する方法である。書類全体をＯＣＲ処理すると、罫線などの文字以外の画像を除去しなければ文字の認識率が低くなる。しかし、文字列が表される領域が決まっており、且つ、その領域の位置や大きさが予め分かっている書類の画像の場合は、領域限定ＯＣＲを用いることで書類全体をＯＣＲ処理するよりも文字の認識率が高められる。従って、この場合の書類の画像は領域限定ＯＣＲの対象となる。

図４は領域限定ＯＣＲの対象となる書類の画像の一例を表す。図４では、「住民票」という種類の書類の画像Ｓ２が表されている。画像Ｓ２の領域Ｒ１には、書類の種類をそのまま表した「住民票」という文字列Ｔ１が表されており、この文字列Ｔ１はいうまでもなく「住民票」という書類の種類に対応付けられている。領域Ｒ１は、書類の画像の左上を原点とするＸＹ座標系の座標を用いて、座標（１００、２）の点Ｐ１と、座標（２００、１８）の点Ｐ２とで表される。認識手段１０２は、これらの座標に基づいて、Ｘ座標が１００以上２００以下、Ｙ座標が２以上１８以下の領域Ｒ１に限定してＯＣＲ処理を行い、文字列Ｔ１のコードを取得する。認識手段１０２は、このコードが表す文字列Ｔ１に対応付けられた「住民票」という種類を、画像Ｓ２が表す書類の種類として認識する。

罫線認識は、書類に表されている表の形から書類の種類を認識する方法である。認識手段１０２は、書類に用いられる表の画像を記憶しておき、読み取られた書類の画像内にその表の画像が含まれているか否かを、パターンマッチング処理を行って判断する。認識手段１０２は、表の画像が含まれていれば、その表の画像に対応する種類の書類であると認識する。罫線認識は、ＱＲコードを埋め込めない既成の書類や書類を特徴付ける文字列のサイズが小さい書類の画像などを対象に用いられる。

キーワード抽出は、「注文票」、「請求書」、「見積書」など、書類を特徴付ける文字列を読み取ることでその書類の種類を認識する方法である。これらの文字列は、書類の作成主体（企業や部門、担当者など）によって画像内の位置が異なるため領域限定ＯＣＲは適していない。一方、これらの文字列は、他の文字よりも相対的に大きく、横書きの書類の場合は書類の左右方向（横書きの文字が並ぶ方向）の中央で上下方向の上側に表されているといった特徴を有することが多い。そこで、認識手段１０２は、これらの文字列を認識した場合に、書類の特徴のとおりのサイズや配置となっていれば、その特徴を有する種類の書類であると認識する。キーワード抽出は、例えば特開２０１２−１９０３１３に開示されている技術を用いて実現される。

地色除去は、書類の下地として描かれた地紋等の画像を除去する方法である。下地が描かれていると下地が文字や罫線に干渉するため無地の場合に比べてＯＣＲ処理や罫線認識の認識率が低くなる。地色除去を行うことで、これらの認識率が高められる。

認識手段１０２による画像の認識は、申請に必要な書類群として複数の書類が提出されたときに行われる。
図５は申請に必要な書類群の例を表す。図５（ａ）では、申請Ａで必要とされる「Ａ申込書」、「住民票」及び「口座開設申請書」を含む書類群Ａが表されている。図５（ｂ）では、申請Ｂで必要とされる「Ｂ申込書」、「運転免許証」、「源泉徴収票」及び「請求書」を含む書類群Ｂが表されている。書類群Ｂに含まれる書類のうち、「運転免許証」は「パスポート」または「健康保険証」でもよく、「源泉徴収票」は「所得証明書」でもよい。また、「請求書」は「契約書」または「注文書」でもよい。

各書類群には、各々の書類群を代表する書類（以下「代表書類」という）が含まれている。代表書類は、その書類群に必ず含まれており、且つ、他の書類群には含まれていない書類である。例えば「Ａ申込書」は書類群Ａの代表書類Ｄ１であり、「Ｂ申込書」は書類群Ｂの代表書類Ｄ２である。例えば提出された複数の書類に代表書類Ｄ１が含まれていれば、それは書類群Ａとして提出されたものであることが分かる。

なお、１枚の書類が複数の申請においてそれぞれの代表書類として用いられる場合がある。例えば、新規登録の申請と、登録更新の申請とを１枚の書類で兼ねさせている場合である。その場合、例えば「新規」及び「更新」のいずれかをチェックする欄など、どの申請で用いる書類なのかということを表す記載がある。従って、その記載がされた状態の書類は、印刷された事項は複数の申請で共通しているが、申請者が記入した事項も含めれば、他の申請の書類群には含まれていない書類、すなわち代表書類となる。

本実施形態では、申請者が、複数の書類を決められた順番に重ねて提出するものとする。決められた順番とは、例えば図５に表す書類群Ａであれば、１番目が代表書類Ｄ１であるＡ申込書、２番目が住民票、３番目が口座開設申請書という順番である。また、書類群Ｂであれば、１番目が代表書類Ｄ２であるＢ申込書、２番目が運転免許証、３番目が源泉徴収票、４番目が請求書という順番である（２から４番目は代替の書類でもよい）。この順番は代表書類や代表書類を記載させる場所に貼ってある紙に記載されている。申請者はこの記載を参照して複数の書類を決められた順番に重ねる。

これらの書類を受け取った担当者は、この決められた順番で重ねられた状態の複数の書類を、代表書類が最初に読み取られるように（紙送りが上のシートから行われる場合には１番目を一番上にして）画像読取部１５のトレーにセットする。これにより複数の書類が読み取られる順番について図６を参照して説明する。
図６は複数の書類が読み取られる順番の一例を表す。図６では、３枚の書類が提出され、１番目の代表書類Ｄ１と、２番目及び３番目のその他の書類とが順番に画像読取部１５によって読み取られる様子が表されている。

上記のとおりセットされた複数の書類の読み取りが開始されると、生成手段１０１が、セットされた複数の書類、すなわち申請に必要な書類群として提出された複数の書類をそれぞれ表す画像データを生成する。認識手段１０２は、こうして申請に必要な書類群として提出された複数の書類のうちの第１の書類と第２の書類とを表す画像データが生成手段１０１によってそれぞれ生成された場合に、まず、第１の書類の画像からその第１の書類の種類を認識し、そののちに第２の書類の画像からその第２の書類の種類を認識する。

認識手段１０２は、本実施形態では、生成手段１０１によって最初（１枚目）に読み取られた書類を第１の書類として扱い、２枚目以降に読み取られた第１の書類以外の書類を第２の書類として扱う。認識手段１０２は、上述したＱＲコード認識などの複数種類の画像認識の方法を有し、それら複数の画像認識の方法を用いてこれらの書類の種類を認識する。認識手段１０２は、書類の種類ごとに用いるべき画像認識の方法を対応付けて定義した定義テーブルを用いる。

図７は定義テーブルの一例を表す。この定義テーブルでは、複数の書類群（Ａ、Ｂ、Ｃ、Ｄ、…）にそれぞれ含まれる各書類の種類に対応する画像認識の方法が定義されている。各書類の種類に対しては、「１」、「２」、・・・というように順番が決められている。例えば書類群Ａであれば、「１」番目が「Ａ申込書」、「２」番目が「住民票」、「３」番目が「口座開設申請書」というように、書類の種類の順番が決められている。

１番目の「Ａ申込書」に対しては、「ＱＲコード認識」という画像認識の方法と、認識用情報として「コード情報：０００１」とが対応付けられている。認識用情報とは、書類の種類を認識するために用いられる情報である。このコード情報は、ＱＲコードが表しているコード情報が「０００１」であった場合に、そのＱＲコードが表された書類の種類が「Ａ申込書」だと認識される、というように用いられる。認識手段１０２がこの画像認識の方法を用いて処理の種類の認識を行ってみた結果、その方法に対応する書類の種類（この場合は「Ａ申込書」）が認識された場合、この画像認識の方法が成功したことになる。反対に、対応する書類の種類が認識されなかった場合、この画像認識の方法が失敗したことになる。

２番目の「住民票」に対しては、「領域限定ＯＣＲ」という画像認識の方法と、「座標：（１００、２）、（２００、１８）」及び「文字列：住民票」という認識用情報とが対応付けられている。この認識用情報は、書類の画像においてこの座標で表された領域からＯＣＲ処理により読み取られた文字列が「住民票」である場合に、この書類の種類が「住民票」だと認識される、というように用いられる。書類群Ａについては３番目の「口座開設申請書」まで定義がされている。書類群Ｂについては４番目の書類の種類まで定義がされている。また、各書類群の１番目の書類の種類は、いずれも代表書類である。

認識手段１０２は、複数通りの画像認識の方法を順番に用いて第１の書類の画像からその第１の書類の種類を認識するか否かをそれぞれ試みる。認識手段１０２は、複数の画像認識の方法として、前述した各書類群の１番目の書類の種類に定義テーブルにおいて対応付けられている複数の画像認識の方法を用いる。つまり、認識手段１０２が用いる複数通りの画像認識の方法は、各々が書類の種類に対応する方法である。認識手段１０２は、図７の例では、「Ａ申込書」、「Ｂ申込書」、「Ｃ申請書」、「Ｄ申請書」という順番で、それらの書類の種類に対応付けられている画像認識の方法を用いて第１の書類の種類の認識を試みる。

本実施形態では、図７に表す定義テーブルを用いることで、「Ａ申込書」、「Ｂ申込書」に対応付けられているＱＲコード認識が、他の画像認識の方法よりも先に用いられることになる。このように、認識手段１０２は、ＱＲコードのように情報をコード化して表す画像（以下「コード画像」という）を認識する方法を、他の画像認識の方法よりも先に用いて第１の書類の種類の認識を試みる。

認識手段１０２が画像認識の方法を用いて第１の書類の種類を認識してみた結果、その認識は成功する場合もあれば失敗する場合もある。例えばＱＲコード認識を用いて読み取られたコード情報が「０００２」であった場合、「Ａ申込書」の認識は失敗するが、次の「Ｂ申込書」の認識が成功することになる。また、ＱＲコード認識で「Ａ申込書」及び「Ｂ申込書」のいずれも認識に失敗した場合、認識手段１０２は、「Ｃ申請書」に対応する領域限定ＯＣＲを用いた認識を行ってみて、それでも失敗する場合は「Ｄ申請書」に対応する領域限定ＯＣＲを用いた認識を試みる。このように、認識手段１０２は、第１の書類の種類を認識する際、認識に成功するまで画像認識の方法を変えて認識を試みる。

認識手段１０２は、前述した複数通りの画像認識の方法のうち、第１の書類の画像からのその第１の書類の種類の認識に成功した方法に対応する種類を第１の書類の種類として認識する。例えば「Ｂ申込書」に対応する画像認識の方法（コード情報「０００２」を用いたＱＲコード認識）を用いた場合に認識が成功したのであれば、認識手段１０２は、この方法に対応する「Ｂ申込書」を第１の書類の種類として認識する。

認識手段１０２は、第１の書類の種類を認識すると、認識された第１の書類の種類を含む書類群について定義された画像認識の方法を、それ以降の書類の種類の認識で用いる。つまり、認識手段１０２は、複数種類の画像認識の方法のうち、認識した第１の書類の種類に応じた画像認識の方法を用いて第２の書類の画像からその第２の書類の種類を認識する。認識手段１０２は、例えば「Ｂ申込書」が第１の書類の種類として認識された場合には、書類群Ｂに対応付けられた定義をそれ以降の書類の種類の認識で用いる。具体的には、認識手段１０２は、２番目の書類の種類である「運転免許証」に対応する画像認識の方法を用いて第２の書類の種類の認識を行ってみて、その次には３番目の書類の種類である「Ｘ県住民票」に対応する画像認識の方法を用いて第２の書類の種類の認識を試みる。

認識手段１０２は、「運転免許証」に対応する画像認識の方法を用いた認識に失敗すると、もう１つの２番目の書類である「健康保険証」に対応する画像認識の方法を用いた認識を試みる。こちらも失敗した場合には、認識手段１０２は、３番目の書類である「Ｘ県住民票」に対応する画像認識の方法を用いた認識を試みる。「Ｘ県住民票」に対応する画像認識の方法は２つあるので、認識手段１０２は、例えばまず１つ目の方法である「領域限定ＯＣＲ」を用いた認識を行ってみて、それに失敗した場合には２つ目の方法である「罫線認識／キーワード抽出」を用いた認識を試みる。この場合、いずれか一方が成功すれば、「Ｘ県住民票」が書類の種類として認識されることになる。

提出された書類に不備があると、例えば２番目の書類の種類として運転免許証も健康保険証も認識されない場合がある。認識手段１０２は、この場合のように第２の書類の種類の認識が失敗しても、続けて他の第２の書類について認識を試みる。認識が失敗したことも重要な情報であるし、他の第２の書類の認識の成否も重要な情報だからである。認識手段１０２は、こうして最後の第２の書類の種類まで認識を試みると、それらの認識の結果を表す結果データを出力手段１０３に供給する。

図８は結果データが表す認識の結果の一例を表す。この結果データは、書類群Ｂに含まれる書類の種類についてそれぞれ認識の「成功」、「失敗」及び「未実施」であったことを表している。この例では２番目の書類として「運転免許証」の認識が成功しているので、「健康保険証」の認識は実施されていない、つまり「未実施」であったことが表されている。

出力手段１０３は、認識手段１０２が認識した結果に基づいて、申請書類（申請のために提出された複数の書類のこと）の揃い具合を表す情報を出力する手段である。出力手段１０３は、認識手段１０２から結果データが供給されると、その結果データに基づいてこの申請書類の揃い具合を表す情報を出力する。

図９は申請書類の揃い具合を表す情報の一例を表す。図９（ａ）では、「画像認識が終了しました」という文字列と、申請の種類が「申請Ｂ」であることと、不足している書類がないこととを表す情報が、申請書類の揃い具合を表す情報として表示部１３に表示されている。出力手段１０３は、結果データが表す書類群の各順番に対応付けられている書類の種類（図８の例では１番目から４番目までの書類の種類）について、いずれも少なくとも１以上の書類の種類について認識に成功していれば、不足している書類の種類がないことを表す情報を出力する。

図９（ｂ）では、図９（ａ）の例と異なり、不足している書類の種類があることを表す情報が、申請書類の揃い具合を表す情報として表示部１３に表示されている。図９（ｂ）では、不足している書類の種類として、「運転免許証または健康保険証」という書類の種類が表されている。出力手段１０３は、結果データが表す書類群の各順番に対応付けられている書類のうち１つも画像認識に成功していないものがあれば、その順番の書類の種類を表す情報を出力する。図９（ｂ）の例では、２番目の書類の種類である運転免許証及び健康保険証のいずれも認識に失敗しているため、これら２つの書類の種類が表されている。

情報処理装置１０は、以上の構成に基づいて、書類の画像からその書類の種類を認識する認識処理を行う。認識処理で情報処理装置１０が行う動作の手順について、図１０及び図１１を参照して説明する。
図１０は認識処理における動作の手順の一例を表す。認識処理は、申請者により提出された複数の書類を担当者が情報処理装置１０に読み取らせる操作を行うことを契機に開始される。まず、情報処理装置１０が、複数の画像を読み取ると、それら複数の画像を表す画像データを生成する（ステップＳ１１）。

次に、情報処理装置１０は、代表書類に対応する方法を用いて第１の書類の画像からその第１の書類の種類を認識するか否かを試みる（ステップＳ１２）。情報処理装置１０は、この認識に成功したか否かを判断し（ステップＳ１３）、成功した（ＹＥＳ）と判断した場合には、第２の書類の認識処理を行う（ステップＳ２０）。第２の書類の認識処理は、第２の書類の画像からその第２の書類の種類の認識を試みる処理である。続いて、情報処理装置１０は、ステップＳ２０の認識処理を行っていない第２の書類の画像が有るか否かを判断し（ステップＳ１５）、有る（ＹＥＳ）と判断した場合には、ステップＳ２０の動作を再び行う。

情報処理装置１０は、ステップＳ１３において認識に失敗した（ＮＯ）と判断した場合には、ステップＳ１２の認識において、自身に対応付けられた画像認識の方法が用いられていない書類群が有るか否かを判断する（ステップＳ１４）。情報処理装置１０は、ステップＳ１４で述べた書類群が有る（ＹＥＳ）と判断した場合には、その書類群に対応付けられた画像認識の方法を用いてステップＳ１２の動作を行う。情報処理装置１０は、ステップＳ１５で述べた第２の書類の画像がない（ＮＯ）と判断した場合には、申請書類の揃い具合を表す情報を出力して（ステップＳ１６）、認識処理を終了する。

情報処理装置１０は、ステップＳ１４で述べた書類群がない（ＮＯ）と判断した場合にも、ステップＳ１６の動作を行って認識処理を終了する。この場合の申請書類の揃い具合を表す情報は、例えば申請書類、すなわち申請のために提出された複数の書類にいずれの代表書類も含まれていないことを表す情報である。ステップＳ１１の動作は生成手段１０１が行い、ステップＳ１６の動作は出力手段１０３が行う。それら以外の動作はいずれも認識手段１０２が行う。

図１１は第２の書類の認識処理における動作の手順の一例を表す。情報処理装置１０は、まず、ステップＳ１２で認識に成功した第１の書類に対応する方法を用いて第２の書類の種類の認識を試みる（ステップＳ２１）。次に、情報処理装置１０は、ステップＳ２１での認識が成功したか否かを判断し（ステップＳ２２）、成功した（ＹＥＳ）と判断した場合には、第２の書類の認識処理を終了する。情報処理装置１０は、ステップＳ２２で認識に失敗した（ＮＯ）と判断した場合には、認識に成功した第１の書類を含む書類群に含まれる他の書類の種類の中に、ステップＳ２１の認識において画像認識の方法が用いられていないものが有るか否かを判断する（ステップＳ２３）。情報処理装置１０は、ステップＳ２３で画像認識の方法が用いられていない書類の種類が有る（ＹＥＳ）と判断した場合には、その書類の種類に対応する画像認識の方法を用いてステップＳ２１の動作を行い、ない（ＮＯ）と判断した場合には第２の書類の認識処理を終了する。

申請に必要な書類群に含まれる書類のフォーマットや記載された内容はまちまちなので、例えば１つの画像認識の方法を用いてそれらの書類の種類を全て認識するのは難しく、各書類の種類に応じた画像認識の方法が用いられることが望ましい。本実施形態では、申請のために提出された第１の書類及び第２の書類の画像から、第１の書類の種類が認識され、認識された第１の書類の種類に応じた画像認識の方法で第２の書類の種類が認識される。例えば上述した代表書類のように書類群に必ず含まれ且つ他の書類群には含まれない書類を第１の書類とすることで、第１の書類の種類が認識されれば、その申請で必要とされる他の書類、すなわち第２の書類の種類が決まり、その第２の書類の画像に対して有効な画像認識の方法も決まる。それらの方法が第１の書類の種類に応じて用いられるようにすることで、認識対象が複数種類の書類を一式としてまとめたものであっても、それぞれの書類に適した書類認識の方法がそれぞれ適用されて認識されることになる。また、それにより、画像認識の方法が固定されている場合に比べて、申請のために提出された複数の書類を表す画像からそれらの書類の種類を認識するときの精度が高められる。

また、本実施形態では、複数通りの画像認識の方法のうち第１の書類の種類の認識に成功した方法に対応する種類が第１の書類の種類として認識される。これにより、第１の書類の種類に適した書類認識の方法が分からなくても第１の書類の種類が認識されることになる。例えば申請を受け付ける業務では、どの種類の申請がされるかは予め分かっているから、それら全ての種類の申請のおける代表書類に対応する画像認識の方法を複数通りの画像認識の方法として用意しておくことで、申請の種類が分からなくても第１の画像の種類が認識されることになる。また、本実施形態では、申請書類、すなわち申請のために提出された複数の書類の揃い具合を表す情報が出力されるので、それらの書類を提出した申請者に書類が足りているか否かが伝えられることになる。

［２］変形例
上述した実施形態は、本発明の実施の一例に過ぎず、以下のように変形させてもよい。また、上述した実施形態及び以下に示す各変形例は、必要に応じてそれぞれ組み合わせて実施してもよい。

［２−１］代表書類の指定
実施形態では第１の書類の種類が画像認識により認識されたが、これに限らず、例えば申請書類を受け付ける担当者など、人が指定することで認識されてもよい。この場合、例えば認識手段１０２が、申請の種類を指定するための画像を表示部１３に表示する。

図１２は申請の種類を指定するための画像の一例を表す。図１２では、表示部１３に「申請の種類を指定してください」という文字列と、指定されている申請の種類を表示する表示欄Ｇ１と、指定する種類を決定する際にユーザが操作する操作子Ｇ２とが表示されている。図１２のように「申請Ａ」が表示欄Ｇ１に表示されているときに操作子Ｇ２が操作されることで、申請の種類として申請Ａが指定される。この場合、認識手段１０２は、申請Ａの代表書類である「Ａ申込書」を第１の書類の種類として認識する。

例えば罫線認識やキーワード抽出といった画像認識の方法は、罫線や文字列の状態によっては正しい書類の種類が認識されない場合がある。そのため、例えば図７に表す書類群Ｄとして提出された複数の書類に「Ｄ申請書」が含まれていても、「Ｄ申請書」という文字列がずれて印刷されていると、領域限定ＯＣＲで正しい情報が読み取られず、第１の書類の種類が認識されないことになる。本変形例によれば、その場合にも、担当者が第１の書類の種類を指定することで、第１の書類の種類が認識されるようになり、第２の書類の種類の認識や申請書類の揃い具合を表す情報の出力が行われるようになる。

［２−２］複数枚の書類の種類の認識
実施形態では、１つの種類の書類は１枚の書類で提出されたが、複数枚の書類が提出される場合がある。例えば申請書に添付する証明書が３枚にわたって記載されているという場合である。この枚数が決まっている場合には、定義テーブルにおいて、各頁に対応する画像認識の方法が対応付けられていればよい。

図１３は本変形例の定義テーブルの一例を表す。この定義テーブルでは、図７に表す定義テーブルに「頁」の列が加わっている。この例では、書類群Ｅの２番目の書類である「証明書」については、「１」から「３」頁まで３つの画像認識の方法が対応付けられている。この場合、認識手段１０２は、これら３つの頁の認識がいずれも成功した場合に、「証明書」を第２の書類の種類として認識する。

また、複数の書類には、枚数が決まっていない種類の書類が含まれている場合がある。例えば申請書に契約書の写しを添付する場合、添付する契約書の内容によって枚数が変化する。また、先に述べた証明書も、誰が作成するかによって枚数が変化することがある。この場合、認識手段１０２は次のように認識を行う。複数の書類には、第１の種類の書類と第２の種類の書類とが含まれており、第１の種類の書類の次に第２の種類の書類を認識するように順番が決められているものとする。

その場合に、認識手段１０２は、第１の種類に応じた第１の画像認識の方法及び第２の種類に応じた第２の画像認識の方法を用いて書類の種類を認識する。そして、認識手段１０２は、第１の画像認識の方法での認識が成功したときにはその第１の画像認識の方法及び第２の画像認識の方法で次の書類の種類を認識し、第２の画像認識の方法での認識が成功したときには引き続きその第２の画像認識の方法で次の書類の種類を認識する。このように認識が行われることで、第１の種類の書類の枚数が決まっていない場合でも、その枚数分だけ第１の種類の書類が認識される。この認識が行われる場合に用いられる定義テーブルの一例を図１４に表す。

図１４は本変形例の定義テーブルの他の一例を表す。この定義テーブルでは、書類群Ｅに含まれる「Ｅ申込書」、「証明書」、「契約書」及び「源泉徴収票」と、それらに対応する「α」、「β」、「γ」及び「Δ」という画像認識の方法とが表されている。各書類が認識される順番は「Ｅ申込書」、「証明書」、「契約書」、「源泉徴収票」と決められており、このうちの「証明書」及び「契約書」は枚数が決まっていないものとする。認識手段１０２は、まず、代表書類である「Ｅ申込書」をαの方法で認識する。これ以降の動作の手順について図１５を参照して説明する。

図１５は本変形例の認識処理における情報処理装置の動作の手順の一例を表す。情報処理装置１０は、まず、β及びγという２つの方法を用いて書類の種類の認識を試みる（ステップＳ３１）。次に、情報処理装置１０は、γを用いて書類の種類が認識されたか否かを判断し（ステップＳ３２）、認識されていない（ＮＯ）と判断した場合には、ステップＳ３１に戻り、次の書類についても、β及びγという２つの方法を用いて書類の種類の認識を試みる。この場合、βが第１の画像認識の方法として用いられ、γが第２の画像認識の方法として用いられる。情報処理装置１０は、ステップＳ３２でγを用いて認識された（ＹＥＳ）と判断した場合には、次に、γ及びΔという２つの方法を用いて次の書類の種類の認識を試みる（ステップＳ３３）。

続いて、情報処理装置１０は、Δを用いて書類の種類が認識されたか否かを判断し（ステップＳ３４）、認識されていない（ＮＯ）と判断した場合には、ステップＳ３３に戻り、次の書類についても、γ及びΔという２つの方法を用いて書類の種類の認識を試みる。この場合、γが第１の画像認識の方法として用いられ、Δが第２の画像認識の方法として用いられる。情報処理装置１０は、ステップＳ３４でΔを用いて認識された（ＹＥＳ）と判断した場合には、Δを用いて認識される源泉徴収票は１枚の書類であるため、認識処理を終了する。ステップＳ３１からＳ３４までの動作は認識手段１０２が行う。

以上のとおり処理の種類が認識されることで、枚数が決まっていない種類の書類が複数の書類に含まれている場合でも、その種類の書類の枚数分だけその書類の種類が認識され、さらにその次の書類の種類も認識されることになる。なお、上述した第１及び第２の種類の書類は、いずれも第２の書類、すなわち２枚目以降に読み取られた第１の書類以外の書類であったが、第１の書類（つまり代表書類）の枚数が決まっていない場合には、代表書類が第１の種類の書類であり、その次に認識される書類が第２の種類の書類であってもよい。

［２−３］読み取りの順番が不定
実施形態では、生成手段１０１が読み取る書類の種類の順番が決まっていたが、これに限らない。例えば図１４に表す第１の書類の種類である「Ｅ申込書」は１番目と決まっているが、第２の書類の種類である「証明書」、「契約書」及び「源泉徴収票」の順番が決まっていない場合を説明する。

図１６は本変形例の第２の書類の認識処理における動作の手順の一例を表す。情報処理装置１０は、まず、β、γ及びΔという３つの方法を用いて第２の書類の種類の認識を試みる（ステップＳ４１）。この場合、第２の書類の種類がどのように並んでいても、いずれかの方法を用いた認識が成功することになる。次に、情報処理装置１０は、認識が成功した画像認識の方法が変化したか否かを判断し（ステップＳ４２）、変化していない（ＮＯ）と判断した場合にはステップＳ４１に戻って動作を行う。これにより、証明書や契約書のように枚数が決まっていない種類の第２の書類であっても、認識がされなくなるまでステップＳ４１の動作が繰り返し行われる。

情報処理装置１０は、ステップＳ４２で変化した（ＹＥＳ）と判断した場合には、先に認識が成功していた方法を除く２つの方法を用いて第２の書類の種類の認識を試みる（ステップＳ４３）。例えば最初にγでの認識が成功していれば、β及びγが用いられる。次に、情報処理装置１０は、認識が成功した画像認識の方法が変化したか否かを判断し（ステップＳ４４）、変化していない（ＮＯ）と判断した場合にはステップＳ４３に戻って動作を行う。情報処理装置１０は、ステップＳ４４で変化した（ＹＥＳ）と判断した場合には先に認識が成功していた方法を除く１つの方法を用いて第２の書類の種類の認識を試みる（ステップＳ４５）。そして、情報処理装置１０は、未認識の第２の書類の画像が有るか否かを判断し（ステップＳ４６）、有る（ＹＥＳ）と判断した場合にはステップＳ４５の動作を行い、ない（ＮＯ）と判断した場合には、第２の書類の認識処理を終了する。

本変形例では、認識手段１０２が、複数の第２の書類の種類にそれぞれ対応する複数の画像認識の方法を用いた第２の書類の種類の認識を繰り返し試み、それまで認識が成功していた方法を用いた認識が失敗すると、その方法を除いた画像認識の方法を用いて第２の書類の種類の認識を試みる。これにより、複数の種類の第２の書類を読み取る順番が決まっていない場合でも、それらの第２の書類の種類が認識されることになる。

［２−４］２段階の画像認識
認識手段１０２は、画像認識を２段階で行ってもよい。認識手段１０２は、例えば、画像認識の方法が適用可能か否かを確認するための画像認識を１段階目として行い、これにより適用可能と確認された場合に、適用可能と確認された画像認識を２段階目として行って書類の種類を認識する。この１段階目の画像認識としては、２段階目の画像認識よりも処理の負荷が小さいものが用いられる。具体例と挙げると、例えばＱＲコード認識の場合、書類の画像上にＱＲコードが有るか否かを確認するための画像認識が１段階目として行われ、有ることが確認されると、画像認識の方法が適用可能と判断し、そのＱＲコードが表すコード情報を読み取って書類の種類を認識するための画像認識が第２段階として行われる。

また、領域限定ＯＣＲの場合は、限定した領域が空白でないか否かを確認するための画像認識が１段階目として行われ、空白でないことが確認されると、画像認識の方法が適用可能と判断し、その領域に対するＯＣＲ処理が２段階目として行われる。認識手段１０２は、この１段階目の画像認識を図１６に表すステップＳ４１及びＳ４３で行い、それにより適用可能と判断した方法を用いて第２の書類の種類の認識を試みる。これにより、常に第２の書類の種類の認識を試みる場合に比べて、認識手段１０２が行う処理の負荷が軽減される。

［２−５］上下反対の読み取り
実施形態では画像読取部１５がトレーにセットされた複数の書類のうち上に重ねられたものから順番に送り出したが、反対に下に重ねられたものから順番に送り出すものもある。その場合、申請者が実施形態のように代表書類を１番上に重ねていると、代表書類が最後に読み取られることになる。また、申請者が代表書類を重ねる位置を間違えてしまい、代表書類が最後に読み取られるということも起こり得る。認識手段１０２は、こういった場合に備えた認識を行ってもよい。

具体的には、認識手段１０２は、生成手段１０１により最初に読み取られた書類を表す画像を第１の書類の画像とした場合に、その第１の書類の画像からは第１の書類の種類が認識されないときには、生成手段１０１により最後に読み取られた書類を表す画像を第１の書類の画像として第１の書類の種類の認識を試みる。これにより、前述したように代表書類が最後に読み取られたとしても、認識手段１０２は最後に読み取られた書類を表す画像から第１の書類の種類を認識し、そのあとは例えば実施形態のように第２の種類の書類の種類を認識する。本変形例によれば、複数の書類の重ね方やトレーへのセットの仕方が間違っていて代表書類が最後に読み取られてしまう場合、すなわち最初に読み取られた書類の種類が最後に認識される場合でも、第１の書類の種類が認識されることになる。

［２−６］代表書類の位置
代表書類の位置は、実施形態では複数の書類の一番上で上記の変形例では一番上または一番下であったが、それら以外、つまり他の書類に挟まれた位置であってもよい。その場合でも、例えば代表書類の位置が指定されることで、認識手段１０２は、指定された位置に相当する順番で読み取られた書類の画像を第１の書類の画像として、認識を行う。また、認識手段１０２は、第１の書類の画像の種類を認識するための画像認識の方法を各書類の画像に対して順番に行っていき、認識に成功した書類を第１の書類として認識してもよい。その場合は、認識手段１０２は、認識に失敗した書類も含めて第２の書類の認識処理を行う。

［２−７］複数の書類群の読み取り
実施形態では１つの申請のための複数の書類の種類が認識されたが、２以上の申請のための複数の書類の種類が連続して認識されてもよい。
図１７は本変形例の認識処理における動作の手順の一例を表す。以下では、図７に表す書類群Ａ及びＢとして提出された複数の書類の画像が生成された場合を例にとって説明する。情報処理装置１０は、まず、ステップＳ２０（第２の書類の認識処理）まで図１０に表す例と共通の動作を行う。それにより、書類群Ａの「Ａ申込書」及び「住民票」に対応する画像認識の方法を用いた書類の種類の認識が行われる。

次に、情報処理装置１０は、第２の書類の種類の認識に用いられていない未使用の画像認識方法が有るか否かを判断する（ステップＳ５１）。この例では、第１の書類の種類が「Ａ申込書」と認識されるので、「住民票」及び「口座開設申請書」に対応する画像認識の方法が順番に用いられる。ステップＳ２０で「住民票」に対応する画像認識の方法を用いた認識が行われたあとであれば、「口座開設申請書」に対応する画像認識の方法が未使用であるため、情報処理装置１０は、ステップＳ２０の動作を行い、この方法を用いて第２の書類の種類の認識を試みる。

これにより、未使用の画像認識の方法がなくなるので、情報処理装置１０は、次に、複数の書類を表す画像が残っているか否かを判断する（ステップＳ５２）。この例では、書類群Ａとして提出された複数の書類は認識されたが、書類群Ｂとして提出された複数の書類はまだ認識されていない。つまり、複数の書類を表す画像が残っているので、情報処理装置１０は、残っている（ＹＥＳ）と判断して、ステップＳ１２（第１の書類の種類の認識）に戻って動作を行う。そののち、書類群Ｂとして提出された複数の書類についても認識が終了すると、情報処理装置１０は、ステップＳ５２で複数の書類を表す画像が残っていない（ＮＯ）と判断し、ステップＳ１６（申請書類の揃い具合を表す情報の出力）の動作を行って認識処理を終了する。本変形例によれば、２以上の申請のための書類が提出されても、それらをまとめて読み取らせることで、各書類の種類が認識されることになる。

［２−８］画像認識の方法
画像認識の方法は上述したものに限らない。例えばＱＲコードの代わりにバーコードや他の２次元コード画像が用いられてもよい。また、ＱＲコード認識及び領域限定ＯＣＲの両方を１つの種類の書類に対して用いてもよいし、３以上の画像認識の方法を組み合わせて１つの種類の書類に対して用いてもよい。また、ＯＣＲ処理で用いる辞書のフォントの種類を認識用情報として用いてもよい。書類の種類によってフォントの種類が決まっている場合に、その種類のフォントを用いることで、そのフォントを用いない場合に比べて認識率が向上する。

［２−９］各手段を実現する装置
図２に示す各手段は実施形態とは異なる装置によって実現されてもよい。
図１８は本変形例で実現される機能構成の例を表す。図１８（ａ）では、図２に表す生成手段１０１を備える読取装置２０と、認識手段１０２及び出力手段１０３を備える情報処理装置１０ａとを備える情報処理システム１が表されている。この例では、図１に表す画像読取部１５を備えていない装置でも情報処理装置として利用される。

図１８（ｂ）では、読取装置２０と、認識手段１０２を備える情報処理装置１０ｂと、出力手段１０３を備える出力装置３０とを備える情報処理システム１ａが表されている。これらの装置は図示せぬ通信回線で接続されている。この場合の情報処理装置１０ｂとしては、例えば書類の提出がされる場所とは異なる場所（例えばデータセンター）に設置されたサーバ装置が用いられる。この例では、書類を提出する窓口に設置された読取装置２０に複数の書類が読み取られ、読み取られた書類を表す画像から情報処理装置１０ｂが書類の種類を認識し、その結果を表す結果データが出力装置３０に送信される。

出力装置３０も窓口に設置されており、この装置が結果データに基づいて申請書類の揃い具合を表す情報を出力する。以上のように、実施形態で述べた情報処理装置１０が実現する各手段は、様々な装置によって実現されてもよい。いずれの場合も、認識手段１０２を備える情報処理装置によって、画像認識の方法が固定されている場合に比べて、申請のために提出された複数の書類を表す画像からそれらの書類の種類を認識するときの精度が高められる。

［２−１０］複数の書類
複数の書類は、予め定められた申請に必要な書類群として提出されたものに限らない。例えば申請とは異なる業務で作成される複数の書類であってもよい。それらの書類を読み込んで生成された画像データを記録する業務があれば、上述した認識処理が行われることで、書類の揃い具合がユーザに伝えられるので業務の役に立つ。要するに、書類の種類の組合せが予め定められている書類群として提出されるものであれば、どのような複数の書類が用いられてもよい。いずれの場合も、認識手段１０２が提出された複数の書類のそれぞれの種類を認識し、出力手段１０３が、認識手段１０２が認識した結果に基づいて、提出された複数の書類の揃い具合を表す情報を出力することで、それらの書類を提出した者に書類が足りているか否かが伝えられることになる。

［２−１１］第１の書類
実施形態では、第１の書類は１枚の書類であったが、２枚以上の書類であってもよい。その場合、第１の書類である代表書類についても、その頁ごとの画像認識の方法が対応付けられた定義テーブルが用いられる。
図１９は本変形例で用いられる定義テーブルの一例を表す。この定義テーブルでは、書類群Ｆの代表書類である「Ｆ申請書」と、その各頁に対応する「ε」、「ζ」及び「η」という画像認識の方法が表されている。また、２番目の書類である「運転免許証」とそれに対応する「κ」という画像認識の方法も表されている。

認識手段１０２は、各代表書類に対応付けられた画像認識の方法で第１の書類の種類の認識を試みる際に、「Ｆ申請書」については、１番目の書類に対応付けられた「ε」を用いて認識を試みる。この認識が成功すると、認識手段１０２は、引き続き２番目の書類の画像の「ζ」を用いた認識を試みて、それも成功すると、３番目の書類の画像の「η」を用いた認識を試みる。これらの認識が成功すると、認識手段１０２は、第１の書類の種類を「Ｆ申請書」と認識し、残る第２の書類の画像の「κ」を用いた認識を試みる。このように、代表書類が２枚以上の書類であっても、それを第１の書類とした認識が行われる。

［２−１２］画像認識を行う方向
認識手段１０２は、画像認識を行う際、画像を複数のパーツに分割し、例えば画像の一方の側から他方の側に向けて順次画像のパーツを読み込んで行き、読み込んだパーツに対して画像認識の処理を行っていく。
図２０は書類の画像に対する画像認識の様子の一例を表す。図２０（ａ）では、書類の画像Ｓ３のパーツが上辺Ｈ３１側から読み込まれて下辺Ｈ３２側に向けて画像認識の処理が行われていく様子が表されている。図２０（ｂ）では、画像Ｈ３のパーツが下辺Ｈ３２側から読み込まれて上辺Ｈ３１側に向けて画像認識の処理が行われていく様子が表されている。

例えば領域限定ＯＣＲを行う場合、限定する領域が上辺Ｈ３２側にあるのなら、上辺Ｈ３１側から画像のパーツを読み込めば、その領域の画像のパーツを読み込んだあとは読み込みを停止させてもよい。一方、下辺Ｈ３２側から画像のパーツを読み込むと、限定する領域の画像のパーツを読み込むまでに画像のパーツの概ね全体を読み込むことになる。そのため、限定する領域が存在する側から認識手段１０２が画像認識の処理を行うようにすると、反対側から行う場合に比べて、画像認識の処理の負荷が軽くなる。これは他の画像認識の処理でもいえることである。従って、認識手段１０２が、書類の画像において画像認識の処理を施す領域の配置が偏っていた場合に、その領域が配置されている側から画像認識の処理を施すことで、その反対側から行う場合に比べて、画像認識の処理の負荷が軽くなる。

また、認識手段１０２は、複数の書類の画像の画像認識を次のように行ってもよい。
図２１は複数の書類の画像の一例を表す。図２１では、画像Ｓ３−１からＳ３−６までの６つの画像が表されている。これらの画像は、いずれも、書類の上側に限定された領域Ｒ３が定められており、図２１ではそれらの領域Ｒ３を斜線を引いて表している。申請者が書類の上下を合わせて重ねていれば、これらの領域Ｒ３は同じ側に配置されるはずで あるが、この例では、Ｓ３−１からＳ３−３までの画像と画像Ｓ３−４から３−６までの画像とが上下反対に向けられて重ねられている。このため、領域Ｒ３の配置もＳ３−１からＳ３−３までは上辺Ｈ３１側に偏っていたが、Ｄ３−４からは下辺Ｈ３２側に偏るようになっている。

認識手段１０２は、書類の画像の一方の側（例えば上辺Ｈ３１側）からその反対側（例えば下辺Ｈ３２側）に向けて画像認識の処理を進めていき、対象の領域に対する処理が終わったら画像認識の処理を停止して、次の書類の画像に対して画像認識の処理を施す。その際、認識手段１０２は、各書類の画像に対する画像認識の処理量を測定しておき、測定した処理量が閾値以上になった場合に、次の書類の画像からは画像認識の処理を前述した反対側（この例では下辺Ｈ３２側）から開始する。この閾値としては、例えば、書類の画像の半分または３分の１等の領域に対して画像認識の処理を施したときの処理量が定められる。これにより、画像認識の処理を進める方向が一定の場合に比べて、認識手段１０２が行う画像認識の処理の量が少なくなる。

［２−１３］書類の種類以外の認識
認識手段１０２は、実施形態では処理の種類を認識したが、これ以外の情報を認識してもよい。認識手段１０２は、例えば、書類の決められた領域に記載があるか否かを認識したり、記載された文字列を認識したりする。例えばその領域に記載すべき文字列が定義テーブルに定義されていれば、認識手段１０２は、認識した文字列と定義テーブルを用いて、記載すべき文字列がその領域に記載されているか否かも認識する。これらの場合、出力手段１０３は、決められた領域の記載の有無を表す情報を申請書類の揃い具合を表す情報として出力する。これにより、申請に必要な種類の書類は揃っていても記載に不備があるため申請が受け付けられない場合に、そのことが申請者に伝えられることになる。

［２−１４］認識失敗時の処理
認識手段１０２は、実施形態では第２の書類の種類の認識が失敗しても続けて他の第２の書類について認識を試みたが、これに限らず、認識が失敗した時点で第２の書類の認識を終了してもよい。なお、図７に表す書類群Ｂの２番目の書類（「運転免許証」または「健康保険証」）のように、複数種類の書類のうちのいずれかを提出すればよいもの（代替の書類があるもの）については、それら複数種類の書類のそれぞれに対応する画像認識の方法が全て失敗した場合に、第２の書類の認識を終了する。

図２２は本変形例の認識処理における動作の手順の一例を表す。この例では、まず、図１０に表すステップＳ１１（画像データの生成）からステップＳ１３（認識成功の判断）までが行われる。情報処理装置１０は、第１の書類の種類の認識に成功したと判断すると、次に、第２の書類の認識処理として、書類の順番毎の第２の書類の認識処理を行う（ステップＳ６０）。例えば図７に表す「Ｂ申込書」に対応する方法を用いて第２の書類の種類の認識を試みる場合であれば、２番目の書類である「運転免許証」の認識を行い、それに失敗すれば「健康保険証」の認識も行う。つまり、情報処理装置１０は、各順番の書類に代替の書類がある場合には、認識が成功するまでそれら代替の書類についても全て書類の種類の認識を試みる。

次に、情報処理装置１０は、第２の書類の認識処理が失敗したか否かを判断する（ステップＳ６１）。情報処理装置１０は、第２の書類の認識処理が失敗した（ＹＥＳ）と判断した場合には、ステップＳ１６に進んで、申請書類が揃っていないことを表す情報（運転免許証か健康保険証が欠けていることを表す情報でもよい）を出力する。また、情報処理装置１０は、第２の書類の認識処理が成功した（ＮＯ）と判断した場合には、ステップＳ１５（認識処理の未実施の判断）を行う。例えば２番目の書類の認識が成功しても、３番目以降の書類が認識処理されずに残っているので、ステップＳ６０に戻って３番目の書類の認識処理が行われる。このように、本変形例では、２番目以降の書類については、書類の順番毎に第２の書類の認識処理が行われる。

［２−１５］発明のカテゴリ
本発明は、上述した情報処理装置の他に、情報処理装置が実現する機能を実現する複数の装置やそれらの装置を備えるシステムとしても捉えられる。また、情報処理装置が実施する処理を実現するための情報処理方法や、情報処理装置のようなコンピュータを、上述した各手段として機能させるためのプログラムとしても捉えられる。このプログラムは、それを記憶させた光ディスク等の記録媒体の形態や、インターネット等のネットワークを介してコンピュータにダウンロード及びインストールさせて利用可能にするなどの形態で提供される。

１…情報処理システム、１０…情報処理装置、２０…読取装置、３０…出力装置、１１…制御部、１２…記憶部、１３…表示部、１４…操作部、１５…画像読取部、１０１…生成手段、１０２…認識手段、１０３…出力手段。

Claims (8)

1. 複数種類の画像認識の方法を有する認識手段であって、書類を読み取って当該書類の画像データを生成する生成手段によって複数の書類のうちの第１の書類と第２の書類の画像データがそれぞれ生成された場合、前記第１の書類の画像データから当該第１の書類の種類を認識し、前記複数種類の画像認識の方法のうち当該第１の書類の種類に応じた画像認識の方法を用いて前記第２の書類の画像データから当該第２の書類の種類を認識する認識手段
   を備えることを特徴とする情報処理装置。
2. 前記複数の書類は、書類の種類の組合せが予め定められている書類群として提出されるものであり、
   前記認識手段が認識した結果に基づいて、提出された前記複数の書類の揃い具合を表す情報を出力する出力手段を備える
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記認識手段は、前記第１の書類の種類を認識する際、認識に成功するまで前記画像認識の方法を変えて認識を試みる
   ことを特徴とする請求項１または２に記載の情報処理装置。
4. 前記生成手段は複数の書類を１枚ずつ順番に読み取り、
   前記認識手段は、前記生成手段により最初に読み取られた書類の画像データを前記第１の書類の画像データとした場合に、当該第１の書類の画像データからは当該第１の書類の種類が認識されない場合には、前記生成手段により最後に読み取られた書類の画像データを前記第１の書類の画像データとして前記第１の書類の種類の認識を試みる
   ことを特徴とする請求項３に記載の情報処理装置。
5. 前記複数の書類には、枚数が決まっていない第１の種類の書類と、第２の種類の書類とが含まれ、
   前記認識手段は、第１の種類の書類の次に第２の種類の書類を認識するように順番が決められている場合に、前記第１の種類に応じた第１の画像認識の方法及び前記第２の種類に応じた第２の画像認識の方法を用いて書類の種類を認識し、前記第１の画像認識の方法での認識が成功したときには当該方法及び前記第２の画像認識の方法で次の書類の種類を認識し、前記第２の画像認識の方法での認識が成功したときには当該方法で次の書類の種類を認識する
   ことを特徴とする請求項１から４のいずれか１項に記載の情報処理装置。
6. 前記第２の書類には複数の種類があり、当該複数の種類は前記生成手段により読み取られる順番が決まっておらず、
   前記認識手段は、複数の前記第２の書類の種類にそれぞれ対応する複数の画像認識の方法を用いた第２の書類の種類の認識を繰り返し試み、それまで認識が成功していた方法を用いた認識が失敗すると、その方法を除いた画像認識の方法を用いた前記第２の書類の種類の認識を試みる
   ことを特徴とする請求項１から５のいずれか１項に記載の情報処理装置。
7. 書類を読み取って当該書類の画像データを生成する生成手段と、
   複数種類の画像認識の方法を有し、前記生成手段によって複数の書類のうちの第１の書類と第２の書類の画像データがそれぞれが生成された場合、前記第１の書類の画像データから当該第１の書類の種類を認識し、前記複数種類の画像認識の方法のうち当該第１の書類の種類に応じた画像認識の方法を用いて前記第２の書類の画像データから当該第２の書類の種類を認識する認識手段とを備える
   ことを特徴とするシステム。
8. コンピュータを、
   複数種類の画像認識の方法を有する認識手段であって、書類を読み取って当該書類の画像データを生成する生成手段によって複数の書類のうちの第１の書類と第２の書類の画像データがそれぞれ生成された場合、前記第１の書類の画像データから当該第１の書類の種類を認識し、前記複数種類の画像認識の方法のうち当該第１の書類の種類に応じた画像認識の方法を用いて前記第２の書類の画像データから当該第２の書類の種類を認識する認識手段
   として機能させるためのプログラム。

Images