JP7131488B2 - 情報処理装置、情報処理方法及び情報処理プログラム - Google Patents

Description

本発明は、帳票の認識を行う情報処理装置、情報処理方法及び情報処理プログラムに関する。

従来では、帳票を認識する際に、帳票画像上における読取対象文字列の記載位置及びその属性を登録した「帳票定義」を用い、読取対象文字列の読み取りとその属性の認識を行うことが知られている。

また、従来では、多様なレイアウトが混在する帳票や、処理対象とする帳票のレイアウトが未知である場合等を想定した帳票の認識の手法が知られている。具体的には、例えば、従来では、読み取り対象となる項目の項目名を予め定義し、帳票画像において認識された文字列から、項目名を特定し、特定した項目名の周辺の文字列から、項目の値を抽出することが知られている。

帳票のレイアウトは、帳票を取り扱う組織や帳票の用途等によって異なり、多種多様である。このため、上述した従来の手法を適用しても、帳票の項目名や、項目名と項目の値との位置関係を正確に認識することが困難な場合があった。

本発明は、上記事情に鑑みて成されたものであり、帳票の認識の精度を向上させることを目的としている。

開示の技術は、記憶部に格納された、帳票の項目及び項目の値の位置関係を定義した第一の帳票定義情報と、利用者固有の帳票の項目及び項目の値の位置関係を定義した第二の帳票定義情報と、を取得する取得部と、帳票画像から読み取られた文字列と、文字列の位置を示す情報とが対応付けられた読取結果情報から、前記第一の帳票定義情報と前記第二の帳票定義情報の少なくとも何れか一方に基づき前記項目及び項目の値を抽出する項目抽出部と、抽出された前記項目及び項目の値を認識結果として出力する出力部と、を有し、前記記憶部には、特定の帳票の項目及び項目の値の位置関係を定義した第三の帳票定義情報が格納されており、前記第三の帳票定義情報は、前記第一の帳票定義情報よりも高く、前記第二の帳票定義情報よりも低い優先度が付与されており、前記出力部は、前記第一乃至第三の帳票定義情報のうち、最も優先度が高い帳票定義情報に基づき抽出された前記項目及び項目の値を前記認識結果とする、情報処理装置である。

帳票の認識の精度を向上させることができる。

帳票認識システムのシステム構成の一例を示す図である。 サーバ装置のハードウェア構成の一例を示す図である。 種別判定データベースの一例を示す図である。 帳票定義データベースに格納される帳票定義情報の種類を示す図である。 汎用定義情報の一例を示す図である。 個社定義情報の一例を示す図である。 特定定義情報の一例を示す図である。 サーバ装置の機能を説明する図である。 帳票認識システムの動作を説明するシーケンス図である。 ジョブリストの一例を示す図である。 帳票認識部の処理を説明するフローチャートである。 項目抽出部の処理を説明するフローチャートである。 読取結果情報の一例を示す図である。 表示画面生成部が生成した認識結果確認画面の一例を示す図である。 認識結果データの一例を示す図である。

以下に図面を参照して、実施形態について説明する。図１は、帳票認識システムのシステム構成の一例を示す図である。

本実施形態の帳票認識システム１００は、サーバ装置２００、画像形成装置３００、端末装置４００を有する。本実施形態の帳票認識システム１００において、サーバ装置２００と、画像形成装置３００と、端末装置４００とは、ネットワークを介して接続される。

また、本実施形態の端末装置４００は、例えば、ネットワークを介して基幹システム５００と接続される。基幹システム５００とは、例えば、本実施形態の帳票認識システム１００において帳票を認識した結果を用いて、特定の処理を行うシステムである。具体的には、例えば、基幹システム５００は、会計システムや、見積もり作成システム等であっても良い。

本実施形態の帳票認識システム１００において、サーバ装置２００は、画像形成装置３００のスキャナ機能によって読み取られた帳票の画像を示す画像データから、帳票に含まれる項目と項目の値とを抽出し、項目と項目の値とを対応付けたテキストデータとする。

以下の説明では、画像形成装置３００のスキャナ機能によって読み取られた帳票の画像を帳票画像と呼び、帳票画像を示す画像データを帳票画像データと呼ぶ。

また、以下の説明では、帳票画像に含まれる項目と、この項目の値とを抽出し、項目と項目の値とをテキストデータに変換して対応付けることを、帳票認識と呼ぶ。

本実施形態のサーバ装置２００は、記憶部２１０と、帳票認識処理部２２０とを有する。記憶部２１０には、画像データベース２３０、種別判定データベース２４０、帳票定義データベース２５０、認識結果データベース２６０が設けられている。

画像データベース２３０は、帳票画像データが格納される。種別判定データベース２４０は、帳票の種類を判別する際に参照される情報が格納される。帳票定義データベース２５０は、帳票認識処理部２２０による帳票認識を行う際に参照される帳票定義情報が格納される。認識結果データベース２６０は、帳票認識処理部２２０による帳票認識の結果を示す情報が格納される。

本実施形態の帳票認識処理部２２０は、画像データベース２３０に格納された帳票画像データを取得し、種別判定データベース２４０を参照して帳票の種別の判定と、参照すべき帳票定義情報の特定を行う。そして、帳票認識処理部２２０は、帳票定義データベース２５０において、特定された帳票定義情報を用いて帳票認識を行い、その結果を認識結果データベース２６０へ格納する。帳票定義情報とは、帳票に含まれる項目名の記載位置を示す情報と、項目名と項目の値との位置関係を示す情報とを含む。

ここで、本実施形態の帳票認識処理部２２０は、帳票認識を行う際に、帳票定義データベース２５０に格納された、汎用定義情報と、個社定義情報と、を参照する。

本実施形態の汎用定義情報とは、一般的な帳票のレイアウトを定義した帳票定義情報であり、個社定義情報とは、帳票認識システム１００を利用する利用者固有の帳票のレイアウトを定義した帳票定義情報である。種別判定データベース２４０と、帳票定義データベース２５０の詳細は後述する。

本実施形態では、このように、帳票認識の際に、２種類の帳票定義情報を用いることで、汎用的な帳票に加えて、利用者固有の帳票も認識することができ、帳票の認識の精度を向上させることができる。

本実施形態の帳票認識システム１００において、画像形成装置３００は、スキャナ機能を有する複合機である。画像形成装置３００は、コピー機能、ＦＡＸ機能、スキャナ機能等を実現するためのアプリケーションが搭載されており、各機能と対応するアプリケーションを選択することで、これらの機能が実現される。

本実施形態の端末装置４００は、帳票認識システム１００を利用する利用者によって使用される。また、端末装置４００には、サーバ装置２００による帳票認識の結果が表示されても良い。

尚、本実施形態における利用者とは、例えば、企業等である。より具体的には、例えば、利用者とは、帳票認識システム１００が提供するサービスを利用するための契約を締結している事業所や企業、団体等である。

尚、図１の例では、サーバ装置２００は、記憶部２１０内に４つのデータベースを有する構成としたが、これに限定されない。各データベースは、一部がサーバ装置２００の外部装置に設けられていても良いし、各データベース全てが外部装置に設けられていても良い。

また、図１の例では、サーバ装置２００が帳票認識処理部２２０を実現するものとしたが、これに限定されない。帳票認識処理部２２０は、複数の情報処理装置によって実現されても良い。

また、図１の例では、帳票認識システム１００に含まれる画像形成装置３００と端末装置４００とは、それぞれ１台としているが、帳票認識システム１００に含まれる画像形成装置３００と端末装置４００の台数は、任意の数であって良い。

次に、図２を参照して、本実施形態のサーバ装置２００のハードウェア構成について説明する。図２は、サーバ装置のハードウェア構成の一例を示す図である。

本実施形態のサーバ装置２００は、それぞれバスＢで相互に接続されている入力装置２１、出力装置２２、ドライブ装置２３、補助記憶装置２４、メモリ装置２５、演算処理装置２６及びインターフェース装置２７を含む情報処理装置である。

入力装置２１は、各種の情報の入力を行うための装置であり、例えばキーボードやポインティングデバイス等であっても良い。出力装置２２は、各種の情報の出力を行うためものであり、例えばディスプレイ等であっても良い。インターフェース装置２７は、ＬＡＮカード等を含み、ネットワークに接続する為に用いられる。

情報処理プログラムは、サーバ装置２００を制御する各種プログラムの少なくとも一部である。情報処理プログラムは例えば記憶媒体２８の配布やネットワークからのダウンロード等によって提供される。情報処理プログラムを記録した記憶媒体２８は、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的、電気的或いは磁気的に記録する記憶媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリ等、様々なタイプの記憶媒体を用いることができる。

また、情報処理プログラムは、情報処理プログラムを記録した記憶媒体２８がドライブ装置２３にセットされると、記憶媒体２８からドライブ装置２３を介して補助記憶装置２４にインストールされる。ネットワークからダウンロードされた情報処理プログラムは、インターフェース装置２７を介して補助記憶装置２４にインストールされる。

補助記憶装置２４は、インストールされた情報処理プログラムを格納すると共に、必要なファイル、データ等を格納する。メモリ装置２５は、サーバ装置２００の起動時に補助記憶装置２４から情報処理プログラムを読み出して格納する。そして、演算処理装置２６はメモリ装置２５に格納された情報処理プログラムに従って、後述するような各種処理を実現している。

本実施形態の端末装置４００のハードウェア構成は、サーバ装置２００と同様であるから、説明を省略する。尚、端末装置４００は、例えば、タブレット型の端末装置や、スマートフォン等であっても良く、入力装置２１と出力装置２２との代わりに、タッチパネル等により実現される表示操作装置を有していても良い。

次に、本実施形態のサーバ装置２００の有する種別判定データベース２４０と帳票定義データベース２５０について説明する。

図３は、種別判定データベースの一例を示す図である。本実施形態の種別判定データベース２４０は、情報の項目として、定義ＩＤ、定義種別、文書種別、識別文字列を有する。種別判定データベース２４０において、項目「定義ＩＤ」は、その他の項目と対応付けられており、項目「定義ＩＤ」の値と、その他の項目の値とを含む情報を、種別判定情報と呼ぶ。

項目「定義ＩＤ」の値は、帳票定義情報を特定するための識別子を示す。

項目「定義種別」の値は、帳票定義情報の種類を示す。本実施形態では、帳票定義情報の種類として、汎用定義情報と個社定義情報の他に、特定定義情報を含む。特定定義情報とは、特定の事業者等によって発行される特定の帳票を定義する帳票定義情報である。特定の帳票とは、具体的には、例えば、一般的に使用されている宅配業者の伝票等である。

項目「文書種別」の値は、帳票の種類を示す。帳票の種類とは、具体的には、例えば、請求書、見積書、注文書等である。項目「識別文字列」の値は、帳票の種類を特定するための文字列を示す。具体的には、例えば、「請求書」又は「請求」という文字列を含む帳票画像は、項目「文書種別」が示す帳票の種類が「請求書」となる。また、「Ｒ社」及び「請求」という両方の文字列を含む帳票画像は、項目「文書種別」が示す帳票の種類が「Ｒ社用請求書」となる。

図３の例では、例えば、定義ＩＤ「Ｈ０１」の帳票定義情報の種類は汎用定義情報であり、定義ＩＤ「Ｈ０１」の汎用定義情報は、「請求書」のレイアウトを定義した情報であり、帳票画像データから「請求」又は「請求書」という文字列が抽出された場合に、参照される。

次に、図４乃至図７を参照して、本実施形態の帳票定義データベース２５０について説明する。図４は、帳票定義データベースに格納される帳票定義情報の種類を示す図である。

本実施形態の帳票定義データベース２５０には、汎用定義情報２５１と、個社定義情報２５２と、特定定義情報２５３と、が格納されている。

本実施形態の汎用定義情報２５１とは、帳票の中でも、複数の利用者により利用される汎用性の高いレイアウトの帳票の帳票定義情報である。汎用定義情報２５１は、３つの帳票定義情報のうち、最も優先度の低い帳票定義情報である。

本実施形態の個社定義情報２５２とは、帳票の中でも、利用者が独自に設計したレイアウトの帳票の帳票定義情報であり、利用者専用の帳票定義情報である。個社定義情報２５２は、３つの帳票定義情報のうち、最も尊重されるべき定義であり、最も優先度が高い帳票定義情報である。

本実施形態の特定定義情報２５３は、帳票の中でも、一般的に利用される帳票のレイアウトを示す帳票定義情報である。特定定義情報２５３の優先度は、３つの帳票定義情報のうちの中間となる。

本実施形態の帳票認識処理部２２０は、この３つの帳票定義情報を参照して、帳票画像データの認識を行う。したがって、本実施形態では、例えば、帳票画像データが、個社定義情報２５２においてレイアウトが定義されていない帳票のものであった場合でも、汎用定義情報２５１や特定定義情報２５３で定義されていれば、この帳票画像データを認識できる。

図５は、汎用定義情報の一例を示す図である。汎用定義情報２５１は、定義ＩＤ毎に生成されるものであり、情報の項目として、項目ＩＤ、項目名、方向、距離等を含む。つまり、本実施形態の汎用定義情報２５１は、項目「定義ＩＤ」と、その他の項目とが対応付けられており、項目「定義ＩＤ」の値と、その他の項目の値とを含む。

項目「項目ＩＤ」の値は、帳票に含まれる項目を特定するための識別子である。項目「項目名」の値は、項目の名称を示す。

項目「方向」、「距離」等は、文字列を抽出する範囲を示す。例えば、項目「方向」の値が「ＲＤ」であり、項目「距離」の値が「２０ｍｍ」であった場合、項目名となる文字列と外接する矩形の右下の座標から下に向かって２０ｍｍ以内の範囲から、文字列を抽出することを示す。

つまり、本実施形態の項目「方向」、「距離」等は、文字列を抽出する範囲を示す条件であり、この条件は、項目名と対応付けられている。尚、図５の例では、文字列を抽出する範囲を示す条件として、項目「方向」、「距離」を挙げたが、条件には、他の項目が含まれていても良い。

したがって、例えば、項目ＩＤ「２」の項目名「合計」という文字列と外接する矩形の右下の座標から下に向かって２０ｍｍ以内の範囲から抽出された文字列は、項目名「合計」と対応する項目の値と認識される。

尚、汎用定義情報２５１では、帳票に含まれる可能性のある複数の項目に関する情報が含まれるものとした。

図６は、個社定義情報の一例を示す図である。本実施形態の個社定義情報２５２は、利用者毎に登録されるものであり、情報の項目として、利用者ＩＤ、定義ＩＤ、項目名、方向、距離等を含む。

項目「利用者ＩＤ」の値は、利用者を特定するための識別子である。尚、本実施形態では、定義ＩＤ、項目名、方向、距離等は、汎用定義情報２５１と同様であるから説明を省略する。

尚、本実施形態では、定義種別が個社定義情報となる帳票定義情報の定義ＩＤは、利用者ＩＤを含むようにしても良い。

また、個社定義情報２５２では、利用者によって、項目名と、項目の値が記載されている範囲を示す条件とが登録された項目に関する情報が格納される。したがって、個社定義情報２５２に含まれる項目ＩＤは、汎用定義情報２５１に含まれる項目ＩＤの一部となる場合がある。

図６の例では、利用者ＩＤ「Ａ」によって登録された個社定義情報２５２を示しており、この個社定義情報２５２は、定義ＩＤが「Ａ０１」であり、文書種別が「Ｒ社用請求書」となる。

図７は、特定定義情報の一例を示す図である。本実施形態の特定定義情報２５３は、特定の帳票毎に登録されるものであり、情報の項目として、定義ＩＤ、項目名、方向、距離等を含む。図７の本実施形態では、定義ＩＤ、項目名、方向、距離等は、汎用定義情報２５１と同様であるから説明を省略する。

尚、本実施形態の特定定義情報２５３は、特定の事業者毎に設けられていても良い。この場合には、特定定義情報２５３には、情報の項目として、事業者ＩＤが含まれていても良い。

次に、図８を参照して、本実施形態のサーバ装置２００の機能について説明する。図８は、サーバ装置の機能を説明する図である。

本実施形態のサーバ装置２００では、例えば、メモリ装置２５や補助記憶装置２４等に格納された情報処理プログラムを演算処理装置２６が読み出して実行することで、後述する各部の機能が実現される。

本実施形態のサーバ装置２００は、帳票認識処理部２２０を有する。帳票認識処理部２２０は、入力受付部２２１、認証処理部２２２、帳票認識部２７０を有する。

入力受付部２２１は、サーバ装置２００に対する各種の入力を受け付ける。具体的には、入力受付部２２１は、帳票認識システム１００にログインするための認証情報の入力を受け付ける。認証情報とは、例えば、利用者ＩＤとパスワード等である。また、入力受付部２２１は、例えば、画像形成装置３００から送信された帳票画像データの入力を受け付ける。

認証処理部２２２は、入力受付部２２１が入力を受け付けた認証情報に基づき、認証を行う。尚、認証処理部２２２は、例えば、サーバ装置２００の外部に設けられた認証サーバに対して、入力された認証情報を送信し、認証サーバによる認証の結果を取得しても良い。認証処理部２２２は、利用者が認証されると、入力受付部２２１が受け付けた帳票画像データを帳票認識部２７０に渡しても良い。

本実施形態の帳票認識部２７０は、画像データ格納部２７１、ジョブリスト生成部２７２、画像データ取得部２７３、前処理部２７４、文字認識部２７５、定義特定部２７６、項目抽出部２７７、表示画面生成部２７８、出力部２７９を有する。

画像データ格納部２７１は、画像形成装置３００から帳票画像データを受信すると、画像データベース２３０に格納する。

ジョブリスト生成部２７２は、入力受付部２２１が画像形成装置３００から帳票画像データの入力を受け付けて、ジョブリストにジョブを登録し、ジョブリストを管理する。ジョブリストの詳細は後述する。

画像データ取得部２７３は、画像データベース２３０に格納された帳票画像データを取得する。前処理部２７４は、画像データ取得部２７３が取得した帳票画像データに対して、帳票認識を行うための前処理を行う。

文字認識部２７５は、帳票画像データから、文字列と、文字列が配置された位置を示す情報とを抽出し、認識結果情報として保持する。認識結果情報の詳細は後述する。

定義特定部２７６は、種別判定データベース２４０を参照し、認識結果情報に含まれる文字列と対応する定義ＩＤを特定する。言い換えれば、定義特定部２７６は、帳票画像データから抽出された文字列に基づき、帳票認識の際に参照する帳票定義情報を特定し、特定した帳票定義情報を帳票定義データベース２５０から取得する取得部である。

項目抽出部２７７は、定義特定部２７６により特定された帳票定義情報と、認識結果情報とに基づき、帳票画像データに含まれる項目と、項目の値とを抽出して対応付けを行い、項目の項目ＩＤと、項目の値とを対応付けた認識結果データを生成する。尚、ＸＭＬ形式のファイル（eXtensible Markup Language）を認識結果データとして生成しても良い。また、項目抽出部２７７は、帳票における項目の記載位置と、項目と項目の値との位置関係を抽出する。

表示画面生成部２７８は、認識結果データベース２６０に格納された認識結果データを用いて、認識結果確認画面を生成する。尚、認識結果確認画面に表示する項目名は、予め項目ＩＤと対応付けて登録しておき、認識結果確認画面を生成するときに、認識結果データに含まれる項目ＩＤに対応する項目名を特定して認識結果確認画面に表示させると良い。

出力部２７９は、表示画面生成部２７８が生成した認識結果確認画面を出力する。言い換えれば、出力部２７９は、表示画面生成部２７８が生成した認識結果確認画面を端末装置４００のウェブブラウザ上で表示させる。

以下に、図９を参照して、本実施形態の帳票認識システム１００の動作について説明する。図９は、帳票認識システムの動作を説明するシーケンス図である。

帳票認識システム１００において、画像形成装置３００は、利用者から帳票認識を行うためのアプリケーションの起動要求を受け付けると（ステップＳ９０１）、このアプリケーションを起動させる（ステップＳ９０２）。

続いて、画像形成装置３００は、利用者から認証情報の入力を受け付けると（ステップＳ９０３）、この認証情報をサーバ装置２００へ送信し、認証要求を行う（ステップＳ９０４）。

サーバ装置２００は、認証要求を受けて、認証処理部２２２により認証を行い、その結果を画像形成装置３００へ通知する（ステップＳ９０５）。尚、ここでは、利用者が認証された場合の動作を示している。

続いて、画像形成装置３００は、帳票のスキャン指示を受け付け（ステップＳ９０６）、帳票のスキャンを行い、帳票画像データを取得する（ステップＳ９０７）。続いて、画像形成装置３００は、帳票画像データをサーバ装置２００へ送信する（ステップＳ９０８）。

サーバ装置２００は、入力受付部２２１が帳票画像データの入力を受け付けると、認証処理部２２２がこの帳票画像データを帳票認識部２７０へ渡す（ステップＳ９０９）。尚、図９の例では、認証処理部２２２を介して帳票画像データが帳票認識部２７０へ渡されるものとしたが、これに限定されない。帳票画像データは、認証処理部２２２を介さずに帳票認識部２７０に渡されても良い。

サーバ装置２００の帳票認識部２７０は、帳票画像データを受け取ると、ジョブリスト生成部２７２により、ジョブリストにジョブを登録する（ステップＳ９１０）。続いて、帳票認識部２７０は、画像データ格納部２７１により、帳票画像データを画像データベース２３０へ格納する（ステップＳ９１１）。

続いて、帳票認識部２７０は、画像データ取得部２７３により、画像データベース２３０から認識する対象となる帳票画像データを取得し（ステップＳ９１２）、帳票画像を認識する処理を実行する（ステップＳ９１３）。ステップＳ９１２の処理の詳細は後述する。

続いて、帳票認識部２７０は、項目抽出部２７７が生成した認識結果データを認識結果データベース２６０に格納する（ステップＳ９１４）。

帳票認識システム１００において、端末装置４００は、利用者からのブラウザの表示指示の入力を受け付けると（ステップＳ９１５）、サーバ装置２００に対して認識結果データを表示させるブラウザの表示要求を行う（ステップＳ９１６）。

また、端末装置４００は、利用者から認証情報の入力を受け付けて（ステップＳ９１７）、この認証情報をサーバ装置２００へ送信する（ステップＳ９１８）。

サーバ装置２００は、認証処理部２２２により、利用者の認証を行い（ステップＳ９１９）、その結果を端末装置４００へ通知する（ステップＳ９２０）。尚、ここでは、利用者が認証された場合の処理を示す。

続いて、端末装置４００は、利用者から、帳票画像の認識結果の閲覧指示の入力を受け付けると（ステップＳ９２１）、サーバ装置２００に対して閲覧要求を行う（ステップＳ９２２）。

サーバ装置２００は、閲覧要求を受けて、認識結果データベース２６０に格納されている認識結果データを取得し（ステップＳ９２３）、認識結果確認画面を生成して端末装置４００のブラウザ上に表示させ（ステップＳ９２４）、利用者に、表示された認識結果確認画面で認識結果を確認させて、処理を終了する。

ここで、図１０を参照して、本実施形態のジョブリスト生成部２７２により生成されるジョブリストについて説明する。図１０は、ジョブリストの一例を示す図である。

本実施形態のサーバ装置２００は、画像形成装置３００から帳票画像データが入力されると、ジョブリスト生成部２７２により、帳票画像データとジョブＩＤとを対応付けたジョブリストとして保持する。

本実施形態のジョブリスト１０１は、情報の項目として、ジョブＩＤ、利用者ＩＤ、帳票画像ファイルパス、認識結果ファイルパス、ステータス、定義ＩＤを有する。

項目「ジョブＩＤ」の値は、ジョブを特定する識別子である。言い換えれば、項目「ジョブＩＤ」の値は、画像形成装置３００から受信した帳票画像データを特定するための識別子である。

項目「利用者ＩＤ」の値は、帳票認識システム１００にログインした利用者を特定するための識別子である。

項目「画像ファイルパス」の値は、帳票画像データが格納されている場所を示す情報である。項目「認識結果ファイルパス」の値は、帳票画像を認識した結果の認識結果データが格納されている場所を示す情報である。

項目「ステータス」の値は、帳票画像の認識の進捗を示す。項目「定義ＩＤ」の値は、項目「画像ファイルパス」の値が示す場所に格納された帳票画像データを認識する際に参照される帳票定義情報の定義ＩＤを示す。

本実施形態のサーバ装置２００は、画像形成装置３００から帳票画像データを受信すると、ジョブリスト生成部２７２により、ジョブＩＤを付与し、認証情報として取得した利用者ＩＤを対応付けて、ジョブリスト１０１にレコードを追加する。そして、ジョブリスト生成部２７２は、帳票画像データが画像データベース２３０に格納されると、この格納先を示す情報を項目「画像ファイルパス」の値として、追加する。

さらに、ジョブリスト生成部２７２は、帳票画像の認識において、参照する帳票定義情報が特定されると、その定義ＩＤを項目「定義ＩＤ」の値として追加する。そして、ジョブリスト生成部２７２は、が完了して、認識結果データが認識結果データベース２６０に格納されると、この格納先を示す情報を項目「認識結果ファイルパス」の値として追加し、項目「ステータス」の値を完了とする。

本実施形態では、例えば、ジョブリスト生成部２７２によって生成されたジョブリストを表示しても良い。この場合、利用者は、ジョブリストに基づいて表示されたジョブリスト画面を介して、帳票画像の認識の進捗を確認することができる。

次に、図１１を参照して、本実施形態の帳票認識部２７０の処理について説明する。図１１は、帳票認識部の処理を説明するフローチャートである。図１１では、図９のステップＳ９１３の処理の詳細を示している。また、図１１では、複数の帳票画像データを画像形成装置３００から受け取った場合の処理を示している。

本実施形態の帳票認識部２７０は、画像データ取得部２７３により、画像データベース２３０から帳票画像データを取得すると（ステップＳ１１０１）、前処理部２７４により、帳票画像データの形式をｐｎｇ形式に変換する（ステップＳ１１０２）、
続いて、前処理部２７４は、１ページ分の帳票画像データを選択し（ステップＳ１１０３）、前処理を行う（ステップＳ１１０４）。前処理とは、具体的には、例えば、帳票画像の向きを揃える補正処理等である。

続いて、帳票認識部２７０は、文字認識部２７５により、帳票画像から、文字が形成されている領域（以下、文字フィールド）を切り取る（ステップＳ１１０５）。続いて、帳票認識部２７０は、文字認識部２７５により、切り取られた文字フィールドの中の文字を切り取り、文字認識する（ステップＳ１１０６）。このとき、文字認識部２７５は、切り出した文字の位置を示す座標も取得する。

続いて、帳票認識部２７０は、文字認識部２７５により認識された各文字の位置関係に基づいて読取結果情報を生成して、保持する（ステップＳ１１０７）。具体的に、帳票認識部２７０は、認識された各文字の座標に基づいて、互いの距離が予め設定された閾値以内の文字を１つの文字列として認識し、文字列と、文字列が形成された領域の位置を示す座標などの情報とを対応付けて読取結果情報を生成する。読取結果情報の詳細は後述する。

続いて、帳票認識部２７０は、項目抽出部２７７により、読取結果情報と種別判定データベース２４０とに基づき特定した個社定義情報２５２を用いて、項目と項目の値とを抽出する（ステップＳ１１０８）。

続いて、帳票認識部２７０は、項目抽出部２７７により、読取結果情報と種別判定データベース２４０とに基づき特定した特定定義情報２５３を用いて、項目と項目の値とを抽出する（ステップＳ１１０９）。

続いて、帳票認識部２７０は、項目抽出部２７７により、読取結果情報と種別判定データベース２４０とに基づき特定した汎用定義情報２５１を用いて、項目と項目の値とを抽出する（ステップＳ１１１０）。ステップＳ１１０８からステップＳ１１１０の各処理の詳細は後述する。

続いて、帳票認識部２７０は、項目と、項目の値との抽出に成功したか否かを判定する（ステップＳ１１１１）。具体的には、帳票認識部２７０は、ステップＳ１１０８からステップＳ１１１０までの間で、項目抽出部２７７により抽出された項目と項目の値とが存在する場合に、項目と、項目の値との抽出に成功したと判定しても良い。

ステップＳ１１１１において、項目と項目の値の抽出に失敗した場合、帳票認識部２７０は、端末装置４００又は画像形成装置３００に対してエラーを通知し（ステップＳ１１１２）、後述するステップＳ１１１５へ進む。

ステップＳ１１１１において、項目と項目の値との抽出に成功すると、帳票認識部２７０は、項目抽出部２７７により、抽出された項目と項目の値とを対応付けてマージした認識結果データを生成する（ステップＳ１１１３）。マージする処理の詳細は後述する。

続いて、帳票認識部２７０は、ジョブリスト生成部２７２により、認識結果データの生成に用いられた帳票定義情報の定義ＩＤと、認識結果データの格納先とを、ジョブリスト１０１に登録する（ステップＳ１１１４）。

続いて、帳票認識部２７０は、最後のページまで処理を実行したか否かを判定する（ステップＳ１１１５）。ステップＳ１１１５において、最後のページまで処理を実行していない場合、帳票認識部２７０は、ステップＳ１１０３へ戻る。

ステップＳ１１１５において、最後のページまで処理を実行した場合、帳票認識部２７０は、表示画面生成部２７８により、認識結果データを用いて生成された認識結果確認画面を端末装置４００に表示させ（ステップＳ１１１６）、処理を終了する。

尚、図１１の例では、認識結果データを表示させる処理まで実行するものとして説明したが、これに限定されない。帳票認識部２７０は、端末装置４００から、認識結果データの閲覧要求を受け付けてから、認識結果データを表示させても良い。

次に、図１２を参照して、本実施形態の項目抽出部２７７の処理について説明する。図１２は、項目抽出部の処理を説明するフローチャートである。図１２は、図１１のステップＳ１１０８の処理の詳細を示している。

本実施形態の帳票認識部２７０は、読取結果情報が保持されると、定義特定部２７６により、種別判定データベース２４０から、読取結果情報に含まれる識別文字列と対応する定義ＩＤを抽出する（ステップＳ１２０１）。

続いて、定義特定部２７６は、抽出した定義ＩＤの中に、定義種別が個社定義情報である定義ＩＤが存在するか否かを判定する（ステップＳ１２０２）。つまり、ここでは、読取結果情報に含まれる識別文字列が示す種類の帳票に対して、個社定義情報２５２が登録されているか否かを判定している。

ステップＳ１２０２において、該当する定義ＩＤが存在しない場合、この種類の帳票には、利用者固有のレイアウトを定義した個社定義情報２５２は登録されていないため、項目抽出部２７７は、処理を終了し、図１１のステップＳ１１０９へ進む。

ステップＳ１２０２において、該当する定義ＩＤが存在する場合、定義特定部２７６は、帳票定義データベース２５０を参照し、定義ＩＤを含む個社定義情報２５２を特定する（ステップＳ１２０３）。該当する定義ＩＤが存在する場合とは、この帳票は、利用者固有のレイアウトである場合である。

続いて、項目抽出部２７７は、特定された個社定義情報に基づき、読取結果情報から、項目と、項目の値とを抽出し、対応付ける（ステップＳ１２０４）。

尚、ステップＳ１１０９における特定定義情報を用いた項目と項目の値の抽出処理と、ステップＳ１１１０における汎用定義情報２５１を用いた項目と項目の値の抽出処理とは、ステップＳ１１０８の個社定義情報が、特定定義情報又は汎用定義情報となること以外は同様であるから、説明を省略する。

ここで、本実施形態の認識結果データの生成について説明する。図１３は、読取結果情報の一例を示す図である。

図１３に示す読取結果情報１３０は、例えば、ある請求書の帳票画像データから文字フィールドを切り取り、文字フィールドの中の文字を認識した結果と、文字の位置を示す座標とから抽出されたものである。

この読取結果情報１３０には、文字列「請求書」、「Ｒ社」、「計」、「１７０，０００」が存在している。ここで、定義特定部２７６は、種別判定データベース２４０を参照し、読取結果情報１３０に含まれる文字列が識別文字列とされた定義ＩＤを抽出する。この場合、定義ＩＤ「Ｈ０１」、「Ａ０１」が抽出される（図３参照）。

次に、定義特定部２７６は、抽出された定義ＩＤのうち、対応する定義種別が、個社定義情報である定義ＩＤを特定する。ここでは、定義ＩＤ「Ａ０１」が特定される。つまり、読取結果情報１３０が抽出された帳票は、定義ＩＤ「Ａ０１」の個社定義情報が設定された帳票であることがわかる。

次に、項目抽出部２７７は、帳票定義データベース２５０において、定義ＩＤ「Ａ０１」の個社定義情報２５２を参照する（図６参照）。

個社定義情報２５２では、請求額を示す項目である項目ＩＤ「２」の項目「計」の下の領域にある文字列が、項目名「計」の値であることが定義されている。したがって、項目抽出部２７７は、読取結果情報１３０に含まれる文字列「計」を項目名「計」とし、この文字列「計」の下の領域にある文字列「１７０，０００」を項目名「計」の値として、抽出する。

項目抽出部２７７は、このようにして、個社定義情報２５２に定義されている各項目名に対応する文字列と、項目の値となる文字列とを読取結果情報１３０から抽出する。

項目抽出部２７７により、個社定義情報２５２に定義されている項目名と項目の値との抽出が終了すると、次に、定義特定部２７６は、抽出された定義ＩＤのうち、対応する定義種別が、特定定義情報である定義ＩＤの有無を判定する。

ここでは、該当する定義ＩＤは存在しない。つまり、読取結果情報１３０が抽出された帳票について、特定定義情報は定義されていないことがわかる。

次に、定義特定部２７６は、抽出された定義ＩＤのうち、対応する定義種別が、汎用定義情報である定義ＩＤの有無を判定する。この場合、定義ＩＤ「Ａ０１」が特定される。つまり、読取結果情報１３０が抽出された帳票は、定義ＩＤ「Ｈ０１」の汎用定義情報によっても定義されていることがわかる。

ここで、項目抽出部２７７は、定義ＩＤ「Ａ０１」の汎用定義情報２５１を参照する（図５参照）。そして、項目抽出部２７７は、個社定義情報２５２を参照したときと同様に、汎用定義情報２５１に定義されている項目名と項目の値とを抽出する。

尚、汎用定義情報２５１では、文書種別「請求書」の帳票に含まれる全ての項目名と項目の値について定義されているため、汎用定義情報２５１を参照した場合、個社定義情報２５２で定義されていなかった項目名と項目の値とが抽出される。

また、個社定義情報２５２とは異なり、汎用定義情報２５１では、請求額を示す項目である項目ＩＤ「２」の項目「合計」の右下の領域にある文字列が、項目名「合計」の値であることが定義されている。ここでは、読取結果情報１３０には、文字列「合計」が含まれていないため、項目抽出部２７７は、項目ＩＤが「２」の項目の値が「空」と判断する。

仮に読取結果情報１３０には文字列「合計」が含まれている場合には、項目抽出部２７７は、読取結果情報１３０に含まれる文字列「合計」を項目名「合計」とし、この文字列「合計」の右下の領域にある文字列を項目名「合計」の値として抽出する。

このように、本実施形態では、異なる種類の帳票定義情報を参照し、それぞれの帳票定義情報に基づいて、項目名と項目の値とが抽出される。

以下に、項目抽出部２７７による、マージする処理について説明する。

本実施形態の項目抽出部２７７では、同一の項目ＩＤについて、異なる種類の帳票定義情報のそれぞれから項目名と項目の値とが抽出された場合、優先度の高い種類の帳票定義情報から抽出された項目名と項目の値を採用して、認識結果データを生成する。

本実施形態では、汎用定義情報、個社定義情報、特定定義情報のうち、個社定義情報の優先度を最も高くしている。これは、個社定義情報は、利用者が固有に設定した定義であり、最も優先して参照されるべき定義だからである。

また、本実施形態では、個社定義情報の次に、特定定義情報の優先度を高くし、汎用定義情報の優先度を最も低くしている。

したがって、例えば、３種類の帳票定義情報のそれぞれから、項目名と項目の値とが抽出された場合には、個社定義情報に基づき抽出された項目名と項目の値とが採用される。

具体的には、例えば、汎用定義情報２５１と個社定義情報２５２のそれぞれには、項目ＩＤ「２」の項目について定義がされている。

したがって、本実施形態では、項目ＩＤ「２」の項目について、汎用定義情報２５１にしたがって抽出された項目名と項目の値と、個社定義情報２５２にしたがって抽出された項目名と項目の値とが存在する。

この場合、項目抽出部２７７は、項目ＩＤ「２」の項目については、個社定義情報２５２にしたがって抽出された項目名と項目の値とを、認識結果データの生成に使用する。具体的に、個社定義情報２５２にしたがって文字列「１７０，０００」が項目の値として抽出され、汎用定義情報２５１にしたがって項目の値が「空」と判断され、項目抽出部２７７は、優先度の高い個社定義情報２５２から抽出された「１７０，０００」を、認識結果データの生成に使用する。

一般的に請求書では、請求額を示す項目の項目名として「合計」が使用されているため、汎用定義情報２５１では、項目「合計」が設定されている。一方で、利用者Ａに対するＲ社からの請求書は、「合計」ではなく、「計」が項目名として使用されているため、汎用定義情報２５１を用いてこのような請求書の請求額を認識できない。従って、利用者Ａに対するＲ社からの請求書から請求額を抽出するために、項目「計」が設定された利用者Ａ固有の個社定義情報２５２が必要である。

さらに、一般的な請求書に比べて、利用者Ａに対するＲ社からの請求書では、請求額を示す項目の項目名として「合計」を使用されているが、項目値が記載された位置が異なる場合に、利用者Ａ固有の個社定義情報２５２における項目「合計」の方向、距離などの項目値を、汎用定義情報２５１とは異なるものに設定すれば良い。

また、汎用定義情報２５１に定義されている項目ＩＤ「１０」の項目については、個社定義情報２５２では定義されていない。したがって、項目ＩＤ「１０」の項目については、汎用定義情報２５１にしたがった項目名と項目の値のみが抽出される。よって、表示画面生成部２７８は、項目ＩＤ「１０」の項目については、汎用定義情報２５１にしたがって抽出された項目名と項目の値とを、認識結果データの生成に使用する。

このように、本実施形態では、複数種類の帳票定義情報に対して優先度を付与し、各帳票定義情報にしたがって抽出された項目名と項目の値のうち、優先度が最も高い帳票定義情報にしたがって抽出された項目名と項目の値とを使用して、帳票画像の認識結果となる認識結果データを生成する。

図１４は、表示画面生成部が生成した認識結果確認画面の一例を示す図である。図１４に示す画面１４０は、端末装置４００に表示された画面の例であり、帳票を認識した結果として生成された認識結果が表示されている。

画面１４０には、画像形成装置３００が読み取った帳票画像１４１と、帳票認識部２７０によって抽出された項目と項目の値とを対応付けた情報１４２とが表示されている。また、画面１４０には、登録ボタン１４３が表示されている。利用者は、帳票画像１４１を参照し、表示されている項目と項目の値とをチェックし、必要に応じて項目の値を修正する。そして、登録ボタン１４３が選択されると、修正後の項目の値が認識結果データに登録される。

また、本実施形態では、帳票画像の認識処理が完了したジョブについて、ジョブの認識結果をリストで表示してもよい。例えば、本実施形態では、ジョブに対応する認識結果データを参照して、請求元の会社名、請求金額、請求日、認識結果が利用者により確認済みであるか否かを示す確認ステータスなどを含むジョブリストを表示してもよい。また、認識結果が利用者により確認済みのジョブについて、認識結果データを登録した位置に及び確認を行った利用者ＩＤをジョブリストに含まれてもよい。さらに、リストに表示されたジョブを選択すると、選択されたジョブに対応する認識結果確認画面が表示される。

本実施形態では、例えば、この登録ボタン１４３が選択されると、帳票画像１４１を示す画像データと、情報１４２とが基幹システム５００等に格納されても良い。また、利用者は、認識結果確認画面を介して、登録した認識結果データをダウンロードして、基幹システム５００の操作画面を介して、基幹システムに登録してもよい。

また、画面１４０では、帳票画像１４１を認識する際に参照された帳票定義情報を示す情報１４４が表示されていても良い。本実施形態では、この情報１４４を表示させることで、帳票画像１４１が、どの種類の帳票定義情報を用いて認識されたかを、利用者に通知できる。

以下に、本実施形態の認識結果データの一例を示す。図１５は、認識結果データの一例を示す図である。

図１５に示す認識結果データ１５１では、帳票画像データに含まれる項目と、項目の値とを抽出して対応付けを行い、項目の項目ＩＤと、項目の値とを対応付けた結果が、ＸＭＬ形式で記述されている。

本実施形態では、この認識結果データ１５１が生成されて認識結果データベース２６０に格納されると、この格納先が、ジョブリスト１０１の項目「認識結果ファイルパス」の値とされる。

以上のように、本実施形態によれば、複数の帳票定義情報を用いて帳票画像から項目と項目の値とを抽出するため、帳票の認識の精度を向上させることができる。

以上、各実施形態に基づき本発明の説明を行ってきたが、上記実施形態に示した要件に本発明が限定されるものではない。これらの点に関しては、本発明の主旨をそこなわない範囲で変更することができ、その応用形態に応じて適切に定めることができる。

１００ 帳票認識システム
２００ サーバ装置
２１０ 記憶部
２２０ 帳票認識処理部
２３０ 画像データベース
２４０ 種別判定データベース
２５０ 帳票定義データベース
２６０ 認識結果データベース
２７０ 帳票認識部
２７１ 画像データ格納部
２７２ ジョブリスト生成部
２７３ 画像データ取得部
２７４ 前処理部
２７５ 文字認識部
２７６ 定義特定部
２７７ 項目抽出部
２７８ 表示画面生成部
２７９ 出力部
３００ 画像形成装置
４００ 端末装置
５００ 基幹システム

特開２０１６－５１３３９号公報

Claims (7)

1. 記憶部に格納された、帳票の項目及び項目の値の位置関係を定義した第一の帳票定義情報と、利用者固有の帳票の項目及び項目の値の位置関係を定義した第二の帳票定義情報と、を取得する取得部と、
   帳票画像から読み取られた文字列と、文字列の位置を示す情報とが対応付けられた読取結果情報から、前記第一の帳票定義情報と前記第二の帳票定義情報の少なくとも何れか一方に基づき前記項目及び項目の値を抽出する項目抽出部と、
   抽出された前記項目及び項目の値を認識結果として出力する出力部と、を有し、
   前記記憶部には、特定の帳票の項目及び項目の値の位置関係を定義した第三の帳票定義情報が格納されており、
   前記第三の帳票定義情報は、前記第一の帳票定義情報よりも高く、前記第二の帳票定義情報よりも低い優先度が付与されており、
   前記出力部は、
   前記第一乃至第三の帳票定義情報のうち、最も優先度が高い帳票定義情報に基づき抽出された前記項目及び項目の値を前記認識結果とする、情報処理装置。
2. 前記第二の帳票定義情報は、前記第一の帳票定義情報よりも高い優先度が付与されており、
   前記出力部は、
   前記第一の帳票定義情報及び前記第二の帳票定義情報のそれぞれに基づき前記項目及び項目の値が抽出された場合、前記第二の帳票定義情報に基づき抽出された前記項目及び項目の値を認識結果とする、請求項１記載の情報処理装置。
3. 前記帳票画像と、前記項目抽出部により抽出された前記項目及び項目の値とを含む画面データを生成する表示画面生成部を有し、
   前記出力部は、
   前記表示画面生成部が生成した画面データを前記認識結果として端末装置に表示させる、請求項１又は２記載の情報処理装置。
4. 前記表示画面生成部が生成した画面データには、前記項目及び項目の値の抽出に用いられた帳票定義情報を特定する情報が含まれる、請求項３記載の情報処理装置。
5. 記憶部に格納された、帳票の項目及び項目の値の位置関係を定義した帳票定義情報であって、異なる優先度が付与された第一の帳票定義情報と、第二の帳票定義情報と、特定の帳票の項目及び項目の値の位置関係を定義した帳票定義情報であって、前記第一の帳票定義情報よりも高く、前記第二の帳票定義情報よりも低い優先度が付与された第三の帳票定義情報を取得する取得部と、
   帳票画像から読み取られた文字列と、文字列の位置を示す情報とが対応付けられた読取結果情報から、前記第一の帳票定義情報及び前記第二の帳票定義情報の少なくとも一方に基づき前記項目及び項目の値を抽出する項目抽出部と、
   前記第一乃至前記第三の帳票定義情報のそれぞれに基づく前記項目及び項目の値が抽出された場合に、最も前記優先度が高い帳票定義情報を用いて抽出された前記項目及び項目の値を認識結果として出力する出力部と、を有する情報処理装置。
6. コンピュータによる情報処理方法であって、前記コンピュータが、
   記憶部に格納された、帳票の項目及び項目の値の位置関係を定義した第一の帳票定義情報と、利用者固有の帳票の項目及び項目の値の位置関係を定義した第二の帳票定義情報と、を取得する手順と、
   帳票画像から読み取られた文字列と、文字列の位置を示す情報とが対応付けられた読取結果情報から、前記第一の帳票定義情報と前記第二の帳票定義情報の少なくとも何れか一方に基づき前記項目及び項目の値を抽出する手順と、
   抽出された前記項目及び項目の値を認識結果として出力する手順と、を実行し、
   前記記憶部には、特定の帳票の項目及び項目の値の位置関係を定義した第三の帳票定義情報が格納されており、
   前記第三の帳票定義情報は、前記第一の帳票定義情報よりも高く、前記第二の帳票定義情報よりも低い優先度が付与されており、
   前記出力する手順は、
   前記第一乃至第三の帳票定義情報のうち、最も優先度が高い帳票定義情報に基づき抽出された前記項目及び項目の値を前記認識結果とする、情報処理方法。
7. 記憶部に格納された、帳票の項目及び項目の値の位置関係を定義した第一の帳票定義情報と、利用者固有の帳票の項目及び項目の値の位置関係を定義した第二の帳票定義情報と、を取得する処理と、
   帳票画像から読み取られた文字列と、文字列の位置を示す情報とが対応付けられた読取結果情報から、前記第一の帳票定義情報と前記第二の帳票定義情報の少なくとも何れか一方に基づき前記項目及び項目の値を抽出する処理と、
   抽出された前記項目及び項目の値を認識結果として出力する処理と、をコンピュータに実行させ、
   前記記憶部には、特定の帳票の項目及び項目の値の位置関係を定義した第三の帳票定義情報が格納されており、
   前記第三の帳票定義情報は、前記第一の帳票定義情報よりも高く、前記第二の帳票定義情報よりも低い優先度が付与されており、
   前記出力する処理は、
   前記第一乃至第三の帳票定義情報のうち、最も優先度が高い帳票定義情報に基づき抽出された前記項目及び項目の値を前記認識結果とする、情報処理プログラム。

Images