JP7456131B2 - 情報処理システム、情報処理方法及びプログラム - Google Patents

Description

本発明は、帳票の認識を行う情報処理システム、情報処理方法及びプログラムに関する。

従来では、帳票を認識する際に、帳票画像上における読取対象文字列の記載位置及びその属性を登録した「帳票定義」を用い、読取対象文字列の読み取りとその属性の認識を行うことが知られている。

また、従来では、多様なレイアウトが混在する帳票が存在することから、処理対象とする帳票のレイアウトが未知である場合等を想定した帳票の認識の手法が知られている。具体的には、例えば、読み取り対象となる項目の項目名を予め定義し、帳票画像において認識された文字列から、項目名を特定し、特定した項目名の周辺の文字列から、項目の値を抽出することが知られている。

帳票の中でも、特に明細部に記載される項目名は、帳票を取り扱う組織や帳票の用途等によって、多種多様である。このため、従来の汎用的な定義では、明細部の項目を正しく抽出することが困難な場合があった。

本発明は、上記事情に鑑みて成されたものであり、帳票の認識の精度を向上させることを目的としている。

開示の技術は、帳票画像の明細部を示す領域から読み取った文字列と、文字列の位置を示す情報とを対応付けた読取結果データから、前記領域に含まれる明細項目及び明細項目の値を抽出する項目抽出部と、抽出された前記明細項目及び明細項目の値を認識結果として出力する出力部と、を有し、前記項目抽出部は、帳票で用いられる明細項目と、前記明細項目として抽出するキーワードと、前記帳票における前記キーワードの位置と、を定義した第一の明細定義情報を参照して、前記領域に含まれる明細項目及び明細項目の値を抽出し、前記第一の明細定義情報に含まれるキーワードに、前記領域から読み取った文字列と一致するキーワードが存在しない場合に、帳票の発行元の業種毎に、帳票で用いられる明細項目と、前記明細項目として抽出するキーワードとを対応付けた第二の明細定義情報を参照して、前記明細部に含まれる項目及び項目の値を抽出する。

帳票の認識の精度を向上させることができる。

帳票認識システムのシステム構成の一例を示す図である。 サーバ装置のハードウェア構成の一例を示す図である。 業種判定データベースの一例を示す図である。 帳票定義データベースに格納される明細定義情報の種類を示す図である。 汎用明細定義情報の一例を示す図である。 業種明細定義情報の一例を示す図である。 個社明細定義情報の一例を示す図である。 サーバ装置の機能を説明する図である。 帳票認識システムの動作を説明するシーケンス図である。 ジョブリストの一例を示す図である。 帳票認識部の処理を説明する第一のフローチャートである。 帳票認識部の処理を説明する第二のフローチャートである。 帳票認識部の処理を説明する第三のフローチャートである。 明細情報の抽出を説明する第一の図である。 明細情報の抽出を説明する第二の図である。 定義登録部の処理を説明する第一のフローチャートである。 定義登録部の処理を説明する第二のフローチャートである。 表示例を示す第一の図である。 表示例を示す第二の図である。 表示例を示す第三の図である。 表示例を示す第四の図である。 表示例を示す第五の図である。

以下に図面を参照して、実施形態について説明する。図１は、帳票認識システムのシステム構成の一例を示す図である。

本実施形態の帳票認識システム１００は、サーバ装置２００、画像形成装置３００、端末装置４００を有する。本実施形態の帳票認識システム１００において、サーバ装置２００と、画像形成装置３００と、端末装置４００とは、ネットワークを介して接続される。本実施形態の帳票認識システム１００は、情報処理システムの一例である。

また、本実施形態の端末装置４００は、例えば、ネットワークを介して基幹システム５００と接続される。基幹システム５００とは、例えば、本実施形態の帳票認識システム１００において帳票を認識した結果を用いて、特定の処理を行うシステムである。具体的には、例えば、基幹システム５００は、会計システムや、見積もり作成システム等であっても良い。

本実施形態の帳票認識システム１００において、サーバ装置２００は、画像形成装置３００のスキャナ機能によって読み取られた帳票の画像を示す画像データから、帳票に含まれる項目と項目の値とを抽出し、項目と項目の値とを対応付けたテキストデータとする。

以下の説明では、画像形成装置３００のスキャナ機能によって読み取られた帳票の画像を帳票画像と呼び、帳票画像を示す画像データを帳票画像データと呼ぶ。

また、以下の説明では、帳票画像に含まれる項目と、この項目の値とを抽出し、項目と項目の値とをテキストデータに変換して対応付けることを、帳票認識と呼ぶ。

本実施形態のサーバ装置２００は、記憶部２１０と、帳票認識処理部２２０とを有する。記憶部２１０には、帳票画像データベース２３０、業種判定データベース２４０、明細定義データベース２５０、認識結果データベース２６０が設けられている。

帳票画像データベース２３０は、帳票画像データが格納される。業種判定データベース２４０は、帳票の発行元の業種を判別する際に参照される情報が格納される。明細定義データベース２５０は、帳票認識処理部２２０による帳票認識を行う際に参照される明細定義情報が格納される。認識結果データベース２６０は、帳票認識処理部２２０による帳票認識の結果を示す情報である認識結果データが格納される。

本実施形態の帳票認識処理部２２０は、帳票画像データベース２３０に格納された帳票画像データを取得し、業種判定データベース２４０を参照して帳票の発行元の業種の判定と、参照すべき明細定義情報の特定を行う。そして、帳票認識処理部２２０は、明細定義データベース２５０において、特定された明細定義情報を用いて帳票認識を行い、その結果を認識結果データベース２６０へ格納する。明細定義情報とは、帳票に含まれる明細項目の項目名と項目名の記載位置を示す情報と、を含む。

ここで、本実施形態の帳票認識処理部２２０は、帳票認識を行う際に、明細定義データベース２５０に格納された、個社明細定義情報と、業種明細定義情報と、汎用明細定義情報と、を参照する。

本実施形態の汎用明細定義情報とは、一般的な帳票における明細項目名に対応する単語を定義した情報である。業種明細定義情報は、業種毎の帳票における明細項目名に対応する単語を定義した情報である。個社明細定義情報とは、帳票認識システム１００を利用する利用者固有の帳票における明細項目名に対応する単語と帳票画像から抽出する情報を定義した情報である。業種判定データベース２４０と、明細定義データベース２５０の詳細は後述する。

本実施形態では、このように、帳票認識の際に、３種類の明細定義情報を用いることで、汎用的な帳票に加えて、帳票の明細部を認識することができ、帳票の認識の精度を向上させることができる。

以下に、帳票における明細部について説明する。帳票の明細部は、データの集計結果等を示す部分であり、明細項目毎に、同じ形式のデータが縦方向に繰り返し印刷された部分である。明細項目とは、明細部で集計されるデータの項目である。一般的な明細項目としては、商品名、数量、単価、金額等が含まれる。明細部の具体的例は後述する。

本実施形態の帳票認識システム１００において、画像形成装置３００は、スキャナ機能を有する複合機である。画像形成装置３００は、コピー機能、ＦＡＸ機能、スキャナ機能等を実現するためのアプリケーションが搭載されており、各機能と対応するアプリケーションを選択することで、これらの機能が実現される。

本実施形態の端末装置４００は、帳票認識システム１００を利用する利用者によって使用される。また、端末装置４００には、サーバ装置２００による帳票認識の結果が表示されても良い。

尚、本実施形態における利用者とは、例えば、帳票の発行元となる企業等である。より具体的には、例えば、利用者とは、帳票認識システム１００が提供するサービスを利用するための契約を締結している事業所や企業、団体等である。

尚、図１の例では、サーバ装置２００は、記憶部２１０内に４つのデータベースを有する構成としたが、これに限定されない。各データベースは、一部がサーバ装置２００の外部装置に設けられていても良いし、各データベース全てが外部装置に設けられていても良い。

また、図１の例では、サーバ装置２００が帳票認識処理部２２０を実現するものとしたが、これに限定されない。帳票認識処理部２２０は、複数の情報処理装置によって実現されても良い。

また、図１の例では、帳票認識システム１００に含まれる画像形成装置３００と端末装置４００とは、それぞれ１台としているが、帳票認識システム１００に含まれる画像形成装置３００と端末装置４００の台数は、任意の数であって良い。

次に、図２を参照して、本実施形態のサーバ装置２００のハードウェア構成について説明する。図２は、サーバ装置のハードウェア構成の一例を示す図である。

本実施形態のサーバ装置２００は、コンピュータによって構築されており、図２に示されているように、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、ＨＤ２０４、ＨＤＤ(Hard Disk Drive)コントローラ２０５、ディスプレイ２０６、外部機器接続Ｉ／Ｆ(Interface)２０８、ネットワークＩ／Ｆ２０９、データバスＢ、キーボード２１１、ポインティングデバイス２１２、ＤＶＤ－ＲＷ(Digital Versatile Disk Rewritable)ドライブ２１４、メディアＩ／Ｆ２１６を備えている。

これらのうち、ＣＰＵ２０１は、サーバ装置２００全体の動作を制御する。ＲＯＭ２０２は、ＩＰＬ等のＣＰＵ２０１の駆動に用いられるプログラムを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。ＨＤ２０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ２０５は、ＣＰＵ２０１の制御にしたがってＨＤ２０４に対する各種データの読み出し又は書き込みを制御する。ディスプレイ２０６は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する表示部である。

外部機器接続Ｉ／Ｆ２０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリやプリンタ等である。ネットワークＩ／Ｆ２０９は、通信ネットワークＮを利用してデータ通信をするためのインターフェースである。データバスＢは、図２に示されているＣＰＵ２０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

また、キーボード２１１は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス２１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。ＤＶＤ－ＲＷドライブ２１４は、着脱可能な記録媒体の一例としてのＤＶＤ－ＲＷ２１３に対する各種データの読み出し又は書き込みを制御する。尚、ＤＶＤ－ＲＷに限らず、ＤＶＤ－Ｒ等であってもよい。メディアＩ／Ｆ２１６は、フラッシュメモリ等の記録メディア２１５に対するデータの読み出し又は書き込み（記憶）を制御する。

本実施形態のサーバ装置２００は、例えば、スマートフォン、タブレット端末、ＰＤＡ(Personal Digital Assistant)、ウェアラブルＰＣ等であっても良い。

本実施形態の端末装置４００は、演算処理装置と記憶装置とを有するコンピュータであり、例えば、タブレット型の端末装置や、スマートフォン等であっても良い。

次に、本実施形態のサーバ装置２００の有する業種判定データベース２４０と明細定義データベース２５０について説明する。

図３は、業種判定データベースの一例を示す図である。本実施形態の業種判定データベース２４０は、各種の業種毎に設けられる。

業種判定データベース２４０では、業種と、帳票の発行元とが対応付けられている。図３の例では、業種「人材派遣」と、Ａ社、Ｂ社、Ｃ社とが対応付けられている。したがって、Ａ社、Ｂ社、Ｃ社は、人材派遣業を行っている組織であることがわかる。

次に、図４乃至図７を参照して、本実施形態の明細定義データベース２５０について説明する。図４は、帳票定義データベースに格納される明細定義情報の種類を示す図である。

本実施形態の明細定義データベース２５０には、個社明細定義情報２５１と、業種明細定義情報２５２と、汎用明細定義情報２５３と、が格納されている。尚、本実施形態の個社明細定義情報２５１は、第一の明細定義情報であり、業種明細定義情報２５２は、第二の明細定義情報であり、汎用明細定義情報２５３は、第三の明細定義情報である。

本実施形態の個社明細定義情報２５１とは、帳票の中でも、利用者が独自に設計した帳票に含まれる明細項目名と記載位置を定義した明細定義情報であり、利用者専用の明細定義情報である。個社明細定義情報２５１は、３つの明細定義情報のうち、最も尊重されるべき定義であり、最も優先度が高い明細定義情報である。

本実施形態の業種明細定義情報２５２は、帳票の中でも、各業界において一般的に利用される帳票に含まれる明細項目名と記載位置を定義した明細定義情報である。業種明細定義情報２５２の優先度は、３つの明細定義情報のうちの中間となる。

本実施形態の汎用明細定義情報２５３とは、帳票の中でも、複数の利用者により利用される汎用性の高い帳票に含まれる明細項目名と記載位置を定義した明細定義情報である。汎用明細定義情報２５３は、３つの明細定義情報のうち、最も優先度の低い明細定義情報である。

本実施形態の帳票認識処理部２２０は、この３つの明細定義情報を参照して、帳票画像データの認識を行う。したがって、本実施形態では、例えば、帳票画像データが、個社明細定義情報２５１において定義されていない明細項目名を含む帳票のものであった場合でも、業種明細定義情報２５２や汎用明細定義情報２５３で定義されていれば、この帳票画像データを認識できる。

尚、以下の説明では、請求書を帳票の一例として説明する。尚、帳票は、明細部を含むものであれば、どのような帳票であっても良い。具体的には、例えば、帳票は、納品書や見積書等であっても良い。

図５は、汎用明細定義情報の一例を示す図である。汎用明細定義情報２５３は、一般的な請求書の明細部で採用される明細項目名を定義するものであり、汎用明細定義情報２５３は、情報の項目として、項目名と、キーワードとを有し、両者は対応付けられている。

項目「明細項目名」の値は、請求書の明細部で用いられる明細項目の名称を示す。項目「キーワード」の値は、明細部の明細項目名と同義と見なされるキーワード（単語）を示す。

つまり、汎用明細定義情報２５３は、一般的な帳票で用いられる明細項目、帳票から明細項目として抽出するキーワードと、を定義した情報である。

図５の例では、明細項目名「商品名」は、「商品」、「製品」、「品名」等のキーワードと同義として扱われることを示している。また、図５の例では、明細項目名「金額」は、「金額」、「総額」、「合計」等のキーワードと同義として扱われることを示している。

図６は、業種明細定義情報の一例を示す図である。業種明細定義情報２５２は、業種毎に設けられる情報であり、業種が示す業界における一般的な請求書の明細部で採用される項目名を定義するものである。

業種明細定義情報２５２は、業種を特定する情報と、項目「明細項目名」と、項目「キーワード」とを有し、両者は対応付けられている。図６の例では、業種が「人材派遣」であることを示している。

項目「明細項目名」の値は、一般的な請求書の明細部で用いられる明細項目の名称を示す。項目「キーワード」の値は、請求元が人材派遣業の請求書において、一般的な明細項目名に相当するキーワード（単語）を示す。

つまり、業種明細定義情報２５２は、業種と、帳票で用いられる明細項目、帳票から明細項目として抽出するキーワードと、を定義した情報である。

図６の例では、一般的な帳票の明細項目名「商品名」は、発行元が人材派遣業の請求書の明細部では、「氏名」、「スタッフ」、「メンバー」等のキーワードに置き換えられる場合があることを示している。

図７は、個社明細定義情報の一例を示す図である。本実施形態の個社明細定義情報２５１は、利用者毎に登録されるものである。ここでの利用者は、請求書の発行元（請求元）である。

個社明細定義情報２５１では、請求元を特定する情報と、項目「明細項目名」と、項目「抽出情報」とが対応付けられている。

請求元を特定する情報とは、請求元の名称、電話番号、口座番号等を含む。尚、図７の例では、請求元を特定する情報に、請求元の名称、電話番号、口座番号が含まれるものとしたが、請求元を特定する情報は、これらの情報のうち何れか１つであっても良い。

項目「明細項目名」の値は、一般的な請求書の明細部で用いられる明細項目の名称を示す。言い換えれば、個社明細定義情報２５１における明細項目名とは、帳票で用いられる明細項目を示す。

項目「抽出情報」の値は、請求元から発行される請求書において、一般的な明細項目に相当するキーワード（単語）として抽出するキーワードと、請求書を示す帳票画像において、このキーワードが記載されている位置を示す情報とを含む。

つまり、個社明細定義情報２５１における抽出情報は、帳票から明細項目として抽出するキーワードと、帳票におけるキーワードの位置を示す情報とを含む。したがって、個社明細定義情報２５１は、帳票で用いられる明細項目と、明細項目として抽出するキーワードと、帳票におけるキーワードの位置を示す情報とを定義した情報である。

図７の例では、一般的な帳票の明細項目名「商品名」は、請求元がＡ社である請求書の明細部では、「氏名」、等のキーワードに置き換えられる場合があることを示している。

また、図７の例では、請求元がＡ社である請求書を示す帳票画像におけるキーワード「氏名」の位置を示す情報として、キーワードの座標を示すキーワード座標、キーワード「氏名」が記入されたセルの座標を示すセル座標、キーワード「氏名」が記入された列の座標を示す列座標が抽出されることを示している。

尚、請求書を示す帳票画像において、キーワードが記載されている位置を示す情報とは、キーワードの座標値、セルの値座標、列の座標値のうち、少なくとも何れか一種類の座標が取得されていれば良い。

具体的には、キーワードの座標値とは、キーワードに外接する矩形において対角線上にある２点の座標であっても良い。この座標から、キーワードに外接する矩形の幅と高さがわかる。

次に、図８を参照して、本実施形態のサーバ装置２００の機能について説明する。図８は、サーバ装置の機能を説明する図である。

本実施形態のサーバ装置２００では、例えば、メモリ装置２５や補助記憶装置２４等に格納された情報処理プログラムを演算処理装置２６が読み出して実行することで、後述する各部の機能が実現される。

本実施形態のサーバ装置２００は、帳票認識処理部２２０、定義登録部２９０を有する。帳票認識処理部２２０は、入力受付部２２１、認証処理部２２２、帳票認識部２７０を有する。

入力受付部２２１は、サーバ装置２００に対する各種の入力を受け付ける。具体的には、入力受付部２２１は、帳票認識システム１００にログインするための認証情報の入力を受け付ける。認証情報とは、例えば、利用者ＩＤとパスワード等である。また、入力受付部２２１は、例えば、画像形成装置３００から送信された帳票画像データの入力を受け付ける。

認証処理部２２２は、入力受付部２２１が入力を受け付けた認証情報に基づき、認証を行う。尚、認証処理部２２２は、例えば、サーバ装置２００の外部に設けられた認証サーバに対して、入力された認証情報を送信し、認証サーバによる認証の結果を取得しても良い。認証処理部２２２は、利用者が認証されると、入力受付部２２１が受け付けた帳票画像データを帳票認識部２７０に渡しても良い。

本実施形態の帳票認識部２７０は、画像データ格納部２７１、ジョブリスト生成部２７２、画像データ取得部２７３、前処理部２７４、文字認識部２７５、定義特定部２７６、項目抽出部２７７、表示画面生成部２７８、出力部２７９を有する。

画像データ格納部２７１は、画像形成装置３００から帳票画像データを受信すると、帳票画像データベース２３０に格納する。

ジョブリスト生成部２７２は、入力受付部２２１が画像形成装置３００から帳票画像データの入力を受け付けて、ジョブリストにジョブを登録し、ジョブリストを管理する。ジョブリストの詳細は後述する。

画像データ取得部２７３は、帳票画像データベース２３０に格納された帳票画像データを取得する。前処理部２７４は、画像データ取得部２７３が取得した帳票画像データに対して、帳票認識を行うための前処理を行う。

文字認識部２７５は、帳票画像データから、文字列と、文字列が配置された位置を示す情報とを抽出し、読取結果データとして保持する。読取結果データの詳細は後述する。

定義特定部２７６は、読取結果データに含まれる文字列に基づき、帳票認識の際に参照する明細定義情報を特定し、特定した明細定義情報を明細定義データベース２５０から取得する取得部である。

項目抽出部２７７は、読取結果データに基づき、帳票画像データに含まれる項目と、項目の値とを抽出して対応付けを行った認識結果データを生成し、認識結果データベース２６０へ格納する。

このとき、本実施形態の項目抽出部２７７は、定義特定部２７６により特定された明細定義情報を参照し、帳票の明細部に記載された明細項目名と、明細項目の値とを対応付けて抽出する。

以下の説明では、帳票の明細部に記載された明細項目名と、明細項目の値とを対応付けた情報を明細情報と呼ぶ場合がある。本実施形態の明細情報は、認識結果データに含まれる情報であり、認識結果データの一部である。

また、本実施形態の認識結果データは、帳票に記載された帳票の発行元を示す情報（発行元情報）等を含む。つまり、認識結果データには、帳票に記載された文字列が示す情報が含まれる。

表示画面生成部２７８は、認識結果データベース２６０に格納された認識結果データを用いて、認識結果の確認画面を生成する。

出力部２７９は、表示画面生成部２７８が生成した認識結果の確認画面を出力する。言い換えれば、出力部２７９は、表示画面生成部２７８が生成した認識結果の確認画面を端末装置４００のウェブブラウザ上で表示させる。

本実施形態の定義登録部２９０は、表示制御部２９１、定義生成部２９２、定義更新部２９３を有する。

表示制御部２９１は、個社明細定義情報を生成するための画面を端末装置４００に表示させる。具体的には、表示制御部２９１は、画面を表示させるためのＸＭＬ形式のファイルを生成し、端末装置４００のウェブブラウザ上に入力画面を表示させる。

尚、本実施形態では、表示制御部２９１は、個社明細定義情報を生成するための画面を端末装置４００に表示させるものとしたが、これに限定されない。表示制御部２９１が画面を表示させる装置は、サーバ装置２００であっても良いし、端末装置４００以外の装置あっても良く、表示機能を有する表示装置であれば良い。

定義生成部２９２は、入力画面に対して端末装置４００から入力された情報に基づき、個社明細定義情報を生成して明細定義データベース２５０へ格納する。

定義更新部２９３は、既に明細定義データベース２５０に登録された個社明細定義情報に対する修正を反映させて、個社明細定義情報を更新する。

以下に、図９を参照して、本実施形態の帳票認識システム１００の動作について説明する。図９は、帳票認識システムの動作を説明するシーケンス図である。

帳票認識システム１００において、画像形成装置３００は、利用者から帳票認識を行うためのアプリケーションの起動要求を受け付けると（ステップＳ９０１）、このアプリケーションを起動させる（ステップＳ９０２）。

続いて、画像形成装置３００は、利用者から認証情報の入力を受け付けると（ステップＳ９０３）、この認証情報をサーバ装置２００へ送信し、認証要求を行う（ステップＳ９０４）。

サーバ装置２００は、認証要求を受けて、認証処理部２２２により認証を行い、その結果を画像形成装置３００へ通知する（ステップＳ９０５）。尚、ここでは、利用者が認証された場合の動作を示している。

続いて、画像形成装置３００は、帳票のスキャン指示を受け付け（ステップＳ９０６）、帳票のスキャンを行い、帳票画像データを取得する（ステップＳ９０７）。続いて、画像形成装置３００は、帳票画像データをサーバ装置２００へ送信する（ステップＳ９０８）。

サーバ装置２００は、入力受付部２２１が帳票画像データの入力を受け付けると、認証処理部２２２がこの帳票画像データを帳票認識部２７０へ渡す（ステップＳ９０９）。尚、図９の例では、認証処理部２２２を介して帳票画像データが帳票認識部２７０へ渡されるものとしたが、これに限定されない。帳票画像データは、認証処理部２２２を介さずに帳票認識部２７０に渡されても良い。

サーバ装置２００の帳票認識部２７０は、帳票画像データを受け取ると、ジョブリスト生成部２７２により、ジョブリストにジョブを登録する（ステップＳ９１０）。続いて、帳票認識部２７０は、画像データ格納部２７１により、帳票画像データを帳票画像データベース２３０へ格納する（ステップＳ９１１）。

続いて、帳票認識部２７０は、画像データ取得部２７３により、帳票画像データベース２３０から認識する対象となる帳票画像データを取得し（ステップＳ９１２）、帳票画像を認識する処理を実行する（ステップＳ９１３）。ステップＳ９１２の処理の詳細は後述する。

続いて、帳票認識部２７０は、項目抽出部２７７が生成した認識結果データを認識結果データベース２６０に格納する（ステップＳ９１４）。

帳票認識システム１００において、端末装置４００は、利用者からのブラウザの表示指示の入力を受け付けると（ステップＳ９１５）、サーバ装置２００に対して認識結果データを表示させるブラウザの表示要求を行う（ステップＳ９１６）。

また、端末装置４００は、利用者から認証情報の入力を受け付けて（ステップＳ９１７）、この認証情報をサーバ装置２００へ送信する（ステップＳ９１８）。

サーバ装置２００は、認証処理部２２２により、利用者の認証を行い（ステップＳ９１９）、その結果を端末装置４００へ通知する（ステップＳ９２０）。尚、ここでは、利用者が認証された場合の処理を示す。

続いて、端末装置４００は、利用者から、帳票画像の認識結果の閲覧指示の入力を受け付けると（ステップＳ９２１）、サーバ装置２００に対して閲覧要求を行う（ステップＳ９２２）。

サーバ装置２００は、閲覧要求を受けて、認識結果データベース２６０に格納されている認識結果データを取得し（ステップＳ９２３）、認識結果の確認画面を生成して端末装置４００のブラウザ上に表示させ（ステップＳ９２４）、利用者に、表示された認識結果の確認画面で認識結果を確認させる。

続いて、端末装置４００は、利用者から、個社明細定義情報の登録指示の入力を受け付けると（ステップＳ９２５）、個社明細定義情報の登録要求をサーバ装置２００へ送信する（ステップＳ９２６）。

サーバ装置２００は、この登録要求を受け付けると、定義登録部２９０の表示制御部２９１により、端末装置４００に個社明細定義情報の登録画面を表示させる（ステップＳ９２７）。

続いて、端末装置４００は、個社明細定義情報の入力を受け付けると（ステップＳ９２８）、入力された情報をサーバ装置２００へ送信する（ステップＳ９２９）。サーバ装置２００は、定義生成部２９２により、端末装置４００から送信された情報に基づき、個社明細定義情報を生成し（ステップＳ９３０）、明細定義データベース２５０に格納して（ステップＳ９３１）、処理を終了する。尚、定義登録部２９０による処理の詳細は後述する。

ここで、図１０を参照して、本実施形態のジョブリスト生成部２７２により生成されるジョブリストについて説明する。図１０は、ジョブリストの一例を示す図である。

本実施形態のサーバ装置２００は、画像形成装置３００から帳票画像データが入力されると、ジョブリスト生成部２７２により、帳票画像データとジョブＩＤとを対応付けたジョブリストとして保持する。

本実施形態のジョブリスト１０１は、情報の項目として、ジョブＩＤ、利用者ＩＤ、帳票画像ファイルパス、認識結果ファイルパス、ステータスを有する。

項目「ジョブＩＤ」の値は、ジョブを特定する識別子である。言い換えれば、項目「ジョブＩＤ」の値は、画像形成装置３００から受信した帳票画像データを特定するための識別子である。

項目「利用者ＩＤ」の値は、帳票認識システム１００にログインした利用者を特定するための識別子である。

項目「画像ファイルパス」の値は、帳票画像データが格納されている場所を示す情報である。項目「認識結果ファイルパス」の値は、帳票画像を認識した結果の認識結果データが格納されている場所を示す情報である。

項目「ステータス」の値は、帳票画像の認識の進捗を示す。言い換えれば、項目「ステータス」の値は、ジョブの状態を示す。

本実施形態では、項目「ステータス」の値として、未処理状態、下書き保存状態、確定済み状態、外部出力済み状態の４つがある。各状態は、以下の通りである。

・未処理状態（状態１） 帳票認識によって認識結果データが取得された直後であり、認識結果の確認等が行われていない状態。

・下書き保存状態（状態２） 認識結果データの確認等の作業の途中等であり、認識結果データが確定される前の状態。

・確定済み状態（状態３） 認識結果データの確認等の作業が完了し、確定された情報として認識結果データベース２６０へ格納された状態。
・外部出力済み状態（状態４） 帳票認識システム１００と連携する会計システム等への認識結果データの出力が完了した状態。

本実施形態のサーバ装置２００は、画像形成装置３００から帳票画像データを受信すると、ジョブリスト生成部２７２により、ジョブＩＤを付与し、認証情報として取得した利用者ＩＤを対応付けて、ジョブリスト１０１にレコードを追加する。そして、ジョブリスト生成部２７２は、帳票画像データが帳票画像データベース２３０に格納されると、この格納先を示す情報を項目「画像ファイルパス」の値として、追加する。

さらに、ジョブリスト生成部２７２は、認識結果データが認識結果データベース２６０に格納されると、この格納先を示す情報を項目「認識結果ファイルパス」の値として追加し、項目「ステータス」の値を確定済み状態とする。

本実施形態では、例えば、ジョブリスト生成部２７２によって生成されたジョブリストを表示しても良い。この場合、利用者は、ジョブリストに基づいて表示されたジョブリスト画面を介して、帳票画像の認識の進捗を確認することができる。

次に、図１１を参照して、本実施形態の帳票認識部２７０の処理について説明する。図１１は、帳票認識部の処理を説明する第一のフローチャートである。図１１では、図９のステップＳ９１３の処理の詳細を示している。また、図１１では、複数の帳票画像データを画像形成装置３００から受け取った場合の処理を示している。

本実施形態の帳票認識部２７０は、ジョブリストから１つのジョブの選択を受け付けると（ステップＳ１１０１）、前処理部２７４により、画像データ取得部２７３が取得した帳票画像データに対して、帳票認識を行うための前処理を行う（ステップＳ１１０２）。前処理とは、具体的には、例えば、帳票画像の向きを揃える補正処理等である。

続いて、帳票認識部２７０は、文字認識部２７５により、帳票画像から、文字が形成されている領域（以下、文字フィールド）の中の文字を切り取り、文字認識する（ステップＳ１１０３）。このとき、文字認識部２７５は、切り出した文字の位置を示す座標も取得する。

続いて、帳票認識部２７０は、文字認識部２７５により認識された各文字列の位置関係に基づいて読取結果データを生成して、保持する（ステップＳ１１０４）。具体的に、帳票認識部２７０は、認識された各文字の座標に基づいて、互いの距離が予め設定された閾値以内の文字を１つの文字列として認識し、文字列と、文字列が形成された領域の位置を示す座標などの情報とを対応付けて読取結果データを生成する。

続いて、帳票認識部２７０は、定義特定部２７６により、読取結果データに含まれる請求元を特定する情報（以下、請求元情報）と、業種判定データベース２４０とを参照し、請求元の業種を特定する（ステップＳ１１０５）。

続いて、帳票認識部２７０は、定義特定部２７６により、明細定義データベース２５０に、請求元情報と対応する個社明細定義情報２５１が存在するか否かを判定する（ステップＳ１１０６）。

ステップＳ１１０６において、個社明細定義情報２５１が存在する場合、帳票認識部２７０は、項目抽出部２７７により、個社明細定義情報２５１に基づき明細情報を抽出し（ステップＳ１１０７）、後述するステップＳ１１１１へ進む。ステップＳ１１０７の処理の詳細は後述する。

ステップＳ１１０６において、個社明細定義情報２５１が存在しない場合、定義特定部２７６は、明細定義データベース２５０に、ステップＳ１１０５で特定された業種と対応する業種明細定義情報２５２が存在するか否かを判定する（ステップＳ１１０８）。

ステップＳ１１０７において、業種明細定義情報２５２が存在する場合、帳票認識部２７０は、項目抽出部２７７により、業種明細定義情報２５２に基づき明細情報を抽出し（ステップＳ１１０９）、後述するステップＳ１１１１へ進む。ステップＳ１１０９の処理の詳細は後述する。

ステップＳ１１０８において、業種明細定義情報２５２が存在しない場合、帳票認識部２７０は、項目抽出部２７７により、汎用明細定義情報２５３に基づき明細情報を抽出し（ステップＳ１１１０）、後述するステップＳ１１１１へ進む。ステップＳ１１１０の処理の詳細は後述する。

帳票認識部２７０は、明細情報の抽出に成功したか否かを判定する（ステップＳ１１１１）。具体的には、帳票認識部２７０は、ステップＳ１１０７、ステップＳ１１０９、ステップＳ１１１０の何れかの処理で抽出された明細情報が存在するか否かを判定している。

ステップＳ１１１１において、明細情報の抽出に失敗した場合、帳票認識部２７０は、端末装置４００又は画像形成装置３００に対してエラーを通知し（ステップＳ１１１２）、処理を終了する。

ステップＳ１１１１において、明細情報の抽出に成功した場合、帳票認識部２７０は、項目抽出部２７７により、抽出された明細情報をマージした認識結果データを生成し、認識結果データベース２６０に格納する（ステップＳ１１１３）。

続いて、帳票認識部２７０は、ジョブリスト生成部２７２により、認識結果データの格納先をジョブリスト１０１に登録する（ステップＳ１１１４）。

続いて、帳票認識部２７０は、表示画面生成部２７８により、認識結果データを用いて生成された認識結果の確認画面を端末装置４００に表示させ（ステップＳ１１１５）、処理を終了する。

尚、図１１の例では、認識結果データを表示させる処理までを一連の動作として説明したが、これに限定されない。帳票認識部２７０は、端末装置４００から、認識結果データの閲覧要求を受け付けてから、認識結果データを表示させても良い。

次に、図１２と図１３を参照して、本実施形態の項目抽出部２７７による明細情報の抽出について説明する。図１２は、帳票認識部の処理を説明する第二のフローチャートである。図１２は、図１１のステップＳ１１０７の処理の詳細を示している。

本実施形態の帳票認識部２７０において、項目抽出部２７７は、読取結果データが保持されると、各文字の座標値を抽出する（ステップＳ１２０１）。続いて、項目抽出部２７７は抽出した各文字の座標からキーワード（文字列）を特定し、キーワードと対応する座標値を特定する（ステップＳ１２０２）。

続いて、項目抽出部２７７は、特定したキーワードで、個社明細定義情報２５１に含まれる明細項目名を検索し（ステップＳ１２０３）、検索結果が存在するか否かを判定する（ステップＳ１２０４）。具体的には、項目抽出部２７７は、個社明細定義情報２５１に、特定したキーワードと一致する明細項目名が存在するか否かを判定している。

ステップＳ１２０４において、該当する明細項目名が存在しない場合、帳票認識部２７０は、処理を終了する。また、ステップＳ１２０４において、該当する明細項目名が存在する場合、特定したキーワードを明細部の明細項目名とし、特定したキーワードの下に縦方向な並ぶキーワードを明細項目名の項目値を抽出し（ステップＳ１２０５）、処理を終了する。

尚、図１１のステップＳ１１０９の処理は、図１２のステップＳ１２０３において、参照する明細定義情報が業種明細定義情報２５２である点以外は、図１２の処理と同様であるから、説明を省略する。

図１３は、帳票認識部の処理を説明する第三のフローチャートである。図１３は、図１１のステップＳ１１１０の処理の詳細を示している。言い換えれば、図１３は、請求元と対応する個社明細定義情報２５１も汎用明細定義情報２５３も存在しない場合に、汎用明細定義情報２５３を参照して明細情報を抽出する処理を示している。

図１３のステップＳ１３０１とステップＳ１３０２の処理は、図１２のステップＳ１２０１とステップＳ１２０２の処理と同様であるから、説明を省略する。

項目抽出部２７７は、キーワードと座標値を特定すると、帳票画像データに表が存在するか否かを判定する（ステップＳ１３０３）。ステップＳ１３０３において、表が存在しない場合、項目抽出部２７７は、後述するステップＳ１３１０へ進む。

ステップＳ１３０３において、表が存在する場合、項目抽出部２７７は、表の各セルの座標値を抽出する（ステップＳ１３０４）。尚、このとき、項目抽出部２７７は、各セルに、各セルを識別する識別情報（ＩＤ）を付与しても良い。また、識別情報は、例えば、表の列を特定する列ＩＤ及び表の行を特定する行ＩＤとして付与されても良い。このように、列ＩＤと行ＩＤとを付与すれば、列ＩＤと行ＩＤとの組み合わせにより、セルを特定できる。

続いて、項目抽出部２７７は、表の各セルに含まれるキーワードを特定し、セルの座標値と対応付けて保持する（ステップＳ１３０５）。

続いて、項目抽出部２７７は、表の先頭行（一番上の行）の各セルに含まれるキーワードを特定する（ステップＳ１３０６）。続いて、項目抽出部２７７は、先頭行に各セルに含まれるキーワードで、汎用明細定義情報２５３を検索する（ステップＳ１３０７）。

続いて、項目抽出部２７７は、汎用明細定義情報２５３に、先頭行に各セルに含まれるキーワードと一致する明細項目名が存在するか否かを判定する（ステップＳ１３０８）。ステップＳ１３０８において、先頭行に各セルに含まれるキーワードと一致する明細項目名が存在しない場合、項目抽出部２７７は、処理を終了する。

ステップＳ１３０８において、先頭行に各セルに含まれるキーワードと一致する明細項目名が存在する場合、項目抽出部２７７は、先頭行に各セルに含まれるキーワードを明細項目名とし、このキーワードを含む列に含まれるキーワードを、明細項目の項目値として抽出し（ステップＳ１３０９）、処理を終了する。

ステップＳ１３０３において、表が存在しない場合、帳票認識部２７０は帳票画像における明細部の領域を特定する（ステップＳ１３１０）。具体的には、帳票認識部２７０は、例えば、キーワードが縦方向に並んでいる領域を、明細部の領域と特定しても良い。

続いて、帳票認識部２７０は、項目抽出部２７７により、明細部に特定された領域における一行目のキーワードを特定し、特定したキーワードの座標値と対応付けて保持する（ステップＳ１３１１）。特定された領域における一行目のキーワードとは、特定された領域なにおいて、一番上に位置するキーワードである。

続いて、項目抽出部２７７は、ステップＳ１３１１で特定したキーワードで、汎用明細定義情報２５３を検索する（ステップＳ１３１２）。続いて、項目抽出部２７７は、汎用明細定義情報２５３に、特定したキーワードと一致する明細項目名が存在するか否かを判定する（ステップＳ１３１３）。

ステップＳ１３１３において、一致する明細項目名が存在しない場合、帳票認識部２７０は、処理を終了する。

ステップＳ１３１３において、一致する明細項目名が存在する場合、項目抽出部２７７は、ステップＳ１３１１で特定したキーワードの座標値から、キーワードが外接する領域の幅を取得し、この幅において縦方向に並んでいるキーワードを明細項目の項目値として抽出し（ステップＳ１３１４）、処理を終了する。

尚、図１３の例では、帳票画像に表が存在する場合には、セルの座標値を抽出するものとしたが、表の代わりに縦線を用いても良い。その場合、帳票認識部２７０は、帳票画像に縦線が存在するか否かを判定し、縦線が存在する場合には、縦線と縦線の間に位置するキーワードと、キーワードの座標を特定すれば良い。

そして、帳票認識部２７０は、縦線と縦線の間のキーワードのうち、一番上のキーワードと一致する明細項目名が汎用明細定義情報２５３に存在する場合には、この縦線と縦線の間にある２番目以降のキーワードを明細項目の値とすれば良い。

以下に、図１４と図１５を参照して、帳票認識部２７０の処理についてさらに説明する。図１４は、明細情報の抽出を説明する第一の図である。

図１４は、明細情報の抽出を説明する第一の図である。図１４に示す請求書１４１には、請求元を特定する請求元情報１４１ａと、明細項目毎に同じ形式のデータが縦方向に繰り返し印刷された明細部１４１ｂとが含まれる。図１４（Ａ）に示す請求書１４１は、請求元情報１４１ａは、請求元の名称であり、明細部１４１ｂは、表形式で記載されている。

本実施形態では、請求書１４１を画像形成装置３００で読み取って帳票画像データとし、帳票画像データに対して帳票認識部２７０の処理を実行することで、認識結果データが生成される。

図１５は、明細情報の抽出を説明する図である。図１５（Ａ）に示す情報１５１は、請求書１４１を示す帳票画像データに対し、文字認識部２７５による文字認識を行った結果である。

情報１５１は、請求書１４１のうち、明細部１４１ｂから文字フィールドを切り取り、文字フィールドの中の文字を認識した結果と、文字の位置を示す座標とから抽出した例を示す。

本実施形態の文字認識部２７５は、この情報１５１から、隣り合う位置にある文字同士をつなげて文字列（文字列）を認識する。具体的には、文字認識部２７５は、文字と文字との間の距離が、所定ピクセル以内である文字の組み合わせを、１つ単語として認識しても良い。

図１５（Ａ）示す情報１５２は、文字認識部２７５により認識された文字列と、文字列の領域とを示す情報であり、文字認識部２７５による帳票画像の読取結果データである。

また、文字認識部２７５は、帳票画像データから、縦線と横線で区切られた領域を１つのセルとして認識し、セル毎にセルを識別する識別情報（セルＩＤ）を付与する。

図１５（Ａ）に示す情報１５３は、明細部１４１ｂから認識されたセル毎の領域とセルＩＤとの対応付けを示す情報である。

図１５（Ａ）では、例えば、キーワード「氏名」が認識された領域は、情報１５２において、Ｘ座標とＹ座標によって示される位置を基準として、高さと幅とから特定される。

また、情報１５３において、キーワード「氏名」が認識された領域は、セルＩＤ「２」に含まれることがわかる。したがって、キーワード「氏名」は、明細部１４１ｂに含まれるキーワードして、セルＩＤ「２」と対応付けられる。尚、情報１５３では、キーワード「氏名」が認識された領域に対してセルＩＤを対応付けるものとしたが、これに限定されない。セルＩＤは、キーワードが縦方向に並ぶ列を特定する列ＩＤと、キーワードが横方向に並ぶ行ＩＤとによって特定されても良い。

本実施形態の帳票認識部２７０は、このようにして、帳票画像データから、キーワードとセルとを対応付ける。

図１５（Ｂ）に示す情報１５４は、請求書１４１と対応する読取結果データに基づき生成された、明細部１４１ｂの明細情報である。したがって、図１５（Ｂ）に示す明細情報１５４は、帳票画像データ全体の認識結果データの一部である。

図１５（Ｂ）に示す明細情報１５４は、項目抽出部２７７によって生成されるものであり、情報の項目として、列ＩＤ、項目名、列の座標、行ＩＤ、項目値、明細項目指定とを有する。

項目「列ＩＤ」の値は、明細部１４１ｂ（表）に含まれる列を特定する識別情報であり、項目「明細項目名」の値は、表の一番上の行の各セル内のキーワードである。項目「列の座標」の値は、列の座標を示す。尚、本実施形態では、列の座標を、帳票画像における明細の列の左上の点の座標値と右下の点の座標値とをする。

項目「行ＩＤ」の値は、行を特定する識別情報であり、項目「項目値」の値は、明細項目と対応する項目値を示す。

項目「明細項目指定」の値は、対応する項目名と、項目名の位置を示す座標とを、個社明細定義情報２５１に登録するか否かを示す。項目名の位置を示す座標とは、例えば、列の座標と行ＩＤとの組み合わせ等によって示される。

明細情報１５４では、項目名の値である「氏名」に項目「明細項目指定」の値である「商品名」が対応付けられている。また、「氏名」の位置を示す座標を、列の座標としたとする。

この場合、「氏名」と「氏名」の列の座標とは、個社明細定義情報２５１に、項目「明細項目名」の値である「商品名」のと対応する項目「抽出情報」の値として、登録される。

尚、図１５（Ｂ）の明細情報１５４の例では、情報の項目として、列の座標、列ＩＤ、行ＩＤを含むものとしたが、これに限定されない。明細情報１５４は、情報の項目として、路委細項目名と、項目値とが含まれていれば良く、それ以外の項目は、明細情報１５４に含まれなくても良い。

また、本実施形態では、認識結果の確認画面に明細情報１５４を表示させる場合には、明細項目名と項目値のみを表示させれば良い。

以下に、項目抽出部２７７による明細情報１５４の生成について具体的に説明する。

始めに、項目抽出部２７７が個社明細定義情報２５１を参照して、明細情報１５４を生成した場合を説明する。以下の説明は、図１２の処理を具体的に示している。

この場合、項目抽出部２７７は、例えば、情報１５３においてキーワード「氏名」とキーワード座標値が特定されると、キーワード「氏名」で、個社明細定義情報２５１を検索する。

ここで、個社明細定義情報２５１には、キーワード「氏名」が存在するため（図７参照）、項目抽出部２７７は、キーワード「氏名」を明細項目名として抽出する。また、項目抽出部２７７は、キーワード「氏名」のキーワード座標値から求められるキーワード「氏名」の下に並ぶキーワードを明細項目の項目値として抽出する。

このとき、項目抽出部２７７は、キーワード「氏名」の位置を示す座標（列ＩＤ、列の座標）を抽出し、明細項目名であるキーワード「氏名」と対応付ける。また、項目抽出部２７７は、項目値として抽出されたキーワード（例えば、「Ａ」）と、このキーワード（項目値）の位置を示す座標（列ＩＤ、行ＩＤ）を対応付ける。

次に、項目抽出部２７７が業種明細定義情報２５２を参照して、明細情報１５４を生成した場合を説明する。

この場合も、項目抽出部２７７は、例えば、情報１５３においてキーワード「氏名」とキーワード座標値が特定されると、キーワード「氏名」で、個社明細定義情報２５１を検索する。また、業種明細定義情報２５２には、キーワード「氏名」が存在するため（図６参照）、項目抽出部２７７は、キーワード「氏名」を明細項目名として抽出する。また、項目抽出部２７７は、キーワード「氏名」のキーワード座標値から求められるキーワード「氏名」の下に並ぶキーワードを明細項目の項目値として抽出する。

ここでも、項目抽出部２７７は、明細項目名であるキーワード「氏名」と、キーワード「氏名」の位置を示す座標とを対応付ける。また、項目抽出部２７７は、項目値として抽出されたキーワードと、このキーワード（項目値）の位置を示す座標を対応付ける。

次に、項目抽出部２７７が汎用明細定義情報２５３を参照して、明細情報１５４を生成した場合を説明する。以下の説明は、図１３の処理を具体的に示している。

この場合、項目抽出部２７７は、例えば、情報１５３においてキーワード「氏名」とキーワード座標値が特定されると、明細部１４１ｂに表が存在するか否かを判定する。ここでは、明細部１４１ｂは、図１４に示すように、表形式としているため、表が存在することとなる。

したがって、項目抽出部２７７は、情報１５３のうち、明細部１４１ｂを示す表に含まれる各セルの座標値を抽出し、各セルの座標値と、セル内のキーワードとを対応付けて保持する。

図１５の例では、セルＩＤ「２」の座標値とキーワード「氏名」、セルＩＤ「７」の座標値とキーワード「最終金額」というように、対応付けて保持する。

次に、項目抽出部２７７は、表の一番上の行に含まれるキーワードを特定する。ここでは、キーワード「氏名」、「最終金額」が一番上の行に含まれるキーワードとして特定される。

次に、項目抽出部２７７は、特定したキーワードで、汎用明細定義情報２５３を検索する。ここで、キーワード「氏名」は、汎用明細定義情報２５３に存在しない（図７参照）。したがって、項目抽出部２７７は、キーワード「氏名」に対しては、項目値を抽出しない。

また、キーワード「最終金額」は、汎用明細定義情報２５３に存在する（図７参照）。したがって、項目抽出部２７７は、キーワード「最終金額」を明細項目名として抽出する。また、項目抽出部２７７は、キーワード「最終金額」キーワード座標値から求められるキーワード「最終金額」の下に並ぶキーワードを明細項目の項目値として抽出する。

このとき、項目抽出部２７７は、キーワード「最終金額」の位置を示す座標（列ＩＤ、列の座標）を抽出し、明細項目名であるキーワード「最終金額」と対応付ける。また、項目抽出部２７７は、項目値として抽出されたキーワード（例えば、「３００，０００」）と、このキーワード（項目値）の位置を示す座標（列ＩＤ、行ＩＤ）を対応付ける。

このように、本実施形態では、始めに個社明細定義情報２５１を参照して、明細部１４１ｂから明細項目名を抽出する。したがって、本実施形態によれば、請求元毎に独自で用いる明細項目名と項目値とを対応付けて抽出することができる。言い換えれば、本実施形態によれば、個社明細定義情報２５１を参照して、帳票の明細部から明細情報を抽出することができる。

また、本実施形態では、個社明細定義情報２５１が存在しない場合には、請求元の業種と対応した業種明細定義情報２５２を参照して、明細項目名と項目値を抽出する。したがって、本実施形態によれば、個社明細定義情報２５１が存在しない場合でも、請求元の業種特有の明細項目類と項目値を対応付けて抽出することができる。言い換えれば、本実施形態によれば、業種明細定義情報２５２を参照して、帳票の明細部から明細情報を抽出することができる。

また、本実施形態では、個社明細定義情報２５１と業種明細定義情報２５２とが存在しない場合には、汎用明細定義情報２５３を参照する。そして、本実施形態では、汎用明細定義情報２５３に、明細部１４１ｂに記載された明細項目名が存在しない場合には、新たに抽出すべき明細項目名と、帳票画像において明細項目名が記載された位置を示す情報とを、個社明細定義情報２５１として登録することができる。

以下に、図１６と図１７を参照して、定義登録部２９０による個社明細定義情報２５１の登録について説明する。

図１６は、定義登録部の処理を説明する第一のフローチャートである。図１６では、図９のステップＳ９２４からステップＳ９３１までの処理の詳細を示している。

本実施形態のサーバ装置２００は、帳票認識部２７０による帳票の認識結果の確認画面において、端末装置４００から、認識結果の登録要求を受け付けたか否かを判定する（ステップＳ１６０１）。具体的には、サーバ装置２００は、認識結果データベース２６０に対する、確認画面に表示された認識結果データの格納が指示されたか否かを判定している。

ステップＳ１６０１において、認識結果の登録要求を受け付けていない場合、サーバ装置２００は、後述するステップＳ１６０５へ進む。

ステップＳ１６０１において、認識結果の登録要求を受け付けた場合、サーバ装置２００は、確認画面上で、認識結果データが修正されたか否かを判定する（ステップＳ１６０２）。尚、本実施形態における認識結果データの修正とは、主に明細部の認識結果データに対する修正を示す。

ステップＳ１６０２において、認識結果データが修正されていない場合、サーバ装置２００は、処理を終了する。

ステップＳ１６０２において、認識結果データが修正されていた場合、定義登録部２９０は、定義生成部２９２により、帳票画像データの認識において、個社明細定義情報２５１が用いられたか否かを判定する（ステップＳ１６０３）。具体的には、定義生成部２９２は、請求元と対応付けられた個社明細定義情報２５１が存在するか否かを判定している。

ステップＳ１６０３において、個社明細定義情報２５１が用いられていない場合、定義登録部２９０は、後述するステップＳ１６０６へ進む。

ステップＳ１６０３において、個社明細定義情報２５１が用いられていた場合、定義更新部２９３は、明細定義データベース２５０に格納されたこの個社明細定義情報２５１を更新し（ステップＳ１６０４）、処理を終了する。

ステップＳ１６０１において、認識結果データの登録要求を受け付けない場合、サーバ装置２００は、端末装置４００から、帳票定義（個社明細定義情報２５１）の登録要求を受け付けたか否かを判定する（ステップＳ１６０５）。

ステップＳ１６０５において、帳票定義の登録要求を受け付けていない場合、サーバ装置２００は、ステップＳ１６０１へ戻る。

ステップＳ１６０５において、帳票定義の登録要求を受け付けた場合、定義登録部２９０は、定義生成部２９２により、個社明細定義情報２５１を生成する（ステップＳ１６０６）。ステップＳ１６０６の処理の詳細は後述する。

続いて、サーバ装置２００は、端末装置４００から、請求元情報の入力を受け付ける（ステップＳ１６０７）。続いて、定義生成部２９２は、入力された請求元情報と、個社明細定義情報２５１とを対応付けて、明細定義データベース２５０に登録（格納）して（ステップＳ１６０８）、処理を終了する。

以下に、図１７を参照して、定義生成部２９２による個社明細定義情報２５１の生成について説明する。図１７は、定義登録部の処理を説明する第二のフローチャートである。図１７では、図１６のステップＳ１６０６の処理の詳細を示している。

本実施形態の定義登録部２９０において、定義生成部２９２は、確認画面において、明細情報の表示欄に表示された明細項目名の選択を受け付ける（ステップＳ１７０１）。

続いて、定義登録部２９０は、表示制御部２９１により、確認画面に表示されている帳票画像において、明細情報の項目に該当する領域をハイライト等で表示させる（ステップＳ１７０２）。

続いて、定義登録部２９０は、帳票画像上で、項目の選択を受け付けると（ステップＳ１７０３）、表示制御部２９１により、帳票画像上に、選択された項目の値としてキーワードが抽出される領域を示す画像を表示させる（ステップＳ１７０４）。

続いて、定義登録部２９０は、帳票画像上で列の選択を受け付けると（ステップＳ１７０５）、定義生成部２９２により、ステップＳ１７０３で選択された項目の項目名と、選択された列の座標とを取得し、確認画面の明細情報の表示欄において選択された明細項目名と対応付ける（ステップＳ１７０６）。

つまり、ここでは、明細情報の表示欄に表示された明細項目名とは、個社明細定義情報２５１における項目「明細項目名」の値である。また、ステップＳ１７０３で選択された項目の項目名と、選択された列の座標とは、個社明細定義情報２５１における項目「抽出情報」の値である。したがって、定義生成部２９２は、ステップＳ１７０６において、個社明細定義情報２５１の項目「明細項目名」の値と、項目「抽出情報」の値とを取得している。

続いて、定義登録部２９０は、表示制御部２９１により、ステップＳ１７０５で選択された列の項目値を、確認画面の明細情報の表示欄に反映させ（ステップＳ１７０７）、処理を終了する。

以下に、図１８乃至図２２を参照して、認識結果の確認画面の表示例について説明する。図１８は、表示例を示す第一の図である。図１８に示す画面１８１は、例えば、図９のステップＳ９２４で端末装置４００に表示される認識結果の確認画面の一例である。

画面１８１は、表示欄１８２、表示欄１８３と、操作ボタン１９０、１９１とを含む。表示欄１８２には、帳票画像データが示す帳票画像が表示される。図１８の例では、帳票が請求書であり、帳票画像に明細部（表）を示す領域１８４が含まれる。

表示欄１８３は、表示欄１８２に表示された帳票画像を示す帳票画像データに対して帳票認識部２７０による帳票認識を行った結果の認識結果データが表示される。

表示欄１８３は、表示欄１８５、１８６、１８７、１８８を含む。表示欄１８５は、ジョブリスト１０１の項目「ステータス」の値が表示される。表示欄１８６は、請求元情報が表示される。請求元情報は、認識結果データの一部である。

表示欄１８７は、明細情報に含まれる明細項目名の一覧が表示される。尚、図１８の例では、帳票画像データから認識結果データを生成する際に個社明細定義情報２５１が参照されておらず、帳票画像データから明細情報が抽出されていない。このため、表示欄１８７には、汎用明細定義情報２５３で定義された一般的な明細項目名が表示されている。

尚、表示欄１８３に表示される認識結果データが、個社明細定義情報２５１を参照して生成された場合には、表示欄１８７には、個社明細定義情報２５１に定義された明細項目名が表示される。また、表示欄１８３に表示される認識結果データが、業種明細定義情報２５２を参照して生成された場合には、表示欄１８７には、業種明細定義情報２５２に定義された明細項目名が表示される。

表示欄１８８は、明細情報が表示される。具体的には、表示欄１８８は、表示欄１８７に表示された明細項目毎に、項目値を表示させる表示欄を含む。具体的には、表示欄１８８には、明細項目「商品名」の項目値が表示される欄、明細項目「金額」の項目値が表示される欄、明細項目「備考」の項目値が表示される欄等が含まれる。

画面１８１では、表示欄１８８に含まれる各欄には、初期状態として、対応する明細項目名が表示される。具体的には、表示欄１８８において、明細項目「商品名」の項目値が表示される欄には、明細項目名である「商品名」が初期設定として表示される。

また、図１８の例では、帳票認識により明細部を示す領域１８４に４行の表が存在することが判明しているため、表示欄１８８には、３行分の項目値の表示欄が表示されている。

定義登録部２９０は、例えば、画面１８１の表示欄１８７において、明細項目「商品名」が選択されると、表示欄１８２に表示された帳票画像において、明細部を示す領域１８４内の表の先頭の行（一番上の行）１９２がハイライトされる。

本実施形態では、このように、領域１８４内の表の先頭の行１９２をハイライトすることで、帳票画像において、明細部における明細項目が記載されていると想定される領域を、利用者に提示することができる。尚、先頭の行１９２の表示態様は、ハイライトに限定されない。本実施形態では、表示欄１８７において項目の選択を受け付けて、行１９２の表示態様を、領域１８４内の表の他の行の表示態様と異ならせれば良い。

本実施形態では、先頭の行１９２において、項目の選択を受け付けると、項目と対応する項目値を示す領域にマーカが表示される。

操作ボタン１９０は、ジョブリスト１０１のステータスの値を、未処理状態から下書き保存状態とするための操作ボタンである。操作ボタン１９０が操作されると、表示欄１８５は、「未処理」から「下書き保存」に変化する。

操作ボタン１９１は、ジョブリスト１０１のステータスの値を、確定状態とするための操作ボタンである。本実施形態では、表示欄１８８に表示された明細情報が変更された場合には、操作ボタン１９１が操作された際に、請求元情報を入力するための画面が表示される。

図１９は、表示例を示す第一の図である。図１９に示す画面１８１Ａは、図１８に示す画面１８１において、領域１８４内の先頭の行１９２から、キーワード「氏名」が選択された場合を示している。

画面１８１Ａでは、領域１８４内の表において、キーワード「氏名」の下に縦方向に並んだ３つセルを含む領域１９３にマークが付されている。これは、領域１９３が、キーワード「氏名」の項目値を抽出する対象の領域であることを示している。

図２０は、表示例を示す第三の図である。図２０に示す画面１８１Ｂは、領域１８４内の表において、キーワード「氏名」の列１９５が選択された場合を示している。

本実施形態では、領域１８４内の表において、列１９５が選択されると、列１９５に含まれるキーワード「氏名」と、表示欄１８７で選択された明細項目「商品名」とが対応付けられる。そして、表示欄１８８Ａに含まれる、明細項目「商品名」の項目値が表示される欄１８８ａに、領域１９３から抽出されたキーワードが表示される。

つまり、領域１８４内の表から、キーワード「氏名」が明細項目「氏名」として抽出され、キーワード「氏名」の下のセル内のキーワードが、明細項目「氏名」の項目値として抽出される。

表示欄１８８Ａでは、領域１８４内の表から抽出されたが明細項目「氏名」と、明細項目「氏名」の項目値とが対応付けられて表示される。具体的には、表示欄１８８Ａでは、明細項目「商品名」の項目値が表示される欄１８８ａに、領域１９３から抽出されたキーワード「Ａ」、「Ｂ」、「Ｃ」が表示される。

このとき、定義登録部２９０は、定義生成部２９２により、帳票画像におけるキーワード「氏名」の位置を示すキーワード座標、キーワード「氏名」を含むセルのセル座標、列１９５の座標の少なくとも何れか１つを取得する。そして、定義生成部２９２は、キーワード「氏名」と、キーワード座標、セル座標、列の座標の何れかと、を、個社明細定義情報２５１の抽出情報とする。

また、定義生成部２９２は、表示欄１８７において選択された明細項目「商品名」と、抽出情報とを対応付けて、保持しておく。

図２１は、表示例を示す第三の図である。図２１に印す画面１８１Ｃでは、表示欄１８７から、明細項目「金額」が選択された後に、領域１８４内の表の先頭の行において、キーワード「最終金額」を含む列１９４が選択された場合を示している。

この場合、明細項目「金額」と、キーワード「最終金額」とが対応付けられる。したがって、表示欄１８８Ｂにおける、明細項目「金額」の項目値が表示される欄１８８ｂに、列１９４において、キーワード「最終金額」の下に縦方向に並んだセル内のキーワードが表示される。

このとき、定義登録部２９０は、定義生成部２９２により、帳票画像におけるキーワード「最終金額」の位置を示すキーワード座標、キーワード「最終金額」を含むセルのセル座標、列１９４の座標の少なくとも何れか１つを取得する。そして、定義生成部２９２は、キーワード「最終金額」と、キーワード座標、セル座標、列の座標の何れかと、を、個社明細定義情報２５１の抽出情報とする。

また、定義生成部２９２は、表示欄１８７において選択された明細項目「金額」と、抽出情報とを対応付けて、保持しておく。

そして、画面１８１Ｃにおいて、操作ボタン１９１が操作されると、定義登録部２９０の表示制御部２９１は、請求元情報を入力するためのウィンドウ等が表示させる。定義生成部２９２は、請求元情報の入力が完了し、登録指示がなされると、保持している明細項目と抽出情報とに、入力された請求元情報を対応付けた個社明細定義情報２５１を生成し、明細定義データベース２５０に格納する。

このように、本実施形態では、明細項目の選択と、明細項目として抽出するキーワードの指定とが行われると、指定されたキーワードと、キーワードの位置を示す情報と、選択された明細項目とを含む個社明細定義情報２５１を生成する。

このため、本実施形態によれば、個社明細定義情報２５１を参照して、帳票画像データに含まれる利用者独自の明細部から、明細情報を抽出することができる。したがって、本実施形態では、帳票の認識の精度を向上させることができる。

尚、表示欄１８７の表示態様は、図１８乃至図２１に示す表示態様に限定されない。図２２は、表示例を示す第四の図である。

図２２に示す画面１８１Ｄでは、表示欄１８３において、汎用明細定義情報２５３で定義された一般的な明細項目名が表示された表示欄１８７Ａと、明細情報が表示される表示欄１８８Ｃとが、表形式で表示される。

また、図２２の例では、表示欄１８７Ａの項目名である「金額」は、領域１８４内の表に含まれる項目「最終金額」と部分一致する。このため、図２２の例では、領域１８４内の表における項目「最終金額」の列１９６の各項目値を、表示欄１８８Ｃの項目「金額」と対応付けて表示させる。つまり、図２２の例では、個社明細定義情報２５１を用いて一部の明細情報の認識に失敗し、一部が成功したことになる。

また、本実施形態では、領域１８４内の表において、ハイライトされた行１９２から項目を選択する際に、複数の項目を選択しても良い。言い換えれば、領域１８４内の表において、項目と対応する列を選択する際に、複数列が選択されても良い。

図２２の例では、表示欄１８７Ａの明細項目「商品名」と対応するキーワードとして、領域１８４内の表から、キーワード「スタッフＩＤ」を含む列と、キーワード「氏名」を含む列とが選択されている。この場合、表示欄１８７Ａの明細項目「商品名」と、領域１８４内の表のキーワード「スタッフＩＤ」、「氏名」とが対応付けられる。

そして、表示欄１８８Ｃの明細項目「商品名」と対応する表示欄には、領域１８４内の表におけるキーワード「スタッフＩＤ」と対応する項目値と、キーワード「氏名」と対応する項目値とが表示される。

図２２の例では、具体的には、表示欄１８８Ｃの明細項目「商品名」と対応する表示欄には、「００１２Ａ」が表示される。尚、複数列を選択する操作は、例えば、「Ctrl」キーを押した状態で、マウスで２つの列を選択すれば良い。

上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC（Application Specific Integrated Circuit）、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

また、実施形態に記載された装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの１つを示すものにすぎない。

ある実施形態では、サーバ装置２００は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。同様に、サーバ装置２００は、互いに通信するように構成された複数のコンピューティングデバイスを含むことができる。

さらに、サーバ装置２００は、開示された処理ステップを様々な組み合わせで共有するように構成できる。例えば、サーバ装置２００によって実行されるプロセスは、他のサーバ装置によって実行され得る。同様に、サーバ装置２００の機能は、他のサーバ装置によって実行することができる。また、サーバ装置と他のサーバ装置の各要素は、１つのサーバ装置にまとめられていても良いし、複数の装置に分けられていても良い。

また、明細書中の対応テーブルは、機械学習の学習効果によって生成されたものでもよい。また、取引内容の記載に含まれうるキーワードと勘定項目とを機械学習にて分類付けすることで、対応テーブルを使用しなくてもよい。

ここで、機械学習とは、コンピュータに人のような学習能力を獲得させるための技術であり，コンピュータが、データ識別等の判断に必要なアルゴリズムを、事前に取り込まれる学習データから自律的に生成し，新たなデータについてこれを適用して予測を行う技術のことをいう。機械学習のための学習方法は、教師あり学習、教師なし学習、半教師学習、強化学習、深層学習のいずれかの方法でもよく、さらに、これらの学習方法を組み合わせた学習方法でもよく、機械学習のための学習方法は問わない。

以上、各実施形態に基づき本発明の説明を行ってきたが、上記実施形態に示した要件に本発明が限定されるものではない。これらの点に関しては、本発明の主旨をそこなわない範囲で変更することができ、その応用形態に応じて適切に定めることができる。

１００ 帳票認識システム
２００ サーバ装置
２１０ 記憶部
２２０ 帳票認識処理部
２３０ 帳票画像データベース
２４０ 業種判定データベース
２５０ 明細定義データベース
２６０ 認識結果データベース
２７０ 帳票認識部
２７１ 画像データ格納部
２７２ ジョブリスト生成部
２７３ 画像データ取得部
２７４ 前処理部
２７５ 文字認識部
２７６ 定義特定部
２７７ 項目抽出部
２７８ 表示画面生成部
２７９ 出力部
３００ 画像形成装置
４００ 端末装置
５００ 基幹システム

特開２０１６－５１３３９号公報

Claims (10)

1. 帳票画像の明細部を示す領域から読み取った文字列と、文字列の位置を示す情報とを対応付けた読取結果データから、前記領域に含まれる明細項目及び明細項目の値を抽出する項目抽出部と、
   抽出された前記明細項目及び明細項目の値を認識結果として出力する出力部と、を有し、
   前記項目抽出部は、
   帳票で用いられる明細項目と、前記明細項目として抽出するキーワードと、前記帳票における前記キーワードの位置と、を定義した第一の明細定義情報を参照して、前記領域に含まれる明細項目及び明細項目の値を抽出し、
   前記第一の明細定義情報に含まれるキーワードに、前記領域から読み取った文字列と一致するキーワードが存在しない場合に、
   帳票の発行元の業種毎に、帳票で用いられる明細項目と、前記明細項目として抽出するキーワードとを対応付けた第二の明細定義情報を参照して、前記明細部に含まれる項目及び項目の値を抽出する、情報処理システム。
2. 前記項目抽出部は、
   前記第二の明細定義情報に含まれるキーワードに、前記領域から読み取った文字列と一致するキーワードが存在しない場合に、
   帳票に用いられる明細項目と、前記明細項目として抽出するキーワードとを対応付けた第三の明細定義情報を参照して、前記明細部に含まれる項目及び項目の値を抽出する、請求項１記載の情報処理システム。
3. 前記第一の明細定義情報に含まれる前記明細項目は、前記第三の明細定義情報に含まれる明細項目を含む、請求項２記載の情報処理システム。
4. 前記帳票画像と、前記項目抽出部により抽出された前記明細項目及び明細項目の値とを含む画面データを生成する表示画面生成部を有し、
   前記出力部は、
   前記表示画面生成部が生成した画面データを前記認識結果の確認画面として端末装置に表示させる、請求項３に記載の情報処理システム。
5. 前記表示画面生成部は、
   前記明細項目及び明細項目の値が抽出されなかった場合に、前記第三の明細定義情報に含まれる明細項目を前記帳票画像と共に前記確認画面に表示させる、請求項４に記載の情報処理システム。
6. 前記第一の明細定義情報を生成する定義生成部を有し、
   前記定義生成部は、
   前記確認画面において、前記第三の明細定義情報に含まれる明細項目に対する選択と、前記帳票画像の明細部を含む領域内のキーワードに対する指定とを受け付けて、選択された前記明細項目と、指定された前記キーワードと、前記帳票画像における前記キーワードの位置と、を対応づける、請求項５記載の情報処理システム。
7. 前記定義生成部は、
   前記帳票の発行元を特定する発行元情報の入力を受けて、前記発行元情報に、選択された前記明細項目と、指定された前記キーワードと、前記帳票画像における前記キーワードの位置と、を対応付けた第一の明細定義情報を生成し、記憶部に格納する、請求項６記載の情報処理システム。
8. サーバ装置と、端末装置とを有する情報処理システムであって、
   前記サーバ装置は、
   帳票画像の明細部を示す領域から読み取った文字列と、文字列の位置を示す情報とを対応付けた読取結果データから、前記明細部に含まれる明細項目及び明細項目の値を抽出する項目抽出部と、
   抽出された前記明細項目及び明細項目の値を認識結果として、前記端末装置へ出力する出力部と、を有し、
   前記項目抽出部は、
   帳票で用いられる明細項目と、前記明細項目として抽出するキーワードと、前記帳票における前記キーワードの位置と、を定義した第一の明細定義情報を参照して、前記明細項目及び明細項目の値を抽出し、
   前記第一の明細定義情報に含まれるキーワードに、前記領域から読み取った文字列と一致するキーワードが存在しない場合に、
   帳票の発行元の業種毎に、帳票で用いられる明細項目と、前記明細項目として抽出するキーワードとを対応付けた第二の明細定義情報を参照して、前記明細部に含まれる項目及び項目の値を抽出する、情報処理システム。
9. コンピュータによる情報処理方法であって、前記コンピュータが、
   帳票画像の明細部を示す領域から読み取った文字列と、文字列の位置を示す情報とを対応付けた読取結果データから、前記明細部に含まれる明細項目及び明細項目の値を抽出する手順と、
   抽出された前記明細項目及び明細項目の値を認識結果として出力する手順と、を有し、
   前記抽出する手順は、
   帳票で用いられる明細項目と、前記明細項目として抽出するキーワードと、前記帳票における前記キーワードの位置と、を定義した第一の明細定義情報を参照して、前記明細項目及び明細項目の値を抽出し、
   前記第一の明細定義情報に含まれるキーワードに、前記領域から読み取った文字列と一致するキーワードが存在しない場合に、
   帳票の発行元の業種毎に、帳票で用いられる明細項目と、前記明細項目として抽出するキーワードとを対応付けた第二の明細定義情報を参照して、前記明細部に含まれる項目及び項目の値を抽出する、情報処理方法。
10. 帳票画像の明細部を示す領域から読み取った文字列と、文字列の位置を示す情報とを対応付けた読取結果データから、前記明細部に含まれる明細項目及び明細項目の値を抽出する処理と、
    抽出された前記明細項目及び明細項目の値を認識結果として出力する処理と、をコンピュータに実行させ、
    前記抽出する処理は、
    帳票で用いられる明細項目と、前記明細項目として抽出するキーワードと、前記帳票における前記キーワードの位置と、を定義した第一の明細定義情報を参照して、前記明細項目及び明細項目の値を抽出し、
    前記第一の明細定義情報に含まれるキーワードに、前記領域から読み取った文字列と一致するキーワードが存在しない場合に、
    帳票の発行元の業種毎に、帳票で用いられる明細項目と、前記明細項目として抽出するキーワードとを対応付けた第二の明細定義情報を参照して、前記明細部に含まれる項目及び項目の値を抽出する、プログラム。

Images