JP7380653B2 - 情報処理装置、情報処理方法、情報処理プログラム、情報処理システム - Google Patents

Description

本発明は、帳票の認識を行う情報処理装置、情報処理方法、情報処理プログラム、情報処理システムに関する。

従来では、文字認識処理において、判読困難な文字を類似した文字のセットにグループ化し、候補文字のセットに基づいて、判読困難な文字に適合する正しい文字を推定して置換する技術が知られている。

上述した従来の文字認識処理を、例えば、帳票認識に適用した場合、帳票から抽出される文字列の精度が担保されず、帳票認識の精度が低下する可能性がある。

本発明は、上記事情に鑑みて成されたものであり、帳票認識の精度をより向上させることを目的としている。

開示の技術は、帳票画像データから抽出した文字列群に含まれる第一の項目名と対応する、第一の項目情報を検索キーとした検索要求を検索エンジンに出力する検索要求部と、前記検索エンジンから取得した検索結果に基づき、前記文字列群に含まれる第二の項目名と対応する、第二の項目情報を特定する特定部と、前記帳票画像データと対応する帳票の一覧を端末装置に表示させる際に、前記検索エンジンから取得した検索結果を用いて特定された前記第二の項目情報を含む認識結果データと、前記第二の項目情報が文字認識によって取得された認識結果データと、で表示態様を異ならせる表示制御部と、を有する情報処理装置である。

帳票認識の精度をより向上させることができる。

帳票認識システムのシステム構成の一例を示す図である。 サーバ装置のハードウェア構成の一例を示す図である。 サーバ装置のハードウェア構成の一例を示す図である。 抽出定義データベースの一例を示す図である。 辞書データベースの一例を示す図である。 抽出結果管理データベースの一例を示す図である。 検索履歴管理データベースの一例を示す図である。 テナントデータベースの一例を示す図である。 サーバ装置の機能を説明する図である。 端末装置の機能を説明する図である。 帳票認識システムの動作を説明する第一のシーケンス図である。 ジョブリストの一例を示す図である。 帳票認識システムの動作を説明する第二のシーケンス図である。 帳票認識処理部の処理を説明する第一のフローチャートである。 読取結果情報の一例を示す図である。 帳票認識処理部の処理を説明する第二のフローチャートである。 法人情報管理テーブルの一例を示す図である。 抽出結果管理データベースの項目値の更新について説明する図である。 表示例を示す第一の図である。 表示例を示す第二の図である。 表示例を示す第三の図である。

以下に図面を参照して、実施形態について説明する。図１は、帳票認識システムのシステム構成の一例を示す図である。

本実施形態の帳票認識システム１００は、サーバ装置２００、画像形成装置３００、端末装置４００を有する。本実施形態の帳票認識システム１００において、サーバ装置２００と、画像形成装置３００と、端末装置４００とは、ネットワークを介して接続される。

また、本実施形態のサーバ装置２００は、ネットワークを介して外部サーバ６００と通信を行う、外部サーバ６００は、例えば、一般に公開された情報を保持するサーバ装置である。

また、本実施形態の端末装置４００は、例えば、ネットワークを介して基幹システム５００と接続される。基幹システム５００とは、例えば、本実施形態の帳票認識システム１００において帳票を認識した結果を用いて、特定の処理を行うシステムである。

本実施形態では、請求書を帳票の一例として説明する。また、以下の説明では、帳票認識システム１００は、請求書を読み取った帳票画像から、請求書を発行した請求元と、請求金額を示す情報（請求書情報）を含む情報を抽出するものとして説明する。また、帳票認識システム１００は、帳票画像から、請求書の明細を示す明細情報を抽出してもよい。

また、帳票が請求書である場合、基幹システム５００は、金融機関に対する請求額の振込等を行う会計システムであってもよい。

本実施形態の帳票認識システム１００において、サーバ装置２００は、画像形成装置３００のスキャナ機能によって読み取られた帳票の画像を示す画像データを取得する。また、サーバ装置２００は、端末装置４００から、帳票の画像を示す画像データを受信してもよい。

サーバ装置２００は、帳票の画像を示す帳票画像データを取得すると、帳票に含まれる項目と項目の値とを抽出し、項目と項目の値とを対応付けたテキストデータとする。

以下の説明では、帳票の画像を帳票画像と呼び、帳票画像を示す画像データを帳票画像データと呼ぶ。

また、以下の説明では、帳票画像に含まれる項目の名称（項目名）と、この項目の項目情報としての値（項目値）とを抽出し、項目名と項目値とをテキストデータに変換して対応付けることを、帳票認識と呼ぶ。

本実施形態のサーバ装置２００は、記憶部２２０と、帳票認識処理部２３０とを有する。記憶部２２０には、画像データベース２４０、抽出定義データベース２５０、辞書データベース２６０、抽出結果管理データベース２７０、検索履歴管理データベース２８０、認識結果データベース２９４、テナントデータベース２９５が設けられている。

画像データベース２４０は、帳票画像データが格納される。抽出定義データベース２５０は、抽出定義情報が格納される。抽出定義情報は、帳票画像から請求書情報に含まれる文字列を抽出する際に、帳票認識処理部２３０に参照される。

辞書データベース２６０は、請求書の発行元を特定するための辞書情報が格納される。言い換えれば、辞書データベース２６０は、帳票に含まれる所定の項目名と対応する項目値を特定するための辞書情報が格納されるものであり、所定の項目名と対応する項目値とは、帳票の発行元である。辞書情報は、帳票認識システム１００の利用者に入力される情報である。したがって、辞書データベース２６０は、帳票認識システム１００の利用者によって作成されるものと言える。

抽出結果管理データベース２７０は、帳票認識処理部２３０による帳票認識処理により、帳票から抽出された結果が格納される。具体的には、抽出結果管理データベース２７０には、帳票から抽出された項目名と項目値とが対応付けられて格納される。また、抽出結果管理データベース２７０は、テナント毎に設けられてよい。

検索履歴管理データベース２８０は、帳票認識処理部２３０による帳票認識処理において行われた検索の履歴を示す検索履歴情報が格納される。

認識結果データベース２９４は、帳票認識処理部２３０による帳票認識の結果を示す認識結果データが格納される。尚、認識結果データベース２９４は、テナント毎に設けられてよい。テナントデータベース２９５は、テナントに関するテナント情報が格納される。

尚、本実施形態におけるテナントとは、例えば、企業等である。より具体的には、例えば、テナントとは、帳票認識システム１００が提供するサービスを利用するための契約を締結している事業者や企業、団体等である。

本実施形態の帳票認識処理部２３０は、画像データベース２４０に格納された帳票画像データを取得し、文字認識を行って、帳票画像に含まれる文字列群を抽出する。そして、帳票認識処理部２３０は、抽出定義データベース２５０に格納された抽出定義情報を参照して、文字列群から、請求書情報に含まれる文字列を抽出し、抽出結果を抽出結果管理データベース２７０に格納する。

さらに、本実施形態の帳票認識処理部２３０は、抽出定義情報を参照して請求書情報を抽出した後に、特定の項目名の項目値の信憑性を、特定の項目値と関連する他の項目名の項目値を検索キーとした検索結果を用いて検証する。具体的には、帳票認識処理部２３０は、他の項目値で辞書データベース２６０を検索し、検索結果を用いて特定の項目名の項目値の信憑性を検証する。

また、帳票認識処理部２３０は、特定の項目名の項目値の信憑性が低いか、又は、特定の項目値が抽出されていない場合に、他の項目値で検索エンジンを検索し、検索結果の信憑性を検証し、検証結果に応じて特定の項目名の項目値を特定する。

つまり、本実施形態の帳票認識処理部２３０は、帳票画像データから取得した文字列群に含まれる第一の項目名（他の項目名）と対応する第一の項目値を検索キーとする検索要求を検索エンジンに出力する。そして、帳票認識処理部２３０は、検索結果を用いて、文字列群に含まれる第二の項目名（特定の項目名）と対応する第二の項目値を特定する。

次に、帳票認識処理部２３０は、特定された項目値（第二の項目値）を、抽出結果管理データベース２７０に格納された特定の項目名（第二の項目名）の項目値に特定する。

また、本実施形態の帳票認識処理部２３０は、抽出結果管理データベース２７０に格納された抽出結果情報を、帳票認識処理部２３０による帳票認識の結果を示す認識結果データの一部として認識結果データベース２９４に格納する。

本実施形態では、このように、帳票認識において、辞書データベース２６０や検索エンジンを項目名で検索した結果を用いて項目値が正しい値あるか否かを検証し、検証結果に応じて、項目値を項目名と対応付けて抽出結果管理データベース２７０に格納する。そして、本実施形態では、抽出結果管理データベース２７０に格納された抽出結果情報を、認識結果情報に含める。

したがって、本実施形態では、抽出定義情報を参照した請求書情報の抽出において、正しい項目値が取得される可能性を向上させることができる。つまり、本実施形態によれば、帳票認識の精度を向上させることができる。

以下の本実施形態の説明では、第一の項目名を項目名「電話番号」とし、第一の項目名と対応する第一の項目値を、項目名「電話番号」の項目値とする。また、本実施形態の以下の説明では、第二の項目名を項目名「請求元」とし、第二の項目名とし対応する第二の項目値を、項目名「請求元」の項目値とする。

項目名「請求元」の項目値が正しく抽出されない場合とは、例えば、請求書の発行元（請求元）である会社名が記載された部分に社判が押印されており、会社名を示す文字列と印影が重なっている場合がある。この場合、抽出定義情報を用いて文字認識を行っても、項目名「請求元」の項目値である会社名は正しく抽出されない可能性がある。

また、例えば、会社名が、文字列でなく、ロゴ等で標記されている場合も、文字認識では会社名は正しく抽出されない可能性が高い。

本実施形態では、このように、項目名と対応する項目値が文字認識によって正しく抽出されなかった場合であっても、他の項目名と対応する項目値に基づいて、正しく抽出されなかった項目値を特定する。したがって、本実施形態によれば、帳票認識の精度をより向上させることができる。

本実施形態の帳票認識システム１００において、画像形成装置３００は、スキャナ機能を有する複合機である。画像形成装置３００は、コピー機能、ＦＡＸ機能、スキャナ機能等を実現するためのアプリケーションが搭載されており、各機能と対応するアプリケーションを選択することで、これらの機能が実現される。

本実施形態の端末装置４００は、帳票認識システム１００を利用する利用者（テナント）によって使用される。また、端末装置４００は、サーバ装置２００による帳票認識の結果が表示される。本実施形態の端末装置４００は、例えば、タブレット型の端末であってもよいし、スマートフォン等であってもよい。

また、図１の例では、サーバ装置２００は、記憶部２２０内に６つのデータベースを有する構成としたが、これに限定されない。各データベースは、一部がサーバ装置２００の外部装置に設けられていてもよいし、各データベース全てが外部装置に設けられていてもよい。

また、図１の例では、サーバ装置２００が帳票認識処理部２３０を実現するものとしたが、これに限定されない。帳票認識処理部２３０は、複数の情報処理装置によって実現されてもよい。

また、図１の例では、帳票認識システム１００に含まれる画像形成装置３００と端末装置４００とは、それぞれ１台としているが、帳票認識システム１００に含まれる画像形成装置３００と端末装置４００の台数は、任意の数であって良い。

次に、図２Ａを参照して、本実施形態のサーバ装置２００のハードウェア構成について説明する。図２Ａは、サーバ装置のハードウェア構成の一例を示す図である。

図２Ａに示されているように、サーバ装置２００は、コンピュータによって構築されており、図２Ａに示されているように、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、ＨＤ２０４、ＨＤＤ(Hard Disk Drive)コントローラ２０５、ディスプレイ２０６、外部機器接続Ｉ／Ｆ(Interface)２０８、ネットワークＩ／Ｆ２０９、バスライン２１０、キーボード２１１、ポインティングデバイス２１２、ＤＶＤ－ＲＷ(Digital Versatile Disk Rewritable)ドライブ２１４、メディアＩ／Ｆ２１６を備えている。

これらのうち、ＣＰＵ２０１は、サーバ装置２００全体の動作を制御する。ＲＯＭ２０２は、ＩＰＬ等のＣＰＵ２０１の駆動に用いられるプログラムを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。ＨＤ２０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ２０５は、ＣＰＵ２０１の制御にしたがってＨＤ２０４に対する各種データの読み出し又は書き込みを制御する。

ディスプレイ２０６は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。外部機器接続Ｉ／Ｆ２０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリやプリンタ等である。ネットワークＩ／Ｆ２０９は、通信ネットワークを利用してデータ通信をするためのインターフェースである。バスライン２１０は、図２Ａに示されているＣＰＵ２０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

また、キーボード２１１は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス２１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。ＤＶＤ－ＲＷドライブ２１４は、着脱可能な記録媒体の一例としてのＤＶＤ－ＲＷ２１３に対する各種データの読み出し又は書き込みを制御する。尚、ＤＶＤ－ＲＷに限らず、ＤＶＤ－Ｒ等であってもよい。メディアＩ／Ｆ２１６は、フラッシュメモリ等の記録メディア２１５に対するデータの読み出し又は書き込み（記憶）を制御する。

次に、図２Ｂを参照して、本実施形態の端末装置４００のハードウェア構成について説明する。図２Ｂは、端末装置のハードウェア構成の一例を示す図である。本実施形態の端末装置４００は、ＣＰＵ４０１、ＲＯＭ４０２、ＲＡＭ４０３、ＥＥＰＲＯＭ４０４、ＣＭＯＳセンサ４０５、撮像素子Ｉ／Ｆ４０６、加速度・方位センサ４０７、メディアＩ／Ｆ４０９、ＧＰＳ受信部４１１を備える。

これらのうち、ＣＰＵ４０１は、端末装置４００全体の動作を制御する演算処理装置である。ＲＯＭ４０２は、ＣＰＵ４０１やＩＰＬ等のＣＰＵ４０１の駆動に用いられるプログラムを記憶する。ＲＡＭ４０３は、ＣＰＵ４０１のワークエリアとして使用される。ＥＥＰＲＯＭ４０４は、ＣＰＵ４０１の制御にしたがって、スマートフォン用プログラム等の各種データの読み出し又は書き込みを行う。ＲＯＭ４０２、ＲＡＭ４０３、ＥＥＰＲＯＭ４０４は、端末装置４００の記憶装置の一例である。

ＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサ４０５は、ＣＰＵ４０１の制御に従って被写体（主に自画像）を撮像して画像データを得る内蔵型の撮像手段の一種である。なお、ＣＭＯＳセンサではなく、ＣＣＤ(Charge Coupled Device)センサ等の撮像手段であってもよい。

撮像素子Ｉ／Ｆ４０６は、ＣＭＯＳセンサ４０５の駆動を制御する回路である。加速度・方位センサ４０７は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアＩ／Ｆ４０９は、フラッシュメモリ等の記録メディア４０８に対するデータの読み出し又は書き込み（記憶）を制御する。ＧＰＳ受信部４１１は、ＧＰＳ衛星からＧＰＳ信号を受信する。

また、端末装置４００は、遠距離通信回路４１２、遠距離通信回路４１２のアンテナ４１２ａ、ＣＭＯＳセンサ４１３、撮像素子Ｉ／Ｆ４１４、マイク４１５、スピーカ４１６、音入出力Ｉ／Ｆ４１７、ディスプレイ４１８、外部機器接続Ｉ／Ｆ(Interface)４１９、近距離通信回路４２０、近距離通信回路４２０のアンテナ４２０ａ、及びタッチパネル４２１を備えている。

これらのうち、遠距離通信回路４１２は、通信ネットワークを介して、他の機器と通信する回路である。ＣＭＯＳセンサ４１３は、ＣＰＵ４０１の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子Ｉ／Ｆ４１４は、ＣＭＯＳセンサ４１３の駆動を制御する回路である。マイク４１５は、音を電気信号に変える内蔵型の回路である。スピーカ３１６は、電気信号を物理振動に変えて音楽や音声などの音を生み出す内蔵型の回路である。音入出力Ｉ／Ｆ４１７は、ＣＰＵ４０１の制御に従ってマイク４１５及びスピーカ４１６との間で音信号の入出力を処理する回路である。

ディスプレイ４１８は、被写体の画像や各種アイコン等を表示する液晶や有機ＥＬ(Electro Luminescence)などの表示手段の一種である。外部機器接続Ｉ／Ｆ４１９は、各種の外部機器を接続するためのインターフェースである。近距離通信回路４３０は、ＮＦＣ(Near Field Communication)やＢｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。タッチパネル４２１は、利用者がディスプレイ４１８を押下することで、端末装置４００を操作する入力手段の一種である。ディスプレイ４１８は、端末装置４００の有する表示部の一例である。

尚、端末装置４００は、図２Ａに示すようなハードウェア構成を有する一般的なコンピュータであってもよい。

次に、図３を参照して、本実施形態のサーバ装置２００の有する抽出定義データベース２５０について説明する。

図３は、抽出定義データベースの一例を示す図である。図３では、抽出定義データベース２５０に格納された抽出定義情報の一例を示す。図３は、例えば、テナント毎に予め設けられていてもよい。

抽出定義情報は、情報の項目として、項目名、抽出基点キーワード、抽出方向、抽出範囲・抽出条件を有する。抽出定義データベース２５０において、項目「項目名」とその他の項目とは対応付けられており、項目「項目名」の値と、その他の項目の値とを含む情報が抽出定義情報となる。

項目「項目名」の値は、項目値と対応付けられる項目名を示す。項目「項目名」の値は、項目名と対応する項目「抽出基点キーワード」の値が示す文字列との位置関係に基づき抽出される。

また、項目「項目名」の値は、請求書情報に含まれる情報の項目でもある。図３の例では、項目「項目名」の値として、請求金額、請求日、請求元、電話番号、支払い期日等が含まれる。これらの値は、請求書情報の項目となる。

項目「抽出基点キーワード」の値は、項目「項目名」の値が示す項目名の項目値となる文字列を抽出する際に、基点となる文字列を示す。

項目「抽出方向」の値は、基点になる文字列と、項目「項目名」の値が示す項目名の項目値となる文字列との位置関係を示す。項目「抽出範囲・抽出条件」の値は、抽出する文字列の範囲と条件を示す。

図３では、例えば、項目名「請求金額」の項目値となる文字列は、帳票画像から抽出された文字列群のうち、「請求金額」、「請求金額合計」等の特定の文字列の右方向の隣にある文字列である。尚、項目名「請求金額」の抽出基点となる文字列は、「請求金額」、「請求金額合計」等の特定の文字列と部分一致する文字列であってもよい。

また、例えば、項目名「請求日」の項目値となる文字列は、帳票画像から抽出された文字列群のうち、「請求日」等の特定の文字列の右方向の隣にある文字列である。

また、例えば、項目名「請求元」の項目値となる文字列は、帳票画像から抽出された文字列群のうち、「請求元」、「弊社名」等の特定の文字列の右方向の隣にある文字列である。

次に、図４を参照して、辞書データベース２６０について説明する。図４は、辞書データベースの一例を示す図である。

本実施形態の辞書データベース２６０に格納される辞書情報は、情報の項目として、電話番号、会社名、テナントＩＤとを有し、各項目は対応付けられている。本実施形態において、項目「電話番号」の値と、項目「会社名」の値と、「テナントＩＤ」の値と、を対応付けた情報が辞書情報である。本実施形態の辞書情報は、端末装置４００に表示させた帳票の認識結果に対し、テナントが再入力した情報である。

項目「電話番号」の値は、請求書の発行元の電話番号を示す。項目「会社名」の値は、請求書の発行元の会社名を示す。項目「テナントＩＤ」の値は、帳票認識システム１００の利用者（テナント）を特定する識別情報である。

図４の例では、電話番号「０３－１２３４－５６７８」には、会社名「株式会社△△」と、テナントＩＤ「Ｃｏｍｐａｎｙ０１」とが対応付けられており、この辞書情報が、テナントＩＤ「Ｃｏｍｐａｎｙ０１」によって入力されたことがわかる。

次に、図５を参照して、抽出結果管理データベース２７０について説明する。図５は、抽出結果管理データベースの一例を示す図である。抽出結果管理データベース２７０は、テナント毎に設けられていてよい。

抽出定義情報は、帳票認識処理部２３０による帳票認識処理が行われる度に生成される。また、抽出定義情報は、帳票認識処理部２３０の帳票認識処理によって、帳票画像データから抽出された項目名と項目値である。

抽出結果管理データベース２７０に格納された抽出定義情報は、情報の項目として、請求書ＩＤ、請求元、請求日、請求金額、電話番号、住所等を含む。抽出定義情報において、項目「請求書ＩＤ」と、その他の項目とが対応付けられている。

項目「請求書ＩＤ」の値は、請求書を特定するための識別情報である。項目「請求元」の値は、帳票認識処理により帳票画像データから抽出された請求元の名称を示し、項目「請求日」の値は、帳票認識処理により帳票画像データから抽出された請求日を示す。

項目「請求金額」の値は、帳票認識処理により帳票画像データから抽出された請求金額を示し、項目「電話番号」の値は、帳票認識により帳票画像データから抽出された請求元の電話番号を示す。項目「住所」の値は、帳票認識処理により帳票画像データから抽出された請求元の住所を示す。

また、本実施形態の抽出定義情報では、帳票認識処理において、項目値が抽出されなかった場合には、項目名と対応する項目値は空欄となる。

図５の例では、請求書ＩＤ「００２」で特定される抽出定義情報では、全ての項目名に対して項目値が格納されている。これに対し、請求書ＩＤ「００１」で特定される抽出定義情報は、項目「請求元」の項目値が格納されていない。このため、請求書ＩＤ「００１」で特定される請求書の帳票画像データに対する帳票認識処理では、請求元の名称が抽出されなかったことがわかる。

次に、図６を参照して、本実施形態の検索履歴管理データベース２８０について説明する。図６は、検索履歴管理データベースの一例を示す図である。

本実施形態の検索履歴管理データベース２８０に格納された検索履歴情報は、帳票認識処理部２３０が、検索エンジンを用いた検索結果に基づき項目名の項目値を特定した場合に検索履歴管理データベース２８０に格納される。

検索履歴情報は、情報の項目として、電話番号、会社名、検索日時等を含み、それぞれが対応付けられている。

項目「電話番号」の値は、抽出結果管理データベース２７０に格納された電話番号を示し、検索エンジンに対する検索キーとなる。項目「会社名」の値は、検索エンジンに対する検索結果として取得された請求元の名称を示す。項目「検索日時」の値は、帳票認識処理部２３０が検索エンジンに対して検索要求を行った日時を示す。

次に、図７を参照して、本実施形態のテナントデータベース２９５について説明する。図７は、テナントデータベースの一例を示す図である。本実施形態のテナントデータベース２９５は、予めサーバ装置２００に格納されていてよい。

テナントデータベース２９５に格納されたテナント情報は、情報の項目として、テナントＩＤ、会社名、電話番号、住所等を含み、項目「テナントＩＤ」と、その他の項目とが対応付けられている。

項目「テナントＩＤ」の値は、テナントを特定するための識別情報である。言い換えれば、テナントＩＤは、帳票認識システム１００の利用者を特定するための識別情報である。項目「会社名」の値は、テナントの名称を示す。言い換えれば、項目「会社名」は、利用者の名称を示す。

項目「電話番号」の値と、項目「住所」の値は、テナントＩＤで特定されるテナントの電話番号と住所を示す。

尚、テナント情報には、図７に示す項目以外の項目が含まれてもよい。具体的には、例えば、テナント情報には、テナントが利用している金融機関に関する情報等が含まれてもよい。

次に、図８Ａを参照して、サーバ装置２００の機能について説明する。図８Ａは、サーバ装置の機能を説明する図である。

本実施形態のサーバ装置２００では、例えば、ＨＤ５０４等に格納された情報処理プログラムをＣＰＵ２０１が読み出して実行することで、後述する各部の機能が実現される。

本実施形態のサーバ装置２００は、帳票認識処理部２３０を有する。帳票認識処理部２３０は、入力受付部２２１、認証処理部２２２、帳票認識部２９０を有する。

入力受付部２２１は、サーバ装置２００に対する各種の入力を受け付ける。具体的には、入力受付部２２１は、帳票認識システム１００にログインするためのログイン情報の入力を受け付ける。ログイン情報とは、例えば、テナントＩＤとパスワード等である。また、入力受付部２２１は、例えば、画像形成装置３００から送信された帳票画像データの入力を受け付ける。

認証処理部２２２は、入力受付部２２１が入力を受け付けたログイン情報に基づき、認証を行う。尚、認証処理部２２２は、例えば、サーバ装置２００の外部に設けられた認証サーバに対して、入力されたログイン情報を送信し、認証サーバによる認証の結果を取得してもよい。認証処理部２２２は、利用者が認証されると、入力受付部２２１が受け付けた帳票画像データを帳票認識部２９０に渡してもよい。

本実施形態の帳票認識部２９０は、画像データ格納部２８１、ジョブリスト生成部２８２、画像データ取得部２８３、文字認識部２８４、抽出結果管理部２８５、辞書検索部２８６、検索要求部２８７、検索結果検証部２８８、特定部２８９、認識結果生成部２９１、表示制御部２９２、出力部２９３を有する。

画像データ格納部２８１は、画像形成装置３００から帳票画像データを受信すると、画像データベース２４０に格納する。また、画像データ格納部２８１は、端末装置４００から帳票画像データを受信すると、画像データベース２４０に格納する。

ジョブリスト生成部２８２は、入力受付部２２１が画像形成装置３００から帳票画像データの入力を受け付けて、ジョブリストにジョブを登録し、ジョブリストを管理する。ジョブリストの詳細は後述する。

画像データ取得部２８３は、画像データベース２４０に格納された帳票画像データを取得する。

文字認識部２８４は、帳票画像データから、文字列と、文字列が配置された位置を示す情報とを抽出し、読取結果情報として保持する。したがって、読取結果情報には、帳票画像データから抽出された複数の文字列が含まれる。以下の説明では、読取結果情報に含まれる、帳票画像データから抽出された複数の文字列を、文字列群と表現する場合がある。読取結果情報の詳細は後述する。

抽出結果管理部２８５は、抽出結果管理データベース２７０に格納される抽出結果情報を管理する。具体的には、抽出結果管理部２８５は、帳票画像データから抽出された複数の文字列を、項目名と項目値として対応付けた抽出結果情報として、抽出結果管理データベース２７０に格納する。また、抽出結果管理部２８５は、辞書データベース２６０や検索エンジンの検索により項目値が特定された場合に、抽出結果管理データベース２７０に格納された抽出結果情報を更新する。

辞書検索部２８６は、抽出結果情報に含まれる項目値を検索キーとして、辞書データベース２６０を検索する。具体的には、辞書検索部２８６は、抽出結果情報に組まれる電話番号を検索キーとして、辞書データベース２６０を検索する。

検索要求部２８７は、抽出結果情報に含まれる項目値を検索キーとして、インターネット上の検索エンジンに対し、検索要求を出力する。

検索結果検証部２８８は、辞書検索部２８６による検索結果の正誤を検証する。また、検索結果検証部２８８は、検索エンジンによる検索結果の正誤を検証する。言い換えれば、検索結果検証部２８８は、検索結果の信憑性を検証する。

特定部２８９は、検索結果検証部２８８による検証結果に応じて、抽出結果情報として格納する項目値を特定する。

認識結果生成部２９１は、抽出結果情報に含まれる請求書情報を含む認識結果データを生成する。

表示制御部２９２は、端末装置４００等における画面の表示を制御する。具体的には、表示制御部２９２は、端末装置４００に表示される認識結果確認画面を示す画面データを生成してもよい。

出力部２９３は、表示制御部２９２が生成した認識結果確認画面を示す画面データを端末装置４００へ出力する。言い換えれば、出力部２９３は、表示制御部２９２が生成した認識結果確認画面を端末装置４００のウェブブラウザ（表示部）上で表示させる。また、出力部２９３は、認識結果データを、基幹システム５００と対応する形式のデータに変換し、出力する。

次に、図８Ｂを参照して、端末装置４００の機能について説明する。図８Ｂは、端末装置の機能構成を説明する図である。

本実施形態の端末装置４００は、入力受付部４３０と、表示部４４０と、通信部４５０とを有する。入力受付部４３０は、端末装置４００に対する各種の入力を受け付ける。表示部４４０は、端末装置４００のディスプレイ４１８の表示を制御する。表示制御部４４０は、例えば、ブラウザ等により実現されてもよいし、帳票認識システム１００を利用するためのアプリケーション等により実現されてもよい。通信部４５０は、端末装置４００と他の各装置との間で情報の送受信を行う。

次に、図９を参照して、本実施形態の帳票認識システム１００における帳票認識の動作について説明する。図９は、帳票認識システムの動作を説明する第一のシーケンス図である。

帳票認識システム１００において、画像形成装置３００は、利用者から帳票認識を行うためのアプリケーションの起動要求を受け付けると（ステップＳ９０１）、このアプリケーションを起動させる（ステップＳ９０２）。利用者とは、例えば、テナントの管理者等である。

続いて、画像形成装置３００は、利用者から、テナントＩＤを含むログイン情報の入力を受け付けると（ステップＳ９０３）、このログイン情報をサーバ装置２００へ送信し、認証要求を行う（ステップＳ９０４）。

サーバ装置２００は、認証要求を受けて、認証処理部２２２により認証を行い、その結果を画像形成装置３００へ通知する（ステップＳ９０５）。尚、ここでは、利用者が認証された場合の動作を示している。

続いて、画像形成装置３００は、帳票のスキャン指示を受け付け（ステップＳ９０６）、帳票のスキャンを行い、帳票画像データを取得する（ステップＳ９０７）。続いて、画像形成装置３００は、帳票画像データをサーバ装置２００へ送信する（ステップＳ９０８）。

サーバ装置２００は、入力受付部２２１が帳票画像データの入力を受け付けると、認証処理部２２２がこの帳票画像データを帳票認識部２９０へ渡す（ステップＳ９０９）。尚、図８の例では、認証処理部２２２を介して帳票画像データが帳票認識部２９０へ渡されるものとしたが、これに限定されない。帳票画像データは、認証処理部２２２を介さずに帳票認識部２９０に渡されてもよい。

サーバ装置２００の帳票認識部２９０は、帳票画像データを受け取ると、ジョブリスト生成部２８２により、ジョブリストにジョブを登録する（ステップＳ９１０）。続いて、帳票認識部２９０は、画像データ格納部２８１により、帳票画像データを画像データベース２４０へ格納する（ステップＳ９１１）。

続いて、帳票認識部２９０は、画像データ取得部２８３により、画像データベース２４０から認識する対象となる帳票画像データを取得し（ステップＳ９１２）、帳票画像を認識する処理を実行する（ステップＳ９１３）。

具体的には、本実施形態の帳票認識部２９０は、文字認識部２８４により取得された読取結果情報に含まれる文字列群から請求書情報を抽出し、認識結果生成部２９１により、請求書情報を含む認識結果データを生成する。ステップＳ９１３の処理の詳細は後述する。

続いて、帳票認識部２９０は、認識結果生成部２９１が生成した認識結果データを認識結果データベース２９４に格納し（ステップＳ９１４）、帳票認識の処理を終了する。

ここで、図１０を参照して、本実施形態のジョブリスト生成部２８２により生成されるジョブリストについて説明する。図１０は、ジョブリストの一例を示す図である。

本実施形態のサーバ装置２００は、画像形成装置３００から帳票画像データが入力されると、ジョブリスト生成部２８２により、帳票画像データとジョブＩＤとを対応付けたジョブリストとして保持する。

本実施形態のジョブリスト１０１は、情報の項目として、ジョブＩＤ、テナントＩＤ、帳票画像ファイルパス、認識結果ファイルパス、ステータスを有する。

項目「ジョブＩＤ」の値は、ジョブを特定する識別情報である。言い換えれば、項目「ジョブＩＤ」の値は、画像形成装置３００から受信した帳票画像データを特定するための識別情報である。項目「画像ファイルパス」の値は、帳票画像データが格納されている場所を示す情報である。項目「認識結果ファイルパス」の値は、帳票画像を認識した結果の認識結果データが格納されている場所を示す情報である。

項目「ステータス」の値は、利用者（テナント）による帳票画像の認識の進捗を示す。言い換えれば、項目「ステータス」の値は、ジョブの状態を示す。

本実施形態では、項目「ステータス」の値として、未処理状態、下書き保存状態、確定済み状態、外部出力済み状態の４つがある。各状態は、以下の通りである。尚、項目「ステータス」の値は、認識結果データに含まれてもよい。

・未処理状態（状態１） 帳票認識によって認識結果データが取得された直後であり、認識結果の確認等が行われていない状態。

・下書き保存状態（状態２） 認識結果データの確認等の作業の途中等であり、認識結果データが確定される前の状態。

・確定済み状態（状態３） 認識結果データの確認等の作業が完了し、確定された情報として認識結果データベース２９４へ格納された状態。
・外部出力済み状態（状態４） 帳票認識システム１００と連携する会計システム等への認識結果データの出力が完了した状態。

本実施形態のサーバ装置２００は、画像形成装置３００から帳票画像データを受信すると、ジョブリスト生成部２８２により、ジョブＩＤを付与し、ログイン情報として取得しテナントＩＤを対応付けて、ジョブリスト１０１にレコードを追加する。そして、ジョブリスト生成部２８２は、帳票画像データが画像データベース２４０に格納されると、この格納先を示す情報を項目「画像ファイルパス」の値として、追加する。

さらに、ジョブリスト生成部２８２は、帳票画像の認識において、参照する帳票定義情報が特定されると、その定義ＩＤを項目「定義ＩＤ」の値として追加する。そして、ジョブリスト生成部２８２は、ジョブリスト１０１が完了して、認識結果データが認識結果データベース２９４に格納されると、この格納先を示す情報を項目「認識結果ファイルパス」の値として追加し、項目「ステータス」の値を完了とする。

本実施形態では、例えば、ジョブリスト生成部２８２によって生成されたジョブリストを表示してもよい。この場合、利用者は、ジョブリストに基づいて表示されたジョブリスト画面を介して、帳票画像の認識の進捗を確認することができる。

次に、図１１を参照して、帳票認識システム１００における認識結果データの表示する際の動作について説明する。図１１は、帳票認識システムの動作を説明する第二のシーケンス図である。

帳票認識システム１００において、端末装置４００は、利用者から帳票の一覧の表示指示を受け付けると（ステップＳ１１０１）、サーバ装置２００に対し、帳票の一覧画面の取得要求を送信する（ステップＳ１１０２）。

サーバ装置２００は、一覧画面の取得要求を受け付けると、表示制御部２９２により、端末装置４００に対して、ログイン画面の表示指示を送信する（ステップＳ１１０３）。端末装置４００は、この表示指示を受け付けて、ログイン画面を表示させる（ステップＳ１１０４）。

端末装置４００は、利用者から、テナントＩＤを含むログイン情報の入力を受け付けると（ステップＳ１１０５）、ログイン情報と共にログイン要求をサーバ装置２００へ送信する（ステップＳ１１０６）。尚、以下では、ログイン情報からテナントが認証された場合について説明する。

サーバ装置２００は、ログイン要求を受け付けると、認証処理部２２２によって認証処理を実行させ（ステップＳ１１０７）、ログイン結果として、認証されたテナントＩＤを表示制御部２９２に返す（ステップＳ１１０８）。

表示制御部２９２は、このテナントＩＤを保持し（ステップＳ１１０９）、記憶部２２０から、このテナントＩＤと対応する請求書（帳票）の一覧を示す情報を取得する（ステップＳ１１１０）。具体的には、表示制御部２９２は、テナントＩＤと対応する認識結果データベース２９４を参照し、請求書の一覧を示す情報を取得する。

続いて、サーバ装置２００は、表示制御部２９２により、請求書の一覧を示す情報の表示指示を端末装置４００に送信する（ステップＳ１１１１）。

端末装置４００は、この表示指示を受け付けて、請求書の一覧を示す一覧画面を表示させる（ステップＳ１１１２）。

また、端末装置４００は、一覧画面において、請求書の選択を受け付けると（ステップＳ１１１３）、サーバ装置２００に対し、認識結果データの確認画面の表示要求を送信する（ステップＳ１１１４）。尚、この表示要求には、一覧画面において選択された請求書を特定するための請求書ＩＤが含まれる。

サーバ装置２００は、確認画面の表示要求を受け付けると、表示制御部２９２は、記憶部２２０から、表示要求と共に受け付けた請求書ＩＤと対応する認識結果データを取得する（ステップＳ１１１５）。

続いて、表示制御部２９２は、端末装置４００に対し、認識結果データの確認画面の表示指示を送信する（ステップＳ１１１６）。

端末装置４００は、この表示指示を受け付けると、認識結果データの確認画面を表示させる（ステップＳ１１１７）。

ここで、図１１では、例えば、確認画面において、項目名「請求元」の項目値に対する修正が行われた場合について説明する。

端末装置４００は、利用者による項目値の修正又は、項目値の抽出位置の指定を受け付け（ステップＳ１１１８）、確定の操作を受け付けると（ステップＳ１１１９）、ダイアログボックスを表示させる（ステップＳ１１２０）。尚、ここで修正を受け付けた項目値は、項目名「請求元」の項目値とする。また、ここで表示されるダイアログボックスは、辞書データベース２６０に格納する辞書情報を入力させるためのダイアログボックスである。

続いて、端末装置４００は、ダイアログボックスに対して電話番号が入力されると（ステップＳ１１２１）、サーバ装置２００に、帳票画像の認識の進捗を確定とすることを指示する確定指示を送信する（ステップＳ１１２２）。

サーバ装置２００は、確定指示を受け付けると、抽出結果管理データベース２７０に格納された抽出結果情報のうち、選択された請求書の請求書ＩＤと対応する抽出結果情報において、修正前の項目値を修正後の項目値に更新する（ステップＳ１１２３）。

また、サーバ装置２００は、ステップＳ１１１８において、項目値の修正を受け付けた場合には、修正された項目値と、電話番号と、テナントＩＤとを対応付けた情報を、辞書情報として辞書データベース２６０に格納する（ステップＳ１１２４）。

なお、サーバ装置２００は、ステップＳ１１１８において、項目値の抽出位置の指定を受け付けた場合には、項目名と、項目値の抽出位置を示す情報を新たな抽出定義情報として、抽出定義データベース２５０に格納してもよい。

以上が、帳票認識システム１００の動作である。次に、図１２ないし図１６を参照して、帳票認識処理部２３０の処理について説明する。

図１２は、帳票認識処理部の処理を説明する第一のフローチャートである。図１２は、図９のステップＳ９１３における帳票認識処理部２３０の処理の詳細を示す。

本実施形態の帳票認識部２９０は、画像データ取得部２８３により、画像データベース２４０から帳票画像データを取得する（ステップＳ１２０１）。

続いて、帳票認識部２９０は、文字認識部２８４により、帳票画像から、文字が形成されている領域（以下、文字フィールド）を切り取り、切り取られた文字フィールドの中の文字を切り出して認識し、切り出した文字の位置を示す座標を取得する（ステップＳ１２０２）。

続いて、帳票認識部２９０は、文字認識部２８４により認識された各文字の位置関係に基づいて読取結果情報を生成し、文字列と文字列の座標を特定する（ステップＳ１２０３）。読取結果情報の詳細は後述する。

続いて、帳票認識部２９０は、抽出結果管理部２８５により、抽出定義データベース２５０を参照し、抽出定義情報に基づき、項目名と対応する項目値を抽出する（ステップＳ１２０４）。

続いて、帳票認識処理部２３０は、抽出結果管理部２８５により、抽出結果を抽出結果管理データベース２７０に格納する（ステップＳ１２０５）。

続いて、帳票認識処理部２３０は、項目名「請求元」の項目値を再度抽出し（ステップＳ１２０６）、帳票認識の処理を終了する。ステップＳ１２０６の処理の詳細は後述する。

次に、図１３を参照して文字認識についてさらに説明する。図１３は、読取結果情報の一例を示す図である。

図１３に示す情報１３１は、帳票画像データに対し、文字認識部２８４による文字認識を行った結果である。

情報１３１は、文字フィールドを切り取り、文字フィールドの中の文字を認識した結果と、文字の位置を示す座標とから抽出した例を示す。

本実施形態の文字認識部２８４は、この情報１３１から、隣り合う位置にある文字同士をつなげて文字列（文字列）を認識する。具体的には、文字認識部２８４は、文字と文字との間の距離が、所定ピクセル以内である文字の組み合わせを、１つ単語として認識しても良い。

図１３に示す情報１３２は、文字認識部２８４により認識された文字列と、文字列の領域とを示す情報であり、文字認識部２８４による帳票画像の読取結果情報である。

また、文字認識部２８４は、帳票画像データから、縦線と横線で区切られた領域を１つのセルとして認識し、セル毎にセルを識別する識別情報（セルＩＤ）を付与する。

図１３に示す情報１３２は、帳票画像から認識されたセル毎の領域とセルＩＤとの対応付けを示す情報である。

図１３では、例えば、文字列「電話番号」が認識された領域は、情報１３１において、Ｘ座標とＹ座標によって示される位置を基準として、高さと幅とから特定される。

また、情報１３１において、文字列「電話番号」が認識された領域は、セルＩＤ「１７」に含まれることがわかる。したがって、文字列「電話番号」は、読取結果情報に含まれる文字列として、セルＩＤ「１７」と対応付けられる。

本実施形態の帳票認識部２９０は、このようにして、帳票画像データから、文字列とセルとを対応付ける。

次に、図１４を参照して、図１２のステップＳ１２０６における帳票認識処理部２３０の処理について説明する。図１４は、帳票認識処理部の処理を説明する第二のフローチャートである。図１４は、文字認識部２８４による文字認識を行った後の、項目名「請求元」の値を再抽出する処理示している。

ステップＳ１４０１からステップＳ１４０６までの処理は、辞書データベース２６０の検索結果を用いる処理である。

本実施形態の帳票認識処理部２３０は、抽出結果管理部２８５により、項目名「電話番号」の項目値が抽出されたか否かを判定する（ステップＳ１４０１）。ステップＳ１４０１において、該当する項目値が抽出されていない場合、帳票認識処理部２３０は、処理を終了する。

ステップＳ１４０１において、該当する項目値が抽出されている場合、帳票認識処理部２３０は、辞書検索部２８６により、抽出された電話番号を検索キーとして、辞書データベース２６０を検索し、検索キーを含む辞書情報を特定する（ステップＳ１４０２）。

続いて、帳票認識処理部２３０は、検索結果検証部２８８により、ステップＳ１４０２で複数の辞書情報が特定されたか否かを判定する（ステップＳ１４０３）。ステップＳ１４０３において、複数の辞書情報が特定されなかった場合、つまり、特定された辞書情報が１つのレコードであった場合、帳票認識処理部２３０は、後述するステップＳ１４０７へ進む。

ステップＳ１４０３において、複数の辞書情報が特定された場合、検索結果検証部２８８は、特定された複数の辞書情報な含まれるテナントＩＤが一致するか否かを判定する（ステップＳ１４０４）。ステップＳ１４０４において、テナントＩＤが一致する場合、帳票認識処理部２３０は、後述するステップＳ１４０７へ進む。

ステップＳ１４０４において、テナントＩＤが一致しない場合、帳票認識処理部２３０は、特定部２８９により、検索結果として取得された辞書情報に含まれる会社名を、項目名「請求元」の項目値として特定する（ステップＳ１４０５）。

続いて、帳票認識処理部２３０は、抽出結果管理部２８５により、抽出定義データベース２５０に格納された抽出結果において、対応する項目値を、ステップＳ１４０５で特定された項目値に更新し（ステップＳ１４０６）、処理を終了する。

つまり、本実施形態の例として、検索結果検証部２８８は、複数の異なるテナントにより、同一の電話番号と同一の会社名とを対応付けた辞書情報が辞書データベース２６０に登録されている場合にのみ、電話番号と対応する会社名が、信用に足る情報であるものとする。信用に足る情報とは、言い換えれば、誤っている可能性が低く、信憑性が高い情報である。

具体的には、例えば、テナントＩＤ「１０１」で特定されるテナントと、テナントＩＤ「００３」で特定されるテナントとが、電話番号「０３－１２３４－５６７８」と会社名「株式会社△△」とを対応付けた辞書情報を辞書データベース２６０に格納したとする（図４参照）。

この場合に、電話番号「０３－１２３４－５６７８」を検索キーとして辞書データベース２６０を検索した場合、テナントＩＤ「１０１」を含む辞書情報と、テナントＩＤ「１０３」を含む辞書情報とが、検索結果として抽出される。そして、これらの辞書情報において、テナントＩＤは一致していない。このため、電話番号「０３－１２３４－５６７８」と会社名「株式会社△△」との対応づけを、２つのテナントが、それぞれ別々に行ったことになる。

このことから、検索結果検証部２８８は、検索キーとなる項目名「電話番号」の項目値が正しく抽出されており、この電話番号と対応付けられた会社名も、信用に足る情報であるものとする。

以上が、辞書データベース２６０の検索結果を用いた処理である。次に説明するステップＳ１４０７からステップＳ１４１６までの処理は、検索エンジンの検索結果を用いた処理である。

ステップＳ１４０３において、複数の辞書情報が特定されなかった場合、帳票認識処理部２３０は、検索要求部２８７により、検索履歴管理データベース２８０に、検索キーとされた電話番号を含む検索履歴情報が格納されているか否かを判定する（ステップＳ１４０７）。つまり、ここでは、帳票認識処理部２３０は、過去に、検索キーとされた電話番号で検索エンジンの検索が行われたか否かを判定している。

ステップＳ１４０７において、検索履歴管理データベース２８０に該当する電話番号を含む検索履歴情報が格納されている場合、帳票認識処理部２３０は、特定部２８９により、検索キーとなる電話番号と対応付けられた会社名を、項目名「請求元」の項目値として特定し（ステップＳ１４０８）、ステップＳ１４０６へ進む。

ステップＳ１４０７において、検索履歴管理データベース２８０に該当する電話番号を含む検索履歴情報が格納されていない場合、帳票認識処理部２３０は、検索要求部２８７により、電話番号を検索キーとする検索要求を、インターネット上の検索エンジンに対して出力し、検索結果を取得する（ステップＳ１４０９）。

続いて、帳票認識処理部２３０は、特定部２８９により、検索結果から会社名を特定する（ステップＳ１４１０）。

具体的には、特定部２８９は、検索エンジンから取得された検索結果の上位１０件のそれぞれを、カンマや空白などの区切り記号で、複数のキーワードに分ける。そして、複数のキーワードの中から、会社名と見なせる形式のキーワードを会社名として特定してもよい。会社名と見なせる形式のキーワードとは、例えば、株式会社、（株）等が含まれるキーワードである。

また、検索結果に会社名が複数存在する場合には、出現回数が最も多い会社名を、検索エンジンによる検索結果としてもよい。

続いて、帳票認識処理部２３０は、ステップＳ１４１０において、会社名が特定されたか否かを判定する（ステップＳ１４１１）。ステップＳ１４１１において、会社名が特定されなかった場合、帳票認識処理部２３０は、処理を終了する。

本実施形態では、検索結果に含まれる複数のキーワードから、会社名と見なせる形式のキーワードが存在しない場合、会社名が特定されなかったものとしてもよい。

ステップＳ１４１１において、会社名が特定された場合、帳票認識処理部２３０は、検索結果検証部２８８により、外部サーバ６００等に格納された法人情報管理テーブルと、特定された会社名とを照合する（ステップＳ１４１２）。

以下に、法人情報管理テーブルについて説明する。本実施形態の法人情報管理テーブルは、一般に開示された情報であり、例えば、国税庁等によって管理されている。本実施形態では、例えば、外部サーバ６００は、国税庁等によって管理されていてもよく、外部サーバ６００に法人情報管理テーブルが格納されていてもよい。

法人情報管理テーブルに格納されている法人情報には、法人を特定するための識別情報や、法人名（会社名）等が含まれる。法人情報管理テーブルの詳細は後述する。

帳票認識処理部２３０において、検索結果検証部２８８は、法人情報管理テーブルに、ステップＳ１４１０で特定した会社名と一致する会社名があるか否かを判定する（ステップＳ１４１３）。つまり、ここでは、検索エンジンに対する検索により特定された会社名が、実在する会社の名称であるか否かを判定している。

ステップＳ１４１３において、一致する会社名が存在しない場合、帳票認識処理部２３０は、処理を終了する。

ステップＳ１４１３において、一致する会社名が存在する場合、帳票認識処理部２３０は、検索結果検証部２８８により、読取結果情報にステップＳ１４１０で特定された会社名と類似する文字列が存在するか否かを判定する（ステップＳ１４１４）。

読取結果情報に、ステップＳ１４１３までの処理で特定された会社名と類似する文字列が含まれる場合には、この請求書の発行元（請求元）が、特定された会社名が示すテナントであると言える。

つまり、ここでは、ステップＳ１４１３までの処理で特定された会社名が、図１２のステップＳ１２０１で取得した画像データが示す請求書の発行元であるか否かを判定している。

具体的には、検索結果検証部２８８は、例えば、読取結果情報に含まれる文字列のうち、文字列「株式会社」を除く文字列の中に、特定された会社名から「株式会社」を除いた文字列と類似する文字列が存在するか否かを判定している。そして、検索結果検証部２８８は、例えば、特定された会社名から「株式会社」を除いた文字列と５０％以上が一致する文字列を、類似する文字列としてもよい。

ステップＳ１４１４において、類似する文字列が存在しない場合、帳票認識処理部２３０は、処理を終了する。

ステップＳ１４１４において、類似する文字列が存在する場合、特定部２８９は、検索要求部２８７による検索結果として取得された会社名を、項目名「請求元」の項目値に特定する（ステップＳ１４１５）。

続いて、帳票認識処理部２３０は、ステップＳ１４１５で特定された会社名と、検索キーとされた電話番号と、検索要求を行った日時とを対応付けた検索履歴情報を生成し、検索履歴管理データベース２８０に格納し（ステップＳ１４１６）、ステップＳ１４０６へ進む。

以上が、検索エンジンから取得した検索結果を用いた処理である。

本実施形態では、このように、検索エンジンの検索結果を用いる場合には、複数の方法によって、検索結果が信憑性の高い項目値であることを検証する。そして、検証した結果に応じて、項目値を特定する。

しだかって、本実施形態によれば、帳票画像データからの項目名に対する項目値の抽出精度を向上させることができ、帳票認識の精度を向上させることができる。

次に、図１５を参照して、法人情報管理テーブルについて説明する。図１５は、法人情報管理テーブルの一例を示す図である。

図１５に示す法人情報管理テーブル１５０は、情報の項目として、会社名、住所、適格請求書発行事業者番号等が含まれる。

項目「適格請求書発行事業者番号」の値は、適格請求書を発行することができる事業者（テナント）に対して付与された識別番号である。本実施形態では、テナントが発行する請求書には、適格請求書発行事業者番号が記載されているものとしてもよい。また、適格請求書とは、売手が、買手に対し正確な適用税率や消費税額等を伝えるための手段である。

本実施形態では、検索エンジンの検索結果から特定された会社名と、法人情報管理テーブル１５０とを照合させることで、検索エンジンの検索結果から特定された会社名が実在する会社の名称であるかがわかる。

次に、図１６を参照して、図１４のステップＳ１４０６における項目値の更新の処理について具体的に説明する。図１６は、抽出結果管理データベースの項目値の更新について説明する図である。

図１６に示す抽出結果管理データベース２７０は、図５に示す抽出結果管理データベース２７０と同様である。

このとき、抽出結果管理データベース２７０では、請求書ＩＤ「００１」で特定される請求書から、項目名「請求元」の項目値が空欄となっており、文字認識によって項目名「請求元」の項目値が抽出されなかったことがわかる。

この場合、本実施形態の帳票認識処理部２３０は、項目名「電話番号」の項目値「０３－１２３４－５６８９」で辞書データベース２６０を検索する。本実施形態の辞書データベース２６０には、項目値「０３－１２３４－５６８９」を含み、且つ、テナントＩＤが異なる辞書情報が検索結果として抽出される。したがって、抽出結果管理データベース２７０において、請求書ＩＤ「００１」を含む抽出結果情報の項目名「請求元」の項目値は、検索結果の辞書情報において、項目値「０３－１２３４－５６８９」と対応付けられた会社名「株式会社△△」となる。

図１６に示す抽出結果管理データベース２７０Ａでは、請求書ＩＤ「００１」を含む抽出結果情報の項目名「請求元」の項目値は、「株式会社△△」に更新されている。

本実施形態では、このように、項目名「請求元」の項目値の再抽出を行った結果を認識結果データに含める。したがって、本実施形態によれば、帳票認識の結果として、項目名「請求元」の項目値が抽出される確率を高めることができる。

次に、図１７乃至図１９を参照して、本実施形態の表示例について説明する。図１７は、端末装置の表示例を示す第一の図である。

図１７に示す画面１７１は、図１１のステップＳ１１１７において、端末装置４００に表示される確認画面の一例である。

画面１７１は、表示欄１７２、１７３、１７４、１７５、操作ボタン１７６、１７７を含む。

表示欄１７２には、帳票画像データが示す帳票画像が表示される。図１７の例では、帳票が請求書であり、帳票画像に請求元の会社名を示す領域１７２ａと、請求元の住所、電話番号、適格請求書発行事業者番号を示す領域１７２ｂと、が含まれる。

表示欄１７３は、表示欄１７２に表示された帳票画像を示す帳票画像データに対して帳票認識部２９０による帳票認識を行った結果の認識結果データが表示される。具体的には、表示欄１７３には、表示欄１７２に表示された帳票画像を示す帳票画像データから抽出された請求書情報が表示される。尚、表示欄１７３には、請求書情報以外の情報が表示されてもよい。具体的には、例えば、請求の内容を示す明細情報等が表示されてもよい。

表示欄１７４は、表示欄１７２に表示された帳票画像（請求書画像）に対する仕訳を入力するための入力欄が表示される。

表示欄１７５は、ジョブリスト１０１の項目「ステータス」の値が表示される。

操作ボタン１７６は、ジョブリスト１０１のステータスの値を、未処理状態から下書き保存状態とするための操作ボタンである。表示欄１７５に「未処理」と表示された状態において、操作ボタン１７６が操作されると、表示欄１７５の表示は、「未処理」から「下書き保存」に変化する。

操作ボタン１７７は、ジョブリスト１０１のステータスの値を、確定済み状態とするための操作ボタンである。本実施形態では、操作ボタン１７７が操作されると、ジョブリスト１０１のステータスの値を、確定済み状態とする。尚、本実施形態において、ステータスが確定済み状態とされた認識結果データは、出力部２９３により、基幹システム５００と対応する形式のデータに変換することができる。

図１８は、端末装置に表示例を示す第二の図である。図１１のステップＳ１１２０において端末装置４００に表示されるダイアログボックスの一例である。

ダイアログボックス１８１は、例えば、図１７に示す画面１７１の表示欄１７３において、項目名「請求元」の項目値の表示欄が選択されると、画面１７１上に表示される。

ダイアログボックス１８１は、入力欄１８２と、操作ボタン１８３、１８４、１８５を含む。入力欄１８２は、請求元の電話番号と、請求元の口座番号とが入力される。

操作ボタン１８３は、入力をキャンセルするための操作ボタンである。操作ボタン１８４は、入力欄１８２に入力された電話番号を請求元と対応付けた辞書情報の格納と、認識結果データの状態の確定を行うための操作ボタンである。操作ボタン１８５は、辞書情報への登録は行わずに、認識結果データの状態の確定のみを行うための操作ボタンである。

本実施形態では、ダイアログボックス１８１において、操作ボタン１８４が操作されると、辞書データベース２６０が更新されて、画面１７１の表示欄１７５の表示が「確定済み」に変更されてもよい。

このように、本実施形態によれば、帳票認識において、文字認識により抽出された文字列群に含まれる第一の項目名と対応する第一の項目値を検索キーとした検索結果を用いて、文字列群に含まれる第二の項目名と対応する第二の項目値の信憑性を検証する。そして、本実施形態では、第二の項目値の信憑性が低い場合や、第二の項目値が取得されていない場合に、第一の項目名の項目値を検索キーとした検索結果を用いて、第二の項目値を特定する。

このとき、第一の項目名と第二の項目名とは、一意に対応付けられる関係であることが好ましい。具体的には、例えば、第一の項目名は、帳票の発行元の電話番号であり、第二の項目名は、帳票の発行元である。また、第一の項目名は、住所であり、第二の項目名が請求元であってもよい。また、第一の項目名は、適格請求書発行事業者番号であり、第二の項目名は、請求元であってもよい。

また、本実施形態では、第一の項目値を検索キーとして、インターネット上の検索エンジンに検索要求を行ってもよいし、辞書データベース２６０を検索してもよい。

さらに、本実施形態では、検索結果に対し、検索結果の信憑性を検証する。そして、検証した結果に応じて、第二の項目値を特定するため、誤った値が第二の項目値として特定されることを抑制でき、帳票認識の精度を向上させることができる。

尚、本実施形態では、帳票の一覧画面を表示させる際に、検索エンジンによる検索結果を用いて特定された項目値を含む認識結果データを視認できるように表示させてもよい。

図１９は、端末装置の表示例を示す第三の図である。図１９に示す画面１９１は、図１１のステップＳ１１１２において、端末装置４００に表示される帳票の一覧画面の一例である。

画面１９１の表示欄１９２には、帳票の一覧として、請求書情報の一部を示すレコードの一覧が表示されている。具体的には、表示欄１９２には、請求元、請求金額、請求日、ステータス等が表示される。

図１９の例では、レコード１９３の請求元の項目値は、文字認識で取得された文字列の信憑性が高いとされた項目値である。これに対し、レコード１９４の請求元の項目値は、検索エンジンの検索結果から特定された項目値である。

図１９では、レコード１９３とレコード１９４とで、表示態様を異ならせている。本実施形態では、このように、帳票の一覧画面において、項目値を帳票画像データ以外の情報源から取得したレコードを視認できるように表示させてもよい。このように表示させることで、利用者が確認画面を閲覧する際の注意を促すことができる。

上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC（Application Specific Integrated Circuit）、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

また、実施形態に記載された装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの１つを示すものにすぎない。

ある実施形態では、サーバ装置２００は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。同様に、サーバ装置２００は、互いに通信するように構成された複数のコンピューティングデバイスを含むことができる。

さらに、サーバ装置２００は、開示された処理ステップを様々な組み合わせで共有するように構成できる。例えば、サーバ装置２００によって実行されるプロセスは、他のサーバ装置によって実行され得る。同様に、サーバ装置２００の機能は、他のサーバ装置によって実行することができる。また、サーバ装置と他のサーバ装置の各要素は、１つのサーバ装置にまとめられていても良いし、複数の装置に分けられていても良い。

また、明細書中の対応テーブルは、機械学習の学習効果によって生成されたものでもよい。また、取引内容の記載に含まれうるキーワードと勘定項目とを機械学習にて分類付けすることで、対応テーブルを使用しなくてもよい。

ここで、機械学習とは、コンピュータに人のような学習能力を獲得させるための技術であり、コンピュータが、データ識別等の判断に必要なアルゴリズムを、事前に取り込まれる学習データから自律的に生成し，新たなデータについてこれを適用して予測を行う技術のことをいう。機械学習のための学習方法は、教師あり学習、教師なし学習、半教師学習、強化学習、深層学習のいずれかの方法でもよく、さらに、これらの学習方法を組み合わせた学習方法でもよく、機械学習のための学習方法は問わない。

以上、各実施形態に基づき本発明の説明を行ってきたが、上記実施形態に示した要件に本発明が限定されるものではない。これらの点に関しては、本発明の主旨をそこなわない範囲で変更することができ、その応用形態に応じて適切に定めることができる。

１００ 帳票認識システム
２００ サーバ装置
２２０ 記憶部
２３０ 帳票認識処理部
２４０ 画像データベース
２５０ 抽出定義データベース
２６０ 辞書データベース
２７０ 抽出結果管理データベース
２８０ 検索履歴管理データベース
２９０ 認識結果データベース
２９５ テナントデータベース
２８１ 画像データ格納部
２８２ ジョブリスト生成部
２８３ 画像データ取得部
２８４ 文字認識部
２８５ 抽出結果管理部
２８６ 辞書検索部
２８７ 検索要求部
２８８ 検索結果検証部
２８９ 特定部
２９１ 認識結果生成部
２９２ 表示制御部
２９３ 出力部
３００ 画像形成装置
４００ 端末装置

特開平７－２００７４４号公報

Claims (10)

1. 帳票画像データから抽出した文字列群に含まれる第一の項目名と対応する、第一の項目情報を検索キーとした検索要求を検索エンジンに出力する検索要求部と、
   前記検索エンジンから取得した検索結果に基づき、前記文字列群に含まれる第二の項目名と対応する、第二の項目情報を特定する特定部と、
   前記帳票画像データと対応する帳票の一覧を端末装置に表示させる際に、前記検索エンジンから取得した検索結果を用いて特定された前記第二の項目情報を含む認識結果データと、前記第二の項目情報が文字認識によって取得された認識結果データと、で表示態様を異ならせる表示制御部と、を有する情報処理装置。
2. 前記特定部は、
   前記文字列群に、前記検索結果として取得された文字列と類似する文字列が存在する場合に、前記検索結果として取得した文字列を、前記第二の項目情報とする、請求項１記載の情報処理装置。
3. 前記検索要求部は、
   前記帳票画像データから前記第二の項目情報が抽出されなかった場合に、前記検索要求を出力する、請求項１または２記載の情報処理装置。
4. 項目名と、項目情報と、前記項目名と前記項目情報とを対応付けた利用者を識別する識別情報と、が対応付けられた辞書情報が格納された記憶部と、
   前記記憶部を前記第一の項目情報を検索キーとして検索する辞書検索部と、を有し、
   前記検索要求部は、
   前記辞書検索部による検索結果において、複数の辞書情報が取得され、且つ、前記複数の辞書情報のそれぞれに含まれる前記識別情報が一致する場合に、前記検索要求を出力する、請求項１乃至３の何れか一項に記載の情報処理装置。
5. 前記第一の項目名と前記第二の項目名とは、互いが一意に関連付けられている、請求項１乃至４の何れか一項に記載の情報処理装置。
6. 前記帳票画像データは、請求書の画像を示す画像データであり、
   前記第一の項目名は、前記請求書に含まれる請求元の電話番号であり、前記第二の項目名は、前記請求書の請求元である、請求項１乃至５の何れか一項に記載の情報処理装置。
7. 帳票画像データから抽出した文字列群に含まれる第一の項目名と対応する、第一の項目情報を検索キーとした検索要求を検索エンジンに出力する検索要求部と、
   前記検索エンジンから取得した検索結果に基づき、前記文字列群に含まれる第二の項目名と対応する、第二の項目情報を特定する特定部と、
   項目名と、項目情報と、前記項目名と前記項目情報とを対応付けた利用者を識別する識別情報と、が対応付けられた辞書情報が格納された記憶部と、
   前記記憶部を前記第一の項目情報を検索キーとして検索する辞書検索部と、を有し、
   前記検索要求部は、
   前記辞書検索部による検索結果において、複数の辞書情報が取得され、且つ、前記複数の辞書情報のそれぞれに含まれる前記識別情報が一致する場合に、前記検索要求を出力する、情報処理装置。
8. 帳票画像データから抽出した文字列群に含まれる第一の項目名と対応する、第一の項目情報を検索キーとした検索要求を検索エンジンに出力し、
   前記検索エンジンから取得した検索結果に基づき、前記文字列群に含まれる第二の項目名と対応する、第二の項目情報を特定し、
   前記帳票画像データと対応する帳票の一覧を端末装置に表示させる際に、前記検索エンジンから取得した検索結果を用いて特定された前記第二の項目情報を含む認識結果データと、前記第二の項目情報が文字認識によって取得された認識結果データと、で表示態様を異ならせる、
   処理をコンピュータに実行させる、情報処理プログラム。
9. コンピュータによる情報処理方法であって、前記コンピュータが、
   帳票画像データから抽出した文字列群に含まれる第一の項目名と対応する、第一の項目情報を検索キーとした検索要求を検索エンジンに出力し、
   前記検索エンジンから取得した検索結果に基づき、前記文字列群に含まれる第二の項目名と対応する、第二の項目情報を特定し、
   前記帳票画像データと対応する帳票の一覧を端末装置に表示させる際に、前記検索エンジンから取得した検索結果を用いて特定された前記第二の項目情報を含む認識結果データと、前記第二の項目情報が文字認識によって取得された認識結果データと、で表示態様を異ならせる、情報処理方法。
10. 情報処理装置と、端末装置とを有する情報処理システムであって、
    前記情報処理装置は、
    帳票画像データから抽出した文字列群に含まれる第一の項目名と対応する、第一の項目情報を検索キーとした検索要求を検索エンジンに出力する検索要求部と、
    前記検索エンジンから取得した検索結果に基づき、前記文字列群に含まれる第二の項目名と対応する、第二の項目情報を特定する特定部と、
    前記第一の項目名と前記第一の項目情報及び前記第二の項目名と前記第二の項目情報を含む認識結果データを前記端末装置に表示させる表示制御部と、を有し、
    前記端末装置は、前記認識結果データを表示させる表示部を有し、
    前記表示制御部は、前記帳票画像データと対応する帳票の一覧を前記端末装置に表示させる際に、前記検索エンジンから取得した検索結果を用いて特定された前記第二の項目情報を含む認識結果データと、前記第二の項目情報が文字認識によって取得された認識結果データと、で表示態様を異ならせる、情報処理システム。

Images