JP7451968B2 - 情報処理システム、プログラム及び情報処理方法 - Google Patents

Description

本発明は、帳票の認識を行う情報処理システム、プログラム及び情報処理方法に関する。

従来から、請求書等の帳票を示す画像データから、文字認識によって文字列を読み取り、予め決められた帳票定義を用いて、読み取った文字列と、その属性の認識を行う帳票認識が知られている。

上述した従来の技術では、帳票が複数のページに跨る場合には、各ページの画像データが別々の帳票として認識される可能性がある。このため、従来では、複数ページに跨る帳票を１つの帳票として扱うことが困難であり、管理に手間がかかる。

本発明は、上記事情に鑑みて成されたものであり、複数のページに跨る帳票の管理を容易にすることを目的としている。

開示の技術は、情報処理装置と、端末装置と、を含む情報処理システムであって、前記情報処理装置は、帳票画像データに対する帳票認識の結果から抽出された前記帳票画像データの元となる帳票の属性情報と、前記帳票画像データとを対応付けた帳票管理情報の一覧を前記端末装置に出力する出力部と、前記一覧において特定された、前記帳票の属性情報に含まれる特定の項目が一致する複数の帳票管理情報のそれぞれに含まれる前記帳票画像データが示す帳票画像のプレビュー画像を含むプレビュー画面を、前記端末装置に表示させる表示制御部と、を有する。

複数のページに跨る帳票の管理を容易にできる。

第一の実施形態の帳票処理システムのシステム構成の一例を示す図である。 サーバ装置のハードウェア構成の一例を示す図である。 画像形成装置のハードウェア構成の一例を説明する図である。 端末装置のハードウェア構成の一例を示す図である。 第一の実施形態の帳票定義データベースの一例を示す図である。 第一の実施形態のサーバ装置の機能を説明する図である。 第一の実施形態の帳票認識システムの動作を説明するシーケンス図である。 第一の実施形態における請求書のスキャンについて説明する図である。 第一の実施形態の帳票認識システムの動作によって生成されるジョブリストの一例を示す図である。 第一の実施形態の帳票認識部の処理を説明するフローチャートである。 認識結果データの取得について説明する図である。 第一の実施形態の請求書管理データベースの一例を示す第一の図である。 第一の実施形態の端末装置の表示例を示す第一の図である。 第一の実施形態の結合処理部の処理を説明するフローチャートである。 第一の実施形態の端末装置の表示例を示す第二の図である。 第一の実施形態の端末装置の表示例を示す第三の図である。 第一の実施形態の端末装置の表示例を示す第四の図である。 第一の実施形態の端末装置の表示例を示す第五の図である。 第一の実施形態の端末装置の表示例を示す第六の図である。 第一の実施形態の請求書管理データベースの一例を示す第二の図である。 第一の実施形態の端末装置の表示例を示す第七の図である。 第一の実施形態の端末装置の表示例を示す第八の図である。 第二の実施形態の結合処理部の処理を説明するフローチャートである。 第二の実施形態の端末装置の表示例を示す図である。

（第一の実施形態）
以下に図面を参照して、第一の実施形態について説明する。図１は、第一の実施形態の帳票処理システムのシステム構成の一例を示す図である。

本実施形態の帳票認識システム１００は、サーバ装置２００、画像形成装置３００、端末装置４００を有する。本実施形態の帳票認識システム１００において、サーバ装置２００と、画像形成装置３００と、端末装置４００とは、ネットワークを介して接続される。本実施形態の帳票認識システム１００は、情報処理システムの一例である。

また、本実施形態の端末装置４００は、例えば、ネットワークを介して基幹システム５００と接続される。基幹システム５００とは、例えば、本実施形態の帳票認識システム１００において帳票を認識した結果を用いて、特定の処理を行うシステムである。具体的には、例えば、基幹システム５００は、会計システムや、見積もり作成システム等であっても良い。

本実施形態の帳票認識システム１００において、サーバ装置２００は、画像形成装置３００のスキャナ機能によって読み取られた帳票の画像を示す画像データから、帳票に含まれる項目と項目の値とを抽出し、項目と項目の値とを対応付けたテキストデータとする。

以下の説明では、画像形成装置３００のスキャナ機能によって読み取られた帳票の画像を帳票画像と呼び、帳票画像を示す画像データを帳票画像データと呼ぶ。

また、以下の説明では、帳票画像に含まれる項目と、この項目の値とを抽出し、項目と項目の値とをテキストデータに変換して対応付けることを、帳票認識と呼ぶ。

以下の説明では、請求書を帳票の一例として説明するが、帳票は、請求書に限定されない。本実施形態の帳票は、例えば、納品書や領収書等であっても良い。

本実施形態のサーバ装置２００は、記憶部２１０と、帳票認識処理部２２０と、結合処理部２９０と、を有する。記憶部２１０には、帳票画像データベース２３０、帳票定義データベース２４０、認識結果データベース２５０、請求書管理データベース２６０が設けられている。

帳票画像データベース２３０は、帳票画像データが格納される。帳票定義データベース２４０は、帳票認識処理部２２０による帳票認識を行う際に参照される帳票定義情報が格納される。認識結果データベース２５０は、帳票認識処理部２２０による帳票認識の結果を示す情報である認識結果データが格納される。請求書管理データベース２６０は、認識結果データから抽出した請求書に関する情報と、帳票画像データとを対応付けた請求書管理情報が格納される。本実施形態の請求書管理情報とは、言い換えれば、認識結果データから抽出した帳票に関する情報と、帳票画像データとを対応付けた帳票管理情報の一例である。

本実施形態の帳票認識処理部２２０は、帳票画像データベース２３０に格納された帳票画像データを取得し、帳票定義データベース２４０に格納された帳票定義情報を用いて帳票認識を行い、その結果を認識結果データベース２５０へ格納する。帳票定義情報とは、帳票に含まれる項目名と項目の値（項目値）の記載位置を示す情報と、を含む。

本実施形態の結合処理部２９０は、端末装置４００から帳票画像データの結合指示を受け付けると、請求書管理データベース２６０を参照して、結合される請求書の候補を特定し、特定された候補の一覧を端末装置４００に出力する。また、結合処理部２９０は、端末装置４００から、特定された候補から、結合する請求書が選択されて、結合の実行が指示されると、選択された請求書と対応する帳票画像データを結合する。

本実施形態の帳票認識システム１００において、画像形成装置３００は、スキャナ機能を有する複合機である。画像形成装置３００は、コピー機能、ＦＡＸ機能、スキャナ機能等を実現するためのアプリケーションが搭載されており、各機能と対応するアプリケーションを選択することで、これらの機能が実現される。

本実施形態の端末装置４００は、帳票認識システム１００を利用する利用者によって使用される。また、端末装置４００には、サーバ装置２００による帳票認識の結果が表示されても良い。

尚、本実施形態における利用者とは、例えば、帳票の発行元となる企業等である。より具体的には、例えば、利用者とは、帳票認識システム１００が提供するサービスを利用するための契約を締結している事業所や企業、団体等である。

尚、図１の例では、サーバ装置２００は、記憶部２１０内に４つのデータベースを有する構成としたが、これに限定されない。各データベースは、一部がサーバ装置２００の外部装置に設けられていても良いし、各データベース全てが外部装置に設けられていても良い。

また、図１の例では、サーバ装置２００が帳票認識処理部２２０と結合処理部２９０を実現するものとしたが、これに限定されない。帳票認識処理部２２０と結合処理部２９０は、複数の情報処理装置によって実現されても良い。

また、図１の例では、帳票認識システム１００に含まれる画像形成装置３００と端末装置４００とは、それぞれ１台としているが、帳票認識システム１００に含まれる画像形成装置３００と端末装置４００の台数は、任意の数であって良い。

次に、図２乃至図４を参照して、本実施形態の帳票認識システム１００の有する各装置のハードウェア構成について説明する。

図２は、サーバ装置のハードウェア構成の一例を示す図である。

本実施形態のサーバ装置２００は、コンピュータによって構築されており、図２に示されているように、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、ＨＤ２０４、ＨＤＤ(Hard Disk Drive)コントローラ２０５、ディスプレイ２０６、外部機器接続Ｉ／Ｆ(Interface)２０８、ネットワークＩ／Ｆ２０９、データバスＢ、キーボード２１１、ポインティングデバイス２１２、ＤＶＤ－ＲＷ(Digital Versatile Disk Rewritable)ドライブ２１４、メディアＩ／Ｆ２１６を備えた情報処理装置である。

これらのうち、ＣＰＵ２０１は、サーバ装置全体の動作を制御する。ＲＯＭ２０２は、ＩＰＬ等のＣＰＵ２０１の駆動に用いられるプログラムを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。ＨＤ２０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ２０５は、ＣＰＵ２０１の制御にしたがってＨＤ２０４に対する各種データの読み出し又は書き込みを制御する。ディスプレイ２０６は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する表示部である。

外部機器接続Ｉ／Ｆ２０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリやプリンタ等である。ネットワークＩ／Ｆ２０９は、通信ネットワークを利用してデータ通信をするためのインターフェースである。データバスＢは、図２に示されているＣＰＵ２０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

また、キーボード２１１は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス２１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。ＤＶＤ－ＲＷドライブ２１４は、着脱可能な記録媒体の一例としてのＤＶＤ－ＲＷ２１３に対する各種データの読み出し又は書き込みを制御する。尚、ＤＶＤ－ＲＷに限らず、ＤＶＤ－Ｒ等であってもよい。メディアＩ／Ｆ２１６は、フラッシュメモリ等の記録メディア２１５に対するデータの読み出し又は書き込み（記憶）を制御する。

本実施形態のサーバ装置は、例えば、スマートフォン、タブレット端末、ＰＤＡ(Personal Digital Assistant)、ウェアラブルＰＣ等であっても良い。

図３は、画像形成装置のハードウェア構成の一例を説明する図である。図３に示されているように、ＭＦＰ(Ｍultifunction Peripheral/Product/Printer９は、コントローラ３１０、近距離通信回路３２０、エンジン制御部３３０、操作パネル３４０、ネットワークＩ／Ｆ３５０を備えている。

これらのうち、コントローラ３１０は、コンピュータの主要部であるＣＰＵ３０１、システムメモリ（ＭＥＭ－Ｐ）３０２、ノースブリッジ（ＮＢ）３０３、サウスブリッジ（ＳＢ）３０４、ＡＳＩＣ(Application Specific Integrated Circuit)３０６、記憶部であるローカルメモリ（ＭＥＭ－Ｃ）３０７、ＨＤＤコントローラ３０８、及び、記憶部であるＨＤ３０９を有し、ＮＢ３０３とＡＳＩＣ３０６との間をＡＧＰ(Accelerated Graphics Port)バス３２１で接続した構成となっている。

これらのうち、ＣＰＵ３０１は、画像形成装置３００の全体制御を行う制御部である。ＮＢ３０３は、ＣＰＵ３０１と、ＭＥＭ－Ｐ３０２、ＳＢ３０４、及びＡＧＰバス３２１とを接続するためのブリッジであり、ＭＥＭ－Ｐ３０２に対する読み書きなどを制御するメモリコントローラと、ＰＣＩ(Peripheral Component Interconnect)マスタ及びＡＧＰターゲットとを有する。

ＭＥＭ－Ｐ３０２は、コントローラ３１０の各機能を実現させるプログラムやデータの格納用メモリであるＲＯＭ３０２ａ、プログラムやデータの展開、及びメモリ印刷時の描画用メモリなどとして用いるＲＡＭ３０２ｂとからなる。なお、ＲＡＭ３０２ｂに記憶されているプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。

ＳＢ３０４は、ＮＢ３０３とＰＣＩデバイス、周辺デバイスとを接続するためのブリッジである。ＡＳＩＣ３０６は、画像処理用のハードウェア要素を有する画像処理用途向けのＩＣ(Integrated Circuit)であり、ＡＧＰバス３２１、ＰＣＩバス３２２、ＨＤＤ３０８およびＭＥＭ－Ｃ３０７をそれぞれ接続するブリッジの役割を有する。このＡＳＩＣ３０６は、ＰＣＩターゲットおよびＡＧＰマスタ、ＡＳＩＣ３０６の中核をなすアービタ（ＡＲＢ）、ＭＥＭ－Ｃ３０７を制御するメモリコントローラ、ハードウェアロジックなどにより画像データの回転などを行う複数のＤＭＡＣ(Direct Memory Access Controller)、並びに、スキャナ部３３１及びプリンタ部３３２との間でＰＣＩバス３２２を介したデータ転送を行うＰＣＩユニットとからなる。なお、ＡＳＩＣ３０６には、ＵＳＢ(Universal Serial Bus)のインターフェースや、ＩＥＥＥ３３４(Institute of Electrical and Electronics Engineers 1394）のインターフェースを接続するようにしてもよい。

ＭＥＭ－Ｃ３０７は、コピー用画像バッファ及び符号バッファとして用いるローカルメモリである。ＨＤ３０９は、画像データの蓄積、印刷時に用いるフォントデータの蓄積、フォームの蓄積を行うためのストレージである。ＨＤ３０９は、ＣＰＵ３０１の制御にしたがってＨＤ３０９に対するデータの読出又は書込を制御する。ＡＧＰバス３２１は、グラフィック処理を高速化するために提案されたグラフィックスアクセラレータカード用のバスインタフェースであり、ＭＥＭ－Ｐ３０２に高スループットで直接アクセスすることにより、グラフィックスアクセラレータカードを高速にすることができる。

また、近距離通信回路３２０には、近距離通信回路３２０ａが備わっている。近距離通信回路３２０は、ＮＦＣ、Ｂｌｕｅｔｏｏｔｈ等の通信回路である。

更に、エンジン制御部３３０は、スキャナ部３３１及びプリンタ部３３２によって構成されている。また、操作パネル３４０は、現在の設定値や選択画面等を表示させ、操作者からの入力を受け付けるタッチパネル等のパネル表示部３４０ａ、並びに、濃度の設定条件などの画像形成に関する条件の設定値を受け付けるテンキー及びコピー開始指示を受け付けるスタートキー等からなる操作パネル３４０ｂを備えている。コントローラ３１０は、画像形成装置３００全体の制御を行い、例えば、描画、通信、操作パネル３４０からの入力等を制御する。スキャナ部３３１又はプリンタ部３３２には、誤差拡散やガンマ変換などの画像処理部分が含まれている。

なお、画像形成装置３００は、操作パネル３４０のアプリケーション切り替えキーにより、ドキュメントボックス機能、コピー機能、プリンタ機能、およびファクシミリ機能を順次に切り替えて選択することが可能となる。ドキュメントボックス機能の選択時にはドキュメントボックスモードとなり、コピー機能の選択時にはコピーモードとなり、プリンタ機能の選択時にはプリンタモードとなり、ファクシミリモードの選択時にはファクシミリモードとなる。

また、ネットワークＩ／Ｆ３５０は、通信ネットワークを利用してデータ通信をするためのインターフェースである。近距離通信回路３２０及びネットワークＩ／Ｆ３５０は、ＰＣＩバス３２２を介して、ＡＳＩＣ３０６に電気的に接続されている。

図４は、端末装置のハードウェア構成の一例を示す図である。本実施形態の端末装置４００は、ＣＰＵ４０１、ＲＯＭ４０２、ＲＡＭ４０３、ＥＥＰＲＯＭ４０４、ＣＭＯＳセンサ４０５、撮像素子Ｉ／Ｆ４０６、加速度・方位センサ４０７、メディアＩ／Ｆ４０９、ＧＰＳ受信部４１１を備えている。

これらのうち、ＣＰＵ４０１は、端末装置４００全体の動作を制御する。ＲＯＭ４０２は、ＣＰＵ４０１やＩＰＬ等のＣＰＵ４０１の駆動に用いられるプログラムを記憶する。ＲＡＭ４０３は、ＣＰＵ４０１のワークエリアとして使用される。ＥＥＰＲＯＭ４０４は、ＣＰＵ４０１の制御にしたがって、スマートフォン用プログラム等の各種データの読み出し又は書き込みを行う。ＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサ４０５は、ＣＰＵ４０１の制御に従って被写体（主に自画像）を撮像して画像データを得る内蔵型の撮像手段の一種である。なお、ＣＭＯＳセンサではなく、ＣＣＤ(Charge Coupled Device)センサ等の撮像手段であってもよい。撮像素子Ｉ／Ｆ４０６は、ＣＭＯＳセンサ４０５の駆動を制御する回路である。加速度・方位センサ４０７は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアＩ／Ｆ４０９は、フラッシュメモリ等の記録メディア４０８に対するデータの読み出し又は書き込み（記憶）を制御する。ＧＰＳ受信部４１１は、ＧＰＳ衛星からＧＰＳ信号を受信する。

また、端末装置４００は、遠距離通信回路４１２、ＣＭＯＳセンサ４１３、撮像素子Ｉ／Ｆ４１４、マイク４１５、スピーカ４１６、音入出力Ｉ／Ｆ４１７、ディスプレイ４１８、外部機器接続Ｉ／Ｆ(Interface)４１９、近距離通信回路４２０、近距離通信回路４２０のアンテナ４２０ａ、及びタッチパネル４２１を備えている。

これらのうち、遠距離通信回路４１２は、通信ネットワークを介して、他の機器と通信する回路である。ＣＭＯＳセンサ４１３は、ＣＰＵ４０１の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子Ｉ／Ｆ４１４は、ＣＭＯＳセンサ４１３の駆動を制御する回路である。マイク４１５は、音を電気信号に変える内蔵型の回路である。スピーカ４１６は、電気信号を物理振動に変えて音楽や音声などの音を生み出す内蔵型の回路である。音入出力Ｉ／Ｆ４１７は、ＣＰＵ４０１の制御に従ってマイク４１５及びスピーカ４１６との間で音信号の入出力を処理する回路である。ディスプレイ４１８は、被写体の画像や各種アイコン等を表示する液晶や有機ＥＬ(Electro Luminescence)などの表示部の一種である。外部機器接続Ｉ／Ｆ４１９は、各種の外部機器を接続するためのインターフェースである。近距離通信回路４２０は、ＮＦＣ(Near Field Communication)やＢｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。タッチパネル４２１は、利用者がディスプレイ４１８を押下することで、端末装置４００を操作する入力手段の一種である。

また、端末装置４００は、バスライン４１０を備えている。バスライン４１０は、図４に示されているＣＰＵ４０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

次に、図５を参照して、本実施形態の帳票定義データベース２４０について説明する。図５は、第一の実施形態の帳票定義データベースの一例を示す図である。

本実施形態の帳票定義データベース２４０は、予めサーバ装置２００に与えられていても良い。本実施形態の帳票定義データベース２４０は、情報の項目として、項目ＩＤ、項目名、方向、距離等を含み、項目「項目ＩＤ」とその他の項目とが対応付けられている。

本実施形態では、帳票定義データベース２４０において、項目「項目ＩＤ」の値と、その他の項目の値とを含む情報を帳票定義情報と呼ぶ。

項目「項目ＩＤ」の値は、帳票に含まれる項目を特定するための識別子である。項目「項目名」の値は、項目の名称を示す。

項目「方向」、「距離」等は、文字列を抽出する範囲を示す。例えば、項目「方向」の値が「ＲＤ」であり、項目「距離」の値が「２０ｍｍ」であった場合、項目名となる文字列と外接する矩形の右下の座標から下に向かって２０ｍｍ以内の範囲から、文字列を抽出することを示す。

つまり、本実施形態の項目「方向」、「距離」等は、文字列を抽出する範囲を示す条件であり、この条件は、項目名と対応付けられている。尚、図５の例では、文字列を抽出する範囲を示す条件として、項目「方向」、「距離」を挙げたが、条件には、他の項目が含まれていても良い。

したがって、例えば、項目ＩＤ「２」の項目名「合計」という文字列と外接する矩形の右下の座標から下に向かって２０ｍｍ以内の範囲から抽出された文字列は、項目名「合計」と対応する項目の値と認識される。

尚、帳票定義情報では、帳票に含まれる可能性のある複数の項目に関する情報が含まれるものとした。

次に、図６を参照して、本実施形態のサーバ装置２００の機能について説明する。図６は、第一の実施形態のサーバ装置の機能を説明する図である。

本実施形態のサーバ装置２００では、例えば、ＲＯＭ２０２、ＲＡＭ２０３等の記憶装置に格納されたプログラムをＣＰＵ２０１が読み出して実行することで、後述する各部の機能が実現される。

本実施形態のサーバ装置２００は、帳票認識処理部２２０と、結合処理部２９０とを有する。帳票認識処理部２２０は、入力受付部２２１、認証処理部２２２、帳票認識部２７０を有する。

入力受付部２２１は、サーバ装置２００に対する各種の入力を受け付ける。具体的には、入力受付部２２１は、帳票認識システム１００にログインするための認証情報の入力を受け付ける。認証情報とは、例えば、利用者ＩＤとパスワード等である。また、入力受付部２２１は、例えば、画像形成装置３００から送信された帳票画像データの入力を受け付ける。

認証処理部２２２は、入力受付部２２１が入力を受け付けた認証情報に基づき、認証を行う。尚、認証処理部２２２は、例えば、サーバ装置２００の外部に設けられた認証サーバに対して、入力された認証情報を送信し、認証サーバによる認証の結果を取得しても良い。認証処理部２２２は、利用者が認証されると、入力受付部２２１が受け付けた帳票画像データを帳票認識部２７０に渡しても良い。

本実施形態の帳票認識部２７０は、画像データ格納部２７１、ジョブリスト生成部２７２、画像データ取得部２７３、前処理部２７４、文字認識部２７５、項目抽出部２７６、管理情報生成部２７７、表示画面生成部２７８、出力部２７９を有する。

画像データ格納部２７１は、画像形成装置３００から帳票画像データを受信すると、帳票画像データベース２３０に格納する。

ジョブリスト生成部２７２は、入力受付部２２１が画像形成装置３００から帳票画像データの入力を受け付けて、ジョブリストにジョブを登録し、ジョブリストを管理する。ジョブリストの詳細は後述する。

画像データ取得部２７３は、帳票画像データベース２３０に格納された帳票画像データを取得する。前処理部２７４は、画像データ取得部２７３が取得した帳票画像データに対して、帳票認識を行うための前処理を行う。

文字認識部２７５は、帳票画像データから、文字列と、文字列が配置された位置を示す情報とを抽出し、読取結果データとして保持する。読取結果データの詳細は後述する。

項目抽出部２７６は、帳票定義データベース２４０に格納された帳票定義情報と、読取結果データとに基づき、帳票画像データに含まれる項目と、項目の値とを抽出して対応付けを行い、項目の項目ＩＤと、項目の値とを対応付けた認識結果データを生成する。尚、ＸＭＬ形式のファイル（eXtensible Markup Language）を認識結果データとして生成しても良い。また、項目抽出部２７６は、帳票における項目の記載位置と、項目と項目の値との位置関係を抽出する。

管理情報生成部２７７は、項目抽出部２７６によって生成された認識結果データから、請求書に関する情報を抽出し、帳票画像データと対応付けた請求書管理情報を生成し、請求書管理データベース２６０へ格納する。

請求書に関する情報とは、例えば、請求書の発行元を示す情報や、請求書が発行された日を示す情報、請求書が帳票画像データとして帳票画像データベース２３０に登録された日を示す情報等のように、請求書の属性を示す情報である。したがって、請求書に関する情報は、請求書の属性を示す属性情報とも言える。また、属性情報は、請求書管理情報の一部であると言える。

本実施形態の管理情報生成部２７７は、請求書に関する情報（属性情報）を、帳票画像データの格納先を示す情報と対応付ける。

表示画面生成部２７８は、認識結果データベース２５０に格納された認識結果データを用いて、認識結果の確認画面の画面データを生成する。尚、認識結果の確認画面に表示する項目名は、予め項目ＩＤと対応付けて登録しておき、認識結果の確認画面を生成するときに、認識結果データに含まれる項目ＩＤに対応する項目名を特定して認識結果の確認画面に表示させると良い。

また、表示画面生成部２７８は、管理情報生成部２７７が生成した請求書管理情報の一覧を含むリスト画面の画面データを生成する。

出力部２７９は、表示画面生成部２７８が生成した認識結果の確認画面データやリスト画面の画面データを出力する。言い換えれば、出力部２７９は、表示画面生成部２７８が生成した認識結果の確認画面やリスト画面を端末装置４００のウェブブラウザ上で表示させる。

本実施形態の結合処理部２９０は、条件保持部２９１、候補特定部２９２、結合部２９３、表示制御部２９４を有する。

条件保持部２９１は、結合される請求書の候補を特定する際に参照される所定の条件が記憶されている。以下の説明では、条件保持部２９１に保持される所定の条件を、候補条件と呼ぶ。候補条件は、帳票認識システム１００の管理者によって設定されて、予め条件保持部２９１に保持されていても良い。また、候補条件は、端末装置４００等において入力されても良い。候補条件の詳細は後述する。

候補特定部２９２は、端末装置４００から請求書が選択されると、条件保持部２９１に保持された候補条件を参照し、結合される候補となる請求書を特定する。

結合部２９３は、候補特定部２９２によって特定された候補に対し、結合の指示がなされた請求書を結合する。請求書の結合とは、具体的には、複数の帳票画像データを同一の請求書として対応付けることを意味する。候補特定部２９２と結合部２９３の処理の詳細は、後述する。

表示制御部２９４は、結合処理部２９０の処理に応じて、端末装置４００の表示を制御する。

次に、図７を参照して、本実施形態の帳票認識システム１００の動作について説明する。図７は、第一の実施形態の帳票認識システムの動作を説明するシーケンス図である。

帳票認識システム１００において、画像形成装置３００は、利用者から帳票認識を行うためのアプリケーションの起動要求を受け付けると（ステップＳ７０１）、このアプリケーションを起動させる（ステップＳ７０２）。

続いて、画像形成装置３００は、利用者から認証情報の入力を受け付けると（ステップＳ７０３）、この認証情報をサーバ装置２００へ送信し、認証要求を行う（ステップＳ７０４）。

サーバ装置２００は、認証要求を受けて、認証処理部２２２により認証を行い、その結果を画像形成装置３００へ通知する（ステップＳ７０５）。尚、ここでは、利用者が認証された場合の動作を示している。

続いて、画像形成装置３００は、請求書のスキャン指示を受け付け（ステップＳ７０６）、請求書のスキャンを行い、帳票画像データを取得する（ステップＳ７０７）。続いて、画像形成装置３００は、帳票画像データをサーバ装置２００へ送信する（ステップＳ７０８）。

サーバ装置２００は、入力受付部２２１が帳票画像データの入力を受け付けると、認証処理部２２２がこの帳票画像データを帳票認識部２７０へ渡す（ステップＳ７０９）。

サーバ装置２００の帳票認識部２７０は、帳票画像データを受け取ると、ジョブリスト生成部２７２により、ジョブリストにジョブを登録する（ステップＳ７１０）。続いて、帳票認識部２７０は、画像データ格納部２７１により、帳票画像データを帳票画像データベース２３０へ格納する（ステップＳ７１１）。

続いて、帳票認識部２７０は、画像データ取得部２７３により、帳票画像データベース２３０から認識する対象となる帳票画像データを取得し（ステップＳ７１２）、帳票画像を認識する処理を実行し、項目抽出部２７６により、認識結果データを生成する（ステップＳ７１３）。

続いて、帳票認識部２７０は、項目抽出部２７６が生成した認識結果データを認識結果データベース２５０に格納する（ステップＳ７１４）。

続いて、帳票認識部２７０は、管理情報生成部２７７により、認識結果データに基づき、請求書管理情報を生成し（ステップＳ７１５）、請求書管理データベース２６０に格納する（ステップＳ７１６）。

次に、帳票認識システム１００において、端末装置４００は、利用者からのブラウザの表示指示の入力を受け付けると（ステップＳ７１７）、サーバ装置２００に対して認識結果データを表示させるブラウザの表示要求を行う（ステップＳ７１８）。

また、端末装置４００は、利用者から認証情報の入力を受け付けて（ステップＳ７１９）、この認証情報をサーバ装置２００へ送信する（ステップＳ７２０）。

サーバ装置２００は、認証処理部２２２により、利用者の認証を行い（ステップＳ７２１）、認証された場合に、端末装置４００に対し、認証結果と共に、請求書管理情報の一覧を示すリスト画面の表示指示を送信する（ステップＳ７２２）。ここでは、利用者が認証された場合の処理を示す。

端末装置４００は、表示指示を受けて、請求書管理情報の一覧を示すリスト画面を表示させる（ステップＳ７２３）。言い換えれば、サーバ装置２００は、出力部２７９により、端末装置４００にリスト画面を表示させる。

以下に、図８乃至図１２を参照して、帳票認識システム１００の動作について、さらに説明する。

図８は、第一の実施形態における請求書のスキャンについて説明する図である。本実施形態では、画像形成装置３００は、第一の認識モードと第二の認識モードとを有する。

第一の認識モードは、１ページずつスキャンした請求書の帳票画像データと、ページ毎の文字認識の実行指示をサーバ装置２００へ送信するモードである。

第二の認識モードは、複数ページの請求書を一括してスキャンして取得した複数ページ分の帳票画像データと、複数ページ分の帳票画像データ毎の文字認識の実行指示をサーバ装置２００へ送信するモードである。

図８の画面８１は、例えば、画像形成装置３００の操作パネル等に表示された認識モードの選択画面の一例を示している。

画面８１では、第一の認識モードを選択するための操作ボタン８１ａと、第二の認識モードを選択するための操作ボタン８１ｂと、が表示されており、図８のでは、操作ボタン８１ａが選択されて、第一の認識モードが選択されている。

画面８１は、操作ボタン８１ａが選択されて、操作ボタン８１ｃが操作されると、画面６２へ遷移する。

画面８２では、第一の認識モードが選択されたことを示す情報８２ａが表示される。この状態で、操作ボタン８２ｂが操作されると、画像形成装置３００は、例えば、ＡＤＦ（Auto Document Feeder）等に配置された請求書をスキャンする。

次に、図９を参照して、本実施形態の帳票認識部２７０の処理によって生成される情報について説明する。図９は、第一の実施形態の帳票認識システムの動作によって生成されるジョブリストの一例を示す図である。

本実施形態のサーバ装置２００は、画像形成装置３００から帳票画像データが入力されると、ジョブリスト生成部２７２により、帳票画像データとジョブＩＤとを対応付けたジョブリストとして保持する。

本実施形態のジョブリスト１０１は、情報の項目として、ジョブＩＤ、利用者ＩＤ、帳票画像ファイルパス、認識結果ファイルパス、ステータス、定義ＩＤを有する。

項目「ジョブＩＤ」の値は、ジョブを特定する識別子である。言い換えれば、項目「ジョブＩＤ」の値は、画像形成装置３００から受信した帳票画像データを特定するための識別子である。

項目「利用者ＩＤ」の値は、帳票認識システム１００にログインした利用者を特定するための識別子である。項目「画像ファイルパス」の値は、帳票画像データが格納されている格納先を示す情報である。項目「認識結果ファイルパス」の値は、帳票画像を認識した結果の認識結果データが格納されている場所を示す情報である。

項目「ステータス」の値は、帳票画像データの認識の進捗を示す。本実施形態では、項目「ステータス」の値として、未処理状態、下書き保存状態、確定済み状態、外部出力済み状態、結合済み状態の５つがある。各状態は、以下の通りである。

・未処理状態（状態１） 帳票認識によって認識結果データが取得された直後であり、認識結果の確認等が行われていない状態。

・下書き保存状態（状態２） 認識結果データの確認等の作業の途中等であり、認識結果データが確定される前の状態。

・確定済み状態（状態３） 認識結果データの確認等の作業が完了し、確定された情報として認識結果データベース２５０へ格納された状態。
・外部出力済み状態（状態４） 帳票認識システム１００と連携する会計システム等への認識結果データの出力が完了した状態。
・結合済み状態（状態５） 認識結果データ及び認識結果データの元となる帳票画像データが、他の認識結果データ及び帳票画像データと対応付けられた状態。

本実施形態のサーバ装置２００は、画像形成装置３００から帳票画像データを受信すると、ジョブリスト生成部２７２により、ジョブＩＤを付与し、認証情報として取得した利用者ＩＤを対応付けて、ジョブリスト１０１にレコードを追加する。そして、ジョブリスト生成部２７２は、帳票画像データが帳票画像データベース２３０に格納されると、この格納先を示す情報を項目「画像ファイルパス」の値として、追加する。

次に、図１０を参照して、本実施形態の帳票認識部２７０の処理の詳細を説明する。図１０は、第一の実施形態の帳票認識部の処理を説明するフローチャートである。図１０では、図７のステップＳ７１３の処理の詳細を示している。

本実施形態の帳票認識部２７０は、ジョブリストから１つのジョブの選択を受け付けると（ステップＳ１００１）、前処理部２７４により、画像データ取得部２７３が取得した帳票画像データに対して、帳票認識を行うための前処理を行う（ステップＳ１００２）。前処理とは、具体的には、例えば、帳票画像の向きを揃える補正処理等である。

続いて、帳票認識部２７０は、文字認識部２７５により、帳票画像から、文字が形成されている領域（以下、文字フィールド）の中の文字を切り取り（ステップＳ１００３）、文字認識する（ステップＳ１００４）。このとき、文字認識部２７５は、切り出した文字の位置を示す座標も取得する。

続いて、帳票認識部２７０は、文字認識部２７５により認識された各文字列の位置関係に基づいて読取結果データを生成して、保持する（ステップＳ１００５）。具体的に、帳票認識部２７０は、認識された各文字の座標に基づいて、互いの距離が予め設定された閾値以内の文字を１つの文字列として認識し、文字列と、文字列が形成された領域の位置を示す座標などの情報とを対応付けて読取結果データを生成する。

続いて、帳票認識部２７０は、項目抽出部２７６により、帳票定義データベース２４０の帳票定義情報に基づき、帳票画像データに含まれる項目と項目値とを抽出する（ステップＳ１００６）。

続いて、帳票認識部２７０は、項目と項目値の抽出に成功したか否かを判定する（ステップＳ１００７）。

ステップＳ１００７において、項目と項目値の抽出に失敗した場合、帳票認識部２７０は、端末装置４００又は画像形成装置３００に対してエラーを通知し（ステップＳ１００８）、処理を終了する。

ステップＳ１００７において、項目と項目値の抽出に成功した場合、帳票認識部２７０は、項目抽出部２７６により、抽出された項目と項目値をマージした認識結果データを生成して、認識結果データベース２５０に格納する（ステップＳ１００９）。

続いて、帳票認識部２７０は、ジョブリスト生成部２７２により、認識結果データの格納先をジョブリスト１０１に登録する（ステップＳ１０１０）。

続いて、帳票認識部２７０は、管理情報生成部２７７により、認識結果データを用いて請求書管理情報を生成し、請求書管理データベース２６０へ格納する（ステップＳ１０１１）。

次に、帳票認識部２７０は、表示画面生成部２７８により、端末装置４００から表示指示を受け付けたか否か判定する（ステップＳ１０１２）。ステップＳ７１２において、表示指示を受け付けない場合、帳票認識部２７０は、表示指示を受け付けるまで待機する。尚、ステップＳ１０１２において表示指示を受け付けない場合、帳票認識部２７０は処理を終了しても良い。

ステップＳ１０１２において、表示指示を受け付けた場合、表示画面生成部２７８は、請求書管理情報を用いて生成された請求書管理情報の一覧を示すリスト画面を端末装置４００に表示させ（ステップＳ１０１３）、処理を終了する。

次に、図１１を参照して、認識結果データの取得について説明する。図１１は、認識結果データの取得について説明する図である。図１１に示す情報１５１は、帳票画像データに対し、文字認識部２７５による文字認識を行った結果である。

情報１５１は、請求書から文字フィールドを切り取り、文字フィールドの中の文字を認識した結果と、文字の位置を示す座標とから抽出した例を示す。

本実施形態の文字認識部２７５は、この情報１５１から、隣り合う位置にある文字同士をつなげて文字列（文字列）を認識する。具体的には、文字認識部２７５は、文字と文字との間の距離が、所定ピクセル以内である文字の組み合わせを、１つ単語として認識しても良い。

図１１示す情報１５２は、文字認識部２７５により認識された文字列と、文字列の領域とを示す情報であり、文字認識部２７５による帳票画像の読取結果データの一例である。

また、文字認識部２７５は、帳票画像データから、縦線と横線で区切られた領域を１つのセルとして認識し、セル毎にセルを識別する識別情報（セルＩＤ）を付与する。

図１１に示す情報１５３は、帳票画像データから認識されたセル毎の領域とセルＩＤとの対応付けを示す情報である。情報１５３では、キーワード「Ａ社」が認識された領域は、セルＩＤ「２」に含まれることがわかる。したがって、キーワード「Ａ社」は、請求書に含まれるキーワードとして、セルＩＤ「２」と対応付けられる。また、情報１５３の例では、セルＩＤ「７」と、キーワード「請求元」とが対応付けられていることがわかる。

本実施形態の帳票認識部２７０は、このようにして、帳票画像データから、キーワードとセルとを対応付ける。そして、本実施形態では、帳票定義情報を参照し、キーワード同士の位置関係から、項目名と項目の値とを抽出し、認識結果データとする。

図１１の情報１５４は、認識結果データの一例を示す。図１１の例では、帳票画像データから、項目名としてキーワード「請求元」が抽出され、その項目の値として、キーワード「Ａ社」が抽出されたことがわかる。また、情報１５４の例では、項目名としてキーワード「請求日」が抽出され、その項目の値として、キーワード「２０１８／０９／０３」が抽出されたことがわかる。

次に、図１２を参照して、本実施形態の請求書管理データベース２６０について説明する。図１２は、第一の実施形態の請求書管理データベースの一例を示す第一の図である。

本実施形態の請求書管理データベース２６０は、帳票認識部２７０の処理によって生成される請求書管理情報が格納される。

請求書管理データベース２６０は、情報の項目として、ＩＤ、請求元、請求金額、請求日、登録日時、ステータス、明細金額合計、画像ファイルパス、請求書番号、明細情報を含む。請求書管理データベース２６０では、項目「ＩＤ」とその他の項目とが対応付けられている。以下の説明では、請求書管理データベース２６０において、項目「ＩＤ」の値と、その他の項目の値とを含む情報を、請求書管理情報と呼ぶ。

項目「ＩＤ」の値は、請求書管理情報を特定する識別情報である。項目「請求元」の値は、請求書を発行した組織の名称を示す。言い換えれば、項目「請求元」の値は、請求元を特定する情報である。

項目「請求金額」の値は、認識結果データから抽出された請求金額を示す。項目「請求日」の値は、認識結果データから抽出された請求日を示す。本実施形態の請求日は、帳票が発行された発行日の一例である。

項目「登録日時」の値は、請求書の帳票画像データが帳票画像データベース２３０に格納された日時を示す。項目「ステータス」の値は、帳票画像の認識の進捗を示す。ここでの項目「ステータス」の値は、ジョブリストにおける項目「ステータス」の値と同様である。

項目「明細金額合計」の値は、認識結果データから抽出した明細情報に含まれる金額の合計を示す。項目「画像ファイルパス」の値は、帳票画像データベース２３０における帳票画像データの格納先を示す。

項目「請求書番号」の値は、認識結果データから抽出した請求書番号を示す。項目「明細情報」の値は、認識結果データから抽出した明細情報を示す。明細情報とは、例えば、帳票の明細部に記載された明細項目名と、明細項目の値とを対応付けた情報である。帳票の明細部とは、データの集計結果等を示す部分であり、明細項目毎に、同じ形式のデータが縦方向に繰り返し印刷された部分である。

本実施形態では、例えば、請求書管理情報のうち、請求元、請求金額、請求日、明細金額合計、請求書番号、明細情報は、請求書の属性情報として、認識結果データから抽出されるものとしても良い。

また、本実施形態では、例えば、ＩＤ、登録日時、ステータス、画像ファイルパスは、請求書に対して帳票認識部２７０が処理を行う際に、管理情報生成部２７７によって付与される情報であっても良い。

例えば、図１２の例では、管理情報生成部２７７は、認識結果データから、請求元「Ａ社」と、請求金額「５４，０００」と、請求日「２０１９／０９／０３」と、明細金額「３８，２００」と、明細情報「１．応接テーブル○円・・」を、請求書の属性情報として抽出する。

そして、管理情報生成部２７７は、請求書の属性情報に対し、ＩＤと、登録日時と、ステータスと、画像ファイルパスを付与する。

本実施形態では、このように、請求書の属性情報に、帳票画像データの格納先である画像ファイルパスを対応付けることで、請求書の属性情報と、帳票画像データとを対応付けた請求書管理情報を生成する。

以下の説明では、請求書管理データベース２６０において、ＩＤ毎の請求書管理情報を１レコードと呼ぶ場合がある。

次に、図１３を参照して、端末装置４００の表示例について説明する。図１３は、第一の実施形態の端末装置の表示例を示す第一の図である。

図１３に示す画面１３１は、図７のステップＳ７２３において、端末装置４００に表示されるリスト画面の一例を示している。

画面１３１は、請求書管理情報の一覧が表示される表示欄１３２と、請求書の結合を指示する操作ボタン１３３とを含む。

表示欄１３２では、レコード毎に選択欄が設けられており、図１３の例では、請求元が「Ａ社」のレコード１３２ａが選択されている。

本実施形態では、サーバ装置２００は、画面１３１において、レコード１３２ａが選択された状態で、操作ボタン１３３が操作されると、結合処理部２９０により、レコード１３２ａが示す請求書と結合される請求書の候補を特定する処理が実行される。

以下に、本実施形態のサーバ装置２００における結合処理部２９０の処理について説明する。図１４は、第一の実施形態の結合処理部の処理を説明するフローチャートである。

本実施形態の結合処理部２９０は、リスト画面におけるレコードの選択を受け付けると（ステップＳ１４０１）、候補特定部２９２により、項目「ステータス」の値が「未処理」であり、且つ、条件保持部２９１に保持された候補条件を満たすレコードのセットを特定する（ステップＳ１４０２）。

言い換えれば、候補特定部２９２は、項目「ステータス」の値が「未処理」であり、候補条件を満たす請求書管理情報の組み合わせを特定する。

本実施形態では、このように、項目「ステータス」の値が未処理のレコードから、結合の候補を特定することで、下書き保存状態、確定済み状態、結合済み状態とされた認識結果データが、他の認識結果データと誤って結合されることを防止できる。

ここで、本実施形態の候補条件について説明する。

本実施形態の候補条件は、請求書管理情報の一部である属性情報に含まれる項目を用いて決められている。属性情報に含まれる項目とは、請求元、請求金額、請求日、登録機日時、明細金額合計等を含む。

候補条件は、具体的には、以下のようなものが挙げられる。
・項目「請求元」の値が一致する（候補条件１）。
・項目「請求元」の値と項目「請求日」の値の両方が一致する（候補条件２）。
・項目「請求元」の値が一致し、且つ、項目「登録日時」が選択されたレコードの登録に日時から２４時間以内である（候補条件３）。

本実施形態の条件保持部２９１は、これらの候補条件を示す情報を保持している。また、本実施形態の条件保持部２９１では、複数の候補条件において、候補特定部２９２によって参照される候補条件が予め設定されていても良い。また、本実施形態では、帳票認識システム１００の管理者等が使用する端末装置に対し、候補条件を設定するための設定画面を表示させても良い。

ステップＳ１４０２では、例えば、候補条件２が設定されていたとする。この場合、候補特定部２９２は、請求書管理データベース２６０を参照し、項目「ステータス」の値が「未処理」であり、且つ、項目「請求元」の値と項目「請求日」の値の両方が一致するレコード（請求書管理情報）のセットを特定する。

尚、本実施形態では、特定の候補条件が設定されていなくでも良い。その場合、候補特定部２９２は、条件保持部２９１に保持されている複数の候補条件毎にレコードを特定しても良い。

また、候補特定部２９２は、ある候補条件を満たす複数のセットが特定されても良い。具体的には、例えば、レコードの選択を受け付けずに、図１３の操作ボタン１３３が操作された場合には、候補条件を満たすレコードのセットを複数特定しても良い。

続いて、結合処理部２９０は、候補特定部２９２により、レコードのセットが特定されたか否かを判定する（ステップＳ１４０３）。ステップＳ１４０３において、レコードのセットが特定されない場合とは、候補条件２を満たす請求書管理情報が存在せず、結合の対象となる請求書が存在しないことを示す。

したがって、ステップＳ１４０３におい、レコードのセットが特定されない場合、結合処理部２９０は、処理を終了する。

ステップＳ１４０３において、レコードのセットが特定された場合、結合処理部２９０は、表示制御部２９４により、リスト画面において、特定されたレコードの表示態様を、他のレコードと異ならせる（ステップＳ１４０４）。以下の説明では、ステップＳ１４０３で特定されたレコードの表示態様を、第一の表示態様と呼ぶ場合がある。

続いて、結合処理部２９０は、リスト画面において、特定されたレコードの選択を受け付けると（ステップＳ１４０５）、結合部２９３により、選択された各レコードから、項目「請求金額」の値と、項目「明細金額合計」の値とを取得する（ステップＳ１４０６）。

続いて、結合部２９３は、各レコードの項目「請求金額」の値の合計と、項目「明細金額合計」の値の合計と、が一致するか否かを判定する（ステップＳ１４０７）。

ステップＳ１４０７において、各レコードの項目「請求金額」の値の合計と、項目「明細金額合計」の値の合計と、が一致する場合、後述するステップＳ１４１３へ進む。

ステップＳ１４０７において、各レコードの項目「請求金額」の値の合計と、項目「明細金額合計」の値の合計と、が一致しない場合、結合処理部２９０は、表示制御部２９４により、請求金額の合計、明細金額合計の合計とが一致しないことを示す警告を端末装置４００に表示させる（ステップＳ１４０８）。

続いて、結合処理部２９０は、候補特定部２９２により、請求金額の合計、明細金額の合計との差分を算出する（ステップＳ１４０９）。続いて、候補特定部２９２は、ステータスが未処理で、且つ、算出した差分と、項目「明細金額」の値が差分と一致するレコードを特定する（ステップＳ１４１０）。

続いて、結合処理部２９０は、ステップＳ１４１０において、該当するレコードが特定されたか否かを判定する（ステップＳ１４１１）。ステップＳ１４１１において、該当するレコードが特定されなかった場合、結合処理部２９０は、処理を終了する。

ステップＳ１４１１において、該当するレコードが特定された場合、結合処理部２９０は、表示制御部２９４により、リスト画面における、ステップＳ１４１０で特定したレコードの表示態様を、他のレコードと異ならせる（ステップＳ１４１２）。

尚、本実施形態では、ステップＳ１４１０で特定されたレコードの表示態様を第二の表示態様と呼ぶ場合がある。本実施形態の表示制御部２９４は、第一の表示態様と第二の表示態様とを異ならせても良い。

続いて、結合処理部２９０は、特定されたレコードの結合が可能であることを示す通知を利用者に通知する（ステップＳ１４１３）。具体的には、結合処理部２９０は、表示制御部２９４により、端末装置４００に、結合が可能であることを示す情報を表示させても良い。

続いて、結合処理部２９０は、端末装置４００から、プレビュー表示の指示を受け付けると（ステップＳ１４１４）、表示制御部２９４により、端末装置４００に、特定されたレコードと対応する請求書のプレビュー画面を表示させる（ステップＳ１４１５）。言い換えれば、表示制御部２９４は、結合される候補となる請求書のプレビュー画面を表示させる。

続いて、結合処理部２９０は、結合の指示を受け付けると（ステップＳ１４１６）、結合部２９３により、結合処理を実行し（ステップＳ１４１７）、処理を終了する。

以下に、図１５乃至図１８を参照して、端末装置４００の表示例について説明する。図１５は、第一の実施形態の端末装置の表示例を示す第二の図である。

図１５に示す画面１３１Ａは、図１４のステップＳ１４０４で端末装置４００に表示される画面の一例を示す。

画面１３１Ａでは、レコード１３２ａが選択されて、操作ボタン１３３が操作された場合に、ステータスが未処理であり、且つ、候補条件２を満たすレコードとして、１３２ｂが特定され、レコード１３２ａ、１３２ｂが第一の表示態様で表示された状態を示している。

尚、第一の表示態様とは、例えば、表示欄１３２に表示された請求書管理情報の一覧のうち、レコード１３２ａ、１３２ｂの背景色を他のレコードの背景色と異ならせた表示態様であっても良い。また、第一の表示態様とは、表示欄１３２に表示された請求書管理情報の一覧のうち、レコード１３２ａ、１３２ｂを太線で囲うような表示態様であっても良い。第一の表示態様は、表示欄１３２において、特定されたレコードと、他のレコードとが区別できるような表示態様であれば良い。

画面１３１Ａにおいて、レコード１３２ａとレコード１３２ｂのセットが選択されると、結合処理部２９０は、レコード１３２ａとレコード１３２ｂの請求金額の合計と明細金額合計の合計を算出する。

ここで、レコード１３２ａは、ＩＤ「１」の請求書管理情報であり、レコード１３２ｂは、ＩＤ「４」の請求書管理情報である（図１２参照）。したがって、結合処理部２９０は、ＩＤ「１」の請求書管理情報とＩＤ「４」の請求書管理情報のそれぞれの請求金額の合計と、明細金額合計の合計を算出する。

ＩＤ「１」の請求書管理情報の請求金額は「５４，０００」であり、ＩＤ「４」の請求書管理情報の請求金額は「０」である。したがって、ＩＤ「１」の請求書管理情報とＩＤ「４」の請求書管理情報の請求金額は、「５４，０００」である。

また、ＩＤ「１」の請求書管理情報の明細金額合計は「３８，２００」であり、ＩＤ「４」の請求書管理情報の明細金額合計は「１５，８００」である。したがって、ＩＤ「１」の請求書管理情報とＩＤ「４」の請求書管理情報の明細金額合計の合計は、「５４，０００」であり、請求金額の合計と一致する。

したがって、結合処理部２９０は、これらの請求書管理情報の結合が可能であることを利用者に通知する。

具体的には、結合処理部２９０は、画面１３１Ａに、レコード１３２ａ、１３２ｂの結合が可能であることを示す情報と、プレビュー画面の表示を指示する操作ボタンを含むウィンドウ等を表示させても良い。

画面１３１Ａにおいて、プレビュー画面の表示が指示されると、結合処理部２９０は、特定されたレコードと対応する請求書のプレビュー画面を表示させる。

図１６は、第一の実施形態の端末装置の表示例を示す第三の図である。図１６に示す画面１６１は、図１４のステップＳ１４１５で端末装置４００に表示されるプレビュー画面の一例を示す。

画面１６１は、表示欄１６２、表示欄１６３、操作ボタン１６４等を有する。表示欄１６２には、候補特定部２９２によって特定された、結合される候補となる請求書のプレビュー画像が表示される。

表示欄１６３は、結合する請求書のプレビュー画像が表示される。言い換えれば、表示欄１６３は、表示欄１６２に表示された請求書の候補から、実際に結合する請求書として選択された請求書のプレビュー画像が表示される。このプレビュー画像は、選択された請求書を読み取った帳票画像データから生成される。言い換えれば、プレビュー画像は、請求書（帳票）を読み取った帳票画像データから生成される画像である。

本実施形態では、例えば、表示欄１６２に表示されたプレビュー画像を選択し、表示欄１６３に移動させる操作が行われると、表示欄１６３に選択されたプレビュー画像が表示される。

具体的には、例えば、表示欄１６２に表示されたプレビュー画像は、端末装置４００の利用者によるドラッグ＆ドロップ等の操作によって、表示欄１６３に移動されても良い。

また、本実施形態では、表示欄１６３に表示されたプレビュー画像の並び順を入れ替える操作等によって、請求書の結合順を決めることができる。

図１６の例では、表示欄１６２には、プレビュー画像１６５、１６６、１６７を含む５つのプレビュー画像が表示されている。また、表示欄１６３には、プレビュー画像１６５、１６６、１６７が表示されている。したがって、図１６の例では、候補特定部２９２によって特定された結合の候補となる請求書から、プレビュー画像１６５、１６６、１６７と対応する請求書が、結合する請求書として選択されたことがわかる。

また、図１６の例では、表示欄１６３の上から順に、プレビュー画像１６５、１６６、１６７と表示されており、プレビュー画像１６５、１６６、１６７のそれぞれと対応する請求書が、この表示順に結合される。

画面１６１において、操作ボタン１６４が操作されると、結合処理部２９０は、結合処理の実行の指示を受け付けて、表示欄１６３に表示されたプレビュー画像と対応する請求書の帳票画像データを結合する。

このように、実施形態によれば、帳票画像データベース２３０に格納された帳票画像データの中から、同一の請求書とされるべき請求書の候補の帳票画像を端末装置４００の利用者に提示することができる。また、本実施形態では、端末装置４００の利用者によって、複数ページに跨る請求書の結合順を設定することができる。したがって、本実施形態によれば、端末装置４００利用者による、複数のページに跨る帳票の管理を、容易にすることができる。

図１７は、第一の実施形態の端末装置の表示例を示す第四の図である。図１７に示す画面１６１Ａは、図１４のステップＳ１４１５で端末装置４００に表示されるプレビュー画面の他の例を示す。

図１７に示す画面１６１Ａでは、表示欄１６２Ａにおいて、複数の候補条件毎に、特定されたレコードと対応する請求書のプレビュー画像が表示されている。

表示欄１６２Ａには、領域１６２ａと領域１６２ｂを含む。領域１６２ａは、候補条件２で特定されたレコードと対応する請求書のプレビュー画像が表示され、領域１６２ｂは、候補条件３で特定されたレコードと対応する請求書のプレビュー画像が表示される。

また、領域１６２ａには、候補条件２を示す情報１６２ｃが表示され、領域１６２ｂには、候補条件３を示す情報１６２ｄが表示されている。

本実施形態では、このように、候補条件毎に特定された請求書のプレビュー画像を表示させることができる。

また、本実施形態では、表示欄１６２Ａに表示されたプレビュー画像のうち、領域１６２ａに表示されたプレビュー画像と、領域１６２ｂに表示されたプレビュー画像と、の両方から、表示欄１６３に移動させるプレビュー画像を選択することができる。

図１８は、第一の実施形態の端末装置の表示例を示す第五の図である。図１８に示す画面１３１Ｂは、図１４のステップＳ１４１２で表示される画面の一例である。

図１８では、図１４のステップＳ１４０５において、レコード１３２ａとレコード１３２ｃのセットが選択された場合を示している。

この場合、候補特定部２９２は、レコード１３２ａとレコード１３２ｃの請求金額の合計と明細金額合計の合計を算出する。

ここで、レコード１３２ａは、ＩＤ「１」の請求書管理情報であり、レコード１３２ｃは、ＩＤ「６」の請求書管理情報である（図１２参照）。したがって、ＩＤ「１」の請求書管理情報とＩＤ「４」の請求書管理情報の請求金額は、「５４，０００」と「１１，０００」の合計である「６５，０００」である。

また、ＩＤ「１」の請求書管理情報の明細金額合計は「３８，２００」であり、ＩＤ「６」の請求書管理情報の明細金額合計は「１１，０００」である。したがって、ＩＤ「１」の請求書管理情報とＩＤ「４」の請求書管理情報の明細金額合計の合計は、「４９，２００」であり、請求金額の合計と一致しない。

したがって、結合処理部２９０は、画面１３１Ｂに、明細金額合計と、請求金額が一致しないことを示す警告を表示させる。

また、候補特定部２９２は、請求書管理データベース２６０から、ステータスが未処理で、且つ、明細金額合計が、「６５，０００」と「４９，２００」の差分である「１５，８００」であるレコードを特定する。具体的には、候補特定部２９２は、ＩＤ「４」の請求書管理情報（レコード１３２ｂ）が特定される。

ここで特定されたＩＤ「４」のレコード１３２ｂは、画面１３１Ｂにおいて、レコード１３２ａとレコード１３２ｃとは異なる第二の表示態様で表示される。

具体的には、レコード１３２ｂは、例えば、第一の表示態様で表示されるレコード１３２ａとレコード１３２ｃと異なる表示態様であり、且つ、候補特定部２９２によって特定されていないレコードの表示態様とも異なるように表示される。

本実施形態では、このように、結合の候補として選択された複数の請求書において、請求金額と、明細金額合計とが一致するか否かを判定する。そして、一致しない場合には、結合される請求書が不足している可能性があるものとし、その不足している請求書と対応するレコードを特定し、利用者に提示することができる。

図１９は、第一の実施形態の端末装置の表示例を示す第六の図である。図１９に示す画面１３１Ｃは、図１４のステップＳ１４０４で表示される画面の一例である。

図１９に示す画面１３１Ｃは、図１３に示す画面１３１において、レコードの選択を受け付けずに、操作ボタン１３３が操作された場合の画面の一例である。尚、ここでは、候補条件２が設定されていたものとする。

この場合、候補特定部２９２は、請求書管理データベース２６０の中から、候補条件２を満たすレコードのセットの全てを特定する。

候補条件２は、請求元と請求元が一致していることであるため、候補特定部２９２は、請求書管理データベース２６０に格納されたレコード（請求書管理情報）のうち、ＩＤ「１」のレコード１３２ａと、ＩＤ「４」のレコード１３２ｂとを１つ目のセットとして特定する（図１２参照）。また、候補特定部２９２は、ＩＤ「３」のレコード１３２ｅと、ＩＤ「５」のレコード１３２ｆとを２つのセットとして特定する。

結合処理部２９０の表示制御部２９４は、セットが特定されると、画面１３１Ｃにおいて、各セットに含まれるレコードの表示態様を変更する。

画面１３１Ｃでは、１つ目のセットに含まれるレコード１３２ａ、１３２ｂの背景色と、２つ目のセットに含まれるレコード１３２ｅ、１３２ｆの背景色と、を異ならせる。

このように、本実施形態では、リスト画面において、セット毎に、各セットに含まれるレコードの表示態様を異ならせることで、複数のセットが特定されたことを利用者に容易に把握させることができる。

次に、図２０を参照して、本実施形態の結合処理部２９０による結合処理について説明する。図２０は、第一の実施形態の請求書管理データベースの一例を示す第二の図である。

本実施形態の結合処理部２９０は、結合処理の実行を指示されると、結合部２９３により、結合処理が指示されたセットに含まれるレコードのステータスを「結合済み状態」とし、セットに含まれるレコードを結合した新たなレコードを生成する。そして、結合部２９３は、生成した新たなレコードを請求書管理データベース２６０に追加する。

図２０に示す請求書管理データベース２６０Ａでは、ＩＤ「１」のレコードと、ＩＤ「４」のレコードとを含むセットに対する結合処理の実行が指示された場合を示している。

この場合、結合処理部２９０の結合部２９３は、ＩＤ「１」のレコードのステータスと、ＩＤ「４」のレコードのステータスと、を「結合済み」とする。

また、結合部２９３は、ＩＤ「１」のレコードと、ＩＤ「４」のレコードとを結合した新たなレコードとして、ＩＤ「７」のレコードを生成する。

ＩＤ「７」のレコードにおいて、項目「請求金額」の値は、ＩＤ「１」のレコードの請求金額と、ＩＤ「４」のレコードの請求金額を合計した値である。また、ＩＤ「７」のレコードにおいて、項目「請求元」と項目「請求日」の値は、ＩＤ「１」のレコード及びＩＤ「４」のレコードと同様である。

また、ＩＤ「７」のレコードにおいて、項目「登録日時」の値は、ＩＤ「７」のレコードが生成されて請求書管理データベース２６０に格納された日時を示す。

ＩＤ「７」のレコードにおいて、項目「ステータス」の値は、生成された直後は、「未処理」となる。尚、本実施形態では、新たに生成されたレコードの項目「ステータス」の値に、このレコードが、他のレコードを結合して生成されたものであることを示す情報を含めても良い。

図２０の例では、ＩＤ「７」のレコードにおいて、項目「ステータス」の値に、このレコードがＩＤ「１」のレコード及びＩＤ「４」のレコードの結合結果であることを示す情報が含まれている。

ＩＤ「７」のレコードにおいて、項目「明細金額合計」の値は、ＩＤ「１」のレコードの明細金額合計と、ＩＤ「４」のレコードの明細金額合計を合計した値である。

ＩＤ「７」のレコードにおいて、項目「画像ファイルパス」の値は、ＩＤ「１」のレコードに含まれる格納先と、ＩＤ「４」のレコードに含まれる格納先と、を含む。ＩＤ「７」のレコードにおいて、項目「明細情報」の値は、ＩＤ「１」のレコードに含まれる明細情報と、ＩＤ「４」のレコードに含まれる明細情報と、を含む。

本実施形態の結合部２９３は、このように、結合処理が指示されたセットに含まれる複数のレコードのそれぞれと対応付けられた帳票画像データを含む、１つのレコードを生成する。

本実施形態では、以上の処理によって、複数の帳票画像データを同一の請求書として対応付ける。

したがって、本実施形態によれば、複数のページを含む帳票において、各ページの帳票画像データが別々の帳票として認識されることを防止でき、複数ページを含む帳票を正しく認識することができる。

また、本実施形態のサーバ装置２００は、画像形成装置３００によって、帳票をスキャンすることで、帳票画像データを取得するものとしたが、これに限定されない。サーバ装置２００は、例えば、端末装置４００等から、帳票画像データを受信しても良い。

図２１は、第一の実施形態の端末装置の表示例を示す第七の図である。図２１の画面１３１Ｄは、結合処理が行われ後のリスト画面の一例を示す。図２１に示す画面１３１Ｄは、図２０に示す請求書管理データベース２６０Ａを参照して表示される。

画面１３１Ｄの表示欄１３２Ａにおいて、レコード１３２ａのステータスと、レコード１３２ｂのステータスとは、「結合済み」とされる。言い換えれば、レコード１３２ａとレコード１３２ｂのステータスは、レコード１３２ａ、１３２ｂが結合済みであることを示す情報を示している。

また、表示欄１３２Ａには、新たにレコード１３２ｇが追加されている。このレコード１３２ｇは、結合処理によって生成された、ＩＤ「７」のレコードに対応する。

レコード１３２ｇでは、ステータスとして、このレコードが結合処理によって生成されたものであることを示す情報「結合結果、ＩＤ「１」、「４」が表示されている。また、レコード１３２ｇのステータスとして、未処理状態であることが表示されている。

このように、本実施形態では、リスト画面において、各レコードのステータスに、結合済みであることを示す情報や、結合処理によって生成された結果であることを示す情報を表示させる。

尚、本実施形態では、画面１８１Ｄにおいて、レコード１３２ｇが選択されると、レコード１３２ｇと対応する認識結果データの確認画面が表示されても良い。この確認画面には、レコード１３２ｇと対応付けられた全ての帳票画像データを表示させることができる。

したがって、本実施形態によれば、端末装置４００の利用者に、結合されたレコードと、結合処理によって生成されたレコードとを容易に把握させることができる。

図２２は、第一の実施形態の端末装置の表示例を示す第八の図である。図２２に示す画面１７１は、帳票画像データを端末装置４００からサーバ装置２００へ送信する際に、端末装置４００に表示される画面の一例である。

画面１７１は、操作ボタン１７２、１７３と、表示欄１７４とを有する。操作ボタン１７２は、１ページずつスキャンした請求書の帳票画像データと、ページ毎の文字認識の実行指示をサーバ装置２００へ送信する第一の認識モードを選択するための操作ボタンである。

操作ボタン１７３は、複数ページの請求書を一括してスキャンして取得した複数ページ分の帳票画像データと、複数ページ分の帳票画像データ毎の文字認識の実行指示をサーバ装置２００へ送信する第二の認識モードを選択するための操作ボタンである。

表示欄１７４は、サーバ装置２００へ送信される帳票画像データのファイル名等が表示される。

このように、本実施形態では、端末装置４００等の一般的な情報処理装置からでも帳票画像データをサーバ装置２００にアップロードすることができる。したがって、本実施形態の帳票認識システム１００に画像形成装置３００が含まれていなくても良い。

また、本実施形態では、画像形成装置３００や端末装置４００において、第一の認識モードと第二の認識モードを選択させることができる。

したがって、例えば、複数ページの請求書を、第二の認識モードでサーバ装置２００に送信した後に、この請求書に追加すべきページが残存する場合等には、このページを第一の認識モードでサーバ装置２００に送信すれば良い。そして、サーバ装置２００において、結合処理部２９０の処理によって、第二の認識モードで送信された複数ページの請求書の帳票画像データと、第一の認識モードで送信された１ページの請求書の帳票画像データとを結合すれば良い。

このように、本実施形態では、一括してスキャンした請求書の帳票画像データと、ページ毎にスキャンした請求書の帳票画像データとを結合して１つの請求書とすることができる。したがって、本実施形態によれば、例えば、一括したスキャンから漏れたページや、スキャンし忘れたページ等が存在する場合にも、結合処理部２９０によって、これらのページの帳票画像データを、対応付けるべき帳票画像データと結合させることができ、複数ページに跨る帳票の管理にかかる手間を低減できる。

（第二の実施形態）
以下に、図面を参照して、第二の実施形態について説明する。第二の実施形態は、結合処理の実行を、認識結果の確認画面から行う点が、第一の実施形態と相違する。よって、以下の第二の実施形態の説明では、第一の実施形態との相違点について説明し、第一の実施形態と同様の機能構成を有するものには、第一の実施形態の説明で用いた符号と同様の符号を付与し、その説明を省略する。

図２３は、第二の実施形態の結合処理部の処理を説明するフローチャートである。本実施形態のサーバ装置２００は、結合処理部２９０により、図７のステップＳ７２３で表示されたリスト画面において、レコードの認識結果の確認画面の表示要求を受け付ける（ステップＳ２３０１）。

具体的には、サーバ装置２００は、図１３に示す画面１３１の表示欄１３２から、レコードの選択を受け付けると、このレコードの確認画面の表示要求を受け付けたものとする。

続いて、サーバ装置２００は、帳票認識部２７０の表示画面生成部２７８により、選択されたレコードの認識結果の確認画面を端末装置４００に表示させる（ステップＳ２３０２）。続いて、サーバ装置２００は、確認画面において結合の候補となる請求書を特定する処理の実行指示を受け付ける（ステップＳ２３０３）。

サーバ装置２００において、結合処理部２９０は、この指示を受け付けると、候補特定部２９２により、設定されている候補条件と、確認画面に含まれる請求元を特定する情報と、に基づき、ステータスが未処理であり、且つ、候補条件を満たすレコードを特定する（ステップＳ２３０４）。ここで特定される候補が、認識結果の確認画面が表示されたレコードとの結合される候補となる。

続いて、結合処理部２９０は、候補特定部２９２により、レコードが特定されたか否かを判定する（ステップＳ２３０５）。ステップＳ２３０５におい、レコードが特定されない場合、結合処理部２９０は、処理を終了する。

ステップＳ２３０５において、レコードが特定された場合、結合処理部２９０は、表示制御部２９４により、リスト画面を表示させ、リスト画面において、特定されたレコードを第一の表示態様で表示させる（ステップＳ２３０６）。

続いて、結合処理部２９０は、リスト画面において、特定されたレコードの選択を受け付けると（ステップＳ２３０７）、結合部２９３により、選択されたレコードから、項目「請求金額」の値と、項目「明細金額合計」の値とを取得する（ステップＳ２３０８）。

続いて、結合部２９３は、ステップＳ２３０１で選択されたレコードの請求金額とステップＳ２３０８で取得された請求金額との合計と、ステップＳ２３０１で選択されたレコードの明細金額合計とステップＳ２３０８で取得された明細金額合計との合計と、が一致するか否かを判定する（ステップＳ２３０９）。

ステップＳ２３０９において、一致しない場合、結合処理部２９０は、表示制御部２９４により、請求金額の合計と明細金額合計の合計が一致しないことを示す警告を端末装置４００に表示させ（ステップＳ２３１０）、ステップＳ２３０７に戻る。

ステップＳ２３０９において、一致する場合、結合処理部２９０は、ステップＳ２３１１へ進む。ステップＳ２３１１からステップＳ２３１５までの処理は、図１４のステップＳ１４１３からステップＳ１４１７までの処理と同様であるから、説明を省略する。

尚、本実施形態では、ステップＳ２３０９において、一致しない場合には警告を通知して処理を終了するものとしたが、これに限定されない。本実施形態では、ステップＳ２３０９において、一致しない場合には、警告を通知した後に、図１４のステップＳ１４０９以降の処理を実行しても良い。

次に、図２４を参照して、本実施形態の端末装置４００の表示例について説明する。図２４は、第二の実施形態の端末装置の表示例を示す図である。

図２４に示す画面１８１は、表示欄２１、２２、２３、２４と、入力欄２５と、操作ボタン２６、２７と、操作ボタン１８２とを含む。

表示欄２１には、帳票画像データが示す帳票画像が表示される。表示欄２２には、帳票画像データと対応付する請求書管理情報のステータスが表示される。図２４の例では、表示欄２２には、「未処理」と表示されており、表示欄２２に表示された帳票画像データと対応する請求書管理情報は、未処理状態（状態１）であることがわかる。

表示欄２３には、表示欄２１に表示された帳票画像から取得された請求書に関する情報が表示される。表示欄２４には、表示欄２１に表示された帳票画像から取得された明細情報が表示される。表示欄２５には、明細情報等に基づく仕訳情報が入力される。

操作ボタン２６は、画面１８１に表示された認識結果データの状態を、下書き保存状態に変更するための操作ボタンである。操作ボタン２７は、画面１８１に表示された認識結果データの状態を、確定済み状態に変更するための操作ボタンである。

操作ボタン１８２は、画面１８１に表示された認識結果データと対応するレコードと、結合される候補となるレコードを特定する処理の実行を指示するための操作ボタンである。

言い換えれば、操作ボタン１８２は、画面１８１に表示された認識結果データから抽出された請求書管理情報（レコード）との結合の候補となる請求書管理情報を特定する処理の実行をサーバ装置２００に要求するための操作ボタンである。

本実施形態では、画面１８１は、操作ボタン１８２が操作されると、表示欄２３に表示された請求元に対し、候補条件を満たすレコードが第一の表示態様で表示されたリスト画面へ遷移しても良い。

このように、本実施形態によれば、認識結果の確認画面を閲覧している最中に、確認中の請求書との結合の候補となる請求書の特定を指示することができる。言い換えれば、本実施形態によれば、認識結果の確認画面からリスト画面に戻らずに、確認画面から直接結合の候補となる請求書の特定を指示することができる。したがって、本実施形態によれば、リスト画面に戻る手間が削減でき、操作性を向上させることができる。

上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC（Application Specific Integrated Circuit）、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

実施形態に記載された装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの1つを示すものにすぎない。

ある実施形態では、サーバ装置２００は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。同様に、サーバ装置２００は、互いに通信するように構成された複数のコンピューティングデバイスを含むことができる。

さらに、帳票認識部２７０、結合処理部２９０の機能は、サーバ装置２００によって実行することができる。また、サーバ装置２００の各要素は、複数の装置に分けられていても良い。

また、明細書中の対応テーブル（表）は、機械学習の学習効果によって生成されたものでもよい。ここで、機械学習とは、コンピュータに人のような学習能力を獲得させるための技術であり、コンピュータが、データ識別等の判断に必要なアルゴリズムを、事前に取り込まれる学習データから自律的に生成し，新たなデータについてこれを適用して予測を行う技術のことをいう。機械学習のための学習方法は、教師あり学習、教師なし学習、半教師学習、強化学習、深層学習のいずれかの方法でもよく、さらに、これらの学習方法を組み合わせた学習方法でもよく、機械学習のための学習方法は問わない。

上述した各実施形態では、例えば、結合された複数のレコードと、これらのレコードを特定する際に参照された候補条件とを対応付けた情報を記録しておき、この情報に基づいて、候補条件に対して重み付け等を行っても良い。本実施形態では、この処理を、機械学習によって行っても良い。

このように、候補条件に対して重み付けを行うことで、結合処理が実行される可能性が高いレコードのセットを特定することができる。

以上、各実施形態に基づき本発明の説明を行ってきたが、上記実施形態に示した要件に本発明が限定されるものではない。これらの点に関しては、本発明の主旨をそこなわない範囲で変更することができ、その応用形態に応じて適切に定めることができる。

１００ 帳票認識システム
２００ サーバ装置
２１０ 記憶部
２２０ 帳票認識処理部
２３０ 帳票画像データベース
２４０ 帳票定義データベース
２５０ 認識結果データベース
２６０ 請求書管理データベース
２７０ 帳票認識部
２７１ 画像データ格納部２７１
２７２ ジョブリスト生成部
２７３ 画像データ取得部
２７４ 前処理部
２７５ 文字認識部
２７６ 項目抽出部
２７７ 管理情報生成部
２７８ 表示画面生成部
２７９ 出力部
２９０ 結合処理部
２９１ 条件保持部
２９２ 候補特定部
２９３ 結合部
２９４ 表示制御部
３００ 画像形成装置
４００ 端末装置

特開２０１６－５１３３９号公報

Claims (11)

1. 情報処理装置と、端末装置と、を含む情報処理システムであって、
   前記情報処理装置は、
   帳票画像データに対する帳票認識の結果から抽出された前記帳票画像データの元となる帳票の属性情報と、前記帳票画像データとを対応付けた帳票管理情報の一覧を前記端末装置に出力する出力部と、
   前記一覧において特定された、前記帳票の属性情報に含まれる特定の項目が一致する複数の帳票管理情報のそれぞれに含まれる前記帳票画像データが示す帳票画像のプレビュー画像を含むプレビュー画面を、前記端末装置に表示させる表示制御部と、を有する情報処理システム。
2. 前記特定の項目は、前記帳票の発行元であり、
   前記出力部は、
   前記一覧を含み、前記一覧において、帳票の発行元が一致する複数の帳票管理情報の表示態様を、帳票の発行元が該発行元と一致しない帳票管理情報の表示態様と異ならせたリスト画面を前記端末装置に表示させ、
   さらに、前記表示制御部は、
   前記リスト画面において、帳票の発行元が一致する複数の帳票管理情報のそれぞれに含まれる帳票画像データのプレビュー表示の指示を受け付けると、前記端末装置に前記プレビュー画面を表示させる、請求項１記載の情報処理システム。
3. 前記プレビュー画面は、
   第一の表示欄と第二の表示欄を含み、前記一覧において特定された、前記帳票の属性情報に含まれる特定の項目が一致する複数の帳票管理情報のそれぞれに含まれる前記帳票画像データが示す帳票画像のプレビュー画像は、前記第一の表示欄に表示され、
   前記第一の表示欄において、選択された複数のプレビュー画像が、前記第二の表示欄に表示される、請求項２記載の情報処理システム。
4. 前記帳票管理情報は、
   前記帳票画像データの認識の進捗を示すステータスを含み、
   前記一覧から、
   前記帳票画像データの認識の進捗を示すステータスが、前記認識による結果の確認が行われていない未処理状態を示し、且つ、前記帳票の属性情報に含まれる特定の項目が一致する帳票管理情報を特定する候補特定部を有し、
   前記表示制御部は、
   前記候補特定部により特定された帳票管理情報に含まれる前記帳票画像データが示す帳票画像のプレビュー画像を、帳票画像データを結合させる帳票の候補として、前記第一の表示欄に表示させる、請求項３記載の情報処理システム。
5. 帳票画像データの結合処理の実行指示を受け付けて、前記第二の表示欄に表示された前記複数のプレビュー画像の元となる複数の帳票画像データを結合させる結合部を有する、請求項４記載の情報処理システム。
6. 前記帳票は請求書であり、
   前記帳票管理情報において、前記請求書の属性を示す属性情報と、前記請求書を読み取った帳票画像データとが対応付けられている、請求項５記載の情報処理システム。
7. 前記結合部は、
   前記複数の帳票画像データと、前記複数の帳票画像データに含まれる各帳票画像データと対応付けられた請求書の属性を示す属性情報と、を対応付けた新たな帳票管理情報を生成し、
   前記表示制御部は、
   前記新たな帳票管理情報を前記一覧に追加する、請求項６記載の情報処理システム。
8. 前記表示制御部は、
   前記一覧において、前記結合部によって結合された帳票画像データを含む帳票管理情報における、前記ステータスに、結合済みを示す情報を含める、請求項７記載の情報処理システム。
9. 前記出力部は、
   前記リスト画面において、前記一覧から帳票管理情報が選択されると、選択された帳票管理情報の抽出元となる帳票認識の結果の確認画面を前記端末装置に表示させ、
   前記候補特定部は、
   前記確認画面において、結合させる帳票の特定の指示を受けて、前記一覧から、前記特定の項目の値が、前記選択された帳票管理情報における前記特定の項目と値が一致する帳票管理情報を特定する、請求項８記載の情報処理システム。
10. 帳票画像データに対する帳票認識の結果から抽出された前記帳票画像データの元となる帳票の属性情報と、前記帳票画像データとを対応付けた帳票管理情報の一覧を端末装置に出力し、
    前記一覧において特定された、前記帳票の属性情報に含まれる特定の項目が一致する複数の帳票管理情報のそれぞれに含まれる前記帳票画像データが示す帳票画像のプレビュー画像を含むプレビュー画面を前記端末装置に表示させる、処理を情報処理装置に実行させる、プログラム。
11. 情報処理装置による情報処理方法であって、前記情報処理装置が、
    帳票画像データに対する帳票認識の結果から抽出された前記帳票画像データの元となる帳票の属性情報と、前記帳票画像データとを対応付けた帳票管理情報の一覧を端末装置に出力し、
    前記一覧において特定された、前記帳票の属性情報に含まれる特定の項目が一致する複数の帳票管理情報のそれぞれに含まれる前記帳票画像データが示す帳票画像のプレビュー画像を含むプレビュー画面を前記端末装置に表示させる、情報処理方法。

Images