JP7484466B2 - 情報処理装置、情報処理方法、プログラム及び情報処理システム - Google Patents

Description

本発明は、情報処理装置、情報処理方法、プログラム及び情報処理システムに関する。

従来では、複数の項目名と項目値との組み合わせが列挙された帳票の画像データから、項目名と項目値を対応づけたデータを抽出する帳票認識システムが知られている。また、従来では、基幹業務を行う基幹システム等に対し、基幹システムで管理される項目について、項目値を追加する処理を行うアプリケーションプログラムが知られている。

例えば、基幹システムに対して、帳票認識システムによって抽出されたデータを追加する場合、帳票認識システムから基幹システムに対して出力されるデータを、基幹システムのフォーマットに合わせたデータにする必要がある。

このため、従来では、ユーザが、帳票認識システムによって抽出されたデータを参照し、基幹システムのフォーマットに合わせて項目値を手入力することで、基幹システムに対する項目値の追加を行っており、不便である。

本発明は、上記事情に鑑みて成されたものであり、基幹システムと対応した出力データを自動的に生成することを目的としている。

開示の技術は、帳票画像データに対する帳票認識を行う帳票認識部と、前記帳票認識に基づき取得された項目名毎の項目値を、項目名毎の出力順を示す対応付け情報が格納された対応付け情報記憶部を参照し、前記対応付け情報が示す順に並べた出力データを生成して出力する出力データ生成部と、前記帳票認識により、過去の帳票画像データから抽出された、前記帳票画像データの元となる帳票の発行元に関する情報と、前記帳票の明細部に記載された明細項目名と、明細項目値とを対応付けた情報と、を含むテキストデータが格納された認識結果記憶部を参照し、前記過去の帳票画像データと対応する過去の出力データに含まれる項目値毎に、前記テキストデータを検索する検索部と、前記テキストデータにおいて、検索結果とされた項目値と対応する項目名を、前記出力データにおける項目値の位置と対応付けた前記対応付け情報を前記対応付け情報記憶部に格納する対応付け部と、を有する情報処理装置である。

基幹システムと対応した出力データを自動的に生成できる。

帳票認識システムのシステム構成の一例を示す図である。 サーバ装置のハードウェア構成の一例を示す図である。 端末装置のハードウェア構成の一例を示す図である。 認識結果データベースの一例を示す図である 出力データベースの一例を示す図である。 マスタデータベースの一例を示す図である。 対応付けデータベースの一例を示す図である。 サーバ装置の機能を説明する図である。 端末装置の機能を説明する図である。 帳票認識システムの動作を説明するシーケンス図である。 ジョブリストの一例を示す図である。 帳票認識部の処理を説明するフローチャートである。 認識結果の確認画面の一例を示す図である。 明細情報の抽出を説明する図である。 出力データ生成部の処理を説明するフローチャートである。 対応付け学習部の処理を説明するフローチャートである。 表示例を説明する第一の図である。 表示例を説明する第二の図である。

以下に図面を参照して、実施形態について説明する。図１は、帳票認識システムのシステム構成の一例を示す図である。

本実施形態の帳票認識システム１００は、サーバ装置２００、画像形成装置３００、端末装置４００を有する。本実施形態の帳票認識システム１００において、サーバ装置２００と、画像形成装置３００と、端末装置４００とは、ネットワークを介して接続される。本実施形態の帳票認識システム１００は、情報処理システムの一例である。

また、本実施形態の端末装置４００は、例えば、ネットワークを介して基幹システム５００と接続される。基幹システム５００とは、例えば、本実施形態の帳票認識システム１００において帳票を認識した結果を用いて、特定の処理を行うシステムである。具体的には、例えば、基幹システム５００は、会計システムや、見積もり作成システム等であっても良い。

本実施形態の帳票認識システム１００において、サーバ装置２００は、画像形成装置３００のスキャナ機能によって読み取られた帳票の画像を示す画像データから、帳票に含まれる項目名と項目値とを抽出し、項目名と項目値とを対応付けたテキストデータとする。

以下の説明では、画像形成装置３００のスキャナ機能によって読み取られた帳票の画像を帳票画像と呼び、帳票画像を示す画像データを帳票画像データと呼ぶ。

また、以下の説明では、帳票画像に含まれる項目名と、この項目値とを抽出し、項目名と項目値とをテキストデータに変換して対応付けることを、帳票認識と呼ぶ。

また、本実施形態の帳票認識システム１００は、帳票認識の結果として取得された項目値を、基幹システム５００と対応するフォーマットに従った順に並べた出力データを生成し、基幹システム５００へ出力する。

また、本実施形態では、基幹システム５００に出力された出力データと、帳票認識の結果とに基づき、帳票認識の結果として取得された項目値と、基幹システム５００と対応するフォーマットにおける項目値の位置との対応関係を学習し、対応関係を示す対応付け情報を生成する。つまり、本実施形態の対応付け情報とは、帳票認識によって得られた項目名毎の項目値の出力順を示す情報である。

本実施形態のサーバ装置２００は、記憶部２１０と、帳票認識処理部２２０と、出力データ生成部２３０と、対応付け学習部２４０と、を有する。

記憶部２１０には、帳票画像データベース２５０、認識結果データベース２６０、出力データベース２７０、マスタデータベース２８０、対応付けデータベース２９０が設けられている。

帳票画像データベース２５０は、帳票画像データが格納される。認識結果データベース２６０は、帳票認識処理部２２０による帳票認識の結果を示す情報である認識結果データが格納される。

出力データベース２７０は、出力データ生成部２３０により、認識結果データに基づき生成され、基幹システム５００に対して出力された出力データが格納される。つまり、出力データベース２７０に格納される出力データは、基幹システム５００に対して出力された出力済みのデータである。本実施形態の出力データは、認識結果データベース２６０に格納された項目名毎の項目値を並べたデータであり、具体的には、例えば、ＣＳＶ形式のデータである。

マスタデータベース２８０は、基幹システム５００と対応したデータであり、認識結果データの確認画面を表示させる際に参照されるデータである。

対応付けデータベース２９０は、認識結果データベース２６０に格納された情報と、出力データベース２７０に格納された出力データと、に基づき、出力データにおける、帳票認識によって抽出された項目値の位置を示す対応付け情報が格納される。

本実施形態の帳票認識処理部２２０は、帳票画像データベース２５０に格納された帳票画像データを取得し、帳票に含まれる項目名と項目値とを抽出し、項目名と項目値とを対応付けたテキストデータとする。また、帳票認識処理部２２０は、帳票認識の結果に対して、各種の入力を受け付ける。

具体的には、帳票認識処理部２２０は、帳票画像データと、と帳票認識の結として果取得したテキストデータと、マスタデータベース２８０に格納されたマスタデータに基づく入力欄とを含む画面を、帳票認識の認識結果の確認画面として表示させる。そして、帳票認識処理部２２０は、この確認画面に対する各種の入力を受け付ける。

以下の説明では、請求書を帳票の一覧として説明する。本実施形態の確認画面は、例えば、帳票画像が表示される表示欄と、項目名と項目値とを対応付けたテキストデータが表示される表示欄と、マスタデータに含まれる項目名に対する項目値を入力させる入力欄とを含む。

帳票画像は、請求書の画像である。テキストデータは、請求書に関する情報（以下、請求書情報）、請求書の明細部に記載された明細に関する情報（以下、明細情報）を含む。

請求書情報は、例えば、請求書の発行元、請求日、請求先等を示す情報である。言い換えれば、請求書情報とは、帳票画像の元となる帳票（請求書）の発行元に関する情報の一例である。

明細情報は、帳票の明細部に記載された明細項目名と、明細項目値とを対応付けた情報である。

また、入力欄は、仕訳情報を入力するための入力欄である。仕訳情報は、ユーザが、帳票画像（請求書の画像）を参照して、明細の内容等を確認しながら、マスタデータから入力する値を選択することで、入力される。

本実施形態における認識結果データは、帳票画像データから抽出された請求書情報及び明細情報と、ユーザの操作により入力された仕訳情報とを含む。確認画面の詳細は後述する。

尚、帳票は、請求書に限定されるものではなく、納品書や見積書、仕入れ伝票等であってもよい。

出力データ生成部２３０は、対応付けデータベース２９０を参照し、帳票認識の結果として取得された項目値を、基幹システム５００と対応するフォーマットに従った順に並べた出力データを生成し、基幹システム５００へ出力する。

対応付け学習部２４０は、基幹システム５００に出力された出力データと、帳票認識の結果とに基づき、帳票認識の結果として取得された項目値と、基幹システム５００と対応する。

本実施形態の帳票認識システム１００において、画像形成装置３００は、スキャナ機能を有する複合機である。画像形成装置３００は、コピー機能、ＦＡＸ機能、スキャナ機能等を実現するためのアプリケーションが搭載されており、各機能と対応するアプリケーションを選択することで、これらの機能が実現される。

本実施形態の端末装置４００は、帳票認識システム１００を利用する利用者によって使用される。また、端末装置４００には、サーバ装置２００による帳票認識の結果が表示されても良い。

尚、本実施形態における利用者とは、例えば、帳票認識システム１００が提供するサービスを利用するための契約を締結している事業所や企業、団体等である。

尚、図１の例では、サーバ装置２００は、記憶部２１０内に５つのデータベースを有する構成としたが、これに限定されない。各データベースは、一部がサーバ装置２００の外部装置に設けられていても良いし、各データベース全てが外部装置に設けられていても良い。

また、図１の例では、サーバ装置２００が帳票認識処理部２２０、出力データ生成部２３０、対応付け学習部２４０を実現するものとしたが、これに限定されない。帳票認識処理部２２０、出力データ生成部２３０、対応付け学習部２４０は、複数の情報処理装置によって実現されても良い。

また、図１の例では、帳票認識システム１００に含まれる画像形成装置３００と端末装置４００とは、それぞれ１台としているが、帳票認識システム１００に含まれる画像形成装置３００と端末装置４００の台数は、任意の数であって良い。

また、図１の例では、帳票認識システム１００からの出力データの出力先は、基幹システム５００としたが、帳票認識システム１００からの出力データの出力先となる基幹システム５００は、複数存在してもよい。

また、図１の例では、本実施形態の帳票認識システム１００に画像形成装置３００が含まれるものとしたが、これに限定されにない。画像形成装置３００は、帳票認識システム１００に含まれなくてもよい。

次に、図２を参照して、本実施形態のサーバ装置２００のハードウェア構成について説明する。図２は、サーバ装置のハードウェア構成の一例を示す図である。

本実施形態のサーバ装置２００は、コンピュータによって構築されており、図２に示されているように、ＣＰＵ（Central Processing Unit）２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random access memory）２０３、ＨＤ(Hard Disk)２０４、ＨＤＤ(Hard Disk Drive)コントローラ２０５、ディスプレイ２０６、外部機器接続Ｉ／Ｆ(Interface)２０８、ネットワークＩ／Ｆ２０９、データバスＢ、キーボード２１１、ポインティングデバイス２１２、ＤＶＤ－ＲＷ(Digital Versatile Disk Rewritable)ドライブ２１４、メディアＩ／Ｆ２１６を備えている。

これらのうち、ＣＰＵ２０１は、サーバ装置２００全体の動作を制御する。ＲＯＭ２０２は、ＩＰＬ等のＣＰＵ２０１の駆動に用いられるプログラムを記憶する。ＲＡＭ２０３は、ＣＰＵ２０１のワークエリアとして使用される。ＨＤ２０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ２０５は、ＣＰＵ２０１の制御にしたがってＨＤ２０４に対する各種データの読み出し又は書き込みを制御する。ディスプレイ２０６は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する表示部である。

外部機器接続Ｉ／Ｆ２０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、ＵＳＢ(Universal Serial Bus)メモリやプリンタ等である。ネットワークＩ／Ｆ２０９は、通信ネットワークＮを利用してデータ通信をするためのインターフェースである。データバスＢは、図２に示されているＣＰＵ２０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

また、キーボード２１１は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス２１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。ＤＶＤ－ＲＷドライブ２１４は、着脱可能な記録媒体の一例としてのＤＶＤ－ＲＷ２１３に対する各種データの読み出し又は書き込みを制御する。尚、ＤＶＤ－ＲＷに限らず、ＤＶＤ－Ｒ等であってもよい。メディアＩ／Ｆ２１６は、フラッシュメモリ等の記録メディア２１５に対するデータの読み出し又は書き込み（記憶）を制御する。

本実施形態のサーバ装置２００は、例えば、スマートフォン、タブレット端末、ＰＤＡ(Personal Digital Assistant)、ウェアラブルＰＣ等であっても良い。

本実施形態の端末装置４００は、演算処理装置と記憶装置とを有するコンピュータであり、例えば、タブレット型の端末装置や、スマートフォン等であっても良い。図３は、端末装置のハードウェア構成の一例を示す図である。

本実施形態の端末装置４００は、ＣＰＵ４０１、ＲＯＭ４０２、ＲＡＭ４０３、ＥＥＰＲＯＭ４０４、ＣＭＯＳセンサ４０５、撮像素子Ｉ／Ｆ４０６、加速度・方位センサ４０７、メディアＩ／Ｆ４０９、ＧＰＳ受信部４１１を備えている。

これらのうち、ＣＰＵ４０１は、端末装置４００全体の動作を制御する演算処理装置である。ＲＯＭ４０２は、ＣＰＵ４０１やＩＰＬ等のＣＰＵ４０１の駆動に用いられるプログラムを記憶する。ＲＡＭ３０３は、ＣＰＵ３０１のワークエリアとして使用される。ＥＥＰＲＯＭ４０４は、ＣＰＵ４０１の制御にしたがって、スマートフォン用プログラム等の各種データの読み出し又は書き込みを行う。ＲＯＭ４０２、ＲＡＭ４０３、ＥＥＰＲＯＭ４０４は、端末装置４００の記憶装置の一例である。

ＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサ４０５は、ＣＰＵ４０１の制御に従って被写体（主に自画像）を撮像して画像データを得る内蔵型の撮像手段の一種である。なお、ＣＭＯＳセンサではなく、ＣＣＤ(Charge Coupled Device)センサ等の撮像手段であってもよい。

撮像素子Ｉ／Ｆ４０６は、ＣＭＯＳセンサ３０５の駆動を制御する回路である。加速度・方位センサ４０７は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアＩ／Ｆ４０９は、フラッシュメモリ等の記録メディア４０８に対するデータの読み出し又は書き込み（記憶）を制御する。ＧＰＳ受信部４１１は、ＧＰＳ衛星からＧＰＳ信号を受信する。

また、端末装置４００は、遠距離通信回路４１２、遠距離通信回路４１２のアンテナ４１２ａ、マイク４１５、スピーカ４１６、音入出力Ｉ／Ｆ４１７、ディスプレイ４１８、外部機器接続Ｉ／Ｆ(Interface)４１９、近距離通信回路４２０、近距離通信回路４２０のアンテナ４２０ａ、及びタッチパネル４２１を備えている。

これらのうち、遠距離通信回路４１２は、通信ネットワークを介して、他の機器と通信する回路である。マイク４１５は、音を電気信号に変える内蔵型の回路である。スピーカ４１６は、電気信号を物理振動に変えて音楽や音声などの音を生み出す内蔵型の回路である。音入出力Ｉ／Ｆ４１７は、ＣＰＵ４０１の制御に従ってマイク４１５及びスピーカ４１６との間で音信号の入出力を処理する回路である。

ディスプレイ４１８は、被写体の画像や各種アイコン等を表示する液晶や有機ＥＬ(Electro Luminescence)などの表示手段の一種である。外部機器接続Ｉ／Ｆ４１９は、各種の外部機器を接続するためのインターフェースである。近距離通信回路４２０は、ＮＦＣ(Near Field Communication)やＢｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。タッチパネル４２１は、利用者がディスプレイ４１８を押下することで、端末装置４００を操作する入力手段の一種である。ディスプレイ４１８は、端末装置４００の有する表示部の一例である。

次に、本実施形態のサーバ装置２００の有する認識結果データベース２６０、出力データベース２７０、マスタデータベース２８０、対応付けデータベース２９０について説明する。

図４は、認識結果データベースの一例を示す図である。本実施形態の認識結果データベース２６０は帳票画像データから抽出されたテキストデータ２６０－１と、ユーザにより入力された仕訳情報２６０－２と、を含む。

テキストデータ２６０－１は、項目名と、項目値とが対応付けられている。また、図４の例では、項目名と項目値に、項目値の種別を示す情報が対応付けられている。また、テキストデータには、項目名と項目値に、帳票画像における項目名と項目値の位置を示す情報が対応付けられていてもよい。

具体的には、テキストデータ２６０－１は、項目名である「請求元」と、項目値である「○○××センター」が対応付けられたデータ、項目名である「請求日」と項目値である「２０１８／７／２０」とが対応付けられたデータ、項目名である「請求金額税抜き」と項目値である「１１９，６００」とが対応付けられたデータ」等を含む。

仕訳情報２６０－２は、仕訳情報に含まれる各レコードを特定するためのＩＤと、仕訳項目と対応する項目値とが対応付けられている。

具体的には、仕訳情報２６０－２において、レコードＩＤ「１」の仕訳情報では、仕訳項目「金額」と項目値「１１９，６００」とが対応付けられており、仕訳項目「科目コード」と項目値「０００１」とが対応付けられており、仕訳項目「部品コード」と項目値「１２３４５６７８」とが対応付けられている。

図５は、出力データベースの一例を示す図である。本実施形態の出力データベース２７０は、帳票画像データ毎の認識結果データに含まれる項目値を、基幹システム５００のフォーマットに従って並べた出力データが格納される。つまり、出力データベース２７０は、出力データが記憶されている出力データ記憶部の一例である。

図５の例では、「○○××センター」、「２０１８／７／２０」、「１１９，６００」、・・・となっており、テキストデータ２６０－１における項目値が順に並べられていることがわかる。図５に示す出力データは、例えば、ＣＳＶ形式のデータである。

図６は、マスタデータベースの一例を示す図である。本実施形態のマスタデータベース２８０には、基幹システム５００毎のマスタデータが格納される。つまり、本実施形態のマスタデータベース２８０は、マスタデータが格納されたマスタ記憶部の一例である。本実施形態では、マスタデータは、仕訳項目と、仕訳項目の項目値とを対応付けたデータである。

図６の例では、マスタデータベース２８０－１と、マスタデータベース２８０－２とを示す。

マスタデータベース２８０－１は、例えば、仕訳項目として、勘定科目コード、勘定科目名称、インデックス等を含み、各仕訳項目について、仕訳項目の項目値となり得る値が対応付けられている。マスタデータ２８０－１は、仕訳項目「勘定科目コード」と、他の仕訳項目とが対応付けられた、勘定科目に関する勘定科目マスタデータと言える。

マスタデータベース２８０－２は、例えば、仕訳項目として、勘定科目コード、補助科目コード、補助科目名称等を含み、各仕訳項目について、仕訳項目の項目値となり得る値が対応付けられている。マスタデータ２８０－２は、仕訳項目「補助科目コード」と、他の仕訳項目とが対応付けられた、補助科目コードに関する補助科目マスタデータと言える。

尚、図６の例では、１つの基幹システム５００に対応するマスタデータを例として説明したが、帳票認識システム１００が複数種類の基幹システム５００に対して、出力データを提供する場合には、マスタデータベース２８０には、各基幹システム５００に対応したマスタデータ群が格納される。

図７は、対応付けデータベースの一例を示す図である。本実施形態の対応付けデータベース２９０は、基幹システム５００毎に、出力データとされる項目値と、項目値の並び順とを対応付けた対応付け情報が格納される。つまり、本実施形態の対応付けデータベース２９０は、対応付け情報が格納された対応付け記憶部の一例である。

また、本実施形態の対応付け情報は、言い換えれば、認識結果データに含まれる項目値の出力順を示す情報である。

図７の例では、出力データの先頭の項目値が日付の形式の値であり、次に出力される項目値が「勘定科目マスタデータ」の仕訳項目の１項目の項目値であり、その次に出力される項目値が仕訳項目「補助科目マスタデータ」の２項目の項目値であることを示す。

「勘定科目マスタデータ」の仕訳項目の１項目の項目値とは、仕訳項目「勘定科目コード」の項目値であり、「補助科目マスタデータ」の２項目とは、仕訳項目「補助科目コード」の項目値である（図６参照）。

尚、本実施形態の対応付け情報は、例えば、対応する基幹システム５００を特定する識別情報等を含んでもよい。

次に、図８を参照して、本実施形態のサーバ装置２００の機能について説明する。図８は、サーバ装置の機能を説明する図である。

本実施形態のサーバ装置２００では、例えば、ＨＤ２０４等に格納された情報処理プログラムをＣＰＵ２０１が読み出して実行することで、後述する各部の機能が実現される。

本実施形態のサーバ装置２００は、帳票認識処理部２２０、出力データ生成部２３０、操作受付部２３５、対応付け学習部２４０、通信部２４５を有する。

帳票認識処理部２２０は、入力受付部２２１、認証処理部２２２、帳票認識部２２３を有する。

入力受付部２２１は、サーバ装置２００に対する各種の入力を受け付ける。具体的には、入力受付部２２１は、帳票認識システム１００にログインするための認証情報の入力を受け付ける。認証情報とは、例えば、利用者ＩＤとパスワード等である。また、入力受付部２２１は、例えば、画像形成装置３００から送信された帳票画像データの入力を受け付ける。

また、入力受付部２２１は、通信部２４５を介してサーバ装置２００に対する入力を受け付けてもよいし、サーバ装置２００に対して直接行われた入力を受け付けても良い。具体的には、例えば、入力受付部２２１は、仕訳情報等の入力を受け付ける。

認証処理部２２２は、入力受付部２２１が入力を受け付けた認証情報に基づき、認証を行う。尚、認証処理部２２２は、例えば、サーバ装置２００の外部に設けられた認証サーバに対して、入力された認証情報を送信し、認証サーバによる認証の結果を取得してもよい。認証処理部２２２は、利用者が認証されると、入力受付部２２１が受け付けた帳票画像データを帳票認識部２２３に渡してもよい。

本実施形態の帳票認識部２２３は、画像データ格納部２７１、ジョブリスト生成部２７２、画像データ取得部２７３、前処理部２７４、文字認識部２７５、項目抽出部２７６、表示画面生成部２７７、出力部２７８を有する。

画像データ格納部２７１は、入力受付部２２１が、画像形成装置３００から通信部２４５を介して帳票画像データを受信すると、帳票画像データベース２５０に格納する。

ジョブリスト生成部２７２は、入力受付部２２１が、通信部２４５を介して画像形成装置３００から帳票画像データの入力を受け付けると、ジョブリストにジョブを登録し、ジョブリストを管理する。ジョブリストの詳細は後述する。

画像データ取得部２７３は、帳票画像データベース２５０に格納された帳票画像データを取得する。前処理部２７４は、画像データ取得部２７３が取得した帳票画像データに対して、帳票認識を行うための前処理を行う。

文字認識部２７５は、帳票画像データから、文字列と、文字列が配置された位置を示す情報とを抽出し、読取結果データとして保持する。読取結果データの詳細は後述する。

項目抽出部２７６は、読取結果データに基づき、帳票画像データに含まれる項目と、項目の値とを抽出して対応付けを行った認識結果データを生成し、認識結果データベース２６０へ格納する。尚、本実施形態の認識結果データは、帳票に記載された帳票の発行元を示す情報（発行元情報）等を含む。つまり、認識結果データには、帳票に記載された文字列が示す情報が含まれる。

表示画面生成部２７７は、認識結果データベース２６０に格納された認識結果データを用いて、認識結果の確認画面を生成する。

出力部２７８は、表示画面生成部２７７が生成した認識結果の確認画面を、通信部２４５を介して出力する。言い換えれば、出力部２７８は、表示画面生成部２７７が生成した認識結果の確認画面を、通信部２４５を介して端末装置４００のウェブブラウザ上で表示させる。

本実施形態の出力データ生成部２３０は、対応付けデータベース２９０を参照し、認識結果データから出力データを生成する。また、出力データ生成部２３０は、出力データを、通信部２４５を介して基幹システム５００へ出力する。

さらに、出力データ生成部２３０は、基幹システム５００に出力された出力データを、出力済みの出力データとして、出力データベース２７０に格納する。

操作受付部２３５は、通信部２４５を介して、端末装置４００のウェブブラウザ上に表示された画面に対して入力された操作を受け付ける。より具体的には、本実施形態では、通信部２４５が端末装置４００から操作を示す情報を受信し、操作受付部２３５が、通信部２４５が受信した情報の入力を受け付ける。

本実施形態の対応付け学習部２４０は、データ取得部２４１、データ形式判定部２４２、検索部２４３、対応付け部２４４、エラー訂正部２４７を有する。

データ取得部２４１は、対応付け学習部２４０の処理に用いられる各種のデータを取得する。具体的には、データ取得部２４１は、出力データベース２７０に格納された出力データと、認識結果データベース２６０に格納された認識結果データ（テキストデータと仕訳情報とを含む）とを取得する。また、データ取得部２４１は、マスタデータベース２８０から、基幹システム５００と対応するマスタデータを取得する。

データ形式判定部２４２は、データ取得部２４１が取得した出力データに含まれる項目値のデータの形式を判定する。具体的には、データ形式判定部２４２は、出力データに含まれる項目値が、日付を示す形式のデータであるか否かを判定する。

検索部２４３は、出力データに含まれる項目値によって、データ取得部２４１が取得した認識結果データとマスタデータとを検索し、項目値と対応する項目名を特定する。

対応付け部２４４は、検索部２４３による検索によって特定された項目名と、出力データにおける項目値の位置と対応付けて、対応付けデータベース２９０に格納する。出力データにおける項目値の位置とは、出力データにおける項目値の並び順を示す。

エラー訂正部２４７は、出力データ生成部２３０によって生成された出力データに対し、基幹システム５００からエラーが通知された場合に、出力データの訂正及び対応付け情報の更新を行う。

本実施形態の通信部２４５は、例えば、ネットワークＩ／Ｆ２０９等によって実現される機能であり、サーバ装置２００と外部装置との間でデータの送受信を行う。具体的には、例えば、通信部２４５は、端末装置４００に対して、画面の表示を指示する通知を送信する。また、通信部２４５は、基幹システム５００に対して、出力データを送信する。

次に、図９を参照して、本実施形態の端末装置４００の機能について説明する。図１０は、端末装置の機能を説明する図である。

後述する各部の機能は、端末装置４００の有するＣＰＵ４０１が、ＲＯＭ４０２等に格納されたプログラムを読み出して実行することで実現される。

本実施形態の端末装置４００は、入力受付部４３１、表示制御部４３２、通信部４３３を有する。

入力受付部４３１は、表示制御部４３２によって端末装置４００のウェブブラウザ上に表示された画面に対する入力を受け付ける。

表示制御部４３２は、端末装置４００のディスプレイ４１８の表示を制御する。具体的には、表示制御部４３２は、サーバ装置２００からの指示に応じた画面をディスプレイ４１８（表示部）に表示させる。

通信部４３３は、遠距離通信回路４１２、遠距離通信回路４１２のアンテナ４１２ａ等によって実現される機能であり、端末装置４００と他の装置との間でデータの送受信を行う。

以下に、図１０を参照して、本実施形態の帳票認識システム１００の動作について説明する。図１０は、帳票認識システムの動作を説明するシーケンス図である。

帳票認識システム１００において、画像形成装置３００は、利用者から帳票認識を行うためのアプリケーションの起動要求を受け付けると（ステップＳ１００１）、このアプリケーションを起動させる（ステップＳ１００２）。

続いて、画像形成装置３００は、利用者から認証情報の入力を受け付けると（ステップＳ１００３）、この認証情報をサーバ装置２００へ送信し、認証要求を行う（ステップＳ１００４）。

サーバ装置２００は、認証要求を受けて、認証処理部２２２により認証を行い、その結果を画像形成装置３００へ通知する（ステップＳ１００５）。尚、ここでは、利用者が認証された場合の動作を示している。

続いて、画像形成装置３００は、帳票のスキャン指示を受け付け（ステップＳ１００６）、帳票のスキャンを行い、帳票画像データを取得する（ステップＳ１００７）。続いて、画像形成装置３００は、帳票画像データをサーバ装置２００へ送信する（ステップＳ１００８）。

サーバ装置２００は、入力受付部２２１が帳票画像データの入力を受け付けると、認証処理部２２２がこの帳票画像データを帳票認識部２２３へ渡す（ステップＳ１００９）。尚、図１０の例では、認証処理部２２２を介して帳票画像データが帳票認識部２２３へ渡されるものとしたが、これに限定されない。帳票画像データは、認証処理部２２２を介さずに帳票認識部２２３に渡されても良い。

サーバ装置２００の帳票認識部２２３は、帳票画像データを受け取ると、ジョブリスト生成部２７２により、ジョブリストにジョブを登録する（ステップＳ１０１０）。続いて、帳票認識部２２３は、画像データ格納部２７１により、帳票画像データを帳票画像データベース２５０へ格納する（ステップＳ１０１１）。

続いて、帳票認識部２２３は、画像データ取得部２７３により、帳票画像データベース２５０から認識する対象となる帳票画像データを取得し（ステップＳ１０１２）、帳票画像を認識する処理を実行する（ステップＳ１０１３）。ステップＳ１０１２の処理の詳細は後述する。

続いて、帳票認識部２２３は、項目抽出部２７６が生成した認識結果データを認識結果データベース２６０に格納する（ステップＳ１０１４）。

帳票認識システム１００において、端末装置４００は、入力受付部４３１により、利用者からのブラウザの表示指示の入力を受け付けると（ステップＳ１０１５）、通信部４３３を介して、サーバ装置２００に対して認識結果データを表示させるブラウザの表示要求を行う（ステップＳ１０１６）。

また、端末装置４００は、入力受付部４３１により、利用者から認証情報の入力を受け付けて（ステップＳ１０１７）、通信部４３３により、この認証情報をサーバ装置２００へ送信する（ステップＳ１０１８）。

サーバ装置２００は、認証処理部２２２により、利用者の認証を行い（ステップＳ１０１９）、その結果を端末装置４００へ通知し、ジョブリストの一覧を端末装置４００に表示させる（ステップＳ１０２０）。尚、ここでは、利用者が認証された場合の処理を示す。

続いて、端末装置４００は、入力受付部４３１により、ジョブリストの一覧からジョブの選択を受け付けると（ステップＳ１０２１）、この選択を、帳票画像の認識結果の閲覧指示として、通信部４３３により、サーバ装置２００に対して閲覧要求を行う（ステップＳ１０２２）。

サーバ装置２００は、閲覧要求を受けて、認識結果データベース２６０に格納されている認識結果データを取得し（ステップＳ１０２３）、認識結果の確認画面を生成して端末装置４００のブラウザ上に表示させ（ステップＳ１０２４）、利用者に、表示された認識結果の確認画面で認識結果を確認させる。尚、本実施形態では、確認画面において、仕訳情報が入力される。

続いて、端末装置４００は、入力受付部４３１により、認識結果に基づく出力データの生成指示を受け付けると（ステップＳ１０２５）、出力指示をサーバ装置２００へ送信する（ステップＳ１０２６）。

サーバ装置２００は、生成指示を受け付けると、出力データ生成部２３０により、認識結果データに基づく出力データを生成し（ステップＳ１０２７）、記憶部２１０の出力データベース２７０に登録（格納）する（ステップＳ１０２８）。

尚、本実施形態のサーバ装置２００は、出力データを出力データベース２７０に格納する前に、基幹システム５００に対して出力データを出力してもよい。つまり、ステップＳ１０２８において、サーバ装置２００は、生成した出力データを基幹システム５００へ送信し、送信された出力データを、出力済みの出力データ（基幹システム５００に対して提供済みの出力データ）として、出力データベース２７０に格納してもよい。

ここで、図１１を参照して、本実施形態のジョブリスト生成部２７２により生成されるジョブリストについて説明する。図１１は、ジョブリストの一例を示す図である。

本実施形態のサーバ装置２００は、画像形成装置３００から帳票画像データが入力されると、ジョブリスト生成部２７２により、帳票画像データとジョブＩＤとを対応付けたジョブリストとして保持する。

本実施形態のジョブリスト１０１は、情報の項目として、ジョブＩＤ、利用者ＩＤ、帳票画像ファイルパス、認識結果ファイルパス、ステータスを有する。

項目「ジョブＩＤ」の値は、ジョブを特定する識別子である。言い換えれば、項目「ジョブＩＤ」の値は、画像形成装置３００から受信した帳票画像データを特定するための識別子である。

項目「利用者ＩＤ」の値は、帳票認識システム１００にログインした利用者を特定するための識別子である。

項目「画像ファイルパス」の値は、帳票画像データが格納されている場所を示す情報である。項目「認識結果ファイルパス」の値は、帳票画像を認識した結果の認識結果データが格納されている場所を示す情報である。

項目「ステータス」の値は、帳票画像の認識の進捗を示す。言い換えれば、項目「ステータス」の値は、ジョブの状態を示す。

本実施形態では、項目「ステータス」の値として、未処理状態、下書き保存状態、確定済み状態、外部出力済み状態の４つがある。各状態は、以下の通りである。

・未処理状態（状態１） 帳票認識によって認識結果データが取得された直後であり、認識結果の確認等が行われていない状態。

・下書き保存状態（状態２） 認識結果データの確認等の作業の途中等であり、認識結果データが確定される前の状態。

・確定済み状態（状態３） 認識結果データの確認等の作業が完了し、確定された情報として認識結果データベース２６０へ格納された状態。確定済み状態の認識結果データには、仕訳情報が含まれる。
・外部出力済み状態（状態４） 帳票認識システム１００と連携する会計システム等の基幹システム５００に対し、認識結果データから生成された出力データの送信が完了した状態。

本実施形態のサーバ装置２００は、画像形成装置３００から帳票画像データを受信すると、ジョブリスト生成部２７２により、ジョブＩＤを付与し、認証情報として取得した利用者ＩＤを対応付けて、ジョブリスト１０１にレコードを追加する。そして、ジョブリスト生成部２７２は、帳票画像データが帳票画像データベース２５０に格納されると、この格納先を示す情報を項目「画像ファイルパス」の値として、追加する。

さらに、ジョブリスト生成部２７２は、認識結果データが認識結果データベース２６０に格納されると、この格納先を示す情報を項目「認識結果ファイルパス」の値として追加し、項目「ステータス」の値を確定済み状態とする。

本実施形態では、例えば、ジョブリスト生成部２７２によって生成されたジョブリストを表示しても良い。この場合、利用者は、ジョブリストに基づいて表示されたジョブリスト画面を介して、帳票画像の認識の進捗を確認することができる。

次に、図１２を参照して、本実施形態の帳票認識部２２３の処理について説明する。図１２は、帳票認識部の処理を説明するフローチャートである。図１２では、図１０のステップＳ１０１３の処理の詳細を示している。また、図１２では、複数の帳票画像データを画像形成装置３００から受け取った場合の処理を示している。

本実施形態の帳票認識部２２３は、ジョブリストから１つのジョブの選択を受け付けると（ステップＳ１２０１）、前処理部２７４により、画像データ取得部２７３が取得した帳票画像データに対して、帳票認識を行うための前処理を行う（ステップＳ１２０２）。前処理とは、具体的には、例えば、帳票画像の向きを揃える補正処理等である。

続いて、帳票認識部２２３は、文字認識部２７５により、帳票画像から、文字が形成されている領域（以下、文字フィールド）の中の文字を切り取り、文字認識する（ステップＳ１２０３）。このとき、文字認識部２７５は、切り出した文字の位置を示す座標も取得する。

続いて、帳票認識部２２３は、文字認識部２７５により認識された各文字列の位置関係に基づいて読取結果データを生成して、保持する（ステップＳ１２０４）。

具体的に、帳票認識部２２３は、認識された各文字の座標に基づいて、互いの距離が予め設定された閾値以内の文字を１つの文字列として認識し、文字列（キーワード）と、文字列が形成された領域の位置を示す座標などの情報とを対応付けて読取結果データを生成する。

続いて、帳票認識部２２３は、項目抽出部２７６により、読取結果データに基づき、項目名と項目値に対応する文字列を抽出する（ステップＳ１２０５）。

続いて、項目抽出部２７６は、抽出した項目名と項目値とを対応付けたテキストデータを生成し、認識結果データとして、認識結果データベース２６０に格納する（ステップＳ１２０６）。

続いて、帳票認識部２２３は、ジョブリスト生成部２７２により、認識結果データの格納先をジョブリスト１０１に登録する（ステップＳ１２０７）。

続いて、帳票認識部２２３は、表示画面生成部２７７により、認識結果データを用いて生成された認識結果の確認画面を端末装置４００に表示させ（ステップＳ１２０８）、処理を終了する。

尚、図１２の例では、認識結果データを表示させる処理までを一連の動作として説明したが、これに限定されない。帳票認識部２２３は、端末装置４００から、認識結果データの閲覧要求を受け付けてから、認識結果データを表示させても良い。

次に、図１３を参照して、端末装置４００に表示される確認画面について説明する。図１３は、認識結果の確認画面の一例を示す図である。

図１３に示す画面２０は、例えば、端末装置４００の表示部に表示された認識結果の確認画面の一例である。

画面２０は、表示欄２１、２２、２３、２４、入力欄２５と、操作ボタン２６、２７と、を含む。

表示欄２１には、帳票画像データが示す帳票画像が表示される。表示欄２２には、ジョブの状態を情報が表示される。図１３例では、表示欄２２には、「未処理」と表示されており、画面２０に表示された認識結果データは、未処理状態（状態１）であることがわかる。

表示欄２３には、表示欄２１に表示された帳票画像から取得された請求書情報が表示される。より具体的には、表示欄２３には、請求書情報に含まれる請求元に関する情報や請求金額等が表示される。

表示欄２４には、表示欄２１に表示された帳票画像から取得された明細情報が表示される。

図１３の例では、表示欄２１に示す帳票画像には、取引の内訳を示す明細部として、表２１ａが表示されている。本実施形態の明細情報は、主に、帳票画像に含まれる表２１ａから抽出された情報であり、表２１ａに記載された各項目名と、各項目名について、同じ行に記載されていた項目値を対応付けた情報である。

具体的には、例えば、表２１ａでは、項目名「商品コード」、「商品名」、「数量」、「単価」、「金額」が記載されており、各項目の項目値として、「１０８４５」、「応接テーブル」、「２」、「５９，８００」、「１１９，６００」が同じ行に記載されている。

したがって、例えば、項目名「商品名」の項目値「応接テーブル」、項目名「金額」の項目値「１１９，６００」等が、明細情報として、表示欄２４に表示される。

入力欄２５は、仕訳項目の項目値を入力するための複数の入力欄を含む。図１３の例では、表示欄２２に示す状態が「未処理状態」であり、入力欄２５に対する項目値が未入力の状態である。したがって、入力欄２５に含まれる入力欄は空欄である。

尚、本実施形態では、例えば、画面２０において、仕訳項目を選択する操作が行われると、出力データの送信先となる基幹システム５００と対応したマスタデータに基づき、仕訳項目の項目値の一覧がプルダウン表示されてもよい。また、本実施形態では、この一覧から選択された項目値を、仕訳項目の項目値とし、仕訳項目と項目値とを対応付けた仕訳情報とする。したがって、本実施形態の仕訳情報における仕訳項目の項目値は、マスタデータに存在する文字列となる。

そして、本実施形態では、この仕訳情報と、表示欄２３、２４に表示されたテキストデータ（請求書情報と明細情報）とを、認識結果データとする。

操作ボタン２６は、画面２０に表示されたジョブの状態を、下書き保存状態に変更するための操作ボタンである。本実施形態では、操作ボタン２６が操作されると、ジョブの状態が、未処理状態から、下書き保存状態に変更される。したがって、表示欄２２の表示は、未処理から下書き保存に変更される。

操作ボタン２７は、ジョブの状態を、確定済み状態に変更するための操作ボタンである。本実施形態では、操作ボタン２７が操作されると、表示欄２２の表示は、未処理状態又は下書き保存状態から、確定済み状態に変更される。

尚、本実施形態では、操作ボタン２７に対する操作を、出力データの生成指示として受け付けてもよい。サーバ装置２００は、画面２０において、操作ボタン２７に対する操作が行われると、画面２０に表示されている認識結果データ（請求書情報、明細情報、仕訳情報）から出力データを生成して基幹システム５００へ出力し、出力データを出力データベース２７０に格納した後に、ジョブの状態を確定済み状態としてもよい。

次に、図１４を参照して、本実施形態の明細情報の抽出について説明する。図１４は、明細情報の抽出を説明する図である。図１４（Ａ）に示す情報１４１は、図１３の表示欄２１に表示された帳票画像データに対し、文字認識部２７５による文字認識を行った結果である。

情報１４１は、帳票画像のうち、明細部（表２１ａ）から文字フィールドを切り取り、文字フィールドの中の文字を認識した結果と、文字の位置を示す座標とから抽出した例を示す。

本実施形態の文字認識部２７５は、この情報１４１から、隣り合う位置にある文字同士をつなげて文字列（文字列）を認識する。具体的には、文字認識部２７５は、文字と文字との間の距離が、所定ピクセル以内である文字の組み合わせを、１つの単語として認識しても良い。

図１４（Ａ）示す情報１４２は、文字認識部２７５により認識された文字列と、文字列の領域とを示す情報であり、文字認識部２７５による帳票画像の読取結果データである。

また、文字認識部２７５は、帳票画像データから、縦線と横線で区切られた領域を１つのセルとして認識し、セル毎にセルを識別する識別情報（セルＩＤ）を付与する。

図１４（Ａ）に示す情報１４３は、明細部（表２１ａ）から認識されたセル毎の領域とセルＩＤとの対応付けを示す情報である。

図１４（Ａ）では、例えば、キーワード「商品コード」が認識された領域は、情報１４２において、Ｘ座標とＹ座標によって示される位置を基準として、高さと幅とから特定される。

また、情報１４３において、キーワード「商品コード」が認識された領域は、セルＩＤ「１」に含まれることがわかる。したがって、キーワード「商品コード」は、明細部（表２１ａ）に含まれるキーワードとして、セルＩＤ「１」と対応付けられる。尚、情報１４３では、キーワード「商品コード」が認識された領域に対してセルＩＤを対応付けるものとしたが、これに限定されない。セルＩＤは、キーワードが縦方向に並ぶ列を特定する列ＩＤと、キーワードが横方向に並ぶ行ＩＤとによって特定されても良い。

本実施形態の帳票認識部２２３は、このようにして、帳票画像データから、キーワード（文字列）とセル（領域）とを対応付ける。

図１４（Ｂ）に示す情報１４４は、図１３の表示欄２１に表示された帳票（請求書）と対応する読取結果データに基づき生成された、明細情報である。したがって、図１４（Ｂ）に示す明細情報１４４は、帳票画像データ全体の認識結果データの一部である。

より具体的には、明細情報１４４は、認識結果データのテキストデータ２６０－１の一部である（図４参照）。

図１４（Ｂ）に示す明細情報１４４は、項目抽出部２７６によって生成されるものであり、情報の項目として、列ＩＤ、項目名、列の座標、行ＩＤ、項目値とを有する。

項目「列ＩＤ」の値は、明細部（表２１ａ）に含まれる列を特定する識別情報であり、項目「項目名」の値は、表の一番上の行の各セル内のキーワードである。項目「列の座標」の値は、列の座標を示す。尚、本実施形態では、列の座標を、帳票画像における明細の列の左上の点の座標値と右下の点の座標値とする。

項目「行ＩＤ」の値は、行を特定する識別情報であり、項目「項目値」の値は、明細項目と対応する項目値を示す。

この明細情報１４４からわかるように、項目抽出部２７６は、帳票画像データから、項目名と項目値を抽出して対応付けている。

次に、図１５を参照して、本実施形態の出力データ生成部２３０の処理について説明する。図１５は、出力データ生成部の処理を説明するフローチャートである。図１５に示す処理は、図１０のステップＳ１０２７の詳細を示している。

サーバ装置２００において、出力データ生成部２３０は、出力データの出力先となる基幹システム５００を特定する（ステップＳ１５０１）。具体的には、サーバ装置２００は、端末装置４００に対して、基幹システム５００を選択させる画面を表示させ、端末装置４００において、基幹システム５００が選択されると、選択された基幹システム５００を、出力先の基幹システム５００に特定してもよい。

続いて、出力データ生成部２３０は、変数Ｍの値を１とする（ステップＳ１５０２）。続いて、出力データ生成部２３０は、対応付けデータベース２９０において、出力先に特定された基幹システム５００と対応する対応付け情報を特定し、特定した対応付け情報においてＭ個目の項目名を取得する（ステップＳ１５０３）。

続いて、出力データ生成部２３０は、帳票認識処理部２２０によって取得した認識結果データから、Ｍ個目の項目名と対応する項目値を取得する（ステップＳ１５０４）。

続いて、出力データ生成部２３０は、取得した項目値と、Ｍ個目の項目値とし（ステップＳ１５０５）、対応づけ情報に次の項目名が存在するか否かを判定する（ステップＳ１５０６）。

ステップＳ１５０６において、次の項目名が存在する場合、出力データ生成部２３０は、本数Ｍの値を、Ｍ＋１として（ステップＳ１５０７）、ステップＳ１５０３へ戻る。

ステップＳ１５０６において、次の項目名が存在しない場合、出力データ生成部２３０は、項目値を対応づけ情報が示す項目名の順に並べた出力データを、出力先の基幹システム５００へ出力し、出力済みの出力データを出力データベース２７０へ格納して（ステップＳ１５０８）、処理を終了する。

尚、出力データを出力先の基幹システム５００へ出力する処理と、出力データを出力データベース２７０へ格納する処理とは、別々のタイミングで行われてもよい。

次に、図１６を参照して、対応付け学習部２４０の処理について説明する。図１６は、対応付け学習部の処理を説明するフローチャートである。

サーバ装置２００において、対応付け学習部２４０は、出力データの出力先となる基幹システム５００を特定する（ステップＳ１６０１）。具体的には、サーバ装置２００は、端末装置４００に対して、基幹システム５００を選択させる画面を表示させ、端末装置４００において、基幹システム５００が選択されると、選択された基幹システム５００を、出力先の基幹システム５００に特定してもよい。

続いて、対応付け学習部２４０は、データ取得部２４１により、帳票画像データベース２５０から、帳票画像データを選択する（ステップＳ１６０２）。具体的には、データ取得部２４１は、端末装置４００に対し、帳票画像データの一覧を表示させ。端末装置４００のユーザに、学習に使用する帳票画像データを選択させることで、帳票画像データを選択してもよい。

ここで選択される帳票画像データは、過去に取得された帳票画像データであり、帳票画像データに基づく帳票認識及び基幹システム５００に対する出力データの提供が完了している帳票画像データである。

続いて、データ取得部２４１は、ステップＳ１６０１で特定された基幹システム５００と対応するマスタデータをマスタデータベース２８０から取得する（ステップＳ１６０３）。

続いて、データ取得部２４１は、認識結果データベース２６０から、選択された帳票画像データと対応する認識結果データを取得する（ステップＳ１６０４）。ここで取得される認識結果データには、過去に読み取った帳票画像データから取得された請求書情報と明細情報を含むテキストデータを含む。

続いて、データ取得部２４１は、選択された帳票画像データと対応する出力データを出力データベース２７０から取得する（ステップＳ１６０５）。ここで取得される出力データは、過去に基幹システム５００に対して提供された出力データであり、対応付け情報の学習において、正解とされるデータである。ここで取得される出力データは、例えば、ユーザが、認識結果データを参照して、基幹システム５００のフォーマットに合わせて手入力したデータであってもよい。

尚、本実施形態では、帳票画像データと、この帳票画像データに基づき取得された認識結果データと、この認識結果データから生成された出力データとは、それぞれを対応づける識別上運転室１０が付与されていてもよい。データ取得部２４１は、帳票画像データが選択されると、選択された帳票画像データと対応する識別情報を含む認識結果データと、出力データとを取得すればよい。

続いて、対応付け学習部２４０は、変数Ｎの値を１とする（ステップＳ１６０６）。続いて、対応付け学習部２４０は、データ形式判定部２４２により、ステップＳ１６０５で取得した出力データのＮ番目の項目値のデータの形式が、日付の形式であるか否かを判定する（ステップＳ１６０７）。ステップＳ１６０７において、データの形式が日付の形式であった場合、対応付け学習部２４０は、後述するステップＳ１６２０へ進む。

ステップＳ１６０７において、データの形式が日付の形式でなかった場合、対応付け学習部２４０は、検索部２４３により、出力データのＮ番目の項目値を検索キーとして、ステップＳ１６０４で取得した認識結果データに含まれるテキストデータを検索する（ステップＳ１６０８）。

続いて、検索部２４３は、テキストデータに、検索キーと一致する文字列が存在するか否を判定する（ステップＳ１６０９）。言い換えれば、検索部２４３は、テキストデータに、出力データのＮ番目の項目値と一致する文字列が存在するか否かを判定する。

ステップＳ１６０９において、該当する文字列が存在する場合、対応付け学習部２４０は、対応付け部２４４により、該当する文字列（Ｎ番目の項目値と一致する文字列）と対応する項目名と、Ｎの値とを対応付けて、対応付けデータベース２９０に記憶させ（ステップＳ１６１０）、ステップＳ１６１２へ進む。

つまり、ここでは、認識結果データに含まれる該当する文字列と対応する項目名と、この項目名の項目値の出力データにおける位置とを対応付けている。尚、ここでは、完全一致する文字列を、小貝等する文字列としてもよいし、部分一致する文字列を該当する文字列としてもよい。

ステップＳ１６０９において、該当する文字列が存在しない場合、対応付け学習部２４０は、対応付け部２４４により、出力データのＮ番目の項目値を固定値として、Ｎの値と対応付けて対応付けデータベース２９０に記憶させ（ステップＳ１６１１）、ステップＳ１６１２へ進む。

続いて、対応付け学習部２４０は、検索部２４３により、出力データのＮ番目の項目値を検索キーとして、ステップＳ１６０３で取得したマスタデータを検索する（ステップＳ１６１２）。

続いて、検索部２４３は、マスタデータに、検索キーと一致する文字列が存在するか否を判定する（ステップＳ１６１３）。つまり、ここでは、出力データのＮ番目の項目値が、仕訳項目の項目値として、マスタデータから選択されたものであるか否かを判定している。

ステップＳ１６１３において、該当する文字列が存在する場合とは、出力データのＮ番目の項目値が、仕訳項目の項目値として、マスタデータから選択されたものであることを示し、該当する文字列が存在しない場合とは、出力データのＮ番目の項目値が、マスタデータから選択されたものではないことを示す。

ステップＳ１６１３において、該当する文字列が存在しない場合、対応付け学習部２４０は、後述するステップＳ１６１７へ進む。

ステップＳ１６１３において、該当する文字列が存在する場合、対応付け部２４４は、対応付けデータベース２９０において、Ｎ番目の値として固定値が記憶されているか否かを判定する（ステップＳ１６１４）。

ステップＳ１６１４において、Ｎ番目の値に固定値が記憶されていない場合、対応付け部２４４は、後述するステップＳ１６１６へ進む。

ステップＳ１６１４において、Ｎ番目の値に固定値が記憶されている場合、対応付け部２４４は、固定値を削除する（ステップＳ１６１５）。

続いて、対応付け部２４４は、マスタデータにおいて、該当する文字列（Ｎ番目の項目値と一致する文字列）と対応する項目名と、Ｎの値とを対応付けて、対応付けデータベース２９０に記憶させ（ステップＳ１６１６）、ステップＳ１６１７へ進む。

つまり、ここでは、マスタデータに含まれる該当する文字列と対応する項目名と、この項目名の項目値の出力データにおける位置とを対応付けている。

続いて、対応付け学習部２４０は、取得した出力データに含まれる全ての項目値について、処理を行ったか否かを判定する（ステップＳ１６１７）。

ステップＳ１６１７において、全ての項目値について処理を行った場合、対応付け学習部２４０は、処理を終了する。

ステップＳ１６１７において、全ての項目値について処理を行っていない場合、対応付け学習部２４０は、Ｎの値をＮ＋１とし（ステップＳ１６１８）、ステップＳ１６０７へ戻る。

ステップＳ１６０７において、データの形式が日付の形式であった場合、対応付け学習部２４０は、検索部２４３により、テキストデータを日付の形式で検索する（ステップＳ１６１９）。言い換えれば、検索部２４３は、テキストデータにおける、日付の形式のデータを、出力データのＮ番目の日付で検索する。

続いて、検索部２４３は、テキストデータに一致する日付が存在するか否かを判定する（ステップＳ１６２０）。

ステップＳ１６２０において、該当する日付が存在しない場合、対応付け学習部２４０は、後述するステップＳ１６２２へ進む。

ステップＳ１６２０において、該当する日付が存在する場合、対応付け部２４４は、テキストデータにおける該当する日付の項目名と、Ｎ番目の値とを対応付けて、対応付けデータベース２９０に記憶させる（ステップＳ１６２１）。

続いて、検索部２４３は、マスタデータを日付の形式で検索する（ステップＳ１６２２）。言い換えれば、検索部２４３は、マスタデータにおける、日付の形式のデータを、出力データのＮ番目の日付で検索する。

続いて、検索部２４３は、マスタデータに一致する日付が存在するか否かを判定する（ステップＳ１６２３）。

ステップＳ１６２３において、該当する日付が存在する場合、対応付け部２４４は、マスタデータにおける該当する日付の項目名と、Ｎ番目の値とを対応付けて、対応付けデータベース２９０に記憶させ（ステップＳ１６２４）、ステップＳ１６１９へ進む。

ステップＳ１６２３において、該当する日付医が存在しない場合、対応付け部２４４は、対応付けデータベース２９０において、Ｎ番目と対応する項目名が記憶されているか否かを判定する（ステップＳ１６２５）。つまり、ここでは、テキストデータに、該当する日付が存在したか否かを判定している。

ステップＳ１６２５において、Ｎ番目と対応する項目名が記憶されている場合、対応付け学習部２４０は、ステップＳ１６１９へ進む。

ステップＳ１６２５において、Ｎ番目と対応する項目名が記憶されていない場合、対応付け学習部２４０は、対応付け部２４４により、Ｎ番目の値に、項目名「会計計上日」を対応付けて対応付けデータベース２９０に格納し（ステップＳ１６２６）、ステップＳ１６１９へ進む。

このように、本実施形態では、過去の帳票画像データと、過去に基幹システム５００に提供した出力データとを用いて、帳票認識において取得された項目名と、出力データにおける項目名の位置との対応づけを学習することができる。

より具体的には、本実施形態では、帳票画像データから抽出された項目と項目値とを対応づけたテキストデータ（請求書情報と明細情報を含む）と、過去に基幹システム５００に提供された出力データと、に基づき、出力データにおける、テキストデータに含まれる項目名の位置を学習することができる。

また本実施形態によれば、仕訳情報を入力するためのマスタデータと、基幹システム５００に提供された出力データと、に基づき、出力データにおける、仕訳情報に含まれる仕訳項目の位置を学習することができる。

さらに、本実施形態では、学習した結果である対応付け情報を対応付けデータベース２９０に格納し、保持する。したがって、本実施形態によれば、新たに帳票画像データを取得した際には、対応付け情報を参照することで、認識結果データから、基幹システム５００のフォーマットに対応した出力データを自動で生成することができる。

また、本実施形態では、例えば、検索結果として、テキストデータやマスタデータから、複数の文字列が得られた場合や、図１６の処理を繰り返し行った場合等には、Ｎの値と対応付けられる項目名は、複数となる。

この場合、対応付け部２４４は、Ｎの値と対応付けられる複数の項目名に、重みを付加し、対応付け情報において、Ｎの値と、複数の項目名と、各項目名の重みと、を対応付けてもよい。

項目名毎の重みは、例えば、検索部２４３による検索結果として取得される回に応じて、項目名に重み付けを行ってもよい。この場合、検索結果として取得される回数が多い項目値ほど、重みが大きくなる。

本実施形態では、出力データ生成部２３０により、重みが付加された対応付け情報を参照する場合、図１５のステップＳ１５０３において、対応付け情報において、Ｍの値と対応付けられた項目名のうち、最も重みが大きい項目名を取得すればよい。

このようにすれば、対応付け学習部２４０により、対応付け情報が更新された場合でも、最新の学習結果に応じて出力データを自動で生成することができる。したがって、本実施形態によれば、帳票認識システム１００によって抽出されたデータを、基幹システム５００に追加する際に、手入力等を行う必要がなく、簡単に基幹システム５００のフォーマットに合わせた出力データを生成することができる。

次に、図１７図１８を参照して、本実施形態の表示例について説明する。図１７は、表示例を説明する第一の図である。

図１７に示す画面１７１は、対応付け学習部２４０による学習の実行を指示するための画面の例であり、例えば、図１６のステップＳ１６０１において、端末装置４００のディスプレイ等に表示される。

画面１７１は、入力欄１７２、１７３、１７４、１７５と、操作ボタン１７６とを有する。

入力欄１７２は、出力データの出力先となる基幹システム５００を特定するためのものであり、入力欄１７３は、帳票画像データを選択するためのものである。また、入力欄１７４は、マスタデータを選択するためのものであり、入力欄１７５は、出力済みの出力データを選択するためのものである。

本実施形態では、入力欄１７２において、出力先の基幹システム５００が特定され、入力欄１７３において、帳票画像データが選択されると、入力欄１７３と入力欄１７４に、帳票画像データと対応するマスタデータ、出力データとが自動的に選択されて、それぞれのファイル名が表示されてもよい。

また、画面１７１では、入力欄１７３と入力欄１７４のそれぞれに対し、ユーザによって、ドラッグアンドドロップ操作などによって、マスタデータと出力データとが入力されても良い。

本実施形態では、入力欄１７２～１７５が入力された、操作ボタン１７６が操作されると、図１６の処理が実行されてもよい。

尚、画面１７１は、端末装置４００以外の装置に表示されてもよい。例えば、画面１７１は、サーバ装置２００の有するディスプレイ等に表示されてもよいし、画像形成装置３００の操作部等に表示されてもよい。

図１８は、表示例を示す第二の図である。図１８に示す画面１８１は、出力データ生成部２３０によって生成された出力データを訂正するための画面の例である。

本実施形態では、出力データ生成部２３０によって生成された出力データが、基幹システム５００のフォーマットに合致していない場合に、基幹システム５００から、帳票認識システム１００に対してエラーが通知される。

そこで、本実施形態の対応付け学習部２４０は、基幹システム５００からエラーの通知を受け付けると、エラー訂正部２４７により、端末装置４００等に画面１８１を表示させて、エラーとされた出力データの訂正を受け付ける。

画面１８１は、入力欄１８２、表示欄１８３、１８４と、操作ボタン１８５とを有する。

入力欄１８２は、訂正対象の出力データを特定するための情報が入力される。具体的には、入力欄１８２には、出力データを特定する情報として、出力データの生成日時が入力される。訂正対象の出力データとは、エラーが通知された出力データである。

表示欄１８３と、表示欄１８４と、のそれぞれは、出力データの訂正方法を指定するためのものである。

表示欄１８３はエラーの訂正方法として、出力データ生成部２３０による出力データの再生成する方法を指定するためのものである。エラー訂正部２４７は、表示欄１８３において、訂正対象となる出力データの元となる帳票画像データが選択されると、表示欄１８３と対応する訂正方法が指定されたものとする。

表示欄１８４は、エラーの訂正方法として、訂正対象の出力データにおいて、エラーとされた項目値の位置を特定する方法を指定するためのものである。尚、本実施形態において、基幹システム５００から通知されるエラーは、基幹システム５００のフォーマットと一致しない項目値の位置を示す情報が含まれるものとする。

エラー訂正部２４７は、表示欄１８４において、基幹システム５００のフォーマットと一致しない項目値の位置が入力されると、表示欄１８４と対応する訂正方法が指定されたものとする。

本実施形態のエラー訂正部２４７は、エラーの訂正方法が指定されて、操作ボタン１８５が操作されると、指定された方法に応じて出力データのエラーを訂正し、その結果を対応付け情報に反映させる。

エラー訂正部２４７は、表示欄１８３と対応する訂正方法がと指定された場合、表示欄１８３で選択された帳票画像データを用いて、出力データ生成部２３０により、出力データを再度生成し、基幹システム５００へ出力する。

この訂正方法では、エラーとなった出力データが生成されたときに参照された対応付け情報が、対応付け学習部２４０による学習によって更新されている場合には、エラーが訂正された出力データが生成される可能性が高い。

また、エラー訂正部２４７は、表示欄１８４と対応する訂正方法がと指定された場合、訂正対象の出力データを表示させ、エラーとなった位置の項目値をユーザに訂正させるための画面を表示させてもよい。

この画面において、エラーとなった位置の項目値が訂正された場合、つまり、エラーとなった位置に新たな項目名が対応付けられた場合、エラー訂正部２４７は、この対応付けを対応付けデータベース２９０に格納された対応付け情報に反映させる。

本実施形態では、このように、基幹システム５００から通知されるエラーに応じて、出力データを訂正し、対応付け情報を更新させることができる。

したがって、本実施形態によれば、対応付け情報の精度を向上させることができる。つまり、帳票画像データから、基幹システム５００のフォーマットに合わせた出力データを自動で生成する際の精度を向上させることができる。

上記で説明した実施形態の各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本明細書における「処理回路」とは、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上記で説明した各機能を実行するよう設計されたASIC（Application Specific Integrated Circuit）、DSP（digital signal processor）、FPGA（field programmable gate array）や従来の回路モジュール等のデバイスを含むものとする。

また、実施形態に記載された装置群は、本明細書に開示された実施形態を実施するための複数のコンピューティング環境のうちの１つを示すものにすぎない。

ある実施形態では、サーバ装置２００は、サーバクラスタといった複数のコンピューティングデバイスを含む。複数のコンピューティングデバイスは、ネットワークや共有メモリなどを含む任意のタイプの通信リンクを介して互いに通信するように構成されており、本明細書に開示された処理を実施する。同様に、サーバ装置２００は、互いに通信するように構成された複数のコンピューティングデバイスを含むことができる。

さらに、サーバ装置２００は、開示された処理ステップを様々な組み合わせで共有するように構成できる。例えば、サーバ装置２００によって実行されるプロセスは、他のサーバ装置によって実行され得る。同様に、サーバ装置２００の機能は、他のサーバ装置によって実行することができる。また、サーバ装置と他のサーバ装置の各要素は、１つのサーバ装置にまとめられていても良いし、複数の装置に分けられていても良い。

また、明細書中のデータベースは、機械学習の学習効果によって生成されたものでもよい。また、取引内容の記載に含まれうるキーワードと勘定項目とを機械学習にて分類付けすることで、対応テーブルを使用しなくてもよい。

ここで、機械学習とは、コンピュータに人のような学習能力を獲得させるための技術であり，コンピュータが、データ識別等の判断に必要なアルゴリズムを、事前に取り込まれる学習データから自律的に生成し，新たなデータについてこれを適用して予測を行う技術のことをいう。機械学習のための学習方法は、教師あり学習、教師なし学習、半教師学習、強化学習、深層学習のいずれかの方法でもよく、さらに、これらの学習方法を組み合わせた学習方法でもよく、機械学習のための学習方法は問わない。

以上、各実施形態に基づき本発明の説明を行ってきたが、上記実施形態に示した要件に本発明が限定されるものではない。これらの点に関しては、本発明の主旨をそこなわない範囲で変更することができ、その応用形態に応じて適切に定めることができる。

１００ 帳票認識システム
２００ サーバ装置
２１０ 記憶部
２２０ 帳票認識処理部
２３０ 出力データ生成部
２４０ 対応付け学習部
２４１ データ取得部
２４２ データ形式判定部
２４３ 検索部
２４４ 対応付け部
２４５ 通信部
２４７ エラー訂正部
２５０ 帳票画像データベース
２６０ 認識結果データベース
２７０ 出力データベース
２８０ マスタデータベース
２９０ 対応付けデータベース
２７１ 画像データ格納部
２７２ ジョブリスト生成部
２７３ 画像データ取得部
２７４ 前処理部
２７５ 文字認識部
２７６ 項目抽出部
２７８ 表示画面生成部
２７９ 出力部
３００ 画像形成装置
４００ 端末装置
５００ 基幹システム

特開２０１６－５１３３９号公報 特許第３９６２７９５号公報

Claims (8)

1. 帳票画像データに対する帳票認識を行う帳票認識部と、
   前記帳票認識に基づき取得された項目名毎の項目値を、項目名毎の出力順を示す対応付け情報が格納された対応付け情報記憶部を参照し、前記対応付け情報が示す順に並べた出力データを生成して出力する出力データ生成部と、
   前記帳票認識により、過去の帳票画像データから抽出された、前記帳票画像データの元となる帳票の発行元に関する情報と、前記帳票の明細部に記載された明細項目名と、明細項目値とを対応付けた情報と、を含むテキストデータが格納された認識結果記憶部を参照し、前記過去の帳票画像データと対応する過去の出力データに含まれる項目値毎に、前記テキストデータを検索する検索部と、
   前記テキストデータにおいて、検索結果とされた項目値と対応する項目名を、前記出力データにおける項目値の位置と対応付けた前記対応付け情報を前記対応付け情報記憶部に格納する対応付け部と、を有する、情報処理装置。
2. 前記検索部は、
   前記帳票画像データと対応した項目名に対する項目値の入力画面を表示させるためのマスタデータが格納されたマスタ記憶部を参照し、前記過去の出力データに含まれる項目値毎に、前記マスタデータを検索し、
   前記対応付け部は、
   前記マスタデータにおいて、検索結果とされた項目値と対応する項目名を、前記出力データにおける項目値の位置と対応付ける、請求項１記載の情報処理装置。
3. 前記マスタデータは、
   前記帳票が請求書である場合に、仕訳項目に対する項目値の入力画面を表示させるためのマスタデータである、請求項２記載の情報処理装置。
4. 前記対応付け部は、
   前記検索部による検索結果として、複数の項目値が得られた場合に、前記複数の項目値と対応する複数の項目名に対し、前記検索結果に応じた重み付与し、
   前記出力データにおける項目値の位置と、前記複数の項目名と、前記複数の項目名毎に付与された重みと、を対応付ける、請求項２又は３記載の情報処理装置。
5. 前記対応付け情報が示す前記項目名毎の出力順は、
   前記出力データの出力先となる基幹システムのフォーマットに対応した順である、請求項１乃至４の何れか一項に記載の情報処理装置。
6. 情報処理装置による情報処理方法であって、前記情報処理装置が、
   帳票画像に対する帳票認識を行い、
   前記帳票認識に基づき取得された項目名毎の項目値を、項目名毎の出力順を示す対応付け情報が格納された対応付け情報記憶部を参照し、前記対応付け情報が示す順に並べた出力データを生成して出力し、
   前記帳票認識により、過去の帳票画像データから抽出された、前記帳票画像データの元となる帳票の発行元に関する情報と、前記帳票の明細部に記載された明細項目名と、明細項目値とを対応付けた情報と、を含むテキストデータが格納された認識結果記憶部を参照し、前記過去の帳票画像データと対応する過去の出力データに含まれる項目値毎に、前記テキストデータを検索し、
   前記テキストデータにおいて、検索結果とされた項目値と対応する項目名を、前記出力データにおける項目値の位置と対応付けた前記対応付け情報を前記対応付け情報記憶部に格納する、情報処理方法。
7. 帳票画像データに対する帳票認識を行い、
   前記帳票認識に基づき取得された項目名毎の項目値を、項目名毎の出力順を示す対応付け情報が格納された対応付け情報記憶部を参照し、前記対応付け情報が示す順に並べた出力データを生成して出力し、
   前記帳票認識により、過去の帳票画像データから抽出された、前記帳票画像データの元となる帳票の発行元に関する情報と、前記帳票の明細部に記載された明細項目名と、明細項目値とを対応付けた情報と、を含むテキストデータが格納された認識結果記憶部を参照し、前記過去の帳票画像データと対応する過去の出力データに含まれる項目値毎に、前記テキストデータを検索し、
   前記テキストデータにおいて、検索結果とされた項目値と対応する項目名を、前記出力データにおける項目値の位置と対応付けた前記対応付け情報を前記対応付け情報記憶部に格納する、処理を情報処理装置に実行させる、プログラム。
8. 情報処理装置と、端末装置と、を含む情報処理システムであって、
   前記情報処理装置は、
   帳票画像データに対する帳票認識を行う帳票認識部と、
   前記端末装置からの指示を受けて、前記帳票認識に基づき取得された項目名毎の項目値を、項目名毎の出力順を示す対応付け情報が格納された対応付け情報記憶部を参照し、前記対応付け情報が示す順に並べた出力データを生成して出力する出力データ生成部と、
   前記帳票認識により、過去の帳票画像データから抽出された、前記帳票画像データの元となる帳票の発行元に関する情報と、前記帳票の明細部に記載された明細項目名と、明細項目値とを対応付けた情報と、を含むテキストデータが格納された認識結果記憶部を参照し、前記過去の帳票画像データと対応する過去の出力データに含まれる項目値毎に、前記テキストデータを検索する検索部と、
   前記テキストデータにおいて、検索結果とされた項目値と対応する項目名を、前記出力データにおける項目値の位置と対応付けた前記対応付け情報を前記対応付け情報記憶部に格納する対応付け部と、を有し、
   前記端末装置は、
   前記指示の入力を受け付ける入力受付部を有する、情報処理システム。

Images