JP7478345B2 - 帳票データ取得システムおよび帳票データ取得プログラム - Google Patents

Description

本発明は、帳票に基づいたデータとしての帳票データを、この帳票から自動で取得する帳票データ取得システムおよび帳票データ取得プログラムに関する。

従来の帳票データ取得システムとして、単語と単語との位置関係と、各単語の属性とに基づいて単語と単語との関連性を決定するためのルールである関連性決定ルールと、非定型の帳票に含まれる各単語の、辞書を用いて特定した属性と、帳票における各単語の位置とに基づいて、各単語の属性を特定するものが知られている（例えば、特許文献１参照。）。

特開２０１９－０７９４８８号公報

しかしながら、従来の帳票データ取得システムにおいては、帳票データを適切に取得することができる帳票が関連性決定ルールおよび辞書によって定まっているので、利用者が希望する帳票に対して帳票データを適切に取得することができない場合があるという問題がある。

そこで、本発明は、帳票から自動で取得した帳票データの適切性を向上することができる帳票データ取得システムおよび帳票データ取得プログラムを提供することを目的とする。

本発明の帳票データ取得システムは、帳票に基づいたデータとしての帳票データを、この帳票から自動で取得する帳票データ取得システムであって、帳票における文字列の属性の確率を取得するための文字列属性モデルを作成する文字列属性学習部と、帳票における文字列の属性の位置関係のルールを示す属性位置関係ルールを作成する属性位置関係学習部と、帳票の画像に対する文字認識の結果における文字列に対して、前記文字列属性モデルを適用して、属性の確率を取得する属性確率取得部と、帳票の画像に対する文字認識の結果における文字列の、帳票における位置と、前記属性位置関係ルールとに基づいて、前記確率を補正する属性確率補正部とを備え、前記文字列属性学習部は、帳票から事前に作成された前記帳票データとしての学習用帳票データの作成の基になった帳票としての学習用帳票の画像に対する文字認識の結果における文字列と、前記学習用帳票データにおける属性との対応付けを実行することによって、前記文字列属性モデルを作成し、前記属性位置関係学習部は、前記学習用帳票における属性の位置関係を学習することによって、前記属性位置関係ルールを作成することを特徴とする。

この構成により、本発明の帳票データ取得システムは、帳票における文字列の属性の確率を取得するための文字列属性モデルと、帳票における文字列の属性の位置関係のルールを示す属性位置関係ルールとを、帳票から事前に作成された帳票データとしての学習用帳票データと、学習用帳票データの作成の基になった帳票としての学習用帳票の画像に対する文字認識の結果における文字列とを用いて学習するので、学習用帳票に適した文字列属性モデルおよび属性位置関係ルールを得ることができ、その結果、帳票から自動で取得した帳票データの適切性を向上することができる。

本発明の帳票データ取得システムにおいて、前記文字列属性学習部は、前記対応付けの結果において、前記学習用帳票データにおける属性のうちの、項目の値とフォーマットが異なる文字列が存在する場合に、この文字列がいずれの値に対応するかということにも基づいて、前記文字列属性モデルを作成しても良い。

この構成により、本発明の帳票データ取得システムは、学習用帳票データにおける項目の値とフォーマットが異なるが、この値に対応する文字列を、項目の値として取得することができるように文字列属性モデルを作成するので、帳票から自動で取得した帳票データの適切性を更に向上することができる。

本発明の帳票データ取得システムは、前記対応付けの結果において、前記学習用帳票データにおける属性のうちの、項目の値とフォーマットが異なる文字列が存在する場合に、前記帳票データにおける値のフォーマットのルールを取得するフォーマット取得部と、前記フォーマット取得部によって取得されたルールに基づいて前記帳票データにおける値のフォーマットを変更するフォーマット変更部とを備えても良い。

この構成により、本発明の帳票データ取得システムは、帳票データにおける項目の値とフォーマットが異なるが、この値に対応する文字列のフォーマットを、帳票データにおける項目の値のフォーマットに変更するので、帳票から自動で取得した帳票データの適切性を更に向上することができる。

本発明の帳票データ取得システムにおいて、前記文字列属性学習部は、前記学習用帳票データにおける属性のうちの、項目の値に対応する文字列が前記学習用帳票の画像に対する文字認識の結果に存在するが、この項目の項目名に対応する文字列がこの文字認識の結果に存在しない項目としての項目名対応文字列無項目が存在する場合に、前記項目名対応文字列無項目の前記学習用帳票データにおける値に、前記学習用帳票の画像に対する文字認識の結果において対応する文字列との、前記学習用帳票の画像における位置関係に基づいて、前記項目名対応文字列無項目の項目名に対応する文字列の候補を探索し、探索によって抽出された前記候補と、この候補に対応する項目名との類似度に基づいて、この候補の属性が、この項目名であると判定したとき、この候補がいずれの項目名に対応するかということにも基づいて、前記文字列属性モデルを作成しても良い。

この構成により、本発明の帳票データ取得システムは、学習用帳票データにおける項目の値に対応する文字列が学習用帳票の画像に対する文字認識の結果に存在するが、この項目の項目名に対応する文字列がこの文字認識の結果に存在しない項目としての項目名対応文字列無項目が存在する場合に、項目名対応文字列無項目の学習用帳票データにおける値に、学習用帳票の画像に対する文字認識の結果において対応する文字列との、学習用帳票の画像における位置関係に基づいて、項目名対応文字列無項目の項目名に対応する文字列の候補を探索し、探索によって抽出された候補と、この候補に対応する項目名との類似度に基づいて、この候補の属性が、この項目名であると判定したとき、この候補がいずれの項目名に対応するかということにも基づいて、文字列属性モデルを作成するので、帳票から自動で取得した帳票データの適切性を更に向上することができる。

本発明の帳票データ取得システムは、帳票に存在しない値を算出するための算出式を導き出す算出式導出部と、帳票に存在しない値を前記算出式に基づいて算出して前記帳票データに追加する値算出部とを備え、前記算出式導出部は、前記学習用帳票の画像に対する文字認識の結果に存在する文字列に対応するものが存在しない、前記学習用帳票データにおける属性のうちの、項目の値について、前記学習用帳票データにおける値のそれぞれの間の関係性を分析して、前記学習用帳票データにおける他の値からの前記算出式を導き出しても良い。

この構成により、本発明の帳票データ取得システムは、学習用帳票の画像に対する文字認識の結果に存在する文字列に対応するものが存在しない、学習用帳票データにおける値について、学習用帳票データにおける値のそれぞれの間の関係性を分析して、学習用帳票データにおける他の値からの算出式を導き出し、導き出した算出式に基づいて、帳票に存在しない値を帳票データに追加するので、帳票から自動で取得した帳票データの適切性を更に向上することができる。

本発明の帳票データ取得プログラムは、帳票に基づいたデータとしての帳票データを、この帳票から自動で取得するための帳票データ取得プログラムであって、帳票における文字列の属性の確率を取得するための文字列属性モデルを作成する文字列属性学習部と、帳票における文字列の属性の位置関係のルールを示す属性位置関係ルールを作成する属性位置関係学習部と、帳票の画像に対する文字認識の結果における文字列に対して、前記文字列属性モデルを適用して、属性の確率を取得する属性確率取得部と、帳票の画像に対する文字認識の結果における文字列の、帳票における位置と、前記属性位置関係ルールとに基づいて、前記確率を補正する属性確率補正部とをコンピューターに実現させ、前記文字列属性学習部は、帳票から事前に作成された前記帳票データとしての学習用帳票データの作成の基になった帳票としての学習用帳票の画像に対する文字認識の結果における文字列と、前記学習用帳票データにおける属性との対応付けを実行することによって、前記文字列属性モデルを作成し、前記属性位置関係学習部は、前記学習用帳票における属性の位置関係を学習することによって、前記属性位置関係ルールを作成することを特徴とする。

この構成により、本発明の帳票データ取得プログラムを実行するコンピューターは、帳票における文字列の属性の確率を取得するための文字列属性モデルと、帳票における文字列の属性の位置関係のルールを示す属性位置関係ルールとを、帳票から事前に作成された帳票データとしての学習用帳票データと、学習用帳票データの作成の基になった帳票としての学習用帳票の画像に対する文字認識の結果における文字列とを用いて学習するので、学習用帳票に適した文字列属性モデルおよび属性位置関係ルールを得ることができ、その結果、帳票から自動で取得した帳票データの適切性を向上することができる。

本発明の帳票データ取得システムおよび帳票データ取得プログラムは、帳票から自動で取得した帳票データの適切性を向上することができる。

本発明の一実施の形態に係る情報処理システムのブロック図である。 図１に示す情報処理システムによって扱われる帳票の一例を示す図である。 図１に示す情報処理システムによって扱われる帳票の、図２に示す例とは異なる一例を示す図である。 ＭＦＰによって構成される場合の図１に示す画像形成装置のブロック図である。 図１に示す情報処理装置のブロック図である。 （ａ）図５に示す学習用データの伝票情報テーブルの一例を示す図である。 （ｂ）図５に示す学習用データの品目テーブルの一例を示す図である。 文字列属性モデルおよび属性位置関係ルールを作成する場合の図５に示す情報処理装置の動作の一部のフローチャートである。 図７に示すフローチャートの続きのフローチャートである。 図８に示すフローチャートの続きのフローチャートである。 帳票から帳票データを自動で作成する場合の図５に示す情報処理装置の動作のフローチャートである。 文字列属性モデルを適用して判定された、図２に示す帳票に含まれる文字列の属性の一例を示す図である。 属性位置関係ルールを適用して補正された、図２に示す帳票に含まれる文字列の属性の一例を示す図である。 （ａ）図１２に示す属性に基づいて作成された帳票データの伝票情報テーブルの一例を示す図である。 （ｂ）図１２に示す属性に基づいて作成された帳票データの品目テーブルの一例を示す図である。 （ａ）図２に示す帳票から自動で作成された帳票データの伝票情報テーブルの一例を示す図である。 （ｂ）図２に示す帳票から自動で作成された帳票データの品目テーブルの一例を示す図である。 図１に示す情報処理システムによって扱われる帳票の、図２および図３に示す例とは異なる一例を示す図である。

以下、本発明の実施の形態について、図面を用いて説明する。

まず、本発明の一実施の形態に係る情報処理システムの構成について説明する。

図１は、本実施の形態に係る情報処理システム１０のブロック図である。

図１に示すように、情報処理システム１０は、例えばＭＦＰ（Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）などの画像形成装置２０と、例えばＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などのコンピューターとしての情報処理装置３０とを備えている。

画像形成装置２０と、情報処理装置３０とは、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などのネットワーク１１を介して通信可能に接続可能である。

情報処理装置３０は、帳票に基づいたデータとしての帳票データを、この帳票から自動で取得する帳票データ取得システムである。

図２および図３は、それぞれ、情報処理システム１０によって扱われる帳票の一例を示す図である。

図２および図３のそれぞれに示す帳票は、請求書である。情報処理システム１０によって扱われる請求書は、例えば図２および図３に示すように、例えば請求元によってフォーマットが異なる。

図４は、ＭＦＰによって構成される場合の画像形成装置２０のブロック図である。

図４に示すように、画像形成装置２０は、種々の操作が入力される例えばボタンなどの入力デバイスである操作部２１と、種々の情報を表示する例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などの表示デバイスである表示部２２と、用紙などの記録媒体に画像を印刷する印刷デバイスであるプリンター２３と、原稿から画像を読み取る読取デバイスであるスキャナー２４と、図示していない外部のファクシミリ装置と公衆電話回線などの通信回線経由でファックス通信を行うファックスデバイスであるファックス通信部２５と、ＬＡＮ、インターネットなどのネットワーク経由で、または、ネットワークを介さずに有線または無線によって直接に、外部の装置と通信を行う通信デバイスである通信部２６と、各種の情報を記憶する例えば半導体メモリー、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの不揮発性の記憶デバイスである記憶部２７と、画像形成装置２０全体を制御する制御部２８とを備えている。

制御部２８は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、プログラムおよび各種のデータを記憶しているＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、制御部２８のＣＰＵの作業領域として用いられる揮発性の記憶デバイスとしてのメモリーであるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）とを備えている。制御部２８のＣＰＵは、記憶部２７または制御部２８のＲＯＭに記憶されているプログラムを実行する。

図５は、情報処理装置３０のブロック図である。

図５に示すように、情報処理装置３０は、種々の操作が入力される例えばキーボード、マウスなどの操作デバイスである操作部３１と、種々の情報を表示する例えばＬＣＤなどの表示デバイスである表示部３２と、ＬＡＮ、インターネットなどのネットワーク経由で、または、ネットワークを介さずに有線または無線によって直接に、外部の装置と通信を行う通信デバイスである通信部３３と、各種の情報を記憶する例えば半導体メモリー、ＨＤＤなどの不揮発性の記憶デバイスである記憶部３４と、情報処理装置３０全体を制御する制御部３５とを備えている。

記憶部３４は、帳票に基づいた帳票データを、この帳票から自動で取得するための帳票データ取得プログラム３４ａを記憶している。帳票データ取得プログラム３４ａは、例えば、情報処理装置３０の製造段階で情報処理装置３０にインストールされていても良いし、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリーなどの外部の記憶媒体から情報処理装置３０に追加でインストールされても良いし、ネットワーク上から情報処理装置３０に追加でインストールされても良い。

記憶部３４は、情報処理システム１０によって扱われる帳票から例えば人間が認識して抜き出すなどして、情報処理システム１０によって扱われる帳票から事前に作成された帳票データ（以下「学習用帳票データ」という。）を含む学習用データ３４ｂを記憶可能である。学習用データ３４ｂは、複数の帳票の学習用帳票データを含むことが可能である。

図６は、学習用データ３４ｂの一例を示す図である。

図６に示す学習用データ３４ｂは、請求書から抜き出されたデータであり、請求書における基本的な情報を示す図６（ａ）に示す伝票情報テーブルと、請求書における品目の詳細な情報を示す図６（ｂ）に示す品目テーブルとを備えている。

図６に示す学習用データ３４ｂにおいて具体的な値が示されているデータは、図２に示す請求書と、図３に示す請求書とから抜き出されたデータである。図６に示す学習用データ３４ｂにおいて項目「請求書番号」の値が「１２３４－５６７８」であるデータは、図２に示す請求書から抜き出されたデータであり、図６に示す学習用データ３４ｂにおいて項目「請求書番号」の値が「１９－９８７６」であるデータは、図３に示す請求書から抜き出されたデータである。

伝票情報テーブルにおける項目「請求書番号」、「支払い期限」、「総消費税」に対応する項目名は、それぞれ、図２に示す請求書において「Ｎｏ」、「お支払い期限」、「消費税」と表されている。伝票情報テーブルにおける項目「請求元名」、「請求元郵便番号」、「請求元住所」、「請求先名」、「請求先郵便番号」、「請求先住所」に対応する項目名は、図２に示す請求書に表れていない。伝票情報テーブルにおける項目「請求元名」、「請求元郵便番号」、「請求元住所」の値は、それぞれ、図２に示す請求書における右上側の特定の位置に表れている。伝票情報テーブルにおける項目「請求先名」、「請求先郵便番号」、「請求先住所」の値は、それぞれ、図２に示す請求書における左上側の特定の位置に表れている。伝票情報テーブルにおける項目「請求日」、「支払い期限」の値の日付のフォーマットは、図２に示す請求書における項目「請求日」、「お支払い期限」の値の日付のフォーマットとは異なる。

伝票情報テーブルにおける項目「請求書番号」、「請求日」、「支払い期限」、「小計」、「総消費税」、「合計」に対応する項目名は、それぞれ、図３に示す請求書において「請求番号」、「発行日」、「支払予定日」、「買上げ額」、「消費税」、「請求額」と表されている。伝票情報テーブルにおける項目「請求元名」、「請求元郵便番号」、「請求元住所」、「請求先名」、「請求先郵便番号」、「請求先住所」に対応する項目名は、図３に示す請求書に表れていない。伝票情報テーブルにおける項目「請求元名」、「請求元郵便番号」、「請求元住所」の値は、それぞれ、図３に示す請求書における右上側の特定の位置に表れている。伝票情報テーブルにおける項目「請求先名」、「請求先郵便番号」、「請求先住所」の値は、それぞれ、図３に示す請求書における左上側の特定の位置に表れている。伝票情報テーブルにおける項目「請求日」、「支払い期限」の値の日付のフォーマットは、図３に示す請求書における項目「発行日」、「支払予定日」の値の日付のフォーマットとは異なる。伝票情報テーブルにおける項目「請求元名」、「請求先名」の値の「株式会社」のフォーマットは、図３に示す請求書におけるフォーマットとは異なる。

品目テーブルにおける項目「請求書番号」、「商品名」、「単価」、「価格」に対応する項目名は、それぞれ、図２に示す請求書において「Ｎｏ」、「商品」、「単価（円）」、「価格（円）」と表されている。品目テーブルにおける項目「商品コード」、「消費税」に対応する項目名は、図２に示す請求書に表れていない。品目テーブルにおける項目「商品名」の値は、図２に示す請求書において表の項目「商品」欄のセルにおける右側の値に対応している。品目テーブルにおける項目「商品コード」の値は、図２に示す請求書において表の項目「商品」欄のセルにおける左側の値に対応している。品目テーブルにおける項目「消費税」の値は、図２に示す請求書において表れておらず、図２に示す請求書における項目「単価（円）」の値から算出されたものである。

品目テーブルにおける項目「請求書番号」、「商品名」、「価格」に対応する項目名は、それぞれ、図３に示す請求書において「請求番号」、「商品名称」、「金額」と表されている。

図５に示すように、記憶部３４は、帳票における文字列の属性の確率を取得するための文字列属性モデル３４ｃを記憶することができる。

記憶部３４は、文字列が帳票データにおけるいずれの属性に対応するかを学習するための文字列属性学習用データ３４ｄを記憶している。ここで、帳票データにおける属性としては、いずれかの項目の項目名であることと、いずれかの項目の値であることとが存在する。

記憶部３４は、単語の分散表現辞書３４ｅを記憶している。

記憶部３４は、帳票における文字列の属性の位置関係のルールを示す属性位置関係ルール３４ｆを記憶することができる。

記憶部３４は、帳票データに存在するが、帳票に存在しない値を算出するための算出式を示す算出式情報３４ｇを記憶している。

記憶部３４は、帳票データにおける値のフォーマットのルールを示すフォーマット情報３４ｈを記憶している。

制御部３５は、例えば、ＣＰＵと、プログラムおよび各種のデータを記憶しているＲＯＭと、制御部３５のＣＰＵの作業領域として用いられる揮発性の記憶デバイスとしてのメモリーであるＲＡＭとを備えている。制御部３５のＣＰＵは、記憶部３４または制御部３５のＲＯＭに記憶されているプログラムを実行する。

制御部３５は、帳票データ取得プログラム３４ａを実行することによって、文字列属性モデル３４ｃを作成する文字列属性学習部３５ａと、属性位置関係ルール３４ｆを作成する属性位置関係学習部３５ｂと、帳票データにおける値のフォーマットのルールを取得するフォーマット取得部３５ｃと、帳票に存在しない値を算出するための算出式を導き出す算出式導出部３５ｄと、帳票の画像に対する文字認識の結果における文字列に対して、文字列属性モデル３４ｃを適用して、属性の確率を取得する属性確率取得部３５ｅと、属性位置関係ルール３４ｆに基づいて文字列に対する属性の確率を補正する属性確率補正部３５ｆと、帳票に存在しない値を算出して帳票データに追加する値算出部３５ｇと、帳票データにおける値のフォーマットを変更するフォーマット変更部３５ｈとを実現する。

次に、情報処理システム１０の動作について説明する。

まず、文字列属性モデル３４ｃおよび属性位置関係ルール３４ｆを作成する場合の情報処理装置３０の動作について説明する。

図７は、文字列属性モデル３４ｃおよび属性位置関係ルール３４ｆを作成する場合の情報処理装置３０の動作の一部のフローチャートである。図８は、図７に示すフローチャートの続きのフローチャートである。図９は、図８に示すフローチャートの続きのフローチャートである。

図７～図９に示すように、文字列属性学習部３５ａは、学習用データ３４ｂに学習用帳票データが含まれる帳票（以下「学習用帳票」という。）のうち未だ対象にしていない１つの学習用帳票のみを対象にする（Ｓ１０１）。

文字列属性学習部３５ａは、現在の対象の学習用帳票の画像を取得する（Ｓ１０２）。例えば、文字列属性学習部３５ａは、現在の対象の学習用帳票の画像を、この学習用帳票からスキャナー２４によって取得しても良い。

文字列属性学習部３５ａは、Ｓ１０２の処理の後、Ｓ１０２において取得された、学習用帳票の画像（以下「学習用帳票画像」という。）において文字認識の対象になる部分の位置情報をレイアウト認識などの技術を使用して取得する（Ｓ１０３）。ここで、文字列属性学習部３５ａは、学習用帳票画像において、文字列の部分や、枠部分の位置情報を取得することができる。文字列属性学習部３５ａは、例えば文書の塊、表、表のセルなどのように、順次、文字列になるまで、位置情報を取得する。例えば、文字列属性学習部３５ａは、いずれの表におけるいずれのセルの文字列であるかや、いずれのセルにおけるいずれの位置の文字列であるかなど、文字列の位置情報を取得する。

文字列属性学習部３５ａは、Ｓ１０３の処理の後、学習用帳票画像のうち、Ｓ１０３において位置情報が取得された文字列の部分に対して、ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）技術を使用して文字認識を実行する（Ｓ１０４）。

文字列属性学習部３５ａは、Ｓ１０４の処理の後、現在の対象の学習用帳票に対応する学習用帳票データ（以下「対象学習用帳票データ」という。）を学習用データ３４ｂから取得する（Ｓ１０５）。ここで、学習用データ３４ｂにおける各テーブルには、それぞれ、学習用データ３４ｂの作成者の意図が存在するので、各テーブル内のデータ同士の関係性は高い。そのため、文字列属性学習部３５ａは、Ｓ１０５において対象学習用帳票データを取得する際に、現在の対象の学習用帳票データにおける個々のデータがいずれのテーブルのデータであるかについても取得する。

文字列属性学習部３５ａは、Ｓ１０５の処理の後、Ｓ１０４における文字認識の結果（以下「文字認識結果」という。）における文字列（以下「認識結果中文字列」という。）と、対象学習用帳票データにおける項目名（以下「対象学習用帳票データ内項目名」という。）および値（以下「対象学習用帳票データ内値」という。）との対応付けを実行する（Ｓ１０６）。

文字列属性学習部３５ａは、文字認識結果に改行が含まれている可能性も考慮して、Ｓ１０６における対応付けを実行する。例えば、図２に示す請求書および図３に示す請求書における請求先住所と、図２に示す請求書における請求元住所とには、改行が含まれているが、文字列属性学習部３５ａは、改行の前後の文字列が一連の文字列であると判断して、Ｓ１０６における対応付けを実行する。

文字列属性学習部３５ａは、認識結果中文字列と、対象学習用帳票データ内項目名および対象学習用帳票データ内値との間に、文字列のフォーマットの差異が存在することを考慮して、Ｓ１０６における対応付けを実行する。例えば、対象学習用帳票データにおける項目「請求日」、「支払い期限」の値の日付のフォーマットは、図２に示す請求書におけるフォーマットと差異があるが、文字列属性学習部３５ａは、同一の日付を意味していると判断して、Ｓ１０６における対応付けを実行する。また、対象学習用帳票データにおける項目「請求元名」、「請求先名」の値の「株式会社」のフォーマットは、図３に示す請求書におけるフォーマットと差異があるが、文字列属性学習部３５ａは、同一の株式会社を意味していると判断して、Ｓ１０６における対応付けを実行する。なお、文字列のフォーマットの差異の種類には、文字列の一部の省略も含まれる。

文字列属性学習部３５ａは、Ｓ１０６の処理の後、Ｓ１０６における対応付けの結果（以下「対応付け結果」という。）において、対象学習用帳票データ内値とフォーマットが異なる認識結果中文字列が存在するか否かを判断する（Ｓ１０７）。

フォーマット取得部３５ｃは、対象学習用帳票データ内値とフォーマットが異なる認識結果中文字列が対応付け結果において存在するとＳ１０７において判断されると、対応付け結果においてフォーマットが異なる対象学習用帳票データ内値および認識結果中文字列の組み合わせに基づいたフォーマットのルールをフォーマット情報３４ｈに追加する（Ｓ１０８）。

文字列属性学習部３５ａは、Ｓ１０８の処理の後、対象学習用帳票データ内値とフォーマットが異なる、いずれの認識結果中文字列がいずれの対象学習用帳票データ内項目名の項目の値に対応するか、すなわち、いずれの対象学習用帳票データ内値に対応するかを、文字列属性学習用データ３４ｄに追加する（Ｓ１０９）。

値算出部３５ｇは、対象学習用帳票データ内値とフォーマットが異なる認識結果中文字列が対応付け結果において存在しないとＳ１０７において判断されるか、Ｓ１０９の処理が終了すると、認識結果中文字列に対応するものが存在しない対象学習用帳票データ内値が存在するか否かを判断する（Ｓ１１０）。例えば、小計や、消費税などは、Ｓ１０２において画像が取得された帳票にそもそも含まれておらず対象学習用帳票データの作成時に追加される場合がある。すなわち、認識結果中文字列に対応するものが存在しない対象学習用帳票データ内値が存在する場合がある。

値算出部３５ｇは、認識結果中文字列に対応するものが存在しない対象学習用帳票データ内値が存在するとＳ１１０において判断すると、認識結果中文字列に対応するものが存在しない対象学習用帳票データ内値について、学習用帳票データにおける値のそれぞれの間の関係性を分析して、学習用帳票データにおける他の値からの算出式を導き出す（Ｓ１１１）。ここで、値算出部３５ｇは、１つの帳票の学習用帳票データにおける値のそれぞれの間の関係性を分析して算出式を導き出すよりも、多数の帳票の学習用帳票データにおける値のそれぞれの間の関係性を分析して算出式を導き出す方が好ましい。

値算出部３５ｇは、Ｓ１１１の処理の後、Ｓ１１１において導き出した算出式を算出式情報３４ｇに追加する（Ｓ１１２）。

文字列属性学習部３５ａは、認識結果中文字列に対応するものが存在しない対象学習用帳票データ内値が存在しないとＳ１１０において判断されるか、Ｓ１１２の処理が終了すると、対象学習用帳票データにおける項目のうち、対象学習用帳票データ内値に対応する文字列が文字認識結果に存在するが、対象学習用帳票データ内項目名に対応する文字列が文字認識結果に存在しないもの（以下「項目名対応文字列無項目」という。）が存在するか否かを判断する（Ｓ１１３）。

文字列属性学習部３５ａは、項目名対応文字列無項目が存在するとＳ１１３において判断すると、項目名対応文字列無項目の対象学習用帳票データ内値に文字認識結果において対応する文字列との、学習用帳票画像における位置関係に基づいて、項目名対応文字列無項目の項目名に対応する文字列の候補（以下「項目名対応文字列候補」という。）を探索する（Ｓ１１４）。例えば、文字列属性学習部３５ａは、項目名対応文字列無項目の対象学習用帳票データ内値に文字認識結果において対応する文字列に対して、学習用帳票画像において水平方向における左側に存在する文字列を文字認識結果において探索するとともに、学習用帳票画像において垂直方向における上側に存在する文字列を文字認識結果において探索することによって、探索された文字列を項目名対応文字列候補として抽出する。

文字列属性学習部３５ａは、Ｓ１１４の処理の後、Ｓ１１４における探索によって項目名対応文字列候補が抽出されたか否かを判断する（Ｓ１１５）。

文字列属性学習部３５ａは、Ｓ１１４における探索によって項目名対応文字列候補が抽出されたとＳ１１５において判断すると、Ｓ１１４における探索によって抽出された項目名対応文字列候補と、この項目名対応文字列候補に対応する項目名との類似度を分散表現辞書３４ａを使用して判定することによって、Ｓ１１４における探索によって抽出された項目名対応文字列候補の属性が、この項目名対応文字列候補に対応する項目名であるか否かを判定する（Ｓ１１６）。

文字列属性学習部３５ａは、Ｓ１１６の処理の後、Ｓ１１４における探索によって抽出された項目名対応文字列候補の属性が、この項目名対応文字列候補に対応する項目名であるとＳ１１６において判定されたか否かを判断する（Ｓ１１７）。

文字列属性学習部３５ａは、Ｓ１１４における探索によって抽出された項目名対応文字列候補の属性が、この項目名対応文字列候補に対応する項目名であるとＳ１１６において判定されたとＳ１１７において判断すると、対象学習用帳票データ内項目名とフォーマットが異なる、いずれの認識結果中文字列がいずれの対象学習用帳票データ内項目名に対応するかを、文字列属性学習用データ３４ｄに追加する（Ｓ１１８）。

文字列属性学習部３５ａは、項目名対応文字列無項目が存在しないとＳ１１３において判断するか、Ｓ１１４における探索によって項目名対応文字列候補が抽出されなかったとＳ１１５において判断するか、Ｓ１１４における探索によって抽出された項目名対応文字列候補が、この項目名対応文字列候補に対応する項目名であるとＳ１１６において判定されなかったとＳ１１７において判断するか、Ｓ１１８の処理を実行すると、対象学習用帳票データ内項目名および対象学習用帳票データ内値のいずれにも対応しない認識結果中文字列、すなわち、属性付けがされていない認識結果中文字列が存在するか否かを判断する（Ｓ１１９）。

文字列属性学習部３５ａは、属性付けがされていない認識結果中文字列が存在するとＳ１１９において判断すると、属性付けがされていない認識結果中文字列を属性が無い文字列とすることを、文字列属性学習用データ３４ｄに追加する（Ｓ１２０）。

文字列属性学習部３５ａは、属性付けがされていない認識結果中文字列が存在しないとＳ１１９において判断するか、Ｓ１２０の処理が終了すると、未だ対象にしていない学習用帳票が存在するか否かを判断する（Ｓ１２１）。

文字列属性学習部３５ａは、未だ対象にしていない学習用帳票が存在するとＳ１２１において判断すると、Ｓ１０１の処理を実行する。

属性位置関係学習部３５ｂは、未だ対象にしていない学習用帳票が存在しないとＳ１２１において判断されると、全ての学習用帳票における属性の位置関係を学習することによって、属性位置関係ルール３４ｆを作成する（Ｓ１２２）。属性位置関係ルール３４ｆには、例えば、属性同士のグループ（以下「属性グループ」という。）内における属性の位置関係のルールと、属性グループ同士の位置関係のルールとを含んでいる。属性グループとしては、例えば、帳票において必ず近傍に存在する属性同士のグループと、帳票において必ず水平線上に存在する属性同士のグループと、帳票において必ず垂直線上に存在する属性同士のグループとが存在する。例えば、属性グループには、請求元名、請求元郵便番号、請求元住所の３つの属性が存在する、請求元に関する属性グループと、請求先名、請求先郵便番号、請求先住所の３つの属性が存在する、請求先に関する属性グループとが存在する。

属性グループ内における属性の位置関係のルールは、帳票において左もしくは上に出現する確率を属性毎に求めることによって作成されるルールであり、帳票における属性同士の上下左右の位置関係のルールである。例えば、請求元に関する属性グループ内において、請求元名は、帳票において上から１番目に出現する確率が高く、請求元郵便番号は、帳票において上から２番目に出現する確率が高く、請求元住所は、帳票において上から３番目に出現する確率が高い。

属性グループ同士の位置関係のルールは、帳票において左もしくは上に出現する確率を属性グループ毎に求めることによって作成されるルールであり、帳票における属性グループ同士の上下左右の位置関係のルールである。例えば、請求先に関する属性グループは、請求元に関する属性グループに対して、帳票において左側に出現する確率が高い。

文字列属性学習部３５ａは、Ｓ１２２の処理の後、学習用データ３４ｂと、文字列属性学習用データ３４ｄとに基づいて、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）などを利用して、文字列属性モデル３４ｃを作成して（Ｓ１２３）、図７～図９に示す動作を終了する。

次に、帳票から帳票データを自動で作成する場合の情報処理装置３０の動作について説明する。

図１０は、帳票から帳票データを自動で作成する場合の情報処理装置３０の動作のフローチャートである。

図１０に示すように、属性確率取得部３５ｅは、Ｓ１０２の処理と同様に、対象の帳票の画像を取得する（Ｓ１３１）。例えば、属性確率取得部３５ｅは、対象の帳票の画像を、この帳票からスキャナー２４によって取得しても良い。

属性確率取得部３５ｅは、Ｓ１３１の処理の後、Ｓ１０３の処理と同様に、Ｓ１３１において取得された、帳票の画像（以下「帳票画像」という。）において文字認識の対象になる部分の位置情報をレイアウト認識などの技術を使用して取得する（Ｓ１３２）。

属性確率取得部３５ｅは、Ｓ１３２の処理の後、Ｓ１０４の処理と同様に、帳票画像のうち、Ｓ１３２において位置情報が取得された文字列の部分に対して、ＯＣＲ技術を使用して文字認識を実行する（Ｓ１３３）。

属性確率取得部３５ｅは、Ｓ１３３の処理の後、Ｓ１３３において文字認識した文字列に対して、文字列属性モデル３４ｃを適用して、属性の確率を取得する（Ｓ１３４）。

属性確率補正部３５ｆは、Ｓ１３４の処理の後、Ｓ１３３において文字認識した文字列の、帳票における位置と、属性位置関係ルール３４ｆとに基づいて、Ｓ１３４において取得した確率を補正する（Ｓ１３５）。例えば、属性確率補正部３５ｆは、Ｓ１３３において文字認識した文字列に対して、帳票における位置と、属性位置関係ルール３４ｆとに基づいて取得した、属性の確率と、Ｓ１３４において取得した、属性の確率とを掛け合わせることによって、最終的な属性の確率を求める。

属性確率補正部３５ｆは、Ｓ１３５の処理の後、Ｓ１３３において文字認識した文字列の属性を、Ｓ１３５において補正した確率に基づいて判定することによって、帳票データを作成する（Ｓ１３６）。

値算出部３５ｇは、Ｓ１３６の処理の後、算出式情報３４ｇに算出式が示されているか否かを判断する（Ｓ１３７）。

値算出部３５ｇは、算出式情報３４ｇに算出式が示されているとＳ１３７において判断すると、対象の帳票に存在しない値を、算出式情報３４ｇに示される算出式に基づいて算出する（Ｓ１３８）。

値算出部３５ｇは、Ｓ１３８の処理の後、Ｓ１３８において算出した値を、Ｓ１３６において作成された帳票データに追加する（Ｓ１３９）。

フォーマット変更部３５ｈは、算出式情報３４ｇに算出式が示されていないとＳ１３７において判断されるか、Ｓ１３９の処理が終了すると、フォーマット情報３４ｈにフォーマットのルールが示されているか否かを判断する（Ｓ１４０）。

フォーマット変更部３５ｈは、フォーマット情報３４ｈにフォーマットのルールが示されているとＳ１４０において判断すると、フォーマット情報３４ｈに示されるルールに基づいて帳票データにおける値のフォーマットを変更する（Ｓ１４１）。

フォーマット変更部３５ｈは、フォーマット情報３４ｈにフォーマットのルールが示されていないとＳ１４０において判断するか、Ｓ１４１の処理が終了すると、図１０に示す動作を終了する。

図１０に示す動作の具体例として、図２に示す帳票から帳票データを自動で作成する場合について説明する。

図１１は、文字列属性モデル３４ｃを適用して判定された、図２に示す帳票に含まれる文字列の属性の一例を示す図である。図１２は、属性位置関係ルール３４ｆを適用して補正された、図２に示す帳票に含まれる文字列の属性の一例を示す図である。

図２に示す帳票から帳票データを自動で作成する場合、Ｓ１３４において取得した確率に基づいて判定される属性は、例えば、図１１に示すようになる。

Ｓ１３４の処理の後、Ｓ１３５において補正した確率に基づいて判定される属性は、例えば、図１２に示すようになる。図１２に示す例では、図１１に示す例と比較して、帳票における右上側に配置されている、項目「請求先名」の値と判定されていた文字列「株式会社△△」、項目「請求先郵便番号」の値と判定されていた文字列「〒９８７－６５４３」、および、項目「請求先住所」の値と判定されていた文字列「神奈川県△△市△区△△△９－８－７ △△△△６Ｆ」が、それぞれ、項目「請求元名」の値、項目「請求元郵便番号」の値、および、項目「請求元住所」の値と判定されている。また、帳票における左上側に配置されている、項目「合計」の項目名と判定されていた文字列「合計（税込）」、および、項目「合計」の値と判定されていた文字列「￥２６４０」が、それぞれ「属性無し」と判定されている。また、帳票における左下側に配置されている、項目「請求書番号」の値と判定されていた文字列「０００００００」が、「属性無し」と判定されている。

図１３（ａ）は、図１２に示す属性に基づいて作成された帳票データの伝票情報テーブルの一例を示す図である。図１３（ｂ）は、図１２に示す属性に基づいて作成された帳票データの品目テーブルの一例を示す図である。

図１２に示す属性に基づいてＳ１３６において作成された帳票データは、図１３に示すようになる。図１３（ｂ）においては、項目「消費税」の値が入力されていない。

図１４（ａ）は、図２に示す帳票から自動で作成された帳票データの伝票情報テーブルの一例を示す図である。図１４（ｂ）は、図２に示す帳票から自動で作成された帳票データの品目テーブルの一例を示す図である。

図１４（ａ）に示す伝票情報テーブルは、図１３（ａ）に示す伝票情報テーブルと比較して、項目「請求日」、「支払い期限」の値のフォーマットがＳ１４１において変更されている。図１４（ｂ）に示す品目テーブルは、図１３（ｂ）に示す品目テーブルと比較して、項目「消費税」の値がＳ１３９において追加されている。図１４（ｂ）に示す品目テーブルは、図１３（ｂ）に示す品目テーブルと比較して、項目「価格」の値「１，０００」のフォーマットがＳ１４１において「１０００」に変更されている。

なお、図１０に示す動作によって作成された帳票データは、利用者による確認を経て、新たな学習用帳票データになることができる。制御部３５は、新たな学習用帳票データに基づいて図７～図９に示す動作を追加で実行することによって、帳票から自動で作成する帳票データの精度を向上することができる。

以上に説明したように、情報処理装置３０は、学習用帳票データと、学習用帳票の画像に対する文字認識の結果における文字列とを用いて文字列属性モデル３４ｃおよび属性位置関係ルール３４ｆを学習する（Ｓ１０１～Ｓ１２３）ので、学習用帳票に適した文字列属性モデル３４ｃおよび属性位置関係ルール３４ｆを得ることができ、その結果、帳票から自動で取得した帳票データの適切性を向上することができる。

情報処理装置３０は、学習用帳票データにおける項目の値とフォーマットが異なるが、この値に対応する文字列を、項目の値として取得することができるように文字列属性モデル３４ｃを作成する（Ｓ１０９およびＳ１２３）ので、帳票から自動で取得した帳票データの適切性を更に向上することができる。

情報処理装置３０は、帳票データにおける項目の値とフォーマットが異なるが、この値に対応する文字列のフォーマットを、帳票データにおける項目の値のフォーマットに変更する（Ｓ１４１）ので、帳票から自動で取得した帳票データの適切性を更に向上することができる。

情報処理装置３０は、項目名対応文字列無項目が存在する場合に（Ｓ１１３でＹＥＳ）、項目名対応文字列無項目の学習用帳票データにおける値に、学習用帳票の画像に対する文字認識の結果において対応する文字列との、学習用帳票の画像における位置関係に基づいて、項目名対応文字列無項目の項目名に対応する文字列の項目名対応文字列候補を探索し（Ｓ１１４）、探索によって抽出された項目名対応文字列候補と、この項目名対応文字列候補に対応する項目名との類似度に基づいて、この項目名対応文字列候補の属性が、この項目名であると判定したとき（Ｓ１１７でＹＥＳ）、この項目名対応文字列候補がいずれの項目名に対応するかということにも基づいて、文字列属性モデルを作成する（Ｓ１１８およびＳ１２３）ので、帳票から自動で取得した帳票データの適切性を更に向上することができる。

情報処理装置３０は、学習用帳票の画像に対する文字認識の結果に存在する文字列に対応するものが存在しない、学習用帳票データにおける値について、学習用帳票データにおける値のそれぞれの間の関係性を分析して、学習用帳票データにおける他の値からの算出式を導き出し（Ｓ１１１）、導き出した算出式に基づいて、帳票に存在しない値を帳票データに追加する（Ｓ１３８～Ｓ１３９）ので、帳票から自動で取得した帳票データの適切性を更に向上することができる。

情報処理装置３０は、学習用帳票および学習用帳票データを用いて文字列属性モデル３４ｃおよび属性位置関係ルール３４ｆを学習するので、利用者の希望する帳票について学習用帳票および学習用帳票データが用意されることによって、利用者の希望する帳票から適切に帳票データを取得することができる。例えば、請求書ではなく図１５に示す健康診断書から情報処理装置３０に帳票データを取得させる場合、利用者は、学習用帳票として図１５に示す健康診断書などの健康診断書を用いて、健康診断書用の文字列属性モデルと、健康診断書用の属性位置関係ルールとを情報処理装置３０に新たに学習させる必要がある。

３０ 情報処理装置（帳票データ取得システム、コンピューター）
３４ａ 帳票データ取得プログラム
３４ｂ 学習用データ（学習用帳票データ）
３４ｃ 文字列属性モデル
３４ｆ 属性位置関係ルール
３５ａ 文字列属性学習部
３５ｂ 属性位置関係学習部
３５ｃ フォーマット取得部
３５ｄ 算出式導出部
３５ｅ 属性確率取得部
３５ｆ 属性確率補正部
３５ｇ 値算出部
３５ｈ フォーマット変更部

Claims (6)

1. 帳票に基づいたデータとしての帳票データを、この帳票から自動で取得する帳票データ取得システムであって、
   帳票における文字列の属性の確率を取得するための文字列属性モデルを作成する文字列属性学習部と、
   帳票における文字列の属性の位置関係のルールを示す属性位置関係ルールを作成する属性位置関係学習部と、
   帳票の画像に対する文字認識の結果における文字列に対して、前記文字列属性モデルを適用して、属性の確率を取得する属性確率取得部と、
   帳票の画像に対する文字認識の結果における文字列の、帳票における位置と、前記属性位置関係ルールとに基づいて、前記確率を補正する属性確率補正部と
   を備え、
   前記文字列属性学習部は、
   帳票から事前に作成された前記帳票データとしての学習用帳票データの作成の基になった帳票としての学習用帳票の画像に対する文字認識の結果における文字列と、
   前記学習用帳票データにおける属性と
   の対応付けを実行することによって、前記文字列属性モデルを作成し、
   前記属性位置関係学習部は、前記学習用帳票における属性の位置関係を学習することによって、前記属性位置関係ルールを作成することを特徴とする帳票データ取得システム。
2. 前記文字列属性学習部は、前記対応付けの結果において、前記学習用帳票データにおける属性のうちの、項目の値とフォーマットが異なる文字列が存在する場合に、この文字列がいずれの値に対応するかということにも基づいて、前記文字列属性モデルを作成することを特徴とする請求項１に記載の帳票データ取得システム。
3. 前記対応付けの結果において、前記学習用帳票データにおける属性のうちの、項目の値とフォーマットが異なる文字列が存在する場合に、前記帳票データにおける値のフォーマットのルールを取得するフォーマット取得部と、
   前記フォーマット取得部によって取得されたルールに基づいて前記帳票データにおける値のフォーマットを変更するフォーマット変更部と
   を備えることを特徴とする請求項２に記載の帳票データ取得システム。
4. 前記文字列属性学習部は、前記学習用帳票データにおける属性のうちの、項目の値に対応する文字列が前記学習用帳票の画像に対する文字認識の結果に存在するが、この項目の項目名に対応する文字列がこの文字認識の結果に存在しない項目としての項目名対応文字列無項目が存在する場合に、前記項目名対応文字列無項目の前記学習用帳票データにおける値に、前記学習用帳票の画像に対する文字認識の結果において対応する文字列との、前記学習用帳票の画像における位置関係に基づいて、前記項目名対応文字列無項目の項目名に対応する文字列の候補を探索し、探索によって抽出された前記候補と、この候補に対応する項目名との類似度に基づいて、この候補の属性が、この項目名であると判定したとき、この候補がいずれの項目名に対応するかということにも基づいて、前記文字列属性モデルを作成することを特徴とする請求項１から請求項３までのいずれかに記載の帳票データ取得システム。
5. 帳票に存在しない値を算出するための算出式を導き出す算出式導出部と、
   帳票に存在しない値を前記算出式に基づいて算出して前記帳票データに追加する値算出部と
   を備え、
   前記算出式導出部は、前記学習用帳票の画像に対する文字認識の結果に存在する文字列に対応するものが存在しない、前記学習用帳票データにおける属性のうちの、項目の値について、前記学習用帳票データにおける値のそれぞれの間の関係性を分析して、前記学習用帳票データにおける他の値からの前記算出式を導き出すことを特徴とする請求項１から請求項４までのいずれかに記載の帳票データ取得システム。
6. 帳票に基づいたデータとしての帳票データを、この帳票から自動で取得するための帳票データ取得プログラムであって、
   帳票における文字列の属性の確率を取得するための文字列属性モデルを作成する文字列属性学習部と、
   帳票における文字列の属性の位置関係のルールを示す属性位置関係ルールを作成する属性位置関係学習部と、
   帳票の画像に対する文字認識の結果における文字列に対して、前記文字列属性モデルを適用して、属性の確率を取得する属性確率取得部と、
   帳票の画像に対する文字認識の結果における文字列の、帳票における位置と、前記属性位置関係ルールとに基づいて、前記確率を補正する属性確率補正部と
   をコンピューターに実現させ、
   前記文字列属性学習部は、
   帳票から事前に作成された前記帳票データとしての学習用帳票データの作成の基になった帳票としての学習用帳票の画像に対する文字認識の結果における文字列と、
   前記学習用帳票データにおける属性と
   の対応付けを実行することによって、前記文字列属性モデルを作成し、
   前記属性位置関係学習部は、前記学習用帳票における属性の位置関係を学習することによって、前記属性位置関係ルールを作成することを特徴とする帳票データ取得プログラム。

Images