JP7420578B2 - 帳票仕分システム、帳票仕分方法、及びプログラム - Google Patents

Description

本発明は、帳票仕分システム、帳票仕分方法、及びプログラムに関する。

従来、様々な業界において、様々な帳票が利用されている。例えば、紙の帳票をスキャナ等の読取装置で読み取り、読み取り結果の画像からＯＣＲ（Optical Character Reader）技術により文字認識を行うことによりテキスト情報を得ることが行われている。これにより、データ入力などの事務処理を効率化させることが図られている。

一般に、帳票は、定型帳票と、準定型帳票と、非定型帳票とに分類される。定型帳票は、項目、記入枠の位置及び大きさが定められており、様式が一つに固定されている帳票である。準定型帳票は、項目は定められているが、記入枠の位置や大きさが定められておらず、異なる様式が複数存在する帳票である。非定型帳票は、項目、記入枠の位置及び大きさが定まった様式が存在しない帳票である。

つまり、帳票には、準定型帳票のように、同じ種別の帳票であっても、微妙に異なる様式の帳票（以下、亜種ともいう）が複数存在するという現状がある。このような、様々な亜種が混在していると、ある様式の帳票はＯＣＲによる文字認識ができるが、別の微妙に異なる様式の帳票はＯＣＲによる文字認識ができないといった事象が生じ、帳票のＯＣＲ利用の妨げになっていた。

この対策として、特許文献１には、ＯＣＲ文字認識用に定義した定義体の帳票レイアウトを、対象の帳票画像から抽出した罫線レイアウトに応じて補正することにより、様式が類似している帳票群に対して１つの定義体で文字認識を行う技術が開示されているが可能となる。

特許第６３４２２９２号公報

しかしながら、亜種の帳票をＯＣＲに読み込ませようとする度に、ＯＣＲ文字認識の定義体を補正すると、補正の手間がかかってしまう。特に、亜種が混在した大量の帳票を文字認識しようとした場合、特許文献１の技術を適用することは非効率であり現実的でないという問題があった。

本発明は、上記問題を解決すべくなされたもので、その目的は、ＯＣＲ文字認識に用いる定義体を補正することなく、ＯＣＲ文字認識ができるように亜種を仕分けることができる帳票仕分システム、帳票仕分方法、及びプログラムを提供することにある。

上記問題を解決するために、本発明の一態様は、仕分対象の帳票である対象帳票を取得する取得部と、学習済みモデルを用いて、前記対象帳票の種別を分類する種別分類部と、前記対象帳票の特徴を抽出する特徴抽出部と、前記種別分類部による分類結果、及び前記特徴抽出部による抽出結果に基づき、予め登録された文字認識の定義体に対応する帳票の特徴との類似度合いを用いて機械学習を行うことにより前記対象帳票を分類する亜種分類部と、を備え、前記学習済みモデルは、学習用帳票を入力させることにより得られる出力が、当該学習用帳票に対応する種別に近づくように学習されたモデルであって、入力された帳票の種別を予測するモデルである、ことを特徴とする帳票仕分システムである。

また、本発明の一態様は、上記に記載の帳票仕分システムにおいて、前記亜種分類部は、前記特徴抽出部によって抽出された罫線の特徴と、前記定義体に対応する帳票における罫線の特徴との類似度合いを用いたクラスタ分析を行うことにより前記対象帳票を分類する、するようにしてもよい。

また、本発明の一態様は、上記に記載の帳票仕分システムにおいて、前記定義体に対応する帳票は、登録用帳票に上記クラスタ分析を行うことにより得られるクラスタ内の帳票から選択された帳票であるようにしてもよい。

また、本発明の一態様は、上記に記載の帳票仕分システムにおいて、前記亜種分類部による分類結果に基づき、前記定義体に対応する帳票と同一グループに分類された前記対象帳票が、前記定義体を用いた文字認識に適合するか否かを判定する適合判定部を更に備えるようにしてもよい。

また、本発明の一態様は、上記に記載の帳票仕分システムにおいて、前記適合判定部は、前記定義体に対応する帳票と同一グループに分類された前記対象帳票における罫線の特徴と、前記定義体に対応する帳票における罫線の特徴との類似度合いに基づき、前記定義体を用いた文字認識に適合するか否かを判定するようにしてもよい。

また、本発明の一態様は、取得部が、仕分対象の帳票である対象帳票を取得し、種別分類部が、学習済みモデルを用いて、前記対象帳票の種別を分類し、特徴抽出部が、前記対象帳票における罫線の特徴を抽出し、亜種分類部が、前記種別分類部による分類結果、及び前記特徴抽出部による抽出結果に基づき、予め定義された文字認識の定義体に対応する帳票との類似度合を用いて機械学習を行うことにより前記対象帳票を分類する、帳票仕分方法であって、前記学習済みモデルは、学習用帳票を入力させることにより得られる出力が、当該学習用帳票に対応する種別に近づくように学習されたモデルであって、入力された帳票の種別を予測するモデルである、ことを特徴とする帳票仕分方法である。

また、本発明の一態様は、コンピュータを、仕分対象の帳票である対象帳票を取得する取得手段、学習済みモデルを用いて、前記対象帳票の種別を分類する種別分類手段、前記対象帳票における罫線の特徴を抽出する特徴抽出手段、前記種別分類手段による分類結果、及び前記特徴抽出手段による抽出結果に基づき、予め定義された文字認識の定義体に対応する帳票との類似度合を用いて機械学習を行うことにより前記対象帳票を分類する亜種分類手段、として機能させるためのプログラムであって、前記学習済みモデルは、学習用帳票を入力させることにより得られる出力が、当該学習用帳票に対応する種別に近づくように学習されたモデルであって、入力された帳票の種別を予測するモデルであるプログラムである。

この発明によれば、ＯＣＲ読み取り用の定義体を補正することなく、ＯＣＲ読み取りができるように亜種を仕分けることができる。

実施形態の帳票認識システム１の構成例を示すブロック図である。 実施形態の種別分類装置１０の構成例を示すブロック図である。 実施形態の亜種分類装置２０の構成例を示すブロック図である。 実施形態の種別分類装置１０が行う処理の流れを示すフロー図である。 実施形態の帳票認識システム１が行う処理の流れを示すシーケンス図である。 実施形態の亜種分類装置２０が行う処理の流れを示すフロー図である。 実施形態の亜種分類装置２０が行う処理を説明する図である。 実施形態の帳票認識システム１が行う処理の流れを示すシーケンス図である。 実施形態の種別分類装置１０が行う処理の流れを示すフロー図である。 実施形態の亜種分類装置２０が行う処理の流れを示すフロー図である。

以下、本発明の実施形態について図面を参照して説明する。

図１は、実施形態の帳票認識システム１の構成例を示すブロック図である。帳票認識システム１は、例えば、帳票仕分システム１００と、文字認識装置３０とを備える。

帳票仕分システム１００は、様々な様式の帳票を、同一のＯＣＲ定義体により読み取り可能なグループに仕分するシステムである。ここで、ＯＣＲ定義体とは、ＯＣＲ文字認識の対象となる帳票に関する情報であって、ＯＣＲ文字認識に用いられる情報である。ＯＣＲ定義体には、例えば、罫線の本数や長さ、配置などを示す罫線のレイアウト情報、及び帳票のタイトルや項目名称などを示す帳票の固有情報が含まれる。

本実施形態において、仕分けの対象となる帳票（以下、対象帳票ともいう）は、源泉徴収票、給与明細書、各種の帳簿や伝票、申込書など、業務や取引または申請などに必要な情報の記入や印刷のために用いられる書類であって、罫線などにより項目欄や記入枠が形成され、定められた位置に定められた記載がなされるようにレイアウトされた書類である。

帳票仕分システム１００は、例えば、種別分類装置１０と、複数の亜種分類装置２０（亜種分類装置２０－１、２０－２、…、２０－Ｎ）とを備える。Ｎは、種別分類装置１０により分類された種別の数に応じて決定される自然数である。

種別分類装置１０は、機械学習の手法を用いて、対象帳票を、その種別ごとに分類するコンピュータである。種別分類装置１０が用いる機械学習の手法は、既存の任意の学習手法であってよいが、例えば、教師あり学習であり、ＣＮＮ（Convolutional Neural Network）等による深層学習（ディープラーニング）のモデルを用いた手法である。学習済みモデルを用いた分類が行われる場合、種別分類装置１０が帳票をどのように分類するかは、学習済みモデルにどのようなデータを機械学習させるかにより決定される。学習済みモデルについては、後で詳しく説明する。

種別分類装置１０は、対象帳票を、一見して見た目が異なるものごとに分類する。例えば、種別分類装置１０は、帳票のタイトルごとに対象帳票を分類する。或いは、種別分類装置１０は、帳票の様式ごとに、対象帳票を分類する。換言すると、種別分類装置１０は、一見して見た目が変わらない対象帳票を、同じ種別に分類する。つまり、種別分類装置１０は、亜種を区別せず、同じ種別として分類する。具体的に、種別分類装置１０が帳票のタイトルごとに対象帳票を分類する場合、帳票のタイトルが同じであって記入枠の位置や大きさが微妙に異なる様式の対象帳票（亜種）が複数ある場合、これらの亜種を同じ種別の帳票として分類する。種別分類装置１０は、分類結果を亜種分類装置２０に出力する。

亜種分類装置２０は、種別分類装置１０により同じ種別に分類された帳票群を、その亜種ごとに分類するコンピュータである。亜種分類装置２０は、種別分類装置１０から分類結果を取得する。亜種分類装置２０は、取得した情報に基づいて、同じ種別に分類された帳票群のそれぞれの特徴量を抽出する。ここでの特徴量は、亜種を分類するために必要な帳票の特徴を示す度合いであり、例えば、帳票に用いられている罫線の態様（例えば、罫線の間隔など）である。

亜種分類装置２０は、抽出した特徴量を用いて機械学習を行うことにより亜種を分類する。亜種分類装置２０が用いる機械学習の手法は、既存の任意の手法であってよいが、例えば、教師なし学習であり、クラスタ分析を用いた手法である。

亜種分類装置２０は、同一のＯＣＲ定義体を用いた文字認識が可能となる範囲で亜種を分類する。これにより、ある亜種はＯＣＲによる文字認識ができるが、別の亜種はＯＣＲによる文字認識ができないといった事象を生じ難くすることができる。したがって、帳票のＯＣＲ利用を促進することが可能である。

亜種分類装置２０は、予め登録したＯＣＲ定義体に対応する帳票（以下、代表帳票ともいう）の特徴量と、対象帳票の特徴量の類似度合いに基づいて、亜種を分類する。つまり、亜種分類装置２０は、代表帳票と似た特徴を有する亜種を、同じグループに分類する。代表帳票は、予め登録済みであり、ＯＣＲ文字認識できるように、すでにＯＣＲ定義体が生成されている帳票である。これにより、代表帳票と似た特徴を有すると分類された亜種は、その代表帳票に対応するＯＣＲ定義体を用いてＯＣＲ文字認識を行うことができる可能性が高い。亜種分類装置２０が亜種を分類する方法については、後で詳しく説明する。亜種分類装置２０は、亜種を分類した分類結果を文字認識装置３０に出力する。

文字認識装置３０は、ＯＣＲ文字認識を行うコンピュータである。文字認識装置３０には、複数の代表帳票のそれぞれに対応するＯＣＲ定義体が登録されている。亜種分類装置２０により指定された代表帳票に基づいて、作業者等によりＯＣＲ定義体が生成され、生成されたＯＣＲ定義体が、文字認識装置３０に登録（記憶）される。なお、文字認識装置３０が帳票に基づくＯＣＲ定義体を生成する機能を有する場合、文字認識装置３０は、亜種分類装置２０により指定された代表帳票に対応するＯＣＲ定義体を生成するようにしてもよい。亜種分類装置２０が代表帳票を指定する方法については後で詳しく説明する。

文字認識装置３０は、亜種分類装置２０から分類結果を取得する。文字認識装置３０は、代表帳票と似た特徴を有すると分類された亜種を、その代表帳票に対応するＯＣＲ定義体を用いてＯＣＲ文字認識を行う。

図１の例では、対象帳票が、種別分類装置１０によりＮ個の種別（種別１、種別２、…種別Ｎ）のいずれかに分類される構成が示されている。また、それぞれの種別に分類された帳票群が、亜種分類装置２０のそれぞれにより複数の亜種に分類される構成が示されている。例えば、亜種分類装置２０－１により複数の亜種（種別１亜種Ａ、種別１亜種Ｂ、…）に分類される構成が示されている。亜種分類装置２０－２により複数の亜種（種別２亜種Ａ、種別２亜種Ｂ、…）に分類される構成が示されている。亜種分類装置２０－Ｎにより複数の亜種（種別Ｎ亜種Ａ、種別Ｎ亜種Ｂ、…）に分類される構成が示されている。

図２は、実施形態の種別分類装置１０の構成例を示すブロック図である。種別分類装置１０は、例えば、対象画像取得部１１と、学習用画像取得部１２と、前処理部１３と、学習部１４と、予測部１５と、種別分類部１６と、出力部１７と、学習済みモデルパラメータ記憶部１８とを備える。

種別分類装置１０が行う処理には、「事前準備」と、「分類実行」との２つの段階がある。「事前準備」の段階において、対象帳票を種別ごとに分類する前に、種別分類装置１０により実際の分類に用いる学習済みモデルが準備される。「分類実行」の段階において、１０により、対象帳票を種別ごとに分類する実際の分類が行われる。以下、「事前準備」と、「分類実行」との２つの段階について、順に説明する。

（事前準備）
種別分類装置１０は、事前準備として、学習済みモデルを生成する。学習済みモデルは、学習用の帳票（以下、学習用帳票ともいう）と、その種別との対応関係を学習することにより、入力された未学習の帳票の種別を予測できるように学習されたモデルである。すなわち、学習済みモデルは、学習用帳票を入力させることにより得られる出力が、当該学習用帳票に対応する種別に近づくように学習されたモデルであって、入力された帳票の種別を予測するモデルである。

学習用画像取得部１２は、学習用帳票の画像データを取得する。学習用帳票は、例えば、標準的なフォーマットとして既に公開されている帳票や、過去に利用された実績のある現物の帳票である。画像データは、例えば、紙の帳票をスキャナ等の読取装置で読み取った画像の電子情報である。学習用画像取得部１２は、例えば、種別分類装置１０と接続されたスキャナにより読み取られた画像の情報を取得する。或いは、学習用画像取得部１２は、外部のＤＢ（データベース）サーバ装置に蓄積された学習用帳票の画像データを、ネットワーク等を介して取得するようにしてもよい。学習用画像取得部１２は、取得した学習用帳票の画像データを前処理部１３に出力する。

前処理部１３は、学習モデルに学習させるデータセットを生成する。学習モデルは、学習済みモデルに学習させる前のモデルであり、例えばＣＮＮ等による深層（多層）モデルである。前処理部１３は、学習モデルに学習させるデータとして、学習データと教師データとを対応づけたデータセットを生成する。学習データは、学習モデルに入力させるデータであり、学習用画像取得部１２によって取得された学習用帳票の画像データである。教師データは、学習モデルから出力される予測値の誤差を算出するためのデータであり、学習用帳票の種別を示す情報である。前処理部１３は、学習データとしての学習用帳票に、教師データとしてのその学習用帳票の種別を対応付けることにより学習モデルに学習させるデータセットを生成する。前処理部１３は、生成したデータセットを学習部１４に出力する。

学習部１４は、前処理部１３により生成された学習用のデータセットを用いて、学習モデルを学習させる。学習部１４は、学習モデルに、データセットの学習データを入力させる。学習部１４は、誤差逆伝搬法などの手法を用いて、学習モデルから出力されたデータ（予測値）が、当該学習データに対応する教師データ（種別）に近づくように、学習モデルのパラメータを調整する。学習部１４は、学習モデルの出力層から出力される予測値の誤差が所定の閾値以下となるなど、所定の終了条件を満たしたと判定される場合に、学習モデルの学習を終了させる。学習部１４は、学習を終了させた際の学習モデルを学習済みモデルとして確定させる。学習部１４は、学習を終了させた際の学習モデルに設定されていたパラメータを学習済みモデルパラメータ記憶部１８に記憶させる。ここでのパラメータは、学習済みモデルを生成するための用いられる変数であって、例えば、ＣＮＮの学習モデルを用いて学習済みモデルが生成された場合であれば、ＣＮＮの入力層、中間層、出力層の各層のユニット数、隠れ層の層数、活性化関数などを示す情報や、各階層のノードを結合する結合係数や重みを示す情報である。

学習済みモデルパラメータ記憶部１８は、学習部１４により生成された学習済みモデルのパラメータを記憶する。

（分類実行）
種別分類装置１０は、分類実行の段階において、対象帳票の種別を分類する。

対象画像取得部１１は、対象帳票の画像データを取得する。対象画像取得部１１が対象帳票の画像データを取得する方法は、学習用画像取得部１２が登録用帳票の画像データを取得する方法と同様であるためその説明を省略する。対象画像取得部１１は、取得した対象画像の画像データを予測部１５に出力する。

予測部１５は、対象画像の種別を予測する。予測部１５は、対象画像取得部１１から対象画像の画像データを取得する。予測部１５は、学習済みモデルパラメータ記憶部１８を参照することにより、学習部１４により生成された学習済みモデルを取得（再構築）する。予測部１５は、学習済みモデルに対象画像を入力して得られる出力を予測結果とする。予測部１５は、予測結果を種別分類部１６に出力する。

ここで、学習済みモデルは、予測結果を、その確信度と共に出力する。ここでの確信度とは、予測した種別の確からしさであり、例えば学習済みモデルが予測した種別である確率を示す情報である。例えば、モデルの活性化関数にＳｏｆｔｍａｘ関数を用いることにより、学習済みモデルから、予測結果の確立（確信度合い）を出力させることが可能である。例えば、学習済みモデルは、対象帳票が種別１（例えば、確定申告書）である確率が９０％である、という予測結果を出力する。例えば、学習済みモデルは、対象帳票が種別１（例えば、確定申告書）である確率が５５％で、種別２（例えば、審査請求書）である確率が４０％である、というような予測結果を出力する。なお、確信度は、少なくとも予測した種別の確からしさを示す度合いであればよく、確率に限定されない。例えば、確信度は、（確からしさが）「高い」か「低い」かを示す二値の情報であってもよいし、「高い」、「やや高い」、「やや低い」、「低い」等、複数のレベルを示す情報であってもよい。

種別分類部１６は、予測部１５からの予測結果に基づいて、対象帳票の種別を確定させる。種別分類部１６は、例えば、確信度が所定の閾値以上であるもののうち、最も確信度が高い種別を、その対象帳票の種別であると判定する。種別分類部１６は、確信度が所定の閾値未満である場合、その対象帳票の種別が不明であると判定する。種別分類部１６は、対象帳票の種別を判定した判定結果を、出力部１７を介して出力する。

ここで、種別分類部１６は、判定した種別に応じて、出力先を変更するようにしてもよい。例えば、種別分類部１６は、判定した種別がテキスト化の対象となる種別である場合、対象帳票の種別を判定した判定結果を亜種分類装置２０に出力する。一方、種別分類部１６は、判定した種別がテキスト化の対象とならない種別である場合には、判定結果を他の装置に出力する。他の装置は、例えば、テキスト化の対象としない帳票の画像データが集約されるデータベースである。

また、種別分類部１６は、確信度が所定の閾値未満である場合、その旨を示す警告を、作業者が知覚可能となるように、例えば図示しない表示部に表示させるようにしてもよい。これにより、種別分類部１６は、種別が不明の対象帳票があることを、作業者に知らせることができる。作業者は、警告に応じて、種別不明の対象帳票を目視で確認する等して、個別の対応を行う、或いは、学習済みモデルを再学習させるか等の対応を行うことが可能となる。なお、学習済みモデルを再学習させる場合には、学習用帳票に、種別不明の対象帳票と、その種別とを対応付けたデータセットを含めるようにする。これにより、再学習後の学習済みモデルにより、再学習前のモデルで種別不明と予測された帳票の種別を、精度よく予測することが可能となる。

図３は、実施形態の亜種分類装置２０の構成例を示すブロック図である。亜種分類装置２０は、例えば、対象画像取得部２１と、定義体登録用画像取得部２２と、罫線抽出部２３と、類似度算出部２４と、亜種クラスタリング部２５と、適合判定部２６と、亜種分類部２７と、出力部２８とを備える。

亜種分類装置２０が行う処理には、「事前準備」と、「分類実行」との２つの段階がある。「事前準備」の段階において、同一の種別に分類された対象帳票群を亜種ごとに分類する前に、分類の基準となる代表帳票と、その代表帳票に対応するＯＣＲ定義体とが準備される。「分類実行」の段階において、同一の種別に分類された対象帳票群を亜種ごとに分類する、実際の分類が亜種分類装置２０により行われる。以下、「事前準備」と、「分類実行」との２つの段階について、順に説明する。

（事前準備）
亜種分類装置２０は、事前準備として、代表帳票を選択する。代表帳票は、ＯＣＲ文字認識を行う場合に用いられるＯＣＲ定義体が生成される帳票である。代表帳票を基準として、代表帳票と似た特徴を有する亜種を、同じグループに分類することにより、その代表帳票に対応するＯＣＲ定義体を用いてＯＣＲ文字認識ができるようにする。

定義体登録用画像取得部２２は、ＯＣＲ定義体を登録するための帳票（以下、登録用帳票ともいう）の画像データを取得する。登録用帳票は、例えば、標準的なフォーマットとして既に公開されている帳票や、過去に利用された実績のある現物の帳票である。定義体登録用画像取得部２２は、例えば、亜種分類装置２０と接続されたスキャナにより読み取られた画像の情報を取得する。或いは、定義体登録用画像取得部２２は、外部のＤＢ（データベース）サーバ装置に蓄積された登録用帳票の画像データを、ネットワーク等を介して取得するようにしてもよい。定義体登録用画像取得部２２は、取得した登録用帳票の画像データを罫線抽出部２３に出力する。

罫線抽出部２３は、登録用帳票から罫線を抽出する。罫線抽出部２３は、既存の技術を用いて罫線を抽出する。例えば、罫線抽出部２３は、登録用帳票の画像データをＨｏｕｇｈ変換することにより罫線を抽出する。或いは罫線抽出部２３は、登録用帳票にラプラシアンフィルタやソーベル（Ｓｏｂｅｌ）フィルタを適用することにより、登録用帳票における罫線を抽出するようにしてもよい。罫線抽出部２３は、登録用帳票から抽出した罫線を示す情報を、登録用帳票に対応づけて、類似度算出部２４に出力する。

類似度算出部２４は、登録用帳票における罫線の特徴に基づいて、帳票同士の類似度を算出する。罫線の特徴は、特にＯＣＲ文字認識をさせる場合に、認識に用いられるような特徴的な罫線の態様であり、例えば、罫線の長さ、本数、矩形の位置やサイズ、個数などを示す情報である。類似度算出部２４は、例えば、これらの罫線の特徴を数値化（ベクトル表現）して高次元のベクトル空間上に配置する。類似度算出部２４は、罫線の特徴量がマッピングされたベクトル空間における帳票同士の相関量をコサイン、内積、距離等によって計算する。類似度算出部２４は、計算した相関量を、帳票同士の類似度とする。類似度算出部２４は、算出した類似度を亜種クラスタリング部２５に出力する。

亜種クラスタリング部２５は、類似度算出部２４によって算出された帳票同士の類似度に基づいて、クラスタ分析を行う。クラスタ分析は、異なる性質のものが混在している集団を、互いに似た性質を持ついくつかの集合に分類する手法である。

亜種クラスタリング部２５は、例えば、階層クラスタ分析を行う。すなわち、亜種クラスタリング部２５は、クラスタ分析をするにあたり、分類する集団の数（クラスタ数）を事前に設定しない。毎年のように亜種が発生する状況において、テキスト化対象の帳票群に対し、幾つのＯＣＲ定義体を定義して、幾つの亜種に分類すれば、ＯＣＲ認識が可能となるかは未知であるためである。亜種クラスタリング部２５は、クラスタ分析した結果を適合判定部２６、及び亜種分類部２７に出力する。

適合判定部２６は、クラスタ分析された個々の集団（同じ亜種と分類された帳票群）の異常検知を行う。ここでの異常検知とは、分類された帳票群の中から、極端に類似度が低いものが存在しているか否かを検知することである。同じ集団分類された帳票群のうち、類似度が高く互いに特徴が似ているものは同じＯＣＲ定義体を用いてＯＣＲ認識できる可能性が高いが、極端に類似度が低いものはＯＣＲ認識できる可能性が低いと考えられるためである。適合判定部２６は、同じ亜種と分類された帳票群が、同じＯＣＲ定義体を用いたＯＣＲ認識できるか、すなわち、同一のＯＣＲ定義体に適合するか否かを判定する。

適合判定部２６は、例えば、異常、つまり極端に類似度が低い帳票、が検出された場合、その旨を示す警告を、表示部に表示させるようにしてもよい。これにより、種別分類部１６は、同じ亜種として分類された帳票の中に極端に類似度が低い対象帳票があることを、作業者に知らせることができる。作業者は、警告に応じて、対象帳票を目視で確認する等して、個別の対応を行う等の対応を行うことができる。適合判定部２６は、判定結果を亜種分類部２７に出力する。

亜種分類部２７は、亜種クラスタリング部２５によるクラスタ分析の結果と、適合判定部２６による異常検知の結果とを用いて、登録用帳票を亜種ごとに分類する。亜種分類部２７は、クラスタ分析により分類された亜種の集団のそれぞれから、異常検知された帳票を取り除いた集団を、同じ亜種に分類された帳票群とする。なお、亜種分類部２７は、亜種クラスタリング部２５により階層クラスタ分析した結果から、どの階層の分類結果を用いるかを任意に決定してよい。亜種分類部２７は、例えば、同一の亜種として分類された帳票群の分布や、ＯＣＲ認識の精度等に応じて、ＯＣＲ定義体にて読み取り可能な範囲を決定する。亜種分類部２７は、亜種ごとに分類した分類結果を、出力部２８を介して、文字認識装置３０に出力する。

（分類実行）
亜種分類装置２０は、分類実行の段階において、対象帳票を亜種ごとに分類する。

対象画像取得部２１は、対象帳票の画像データを取得する。対象画像取得部２１が対象帳票の画像データを取得する方法は、定義体登録用画像取得部２２が登録用帳票の画像データを取得する方法と同様であるためその説明を省略する。対象画像取得部２１は、取得した対象画像の画像データを罫線抽出部２３に出力する。

罫線抽出部２３は、対象帳票から罫線を抽出する。罫線抽出部２３が対象帳票から罫線を抽出する方法は、登録用帳票から罫線を抽出する方法と同等であるため、その説明を省略する。罫線抽出部２３は、対象帳票から抽出した罫線を示す情報を、登録用帳票に対応づけて、類似度算出部２４に出力する。

類似度算出部２４は、対象帳票における罫線の特徴に基づいて、代表帳票との類似度を算出する。類似度算出部２４が類似度を算出する方法は、既に説明したため、その説明を省略する。類似度算出部２４は、算出した類似度を亜種クラスタリング部２５に出力する。

亜種クラスタリング部２５は、類似度算出部２４によって算出された対象帳票の帳票同士の類似度に基づいて、クラスタ分析を行う。亜種クラスタリング部２５がクラスタ分析を行う方法は既に説明したためその説明を省略する。亜種クラスタリング部２５は、クラスタ分析した結果を適合判定部２６、及び亜種分類部２７に出力する。

適合判定部２６は、クラスタ分析された個々の集団（同じ亜種と分類された帳票群）の異常検知を行う。適合判定部２６が異常検知を行う方法は既に説明したためその説明を省略する。適合判定部２６は、異常検知を行った結果を亜種分類部２７に出力する。

亜種分類部２７は、亜種クラスタリング部２５によるクラスタ分析の結果と、適合判定部２６による異常検知の結果とを用いて、対象帳票を亜種ごとに分類する。亜種分類部２７が亜種ごとに分類を行う方法は既に説明したためその説明を省略する。亜種分類部２７は、対象帳票を亜種ごとに分類した分類結果を、出力部２８を介して、文字認識装置３０に出力する。

図４は、実施形態の種別分類装置１０が行う処理の流れを示すフロー図である。図４には、事前準備の段階において、種別分類装置１０が学習済みモデルを生成する処理の流れが示されている。

種別分類装置１０は、事前準備の段階において、学習用帳票（学習用の帳票群）を取得する（ステップＳ１１）。種別分類装置１０は、学習用帳票を用いて、学習データ（学習用帳票）と教師データ（種別）とを対応させた、学習用のデータセットを生成する（ステップＳ１２）。種別分類装置１０は、学習モデルに、学習データ（学習用帳票）を入力する（ステップＳ１３）。種別分類装置１０は、学習モデルから得られる出力（種別の予測値）と、教師データ（種別の正解）との誤差に応じて、その誤差が小さくなるように学習モデルのパラメータを更新する（ステップＳ１４）。種別分類装置１０は、所定の終了条件を充足するか否かを判定する（ステップＳ１５）。ここでの終了条件とは、例えば、誤差が所定の閾値を下回ったこと、或いは、学習回数の上限に達したこと等である。種別分類装置１０は、終了条件を充足する場合、学習を終了する。種別分類装置１０は、終了条件を充足しない場合、ステップＳ１３に戻り学習を繰返す。

図５は、実施形態の帳票認識システム１が行う処理の流れを示すシーケンス図である。図５には、事前準備の段階において、ＯＣＲ定義体が登録される処理の流れが示されている。

亜種分類装置２０は、登録用帳票（定義体登録用の帳票）をクラスタ分析（亜種クラスタリング、と記載）する（ステップＳ２１）。亜種分類装置２０は、クラスタ分析した結果得られた集団（クラスタ）内の帳票から代表帳票を選択する（ステップＳ２２）。亜種分類装置２０は、例えば、クラスタ分析した結果得られた集団から、異常検知された帳票を除いた集団を生成する。亜種分類装置２０は、異常検知された帳票を除いた集団のなかで、最も共通した特徴を持つ帳票を代表帳票として選択する。最も共通した特徴を持つ帳票とは、例えば、特徴量のベクトル空間にマッピングされた帳票群の代表値（例えば、中央値）に最も近い位置に配置される帳票である。亜種分類装置２０は、集団（クラスタ）内の代表帳票を文字認識装置３０に出力する。文字認識装置３０は、亜種分類装置２０から取得した代表帳票に対応するＯＣＲ定義体を生成し、生成した定義体を記憶させるなどして登録する（ステップＳ２３）。

図６は、実施形態の亜種分類装置２０が行う処理の流れを示すフロー図である。図６には、図５のステップＳ２１～Ｓ２２に対応する処理の流れの詳細が示されている。

亜種分類装置２０は、複数の登録用帳票（定義体登録用の帳票群）を取得し（ステップＳ２１１）、取得した登録用帳票のそれぞれの画像データから罫線を抽出する（ステップＳ２１２）。亜種分類装置２０は、登録用帳票のそれぞれの帳票間の罫線の特徴量の類似度を算出する（ステップＳ２１３）。亜種分類装置２０は、類似度に基づくクラスタ分析（亜種クラスタリング）を行う（ステップＳ２１４）。

亜種分類装置２０は、同一のクラスタ内に分類された帳票のそれぞれに異常検知（適合判定）を行う（ステップＳ２２１）。亜種分類装置２０は適合判定の結果を用いてクラスタ内の代表帳票を選択する（ステップＳ２２２）。例えば、亜種分類装置２０は、異常検知（適合判定）の結果、他の帳票と比較して極端に類似度が低い帳票を、そのクラスタから取り除く。亜種分類装置２０は、極端に類似度が低い帳票を除いた後の帳票群から、集団内で共通する特徴を最も備えている帳票を、代表帳票として選択する。

図７は、実施形態の亜種分類装置２０が行う処理を説明する図である。図７には、クラスタ分析の結果が模式的に示されている。図７の横軸と縦軸とはそれぞれ特徴量を示している。図７は２次元の特徴量のベクトル空間である。図７に示す通り、ベクトル空間に、帳票を、その特徴量に応じてマッピングさせると、その距離に応じていくつかの集団に分類することができる。図７では、クラスタ分析の結果、クラスタＫ１～Ｋ５の５つの集団に分類された例が示されている。例えば、クラスタＫ２には、点Ｐ１～Ｐ５に対応する５つの帳票が含まれている。このうち、点Ｐ２～Ｐ４に対応する３つの帳票は互いの距離が近く、互いの類似度が高い。一方、点Ｐ１は、点Ｐ２～Ｐ４の点群からやや離れた距離にマッピングされており、点Ｐ２～Ｐ４に対応する３つの帳票と似ていない、つまり３つの帳票との類似度が低いと考えられる。点Ｐ５についても同様に、点Ｐ２～Ｐ４に対応する３つの帳票との類似度が低いと考えられる。この場合、適合判定部２６は、例えば、クラスタＫ２に分類された帳票から、点Ｐ１、Ｐ５に相当する帳票を極端に類似度が低い帳票として異常検知する。

図８は、実施形態の帳票認識システム１が行う処理の流れを示すシーケンス図である。図８には、分類実行の段階における帳票認識システム１の処理の流れが示されている。

種別分類装置１０は、学習済みモデルを用いて、対象帳票の種別を分類する（ステップＳ３０）。種別分類装置１０は分類結果を亜種分類装置２０に出力する。

例えば、種別分類装置１０は、種別１に分類された対象帳票のそれぞれ（種別１の帳票群）を示す情報を亜種分類装置２０－１に出力する。亜種分類装置２０－１は、種別１の帳票群をクラスタ分析して亜種ごとに分類する（ステップＳ３１）。亜種分類装置２０－１は、分類結果を文字認識装置３０に出力する。例えば、亜種分類装置２０－１は、種別１の亜種Ａに分類された対象帳票のそれぞれ（種別１の亜種Ａの帳票群）を示す情報を文字認識装置３０に出力する。亜種分類装置２０－１は、種別１の亜種Ｂに分類された対象帳票のそれぞれ（種別１の亜種Ｂの帳票群）を示す情報を文字認識装置３０に出力する。

例えば、種別分類装置１０は、種別２に分類された対象帳票のそれぞれ（種別１の帳票群）を示す情報を亜種分類装置２０－２に出力する。亜種分類装置２０－２は、種別２の帳票群をクラスタ分析して亜種ごとに分類する（ステップＳ３２）。亜種分類装置２０－２は、分類結果を文字認識装置３０に出力する。例えば、亜種分類装置２０－２は、種別２の亜種Ａに分類された対象帳票のそれぞれ（種別２の亜種Ａの帳票群）を示す情報を文字認識装置３０に出力する。亜種分類装置２０－２は、種別２の亜種Ｂに分類された対象帳票のそれぞれ（種別２の亜種Ｂの帳票群）を示す情報を文字認識装置３０に出力する。

例えば、種別分類装置１０は、種別Ｎに分類された対象帳票のそれぞれ（種別Ｎの帳票群）を示す情報を亜種分類装置２０－Ｎに出力する。亜種分類装置２０－Ｎは、種別Ｎの帳票群をクラスタ分析して亜種ごとに分類する（ステップＳ３３）。亜種分類装置２０－Ｎは、分類結果を文字認識装置３０に出力する。例えば、亜種分類装置２０－Ｎは、種別Ｎの亜種Ａに分類された対象帳票のそれぞれ（種別Ｎの亜種Ａの帳票群）を示す情報を文字認識装置３０に出力する。亜種分類装置２０－Ｎは、種別Ｎの亜種Ｂに分類された対象帳票のそれぞれ（種別Ｎの亜種Ｂの帳票群）を示す情報を文字認識装置３０に出力する。

文字認識装置３０は、亜種分類装置２０から取得した亜種ごとに、その亜種の代表帳票に対応するＯＣＲ定義体を用いて、その亜種に分類された帳票群をＯＣＲ文字認識させる（ステップＳ３４）。

図９は、実施形態の種別分類装置１０が行う処理の流れを示すフロー図である。図９には、図８のステップＳ３０に対応する処理の流れの詳細が示されている。

種別分類装置１０は、対象帳票を取得し（ステップＳ３０１）、取得した対象帳票のそれぞれの画像データを学習済みモデルに入力することにより種別を予測（推定）する（ステップＳ３０２）。種別分類装置１０は、学習済みモデルによって予測された種別の確信度が所定の閾値以上であるか否かを判定する（ステップＳ３０３）。種別分類装置１０は、確信度が所定の閾値以上である場合、予測された種別を、その対象帳票の種別として確定させる（ステップＳ３０４）一方、種別分類装置１０は、確信度が所定の閾値未満である場合、その対象帳票の種別を、その他の種別（種別不明）とする（ステップＳ３０５）。

図１０は、実施形態の種別分類装置１０が行う処理の流れを示すフロー図である。図１０には、図８のステップＳ３１（Ｓ３２、Ｓ３３）に対応する処理の流れの詳細が示されている。ここではステップＳ３１の処理を例に、処理の流れの詳細を説明する。ステップＳ３２、Ｓ３３についても同様の処理の流れである。

亜種分類装置２０－１は、種別ごとの対象帳票を取得し（ステップＳ３１１）、取得した対象帳票のそれぞれの画像データから罫線を抽出する（ステップＳ３１２）。亜種分類装置２０－１は、対象帳票と、代表帳票との類似度を算出する（ステップＳ３１３）。亜種分類装置２０－１は、類似度に基づくクラスタ分析（亜種クラスタリング）を行う（ステップＳ３１４）。亜種分類装置２０－１は、適合判定（異常検知）を行い（ステップＳ３１５）、異常検知の対象とならなかった帳票を、その亜種に分類された帳票として確定させる（ステップＳ３１６）。一方、亜種分類装置２０は、異常検知された帳票をその他の亜種（亜種不明）として分類するとする（ステップＳ３１７）。

以上説明したように、実施形態の帳票認識システム１は、対象画像取得部１１と、種別分類部１６と、罫線抽出部２３（「特徴抽出部」の一例）と、亜種分類部２７とを備える。対象画像取得部１１は、対象帳票を取得する。種別分類部１６は、学習済みモデルを用いて、対象帳票の種別を分類する。学習済みモデルは、学習用帳票を入力させることにより得られる出力が、当該学習用帳票に対応する種別に近づくように学習されたモデルであって、入力された帳票の種別を予測するモデルである。罫線抽出部２３は、対象帳票の特徴を抽出する。亜種分類部２７は、種別分類部１６による分類結果、及び罫線抽出部２３による抽出結果に基づき、代表帳票のＯＣＲ定義体（予め登録された文字認識の定義体）に対応する帳票の特徴との類似度合いを用いてクラスタ分析（機械学習）を行うことにより対象帳票を分類する。

これにより、実施形態の帳票認識システム１では、代表帳票のＯＣＲ定義体との類似度に基づいて、代表帳票に似ている帳票群を、１つの亜種として分類することができる。このため、亜種として分類された帳票群を、代表帳票に対応するＯＣＲ定義体を用いてＯＣＲ文字認識させることができ、文字認識が誤る事例を低減させることが可能である。したがって、ＯＣＲ文字認識に用いる定義体を補正することなく、ＯＣＲ文字認識ができるように亜種を仕分けることができる。

また、実施形態の帳票認識システム１では、亜種分類部２７は、罫線抽出部２３によって抽出された罫線の特徴と、代表帳票（ＯＣＲ定義体に対応する帳票）における罫線の特徴との類似度合いを用いたクラスタ分析を行うことにより、対象帳票を分類する。これにより、実施形態の帳票認識システム１では、教師データを用意することなく、類似度に応じた分類が可能となり、手間を抑えた分類を行うことができる。

また、実施形態の帳票認識システム１では、代表帳票は、登録用帳票に、クラスタ分析を行うことにより得られるクラスタ内の帳票から選択された帳票である。これにより、実施形態の帳票認識システム１では、亜種として同一集団に分類された帳票群の中から、その帳票群が共通に有する特徴をもつ帳票を、代表帳票選択することができる。したがって、同一集団に分類された帳票群を、同じＯＣＲ定義体で文字認識させることが可能となる。

また、実施形態の帳票認識システム１は、適合判定部２６を更に備える。適合判定部２６は、亜種分類部２７による分類結果に基づき、代表帳票と同一グループに分類された亜種が、代表帳票に対応するＯＣＲ定義体を用いた文字認識に適合するか否かを判定する。これにより、実施形態の帳票認識システム１では、同じＯＣＲ定義体で文字認識させることが困難な帳票をそのグループから取り除くことができ、ＯＣＲ文字認識が誤りとなる事象を低減させることが可能である。

また、実施形態の帳票認識システム１では、適合判定部２６は、代表帳票と同一グループに分類された対象帳票における罫線の特徴と、代表帳票における罫線の特徴との類似度合いに基づき、適合するか否かを判定する。これにより、実施形態の帳票認識システム１では、代表帳票と罫線の特徴が似ていない帳票を適合しないとして異常検知することができ、より精度よくＯＣＲ文字認識を行うことが可能となる。

また、上述した実施形態では、種別ごとに分類した後に、同一種別のなかで亜種ごとに分類を行う場合を例示して説明した。しかしながらこれに限定されることはない。種別に分類することなく、様々な種別の帳票が混在しているなかから、直接、亜種ごとの分類を行うようにしてもよい。この構成であっても、罫線の構成が同一で、帳票のタイトルのみが異なる複数の帳票が存在するなどの特殊なケースを除き、事前に選択した代表帳票に対応するＯＣＲ定義体で読み込み可能な亜種ごとの分類を行うことが可能である。

なお、上述した実施形態では、外部のＤＢ（データベース）サーバ装置に種々のデータ（学習用帳票の画像データ、登録用帳票の画像データ等）を蓄積させ、帳票認識システム１がネットワーク等を介して当該種々のデータを取得する構成について説明した。この場合における外部のＤＢサーバ装置は、任意のコンピュータ装置であってよいが、例えば、ネットワークに接続されるストレージ装置、いわゆるＮＡＳ（Network Attached Storage）などであってよい。ＮＡＳにはファイルシステムやネットワーク通信機能が備えられている。このため、帳票認識システム１への導入が容易であり、蓄積させるデータの容量に応じて追加することも容易である。また、帳票認識システム１の異なる種類の複数の装置（種別分類装置１０、亜種分類装置２０、及び文字認識装置３０など）のそれぞれからのデータを、当該複数の装置のそれぞれで共有させることが容易となる。

上述した実施形態における帳票認識システム１の全部又は一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

１ 帳票認識システム
１０ 種別分類装置
１１ 対象画像取得部
１６ 種別分類部
２０ 亜種分類装置
２１ 対象画像取得部
２３ 罫線抽出部
２７ 亜種分類部
３０ 文字認識装置

Claims (7)

1. 仕分対象の帳票である対象帳票を取得する取得部と、
   学習済みモデルを用いて、前記対象帳票の種別を分類する種別分類部と、
   前記対象帳票の特徴を抽出する特徴抽出部と、
   前記種別分類部による分類結果、及び前記特徴抽出部による抽出結果に基づき、予め登録された文字認識の定義体に対応する帳票の特徴との類似度合いを用いて機械学習を行うことにより前記対象帳票を分類する亜種分類部と、
   を備え、
   前記学習済みモデルは、学習用帳票を入力させることにより得られる出力が、当該学習用帳票に対応する種別に近づくように学習されたモデルであって、入力された帳票の種別を予測するモデルである、
   ことを特徴とする帳票仕分システム。
2. 前記亜種分類部は、前記特徴抽出部によって抽出された罫線の特徴と、前記定義体に対応する帳票における罫線の特徴との類似度合いを用いたクラスタ分析を行うことにより前記対象帳票を分類する、
   請求項１に記載の帳票仕分システム。
3. 前記定義体に対応する帳票は、登録用帳票に上記クラスタ分析を行うことにより得られるクラスタ内の帳票から選択された帳票である、
   請求項２に記載の帳票仕分システム。
4. 前記亜種分類部による分類結果に基づき、前記定義体に対応する帳票と同一グループに分類された前記対象帳票が、前記定義体を用いた文字認識に適合するか否かを判定する適合判定部を更に備える、
   請求項１から請求項３のいずれか一項に記載の帳票仕分システム。
5. 前記適合判定部は、前記定義体に対応する帳票と同一グループに分類された前記対象帳票における罫線の特徴と、前記定義体に対応する帳票における罫線の特徴との類似度合いに基づき、前記定義体を用いた文字認識に適合するか否かを判定する、
   請求項４に記載の帳票仕分システム。
6. 取得部が、仕分対象の帳票である対象帳票を取得し、
   種別分類部が、学習済みモデルを用いて、前記対象帳票の種別を分類し、
   特徴抽出部が、前記対象帳票における罫線の特徴を抽出し、
   亜種分類部が、前記種別分類部による分類結果、及び前記特徴抽出部による抽出結果に基づき、予め定義された文字認識の定義体に対応する帳票との類似度合を用いて機械学習を行うことにより前記対象帳票を分類する、
   帳票仕分方法であって、
   前記学習済みモデルは、学習用帳票を入力させることにより得られる出力が、当該学習用帳票に対応する種別に近づくように学習されたモデルであって、入力された帳票の種別を予測するモデルである、
   ことを特徴とする帳票仕分方法。
7. コンピュータを、
   仕分対象の帳票である対象帳票を取得する取得手段、
   学習済みモデルを用いて、前記対象帳票の種別を分類する種別分類手段、
   前記対象帳票における罫線の特徴を抽出する特徴抽出手段、
   前記種別分類手段による分類結果、及び前記特徴抽出手段による抽出結果に基づき、予め定義された文字認識の定義体に対応する帳票との類似度合を用いて機械学習を行うことにより前記対象帳票を分類する亜種分類手段、
   として機能させるためのプログラムであって、
   前記学習済みモデルは、学習用帳票を入力させることにより得られる出力が、当該学習用帳票に対応する種別に近づくように学習されたモデルであって、入力された帳票の種別を予測するモデルである、
   プログラム。

Images