JP7312646B2 - 情報処理装置、文書識別方法、及び情報処理システム - Google Patents

Description

本発明は、情報処理装置、文書識別方法、及び情報処理システムに関する。

特許文献１には、光学文字認識（ＯＣＲ：Optical Character Recognition）の技術
を用いて紙ベースの文書から属性を読み出す方法に関して記載されている。

特許文献２には、顧客の請求書を電子的に提示する方法であって、顧客から電子的な請求書及び紙の請求書を受け取り、紙の請求書から電子イメージ情報を生成し、スキャンすることにより電子イメージ情報から第１ＯＣＲデータを抽出し、スキャンされた紙幣の種類の少なくとも１つの数値識別子を第１ＯＣＲデータから検索し、数値識別子の比較結果からスキャンされた紙の請求書のタイプを特定し、特定されたタイプに対応するテンプレートを用いて電子イメージ情報から第２ＯＣＲデータを抽出し、第２ＯＣＲデータから請求書情報を抽出し、請求書情報と知られた情報とを比較し、電子的な請求書及び請求書情報とを組み合わせた顧客請求提示を提示することが記載されている。

特許文献３には、紙に記載された文書から電子申請で必要な文字列を抽出する計算機に関して記載されている。計算機は、テンプレート情報及び辞書情報を保持し、紙に記載された文書の画像データに対して文字認識処理を実行し、文字認識処理の結果及び複数のテンプレートを用いて、複数のテンプレートの夫々に定義された属性の種別に対応する属性を抽出し、複数のテンプレートの夫々について抽出された属性に関するスコアを算出し、スコアに基づき属性の抽出精度が最も高いテンプレートを選択し、選択されたテンプレートを用いて抽出された属性を含む出力情報を生成する。

米国特許第８６３０９４９号明細書 特開２００４－１７１３１６号公報 特開２０１８－２０５９１０号公報

F.Kimura et. al. "Modified quadratic discriminant functions and the application to chinese character recognition"IEEETransaction on Pattern Analysis and Machine Intelligence、vol.9、 pp.149-153 高橋他、「回帰的遷移通信ネットワークを用いた文字経路探索方式の開発」、電子情報通信学会技術研究報告 Vol.109 No.418 pp.141-146

デジタル化の進展に伴い電子申請を利用する機会が増加している。電子申請では、対象の書類等が全てデジタル化されているわけではなく、紙ベースの文書又は紙をスキャンすることによって作成された画像（以下、「文書画像データ」と称する。）が使用されている場合が多い。

例えば、企業における出納業務では、申請者が請求者から請求書を受け取り、申請者が請求者への請求金額の支払いを記載した請求書を電子申請により財務部門に提出し、財務部門に所属する人間が、請求書に記載された属性を確認し、電子申請が適正であると判断
した場合、企業から請求者に請求金額を支払う、といった手続きが行われている。

しかしこうした紙ベースの文書を取り扱う電子申請においては、紙ベースの文書を人が確認する必要があるため業務効率が低く、また業務に要するコストも大きい。

特許文献２では、スキャンされた紙の請求書のタイプを特定し、特定されたタイプに対応するテンプレートを用いて電子イメージ情報（文書画像データ）からＯＣＲデータを抽出し、ＯＣＲデータから請求書情報を抽出し、請求書情報と知られた情報とを比較し、電子的な請求書及び請求書情報とを組み合わせた顧客請求提示を提示することにより、電子申請の業務において人が行う処理の工数を削減して業務の効率を改善し、業務に要するコストの削減を図る。

しかし特許文献２に記載の技術では、最適なテンプレートを選択できないことにより属性の抽出精度が低くなり、業務効率の改善及び業務に要するコストの削減効果が低下してしまう課題がある。

特許文献３では、複数のテンプレートの夫々について抽出された属性に関するスコアに基づき属性の抽出精度が最も高いテンプレートを選択し、選択されたテンプレートを用いて抽出された属性を含む出力情報を生成することにより、特許文献２の課題の解決を図る。

しかし上記のテンプレートは、ユーザが帳票ごとにマウスで１つ１つの項目を指定して登録する必要があり、とくに業務規模が大きく帳票の種類が数千から数万に上る場合、ユーザは多大な労力とコストを強いられる。

本発明は、こうした背景に鑑みてなされたものであり、文書画像データからの情報の抽出に際して用いるテンプレートを効率よく生成することが可能な、情報処理装置、文書識別方法、及び情報処理システムを提供することを目的とする。

上記目的を達成するための本発明の一つは、紙に記載された文書の特徴を示す文字列である属性を抽出する情報処理装置であって、プロセッサ及び前記プロセッサと接続される記憶装置を備え、前記記憶装置は、少なくとも１つ以上の属性の種別が定義された複数のテンプレートを管理するテンプレート情報、及び前記属性として抽出される文字列を定義する辞書情報を記憶し、前記テンプレート情報は、前記テンプレートの識別情報、前記属性の種別を示す識別情報、及び前記属性の種別に対応する属性の紙面上の位置を示す位置情報から構成されるエントリを複数含み、前記プロセッサは、前記紙に記載された文書の画像データである文書画像データに対して文字認識処理を実行し、前記文字認識処理の結果及び前記複数のテンプレートを用いて、前記複数のテンプレートの夫々に定義された前記属性の種別に対応する属性を抽出し、前記辞書情報、前記テンプレート情報、及び前記抽出された属性を用いて、前記複数のテンプレートの夫々について、前記抽出された属性に関するスコアを算出し、前記スコアに基づき、前記複数のテンプレートの中から属性の抽出精度が最も高いテンプレートを選択し、前記選択されたテンプレートを用いて抽出された属性を含む出力情報を生成し、前記記憶装置は、前記テンプレートの候補となる複数のテンプレート候補を記憶し、前記プロセッサは、前記複数のテンプレート候補の夫々が含む前記属性の数を求め、前記属性の数が同じテンプレート候補をグループ化し、前記属性の数が最大のグループに属する前記テンプレート候補を選出し、選出した前記テンプレート候補に基づき前記テンプレートを生成し、前記記憶装置は、生成した前記テンプレートを前記テンプレート情報として記憶する。

その他、本願が開示する課題、及びその解決方法は、発明を実施するための形態の欄、及び図面により明らかにされる。

本発明によれば、文書画像データからの情報の抽出に際して用いるテンプレートを効率よく生成することができる。

文書審査システムの概略的な構成を示す図である。 計算機のハードウェア構成及びソフトウェア構成を説明する図である。 テンプレート情報のデータ構造の一例を示す図である。 単語辞書のデータ構造の一例を示す図である。 表記辞書のデータ構造の一例を示す図である。 文書審査処理の概要を説明するフローチャートである。 文書サマリ情報生成処理を説明する図である。 ＯＣＲ要素のデータ構造の一例を示す図である。 特徴ベクトルのデータ構造の一例を示す図である。 文書サマリ情報生成処理を説明するフローチャートである。 ＯＣＲ処理の一例を説明するフローチャートである。 スコア算出処理を説明するフローチャートである。 代表ＯＣＲ要素選択処理の一例を説明するフローチャートである。 テンプレート自動生成処理の一例を説明するフローチャートである。 テンプレート候補蓄積処理の一例を説明するフローチャートである。 テンプレート候補蓄積処理を説明する図である。 テンプレート候補情報の一例である。 テンプレート登録処理を説明する図である。 属性照合によるテンプレート候補選出処理の一例を説明するフローチャートである。 属性照合によるテンプレート候補選出処理を説明する図である。 位置照合によるテンプレート候補選出処理の一例を説明するフローチャートである。 位置照合によるテンプレート候補選出処理を説明する図である。 第２実施形態のテンプレート候補蓄積処理を説明するフローチャートである。 色情報抽出処理の詳細を説明するフローチャートである。 色情報抽出処理を説明する図である。 第２実施形態のテンプレート候補情報の一例である。 第２実施形態のテンプレート登録処理を説明するフローチャートである。 色情報照合によるテンプレート候補選出処理の詳細を説明するフローチャートである。 色情報照合によるテンプレート候補選出処理を説明する図である。 閾値設定画面の一例を示す図である。 出力画面の一例を示す図である。

以下、実施形態について図面を参照しつつ説明する。尚、以下の説明において、同一又は類似の機能を有する構成について同一の符号を付すことにより重複した説明を省略することがある。以下の説明において、符号の前に付した「Ｓ」の文字は処理ステップを意味する。

［第１実施形態］
図１に第１実施形態として説明する情報処理システム（以下、「文書審査システム１」と称する。）の概略的な構成を示している。文書審査システム１は、計算機１００（情報処理装置）、入力端末１１０、クライアント端末１２０、及びスキャナ１３０を含む。計算機１００、入力端末１１０、及びクライアント端末１２０は、通信ネットワーク１５０を介して互いに通信可能な状態で接続されている。スキャナ１３０は、計算機１００に通信可能な状態で接続されている。

通信ネットワーク１５０は、例えば、無線又は有線の通信基盤を用いて構成され、例えば、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネット等
である。スキャナ１３０は、計算機１００に直接接続されてもよいし、また通信ネットワーク１５０を介して接続されてもよい。

文書審査システム１に含まれる計算機１００、入力端末１１０、クライアント端末１２０、及びスキャナ１３０の数は任意の数に設定することができる。

計算機１００は、電子申請に関する各種の処理を実行する。クライアント端末１２０は、電子申請を行うユーザ（申請者）が操作する端末である。ユーザは、クライアント端末１２０を操作して電子申請に必要な文書を入力する。ユーザは、電子申請を行う会社や行政施設等の組織に直接文書を提出してもよい。文書は、例えば、請求書、領収書、源泉徴収票、及び税金通知等であるが、文書の種類は限定されない。

電子申請時に入力される文書には、電子申請の審査に用いる文字列（１文字の場合を含む。以下同様。）である属性が複数含まれている。例えば、文書が請求書の場合、請求金額、請求者、請求宛先、振込先を指定する銀行名、支店名、口座種別、及び口座番号等の文字列が属性として含まれる。尚、文書審査システム１において、属性は、属性の種別（識別情報）と、属性として抽出される文字列とを対応づけて管理される。

入力端末１１０は、計算機１００を管理する管理者が操作する端末である。スキャナ１３０は、紙の文書から画像データ（以下、「文書画像データ７０１」と称する。）を生成する。尚、本実施形態では、文書画像データ７０１はカラー画像データであるものとする（例えば、銀行の帳票には枠線等がカラー印刷されたものが含まれる。）。スキャナ１３０は、フラットベッドスキャナ及びオートシートフィーダ付きのスキャナ等であるが、スキャナ１３０の種類は必ずしも限定されない。例えば、スキャナ１３０の代わりにＣＣＤ（Charge Coupled Device）等の素子を用いて画像を撮影するデジタルカメラを画像入力
装置として用いてもよい。文書画像データ７０１の画像形式は問わない。

図２は、第１実施形態の計算機１００のハードウェア構成及びソフトウェア構成を説明する図である。同図に示すように、計算機１００は、プロセッサ２０１、主記憶装置２０２、副記憶装置２０３、通信インタフェース２０４、入力装置２０５、及び出力装置２０６を有する。各ハードウェアは、内部バス等を介して互いに接続される。図２では、各ハードウェアの数は１つとしているが、２つ以上でもよい。計算機１００は、クラウドシステム（Cloud System）が提供するクラウドサーバ（Cloud Server）等により実現される仮想的な情報処理装置でもよい。計算機１００では、例えば、オペレーティングシステム、デバイスドライバ、ファイルシステム、ＤＢＭＳ（DataBase Management System）等が導入されていてもよい。入力端末１１０及びクライアント端末１２０のハードウェア構成は、計算機１００と同様である。

プロセッサ２０１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmab
le Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＡＩ（Artificial Intelligence）チップ等を用いて構成される。プロセッサ２０１は、主記憶装置
２０２に格納されるプログラムを実行する。プロセッサ２０１がプログラムにしたがって処理を実行することによって、各種の機能を実現するモジュールとして動作する。以下の説明では、処理部であるモジュールを主語として処理を説明する場合、プロセッサ２０１が当該モジュールを実現するプログラムを実行していることを示す。モジュールの機能は、ＦＰＧＡやＡＳＩＣ等を用いてハードウェアとして実現してもよい。

主記憶装置２０２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、不揮発性メモリ（ＮＶＲＡＭ（Non Volatile RAM））等である。主記憶装置２０２は、プロセッサ２０１が実行するプログラム及びモジュールが使用する情報（データ）を記憶する。また主記憶装置２０２は、モジュールが一時的に使用するワークエリアを含む。

同図に示すように、主記憶装置２０２は、文書審査モジュール２１１、学習処理モジュール２１２、及びテンプレート生成モジュール２１３を実現するプログラムを記憶する。また主記憶装置２０２は、テンプレート情報２２１、単語辞書２２２、表記辞書２２３、及びテンプレート候補情報２２４を記憶する。

文書審査モジュール２１１は、電子申請の審査に関する処理を実現する。文書審査モジュール２１１が実行する処理の詳細については後述する。

学習処理モジュール２１２は、データの選択方法や抽出方法、及び分類方法に関する各種の機械学習を実行する。尚、機械学習のアルゴリズムは、例えば、ロジスティック回帰、ランダムフォレスト、デシジョンフォレスト、デシジョンジャングル、ブーストデシジョンツリー、ニューラルネットワーク、ディープニューラルネットワーク、平均化パーセプトロン、サポートベクタマシン、ローカル詳細サポートベクタマシン、及びベイズポイントマシン等である。

テンプレート生成モジュール２１３は、テンプレートの自動生成に関する処理を実現する。

テンプレート情報２２１は、文書審査に使用する文字列を文書から読み出すためのテンプレートを管理する情報である。テンプレート情報２２１の詳細については後述する。

単語辞書２２２及び表記辞書２２３は、属性として抽出する文字列が定義された情報であり、後述するスコアの算出時等に使用される情報である。単語辞書２２２及び表記辞書２２３の詳細については後述する。

副記憶装置２０３は、ハードディスクドライブ、ＳＳＤ（Solid State Drive）、光学
式記憶装置（ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）等）、ストレージシステム、ＩＣカード、ＳＤカードや光学式記録媒体等の記録媒体の読取／書込装置、クラウドサーバの記憶領域等である。主記憶装置２０２に格納されるプログラム及び情報は、副記憶装置２０３に格納されてもよい。この場合、プロセッサ２０１が、副記憶装置２０３からプログラム及び情報を読み出し、主記憶装置２０２にロードする。

通信インタフェース２０４は、通信ネットワーク１５０を介して行われる他の装置との間の通信を実現する、有線方式または無線方式の通信インタフェースであり、各種無線通信モジュール、ＮＩＣ（Network Interface Card）、ＵＳＢモジュール、シリアル通信モジュール等である。

入力装置２０５は、計算機１００に対してデータを入力するための装置である。例えば、入力装置２０５は、キーボード、マウス、及びタッチパネル等を含む。

出力装置２０６は、データの入力画面及び処理結果等を出力する装置である。出力装置２０６は、タッチパネル及びディスプレイ等を含む。

図３は、テンプレート情報２２１のデータ構造の一例である。同図に示すように、テンプレート情報２２１は、テンプレート番号３０１、属性３０２、及び位置情報３０３から構成されるエントリ（レコード）を含む。１つのエントリは１つのテンプレートに対応している。１つのエントリには、テンプレートにおいて定義された属性の行が１つ以上含まれる。

テンプレート番号３０１は、テンプレートを一意に識別する識別情報を格納するフィールドである。本例では、テンプレートの識別情報は、エントリの識別情報としても用いられる。

属性３０２は、テンプレートに含まれる属性の種別を表す情報である属性名称を格納するフィールドである。

位置情報３０３は、属性の種別に対応する属性の紙面上の位置に関する情報を格納するフィールドである。例えば、矩形領域の右上及び左上の座標や、矩形領域の左上及び右下の座標が、位置情報３０３に格納される。尚、座標は、相対座標でもよいし、絶対座標でもよい。また位置情報３０３には、複数の位置を指定する情報が格納されてもよい。位置情報３０３に格納される情報に限定されない。例えば、エントリは、属性の長さ及び属性が記載されている範囲等を格納するフィールドを含んでいてもよい。

図４は、単語辞書２２２のデータ構造の一例を示す図である。単語辞書２２２は、属性として抽出する単語を定義する情報であり、属性４０１及び文字列４０２から構成されるエントリを含む。１つのエントリが１つの属性に対応する。

属性４０１は、属性名称を格納する。文字列４０２は、属性４０１に分類される単語（文字列）を格納する。

図５は、表記辞書２２３のデータ構造の一例を示す図である。表記辞書２２３は、属性として抽出する数値に対応する文字列を定義する情報であり、属性５０１及び表記５０２から構成されるエントリを含む。１つのエントリが１つの属性に対応する。属性５０１は、属性名称を格納する。表記５０２は、属性５０１に分類される数値（文字列）の表記ルールを格納する。

図６は、計算機１００が実行する文書審査処理Ｓ１００の概要を説明するフローチャートである。

まず文書審査モジュール２１１は、ユーザが操作するクライアント端末１２０から、電子申請の要求を受け付ける（Ｓ１０１）。電子申請の要求には、審査の対象となる文書の文書画像データ７０１が含まれる。文書画像データ７０１が外部の記憶装置に格納されている場合、ユーザは、文書画像データ７０１の識別情報を電子申請の要求に含めてもよい。またユーザは、紙の文書を提出してもよく、その場合、計算機１００は、スキャナ１３０を用いて紙の文書をスキャンして文書画像データ７０１を生成する。

続いて、文書審査モジュール２１１は、文書サマリ情報生成処理Ｓ１０２を実行する。文書サマリ情報生成処理Ｓ１０２では、後続する電子申請の審査処理Ｓ１０３において計算機１００が参照する情報である文書サマリ情報７０５が生成される。

文書サマリ情報７０５は、文書画像データ７０１から抽出された属性をまとめた情報である。例えば、文書画像データ７０１が請求書をスキャンした画像データである場合、請求金額、請求者名、被請求者名、振込先の、銀行名、支店名、口座種別、口座番号等に対応する属性（文字列）が、文書サマリ情報７０５に含まれる。また例えば、文書画像データ７０１が領収書をスキャンした画像データである場合、文書サマリ情報７０５には、金額、物を購入した人又は組織の名称やサービスの提供を受けた人又は組織の名称、物の販売又はサービスの提供を行った人又は組織の名称等に対応する属性（文字列）が含まれる。また例えば、文書画像データ７０１が源泉徴収票をスキャンした画像データである場合、文書サマリ情報７０５には、人の氏名、人が所属する組織の名称、人の収入額、及び人の減収徴収額等に対応する属性（文字列）が含まれる。

計算機１００は、文書サマリ情報７０５を用いて電子申請の審査に関する処理を行う（Ｓ１０３）。計算機１００は、例えば、審査の結果として「許可」及び「拒絶」のいずれかの応答をユーザに出力する。

図７は、図６の文書サマリ情報生成処理Ｓ１０２を説明する図である。

同図に示すように、まず文書審査モジュール２１１は、入力された文書画像データ７０１に対してＯＣＲ処理を実行する（Ｓ１）。

続いて、文書審査モジュール２１１は、ＯＣＲ処理の結果とテンプレート情報２２１とに基づき、各テンプレートに含まれる属性に関するスコアを算出する（Ｓ２）。後述するように、本例では、１つの属性に対して観点の異なる複数のスコアが算出される。文書審査モジュール２１１は、属性とスコアを対応付けた情報であるＯＣＲ要素７０２を生成する。図７に示す１つの矩形は１つのＯＣＲ要素７０２に対応する。

図８にＯＣＲ要素７０２のデータ構造の一例を示す。同図に示すように、ＯＣＲ要素７０２は、属性８１１、項目値８１２、位置８１３、及びスコア８１４を含む。

属性８１１は、属性名称を格納するフィールドである。項目値８１２は、文書から抽出された属性（文字列）を格納するフィールドである。位置８１３は、紙面上の属性の位置を格納する。スコア８１４は、テンプレートを用いて抽出された属性（文字列）に関連する各種のスコアを格納するフィールド群である。本例では、表記スコア、単語スコア、位置スコア、面積スコア、項目スコア、及び出現回数スコアが算出される。尚、ＯＣＲ要素７０２には、例示する全てのスコアが含まれていなくてもよく、例えば、表記スコア、単語スコア、及び位置スコアのみを含むＯＣＲ要素７０２でもよい。

表記スコアは、属性が表記辞書２２３に登録された表記ルールに一致する度合いを表す値である。単語スコアは、属性が単語辞書２２２に登録された単語と一致する度合いを表す値である。位置スコアは、文書画像データ７０１における属性の位置と、テンプレートにおける属性の位置とのズレの度合いを表す値である。面積スコアは、属性を含む矩形領域の面積に関連する値である。項目スコアは、文書画像データ７０１とテンプレートとの間での、属性の種別が同一である属性間の距離に関連する値である。出現回数スコアは、文書画像データ７０１とテンプレートとの間での、属性の出現回数に関する値である。

図７に戻り、続いて、文書審査モジュール２１１は、各テンプレートのＯＣＲ要素７０
２に基づき、文書サマリ情報７０５の生成に適したテンプレートを選択する。さらに、文書審査モジュール２１１は、選択されたテンプレートに含まれる各属性の種別のＯＣＲ要素７０２の中から代表ＯＣＲ要素７０３を選択する（Ｓ３）。図７に示す１つの矩形は１つの代表ＯＣＲ要素７０３に対応する。代表ＯＣＲ要素７０３は属性毎に選択される。例えば、選択されたテンプレートに３つ（３種類）の属性が含まれる場合、３つの代表ＯＣＲ要素７０３が選択される。

続いて、文書審査モジュール２１１は、代表ＯＣＲ要素７０３を用いて特徴ベクトル７０４と文書サマリ情報７０５を算出する（Ｓ４）。文書サマリ情報７０５は、代表ＯＣＲ要素７０３の属性８１１及び項目値８１２等をまとめることにより生成される。

図９に文書審査モジュール２１１が生成する特徴ベクトル７０４のデータ構造の一例を示す。同図に示すように、特徴ベクトル７０４は、各代表ＯＣＲ要素７０３のスコアを成分とするベクトルを含む。

ところで、以上の仕組みにより生成された文書サマリ情報７０５は、電子申請の審査に使用できる程度に信頼性を有しているとは限らず、実際の業務においては、信頼性を示す指標をユーザに提示して確認を促す必要がある。本例では、文書審査モジュール２１１が、生成された文書サマリ情報７０５の信頼性（確信度）を評価し（Ｓ５）、その結果を評価値として文書サマリ情報７０５とともに出力する（Ｓ６）。これにより電子申請に関する業務をスムーズに進行させることができる。

文書審査モジュール２１１は、特徴ベクトル７０４を評価式に代入することにより評価値を算出する。評価式は、１つ以上のパラメータを用いて定義される。尚、評価式のパラメータは、予め設定されているものとする。また別の方法として、文書審査モジュール２１１が、学習済の機械学習モデルを用いて評価値を算出するようにしてもよい。

ユーザは、出力された評価値に基づき、例えば、次のようにして文書サマリ情報７０５の取り扱いを決定して審査の作業を進める。例えば、評価値が予め設定された第１閾値以上である場合、ユーザは、文書サマリ情報７０５の信頼性が高いと判断し、生成された文書サマリ情報７０５について修正を行わない（以下、この取り扱いのことを「ケース０」と称する。）。また例えば、評価値が第１の閾値未満であり、かつ、予め設定された第２の閾値以上である場合、ユーザは、１人の管理者が文書サマリ情報を入力する取り扱い（以下、この取り扱いのことを「ケース１」と称する。）とする。即ちこの場合、１人の管理者が文書画像データ７０１等を参照して作成した文書サマリ情報を、入力端末１１０を操作して計算機１００に入力する。また例えば、評価値が第２の閾値未満である場合、ユーザは、２人の管理者が文書サマリ情報の入力を入力する取り扱い（以下、この取り扱いのことを「ケース２」と称する。）とする。この場合、２人の管理者が文書画像データ７０１等を参照して作成した文書サマリ情報を、入力端末１１０を操作して計算機１００に入力する。

図７に戻り、文書審査モジュール２１１が評価した評価値が予め設定された第３閾値未満である場合、テンプレート生成モジュール２１３は、文書画像データ７０１に基づきテンプレートを自動生成する（Ｓ７）。ユーザは第３閾値を任意に設定することができるが、例えば、第１閾値又は第２閾値以下の値とする。尚、テンプレートの自動生成に関する処理の詳細については後述する。

図１０は、図６及び図７に示した文書サマリ情報生成処理Ｓ１０２の一例を説明するフローチャートである。

まず文書審査モジュール２１１は、文書画像データ７０１から計算機１００が扱うことができる文字列群のデータを抽出する処理（以下、「ＯＣＲ処理Ｓ２０１」と称する。）を行う。ＯＣＲ処理Ｓ２０１の詳細については後述する。

次に、文書審査モジュール２１１は、テンプレート情報２２１から１つのテンプレートを選択する（Ｓ２０２）。例えば、文書審査モジュール２１１は、テンプレート情報２２１の先頭のエントリから順に選択する。

続いて、文書審査モジュール２１１は、前述したスコアを算出する処理（以下、「スコア算出処理Ｓ２０３」と称する。）を行う。スコア算出処理Ｓ２０３の詳細については後述する。

続いて、文書審査モジュール２１１は、全てのテンプレートについて処理が完了したか否かを判定する（Ｓ２０４）。全てのテンプレートについて処理が完了していないと判定された場合（Ｓ２０４：ＮＯ）、処理はＳ２０２に戻る。全てのテンプレートについて処理が完了したと判定された場合（Ｓ２０４：ＹＥＳ）、文書審査モジュール２１１は、代表となるＯＣＲ要素（以下、「代表ＯＣＲ要素」と称する。）を選択する処理（以下、「代表ＯＣＲ要素選択処理Ｓ２０５と称する」）を行う。代表ＯＣＲ要素選択処理Ｓ２０５の詳細については後述する。

続いて、文書審査モジュール２１１は、代表ＯＣＲ要素７０３を用いて特徴ベクトル７０４を生成するとともに（Ｓ２０６）、文書サマリ情報７０５を生成する（Ｓ２０７）。

続いて、文書審査モジュール２１１は、特徴ベクトルの評価処理（以下、「特徴ベクトル評価処理Ｓ２０８」と称する。）を実行して評価値を求める。

続いて、文書審査モジュール２１１は、求めた評価値が予め設定した第３閾値以上であるか否かを判定する（Ｓ２０９）。評価値が第３閾値未満である場合（Ｓ２０９：ＮＯ）、テンプレート生成モジュール２１３は、新たなテンプレート（以下、「新テンプレート」と称する。）を生成する処理（以下、「テンプレート自動生成処理Ｓ２１０」と称する。）を行うとともに、文書サマリ情報７０５と評価値を出力する（Ｓ２１１）。一方、評価値が第３閾値以上である場合（Ｓ２０９：ＹＥＳ）、文書審査モジュール２１１は、テンプレートの生成は行わず、文書サマリ情報７０５と評価値を出力する（Ｓ２１１）。

図１１は、図１０に示したＯＣＲ処理Ｓ２０１の一例を説明するフローチャートである。

まず文書審査モジュール２１１は、文書画像データ７０１から枠（セル）を検出し（Ｓ３０１）、枠外の領域及び枠内の領域から文字列が存在する領域（文字列領域）を検出する（Ｓ３０２）。本実施形態では、文字列領域は、矩形の領域として検出されるものとする。Ｓ３０１及びＳ３０２の処理としては、例えば、特許文献２に記載された方法を用いる。次に、文書審査モジュール２１１は、辞書を用いて文字列領域に含まれる文字列の識別処理を実行する（Ｓ３０３）。文字列の識別処理は、例えば、非特許文献１に記載の方法を用いる。

図１２は、文書審査モジュール２１１が実行するスコア算出処理Ｓ２０３の一例を説明するフローチャートである。

まず文書審査モジュール２１１は、Ｓ２０２で選択されたテンプレート（以下、「選択中のテンプレート」と称する。）に含まれる属性種別の中から処理対象とする属性（以下
、「選択中の属性」と称する。）を選択する（Ｓ４０１）。即ちここではテンプレート情報２２１の選択中のテンプレートに対応するエントリに含まれる属性３０２が１つ選択される。

続いて、文書審査モジュール２１１は、選択中の属性に対応するＯＣＲ要素７０２を生成する（Ｓ４０２）。具体的には、以下の処理が実行される。

文書審査モジュール２１１は、単語辞書２２２を参照し、ＯＣＲ処理が実行された文書画像データ７０１から、選択中の属性に対応するエントリの文字列４０２に一致又は類似する属性（文字列）を検索する。このとき文書審査モジュール２１１は、図示しない類義語辞書を用いて、文字列４０２と同一の文字列だけではなく、意味等が一致又は類似する属性（文字列）を検索する。また文書審査モジュール２１１は、表記辞書２２３を参照し、ＯＣＲ処理が実行された文書画像データ７０１から選択中の属性に対応するエントリの表記５０２に一致又は類似する属性（文字列）を検索する。

続いて、文書審査モジュール２１１は、空のＯＣＲ要素７０２を生成し、選択中の属性を属性８１１に設定する。文書審査モジュール２１１は、検索された属性を項目値８１２に設定し、検索された属性の夫々の位置を位置８１３に設定する。この時点では、検索された１つの属性に対して、１つのＯＣＲ要素７０２が生成される。

続いて、文書審査モジュール２１１は、ＯＣＲ要素７０２の位置８１３に基づき、検索された文字列間の距離を算出し、距離が予め設定された第４閾値以下である文字列のＯＣＲ要素７０２を１つのＯＣＲ要素７０２に統合する。この場合、統合されたＯＣＲ要素７０２の項目値８１２及び位置８１３には、複数の値が設定される。

単語辞書２２２及び表記辞書２２３のいずれを用いても属性が抽出されなかった場合、文書審査モジュール２１１は、属性８１１に選択中の属性を設定し、項目値８１２及び位置８１３を空欄に設定し、スコア８１４の全ての値を「０」に設定する。尚、このように属性が抽出されなかった場合、文書審査モジュール２１１が、選択されたテンプレートを不適切なテンプレートであると判定し、スコア算出処理を終了するようにしてもよい。以上が図１２のＳ４０２の処理の説明である。

続いて、文書審査モジュール２１１は、各ＯＣＲ要素７０２のスコアを算出する（Ｓ４０３）。具体的には、以下の処理が実行される。

文書審査モジュール２１１は、単語辞書２２２及び項目値８１２を参照し、選択中の属性に対応するエントリの文字列４０２と、単語辞書２２２を用いて抽出された属性とを比較し、比較結果に基づき単語スコアを算出する。例えば、文字列の類似度が単語スコアとして算出される。類似度等の算出方法としては、例えば、特許文献２に記載の方法を用いる。尚、単語辞書２２２を用いた検索処理によって抽出された属性が存在しない場合、文書審査モジュール２１１は、「０」等の既定値を単語スコアとして設定する。

次に、文書審査モジュール２１１は、表記辞書２２３及び項目値８１２を参照し、選択中の属性に対応するエントリの表記５０２と、表記辞書２２３を用いて抽出された属性とを比較し、比較結果に基づき表記スコアを算出する。例えば、表記５０２の少なくとも１つの表記と属性との一致度が表記スコアとして算出される。尚、一致度等の算出方法は、例えば、非特許文献２に記載の技術を用いる。尚、表記辞書２２３を用いた検索処理によって抽出された属性が存在しない場合、文書審査モジュール２１１は、「０」等の既定値を表記スコアとして設定する。

続いて、文書審査モジュール２１１は、項目値８１２に設定された属性の出現回数に基づき出現スコアを算出する。例えば、出現回数そのものが出現スコアとして算出される。項目値８１２に２つ以上の属性が設定されている場合、いずれかの属性の出現回数を用いて出現スコアが算出されてもよい。尚、出現回数を評価できる値であればどのような算出方法でもよい。

続いて、文書審査モジュール２１１は、位置８１３及び選択中の属性に対応する行の位置情報３０３を用いて属性の位置の差を算出し、当該差に基づき位置スコアを算出する。本例では、差をパラメータとする数式を用いて位置スコアが算出される。尚、属性の位置の差を評価できる値であればどのような算出方法でもよい。

文書審査モジュール２１１は、項目値８１２に設定された属性の領域の大きさに基づき面積スコアを算出する。例えば、文書画像データ７０１に対応する紙における属性の領域の割合が面積スコアとして算出される。尚、項目値８１２に設定された属性の領域の大きさを評価できる値であればどのような算出方法でもよい。

文書審査モジュール２１１は、位置８１３を参照して、属性種別が同一である属性間の距離を算出し、当該距離に基づき項目スコアを算出する。例えば、単語辞書２２２を用いて抽出された属性と、表記辞書２２３を用いて抽出された属性との間の距離が算出される。本例では、属性間の距離の逆数をパラメータとする数式を用いて項目スコアが算出される。尚、２つの属性の位置を評価できる値であればどのような算出方法でもよい。項目値８１２に複数の属性が設定されるＯＣＲ要素７０２の場合、前述した算出方法に基づき項目スコアが算出される。一方、項目値８１２に１つの属性が設定されるＯＣＲ要素７０２の場合、「０」等の既定値が項目スコアとして算出される。

文書審査モジュール２１１は、上記で説明した各スコアをＯＣＲ要素７０２のスコア８１４に設定する。以上が図１２のＳ４０３の処理の説明である。

続いて、文書審査モジュール２１１は、全ての属性種別について処理が完了したか否かを判定する（Ｓ４０４）。全ての属性種別について処理が完了していないと判定された場合、文書審査モジュール２１１は、Ｓ４０１に戻り、同様の処理を実行する。全ての属性種別について処理が完了したと判定された場合、文書審査モジュール２１１は、スコア算出処理を終了する。

図１３は、文書審査モジュール２１１が実行する代表ＯＣＲ要素選択処理Ｓ２０５の一例を説明するフローチャートである。

まず文書審査モジュール２１１は、テンプレート情報２２１からテンプレートを選択する（Ｓ５０１）。また文書審査モジュール２１１は、選択されたテンプレート（以下、「選択中のテンプレート」と称する。）に含まれる属性種別の中から処理対象とする属性（以下、「選択中の属性」と称する。）を１つ選択する（Ｓ５０２）。

文書審査モジュール２１１は、選択中の属性に対応するＯＣＲ要素７０２が複数存在するか否かを判定する（Ｓ５０３）。即ち、属性８１１が選択中の属性に一致するＯＣＲ要素７０２が２つ以上存在するか否かが判定される。

選択中の属性に対応するＯＣＲ要素７０２が１つであると判定された場合、文書審査モジュール２１１は、１つのＯＣＲ要素７０２を候補ＯＣＲ要素に設定する（Ｓ５０４）。

一方、選択中の属性に対応するＯＣＲ要素７０２が複数存在すると判定された場合、文
書審査モジュール２１１は、複数のＯＣＲ要素７０２の中から候補ＯＣＲ要素を１つ選択する（Ｓ５０５）。例えば、文書審査モジュール２１１は、任意の数式にＯＣＲ要素７０２のスコア８１４を代入することにより選択指標を算出し、選択指標に基づき候補ＯＣＲ要素を選択する。本例では選択指標が最も大きいＯＣＲ要素７０２が候補ＯＣＲ要素として選択されるものとする。また文書審査モジュール２１１は、学習済の機械学習モデルを用いて候補ＯＣＲ要素を選択してもよい。

Ｓ５０６では、文書審査モジュール２１１は、現在選択中のテンプレートに含まれる全ての属性種別について処理が完了したか否かを判定する（Ｓ５０６）。選択されたテンプレートに含まれる全ての属性種別について処理が完了していないと判定された場合、文書審査モジュール２１１は、Ｓ５０２に戻り、他の属性を一つ選択して以上と同様の処理を行う。

選択されたテンプレートに含まれる全ての属性種別について処理が完了したと判定された場合、続いて、文書審査モジュール２１１は、選択されたテンプレートの候補ＯＣＲ要素を用いて、当該テンプレートの比較値を算出する（Ｓ５０７）。例えば、候補ＯＣＲ要素のスコア８１４をパラメータとする数式に基づき比較値が算出される。尚、比較値は、選択中のテンプレートによる属性の抽出精度を評価した値である。

続いて、文書審査モジュール２１１は、全てのテンプレートについて処理が完了したか否かを判定する（Ｓ５０８）。

全てのテンプレートについて処理が完了していないと判定された場合、文書審査モジュール２１１は、Ｓ５０１に戻り、同様の処理を実行する。

全てのテンプレートについて処理が完了したと判定された場合、文書審査モジュール２１１は、各テンプレートの比較値を用いて、各テンプレートの中から代表テンプレートを選択する（Ｓ５０９）。ここでは、比較値が最も大きい（属性の抽出精度の高い）テンプレートが代表テンプレートとして選択される。

続いて、文書審査モジュール２１１は、代表テンプレートに対応する候補ＯＣＲ要素を代表ＯＣＲ要素７０３として選択する（Ｓ５１０）。その後、文書審査モジュール２１１は、代表ＯＣＲ要素選択処理Ｓ２０５を終了する。

図１４は、テンプレート生成モジュール２１３が実行するテンプレート自動生成処理Ｓ２１０の一例を説明するフローチャートである。

まずテンプレート生成モジュール２１３は、テンプレート候補蓄積処理Ｓ６０１を行う。テンプレート候補蓄積処理Ｓ６０１の詳細については後述する。

続いて、テンプレート生成モジュール２１３は、蓄積数が予め設定された第５閾値以上であるか否かを判定する（Ｓ６０２）。第５閾値は、新規のテンプレート（以下、「新規テンプレート」と称する。）を生成するのに十分なサンプル（以下、「テンプレート候補」と称する。）が蓄積されたか否かを判定するための値であり、例えば、ユーザが設定することができる。

蓄積数が第５閾値以上であると判定された場合（Ｓ６０１：ＹＥＳ）、テンプレート生成モジュール２１３はテンプレート登録処理Ｓ６０３を行う。テンプレート生成モジュール２１３の詳細については後述する。一方、蓄積数が第５閾値未満であると判定された場合（Ｓ６０１：ＮＯ）、テンプレート自動生成処理Ｓ２１０は終了し、処理は図１０のＳ
２１１に進む。

図１５は、図１４に示したテンプレート候補蓄積処理Ｓ６０１の一例を説明するフローチャートである。また図１６は、テンプレート候補蓄積処理Ｓ６０１を説明する図である。テンプレート候補蓄積処理Ｓ６０１は、図６のＳ１０１で受け付けた文書画像データ７０１に基づきテンプレート候補を生成してテンプレート候補情報として登録（蓄積記憶）する処理である。以下、これらの図とともにテンプレート候補蓄積処理Ｓ６０１について説明する。

図１５に示すように、まずテンプレート生成モジュール２１３は、図６のＳ１０１で受け付けた文書画像データ７０１を二値化する（Ｓ７０１）。尚、この処理は、文書画像データ７０１に含まれているノイズの除去等を目的として行われる。

次に、テンプレート生成モジュール２１３は、二値化処理後の画像データから文字列が記載されていると判定される部分を切り出す（Ｓ７０２）。

続いて、テンプレート生成モジュール２１３は、切り出された画像に含まれている文字列を認識する（Ｓ７０３）。

続いて、テンプレート生成モジュール２１３は、予め設定された属性のうちの一つを選択する（Ｓ７０４）。尚、上記の属性は、例えば、ユーザが予め設定して計算機１００に記憶しておく。

続いて、テンプレート生成モジュール２１３は、Ｓ７０３で認識した文字列と選択中の属性とを対照することにより、文書画像データ７０１において選択中の属性が記載されている位置を示す情報を取得する（Ｓ７０６）。

続いて、テンプレート生成モジュール２１３は、予め設定された属性の全てをＳ７０４において選択済か否かを判定する（Ｓ７０７）。

続いて、テンプレート生成モジュール２１３は、取得した各属性の位置に基づきテンプレート候補を生成し、生成したテンプレート候補をテンプレート候補情報２２４に登録する（Ｓ７０８）。

続いて、テンプレート生成モジュール２１３は、変数である蓄積数に１を加算する（Ｓ７０９）。以上でテンプレート候補蓄積処理Ｓ６０１は終了する。

図１７にテンプレート候補情報２２４の一例を示す。テンプレート候補情報２２４の各項目の意味については図３に示したテンプレート情報２２１と同様であるのでここでは説明を省略する。

図１８は、図１４に示したテンプレート登録処理Ｓ６０２の一例を説明するフローチャートである。テンプレート登録処理Ｓ６０２は、テンプレート候補情報２２４に蓄積されているテンプレート候補に基づき新テンプレートを生成してテンプレート情報２２１に登録する処理である。以下、同図とともにテンプレート登録処理Ｓ６０２について説明する。

まずテンプレート生成モジュール２１３は、テンプレート候補情報２２４に蓄積されている各テンプレート候補の属性を照合することにより、テンプレート候補情報２２４からテンプレート候補を選出する処理（以下、「属性照合によるテンプレート候補選出処理Ｓ
８０１」と称する。）を行う。この属性照合によるテンプレート候補選出処理Ｓ８０１の詳細については後述する。

続いて、テンプレート生成モジュール２１３は、属性照合によるテンプレート候補選出処理Ｓ８０１で選出された各テンプレート候補の属性の位置を照合することにより、属性照合によるテンプレート候補選出処理Ｓ８０１で選出された各テンプレート候補からテンプレート候補を選出する処理（以下、「位置照合によるテンプレート候補選出処理Ｓ８０２」と称する。）を行う。この位置照合によるテンプレート候補選出処理Ｓ８０２の詳細については後述する。

尚、本実施形態では、このようにテンプレート生成モジュール２１３が、属性照合によるテンプレート候補選出処理Ｓ８０１と位置照合によるテンプレート候補選出処理Ｓ８０２の双方を行うが、いずれか一方のみを行うようにしてもよい。

続いて、テンプレート生成モジュール２１３は、位置照合によるテンプレート候補選出処理Ｓ８０２により選出されたテンプレート候補の数が、予め設定された第６閾値以上であるか否かを判定する（Ｓ８０３）。選出数が第６閾値以上である場合（Ｓ８０３：ＹＥＳ）、Ｓ８０４の処理に進む。選出数が第６閾値未満である場合（Ｓ８０３：ＮＯ）、テンプレート登録処理Ｓ６０２は終了する。尚、このように選出数が第６閾値未満である場合に新テンプレートの登録を行わないのは、十分な数のサンプル（テンプレート候補）が得られない場合にはテンプレートによる属性の抽出精度が確保できないと考えられるからである。尚、この判定処理（Ｓ８０３）は必ずしも設けなくてもよい。

続いて、テンプレート生成モジュール２１３は、Ｓ８０２で位置照合によるテンプレート候補選出処理Ｓ８０２により選出されたテンプレート候補に基づき、新テンプレートを生成する（Ｓ８０４）。このときテンプレート生成モジュール２１３は、例えば、選出されたテンプレート候補の夫々の属性の位置の平均値を、新テンプレートの夫々の属性の位置として用い、位置精度の向上を図る。

続いて、テンプレート生成モジュール２１３は、生成した新テンプレートをテンプレート情報２２１に登録する（Ｓ８０５）。

続いて、テンプレート生成モジュール２１３は、テンプレート候補情報２２４を初期化（格納されているテンプレート候補を消去）するとともに（Ｓ８０６）、蓄積数に０を設定する（Ｓ８０７）。以上でテンプレート登録処理Ｓ６０２は終了する。

このように、本実施形態の計算機１００は、文書サマリ情報７０５の抽出に際して十分な大きさの評価値が得られなかった文書画像データ７０１に基づきテンプレート候補を生成して蓄積記憶し、蓄積記憶しているテンプレート候補に基づき新テンプレートを自動生成するので、ユーザの手を煩わせることなく、新テンプレートを生成することができる。またテンプレート情報２２１として管理されるテンプレートが自動的に増えていくことでユーザから受け付けた文書（文書画像データ７０１）について自動的に対応できる可能性が高まり、ユーザの業務の効率向上を図ることができる。

図１９は、図１８に示した属性照合によるテンプレート候補選出処理Ｓ８０１の一例を説明するフローチャートである。また図２０は、属性照合によるテンプレート候補選出処理Ｓ８０１を説明する図である。以下、これらの図とともに属性照合によるテンプレート候補選出処理Ｓ８０１について説明する。

まずテンプレート生成モジュール２１３は、テンプレート候補情報２２４に登録されて
いる各テンプレート候補について夫々の属性の数を求める（Ｓ９０１）。

続いて、テンプレート生成モジュール２１３は、テンプレート候補の夫々の属性の数が同じものをグループ化する（Ｓ９０２）。尚、上記グループ化は、例えば、テンプレート候補情報２２４の各テンプレート候補を総当たりで比較することにより行う。例えば、図２０の例では、属性の数が「銀行名」、「支店名」、「口座種別」、及び「口座番号」の４つであるテンプレート候補がグループ化されている。

続いて、テンプレート生成モジュール２１３は、属性の数が最大のグループを選択する（Ｓ９０３）。図２０の例では、テンプレート候補Ａ，Ｂ，Ｇ等を含むグループが選択されている。尚、本例ではこのように属性の数が最大のグループを選択しているが、他の基準でグループを選択してもよい。

続いて、テンプレート生成モジュール２１３は、Ｓ９０３で選択したグループに所属するテンプレート候補について、属性名称が一致するテンプレート候補を選出する（Ｓ９０４）。図２０の例では、テンプレート候補Ａ，Ｇ，Ｎ等を含むテンプレート候補が選択されている。以上が属性照合によるテンプレート候補選出処理Ｓ８０１の説明である。

尚、この例では、属性数が最大であり、かつ、属性名称が一致するテンプレート候補のグループを選出したが、いずれかの条件のみに基づきテンプレート候補を選出するようにしてもよい。

図２１は、図１８に示した位置照合によるテンプレート候補選出処理Ｓ８０２の一例を説明するフローチャートである。また図２２は、位置照合によるテンプレート候補選出処理Ｓ８０２を説明する図である。以下、これらの図とともに位置照合によるテンプレート候補選出処理Ｓ８０２について説明する。

まずテンプレート生成モジュール２１３は、属性照合によるテンプレート候補選出処理Ｓ８０１で選出された各テンプレート候補の間の各属性の位置の差（画像データ上の距離（ズレ）に相当）を求める（Ｓ１００１）。テンプレート生成モジュール２１３は、例えば、２つのテンプレート候補の間の同じ種別の属性の位置の差の平均値の合計値を上記の差とする。尚、上記差の種類（算出方法）は、属性の抽出精度の高い新テンプレートを生成する上で、テンプレート候補を有意な複数のグループに分類することができるものであればとくに限定されない。

続いて、テンプレート生成モジュール２１３は、求めた差が予め設定された第７閾値未満のテンプレート候補のグループを選択する（Ｓ１００２）。図２２の例では、テンプレート候補Ａとテンプレート候補Ｇの属性の位置の差が第７閾値未満であるので、これらのテンプレート候補が選択されており、テンプレート候補Ａ又はテンプレート候補Ｂとの位置の差（距離）が第７閾値以上となるテンプレート候補Ｎは選択されていない。以上が位置照合によるテンプレート候補選出処理Ｓ８０２の説明である。

以上のように、計算機１００は、属性照合によるテンプレート候補選出処理Ｓ８０１と位置照合によるテンプレート候補選出処理Ｓ８０２という２つのフィルタによって選出されたテンプレート候補に基づき新テンプレートを生成するので、属性の抽出精度の高いテンプレートを自動生成することができる。

［第２実施形態］
第１実施形態では、テンプレート自動生成処理Ｓ２１０において、属性照合によるテンプレート候補選出処理Ｓ８０１、及び位置照合によるテンプレート候補選出処理Ｓ８０２
という、２つのフィルタによって選出されたテンプレート候補に基づき、新テンプレートを生成した。第２実施形態では、さらに文書画像データ７０１から取得される色情報を用いたフィルタを用いてテンプレート候補を選出し、テンプレート情報２２１として登録する新テンプレートの属性の抽出精度の向上を図る。第２実施形態の文書審査システム１の基本的な構成は第１実施形態の文書審査システム１と同様である。以下、第１実施形態と異なる部分を中心として説明する。

図２３は、第２実施形態のテンプレート候補蓄積処理Ｓ６０１を説明するフローチャートである。第２実施形態のテンプレート候補蓄積処理Ｓ６０１は、文書画像データ７０１から色情報を抽出する色情報抽出処理Ｓ７００が追加されている点、Ｓ７０８のテンプレート候補のテンプレート候補情報２２４への登録に際し、テンプレート候補に色情報抽出処理Ｓ７００で抽出した色情報を付帯させる点で、第１実施形態のテンプレート候補蓄積処理Ｓ６０１と異なる。

図２４は、図２３の色情報抽出処理Ｓ７００の詳細を説明するフローチャートである。また図２５は、色情報抽出処理Ｓ７００を説明する図である。以下、これらの図とともに色情報抽出処理Ｓ７００について説明する。

まずテンプレート生成モジュール２１３は、文書審査処理Ｓ１００のＳ１０１で受け付けた文書画像データ７０１の各ドットのＨＳＬ（Hue（色相）、Saturation（彩度）、Lightness（輝度））値を算出する（Ｓ１１０１）。尚、本実施形態では、このように各ドットの色の表現方法としてＨＳＬを用いるが、文書画像データ７０１の元である紙ベースの文書の態様に応じてＲＧＢ（Red、Green、Blue）等の他の表現方法を選択してもよい。

次に、テンプレート生成モジュール２１３は、求めたＨＳＬ値をクラスタリングする（Ｓ１１０２）。

続いて、テンプレート生成モジュール２１３は、各クラスタのＨＳＬ値の平均値を求める（Ｓ１１０３）。

尚、テンプレート生成モジュール２１３は、図２３のテンプレート候補蓄積処理Ｓ６０１のＳ７０８において、テンプレート候補情報２２４として登録するテンプレート候補に、クラスタの識別情報と各クラスタのＨＳＬ値の平均値を色情報として付帯させる。

図２５は、文書画像データ７０１が「振込依頼書」の画像データである場合の例であるが、テンプレート生成モジュール２１３は、要素数が最大のクラスタについては紙ベースの文書の背景色に対応するものとしてその識別情報を「背景色」としている。またテンプレート生成モジュール２１３は、要素数が２番目に多いクラスタについては、紙ベースの文書の枠色に対応するものとして、その識別子を「枠色」としている。尚、要素数が３番目のクラスタについては、ノイズ等に起因するものとして、テンプレート生成モジュール２１３はこれをテンプレート候補への登録対象としない。

図２６に、図２３のＳ７０８で登録するテンプレート候補情報２２４の一例を示す。同図に示すように、テンプレート候補情報２２４の属性３２２として色情報３２１が設けられている。

図２７は、第２実施形態のテンプレート登録処理Ｓ６０３を説明するフローチャートである。第２実施形態のテンプレート登録処理Ｓ６０３は、色情報照合によるテンプレート候補選出処理Ｓ８００が追加されている点で第１実施形態のテンプレート登録処理Ｓ６０３と異なる。

図２８は、図２７の色情報照合によるテンプレート候補選出処理Ｓ８００の詳細を説明するフローチャートである。また図２９は、色情報照合によるテンプレート候補選出処理Ｓ８００を説明する図である。尚、本実施形態では、色情報照合によるテンプレート候補選出処理Ｓ８００、属性照合によるテンプレート候補選出処理Ｓ８０１、位置照合によるテンプレート候補選出処理Ｓ８０２をこの順に実行しているが、実行順序は必ずしも限定されない。以下、これらの図とともに色情報照合によるテンプレート候補選出処理Ｓ８００について説明する。

まずテンプレート生成モジュール２１３は、テンプレート候補情報２２４に登録されている各テンプレート候補の色情報の差（ＨＳＬ値の差）を求める（Ｓ１２０１）。テンプレート生成モジュール２１３は、例えば、各テンプレート候補のＨＳＬ値の成分毎の差の合計値を上記差として求める。尚、上記差の種類（算出方法）は、複数のテンプレート候補を、属性の抽出精度の高い新テンプレートを生成する上で有意に分類できるものであればとくに限定されない。

続いて、テンプレート生成モジュール２１３は、求めた上記差が予め設定された第８閾値未満のテンプレート候補のグループを選択する（Ｓ１２０２）。図２９の例では、テンプレート候補Ａとテンプレート候補Ｇの属性の位置の差が第８閾値未満であるので、これらのテンプレート候補が選択されており、テンプレート候補Ａと位置の差（距離）が第８閾値を超えるテンプレート候補Ｃは選択されていない。以上で位置照合によるテンプレート候補選出処理Ｓ８０２は終了する。

このように、第２実施形態のテンプレート登録処理Ｓ６０３では、属性照合によるテンプレート候補選出処理Ｓ８０１、位置照合によるテンプレート候補選出処理Ｓ８０２、及び色情報照合によるテンプレート候補選出処理Ｓ８００という３フィルタを用いて選出されるテンプレート候補に基づき新テンプレートを生成するので、属性の抽出精度のより高いテンプレートを生成することができる。

［画面例］
図３０は、第１又は第２の実施形態の計算機１００が表示する閾値設定画面３０００の一例である。閾値設定画面３０００は、第１又は第２の実施形態で用いる各種の閾値をユーザが設定する際に出力装置２０６が表示する画面である。尚、閾値設定画面３０００は、ユーザの要求等に応じて任意のタイミングで表示できる。

同図に示すように、閾値設定画面３０００は、閾値設定欄３００１、ＯＫボタン３００２、及びキャンセルボタン３０１３を含む。閾値設定欄３００１には、ユーザが、第１又は第２の実施形態で用いる各種の閾値を入力する。ＯＫボタン３００２は、各入力欄に設定した閾値を計算機１００に登録する際に操作されるボタンである。キャンセルボタン３００３は、各入力欄の内容を初期化する際に操作されるボタンである。

ユーザは、各種の閾値を適切に設定することで、電子申請時に入力される文書（請求書、領収書、源泉徴収票、振込依頼書等）や業務の態様に応じて、属性の抽出精度が向上するように文書審査システム１を調整（チューニング）することができる。

図３１は、第１又は第２の実施形態の計算機１００が表示する出力画面３１００の一例である。

出力画面３１００は、電子申請の審査結果をユーザに提示する画面であり、電子申請の審査が完了した後に表示される画面である。尚、出力画面３１００は、管理者やユーザの
要求に応じて任意のタイミングで表示される。

出力画面３１００は、結果表示テーブル３１１０を含む。結果表示テーブル３１１０は、ＩＤ３１１１、審査結果３１１２、文書サマリ情報３１１３、及び評価値３１１４の各項目（情報）を有するエントリを含む。

ＩＤ３１１１には、電子申請を一意に識別するための識別情報（以下、「申請ＩＤ」と称する。）が表示される。例えば、計算機１００は、電子申請を受け付けた際に申請ＩＤを付与する。審査結果３１１２には、Ｓ１０３の処理結果が表示される。文書サマリ情報３１１３には、生成された文書サマリ情報にアクセスするための所在特定情報（ネットワークアドレス、ＵＲＬ（Uniform Resource Locator）等）が表示される。尚、文書サマリ情報７０５そのものを文書サマリ情報３１１３に表示するようにしてもよい。評価値３１１４には、図１０のＳ２０８で求めた評価値が表示される。

ユーザは、出力画面３１００を利用して、審査結果や文書サマリ情報７０５を容易に確認することができる。またユーザは、出力画面３１００に表示される評価値に基づき、文書サマリ情報７０５の取り扱い（検証が必要であるか否か等）を適切に判断して業務をスムーズに遂行することができる。

尚、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。また、例えば、上記した実施例は本発明を分かりやすく説明するために構成を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、各実施例の構成の一部について、他の構成に追加、削除、置換することが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、本発明は、実施例の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体を情報処理装置（コンピュータ）に提供し、その情報処理装置が備えるプロセッサが記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ハードディスク、ＳＳＤ（Solid State Drive）、光ディスク、光磁気ディスク、ＣＤ－Ｒ、磁気テープ、不揮発性の
メモリカード、ＲＯＭなどが用いられる。

また、本実施例に記載の機能を実現するプログラムコードは、例えば、アセンブラ、Ｃ／Ｃ＋＋、ｐｅｒｌ、Ｓｈｅｌｌ、ＰＨＰ、Ｊａｖａ（登録商標）等の広範囲のプログラム又はスクリプト言語で実装できる。

さらに、実施例の機能を実現するソフトウェアのプログラムコードを、通信ネットワークを介して配信することによって、それを情報処理装置のハードディスクやメモリ等の記憶手段又はＣＤ－ＲＷ、ＣＤ－Ｒ等の記憶媒体に格納し、コンピュータが備えるプロセッサが当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしてもよい。

上述の実施例において、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。

１００ 計算機
１１０ 入力端末
１２０ クライアント端末
１３０ スキャナ
１５０ 通信ネットワーク
２０１ プロセッサ
２０２ 主記憶装置
２０３ 副記憶装置
２０４ 通信インタフェース
２０５ 入力装置
２０６ 出力装置
２１１ 文書審査モジュール
２１２ 学習処理モジュール
２１３ テンプレート生成モジュール
２２１ テンプレート情報
２２２ 単語辞書
２２３ 表記辞書
２２４ テンプレート候補情報
７０１ 文書画像データ
７０２ ＯＣＲ要素
７０３ 代表ＯＣＲ要素
７０４ 特徴ベクトル
７０５ 文書サマリ情報
３０００ 閾値設定画面
３１００ 出力画面
Ｓ２１０ テンプレート自動生成処理
Ｓ６０１ テンプレート候補蓄積処理
Ｓ６０３ テンプレート登録処理
Ｓ８０１ 属性照合によるテンプレート候補選出処理
Ｓ８０２ 位置照合によるテンプレート候補選出処理
Ｓ７００ 色情報抽出処理
Ｓ８００ 色情報照合によるテンプレート候補選出処理

Claims (15)

1. 紙に記載された文書の特徴を示す文字列である属性を抽出する情報処理装置であって、
   プロセッサ及び前記プロセッサと接続される記憶装置を備え、
   前記記憶装置は、少なくとも１つ以上の属性の種別が定義された複数のテンプレートを管理するテンプレート情報、及び前記属性として抽出される文字列を定義する辞書情報を記憶し、
   前記テンプレート情報は、前記テンプレートの識別情報、前記属性の種別を示す識別情報、及び前記属性の種別に対応する属性の紙面上の位置を示す位置情報から構成されるエントリを複数含み、
   前記プロセッサは、
   前記紙に記載された文書の画像データである文書画像データに対して文字認識処理を実行し、
   前記文字認識処理の結果及び前記複数のテンプレートを用いて、前記複数のテンプレートの夫々に定義された前記属性の種別に対応する属性を抽出し、
   前記辞書情報、前記テンプレート情報、及び前記抽出された属性を用いて、前記複数のテンプレートの夫々について、前記抽出された属性に関するスコアを算出し、
   前記スコアに基づき、前記複数のテンプレートの中から属性の抽出精度が最も高いテンプレートを選択し、
   前記選択されたテンプレートを用いて抽出された属性を含む出力情報を生成し、
   前記記憶装置は、前記テンプレートの候補となる複数のテンプレート候補を記憶し、
   前記プロセッサは、
   前記複数のテンプレート候補の夫々が含む前記属性の数を求め、
   前記属性の数が同じテンプレート候補をグループ化し、
   前記属性の数が最大のグループに属する前記テンプレート候補を選出し、
   選出した前記テンプレート候補に基づき前記テンプレートを生成し、
   前記記憶装置は、生成した前記テンプレートを前記テンプレート情報として記憶する、
   ことを特徴とする情報処理装置。
2. 請求項１に記載の情報処理装置であって、
   前記プロセッサは、
   選出した前記テンプレート候補のうち、夫々に含まれている前記属性の種別が共通する前記テンプレート候補を選出し、
   選出した前記テンプレート候補に基づき前記テンプレートを生成する、
   ことを特徴とする情報処理装置。
3. 請求項２に記載の情報処理装置であって、
   前記プロセッサは、
   選出した前記テンプレート候補のうち、夫々に含まれている前記属性の夫々の位置の差が予め設定された閾値以下の関係にある前記テンプレート候補を選出し、
   選出した前記テンプレート候補に基づき前記テンプレートを生成する、
   ことを特徴とする情報処理装置。
4. 請求項１乃至３のいずれか一項に記載の情報処理装置であって、
   前記記憶装置が記憶する前記テンプレート候補には、前記文書画像データのドット毎の色情報が付帯し、
   前記プロセッサは、選出した前記テンプレート候補のうち、夫々に含まれている前記色情報の差が予め設定された閾値以下の関係にある前記テンプレート候補を選出し、
   選出した前記テンプレート候補に基づき前記テンプレートを生成する、
   ことを特徴とする情報処理装置。
5. 請求項４に記載の情報処理装置であって、
   前記色情報は、前記文書画像データの各ドットの色情報の分布をクラスタリングすることにより得られるクラスタ毎に設定される、
   ことを特徴とする情報処理装置。
6. 請求項４に記載の情報処理装置であって、
   前記色情報は、ＨＳＬ（Hue、Saturation、Lightness）値又はＲＧＢ（Red、Green、Blue）値である、
   ことを特徴とする情報処理装置。
7. 請求項１乃至３のいずれか一項に記載の情報処理装置であって、
   前記プロセッサは、選出した前記テンプレート候補の前記位置情報の平均値を、前記テンプレート候補に基づき生成する前記テンプレートの位置情報として設定する、
   ことを特徴とする情報処理装置。
8. 請求項１乃至３のいずれか一項に記載の情報処理装置であって、
   前記プロセッサは、
   前記選択されたテンプレートの前記スコアを用いて、前記紙に記載された文書の特徴を表す特徴ベクトルを生成し、
   前記特徴ベクトルを用いて、前記出力情報の信頼性を示す評価値を算出し、
   前記記憶装置が記憶する前記テンプレート候補は、前記評価値が予め設定された閾値未満となる前記出力情報の生成に用いた前記文書画像データに基づき生成される、
   ことを特徴とする情報処理装置。
9. 紙に記載された文書の特徴を示す文字列である属性を抽出する情報処理装置が実行する文書識別方法であって、
   前記情報処理装置は、プロセッサ及び前記プロセッサに接続される記憶装置を備え、
   前記記憶装置は、少なくとも１つ以上の属性の種別が定義された複数のテンプレートを管理するテンプレート情報、及び前記属性として抽出される文字列を定義する辞書情報を記憶し、
   前記テンプレート情報は、前記テンプレートの識別情報、前記属性の種別を示す識別情報、及び前記属性の種別に対応する属性の紙面上の位置を示す位置情報から構成されるエントリを複数含み、
   前記文書識別方法は、
   前記プロセッサが、前記紙に記載された文書の画像データである文書画像データに対して文字認識処理を実行するステップと、
   前記プロセッサが、前記文字認識処理の結果及び前記複数のテンプレートを用いて、前記複数のテンプレートの夫々に定義された前記属性の種別に対応する属性を抽出するステップと、
   前記プロセッサが、前記辞書情報、前記テンプレート情報、及び前記抽出された属性を用いて、前記複数のテンプレートの夫々について、前記抽出された属性に関するスコアを算出するステップと、
   前記プロセッサが、前記スコアに基づき、前記複数のテンプレートの中から属性の抽出精度が最も高いテンプレートを選択するステップと、
   前記プロセッサが、前記選択されたテンプレートを用いて抽出された属性を含む出力情報を生成するステップと、
   前記記憶装置が、前記テンプレートの候補となる複数のテンプレート候補を記憶するステップと、
   前記プロセッサが、前記複数のテンプレート候補の夫々が含む前記属性の数を求めるス
   テップと、
   前記プロセッサが、前記属性の数が同じテンプレート候補をグループ化するステップと、
   前記プロセッサが、前記属性の数が最大のグループに属する前記テンプレート候補を選出するステップと、
   前記プロセッサが、選出した前記テンプレート候補に基づき前記テンプレートを生成するステップと、
   前記プロセッサが、前記記憶装置が、生成した前記テンプレートを前記テンプレート情報として記憶するステップと、
   を含むことを特徴とする文書識別方法。
10. 請求項９に記載の文書識別方法であって、
    前記プロセッサが、選出した前記テンプレート候補のうち、夫々に含まれている前記属性の種別が共通する前記テンプレート候補を選出するステップと、
    前記プロセッサが、選出した前記テンプレート候補に基づき前記テンプレートを生成するステップと、
    をさらに含むことを特徴とする文書識別方法。
11. 請求項１０に記載の文書識別方法であって、
    前記プロセッサが、選出した前記テンプレート候補のうち、夫々に含まれている前記属性の夫々の位置の差が予め設定された閾値以下の関係にある前記テンプレート候補を選出するステップと、
    前記プロセッサが、選出した前記テンプレート候補に基づき前記テンプレートを生成するステップと、
    をさらに含むことを特徴とする文書識別方法。
12. 請求項９乃至１１のいずれか一項に記載の文書識別方法であって、
    前記記憶装置が記憶する前記テンプレート候補には、前記文書画像データのドット毎の色情報が付帯し、
    前記プロセッサが、選出した前記テンプレート候補のうち、夫々に含まれている前記色情報の差が予め設定された閾値以下の関係にある前記テンプレート候補を選出するステップと、
    前記プロセッサが、選出した前記テンプレート候補に基づき前記テンプレートを生成するステップと、
    をさらに含むことを特徴とする文書識別方法。
13. 請求項１２に記載の文書識別方法であって、
    前記色情報は、前記文書画像データの各ドットの色情報の分布をクラスタリングすることにより得られるクラスタ毎に設定される、
    ことを特徴とする文書識別方法。
14. 請求項１２に記載の文書識別方法であって、
    前記色情報は、ＨＳＬ（Hue、Saturation、Lightness）値又はＲＧＢ（Red、Green、Blue）値である、
    ことを特徴とする文書識別方法。
15. 計算機及び端末を備える情報処理システムであって、
    前記計算機は、第１のプロセッサ及び前記第１のプロセッサに接続される第１の記憶装置を有し、
    前記端末は、第２のプロセッサ及び前記第２のプロセッサに接続される第２の記憶装置
    を有し、
    前記第１の記憶装置は、紙に記載された文書の特徴を示す文字列である属性の種別が少なくとも１つ以上定義された複数のテンプレートを管理するテンプレート情報、及び前記属性として抽出される文字列を定義する辞書情報を記憶し、
    前記テンプレート情報は、前記テンプレートの識別情報、前記属性の種別を示す識別情報、及び前記属性の種別に対応する属性の紙面上の位置を示す位置情報から構成されるエントリを複数含み、
    前記第２のプロセッサは、前記紙に記載された文書を入力し、
    前記第１のプロセッサは、
    前記端末が入力した前記紙に記載された文書の画像データを生成し、
    前記画像データに対して文字認識処理を実行し、
    前記文字認識処理の結果及び前記複数のテンプレートを用いて、前記複数のテンプレートの夫々に定義された前記属性の種別に対応する属性を抽出し、
    前記辞書情報、前記テンプレート情報、及び前記抽出された属性を用いて、前記複数のテンプレートの夫々について、前記抽出された属性に関するスコアを算出し、
    前記スコアに基づき、前記複数のテンプレートの中から属性の抽出精度が最も高いテンプレートを選択し、
    前記選択されたテンプレートを用いて抽出された属性を含む出力情報を生成し、
    前記出力情報を前記端末に出力し、
    前記第１の記憶装置は、前記テンプレートの候補となる複数のテンプレート候補を記憶し、
    前記第１のプロセッサは、
    前記複数のテンプレート候補の夫々が含む前記属性の数を求め、
    前記属性の数が同じテンプレート候補をグループ化し、
    前記属性の数が最大のグループに属する前記テンプレート候補を選出し、
    選出した前記テンプレート候補に基づき前記テンプレートを生成し、
    前記第１の記憶装置は、生成した前記テンプレートを前記テンプレート情報として記憶する、
    ことを特徴とする情報処理システム。

Images