JP7150809B2 - 多モデル深層学習による文書のデジタル化アーキテクチャ、文書画像処理プログラム - Google Patents

Description

本発明は、電子文書生成装置、電子文書生成方法、及び電子文書生成プログラムに関し、特に紙文書を走査して電子文書を生成する電子文書生成装置、電子文書生成方法、及び電子文書生成プログラムに関するものである。

デジタル情報技術が進展しペーパーレス化が普及してきているが、紙文書による情報の蓄積や伝達は依然として広く利用されている。膨大な紙文書を抱える企業などから、紙文書を効率良くデジタル文書に変換できる技術が望まれている。

従来からのＯＣＲテキスト認識技術では、一文字単位で文字認識を行っていたので文字認識の認識効率が良くない点が問題となっていた（例えば、特許文献１参照）。

特開２０１０-２４４３７２号公報

そこで、本開示の電子文書生成装置、電子文書生成方法、及び電子文書生成プログラムは、文書画像に含まれる文字列を、従来の光学文字認識とは異なる手法によって、テキストデータに変換することを目的とする。

すなわち、第１の態様に係る電子文書生成装置は、文書を画像化した文書画像を取得する文書画像取得部と、文書画像と当該文書画像に含まれる文字列との対応関係を学習した文字列学習モデルを用いて、文書画像取得部に取得された文書画像に含まれる文字列を文字認識し、当該文字列に係るテキストデータを生成する文字列認識部と、テキストデータを電子媒体のテキストとして出力する出力部とを備える。

第２の態様は、第１の態様に係る電子文書生成装置において、文書画像に含まれる複数の要素と、当該複数の要素の各々の識別情報との対応関係を学習したレイアウト学習モデルを用いて、文書画像取得部に取得された文書画像に含まれる複数の要素の各々の文書画像内における範囲を特定し、複数の要素の各々の種類を認識し、複数の要素の各々の範囲に係る文書画像内における位置情報を取得するレイアウト認識部をさらに備え、文字列認識部は、レイアウト認識部により特定された範囲に含まれる文字列について、文字列学習モデルを用いて文字認識し、文字列に係るテキストデータを生成し、出力部は、複数の要素に係る範囲の各々の位置情報に、複数の要素に係るテキストデータの各々を電子媒体のテキストとして出力することとしてもよい。

第３の態様は、第２の態様に係る電子文書生成装置において、要素の種類は、文字列、表、画像、印章、又は手書きのいずれかであることとしてもよい。

第４の態様は、第３の態様に係る電子文書生成装置において、レイアウト認識部により認識された種類が表に該当する要素において、当該要素に含まれる表の中のセルの各々を切り出し、セルの各々の文書画像内における位置情報を取得する切出部をさらに備え、文字列認識部は、切出部に切り出されたセルの各々に含まれる文字列について、文字列学習モデルを用いて文字認識を行い、文字列に係るテキストデータを生成することとしてもよい。

第５の態様は、第２ないし４の態様に係る電子文書生成装置において、複数の要素を含む文書画像であって、当該要素に当該要素の各々に該当する種類に関連付けられたアノテーションが付与されており、アノテーションが付与された複数の文書画像を蓄積してレイアウト学習用データを生成するレイアウト学習用データ生成部をさらに備え、レイアウト学習用データはレイアウト学習モデルの教師有り学習に用いられることとしてもよい。

第６の態様は、第５の態様に係る電子文書生成装置において、文書画像に、アノテーションとともに文書画像に含まれる複数の要素に係る範囲の各々の文書画像内における位置情報が付与されることとしてもよい。

第７の態様は、第５または６の態様に係る電子文書生成装置において、入力に基づいて、レイアウト認識部により認識された複数の要素の各々の種類、及び複数の要素の各々の範囲の文書画像内における位置情報の少なくともいずれかが修正され、この修正されたデータを追加することでレイアウト学習用データを更新するレイアウト学習用データ修正部をさらに備えることとしてもよい。

第８の態様は、第７の態様に係る電子文書生成装置において、レイアウト学習用データ修正部により更新されたレイアウト学習用データを用いて、レイアウト学習モデルの再学習を行うレイアウト学習部をさらに備えることとしてもよい。

第９の態様は、第２ないし８の態様に係る電子文書生成装置において、文字列学習モデルの教師有り学習に用いる文字列学習用データを生成する文字列学習用データ生成部をさらに備えることとしてもよい。

第１０の態様は、第９の態様に係る電子文書生成装置において、入力に基づいて、文字列認識部により生成されたテキストデータが修正され、この修正されたテキストデータを追加することで文字列学習用データを更新する文字列学習用データ修正部をさらに備えることとしてもよい。

第１１の態様は、第１０の態様に係る電子文書生成装置において、文字列学習用データ修正部により更新された文字列学習用データを用いて、文字列学習モデルの再学習を行う文字列学習部をさらに備えることとしてもよい。

第１２の態様は、第２ないし１１の態様に係る電子文書生成装置において、文字列認識部は、複数の文字列学習モデルを備え、複数の要素の各々に含まれる文字列の言語に適応した文字列学習モデルを用いることとしてもよい。

第１３の態様は、第２ないし１２の態様に係る電子文書生成装置において、文書画像取得部が取得した文書画像について前処理を行う前処理部をさらに備え、前処理部は、背景除去部、傾き補正部、及び形状調整部を備え、背景除去部は、文書画像取得部が取得した文書画像の背景を除去し、傾き補正部は、文書画像取得部が取得した文書画像の傾きを補正し、形状調整部は、文書画像取得部が取得した文書画像の全体の形状及び大きさを調整することとしてもよい。

第１４の態様は、第２ないし１３の態様に係る電子文書生成装置において、レイアウト学習モデルは、契約書用のレイアウト学習モデル、請求書用のレイアウト学習モデル、覚書用のレイアウト学習モデル、納品書用のレイアウト学習モデル、又は領収書用のレイアウト学習モデルのいずれかであることとしてもよい。

第１５の態様に係る電子文書生成方法は、電子文書生成装置に用いられるコンピュータが、文書を画像化した文書画像を取得する文書画像取得ステップと、文書画像と当該文書画像に含まれる文字列との対応関係を学習した文字列学習モデルを用いて、文書画像取得ステップにて取得された文書画像に含まれる文字列を文字認識し、当該文字列に係るテキストデータを生成する文字列認識ステップと、テキストデータを電子媒体のテキストとして出力する出力ステップとを実行する。

第１６の態様に係る電子文書生成プログラムは、電子文書生成装置に用いられるコンピュータに、文書を画像化した文書画像を取得する文書画像取得機能と、文書画像と当該文書画像に含まれる文字列との対応関係を学習した文字列学習モデルを用いて、文書画像取得機能にて取得された文書画像に含まれる文字列を文字認識し、当該文字列に係るテキストデータを生成する文字列認識機能と、テキストデータを電子媒体のテキストとして出力する出力機能とを発揮させる。

本開示に係る電子文書生成装置は、文書を画像化した文書画像を取得する文書画像取得部と、文書画像と当該文書画像に含まれる文字列との対応関係を学習した文字列学習モデルを用いて、文書画像取得部に取得された文書画像に含まれる文字列を文字認識し、当該文字列に係るテキストデータを生成する文字列認識部と、テキストデータを電子媒体のテキストとして出力する出力部とを備え、機械学習されたモデルを用いて文書画像に含まれる文字列を文字認識するので、文書画像をテキストデータに変換する際の文字認識の認識効率を向上させることができる。

本実施形態に係る電子文書生成装置を含む電子文書生成システムの概略を示す図である。 電子文書生成装置の物理的構成を示すブロック図である。 電子文書生成装置が行う処理の概略を示す図である。 電子文書生成装置の機能的構成を示すブロック図である。 電子文書生成装置の入力データと出力データとを説明する図である。 前処理で行う背景除去を説明する図である。 前処理で行う傾き補正を説明する図である。 前処理で行う形状調整を説明する図である。 レイアウト認識処理で行う欠落解消の補正処理を説明する図である。 レイアウト認識処理で行う重なり解消の補正処理を説明する図である。 レイアウト認識処理で行うレイアウト認識を説明する図である。 レイアウト認識処理で行う表の認識を説明する図である。 セル画像の切り出しを説明する図である。 セル画像内の文字列を説明する図である。 文字列認識処理で行うテキストデータの配置を説明する図である。 文字列認識処理で行うノイズ除去を説明する図である。 アノテーションが付与されたレイアウト学習用データの例を示す図である。 アノテーションが付与されたレイアウト学習用データの例を示す図である。 アノテーションが付与されたレイアウト学習用データの例を示す図である。 アノテーションが付与されたレイアウト学習用データの例を示す図である。 アノテーションが付与されたレイアウト学習用データの例を示す図である。 アノテーションが付与されたレイアウト学習用データの例を示す図である。 アノテーションが付与されたレイアウト学習用データの例を示す図である。 アノテーションが付与された文字列学習用データの例を示す図である。 電子文書生成プログラムのフローチャートである。 電子文書生成プログラムに係る一実施形態のフローチャート（１／３）である。 電子文書生成プログラムに係る一実施形態のフローチャート（２／３）である。 電子文書生成プログラムに係る一実施形態のフローチャート（３／３）である。

図１乃至図２４を参照して本開示に係る電子文書生成装置１０の一実施形態について説明する。本実施形態では、電子文書生成装置１０をインターネット及びＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などの情報通信ネットワーク１１に接続して使用する一例を示す。図１を参照して、電子文書生成装置１０を含む電子文書生成システム１００の概略を説明する。図１は、電子文書生成装置１０を含む電子文書生成システム１００の概略を示す図である。

電子文書生成システム１００は、電子文書生成装置１０、ユーザ端末１２、文字列学習モデル１３、レイアウト学習モデル１４、及び文書画像データベース１５などを備える。電子文書生成装置１０、ユーザ端末１２、文字列学習モデル１３、レイアウト学習モデル１４、及び文書画像データベース１５は、情報通信ネットワーク１１に接続され、おのおの相互に情報通信が可能である。

電子文書生成システム１００は、電子文書生成装置１０を用いて文書画像に含まれた文字列を文字認識しテキストデータを生成するものである。電子文書生成装置１０は、文書画像のレイアウトについてレイアウト学習モデルを用いて画像認識し、文書画像に含まれた文字列について文字列学習モデルを用いて文字認識するものである。

電子文書生成装置１０とは、例えば、パソコンなどに代表されるコンピュータの一種であり情報処理装置である。電子文書生成装置１０は、さらに様々なコンピュータに含まれる演算処理装置及びマイコン等も含み、アプリケーションによって本開示に係る機能を実現することが可能な機器、及び装置などをも含むのもとする。

文字列学習モデル１３は、文書画像に含まれる文字列の画像認識を行う学習モデルであり、電子文書生成装置１０の文字認識に用いられる。文字列学習モデル１３は、情報通信ネットワーク１１を介して電子文書生成装置１０に利用可能であればその保存場所は任意であり、例えばパソコン、サーバー装置、データベースなどの情報処理装置に保存される。本実施形態の説明の便宜上、文字列学習モデル１３は、文字列学習モデル１３が保存される情報処理装置を表すものとする。

文字列学習モデル１３は、既存の学習モデルにより構成されてもよいし、若しくは電子文書生成装置１０の利用に適した学習モデルとして独自に構成されてもよい。文字列学習モデル１３は、日本語、英語、中国語などの各種言語に適した学習モデルをそれぞれ備えるものとし、図１では第１文字列学習モデル、第２文字列学習モデル、第３文字列学習モデルなどと記載するものとする。

なお、文字列学習モデル１３は、情報通信ネットワーク１１に接続されるものに限らず、電子文書生成装置１０に含まれ当該装置１０の直接的な制御のもとに利用されてもよい。また、文字列学習モデル１３は、情報通信ネットワーク１１に接続された複数の情報処理装置に分散して保存されてもよい。

レイアウト学習モデル１４は、文書画像に含まれる複数の要素と当該複数の要素の各々の識別情報との対応関係を後述のレイアウト学習用データに基づいて学習し、文書画像のレイアウトの認識を行う学習モデルであり、電子文書生成装置１０のレイアウト認識に用いられる。レイアウト学習モデル１４は、文字列学習モデル１３と同様に、情報通信ネットワーク１１を介して電子文書生成装置１０に利用可能であればその保存場所は任意であり、情報通信ネットワーク１１に接続された情報処理装置に保存される。本実施形態の説明の便宜上、レイアウト学習モデル１４は、レイアウト学習モデル１４が保存される情報処理装置を表すものとする。

レイアウト学習モデル１４は、契約書用のレイアウト学習モデル、請求書用のレイアウト学習モデル、覚書用のレイアウト学習モデル、納品書用のレイアウト学習モデル、及び領収書用のレイアウト学習モデルなどを含む。

契約書用のレイアウト学習モデルは、契約書の文書画像のレイアウト認識を行う学習モデルであり、契約書用のレイアウト学習用データを用いて学習する。契約書用のレイアウト学習モデルは、契約書のどの位置に、どのような情報があるかを学習し、特に、箇条書きで記載され、表が無い場合が多く、手書きの署名欄が有るなど契約書に特有のレイアウトについて学習する。契約書用のレイアウト学習用データは、後述するアノテーションが付与された、例えば、２００種類の契約書のフォームであって１フォームにつき少なくとも３、４枚の契約書の文書画像に基づいて生成される。

請求書用のレイアウト学習モデルは、請求書の文書画像のレイアウト認識を行う学習モデルであり、請求書用のレイアウト学習用データを用いて学習する。請求書用のレイアウト学習モデルは、請求書のどの位置に、どのような情報があるかを学習し、特に、表の占める範囲が大きい場合が多く、日本語で書かれていても英数字の字句も少なくないなど請求書に特有のレイアウトについて学習する。請求書用のレイアウト学習用データは、後述するアノテーションが付与された、例えば、２００種類の請求書のフォームであって１フォームにつき少なくとも３、４枚の請求書の文書画像に基づいて生成される。

覚書用のレイアウト学習モデルは、覚書の文書画像のレイアウト認識を行う学習モデルであり、覚書のレイアウト学習用データを用いて学習する。覚書用のレイアウト学習モデルは、覚書のどの位置に、どのような情報があるかを学習し、特に、表が無い場合が多く、手書きの署名欄が有るなど覚書に特有のレイアウトについて学習する。覚書用のレイアウト学習用データは、後述するアノテーションが付与された、例えば、２００種類の覚書のフォームであって１フォームにつき少なくとも３、４枚の覚書の文書画像に基づいて生成される。

納品書用のレイアウト学習モデルは、納品書の文書画像のレイアウト認識を行う学習モデルであり、納品書用のレイアウト学習用データを用いて学習する。納品書用のレイアウト学習モデルは、納品書のどの位置に、どのような情報があるかを学習し、特に、表の占める範囲が大きい場合が多く、商品の名称及び品番などの記載が少なくないなど納品書に特有のレイアウトについて学習する。納品書用のレイアウト学習用データは、後述するアノテーションが付与された、例えば、２００種類の納品書のフォームであって１フォームにつき少なくとも３、４枚の納品書の文書画像に基づいて生成される。

領収書用のレイアウト学習モデルは、領収書の文書画像のレイアウト認識を行う学習モデルであり、領収書用のレイアウト学習用データを用いて学習する。領収書用のレイアウト学習モデルは、領収書のどの位置に、どのような情報があるかを学習し、特に、金額の手書き欄、若しくは金額が記載された表が記載されている場合が多いなど領収書に特有のレイアウトについて学習する。領収書用のレイアウト学習用データは、後述するアノテーションが付与された、例えば、２００種類の領収書のフォームであって１フォームにつき少なくとも３、４枚の領収書の文書画像に基づいて生成される。

なお、レイアウト学習モデル１４は、情報通信ネットワーク１１を介する電子文書生成装置１０の利用に限定されるものではなく、電子文書生成装置１０に含まれるものとしてもよい。また、レイアウト学習モデル１４は、情報通信ネットワーク１１に接続された複数の情報処理装置に分散して保存されてもよい。

文書画像データベース１５は、文書の画像を蓄積したデータベースである。電子文書生成装置１０は、文書画像データベース１５に記憶された文書画像を取得し、文字列学習モデルの学習に用いる文字列学習用データ、及びレイアウト学習モデルの学習に用いるレイアウト学習用データを生成する。

ユーザ端末１２は、電子文書生成装置１０の操作に用いられる。電子文書生成装置１０によって生成された電子文書の中に誤って認識された文字があった場合、若しくは電子文書生成装置１０によって生成された電子文書のレイアウトが誤って認識されたものであった場合に、ユーザ端末１２のユーザからの修正入力に従って当該電子文書は修正され、電子文書生成装置１０は当該修正を受け付けて、文字列学習モデル１３及びレイアウト学習モデル１４の少なくともいずれかの再学習を行う。

次に図２を参照して、電子文書生成装置１０の機械的構成について説明する。図２は、電子文書生成装置１０の機械的構成を示すブロック図である。電子文書生成装置１０は、入出力インターフェース２０、通信インターフェース２１、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）２２、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）２３、記憶部２４、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ（ＣＰＵ）２５、Ｇｒａｐｈｉｃｓ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔｓ（ＧＰＵ）２８等を備えている。

入出力インターフェース２０は、電子文書生成装置１０の外部装置に対してデータなどの送受信を行う。外部装置とは、電子文書生成装置１０に対してデータなどの入出力を行う入力装置２６及び出力装置２７のことである。入力装置２６とはキーボード、マウス、及びスキャナーなどのことであり、出力装置２７とはモニター、プリンタ及びスピーカなどのことである。

通信インターフェース２１は、情報通信ネットワーク１１を介して外部との通信を行う際に電子文書生成装置１０のデータなどの入出力を行う機能を備える。
記憶部２４は、記憶装置として利用でき、電子文書生成装置１０が動作する上で必要となる各種アプリケーション及び当該アプリケーションによって利用される各種データなどが記録される。ＧＰＵ２８は、機械学習などを実行する上で行われる繰り返し演算を多用する場合に適しており、ＣＰＵ２５とともに用いる。

電子文書生成装置１０は、後述する電子文書生成プログラムをＲＯＭ２２若しくは記憶部２４に保存し、ＲＡＭ２３などで構成されるメインメモリに当該電子文書生成プログラムを取り込む。ＣＰＵ２５は、電子文書生成プログラムを取り込んだメインメモリにアクセスして、電子文書生成プログラムを実行する。

次に図３を参照して、電子文書生成装置１０が行う処理の概略を説明する。図３は、電子文書生成装置１０が行う処理の概要を示す図である。
電子文書生成装置１０は、次に述べる処理Ｉ～ＩＩＩをこの順に行う。

処理Ｉでは、文書画像の「背景除去」、「傾き補正」、及び「形状調整」を含む前処理５５を行う。
前処理５５とは、文字列を含む画像に対して、学習モデルを用いた文字認識を実行（認識）しやすくするための事前の処理を行うことをいい、処理ＩＩ、ＩＩＩで行う認識処理の認識精度を向上させることを目的とする。

処理ＩＩでは、レイアウト認識処理５６を行う。
レイアウト認識処理５６では、先ず文書画像の「レイアウト認識」を行う。レイアウト認識処理５６とは、入力された画像内で、どの位置に、どのような情報があるのかを認識する処理である。

ここでいう情報とは、文字列、表、画像、印章、手書きなどのことをいう。電子文書生成装置１０は、文書画像のレイアウトを認識して文書画像に表が含まれている場合は、「表の認識」を行い、表に含まれるセルについて「セルの画像の切り出し」を行う。

処理ＩＩＩでは、文字列認識処理５７を行う。
文字列認識処理５７とは、文字列を含む画像を、画像と画像に含まれる文字列との対応関係を学習した文字列学習モデル１３を用いて、テキストデータに変換する処理のことである。文字列認識処理５７は、「テキストデータの配置」及び「ノイズ除去」などの処理を含むものとしてもよい。

文字列認識処理５７では、文字列の画像をテキストデータに変換するとともに、「テキストデータの配置」及び「ノイズ除去」を行う。
「テキストデータの配置」とは、切出した文字列の画像にスペースが含まれている場合には文字列とともにスペースも一緒に認識されるので、テキストデータはスペースとともに配置されることを指す。

「ノイズ除去」とは、切出した文字列の画像にノイズが含まれている場合に、ノイズについては電子文書生成装置１０によって認識されないのでテキストデータから受動的に除去されることをいう。ここでいうノイズとは、切り出された文字列の画像に含まれる、文字を構成しない画素のことをいう。

次に図４を参照して、電子文書生成装置１０の機能的構成について説明する。図４は、電子文書生成装置１０の機能的構成を示すブロック図である。電子文書生成装置１０は、後述する電子文書生成プログラムを実行することで、ＣＰＵ２５に、文書画像取得部３１、前処理部３２、背景除去部３２ａ、傾き補正部３２ｂ、形状調整部３２ｃ、レイアウト認識部３３、切出部３４、文字列認識部３５、出力部３６、レイアウト学習用データ生成部４０、レイアウト学習用データ修正部４１、レイアウト学習部４２、文字列学習用データ生成部４３、文字列学習用データ修正部４４、文字列学習部４５等を備える。

文書画像取得部３１（図４参照）は、文書を画像化した文書画像を取得する。
文書画像取得部３１は、文書画像データベース１５から文書画像を取得してもよい。或いは、文書画像取得部３１は、入力装置２６のスキャナーから文書画像を入手してもよい。

図５を参照して、文書画像取得部３１に取得された文書画像、及び電子文書生成装置１０から出力される電子文書について説明する。
図５は電子文書生成装置１０の入力データと出力データとを説明する図であり、図５（ａ）は入力データとして文書画像取得部３１に取得された文書画像を示す。当該文書画像には、ホチキス跡５０、手書き５１、印章５２、及び画像５３などのノイズが存在する。

これらのノイズは、人及びパソコンなどの情報処理装置が当該文書の内容を理解する上で邪魔若しくは不要となる。ノイズの他の例としては、ファイリングのために開けた穴、紙面に残った折り目などがある。折り目は線として認識される恐れがあり、電子文書に反映されないように除去の必要性が高いものである。

電子文書生成装置１０は、取得した文書画像のレイアウトを維持しつつ、当該文書画像内の文字列をテキストデータに変換して電子文書を出力する（図５（ｂ）参照）。電子文書生成装置１０は、ノイズとして認識したホチキス跡５０、手書き５１、印章５２、及び画像５３について能動的処理によりノイズ除去５４し、その他、文字列及びノイズとして認識されなかった文書画像内の画素については、電子文書に残留させない受動的処理により除去する。

図５（ｂ）の文書画像内の表は、当該文書画像内の配置を維持しつつ、電子文書内のオブジェクトデータとしてテキストデータとともに出力される。電子文書生成装置１０は、出力する電子文書に含める要素を任意に選択できるものである。

例えば、ホチキス跡５０、手書き５１、印章５２、及び画像５３などは通常使用では除去されるが、印章５２、及び画像５３をイメージデータとして電子文書に含めて出力することもできる。

前処理部３２（図４参照）は、文書画像取得部３１が取得した文書画像について前処理５５を行う。
前処理５５は、後述するレイアウト認識部３３及び文字列認識部３５による、学習モデルを用いる画像認識の認識精度を向上させるために行われる。

前処理部３２は、背景除去部３２ａ、傾き補正部３２ｂ、及び形状調整部３２ｃを備える。
背景除去部３２ａ（図４参照）は、文書画像取得部３１が取得した文書画像の背景を除去する。

図６を参照して、背景除去部３２ａにより行われる処理について説明する。図６は、前処理５５で行う背景除去を説明する図である。図６（ａ）は背景除去される前の文書画像５８ａを示し、図６（ｂ）は背景除去された後の文書画像５８ｂを示す。

背景除去部３２ａは、文書画像の背景色を白色にすることによって文書画像の背景を除去する。具体的には、背景除去部３２ａは、取得した文書画像の背景色を検出し、当該背景色が白色か否かを判断する。背景色が白色ではないと判断された場合、背景除去部３２ａは、文書画像の背景以外の情報を抽出し、背景色を白色にした後に抽出した情報を重ね合わせる。

背景除去部３２ａによれば、背景を削除することでレイアウト認識部３３及び文字列認識部３５による画像認識の誤動作の原因となるノイズを除去することができ、認識精度を向上させることができる。

傾き補正部３２ｂ（図４参照）は、文書画像取得部３１が取得した文書画像の傾きを補正する。
図７を参照して、傾き補正部３２ｂにより行われる処理について説明する。図７は、前処理５５で行う傾き補正を説明する図である。図７（ａ）は傾き補正される前の文書画像５９ａを示し、図７（ｂ）は傾き補正された後の文書画像５９ｂを示す。

傾き補正部３２ｂは、文書画像の中に傾いた文字列がある場合に当該文字列の傾きを補正し、当該文字列を書字方向に対して平行若しくは垂直にする。傾き補正部３２ｂは、文書画像が縦書きの場合は、傾いた文字列を縦書きの方向に対して平行になるように補正し、文書画像が横書きの場合は、傾いた文字列を横書きの方向に対して平行になるように補正する。

具体的には、傾き補正部３２ｂは、文書画像の文字列を抽出し、抽出した文字列の中に傾斜した文字列があるか否かを判断する。抽出した文字列の中に傾斜した文字列があると判断した場合に、傾き補正部３２ｂは、傾斜した当該文字列の書字方向に対する傾斜角を検出し、傾斜した当該文字列に対して傾斜角がゼロになるように回転処理を施す。

傾き補正部３２ｂによれば、文字列の傾きを補正することで、文字列認識部３５による画像認識の認識精度を向上させることができる。さらに、レイアウト認識部３３によるレイアウトの認識エラーを低減することができる。

形状調整部３２ｃ（図４参照）は、文書画像取得部３１が取得した文書画像の全体の形状及び大きさを調整する。
図８を参照して、形状調整部３２ｃにより行われる処理について説明する。図８は、前処理で行う形状調整を説明する図である。図８（ａ）は形状調整される前の文書画像６０ａを示し、図８（ｂ）は形状調整された後の文書画像６０ｂを示す。

形状調整部３２ｃは、文書画像取得部３１が取得した文書画像の全体の形状が実際の文書と比べて異なる場合、当該文書画像の全体の形状を実際の文書の全体の形状に基づいて調整を行う。具体的には、文書画像取得部３１が取得した文書画像の全体の縦横比が実際の文書の全体の縦横比と異なる場合は、当該文書画像の全体の縦横比が実際の文書の全体の縦横比と等しくなるように形状調整部３２ｃが調整する。

また、文書画像取得部３１が取得した文書画像の大きさが大きすぎる場合、若しくは小さすぎる場合に、その後の処理が正常に行われない可能性があるので、形状調整部３２ｃは、その後の処理が正常に行われるように文書画像取得部３１が取得した文書画像の大きさを調整する。

形状調整部３２ｃによれば、文書画像取得部３１が取得した文書画像の形状及び大きさを調整することで、その後に行われるレイアウト認識部３３による実際の文書に則したレイアウトの認識精度を向上させることができ、さらに文字列認識部３５による画像認識の認識精度を向上させることができる。

レイアウト認識部３３（図４参照）は、文書画像６１に含まれる複数の要素と、当該複数の要素の各々の識別情報との対応関係を学習したレイアウト学習モデル１４を用いて、文書画像取得部３１に取得された文書画像６１に含まれる複数の要素の各々の文書画像６１内における範囲を特定し、複数の要素の各々の種類を認識し、複数の要素の各々の範囲に係る文書画像６１内における位置情報を取得する。

要素の種類は、文字列４８、表４９、画像５３、印章５２、又は手書き５１のいずれかであることとしてもよい。なお、要素の種類はこれに限らず、ホチキス跡５０、パンチ穴跡、破損（破れ）跡、複写用カーボン汚れなどを用いてもよい。

要素の種類は、文書の種類（例えば、契約書、請求書、覚書、納品書、又は領収書など）に適したものを用いてもよい。例えば、領収書の裏面に複写用のカーボンが添布してあり、表面にカーボンが移り汚れとなる場合は、要素の種類に複写用カーボンによる汚れを用いて能動的に当該複写用カーボンによる汚れを除去してもよい。

レイアウト学習モデル１４は、契約書用のレイアウト学習モデル、請求書用のレイアウト学習モデル、覚書用のレイアウト学習モデル、納品書用のレイアウト学習モデル、又は領収書用のレイアウト学習モデルのいずれかであることとしてもよい。

要素の種類は、文書の種類に応じて必要なものと不要なものとに分類してもよい。
この場合、レイアウト認識部３３は、文書画像６１に含まれる複数の要素のうち、認識した要素が不要なものに該当する場合は当該要素の位置情報は取得されず、認識した要素が必要なものに該当する場合は当該要素の位置情報を取得することとしてもよい。または、レイアウト認識部３３は、文書画像６１に含まれる複数の要素のうち、必要な要素のみを認識し、当該要素の位置情報を取得することとしてもよい。

レイアウト認識部３３は、要素の各々の種類を認識して、当該要素の各々の範囲に係る文書画像の位置情報を取得した後、要素同士が重なり合う、若しくは要素同士が離れすぎている場合には、実際の文書に基づいて、当該要素の各々の範囲及び取得した位置情報を補正する。

図９を参照して、レイアウト認識部３３が認識した認識範囲に欠落が生じた場合にレイアウト認識部３３が行う欠落解消の補正処理の一例について説明する。欠落とは、レイアウト認識部３３が要素として認識するべき範囲についてその一部が認識されず、要素の範囲の一部が不足することをいう。図９はレイアウト認識処理で行う欠落解消の補正処理を説明する図であり、図９（ａ）は補正前の様子を示し、図９（ｂ）は補正後の様子を示す。

レイアウト認識部３３は、文書画像取得部３１によって取得された文書画像に含まれる文字列の画像７０を文字列として認識する際に、その認識範囲に欠落が有るか否かの判定を行い、欠落が有る場合には欠落部分を追加する補正処理を行う。

図９（ａ）は、レイアウト認識部３３が、文字列の画像７０について認識範囲７２ａの文字列として認識した様子を示している。認識範囲７２ａは、文字列の画像７０の左端部分に欠落を有している。レイアウト認識部３３は、認識範囲７２ａの周囲の所定範囲以内に黒線が有るか否かの判定を行い、黒線が有る場合には黒線を含む範囲７２ｂを認識範囲７２ａに追加する補正を行う（図９（ｂ）参照）。

なお、レイアウト認識部３３が行う有無の判定は黒線に限定されるものではなく、文字と同色の線又は予め設定された色の線が認識範囲７２ａの周囲の所定範囲以内に有るか否かの判定を行うこととしてもよい。なぜらな、レイアウト認識処理で行う欠落解消の補正処理は、その後に行われる文字認識処理の認識精度を向上させるのが主な目的だからである。

当該補正処理によれば、レイアウト認識部３３が認識した要素の範囲に欠落が生じ場合でも、その欠落した範囲を追加することで正常な認識範囲へと補正することができ、当該要素に含まれる文字列について文字列認識部３５は正常に文字認識を行うことができる。

図１０を参照して、レイアウト認識部３３が認識した認識範囲が、他の要素に重なってしまった場合にレイアウト認識部３３が行う補正の一例について説明する。図１０はレイアウト認識処理で行う重なり解消の補正処理を説明する図であり、図１０（ａ）は補正前の様子を示し、図１０（ｂ）は補正後の様子を示す。

レイアウト認識部３３は、文書画像取得部３１によって取得された文書画像に含まれる文字列の画像７３を文字列として認識する際に、その認識範囲７５ａが他の要素（例えば、表７４）に重なっているか否かの判定を行い、重なりが生じている場合には重なりを解消する補正処理を行う。

図１０（ａ）は、レイアウト認識部３３が、文字列の画像７３について認識範囲７５ａの文字列として認識した様子を示している。認識範囲７５ａは、文字列の画像７３の右隣の表７４に空白（スペース）を超えて重なっている。レイアウト認識部３３は、認識範囲７５ａの内部に所定の大きさの空白（スペース）が有るか否かの判定を行い、当該空白（スペース）が有る場合には、当該空白（スペース）及び当該空白（スペース）より右側の部分に係る認識範囲７５ａを削除して認識範囲７５ｂとする補正を行う（図１０（ｂ）参照）。

要素と他の要素との間には必ず所定の大きさの空白（スペース）があるので、レイアウト認識部３３は、認識範囲の内部に所定の大きさの空白（スペース）が有る場合に当該認識範囲は他の要素と重なっていると断定するものである。レイアウト認識処理で行う重なり解消の補正処理によれば、レイアウト認識部３３はレイアウトの認識精度を向上させることができる。

図１１を参照して、レイアウト認識部３３により行われる処理について説明する。図１１は、レイアウト認識処理５６で行うレイアウト認識を説明する図であり、図１１（ａ）はレイアウト認識される前の文書画像６１の状態を示し、図１１（ｂ）はレイアウト認識された後の文書画像６２の状態を示す。

レイアウト認識部３３は、文書画像６１に含まれる要素（文字列４８、表４９、印章５２、画像５３）の文書画像６１内における範囲について、レイアウト学習モデル１４を用いた画像認識により特定する。

図１１（ｂ）において、説明の便宜上、特定された文字列４８の範囲を実線で囲い、特定された表４９、印章５２、及び画像５３の範囲を破線で囲う。要素の境界は電子文書生成装置１０が認識できれば良いので、人に対して可視化されていなくても良い。

レイアウト認識部３３は、特定された文書画像６１内における範囲において、レイアウト学習モデル１４を用いた画像認識により該当する要素の種類を認識し、当該要素の種類とともに当該範囲の文書画像６２内に係る位置情報を取得する。位置情報は、文書画像６２内の所定点を原点とした平面直交座標によって表されてもよい。

レイアウト学習モデル１４は、文書画像６１の種類に合わせて予め設定されており、レイアウト認識部３３は、予め設定されたレイアウト学習モデル１４を用いて文書画像６１のレイアウトを認識する。

すなわち、文書画像取得部３１により取得された文書画像６１が契約書だった場合は契約書用のレイアウト学習モデル１４を用いて画像認識を行い、請求書だった場合は請求書用のレイアウト学習モデル１４を用いて画像認識を行い、覚書だった場合は覚書用のレイアウト学習モデル１４を用いて画像認識を行い、納品書だった場合は納品書用のレイアウト学習モデル１４を用いて画像認識を行い、領収書だった場合は領収書用のレイアウト学習モデル１４を用いて画像認識を行う。

レイアウト認識部３３は、文書画像取得部３１により取得された文書画像６１の種類に合わせてレイアウト学習モデル１４を使い分けるので、文書画像６１のレイアウト認識の認識精度を向上させることができる。

切出部３４（図４参照）は、レイアウト認識部３３により認識された種類が表に該当する要素において、当該要素に含まれる表の中のセルの各々を切り出し、セルの各々の文書画像内における位置情報を取得する。

図１２を参照して、レイアウト認識部３３による表４９の認識について説明する。図１２はレイアウト認識処理５６で行う表の認識を説明する図であり、図１２（ａ）はレイアウト認識部３３に認識される前の表６３を示し、図１２（ｂ）はレイアウト認識部３３に認識された後の表６４を示す。図１２（ｂ）では、説明の便宜上、縦線６５として認識された線を一点鎖線として表し、横線６６として認識された線を破線として表すことにする。

レイアウト認識部３３は、表６４を構成する全ての縦線６５及び横線６６の各々の長さと位置を認識する。レイアウト認識部３３は、表６４を構成する全ての縦線６５及び横線６６の長さと位置を認識することで、表６４に含まれる全てのセルについて認識する。すなわち、レイアウト認識部３３は、隣接する２本の縦線６５及び隣接する２本の横線６６により構成される四角形をセルとして認識する。

さらに、レイアウト認識部３３は表６４を構成する線の線種についても認識する。認識された線種は、取得した文書画像に基づいて電子文書を再現する際に、当該電子文書に含まれる表を構成する線のオブジェクトに反映される。従って、例えば、文書画像６２内の表の線が破線であった場合、文書画像６２に基づいて再現された電子文書に含まれる表の線は破線のオブジェクトとして表現される。

切出部３４は、レイアウト認識部３３により把握された表６４に含まれる全てのセルについてセル単体毎の画像に切り出す。
図１３を参照して、切出部３４によるセル画素の切り出しについて説明する。図１３は、セル画像の切り出しを説明する図である。切出部３４により切り出されたセル６７は、複数の文字列を含む場合もある。

切出部３４は、表６４に含まれる全てのセルについてセル単体毎の画像と当該セルの表６４における位置情報について取得する。位置情報は、表６４内の所定点を原点とした平面直交座標によって表されてもよいし、若しくは表６４における（行、列）によって表されてもよい。

切出部３４は、レイアウト認識部３３により認識された表を構成する全ての縦線及び横線を再生し、全てのセルの位置情報を生成する。

図１４を参照して、複数の文字列を含むセル６７について説明する。図１４は、セル画像内の文字列を説明する図である。

切出部３４は、切り出されたセル６７に複数行の文字列が含まれている場合は、さらに全ての文字列について文字列単体毎の画像を切り出す。図１４に示すセル６７は、２行の文字列を含んでおり、切出部３４は文字列の画像６７ａ及び文字列の画像６７ｂを切出す。

文字列認識部３５（図４参照）は、文書画像と当該文書画像に含まれる文字列との対応関係を学習した文字列学習モデル１３を用いて、文書画像取得部３１に取得された文書画像に含まれる文字列を文字認識し、当該文字列に係るテキストデータを生成する。

文字列認識部３５は、レイアウト認識部３３により認識された範囲に含まれる文字列について、文字列学習モデル１３を用いて文字認識し、文字列に係るテキストデータを生成してもよい。

文字列認識部３５は、切出部３４に切り出されたセルの各々に含まれる文字列について、文字列学習モデル１３を用いて文字認識を行い、文字列に係るテキストデータを生成してもよい。

文字列認識部３５は、複数の文字列学習モデル１３を備え、複数の要素の各々に含まれる文字列の言語に適応した文字列学習モデル１３を用いてもよい。
文字列認識部３５は、英語で書かれた文書画像を文字認識する場合に、英語の文字列の認識に適した文字列学習モデルを用いることで、認識精度を向上させることができる。

図１５、１６を用いて文字列認識部３５が行う文字認識について説明する。
図１５は、文字列認識処理５７で行うテキストデータの配置を説明する図であり、図１５（ａ）は文字認識が行われる前の文字列の画像６７ａであり、図１５（ｂ）は文字認識が行われた後の文字列６８ａ、すなわちテキストデータ６８ａである。

図１６は、文字列認識処理５７で行うノイズ除去を説明する図であり、図１６（ａ）は文字認識が行われる前の文字列の画像７１ａであり、図１６（ｂ）は文字認識が行われた後の文字列７１ｂ、すなわちテキストデータ７１ｂである。

図１５（ａ）に示す文字列の画像６７ａは、１行の文字列の他に手書きチェック跡が残る。当該文字列は、単語と単語との間に空白を含んでいる。文字列認識部３５は、文字列の画像６７ａ全体について、文字列学習モデル１３を用いて文字認識し、テキストデータを生成する。

文字列認識部３５は、文字列の画像６７ａの中の、２個の字句である「Ｌ／Ｃ ＮＯ：」、「ＩＬＣ１８Ｈ０００２１９」、及び２個の字句の間の空白について文字認識して、２個の字句に対応するテキストデータ、及び２個の字句の間の空白に対応するテキストデータを生成する（６８ａ：図１５（ｂ）参照）。
従って、文字列認識部３５は、字句と字句の間にあるスペースについても認識してテキストデータに変換するので、画像６７ａと同様に２つの字句を離して配置することができる。

文字列認識部３５は、文字列の画像６７ａについて文字認識する際に、手書きチェック跡については文字認識されずテキストデータに含まれないので、出力される電子文書から手書きチェック跡は削除される（６８ａ：図１５（ｂ））。従って、文字列認識部３５の文字認識の対象とならない手書チェック跡などのノイズは受動的に電子文書から除去される。

図１６（ａ）に示す文字列の画像７１ａは、１行の文字列に重なった印章の一部がノイズとして残っている。文字列認識部３５は、文字列の画像７１ａ全体について、文字列学習モデル１３を用いて文字認識し、テキストデータを生成する。

文字列認識部３５は、文字列の画像７１ａ全体について文字認識し、文字列「ａｕｔｈｏｒｉｚｅｄ ｔｏ ａｃｔ ｏｎ ｂｅｈａｌｆ ｏｆ ｔｈｅ」について、当該文字列に対応するテキストデータについて生成する（７１ｂ：図１６（ｂ）参照）。

文字列の画像７１ａに含まれるノイズは、文字列認識部３５の文字認識の対象とはならないので、受動的に電子文書から除去される（７１ｂ：図１６（ｂ）参照）。

図１５、１６を用いて、文書画像と、その文章画像に対する文字認識を施した後の文字列のテキストデータについて説明したが、文字列学習モデル１３は、図１５（ａ）と図１５（ｂ）とを対応付けたデータや、図１６（ａ）と図１６（ｂ）とを対応付けたデータを、教師データとして、多数学習することで、このような深層学習を用いた画像からの文字認識を実現することができる。

文字列認識部３５は、文字列学習モデル１３を用いて、画像６７ａ、７１ａに含まれる文字列について文字認識する際に当該文字列に含まれる文字の大きさ及び書体などの属性データを取得してもよい。この文字の属性データは、後述の出力部３６によって出力されるテキストデータの属性データとして反映される。

出力部３６（図４参照）は、テキストデータを電子媒体のテキストとして出力する。
出力部３６は、複数の要素に係る範囲の各々の位置情報に、複数の要素に係るテキストデータの各々を電子媒体のテキストとして出力してもよい。

電子媒体とは、電子的に記録媒体に保存されたデータに限らず、記録媒体に保存された状態でなくパソコンなどの情報処理装置がその内容を扱うことが出来るデータそのものも含むものとする。
要素の位置情報は、文書画像６２内の所定点を原点とした平面直交座標によって表されてもよい。

出力部３６によれば、複数の要素に係るテキストデータを当該要素に係る位置情報に基づいて出力するので、取得した文書画像６１のレイアウトを維持しつつノイズを除去して、当該文書画像６１内の文字列をテキストデータに変換して電子文書を出力することができる。

出力部３６は、文字列認識部３５によって取得された文字の属性データについて、テキストデータに反映させて電子文書に出力してもよい。当該出力部３６によれば、電子文書生成装置１０は、文書画像６１に含まれる文字の大きさ及び書体などの属性データについて、出力する電子文書に含まれるテキストデータの属性データとして再現することができる。

レイアウト学習用データ生成部４０（図４参照）は、複数の要素を含む文書画像であって、当該要素に当該要素の各々に該当する種類に関連付けられたアノテーションが付与されており、アノテーションが付与された複数の文書画像を蓄積してレイアウト学習用データを生成する。

レイアウト学習用データはレイアウト学習モデル１４の教師有り学習に用いられる。
レイアウト学習用データに蓄積される文書画像に、アノテーションとともに文書画像に含まれる複数の要素に係る範囲の各々の文書画像内における位置情報が付与されてもよい。

図１７から図２３を参照して、アノテーションが付与されたレイアウト学習用データについて説明する。図１７から図２３は、アノテーションが付与されたレイアウト学習用データの例を示す図である。

レイアウト学習用データ生成部４０は、文書画像データベース１５から文書画像を取得し、当該文書画像にアノテーションを付与してレイアウト学習用データを生成する。なお、レイアウト学習用データを生成する際に、レイアウト学習用データ生成部４０を用いること無く、ユーザが手動でレイアウト学習用データを生成することもできる。ユーザが手動でレイアウト学習用データを生成する場合は、文書画像データベース１５から取得した文書画像にユーザ端末１２を用いてアノテーションを付与することができる。

図１７、１８を参照して、請求書用のレイアウト学習モデル１４の学習に用いられるレイアウト学習用データについて説明する。文書画像に含まれる要素として、文字列、表、画像、印章、外枠、ノイズについて、電子文書生成装置１０が識別し分類できるように、それぞれの要素に注釈記号を付与する。

文字列に係る要素には、文字列の注釈記号７６を付与し、当該文字列を矩形の枠線で囲い、当該枠線に「Ｔｅｘｔ」のタグを目印として付ける。矩形の枠線で囲われた部分は、文書画像内における当該文字列に係る要素の占める範囲としてレイアウト学習モデル１４に学習される。

表に係る要素には、表の注釈記号７７を付与し、当該表の外枠に矩形の枠線を重ね合わせ、当該枠線に「Ｂｏｒｄｅｒ Ｔａｂｌｅ」のタグを目印として付ける。矩形の枠線で囲われた部分は、文書画像内における当該表に係る要素の占める範囲としてレイアウト学習モデル１４に学習される。

画像に係る要素には、画像の注釈記号７８を付与し、当該画像の境界線に注釈記号を示す枠線を重ね合わせ、当該枠に「Ｉｍａｇｅ」のタグを目印として付ける。画像には、ロゴ、マーク、写真、及びイラストなどが含まれるものとする。枠線で囲われた部分は、文書画像内における当該画像に係る要素の占める範囲としてレイアウト学習モデル１４に学習される。

印章に係る要素には、印章の注釈記号７９を付与し、当該印章の境界線に注釈記号を示す枠線を重ね合わせ、当該枠線に「Ｈｕｎ」のタグを目印として付ける。枠線で覆われた部分は、文書画像内における当該印章に係る要素の占める範囲としてレイアウト学習モデル１４に学習される。

外枠に係る要素には、外枠の注釈記号８０を付与し、当該外枠の境界線に枠線を重ね合わせ、当該枠線に「Ｂｏｒｄｅｒ」のタグを目印として付ける。枠線を構成する４本の線分について、その長さと位置について、レイアウト学習モデル１４に学習される。

ノイズに係る要素には、ノイズの注釈記号８１を付与し、当該ノイズを矩形の枠で囲い、当該枠に「Ｎｏｉｓｅ」のタグを目印として付ける。枠で覆われた部分は、文書画像内における当該ノイズに係る要素の占める範囲としてレイアウト学習モデル１４に学習される。

図１９を参照して、表の認識の学習に用いられるレイアウト学習データについて説明する。文書画像データベース１５から取得した文書画像に含まれる表について、表を構成する全ての縦線に縦線の注釈記号８３である一点鎖線を重ね合わせ、表を構成する全ての横線に横線の注釈記号８４である破線を重ね合わせる。

レイアウト学習モデル１４は、全ての一点鎖線及び破線を認識することで、表の大きさ、表が占める範囲、位置、及び表に含まれ全セルの情報について学習することができる。セルの情報とは、表に含まれるセルの数、及びセル各々の表における位置のことであり、表における位置は表の（行、列）で表される。

図２０、２１を参照して、表のセルの中の文字列の認識の学習に用いられるレイアウト学習データについて説明する。図２０は、セルの各々に１行ずつ文字列が含まれているレイアウト学習データである。図２１は、１行の文字列を含むセル、２行の文字列を含むセル、３行の文字列を含むセルに係る表を認識するレイアウト学習データである。

図２０、図２１が示す通り、１つのセルに含まれる文字列の行数に影響を受けることなく、文字列の各々に文字列の注釈記号７６を付与し、当該文字列を矩形の枠線で囲い、当該枠線に「Ｔｅｘｔ」のタグを目印として付ける。

レイアウト学習モデル１４は、文字列の注釈記号７６の範囲、及び表内における文字列の位置を学習する。電子文書生成装置１０は、表を構成する全ての縦線及び横線に係るオブジェクトデータとともに、文字列に係るテキストデータを電子文書に出力することで表を再現することができる。

図２２を参照して、表のセルの中の文字列の認識の学習に用いられるレイアウト学習データについて説明する。図２２の表のセルに含まれる文字列の各々に文字列の注釈記号７６を付与し、当該文字列を矩形の枠線で囲い、当該枠線に「Ｔｅｘｔ」のタグを目印として付ける。

レイアウト学習モデル１４は、文字列の注釈記号７６の範囲、及び文字列の文書内における位置情報について学習をする。電子文書生成装置１０は、文字列に係るテキストデータを文書内における位置に置くことで表を電子文書内に再現することができる。電子文書生成装置１０は、表を構成する縦線及び横線を電子文書内に再現することなく、テキストデータの出力のみで電子文書内に表を再現することができる。

図２３を参照して、印章の認識の学習に用いられるレイアウト学習モデルについて説明する。図２３に係るレイアウト学習モデルにより、レイアウト学習モデル１４は、印章に係る要素を用いること無く、文字列に係る要素、及び文字列の下部に位置する空白により印章の範囲と位置を学習することができる。

レイアウト学習用データ修正部４１（図４参照）は、入力に基づいて、レイアウト認識部３３により取得された複数の要素の各々の種類、及び複数の要素の各々の範囲の文書画像内における位置情報の少なくともいずれかが修正され、この修正されたデータを追加することでレイアウト学習用データを更新する。

レイアウト認識部３３に画像認識される前の文書画像６１とレイアウト認識部３３に画像認識された後の文書画像６２との間に齟齬が生じる場合がある。例えば、文字列の一部が認識されない場合、画像として認識されるべき要素が印章として認識されてしまう場合、表の位置にズレが生じた場合などがある。

このような場合に、レイアウト認識部３３に画像認識された後の文書画像６２について、レイアウト認識部３３に画像認識される前の文書画像６１に合わせるように修正を行い、この修正されたデータをレイアウト学習用データに追加することで、レイアウト学習用データは更新される。

レイアウト学習部４２（図４参照）は、レイアウト学習用データ修正部４１により更新されたレイアウト学習用データを用いて、レイアウト学習モデル１４の再学習を行う。
レイアウト学習モデル１４は再学習されることで、文書画像のレイアウトの認識精度を向上させることができる。

文字列学習用データ生成部４３（図４参照）は、文字列学習モデル１３の教師有り学習に用いる文字列学習用データを生成する。
文字列学習用データ修正部４４（図４参照）は、入力に基づいて、文字列認識部３５により生成されたテキストデータが修正され、この修正されたテキストデータを追加することで文字列学習用データを更新する。

文字列学習部４５（図４参照）は、文字列学習用データ修正部４４により更新された文字列学習用データを用いて、文字列学習モデル１３の再学習を行う。

文字列学習用データ生成部４３は、文書画像データベース１５から文書画像を取得し、当該文書画像にアノテーションを付与して文字列学習用データを生成する。なお、文字列学習用データを生成する際に、文字列学習用データ生成部４３を用いること無く、ユーザが手動で文字列学習用データを生成することもできる。ユーザが手動で文字列学習用データを生成する場合は、文書画像データベース１５から取得した文書画像にユーザ端末１２を用いてアノテーションを付与することができる。

図２４を参照して、文字列学習モデル１３の学習に用いられる文字列学習データについて説明する。図２１は、アノテーションが付与された文字列学習用データの例を示す図である。図２４は、文字列学習用データ生成部４３の出力画面であり、ユーザ端末１２若しくは電子文書生成装置１０の出力装置２７に表示される。

文字列学習用データ生成部４３は、文書画像データベース１５から取得した文書画像に含まれる文字列について、当該文字列各々に対応するテキストデータをテキストデータの注釈８５として付与する。

なお、アノテーションの付与はテキストデータに替えて、対応する文字コードをテキストデータの注釈８５として付与してもよい。文字列学習用データ生成部４３は、文書画像に含まれる文字列が空白を含む場合、当該文字列に対応するテキストデータは同じ様に空白を含むようにして文字列学習用データを生成する。

次に、図２５を参照して、本実施形態に係る電子文書生成装置１０によって実行される電子文書生成方法を電子文書生成プログラムとともに説明する。図２５は、電子文書生成プログラムのフローチャートである。電子文書生成方法は、電子文書生成プログラムに基づいて、電子文書生成装置１０のＣＰＵ２５により実行される。

電子文書生成プログラムは、電子文書生成装置１０のＣＰＵ２５に対して、文書画像取得機能、前処理機能、レイアウト認識機能、切出機能、文字認識機能、出力機能などの各種機能を実現させる。これらの機能は図２５に示される順に実行されるが、適宜、順番を入れ替えて実行することもできる。なお、各機能は前述の電子文書生成装置１０の説明と重複するため、その詳細な説明は省略する。

文書画像取得機能は、文書を画像化した文書画像を取得する（Ｓ３１：文書画像取得ステップ）。
文書画像の形式は、一例としてＰＤＦ、ＪＰＧ、及びＧＩＦなどがあり、この他電子文書生成装置１０が画像として処理できるデータ形式のものは含み得る。

前処理機能は、文書画像取得機能が取得した文書画像について前処理を行う（Ｓ３２：前処理ステップ）。
前処理機能は背景除去機能、傾き補正機能、及び形状調整機能を備え、背景除去機能は文書画像取得機能が取得した文書画像の背景を除去し、傾き補正機能は文書画像取得機能が取得した文書画像の傾きを補正し、形状調整機能は文書画像取得機能が取得した文書画像の全体の形状及び大きさを調整する。

レイアウト認識機能は、文書画像に含まれる複数の要素と、当該複数の要素の各々の識別情報との対応関係を学習したレイアウト学習モデル１４を用いて、文書画像取得機能に取得された文書画像に含まれる複数の要素の各々の文書画像内における範囲を特定し、複数の要素の各々の種類を認識し、及び複数の要素の各々の範囲に係る文書画像内における位置情報を取得する（Ｓ３３：レイアウト認識ステップ）。

要素の種類は、文書の種類に応じて必要なものと不要なものとに分類してもよい。
この場合、レイアウト認識機能は、文書画像取得機能に取得された文書画像に含まれる複数の要素のうち、認識した要素が不要なものに該当する場合は当該要素の位置情報は取得されず、認識した要素が必要なものに該当する場合は当該要素の位置情報を取得することとしてもよい。または、レイアウト認識機能は、文書画像６１に含まれる複数の要素のうち、必要な要素のみを認識し、当該要素の位置情報を取得することとしてもよい。

レイアウト認識機能は、要素の各々の種類を認識して、当該要素の各々の範囲に係る文書画像の位置情報を取得した後、要素同士が重なり合う、若しくは要素同士が離れすぎている場合には、実際の文書に基づいて、当該要素の各々の範囲及び取得した位置情報を補正する。

レイアウト認識機能は、表を構成する全ての縦線及び横線の各々の長さと位置を認識する。レイアウト認識機能は、表を構成する全ての縦線及び横線の長さと位置を把握することで、表に含まれる全てのセルについて把握する。すなわち、レイアウト認識機能は、隣接する２本の縦線及び隣接する２本の横線により構成される四角形をセルとして認識する。

さらに、レイアウト認識機能は表を構成する線の線種についても認識する。認識された線種は、取得した文書画像に基づいて電子文書を再現する際に、当該電子文書に含まれる表を構成する線のオブジェクトに反映される。従って、例えば、文書画像内の表の線が破線であった場合、文書画像に基づいて再現された電子文書に含まれる表の線は破線のオブジェクトとして表現される。

切出機能は、レイアウト認識機能により認識された種類が表に該当する要素において、当該要素に含まれる表の中のセルの各々を切り出し、セルの各々の文書画像内における位置情報を取得する（Ｓ３４：切出ステップ）。
切出機能は、レイアウト認識機能により認識された表を構成する全ての縦線及び横線を再生し、全てのセルの位置情報を生成する。

切出機能により切り出されたセルは、複数の文字列を含む場合もある。切出機能は、切り出されたセルに複数行の文字列が含まれている場合は、さらに全ての文字列について文字列単体毎の画像を切り出す。

レイアウト認識機能によって認識された文字列の画像、及び切出し機能により切り出された文字列の画像は、１行ごとに文字認識機能に送り出される。

文字認識機能は、文書画像と当該文書画像に含まれる文字列との対応関係を学習した文字列学習モデルを用いて、文書画像取得機能に取得された文書画像に含まれる文字列を文字認識し、当該文字列に係るテキストデータを生成する（Ｓ３５：文字認識ステップ）。

出力機能は、テキストデータを電子媒体のテキストとして出力する（Ｓ３６：出力ステップ）。
出力機能は、レイアウト認識機能により取得された文字列の位置情報、及び切出部により取得されたセルの文書画像内における位置情報に基づいてテキストデータを出力し、電子媒体のテキストとして再生する。

次に、上記した電子文書生成プログラムについて、図２６から図２８を参照して、領収書の文書画像を電子文書に変換する一実施形態について説明する。図２６から図２８は、電子文書生成プログラムに係る一実施形態のフローチャートである。図２６から図２８に示すフローチャートは、これらを結合することで、１つの電子文書生成プログラムのフローチャートを示すこととなる。

ステップＳ１０２において、文書画像取得部３１は、文書画像データベース１５より文書画像若しくはＰＤＦを取得する。
ステップＳ１０３において、文書画像取得部３１が取得したデータがＰＤＦか否かの判定を行う。ＰＤＦではない場合（Ｎｏ：Ｓ１０３）、即ち、文書画像取得部３１が取得したデータが文書画像であった場合、ステップＳ１０６に移行する。

文書画像取得部３１が取得したデータがＰＤＦだった場合（Ｙｅｓ：Ｓ１０３）、ステップＳ１０４に移行し、当該ＰＤＦを文書画像に変換した後に当該文書画像を取得する（Ｓ１０５）。

ステップＳ１０６において、前処理部３２は、取得した文書画像について前処理を行う。前処理部３２は、背景除去部３２ａ、傾き補正部３２ｂ、及び形状調整部３２ｃを備える。

背景除去部３２ａは、取得した文書画像の背景を除去する。傾き補正部３２ｂは、取得した文書画像に含まれる文字列が傾いている場合に傾き補正を行い文字列の傾きを補正する。形状調整部３２ｃは、取得した文書画像の全体の形状及び大きさの調整を行う。

ステップＳ１０７において、レイアウト認識部３３は、前処理部３２により行われた前処理を経た文書画像を取得する。
取得された前処理後の文書画像は、後述のステップＳ１１５、ステップＳ１２０、及びステップＳ１３６の文書画像切り出し処理に送られる。

ステップＳ１０８及びステップＳ１０９において、レイアウト認識部３３は、文書画像のレイアウト認識を行い、文書画像に含まれる複数の要素について、要素ごとにその範囲を特定し、要素ごとに種類と位置情報とを取得する。
要素の種類は、文字列、表、画像、印章、手書きである。

ステップＳ１１０において、レイアウト認識部３３は、取得した要素の最小境界ボックスの位置情報の調整処理を行う。
最小境界ボックスとは、要素を囲う矩形のうち面積が最小のものをいい、当該要素が占める範囲を意味する。レイアウト認識部３３は、文書画像と取得した要素とを照合し、文書画像と取得した要素の位置情報との間に齟齬があった場合は取得した要素の最小境界ボックスの位置情報の調整を行う。

ステップＳ１１１において、レイアウト認識部３３は、ステップＳ１１０にて実施された最小境界ボックスの調整処理後のレイアウト情報を取得する。当該レイアウト情報には、要素の種類、及び位置情報が含まれる。

ステップＳ１１２において、レイアウト認識部３３は、後述するステップＳ１３０の処理により送られてくる内部記憶された要素のレイアウト情報を参照して、文書画像の中に他の要素が残っているか否かを判定する。

ステップＳ１３０の処理により送られてくる内部記憶された要素のレイアウト情報の中に全ての要素のレイアウト情報が含まれている場合、レイアウト認識部３３は、文書画像の中に他の要素が残っていないと判定して（Ｎｏ：Ｓ１１２）、ステップＳ１３１に移行して、ステップＳ１１２からステップＳ１３０のループの終了処理を行いステップＳ１３２に移行する。

一方、ステップＳ１３０の処理により送られてくる内部記憶された要素のレイアウト情報の中に全ての要素のレイアウト情報が含まれていない場合、レイアウト認識部３３は、文書画像の中に他の要素が残っていると判定して（Ｙｅｓ：Ｓ１１２）、ステップＳ１１３に移行する。

ステップＳ１１３において、レイアウト認識部３３は、文書画像の中に残る要素が表であるか否かを判定する。
文書画像に表が残っていない場合（Ｎｏ：Ｓ１１３）、後述のステップＳ１３０へ表以外のレイアウト情報を送る。

文書画像に表が残っている場合（Ｙｅｓ：Ｓ１１３）、ステップＳ１１４に移行する。なお、文書画像は領収書に係るものであるので表を含む場合が多い。従って、文書画像が表を含まないと判断された場合、レイアウト認識部３３は処理を中断して、電子文書が領収書に係るものか否かを確認するようにしてもよい。

ステップＳ１１４において、レイアウト認識部３３は、文書画像内の表を構成する全ての縦線及び横線の大きさ及び位置情報を取得する。表を構成する全ての縦線及び横線の大きさ及び位置情報を取得すれば、表に含まれる全てのセルについて、そのセルの大きさ及び位置を取得することができる。

ステップＳ１１５において、切出部３４は、ステップＳ１０７の処理により取得された前処理後の文書画像の中から表の画像の切り出し処理を行う。
ステップＳ１１６において、切出部３４は、ステップＳ１１５にて切り出された表の画像を取得する。

ステップＳ１１７及びステップＳ１１８において、切出部３４は、ステップＳ１１６にて取得された表の画像からセルを抽出する処理を行い（ステップＳ１１７）、セルの情報を取得する（ステップＳ１１８）。

セルの情報とは、表におけるセルの位置情報に相当する行、列、及び座標のことである。
ステップＳ１１８にて取得されたセルの情報は、後述するステップＳ１２７に送られる。

ステップＳ１１９において、切出部３４は、ステップＳ１２７の処理により送られてきた内部記憶された表のレイアウト情報を参照して、表の中に他のセルが残っているか否かを判定する。

ステップＳ１２７の処理により送られてきた内部記憶されたセルのレイアウト情報の中に全てのセルのレイアウト情報が含まれている場合、切出部３４は、表の中に他のセルが残っていないと判定して（Ｎｏ：Ｓ１１９）、ステップＳ１２８に移行して、ステップＳ１１９からステップＳ１２７のループの終了処理を行いステップＳ１３０に移行する。

一方、ステップＳ１２７の処理により送られてくる内部記憶されたセルのレイアウト情報の中に全てのセルのレイアウト情報が含まれていない場合、切出部３４は、表の中に他のセルが残っていると判定して（Ｙｅｓ：Ｓ１１９）、ステップＳ１２０に移行する。

ステップＳ１２０において、切出部３４は、ステップＳ１０７の処理により取得された前処理後の文書画像からセルの画像を切り出す処理を行う。
ステップＳ１２１において、切出部３４は、ステップＳ１２０の処理により切り出されたセルの画像を取得する。

ステップＳ１２２において、文字列認識部３５は、ステップＳ１２１の処理により取得されたセルの画像について文字列認識の処理を行う。
ステップＳ１２３において、文字列認識部３５は、文字列認識の処理が行われた文字列の位置情報を取得する。

ステップＳ１２４において、文字列認識部３５は、ステップＳ１２３の処理により取得した文字列の最小境界ボックスの位置情報の調整処理を行う。
文字列認識部３５は、文書画像と取得した文字列の位置情報とを照合し、文書画像と取得した文字列の位置情報との間に齟齬があった場合は取得した文字列の最小境界ボックスの位置情報の調整を行う。

ステップＳ１２５において、文字列認識部３５は、ステップＳ１２４にて実施された文字列の最小境界ボックスの位置情報の調整処理後の位置情報を取得する。

ステップＳ１２６及びステップＳ１２７において、文字列認識部３５は、ステップＳ１１８の処理によって取得されたセルの情報とステップＳ１２５の処理によって取得された調整後の文字列の位置情報とを併合し（ステップＳ１２７）、表のレイアウト情報として内部記憶装置に内部記憶する（ステップＳ１２６）。内部記憶装置とは、図２に示すＲＡＭ２３若しくは記憶部２４の何れか、若しくはその両方のことをいう。

ステップＳ１１９からステップＳ１２７の処理は、表に含まれる全てのセルについて行われる。ステップＳ１１９からステップＳ１２７の処理が表に含まれる最後のセルについて行われた後にステップＳ１２８のループの終了処理が行われて、文字列認識部３５はステップＳ１３０に移行する。

ステップＳ１２９及びステップＳ１３０において、出力部３６は、ステップＳ１２６の処理により取得された表のレイアウト情報とステップＳ１１３の処理により取得された表以外のレイアウト情報とを併合し（ステップＳ１３０）、全ての要素のレイアウト情報として内部記憶装置に内部記憶する（ステップＳ１２９）。

ステップＳ１１２からステップＳ１３０の処理は、文書画像に含まれる全ての要素について行われる。ステップＳ１１２からステップＳ１３０の処理が文書画像に含まれる最後の要素について行われた後にステップＳ１３１のループの終了処理が行われて、文字列認識部３５はステップＳ１３２に移行する。

ステップＳ１３２において、文字列認識部３５は、文書画像に他の要素が残っているか否かの判定を行う。
文字列認識部３５は、後述のステップＳ１４０の処理により送られてきた内部記憶された要素のレイアウト情報を参照して、文書画像の中に他の要素が残っているか否かを判定する。

ステップＳ１４０の処理により送られてきた内部記憶された要素のレイアウト情報の中に全ての要素のレイアウト情報が含まれている場合、文字列認識部３５は、文書画像の中に他の要度が残っていないと判定して（Ｎｏ：Ｓ１３２）、ステップＳ１４１に移行して、ステップＳ１３２からステップＳ１４０のループの終了処理を行いステップＳ１４２に移行する。

一方、ステップＳ１４０の処理により送られてくる内部記憶された要素のレイアウト情報の中に全ての要素のレイアウト情報が含まれていない場合、文字列認識部３５は、文書画像の中に他の要素が残っていると判定して（Ｙｅｓ：Ｓ１３２）、ステップＳ１３３に移行する。

ステップＳ１３３において、文字列認識部３５は、文書画像の中に残っている要素が文字列であるか否かを判定する。
文字列認識部３５が、文書画像に残っている要素が文字列であると判定した場合（Ｙｅｓ：Ｓ１３３）、ステップＳ１３５に移行する。

文字列認識部３５が、文書画像に残っている要素が文字列ではないと判定した場合（Ｎｏ：Ｓ１３３）、ステップＳ１３２に移行するループの続行処理が行われる（ステップＳ１３４）。
ステップＳ１３５において、文字列認識部３５は、文字列の位置情報を取得する。

ステップＳ１３６及びステップＳ１３７において、文字列認識部３５は、ステップＳ１０７の処理によって取得された前処理後の文書画像の中から文字列の画像を切り出し（ステップＳ１３６）、文字列の画像を取得する。

ステップＳ１３８及びステップＳ１３９において、文字列認識部３５は、ステップＳ１３７の処理によって取得された文字列の画像について文字列認識の処理を行い（ステップＳ１３８）、文字列認識の処理により予測されたテキストデータを生成する（ステップＳ１３９）。

ステップＳ１４０において、文字列認識部３５は、ステップＳ１３５の処理によって取得された文字列の位置情報とステップＳ１３９の処理によって生成されたテキストデータとを併合して要素のレイアウト情報を生成する。生成された要素のレイアウト情報は、ステップＳ１２９に送られる。ステップＳ１２９では、送られてきた要素のレイアウト情報を内部記憶装置に内部記憶する。内部記憶装置とは、図２に示すＲＡＭ２３若しくは記憶部２４の何れか、若しくはその両方のことをいう。

ステップＳ１３２からステップＳ１４０までの処理は、ステップＳ１４０の処理によって送られてきた要素のレイアウト情報の中に全ての要素のレイアウト情報が含まれているとステップＳ１３２の処理によって判定されるまで行われる。

ステップＳ１４１において、ステップＳ１４０の処理によって送られてきた要素のレイアウト情報の中に全ての要素のレイアウト情報が含まれているとステップＳ１３２の処理によって判定されたことを受けて、ステップＳ１３２からステップＳ１４０までのループの終了処理が行われて、ステップＳ１４２に移行される。

ステップＳ１４２において、電子文書生成装置１０は後処理を行う。後処理では、全ての要素のテキストデータ、画像、及び位置情報について、ＪＳＯＮ（ｊａｖａｓｃｒｉｐｔ ｏｂｊｅｃｔ ｎｏｔａｔｉｏｎ）への出力、及びＴＳＶ（Ｔａｂ－Ｓｅｐａｒａｔｅｄ Ｖａｌｕｅｓ）への変換などが行われる。
なお、上記した各機能部の処理は、電子文書生成装置１０のＣＰＵ２５により実行される処理である。

ステップＳ１４３において、出力部３６は、後処理を経た全ての要素の情報について、最終形態として単純なテキストファイル、ＨＴＭＬ（ＨｙｐｅｒＴｅｘｔ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）、市販されている文字編集ソフトで編集可能なファイル形式、及び編集可能はＰＤＦなどの電子文書として出力する。

上記した実施形態によれば、電子文書生成装置１０は、文書画像のレイアウトについてレイアウト学習モデル１４を用いて認識し、その上で文字列学習モデル１３を用いて文書画像の文字認識を行う。すなわち、電子文書生成装置１０は、文書画像に含まれる複数の要素の種類を特定し、要素の種類に適した文字認識を行うので、文字認識の認識精度を向上させることができる。

さらに、上記した実施形態によれば、電子文書生成装置１０は、従来からのＯＣＲテキスト認識技術で行っていた一文字単位の文字認識と比較して、文字列学習モデル１３を用いて文書画像の文字認識を文字列ごとに行うので、文字認識の際の認識効率を向上させることができる。

さらに、上記した実施形態によれば、電子文書生成装置１０は、文字認識を行う際に、一文字単位の文字認識ではなく、文字列ごとに文字認識を行うので、文字に重なって存在するノイズなどの影響を抑制して文字認識を行うことができ、一文字単位で行う文字認識と比較して文字認識の認識精度を向上させることができる。

さらに、上記した実施形態によれば、従来のＯＣＲテキスト認識技術を用いた文字認識では誤認識するような文字でも、文字列学習モデル１３を用いた文字認識では正しく認識することができる。例えば、文字の上に印章が重ねられた場合、その文字について従来のＯＣＲテキスト認識技術では誤認識する可能性があったが、文字列学習モデル１３を用いた文字認識では正しく認識することができる。

さらに、上記した実施形態によれば、電子文書生成装置１０は、種類が表に該当する要素については、セル単体に係る画像に含まれる文字列ごとに文字認識を行うので、表に含まれる文字列の文字認識の認識精度を向上させることができる。

さらに、上記した実施形態によれば、アノテーションが付与された文字列学習データ及びレイアウト学習データにより、文字列学習モデル１３及びレイアウト学習モデル１４を学習するので、レイアウト認識部３３及び文字列認識部３５の認識精度を向上させることができる。

さらに、上記した実施形態によれば、文書画像の中に表が有る場合は表を構成する全ての縦線及び横線について先ず認識し、当該表に含まれる全てのセルについて認識する。その後で、全てのセルについて、表の内部における位置情報に影響を受けることが無くセルごとの画像に文字列認識を行うので、セルの内部の文字列の文字認識の認識精度を向上させることができる。

本開示は上記した実施形態に係る電子文書生成装置１０に限定されるものではなく、特許請求の範囲に記載した本開示の要旨を逸脱しない限りにおいて、その他種々の変形例、若しくは応用例により実施可能である。

１０ 電子文書生成装置
１１ 情報通信ネットワーク
１２ ユーザ端末
１３ 文字列学習モデル
１４ レイアウト学習モデル
１５ 文書画像データベース
２０ 入出力インターフェース
２１ 通信インターフェース
２２ ＲＯＭ
２３ ＲＡＭ
２４ 記憶部
２５ ＣＰＵ
２６ 入力装置
２７ 出力装置
２８ ＧＰＵ
３１ 文書画像取得部
３２ 前処理部
３２ａ 背景除去部
３２ｂ 傾き補正部
３２ｃ 形状調整部
３３ レイアウト認識部
３４ 切出部
３５ 文字列認識部
３６ 出力部
４０ レイアウト学習用データ生成部
４１ レイアウト学習用データ修正部
４２ レイアウト学習部
４３ 文字列学習用データ生成部
４４ 文字列学習用データ修正部
４５ 文字列学習部
４７ 傾き補正前の文書画像
４８ 文字列
４９ 表
５０ ホッチキス跡
５１ 手書き
５２ 印章
５３ 画像
５４ ノイズ除去
５５ 前処理
５６ レイアウト認識処理
５７ 文字列認識処理
５８ａ、５９ａ、６０ａ 文書画像
５８ｂ、５９ｂ、６０ｂ 文書画像
６１、６２ 文書画像
６３、６４ 表
６５ 縦線
６６ 横線
６７ セル画像
６９、７０、７３ 文字列の画像
７１ａ 文字列の画像
７１ｂ テキストデータ
７２ 認識範囲
７３ 表
７５ 認識範囲
７６ 文字列の注釈記号
７７ 表の注釈記号
７８ 画像の注釈記号
７９ 印章の注釈記号
８０ 外枠の注釈記号
８１ ノイズの注釈記号
８２ 手書きの注釈記号
８３ 縦線の注釈記号
８４ 横線の注釈記号
８５ テキストデータの注釈
１００ 電子文書生成システム
Ｓ３１ 文書画像取得ステップ
Ｓ３２ 前処理ステップ
Ｓ３３ レイアウト認識ステップ
Ｓ３４ 切出ステップ
Ｓ３５ 文字認識ステップ
Ｓ３６ 出力ステップ

Claims (16)

1. 文書を画像化した文書画像を取得する文書画像取得部と、
   前記文書画像取得部が取得した前記文書画像についてレイアウトを認識する前に、前記文書画像の背景色を検出し、当該背景色が白色か否かを判断し、当該背景色が白色でないと判断した場合、前記文書画像の背景以外の情報を抽出し、当該背景色を白色にした後に抽出した情報を重ね合わせることで背景色を除去する背景除去部と、
   前記文書画像取得部が取得した前記文書画像についてレイアウトを認識する前に、前記文書画像の中の文字列を抽出し、抽出した文字列の中に傾斜した文字列があるか否かを判断し、前記文書画像の中に傾いた文字列が有る場合に、傾斜した当該文字列の書字方向に対する傾斜角を検出し、傾斜した当該文字列に対して傾斜角がゼロになるように回転処理を施して当該文字列の傾きを補正する傾き補正部と、
   前記文書画像取得部が取得した前記文書画像についてレイアウトを認識する前に、前記文書画像の全体の縦横比が実際の文書の全体の縦横比と異なる場合は、当該文書画像の全体の縦横比が実際の文書の全体の縦横比と等しくなるように調整する形状調整部と、
   文書画像に含まれる複数の要素と、当該複数の要素の各々の識別情報との対応関係を学習したレイアウト学習モデルを用いて、
   前記背景除去部、前記傾き補正部、及び前記形状調整部の処理を経た前記文書画像に含まれる複数の要素の各々の前記文書画像内における範囲を特定し、前記要素の種類は前記文書の種類に応じて必要なものと不要なものとに予め分類し、前記文書画像に含まれる複数の要素のうち、認識した要素が不要なものに該当する場合は当該要素の位置情報は取得せず、認識した要素が必要なものに該当する場合は当該要素の位置情報を取得するレイアウト認識部と、
   前記レイアウト認識部により認識された前記種類が前記表に該当する前記要素において、当該要素に含まれる前記表の中のセルの各々の単体毎の画像に切り出し、前記表に含まれる全ての前記セルについてセル単体毎の画像と前記セルの各々の前記文書画像内における位置情報を取得する切出部と、
   文書画像と当該文書画像に含まれる文字列との対応関係を学習した文字列学習モデルを用いて、
   前記切出部において切り出された前記セルの各々に含まれる文字列について、前記文字列学習モデルを用いて文字認識し、前記文字列の画像にスペースが含まれている場合に当該文字列とともにスペースも一緒に認識し、かつ、前記文字列の画像に文字を構成しない画素であるノイズが含まれている場合に当該ノイズを除去して、前記文字列に係るテキストデータを生成する文字列認識部と、
   前記文字列認識部により生成された前記文字列に係るテキストデータを、当該テキストデータを含む前記セルに係る前記切出部が取得した前記文書画像内における位置情報に、電子媒体のテキストとして出力する出力部と、
   を備えることを特徴とする電子文書生成装置。
2. 前記レイアウト認識部により認識された前記種類が前記表に該当する前記要素において、前記レイアウト認識部は、前記表を構成する全ての縦線及び横線の各々の長さと位置を認識することで、隣接する２本の前記縦線及び隣接する２本の前記横線により構成される四角形を前記表のセルとして認識し、
   さらに、前記レイアウト認識部は前記表を構成する線の線種についても認識し、認識された当該線種は、前記文書画像取得部が取得した文書画像に基づいて電子文書を再現する際に、当該電子文書に含まれる表を構成する線のオブジェクトに反映されることを特徴とする請求項１に記載の電子文書生成装置。
3. 前記レイアウト認識部は、前記文書画像取得部が取得した文書画像と取得した前記要素とを照合し、前記文書画像取得部が取得した文書画像と取得した前記要素の位置情報との間に齟齬があった場合は取得した前記要素の最小境界ボックスの位置情報の調整を行うことを特徴とする請求項１又は２に記載の電子文書生成装置。
4. 前記レイアウト認識部は、認識範囲の周囲の所定範囲以内に文字と同色の色又は予め設定された色の線が有るか否かの判定を行い、当該線が有る場合には当該線を含む範囲を認識範囲に追加する補正を行うことを特徴とする請求項１乃至３のいずれか１項に記載の電子文書生成装置。
5. 前記レイアウト認識部は、認識範囲の内部に所定の大きさの空白が有るか否かの判定を行い、当該空白が有る場合には、当該空白及び当該空白より右側の部分に係る範囲を削除して認識範囲とする補正を行うことを特徴とする請求項１乃至４のいずれか１項に記載の電子文書生成装置。
6. 複数の前記要素を含む文書画像であって、当該要素に当該要素の各々に該当する前記種類に関連付けられたアノテーションが付与されており、
   前記アノテーションが付与された複数の前記文書画像を蓄積してレイアウト学習用データを生成するレイアウト学習用データ生成部をさらに備え、
   前記レイアウト学習用データは前記レイアウト学習モデルの教師有り学習に用いられる、
   ことを特徴とする請求項１ないし５のいずれか１項に記載の電子文書生成装置。
7. 前記文書画像に、前記アノテーションとともに前記文書画像に含まれる前記複数の要素に係る範囲の各々の前記文書画像内における位置情報が付与されることを特徴とする請求項６に記載の電子文書生成装置。
8. 入力に基づいて、前記レイアウト認識部により認識された前記複数の要素の各々の種類、及び前記複数の要素の各々の範囲の前記文書画像内における位置情報の少なくともいずれかが修正され、この修正されたデータを追加することで前記レイアウト学習用データを更新するレイアウト学習用データ修正部をさらに備える、
   ことを特徴とする請求項６または７に記載の電子文書生成装置。
9. 前記レイアウト学習用データ修正部により更新された前記レイアウト学習用データを用いて、前記レイアウト学習モデルの再学習を行うレイアウト学習部をさらに備える、
   ことを特徴とする請求項８に記載の電子文書生成装置。
10. 前記文字列学習モデルの教師有り学習に用いる文字列学習用データを生成する文字列学習用データ生成部をさらに備える、
    ことを特徴とする請求項１ないし９のいずれか１項に記載の電子文書生成装置。
11. 入力に基づいて、前記文字列認識部により生成されたテキストデータが修正され、この修正されたテキストデータを追加することで前記文字列学習用データを更新する文字列学習用データ修正部をさらに備える、
    ことを特徴とする請求項１０に記載の電子文書生成装置。
12. 前記文字列学習用データ修正部により更新された前記文字列学習用データを用いて、前記文字列学習モデルの再学習を行う文字列学習部をさらに備える、
    ことを特徴とする請求項１１に記載の電子文書生成装置。
13. 前記文字列認識部は、複数の前記文字列学習モデルを備え、前記複数の要素の各々に含まれる文字列の言語に適応した前記文字列学習モデルを用いる、
    ことを特徴とする請求項１ないし１２のいずれか１項に記載の電子文書生成装置。
14. 前記レイアウト学習モデルは、契約書用のレイアウト学習モデル、請求書用のレイアウト学習モデル、覚書用のレイアウト学習モデル、納品書用のレイアウト学習モデル、又は領収書用のレイアウト学習モデルのいずれかであることを特徴とする請求項１ないし１３のいずれか１項に記載の電子文書生成装置。
15. 電子文書生成装置に用いられるコンピュータが、
    文書を画像化した文書画像を取得する文書画像取得ステップと、
    前記文書画像取得ステップにおいて取得した前記文書画像についてレイアウトを認識する前に、前記文書画像の背景色を検出し、当該背景色が白色か否かを判断し、当該背景色が白色でないと判断した場合、前記文書画像の背景以外の情報を抽出し、当該背景色を白色にした後に抽出した情報を重ね合わせることで背景色を除去する背景除去ステップと、
    前記文書画像取得ステップにおいて取得した前記文書画像についてレイアウトを認識する前に、前記文書画像の中の文字列を抽出し、抽出した文字列の中に傾斜した文字列があるか否かを判断し、前記文書画像の中に傾いた文字列が有る場合に、傾斜した当該文字列の書字方向に対する傾斜角を検出し、傾斜した当該文字列に対して傾斜角がゼロになるように回転処理を施して当該文字列の傾きを補正する傾き補正ステップと、
    前記文書画像取得ステップにおいて取得した前記文書画像についてレイアウトを認識する前に、前記文書画像の全体の縦横比が実際の文書の全体の縦横比と異なる場合は、当該文書画像の全体の縦横比が実際の文書の全体の縦横比と等しくなるように調整する形状調整ステップと、
    文書画像に含まれる複数の要素と、当該複数の要素の各々の識別情報との対応関係を学習したレイアウト学習モデルを用いて、
    前記背景除去ステップ、前記傾き補正ステップ、及び前記形状調整ステップの処理を経た前記文書画像に含まれる複数の要素の各々の前記文書画像内における範囲を特定し、前記要素の種類は前記文書の種類に応じて必要なものと不要なものとに予め分類し、前記文書画像に含まれる複数の要素のうち、認識した要素が不要なものに該当する場合は当該要素の位置情報は取得せず、認識した要素が必要なものに該当する場合は当該要素の位置情報を取得するレイアウト認識ステップと、
    前記レイアウト認識ステップにおいて認識された前記種類が前記表に該当する前記要素において、当該要素に含まれる前記表の中のセルの各々の単体毎の画像に切り出し、前記表に含まれる全ての前記セルについてセル単体毎の画像と前記セルの各々の前記文書画像内における位置情報を取得する切出ステップと、
    文書画像と当該文書画像に含まれる文字列との対応関係を学習した文字列学習モデルを用いて、
    前記切出ステップにおいて切り出された前記セルの各々に含まれる文字列について、前記文字列学習モデルを用いて文字認識し、前記文字列の画像にスペースが含まれている場合に当該文字列とともにスペースも一緒に認識し、かつ、前記文字列の画像に文字を構成しない画素であるノイズが含まれている場合に当該ノイズを除去して、前記文字列に係るテキストデータを生成する文字列認識ステップと、
    前記文字列認識ステップにおいて生成された前記文字列に係るテキストデータを、当該テキストデータを含む前記セルに係る前記切出ステップにおいて取得した前記文書画像内における位置情報に、電子媒体のテキストとして出力する出力ステップと、
    を行うことを特徴とする電子文書生成方法。
16. 電子文書生成装置に用いられるコンピュータに、
    文書を画像化した文書画像を取得する文書画像取得機能と、
    前記文書画像取得機能において取得した前記文書画像についてレイアウトを認識する前に、前記文書画像の背景色を検出し、当該背景色が白色か否かを判断し、当該背景色が白色でないと判断した場合、前記文書画像の背景以外の情報を抽出し、当該背景色を白色にした後に抽出した情報を重ね合わせることで背景色を除去する背景除去機能と、
    前記文書画像取得機能において取得した前記文書画像についてレイアウトを認識する前に、前記文書画像の中の文字列を抽出し、抽出した文字列の中に傾斜した文字列があるか否かを判断し、前記文書画像の中に傾いた文字列が有る場合に、傾斜した当該文字列の書字方向に対する傾斜角を検出し、傾斜した当該文字列に対して傾斜角がゼロになるように回転処理を施して当該文字列の傾きを補正する傾き補正機能と、
    前記文書画像取得機能において取得した前記文書画像についてレイアウトを認識する前に、前記文書画像の全体の縦横比が実際の文書の全体の縦横比と異なる場合は、当該文書画像の全体の縦横比が実際の文書の全体の縦横比と等しくなるように調整する形状調整機能と、
    文書画像に含まれる複数の要素と、当該複数の要素の各々の識別情報との対応関係を学習したレイアウト学習モデルを用いて、
    前記背景除去機能、前記傾き補正機能、及び前記形状調整機能の処理を経た前記文書画像に含まれる複数の要素の各々の前記文書画像内における範囲を特定し、前記要素の種類は前記文書の種類に応じて必要なものと不要なものとに予め分類し、前記文書画像に含まれる複数の要素のうち、認識した要素が不要なものに該当する場合は当該要素の位置情報は取得せず、認識した要素が必要なものに該当する場合は当該要素の位置情報を取得するレイアウト認識機能と、
    前記レイアウト認識機能において認識された前記種類が前記表に該当する前記要素において、当該要素に含まれる前記表の中のセルの各々の単体毎の画像に切り出し、前記表に含まれる全ての前記セルについてセル単体毎の画像と前記セルの各々の前記文書画像内における位置情報を取得する切出機能と、
    文書画像と当該文書画像に含まれる文字列との対応関係を学習した文字列学習モデルを用いて、
    前記切出機能において切り出された前記セルの各々に含まれる文字列について、前記文字列学習モデルを用いて文字認識し、前記文字列の画像にスペースが含まれている場合に当該文字列とともにスペースも一緒に認識し、かつ、前記文字列の画像に文字を構成しない画素であるノイズが含まれている場合に当該ノイズを除去して、前記文字列に係るテキストデータを生成する文字列認識機能と、
    前記文字列認識機能において生成された前記文字列に係るテキストデータを、当該テキストデータを含む前記セルに係る前記切出機能において取得した前記文書画像内における位置情報に、電子媒体のテキストとして出力する出力機能と、
    を発揮することを特徴とする電子文書生成プログラム。
    

Images