JP7273087B2 - 情報抽出方法及び装置、電子機器、記憶媒体並びにコンピュータプログラム - Google Patents

Description

本出願の実施例はコンピュータ技術分野に関し、具体的には画像処理技術分野に関する。

ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ、人工知能）技術の進歩に伴い、ＡＩを用いてドキュメントイメージの知能分析を行うことが多くなっている。ＡＩはドキュメントイメージに対して方向及び歪み矯正、レイアウト分析、コンテンツ識別等を行うことができ、これらの能力は各種のドキュメントイメージの入力やチェック等を行う作業員に役立ち、各種の業務フローのインテリジェント化を大幅に向上させることができる。

ドキュメントイメージにおける情報に対して抽出を行い、特に様々な帳票に対して情報抽出を行う応用シーンは非常に多い。現在、ドキュメントイメージに対して情報抽出を行う主な方式はまずドキュメントイメージ全体に対して光学文字認識（ｏｐｔｉｃａｌ ｃｈａｒａｃｔｅｒ ｒｅｃｏｇｎｉｔｉｏｎ、ＯＣＲ）を行い、続いて取得した結果を構造化し、対応する情報を抽出する。テーブルを含むドキュメントイメージに対して、まずテーブル範囲の再構成を行い、各セルの位置を取得し、続いて各セルに対してそれぞれ光学文字認識を行い、最後にヘッダ等の状況に基づいて構造化を行い、対応情報を抽出する。

本出願の実施例は情報抽出方法及び装置、電子機器、記憶媒体並びにコンピュータプログラムを提供する。

第１態様において、本出願の実施例は、対象ドキュメントイメージのカテゴリに対応する位置テンプレートを取得することと、対象ドキュメントイメージにおけるキーポイント位置を確定することと、対象ドキュメントイメージにおけるキーポイント位置と位置テンプレートにおけるキーポイント位置に基づいて、変換行列を生成することと、位置テンプレートにおける情報位置及び変換行列に基づいて、対象ドキュメントイメージに対応する情報位置を確定することと、対象ドキュメントイメージに対応する情報位置にある情報を抽出し、対象ドキュメントイメージにおける情報を得ることと、を含む情報抽出方法を提供する。

第２態様において、本出願の実施例は、対象ドキュメントイメージのカテゴリに対応する位置テンプレートを取得するように構成される位置テンプレート取得モジュールと、対象ドキュメントイメージにおけるキーポイント位置を確定するように構成されるキーポイント位置確定モジュールと、対象ドキュメントイメージにおけるキーポイント位置と位置テンプレートにおけるキーポイント位置に基づいて、変換行列を生成するように構成される変換行列生成モジュールと、位置テンプレートにおける情報位置及び変換行列に基づいて、対象ドキュメントイメージに対応する情報位置を確定するように構成される情報位置確定モジュールと、対象ドキュメントイメージに対応する情報位置にある情報を抽出し、対象ドキュメントイメージにおける情報を得るように構成される情報抽出モジュールと、を含む情報抽出装置を提供する。

第３態様において、本出願の実施例は、少なくとも１つのプロセッサと、少なくとも１つのプロセッサに通信可能に接続されたメモリとを備える電子機器であって、メモリには、少なくとも１つのプロセッサによって実行可能な指令が記憶され、指令が少なくとも１つのプロセッサによって実行されると、少なくとも１つのプロセッサに第１態様のいずれかの実施形態に記載の方法を実行させる、電子機器を提供する。

第４態様において、本出願の実施例は、第１態様のいずれかの実施形態に記載の方法をコンピュータに実行させるためのコンピュータ指令が記憶されている非一時的コンピュータ可読記憶媒体を提供する。

第５態様において、本出願の実施例は、プロセッサにより実行されると、第１態様のいずれかの実施形態に記載の方法を実現する、コンピュータプログラムを提供する。

本出願の実施例によって提供される情報抽出方法及び装置、電子機器、記憶媒体並びにコンピュータプログラムは、対象ドキュメントイメージのカテゴリに対応する位置テンプレートを取得し、対象ドキュメントイメージにおけるキーポイント位置を確定し、対象ドキュメントイメージにおけるキーポイント位置と位置テンプレートにおけるキーポイント位置に基づいて、変換行列を生成し、位置テンプレートにおける情報位置と変換行列に基づいて、対象ドキュメントイメージに対応する情報位置を確定し、対象ドキュメントイメージに対応する情報位置にある情報を抽出し、対象ドキュメントイメージにおける情報を得る。特定カテゴリのドキュメントイメージの位置テンプレートを構築することにより、該カテゴリのドキュメントイメージに対応する情報位置を確定し、ドキュメントイメージに対応する情報位置から情報を抽出することにより、簡単かつ迅速な情報抽出を実現できる。

なお、この部分に記載の内容は本出願の実施例のかなめまたは重要な特徴を標識することを目的とせず、本出願の範囲を限定するものではない。本出願の他の特徴は、以下の説明によって容易に理解されるであろう。

本出願の他の特徴、目的および利点は、以下の図面を参照して行われる非限定的な実施例の詳細な説明を読むことによって、より明らかになるであろう。図面は本解決手段をよりよく理解するために用いられ、本出願を限定するものではない。
本出願を適用可能なシステムアーキテクチャの一例を示す図である。 本出願の情報抽出方法の一実施例に係るフローチャートである。 本出願の情報抽出方法のさらなる他の実施例のフローチャートである。 ドキュメントイメージの一例を示す概略図である。 ドキュメントイメージを変換する概略図を示す。 本出願の情報抽出装置の一実施例に係る構造概略図である。 本出願の実施例の情報抽出方法を実現するための電子機器のブロック図である。

以下は図面を参照して本出願の例示的な実施例を説明し、ここで理解しやすくするために本出願の実施例の様々な詳細を含めているが、それらは単なる例示であると考えられるべきである。したがって、当業者は、本出願の範囲および精神から逸脱することなく、本明細書に記載された実施形態に対して様々な変更および修正を行うことができることを理解するであろう。また、以下の説明では、説明の明確化および簡略化のため、公知の機能および構造についてはその説明を省略する。

なお、衝突しない場合、本出願における実施例及び実施例における特徴は互いに組み合わせることができる。以下、本出願について図面および実施例を参照しながら詳細に説明する。

図１は、本出願の情報抽出方法または情報抽出装置の実施例を適用することができる例示的なシステムアーキテクチャ１００を示す。

図１に示すように、システムアーキテクチャ１００に端末装置１０１、ネットワーク１０２及びサーバ１０３を含むことができる。ネットワーク１０２は、端末装置１０１とサーバ１０３との間の通信リンクを提供するための媒体とされる。ネットワーク１０２は、有線、無線通信リンク、または光ファイバケーブルなどのような様々な接続タイプを含むことができる。

ユーザは、端末装置１０１を用いてネットワーク１０２を介してサーバ１０３と対話し、メッセージ等を送受信することができる。端末装置１０１には、ドキュメントインテリジェント処理アプリケーション、画像処理アプリケーション等のさまざまなクライアントアプリケーションをインストールすることができる。

端末装置１０１は、ハードウェアであってもよいし、ソフトウェアであってもよい。端末装置１０１がハードウェアである場合、様々な電子機器であってもよく、スマートフォン、タブレットコンピュータ、ラップトップポータブルコンピュータ及びデスクトップコンピュータ等を含むがこれらに限定されない。端末装置１０１は、ソフトウェアである場合、上述した電子機器にインストールすることができ、複数のソフトウェア又はソフトウェアモジュールとして実現することができ、単一のソフトウェア又はソフトウェアモジュールとして実現することもでき、これらに限定されない。

サーバ１０３は、様々なサービスを提供することができる。例えば、サーバ１０３は、端末装置１０１から取得した対象ドキュメントイメージ等のデータに対して解析等の処理を行い、処理結果（例えば、対象ドキュメントイメージの情報）を生成することができる。

なお、サーバ１０３はハードウェアであってもよく、ソフトウェアであってもよい。サーバ１０３がハードウェアである場合、複数のサーバから構成される分散サーバクラスタを実現することができ、単一のサーバを実現することもできる。サーバ１０３がソフトウェアである場合、複数のソフトウェア又はソフトウェアモジュール（例えば分散型サービスを提供するために用いられる）に実現することができ、単一のソフトウェア又はソフトウェアモジュールに実現することもできる。これらに限定されない。

なお、本出願の実施例によって提供される情報抽出方法は一般的にサーバ１０３によって実行され、それに応じて、情報抽出装置は一般的にサーバ１０３に設けられる。

なお、図１に示した端末装置、ネットワーク、サーバの数はあくまでも一例に過ぎない。実装の必要に応じて、任意の数の端末装置、ネットワーク及びサーバを有することができる。対象ドキュメントイメージがサーバ１０３に記憶されている場合、システムアーキテクチャ１００は、端末装置１０１及びネットワーク１０２を備えていなくてもよい。

本出願の情報抽出方法の一実施例のフロー２００が示されている図２を参照する。該情報抽出方法はステップ２０１～２０５を含む。

ステップ２０１：対象ドキュメントイメージのカテゴリに対応する位置テンプレートを取得する。

本実施例において、情報抽出方法の実行主体（例えば図１に示すサーバ１０３）は対象ドキュメントイメージのカテゴリを確定することができる。次に、対象ドキュメントイメージのカテゴリに基づいて対応する位置テンプレートを取得する。ここで、対象ドキュメントイメージは、情報抽出が必要なドキュメントイメージである。いくつかの実施例では、上記実行主体が対象ドキュメントイメージをローカルに記憶している場合、上記実行主体は、対象ドキュメントイメージをローカルから直接取得することができる。いくつかの実施例において、端末装置（例えば図１に示す端末装置１０１）に対象ドキュメントイメージが記憶されている場合、ユーザは端末装置を利用して対象ドキュメントイメージを上記実行主体に送信することができる。

通常、同一カテゴリのドキュメントイメージは同一の位置テンプレートに対応する。同じカテゴリのドキュメントイメージは同じレイアウトを有することができ、同じカテゴリの異なるドキュメントイメージは異なる情報内容を有することができる。また、同一カテゴリの異なるドキュメントイメージは異なる向き、傾きなどを有することもできる。例えば、同一銀行の１つのバージョンの預金利息リストのイメージは、同一のカテゴリに属する。異なる銀行の預金利息リスト又は同じ銀行の異なるバージョンの預金利息リストの映像は異なるカテゴリに属する。ドキュメントイメージには複数の種類の情報が存在することがあり、例えば、ある銀行の１つのバージョンの預金利息リストには名前、口座／カード番号、実支払元利金、元金、利息、税率、課税対象利息、源泉徴収税、税引き後利息など、さまざまなカテゴリの情報が含まれる場合がある。

一種のカテゴリのドキュメントイメージに対応する位置テンプレートに該カテゴリの標準ドキュメントイメージにおけるキーポイントの位置、及びその上の各カテゴリの情報の位置を設定することができる。同一カテゴリのドキュメントイメージは１つの標準ドキュメントイメージに対応する。標準ドキュメントイメージは、固定サイズ、固定向き、固定傾き（通常は傾きなし）等のドキュメントイメージである。

ドキュメントイメージにおけるキーポイントは、該ドキュメントイメージにおけるすべての情報を含む枠におけるポイントとすることができる。通常、ドキュメントイメージにおけるキーポイントは枠における４つの頂点を含まなければならず、さらに、ドキュメントイメージにおけるキーポイントは枠における他の点を含むこともできる。したがって、ドキュメントイメージは、少なくとも４つのキーポイントを含む。例えば、枠付きカテゴリのドキュメントイメージの場合、そのキーポイントは、枠の４つの頂点を含むことができる。ニードルパンチカテゴリのドキュメントイメージに対して、そのキーポイントはニードルパンチプリント時の４つのマークポイントを含むことができる。

ドキュメントイメージにおける情報位置は該情報を含む枠における対角点であってもよく、例えば該情報を含む枠における左上頂点及び右下頂点である。

テーブルを含むドキュメントイメージを例として、テーブルの４つの頂点は該ドキュメントイメージにおけるキーポイント位置であってもよく、セルの左上頂点及び右下頂点は該ドキュメントイメージにおける情報位置であってもよい。

ここで、各カテゴリのドキュメントイメージに対応する位置テンプレートは、予め作成しておくことができる。対象ドキュメントイメージに対応する位置テンプレートを例として、その生成プロセスは以下の通りである：

まず、対象ドキュメントイメージと同じカテゴリの標準ドキュメントイメージと、標準ドキュメントイメージにおけるキーポイント位置及び情報位置を取得する。

そして、標準ドキュメントイメージにおけるキーポイント位置と情報位置に基づいて標準ドキュメントイメージをマーキングし、位置テンプレートを生成する。

ステップ２０２：対象ドキュメントイメージにおけるキーポイント位置を確定する。

本実施形態において、上記実行主体は、対象ドキュメントイメージにおけるキーポイント位置を確定することができる。ここで、キーポイント位置はキーポイントの座標であってもよい。

一般的に、上記実行主体は、従来の又は深層学習のキーポイント検出技術に基づいて、対象ドキュメントイメージにおけるキーポイント位置を確定することができる。そのうち、従来技術に基づくキーポイント検出技術は枠付きカテゴリのドキュメントイメージに対してキーポイント検出を行うことに用いることができる。具体的には、上記実行主体はまずドキュメントイメージにおける枠の輪郭点を検出し、続いて所定のポリシーに基づいて輪郭点からキーポイントを確定することができる。例えば、輪郭点に外接円を付加し、外接円上にある輪郭点がキーポイントとなる。深層学習に基づくキーポイント検出技術は、任意のカテゴリのドキュメントイメージに適用してキーポイント検出を行うことができる。例えば、ドキュメントイメージにおけるキーポイントは、多層畳み込みニューラルネットワークを用いて検出される。多層畳み込みニューラルネットワークに全結合層を含むことができ、全結合層を含まなくてもよい。全結合層を含む場合、その出力はキーポイントの座標であってもよい。全結合層を含まない場合、その出力はヒートマップであってもよい。ヒートマップにおける各点の熱力値は各点がキーポイントである確率を表すことができ、熱力値が大きいほど、対応する点がキーポイントである確率が大きい。

ステップ２０３：対象ドキュメントイメージにおけるキーポイント位置と位置テンプレートにおけるキーポイント位置に基づいて、変換行列を生成する。

本実施例において、上記実行主体は、対象ドキュメントイメージにおけるキーポイント位置と、位置テンプレートにおけるキーポイント位置とに基づいて、変換行列を生成してもよい。

一般的に、変換行列は、対象ドキュメントイメージと位置テンプレートとの間のマッピングを実現できる行列であってもよく、対象ドキュメントイメージにおける点と位置テンプレートにおける点との間のマッピング関係を記憶する。ここで、変換行列は第１変換行列又は第２変化行列であってもよい。第１変換行列は対象ドキュメントイメージから位置テンプレートにマッピングする行列であってもよく、対象ドキュメントイメージにおける点から位置テンプレートにおける点へのマッピング関係を記憶する。対象ドキュメントイメージにおけるキーポイント位置と位置テンプレートにおけるキーポイント位置に基づいて、対象ドキュメントイメージから位置テンプレートへのマッピング関係を確定し、それにより第１変換行列を生成することができる。第２変換行列は、位置テンプレートから対象ドキュメントイメージにマッピングする行列であってもよく、位置テンプレートにおける点から対象ドキュメントイメージにおける点へのマッピング関係を記憶する。そして、位置テンプレートにおけるキーポイント位置と対象ドキュメントイメージにおけるキーポイント位置に基づいて、位置テンプレートから対象ドキュメントイメージへのマッピング関係を確定し、第２変換行列を生成することができる。

ステップ２０４：位置テンプレートにおける情報位置及び変換行列に基づいて、対象ドキュメントイメージに対応する情報位置を確定する。

本実施例において、上記実行主体は位置テンプレートにおける情報位置及び変換行列に基づいて、対象ドキュメントイメージに対応する情報位置を確定することができる。

いくつかの実施例において、変換行列が第１変換行列である場合、上記実行主体はまず第１変換行列に基づいて対象ドキュメントイメージを変換し、変換後ドキュメントイメージを得る。次に位置テンプレートにおける情報位置を変換後ドキュメントイメージにおける情報位置とする。第１変換行列は、対象ドキュメントイメージから位置テンプレートにマッピングされた行列であるので、第１変換行列に基づいて対象ドキュメントイメージを変換することにより、対象ドキュメントイメージを変換後ドキュメントイメージに正規化することができる。変換後ドキュメントイメージのサイズ、向き、傾き等が位置テンプレートと一致するように正規化されているため、変換後ドキュメントイメージにおける情報位置は、位置テンプレートにおける情報位置と一致する。

いくつかの実施例において、変換行列が第２変換行列である場合、上記実行主体は第２変換行列に基づいて位置テンプレートにおける情報位置を変換し、対象ドキュメントイメージにおける情報位置を得ることができる。第２変換行列は、位置テンプレートから対象ドキュメントイメージにマッピングされる行列であるので、第２変換行列に基づいて位置テンプレートにおける情報位置を変換することで、位置テンプレートにおける情報位置を対象ドキュメントイメージにおける情報位置に変換することができる。

ステップ２０５：対象ドキュメントイメージに対応する情報位置にある情報を抽出し、対象ドキュメントイメージにおける情報を得る。

本実施例において、上記実行主体は対象ドキュメントイメージに対応する情報位置にある情報を抽出し、対象ドキュメントイメージにおける情報を得ることができる。例えば、対象ドキュメントイメージに対応する情報位置に光学文字認識を行い、その認識結果は対象ドキュメントイメージにおける情報である。

本出願の実施例により提供される情報抽出方法は、まず、対象ドキュメントイメージのカテゴリに対応する位置テンプレートを取得する。次に、対象ドキュメントイメージにおけるキーポイント位置を確定する。次に、対象ドキュメントイメージにおけるキーポイント位置及び位置テンプレートにおけるキーポイント位置に基づいて、変換行列を生成する。次に、位置テンプレートにおける情報位置及び変換行列に基づいて、対象ドキュメントイメージに対応する情報位置を確定する。最後に、対象ドキュメントイメージに対応する情報位置にある情報を抽出し、対象ドキュメントイメージにおける情報を得る。特定カテゴリのドキュメントイメージの位置テンプレートを構築することにより、該カテゴリのドキュメントイメージに対応する情報位置を確定し、ドキュメントイメージに対応する情報位置から情報を抽出することで、簡単かつ迅速な情報抽出が実現される。従来技術における構造化効果が良くないという技術的問題を解決し、従来技術の構造化効果が不良で特に顕著な手書き文字サイズが大きく、ニードルパンチ内容がずれるなどのシーンに適用することができる。

さらに、本出願の実施例により提供される情報抽出方法は各種のドキュメントスマート処理プラットフォームに統合することができ、プラットフォーム機能の拡張として、プラットフォームが関連ドキュメントイメージの情報を抽出する等のタスクにおいてより高い効果を取得することに役立つ。

さらに、本出願の情報抽出方法のさらなる実施例のフロー３００を示す図３を参照する。該情報抽出方法はステップ３０１～３０７を含む。

ステップ３０１：対象ドキュメントイメージのカテゴリに対応する位置テンプレートを取得する。

本実施例において、ステップ３０１の具体的な操作は図２に示す実施例においてステップ２０１に詳細に説明されたので、ここでは説明を省略する。

ステップ３０２：対象ドキュメントイメージのカテゴリに対応するキーポイント検出モデルを取得する。

本実施例において、情報抽出方法の実行主体（例えば図１に示すサーバ１０３）は対象ドキュメントイメージのカテゴリに対応するキーポイント検出モデルを取得することができる。

通常、同一カテゴリのドキュメントイメージは同一のキーポイント検出モデルに対応する。キーポイント検出モデルは、対応するカテゴリのドキュメントイメージにおけるキーポイント位置を検出するために使用することができる。キーポイント検出モデルは深層学習に基づくキーポイント検出技術であり、深層学習トレーニングにより取得されることができる。

対象ドキュメントイメージのカテゴリに対応するキーポイント検出モデルを例とし、そのトレーニングステップは以下のとおりである。

まず、対象ドキュメントイメージと同じカテゴリのドキュメントイメージセットと、ドキュメントイメージセットのドキュメントイメージにおけるキーポイント位置を取得する。

そのうち、ドキュメントイメージセットは対象ドキュメントイメージと同じカテゴリのドキュメントイメージを大量に含むことができる。

そして、ドキュメントイメージセットのドキュメントイメージにおけるキーポイント位置に基づいて対応するドキュメントイメージをラベリングし、サンプルドキュメントイメージセットを生成する。

最後に、サンプルドキュメントイメージセットを利用してキーポイント検出モデルをトレーニングして得る。

通常、サンプルドキュメントイメージセットにおけるサンプルドキュメントイメージを入力とし、入力されたサンプルドキュメントイメージにマークされたキーポイント位置を出力として、多層畳み込みニューラルネットワークをトレーニングすることで、キーポイント検出モデルを得ることができる。

ステップ３０３：対象ドキュメントイメージをキーポイント検出モデルに入力し、対象ドキュメントイメージにおけるキーポイント位置を得る。

本実施例において、上記実行主体は対象ドキュメントイメージをキーポイント検出モデルに入力し、対象ドキュメントイメージにおけるキーポイント位置を取得することができる。

通常、キーポイント検出モデルは、任意のカテゴリのドキュメントイメージに適用してキーポイント検出を行うことができる。キーポイント検出モデルに全結合層が含まれても、含まれなくてもよい。全結合層が含まれる場合、その出力はキーポイントの座標であってもよい。全結合層が含まれない場合、その出力はヒートマップであってもよい。ヒートマップにおける各点の熱力値は各点がキーポイントである確率を表すことができ、熱力値が大きいほど、対応する点がキーポイントである確率が大きい。

ステップ３０４：対象ドキュメントイメージにおけるキーポイント位置から位置テンプレートにおけるキーポイント位置への第１変換行列を生成する。

本実施例では、上記実行主体は対象ドキュメントイメージにおけるキーポイント位置から位置テンプレートにおけるキーポイント位置への第１変換行列を生成することができる。

通常、第１変換行列は対象ドキュメントイメージから位置テンプレートにマッピングする行列であってもよく、対象ドキュメントイメージにおける点から位置テンプレートにおける点へのマッピング関係を記憶する。対象ドキュメントイメージにおけるキーポイント位置と位置テンプレートにおけるキーポイント位置に基づいて、対象ドキュメントイメージから位置テンプレートへのマッピング関係を確定することで、第１変換行列を生成することができる。

ステップ３０５：第１変換行列に基づいて対象ドキュメントイメージを変換し、変換後ドキュメントイメージを得る。

本実施例において、上記実行主体は第１変換行列に基づいて対象ドキュメントイメージを変換し、変換後ドキュメントイメージを得ることができる。第１変換行列は、対象ドキュメントイメージから位置テンプレートにマッピングする行列であるので、第１変換行列に基づいて対象ドキュメントイメージを変換することにより、対象ドキュメントイメージを変換後ドキュメントイメージに正規化することができる。なお、変換後ドキュメントイメージのサイズ、向き、傾き等は標準ドキュメントイメージに一致するように正規化されている。

ステップ３０６：位置テンプレートにおける情報位置を変換後ドキュメントイメージにおける情報位置とする。

本実施例において、上記実行主体は位置テンプレートにおける情報位置を変換後ドキュメントイメージにおける情報位置とすることができる。変換後ドキュメントイメージのサイズ、向き、傾き等が位置テンプレートと一致するように正規化されているため、変換後ドキュメントイメージにおける情報位置は、位置テンプレートにおける情報位置と一致する。

ステップ３０７：変換後ドキュメントイメージにおける情報位置にある情報を抽出し、対象ドキュメントイメージにおける情報を得る。

本実施例において、上記実行主体は変換後ドキュメントイメージにおける情報位置にある情報を抽出し、対象ドキュメントイメージにおける情報を得ることができる。例えば、変換後ドキュメントイメージにおける情報位置に光学文字認識を行い、その認識結果は対象ドキュメントイメージにおける情報である。

図３から分かるように、図２に対応する実施例と比べ、本実施例における情報抽出方法のフロー３００はキーポイント位置確定ステップ及び位置情報変換ステップを強調している。これにより、本実施例に記載の解決手段において、キーポイント検出モデルを利用して対応するカテゴリのドキュメントイメージにおけるキーポイント位置を検出することは、任意のカテゴリのドキュメントイメージに適用してキーポイント検出を行うことができ、情報抽出のロバスト性が向上される。特定カテゴリのドキュメントイメージのキーポイント検出モデル及び位置テンプレートを構築することにより、ドキュメントイメージを位置合わせにより正規化し、簡単かつ迅速な情報抽出が実現され、ロバストで、効率が高く、正確である等の特徴を有する。

理解しやすくするために、以下は本出願の実施例の情報抽出方法を実現できるシーンを提供する。図４Ａに示すように、それは中国ＸＸ銀行の１つのバージョンの預金利息リストのドキュメントイメージを示す。ドキュメントイメージには、氏名、口座／カード番号、実支払元利金、元金、利息、税率、課税対象利息、源泉徴収税、税引き後利息等の複数カテゴリの情報が含まれる。ニードルパンチプリント時には情報内容が全体的に上にずれる。また、ドキュメントイメージにおける預金利息リストは全体的に右に傾いている。図４Ａにおけるドキュメントイメージにおける実支払元利金を抽出する必要がある場合、まず図４Ａにおけるイメージに対応する位置テンプレート及びキーポイント検出モデルを取得する。その後、図４Ａのイメージをキーポイント検出モデルに入力し、図４Ａのドキュメントイメージをニードルパンチプリントするときの４つのマーク点Ａ、Ｂ、Ｃ、Ｄの座標を出力する。そして、図４Ａのドキュメントイメージにおけるマーク点の座標と、位置テンプレートにおけるマーク点の座標とに基づいて、図４Ａのドキュメントイメージから位置テンプレートにマッピング可能な第１変換行列を生成する。次に、図４Ａのドキュメントイメージを第１変換行列に基づいて変換し、図４Ｂに示すような変換後ドキュメントイメージを得る。最後に、図４Ｂにおける変換後ドキュメントイメージに位置テンプレートにおける実支払元利金の左上点Ｅ及び右下点Ｆをマークし、及び左上点Ｅ及び右下点Ｆで区画されたセルを抽出し、実支払元利金ＲＭＢ２０，９８８．６５を得る。

さらに図５を参照し、上記各図に示す方法の実施形態として、本出願は情報抽出装置の一つの実施例を提供し、該装置の実施例は図２に示す方法の実施例に対応し、該装置は具体的に様々な電子機器に適用することができる。

図５に示すように、本実施例の情報抽出装置５００は、位置テンプレート取得モジュール５０１、キーポイント位置確定モジュール５０２、変換行列生成モジュール５０３、情報位置確定モジュール５０４及び情報抽出モジュール５０５を含むことができる。そのうち、位置テンプレート取得モジュール５０１は、対象ドキュメントイメージのカテゴリに対応する位置テンプレートを取得するように構成される。キーポイント位置確定モジュール５０２は、対象ドキュメントイメージにおけるキーポイント位置を確定するように構成される。変換行列生成モジュール５０３は、対象ドキュメントイメージにおけるキーポイント位置及び位置テンプレートにおけるキーポイント位置に基づいて、変換行列を生成するように構成される。情報位置確定モジュール５０４は、位置テンプレートにおける情報位置及び変換行列に基づいて、対象ドキュメントイメージに対応する情報位置を確定するように構成される。情報抽出モジュール５０５は、対象ドキュメントイメージに対応する情報位置における情報を抽出し、対象ドキュメントイメージにおける情報を得るように構成される。

本実施例において、情報抽出装置５００において、位置テンプレート取得モジュール５０１、キーポイント位置確定モジュール５０２、変換行列生成モジュール５０３、情報位置確定モジュール５０４及び情報抽出モジュール５０５の具体的な処理及びそれによる技術的効果はそれぞれ図２に対応する実施例におけるステップ２０１～２０５の関連説明を参照することができ、ここでは説明を省略する。

本実施例のいくつかの選択的な実施形態において、キーポイント位置確定モジュール５０２はさらに、対象ドキュメントイメージのカテゴリに対応するキーポイント検出モデルを取得し、対象ドキュメントイメージをキーポイント検出モデルに入力し、対象ドキュメントイメージにおけるキーポイント位置を取得するように構成される。

本実施例のいくつかの選択的な実施形態において、変換行列生成モジュール５０３はさらに、対象ドキュメントイメージにおけるキーポイント位置を位置テンプレートにおけるキーポイント位置に変換する第１変換行列を生成するように構成される。情報位置確定モジュール５０４はさらに第１変換行列に基づいて対象ドキュメントイメージを変換し、変換後ドキュメントイメージを得、位置テンプレートにおける情報位置を変換後ドキュメントイメージにおける情報位置とするように構成される。

本実施例のいくつかの選択的な実施形態では、変換行列生成モジュール５０３はさらに、位置テンプレートにおけるキーポイント位置を対象ドキュメントイメージにおけるキーポイント位置に変換する第２変換行列を生成するように構成される。情報位置確定モジュール５０４はさらに、第２変換行列に基づいて位置テンプレートにおける情報位置を変換し、対象ドキュメントイメージにおける情報位置を得るように構成される。

本実施例のいくつかの選択的な実施形態において、情報抽出装置５００はさらにモデルトレーニングモジュール（図示せず）を含み、モデルトレーニングモジュールはさらに、対象ドキュメントイメージと同じカテゴリのドキュメントイメージセット、及びドキュメントイメージセットにおけるドキュメントイメージにおけるキーポイント位置を取得し、ドキュメントイメージセットのドキュメントイメージにおけるキーポイント位置に基づいて、対応するドキュメントイメージをマーキングし、サンプルドキュメントイメージセットを生成し、サンプルドキュメントイメージセットを利用してキーポイント検出モデルをトレーニングして得るように構成される。

本実施例のいくつかの選択的な実施形態では、情報抽出装置５００はさらにテンプレート生成モジュール（図示せず）を含み、テンプレート生成モジュールはさらに、対象ドキュメントイメージと同じカテゴリの標準ドキュメントイメージ、及び標準ドキュメントイメージにおけるキーポイント位置及び情報位置を取得し、標準ドキュメントイメージにおけるキーポイント位置及び情報位置に基づいて標準ドキュメントイメージをマーキングし、位置テンプレートを生成するように構成される。

本出願の実施例によれば、本出願はさらに電子機器及び読み取り可能な記憶媒体を提供する。

図６は、本出願の実施例に係る情報抽出方法に係る電子機器のブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレード型サーバ、大型コンピュータおよびその他の適切なコンピュータ等の様々な形態のデジタルコンピュータを表す。また、電子機器は、個人デジタル処理、携帯電話、スマートフォン、ウェアラブル機器およびその他の類似するコンピューティングデバイス等の様々な形態のモバイルデバイスを表すことができる。なお、ここで示したコンポーネント、それらの接続関係、およびそれらの機能はあくまでも一例であり、ここで説明および／または要求した本出願の実現を限定することを意図するものではない。

図６に示すように、該電子機器は、１つ又は複数のプロセッサ６０１、メモリ６０２、及び各コンポーネントを接続するためのインタフェース（高速インタフェース及び低速インタフェースを含む）を含む。各コンポーネントは、互いに異なるバスで接続されており、共通のマザーボード上に実装されていてもよいし、必要に応じて他の方式で実装されていてもよい。プロセッサは電子機器内で実行される指令を処理することができ、インタフェースに結合された表示装置等の外部入出力装置に、グラフィカルユーザインタフェース（ＧＵＩ，Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）のグラフィック情報を表示するために指令をメモリ内またはメモリ上に格納することを含む。他の実施形態では、必要に応じて、複数のプロセッサおよび／または複数のバスおよび複数のメモリを、複数のメモリとともに使用することができる。また、複数の電子機器が接続されていてもよく、各機器は、例えば、サーバアレイ、ブレードサーバ群またはマルチプロセッサシステムなど、一部の必要な動作を提供する。図６では、１つのプロセッサ６０１を例としている。

メモリ６０２は、本出願によって提供される非一時的コンピュータ可読記憶媒体である。ここで、前記メモリには、少なくとも１つのプロセッサにより実行され得る指令が格納されており、それにより前記少なくとも１つのプロセッサに本出願に係る情報抽出方法を実行させる。本出願の非一時的コンピュータ可読記憶媒体はコンピュータ指令を格納し、該コンピュータ指令はコンピュータに本出願に係る情報抽出方法を実行させるために用いられる。

メモリ６０２は、非一時的コンピュータ可読記憶媒体として、非一時的ソフトウェアプログラム、非一時的コンピュータ実行可能なプログラム及びモジュールを格納することに用いることができ、例えば本出願の実施例における情報抽出方法に対応するプログラムコマンド／モジュール、例えば、図５に示す位置テンプレート取得モジュール５０１、キーポイント位置確定モジュール５０２、変換行列生成モジュール５０３、情報位置確定モジュール５０４及び情報抽出モジュール５０５が挙げられる。プロセッサ６０１は、メモリ６０２に格納された非一時的ソフトウェアプログラム、指令及びモジュールを実行することにより、サーバの各種機能アプリケーション及びデータ処理を実行し、すなわち上記方法の実施例における情報抽出方法を実現する。

メモリ６０２は、オペレーティングシステム、少なくとも１つの機能に必要なアプリケーションプログラムを格納可能なプログラム記憶領域と、情報抽出方法に係る電子機器の使用に応じて作成されたデータ等を格納可能なデータ記憶領域とを含んでもよい。また、メモリ６０２は高速ランダムアクセスメモリを含むことができ、また非一時的メモリ（例えば、少なくとも１つの磁気ディスク記憶装置、フラッシュメモリデバイス又はその他の非一時的ソリッドステート記憶装置）を含むことができる。いくつかの実施形態において、メモリ６０２は任意選択でプロセッサ６０１と遠隔に設置されたメモリを含み、これらのリモートメモリはネットワークを介して情報抽出方法の電子機器に接続され得る。上記ネットワークとしては、例えば、インターネット、企業イントラネット、ローカルエリアネットワーク、移動体通信網及びこれらの組み合わせなどが挙げられるが、それらに限定されない。

情報抽出方法の電子機器は、さらに入力装置６０３及び出力装置６０４を含むことができる。プロセッサ６０１、メモリ６０２、入力装置６０３及び出力装置６０４は、バス又はその他の方式で接続されていてもよく、図６ではバスで接続されている例を示している。

タッチパネル、キーパッド、マウス、トラックパッド、タッチパッド、ポインティングデバイス、１つまたは複数のマウスボタン、トラックボール、ジョイスティック等の入力装置６０３は、入力された数字や文字情報を受信でき、情報抽出方法の電子機器のユーザ設定および機能制御に関するキー信号の入力を生成することができる。出力装置６０４は表示装置、補助照明装置（例えば、ＬＥＤ）及び触覚フィードバック装置（例えば、振動モータ）等を含むことができる。該表示装置は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ及びプラズマディスプレイを含むことができるが、これらに限定されない。いくつかの実施形態において、表示装置はタッチパネルであってもよい。

ここで説明するシステム及び技術の様々な実施形態はデジタル電子回路システム、集積回路システム、専用集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ，ＡＳＩＣ）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせにおいて実現することができる。これらの様々な実施形態は、１つ又は複数のコンピュータプログラムに実装され、該１つ又は複数のコンピュータプログラムは少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステムにおいて実行及び／又は解釈することができ、該プログラマブルプロセッサは専用又は汎用プログラマブルプロセッサであってもよく、記憶システム、少なくとも１つの入力装置及び少なくとも１つの出力装置からデータ及び指令を受信することができ、且つデータ及び指令を該記憶システム、該少なくとも１つの入力装置及び該少なくとも１つの出力装置に伝送することを含み得る。

これらのコンピュータプログラムは、プログラム、ソフトウェア、ソフトウェアアプリケーション又はコードとも呼ばれ、プログラマブルプロセッサの機械命令を含み、且つ高度プロセス及び／又はオブジェクト指向のプログラミング言語、及び／又はアセンブリ言語／機械語を利用して実現することができる。ここで、「機械可読媒体」及び「コンピュータ可読媒体」という用語は、機械命令及び／又はデータをプログラマブルプロセッサに供給するための任意のコンピュータプログラム製品、装置、及び／又はデバイス（たとえば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を意味し、機械可読信号である機械命令を受信する機械可読媒体を含む。「機械可読信号」という用語は、機械命令および／またはデータをプログラマブルプロセッサに供給するための任意の信号を意味する。

ユーザとのインタラクションを提供するために、ここで説明するシステムと技術は、ユーザに情報を表示するための表示装置（例えば、陰極線管（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ，ＣＲＴ）またはＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティングデバイス（例えば、マウスまたはトラックボール）とを備えるコンピュータ上で実現することができ、ユーザが該キーボード及び該ポインティングデバイスを介してコンピュータに入力を提供できる。他の種類の装置は、さらにユーザとのインタラクションを提供することに用いることができる。例えば、ユーザに提供されるフィードバックは、例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバックであるいかなる形態のセンシングフィードバックであってもよく、且つ音入力、音声入力又は、触覚入力を含むいかなる形態でユーザからの入力を受信してもよい。

ここで説明したシステム及び技術は、バックグラウンドコンポーネントを含むコンピューティングシステム（例えば、データサーバ）に実施されてもよく、又はミドルウェアコンポーネントを含むコンピューティングシステム（例えば、アプリケーションサーバ）に実施されてもよく、又はフロントエンドコンポーネントを含むコンピューティングシステム（例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータ）に実施されてもよく、ユーザは該グラフィカルユーザインタフェース又はウェブブラウザを介してここで説明したシステム及び技術の実施形態とインタラクションしてもよく、又はこのようなバックグラウンドコンポーネント、ミドルウェアコンポーネント又はフロントエンドコンポーネントのいずれかの組み合わせを含むコンピューティングシステムに実施されてもよい。また、システムの各構成要素間は、通信ネットワーク等の任意の形態または媒体を介してデジタルデータ通信により接続されていてもよい。通信ネットワークとしては、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）及びインターネットなどを含む。

コンピュータシステムは、クライアントとサーバとを含んでもよい。クライアントとサーバは、通常、互いに離れており、通信ネットワークを介してインタラクションを行う。クライアントとサーバとの関係は、互いにクライアント－サーバの関係を有するコンピュータプログラムをそれぞれのコンピュータ上で動作することによって生成される。

本出願の技術的解決手段により、まず対象ドキュメントイメージのカテゴリに対応する位置テンプレートを取得する。次に、対象ドキュメントイメージにおけるキーポイント位置を確定する。次に、対象ドキュメントイメージにおけるキーポイント位置及び位置テンプレートにおけるキーポイント位置に基づいて、変換行列を生成する。次に、位置テンプレートにおける情報位置及び変換行列に基づいて、対象ドキュメントイメージに対応する情報位置を確定する。最後に、対象ドキュメントイメージに対応する情報位置にある情報を抽出し、対象ドキュメントイメージにおける情報を得る。特定カテゴリのドキュメントイメージの位置テンプレートを構築することにより、該カテゴリのドキュメントイメージに対応する情報位置を確定し、ドキュメントイメージに対応する情報位置から情報を抽出することにより、簡単かつ迅速な情報抽出が実現される。

なお、上述した様々な形態のフローを用いて、ステップを改めて並び替え、追加または削除を行うことができる。例えば、本出願に記載された各ステップは、本出願に開示された技術案の所望の結果が達成できる限り、並行して実行されてもよいし、順番に実行されてもよいし、異なる順序で実行されてもよい。本明細書はここで制限しない。

上記具体的な実施形態は、本出願の保護範囲を限定するものではない。設計要件および他の要因に従って、様々な修正、組み合わせ、再組合、および置換を行うことができることを当業者は理解すべきである。本出願の精神および原理内で行われたあらゆる補正、同等置換および改善などは、いずれも本出願の保護範囲内に含まれるべきである。

Claims (15)

1. 対象ドキュメントイメージのカテゴリに対応する位置テンプレートを取得することと、
   キーポイント検出モデルを用いて前記対象ドキュメントイメージにおけるキーポイント位置を確定することであって、前記キーポイント位置は、前記対象ドキュメントイメージにおける情報を囲む枠の４つの頂点を少なくとも含む、ことと、
   前記対象ドキュメントイメージにおけるキーポイント位置と前記位置テンプレートにおけるキーポイント位置に基づいて、変換行列を生成することと、
   前記位置テンプレートにおける情報位置及び前記変換行列に基づいて、前記対象ドキュメントイメージに対応する情報位置を確定することと、
   前記対象ドキュメントイメージに対応する情報位置にある情報を抽出し、前記対象ドキュメントイメージにおける情報を得ることと、を含み、
   前記キーポイント検出モデルは、全結合層が含まれない場合、その出力がヒートマップであり、ヒートマップにおける各点の熱力値は各点がキーポイントである確率を表す、情報抽出方法。
2. キーポイント検出モデルを用いて前記対象ドキュメントイメージにおけるキーポイント位置を確定することは、
   前記対象ドキュメントイメージのカテゴリに対応するキーポイント検出モデルを取得することと、
   前記対象ドキュメントイメージを前記キーポイント検出モデルに入力し、前記キーポイント検出モデルから出力されるヒートマップに基づいて前記対象ドキュメントイメージにおけるキーポイント位置を確定することと、を含む請求項１に記載の方法。
3. 前記対象ドキュメントイメージにおけるキーポイント位置と前記位置テンプレートにおけるキーポイント位置に基づいて、変換行列を生成することは、
   前記対象ドキュメントイメージにおけるキーポイント位置を前記位置テンプレートにおけるキーポイント位置に変換する第１変換行列を生成することを含み、
   前記位置テンプレートにおける情報位置及び前記変換行列に基づいて、前記対象ドキュメントイメージに対応する情報位置を確定することは、
   前記第１変換行列に基づいて前記対象ドキュメントイメージを変換し、変換後ドキュメントイメージを得ることと、
   前記位置テンプレートにおける情報位置を前記変換後ドキュメントイメージにおける情報位置とすることと、を含む請求項１に記載の方法。
4. 前記対象ドキュメントイメージにおけるキーポイント位置と前記位置テンプレートにおけるキーポイント位置に基づいて、変換行列を生成することは、
   前記位置テンプレートにおけるキーポイント位置を前記対象ドキュメントイメージにおけるキーポイント位置に変換する第２変換行列を生成することを含み、
   前記位置テンプレートにおける情報位置及び前記変換行列に基づいて、前記対象ドキュメントイメージに対応する情報位置を確定することは、
   前記第２変換行列に基づいて前記位置テンプレートにおける情報位置を変換し、前記対象ドキュメントイメージにおける情報位置を得ることを含む、請求項１に記載の方法。
5. 前記キーポイント検出モデルは、
   前記対象ドキュメントイメージと同じカテゴリのドキュメントイメージセットと、前記ドキュメントイメージセットのドキュメントイメージにおけるキーポイント位置とを取得することと、
   前記ドキュメントイメージセットのドキュメントイメージにおけるキーポイント位置に基づいて、対応するドキュメントイメージをマーキングし、サンプルドキュメントイメージセットを生成することと、
   前記サンプルドキュメントイメージセットを用いて前記キーポイント検出モデルをトレーニングして得ることと、
   によってトレーニングされる請求項２に記載の方法。
6. 前記位置テンプレートは、
   前記対象ドキュメントイメージと同じカテゴリの標準ドキュメントイメージと、前記標準ドキュメントイメージにおけるキーポイント位置及び情報位置とを取得することと、
   前記標準ドキュメントイメージにおけるキーポイント位置及び情報位置に基づいて、前記標準ドキュメントイメージをマーキングし、前記位置テンプレートを生成することと、
   によって生成される請求項１～５のいずれか１項に記載の方法。
7. 対象ドキュメントイメージのカテゴリに対応する位置テンプレートを取得するように構成される位置テンプレート取得モジュールと、
   キーポイント検出モデルを用いて前記対象ドキュメントイメージにおけるキーポイント位置を確定するように構成されるキーポイント位置確定モジュールであって、前記キーポイント位置は、前記対象ドキュメントイメージにおける情報を囲む枠の４つの頂点を少なくとも含む、キーポイント位置確定モジュールと、
   前記対象ドキュメントイメージにおけるキーポイント位置及び前記位置テンプレートにおけるキーポイント位置に基づいて、変換行列を生成するように構成される変換行列生成モジュールと、
   前記位置テンプレートにおける情報位置及び前記変換行列に基づいて、前記対象ドキュメントイメージに対応する情報位置を確定するように構成される情報位置確定モジュールと、
   前記対象ドキュメントイメージに対応する情報位置にある情報を抽出し、前記対象ドキュメントイメージにおける情報を得るように構成される情報抽出モジュールと、
   を含み、
   前記キーポイント検出モデルは、全結合層が含まれない場合、その出力がヒートマップであり、ヒートマップにおける各点の熱力値は各点がキーポイントである確率を表す、情報抽出装置。
8. 前記キーポイント位置確定モジュールはさらに、
   前記対象ドキュメントイメージのカテゴリに対応するキーポイント検出モデルを取得し、
   前記対象ドキュメントイメージを前記キーポイント検出モデルに入力し、前記キーポイント検出モデルから出力されるヒートマップに基づいて前記対象ドキュメントイメージにおけるキーポイント位置を確定するように構成される請求項７に記載の装置。
9. 前記変換行列生成モジュールはさらに、前記対象ドキュメントイメージにおけるキーポイント位置を前記位置テンプレートにおけるキーポイント位置に変換する第１変換行列を生成するように構成され、
   前記情報位置確定モジュールはさらに、
   前記第１変換行列に基づいて前記対象ドキュメントイメージを変換し、変換後ドキュメントイメージを得、
   前記位置テンプレートにおける情報位置を前記変換後ドキュメントイメージにおける情報位置とするように構成される請求項７に記載の装置。
10. 前記変換行列生成モジュールはさらに、前記位置テンプレートにおけるキーポイント位置を前記対象ドキュメントイメージにおけるキーポイント位置に変換する第２変換行列を生成するように構成され、
    前記情報位置確定モジュールはさらに、前記第２変換行列に基づいて前記位置テンプレートにおける情報位置を変換し、前記対象ドキュメントイメージにおける情報位置を得るように構成される、請求項７に記載の装置。
11. 前記装置は、
    前記対象ドキュメントイメージと同じカテゴリのドキュメントイメージセットと、前記ドキュメントイメージセットのドキュメントイメージにおけるキーポイント位置とを取得し、
    前記ドキュメントイメージセットのドキュメントイメージにおけるキーポイント位置に基づいて、対応するドキュメントイメージをマーキングし、サンプルドキュメントイメージセットを生成し、
    前記サンプルドキュメントイメージセットを用いて前記キーポイント検出モデルをトレーニングして得る、ように構成されるモデルトレーニングモジュールをさらに含む請求項８に記載の装置。
12. 前記装置は、
    前記対象ドキュメントイメージと同じカテゴリの標準ドキュメントイメージと、前記標準ドキュメントイメージにおけるキーポイント位置及び情報位置と、を取得し、
    前記標準ドキュメントイメージにおけるキーポイント位置及び情報位置に基づいて、前記標準ドキュメントイメージをマーキングし、前記位置テンプレートを生成する、ように構成されるテンプレート生成モジュールをさらに含む請求項７～１１のいずれか１項に記載の装置。
13. 少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサに通信可能に接続されたメモリとを備える電子機器であって、
    前記メモリには、前記少なくとも１つのプロセッサによって実行可能な指令が記憶され、前記指令が前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに請求項１～６のいずれか１項に記載の方法が実行される、電子機器。
14. 請求項１～６のいずれか１項に記載の方法をコンピュータに実行させるためのコンピュータ指令が記憶されている非一時的コンピュータ可読記憶媒体。
15. プロセッサにより実行されると、請求項１～６のいずれか１項に記載の方法を実現する、コンピュータプログラム。
    

Images