JP7846467B2 - 情報生成システム、ワークフローシステム、情報生成プログラムおよびワークフロープログラム - Google Patents

Description

本発明は、文書の画像から特定の情報を生成する情報生成システム、ワークフローシステム、情報生成プログラムおよびワークフロープログラムに関する。

従来、文字が記入される紙面上の位置を予め定義したテンプレートによって規定された位置を文字認識（文字抽出解析）する技術が知られている（特許文献１参照。）。この技術は、テンプレート定義情報の識別子である帳票ＩＤを紙面上に印字または記入することで、イメージデータ化された書類の帳票ＩＤを識別して該当するテンプレートを用いたＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）処理を行うものである。

特開２０２０－１８１３６９号公報

しかしながら、従来の技術においては、文書の画像から特定の情報を生成するためのテンプレートの作成が非常に手間であるという問題がある。

そこで、本発明は、文書の画像から特定の情報を生成するためのテンプレートの作成を容易化することができる情報生成システム、ワークフローシステム、情報生成プログラムおよびワークフロープログラムを提供することを目的とする。

本発明の情報生成システムは、文書のフォーマットによって前記文書を分類する文書分類部と、前記文書の画像から特定の情報を生成するためのテンプレートを使用して前記画像から前記情報を生成するテンプレート型情報生成部と、前記フォーマットに依存せずに前記画像から前記情報を汎用的に生成する汎用型情報生成部と、前記テンプレートを生成するテンプレート生成部とを備え、前記テンプレート型情報生成部は、前記画像に対応する前記文書の前記フォーマットが前記文書分類部によって特定された場合に、前記文書分類部によって特定された前記フォーマットに対応する前記テンプレートが、前記テンプレートを管理するテンプレート管理部に管理されているとき、前記テンプレート管理部に管理されている前記テンプレートのうち、前記文書分類部によって特定された前記フォーマットに対応する前記テンプレートを使用して、この画像から前記情報を生成し、前記テンプレート生成部は、前記画像に対応する前記文書の前記フォーマットが前記文書分類部によって特定された場合に、この画像から前記汎用型情報生成部によって前記情報が生成されたとき、この画像と、この情報と、前記テンプレート管理部に管理されている前記テンプレートとに基づいて、前記文書分類部によって特定された前記フォーマットに対応する前記テンプレートを生成することを特徴とする。

この構成により、本発明の情報生成システムは、文書の画像と、この文書の画像から汎用型情報生成部によって生成された情報と、テンプレート管理部に管理されているテンプレートとに基づいて、この文書のフォーマットに対応するテンプレートを生成するので、この文書のフォーマットに対応するテンプレートが人力のみで作成される必要性をなくすことができる。すなわち、本発明の情報生成システムは、文書の画像から特定の情報を生成するためのテンプレートの作成を容易化することができる。

本発明の情報生成システムにおいて、前記汎用型情報生成部は、前記フォーマットに依存せずに前記画像から前記情報を汎用的に生成する、前記情報生成システムの外部のサービスを利用して、前記画像から前記情報を生成しても良い。

この構成により、本発明の情報生成システムは、文書の画像から特定の情報を生成するための学習モデルが情報生成システムの提供者または利用者によって事前に生成される必要がないので、情報生成システムの提供者または利用者の負担を軽減することができる。

本発明のワークフローシステムは、それぞれ特定の処理を示す複数のブロックのうち、任意の前記ブロックが連結されることによって、一連の処理を示すワークフローを生成するワークフロー生成部と、前記ワークフロー生成部によって生成された前記ワークフローに示される処理を実行するワークフロー実行部とを備え、前記ワークフロー生成部は、文書のフォーマットによって前記文書を分類する文書分類部と、前記文書の画像から特定の情報を生成するためのテンプレートを使用して前記画像から前記情報を生成するテンプレート型情報生成部と、前記フォーマットに依存せずに前記画像から前記情報を汎用的に生成する汎用型情報生成部と、前記テンプレートを生成するテンプレート生成部とを実現する前記ワークフローを生成可能であり、前記テンプレート型情報生成部は、前記画像に対応する前記文書の前記フォーマットが前記文書分類部によって特定された場合に、前記文書分類部によって特定された前記フォーマットに対応する前記テンプレートが、前記テンプレートを管理するテンプレート管理部に管理されているとき、前記テンプレート管理部に管理されている前記テンプレートのうち、前記文書分類部によって特定された前記フォーマットに対応する前記テンプレートを使用して、この画像から前記情報を生成し、前記テンプレート生成部は、前記画像に対応する前記文書の前記フォーマットが前記文書分類部によって特定された場合に、この画像から前記汎用型情報生成部によって前記情報が生成されたとき、この画像と、この情報と、前記テンプレート管理部に管理されている前記テンプレートとに基づいて、前記文書分類部によって特定された前記フォーマットに対応する前記テンプレートを生成することを特徴とする。

この構成により、本発明のワークフローシステムは、文書の画像と、この文書の画像から汎用型情報生成部によって生成された情報と、テンプレート管理部に管理されているテンプレートとに基づいて、この文書のフォーマットに対応するテンプレートを生成することが可能であるので、この文書のフォーマットに対応するテンプレートが人力のみで作成される必要性をなくすことができる。すなわち、本発明のワークフローシステムは、文書の画像から特定の情報を生成するためのテンプレートの作成を容易化することができる。

本発明の情報生成プログラムは、文書のフォーマットによって前記文書を分類する文書分類部と、前記文書の画像から特定の情報を生成するためのテンプレートを使用して前記画像から前記情報を生成するテンプレート型情報生成部と、前記フォーマットに依存せずに前記画像から前記情報を汎用的に生成する汎用型情報生成部と、前記テンプレートを生成するテンプレート生成部とをコンピューターに実現させ、前記テンプレート型情報生成部は、前記画像に対応する前記文書の前記フォーマットが前記文書分類部によって特定された場合に、前記文書分類部によって特定された前記フォーマットに対応する前記テンプレートが、前記テンプレートを管理するテンプレート管理部に管理されているとき、前記テンプレート管理部に管理されている前記テンプレートのうち、前記文書分類部によって特定された前記フォーマットに対応する前記テンプレートを使用して、この画像から前記情報を生成し、前記テンプレート生成部は、前記画像に対応する前記文書の前記フォーマットが前記文書分類部によって特定された場合に、この画像から前記汎用型情報生成部によって前記情報が生成されたとき、この画像と、この情報と、前記テンプレート管理部に管理されている前記テンプレートとに基づいて、前記文書分類部によって特定された前記フォーマットに対応する前記テンプレートを生成することを特徴とする。

この構成により、本発明の情報生成プログラムを実行するコンピューターは、文書の画像と、この文書の画像から汎用型情報生成部によって生成された情報と、テンプレート管理部に管理されているテンプレートとに基づいて、この文書のフォーマットに対応するテンプレートを生成するので、この文書のフォーマットに対応するテンプレートが人力のみで作成される必要性をなくすことができる。すなわち、本発明の情報生成プログラムを実行するコンピューターは、文書の画像から特定の情報を生成するためのテンプレートの作成を容易化することができる。

本発明のワークフロープログラムは、それぞれ特定の処理を示す複数のブロックのうち、任意の前記ブロックが連結されることによって、一連の処理を示すワークフローを生成するワークフロー生成部と、前記ワークフロー生成部によって生成された前記ワークフローに示される処理を実行するワークフロー実行部とをコンピューターに実現させ、前記ワークフロー生成部は、文書のフォーマットによって前記文書を分類する文書分類部と、前記文書の画像から特定の情報を生成するためのテンプレートを使用して前記画像から前記情報を生成するテンプレート型情報生成部と、前記フォーマットに依存せずに前記画像から前記情報を汎用的に生成する汎用型情報生成部と、前記テンプレートを生成するテンプレート生成部とを実現する前記ワークフローを生成可能であり、前記テンプレート型情報生成部は、前記画像に対応する前記文書の前記フォーマットが前記文書分類部によって特定された場合に、前記文書分類部によって特定された前記フォーマットに対応する前記テンプレートが、前記テンプレートを管理するテンプレート管理部に管理されているとき、前記テンプレート管理部に管理されている前記テンプレートのうち、前記文書分類部によって特定された前記フォーマットに対応する前記テンプレートを使用して、この画像から前記情報を生成し、前記テンプレート生成部は、前記画像に対応する前記文書の前記フォーマットが前記文書分類部によって特定された場合に、この画像から前記汎用型情報生成部によって前記情報が生成されたとき、この画像と、この情報と、前記テンプレート管理部に管理されている前記テンプレートとに基づいて、前記文書分類部によって特定された前記フォーマットに対応する前記テンプレートを生成することを特徴とする。

この構成により、本発明のワークフロープログラムを実行するコンピューターは、文書の画像と、この文書の画像から汎用型情報生成部によって生成された情報と、テンプレート管理部に管理されているテンプレートとに基づいて、この文書のフォーマットに対応するテンプレートを生成することが可能であるので、この文書のフォーマットに対応するテンプレートが人力のみで作成される必要性をなくすことができる。すなわち、本発明のワークフロープログラムを実行するコンピューターは、文書の画像から特定の情報を生成するためのテンプレートの作成を容易化することができる。

本発明の情報生成システム、ワークフローシステム、情報生成プログラムおよびワークフロープログラムは、文書の画像から特定の情報を生成するためのテンプレートの作成を容易化することができる。

本発明の一実施の形態に係る情報処理システムのブロック図である。 １台のコンピューターによって構成される場合の図１に示す情報生成システムのブロック図である。 ＭＦＰである場合の図１に示す画像読取装置のブロック図である。 図１に示す利用者端末のブロック図である。 請求書画像から特定情報を生成する場合の図２に示す情報生成システムの動作のフローチャートである。 テンプレートを使用して請求書画像から特定情報を生成する場合の図２に示す情報生成システムの動作のフローチャートである。 図５に示すテンプレート生成処理のフローチャートである。 請求書画像からテンプレートを生成する場合の図２に示す情報生成システムの動作のフローチャートである。 図２に示す情報生成システムを実現するワークフローシステムのブロック図である。 図１に示す利用者端末の表示部に表示されるワークフロー生成画面に示されるワークフローの一例を示す図である。

以下、本発明の実施の形態について、図面を用いて説明する。

まず、本発明の一実施の形態に係る情報処理システムの構成について説明する。

図１は、本実施の形態に係る情報処理システム１０のブロック図である。

図１に示すように、情報処理システム１０は、文書としての請求書の画像（以下「請求書画像」という。）から抽出した情報を含む特定の情報（以下「特定情報」という。）を生成する情報生成システム２０と、紙などの記録媒体によって構成される請求書の実物（以下「請求書実物」という。）から請求書画像を読み取る画像読取装置３０と、情報処理システム１０の利用者によって利用される利用者端末４０とを備えている。情報処理システム１０は、画像読取装置３０と同様の画像読取装置を、画像読取装置３０以外に少なくとも１つ備えても良い。情報処理システム１０は、利用者端末４０と同様の利用者端末を、利用者端末４０以外に少なくとも１つ備えても良い。

特定情報は、項目毎に、項目名と、値とが対応付けられた情報である。

情報生成システム２０は、１台のコンピューターによって構成されても良いし、複数台のコンピューターによって構成されても良い。

画像読取装置３０は、例えば、スキャナー専用機、ＭＦＰ（Ｍｕｌｔｉｆｕｎｃｔｉｏｎ Ｐｅｒｉｐｈｅｒａｌ）などによって構成されている。

利用者端末４０は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）などのコンピューターによって構成されている。

情報生成システム２０と、画像読取装置とは、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットなどのネットワーク経由で、または、ネットワークを介さずに有線または無線によって直接に通信可能である。同様に、情報生成システム２０と、利用者端末とは、ＬＡＮ、インターネットなどのネットワーク経由で、または、ネットワークを介さずに有線または無線によって直接に通信可能である。

図２は、１台のコンピューターによって構成される場合の情報生成システム２０のブロック図である。

図２に示す情報生成システム２０は、種々の操作が入力される例えばキーボード、マウスなどの操作デバイスである操作部２１と、種々の情報を表示する例えばＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）などの表示デバイスである表示部２２と、ＬＡＮ、インターネットなどのネットワーク経由で、または、ネットワークを介さずに有線または無線によって直接に、外部の装置と通信を行う通信デバイスである通信部２３と、各種の情報を記憶する例えば半導体メモリー、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの不揮発性の記憶デバイスである記憶部２４と、情報生成システム２０全体を制御する制御部２５とを備えている。

記憶部２４は、特定情報を生成するための情報生成プログラム２４ａを記憶している。情報生成プログラム２４ａは、例えば、情報生成システム２０の製造段階で情報生成システム２０にインストールされていても良いし、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリーなどの外部の記憶媒体から情報生成システム２０に追加でインストールされても良いし、ネットワーク上から情報生成システム２０に追加でインストールされても良い。

記憶部２４は、請求書のフォーマット（以下、単に「フォーマット」という。）によって請求書を分類するための学習モデルとしての請求書分類モデル２４ｂを記憶可能である。請求書分類モデル２４ｂは、機械学習によって作成される。

記憶部２４は、請求書画像から特定情報を生成するためのテンプレートを格納するテンプレートデータベース２４ｃを記憶可能である。テンプレートデータベース２４ｃは、テンプレートをフォーマット毎に管理しており、本発明のテンプレート管理部を構成している。テンプレートは、請求書画像から抽出する情報の項目名と、請求書画像から情報を抽出する位置の基準となるアンカーと、アンカーが存在する領域（以下「アンカー領域」という。）の位置（以下「アンカー領域位置」という。）と、請求書画像から抽出する情報が存在する領域（以下「抽出領域」という。）の、アンカーに対する位置（以下「抽出領域位置」という。）とを、請求書画像から抽出する情報の項目毎に含んでいる。ここで、アンカーは、例えば、特定の文字列でも良いし、ロゴなどの特定の画像でも良い。テンプレートは、例えば、ＸＭＬ（Ｅｘｔｅｎｓｉｂｌｅ Ｍａｒｋｕｐ Ｌａｎｇｕａｇｅ）形式で定義されている。

記憶部２４は、請求書画像から特定情報を生成するための学習モデルとしての情報生成モデル２４ｄを記憶可能である。情報生成モデル２４ｄは、機械学習によって作成される。情報生成モデル２４ｄは、フォーマットに依存しない汎用的な学習モデルであり、請求書画像から、情報と、この情報の、請求書画像上の位置とを抽出することができるものである。

記憶部２４は、請求書画像から抽出される情報の項目名の各種の表現を示す辞書２４ｅを記憶可能である。例えば、辞書２４ｅには、「請求書番号」を示す項目の項目名として「invoice_no」および「invoice_number」が示されており、「請求日」を示す項目の項目名として「invoice_date」が示されており、「請求額」を示す項目の項目名として「total_amount」および「total」が示されている。

制御部２５は、例えば、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、プログラムおよび各種のデータを記憶しているＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）と、制御部２５のＣＰＵの作業領域として用いられるメモリーとしてのＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）とを備えている。制御部２５のＣＰＵは、記憶部２４または制御部２５のＲＯＭに記憶されているプログラムを実行する。

制御部２５は、情報生成プログラム２４ａを実行することによって、フォーマットによって請求書を分類する文書分類部としての請求書分類部２５ａと、テンプレートを使用して請求書画像から特定情報を生成するテンプレート型情報生成部２５ｂと、フォーマットに依存せずに請求書画像から特定情報を汎用的に生成する汎用型情報生成部２５ｃと、テンプレートを生成するテンプレート生成部２５ｄとを実現する。

図３は、ＭＦＰである場合の画像読取装置３０のブロック図である。

図３に示す画像読取装置３０は、種々の操作が入力される例えばボタンなどの操作デバイスである操作部３１と、種々の情報を表示する例えばＬＣＤなどの表示デバイスである表示部３２と、用紙などの記録媒体に画像を印刷する印刷デバイスであるプリンター３３と、原稿から画像を読み取る読取デバイスであるスキャナー３４と、図示していない外部のファクシミリ装置と公衆電話回線などの通信回線経由でファックス通信を行うファックスデバイスであるファックス通信部３５と、ＬＡＮ、インターネットなどのネットワーク経由で、または、ネットワークを介さずに有線または無線によって直接に、外部の装置と通信を行う通信デバイスである通信部３６と、各種の情報を記憶する例えば半導体メモリー、ＨＤＤなどの不揮発性の記憶デバイスである記憶部３７と、画像読取装置３０全体を制御する制御部３８とを備えている。

制御部３８は、例えば、ＣＰＵと、プログラムおよび各種のデータを記憶しているＲＯＭと、制御部３８のＣＰＵの作業領域として用いられるメモリーとしてのＲＡＭとを備えている。制御部３８のＣＰＵは、記憶部３７または制御部３８のＲＯＭに記憶されているプログラムを実行する。

図４は、利用者端末４０のブロック図である。

図４に示す利用者端末４０は、種々の操作が入力される例えばキーボード、マウスなどの操作デバイスである操作部４１と、種々の情報を表示する例えばＬＣＤなどの表示デバイスである表示部４２と、ＬＡＮ、インターネットなどのネットワーク経由で、または、ネットワークを介さずに有線または無線によって直接に、外部の装置と通信を行う通信デバイスである通信部４３と、各種の情報を記憶する例えば半導体メモリー、ＨＤＤなどの不揮発性の記憶デバイスである記憶部４４と、利用者端末４０全体を制御する制御部４５とを備えている。

制御部４５は、例えば、ＣＰＵと、プログラムおよび各種のデータを記憶しているＲＯＭと、制御部４５のＣＰＵの作業領域として用いられるメモリーとしてのＲＡＭとを備えている。制御部４５のＣＰＵは、記憶部４４または制御部４５のＲＯＭに記憶されているプログラムを実行する。

次に、情報処理システム１０の動作について説明する。

まず、請求書画像から特定情報を生成する場合の情報生成システム２０の動作について説明する。

図５は、請求書画像から特定情報を生成する場合の情報生成システム２０の動作のフローチャートである。

利用者は、請求書実物を画像読取装置のスキャナーにセットするとともに、請求書実物からの特定情報の生成を、例えば、この画像読取装置の操作部を介して、この画像読取装置に指示することができる。画像読取装置の制御部は、請求書実物からの特定情報の生成が指示されると、この画像読取装置のスキャナーにセットされた請求書実物から請求書画像をこのスキャナーによって読み取り、この請求書画像からの特定情報の生成を、この画像読取装置の通信部を介して情報生成システム２０に指示する。ここで、請求書画像からの特定情報の生成の指示（以下「情報生成指示」という。）には、この情報生成指示の対象の請求書画像が含まれている。情報生成システム２０の制御部２５は、情報生成指示を通信部２３を介して受信すると、図５に示す動作を実行する。

図５に示すように、請求書分類部２５ａは、情報生成指示の対象の請求書画像に対応する請求書のフォーマットを、この請求書画像に基づいて、請求書分類モデル２４ｂを使用して特定する（Ｓ１０１）。

次いで、テンプレート型情報生成部２５ｂは、Ｓ１０１において特定されたフォーマットに対応するテンプレートがテンプレートデータベース２４ｃに存在するか否かを判断する（Ｓ１０２）。

テンプレート型情報生成部２５ｂは、Ｓ１０１において特定されたフォーマットに対応するテンプレートがテンプレートデータベース２４ｃに存在するとＳ１０２において判断すると、テンプレートデータベース２４ｃに格納されているテンプレートのうち、Ｓ１０１において特定されたフォーマットに対応するテンプレートを使用して、情報生成指示の対象の請求書画像から特定情報を生成する（Ｓ１０３）。例えば、テンプレートデータベース２４ｃに格納されているテンプレートのうち、Ｓ１０１において特定されたフォーマットに対応するテンプレートにおいて、「請求書番号」、「請求日」、「請求額」を示す項目の項目名としてそれぞれ「invoice_number」、「invoice_date」、「total」が定義されている場合、テンプレート型情報生成部２５ｂは、Ｓ１０３において、各項目の値を抽出し、抽出した値を、テンプレートに定義されている項目名に対応付けることによって、特定情報を生成する。

図６は、テンプレートを使用して請求書画像から特定情報を生成する場合の情報生成システム２０の動作のフローチャートである。

図６に示すように、テンプレート型情報生成部２５ｂは、対象のテンプレートに含まれる項目のうち、今回の図６に示す動作において未だ対象にしていない１つの項目を対象にする（Ｓ１２１）。

次いで、テンプレート型情報生成部２５ｂは、対象の請求書画像において、現在の対象の項目に対して対象のテンプレートに含まれるアンカー領域から、現在の対象の項目に対して対象のテンプレートに含まれるアンカーを検出する（Ｓ１２２）。

次いで、テンプレート型情報生成部２５ｂは、Ｓ１２２において検出したアンカーと、現在の対象の項目に対して対象のテンプレートに含まれる抽出領域位置とに基づいて、現在の対象の項目に対する抽出領域を、対象の請求書画像において特定する（Ｓ１２３）。

次いで、テンプレート型情報生成部２５ｂは、対象の請求書画像において、Ｓ１２３において特定した抽出領域から情報を抽出する（Ｓ１２４）。

次いで、テンプレート型情報生成部２５ｂは、Ｓ１２４において抽出した情報と、現在の対象の項目に対して対象のテンプレートに含まれる項目名とを対応付ける（Ｓ１２５）。

次いで、テンプレート型情報生成部２５ｂは、対象のテンプレートに含まれる項目のうち、今回の図６に示す動作において未だ対象にしていない項目が存在するか否かを判断する（Ｓ１２６）。

テンプレート型情報生成部２５ｂは、対象のテンプレートに含まれる項目のうち、今回の図６に示す動作において未だ対象にしていない項目が存在するとＳ１２６において判断すると、Ｓ１２１の処理を実行する。

テンプレート型情報生成部２５ｂは、対象のテンプレートに含まれる項目のうち、今回の図６に示す動作において未だ対象にしていない項目が存在しないとＳ１２６において判断すると、図６に示す動作を終了する。

図５に示すように、テンプレート型情報生成部２５ｂは、Ｓ１０３の処理の後、Ｓ１０３において生成した特定情報を、Ｓ１０１において特定されたフォーマットと、情報生成指示の対象の請求書画像とに対応付けて記憶部２４に記憶する（Ｓ１０４）。したがって、利用者は、例えば利用者端末を使用して情報生成システム２０にアクセスすることによって、記憶部２４に記憶された特定情報を利用者端末の表示部を介して確認することができるとともに、この特定情報を必要に応じて利用者端末の操作部を介して修正することができる。

テンプレート型情報生成部２５ｂは、Ｓ１０４の処理の後、図５に示す動作を終了する。

汎用型情報生成部２５ｃは、Ｓ１０１において特定されたフォーマットに対応するテンプレートがテンプレートデータベース２４ｃに存在しないとＳ１０２において判断されると、情報生成指示の対象の請求書画像から情報生成モデル２４ｄを使用して特定情報を生成する（Ｓ１０５）。例えば、情報生成モデル２４ｄにおいて、「請求書番号」、「請求日」、「請求額」を示す項目の項目名としてそれぞれ「invoice_no」、「invoice_date」、「total_amount」が定義されている場合、汎用型情報生成部２５ｃは、Ｓ１０５において、各項目の値を抽出し、抽出した値を、情報生成モデル２４ｄに定義されている項目名に対応付けることによって、特定情報を生成する。

汎用型情報生成部２５ｃは、Ｓ１０５の処理の後、Ｓ１０５において生成した特定情報を、Ｓ１０１において特定されたフォーマットと、情報生成指示の対象の請求書画像とに対応付けて記憶部２４に記憶する（Ｓ１０６）。したがって、利用者は、例えば利用者端末を使用して情報生成システム２０にアクセスすることによって、記憶部２４に記憶された特定情報を利用者端末の表示部を介して確認することができるとともに、この特定情報を必要に応じて利用者端末の操作部を介して修正することができる。

テンプレート生成部２５ｄは、Ｓ１０６の処理の後、テンプレートを生成するテンプレート生成処理を、Ｓ１０５において生成された特定情報に基づいて実行する（Ｓ１０７）。

図７は、図５に示すテンプレート生成処理のフローチャートである。

図７に示すように、テンプレート生成部２５ｄは、テンプレートデータベース２４ｃに格納されている全てのテンプレートから項目名を取得する（Ｓ１４１）。例えば、テンプレートデータベース２４ｃに格納されているテンプレートにおいて、「請求書番号」、「請求日」、「請求額」を示す項目の項目名としてそれぞれ「invoice_number」、「invoice_date」、「total」が定義されている場合、テンプレート生成部２５ｄは、Ｓ１４１において、「invoice_number」、「invoice_date」、「total」を取得する。

テンプレート生成部２５ｄは、Ｓ１４１の処理の後、Ｓ１０５において情報生成モデル２４ｄを使用して生成された特定情報における項目名を取得する（Ｓ１４２）。例えば、テンプレート生成部２５ｄは、Ｓ１４２において、「invoice_no」、「invoice_date」、「total_amount」を取得する。

テンプレート生成部２５ｄは、Ｓ１４２の処理の後、Ｓ１４２において取得した項目名、すなわち、情報生成モデル２４ｄを使用して生成された特定情報における項目名のうち、Ｓ１４１において取得した項目名、すなわち、全てのテンプレートから取得した項目名のいずれかに対応するものを辞書２４ｅに基づいて特定する（Ｓ１４３）。例えば、テンプレート生成部２５ｄは、Ｓ１４２において取得した項目名「invoice_no」、「invoice_date」、「total_amount」がそれぞれＳ１４１において取得した項目名「invoice_number」、「invoice_date」、「total」に対応することを特定する。

テンプレート生成部２５ｄは、Ｓ１４３の処理の後、Ｓ１４３において特定した項目名毎に、アンカー、アンカー領域位置および抽出領域位置を、情報生成指示の対象の請求書画像から特定する（Ｓ１４４）。ここで、テンプレート生成部２５ｄは、対象の項目名に対して辞書２４ｅにおいて示されているいずれかの文字列が情報生成指示の対象の請求書画像に存在する場合、その文字列をアンカーとしても良い。テンプレート生成部２５ｄは、対象の項目名に対して辞書２４ｅにおいて示されているいずれかの文字列が情報生成指示の対象の請求書画像に存在しない場合、この請求書画像に存在する、例えばロゴなどの何らかの情報をアンカーとしても良い。また、テンプレート生成部２５ｄは、情報生成指示の対象の請求書画像からＳ１０５において各項目の値を抽出した領域を含む特定の領域を抽出領域とする。

テンプレート生成部２５ｄは、Ｓ１４４の処理の後、Ｓ１４３において特定した項目名をＳ１４１において取得した項目名に変換したものと、Ｓ１４４において特定したアンカー、アンカー領域位置および抽出領域位置とを項目毎に含めることによって、テンプレートを生成して（Ｓ１４５）、図７に示すテンプレート生成処理を終了する。

図５に示すように、テンプレート生成部２５ｄは、Ｓ１０７のテンプレート生成処理の後、Ｓ１０７において生成したテンプレートを、Ｓ１０１において特定されたフォーマットのテンプレートとしてテンプレートデータベース２４ｃに格納する（Ｓ１０８）。したがって、利用者は、例えば利用者端末を使用して情報生成システム２０にアクセスすることによって、テンプレートデータベース２４ｃに格納されたテンプレートを利用者端末の表示部を介して確認することができるとともに、このテンプレートを必要に応じて利用者端末の操作部を介して修正することができる。なお、Ｓ１０８においてテンプレートデータベース２４ｃに格納されたテンプレートは、仮登録の状態である。利用者は、このテンプレートを利用者端末の表示部を介して確認する場合に、このテンプレートの状態を利用者端末の操作部を介して本登録の状態に変更することが可能である。テンプレート生成部２５ｄは、テンプレートデータベース２４ｃに仮登録の状態のテンプレートが格納されている場合、このテンプレートの状態を本登録の状態に変更することを促す指示を特定の連絡先に通知することが可能である。

テンプレート生成部２５ｄは、Ｓ１０８の処理の後、図５に示す動作を終了する。

次に、請求書画像からテンプレートを生成する場合の情報生成システム２０の動作について説明する。

図８は、請求書画像からテンプレートを生成する場合の情報生成システム２０の動作のフローチャートである。

利用者は、請求書実物を画像読取装置のスキャナーにセットするとともに、請求書実物からのテンプレートの生成を、例えば、この画像読取装置の操作部を介して、この画像読取装置に指示することができる。画像読取装置の制御部は、請求書実物からのテンプレートの生成が指示されると、この画像読取装置のスキャナーにセットされた請求書実物から請求書画像をこのスキャナーによって読み取り、この請求書画像からのテンプレートの生成を、この画像読取装置の通信部を介して情報生成システム２０に指示する。ここで、請求書画像からのテンプレートの生成の指示（以下「テンプレート生成指示」という。）には、このテンプレート生成指示の対象の請求書画像が含まれている。情報生成システム２０の制御部２５は、テンプレート生成指示を通信部２３を介して受信すると、図８に示す動作を実行する。

図８に示すように、請求書分類部２５ａは、テンプレート生成指示の対象の請求書画像に対応する請求書のフォーマットを、この請求書画像に基づいて、請求書分類モデル２４ｂを使用して特定する（Ｓ１６１）。

次いで、汎用型情報生成部２５ｃは、Ｓ１０５の処理と同様に、テンプレート生成指示の対象の請求書画像から情報生成モデル２４ｄを使用して特定情報を生成する（Ｓ１６２）。

次いで、テンプレート生成部２５ｄは、Ｓ１０７の処理と同様に、テンプレートを生成するテンプレート生成処理を、Ｓ１６２において生成された特定情報に基づいて実行する（Ｓ１６３）。

次いで、テンプレート生成部２５ｄは、Ｓ１６３において生成したテンプレートを、Ｓ１６１において特定されたフォーマットのテンプレートの候補（以下「テンプレート候補」という。）として記憶部２４に保存する（Ｓ１６４）。したがって、利用者は、例えば利用者端末を使用して情報生成システム２０にアクセスすることによって、記憶部２４に保存されたテンプレート候補を利用者端末の表示部を介して確認することができるとともに、このテンプレート候補を必要に応じて利用者端末の操作部を介して修正することができる。利用者は、このテンプレート候補を利用者端末の表示部を介して確認する場合に、このテンプレート候補をテンプレートとして採用することを、例えば利用者端末の操作部を介して情報生成システム２０に指示することができる。

テンプレート生成部２５ｄは、Ｓ１６４の処理の後、Ｓ１６４において保存したテンプレート候補をテンプレートとして採用することが指示されたと判断するまで、Ｓ１６４において保存したテンプレート候補をテンプレートとして採用することが指示されたか否かを判断する（Ｓ１６５）。

テンプレート生成部２５ｄは、Ｓ１６４において保存したテンプレート候補をテンプレートとして採用することが指示されたとＳ１６５において判断すると、Ｓ１６４において保存したテンプレート候補を、Ｓ１６１において特定されたフォーマットのテンプレートとしてテンプレートデータベース２４ｃに格納して（Ｓ１６６）、図８に示す動作を終了する。

以上に説明したように、情報生成システム２０は、請求書画像と、この請求書画像から汎用型情報生成部２５ｃによって生成された特定情報と、テンプレートデータベース２４ｃに管理されているテンプレートとに基づいて、この請求書画像に対応する請求書のフォーマットに対応するテンプレートを生成する（Ｓ１０７およびＳ１６３）ので、この請求書のフォーマットに対応するテンプレートが人力のみで作成される必要性をなくすことができる。すなわち、情報生成システム２０は、請求書画像から特定情報を生成するためのテンプレートの作成を容易化することができる。

情報生成システム２０は、情報生成指示の対象の請求書画像に対応する請求書のフォーマットに対応するテンプレートがテンプレートデータベース２４ｃに存在しない場合であっても（Ｓ１０２でＮＯ）、この請求書画像から汎用型情報生成部２５ｃによって特定情報を生成する（Ｓ１０５）ので、この請求書画像から人力のみによって特定情報を生成する必要性をなくすことができ、その結果、請求書画像から特定情報を生成するために必要な時間を短縮することができる。

なお、情報生成システム２０は、一連の処理を示すワークフローに示される処理を実行するワークフローシステム５０（図９参照。）によって実現されても良い。ワークフローシステム５０は、図９に示すように１台のコンピューターによって構成されても良いし、複数台のコンピューターによって構成されても良い。

図９は、情報生成システム２０を実現するワークフローシステム５０のブロック図である。

図９に示すワークフローシステム５０は、種々の操作が入力される例えばキーボード、マウスなどの操作デバイスである操作部５１と、種々の情報を表示する例えばＬＣＤなどの表示デバイスである表示部５２と、ＬＡＮ、インターネットなどのネットワーク経由で、または、ネットワークを介さずに有線または無線によって直接に、外部の装置と通信を行う通信デバイスである通信部５３と、各種の情報を記憶する例えば半導体メモリー、ＨＤＤなどの不揮発性の記憶デバイスである記憶部５４と、ワークフローシステム５０全体を制御する制御部５５とを備えている。

記憶部５４は、ワークフローに示される処理を実行するためのワークフロープログラム５４ａを記憶している。ワークフロープログラム５４ａは、例えば、ワークフローシステム５０の製造段階でワークフローシステム５０にインストールされていても良いし、ＵＳＢメモリーなどの外部の記憶媒体からワークフローシステム５０に追加でインストールされても良いし、ネットワーク上からワークフローシステム５０に追加でインストールされても良い。

記憶部５４は、請求書分類モデル２４ｂ、テンプレートデータベース２４ｃ、情報生成モデル２４ｄおよび辞書２４ｅを記憶可能である。

制御部５５は、例えば、ＣＰＵと、プログラムおよび各種のデータを記憶しているＲＯＭと、制御部５５のＣＰＵの作業領域として用いられるメモリーとしてのＲＡＭとを備えている。制御部５５のＣＰＵは、記憶部５４または制御部５５のＲＯＭに記憶されているプログラムを実行する。

制御部５５は、ワークフロープログラム５４ａを実行することによって、それぞれ特定の処理を示す複数のブロックのうち、任意のブロックが連結されることによってワークフローを生成するワークフロー生成部５５ａと、ワークフロー生成部５５ａによって生成されたワークフローに示される処理を実行するワークフロー実行部５５ｂとを実現する。

ワークフローシステム５０は、ワークフローの生成が例えば利用者端末の操作部を介して利用者によって指示されることが可能である。例えば、ワークフロー生成部５５ａは、ワークフローを生成するためのワークフロー生成画面を利用者端末の表示部に表示させることができ、ワークフロー生成画面に対する利用者端末の操作部を介した利用者からの指示に応じて、請求書分類部２５ａ、テンプレート型情報生成部２５ｂ、汎用型情報生成部２５ｃおよびテンプレート生成部２５ｄを実現するワークフローを生成可能である。すなわち、ワークフロー生成部５５ａは、図５に示す動作を実現するワークフローや、図８に示す動作を実現するワークフローを生成可能である。

図１０は、利用者端末の表示部に表示されるワークフロー生成画面に示されるワークフローの一例を示す図である。

図１０に示すワークフロー６０は、図５に示す動作を実現するワークフローの一例である。ワークフロー６０は、画像読取装置からの請求書画像の入力を示すブロック６１と、Ｓ１０１～Ｓ１０３の処理を示すブロック６２と、Ｓ１０４の処理を示すブロック６３と、記憶部２４を示すブロック６４と、Ｓ１０５の処理を示すブロック６５と、Ｓ１０６の処理を示すブロック６６と、記憶部２４を示すブロック６７と、Ｓ１０７の処理を示すブロック６８と、Ｓ１０８の処理を示すブロック６９と、テンプレートデータベース２４ｃを示すブロック７０とが連結されることによって生成されている。

図９に示すワークフローシステム５０は、ワークフロー生成部５５ａによって生成されたワークフローが画像読取装置の表示部を介して利用者によって確認されることが可能であるとともに、ワークフロー生成部５５ａによって生成されたワークフローの実行が画像読取装置の操作部を介して利用者によって指示されることが可能である。

利用者は、請求書実物を画像読取装置のスキャナーにセットするとともに、図５に示す動作を実現するワークフローの実行を、例えば、この画像読取装置の操作部を介して、この画像読取装置に指示することができる。画像読取装置の制御部は、このワークフローの実行が指示されると、この画像読取装置のスキャナーにセットされた請求書実物から請求書画像をこのスキャナーによって読み取り、読み取った請求書画像とともに、このワークフローの実行の指示を、この画像読取装置の通信部を介してワークフローシステム５０に送信する。ワークフローシステム５０のワークフロー実行部５５ｂは、このワークフローの実行の指示を通信部２３を介して受信すると、図５に示す動作を実現する。

同様に、利用者は、請求書実物を画像読取装置のスキャナーにセットするとともに、図８に示す動作を実現するワークフローの実行を、例えば、この画像読取装置の操作部を介して、この画像読取装置に指示することができる。画像読取装置の制御部は、このワークフローの実行が指示されると、この画像読取装置のスキャナーにセットされた請求書実物から請求書画像をこのスキャナーによって読み取り、読み取った請求書画像とともに、このワークフローの実行の指示を、この画像読取装置の通信部を介してワークフローシステム５０に送信する。ワークフローシステム５０のワークフロー実行部５５ｂは、このワークフローの実行の指示を通信部２３を介して受信すると、図８に示す動作を実現する。

汎用型情報生成部２５ｃは、以上の説明において、請求書画像から情報生成モデル２４ｄを使用して特定情報を生成する（Ｓ１０５およびＳ１６２）。しかしながら、汎用型情報生成部２５ｃは、情報生成モデル２４ｄを使用せずに、請求書画像から特定情報を生成しても良い。例えば、汎用型情報生成部２５ｃは、フォーマットに依存せずに請求書画像から特定情報を汎用的に生成するクラウドサービスなど、情報生成システム２０の外部のサービスを利用して、請求書画像から特定情報を生成しても良い。情報生成システム２０は、汎用型情報生成部２５ｃが情報生成システム２０の外部のサービスを利用して請求書画像から特定情報を生成する場合、情報生成モデル２４ｄが情報生成システム２０の提供者または利用者によって事前に生成される必要がないので、情報生成システム２０の提供者または利用者の負担を軽減することができる。また、情報生成システム２０は、汎用型情報生成部２５ｃが請求書画像から生成した特定情報に基づいてテンプレート生成部２５ｄがテンプレートを生成するので、汎用型情報生成部２５ｃが情報生成システム２０の外部のサービスを利用して請求書画像から特定情報を生成する場合に、外部のサービスの利用に応じて外部のサービスの提供者に利用料を支払う必要があっても、汎用型情報生成部２５ｃが情報生成システム２０の外部のサービスを利用して請求書画像から特定情報を生成する回数を低減することができ、その結果、外部のサービスの提供者に支払う利用料を低減することができる。

テンプレート生成部２５ｄは、以上の説明において、汎用型情報生成部２５ｃが生成した特定情報における項目名のうち、テンプレートデータベース２４ｃに格納されている全てのテンプレートから取得した項目名のいずれかに対応するものを辞書２４ｅに基づいて特定する（Ｓ１４３）。しかしながら、テンプレート生成部２５ｄは、汎用型情報生成部２５ｃが生成した特定情報における項目名のうち、テンプレートデータベース２４ｃに格納されている全てのテンプレートから取得した項目名のいずれかに対応するものを、辞書２４ｅを使用せずに特定しても良い。例えば、テンプレート生成部２５ｄは、汎用型情報生成部２５ｃが生成した特定情報における項目名のうち、テンプレートデータベース２４ｃに格納されている全てのテンプレートから取得した項目名のいずれかに対応するものを、機械学習によって作成された学習モデルを使用して特定しても良い。

以上においては、文書として、請求書を例に説明している。しかしながら、本発明は、請求書以外の文書にも適用可能である。例えば、本発明は、見積書、領収書、配達伝票など、様々な帳票にも適用可能である。

２０ 情報生成システム
２４ａ 情報生成プログラム
２４ｃ テンプレートデータベース（テンプレート管理部）
２５ａ 請求書分類部（文書分類部）
２５ｂ テンプレート型情報生成部
２５ｃ 汎用型情報生成部
２５ｄ テンプレート生成部
５０ ワークフローシステム
５４ａ ワークフロープログラム
５５ａ ワークフロー生成部
５５ｂ ワークフロー実行部

Claims (10)

1. 文書の画像から抽出した情報を含む特定情報を生成するためのテンプレートを生成するテンプレート生成部と、
   前記テンプレートを使用せずに前記画像から前記特定情報を生成する情報生成部と
   を備え、
   前記テンプレート生成部は、前記画像と、この画像から前記情報生成部によって生成された前記特定情報と、前記テンプレートを管理するテンプレート管理部に管理されている前記テンプレートとに基づいて、新規の前記テンプレートである新規テンプレートを生成し、
   前記特定情報は、項目毎に、項目名と、値とが対応付けられており、
   前記テンプレートは、前記情報の前記項目名と、前記情報が存在する領域の位置とを、前記情報の前記項目毎に含んでおり、
   前記テンプレート生成部は、前記画像から前記情報生成部によって生成された前記特定情報における前記項目名を、前記テンプレート管理部に管理されている前記テンプレートに含まれる前記項目名に変換したものを前記項目毎に含めることによって前記新規テンプレートを生成することを特徴とする情報生成システム。
2. 前記テンプレート生成部は、前記項目の１つである第１の項目に関して、前記画像から前記情報生成部によって生成された前記特定情報における前記項目名を、前記テンプレート管理部に管理されている前記テンプレートの１つである第１のテンプレートに含まれる前記項目名に変換したものを含めるとともに、前記項目の１つであって前記第１の項目とは異なる第２の項目に関して、前記画像から前記情報生成部によって生成された前記特定情報における前記項目名を、前記テンプレート管理部に管理されている前記テンプレートの１つであって前記第１のテンプレートとは異なる第２のテンプレートに含まれる前記項目名に変換したものを含めることによって前記新規テンプレートを生成することを特徴とする請求項１に記載の情報生成システム。
3. 前記テンプレート生成部は、前記画像から前記情報生成部によって生成された前記特定情報における前記項目名を、前記テンプレート管理部に管理されている前記テンプレートに含まれる前記項目名に、辞書に基づいて変換したものを前記項目毎に含めることによって前記新規テンプレートを生成することを特徴とする請求項１に記載の情報生成システム。
4. 前記テンプレートは、前記画像から前記情報を抽出する位置の基準となるアンカーを前記情報の前記項目毎に含んでおり、
   前記テンプレートに含まれる、前記領域の位置は、前記アンカーに対する位置であり、
   前記テンプレート生成部は、前記項目名に対して前記辞書において示されている文字列が前記画像に存在する場合、前記文字列を前記アンカーとすることを特徴とする請求項３に記載の情報生成システム。
5. 前記テンプレート生成部は、前記画像から前記情報生成部によって生成された前記特定情報における前記項目名を、前記テンプレート管理部に管理されている前記テンプレートに含まれる前記項目名に、学習モデルを使用して変換したものを前記項目毎に含めることによって前記新規テンプレートを生成することを特徴とする請求項１に記載の情報生成システム。
6. 前記情報生成部は、前記画像から学習モデルを使用して前記特定情報を生成することを特徴とする請求項１に記載の情報生成システム。
7. 前記情報生成部は、前記情報生成システムの外部のサービスを利用して、前記画像から前記特定情報を生成することを特徴とする請求項１に記載の情報生成システム。
8. それぞれ特定の処理を示す複数のブロックのうち、任意の前記ブロックが連結されることによって、一連の処理を示すワークフローを生成するワークフロー生成部と、
   前記ワークフロー生成部によって生成された前記ワークフローに示される処理を実行するワークフロー実行部と
   を備え、
   前記ワークフロー生成部は、
   文書の画像から抽出した情報を含む特定情報を生成するためのテンプレートを生成するテンプレート生成部と、
   前記テンプレートを使用せずに前記画像から前記特定情報を生成する情報生成部と
   を実現する前記ワークフローを生成可能であり、
   前記テンプレート生成部は、前記画像と、この画像から前記情報生成部によって生成された前記特定情報と、前記テンプレートを管理するテンプレート管理部に管理されている前記テンプレートとに基づいて、新規の前記テンプレートである新規テンプレートを生成し、
   前記特定情報は、項目毎に、項目名と、値とが対応付けられており、
   前記テンプレートは、前記情報の前記項目名と、前記情報が存在する領域の位置とを、前記情報の前記項目毎に含んでおり、
   前記テンプレート生成部は、前記画像から前記情報生成部によって生成された前記特定情報における前記項目名を、前記テンプレート管理部に管理されている前記テンプレートに含まれる前記項目名に変換したものを前記項目毎に含めることによって前記新規テンプレートを生成することを特徴とするワークフローシステム。
9. 文書の画像から抽出した情報を含む特定情報を生成するためのテンプレートを生成するテンプレート生成部と
   前記テンプレートを使用せずに前記画像から前記特定情報を生成する情報生成部と
   をコンピューターに実現させ、
   前記テンプレート生成部は、前記画像と、この画像から前記情報生成部によって生成された前記特定情報と、前記テンプレートを管理するテンプレート管理部に管理されている前記テンプレートとに基づいて、新規の前記テンプレートである新規テンプレートを生成し、
   前記特定情報は、項目毎に、項目名と、値とが対応付けられており、
   前記テンプレートは、前記情報の前記項目名と、前記情報が存在する領域の位置とを、前記情報の前記項目毎に含んでおり、
   前記テンプレート生成部は、前記画像から前記情報生成部によって生成された前記特定情報における前記項目名を、前記テンプレート管理部に管理されている前記テンプレートに含まれる前記項目名に変換したものを前記項目毎に含めることによって前記新規テンプレートを生成することを特徴とする情報生成プログラム。
10. それぞれ特定の処理を示す複数のブロックのうち、任意の前記ブロックが連結されることによって、一連の処理を示すワークフローを生成するワークフロー生成部と、
    前記ワークフロー生成部によって生成された前記ワークフローに示される処理を実行するワークフロー実行部と
    をコンピューターに実現させ、
    前記ワークフロー生成部は、
    文書の画像から抽出した情報を含む特定情報を生成するためのテンプレートを生成するテンプレート生成部と、
    前記テンプレートを使用せずに前記画像から前記特定情報を生成する情報生成部と
    を実現する前記ワークフローを生成可能であり、
    前記テンプレート生成部は、前記画像と、この画像から前記情報生成部によって生成された前記特定情報と、前記テンプレートを管理するテンプレート管理部に管理されている前記テンプレートとに基づいて、新規の前記テンプレートである新規テンプレートを生成し、
    前記特定情報は、項目毎に、項目名と、値とが対応付けられており、
    前記テンプレートは、前記情報の前記項目名と、前記情報が存在する領域の位置とを、前記情報の前記項目毎に含んでおり、
    前記テンプレート生成部は、前記画像から前記情報生成部によって生成された前記特定情報における前記項目名を、前記テンプレート管理部に管理されている前記テンプレートに含まれる前記項目名に変換したものを前記項目毎に含めることによって前記新規テンプレートを生成することを特徴とするワークフロープログラム。