JP5338063B2 - 画像認識プログラム、画像認識装置および画像認識方法 - Google Patents

Description

この発明は、画像認識プログラム、画像認識装置および画像認識方法に関する。

近年、業務の電子化に伴い、多くの電子化文書が利用されている。このため、紙の文書を電子化文書に変換する技術として、ＯＣＲ（Optical Character Reader、または、Optical Character Recognition）等の画像認識技術の重要性が増している。

ところが、かかる画像認識技術によって文書を認識すると、認識結果に誤りが生じることがある。このような場合には、利用者が、入力文書中の文字列と認識結果の文字列とを目視で比較しながら訂正内容を入力する訂正作業を行う。

なお、特許文献１には、利用者によってデータが順に入力されるデータ入力装置が、既に入力された他項目のデータに基づいて、これから入力される項目のデータを限定する技術が開示されている。

特開平５−１５８６０５号公報

ところで、上記した従来の技術では、訂正作業の負荷が膨大になるという課題があった。すなわち、例えば、取引先や取引形態毎に異なる多数の帳票を扱う銀行において、上記の訂正作業が行われることを想定すると、訂正作業は多大な工数となり、負荷が膨大になる。

そこで、この発明は、上記した従来技術の課題を解決するためになされたものであり、訂正作業の負荷を軽減することが可能な画像認識プログラム、画像認識装置および画像認識方法を提供することを目的とする。

上述した課題を解決し、目的を達成するため、画像認識プログラムは、論理構造を構成する複数の論理要素各々として文字列各々が記載されている画像について、当該文字列各々と当該論理要素各々との対応を認識することで、当該論理要素各々を認識する方法をコンピュータに実行させる画像認識プログラムであって、前記対応が認識または再認識されると、認識結果である複数の論理要素各々を出力部に出力する出力手順と、前記出力手順によって出力された認識結果を確認する利用者から、当該複数の論理要素各々の内正しいものとされる論理要素を確定する確定要求の入力を受け付けると、当該論理要素について、正しいものと確定する第１の確定手順と、前記第１の確定手順によって確定された前記論理要素よりも前に前記利用者によって確認済みであると位置づけられる順序で出力された論理要素各々全てについて、正しいものと確定する第２の確定手順と、前記第１の確定手順および前記第２の確定手順によって正しいものであると確定された論理要素各々の確定内容に基づいて、未だ正しいものであると確定されていない論理要素各々について前記対応を再認識する再認識手順と、をコンピュータに実行させることを要件とする。

また、上記の画像認識プログラムは、前記再認識手順による認識結果をバッファに格納する格納手順をさらに備え、前記出力手順は、前記再認識手順による認識結果を出力するにあたり、前記格納手順によって格納された認識結果が現に出力部に出力している認識結果と一致するか否かを論理要素ごとに比較し、一致しない論理要素については、前記再認識手順による認識結果が現に出力部に出力している認識結果と異なるものであることを示す情報を出力することを要件とする。

また、画像認識装置は、論理構造を構成する複数の論理要素各々として文字列各々が記載されている画像について、当該文字列各々と当該論理要素各々との対応を認識することで、当該論理要素各々を認識する画像認識装置であって、前記対応が認識または再認識されると、認識結果である複数の論理要素各々を出力部に出力する出力手段と、前記出力手段によって出力された認識結果を確認する利用者から、当該複数の論理要素各々の内正しいものとされる論理要素を確定する確定要求の入力を受け付けると、当該論理要素について、正しいものと確定する第１の確定手段と、前記第１の確定手段によって確定された前記論理要素よりも前に前記利用者によって確認済みであると位置づけられる順序で出力された論理要素各々全てについて、正しいものと確定する第２の確定手段と、前記第１の確定手段および前記第２の確定手段によって正しいものであると確定された論理要素各々の確定内容に基づいて、未だ正しいものであると確定されていない論理要素各々について前記対応を再認識する再認識手段と、を備えたことを要件とする。

また、画像認識方法は、論理構造を構成する複数の論理要素各々として文字列各々が記載されている画像について、当該文字列各々と当該論理要素各々との対応を認識することで、当該論理要素各々を認識する画像認識方法であって、前記対応が認識または再認識されると、認識結果である複数の論理要素各々を出力部に出力する出力工程と、前記出力工程によって出力された認識結果を確認する利用者から、当該複数の論理要素各々の内正しいものとされる論理要素を確定する確定要求の入力を受け付けると、当該論理要素について、正しいものと確定する第１の確定工程と、前記第１の確定工程によって確定された前記論理要素よりも前に前記利用者によって確認済みであると位置づけられる順序で出力された論理要素各々全てについて、正しいものと確定する第２の確定工程と、前記第１の確定工程および前記第２の確定工程によって正しいものであると確定された論理要素各々の確定内容に基づいて、未だ正しいものであると確定されていない論理要素各々について前記対応を再認識する再認識工程と、を含んだことを要件とする。

開示の画像認識プログラム、画像認識装置および画像認識方法によれば、訂正作業の負荷を軽減することが可能になる。

また、開示の画像認識プログラム、画像認識装置および画像認識方法によれば、未確定論理要素（未だ正しいものであると確定されていない論理要素）の改悪を防止することが可能になる。

以下に添付図面を参照して、この発明に係る画像認識プログラム、画像認識装置および画像認識方法の実施例を詳細に説明する。なお、以下では、実施例で用いる主要な用語、実施例１に係る画像認識装置の概要および特徴、実施例１に係る画像認識装置の構成および処理の手順、実施例１の効果を順に説明し、続いて、他の実施例を説明する。

［用語の説明］
まず最初に、以下の実施例で用いる主要な用語を説明する。以下の実施例で用いる「画像」とは、所定の論理構造を構成する複数の論理要素各々として文字列各々が記載されている画像のことであり、例えば、帳票画像のことである。ここで、帳票画像に、本人情報として、『名前』、『住所』および『電話番号』を記入させる項目があり、職場情報として、『住所』および『電話番号』を記入させる項目があり、複数の項目各々に文字列各々が記載されているとする。このような帳票画像において、「論理構造」とは、『本人情報』の下の階層に、『名前』、『住所』および『電話番号』があり、『職場情報』の下の階層に、『住所』および『電話番号』があり、『本人情報』の階層と『職場情報』の階層とが同じ階層である、といった構造のことをいう。また、『名前』、『住所』、『電話番号』等が、「論理構造」を構成する複数の「論理要素」各々のことである。言い換えると、「論理構造」や「論理要素」とは、例えば、帳票画像のフォーマットを作成する作成者によって当該帳票画像のフォーマットが作成される際に、（意識的か無意識的かに関わらず）複数の項目が形成する構造として「論理構造」が設定され、複数の項目各々が「論理要素」として設定されるものであるといえる。一方、画像認識装置が当該帳票画像について処理を行う際には、当該帳票画像において複数の項目が形成する構造を「論理構造」として扱い、複数の項目各々を「論理要素」として扱うことになる。なお、「画像」は、帳票画像に限られず、例えば、複数の質問各々に回答を記入させるアンケートの画像等、複数の項目各々に文字列各々が記載されている画像であれば、いずれでもよい。

ところで、実施例１に係る「画像認識装置」は、文字列各々と論理要素各々との対応を認識することで、このような画像の論理要素各々を認識する。例えば、「画像認識装置」は、帳票画像に記載されている文字列各々を、ＯＣＲ等の画像認識技術を用いて認識する。また、「画像認識装置」は、文字列各々がどの論理要素として記載されたものであるのかを、論理構造モデル等を用いて認識する。すなわち、「画像認識装置」は、例えば、手書きで『特許 太郎』と記載されている文字列を、ＯＣＲ等の画像認識技術を用いて『特許 太郎』と認識し、また、文字列『特許 太郎』が、論理要素の『名前』として記載されたものであることを認識することで、帳票画像の論理要素各々を認識する（なお、以下の実施例では、かかる認識のことを、適宜、「論理構造認識」もしくは「論理構造を認識する」という）。

もっとも、「画像認識装置」は、文字列と論理要素との対応を常に正しく認識するものではなく、認識結果に誤りが生じることがある。例えば、「画像認識装置」は、帳票画像について、手書きで『東京都千代田区霞が関１−１−１』と記載されている文字列を、『東京都千代田区霞が関７−７−７』と誤認識し、また、文字列『東京都千代田区霞が関１−１−１』が、職場情報の『住所』として記載されたものであるのに、本人情報の『住所』として記載されたものであると誤認識することで、帳票画像の論理要素各々を誤認識することがある。このような場合、認識結果の誤りを訂正する訂正作業が行われることになるが、実施例１に係る「画像認識装置」は、かかる訂正作業の負荷を軽減するものである。

［実施例１に係る画像認識装置の概要および特徴］
続いて、図１を用いて、実施例１に係る画像認識装置の概要および特徴を説明する。図１は、実施例１に係る画像認識装置の概要および特徴を説明するための図である。

実施例１に係る画像認識装置は、上記したように、所定の論理構造を構成する複数の論理要素各々として文字列各々が記載されている画像について、当該文字列各々と当該論理要素各々との対応を認識することで、当該論理要素各々を認識することを概要とし、訂正作業の負荷を軽減することを主たる特徴とする。

この主たる特徴について簡単に説明すると、まず、実施例１に係る画像認識装置は、図１に示すような帳票画像について、論理要素各々を認識するものとする。すなわち、画像認識装置は、本人情報としての『名前』、職場情報としての『住所』および『電話番号』、本人情報としての『住所』および『電話番号』を複数の論理要素各々として文字列各々が記載されている帳票画像について、文字列各々と論理要素各々との対応を認識するものとする。

また、実施例１に係る画像認識装置は、図１に示すように、論理構造モデル（図１においては、木構造の概念として表現）を記憶し、当該論理構造モデルに基づいて、論理構造を認識する。すなわち、画像認識装置は、『本人情報』の下の階層に、『名前』、『住所』および『電話番号』があり、『職場情報』の下の階層に、『住所』および『電話番号』があり、『本人情報』の階層と『職場情報』の階層とが同じ階層である、といった構造に対応するように設定された論理構造モデルを記憶している。また、当該論理構造モデルには、『本人情報』の下に『職場情報』が記載される、といった位置関係も設定されているものとする。

このような構成の下、実施例１に係る画像認識装置は、帳票画像の論理構造を認識すると（図１の（１）を参照）、認識結果である複数の論理要素各々を、所定の順序で出力部に出力する（図１の（２）を参照）。例えば、画像認識装置は、本人情報の『名前』として『特許 太郎』を、本人情報の『住所』として『東京都・・・』を、本人情報の『電話番号』として『03-444-555』を、職場情報の『住所』として『神奈川県・・・』を、職場情報の『電話番号』として『045-666-777』を、この順序で出力部に出力する。ここで、図１の帳票画像（申込書）の内容をみるとわかるように、画像認識装置は、本人情報の『住所』および『電話番号』と、職場情報の『住所』および『電話番号』とを、反対に認識（誤認識）している。

次に、画像認識装置は、認識結果を確認する利用者から、当該複数の論理要素各々の内の所定の論理要素を正しいものとする確定要求の入力を受け付けると、当該所定の論理要素について、正しいものと確定する（図１の（３）を参照）。例えば、画像認識装置は、利用者から、本人情報の『住所』が、『東京都・・・』ではなく、正しいものは『神奈川県・・・』であると確定する確定要求の入力を受け付けると、当該『住所』について、正しいものと確定する。

また、画像認識装置は、確定された所定の論理要素よりも前に利用者によって確認済みであると位置づけられる順序で出力された論理要素各々全てについて、正しいものと確定する（図１の（４）を参照）。例えば、図１の（２）に示す出力の順序において、利用者が一番上の項目から下方向に一項目ずつ順に確認していくのが通常の運用であるとする。そうであるとすると、確定された論理要素である本人情報の『住所』よりも前に利用者によって確認済みであると位置づけられる順序で出力された論理要素とは、本人情報の『住所』よりも上に位置づけられる論理要素のことであり、本人情報の『名前』がこれに該当することになる。このため、画像認識装置は、本人情報の『名前』についても、正しいものと確定する。

なお、実施例１においては、この時、画像認識装置が記憶する論理構造モデルにおいて、正しいものと確定された論理要素が、図１の（３）および（４）に示すように、確定された文字列そのものに置換され、論理構造モデル自体が変換されるものとする。

続いて、実施例１に係る画像認識装置は、正しいものであると確定された論理要素各々の確定内容に基づいて、未だ正しいものであると確定されていない論理要素各々について、論理構造を再認識する（図１の（５）は、画像認識装置が、再認識結果を所定の順序で出力したものである）。例えば、画像認識装置は、変換された論理構造モデルに基づいて、再び、文字列各々と論理要素各々との対応を認識する。例えば、画像認識装置は、本人情報の『電話番号』、職場情報の『住所』および『電話番号』を再認識し、再認識の認識結果として、『045-666-777』、『東京都・・・』、『03-444-555』を得る。ここで、図１の（２）の出力と（５）の出力とを比較するとわかるように、本人情報の『電話番号』、職場情報の『住所』および『電話番号』のいずれも、認識結果が異なるものとなっている（再認識の認識結果は、確定内容が反映された認識結果となっている）。

このようにして、実施例１に係る画像認識装置は、訂正作業の負荷を軽減することが可能になる。すなわち、図１の例で説明すると、画像認識装置による最初の認識結果では、本人情報の『名前』以外の情報は全て誤認識であったことになり、利用者は、これら誤認識の項目を全て訂正（もしくは確定）しなければならなかったはずである。しかしながら、実施例１に係る画像認識装置は、本人情報の『住所』が正しいものであると確定されると、本人情報の『住所』のみならず『名前』も正しいものであると確定した上で再認識を行う結果、次に利用者が確定しなければならない項目を削減することが可能になる。また、本人情報の『住所』と『電話番号』とが矛盾することから、本人情報の『電話番号』が誤りであることや、本人情報の『住所』と職場情報の『住所』とが矛盾することから、職場情報が誤りであることなどがわかり、次に利用者が訂正しなければならない項目を削減する（場合によっては、無くす）ことが可能になる。

このように、実施例１に係る画像認識装置は、利用者によって所定の論理要素が確定されたり訂正されるなどすると、確定された論理要素を固定した上で論理構造モデルを参照し、即座に論理構造を再認識することで、その他の未確定論理要素の認識結果を改善する。また、この時、未確定論理要素の認識結果の候補の数が一つになれば、その論理要素を確定することもできる。したがって、利用者が確定したり訂正した結果を用いて別の論理要素を確定することができるので、利用者における訂正作業の負荷を軽減することが可能になる。

［実施例１に係る画像認識装置の構成］
次に、図２〜１０を用いて、実施例１に係る画像認識装置を説明する。図２は、実施例１に係る画像認識装置の構成を示すブロック図であり、図３は、帳票画像を説明するための図であり、図４は、認識結果表示画面を説明するための図であり、図５は、論理構造モデル記憶部を説明するための図であり、図６は、認識結果表示用バッファを説明するための図であり、図７は、誤り訂正操作について説明するための図であり、図８は、論理要素自動確定について説明するための図であり、図９は、論理構造モデル記憶部（変換後）を説明するための図であり、図１０は、誤り訂正操作について説明するための図である。

図２に示すように、実施例１に係る画像認識装置１０は、画像入力部１１と、ユーザ操作入力部１２と、表示部１３と、記憶部２０と、記憶部２５と、制御部３０とから構成される。

画像入力部１１は、帳票画像を入力する部である。具体的には、画像入力部１１は、画像認識装置１０の認識対象となる帳票画像を、後述する文字列認識部３１に入力する。例えば、画像入力部１１は、スキャナ装置によって実現される場合や、事前に他の装置によって読み込まれた帳票画像（画像データ）をメモリに格納してから文字列認識部３１に送信する機能によって実現される場合などがある。

ここで、画像入力部１１が入力する帳票画像について具体的に例を挙げて説明すると、画像入力部１１は、帳票画像として、例えば、図３に示す帳票画像を入力する。図３に示す帳票画像の論理構造は、『本人情報』の下の階層に、『名前』、『住所』および『電話番号』があり、『職場情報』の下の階層に、『住所』および『電話番号』があり、『本人情報』の階層と『職場情報』の階層とが同じ階層である、といった構造であると考えられる。また、図３に示す帳票画像の論理構造は、『本人情報』の『名前』の下に『職場情報』の『住所』および『電話番号』が記載され、その下に、『本人情報』の『住所』および『電話番号』が記載される、といった位置関係であると考えられる。なお、画像認識装置１０が認識対象とする画像は、図３に示すような帳票画像に限られず、複数の質問各々に回答を記入させるアンケートの画像等、複数の項目各々に文字列各々が記載されている画像であれば、いずれでもよい。また、図３に示すような手書きの文字列が記載されている画像に限られない。

図２に戻り、ユーザ操作入力部１２は、画像認識装置１０の認識結果を確認する利用者（ユーザ）の操作を入力する部である。具体的には、ユーザ操作入力部１２は、利用者から、複数の論理要素各々の内の所定の論理要素を正しいものと確定する確定要求の入力を受け付け、後述する第１の論理要素確定部３４に送信する。一般に、ユーザ操作入力部１２は、マウスやキーボードなどによって実現される。

表示部１３は、画像認識装置１０の認識結果を表示する部である。具体的には、表示部１３は、後述する認識結果出力部３３によって出力される認識結果（後述する認識結果表示用バッファ２６に格納されている認識結果）を表示する。一般に、表示部１３は、ディスプレイなどによって実現される。なお、表示部１３は、特許請求の範囲に記載の「出力部」に対応する。

ここで、表示部１３が表示する認識結果について具体的に例を挙げて説明すると、表示部１３は、認識結果表示画面として、例えば、図４に示す画面を表示する。図４に示す画面は、左側に、認識対象となった帳票画像を表示し、右側に、認識結果を表示している。画面の左右を比較するとわかるように、図４は、画像認識装置１０が、本人情報の『住所』および『電話番号』と、職場情報の『住所』および『電話番号』とを、反対に認識（誤認識）している例を示すものである。

図２に戻り、記憶部２０（ＲＯＭ（Read Only Memory）など）は、制御部３０による各種処理に用いるデータを記憶する部であり、特に本実施例に密接に関連するものとしては、図２に示すように、文字認識辞書記憶部２１と、論理構造モデル記憶部２２とを備える。

文字認識辞書記憶部２１は、ＯＣＲ等の画像認識技術を用いて文字列を認識する際の辞書を記憶する部である。具体的には、文字認識辞書記憶部２１は、文字列を認識する際の辞書を記憶し、記憶している辞書は、後述する文字列認識部３１による処理に利用される。

論理構造モデル記憶部２２は、画像認識装置１０が帳票画像の論理構造を認識する際に用いる論理構造モデルを記憶する部である。具体的には、論理構造モデル記憶部２２は、帳票画像の論理要素各々を認識する際の論理構造モデルを記憶し、記憶している論理構造モデルは、後述する論理構造認識部３２による処理に利用される。なお、論理構造モデル記憶部２２は、画像認識装置１０を利用する利用者等によって予め準備された論理構造モデル（例えば、利用者等によって、論理構造や論理要素が適宜設計されている論理構造モデル）を記憶するなどする。

ここで、論理構造モデル記憶部２２が記憶する論理構造モデルについて具体的に例を挙げて説明すると、論理構造モデル記憶部２２は、論理構造モデルとして、例えば、図５に示す論理構造モデルを記憶する。図５に示す論理構造モデルは、図５の（Ａ）に示すように、概念的には木構造で表現されるものであり、実際には、図５の（Ｂ）に示すような表構造を、記憶部２０に記憶しているものである。

図５の（Ｂ）に示す表の各行には、論理要素の種類が記述されており、左から順に、論理要素のＩＤ番号、論理要素名、木構造の階層、木構造の親のＩＤ番号、論理要素間の位置関係、属性、およびデータ文字列の内容が記述されている。この内、位置関係は、例えば、『姓』の項は、その右隣に『ＩＤ＝６』の『名』の項を持つことを意味するなど、論理要素間の相対的な位置が記述されたものである。属性は、木構造の中で実体を持つものを『ノード』、実体を持たず、意味的に関連した集合をまとめるためのものが『グループ』として記述されている。また、各ノードには、対応する文字列が満たすべき文字条件が記述されており、例えば、『電話番号』は、『数字列』および『ハイフン（−）』というように、文字種が規定されている。

図２に戻り、記憶部２５（ＲＡＭ（Random Access Memory）など）は、制御部３０による各種処理に用いるデータを記憶する部であり、特に本実施例に密接に関連するものとしては、図２に示すように、認識結果表示用バッファ２６を備える。

認識結果表示用バッファ２６は、画像認識装置１０による認識結果を記憶するバッファである。具体的には、認識結果表示用バッファ２６は、後述する文字列認識部３１や論理構造認識部３２による認識結果を記憶し、記憶した認識結果は、後述する認識結果出力部３３による処理に利用され、表示部１３に出力される。

ここで、認識結果表示用バッファ２６が記憶する認識結果について具体的に例を挙げて説明すると、認識結果表示用バッファ２６は、認識結果として、例えば、図６に示す認識結果を記憶する。図６に示す認識結果は、論理要素の種別ごとに、文字列を認識した認識結果（候補を含む）と、当該文字列各々がどの論理要素として記載されたものであるのかを認識した認識結果（候補を含む）とを示すものである。

論理要素各々について説明すると、まず、『本人情報』の『名前』の『姓』である論理要素は、文字列『特許』と認識され、その他の候補はない。また、『本人情報』の『名前』の『名』である論理要素は、第１候補の文字列『太郎』、第２候補の文字列『太朗』として認識されている。また、『本人情報』の『住所』である論理要素は、第１候補の文字列から第４候補の文字列まで認識されている。なお、『７−７−７』および『１−１−１』が候補として認識されている点は、文字列を認識した結果、複数の候補が得られたものであると考えられ、一方、『東京都千代田区霞が関・・・』および『神奈川県横浜市中区・・・』が候補として認識されている点は、文字列各々がどの論理要素として記載されたものであるのかを認識した結果、複数の候補が得られたものであると考えられる。その他の論理要素についても同様である。

図２に戻り、制御部３０は、画像認識装置１０を制御して各種処理を実行する部であり、特に本実施例に密接に関連するものとしては、図２に示すように、文字列認識部３１と、論理構造認識部３２と、認識結果出力部３３と、第１の論理要素確定部３４と、第２の論理要素確定部３５と、論理構造再認識制御部３６と、論理構造モデル変換部３７とを備える。なお、認識結果出力部３３は、特許請求の範囲に記載の「出力手順」に対応し、第１の論理要素確定部３４は、特許請求の範囲に記載の「第１の確定手順」に対応し、第２の論理要素確定部３５は、特許請求の範囲に記載の「第２の確定手順」に対応し、論理構造再認識制御部３６および論理構造モデル変換部３７は、特許請求の範囲に記載の「再認識手順」に対応する。

文字列認識部３１は、ＯＣＲ等の画像認識技術を用いて文字列を認識する部である。具体的には、文字列認識部３１は、画像入力部１１によって入力された帳票画像について、文字認識辞書記憶部２１に記憶されている辞書を用いて文字列の位置および候補を認識し、認識した結果は、論理構造認識部３２による処理に利用される。

図６の認識結果表示用バッファのところでも説明したように、例えば、『太郎』と画像に記載されていた文字列を、第１候補『太郎』、第２候補『太朗』と認識するのは、文字列認識部３１によって行われる認識である。

論理構造認識部３２は、文字列各々がどの論理要素として記載されたものであるのかを認識する部である。具体的には、論理構造認識部３２は、論理構造モデル記憶部２２に記憶されている論理構造モデルを参照して、文字列認識部３１によって認識された認識結果との対応づけを行い、認識した結果は、認識結果表示用バッファ２６に格納され、認識結果出力部３３による処理に利用される。

図６の認識結果表示用バッファのところでも説明したように、例えば、『本人情報』の『住所』である論理要素を、第１候補および第２候補『東京都千代田区霞が関・・・』と認識し、第３候補および第４候補『神奈川県横浜市中区・・・』と認識するのは、論理構造認識部３２によって行われる認識である。

認識結果出力部３３は、認識結果である複数の論理要素各々を所定の順序で出力する部である。具体的には、認識結果出力部３３は、文字列認識部３１や論理構造認識部３２によって認識または再認識されると、認識結果表示用バッファ２６に格納されている認識結果である論理要素各々を、所定の順序で表示部１３に出力する。

認識結果出力部３３によって出力される認識結果表示画面とは、表示部１３のところでも説明したように、例えば、図４に示す画面である。ここで、実施例１における認識結果出力部３３は、論理要素各々を、縦に並べて表示している。

第１の論理要素確定部３４は、確定要求（複数の論理要素各々の内の所定の論理要素を正しいものと確定する要求）の入力を受け付けると、当該所定の論理要素について、正しいものと確定する部である。具体的には、第１の論理要素確定部３４は、認識結果出力部３３によって表示部１３に出力された認識結果（認識結果表示用バッファ２６に格納されていた認識結果）を確認する利用者から、ユーザ操作入力部１２に入力された確定要求の入力を受け付けると、受け付けた論理要素について正しいものと確定し、第２の論理要素確定部３５に伝達する。

ここで、第１の論理要素確定部３４による確定について具体的に例を挙げて説明すると、例えば、認識結果出力部３３によって、図７に示す認識結果表示画面が表示部１３に出力されているとする。この時、認識結果を確認した利用者が、『本人情報』の『住所』の文字列である『東京都千代田区霞が関７−７−７』が誤り項目であるとして、当該項目を『神奈川県横浜市中区１−１−１』に訂正したいと考えたとする。このため、利用者が、ユーザ操作入力部１２（マウス）を用いて『東京都千代田区霞が関７−７−７』の上にポインタを移動し、誤り項目を右クリックすると（図７の（１）を参照）、次候補の文字列である『東京都千代田区霞が関１−１−１』、『神奈川県横浜市中区７−７−７』、および『神奈川県横浜市中区１−１−１』が、ウィンドウ表示される（図７の（２）を参照）。なお、これらの次候補は、認識結果表示用バッファ２６に格納されていた認識結果（図６を参照）である。

続いて、利用者が、ユーザ操作入力部１２（マウス）を用いて『神奈川県横浜市中区１−１−１』を左クリックすると、（図７には図示されていないが）『住所』の文字列として『神奈川県横浜市中区１−１−１』が入力され、『確定』アイコンは、『確定』の文字に変化するなどする。

なお、第１の論理要素確定部３４は、利用者によって誤り項目の訂正が行われた際に、訂正した内容を正しいものとして確定する他に、利用者が『確定』アイコンをクリックすることなどによって明示的に確定を指示した際に、指示された内容を正しいものとして確定する場合もある。

図２に戻り、第２の論理要素確定部３５は、所定の論理要素よりも前に位置づけられる順序で出力された論理要素各々全てについて、正しいものと確定する部である。具体的には、第２の論理要素確定部３５は、第１の論理要素確定部３４によって所定の論理要素について正しいものであると確定されると、当該論理要素よりも前に利用者によって確認済みであると位置づけられる順序で出力された論理要素各々全てについて、正しいものと確定し、論理構造再認識制御部３６に伝達する。

ここで、例えば、図７に示す認識結果表示画面の出力の順序において、利用者が一番上の項目から下方向に一項目ずつ順に確認していくのが通常の運用であるとする。すると、確定された論理要素である本人情報の『住所』よりも前に利用者によって確認済みであると位置づけられる順序で出力された論理要素とは、本人情報の『住所』よりも上に位置づけられる論理要素のことであり、本人情報の『名前』がこれに該当することになる。このため、第２の論理要素確定部３５は、本人情報としての『名前』（『姓』および『名』）についても、正しいものと確定する。すなわち、第２の論理要素確定部３５は、認識結果表示用バッファ２６に格納された表示順序を取得するなどして（例えば、図６のような表の何行目にある論理要素であるかを数え、その行番号を取得するなどして）、表示順序が前の方（例えば、行番号が小さい方）の論理要素各々全てについて、正しいものと確定する。

この時、第２の論理要素確定部３５は、認識結果表示用バッファ２６に格納されていた認識結果の内、まず、第１の論理要素確定部３４によって確定されていた『本人情報』の『住所』の論理要素を『神奈川県横浜市中区１−１−１』に確定し、第２候補以下の候補に無効の印を付けるなどして、実質的に削除する。また、『本人情報』の『姓』の論理要素を『特許』に確定し、さらに、『名』の論理要素を『太郎』に確定し、第２候補『太朗』に無効の印を付けるなどして、実質的に削除する。このように確定が反映された認識結果表示用バッファ２６は、図８の（Ａ）のような情報を格納することになる（網掛け部分は、確定された論理要素であることを示している）。

論理構造再認識制御部３６は、論理要素各々の確定内容に基づいて、未だ正しいものであると確定されていない論理要素各々について、対応を再認識するように、論理構造認識部３２および論理構造モデル変換部３７を制御する部である。具体的には、論理構造再認識制御部３６は、第１の論理要素確定部３４および第２の論理要素確定部３５によって正しいものであると確定された論理要素各々の確定内容に基づいて、未だ正しいものであると確定されていない論理要素各々について、文字列各々と論理要素各々との対応を論理構造認識部３２によって再認識するように、論理構造認識部３２および論理構造モデル変換部３７を制御する。

ここで、論理構造モデル変換部３７は、論理構造モデルを変換する部である。具体的には、論理構造モデル変換部３７は、論理構造再認識制御部３６に制御され、第１の論理要素確定部３４および第２の論理要素確定部３５によって確定された内容を、論理構造モデル記憶部２２に記憶されている論理構造モデルに反映する。なお、論理構造モデルに反映するとは、論理構造モデルの中に確定内容を記述することによって、対応づけられる文字列を一意に決めることをいう。

論理構造モデル変換部３７によって変換された後の論理構造モデルについて具体的に例を挙げて説明すると、論理構造モデル記憶部２２は、論理構造モデル変換部３７によって変換された後、例えば、図９の（Ａ）に示す論理構造モデルを記憶する。図５の（Ｂ）と図９の（Ａ）とを比較するとわかるように、論理構造モデル変換部３７は、『本人情報』の『住所』、『姓』および『名』に、『神奈川県横浜市中区１−１−１』、『特許』および『太郎』という確定内容を記述することによって、対応づけられる文字列を一意に決めている。このように、論理構造モデル変換部３７によって変換された結果、確定した内容が記述された論理構造モデルが生成されるのである。

論理構造再認識制御部３６の説明に戻ると、論理構造再認識制御部３６は、論理構造モデル記憶部２２に記憶されている論理構造モデルを論理構造モデル変換部３７に変換させた後に、論理構造認識部３２を制御し、再認識させる。すなわち、この時、論理構造認識部３２は、論理構造モデル記憶部２２に記憶されている論理構造モデル（変換後の論理構造モデル）を参照して、文字列認識部３１によって認識された認識結果との対応づけを行い、認識した結果は、認識結果表示用バッファ２６に再び格納され、認識結果出力部３３による処理に利用される。

具体的に例を挙げて説明すると、論理構造認識部３２によって再認識された結果、認識結果表示用バッファ２６に格納された認識結果は、図８の（Ｂ）のようになるとする。すなわち、『本人情報』の『住所』が確定されたことで、『本人情報』の『電話番号』が、『０４５』から開始される番号に限定され、『職場情報』の『住所』が、『東京都』から開始される住所に限定され、『職場情報』の『電話番号』が、『０３』から開始される番号に限定されたとする。

すると、認識結果出力部３３によって、今度は、図１０に示す認識結果表示画面が表示部１３に出力されると考えられる。なお、図１０に示す認識結果表示画面において、『本人情報』の『氏名』および『住所』の右側の『確定』アイコンが、『確定』の文字に変化していることに注意されたい（確定済みであることを意味している）。この時、認識結果を確認した利用者が、『本人情報』の『電話番号』の文字列である『045-666-777』が誤り項目であるとして、当該項目を『045-666-111』に訂正したいと考えたとする。このため、利用者が、ユーザ操作入力部１２（マウス）を用いて『045-666-777』の上にポインタを移動し、誤り項目を右クリックすると、次候補の文字列である『045-666-111』が表示される。続いて、利用者が、ユーザ操作入力部１２（マウス）を用いて『045-666-111』を左クリックすると、図１０の（Ｂ）に示すように、『電話番号』の文字列として『045-666-111』が入力され、『確定』アイコンは、『確定』の文字に変化する。

この時、第２の論理要素確定部３５は、認識結果表示用バッファ２６に格納されていた認識結果の内、第１の論理要素確定部３４によって確定されていた『本人情報』の『電話番号』の論理要素を『０４５−６６６−１１１』に確定し、第２候補以下の候補に無効の印を付けるなどして、実質的に削除する（図８の（Ｃ）を参照）。

続いて、再度、論理構造再認識制御部３６は、論理構造モデル変換部３７によって論理構造モデル記憶部２２に記憶されている論理構造モデルを変換させた後に（図９の（Ｂ）を参照）、論理構造認識部３２を制御し、再認識させるが、この例において、認識結果はもはや変化せず（図８の（Ｄ）を参照）、認識結果出力部３３によって表示される認識結果表示画面は、図１０の（Ｂ）に示す画面のままである。

［実施例１に係る画像認識装置による処理の手順］
次に、図１１を用いて、実施例１に係る画像認識装置による処理の手順を説明する。図１１は、実施例１に係る画像認識装置による処理の手順を示すフローチャートである。

まず、画像認識装置１０の文字列認識部３１は、帳票画像の入力を画像入力部１１から受け付けると（ステップＳ１０１肯定）、文字列を認識し（ステップＳ１０２）、認識した結果を、論理構造認識部３２に伝達する。

続いて、論理構造認識部３２は、論理構造モデル記憶部２２に記憶されている論理構造モデルを参照して、文字列認識部３１によって認識された認識結果との対応づけを行い（ステップＳ１０３）、認識した結果を、認識結果出力部３３に伝達する。

すると、認識結果出力部３３が、認識結果である複数の論理要素各々を所定の順序で表示部１３に出力する（ステップＳ１０４）。

そして、第１の論理要素確定部３４は、全項目確定ボタン（例えば、図４に示す認識結果表示画面の右側、一番下の『確定』アイコンなど）の押下があったか否かを判定し（ステップＳ１０５）、押下があった場合には（ステップＳ１０５肯定）、処理を終了する。

一方、押下がない場合で（ステップＳ１０５否定）、誤り訂正操作があった場合には（ステップＳ１０６肯定）、第１の論理要素確定部３４は、誤り訂正操作がされた所定の論理要素について、正しいものと確定し（ステップＳ１０７）、第２の論理要素確定部３５に伝達する。また、押下がない場合で（ステップＳ１０５否定）、かつ、誤り訂正操作もない場合で（ステップＳ１０６否定）、項目別の確定ボタン（例えば、図４に示す認識結果表示画面の右側、項目右の『確定』アイコンなど）の押下があった場合には（ステップＳ１０８肯定）、第１の論理要素確定部３４は、項目別に確定された指定項目の論理要素について、正しいものと確定し（ステップＳ１０９）、第２の論理要素確定部３５に伝達する。

続いて、第２の論理要素確定部３５は、第１の論理要素確定部３４によって所定の論理要素について正しいものであると確定されると（ステップＳ１０７、ステップＳ１０９）、認識結果表示用バッファ２６に格納された表示順序を取得するなどして、確定項目の順番を取得し（ステップＳ１１０）、当該確定項目の論理要素よりも前に利用者によって確認済みであると位置づけられる順序で出力された論理要素各々全てについて、正しいものと確定し（ステップＳ１１１）、論理構造再認識制御部３６に伝達する。

すると、論理構造再認識制御部３６は、全項目確定した否か（例えば、利用者によって、全項目確定ボタンの押下があったか否か）を判定し（ステップＳ１１２）、未だ確定していない場合には（ステップＳ１１２否定）、論理構造モデル変換部３７によって論理構造モデル記憶部２２に記憶されている論理構造モデルを変換させた後に、論理構造認識部３２を制御し、再認識させ（この時、論理構造認識部３２は、変換後の論理構造モデルを参照して、文字列認識部３１によって認識された認識結果との対応づけを行う）、ステップＳ１０４の処理へと戻る（ステップＳ１１３）。

［実施例１におけるその他の認識結果表示画面］
これまで認識結果表示画面として、図４に示す認識結果表示画面を前提として説明してきたが、これに限られるものではなく、例えば、図１２に示す認識結果表示画面など、いずれでもよい。第２の論理要素確定部３５が、所定の論理要素よりも前に利用者によって確認済みであると位置づけられる順序で出力された論理要素各々全てについて、正しいものと確定する部であることは、上記した通りであるが、ここで、「所定の論理要素よりも前に利用者によって確認済みであると位置づけられる順序」の意味について改めて説明する。

例えば、図１２に示す認識結果表示画面の出力の順序において、利用者は、上の段の左端の項目から右方向に一項目ずつ順に確認し、上の段の右端の項目まで確認すると、下の段の左端の項目から右方向に一項目ずつ順に確認し、下の段の右端の項目まで確認するのが、通常の運用であるとする。すなわち、ここでいう「確認」は、利用者による操作を伴わない確認であるので、どのような順序で確認されるかは、本来任意ともいえる。しかしながら、運用の形態や画面のデザイン等によって、どのような順序で確認されるかを予め想定することはできるはずであり、実施例１に係る画像認識装置は、このような観点から、「所定の論理要素よりも前に利用者によって確認済みであると位置づけられる順序」を想定し、認識結果表示用バッファに認識結果を格納する際のＩＤの昇順が当該順序であるなどと設定して（画像認識装置を利用する利用者によって予め設定されるなどして）、運用している。また、このような観点から、利用者によって所定の論理要素が確定されたら、所定の論理要素よりも前に利用者によって確認済みであると位置づけられる順序に出力されている論理要素各々は、全て確定したものとみなしてよいとしているのである。

図１２に示す認識結果表示画面の場合、第２の論理要素確定部３５は、確定された論理要素が、勤務先の『住所』であるならば、本人情報の『氏名』、『住所』および『電話番号』は、勤務先の『住所』よりも前に利用者によって確認済みであると位置づけられる順序に出力された論理要素であるとして、全て正しいものと確定する。

［実施例１の効果］
上記してきたように、実施例１によれば、訂正作業の負荷を軽減することが可能になる。すなわち、実施例１に係る画像認識装置は、利用者が確定されたり訂正されるなどして確定された論理要素を固定した上で論理構造モデルを参照することで、その他の未確定論理要素の認識結果を改善する。また、この時、未確定論理要素の認識結果の候補の数が一つになれば、その論理要素を確定することもできる。したがって、利用者が確定したり訂正した結果を用いて別の論理要素を確定することができるので、利用者における訂正作業の負荷を軽減することが可能になる。

また、実施例１によれば、所定の論理要素が確定すると、確定した論理要素よりも前に位置づけられる論理要素を自動的に確定するので、多くの未確定論理要素を自動的に確定することができ、利用者における訂正作業の負荷をより軽減することが可能になる。

また、実施例１によれば、特に、書式が未知の帳票画像を認識して文字列データを項目別に登録するような場合に有効であり、帳票画像からのデータエントリ業務の効率化に役立つ。その結果、紙帳票と電子データとの相互変換がより容易になり、紙帳票を用いる業務の効率化が実現できる。

さて、これまで実施例１においては、画像認識装置が帳票画像を再認識した場合に、再認識の認識結果を認識結果表示画面に直ちに反映して表示する手法を説明した。しかしながら、再認識の認識結果を認識結果表示画面に直ちに反映するのではなく、現に出力部に出力している認識結果と異なるものであることを示す情報を表示する手法でもよい。以下では、実施例２として、かかる手法について説明する。

［実施例２に係る画像認識装置の概要および特徴］
以下、図１３を用いて、実施例２に係る画像認識装置の概要および特徴を説明する。図１３は、実施例２に係る画像認識装置の概要および特徴を説明するための図である。

画像認識装置が帳票画像を再認識すると、未確定論理要素の認識結果を改善すると考えられる。つまり、利用者からみれば、一つの項目を訂正すると、それ以外の項目の認識結果も、自動的に訂正されるということになる。例えば、複数の論理要素が表示されており、誤りが一つだけであったとする。ここで、利用者が一つの誤りを訂正すれば、全ての認識結果が正解になると期待するのが自然である。しかしながら、利用者が誤り訂正を行った後で再認識が実行された結果、それまで正解が表示されていた未確定の項目が、逆に誤り結果に変わってしまう場合もあり得る。つまり、多くの場合、再認識によって認識結果は改善するが、正解であった結果が改悪される可能性も否定しきれないのである。このように、未確定論理要素が自動的に変更されるというのは、場合によっては、利用者にとっての使い勝手を悪化させるおそれもある。

そこで、実施例２に係る画像認識装置は、図１３に示すように、誤り項目を訂正した後に再認識した結果、未確定要素の第１候補の認識結果が変わった場合、その項目の文字列を単に変更するのではなく、認識結果が変わったことを強調表示で出力する。

すなわち、画像認識装置は、図１３の（Ａ）に示すように、誤り項目として、本人情報の『住所』を『東京都・・』から『神奈川県・・』に変更した後に再認識した結果、未確定要素である本人情報の『電話番号』の第１候補の認識結果が、『03-444-555』から『045-666-777』に変わった場合、その項目の文字列を単に変更するのではなく、認識結果が変わったことを、図１３の（Ｂ）に示すように、強調表示で出力する。利用者は、強調表示で出力されている部分を重点的に確認すればよいので、作業負荷の軽減が期待される。

［実施例２に係る画像認識装置の構成］
次に、図１４を用いて、実施例２に係る画像認識装置の構成を説明する。図１４は、実施例２に係る画像認識装置の構成を示すブロック図である。

図１４に示すブロック図において、太線で囲む部が、実施例１に係る画像認識装置と異なり追加された部である。具体的には、実施例２に係る画像認識装置１０は、制御部３０に再認識結果バッファ格納部３８が追加され、記憶部２５に再認識結果用バッファ２７が追加される。

再認識結果バッファ格納部３８は、再認識の認識結果を、再認識結果用バッファ２７に格納する。再認識結果用バッファ２７は、認識結果表示用バッファ２６と同じ構造を持つメモリ領域であり、例えば、図１５の（Ｂ）に示すような内容が記憶される。

認識結果出力部３３は、再認識の認識結果を出力するにあたり、再認識結果バッファ格納部３８によって再認識結果用バッファ２７に格納された認識結果（図１５の（Ｂ））が、現に表示部１３に表示している認識結果（図１５の（Ａ））と一致するか否かを論理要素ごとに比較し、一致しない論理要素については、再認識の認識結果が現に表示部１３に出力している認識結果と異なるものであることを示す情報として、再認識結果用バッファ２７に格納された認識結果を強調表示で出力する。

［実施例２に係る画像認識装置による処理の手順］
次に、図１６を用いて、実施例２に係る画像認識装置による処理の手順を説明する。図１６は、実施例２に係る画像認識装置による処理の手順を示すフローチャートである。

図１１と図１６とを比較するとわかるように、実施例２に係る画像認識装置による処理の手順は、ステップＳ２１４が追加された点でのみ、実施例１に係る画像認識装置による処理の手順と異なる。

すなわち、実施例２に係る画像認識装置の論理構造再認識制御部３６が、全項目確定したか否かを判定し（ステップＳ２１２）、未だ確定していない場合には（ステップＳ２１２否定）、論理構造モデル変換部３７によって論理構造モデル記憶部２２に記憶されている論理構造モデルを変換させた後に、論理構造認識部３２を制御し、再認識すると（ステップＳ２１３）、再認識結果バッファ格納部３８が、再認識結果用バッファ２７に再認識結果を格納する（ステップＳ２１４）。

すると、ステップＳ２０４において、認識結果出力部３３が、再認識結果用バッファ２７に格納された認識結果が、認識結果表示用バッファ２６に格納されている認識結果と一致するか否かを論理要素ごとに比較し、一致しない論理要素については、認識結果が現に表示部１３に表示している認識結果と異なるものであることを示す情報として、再認識結果用バッファ２７に格納された認識結果を強調表示で出力する。

［実施例２におけるその他の認識結果表示画面］
これまで認識結果表示画面として、図１３に示す認識結果表示画面を前提として説明してきたが、これに限られるものではなく、例えば、図１７に示す認識結果表示画面など、いずれでもよい。すなわち、画像認識装置は、図１７に示すように、誤り項目を訂正した後でも未確定論理要素の表示を変えずに、未確定論理要素を選択した際に表示される文字列の候補に再認識の結果を反映するように出力している。

例えば、画像認識装置は、図１７の（Ａ）に示すように、誤り項目として、本人情報の『住所』を『東京都・・』から『神奈川県・・』に変更した後に再認識した結果、未確定要素である本人情報の『電話番号』の第１候補の認識結果が、『03-444-555』から『045-666-777』に変わった場合、その項目（本人情報の『電話番号』）の出力を即座に変更するのではなく（『03-444-555』のまま出力）、未確定論理要素である本人情報の『電話番号』を選択した際に表示される文字列の候補に、再認識の結果（『045-666-777』）を反映するように出力している（図１７の（Ｂ）を参照）。

なお、この場合、再認識の認識結果は、直ぐには認識結果表示用バッファ２６に格納されず、再認識が行われても、表示部１３には出力されない（利用者には提示されない）。利用者がいずれかの項目を選択して認識結果の訂正操作を行うと、それが、認識結果出力部３３に通知され、そこで利用者が選択した項目のみが、再認識結果用バッファ２７から認識結果表示用バッファ２６にコピーされる。こうして、利用者が誤り訂正のために選択した項目のみ、再認識結果が提示される。

［実施例２の効果］
上記してきたように、実施例２によれば、未確定論理要素（未だ正しいものであると確定されていない論理要素）の改悪を防止することが可能になる。

ところで、実施例２においては、画像認識装置が、利用者から所定の論理要素を確定する確定要求の入力を受け付けると、当該所定の論理要素よりも前に位置づけられる順序で出力された論理要素各々全てについて正しいものと確定した上で再認識を行い、この再認識の認識結果をバッファに一時的に格納する手法について説明してきた。しかしながら、「再認識の認識結果をバッファに一時的に格納する」手法は、画像認識装置が、論理要素を個別に確定しながら再認識を行った場合にも、同様に適用することができるものである。

すなわち、「再認識の認識結果をバッファに一時的に格納する」手法は、この手法のみで、利用者の訂正作業の負荷を軽減させるという効果や、未確定論理要素の改悪を防止するという効果を奏するものである。したがって、画像認識装置が、論理要素の確定を個別に行うか、あるいは、所定の論理要素よりも前に位置づけられる全ての論理要素各々の自動確定を行うかに関わらず、適用することができるのである。

［実施例３に係る画像認識装置の概要および特徴を説明するための図］
図１８および１９を用いて、実施例３に係る画像認識装置の概要および特徴を説明する。図１８は、実施例３に係る画像認識装置の概要および特徴を説明するための図であり、図１９は、認識結果表示用バッファおよび再認識結果用バッファを説明するための図である。

実施例３に係る画像認識装置は、図１８に示すような認識結果表示画面を表示部１３に出力すると考えられる。図１８の（Ａ）の認識結果表示画面において、認識結果を確認した利用者が、本人情報の『住所』の文字列である『東京都・・・』が誤り項目であるとして、当該項目を『神奈川県・・・』に訂正したとする。その後の認識結果表示画面が図１８の（Ｂ）であるが、ここで、まず、『本人情報』の『氏名』の右側が、『確定』アイコンのままであることに注意されたい（『確定』の文字ではない）。

すなわち、実施例３に係る画像認識装置は、所定の論理要素（本人情報の『住所』）を正しいものと確定する確定要求の入力を受け付けても、当該所定の論理要素よりも前に利用者によって位置づけられる順序で出力された論理要素（本人情報の『名前』）について、正しいものと確定することなく、未確定論理要素として扱っているのである。

また、図１８の（Ｂ）で、本人情報の『電話番号』、職場情報の『住所』および『電話番号』が強調表示で出力されている点にも注意されたい。

すなわち、実施例３に係る画像認識装置は、本人情報の『住所』を『東京都・・』から『神奈川県・・』に変更した後に再認識した結果、認識結果が変わらなかった未確定論理要素（本人情報の『名前』）については、強調表示で出力せず、一方、認識結果が変わった未確定要素（本人情報の『電話番号』、職場情報の『住所』および『電話番号』）については、強調表示で出力しているのである。

この時の認識結果表示用バッファ２６および再認識結果用バッファ２７について、図１９を用いて説明する。図１９の（Ａ）は、利用者によって、本人情報の『住所』が確定された後であって再認識する前の認識結果表示用バッファ２６を示すものであるが、本人情報の『姓』も『名』も、確定された論理要素として扱われていない。また、図１９の（Ｂ）は、利用者によって、本人情報の『住所』が確定された後であって再認識した後の再認識結果用バッファ２７を示すものであるが、（Ａ）と第１候補が異なることになった論理要素のみ（本人情報の『電話番号』、職場情報の『住所』および『電話番号』のみ）、強調表示するものとして扱われている。

［実施例３に係る画像認識装置による処理の手順］
次に、図２０を用いて、実施例３に係る画像認識装置による処理の手順を説明する。図２０は、実施例３に係る画像認識装置による処理の手順を示すフローチャートである。

図１６と図２０とを比較するとわかるように、実施例３に係る画像認識装置による処理の手順は、図１６におけるステップＳ２１０およびステップＳ２１１が削除された点でのみ、実施例２に係る画像認識装置による処理と異なる（第２の論理要素確定部３５が不要になる）。

すなわち、実施例３に係る画像認識装置は、第１の論理要素確定部３４は、全項目確定ボタンの押下があったか否かを判定し（ステップＳ３０５）、押下がない場合（ステップＳ３０５否定）、誤り訂正操作があった場合には（ステップＳ３０６肯定）、誤り訂正操作がされた所定の論理要素について、正しいものと確定し（ステップＳ３０７）、論理構造再認識制御部３６に伝達する。

また、押下がない場合で（ステップＳ３０５否定）、かつ、誤り訂正操作もない場合で（ステップＳ３０６否定）、項目別の確定ボタンの押下があった場合には（ステップＳ３０８肯定）、第１の論理要素確定部３４は、項目別に確定された指定項目の論理要素について、正しいものと確定し（ステップＳ３０９）、論理構造再認識制御部３６に伝達する。

その後、論理構造再認識制御部３６は、全項目確定したか否かを判定し（ステップＳ３１０）、未だ確定していない場合には（ステップＳ３１０否定）、論理構造モデル変換部３７によって論理構造モデル記憶部２２に記憶されている論理構造モデルを変換させた後に、論理構造認識部３２を制御し、再認識させ（ステップＳ３１１）、再認識結果バッファ格納部３８が、再認識結果用バッファ２７に再認識結果を格納する（ステップＳ３１２）。

すると、ステップＳ３０４において、認識結果出力部３３が、再認識結果用バッファ２７に格納された認識結果が、認識結果表示用バッファ２６に格納されている認識結果と一致するか否かを論理要素ごとに比較し、一致しない論理要素については、認識結果が現に表示部１３に表示している認識結果と異なるものであることを示す情報として、再認識結果用バッファ２７に格納された認識結果を強調表示で出力する。

［実施例３におけるその他の認識結果表示画面］
これまで認識結果表示画面として、図１８に示す認識結果表示画面を前提として説明してきたが、これに限られるものではなく、例えば、図２１に示す認識結果表示画面など、いずれでもよい。すなわち、画像認識装置は、図２１に示すように、誤り項目を訂正した後でも未確定論理要素の表示を変えずに、未確定論理要素を選択した際に表示される文字列の候補に再認識の結果を反映するように出力している。

なお、この場合においても、図２１の（Ｂ）に示すように、『本人情報』の『氏名』の右側が、『確定』アイコンのままであることに注意されたい（『確定』の文字ではない）。

［実施例３の効果］
上記してきたように、実施例３によれば、訂正作業の負荷を軽減することが可能になる。すなわち、実施例３に係る画像認識装置は、利用者が確定されたり訂正されるなどして確定された論理要素を固定した上で論理構造モデルを参照することで、その他の未確定論理要素の認識結果を改善する。また、この時、未確定論理要素の認識結果の候補の数が一つになれば、その論理要素を確定することもできる。したがって、利用者が確定したり訂正した結果を用いて別の論理要素を確定することができるので、利用者における訂正作業の負荷を軽減することが可能になる。

また、実施例３によれば、特に、書式が未知の帳票画像を認識して文字列データを項目別に登録するような場合に有効であり、帳票画像からのデータエントリ業務の効率化に役立つ。その結果、紙帳票と電子データとの相互変換がより容易になり、紙帳票を用いる業務の効率化が実現できる。

また、実施例３によれば、未確定論理要素（未だ正しいものであると確定されていない論理要素）の改悪を防止することが可能になる。

［他の実施例］
さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。

まず、上記の実施例においては、画像認識装置が再認識を行う手法として、画像認識装置が論理構造再認識制御部を備え、論理構造モデル変換部が論理構造モデルを変換してから論理構造認識部に再度認識させる手法を説明してきたが、本発明はこれに限られるものではない。確定された論理要素各々の確定内容に基づいて、未確定論理要素各々について論理構造を再認識する手法であれば、具体的な手法はいずれでもよい。

［システム構成等］
また、本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順（図１１、１６、２０等）、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示（図２、１４等）の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

［プログラム］
上記の実施例で説明した各種の処理は、予め用意されたプログラムやパーソナル・コンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図２２を用いて、上記の実施例１と同様の機能を有する画像認識プログラムを実行するコンピュータの一例を説明する。図２２は、画像認識プログラムを実行するコンピュータを示す図である。

図２２に示すように、画像認識プログラム（コンピュータ）４０は、キャッシュ４１、ＲＡＭ４２、ＨＤＤ４３、ＲＯＭ４４およびＣＰＵ４５をバス４６で接続して構成される。ここで、ＲＯＭ４４には、上記の実施例１と同様の機能を発揮する画像認識プログラム、つまり、図２２に示すように、文字列認識プログラム４４ａ、論理構造認識プログラム４４ｂ、認識結果出力プログラム４４ｃ、第１の論理要素確定プログラム４４ｄ、第２の論理要素確定プログラム４４ｅ、論理構造再認識制御プログラム４４ｆ、論理構造モデル変換プログラム４４ｇが予め記憶されている。

そして、ＣＰＵ４５は、これらのプログラム４４ａ〜４４ｇを読み出して実行することで、図２２に示すように、各プログラム４４ａ〜４４ｇは、文字列認識プロセス４５ａ、論理構造認識プロセス４５ｂ、認識結果出力プロセス４５ｃ、第１の論理要素確定プロセス４５ｄ、第２の論理要素確定プロセス４５ｅ、論理構造再認識制御プロセス４５ｆ、論理構造モデル変換プロセス４５ｇとなる。なお、各プロセス４５ａ〜４５ｇは、図２に示した、文字列認識部３１、論理構造認識部３２、認識結果出力部３３、第１の論理要素確定部３４、第２の論理要素確定部３５、論理構造再認識制御部３６、論理構造モデル変換部３７に各々対応する。

また、ＨＤＤ４３には、図２２に示すように、文字認識辞書テーブル４３ａおよび論理構造モデルテーブル４３ｂが設けられる。なお、各テーブル４３ａおよび４３ｂは、図２に示した、文字認識辞書記憶部２１および論理構造モデル記憶部２２に各々対応する。また、ＲＡＭ４２には、図２２に示すように、認識結果表示用バッファ４２ａが設けられる。

ところで、上記した各プログラム４４ａ〜４４ｇについては、必ずしもＲＯＭ４４に記憶させておく必要はなく、例えば、コンピュータ４０に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」、または、コンピュータ４０の内外に備えられるハードディスクドライブ（ＨＤＤ）などの「固定用の物理媒体」、さらには、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ４０に接続される「他のコンピュータ（またはサーバ）」に記憶させておき、コンピュータ４０がこれらからプログラムを読み出して実行するようにしてもよい。

以上のように、本発明に係る画像認識プログラム、画像認識装置および画像認識方法は、所定の論理構造を構成する複数の論理要素各々として文字列各々が記載されている画像について、当該文字列各々と当該論理要素各々との対応を認識することで、当該論理要素各々を認識することに有用であり、特に、訂正作業の負荷を軽減することに適する。

実施例１に係る画像認識装置の概要および特徴を説明するための図である。 実施例１に係る画像認識装置の構成を示すブロック図である。 帳票画像を説明するための図である。 認識結果表示画面を説明するための図である。 論理構造モデル記憶部を説明するための図である。 認識結果表示用バッファを説明するための図である。 誤り訂正操作について説明するための図である。 論理要素自動確定について説明するための図である。 論理構造モデル記憶部（変換後）を説明するための図である。 誤り訂正操作について説明するための図である。 実施例１に係る画像認識装置による処理の手順を示すフローチャートである。 その他の認識結果表示画面を説明するための図である。 実施例２に係る画像認識装置の概要および特徴を説明するための図である。 実施例２に係る画像認識装置の構成を示すブロック図である。 認識結果表示用バッファおよび再認識結果用バッファを説明するための図である。 実施例２に係る画像認識装置による処理の手順を示すフローチャートである。 その他の認識結果表示画面を説明するための図である。 実施例３に係る画像認識装置の概要および特徴を説明するための図である。 認識結果表示用バッファおよび再認識結果用バッファを説明するための図である。 実施例３に係る画像認識装置による処理の手順を示すフローチャートである。 その他の認識結果表示画面を説明するための図である。 画像認識プログラムを実行するコンピュータを示す図である。

符号の説明

１０ 画像認識装置
１１ 画像入力部
１２ ユーザ操作入力部
１３ 表示部
２０ 記憶部
２１ 文字認識辞書記憶部
２２ 論理構造モデル記憶部
２５ 記憶部
２６ 認識結果表示用バッファ
２７ 再認識結果用バッファ
３０ 制御部
３１ 文字列認識部
３２ 論理構造認識部
３３ 認識結果出力部
３４ 第１の論理要素確定部
３５ 第２の論理要素確定部
３６ 論理構造再認識制御部
３７ 論理構造モデル変換部
３８ 再認識結果バッファ格納部

Claims (4)

1. 論理構造を構成する複数の論理要素各々として文字列各々が記載されている画像について、当該文字列各々と当該論理要素各々との対応を認識することで、当該論理要素各々を認識する方法をコンピュータに実行させる画像認識プログラムであって、
   前記対応が認識または再認識されると、認識結果である複数の論理要素各々を出力部に出力する出力手順と、
   前記出力手順によって出力された認識結果を確認する利用者から、当該複数の論理要素各々の内正しいものとされる論理要素を確定する確定要求の入力を受け付けると、当該論理要素について、正しいものと確定する第１の確定手順と、
   前記第１の確定手順によって確定された前記論理要素よりも前に前記利用者によって確認済みであると位置づけられる順序で出力された論理要素各々全てについて、前記第１の確定手順で確定した論理要素とは異なる他の論理要素を正しいものと確定する第２の確定手順と、
   前記第１の確定手順および前記第２の確定手順によって正しいものであると確定された論理要素各々の確定内容に基づいて、未だ正しいものであると確定されていない論理要素各々について前記対応を再認識する再認識手順と、
   をコンピュータに実行させることを特徴とする画像認識プログラム。
2. 前記再認識手順による認識結果をバッファに格納する格納手順をさらに備え、
   前記出力手順は、前記再認識手順による認識結果を出力するにあたり、前記格納手順によって格納された認識結果が現に出力部に出力している認識結果と一致するか否かを論理要素ごとに比較し、一致しない論理要素については、前記再認識手順による認識結果が現に出力部に出力している認識結果と異なるものであることを示す情報を出力することを特徴とする請求項１に記載の画像認識プログラム。
3. 論理構造を構成する複数の論理要素各々として文字列各々が記載されている画像について、当該文字列各々と当該論理要素各々との対応を認識することで、当該論理要素各々を認識する画像認識装置であって、
   前記対応が認識または再認識されると、認識結果である複数の論理要素各々を出力部に出力する出力手段と、
   前記出力手段によって出力された認識結果を確認する利用者から、当該複数の論理要素各々の内正しいものとされる論理要素を確定する確定要求の入力を受け付けると、当該論理要素について、正しいものと確定する第１の確定手段と、
   前記第１の確定手段によって確定された前記論理要素よりも前に前記利用者によって確認済みであると位置づけられる順序で出力された論理要素各々全てについて、前記第１の確定手段で確定した論理要素とは異なる他の論理要素を正しいものと確定する第２の確定手段と、
   前記第１の確定手段および前記第２の確定手段によって正しいものであると確定された論理要素各々の確定内容に基づいて、未だ正しいものであると確定されていない論理要素各々について前記対応を再認識する再認識手段と、
   を備えたことを特徴とする画像認識装置。
4. 論理構造を構成する複数の論理要素各々として文字列各々が記載されている画像について、当該文字列各々と当該論理要素各々との対応を認識することで、当該論理要素各々を認識する画像認識方法であって、
   前記対応が認識または再認識されると、認識結果である複数の論理要素各々を出力部に出力する出力工程と、
   前記出力工程によって出力された認識結果を確認する利用者から、当該複数の論理要素各々の内正しいものとされる論理要素を確定する確定要求の入力を受け付けると、当該論理要素について、正しいものと確定する第１の確定工程と、
   前記第１の確定工程によって確定された前記論理要素よりも前に前記利用者によって確認済みであると位置づけられる順序で出力された論理要素各々全てについて、前記第１の確定工程で確定した論理要素とは異なる他の論理要素を正しいものと確定する第２の確定工程と、
   前記第１の確定工程および前記第２の確定工程によって正しいものであると確定された論理要素各々の確定内容に基づいて、未だ正しいものであると確定されていない論理要素各々について前記対応を再認識する再認識工程と、
   を含んだことを特徴とする画像認識方法。

Images