JP4442136B2

JP4442136B2 - 文字認識方法および装置

Info

Publication number: JP4442136B2
Application number: JP2003202159A
Authority: JP
Inventors: 直広古川
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2003-07-28
Filing date: 2003-07-28
Publication date: 2010-03-31
Anticipated expiration: 2023-07-28
Also published as: JP2005044086A

Description

【０００１】
【発明の属する技術分野】
本発明は、帳票等に記入された住所や金額などの項目を読み取る文字認識システムに関する。
【０００２】
【従来の技術】
多くの帳票や文章を取り扱う、たとえば金融機関・自治体の窓口受付業務や郵便局内での郵便物の区分業務などにおいて、業務効率化のために紙上に記載された文字列を自動的に読取るという、文字認識技術が利用されてきた。また、携帯情報端末(PDA: Personal Digital Assistant)において入力手段としてタッチパネル上に記入された文字を読取る際にも前記技術が利用されてきた。
【０００３】
文字認識は、主に、(1)文字切出し、(2)文字識別、(3)文字列照合、の3ステップから構成される。最初に入力画像中から文字らしきパターンを抽出し（文字切出し）、その各文字パターン候補に対し認識対象のどの文字に似ているかを判別しその文字コードを出力し（文字識別）、それら文字コードの集合から読取対象の文字列を解釈する（文字列照合）ことにより、最終的な認識結果を得る。
【０００４】
なお、文字切出しに関して、文字識別や文字列照合の前に正しい文字切出しを一意に決定することが難しいことから、可能性のある文字切出しの複数の仮説を１つのネットワークの形で表わせる、文字切出しグラフが読取りの高精度化のために良く利用されている。たとえば図９の文字列枠９００に記入された文字パターンを文字切出しする際に、「分」の文字パターン９１２が、「八」９１３と「刀」９１４の２パターンとしても解釈できることから、文字切出しグラフ９１０は、その両方の切出し仮説を表現するものとなっている。
このような、文字を読取る文字認識システムにおいて、単に文字列のみを読取るだけではなく、選択肢やチェックマークを読取るという選択肢認識機能を有すものがある。これは記入される文字列を予測できる項目に関しては、その部分を事前にプレ印刷し記入者に選択させる方が、(1)入力が簡潔、(2)文字よりも選択肢の方が高精度に認識可能、であるといったメリットがあるためである。選択肢を認識する方法として、たとえば特許文献１で開示されている。
【０００５】
さらに、予測される文字列全ては選択肢として列挙できないが、その部分文字列が予測できる場合、文字列枠と選択肢枠とを組合せた読取対象項目を利用する方法がある。このような組合せの項目を認識する従来方法として、単に文字列枠と選択肢枠とを別々の項目として定義し個別に読取るという従来方法１があった。また選択肢認識結果から文字列の認識対象候補を絞り込むことにより高精度に住所を読み取るという従来方法２が、特許文献２で開示されている。
【０００６】
【特許文献１】
特開平6-266884号公報
【特許文献２】
特開平8-243501号公報
【特許文献３】
国際公開第01/71473号公報
【特許公報４】
国際公開第00/73983号公報
【発明が解決しようとする課題】
しかしここで、たとえば住所で、「都」,「道」,「府」,「県」の各文字のみを選択する選択肢枠とその前後の文字列を記入する文字列枠の組合せからなる住所記入項目の読取る場合について考える。
【０００７】
この場合、従来方法１において、たとえば記入者が選択肢枠に気づかずに「都」,「道」,「府」,「県」の文字までを前半の文字列枠に記入してしまった場合、全体として正しく読取れない問題があった。
【０００８】
また、従来方法２では選択肢認識結果は認識対象の文字列候補を絞り込む目的で利用されるため、前記の場合に対して適用できない問題があった。
【０００９】
また、従来方法では帳票レイアウトと認識処理とが密接に関係するため、たとえば前記住所読取の場合において、「市」,「区」,「町」,「村」の各文字も選択肢枠として新たに追加して帳票レイアウトを変更した場合、読取対象の文字列表記知識や認識処理自体を変更しなければならない問題があった。
【００１０】
本発明は、上記問題点に鑑みてなされたものである。すなわち、文字列枠と選択肢枠との組合せが変更となった場合にも、読取対象文字列表記知識や認識処理自体を変更することなく対応すること、つまり文字列枠と選択肢枠との任意の組合せを許容する項目読取手段を提供することを、本発明の第１の課題とする。
【００１１】
さらに記入者の多様な記入方法に対応した高精度な項目読取手段を提供することを、本発明の第２の課題とする。
【００１２】
【課題を解決するための手段】
ここで、文字列や選択肢の記入枠の最小単位を「セル」とよぶことにする。たとえば、図３の申込用紙３００の例では、表３１０は、文字記入枠の集合３２０、選択肢枠の集合３３０、文字記入枠３４０と３５０、から構成され、さらに文字記入枠の集合３２０は文字記入枠３２１〜３２３、選択肢枠の集合３３０は選択肢枠３３１〜３３４から構成されているため、申込用紙３００中のセルは、
・文字記入枠：３２１，３２２，３２３，３４０，３５０
・選択肢枠：３３１，３３２，３３３，３３４
の計９枠である。これらセルに記入・選択された文字列を解釈する場合は、各セルの認識結果を、
セル３２１×セル３２２×セル３２３×
セル３３１×セル３３２×セル３３３×セル３３４×
セル３４０×セル３５０（数１）
と連接すれば、表３１０に記入された文字列を得ることができる。ちなみに記号「×」は連接を表す記号とする。数１のような、読取り対象の枠構造を表現する式を、以降「枠構造式」とよぶ。
【００１３】
しかし、選択肢においてはアクセプトの条件として、選択の最大・最小数が規定されることがある。たとえば図３において、都道府県の選択肢３３０は、マークが最大１つでないと、地名として意味をなさない。また選択肢の前後の文字列枠に、都道府県の文字を記入される可能性があるため、選択肢の最小数は０である。したがって最大数１、最小数０を指定する必要がある。
そのような場合を考慮して枠構造式を拡張する。すなわち、連接のみでなく、選択を考慮し、選択記号＋を新たに定義する。また選択肢の集合を括弧（）で括り、末尾に大括弧[]で最小、最大数を記入することとする。すなわち数１は
セル３２１×セル３２２×セル３２３×
（セル３３１＋セル３３２＋セル３３３＋セル３３４）[０，１]×
セル３４０×セル３５０（数２）
と拡張される。これにより、選択肢の選択数までも考慮した枠構造式を定義できる。
【００１４】
本発明は、まず第１の課題を解決するために、文字列枠と選択肢枠の差異を吸収する前記枠構造式を用いた帳票定義辞書とその枠構造式に沿った認識処理によって、文字列枠と選択肢枠との任意の組合せを許容する項目読取りを可能とする。
【００１５】
また、第２の課題を解決するために、各文字列枠や選択肢枠の認識結果を文字切出しグラフの形式で表現し、それらを結合させることにより各枠の認識結果を統合させ、最終的に得られた文字切出しグラフに対し文字列照合を行うことにより、高精度な項目読取りを可能とする。
【００１６】
【発明の実施の形態】
本発明の実施形態にかかる文字認識装置の構成について説明する（図１）。文字認識装置１００は、記入された文字や図形などを電子的に入力する画像入力部１０１、入力された記入画像から指定された箇所を読取る文字認識部１０２、その認識結果を出力する認識結果出力部１０３を有す。また、読取対象の帳票のレイアウトや各記入枠の属性（枠内にどのような文字列が記載されるかなど）等の情報が記述された帳票定義辞書１０４、読取り対象の文字列の表記知識が格納され文字列照合で参照される文字列表記辞書１０５を有す。文字列表記辞書の構造として、(1)認識対象文字列の羅列、(2)認識対象文字列を受理するオートマトン、(3)認識対象文字列を記述する文脈自由文法、などが利用可能である。
【００１７】
画像入力を実現する手段としては、記入されるメディアの形態などにより種々の手段が利用可能である。たとえば、紙面に記入する場合は光学的スキャナにより紙面イメージを取り込む手段や紙下にタブレットを置き記入する手段があり、また液晶画面に記入する場合にはタッチパネルにより記入された筆跡を得る手段もある。さらに近年では、紙面上に記入するとその筆跡を測定できる電子ペンを用いる手段もある。その電子ペンの一例として、特許文献３で開示されているものについて簡単に説明する（図２）。２００が電子ペンであり、２０１は紙上に印刷された位置検出用の模様の画像を取得するカメラデバイスである。紙２１０を拡大してみると(２１１)、小さなドットが非均質に散りばめられて印刷されている。このドットは仮想的な格子線２１２における交点からある距離だけ上下左右の何れかにずらされて印刷されており、このドットを同時に複数個、例えば6×6の範囲で参照し、これら36個のドットの上下左右のずれの値の組み合わせが、広大な平面領域の絶対位置情報を与える仕組みとなっている。つまり電子ペンに備え付けられたカメラ２０１により上記複数のドットパタンを含む範囲の画像を一定の時間間隔で採取することにより、上記ずれの組み合わせの空間上での位置を特定することが可能となる。本原理の詳細は特許文献４で明らかにされている。
【００１８】
電子ペンや、タブレット、タッチパネルなどペン軌跡を記録する電子化手段を用いた場合の記入情報は、図８のようなデータ構造となる。記入情報８１０は、そのなかに含まれる総ストローク数８１１、各ストロークの標本点数８１２、標本点へのポインタ８１３、を有する。標本点へのポインタは、標本点情報８２０の１標本８２１を指しており、その位置から標本点数で指定された個数までがそのストロークを表す標本点配列となる。電子ペンは、このように記入ストロークの動的情報を記憶できる他、罫線等を記憶せずにペン記入情報を記憶することができ、また、スキャニングのように掠れたり潰れたりすることなくペン軌跡を記憶することができるという利点がある。ここでは、前記電子ペンを利用した形態で以降説明する。
【００１９】
次に帳票定義辞書１０４の構造について具体例をあげて説明する。前述のようにたとえば図３に示した枠構造における枠構造式は、セル３２１，３２２，３２３，３３１，３３２，３３３，３３４，３４０，３５０を、おのおのセルA‥Iと置くと、数２より、
Ａ×Ｂ×Ｃ×（Ｄ＋Ｅ＋Ｆ＋Ｇ）[０，１]×Ｈ×Ｉ（数３）
とおける。この式のまま帳票定義とし計算機上に実装したのでは、処理時に参照する際、構文解析などの手段が必要となり、実際問題として煩雑である。そこで本実施例では、枠構造式を、図４に示したような木構造の形式で表現することとする。これは各セルに関し、文字列枠の部分と選択肢の部分との部分集合に分割することにより木構造とするものである。以降、枠構造式から作成される木を「枠構造木」、セルの部分集合のことを「セルバインダ」とよぶことにする。たとえば前記の数３においては、
Ａ×Ｂ×Ｃ×（Ｄ＋Ｅ＋Ｆ＋Ｇ）[０，１]×Ｈ×Ｉ
＝{Ａ×Ｂ×Ｃ}×{（Ｄ＋Ｅ＋Ｆ＋Ｇ）[０，１]}×{Ｈ×Ｉ} （数４）
に変形することにより、図４に示した枠構造木４１０を得ることができる。
【００２０】
なお、図４に示したような枠構成木は、選択肢セルと文字列セルの両タイプの部分集合においてセルバインダを導入するため、木の階層が常に３階層と平衡木になる。セルバインダを導入せずに各セルを直接、最上位の節である読取項目４１１と接続させてもよい。しかしその場合、最上位節の読取項目４１１からみて全てのセルが自分の子となるため、認識時に子が選択肢セルか文字列セルかで分岐処理をしなければならなる。したがってセルバインダを一律に導入して３階層の平衡木とした方が、(1)木構造を表現するデータ構造体が定義しやすい、(2)認識処理フローがより単純となる、といった利点があるため本実施例ではセルバインダを導入した枠構造木を採用することとする。
【００２１】
さらに、枠構造木４１０のデータ構造を図５に示す。まず読取項目４１１に該当するデータ構造が読取項目情報５００である。このデータ構造は、読取項目ＩＤ情報５０１と、読取対象となる表記知識情報５０２、認識された最終的な文字列結果情報５０３、各セルバインダの文字切出しグラフを連接することにより作成された文字切出しグラフへのＩＤ情報５０４、この読取項目に含まれるセルバインダ集合の列の先頭セルバインダのＩＤ情報５０５、から構成される。表記知識情報５０２には、読取項目に記入される文字列表記の種類を示し、たとえば本例の場合、住所が記入されるため「Address」というデータが格納されている。認識時には本データに従い、文字列表記辞書（図１の１０５）から認識対象の文字列を抽出し、認識処理に利用する。なお、認識対象文字列が自由文章など表記知識を事前に用意できない場合は、表記知識を利用しない旨の「NULL」が代入されることとする。
【００２２】
セルバインダのデータ構造として、文字列の場合５１０、選択肢の場合５２０の２例を示した。文字列のセルバインダ５１０は図４のセルバインダ４２１に該当し、そのデータ構造は、セルバインダＩＤ情報５１１、セルバインダの認識対象の情報５１２、各セルの文字切出しグラフを連接することにより作成された文字切出しグラフへのＩＤ情報５１６、このセルバインダに含まれるセル集合の列の先頭セルのＩＤ情報５１７、このセルバインダの次に連接するセルバインダのＩＤ情報５１８、から構成される。また選択肢のセルバインダ５２０は図４のセルバインダ４２２に該当し、そのデータ構造は前述の文字列のセルバインダと同様であるが、加えて、選択肢の最大数情報５２３、選択肢の最小数情報５２４、実際に選択された数の情報５２５を有す。
【００２３】
セルのデータ構造として、文字列枠の場合５３０、選択肢枠の場合５４０の２例をしめした。文字列枠のセルバインダ５３０は図４のセル４３１に該当し、そのデータ構造は、セルＩＤ情報５３１、セルの認識対象の情報５３２、セル枠の矩形座標情報５３３、文字切出しグラフへのＩＤ情報５３５、このセルの次に連接するセルのＩＤ情報５３６、から構成される。また選択肢枠のセルバインダ５４０は図４のセルバインダ４３４に該当し、そのデータ構造は前述の文字列枠のセルと同様であるが、加えて、選択肢枠に印刷されている文字列の情報５４５を有す。
【００２４】
以上のデータ構造により、計算機上に枠構造木を構築している。また実際の帳票において、図３の読取項目３１０が複数個存在することがあり、これはさらに複数個の読取項目のデータ構造を用意することにより解決できる。
【００２５】
次に、本実施例における文字認識の処理フローについて説明する（図６）。文字認識処理６００は基本的にボトムアップ処理で、まずステップ６０１で認識対象となる帳票上の全ストロークを入力した後、各セルにおいてセル内のストロークから文字切出しグラフを作成し（ステップ６０５〜６０９）、セルバインダ単位、読取項目単位で連接（各々ステップ６１０、６１１）して最終的に読取項目単位の文字切出しグラフを作成する。その後、その読取項目単位の文字切出しグラフ中に、文字列表記辞書（図１の１０５）内に格納された認識対象文字列が出現するか否かを検出する文字列照合を実行し、文字列認識結果を得て（ステップ６１２）、その結果を出力する（ステップ６１４）といった処理となる。
【００２６】
文字切出しグラフを作成する処理についてより詳細に説明すると、まず各セルにおいて、そのセルの認識対象の情報に応じて、ステップ６０５で文字切出しグラフの作成手順を切替える。文字列枠の場合には、そのセル内に含まれる文字パターンを抽出し（ステップ６０６）、その各文字パターンに対して文字識別処理を実行しその結果から文字切出しグラフを作成する（ステップ６０７）。その例を図７の７０１→７１１、および７０３→７１３に示す。文字切出しグラフの各エッジには、文字パターンとその文字パターンに対する文字識別結果が付加される。文字識別結果として、第１位の文字候補の文字コードのみが付加されていてもよいが、第ｎ位までの文字候補が付加される方が、後で文字列照合する場合に有利となるため、本実施例では各文字パターンに対して複数個の文字識別結果を付加することとする。
【００２７】
一方、選択肢枠の場合は、まず当該の選択肢枠内にマークされているか否かを判定し（ステップ６０８）、その結果マークされていれば、その選択肢に該当する文字列を帳票定義辞書から得て（例：図５の５４４の情報）、その文字列からなる文字切出しグラフを作成する（ステップ６０９）。マークされていない場合には、その選択肢枠についての文字切出しグラフは作成せずに次の記入枠の処理を続ける。その結果、文字切出しグラフが作成されなかった記入枠の前の記入枠とその後の記入枠の文字切出しグラフが連接されることで、例えば本来は選択肢枠で選択されるべき記入事項が前後の記入枠に誤って記入された場合などにも正しく文字認識を行うことが可能となる。その例を図７の７０２→７１２に示す。本来は選択肢の認識結果なので、文字切出しグラフで表現しなくても一意に文字列が同定できるのだが、文字切出しグラフの形式で選択肢枠の認識結果を表現しておくことにより、文字列枠の認識結果と整合性が取れるため容易に連接できるメリットがある。文字切出しグラフの連接は、図７に示したように、単に前の文字切出しグラフの終端ノードと、次の文字切出しグラフの始端ノードをと同一にするのみである。
【００２８】
なお、選択肢の選択数の最大・最小値の検定は、ステップ６１３のリジェクト検定で行われる。
【００２９】
以上が、本発明に係る実施形態の説明である。
【００３０】
【発明の効果】
本発明により、文字列枠と選択肢枠とが混在した帳票の文字認識装置での利用が容易となり、記入者にとって記入しやすい帳票を利用できるため、記入者の負担を軽減される効果がある。
【００３１】
また、記入内容が推測される部分に対し、文字よりも高精度に認識可能な選択肢が利用できるため、記載内容全体の認識率の上昇が期待でき、文字認識装置運用者は文字認識結果の修正作業を軽減できる効果がある。
【００３２】
さらに、文字切出しグラフレベルで各枠の認識結果を統合していくため、より高精度な認識率を期待でき、前記と同様に、文字認識装置運用者は文字認識結果の修正作業を軽減できる効果がある。
【図面の簡単な説明】
【図１】本発明に係る文字認識装置の構成を示す図である。
【図２】本発明に係る実施形態で利用される画像入力部を説明する図である。
【図３】本発明に係る実施形態で利用される帳票の例を示す図である。
【図４】本発明に係る実施形態で利用される帳票における枠構造式と枠構造木を示す図である。
【図５】枠構造木のデータ構造を示す図である。
【図６】本発明に係る文字認識処理のフロー図である。
【図７】文字切出しグラフの連接の過程を示す図である。
【図８】電子ペンによる記入情報のデータ構造を示す図である。
【図９】文字切出しグラフの例を示す図である。

Claims

読取項目の情報が記載された帳票定義に従って文字列の記入枠と選択肢の記入枠を有する帳票中に記入された文字や選択肢のマークを電子的に取込み、該帳票上の項目を読取る文字認識方法において、
上記帳票定義は、文字列を認識対象とする記入枠及び選択肢を認識対象とする記入枠を含む複数記入枠についての該記入枠の認識対象を含む記入枠情報を含み、
上記記入枠情報は、該記入枠の認識対象および該帳票における連接の順を示す枠構造情報とを含み、
上記帳票定義に記載の記入枠情報に従って各記入枠の文字列または選択肢に該当する文字切出しグラフを作成し、
帳票定義に記載の上記枠構造情報に従って該文字列切出しグラフを連接または選択し、
該連接または選択された文字列切出しグラフの文字列を解釈することを特徴とする文字認識方法。
請求項１記載の文字認識方法であって、
上記記入枠の認識対象が選択肢の場合は、該記入枠内にマークがあるか否かを判定し、マークがある場合は上記マークされた選択肢に該当する文字切出しグラフを作成し、マークがない場合は該記入枠に対応する文字切出しグラフを作成しないことを特徴とする文字認識方法。
帳票中に記入された文字および選択肢のマークを電子的に取込んで文字認識を行う文字認識装置であって、
読取項目の情報が記載された帳票定義とが予め登録されるメモリと、
上記帳票定義に従い該帳票上の項目を読取る文字認識部とを有し、
上記帳票定義は、文字列を認識対象とする記入枠及び選択肢を認識対象とする記入枠を含む複数記入枠についての該記入枠の認識対象を含む記入枠情報を含み、
上記記入枠情報は該記入枠の認識対象および該帳票における連接の順を示す枠構造情報とを含み、
上記文字認識部は、
上記記入枠の認識対象が文字列の場合は該記入枠に含まれる文字パターンに対して文字識別処理が実行されて文字切出しグラフを作成し、
上記記入枠の認識対象が選択肢の場合は該記入枠内にマークされている選択肢に該当する文字列を含む文字切出しグラフを作成し、
上記枠構造情報に基づいて該文字切出しグラフを連接し、
上記連接された文字切出しグラフに対する文字列照合とを行って文字認識を行うことを特徴とする文字認識装置。