JP4853313B2 - 文字認識装置 - Google Patents

Description

本発明は、公共料金や各種税金の払込用紙等の複数の書式が混在する帳票の文字を認識する文字認識装置に関する。

従来の文字認識装置は、複数の書式が混在する帳票を処理する場合、予め人手で帳票を種類毎に分類する時間と労力を削減するため、帳票を画像入力手段で読取り、読取った画像から水平および垂直方向の罫線やその罫線の交点等を抽出し、さらに抽出した罫線やその罫線の交点等から枠構造の特徴を抽出し、予め各帳票の枠構造の特徴を登録した枠構造参照テーブルを参照して帳票を識別し、文字の読取り領域を検出するようにしている（例えば、特許文献１参照）。
特開平９−１３８８３７号公報（段落「００１２」〜段落「００１３」、図１）

しかしながら、近年、電気料金、ガス料金、電話料金等の公共料金や各種税金等を支払うための払込用紙等のように多数の書式の帳票が存在するようになってきている状況下において、上述した従来の技術では、抽出した帳票の枠構造の特徴と予め各帳票の枠構造の特徴を登録した枠構造参照テーブルとを照合して帳票を識別する処理を行い、文字の読取り領域を検出するようにしているため、その枠構造参照テーブルには多数の書式の帳票の枠構造の特徴が登録され、登録された多数の枠構造の特徴と照合する必要があり、帳票を読取ってから文字の読取り領域を検出するまでに必要な処理の時間が長くなってしまうという問題がある。

本発明は、このような問題を解決することを課題とする。

そのため、本発明は、帳票読取部で読取った帳票の画像情報から抽出した特徴に基づいて帳票の種類を特定し、その帳票の種類に応じて決定される領域の文字を認識する文字認識装置において、帳票のバーコードの大きさおよび帳票におけるバーコードの位置が共通する複数の帳票の種類を同一の帳票群になるように分類し、その帳票群毎にバーコードの大きさ並びに帳票におけるバーコードの位置を示す情報および帳票の種類を示す帳票種別からなる帳票分類情報を予め記憶する記憶部と、読み取った帳票の画像情報からバーコードの大きさおよび帳票における位置を算出するバーコード検出手段と、前記バーコード検出手段が算出したバーコードの大きさおよび帳票における位置に基づいて前記記憶部に記憶された帳票分類情報を検索して帳票種別を抽出する帳票識別手段と、読み取った帳票の画像情報から抽出した特徴を前記帳票識別手段が抽出した帳票種別毎の特徴と照合し、帳票の種類を特定して文字が存在する領域を検出する認識領域抽出手段とを設け、帳票のバーコードの大きさおよび帳票における位置に基づいて抽出した帳票種別の中から帳票の種類を特定して文字が存在する領域を検出するようにしたことを特徴とする。

このようにした本発明は、帳票の枠構造の特徴に基づいて検索する対象となる帳票種別を少なくすることができ、帳票を読取ってから文字の読取り領域を特定するまでに必要な処理の時間を短縮することができるという効果が得られる。

以下、図面を参照して本発明による文字認識装置の実施例を説明する。

まず、第１の実施例について説明する。
図１は実施例における文字認識装置の構成を示すブロック図である。
図１において、１は文字認識装置であり、公共料金や各種税金の払込用紙等のバーコードが印刷された帳票の画像を読取り、その帳票に印刷された文字を認識するＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅａｄｅｒ）装置等である。

２は帳票読取部であり、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラ等で構成され、一次元に配置されたイメージセンサである。この帳票読取部２は、所定の線密度で帳票に印刷された個々のバーコードに直交する方向（帳票の横方向）に走査し、帳票に印刷されたバーコードや文字を「１」、背景を「０」に２値化された画像情報を出力するものである。

したがって出力された画像情報は、帳票の縦方向および横方向が所定の画素数で構成されている。
３は記憶部であり、メモリ素子や磁気ディスク等で構成され、情報を記憶し、また記憶した情報を読み出すことができるものである。
３１は帳票イメージメモリであり、帳票読取部２で読み取った帳票の画像情報を記憶するためのものである。

３２は帳票辞書であり、帳票の種類を識別するための情報を記憶するものである。この帳票辞書３２は、帳票のバーコードの大きさおよび帳票におけるバーコードの位置が共通する帳票の種類を同一のグループ（帳票群）になるように分類し、そのグループ（帳票群）毎にバーコードの大きさ並びに帳票におけるバーコードの位置を示す情報および帳票の種類を示す帳票種別からなり、帳票のバーコードの位置や大きさからその帳票が属するグループを抽出するためのレイアウトグループテーブル（帳票分類情報）、および帳票の枠構造から帳票の種類を識別するための枠構造参照テーブル等を予め記憶する。

ここで、レイアウトグループテーブルを図６の実施例におけるレイアウトグループテーブルの説明図に基づいて説明する。
図６（ａ）は帳票例の説明図であり、５１は帳票Ａ、５２は帳票Ｂ、５３は帳票Ｃを表し、いずれの帳票もバーコード５０１が印刷等されているものとする。なお、バーコードとは、２次元コードを含む概念である。

図６（ａ）において、帳票Ａ５１および帳票Ｃ５３のバーコード５０１の幅ｘｗ＿１および高さｙｗ＿１、帳票Ａ５１および帳票Ｃ５３の左端からバーコード５０１の左端までの距離ｘｌ＿１、帳票Ａ５１および帳票Ｃ５３の右端からバーコード５０１の右端までの距離ｘｒ＿１、帳票Ａ５１および帳票Ｃ５３の下端からバーコード５０１の下端までの距離ｙｂ＿１、および帳票Ａ５１および帳票Ｃ５３の上端からバーコード５０１の上端までの距離ｙｔ＿１であることを示している。

また、帳票Ｂ５２のバーコード５０１の幅ｘｗ＿２および高さｙｗ＿２、帳票Ｂ５２の左端からバーコード５０１の左端までの距離ｘｌ＿２、帳票Ｂ５２の右端からバーコード５０１の右端までの距離ｘｒ＿２、帳票Ｂ５２の下端からバーコード５０１の下端までの距離ｙｂ＿２、および帳票Ｂ５２の上端からバーコード５０１の上端までの距離ｙｔ＿２であることを示している。

ここで、バーコード５０１の大きさと位置が共通する帳票を同一のグループとなるように分類するものとし、本実施例では、帳票Ａ５１および帳票Ｃ５３をレイアウトグループ１、帳票Ｂ５２をレイアウトグループ２とする。
図６（ｂ）はレイアウトグループテーブルの構成を示す説明図であり、レイアウトグループテーブル６０はレイアウトグループ６１、バーコード５０１の幅ＸＷ６２、バーコード５０１の高さＹＷ６３、帳票５０の左端からバーコード５０１の左端までの距離ＸＬ６４、帳票５０の右端からバーコード５０１の右端までの距離ＸＲ６５、帳票５０の上端からバーコード５０１の上端までの距離ＹＴ６６、帳票５０の下端からバーコード５０１の下端までの距離ＹＢ６７、および帳票種別６８で構成されている。

本実施例では、レイアウトグループ６１の「１」に、バーコード５０１の幅ＸＷ６２がｘｗ＿１、高さＹＷ６３がｙｗ＿１、帳票５０の左端からバーコード５０１の左端までの距離ＸＬ６４がｘｌ＿１、帳票５０の右端からバーコード５０１の右端までの距離ＸＲ６５がｘｒ＿１、帳票５０の上端からバーコード５０１の上端までの距離ＹＴ６６がｙｔ＿１、帳票５０の下端からバーコード５０１の下端までの距離ＹＢ６７がｙｂ＿１、帳票種別６８が「帳票Ａ」、「帳票Ｃ」となるように対応付けられ、またレイアウトグループ６１の「２」に、バーコード５０１の幅ＸＷ６２がｘｗ＿２、高さＹＷ６３がｙｗ＿２、帳票５０の左端からバーコード５０１の左端までの距離ＸＬ６４がｘｌ＿２、帳票５０の右端からバーコード５０１の右端までの距離ＸＲ６５がｘｒ＿２、帳票５０の上端からバーコード５０１の上端までの距離ＹＴ６６がｙｔ＿２、帳票５０の下端からバーコード５０１の下端までの距離ＹＢ６７がｙｂ＿２、帳票種別６８が「帳票Ｂ」となるように対応付けられているものとする。

このようにレイアウトグループテーブル６０は、多数ある帳票の種類をバーコード５０１の大きさと位置が共通する帳票を同一のグループとなるように分類して記憶するものであり、このレイアウトグループテーブル６０を参照し、帳票のバーコードの位置や大きさからその帳票が属するグループを抽出することができる。
また、枠構造参照テーブルは、予め各帳票の枠構造の特徴を示す枠構造特徴情報（例えば、表を構成する罫線の始点や終点、交点の座標情報）を登録したものであり、帳票読取部２で読取った帳票の画像情報から画像から水平および垂直方向の罫線やその罫線の交点等を抽出し、さらに抽出した罫線やその罫線の交点等から枠構造の特徴情報を抽出し、その枠構造の特徴情報と枠構造参照テーブルの枠構造特徴情報とを照合して帳票の種類を識別することができるものである。

図１に戻り、３３は認識領域データメモリであり、文字認識の処理が必要な帳票の領域の画像情報を記憶するためのものである。
このように記憶部３は、帳票イメージメモリ３１、帳票辞書３２、および認識領域データメモリ３３等で構成されている。
なお、記憶部３は帳票イメージメモリ３１、帳票辞書３２、および認識領域データメモリ３３の他、文字認識装置１を制御するために必要な制御プログラム（ソフトウェア）や各種情報を記憶するものとする。

４は制御部であり、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の演算および制御手段等で構成され、帳票読取部２、記憶部３を含めて文字認識装置１全体の動作を記憶部３に格納された制御プログラム（ソフトウェア）に基づいて制御する。
また、制御部４は帳票イメージメモリ３１に記憶された帳票の画像情報からバーコードを検出し、さらにそのバーコードの大きさや帳票における位置を検出するバーコード検出手段４１、検出したバーコードの大きさや位置の情報に基づいて帳票辞書３２のレイアウトグループテーブル６０を検索して帳票種別を抽出する帳票識別手段４２、帳票の画像情報から枠構造の特徴を抽出し、その枠構造の特徴と帳票識別手段４２が抽出した帳票種別毎の枠構造の特徴（枠構造参照テーブルに記憶された枠構造の特徴）とを照合し、帳票の種類を特定して文字が存在する領域を検出する認識領域抽出手段４３、抽出した文字が存在する領域の文字を認識する文字認識手段４４等で構成されている。

このように構成された文字認識装置１は、帳票読取部２で帳票を読み取り、その帳票の画像情報から文字認識が必要な領域を抽出し、その領域の画像情報に基づいて文字認識を行う。

上述した構成の作用について説明する。

図２は実施例における文字認識装置の処理の流れを示すフローチャートであり、図中Ｓで表すステップにしたがって説明する。
なお、以下に説明する各部の動作は、図示しないメモリや磁気ディスク等の記憶手段に格納されたプログラム（ソフトウェア）に基づいて図示しない中央処理装置等の制御手段により制御される。

Ｓ１：文字認識装置１の制御部４の指示により帳票読取部２は帳票を読み取り、読み取った帳票の画像情報を帳票イメージメモリ３１に記憶させる。
Ｓ２：読み取った帳票の画像情報を帳票イメージメモリ３１に記憶させるとバーコード検出手段４１は帳票に印刷されたバーコードを検出する処理を行う。
ここで、バーコードを検出する処理を説明する。

まず、バーコード検出手段４１は、図３に示すように帳票５０を図中の矢印が示す方向、すなわち帳票５０に印刷された個々のバーコードに直交する方向（帳票の横方向）に走査して読み取った帳票５０の画像情報を帳票イメージメモリ３１から読み出し、その画像情報から数値「１」で表される黒いバーおよび数値「０」で表される白いバーが交互に出現する部分をバーコード５０１として検出する。

このように帳票５０に印刷された個々のバーコードに直交する方向（帳票の横方向）に走査して読み取るようにすることでバーコード５０１を検出する処理の期間を短くすることができる。
なお、バーコード５０１以外の文字が印刷された部分も解析の対象となるがその部分は公知の解析処理によりバーコードでないと判定されるものとする。

また、上記以外のバーコード５０１を検出する方法として、読み取った帳票の画像情報を帳票イメージメモリ３１に記憶させる際に、低解像度の画像（１次画像）を取得し、バーコード検出手段４１は１次画像に対してバーコード候補の検出を行う。
検出したバーコード候補の領域を、帳票イメージメモリ３１において高解像度の画像（２次画像）に変換し、バーコード検出手段４１がバーコード候補の領域内からバーコードを検出する方法としてもよい。

このように、低解像度（１次画像）で大まかにバーコード候補領域を特定してから、通常の解像度（２次画像）でバーコードを検出するため、処理時間を短縮することが出来る。
バーコード５０１として検出するとバーコード検出手段４１は、帳票の画像情報の画素数から図４に示すようにバーコード５０１の幅ＸＷおよび高さＹＷを算出する。すなわち、バーコード５０１の大きさを算出する。

次に、バーコード検出手段４１は、帳票の画像情報の画素数から図５に示すように帳票５０の左端からバーコード５０１の左端までの距離ＸＬ、帳票５０の右端からバーコード５０１の右端までの距離ＸＲ、帳票５０の下端からバーコード５０１の下端までの距離ＹＢ、および帳票５０の上端からバーコード５０１の上端までの距離ＹＴを算出する。すなわち、帳票５０におけるバーコード５０１の位置を算出する。

Ｓ３：バーコード５０１の大きさ、位置を算出すると帳票識別手段４２は算出したバーコード５０１の幅ＸＷおよび高さＹＷ、帳票５０の左端からバーコード５０１の左端までの距離ＸＬ、帳票５０の右端からバーコード５０１の右端までの距離ＸＲ、帳票５０の下端からバーコード５０１の下端までの距離ＹＢ、および帳票５０の上端からバーコード５０１の上端までの距離ＹＴに基づいて帳票辞書３２に記憶されたレイアウトグループテーブル６０のバーコード５０１の幅ＸＷ６２、高さＹＷ６３、帳票５０の左端からバーコード５０１の左端までの距離ＸＬ６４、帳票５０の右端からバーコード５０１の右端までの距離ＸＲ６５、帳票５０の上端からバーコード５０１の上端までの距離ＹＴ６６、帳票５０の下端からバーコード５０１の下端までの距離ＹＢ６７を検索して帳票種別６８を抽出する。

すなわち、読取ったバーコード５０１の大きさ、位置から帳票種別６８を抽出する。
なお、算出したバーコード５０１の大きさおよび位置を示す各数値は、レイアウトグループテーブル６０に記憶されている各数値と完全に一致する必要はなく、所定の範囲内にあればよいものとする。
例えば、読取ったバーコード５０１の幅ＸＷ６２がｘｗ＿１、高さＹＷ６３がｙｗ＿１、帳票５０の左端からバーコード５０１の左端までの距離ＸＬ６４がｘｌ＿１、帳票５０の右端からバーコード５０１の右端までの距離ＸＲ６５がｘｒ＿１、帳票５０の上端からバーコード５０１の上端までの距離ＹＴ６６がｙｔ＿１、帳票５０の下端からバーコード５０１の下端までの距離ＹＢ６７がｙｂ＿１であった場合、帳票種別６８は「帳票Ａ」および「帳票Ｃ」が抽出される。

Ｓ４：認識領域抽出手段４３は、帳票の画像情報から水平および垂直方向の罫線やその罫線の交点等を抽出し、さらに抽出した罫線やその罫線の交点等から枠構造の特徴を抽出し、予め各帳票の枠構造の特徴を記憶部３に記憶された枠構造参照テーブルを参照して帳票の種類を識別する。
本実施例では、抽出した枠構造の特徴と枠構造参照テーブルの「帳票Ａ」または「帳票Ｃ」の枠構造の特徴とを照合し、「帳票Ａ」または「帳票Ｃ」のいずれかであることを識別する。

本実施例では、図６（ａ）に示すように罫線の枠が１段である場合、「帳票Ａ」と判定し、２段である場合、「帳票Ｃ」と判定するものとする。
帳票の種類を識別すると認識領域抽出手段４３は、予め記憶部３に記憶された文字の読取り領域を抽出し、その領域の画像情報を帳票イメージメモリ３１から読み出して認識領域データメモリ３３に記憶させる。

Ｓ５：文字認識手段４４は認識領域データメモリ３３に記憶された画像情報から文字を認識する処理を行う。
このようにして文字認識装置１は、バーコード５０１の大きさと位置が共通する帳票を同一のグループとなるように分類したレイアウトグループテーブル６０を記憶部３に予め記憶しておき、帳票読取部２で読取った帳票の画像情報からバーコード検出手段４１が帳票５０のバーコード５０１の大きさ、位置を算出し、帳票識別手段４２がそのバーコード５０１の大きさ、位置に基づいてレイアウトグループテーブル６０を検索してグループ化された帳票種別６８を抽出し、その帳票種別から帳票の枠構造の特徴に基づいて帳票の種類を識別してその帳票の文字を認識する処理を行う。

以上説明したように、本実施例では、バーコードの大きさと位置が共通する帳票を同一のグループとなるように分類したレイアウトグループテーブルを記憶部に記憶し、読取った帳票の画像情報から算出したバーコードの大きさ、位置に基づいてそのレイアウトグループテーブルを検索してグループ化された帳票種別を抽出するようにしたことにより、帳票の枠構造の特徴に基づいて検索する対象となる帳票種別を少なくすることができ、帳票を読取ってから文字の読取り領域を特定するまでに必要な処理の時間を短縮することができるという効果が得られる。

実施例における文字認識装置の構成を示すブロック図 実施例における文字認識装置の処理の流れを示すフローチャート 実施例におけるバーコード検出方法の説明図 実施例におけるバーコードの大きさを算出する方法の説明図 実施例におけるバーコードの位置を算出する方法の説明図 実施例におけるレイアウトグループテーブルの説明図

符号の説明

１ 文字認識装置
２ 帳票読取部
３ 記憶部
３１ 帳票イメージメモリ
３２ 帳票辞書
３３ 認識領域データメモリ
４ 制御部
４１ バーコード検出手段
４２ 帳票識別手段
４３ 認識領域抽出手段
４４ 文字認識手段
５０、５１、５２、５３ 帳票
５０１ バーコード

Claims (2)

1. 帳票読取部で読取った帳票の画像情報から抽出した特徴に基づいて帳票の種類を特定し、その帳票の種類に応じて決定される領域の文字を認識する文字認識装置において、
   帳票のバーコードの大きさおよび帳票におけるバーコードの位置が共通する複数の帳票の種類を同一の帳票群になるように分類し、その帳票群毎にバーコードの大きさ並びに帳票におけるバーコードの位置を示す情報および帳票の種類を示す帳票種別からなる帳票分類情報を予め記憶する記憶部と、
   読み取った帳票の画像情報からバーコードの大きさおよび帳票における位置を算出するバーコード検出手段と、
   前記バーコード検出手段が算出したバーコードの大きさおよび帳票における位置に基づいて前記記憶部に記憶された帳票分類情報を検索して帳票種別を抽出する帳票識別手段と、
   読み取った帳票の画像情報から抽出した特徴を前記帳票識別手段が抽出した帳票種別毎の特徴と照合し、帳票の種類を特定して文字が存在する領域を検出する認識領域抽出手段とを設け、
   帳票のバーコードの大きさおよび帳票における位置に基づいて抽出した帳票種別の中から帳票の種類を特定して文字が存在する領域を検出するようにしたことを特徴とする文字認識装置。
2. 請求項１の文字認識装置において、
   前記バーコードの大きさは、バーコードの幅および高さ、
   前記バーコードの帳票における位置は、帳票の左端からバーコードの左端までの距離、帳票の右端からバーコードの右端までの距離、帳票の下端からバーコードの下端までの距離、および帳票の上端からバーコードの上端までの距離としたことを特徴とする文字認識装置。