JP4909311B2

JP4909311B2 - 文字認識装置

Info

Publication number: JP4909311B2
Application number: JP2008089118A
Authority: JP
Inventors: 真一江口; 哉川島; 浩一金元; 将平長谷川; 勝利小原; 眞紀矢吹
Original assignee: Fujitsu Frontech Ltd
Current assignee: Fujitsu Frontech Ltd
Priority date: 2008-03-31
Filing date: 2008-03-31
Publication date: 2012-04-04
Anticipated expiration: 2028-03-31
Also published as: JP2009245036A; EP2107505A1; US20090245627A1; US8189921B2; CN101551861A; EP2107505B1; EP2214124A3; EP2214124A2; CN101551861B

Description

本発明は、帳票における文字枠内の文字を認識する文字認識装置に関する。

一般に、文字認識装置は、手書き文字や活字をカラーイメージデータとして読み取り、そのカラーイメージデータと予め登録されている文字パターンとの照合結果により文字を認識する。

このような文字認識装置において、帳票における文字枠内の文字を認識する場合は、文字枠を特定した後、その特定した文字枠を帳票のカラーイメージデータから除去して残った文字を認識する。

また、文字枠を特定する際は、予めオペレータにより文字枠情報（例えば、文字枠の形状や文字枠の色など）を登録してもらう必要がある（例えば、特許文献１参照）。
また、帳票の文字枠にドロップアウト色を使用し、そのドロップアウト色を文字認識時に除去して残った文字を認識する文字認識装置もある。この場合は、ドロップアウト色の情報が文字認識装置に既に登録されているため、オペレータにより文字枠情報を登録してもらう必要がなくなる。
特開昭６１−２５３５８７号公報

しかしながら、上述のように、予めオペレータにより文字枠情報を登録してもらう場合は、通常、オペレータがディスプレイ上の帳票のカラーイメージデータを見ながらマウスやキーボードなどを操作することにより文字枠の形状や文字枠の色などを指定する必要があり、オペレータの作業工数が多くなるという問題がある。

また、文字枠にドロップアウト色を使用する場合は、そのドロップアウト色以外の色が使用された文字枠内の文字を認識することができないという問題がある。
そこで、本発明では、文字認識時のオペレータの作業工数を低減し、かつ、文字枠に使用される色に制限がかからないようにすることが可能な文字認識装置を提供することを目的とする。

上記の課題を解決するために本発明では、以下のような構成を採用した。
すなわち、本発明の文字認識装置は、帳票を第１のカラーイメージデータとして読み取るイメージ読取手段と、前記第１のカラーイメージデータを表示する表示手段と、前記表示手段に表示される第１のカラーイメージデータのうち、オペレータにより指定される解析範囲に対応する第２のカラーイメージデータを抽出する解析範囲指定手段と、前記第２のカラーイメージデータにおける直線性を有するデータに基づいて前記第２のカラーイメージデータから線分を抽出する第１の線分抽出手段と、前記第２のカラーイメージデータから背景を除去して第３のカラーイメージデータとする背景除去手段と、前記第１の線分抽出手段により抽出された線分の代表色を前記第３のカラーイメージデータから抽出し、その代表色と同じ色の線分を統合して罫線を抽出する第１の罫線抽出手段と、前記第１の罫線抽出手段により抽出された罫線を前記第３のカラーイメージデータから除去して文字と文字枠とに分離する分離手段と、前記第３のカラーイメージデータにおける直線性を有するデータと前記分離手段により分離された文字枠の色とに基づいて前記第３のカラーイメージデータから線分を抽出する第２の線分抽出手段と、前記第２の線分抽出手段により抽出された線分に基づいて前記第３のカラーイメージデータから罫線を抽出する第２の罫線抽出手段と、前記第２の罫線抽出手段により抽出された罫線と予め登録されている文字枠の形状パターンとに基づいて文字枠を特定する文字枠特定手段と、前記分離手段により分離された文字の色と前記文字枠特定手段により特定された文字枠の色とに基づいて文字と文字枠との重なり部分を残しつつ前記第３のカラーイメージデータから文字枠を除去して文字を抽出する第１の文字枠除去手段と、前記第１の文字枠除去手段により抽出された文字を認識する文字認識手段とを備える。

また、前記第２の罫線抽出手段は、前記第２の線分抽出手段により抽出された線分の代表色と同じ色の線分を前記第３のカラーイメージデータから抽出し、それら抽出した線分を統合して罫線を抽出する第３の罫線抽出手段と、前記第３の罫線抽出手段で抽出された罫線のうち、まだ接続関係にありそうな箇所を特定する特定手段と、前記特定手段で特定された箇所のエッジ成分に基づいて、前記箇所が接続可能か否かを判断し、その判断結果が接続可能である場合、前記箇所を接続して罫線を抽出する接続手段とを備えるように構成してもよい。

また、前記文字枠特定手段は、前記第２の罫線抽出手段により抽出された罫線の各縦線から任意の２つの縦線を選択する場合の全ての組み合わせそれぞれにおいて前記任意の２つの縦線の間隔を算出し、その算出した間隔を示す間隔表を生成する間隔表生成手段と、前記間隔表に示される間隔の延べ数を示す投票表を生成する投票表生成手段と、前記投票表に示される延べ数が大きい間隔を前記文字枠の間隔として仮定する間隔仮定手段と、前記文字枠の形状パターンの間隔を、前記間隔仮定手段で仮定された間隔に変更する間隔変更手段と、前記間隔変更手段により間隔が変更された文字枠の形状パターンと、前記第２の罫線抽出手段により抽出された罫線とのパターンマッチングを行い、そのパターンマッチングの結果により文字枠を特定する特定手段とを備えるように構成してもよい。

また、本発明の文字認識装置は、予めオペレータにより登録される文字枠情報に基づいて特定される文字枠を前記第３のカラーイメージデータから除去し文字を抽出する第２の文字枠除去手段を備え、前記文字枠特定手段により特定された文字枠に対応する文字枠情報を、前記予めオペレータにより登録される文字枠情報に反映させるように構成してもよい。

また、本発明の文字枠特定装置は、帳票内の文字枠を特定する文字枠特定装置であって、前記帳票のイメージデータから文字枠に対応する線分を抽出する線分抽出手段と、前記線分抽出手段により抽出された線分の各縦線から任意の２つの縦線を選択する場合の全ての組み合わせそれぞれにおいて前記任意の２つの縦線の間隔を算出し、その算出した間隔を示す間隔表を生成する間隔表生成手段と、前記間隔表に示される間隔の延べ数を示す投票表を生成する投票表生成手段と、前記投票表に示される延べ数が大きい間隔を前記文字枠の間隔として仮定する間隔仮定手段と、予め登録されている文字枠の形状パターンの間隔を、前記間隔仮定手段で仮定された間隔に変更する間隔変更手段と、前記間隔変更手段により間隔が変更された文字枠の形状パターンと、前記線分抽出手段により抽出された線分とのパターンマッチングを行い、そのパターンマッチングの結果により文字枠を特定する特定手段とを備える。

本発明によれば、文字認識装置により帳票における文字枠内の文字を認識させる際、オペレータの作業工数を低減するとともに、帳票の文字枠に使用される色に制限がかからないようにすることができる。

以下、図面を用いて本発明の実施形態を説明する。
図１は、本発明の実施形態の文字認識装置を示す図である。
図１に示す文字認識装置１は、イメージ入力部２と、イメージ読取部３と、イメージ表示部４と、解析範囲指定部５と、分類部６と、文字枠特定部７と、文字枠除去部８と、文字認識部９と、解析結果表示部１０とを備える。

図２は、文字認識装置１の動作を説明するためのフローチャートを示す図である。
まず、イメージ読取部３は、スキャナなどのイメージ入力部２から入力された帳票をカラーイメージデータ（第１のカラーイメージデータ）（以下、単に帳票という）として読み取る（Ｓ１）。

次に、イメージ表示部４は、イメージ読取部３で読み取られた帳票をディスプレイに表示する（Ｓ２）。図３（ａ）に示す例では、４桁の金額を記入することが可能な文字枠１１が示される帳票１２がディスプレイ１３の上半分に表示され、文字認識の結果及び文字枠の解析結果が示される結果表示欄１４がディスプレイ１３の下半分に表示されている。また、図３（ａ）に示す例では、ディスプレイ１３に「文字認識実行」ボタン１５が表示されており、オペレータのマウスやキーボードなどの操作により「文字認識実行」ボタン１５が押下されると、文字枠解析及び文字認識が開始される。

次に、解析範囲指定部５は、ディスプレイに表示される帳票のうち、オペレータにより指定される解析範囲のカラーイメージデータ（第２のカラーイメージデータ）（以下、単に解析範囲という）を読み込む（Ｓ３）。例えば、図３（ｂ）に示すように、オペレータは、ディスプレイ１３に表示される帳票１２を見ながらマウスやキーボードなどを操作することにより、少なくとも文字枠１１が解析範囲１６内に入るように解析範囲１６の位置や大きさを大まかに調整する。

次に、分類部６は、Ｓ３で読み込んだ解析範囲内の直線性を有するデータに基づいて、解析範囲から線分（文字枠を構成する線分、文字を構成する線分、及び文字枠や文字を構成する線分以外の線分（ノイズ）など）を抽出する（Ｓ４：線分１次抽出）。

次に、分類部６は、Ｓ４で抽出した線分以外の解析範囲から背景色（例えば、Ｓ４で抽出した線分以外の解析範囲の色において最も多い色）に対応するカラーイメージデータ（以下、単に背景という）を除去する（Ｓ５）。

次に、分類部６は、Ｓ５で背景が除去されたカラーイメージデータ（第３のカラーイメージデータ）において、Ｓ４で抽出した線分のうち、代表色（例えば、背景が除去されたカラーイメージデータ内の線分の色において最も多い色）の線分を抽出し、その抽出した線分を統合し罫線を抽出する（Ｓ６：罫線１次抽出）。このように、代表色の線分を統合して罫線を抽出することにより、スキャナ毎の色のばらつきやスキャナの光源の変化により発生する色ズレの影響を抑えることができる。なお、この罫線には文字の一部が含まれている。

次に、分類部６は、Ｓ６で抽出された罫線からセル（矩形）を抽出する（Ｓ７）。なお、このセルにも文字の一部が含まれている。
次に、分類部６は、Ｓ６で抽出された罫線又はＳ７で抽出されたセルを使用して文字枠を仮決めし、その仮決めした文字枠をＳ５で背景が除去されたカラーイメージデータから除去し（Ｓ８）、解析範囲を、背景と、文字枠と、文字とに大まかに分類する（Ｓ９）。このとき分類される文字の一部は除去されている。

次に、文字枠特定部７は、Ｓ５で背景が除去されたカラーイメージデータ内の直線性を有するデータと、Ｓ９で分類された文字枠の色を利用して、Ｓ５で背景が除去されたカラーイメージデータから文字枠を構成する線分を抽出する（Ｓ１０：線分２次抽出）。

次に、文字枠特定部７は、Ｓ１０で抽出された線分に基づいて罫線を抽出する（Ｓ１１：罫線２次抽出）。
次に、文字枠特定部７は、Ｓ１１で抽出された罫線やその罫線に基づくセルにより、解析範囲内の文字枠を単純枠、梯子枠、又は１文字枠のいずれかに特定する（Ｓ１２）。

次に、文字枠除去部８は、Ｓ９で分類された文字の色及びＳ１２で特定された文字枠の色に基づいて、文字と文字枠との重なり部分を残しつつ、Ｓ５で背景が除去されたカラーイメージデータから文字枠を除去して文字を抽出する（Ｓ１３）。例えば、図４に示すように、Ｓ９で分類された文字とＳ１２で特定された文字枠とが重なった部分の色は、文字の色や文字枠の色と異なるため、その重なった部分の色を残しつつ、Ｓ１２で特定された文字枠の色のカラーイメージデータをＳ５で背景色が除去されたカラーイメージデータから除去することにより、文字だけを抽出することができる。

次に、文字認識部９は、Ｓ１３で抽出された文字の認識を行う（Ｓ１４）。例えば、手書き文字や活字の認識を行うことが可能な既存の文字認識技術により文字認識を行ってもよい。また、予め文字の属性を登録しておき、その文字の属性に基づいて文字認識を行ってもよい。

そして、解析結果表示部１０は、Ｓ１４で認識された文字（文字認識結果）及びＳ１２で特定された文字枠の文字枠情報（文字枠の形状パターン、文字枠の色、文字枠の線種、文字枠の太さ、文字枠の枠数、文字枠のサイズ、文字枠の座標）をディスプレイに表示する（Ｓ１５）。図５に示す例では、ディスプレイ１３に表示される結果表示欄１４に、「文字認識結果：７６５０、文字枠の形状パターン：１文字枠、文字枠の色：黒、文字枠の線種：実線、文字枠の太さ：１ｍｍ、文字枠の枠数：４、文字枠のサイズ：表示している枠の通り、文字枠の座標：表示している枠の通り」と示されている。

このように、本実施形態の文字認識装置１では、始めに帳票のカラーイメージデータのうちオペレータに指定される解析範囲を大まかに背景、文字枠、及び文字に分類し、その分類結果に基づいて精度良く文字枠を特定し、その特定した文字枠を、背景を除去したカラーイメージデータから除去し、残った文字に対して文字認識を行うので、文字枠内の文字の認識の精度を向上させることができる。これにより、予め文字枠情報をオペレータにより登録させる必要がないため、文字認識時のオペレータの作業工数を低減することができる。

また、本実施形態の文字認識装置１では、帳票のカラーイメージデータに基づいて、文字枠を特定する構成であるため、文字枠に使用される色が制限されることがない。
ところで、帳票のカラーイメージデータを読み取るためのスキャナの解像度が２４０ｄｐｉで、かつ、その帳票における文字枠の太さが０．１ｍｍの場合では、文字枠のカラーイメージデータは１ｄｏｔ単位になるため、スキャナのＣＣＤカメラの間にある文字枠のカラーイメージデータは読み取れず、Ｓ６のように代表色だけで全ての罫線を抽出することは難しい。

そこで、このように解像度２４０ｄｐｉにおける０．１ｍｍの文字枠のカラーイメージデータに対しては、図６に示すように、ＲＧＢのいずれかの情報に反応しているため、エッジ成分を利用して罫線を抽出することが考えられる。

図７は、エッジ成分を利用した罫線抽出方法を説明するためのフローチャートを示す図である。
まず、図８（ａ）に示すように、スキャナなどで読み込んだ帳票のカラーイメージデータのうち、オペレータにより指定された解析範囲において線分を抽出する（ＳＴ１）。例えば、図２のＳ４のように、解析範囲内の直線性を有するデータに基づいて、解析範囲から線分（文字枠を構成する線分、文字を構成する線分、及び文字枠や文字を構成する線分以外の線分（ノイズ）など）を抽出する。

次に、図８（ｂ）に示すように、ＳＴ１で抽出した線分のうち、代表色の線分を抽出し、その抽出した線分を統合し罫線を抽出する（ＳＴ２）。
次に、図８（ｃ）に示すように、ＳＴ２で抽出した罫線のうち、まだ接続関係にありそうな箇所（破線円部分）を特定する（ＳＴ３）。例えば、ＳＴ２で抽出された罫線の位置、罫線の色、罫線の太さ、罫線の方向などにより、まだ接続関係にありそうな箇所を特定する。

次に、図８（ｄ）に示す破線円部分の拡大図のように、ＳＴ３で特定した箇所に対してエッジフィルタをかける（ＳＴ４）。
そして、図８（ｅ）に示すように、ＳＴ３で特定した箇所において、エッジフィルタをかけた後のカラーイメージデータの濃淡差が所定の閾値以上である場合、そのカラーイメージデータを統合して最終的な罫線を抽出する（ＳＴ５）。

図７に示す罫線抽出方法によれば、スキャナの解像度が２４０ｄｐｉで、かつ、太さが０．１ｍｍの文字枠に対してもその文字枠に対応する罫線を精度良く抽出することができる。

なお、図７に示す罫線抽出方法は、図２のＳ１１において罫線を抽出する際に利用してもよい。すなわち、まず、図７のＳＴ２において、図２のＳ１０で抽出された線分を統合して罫線を抽出し、次に、図７のＳＴ３において、その抽出した罫線のうち、まだ接続関係にありそうな箇所を特定し、次に、図７のＳＴ４において、ＳＴ３で特定した箇所に対してエッジフィルタをかけ、そして、図７のＳＴＥ５において、エッジフィルタをかけた後のカラーイメージデータの濃淡差が所定の閾値以上である場合、そのカラーイメージデータを統合して罫線を抽出し、図２のＳ１１において、その抽出した罫線に基づいて文字枠を特定してもよい。

また、例えば、文字枠が細いため罫線がうまく抽出されない場合、文字枠が点線であるため罫線がうまく抽出されない場合、文字枠に記入された文字の色が文字枠の色と同じため罫線がうまく抽出されない場合、装飾された文字枠に対応する罫線がうまく抽出されない場合、文字枠の縦線の間隔が等間隔でないため罫線がうまく抽出されない場合などでは、文字枠を単純枠、梯子枠、１文字枠のいずれかにうまく特定することができない。

そこで、このようにうまく文字枠を特定できない場合に対しては、例えば、まず、図９（ａ）に示すような帳票のカラーイメージから罫線を抽出し（図９（ｂ））、次に、その抽出した罫線の各縦線の間隔の延べ数が多い間隔を、罫線の各縦線のそれぞれの間隔と仮定し（図９（ｃ）：一点鎖線は補完後の縦線、破線は削除後の縦線）、そして、予め登録される文字枠の各縦線のそれぞれの間隔を、仮定した間隔に変換し、その文字枠と罫線とのパターンマッチングの結果に基づいて文字枠を特定する（図９（ｄ））ことが考えられる。

図１０は、このように文字枠を特定する際の文字枠特定方法を説明するためのフローチャートを示す図である。
まず、スキャナなどで読み込んだ帳票のカラーイメージデータのうち、オペレータにより指定された解析範囲において線分を抽出する（ＳＴＥ１）。

次に、ＳＴＥ１で抽出した線分のうち、各縦線にそれぞれ通し番号を付与するとともに、それら各縦線のそれぞれの間隔（ｄｏｔ）を算出する（ＳＴＥ２）。例えば、図１１に示すように、ＳＴＥ１で抽出した線分のうち、１０本の各縦線にそれぞれ通し番号（（１）〜（１０））を付与する。また、図１１に示す例では、（１）と（２）との間隔は３０、（２）と（３）との間隔は６０、（３）と（４）との間隔は３０、（４）と（５）との間隔は１５、（５）と（６）との間隔は１５、（６）と（７）との間隔は２０、（７）と（８）との間隔は１０、（８）と（９）との間隔は３０、（９）と（１０）との間隔は６０と算出されている。

次に、ＳＴＥ２で算出した各間隔に基づいて、各縦線から任意の２つの縦線を選択する場合の全ての組み合わせそれぞれにおいてその任意の２つの縦線の間隔を算出し、その算出した間隔を示す間隔表を生成する（ＳＴＥ３）。図１１に示す各縦線（１）〜（１０）に対応する間隔表は、例えば、図１２に示すような間隔表になる。図１２に示す間隔表において、例えば、一番上の列の「（１）」と一番左の列の「（２）」とが交わるところの数字は（１）の縦線を基準としたときの（２）の縦線までの間隔を示し、一番上の列の（３）と一番左の列の（８）とが交わるところの数字は（３）の縦線を基準としたときの（８）の縦線までの間隔を示している。

次に、ＳＴＥ３で生成した間隔表の各間隔をそれぞれ１／１にした値に対して１票ずつ投票して投票表を生成する（ＳＴＥ４）。図１１に示す各縦線（１）〜（１０）に対応する投票表は、例えば、図１３（ａ）に示すような投票表になる。図１３（ａ）に示す投票表の一番上の列に図１２に示す間隔表の各間隔が示されており、一番左の列に「１／１」及び投票数の合計（延べ数）が示されている。すなわち、図１３（ａ）に示す投票表では、例えば、間隔「３０」に対して５票が投票されていることを示している。

次に、ＳＴＥ３で生成した間隔表の各間隔をそれぞれ１／２にした値に対して２票ずつ投票し、その投票数をＳＴＥ４で生成した投票表における投票数の合計に加える（ＳＴＥ５）。なお、ＳＴＥ３で生成した間隔表の各間隔をそれぞれ１／２にした値が文字枠の間隔としてあり得ない場合は投票しないものとする。ＳＴＥ５で生成される投票表は、例えば、図１３（ｂ）に示すような投票表になる。図１３（ｂ）に示す投票表では、一番上の列に図１２に示す間隔表の各間隔及びそれら間隔を１／２にしたものが示されており、一番左の列に「１／１」、「１／２」、及び投票数の合計（延べ数）が示されている。すなわち、図１３（ｂ）に示す投票表では、例えば、間隔「３０」に対して１７票が投票されていることを示している。

次に、ＳＴＥ３で生成した間隔表の各間隔をそれぞれ１／３にした値に対して３票ずつ投票し、その投票数をＳＴＥ５で生成した投票表における投票数の合計に加える（ＳＴＥ６）。なお、ＳＴＥ３で生成した間隔表の各間隔をそれぞれ１／３にした値が文字枠の間隔としてあり得ない場合は投票しないものとする。ＳＴＥ６で生成される投票表は、例えば、図１３（ｃ）に示すような投票表になる。図１３（ｃ）に示す投票表では、一番上の列に図１２に示す間隔表の各間隔、それら各間隔を１／２にしたもの、さらに１／３にしたものが示されており、一番左の列に「１／１」、「１／２」、「１／３」、及び投票数の合計（延べ数）が示されている。すなわち、図１３（ｃ）に示す投票表では、例えば、間隔「３０」に対して３２票が投票されていることを示している。なお、本実施形態では、ＳＴＥ３で生成した間隔表の各間隔を３回分割しているが、ＳＴＥ３で生成した間隔表の各間隔の分割回数は特に限定されない。

次に、ＳＴＥ６で生成した投票表において投票数の合計が多いものを文字枠の間隔と仮定する（ＳＴＥ７）。例えば、図９（ａ）に示すように、文字枠の各縦線が等間隔である梯子枠の場合、ＳＴＥ６で生成した投票表において投票数の合計が最も多い「３０」を文字枠の間隔とする。また、１文字枠や間隔の異なる文字枠の組み合わせの場合、ＳＴＥ６で生成した投票表において投票数の合計が１番目に多いものや２番目に多いものを文字枠の間隔と仮定する。

次に、予め登録される単純枠、梯子枠、及び１文字枠の３つの文字枠の形状パターンの縦線の間隔を、それぞれ、ＳＴＥ７で仮定した間隔に変更して、３種類の文字枠を生成する（ＳＴＥ８）。例えば、文字枠の形状パターンとしては、図１４（ａ）に示す単純枠の基本形、図１４（ｂ）に示す単純枠のバリエーション１（上罫線が無いもの）、図１４（ｃ）に示す単純枠のバリエーション２（半罫線を利用したもの）、図１４（ｄ）に示す梯子枠の基本形、図１４（ｅ）に示す梯子枠のバリエーション１（太い線を利用したもの）、図１４（ｆ）に示す梯子枠のバリエーション２（点線を利用したもの）、図１４（ｇ）に示す１文字枠の基本形、図１４（ｈ）に示す１文字枠のバリエーション１（１つ目の文字枠と２つ目の文字枠を結合したもの）、図１４（ｉ）に示す１文字枠のバリエーション２（カンマにより１つ目の文字枠と２つ目の文字枠とが変形したもの）などが考えられる。

次に、ＳＴＥ１で抽出した線分とＳＴＥ８で生成した３種類の文字枠とでパターンマッチングを行い、そのパターンマッチングの結果に基づいて文字枠を特定する（ＳＴＥ９）。例えば、文字枠の形状パターンとして単純枠の各縦線の間隔を「３０」に変更した場合は、その文字枠の形状パターンには区切り線がないのに対して、ＳＴＥ１で抽出した線分には区切り線が複数あるため、単純枠でないと判断される。また、文字枠の形状パターンとして梯子枠の各縦線のそれぞれの間隔を「３０」に仮定した場合は、その文字枠の形状パターンとＳＴＥ１で抽出した線分とがほぼ一致するため、梯子枠であると判断され、図９（ｃ）に示すように、ＳＴＥ１で抽出した線分において足りない縦線が補完されるとともに、余分な縦線が削除され文字枠が特定される。このように文字枠が特定されると、残りの文字枠の形状パターンである１文字枠と、ＳＴＥ１で抽出した線分とのパターンマッチングは行われない。なお、文字枠の形状パターンとしての１文字枠とＳＴＥ１で抽出した線分とのパターンマッチングでは、各縦線のそれぞれの間隔の規則性に基づいて一致するか否かを判断してもよい。

そして、ＳＴＥ９で特定した文字枠の文字枠情報（文字枠の形状パターン、文字枠の色、文字枠の線種、文字枠の太さ、文字枠の枠数、文字枠のサイズ、文字枠の座標）を登録し、次回文字枠を特定する際に利用する（ＳＴＥ１０）。

図１０に示す文字枠特定方法によれば、文字枠が細いため罫線がうまく抽出されない場合、文字枠が点線であるため罫線がうまく抽出されない場合、文字枠に記入された文字の色が文字枠の色と同じため罫線がうまく抽出されない場合、装飾された文字枠に対応する罫線がうまく抽出されない場合、文字枠の縦線の間隔が等間隔でないため罫線がうまく抽出されない場合などでも、文字枠をうまく特定することができる。

なお、図１０に示す文字枠特定方法は、図２のＳ１２における文字枠を特定する際に利用してもよい。すなわち、図１０のＳＴＥ２において、Ｓ１１で抽出された罫線の各縦線にそれぞれ通し番号を付与するとともにそれら各縦線のそれぞれの間隔を算出し、以降、ＳＴＥ３〜ＳＴＥ８を行った後、ＳＴＥ９において、Ｓ１１で抽出された罫線とＳＴＥ８で生成した３種類の文字枠とでパターンマッチングを行い、そのパターンマッチングの結果に基づいて文字枠を特定するように構成してもよい。

また、図２のＳ１２で得られる文字枠の解析結果を、予めオペレータにより登録される文字枠情報に反映させてもよい。
図１５は、図２のＳ１２で得られた文字枠の解析結果を、予めオペレータにより登録される文字枠情報に反映する場合の文字認識装置１の動作を説明するためのフローチャートを示す図である。なお、図１５のフローチャートの動作を行う文字認識装置１では、背景が除去された帳票のカラーイメージデータから予め登録される文字枠情報に基づく文字枠を除去した後、残りの文字に対して文字認識を行う機能が追加されているものとする。

まず、文字認識装置１は、スキャナなどで読み取られた帳票のカラーイメージデータをディスプレイに表示させる（ＳＴＥＰ１）。例えば、文字枠情報を登録するための帳票定義ツール上において帳票のカラーイメージデータをディスプレイに表示される。

次に、文字認識装置１は、ディスプレイに表示される帳票のカラーイメージデータにおいて解析範囲がオペレータのマウスやキーボード操作などにより指定されたことを確認する（ＳＴＥＰ２）。このとき、オペレータは、少なくとも解析したい文字枠が含まれるように大まかに解析範囲を指定する。

次に、文字認識装置１は、ディスプレイに表示される文字枠解析実行ボタンなどがオペレータのマウスやキーボード操作により押下されたことを確認すると、ＳＴＥＰ２で指定された解析範囲について文字枠の解析を行う（ＳＴＥＰ３）。このとき、図２のＳ３〜Ｓ１２を実行することにより文字枠の解析が行われるものとする。

次に、文字認識装置１は、文字枠の解析結果である文字枠情報をディスプレイに表示させる（ＳＴＥＰ４）。例えば、図５に示すように、ディスプレイ１３の結果表示欄１４に文字枠情報が表示される。

次に、文字認識装置１は、オペレータにより文字枠情報の修正があった場合、オペレータの修正指示に基づいて文字枠情報を修正する（ＳＴＥＰ５）。オペレータは、解析結果が正しいか否かを確認し、誤っている箇所があった場合、マウスやキーボード操作によりその箇所を修正する。また、認識カテゴリ等の文字枠情報以外の情報をオペレータが追加するように構成してもよい。

そして、文字認識装置１は、ディスプレイに表示される定義格納ボタンなどがオペレータのマウスやキーボード操作により押下されたことを確認すると、ＳＴＥＰ３で得られた文字枠情報又はＳＴＥＰ５で修正された文字枠情報を、予め登録されている文字枠情報に反映する（ＳＴＥＰ６）。

従来では、文字枠情報をオペレータが手動で登録する場合、文字枠情報を登録するための帳票定義ツール上において、ディスプレイに表示される帳票のカラーイメージデータの文字枠をオペレータが１枠毎になぞるように指定していた。このように、１枠毎に文字枠をオペレータが指定していたので、文字枠情報の登録に時間がかかってしまっていた。また、細かい文字枠はディスプレイ上でその文字枠を一旦拡大することが行われていたため、その分手間がかかっていた。また、オペレータによる手動で文字枠が指定される構成であるため、指定した解析範囲と実際の文字枠とがズレて文字枠情報を正しく登録することができない場合があった。

図１５に示すフローチャートにより動作する文字認識装置１では、オペレータが大まかに解析範囲を指定するだけで、自動的に文字枠情報を得ることができ、上述のような不具合が発生することをなくすことができる。

本発明の実施形態の文字認識装置を示す図である。文字認識装置の動作を説明するためのフローチャートを示す図である。帳票のカラーイメージデータの表示画面例を示す図である。文字と文字枠との重なり部分の色を示す図である。文字認識結果及び文字枠解析結果の表示画面例を示す図である。解像度２４０ｄｐｉにおける０．１ｍｍの文字枠のカラーイメージデータとＲＧＢ情報との関係を示す図である。エッジ成分を利用した罫線抽出方法を説明するためのフローチャートを示す図である。エッジ成分を利用した罫線抽出方法を説明するための図である。文字枠特定方法の概念を説明するための図である。文字枠特定方法を説明するためのフローチャートを示す図である。線分抽出後の各縦線の間隔の一例を示す図である。間隔表の一例を示す図である。投票表の一例を示す図である。文字枠の形状パターンの一例を示す図である。文字枠の解析結果を予め登録されている文字枠情報に反映させる際の動作を説明するためのフローチャートを示す図である。

符号の説明

１文字認識装置
２イメージ入力部
３イメージ読取部
４イメージ表示部
５解析範囲指定部
６分類部
７文字枠特定部
８文字枠除去部
９文字認識部
１０解析結果表示部
１１文字枠
１２帳票
１３ディスプレイ
１４結果表示欄
１５文字認識実行ボタン

Claims

帳票を第１のカラーイメージデータとして読み取るイメージ読取手段と、
前記第１のカラーイメージデータを表示する表示手段と、
前記表示手段に表示される第１のカラーイメージデータのうち、オペレータにより指定される解析範囲に対応する第２のカラーイメージデータを抽出する解析範囲指定手段と、
前記第２のカラーイメージデータにおける直線性を有するデータに基づいて前記第２のカラーイメージデータから線分を抽出する第１の線分抽出手段と、
前記第２のカラーイメージデータから背景を除去して第３のカラーイメージデータとする背景除去手段と、
前記第１の線分抽出手段により抽出された線分の代表色を前記第３のカラーイメージデータから抽出し、その代表色と同じ色の線分を統合して罫線を抽出する第１の罫線抽出手段と、
前記第１の罫線抽出手段により抽出された罫線を前記第３のカラーイメージデータから除去して文字と文字枠とに分離する分離手段と、
前記第３のカラーイメージデータにおける直線性を有するデータと前記分離手段により分離された文字枠の色とに基づいて前記第３のカラーイメージデータから線分を抽出する第２の線分抽出手段と、
前記第２の線分抽出手段により抽出された線分に基づいて前記第３のカラーイメージデータから罫線を抽出する第２の罫線抽出手段と、
前記第２の罫線抽出手段により抽出された罫線と予め登録されている文字枠の形状パターンとに基づいて文字枠を特定する文字枠特定手段と、
前記分離手段により分離された文字の色と前記文字枠特定手段により特定された文字枠の色とに基づいて文字と文字枠との重なり部分を残しつつ前記第３のカラーイメージデータから文字枠を除去して文字を抽出する第１の文字枠除去手段と、
前記第１の文字枠除去手段により抽出された文字を認識する文字認識手段と、
を備えることを特徴とする文字認識装置。
請求項１に記載の文字認識装置であって、
前記第２の罫線抽出手段は、
前記第２の線分抽出手段により抽出された線分の代表色と同じ色の線分を前記第３のカラーイメージデータから抽出し、それら抽出した線分を統合して罫線を抽出する第３の罫線抽出手段と、
前記第３の罫線抽出手段で抽出された罫線のうち、まだ接続関係にありそうな箇所を特定する特定手段と、
前記特定手段で特定された箇所のエッジ成分に基づいて、前記箇所が接続可能か否かを判断し、その判断結果が接続可能である場合、前記箇所を接続して罫線を抽出する接続手段と、
を備えることを特徴とする文字認識装置。
請求項１又は請求項２に記載の文字認識装置であって、
前記文字枠特定手段は、
前記第２の罫線抽出手段により抽出された罫線の各縦線から任意の２つの縦線を選択する場合の全ての組み合わせそれぞれにおいて前記任意の２つの縦線の間隔を算出し、その算出した間隔を示す間隔表を生成する間隔表生成手段と、
前記間隔表に示される間隔の延べ数を示す投票表を生成する投票表生成手段と、
前記投票表に示される延べ数が大きい間隔を前記文字枠の間隔として仮定する間隔仮定手段と、
前記文字枠の形状パターンの間隔を、前記間隔仮定手段で仮定された間隔に変更する間隔変更手段と、
前記間隔変更手段により間隔が変更された文字枠の形状パターンと、前記第２の罫線抽出手段により抽出された罫線とのパターンマッチングを行い、そのパターンマッチングの結果により文字枠を特定する特定手段と、
を備えることを特徴とする文字認識装置。
請求項１〜３の何れか1項に記載の文字認識装置であって、
予めオペレータにより登録される文字枠情報に基づいて特定される文字枠を前記第３のカラーイメージデータから除去し文字を抽出する第２の文字枠除去手段を備え、
前記文字認識手段は、前記第２の文字枠除去手段により抽出された文字を認識する、
ことを特徴とする文字認識装置。
帳票内の文字枠を特定する文字枠特定装置であって、
前記帳票のイメージデータから文字枠に対応する線分を抽出する線分抽出手段と、
前記線分抽出手段により抽出された線分の各縦線から任意の２つの縦線を選択する場合の全ての組み合わせそれぞれにおいて前記任意の２つの縦線の間隔を算出し、その算出した間隔を示す間隔表を生成する間隔表生成手段と、
前記間隔表に示される間隔の延べ数を示す投票表を生成する投票表生成手段と、
前記投票表に示される延べ数が大きい間隔を前記文字枠の間隔として仮定する間隔仮定手段と、
予め登録されている文字枠の形状パターンの間隔を、前記間隔仮定手段で仮定された間隔に変更する間隔変更手段と、
前記間隔変更手段により間隔が変更された文字枠の形状パターンと、前記線分抽出手段により抽出された線分とのパターンマッチングを行い、そのパターンマッチングの結果により文字枠を特定する特定手段と、
を備えることを特徴とする文字枠特定装置。
請求項４に記載の文字認識装置であって、
前記文字枠特定手段により特定された文字枠に対応する文字枠情報を、前記予めオペレータにより登録される文字枠情報に反映させる、
ことを特徴とする文字認識装置。