JP6797763B2 - 文字認識装置 - Google Patents

Description

本発明は、印刷物等の媒体から光学的に読み取られた画像の文字を認識する文字認識装置に関する。

従来から、帳票を撮像して取得した帳票の画像情報から文字の特徴を抽出し、文字認識辞書と照合して文字の認識を行う文字認識（ＯＣＲ：Optical Character Recognition）が行われている。このような文字認識は、文字認識辞書などの文字認識に必要な資産ファイルを予め文字認識を行う端末に配布することで、様々な端末上で実現される。

文字画像を正しく文字認識する技術も色々提案されている。例えば、特許文献１では、平均線幅に比較して局所線幅が小さく、通常の走査ではサブパタンとして抽出されないストロ−ク成分のみからなるかすれパタンを抽出し、これらのストロ−ク成分に対して、入力文字の平均線幅にまで太め処理を行う文字認識装置が提案されている。

特開平７−２８９４８号公報

文字認識を行う場合、記入枠やプレプリント文字、背景色、認識したい文字を識別する必要がある。しかし、特に、明朝体で記載された帳票の場合、円や平成、年、月、日等に含まれる横線が細いため背景色と区別がつかず、掠れてしまい文字が認識できない場合がある。明朝体は横の線が細いため、印刷時あるいは光電変換時にかすれが発生してしまうためである。例えば、納期限など日付を認識する場合、年、月、日等がかすれることで、日付が確定できない場合がある。また、金額欄を認識する場合、「円」が記載される場合があるが、かすれのため円と認識できず「１１」と誤読する場合がある。

図２２は、文字の掠れにより文字認識ができない具体例である。文字認識結果例１は、入力画像が明朝体による「平成２８年１月２１日」の例である。入力画像が明朝体の場合には、図示のように、文字認識依頼画像の横線がかすれる場合がある。このようなかすれた画像を文字認識すると、２８年１月２１日あるいは２８年１２月１日のいずれかと認識されてしまう。数字が認識できても「年月日」が認識できないと正しく分離できないからである。

文字認識結果例２は、入力画像が明朝体による「２０、０００円」の例である。図示のように、文字認識依頼画像の「円」の横線がかすれてしまう場合がある。このような横線がかすれた画像を文字認識すると、「２０，０００？１」と認識されてしまう。「円」の一部をリジェクトしたり、あるいは「円」の一部を「１」と誤読してしまう場合があるからである。

本願発明は、上記課題に鑑み、細い線が含まれる文字の画像であっても、正確に文字認識ができる文字認識装置を提供することを目的とする。

上記目的を達成するために、紙媒体から変換された文字画像から文字を認識する文字認識装置において、文字画像の特定方向でかすれが発生しているかを所定の判定条件に基づき判定処理を行い、かすれが発生していると判定した箇所を強調処理する強調処理部と、を備え、前記強調処理部は、文字画像を構成する画素において、判定の基準とする比較元画素と、前記比較元画素から前記特定方向に沿った所定の位置に判定箇所を設け、前記判定箇所に属する複数の画素の画素値に基づき、前記比較元画素の前記特定方向に隣接する隣接画素でかすれが発生しているかを判定し、前記強調処理部は、前記隣接画素でかすれが発生と判定した場合に、前記隣接画素の画素値を、前記比較元画素の画素値に基づき、強調処理を行う。

本発明によれば、細い線が含まれる文字の画像であっても、正確に文字認識ができる文字認識装置を提供することができる。

帳票読取システムの構成例を示す図である。 情報処理装置のハードウェア構成を示す図である。 情報処理装置の文字認識処理に係る機能ブロック図である。 帳票処理部による帳票読取処理の手順を説明するフローチャートである。 帳票読取処理で処理される帳票の内容の例である。 キーワードテーブルの例である。 候補位置に対する項目解析の手順を示すサブルーチンである。 項目解析により処理される文字の例を順に示す図である。 二値化の閾値を説明する図である。 明朝体の強調処理を説明するサブルーチン１である。 明朝体の強調処理を説明するサブルーチン２である。 明朝体の強調処理を説明するサブルーチン３である。 明朝体の強調処理を説明するサブルーチン４である。 明朝体強調判定テーブルの例である。 右方向方走査時の探索範囲と探索方向を示す図である。 右方向方走査時の判定処理を具体的に説明する図である。 右方向方走査時の判定処理を具体的に説明する図である。 右方向方走査時の強調処理を具体的に説明する図である。 右方向方走査時の強調処理による効果を説明する図である。 左方向方走査時の判定処理を具体的に説明する図である。 左方向方走査時の強調処理による効果を説明する図である。 グレーイメージから作成された二値化イメージを示す図である。 第２の判定処理を説明する図である。 第２の判定処理で左方向方走査時を説明する図である。 かすれにより文字認識ができない例を具体的に説明する図である。

以下、図面に従って本発明の実施形態を説明する。図１は、帳票読取システム１の構成例を示す図である。帳票読取システム１は、イメージ情報（文字画像）から帳票への記載内容を読取る情報処理装置１０と、帳票を読取りイメージ情報を情報処理装置１０に出力するスキャナ２０を有する。情報処理装置１０は、汎用のパーソナルコンピュータでもよい。情報処理装置１０が、文字認識装置を実現する。

スキャナ２０は、ライン状の撮像素子あるいは２次元撮像素子を備え、撮像素子で読取った帳票等のイメージ情報を情報処理装置１０に出力する。イメージ情報は、カラーあるいはモノクロいずれでもよい。以下では、イメージ情報はカラーとする。

図２は、情報処理装置１０のハードウェア構成を示す図である。情報処理装置１０は、ＣＰＵ（Central Processing Unit）５００、ＲＡＭ（Random Access Memory）５０２、ＲＯＭ（Read Only Memory）５０４、表示処理部５０６、入出力ＩＦ（Interface）５０８、外部機器ＩＦ（Interface）５１０、モニタ５１２及びキーボード５１４等を有する。

ＣＰＵ５００は、ＯＳ（Operating System）のプログラムやアプリケーションプログラムを読込み、読込んだプログラムに従って処理を実行して、情報処理装置１０全体を統括的に制御する。ＲＡＭ５０２は、ＣＰＵ５００に実行させるＯＳのプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、ＲＡＭ５０２には、ＣＰＵ５００による処理に必要な各種データが格納される。ＲＯＭ５０４は、ＯＳのプログラムやアプリケーションプログラムを不揮発的に記憶する。また、ＲＯＭ５０４は、各種データやテーブルを不揮発的に記憶する。

表示処理部５０６には、ＣＰＵ５００からの命令にしたがって、画像をモニタ５１２の画面に表示させる。入出力ＩＦ５０８は、キーボード５１４やマウス（不図示）が接続され、キーボード５１４等からの入力操作の信号をＣＰＵ５００に通知する。外部機器ＩＦ５１０は、例えば、ＵＳＢ（Universal Serial Bus）規格により、スキャナ等の外部機器とデータの送受信を行う。モニタ５１２は、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electroluminescent）等を用いた表示装置である。キーボード５１４は、入力操作を受け付ける。ＣＰＵ５００、ＲＡＭ５０２、ＲＯＭ５０４等は、バス５１６で接続される。

図３は、情報処理装置１０における文字認識処理に係る機能ブロック図である。情報処理装置１０は、制御部１００、スキャナ制御部１１０、帳票処理部１２０及び記憶部１５０を有する。制御部１００は、情報処理装置１０全体を制御する。スキャナ制御部１１０は、スキャナ２０を制御して、帳票の読取りを行わせ、読み取られたカラーのイメージ情報を取得する。

帳票処理部１２０は、スキャナ２０から取得した帳票のカラーのイメージ情報を処理し、文字を認識して出力する。帳票処理部１２０は、項目処理部１３０を有する。

項目処理部１３０は、認識項目の位置を特定し、特定した認識項目で項目解析処理を行う。項目処理部１３０は、特定した認識項目が、明朝体で記載される可能性がある項目の場合、明朝体の横線のかすれを修正した画像を作成し文字認識する。

項目処理部１３０は、背景除去部１３１、記入枠除去部１３２、グレーイメージ作成部１３３、明朝体強調処理部１３４、二値イメージ作成部１３５、文字認識部１３６を有する。

背景除去部１３１は、スキャナ２０から出力された帳票のカラーのイメージ情報から、背景情報を取り除く処理をする。記入枠除去部１３２は、背景情報が除去されたイメージ情報から、例えば罫線の色情報に基づき、罫線を除去する。グレーイメージ作成部１３３は、罫線が除去されたカラーのイメージ情報を、モノクロの多値画像であるグレーイメージに変換する。

明朝体強調処理部１３４は、グレーイメージで、明朝体を強調する処理を行う。すなわち、明朝体強調処理部１３４は、文字画像の特定方向でかすれが発生しているかを所定の判定条件に基づき判定処理を行い、かすれが発生していると判定した箇所を強調処理する。

より具体的には、明朝体強調処理部１３４は、文字画像を構成する画素において、判定の基準とする比較元画素と、比較元画素から特定方向に沿った所定の位置に判定箇所を設け、判定箇所に属する複数の画素の画素値に基づき、比較元画素の特定方向に隣接する隣接画素でかすれが発生しているかを判定する判定処理を行う。さらに、明朝体強調処理部１３４は、隣接画素でかすれが発生と判定した場合に、隣接画素の画素値を、比較元画素の画素値に基づき、強調処理を行う。明朝体強調処理部１３４は、強調処理部とも呼ぶ。

二値イメージ作成部１３５は、明朝体強調処理されたグレーイメージを二値化して、二値イメージを生成する。文字認識部１３６は、二値イメージに基づき、文字認識を行い、認識結果を出力する。

記憶部１５０は、キーワードテーブルや強調判定テーブルを格納する。キーワードテーブルは、認識項目の位置を特定する際に参照されるもので、図６で後述する。強調判定テーブルは、明朝体強調処理時のかすれ判定処理で参照されるもので、図１１で後述する。記憶部１５０は、ＲＯＭ５０４により構成される。

また、制御部１００、スキャナ制御部１１０、帳票処理部１２０及び項目処理部１３０は、制御プログラムを読み込んだＣＰＵ５００によるソフトウェア処理により実現される。

図４は、帳票処理部１２０による帳票読取処理の手順を説明するフローチャートである。また、図５は、帳票読取処理で処理される帳票の内容である。

帳票処理部１２０は、帳票のイメージ情報から罫線を抽出する（ステップＳ１０）。すなわち、帳票処理部１２０は、帳票全体から罫線を抽出する。図５（Ａ）は、抽出された帳票の罫線の例である。

帳票処理部１２０は、帳票のイメージ情報からセルを抽出する（ステップＳ１２）。すなわち、帳票処理部１２０は、罫線で囲まれた枠をセルとしてセルＩＤを付与し、変数セルＭＡＸにセル数を保持する。図５（Ｂ）は、帳票から抽出されたセルの例である。

帳票処理部１２０は、各セルから文字を抽出する（ステップＳ１４）。すなわち、帳票処理部１２０は、セル毎に文字を抽出し、セル内の文字数及び各文字の座標を保持する。図５（Ｃ）は、セル毎に抽出された文字の例を示す図である。

帳票処理部１２０は、見出しを抽出する（ステップＳ１６）。すなわち、帳票処理部１２０は、各項目の位置特定に必要な見出しを、記憶部１５０のキーワードテーブルの見出し文字に登録された文字から、抽出する。図６は、キーワードテーブルの例である。図５（Ｄ）は、見出しとして「科目」と「納期限」が抽出された例である。

帳票処理部１２０は、セル数分だけ、ステップＳ１８ａからステップＳ１８ｂの間の処理を繰り返す。帳票処理部１２０は、見出しが含まれるセルであるかを判断する（ステップＳ２０）。帳票処理部１２０は、見出しが含まれるセルでないと判断すると（ステップＳ２０のＮｏ）、ステップＳ１８ｂに進む。

帳票処理部１２０は、見出しが含まれるセルであると判断すると（ステップＳ２０のＹｅｓ）、見出しに対して認識項目の候補を最大４候補作成する（ステップＳ２２）。見出しが含まれるセル、見出しの下のセル、見出しの右側のセル、見出しの右下のセルが各候補となる。図５（Ｅ）で、見出し「納期限」に対する候補のセルをグレーで示す。

帳票処理部１２０は、候補数分だけ、ステップＳ２４ａ〜ステップＳ２４ｂの処理を繰り返す。帳票処理部１２０は、候補位置に対して項目解析を行う（ステップＳ２６）。項目解析は、図７で後述する。

帳票処理部１２０は、候補数分のループの後、候補位置の文字認識結果を最終決定する（ステップＳ２８）。帳票処理部１２０は、セル数分の繰り返しが終了したら、認識結果を通知する（ステップＳ３０）。図５の例では、納期限＝平成２８年１月２１日、科目＝普通 が認識結果として通知される。

図７は、ステップＳ２６の候補位置に対する項目解析の手順を示すサブルーチンである。図８は、項目解析により処理される文字の例を順に示す図である。図８を参照して、図７のサブルーチンを説明する。

項目処理部１３０は、候補位置の画像に対して項目解析を行う。項目処理部１３０は、認識項目で切り出されたカラーのイメージ情報（認識依頼画像）について、以下の処理を行う。

ここで、文字を図８（Ａ）に示す「平成２８年１月２１日」とする。図８（Ａ）は、かすれのない状態での文字である。背景除去部１３１は、認識依頼画像から背景を除去する処理を行う（ステップＳ１００）。図８（Ｂ）は、背景除去処理後の画像である。認識依頼画像は、「日」の３本の横線が、右端の拡大図に示すようにかすれているとする。

記入枠除去部１３２は、認識依頼画像から記入枠を除去する処理を行う（ステップＳ１０２）。図８（Ｃ）に示すように、記入枠が除去される。グレーイメージ作成部１３３は、記入枠が除去されたカラーの認識依頼画像から、多値のグレーイメージを作成する（ステップＳ１０４）。グレーイメージは、例えば、０〜２５５の階調である。図８（Ｄ）は、グレーイメージである。

明朝体強調処理部１３４は、明朝体で印字される可能性のある項目であるかを判断する（ステップＳ１０６）。明朝体強調処理部１３４は、図６のキーワードテーブルを元に判定を行う。例えば、明朝体強調処理部１３４は、キーワードテーブルから、項目名が納期限の場合に、見出し文字が「納付期限、納期限、お支払期限」である場合には、明朝体の可能性有りと判断する。

明朝体強調処理部１３４は、項目が明朝体で印字される可能性のある項目ではないと判断すると（ステップＳ１０６のＮｏ）、ステップＳ１１０に進む。

明朝体強調処理部１３４は、項目が明朝体で印字される可能性のある項目であると判断すると（ステップＳ１０６のＹｅｓ）、明朝体強調処理を行う（ステップＳ１０８）。図８（Ｅ）は、明朝体強調処理後の、グレーイメージである。図８（Ｂ）かすれていた「日」の横線が、明朝体強調処理により復活される。明朝体強調処理は、図９以降で説明する。

二値イメージ作成部１３５は、多値のグレーイメージから二値イメージを作成する（ステップＳ１１０）。図８（Ｆ）は、二値イメージである。二値イメージ作成部１３５は、グレーイメージの画素値を所定の閾値と比較して、画素を白または黒に変換する。

図９は、二値化の閾値を説明する図である。図９（Ａ）は、固定閾値の例で、グレースケール上に設定された固定閾値の位置を示す図である。図９（Ｂ）は、動的閾値を説明する図である。図９（Ｂ）は、グレーイメージの画素数と濃度のヒストグラムである。ヒストグラムで、記入文字のグループの山と背景のグループの山が分けられるので、谷の位置に閾値が設定することができる。動的閾値によれば、取得されたグレーイメージに応じてより適切な閾値を設定することができる。文字認識部１３６は、二値イメージに基づき、文字認識を行う（ステップＳ１１２）。

図１０Ａ〜図１０Ｄは、ステップＳ１０８の明朝体の強調処理の手順を説明するサブルーチンである。また、図１１〜図１９は、明朝体の強調処理を説明するための図である。

明朝体強調処理部１３４は、スキャナ２０の解像度、帳票の認識項目の高さによって、記憶部１５０の明朝体強調判定テーブルから、適切なパラメータを取得する（ステップＳ２００）。

図１１は、明朝体強調判定テーブルの例である。スキャナ２０の解像度に応じたパラメータが設定される。スキャナ２０の解像度に応じて、判定箇所のサイズ、判定条件、判定箇所の位置が予め設定されている。図１１では、２つの解像度の例を示し、項目Ｎｏ１は、解像度が２４０ＤＰＩの場合のパラメータで、項目Ｎｏ２は、解像度が３００ＤＰＩの場合のパラメータである。

明朝体強調判定テーブルの判定条件は、かすれが発生しているかを判定する条件である。比較元の画素と、比較元画素から特定方向に沿った所定の位置にある判定箇所の画素がそれぞれ設定され、比較元の画素の画素値と判定箇所の画素の画素値から、かすれが発生しているかが判定される。

判定条件は、第１の条件と第２の条件の２つの条件があり、２つの条件の両方が満足された場合に、かすれが発生していると判定される。第１の条件は、判定箇所の縦方向の画素の分散値が所定値以上である場合である。縦方向の画素の分散値とは、判定箇所の縦方向の画素値のばらつき度合いである。

第２の条件は、判定箇所の画素の画素値が、比較元の画素の画素値に所定係数を乗じた値より小さい場合である。所定係数は判定箇所の行によって異なる。

図１１の「判定箇所の位置」は、比較元の画素と判定箇所の位置関係を示す図である。なお、図１１で示す「判定箇所の位置」は、後述する右方向走査の場合の例であって、左方向走査の場合には、注目画素と判定箇所の関係が左右逆になる。

図１１の「判定箇所の位置」で、「○」で示す画素が比較元画素で、斜線で示す画素が判定箇所の画素である。解像度が２４０ＤＰＩの場合には、判定箇所は横２×縦３の領域の画素になる。解像度が３００ＤＰＩの場合には、判定箇所は横２×縦５の領域の画素になる。なお、以下の説明では、特に断りがない限り、スキャナ２０の解像度を２４０ＤＰＩとし、判定条件は図１１の項目Ｎｏ１に従った条件とする。

明朝体強調処理部１３４は、強調処理を右方向走査と左方向走査に分けて行う。右方向走査とは、右方向に向かって走査してかすれの発生を検出して強調（補正）する処理である。左方向走査は、逆に左方向に向かって走査してかすれの発生を検出して強調（補正）する処理である。右方向走査から説明する。

明朝体強調処理部１３４は、探索位置(ｘ，ｙ)を初期化する（ステップＳ２０２）。図１２は、右方向方走査時の、認識項目に対する探索範囲と探索方向を示す図である。認識項目の幅Ｄｘ、認識項目の高さＤｙとする。右方向走査では、左上隅が探索開始位置 (ｘ，ｙ)＝（０，０）となる。探索開始位置から、右方向に向かって走査がされ、右下隅が探索終了位置になる。右下隅は例えば（２００，１６）である。また、以下では、強調処理の対象として、「平成２８年１月２１日」の「日」を例にする。

図１３（Ａ）は、図８（Ｄ）と同じ「平成２８年１月２１日」のグレーイメージである。図１３（Ｂ）は、「日」の領域を拡大した拡大図である。図１３（Ｂ）での最小区画を１画素とする。画素値を０（黒）〜２５５（白）とし、便宜上５段階での階調を示す。

図１３（Ｃ）は、図１３（Ｂ）の左上のＰ領域（横４×縦５）の拡大図である。＃１と＃２は、それぞれ比較元となる画素の位置とする。また、比較元＃１に対応する判定箇所を判定箇所（＃１）、比較元＃２に対応する判定箇所を判定箇所（＃２）とする。

明朝体強調処理部１３４は、ステップＳ２０４ａ〜ステップＳ２０４ｂで、認識項目の高さ分（Ｄｙ）のループを行う。すなわち、明朝体強調処理部１３４は、ｙ＝１から、繰り返しごとにｙを＋1して、|ｙ|＜＝認識項目の高さ（Ｄｙ）に達したら処理を終了する。

明朝体強調処理部１３４は、ステップＳ２０６ａ〜ステップＳ２０６ｂで、認識項目の幅分（Ｄｘ）のループを行う。すなわち、明朝体強調処理部１３４は、ｘ＝１から、繰り返しごとにｘを＋1して、|ｘ|＜＝認識項目の幅（Ｄｘ）に達したら処理を終了する。

明朝体強調処理部１３４は、ステップＳ２０８ａからステップＳ２０８ｂの間で、判定箇所の幅分（Δｘ´）のループを行う。すなわち、明朝体強調処理部１３４は、ｘ´＝１から、繰り返しごとにｘ´を＋1して、ｘ´＜＝判定箇所の幅（Δｘ´）に達したら処理を終了する。(ｘ´，ｙ´)は、判定箇所における座標である。本例では、ｘ´＝１，２、ｙ´＝１，２，３、Δｘ´＝２である。

図１４（Ａ）は、比較元画素（○印）と判定箇所の拡大図である。判定箇所の画素を、図１４（Ａ）のように、画素ａ、ｂ、ｃ、ｄ、ｅ、ｆとする。ｘ´＝１の列（ａ，ｂ，ｃ）について、縦方向の分散値（第１の条件）の判定が行われ、続いて比較元画素との画素値の比較判定（第２の条件）が行われる。次に、ｘ´＝２の列（ｄ，e，ｆ）について、縦方向の分散値（第１の条件）の判定が行われ、続いて比較元画素との画素値の大小判定（第２の条件）が行われる。

まず、明朝体強調処理部１３４は、縦方向の分散値の条件（第１の条件）について判定を行う。明朝体強調処理部１３４は、平均値格納変数ＡＶＥを０で初期化する（ステップＳ２１０）。

明朝体強調処理部１３４は、ステップＳ２１２ａからステップＳ２１２ｂの間で、判定箇所の高さ分（Δｙ´）のループを行う。すなわち、明朝体強調処理部１３４は、ｙ´＝１から、繰り返しごとにｙ´を＋1して、ｙ´＜＝判定箇所の高さに達したら処理を終了する。

明朝体強調処理部１３４は、平均値格納変数ＡＶＥに(ｘ´，ｙ´)の値を加える（ステップＳ２１４）。明朝体強調処理部１３４は、平均値格納変数ＡＶＥを判定箇所の高さ（本例ではｙ´＝３）で割る（ステップＳ２１６）。なお、以下で、ａ、ｂ、ｃの画素値をＶａ、Ｖｂ、Ｖｃとし、Ｖａ＋Ｖｂ＋Ｖｃ→ＡＶＥ、更に、ＡＶＥ／３→ＡＶＥ とする。

明朝体強調処理部１３４は、分散値格納変数ＶＡＲを０で初期化する（ステップＳ２１８）。明朝体強調処理部１３４は、ステップＳ２２０ａからステップＳ２２０ｂの間で、判定箇所の高さ分（Δｙ´）のループを行う。すなわち、明朝体強調処理部１３４は、ｙ´＝１から、繰り返しごとにｙ´を＋1して、ｙ´＜＝判定箇所の高さ に達したら処理を終了する。

明朝体強調処理部１３４は、分散値格納変数ＶＡＲに(ＡＶＥ-(ｘ′，ｙ´))＾２の値を加える（ステップＳ２２２）。図１０Ｂに進む。明朝体強調処理部１３４は、分散値格納変数ＶＡＲを判定箇所の高さ（本例では３）で割り、分散値を算出する（ステップＳ２２４）。すなわち。分散値＝（(ＡＶＥ−Ｖａ)＾２＋(ＡＶＥ−Ｖｂ)＾２＋(ＡＶＥ−Ｖｃ)＾２）／３ となる。

明朝体強調処理部１３４は、分散値が明朝体強調判定テーブルの値以上であるかを判定する（ステップＳ２３０）。明朝体強調処理部１３４は、分散値が明朝体強調判定テーブルの値（５００）以上と判定しない場合には（ステップＳ２３０のＮｏ）、第１の条件が満足されないとしてステップＳ２０６ｂに進む。なお、この場合には、ｘ´＝２についての判定は行われない。明朝体強調処理部１３４は、ステップＳ２０６ｂからステップＳ２０６ａに戻り、比較元画素を、右方向に１つ移動させる。

明朝体強調処理部１３４は、分散値が明朝体強調判定テーブルの値以上と判定すると（ステップＳ２３０のＹｅｓ）、第１の条件が満足されたとして、続いて、第２の条件で判定を行う。

明朝体強調処理部１３４は、ステップＳ２３２ａからステップＳ２３２ｂの間で、判定箇所の高さ分（Δｙ´）のループを行う。すなわち、明朝体強調処理部１３４は、ｙ´＝１から、繰り返しごとにｙ´を＋1して、ｙ´＜＝判定箇所の高さに達したら処理を終了する。

明朝体強調処理部１３４は、(ｘ´，ｙ´)の画素値＜(ｘ，ｙ)×明朝体強調判定テーブルであるかを判定する（ステップＳ２３４）。

本例では、Ｖａ＜比較元画素の画素値×３．８
Ｖｂ＜比較元画素の画素値×２．５
Ｖｃ＜比較元画素の画素値×３．８ である。

明朝体強調処理部１３４は、(ｘ´，ｙ´)の画素値＜(ｘ，ｙ)×明朝体強調判定テーブルであると判定すると（ステップＳ２３４のＹｅｓ）、ステップＳ２３２ｂに進む。ステップＳ２３２ｂからステップＳ２０８ｂに進むと、ステップＳ２０８ａに戻り、ｘ´＝２で、同様に第１の条件と第２の条件が判定される。判定箇所の幅分の全て（Δｘ´）で、第１の条件と第２の条件が満足されると、ステップＳ２３６に進む。

明朝体強調処理部１３４は、(ｘ＋１，ｙ)に(ｘ，ｙ)の値を格納する（ステップＳ２３６）。すなわち、明朝体強調処理部１３４は、比較元画素の右隣接画素がかすれ画素であると判定して、比較元画素の右隣接画素に、比較元画素の画素値を格納する。明朝体強調処理部１３４は、(ｘ´，ｙ´)の画素値＜(ｘ，ｙ)×明朝体強調判定テーブルでないと判定すると（ステップＳ２３４のＮｏ）、ステップＳ２０６ｂに進み、ステップＳ２０６ａに戻る。

明朝体強調処理部１３４は、認識項目の全幅・全高さで右方向走査が終了したら、ステップＳ２５０に進み、左方向走査の処理を開始する。

以上の右方向走査処理の具体例を説明する。図１４（Ｂ）、図１４（Ｃ）は、それぞれ、図１３の画素＃１、＃２を比較元画素にした場合の例である。図１４（Ｂ）、図１４（Ｃ）の各画素に示す数値は、画素値である。

比較元画素（＃１）について説明する（図１４（Ｂ））。比較元画素（＃１）＝１５０、Ｖａ ＝１８０、Ｖｂ＝１９０、Ｖｃ＝９０、Ｖｄ＝１７０、Ｖe＝１９０、Ｖｆ＝１４０とする。

ｘ´＝１では、ＡＶＥ／３＝１５３、ＶＡＲ＝６０６７、分散値＝２０２２になり、第１の条件（分散値≧５００）を満足する。ｘ´＝２では、ＡＶＥ／３＝１６７、ＶＡＲ＝１２６１、分散値＝４２２になり、第１の条件を満足しない。すなわち、比較元＃１の右隣は、かすれ画素ではないと判定される。

次に、比較元画素（＃２）について説明する（図１４（Ｃ））。比較元画素（＃２）＝６０、Ｖａ ＝１９０、Ｖｂ＝９０、Ｖｃ＝１９０、Ｖｄ＝１９０、Ｖe＝１４０、Ｖｆ＝６０とする。

ｘ´＝１で、ＡＶＥ／３≒１６７、ＶＡＲ＝（１６７−１９０）^２×２＋（１６７−９０）^２＝６４８７より、分散値＝ＶＡＲ／３≒２３２９になる。第１の条件（分散値≧５００）は満足される。次に、ｘ´＝１で、第２の判定を行う。比較元画素（＃２）＝６０であるので、比較元画素（＃２）×３．８＝２２８、比較元画素（＃２）×２．５＝１５０となる。Ｖａ ＝１９０、Ｖｂ＝９０、Ｖｃ＝１９０であるから、図１１のテーブルにより、第２の条件も満足される。

同様に、ｘ´＝２で、分散値＝ＶＡＲ／３≒２８６７になり、第１の条件は満足される。ｘ´＝２でも、第２の条件も満足される。以上から、比較元画素（＃２）では、第１の条件及び第２の条件共に満足される。

図１５は、比較元＃２の右側に隣接する隣接画素ｂが強調処理される様子である。隣接画素ｂの画素値が、比較元＃２の画素値（６０）に置き換えられ（図１５（Ａ））、隣接画素ｂの画素値は、９０→６０に変わる。図１５（Ｂ）は、文字「日」で、比較元＃２の隣接画素ｂが、比較元＃２の画素値（３０）に置き換えられた状態を示す。

図１６は、図８（Ｄ）で示した文字画像が、右方向走査で強調処理された状態を示す図である。文字「日」では、右方向走査の強調処理によって、横線のかすれが強調処理されて、横線が明瞭になる。しかし、図１６（Ｂ）の左に示すように、右方向走査の強調処理によっては、文字「日」の横線のかすれは改善されるが、文字「平」の左側の横線のかすれは改善されない場合もある。

〈左方向走査〉
図１０Ｃに進む。明朝体強調処理部１３４は、右方向走査の終了後、左方向走査を行う。明朝体強調処理部１３４は、探索位置(ｘ，ｙ)を初期化する（ステップＳ２５０）。図１７（Ａ）は、左方向走査時の認識項目に対する探索範囲と探索方向を示す図である。左方向走査では、右上隅が探索開始位置 (ｘ，ｙ)＝（０．０）となる。探索開始位置から、左方向に向かって走査がされ、左下隅が探索終了位置になる。明朝体強調処理部１３４は、左方向走査時においても、基本的には前述の右方向走査と同じ処理を行う。右方向走査と同様な内容については、以下、説明を簡略する。

明朝体強調処理部１３４は、ステップＳ２５２ａ〜ステップＳ２５２ｂで、認識項目の高さ分（Ｄｙ）のループを行う。前述したステップＳ２０４ａ〜ステップＳ２０４ｂと同様な処理である。明朝体強調処理部１３４は、ステップＳ２５４ａ〜ステップＳ２５４ｂで、認識項目の幅分（Ｄｘ）のループを行う。前述したステップＳ２０６ａ〜ステップＳ２０６ｂと同様な処理である。明朝体強調処理部１３４は、ステップＳ２５６ａ〜ステップＳ２５６ｂの間で、判定箇所の幅分（Δｘ´）のループを行う。前述したステップＳ２０８ａ〜ステップＳ２０８ｂと同様な処理である。

図１７（Ｂ）は、比較元画素（○印）と判定箇所の拡大図である。判定箇所の画素を、図１４（Ａ）と同様に、画素ａ、ｂ、ｃ、ｄ、ｅ、ｆとする。

まず、明朝体強調処理部１３４は、縦方向の画素の分散値（第１の条件）について判定を行う。明朝体強調処理部１３４は、判定箇所の画素の高さ分（Δｙ´）のループを行い、縦方向の平均値を求め（ステップＳ２５８）、縦方向の分散値を求める（ステップＳ２６０）。右方向走査時と同様である。

図１０Ｄに進む。明朝体強調処理部１３４は、分散値が明朝体強調判定テーブルの値以上であるかを判定する（ステップＳ２６２）。

明朝体強調処理部１３４は、分散値が明朝体強調判定テーブルの値以上と判定しない場合には（ステップＳ２６２のＮｏ）、第１の条件が満足されないとしてステップＳ２５４ｂに進む。

明朝体強調処理部１３４は、分散値が明朝体強調判定テーブルの値以上と判定すると（ステップＳ２６２のＹｅｓ）、第１の条件が満足されたとして、続いて、第２の条件で判定を行う。

明朝体強調処理部１３４は、ステップＳ２６４ａからステップＳ２６４ｂの間で、判定箇所の高さ分（Δｙ´）のループを行う。前述したステップＳ２３２ａ〜ステップＳ２３２ｂと同様な処理である。

明朝体強調処理部１３４は、(ｘ´，ｙ´)の画素値＜(ｘ，ｙ)×明朝体強調判定テーブルであるかを判定する（ステップＳ２６６）。明朝体強調処理部１３４は、(ｘ´，ｙ´)の画素値＜(ｘ，ｙ)×明朝体強調判定テーブルでないと判定すると（ステップＳ２６６のＮｏ）、ステップＳ２５４ｂに進む。

明朝体強調処理部１３４は、(ｘ´，ｙ´)の画素値＜(ｘ，ｙ)×明朝体強調判定テーブルであると判定すると（ステップＳ２６６のＹｅｓ）、ステップＳ２６４ｂに進む。判定箇所の幅分の全て（Δｘ´）で、第１の条件と第２の条件が満足されると、ステップＳ２６８に進む。

明朝体強調処理部１３４は、(ｘ―１，ｙ)に(ｘ，ｙ)の値を格納する（ステップＳ２６８）。すなわち、比較元画素の左隣接画素でかすれが発生していると判定して、比較元画素の左隣接画素に、比較元画素の画素値を格納する。

明朝体強調処理部１３４は、認識項目の全幅・全高さで左方向走査が終了したら、明朝体強調処理を終了して、図７のステップＳ１１０に進む。

図１７（Ｃ）、図１７（Ｄ）は、それぞれ、画素＃３、＃４を比較元画素にした場合の例である。画素＃３、＃４は、例えば、図１６Ｂで説明した「平」の一部である。

比較元画素（＃３）から、説明する（図１７（Ｃ））。比較元画素（＃３）＝１９０、Ｖａ ＝１９０、Ｖｂ＝１９０、Ｖｃ＝１９０、Ｖｄ＝１８０、Ｖe＝１９０、Ｖｆ＝１８０とする。
ｘ´＝１で分散値＝０で、第１の条件が満足されない。従って、比較元画素（＃３）では、強調処理は行われない。

比較元画素（＃４）について説明する（図１７（Ｃ））。比較元画素（＃４）＝４０、Ｖａ ＝１１０、Ｖｂ＝９０、Ｖｃ＝４０、Ｖｄ＝３０、Ｖe＝９０、Ｖｆ＝１１０とする。比較元画素（＃４）では、ｘ´＝１及びｘ´＝２で、分散値＞５００で、第１の条件が満足される。また、第２の条件も満足される。

これにより、比較元画素（＃４）について、左に隣接する画素ｂについて、強調処理が行われる。図１８（Ａ）は、強調処理として、比較元画素（＃４）の左に隣接する画素ｂが、比較元画素（＃４）の画素値に置換えられた状態を示す図である。このように、左方向走査によって、左方向に伸びる横線のかすれを改善することができる。図１８（Ａ）は、左方向走査によって、文字「平」の左方向に伸びる横線のかすれが改善された様子を示す図である。

図１９は、グレーイメージと、グレーイメージから作成された二値化イメージを示す図である。文字「日」を例にする。図１９は、従来の二値化イメージと強調処理がされた二値化イメージを対比した図である。

図１９（Ａ）は、明朝体強調処理部１３４による強調処理がされていない場合の、グレーイメージと二値化イメージである。「日」の横線が、基になるグレーイメージのかすれた状態であるため、二値化イメージも同様に、横線がかすれた状態となってしまう。

図１９（Ｂ）が、明朝体強調処理部１３４による明朝体強調がされた場合の、二値化イメージである。強調処理がされることによって、基になるグレーイメージで横線が明瞭になるため、二値化イメージの横線もはっきり再現される。

〈第２の判定処理〉
文字のかすれを判定する処理は、図１０Ａ〜図１０Ｄで説明した判定処理（第１の判定処理）には限らない。第１の判定処理とは異なる第２の判定処理を、図２０と図２１を用いて説明する。なお、第２の判定処理の文字認識処理に係る機能ブロック図は、第１の判定処理（図３）と同様であるので、説明は省略する。第２の判定処理は、明朝体強調処理部１３４により実行される。

第２の判定処理は、文字と判断できる黒画素(濃いグレー)の近傍でかすれる可能性が高いため、濃いグレーを起点とし、左右の隣接画素がかすれているか判定し、左右の隣接画素がかすれと判断できるような薄いグレーの場合、黒画素（濃いグレー）に置き換える処理である。

具体的には、第２の判定処理では、比較元画素と判定箇所を設定し、1画素ずつループしながら下記の条件ｉ）及び条件ii）で判定を行う。なお、判定箇所は、第１の判定処理と同様に、スキャナ２０の解像度に応じて設定してもよい。

ｉ）比較元画素が黒であるか。
ii）右方向走査時には、右側＋１、右＋２の画素及びその上下の画素がかすれの可能性がある階調であるか。

第２の判定処理では、右方向走査時には、上記条件ｉ）及びii）を全て満たした場合、比較元の右隣接画素の画素値を比較元画素の画素値に変更する。

図２０は、右方向走査時の、第２の判定処理の例を説明する図である。図２０（Ａ）は、「日」のグレーイメージを拡大した図である。階調を第１階調〜第５階調の５段階で表現してある。ここで、第１階調〜第３階調を黒の階調、第４階調をかすれの可能のある階調、第５階調を白の階調とする。また、以下の説明で用いられる比較元の画素を、＃１〜＃４で示す。

図２０（Ｂ）は、比較元＃１の判定処理を説明する図である。比較元＃１が黒の階調であるので、ｉ）の条件は満足される。また、右側＋１及び右側＋２の画素及びその上下の画素がかすれの可能性のある階調であるので、ii）の条件もクリアされる。すなわち、比較元＃１で、かすれの可能性ありと判定される。そして、比較元＃１の右側＋１の画素（隣接画素）が、比較元＃１の画素値に変更され、強調処理がされる（図２０（Ｂ）の左図）。

図２０（Ｃ）は、比較元＃２の判定処理を説明する図である。比較元＃２が黒の階調ではないため、ｉ）の条件が満足されない。すなわち、比較元＃２の右隣接画素には強調処理はされない。

図２０（Ｄ）は、比較元＃３の判定処理を説明する図である。比較元＃３が黒の階調であるので、ｉ）の条件を満足する。しかし、判定箇所の画素にかすれの可能のある階調でない画素が含まれているので、ii）の条件が満足されない。すなわち、比較元＃３の右隣接画素には強調処理はされない。

図２１は、左方向走査時の比較元＃４の処理である。比較元＃４が黒の階調で、ｉ）の条件はクリアされる。また、左側＋１、左側＋２の画素及びその上下の画素がかすれの可能性のある階調であるので、ii）の条件もクリアされる。すなわち、比較元＃４で、かすれの可能性ありと判定される。そして、比較元＃４の左側＋１の画素（隣接画素）が、比較元＃４の画素値に変更され、強調処理がされる。

〈効果〉
・明朝体文字のような細線が含まれる文字の画像で、細線のかすれが強調（補正）されるので、正確な文字認識ができるようになる。
・かすれ判定をして、かすれ発生箇所に強調（補正）処理を行うので、無用に線が太くなることが防止される。
・かすれ発生画素の画素値を隣接する画素（比較元画素）の画素値に置き換えていくので、強調処理後に、線の濃度変化が不連続になってしまうことが防止される。
・右方向走査と左方向走査をそれぞれ別々に行って、強調処理するので、左右いずれの向きに伸びる線であっても、確実にかすれが補正される。
・スキャナの解像度に応じて、判定条件を変えるので、適切なかすれ判定ができる。
・明朝体の文字と判定した場合に、強調処理を行うようにしたので、ゴシック体等の細線を含まない文字の処理で、文字認識処理の時間を節約することができる。
・グレーイメージで、強調処理を行うので、的確なかすれ判定を行うことができる。

<変形例>
上記実施形態では、明朝体文字に適用した例を説明したが、細線が含まれる字体であれば、明朝体以外の文字へも適用可能である。また、日本語に限るのもではなく、他の言語の文字に適用してもよい。

また、強調処理部は、ＣＰＵによるソフトウェア処理で実現されるものに限らない。強調処理部は、一部あるいは全部を、ゲートアレイ等のハードウェア回路で実現するようにしてもよい。

なお、本発明は上述した実施形態そのままに限定されるものではなく、実施段階でのその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成することができる。例えば、実施形態に示される全構成要素を適宜組み合わせても良い。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このような、発明の趣旨を逸脱しない範囲内において種々の変形や応用ができることはもちろんである。

１ 帳票読取システム
１０ 情報処理装置
２０ スキャナ
１００ 制御部
１１０ スキャナ制御部
１２０ 帳票処理部
１３０ 項目処理部
１３１ 背景除去部
１３２ 記入枠除去部
１３３ グレーイメージ作成部
１３４ 明朝体強調処理部
１３５ 二値イメージ作成部
１３６ 文字認識部
１５０ 記憶部
５００ ＣＰＵ
５０２ ＲＡＭ
５０４ ＲＯＭ
５０６ 表示処理部
５０８ 入出力ＩＦ
５１０ 外部機器ＩＦ
５１２ モニタ
５１４ キーボード
５１６ バス

Claims (10)

1. 紙媒体から変換された文字画像から文字を認識する文字認識装置において、
   文字画像の特定方向でかすれが発生しているかを所定の判定条件に基づき判定処理を行い、かすれが発生していると判定した箇所を強調処理する強調処理部と、を備え、
   前記強調処理部は、文字画像を構成する画素において、判定の基準とする比較元画素と、前記比較元画素から前記特定方向に沿った所定の位置に判定箇所を設け、前記判定箇所に属する複数の画素の画素値に基づき、前記比較元画素の前記特定方向に隣接する隣接画素でかすれが発生しているかを判定し、
   前記強調処理部は、前記隣接画素でかすれが発生していると判定した場合に、前記隣接画素の画素値を、前記比較元画素の画素値に基づき、強調処理を行う、
   ことを特徴とする文字認識装置。
2. 前記強調処理部は、文字画像の文字が明朝体の場合に、横方向の線について前記かすれを判定する
   ことを特徴とする請求項１に記載の文字認識装置。
3. 前記強調処理部は、前記明朝体の文字の右方向と左方向をそれぞれ前記特定方向とし、前記比較元画像を前記特定方向に走査して前記判定処理と強調処理を行う
   ことを特徴とする請求項２に記載の文字認識装置。
4. 前記強調処理部は、前記隣接画素の画素値を、前記比較元画素の画素値に置き換える
   ことを特徴とする請求項１に記載の文字認識装置。
5. 前記強調処理部は、前記所定の判定条件として、前記判定箇所に属する画素の中で、前記特定方向に直交する方向の画素について画素値の分散値を算出し、前記分散値が所定値より大きい場合に、前記かすれが発生していると判定する
   ことを特徴とする請求項１に記載の文字認識装置。
6. 前記強調処理部は、前記所定の判定条件として、前記判定箇所に属する画素の画素値が、前記比較元画素の画素値に対する所定値より小さい場合に、前記かすれが発生していると判定する
   ことを特徴とする請求項１に記載の文字認識装置。
7. 前記強調処理部は、前記所定の判定条件を、紙媒体から文字画像を生成するスキャナの解像度に応じて変える、
   ことを特徴とする請求項１に記載の文字認識装置。
8. 前記強調処理部は、グレーイメージに基づき、前記判定処理を行う
   ことを特徴とする請求項１に記載の文字認識装置。
9. 文字画像の特定方向でかすれが発生しているかを所定の判定条件に基づき判定処理を行い、かすれが発生していると判定した箇所を強調処理する強調処理部による文字認識方法において、
   前記強調処理部は、文字画像を構成する画素において、判定の基準とする比較元画素と、前記比較元画素から前記特定方向に沿った所定の位置に判定箇所を設け、前記判定箇所に属する複数の画素の画素値に基づき、前記比較元画素の前記特定方向に隣接する隣接画素でかすれが発生しているかを判定し、
   前記強調処理部は、前記隣接画素でかすれが発生していると判定した場合に、前記隣接画素の画素値を、前記比較元画素の画素値に基づき、強調処理を行う、
   ことを特徴とする文字認識方法。
10. 紙媒体から変換された文字画像から文字を認識する文字認識装置のコンピュータにかすれ強調処理を実行させるプログラムにおいて、
    文字画像の特定方向でかすれが発生しているかを所定の判定条件に基づき判定処理を行う判定処理ステップと、
    かすれが発生していると判定した箇所を強調処理する強調処理ステップと、を有し、
    前記判定処理ステップは、文字画像を構成する画素において、判定の基準とする比較元画素と、前記比較元画素から前記特定方向に沿った所定の位置に判定箇所を設け、前記判定箇所に属する複数の画素の画素値に基づき、前記比較元画素の前記特定方向に隣接する隣接画素でかすれが発生しているかを判定し、
    前記強調処理ステップは、前記判定処理ステップによって前記隣接画素でかすれが発生と判定された場合に、前記隣接画素の画素値を、前記比較元画素の画素値に基づき、強調処理を行う、
    ことを特徴とするプログラム。