JP5222776B2

JP5222776B2 - 画像処理装置及び方法

Info

Publication number: JP5222776B2
Application number: JP2009095125A
Authority: JP
Inventors: 峰伸関; 健永崎; 英輔浅野
Original assignee: Hitachi Omron Terminal Solutions Corp
Current assignee: Hitachi Omron Terminal Solutions Corp
Priority date: 2009-04-09
Filing date: 2009-04-09
Publication date: 2013-06-26
Anticipated expiration: 2029-04-09
Also published as: JP2010244472A

Description

本発明は画像処理装置及び方法に関し、例えば、文字認識処理を実行する前の前処理に関するものである。

複合機などのスキャン装置には、予め用意された複数の設定により、画質を調整することが可能である。例えば、解像度、濃度、シャープネスの値を変更できる。これらの値の設定、スキャンする紙文書の状態、スキャン回数などにより、文書中の文字が掠れる、潰れる、ノイズが発生するなどの劣化が生じる。

文字認識をする際、掠れ、潰れ、ノイズは障害となり、認識率の低下に繋がる。そのため、これらの悪影響を軽減する処理がある。例えば、入力画像から微小な小さい黒画素の塊を除去することによるノイズ除去や、特許文献１や特許文献２にあるように、文字行内にある黒画素の連なりである連結成分の幅や頻度を用いて文字の潰れや掠れがあるかどうかを判定することによる文字切り出し精度向上がある。

特開平１０−６９５２２号公報第２８５３１４号公報

Katsumi Marukawa、外２名,"Online Recognition of Unconstrained Handwritten Japanese Text Using Statistical Information",2006年 10th International Workshop on Frontiers in Handwriting Recognition

しかしながら、特許文献１及び２の技術を用いたとしても、認識対象に潰れ、掠れ及びノイズに加えて、画像中に斑状のノイズ（例えば、文字周辺に現れる斑点状のノイズ及び文字のストローク内部に現れる網状のノイズ）が含まれる場合、認識精度が大きく低下するという問題は解決することができない。

例えば、複合機などのスキャン装置には、文字のみを含む紙文書をスキャンする場合と写真や図を含む紙文書をスキャンする場合の切り換えスイッチがある。仮に、この切り替えスイッチを文写切り換えスイッチ、写真や図を含む文書をスキャンする場合を写真モード、文字を含む文書をスキャンする場合を文字モード、文字と写真を含む文書をスキャンする場合を文字写真モードと呼ぶ。文字写真モード、写真モードで生成される２値画像は、薄い色、濃い色の濃淡値を２値画像で表現するために、誤差拡散法などの処理が施される。この処理は文字記載部分にも施され、斑状のノイズが発生する。この斑状のノイズは、解像度、濃度、文字のサイズが異なると、ノイズの発生の仕方が変わる。具体的には、大量のノイズが発生する、ノイズのサイズが異なる、文字ストロークの周りに発生する場合と文字ストロークの内側に発生する場合がある。このような斑状ノイズが発生してしまうと、文字行を抽出することができなくなる場合がある。また、文字自体も変形しているため、文字識別の精度が低下してしまう。上述の特許文献１及び２に開示の技術はこのような場合に対応できていない。

本発明はこのような状況に鑑みてなされたものであり、入力された画像中から文字を認識する際、多様な斑状ノイズが発生した場合にも高精度な文字認識結果を得ることができる技術を提供するものである。

上記課題を解決するために、本発明では、文字認識処理を実行する前に、入力画像における斑状ノイズを検出して、斑状のノイズを除去等する画質補正処理を実行する。

より具体的には、本発明による画像処理装置は、斑状ノイズ画質判定処理部と、画質補正処理部を備えている。斑状ノイズ画質判定処理部は、入力画像から水平方向或いは垂直方向に連なる黒画素の集合であるランを生成し、当該ランの長さ毎に計測したランの頻度分布であるラン長頻度分布を生成し、当該ラン長頻度分布を用いて、複数種類ある斑状のノイズを検出する。また、画質補正処理部は、斑状ノイズ画質判定処理部によって検出された複数の斑状ノイズ判定結果に応じて、入力画像に対して画質の補正を行う。

文字認識処理を行う場合には、さらに、文字行抽出処理部と、文字切り出し処理部と、文字識別処理部とを設ければよい。文字行抽出処理部は、入力画像内において、文字が並んでいる領域である文字行領域を抽出する。また、文字切り出し処理部は、文字行領域から個々の文字を表す文字パタンを生成する。そして、文字識別処理部は、生成された文字パタンの特徴を抽出し、予め用意された識別辞書に存在する各文字種の特徴との類似度を算出する。

さらに具体的には、斑状ノイズ画質判定処理部は、ラン長頻度分布の各頻度、或いは各頻度を足した値を予め定められた複数の閾値を用いて、閾値処理することによって、複数の斑状ノイズを検出する。また、画質補正処理部は、予め定められたラン除去用閾値Ｔｐ以下の長さであるランを除去するラン除去処理部と、隣り合う２つのランを入力とし、それらの距離が予め定められたラン結合用閾値Ｔｑ以下である場合にその２つのランを結合するラン結合処理部と、を備えている。そして、斑状ノイズ画質判定処理部によって検出された斑状ノイズの種類に応じて、ラン除去処理部によるラン除去処理とラン結合処理部によるラン結合処理の実行順番と実行回数を変えながら、入力画像の画質を補正する。

文字識別処理部は、文字パタンにおける文字サイズが所定サイズ以下の場合には、基本となる文字パタンを学習した基本識別辞書を用いて識別処理する基本識別処理と斑状ノイズを含み小さいサイズのパタンを学習した小サイズ斑状ノイズ用識別辞書を用いて識別処理する文字識別処理を実行してそれらの結果を統合して識別結果とし、文字サイズが所定サイズより大きい場合には基本識別処理の結果を識別結果とする。

別の態様による本発明の画像処理装置は、文字行抽出処理部と、斑状ノイズ判定処理部と、画質補正処理部と、を備えている。文字行抽出処理部は、入力画像から文字が並んでいる領域である文字行領域を抽出する。斑状ノイズ判定処理部は、文字を含む入力画像から水平方向或いは垂直方向に連なる黒画素の集合であるランを生成し、長さが１の水平方向又は垂直方向のランである孤立ランを選出し、上下左右の何れかにのみランが隣接する孤立ランである孤立突起を選出し、当該孤立突起の数を用いて、前記入力画像中に斑状のノイズが含まれるか否かを判定する。さらに、画質補正処理部は、斑状ノイズ判定処理部による判定結果を用いて、文字パタン毎に画質補正を行う。

文字認識処理を行う場合には、さらに、前記文字行領域から個々の文字を表す文字パタンを生成する文字切り出し処理部と、生成された文字パタンの特徴を抽出し、予め用意された識別辞書に存在する各文字種の特徴との類似度を算出する文字識別処理部と、を設ければよい。

さらに、具体的には、画質補正処理部は、斑状ノイズ判定処理部の判定結果に応じて、ぼかし処理を実施するか決定し、当該ぼかし処理を行う場合にはぼかしの度合いを調整して前記文字パタンの画像にぼかし処理を施す。そして、文字識別処理部は、ぼかし処理が施された文字パタンに対して文字識別処理を実行する。なお、文字識別処理部は、文字パタンにおける文字サイズが所定サイズ以下の場合には、基本となる文字パタンを学習した基本識別辞書を用いて識別処理する基本識別処理と斑状ノイズを含み小さいサイズのパタンを学習した小サイズ斑状ノイズ用識別辞書を用いて識別処理する文字識別処理を実行してそれらの結果を統合して識別結果とし、文字サイズが所定サイズより大きい場合には前記基本識別処理の結果を識別結果とする。

さらなる本発明の特徴は、以下本発明を実施するための最良の形態および添付図面によって明らかになるものである。

本発明によれば、入力された画像中から文字を認識する際、多様な斑状ノイズが発生した場合にも高精度な文字認識結果を得ることが可能となる。

本発明の実施の形態の文字認識処理の全体を示すフローチャートである。本発明の実施の形態の文字認識装置の構成の一例を示すブロック図である。本発明の実施の形態の文字認識装置の構成の一例を示すブロック図である。本発明の実施の形態の斑状ノイズの例を示す図である。本発明の実施の形態の斑状ノイズの例を示す図である。本発明の実施の形態の斑状ノイズの例を示す図である。本発明の実施の形態の斑状ノイズの例を示す図である。本発明の実施の形態の斑状ノイズの例を示す図である。本発明の実施の形態の斑状ノイズの例を示す図である。本発明の実施の形態の斑状ノイズの例を示す図である。本発明の実施の形態のランの長さの頻度分布を示す図である。本発明の実施の形態のランによる斑状ノイズ画質の判定のフローチャートである。本発明の実施の形態のランの結合を示す図である。本発明の実施の形態のランの除去を示す図である。本発明の実施の形態の入力画像の画質補正のフローチャートである。本発明の実施の形態のランによる画質判定結果に基づく画質補正の例を示す図である。本発明の実施の形態のランによる画質判定結果に基づく画質補正の例を示す図である。本発明の実施の形態の孤立突起を示す図である。本発明の実施の形態の文字パタン毎の画質補正のフローチャートである。本発明の実施の形態のガウスフィルタによるぼかし処理のフローチャートである。本発明の実施の形態のガウスフィルタを示す図である。本発明の実施の形態のガウスフィルタによるぼかし処理の例を示す図である。本発明の実施の形態の文字パタン毎の画質補正のフローチャートである。一般的な文字認識処理の全体を示すフローチャートである。一般的な文字切り出しネットワークの例を示す図である。一般的な文字識別のフローチャートである。ランの長さの頻度割合分布による斑状ノイズ画質判定結果（１）を示す図である。ランの長さの頻度割合分布による斑状ノイズ画質判定結果（２）を示す図である。

本発明は、文字認識処理を高精度に行うための前処理であって、特に、入力画像に斑状ノイズが含まれる場合の画像処理（前処理）に関するものである。

以下、添付図面を参照して本発明の実施形態について説明する。ただし、本実施形態は本発明を実現するための一例に過ぎず、本発明の技術的範囲を限定するものではないことに注意すべきである。また、各図において共通の構成については同一の参照番号が付されている。

＜文字認識装置の構成＞
図２は、本発明の実施形態の一態様に係る文字認識装置の概略構成例を示すブロック図である。図２による文字認識装置２０８は、通信装置２０１と、画像取得装置２０２と、表示装置２０３と、外部記憶装置２０４と、メモリ２０５と、ＣＰＵ(Central Processing Unit)２０６と、キーボードやマウスなどの入力装置２０７とを備え、これらの各構成はＰＣＩバスなどの通信線で接続されている。図２の装置の代表例として、ＰＣ（Personal Computer）にスキャナやＯＣＲが接続されたものがある。

本実施形態の文字認識方法を実行するプログラムは、外部記憶装置２０４及び／又はメモリ２０５等の記憶装置に格納され、ＣＰＵ２０６によって実行される。ＣＰＵ２０６に入力される文字を含む画像は、複合機、スキャナ、ＯＣＲ又はデジタルカメラなどの画像取得装置２０２又は通信装置２０１から入力されてもよい。また、文字を含む画像は外部記憶装置２０４に記憶されてもよい。代表的な装置の例として、パーソナルコンピュータとディスプレイと複合機が接続されている装置がある。

文字認識の結果は、表示装置２０３に出力される。また、文字認識の結果は、通信装置２０１を経由して外部に出力されてもよく、文字認識装置２０８で実行される他のプログラムに用いられてもよい。

図３は、本発明の実施形態の他の形態に係る文字認識装置の概略構成を示すブロック図である。図３による文字認識装置３０７は、通信装置３０１と、画像スキャン装置３０２と、表示装置３０３と、メモリ３０４と、ＣＰＵ(Central Processing Unit)３０５と、ボタンなどの入力装置３０６とを備え、これらの各構成はＰＣＩバスなどの通信線で接続されている。図３の装置の代表例として複合機がある。

文字認識方法を実行するプログラムは、メモリ３０４の記憶装置に格納され、ＣＰＵ３０５によって実行される。ＣＰＵ３０５に入力される文字を含む画像は、ラインスキャナなどの画像スキャン装置３０２から取得される。文字認識の結果は、通信装置３０１を経由して外部に出力される。また、文字認識の結果は、表示装置３０３に出力されてもよく、文字認識装置３０７で実行される他のプログラムに用いられてもよい。

＜斑状のノイズの例＞
図４乃至８は、斑状ノイズを含む文書画像の例である。斑状ノイズは、その様式の違いにより複数の種類に分けて考えることができる。例えば、図４及び５では文字の大きさが異なるため、個々の文字に発生する斑状ノイズの量が異なる。また、図４及び５では文字を構成するストロークの外部に斑状ノイズが発生しているが、図６及び７では文字を構成するストロークの内部に斑状ノイズが発生している。

図７及び８は、文字を構成するストロークの内部に斑状ノイズが発生している点では同じである。ただし、図７では文字の輪郭にもノイズが含まれているのに対し、図８では文字の輪郭にはノイズが含まれていない。

また、図４や図５で発生している斑状ノイズは高さ或いは幅が１ピクセルであることが多いのに対し、図９の例では高さ或いは幅は３ピクセル以上のものも存在し、図１０の例では高さ或いは幅が２ピクセルとなっている。

以上のような多様な斑状ノイズを含む文書画像から文字を高精度に認識することは、従来の方法ではできない。

＜一般的な文字認識処理の内容＞
本発明の実施形態による文字認識処理を説明する前に、一般的な文字認識処理について説明する。図２４は、一般的な文字認識処理の全体を示すフローチャートである。特に断らない限り、各ステップの動作主体はＣＰＵ２０６又は３０５のような制御部とする。

図２４において、文字行抽出処理（Ｓ２４０２）では、入力画像２４０１が入力され、文字が並んでいる領域となる文字行領域が複数抽出される。ここでは、はじめに水平方向の連続する黒画素の連なりであるランが生成され、上下に接するランが結合される連結成分が生成され、水平方向或いは垂直方向に連続して並んでいる連結成分の領域が抽出され、得られた領域が文字行領域として出力される。そして、この文字行抽出処理（Ｓ２４０２）以降の処理は、文字行領域毎に順番に処理される。

罫線除去処理（Ｓ２４０３）では、文字行領域の画像と連結成分が入力され、画像内にある罫線が除去された画像と、罫線が除去された画像から生成された連結成分が出力される。

孤立点ノイズ除去処理（Ｓ２４０４）では、罫線除去された画像とその連結成分が入力され、画像内にある孤立したノイズが除去された画像とノイズが除去された画像から生成された連結成分が出力される。

文字切り出し処理（Ｓ２４０５）では、ノイズが除去された連結成分が入力される。そして、複数の連結成分を纏める、連結成分を切断することが行われ、図２５に示す複数の文字パタン２４０２が生成される。そして、文字パタンがネットワーク化された文字切り出しネットワーク２５０１が出力される。

さらに、基本文字識別処理（Ｓ２４０６）では、文字切り出しネットワークが入力され、個々の文字パタンの識別候補が出力される。文字識別の方法には様々な方法があるが、図２６に基本的な例を示す。

図２６を用いて文字識別の処理を説明すると、はじめに、特徴抽出処理（Ｓ２６０２）において、文字パタン２６０１が入力され、文字パタンの特徴が抽出される。特徴は、ｎ次元のベクトルとして出力され、これを特徴ベクトルと呼ぶ。

次に、距離計算処理（Ｓ２６０３）において、特徴ベクトルと辞書が入力され、文字パタンの識別候補が出力される。辞書には予め識別対象となる文字種毎の特徴ベクトルが格納されており、距離計算処理（Ｓ２６０３）では、文字パタン２６０１の特徴ベクトルと辞書の中にある文字種数の特徴ベクトルとの距離値がそれぞれ計算される。そして、距離値が小さい文字種が順にｎ個選出され、文字候補２６０５となる。ｎは一般に１〜２０くらいに収まる。また、距離値が小さいほど値が大きくなる変換を行い、距離値を変換した値である識別尤度が、文字候補には含まれる。整理すると、文字候補２６０５には、文字種と文字種に対応する識別尤度がｎ個含まれる。識別尤度が高い文字種が、文字パタンの正しい文字種である確率が高い。

図２４に戻り、知識処理（Ｓ２４０７）では、識別候補が付加された文字切り出しネットワークが入力され、ネットワーク上で、識別尤度の平均値が高くなるように文字パタンと文字種のパスが選択され、その文字種の並びが認識結果２４０８として出力される。この際、予め用意された単語のリスト中にある単語と文字種の並びが照合される場合に、照合された文字種が優先して出力されるようにする方法などもある。これは非特許文献１に詳しく記載されている。

＜本発明による文字認識処理の全体＞
図１は、本発明の実施形態による文字認識処理の全体を示すフローチャートである。特に断らない限り、各ステップの動作主体はＣＰＵ２０６又は３０５のような制御部とする。

図１において、ランによる斑状ノイズ画質判定処理（Ｓ１０２）では、入力画像１０１から複数種類の斑状ノイズが検出される。当該処理の詳細内容については後述する。

入力画像の画質補正処理（Ｓ１０３）では、入力画像のランが入力され、ランによる斑状ノイズ画質判定処理（Ｓ１０２）の判定結果に基づき、入力画像１０１の画質が補正された画像が出力される。当該処理の詳細内容については後述する。

そして、文字行抽出処理（Ｓ１０４）では、一般的な文字認識処理（図２４参照）の文字行抽出処理（Ｓ２４０２）と同じ処理が行われる。

さらに、罫線除去処理（Ｓ１０５）では、一般的な文字認識処理（図２４参照）の罫線除去（Ｓ２４０３）と同じ処理が行われる。

また、孤立点ノイズ除去処理（Ｓ１０６）では、一般的な文字認識処理（図２４参照）の孤立点ノイズ除去処理（Ｓ２４０４）と同じ処理が行われる。

文字切り出し処理（Ｓ１０７）では、一般的な文字認識処理（図２４参照）の文字切り出し処理（Ｓ２４０５）と同じ処理が行われる。

続いて、孤立突起による斑状ノイズ画質判定処理（Ｓ１０８）では、文字行領域の画像と文字行領域内のランと連結成分が入力され、ランによる斑状ノイズ画質判定とは異なるアプローチで斑状ノイズの検出が行われる。当該処理の詳細内容については後述する。

また、文字パタン毎の画質補正処理（Ｓ１０９）では、文字パタンと孤立突起による斑状ノイズ画質判定処理（Ｓ１０８）の結果が入力され、図１９のように画像縮小処理或いはぼかし処理が適時実行される。当該処理の詳細内容については後述する。

孤立突起による斑状ノイズ画質判定処理（Ｓ１０８）と文字パタン画質補正処理（Ｓ１０９）の処理が行われることにより、斑状ノイズを含む場合に文字パタンにぼかし処理を施して斑状ノイズの影響を軽減することができる。

さらに、画質補正がなされた文字パタンに対して、文字識別処理（Ｓ１１０）が実行される。当該処理の詳細内容については後述する。

最後に、知識処理（Ｓ１１１）が実行される。知識処理では、一般的な文字認識処理の知識処理（Ｓ２４０７）と同じ処理が行われる。

＜斑状のノイズ画質判定処理（Ｓ１０２）の詳細＞
斑状のノイズ画質判定処理では、まず、水平方向に連続に連なる黒画素であるランが抽出される。また、垂直方向に連続に連なる黒画素であるランが抽出される。水平方向に辿って生成されたランを水平方向ラン、垂直方向に辿って生成されたランを垂直方向ランと呼ぶ。

次に、図１１に示すように、抽出された水平方向ランと垂直方向ランを合わせて、ランの長さを横軸とする頻度分布であるランの頻度分布が生成される。次にランの頻度分布中の各頻度を、すべての水平方向ランとすべての垂直方向ランを足した数で割った分布である、ランの頻度割合分布が生成される。

そして、図１２に示すランによる斑状ノイズ画質の判定ルールにより、３種類の斑状ノイズ画質であるかどうかが判定される。図１２は、斑状ノイズの画質（斑状ノイズの種類）を判定する処理を説明するためのフローチャートである。

はじめに、単位面積当たりのランの数が予め定められた値THqpnum以上であるかどうかを判定（Ｓ１２０２）し、Thpqnum以上であれば次に進む。Thqpnum未満であれば斑状ノイズが存在しないとして終了する。以下では、各判断ステップでＮｏの場合は、当てはまる斑状ノイズが存在しないと判断される。なお、以降のプロセスは頻度割合分布を用いて判定される。判定する斑状ノイズの種類毎に分かれており、斑状ノイズの種類は３種類あるものとして説明するが、３種類に限定されるものではないのは勿論のことである。

i)まず１種類目の斑状ノイズの判定処理について説明する。はじめに、ランの長さ１の頻度割合が閾値ＴＨ１_１以上かどうか判定され（Ｓ１２０３）、閾値ＴＨ１_１以上であれば次に進む。

次に、ランの長さ９の頻度割合が閾値ＴＨ１_２以上かどうか判定され（Ｓ１２０４）、閾値ＴＨ１_２以上であれば次に進む。最後に、ランの長さが４以上７以下の頻度割合が閾値ＴＨ１_３以下かどうか判定され（Ｓ１２０５）、閾値ＴＨ１_３以下であれば、斑状ノイズ画質１（Ｓ１２０６）と判定される。

Ｓ１２０３、Ｓ１２０４、及びＳ１２０５で用いるランの長さを変更することで検出する斑状ノイズの種類は変更することができる。また、閾値の値を変更することによっても検出する斑状ノイズの種類を変更することができる。

図９の部分画像では、文字のサイズが大きく、ノイズのサイズも大きく、ストロークの周囲に大量のノイズが発生している。このような部分画像を含む画像の頻度割合分布は図２７のようになる。ランの長さが短いランの数が多く、中間的な長さのランが少なく、長いランの数が多くなるため、これに合わせたパラメタを設定することで、図９の斑状ノイズが検出することができる。例えば上記パラメタをＴＨ１_１＝０．４、ＴＨ１_２＝０．０４、ＴＨ１_３＝０．１とすることで、図９のような斑状ノイズを検出することができる。

ii)２種類目以降の斑状ノイズについても１種類目の斑状ノイズと同じように判定する。２種類目の斑状ノイズの判定処理では、はじめに、ランの長さ１の頻度割合が閾値ＴＨ２_１以上かどうか判定され（Ｓ１２０７）、閾値ＴＨ２_１以上であれば次に進む。次に、ランの長さ９の頻度割合が閾値ＴＨ２_２以上かどうか判定され（Ｓ１２０８）、閾値ＴＨ２_２以上であれば次に進む。

最後に、ランの長さが３以上５以下の頻度割合が閾値ＴＨ２_３以上かどうか判定され（Ｓ１２０９）、閾値ＴＨ２_３以上であれば、斑状ノイズ画質２と判定される（Ｓ１２１０）。

図６の部分画像では、文字のサイズが小さく、ノイズのサイズも小さく、ストロークの内部にノイズが発生している。このような部分画像を含む画像の頻度割合分布は図２８のようになる。ランの長さが短いランの数が多く、中間的な長さのランも多く、長いランの数がわずかにあるため、これに合わせたパラメタを設定することで、図６の斑状ノイズが検出することができる。ここでの閾値の値は、ＴＨ２_１＝０．２、ＴＨ２_２＝０．０４、ＴＨ２_３＝０．３とすることで、図６のような斑状ノイズを検出することができる。

iii)３種類目の斑状ノイズ判定処理では、はじめに、ランの長さ１の頻度割合が閾値ＴＨ３_１以上かどうか判定され（Ｓ１２１１）、閾値ＴＨ３_１以上であれば次に進む。

次に、ランの長さ９の頻度割合が閾値ＴＨ３_２以上かどうか判定され（１２１２）、閾値ＴＨ３_２以上であれば次に進む。

最後に、ランの長さが３以上５以下の頻度割合が閾値ＴＨ３_３以上かどうか判定され（Ｓ１２１３）、閾値ＴＨ３_３以上であれば、斑状ノイズ画質３と判定される（１２１４）。この判定は、閾値が異なるだけで２つ目の斑状ノイズ画質２の判定と同じである。

なお、ここでの閾値の値は、ＴＨ３_１＝０．３、ＴＨ３_２＝０．０４、ＴＨ３_３＝０．２とする。斑状ノイズ画質２の判定と比較し、ランの長さ１の頻度割合に対する閾値を大きくし、中間的な長さのランの頻度割合の閾値を小さくしている。図６の画像ではストロークの内部にノイズが発生していたのに対し、この閾値にすることにより、ストロークの周囲にノイズが発生した場合を検出できる。

＜入力画像の画質補正処理（Ｓ１０３）の詳細＞
画質の補正処理では、図１３に示すランの結合による補正と図１４に示すランの除去による補正が実行される。

図１３は、水平方向のランに対するランの結合について説明するための図である。１つのラン１３０１とそれに隣り合うラン１３０２の距離がＷｐ１３０３以下であれば、ラン１３０１とラン１３０２の隙間を埋めるようにランが結合され、ラン１３０４が出力される。垂直方向へも同様の処理が行われる。これにより、Ｗｐの値を調整することができる。

一方、図１４は、水平方向のランに対するランの除去を説明するための図である。１つのラン１４０１の幅がＷｑ１４０２以下であれば、ラン１４０１は除去される。垂直方向へも同様の処理が行われる。これにより、Ｗｑの値を調整することができる。

図１５は、ランによる斑状ノイズ画質判定処理（Ｓ１０２）の判定結果に基づき、ランの結合処理とランの除去処理がどのように起動するかを説明するためのフローチャートである。入力画像のラン１５０２とランによる斑状ノイズ判定結果１５０２が入力され、これに基づいて画質補正処理が実行される。

はじめに、斑状ノイズ画質１であるか否か判断される（Ｓ１５０３）。斑状ノイズ画質１であるならば、ラン除去処理［Ｗｐ＝２］（Ｓ１５０７）が行われ、さらにラン除去処理［Ｗｑ＝２］（Ｓ１５０８）が行われる。Ｗｐ＝２は、Ｗｐ１３０３の値が２であることを示す。また、Ｗｑ＝２は、Ｗｑ１４０２の値が２であることを示す。２つの処理が行われたランが入力画像の画質補正の出力結果となる。

一方、斑状ノイズ画質１でない場合、斑状ノイズ画質２であるか否か判断される（Ｓ１５０４）。斑状ノイズ２であるならば、ラン除去処理［Ｗｐ＝１］（Ｓ１５０９）が行われ、さらにラン除去処理［Ｗｑ＝１］（Ｓ１５１０）が行われる。２つの処理が行われたランが入力画像の画質補正の出力結果となる。

さらに、斑状ノイズ画質２でない場合、次に斑状ノイズ画質３であるか否か判断される（Ｓ１５０５）。斑状ノイズ３であるならば、ラン除去処理［Ｗｐ＝１］（Ｓ１５１１）のみが行われる。この処理が行われたランが入力画像の画質補正の出力結果となる。

以上のように、パラメータを変えてラン除去処理とラン結合処理を利用することにより、複数種類の斑状ノイズ画質の補正を行うことができる。なお、ラン除去処理とラン結合処理の実行順番を変える、即ち、ラン除去処理［Ｗｐ＝１］を行い、ラン結合処理［Ｗｑ＝２］を行い、さらにラン除去処理［Ｗｑ＝３］を行うことも考えられる。このように、ラン除去処理のＷｑとラン結合処理のＷｑと実行順番と実行回数を変えることで、様々な斑状ノイズ画質の補正を行うことができる。

図１６は、ランによる画質判定処理（Ｓ１０２）により斑状ノイズ画質１と判定され、画質補正された場合の例を示す図である。１６０１が入力画像であり、画質補正後の画像が１６０２である。

図１７は、ランによる画質判定処理（Ｓ１０２）により斑状ノイズ画質２と判定され、画質補正された場合の例を示す図である。１７０１が入力画像であり、画質補正後の画像が１７０２である。

ランによる斑状ノイズ画質判定処理（Ｓ１０２）と入力画像画質補正処理（Ｓ１０３）の処理が行われることにより、図４乃至１０のような斑状ノイズが減少するため、文字を高精度に認識することが可能となる。

＜孤立突起による斑状ノイズ画質判定処理（Ｓ１０８）の詳細＞
孤立突起による斑状ノイズ画質判定処理（Ｓ１０８）では、文字行領域の画像と文字行領域内のランと連結成分が入力され、ランによる斑状ノイズ画質判定とは異なるアプローチで斑状ノイズの検出が行われる。

ここでは、図１８に示す孤立突起１８０１の検出処理について説明する。本明細書では、長さが１のランを孤立ランと呼ぶが、孤立突起とは、上下どちらかにのみ他のランが隣接する水平方向の孤立ランと、左右どちらかにのみ他のランが隣接する垂直方向の孤立ランである。補足として、上下どちらにもほかのランが隣接しない水平方向の孤立ランと、左右どちらにも他のランが隣接しない垂直方向のランを孤立点１８０２と呼ぶ。

図４及び６の例に示されるような斑状ノイズの場合、孤立突起が多く存在する。そのため、これを利用して次の数式により斑状ノイズの検出を行う。文字行ないの孤立突起の数をＮｎｕｍ、文字行の高さをＬｈ、文字行の幅をＬｗとする。また、連結成分を垂直方向に投影してヒストグラムを作成し、そのヒストグラム中の頻度が０の部分の割合をＨｉｓｔ０ｒａｔｅとする。このとき、以下の（式１）を満たす場合は、斑状ノイズがあると判定する。

以上のような処理を行うことにより、孤立突起についても検出することができるようになる。

＜文字パタン毎の画質補正処理（Ｓ１０９）の詳細＞
文字パタン毎の画質補正処理（Ｓ１０９）では、文字パタンと孤立突起による斑状ノイズ画質判定処理（Ｓ１０８）の結果が入力され、図１９のように画像縮小（Ｓ１９０２）とぼかし処理（Ｓ１９０４）が適時実行される。

図１９は、文字パタン毎の画質補正処理の詳細を説明するためのフローチャートである。はじめに、入力された文字パタンの高さ或いは幅が８０ピクセル以上であるか否かを判定される（Ｓ１９０１）。入力文字パタンの高さ或いは幅が８０ピクセル以上であれば、文字パタンは画像縮小処理が実行される（Ｓ１９０２）。そして画像縮小された文字パタンが出力される。画像の縮小方法には様々な方法を適用できるが、例えば１／２にＯＲ縮小する。１／２縮小とは、２ｘ２の４画素の領域を１画素に縮小する処理である。ＯＲ縮小とは、４画素中に１画素以上黒画素があれば縮小画素を黒にし、全てが白である場合のみ縮小画素を白にする縮小方式である。大きな文字パタンの場合、画像縮小しても文字がつぶれずに斑状ノイズを削減できる。

一方、文字パタンの高さ或いは幅が８０ピクセル未満の場合、処理はＳ１９０３に進む。ここでは、「文字パタンの高さ或いは幅が４０ピクセル以上であること」及び「孤立突起による斑状ノイズ判定により斑状ノイズありと判定されていること」の２つの条件をいずれか満たす場合に、文字パタンはぼかし処理が実行される（Ｓ１９０４）。

なお、Ｓ１９０３では、３種類目のランによる斑状ノイズ判定により斑状ノイズありと判定されている場合を加えて、３つのいずれかを満たす場合に、文字パタンがぼかし処理（Ｓ１９０４）が実行されるようにしても良い。

ぼかし処理（Ｓ１９０４）の方法には様々な方法が適用できるが、例としてガウスフィルタを用いた処理（図２０参照）が挙げられる。図２０では、はじめに、文字パタンの２値画像が多階調化される（Ｓ２００１）。多階調化とは、各画素を０から２５５の値で表現することであり、ここでは２値画像の黒画素を０、白画素を２５５へ変換する。

次に、ガウスフィルタ処理（Ｓ２００２）において、多階調化された画像にガウスフィルタによってぼかしがかけられる。ガウスフィルタとは、平滑化フィルタの１つである。一番単純な平滑化は周囲の画素値の平均値を取ることであるが、これに対してガウスフィルタは画素の空間的配置を考慮して、対象画素に近い画素に大きな重みを、対象画素から遠い画素には小さい重みをつけた加重平均を取る。この重み付けにガウス関数を用いているものである。２次元のガウス関数は、（式２）のように表される。

このフィルタの大きさを３×３、σ=1にして整数化したフィルタを図２１に示す。このガウスフィルタ２１０１をすべての画素に対してかけることによってぼかし処理が行われる。補足として、フィルタ処理前の画像をI、フィルタをBとすると、フィルタ処理後の画像IBは次の（式３）のように表される。

最後に、ガウスフィルタ処理後の画像について２値化処理が実行される（Ｓ２００３）。２値化の方法には様々な方法があるが、例えば、pタイル法や大津の方法などがある。そして、２値化された画像が出力される。

図２２は、入力文字パタンの画像２２０１とガウスフィルタ後の画像２２０２と２値化後の画像２２０３を示す図である。図２２に示されるように、ぼかし処理を行った後に２値化すると、文字パタンがより鮮明になり、この後に行われる文字認識が高精度に実行可能となる。

なお、図１９の処理では、Ｓ１９０３の判定により、ぼかし処理を行うか否かを決定している。これに加えて、斑状ノイズの判定結果の種類により、ぼかし処理（Ｓ１９０４）の度合いを変化させることもできる。例えば、斑状ノイズの１つの種類である斑状ノイズ画質１と判定された画像の場合は、前記がガウスフィルタのサイズを５×５にして、σ=2とすることにより、より広範囲に大きなぼかしをかけることができる。

＜文字識別処理（Ｓ１１０）の詳細＞
文字識別処理（Ｓ１１０）は、図１に示されるように、小サイズ斑状ノイズパタン選択処理（１１０１）と基本文字識別処理（１１０２）と小サイズ斑状ノイズ用文字識別処理（１１０３）と識別結果統合処理（１１０４）とから構成される。

斑状ノイズを含む文字パタンのうちサイズが小さい文字パタンは、通常、画質が特に劣化している場合が多い。そのため、入力画像画質補正処理（Ｓ１０３）や文字パタン画質補正処理（Ｓ１０９）において画質補正により画質が改善したとしても、文字を読み取りにくい場合がある。このような場合、ノーマルな文字識別である基本識別（１１０２）が出力する識別候補（例えば上位１５個）に正解が入らない場合がある。識別候補に正しい候補が入っていれば、後段の処理にある知識処理（Ｓ１１１）の中で、予め備えてある単語リストと照合し、正しい候補を決定することができるが、識別候補に入っていなければ正しい結果を得ることができない。

これに対し、劣化した文字パタンを予め学習しておくことで認識精度を高めることが考えられる。ただし、劣化度合いが大きくなければ識別器の認識ロバスト性は向上するが、大きく劣化した文字パタンを学習すると、通常のきれいな文字パタンの認識精度が低下してしまう。

そこで、本発明の実施形態では、ノーマルな文字や劣化度合いの低い文字を学習した辞書を参照する基本文字識別処理（１１０２）とノーマルな文字と大きく劣化した文字を学習した辞書を参照する小サイズ斑状ノイズ用文字識別処理（１１０３）を実行できるようにしておき、斑状ノイズを含む小さい文字パタンに対してのみ大きく劣化した文字パタンを学習した文字識別の識別結果を使う。ただし、必ずしも斑状ノイズの判定結果が正しいとは限らない、必ずしも小さい文字パタンだからといって認識が困難な文字とは限らない。そのため、斑状ノイズを含む小さい文字パタンと判定された際には、基本文字識別処理（１１０２）による識別結果と小サイズ斑状ノイズ用文字識別処理（１１０３）の識別結果の両方を用いて識別候補とする。これによって、正しい候補が識別候補に含まれるようになるため、認識精度が向上する。

図２３は、文字識別処理の詳細を説明するためのフローチャートである。はじめに、小サイズ斑状ノイズ文字かどうか判定される（Ｓ２３０８）。この判定は、文字行の高さとランによる斑状ノイズ判定の結果と孤立突起による斑状ノイズ判定の結果が入力され、文字行の高さが予め定められた閾値ＴＨｈ以下であり、いずれかの斑状ノイズと判定されている場合にＹＥＳ、それ以外はＮＯである。

ＹＥＳの場合、基本文字識別処理（Ｓ２３０９）と斑状ノイズ用文字識別処理（Ｓ２３１１）の両方が実行される。基本文字識別処理（Ｓ２３０９）は、ノーマルな文字と劣化の度合いの低い文字を学習した辞書２３１０を参照して実行される。斑状ノイズ用文字識別処理（Ｓ２３１１）は、ノーマルな文字と大きく劣化した文字を学習した辞書２３１２を参照して実行される。

そして、認識結果統合処理（Ｓ２３１３）において、基本文字識別結果のうち上位５位の文字種と、斑状ノイズ文字識別結果のうち上位１０位の文字種とを合わせて１５個の文字種が出力される。この際、基本文字識別結果の上位５個と斑状ノイズ用文字識別結果の上位１０位に重複する文字種がある場合には、同じ文字種の一つが削除され、斑状ノイズ用文字識別結果のうち上位１０位に続く識別候補が追加される。これを重複がなくなるまで行う。基本識別の上位ｎ個と斑状ノイズ用文字識別の上位ｍ個を合わせて出力する際、ｎとｍは変更可能である。

一方、Ｓ２３０８でＮＯの場合、基本文字識別処理（Ｓ２３０９）のみが実行され、基本識別の上位１５個の文字種が出力される。

＜その他＞
本発明は、文字認識処理のための前処理だけでなく、画像に斑状ノイズが存在する場合に画質を改善した後に行われるあらゆる処理の前処理として用いることができる。

なお、本発明は、実施形態の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をシステム或は装置に提供し、そのシステム或は装置のコンピュータ（又はＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。

また、プログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。さらに、記憶媒体から読み出されたプログラムコードが、コンピュータ上のメモリに書きこまれた後、そのプログラムコードの指示に基づき、コンピュータのＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した実施の形態の機能が実現されるようにしてもよい。

また、実施の形態の機能を実現するソフトウェアのプログラムコードを、ネットワークを介して配信することにより、それをシステム又は装置のハードディスクやメモリ等の記憶手段又はＣＤ-ＲＷ、ＣＤ-Ｒ等の記憶媒体に格納し、使用時にそのシステム又は装置のコンピュータ(又はＣＰＵやＭＰＵ)が当該記憶手段や当該記憶媒体に格納されたプログラムコードを読み出して実行するようにしても良い。

１０１・・・入力画像
１０２・・・ランによる斑状ノイズ゛画質判定
１０３・・・入力画像の画質補正
１０４・・・文字行抽出
１０５・・・罫線除去
１０６・・・孤立点ノイズ除去
１０７・・・文字切り出し
１０８・・・孤立突起による斑状ノイズ゛画質判定
１０９・・・文字パタン毎の画質補正
１１０・・・小サイズ斑状ノイズパタン選択
１１１・・・基本文字識別
１１２・・・小サイズ斑状ノイズ用文字識別
１１３・・・識別結果統合
１１４・・・知識処理
１１５・・・認識結果

Claims

入力画像から水平方向或いは垂直方向に連なる黒画素の集合であるランを生成し、当該ランの長さ毎に計測したランの頻度分布であるラン長頻度分布を生成し、当該ラン長頻度分布を用いて、複数種類ある斑状のノイズを検出する斑状ノイズ画質判定処理部と、
斑状ノイズ画質判定処理部によって検出された複数の斑状ノイズ判定結果に応じて、前記入力画像に対して画質の補正を行う画質補正処理部と、
前記入力画像内において、文字が並んでいる領域である文字行領域を抽出する文字行抽出処理部と、
前記文字行領域から個々の文字を表す文字パタンを生成する文字切り出し処理部と、
前記生成された文字パタンの特徴を抽出し、予め用意された識別辞書に存在する各文字種の特徴との類似度を算出する文字識別処理部と、を備え、
前記文字識別処理部は、前記文字パタンにおける文字サイズが所定サイズ以下の場合には、基本となる文字パタンを学習した基本識別辞書を用いて識別処理する基本識別処理と斑状ノイズを含み小さいサイズのパタンを学習した小サイズ斑状ノイズ用識別辞書を用いて識別処理する文字識別処理を実行してそれらの結果を統合して識別結果とし、前記文字サイズが前記所定サイズより大きい場合には前記基本識別処理の結果を識別結果とすることを特徴とする画像処理装置。
前記斑状ノイズ画質判定処理部は、前記ラン長頻度分布の各頻度、或いは各頻度を足した値を予め定められた複数の閾値を用いて、閾値処理することによって、前記複数の斑状ノイズを検出することを特徴とする請求項１に記載の画像処理装置。
前記画質補正処理部は、
予め定められたラン除去用閾値Ｔｐ以下の長さであるランを除去するラン除去処理部と、
隣り合う２つのランを入力とし、それらの距離が予め定められたラン結合用閾値Ｔｑ以下である場合にその２つのランを結合するラン結合処理部と、を備え、
前記斑状ノイズ画質判定処理部によって検出された斑状ノイズの種類に応じて、前記ラン除去処理部によるラン除去処理と前記ラン結合処理部によるラン結合処理の実行順番と実行回数を変えながら、前記入力画像の画質を補正することを特徴とする請求項１に記載の画像処理装置。
入力画像から文字が並んでいる領域である文字行領域を抽出する文字行抽出処理部と、
文字を含む前記入力画像から水平方向或いは垂直方向に連なる黒画素の集合であるランを生成し、長さが１の水平方向又は垂直方向のランである孤立ランを選出し、上下左右の何れかにのみランが隣接する孤立ランである孤立突起を選出し、当該孤立突起の数を用いて、前記入力画像中に斑状のノイズが含まれるか否かを判定する斑状ノイズ判定処理部と、
前記斑状ノイズ判定処理部による判定結果を用いて、文字パタン毎に画質補正を行う画質補正処理部と、
前記文字行領域から個々の文字を表す文字パタンを生成する文字切り出し処理部と、
前記生成された文字パタンの特徴を抽出し、予め用意された識別辞書に存在する各文字種の特徴との類似度を算出する文字識別処理部と、を備え、
前記文字識別処理部は、前記文字パタンにおける文字サイズが所定サイズ以下の場合には、基本となる文字パタンを学習した基本識別辞書を用いて識別処理する基本識別処理と斑状ノイズを含み小さいサイズのパタンを学習した小サイズ斑状ノイズ用識別辞書を用いて識別処理する文字識別処理を実行してそれらの結果を統合して識別結果とし、前記文字サイズが前記所定サイズより大きい場合には前記基本識別処理の結果を識別結果とすることを特徴とする画像処理装置。
前記画質補正処理部は、前記斑状ノイズ判定処理部の判定結果に応じて、ぼかし処理を実施するか決定し、当該ぼかし処理を行う場合にはぼかしの度合いを調整して前記文字パタンの画像にぼかし処理を施し、
前記文字識別処理部は、前記ぼかし処理が施された文字パタンに対して文字識別処理を実行することを特徴とする請求項４に記載の画像処理法装置。
画像処理装置における画像処理方法であって、
前記画像処理装置は、斑状ノイズ画質判定処理部と、画質補正処理部と、文字行抽出処理部と、文字切り出し処理部と、文字識別処理部と、を備え、
前記画質処理方法は、
前記斑状ノイズ画質判定処理部が、入力画像から水平方向或いは垂直方向に連なる黒画素の集合であるランを生成し、当該ランの長さ毎に計測したランの頻度分布であるラン長頻度分布を生成し、当該ラン長頻度分布を用いて、複数種類ある斑状のノイズを検出する工程と、
前記画質補正処理部が、前記斑状ノイズ画質判定処理部によって検出された複数の斑状ノイズ判定結果に応じて、前記入力画像に対して画質の補正を行う工程と、
前記文字行抽出処理部が、前記入力画像内において、文字が並んでいる領域である文字行領域を抽出する工程と、
前記文字切り出し処理部が、前記文字行領域から個々の文字を表す文字パタンを生成する工程と、
前記文字識別処理部が、前記生成された文字パタンの特徴を抽出し、予め用意された識別辞書に存在する各文字種の特徴との類似度を算出する工程と、を備え、
前記文字識別処理部は、前記文字パタンにおける文字サイズが所定サイズ以下の場合には、基本となる文字パタンを学習した基本識別辞書を用いて識別処理する基本識別処理と斑状ノイズを含み小さいサイズのパタンを学習した小サイズ斑状ノイズ用識別辞書を用いて識別処理する文字識別処理を実行してそれらの結果を統合して識別結果とし、前記文字サイズが前記所定サイズより大きい場合には前記基本識別処理の結果を識別結果とすることを特徴とする画像処理方法。
画像処理装置における画像処理方法であって、
前記画像処理装置は、文字行抽出処理部と、斑状ノイズ判定処理部と、画質補正処理部と、文字切り出し処理部と、文字識別処理部と、を備え、
前記画質処理方法は、
前記文字行抽出処理部が、入力画像から文字が並んでいる領域である文字行領域を抽出する工程と、
前記斑状ノイズ判定処理部が、文字を含む前記入力画像から水平方向或いは垂直方向に連なる黒画素の集合であるランを生成し、長さが１の水平方向又は垂直方向のランである孤立ランを選出し、上下左右の何れかにのみランが隣接する孤立ランである孤立突起を選出し、当該孤立突起の数を用いて、前記入力画像中に斑状のノイズが含まれるか否かを判定する工程と、
前記画質補正処理部が、前記斑状ノイズ判定処理部による判定結果を用いて、文字パタン毎に画質補正を行う工程と、
前記文字切り出し処理部が、前記文字行領域から個々の文字を表す文字パタンを生成すると、
前記文字識別処理部が、前記生成された文字パタンの特徴を抽出し、予め用意された識別辞書に存在する各文字種の特徴との類似度を算出する工程と、を備え、
前記文字識別処理部は、前記文字パタンにおける文字サイズが所定サイズ以下の場合には、基本となる文字パタンを学習した基本識別辞書を用いて識別処理する基本識別処理と斑状ノイズを含み小さいサイズのパタンを学習した小サイズ斑状ノイズ用識別辞書を用いて識別処理する文字識別処理を実行してそれらの結果を統合して識別結果とし、前記文字サイズが前記所定サイズより大きい場合には前記基本識別処理の結果を識別結果とすることを特徴とする画像処理方法。