JP3876584B2 - 画像検出装置及び画像検出方法 - Google Patents
画像検出装置及び画像検出方法 Download PDFInfo
- Publication number
- JP3876584B2 JP3876584B2 JP2000029070A JP2000029070A JP3876584B2 JP 3876584 B2 JP3876584 B2 JP 3876584B2 JP 2000029070 A JP2000029070 A JP 2000029070A JP 2000029070 A JP2000029070 A JP 2000029070A JP 3876584 B2 JP3876584 B2 JP 3876584B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- value
- luminance
- determination
- character
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、ディジタル画像中に含まれる記号部分を検出する画像検出に関するものであり、特に情景画像中に含まれる文字や図形などの記号部分を検出する画像検出装置及び画像検出方法、さらに検出された画像から文字を認識する文字認識装置及び文字認識方法に関するものである。
【０００２】
【従来の技術】
図１３は、例えば特開平３−４３８８１号公報に示された従来の文字列検出装置を示す構成図である。図１３において、１００は原画像中の画像検出の対象となる所定領域のディジタル信号を入力し入力画像とする画像入力部、１０１は画像入力部１００から入力する入力画像の各画素について移動平均値を求める移動平均部、１０２は前記入力画像と移動平均部１０１が算出する移動平均値とで減算を行い高周波画像を生成する画像差分部、１０３は画像差分部１０２で生成された高周波画像に対して上下限リミッタ処理を行なう上下限リミッタ、１０４は上下限リミッタ処理の加わった高周波画像に対して部分領域毎にヒストグラムを作成して２値化処理を行うヒストグラム作成・２値化部、１０５は文字列近傍のみを検出して２値画像を生成する論理演算部である。
【０００３】
次に、前記の従来技術として示す文字列検出装置の動作を説明する。まず、画像入力部１００は、画像検出を行う原画像のうち所定領域のディジタル信号を入力する。画像入力部１００で得られる入力画像は、各画素が輝度に応じた０から２５５までの階調数に画素値をとるグレースケール画像であるものとする。以下では、入力画像に含まれる各画素の量子化された画素値を「原画素値」と呼ぶ。この入力画像には、文字や図形などの記号部分として検出されるべき対象部分が含まれている。検出されるべき画像は、一定の太さからなる線素で構成されている。以下では、入力画像のうち文字や図形などの記号部分として検出されるべき対象部分を「文字部」と、それ以外の部分を「背景部」と呼ぶ。
【０００４】
次に、移動平均部１０１は入力画像を構成する各画素について、当該画素を中心とした縦１画素、横ｐ画素の部分領域を特定し、当該部分領域に含まれる全画素の原画素値から、その部分領域に関する平均画素値を算出する。平均画素値算出の対象となる部分領域の大きさは、部分領域の幅の画素数ｐによって規定される。このｐの値は、検出したい文字の幅の数倍程度になるように、予め設定しておく。移動平均部は、平均値画素値算出の対象となる画素及びその画素に対応する部分領域を順次換えながら、入力画像の全画素について、対応する平均画素値を算出する。
【０００５】
次に、画像差分部１０２は、入力画像の画素について原画素値と移動平均部１０１の求めた平均画素値とで減算を行う。この原画素値と平均画素値の減算結果を、以下では「高周波画素値」とする。画像差分部は、画像検出の対象となる全画素について高周波画素値を算出し、その結果から演算処理された画像を生成する。この演算処理された画像を、以下では「高周波画像」とする。この高周波画像においては、各画素の高周波画素値は以下のような特徴を有する。まず、文字部を構成し原画素値が大きい画素では、高周波画素値は大きくプラスに偏移する。次に、背景部であって文字部の近傍にある画素では、高周波画素値は大きくマイナスに偏移する。最後に、原画素値がなだらかに変化しているところでは、高周波画素値がほぼゼロになる。
【０００６】
次に、上下限リミッタ１０３は、この高周波画像を対象として、上下限リミッタ処理を行なう。すなわち、高周波画素値があらかじめ定めた上限値より大きい場合には、当該高周波画素値を上限値に制限し、逆に、高周波画素値があらかじめ定めた下限値より小さい場合には、当該高周波画素値を下限値に制限する。
【０００７】
次に、ヒストグラム作成・２値化部１０４は、前記上下限リミッタ処理の加わった高周波画像を、適当な大きさで複数の部分領域に分割し、各部分領域について上下限リミッタ処理された高周波画素値のヒストグラムを作成する。さらに、ヒストグラム生成・２値化部は、各部分領域高周波画素値のヒストグラムから各部分領域内の高周波画素値の平均と分散を算出し、下記式１の条件に従って高輝度２値画像Ｈ(x,y)と低輝度２値画像Ｌ(x,y)を作成する。これらの２値画像では、前記の高周波画像の特性により、画素値が大きい文字部ではＨ(x,y)が１となり、その背景部であって文字部の近傍にある画素ではＬ(x,y)が１となる。
【０００８】
【数１】
【０００９】
最後に、論理演算部１０５は、高輝度２値画像Ｈ(x,y)および低輝度２値画像Ｌ(x,y)について、下記式２の論理演算を行なう。式２において、ｌは検出対象とする文字部の線素の太さに相当する画素数であり、予め設定しておく。この論理演算により、両サイドのＬ(x,y)が１で中央のＨ(x,y)が１の部分と、両サイドのH(x,y)が１で中央のL(x,y)が１の部分だけが１となり、文字部の輪郭だけが検出された検出画像が生成される。
【００１０】
｛（H(x,y)∩L(x-l,y)）∩（H(x,y)∩L(x+l,y)）｝∪｛（Ｈ(x-l,y)∩L(x,y)）∩（Ｈ(x+l,y)∩L(x,y)）｝ … （式２）
【００１１】
【発明が解決しようとする課題】
前記、従来の文字列検出装置では、検出対象とする文字や図形などの記号部分の検出に、記号部分の大きさや線素の太さなどに依存した定数（前記ｐ及びｌ）を用いている。したがって、入力画像中に含まれる文字や図形などの記号部分の大きさ及び線素の太さが予め明らかでない場合には正確に文字や図形などの記号部分の検出を行うことができない、という問題があった。
【００１２】
また、従来の文字列検出装置では、一度の検出処理を通じ前記文字列検出に用いる定数（前記ｐ及びｌ）が固定されている。したがって、入力画像中に幅や線素の太さの異なる文字や図形などの記号部分が含まれている場合にはそれらを同時に検出することができない、という問題もあった。
【００１３】
本発明は、前記課題を解決するためになされたものであり、検出されるべき入力画像中の図形や文字などの記号部分の大きさや線素の太さに関係なくこれらを検出することができ、記号部分の大きさや線素の太さ等が予め明らかでない場合や、入力画像中に幅や線素の太さの大きく異なる記号部分が含まれている場合であっても、これらを正確に検出することが可能な画像検出装置及び画像検出方法、並びに文字認識装置及び文字認識方法を得ることを目的としており、さらに画像検出処理や文字認識処理に要する記憶容量や処理時間をできるだけ増大させずに、高輝度の記号部分と低輝度の記号部分とを同時に検出することが可能な、画像検出装置及び画像検出方法、並びに文字認識装置及び文字認識方法を提供するものである。
【００１４】
【課題を解決するための手段】
【００１５】
前記の課題を解決し、目的を達成するために、本発明にかかる画像検出装置にあっては、入力画像を入力する画像入力手段と、この画像入力手段で入力された入力画像から画素判定の対象とする注目画素に対して大きさの異なる複数の参照領域を特定する参照領域特定手段と、この参照領域特定手段で特定された前記参照領域に含まれる画素の原画素値に基づいて、前記参照領域ごとに参照値を算出する参照値算出手段と、この参照値算出手段が算出した前記参照領域の参照値と前記注目画素の原画素値との差分値を求め、この差分値と文字部判定用の閾値との比較に基づいて前記注目画素を前記入力画像の文字部と判定する画素判定手段とを備えたことを特徴とする。
【００１６】
本発明にかかる画像検出装置にあっては、前記参照領域特定手段は、前記参照領域と同じ大きさで前記注目画素との相対的な位置が異なる複数の参照領域からなる参照領域群を特定し、前記参照値算出手段は、前記参照領域特定手段が特定した前記参照領域群を構成する参照領域の参照値を算出し、前記画素判定手段は、参照領域の参照値と前記注目画素の原画素値との差分値を求め、この差分値と第１の文字部判定用の閾値との比較に基づいて前記注目画素が前記文字部と判定されるとき、この参照領域を含む参照領域群の参照領域の参照値と前記注目画素の原画素値との差分値を求め、この差分値と第２の文字部判定用の閾値との比較に基づいて前記注目画素を前記文字部と判定することを特徴とする。
【００１７】
本発明にかかる画像検出装置にあっては、前記画素判定手段は、前記差分値と文字部判定用の閾値との比較に基づいて前記参照領域の参照値より大きい原画素値をもつ前記注目画素を高輝度文字部とする文字部判定を行い、高輝度文字部か否かを示す判定結果を出力することを特徴とする。
【００１８】
本発明にかかる画像検出装置にあっては、前記画素判定手段は、前記差分値と文字部判定用の閾値との比較に基づいて前記参照領域の参照値より小さい原画素値をもつ前記注目画素を低輝度文字部とする文字部判定を行い、低輝度文字部か否かを示す判定結果を出力することを特徴とする。
【００１９】
本発明にかかる画像検出装置にあっては、前記画素判定手段は、前記参照値算出手段が算出した前記参照領域の参照値と前記注目画素の原画素値との差分値を求め、この差分値と高輝度文字部判定用の閾値との比較に基づいて前記参照領域の参照値より大きい原画素値をもつ前記注目画素を高輝度文字部とする文字部判定を行い、高輝度文字部か否かを示す判定結果を出力するとともに、前記差分値と低輝度文字部判定用の閾値との比較に基づいて前記参照領域の参照値より小さい原画素値をもつ前記注目画素を低輝度文字部とする文字部判定を行い、低輝度文字部か否かを示す判定結果を出力することを特徴とする。
【００２０】
本発明にかかる画像検出装置にあっては、前記画素判定手段は、前記参照値算出手段が算出した前記参照領域の参照値と前記注目画素の原画素値との差分値を求め、この差分値と高輝度文字部判定用の閾値との比較に基づいて前記参照領域の参照値より大きい原画素値をもつ前記注目画素を高輝度文字部とする文字部判定と前記差分値と低輝度文字部判定用の閾値との比較に基づいて前記参照領域の参照値より小さい原画素値をもつ前記注目画素を低輝度文字部とする文字部判定を行い、前記注目画素が高輝度文字部または低輝度文字部またはこれら文字部以外のいずれかを示す判定結果を出力することを特徴とする。
【００２１】
本発明にかかる文字認識装置にあっては、本発明にかかる画像検出装置に、前記画素判定手段が前記注目画素に対して文字部判定して出力した判定結果に基づいて文字認識する文字認識手段を備えたことを特徴とする。
【００２２】
本発明にかかる画像検出方法にあっては、入力画像を入力する画像入力工程と、この画像入力工程で入力された入力画像から画素判定の対象とする注目画素に対して大きさの異なる複数の参照領域を特定する参照領域特定工程と、この参照領域特定工程で特定された前記参照領域に含まれる画素の原画素値に基づいて、前記参照領域ごとに参照値を算出する参照値算出工程と、この参照値算出工程が算出した前記参照領域の参照値と前記注目画素の原画素値との差分値を求め、この差分値と文字部判定用の閾値との比較に基づいて前記注目画素を前記入力画像の文字部と判定する画素判定工程とを有することを特徴とする。
【００２３】
本発明にかかる画像検出方法にあっては、前記参照領域特定工程は、前記参照領域と同じ大きさで前記注目画素との相対的な位置が異なる複数の参照領域からなる参照領域群を特定し、前記参照値算出工程は、前記参照領域特定工程が特定した前記参照領域群を構成する参照領域の参照値を算出し、前記画素判定工程は、参照領域の参照値と前記注目画素の原画素値との差分値を求め、この差分値と第１の文字部判定用の閾値との比較に基づいて前記注目画素が前記文字部と判定されるとき、この参照領域を含む参照領域群の参照領域の参照値と前記注目画素の原画素値との差分値を求め、この差分値と第２の文字部判定用の閾値との比較に基づいて前記注目画素を前記文字部と判定することを特徴とする。
【００２４】
本発明にかかる画像検出方法にあっては、前記画素判定工程は、前記差分値と文字部判定用の閾値との比較に基づいて前記参照領域の参照値より大きい原画素値をもつ前記注目画素を高輝度文字部とする文字部判定を行い、高輝度文字部か否かを示す判定結果を出力することを特徴とする。
【００２５】
本発明にかかる画像検出方法にあっては、前記画素判定工程は、前記差分値と文字部判定用の閾値との比較に基づいて前記参照領域の参照値より小さい原画素値をもつ前記注目画素を低輝度文字部とする文字部判定を行い、低輝度文字部か否かを示す判定結果を出力することを特徴とする。
【００２６】
本発明にかかる画像検出方法にあっては、前記画素判定工程は、前記参照値算出工程が算出した前記参照領域の参照値と前記注目画素の原画素値との差分値を求め、この差分値と高輝度文字部判定用の閾値との比較に基づいて前記参照領域の参照値より大きい原画素値をもつ前記注目画素を高輝度文字部とする文字部判定を行い、高輝度文字部か否かを示す判定結果を出力するとともに、前記差分値と低輝度文字部判定用の閾値との比較に基づいて前記参照領域の参照値より小さい原画素値をもつ前記注目画素を低輝度文字部とする文字部判定を行い、低輝度文字部か否かを示す判定結果を出力することを特徴とする。
【００２７】
本発明にかかる画像検出方法にあっては、前記画素判定工程は、前記参照値算出工程が算出した前記参照領域の参照値と前記注目画素の原画素値との差分値を求め、この差分値と高輝度文字部判定用の閾値との比較に基づいて前記参照領域の参照値より大きい原画素値をもつ前記注目画素を高輝度文字部とする文字部判定と前記差分値と低輝度文字部判定用の閾値との比較に基づいて前記参照領域の参照値より小さい原画素値をもつ前記注目画素を低輝度文字部とする文字部判定を行い、前記注目画素が高輝度文字部または低輝度文字部またはこれら文字部以外のいずれかを示す判定結果を出力することを特徴とする。
【００２８】
本発明にかかる文字認識方法にあっては、本発明にかかる画像検出方法に、前記画素判定工程が前記注目画素に対して文字部判定して出力した判定結果に基づいて文字認識する文字認識工程を有することを特徴とする。
【００２９】
【発明の実施の形態】
実施の形態１．
図１は、本実施の形態１にかかる文字認識装置の構成図である。図１において、１は画像検出の対象となる原画像を入力する画像入力部、２は画像入力部１で入力された入力画像に含まれる複数の部分領域を参照領域として特定する参照領域特定部、３は参照領域特定部２で特定された複数の参照領域について参照値を算出する参照値算出部、４は画像検出を行う所定領域に含まれる全画素について画素判定を行う画素判定部、５は画素判定部４の出力である画素判定結果を記憶して２値画像を生成する検出画像記憶部、６は検出画像記憶部５で生成された２値画像から文字を認識する文字認識部である。
【００３０】
以下、前記のように構成される文字認識装置の動作を図面に従って説明する。図２は、前記文字認識装置の処理フロー図である。まず、画像入力部１が画像検出を行う原画像のうち所定領域のディジタル信号を入力する（ステップＳ１）。画像入力部１で得られる入力画像は、各画素が輝度に応じた０から２５５までの階調数に量子化された画素値をとるグレースケール画像であり、明るい画素ほど大きな画素値になるものとする。
【００３１】
次に、参照領域特定部２は、入力画像に含まれる複数の部分領域（＃１〜＃Ｎ、Ｎは特定される参照領域の数）を参照領域として特定する（ステップＳ２）。図３は、参照領域特定部２で特定される参照領域を示した模式図である。図３において、７は文字部であるか背景部であるかの画素判定の対象となる画素、８〜１０は参照領域として特定される部分領域である。以下では、画像検出を行う所定の領域に含まれる、文字部であるか背景部であるかの画素判定の対象となる画素を「注目画素」と呼ぶ。図３では、特に参照領域特定部２が注目画素を中心として形状が同じで大きさの異なる三つの部分領域を参照領域として特定した場合について示している。この場合は、特定される参照領域の数Ｎは３である。ここで、参照領域特定部２は、最小の部分領域８を第1番目（＃１）の参照領域として、中間の大きさの部分領域９を第２番目（＃２）の参照領域として、最大の部分領域１０を第３番目（＃３）の参照領域として特定する。ここで、最小の部分領域８の大きさは、入力画像の大きさなどに応じて予め定めておく。
【００３２】
次に、参照値算出部３は、参照領域に含まれる全画素の原画素値の平均値をそれぞれ計算し、これを注目画素についての参照値とする（ステップＳ３）。ここでは、ひとつの注目画素について、特定された参照領域は複数あるので、算出される参照値も、参照領域それぞれに対応し複数算出される。
【００３３】
参照値算出部３は、入力画像のうち画像検出を行う所定領域内に含まれる全画素について、注目画素を順次換えながら前記参照値算出を繰り返し、画像検出を行う所定領域内に含まれる全画素のそれぞれに対応する複数の参照値（＃１〜＃３）を求める。
【００３４】
次に、画素判定部４は、入力画像の原画素値と、参照値算出部３で参照された当該画素に対応する複数の参照値とを比較して画像検出を行なう（ステップＳ４）。以下、ひとつの注目画素についての画素判定処理を図４により説明する。図４は、画素判定処理の処理フロー図である。図４において、ｎは参照値を特定するために示す変数である。ｎは参照値が算出対象とされた参照領域の大きさが小さい順に対応付けられており、ｎ＝１ならば最小の参照領域についての参照値を、ｎ＝Ｎならば最大の参照領域についての参照値を示す。
【００３５】
まず、画素判定部４はｎを１に初期化し（ステップＳ１１）、最小の参照領域についての参照値と注目画素の原画素値とを式３に従って比較し、注目画素が文字部であるか判定を行う（ステップＳ１２）。ここで式３は、周辺より輝度が高い画素、すなわち背景部と比較して高輝度の文字部を検出するために用いる比較条件式である。
【００３６】
原画素値−参照値 ＞ Ｃ1 … （式３）
ただし、Ｃ1は定数である。
【００３７】
次に、画素判定部は前記式３が成立したか判断し（ステップＳ１３）、成立した場合は（ステップＳ１３、Ｙｅｓ）、当該注目画素を文字部と判定して画素判定結果の出力を１とし（ステップＳ１４）、画素判定処理を終了する。一方、ステップＳ１３で前記式３が成立しなかった場合は（ステップＳ１３、Ｎｏ）、ｎに１加算した後（ステップＳ１５）、ｎが最大値Ｎより大きな値になったか判定する（ステップＳ１６）。この判定の結果、ｎがＮ以下の場合には（ステップＳ１６、Ｎｏ）、前回比較した参照値よりも１段階大きな参照領域から算出された参照値に基づいて、当該注目画素についての画素判定処理を繰り返す（ステップＳ１２、ステップＳ１３）。ステップＳ１６で、ｎがＮより大きな値になった場合は（ステップＳ１６、Ｎｏ）、全参照値との比較の結果文字部と判定されなかったので、当該注目画素を背景部と判定して画素判定結果の出力を０とし（ステップＳ１７）、画素判定処理を終了する。
【００３８】
画素判定部４は、入力画像中の画像検出を行う所定領域内に含まれる全画素について、注目画素を順次換えながら前記画素判定処理を繰り返し行う。検出画像記憶部５は、画素判定部の出力を記憶し、文字部を構成する画素のみが検出された２値画像を生成する（ステップＳ４）。最後に、文字認識部６は、検出画像記憶部で生成された２値画像から文字認識を行う（ステップＳ５）。２値画像からの文字認識法としては、例えば、電子情報通信学会論文誌Ｄ−II，Ｖｏｌ．Ｊ８１−Ｄ−II，Ｎｏ．１０，ｐｐ．２２８０−２２８７（１９９８年）「部分文字列の配置規則を考慮したナンバープレート領域抽出」に記載の方法を用いる。
【００３９】
なお、以上、画素判定部４による画素判定処理では、上述の図４に示す画素判定処理フローのステップＳ１３において、画素判定の条件として前記式３を使用し、背景部より輝度の高い文字部を検出する方法について説明したが、画素判定の条件として、式３に換えて式４を使用することで、周囲より輝度の低い画素、すなわち背景部と比較して低輝度の文字部を検出することが可能である。
【００４０】
参照値−原画素値 ＞ Ｃ2 … （式４）
ただし、Ｃ2は定数である。
【００４１】
次に、本実施の形態１を、入力画像中に大きさ及び線素の太さが異なる文字部が含まれている場合の前記文字認識処理に適用する場合を、図面に従って説明する。図５は、図３に示す参照領域の特定の概要を示す模式図である。図５において、１１は文字板の撮像、１２及び１３は文字部を構成する画素、１４は背景部を構成する画素、１５〜１７は画素１２に対応する参照領域として特定される部分領域、１８〜２０は画素１３に対応する参照領域として特定される部分領域、２１〜２３は画素１４に対応する参照領域として特定される部分領域、２４は情景画像部である。
【００４２】
入力画像には、画像検出処理の対象となる文字板の撮像１１と、その外側に画像検出処理の対象とならない情景画像部２４が含まれている。文字板の撮像１１には、背景部より高い輝度の文字部として、大きさ及び線素の太さが異なる文字部である「６」及び「７」の文字が含まれている。図５において、文字板の撮像１１内の「６」の文字は、線素が太くかつ大きな文字部であり、同じく「７」の文字は、線素が細くかつ小さな文字部である。
【００４３】
まず、画素１２が注目画素とされた場合は、画素１２の原画素値は最小の部分領域１５について算出された参照値と比較される。部分領域１５では、背景部の占める割合が大きく、参照値は原画素値より小さくなるため、前記式３を満足して画素１２は文字部と判定される。
【００４４】
次に、画素１３が注目画素とされた場合は、原画素値は最小の部分領域１８について算出された参照値と比較される。しかし、部分領域１８には輝度の高い文字部の画素のみしか含まれていないので、参照値は注目画素の原画素値とほぼ同じ値となり、式３を満足しない。この場合には、一段階大きな部分領域１９について算出される参照値と原画素値との比較判定が行われる。しかし、部分領域１９にも輝度の高い文字部の画素のみしか含まれていないので、同様に式３は満足しない。さらに、最大の部分領域２０について算出される参照値と原画素値との比較判定が行われる。部分領域２０には背景部が含まれているため、参照値は原画素値より小さくなり、前記式３を満足して画素１３が文字部と判定される。
【００４５】
最後に、画素１４が注目画素とされた場合には、部分領域２１〜２３のいずれにも背景部しか含まれないため、各参照領域について算出される参照値と原画素値との比較においては式３が満足されることはない。したがって、画素１４は最終的に背景部と判定される。
【００４６】
なお、画素１２のように、注目画素が文字板の撮像１１の端にある場合に、たとえば部分領域１７のごとき大きな参照領域が最初から特定されると、当該参照領域内に文字板の撮像の外部にある情景画像部２４も含まれることになる。この場合には、情景画像部の輝度に応じて算出される参照値が変化することとなり、画素判定部は注目画素１２の画素判定処理を正確に行うことができない。そこで本実施の形態１に示す文字認識装置では、大きさが異なる複数の参照領域を特定し、参照領域の大きさが小さい順に参照値と原画素値とを比較することにより、文字板の撮像の外部にある情景画像部の影響をできる限り受けないように注目画素の原画素値と参照値との比較を行う。
【００４７】
このような構成とすることで、本実施の形態１の文字認識装置は、入力画像中に含まれる文字部の大きさや線素の太さに関係なくこれらを検出することができ、文字部の大きさや線素の太さ等が予め明らかでない場合や、入力画像中に幅や線素の太さの大きく異なる文字部が含まれている場合であっても、これらを正確に画像検出及び文字認識を行うことが可能となる。また、ひとつの入力画像中に、大きさや線素の太さが大きく異なる複数の文字が含まれている場合にも、これらを同時に画像検出および文字認識することが可能である。さらに、検出されるべき文字が文字板の撮像の端にある場合でも、文字板の撮像の外部にある情景画像に影響されることなく正確に文字部の検出を行うことができる。また、注目画素を中心とした部分領域を参照領域として特定し周辺領域にある画素の原画素値を参照値の算出に反映することで、輝度の高低に偏りなく画像検出を行うことができる。
【００４８】
なお、本実施の形態１では、参照領域特定部で特定される参照領域の数を三つとしたが、これは二つでも良く四つ以上であっても良い。また、参照値算出部の算出する参照値として、本実施の形態１では「参照領域に含まれる全画素の原画素値の平均値」を使用したが、これは、例えば、電子通信学会論文誌、’８０／４、Ｖｏｌ．Ｊ６３−Ｄ、Ｎｏ．４，ｐ．３４９−３５６「判別および最小２乗規準に基づく自動しきい値選定法」に記載の方法を用いてもよく、その他「参照領域に含まれる全画素の原画素値のうちの中間値」や「参照領域に含まれる全画素の原画素値のうち出現回数が最も多い画素値」など参照領域内に含まれる画素の原画素値から算出される値を用いてもよい。さらに、２値画像からの文字認識方法は、前記文献記載の方法としたが、これは他の方法でも良い。
【００４９】
実施の形態２．
本実施の形態２においては、原画像中に、背景部よりも高輝度の文字部と背景部よりも低輝度の文字部の両方が含まれている場合に、これら両方の文字部について一度の処理で画像検出を行い、その結果から高輝度の文字と低輝度の文字の両方を文字認識するものである。以下では、画像検出の対象となる背景部よりも高輝度の文字部を「高輝度文字部」と呼び、背景部よりも低輝度の文字部を「低輝度文字部」と呼ぶ。
【００５０】
図６は、文字認識装置の本実施の形態２の構成図である。なお、本実施の形態２は、先に説明した実施の形態１とは、画素判定部、検出画像記憶部、及び文字認識部が異なるものであり、その他の構成は同様であるから、同一の符号を付して説明を省略する。４ａは、画像検出を行う所定領域に含まれる全画素について画素判定を行う画素判定部で、注目画素が、高輝度文字部であるか否かの判定をおこないその判定結果を出力すると共に、低輝度文字部であるか否かの判定を行いその判定結果を出力する。次に５ａは、入力画像の画素判定結果を記憶して２値画像を生成する検出画像記憶部で、画素判定部４ａから出力される高輝度文字部であるか判定結果から高輝度文字部の２値画像を生成すると共に、低輝度文字部であるか判定結果から低輝度文字部の２値画像を生成する。６ａは、生成された２値画像から文字を認識する文字認識部で、検出画像生成部５ａで生成される高輝度文字部の２値画像から高輝度の文字を認識し、低輝度文字部の２値画像から低輝度の文字を認識する。
【００５１】
以下、前記のように構成される文字認識装置における画像検出処理及び文字認識処理を説明する。なお、本実施の形態２の文字認識装置の全体の処理フローは、前述の図２に示した実施の形態１の処理フローとは画像検出及び文字認識（ステップＳ４、Ｓ５）のみが異なるものであるため、それ以外の処理ステップについては説明を省略する。
【００５２】
まず、画素判定部４ａは、注目画素が高輝度文字部であるか判定しその判定結果を出力すると共に、注目画素が低輝度文字部であるかを判定しその判定結果を出力する。ここで画素判定部の出力は、注目画素が高輝度文字部である場合には、高輝度文字部であるかの判定結果が１、他方低輝度文字部であるかの判定結果が０となる（画素判定部４ａの出力は［１，０］）。逆に、注目画素が低輝度文字部である場合には、低輝度文字部であるかの判定結果が１、他方高輝度文字部であるかの判定結果が０となる（［０，１］）。注目画素が背景部である場合には、高輝度文字部であるかの判定結果も低輝度文字部であるかの判定結果も０となる（［０，０］）。
【００５３】
以下、本実施の形態２における画素判定部４ａの処理を、図面に従って説明する。図７は、画素判定処理４ａの処理フロー図である。まず、参照領域を示す変数ｎを１で初期化し（ステップＳ２１）、最小の参照領域について算出された参照値と注目画素の原画素値とを比較する（ステップＳ２２）。次に、実施の形態１で示した式３を高輝度文字部判定の条件式として、高輝度文字部の条件が成立したかを判定し（ステップＳ２３）、条件が成立した場合には（ステップＳ２３、Ｙｅｓ）、当該注目画素が高輝度文字部であると判定して（ステップＳ２４）、高輝度文字部であるかの判定結果を１とし、当該注目画素に関する画素判定処理を終了する。この場合、画素判定部４ａの出力は［１，０］となる。
【００５４】
高輝度文字部の条件が成立しなかった場合は（ステップＳ２３、Ｎｏ）、実施の形態１で示した式４を低輝度文字部判定の条件式として、低輝度文字部の条件が成立したかを判定し（ステップＳ２５）、条件が成立と判定される場合には（ステップＳ２５、Ｙｅｓ）、当該注目画素が低輝度文字部であると判定して（ステップＳ２６）、低輝度文字部であるかの判定結果を１とし、当該注目画素に関する画素判定処理を終了する。この場合、画素判定部４ａの出力は［０，１］となる。
【００５５】
低輝度文字部の条件も成立しなかった場合は（ステップＳ２５、Ｎｏ）、ｎに１加算し（ステップＳ２７）、ｎが特定された参照領域の数Ｎより大きな値であるか、すなわち当該注目画素に対応した全参照値との比較が終了したかを否かを判定する（ステップＳ２８）。この結果、ｎがＮ以下の場合には（ステップＳ２８、Ｎｏ）、ステップＳ２２へ戻って、前回比較した参照値よりも１段階大きな参照領域について算出された参照値と注目画素の原画素値とを比較し、注目画素に関する画素判定を繰り返す（ステップＳ２３、Ｓ２５）。一方、ステップＳ２８における判定の結果、ｎがＮより大きな値である場合には（ステップＳ２８、Ｙｅｓ）、当該注目画素を背景部と判定して（ステップＳ２９）、低輝度文字部であるかの判定結果と高輝度文字部であるかの判定結果とを共に０として出力し（［０，０］）、当該注目画素に関する画素判定処理を終了する。
【００５６】
画素判定部４ａは、入力画像内の画像検出を行う所定領域内に含まれる全画素について、注目画素を順次換えながら前記画素判定処理を繰り返し行う。この結果、各画素について、高輝度文字部であるかの判定結果と、低輝度文字部であるかの判定結果の二つの判定結果が出力される。次に、検出画像記憶部５ａは、これらの出力を記憶し、高輝度文字部であるかの判定結果から高輝度文字部の２値画像を生成し、低輝度文字部であるかの判定結果から、低輝度文字部の２値画像を生成する。
【００５７】
最後に、文字認識部６ａは、検出画像記憶部で生成された二つの２値画像から文字認識を行う。本実施の形態２では、まず高輝度文字部の２値画像について、例えば実施の形態１で示す方法により文字認識を行って、入力画像中に含まれる白文字等の高輝度文字を認識し、その後、低輝度文字部の２値画像について同様に文字認識を行って、黒文字等の低輝度文字を認識する。
【００５８】
このように、本実施の形態２においては、入力画像中に高輝度文字部あるいは低輝度文字部のいずれか一方、もしくはその両方が含まれている場合であって、それぞれの大きさや線素の太さが予め明らかでない場合でも、正確に画像検出及び文字認識を行うことが可能である。したがって、入力画像中に含まれる文字部が、背景部と比較して低輝度なのか或いは高輝度なのか予測できない場合であっても、確実に文字認識を行うことができる。さらに、一枚の入力画像について、一回の画像検出処理で高輝度文字部と低輝度文字部の両方を検出することができるため、画像入力から文字認識までに要する処理時間を短縮する効果も期待できる。
【００５９】
実施の形態３．
本実施の形態３の文字認識装置は、前述の図６に示す実施の形態２の文字認識装置とは参照領域特定部２の構成のみが異なる。参照領域特定部２は、注目画素を含み、注目画素との相対的な位置と大きさの異なる複数の部分領域を参照領域として特定し、これらの複数の参照領域より算出される参照値より注目画素の画素判定を行う。なお、本実施の形態３の全体の処理フローも、前述の図２で示す処理フローと同じである。
【００６０】
参照領域特定部２は、図８に示す方法により、入力画像に含まれる複数の部分領域を参照領域として特定する。図８は、本実施の形態３の参照領域特定部で特定される参照領域を示した模式図である。図８において、２５〜２９は参照領域として特定される部分領域である。まず、参照領域特定部２は、注目画素７を中心とした部分領域２５を参照領域Ａ1として特定する。さらに、参照領域特定部２は、注目画素を右端中央とする部分領域２６を参照領域Ｂ1、注目画素を左端中央とする部分領域２７を参照領域Ｃ1、注目画素を上端中央とする部分領域２８を参照領域Ｄ1、注目画素を下端中央とする部分領域２９を参照領域Ｅ1として、それぞれ特定する。参照領域Ｂ1〜Ｅ1は、すべて参照領域Ａ1と同じ大きさ及び同じ形状である。これらの同じ大きさの部分領域である参照領域Ａ1〜Ｅ1は、ひとつの参照領域群（＃１）として特定される。
【００６１】
次に、参照領域特定部２は、部分領域の大きさを変えて参照領域群の特定を繰り返し行い、複数の参照領域群（＃１〜＃Ｎ）を指定する。なお、Ｎは参照領域特定部２により特定される参照領域群の数とする。この複数の参照領域群の特定の方法について、図に従って説明する。図９は、参照領域群の特定の概要を示した模式図である。図９で、まず参照領域特定部２は、最小の参照領域Ａ1〜Ｅ1から構成される一番目の参照領域群（＃１）を特定する。次に、部分領域の大きさを一段大きくして、注目画素との相対的な位置が異なり大きさと形状が同じである参照領域Ａ2〜Ｅ2を二番目の参照領域群（＃２）として特定する。本実施の形態３では、特定される参照領域群の数は三つであるものとし、この場合Ｎは３となる。なお、図９では、参照領域群＃１及び＃２の特定についてのみ示されており、部分領域の大きさが最大となる三番目の参照領域群（＃３）の特定については省略されている。
【００６２】
次に、参照値算出部３は、特定された複数の参照領域群について参照値の算出を行う。本実施の形態３では、参照値算出部３は、ひとつの参照領域群について、複数の参照領域に関する参照値を算出する。例えば、参照領域群（＃１）は、五つの参照領域Ａ1〜Ｅ1から構成されているが、これらすべてについて参照値の算出を行う。以下では、参照領域Ａ1から算出した参照値を参照値ａ1と、参照領域Ｂ1から算出した参照値を参照値ｂ1と、参照領域Ｃ1から算出した参照値を参照値ｃ1と、参照領域Ｄ1から算出した参照値を参照値ｄ1と、参照領域Ｅ1から算出した参照値を参照値ｅ1と、表わす。なお、参照領域特定部２は、前述のごとく複数の参照領域群（＃１〜＃３）を特定しているので、参照値算出部３は、それぞれの参照領域群について複数の参照値（ａ1〜ｅ1、ａ2〜ｅ2、ａ3〜ｅ3）の算出を繰り返し行う。
【００６３】
次に、画素判定部４ａは、注目画素の原画素値と当該画素に対応する参照値とを比較して画像検出を行なう。以下、本実施の形態３における画素判定部の処理を、図面に従って説明する。図１０は、画素判定処理の処理フロー図である。以下では、ｎは参照領域群を特定する変数とする。まず、ｎを初期化し（ステップＳ３１）、最小の参照領域Ａ1から算出された参照値ａ1と注目画素の原画素値とを比較する（ステップＳ３２）。次に、前記式３を高輝度文字部判定の条件１として、当該注目画素が高輝度文字部であるかを判定する（ステップＳ３３）。この結果、条件１について高輝度文字部と判定される場合には（ステップＳ３３、Ｙｅｓ）、引き続き参照領域群（ｎ＝１）の参照値ｂ1〜ｅ1と注目画素の原画素値とを比較する（ステップＳ３４）。ここでは、高輝度文字部判定の条件２として下記の式５を使用する。
【００６４】
原画素値−ＭＡＸ（参照値ｂn，参照値ｃn，参照値ｄn，参照値ｅn）＞ Ｃ3 … （式５）
ただし、ＭＡＸは最大値を示す演算子であり、Ｃ3は定数である。
【００６５】
この結果、ステップＳ３５で条件２について高輝度文字部と判定される場合には（ステップＳ３５、Ｙｅｓ）、当該注目画素を高輝度文字部と判定して（ステップＳ３６）、高輝度文字部であるかの判定結果を１、低輝度文字部であるかの判定結果を０として出力し（［１，０］）、当該注目画素に関する画素判定処理を終了する。
【００６６】
ステップＳ３３において高輝度文字部判定の条件１が成立しなかった場合には（ステップＳ３３、Ｎｏ）、前記式４を低輝度文字部判定の条件１として、当該注目画素が低輝度文字部であるかを判定する（ステップＳ３７）。この結果、条件１について低輝度文字部と判定される場合には（ステップＳ３７、Ｙｅｓ）、高輝度文字部の検出の場合と同様に、参照値ｂ1〜ｅ1と注目画素の原画素値とを比較する（ステップＳ３８）。ここでは、低輝度文字部判定の条件２として下記の式６を使用する。
【００６７】
ＭＩＮ（参照値ｂn，参照値ｃn，参照値ｄn，参照値ｅn）−原画素値＞ Ｃ4 … （式６）
ただし、ＭＩＮは最小値を示す演算子であり、Ｃ4は定数である。
【００６８】
この結果、ステップＳ３９で条件２について低輝度文字部と判定される場合には（ステップＳ３９、Ｙｅｓ）、当該注目画素を低輝度文字部と判定して（ステップＳ４０）、低輝度文字部であるかの判定結果を１、高輝度文字部であるかの判定結果を０として出力し（［０，１］）、当該注目画素に関する画素判定処理を終了する。
【００６９】
この画素判定処理において、参照値ｂn〜ｅnとの比較は、原画素値の輝度の変化の方向性を考慮した検定としての意味を持つ。実際の画素判定処理では、画素判定処理に、注目画素を中心とする参照領域から算出された参照値ａnだけを用いると、参照領域内であって検出されるべき文字部の周辺にある、濃淡変動の大きなエッジ領域が文字部と判定される場合がある。そこで、注目画素を上下左右端に含む部分領域も参照領域として特定しそれぞれ参照値を算出した上で、これらの参照値の全てより大きい画素（全てより小さい画素）が高輝度文字部（低輝度文字部）であるという高輝度文字部判定（低輝度文字部判定）の条件２によってさらに画素判定を行うことで、文字を構成する線素のように、背景部よりも高輝度（低輝度）な文字部の画素を確実に判定することができる。
【００７０】
ステップＳ３３及びＳ３７において低輝度文字部あるいは高輝度文字部のいずれとも判定されなかった場合（ステップＳ３７、Ｎｏ）、またはステップＳ３５において高輝度文字部判定の条件２が成立しなかった場合（ステップＳ３５、Ｎｏ）、またはステップＳ３９において低輝度文字部判定の条件２が成立しなかった場合（ステップＳ３９、Ｎｏ）、には、ｎに１加算（ステップＳ４１）した後、ｎが参照領域の数Ｎ（＝３）より大きな値になったか判定する（ステップＳ４２）。この判定の結果、ｎがＮ以下の場合には（ステップＳ４２、Ｎｏ）、次の一段階大きな部分領域で構成される参照領域群ついて画素判定処理を繰り返す（ステップＳ３２〜Ｓ３５、ステップＳ３７〜Ｓ３９）。ステップＳ４２で、ｎがＮより大きな値になった場合は（ステップＳ４２、Ｙｅｓ）、当該注目画素を背景部と判定して（ステップＳ４３）、低輝度文字部であるかの判定結果と高輝度文字部であるかの判定結果とを共に０として出力し（［０，０］）、当該注目画素に関する画素判定処理を終了する。
【００７１】
画素判定部４ａは、入力画像内の画像検出を行う所定領域内に含まれる全画素について、注目画素を順次換えながら前記画素判定処理を繰り返し行う。検出画像記憶部５ａは、これらの出力を記憶し、高輝度文字部であるかの判定結果から高輝度文字の２値画像を生成し、低輝度文字部であるかの判定結果から、低輝度文字部の２値画像を生成する。最後に、文字認識部６ａは、検出画像記憶部５ａで生成された二つの２値画像から文字認識を行う。
【００７２】
このように、本実施の形態３に示す文字認識装置では、入力画像中に含まれる文字の大きさや線素の太さが予め明らかでない場合でも、画像検出及び文字認識を行うことが可能である。また文字部の周辺にある濃淡変動の大きなエッジ領域を確実に背景部と判定するため、正確に画像検出を行うことができ、ひいては文字認識の精度をいっそう向上させることが可能な文字認識装置を得ることができる。
【００７３】
なお、本実施の形態３では、ひとつの大きさで特定される参照領域群に含まれる参照領域として、注目画素を中心とする部分領域と、注目画素をそれぞれ右端中央、左端中央、上端中央、下端中央に含む部分領域の五つが特定されたが、これは注目画素との相対的な位置が異なる二つ以上の部分領域であればいくつでも良く、注目画素と参照領域との相対的な位置関係も、必ずしも前記のごとく特定されるわけではない。また、参照領域特定部で特定される参照領域群の数を三つとしたが、これは複数であればいくつであっても良い。さらに、本実施の形態３は、実施の形態２の文字認識装置に、注目画素を含み、注目画素との相対的な位置と大きさの異なる複数の参照領域を特定する参照領域特定部を備えたことにより、画像検出の精度を向上させるものであるが、実施の形態１の画像認識装置に、前記参照領域特定部を適用することでも同様の効果が期待できる。
【００７４】
実施の形態４．
本実施の形態４においては、画素判定部は、注目画素が高輝度文字部であるか、低輝度文字部であるか、又は背景部であるかの３値化された判定結果を出力し、検出画像記憶部はこれを３値画像として記憶し、この３値画像を基に文字認識部は高輝度文字及び低輝度文字の認識を行う。
【００７５】
本実施の形態４の文字認識装置は、前述の図１に示した文字認識装置とは、画素判定部、検出画像記憶部、及び文字認識部が異なるものであり、その他の構成は同様であるから、同一の符号を付して説明を省略する。４は注目画素が高輝度文字部、低輝度文字部、又は背景部のいずれであるかを判定し、３値化された判定結果を出力する画素判定部、５は入力画像中の各画素について画素判定部４の出力である３値化された判定結果を記憶して３値画像を生成する検出画像記憶部、６は検出画像記憶部５で生成された３値画像から高輝度文字及び低輝度文字を認識する文字認識部である。また、本実施の形態４における文字認識装置の全体の処理フローは、図２に示す実施の形態１の処理フローと同じであるため、以下では特に画像検出及び文字認識（ステップＳ４及びＳ５）について説明する。
【００７６】
画素判定部４は、注目画素の原画素値と参照値とを比較して、当該注目画素が高輝度文字部であるか、低輝度文字部であるか、又は背景部であるかを判定しその判定結果を３値化された判定結果として出力する。以下で、本実施の形態４に示す画素判定部における画素判定処理の処理フローを前述の図７を用いて説明する。
【００７７】
まず、参照領域を示す変数ｎを１で初期化し（ステップＳ２１）、最小の参照から算出された参照値と注目画素の原画素値とを前述の式３及び式４に従って比較する（ステップＳ２２）。次に、式３の高輝度文字部の条件が成立したかどうかどうかを判定し（ステップＳ２３）、成立した場合は（ステップＳ２３、Ｙｅｓ）、注目画素を高輝度文字部と判定して（ステップＳ２４）、当該注目画素の画素判定結果を２として画素判定処理を終了する。
【００７８】
次に、ステップＳ２３で高輝度文字部の条件が成立しなかった場合は（ステップＳ２３、Ｎｏ）、さらに式４の低輝度文字部の条件が成立したかどうかどうかを判定し（ステップＳ２５）、これが成立した場合は（ステップＳ２５、Ｙｅｓ）、注目画素を低輝度文字部と判定して（ステップＳ２６）、当該注目画素の画素判定結果を１として画素判定処理を終了する。
【００７９】
さらに、ステップＳ２５で低輝度文字部の条件も成立しなかった場合は（ステップＳ２５、Ｎｏ）、ｎに１加算した後（ステップＳ２７）、ｎがＮより大きな値になったか、すなわち全参照値との比較が終了したかどうかを検査する（ステップＳ２８）。ｎがＮ以下の場合には（ステップＳ２８、Ｎｏ）、ステップＳ２２へ戻って、前回比較した参照値よりも１段階大きな参照領域から算出された参照値によって、注目画素についての画素判定を繰り返す（ステップＳ２３、Ｓ２５）。ｎがＮより大きな値になった場合は（ステップＳ２８、Ｙｅｓ）、当該画素を背景部と判定し（ステップＳ２９）、当該注目画素の画素判定結果を０として画素判定処理を終了する。
【００８０】
画素判定部４は、入力画像内の画像検出を行う所定領域内に含まれる全画素について、注目画素を順次換えながら前記画素判定処理を繰り返し、３値化された画素判定結果（２／１／０）を出力する。次に、検出画像記憶部４は、画素判定部の出力である３値化された画素判定結果を３値画像として記憶する。この３値画像では、一枚の検出画像に高輝度文字部の検出結果と低輝度文字部の検出結果の両方が含まれる。
【００８１】
最後に文字認識部６は、前記３値画像から文字認識を行う。本実施の形態４では、まず、３値画像のうち高輝度文字部、即ち画素判定結果が２である画素のみを文字部と、他を背景部とみなして文字認識を行う。次に、低輝度文字部、即ち画素判定結果が１である画素のみを文字部と、他を背景部とみなして文字認識を行う。
【００８２】
このように、本実施の形態４に示す文字認識装置では、入力画像中に含まれる文字の大きさや線素の太さが不明な場合でも、画像検出及び文字認識を行うことが可能である。さらに、高輝度文字部と低輝度文字部の両方の検出結果を一つの３値画像として生成し、これを基に文字認識を行うため、高輝度文字部の検出結果と低輝度文字部の検出結果をそれぞれ独立した二枚の２値画像に保存する場合に比べると、検出画像全体としての情報量を低減することが可能であり、少ない記憶容量であっても、低輝度文字部及び高輝度文字部の画像検出及び文字認識を行うことが可能な文字認識装置を得ることが可能である。
【００８３】
実施の形態５．
本実施の形態５の文字認識装置は、図１に示す実施の形態１の文字認識装置と参照領域特定部のみが異なるものであり、その他の構成は同様であるから、同一の符号を付して説明を省略する。２は、大きさ及び形状の異なる複数の部分領域を参照領域として特定する参照領域特定部である。
【００８４】
本実施の形態５では、参照領域特定部２は、図１１に示す方法により、大きさ及び形状の異なる複数の部分領域を参照領域（＃１〜＃Ｎ、Ｎは特定される参照領域の数）として特定する。図１１は、参照領域特定部２の参照領域特定の方法を示した模式図である。図１１において、３０〜３２は注目画素７に対応する参照領域として特定される部分領域である。図１１では、特に参照領域特定部が注目画素を中心として大きさと形状の異なる三つの部分領域を参照領域として特定した場合について示しており、この場合は、特定される参照領域の数Ｎは３である。最小の部分領域３０は、注目画素を中心とする正方形の領域であり、１番目の参照領域（＃１）として特定される。次に大きな部分領域３１は、注目画素を中心とする横方向に長い長方形の領域であり、２番目の参照領域（＃２）として特定される。最大の部分領域３４は、注目画素を中心とする横方向に長い長方形の領域であり、３番目の参照領域（＃３）として特定される。
【００８５】
図１２は、本実施の形態５の参照領域の特定の概要を示す模式図である。図１２において、３３は文字板の撮像である。入力画像には、画像検出処理の対象となる文字板の撮像３３と、その外側に画像検出処理の対象とならない情景画像部２４が含まれている。さらに、文字板の撮像３３には、「７４」の文字で示される背景部より高輝度の文字部が含まれている。
【００８６】
図１２に示すように、検出されるべき文字部の上下端が、文字板の撮像の端に近接しているような場合には、参照領域の形状が全て正方形で同じであるとすると、面積の大きな参照領域では、その内部に文字板の撮像の外部にある情景画像部２４も相当の割合で含まれることになる。この場合には、情景画像部の輝度に影響されて算出される参照値が大きく変化することとなり、画素判定部は注目画素７の画素判定処理を正確に行うことができない。そこで、本実施の形態５における参照領域特定部では、参照領域内に含まれる情景画像部の影響をできるだけ低減するために、部分領域３０〜３２のように、大きな部分領域は横方向に長い長方形の形状の領域として、これらを参照領域として特定する。
【００８７】
以降、前記実施の形態１または２の文字認識装置と同様に、参照値算出部３は参照領域特定部２で特定された参照領域のそれぞれについて参照値の算出を行い、画素判定部４は、参照値と注目画素の原画素値とを比較して文字部の検出をおこない、検出画像記憶部５は、画素判定部４の検出結果から２値画像を生成し、最後に、文字認識部６は２値画像から文字認識を行う。
【００８８】
このように、本実施の形態５の文字認識装置では、入力画像中に含まれる文字部の大きさや線素の太さが不明な場合でも、画像検出及び文字認識を行うことが可能であるとともに、検出されるべき文字や図形などの記号部分が文字板の撮像の端に近接したような場合でも、文字板の撮像内における文字部の配置を考慮し、文字板の撮像の外部にある情景画像部の影響をできるだけ低減して正確に文字部の検出を行うことができる。
【００８９】
なお、本実施の形態５では、参照領域の形状を、大きいものほど横方向に長い長方形となるように特定したが、大きいものほど縦方向に長い長方形となるように特定しても良い。また、例えば、小さいものは正方形で、大きいものは円形あるいは三角形というように部分領域の形状を変えてもよく、逆に小さいものは円形で、大きなものは正方形あるいは長方形というように部分領域の形状を変えても良い。また、本実施の形態５では、注目画素を中心とした複数の参照領域を特定して画素判定を行っているが、前記実施の形態３と同様に、注目画素を中心とした参照領域だけでなく、注目画素を右端中央、左端中央、上端中央、下端中央に含む参照領域も含めて、これらを参照領域群として特定し、これを基に画素判定処理を行うことも、当然に可能である。
【００９０】
以上、実施の形態１ないし５に記載の文字認識装置では、検出画像記憶部５、５ａ及び文字認識部６、６ａを備え、画素判定部４、４ａの出力である画素判定結果から、２値画像を生成し文字認識を行うものであるが、これら検出画像記憶部及び文字認識部を排して、画像入力部、参照領域特定部、参照値算出部及び画素判定部から構成される画像検出装置を得ることが可能である。
【００９１】
このような画像検出装置では、まず画像入力部は、画像検出を行う原画像のうち所定領域のディジタル信号を入力して入力画像を得る。次に、参照領域特定部は、入力画像に含まれる複数の部分領域を参照領域として特定する。次に、参照値算出部は、特定された複数の参照領域のそれぞれについて参照値を算出する。最後に、画素判定部は、入力画像の原画素値と当該画素に対応する複数の参照値とを比較して画像検出を行ない画素判定結果を直接出力する。
【００９２】
このような画像検出装置では、入力画像中に含まれる文字や図形などの記号部分について、その大きさや線素の太さが予め明らかでない場合にも、正確に検出対象である文字や図形などの記号部分を検出することが可能である。また、一つの入力画像中に、大きさや線素の太さが異なる複数の文字や図形などの記号部分が混在しているような場合であっても、これらを同時に検出することができる。したがって、例えば交通標識の自動検出装置などに適用することにより、認識すべき対象となる入力画像に、文字の他、記号や簡単な線図などが含まれる場合に、その大きさや線素の太さに関係無く正確に検出することができるといった効果が期待でき有用である。
【００９３】
【発明の効果】
以上のように、本発明によれば、注目画素を含む大きさの異なる複数の参照領域を特定し、これらの参照領域各々について参照値を算出して、参照領域の参照値と注目画素の画素値との差分値に基づき、当該注目画素の画素判定を行うような構成としたことにより、入力画像中に含まれる文字や図形などの文字部の大きさや線素の太さに関係無く、文字部の検出を正確に行うことができる。したがって、大きさ及び線素の太さが予め明らかでない場合でも画像検出を行うことが可能となり、ひとつの入力画像中に大きさ及び線素の太さが異なる複数の文字部が含まれている場合であっても、一度の画像検出処理でこれら全てを同時に検出することができる。さらに、注目画素が画像検出の対象となる所定領域の端に近い位置にある場合であっても、情景画像部の影響を低減させて正確に画像検出を行うことができる。
【００９４】
また、注目画素を含み注目画素との相対的な位置と大きさの異なる複数の参照領域を特定し、これらの参照領域各々について参照値を算出して、参照領域の参照値と注目画素の画素値との差分値に基づき、当該注目画素の画素判定を行うような構成としたことにより、入力画像中に含まれる文字や図形などの文字部の大きさや線素の太さに関係無く、文字部の検出を正確に行うことができる。したがって、入力画像中に含まれる文字や図形などの文字部の大きさ及び線素の太さが予め明らかでない場合でも画像検出を行うことができ、ひとつの入力画像中に大きさ及び線素の太さが異なる複数の文字部が含まれている場合であっても、一度の画像検出処理でこれら全てを同時に検出することができる。さらに、文字部の周辺にある濃淡変動の大きなエッジ領域を確実に文字部以外と判定するため、画像検出の精度を高めることができる。
【００９６】
また、以上のような効果を有する画像検出装置に、さらに文字を認識する文字認識手段を備えることにより、入力画像中に含まれる文字の大きさ及び線素の太さが予め明らかでない場合でも、正確に文字認識を行うことが可能である。また、ひとつの入力画像中に大きさ及び線素の太さが異なる複数の文字が含まれている場合であっても、一度の文字認識処理でこれら全ての文字を同時に認識することができる。
【００９７】
また、注目画素が高輝度の文字部であるか否かを判定しその判定結果を出力するとともに、当該注目画素が低輝度の文字部であるか否かを判定しその判定結果を出力するような構成としたことにより、入力画像中に高輝度の文字部あるいは低輝度の文字部のいずれか一方、もしくはその両方が含まれている場合であって、文字部それぞれの大きさや線素の太さが予め明らかでない場合でも、正確に画像検出を行うことが可能である。さらに、ひとつの入力画像について、一回の画像検出処理で高輝度の文字部と低輝度の文字部の両方を検出することができるため、画像検出処理に要する処理時間が長くなるのを回避することができる。
【００９８】
また、注目画素が高輝度の文字部であるかまたは低輝度の文字部であるか或いは文字部以外であるかを判定しその判定結果を出力し、この判定結果から高輝度の文字および低輝度の文字の両方を認識するような構成としたことにより、入力画像中に含まれる文字部の大きさや線素の太さが不明な場合でも、画像検出処理及び文字認識処理を行うことが可能である。
【図面の簡単な説明】
【図１】 本発明にかかる文字認識装置の実施の形態１の構成図である。
【図２】 本発明の実施の形態１の文字認識装置の処理フロー図である。
【図３】 本発明の実施の形態１の参照領域特定部で特定される参照領域を示した模式図である。
【図４】 本発明の実施の形態１の画素判定処理の処理フロー図である。
【図５】 本発明の実施の形態１の参照領域の特定の概要を示した模式図である。
【図６】 本発明にかかる文字認識装置の実施の形態２の構成図である。
【図７】 本発明の実施の形態２の画素判定処理の処理フロー図である。
【図８】 本発明の実施の形態３の参照領域特定部で特定される参照領域を示した模式図である。
【図９】 本発明の実施の形態３の参照領域群の特定の概要を示した模式図である。
【図１０】 本発明の実施の形態３の画素判定処理の処理フロー図である。
【図１１】 本発明の実施の形態５の参照領域特定部で特定される参照領域を示した模式図である。
【図１２】 本発明の実施の形態５の参照領域の特定の概要を示した模式図である。
【図１３】 従来の文字列検出装置を示した構成図である。
【符号の説明】
１ 画像入力部
２ 参照領域特定部
３ 参照値算出部
４、４ａ 画素判定部
５、５ａ 検出画像記憶部
６、６ａ 文字認識部
７ 注目画素
８、９、１０、１５、１６、１７、１８、１９、２０、２１、２２、２３、２５、２６、２７、２８、２９、３０、３１、３２ 参照領域として特定される部分領域
１１、３３ 文字板の撮像
１２、１３、１４ 画素
２４ 情景画像部
【発明の属する技術分野】
本発明は、ディジタル画像中に含まれる記号部分を検出する画像検出に関するものであり、特に情景画像中に含まれる文字や図形などの記号部分を検出する画像検出装置及び画像検出方法、さらに検出された画像から文字を認識する文字認識装置及び文字認識方法に関するものである。
【０００２】
【従来の技術】
図１３は、例えば特開平３−４３８８１号公報に示された従来の文字列検出装置を示す構成図である。図１３において、１００は原画像中の画像検出の対象となる所定領域のディジタル信号を入力し入力画像とする画像入力部、１０１は画像入力部１００から入力する入力画像の各画素について移動平均値を求める移動平均部、１０２は前記入力画像と移動平均部１０１が算出する移動平均値とで減算を行い高周波画像を生成する画像差分部、１０３は画像差分部１０２で生成された高周波画像に対して上下限リミッタ処理を行なう上下限リミッタ、１０４は上下限リミッタ処理の加わった高周波画像に対して部分領域毎にヒストグラムを作成して２値化処理を行うヒストグラム作成・２値化部、１０５は文字列近傍のみを検出して２値画像を生成する論理演算部である。
【０００３】
次に、前記の従来技術として示す文字列検出装置の動作を説明する。まず、画像入力部１００は、画像検出を行う原画像のうち所定領域のディジタル信号を入力する。画像入力部１００で得られる入力画像は、各画素が輝度に応じた０から２５５までの階調数に画素値をとるグレースケール画像であるものとする。以下では、入力画像に含まれる各画素の量子化された画素値を「原画素値」と呼ぶ。この入力画像には、文字や図形などの記号部分として検出されるべき対象部分が含まれている。検出されるべき画像は、一定の太さからなる線素で構成されている。以下では、入力画像のうち文字や図形などの記号部分として検出されるべき対象部分を「文字部」と、それ以外の部分を「背景部」と呼ぶ。
【０００４】
次に、移動平均部１０１は入力画像を構成する各画素について、当該画素を中心とした縦１画素、横ｐ画素の部分領域を特定し、当該部分領域に含まれる全画素の原画素値から、その部分領域に関する平均画素値を算出する。平均画素値算出の対象となる部分領域の大きさは、部分領域の幅の画素数ｐによって規定される。このｐの値は、検出したい文字の幅の数倍程度になるように、予め設定しておく。移動平均部は、平均値画素値算出の対象となる画素及びその画素に対応する部分領域を順次換えながら、入力画像の全画素について、対応する平均画素値を算出する。
【０００５】
次に、画像差分部１０２は、入力画像の画素について原画素値と移動平均部１０１の求めた平均画素値とで減算を行う。この原画素値と平均画素値の減算結果を、以下では「高周波画素値」とする。画像差分部は、画像検出の対象となる全画素について高周波画素値を算出し、その結果から演算処理された画像を生成する。この演算処理された画像を、以下では「高周波画像」とする。この高周波画像においては、各画素の高周波画素値は以下のような特徴を有する。まず、文字部を構成し原画素値が大きい画素では、高周波画素値は大きくプラスに偏移する。次に、背景部であって文字部の近傍にある画素では、高周波画素値は大きくマイナスに偏移する。最後に、原画素値がなだらかに変化しているところでは、高周波画素値がほぼゼロになる。
【０００６】
次に、上下限リミッタ１０３は、この高周波画像を対象として、上下限リミッタ処理を行なう。すなわち、高周波画素値があらかじめ定めた上限値より大きい場合には、当該高周波画素値を上限値に制限し、逆に、高周波画素値があらかじめ定めた下限値より小さい場合には、当該高周波画素値を下限値に制限する。
【０００７】
次に、ヒストグラム作成・２値化部１０４は、前記上下限リミッタ処理の加わった高周波画像を、適当な大きさで複数の部分領域に分割し、各部分領域について上下限リミッタ処理された高周波画素値のヒストグラムを作成する。さらに、ヒストグラム生成・２値化部は、各部分領域高周波画素値のヒストグラムから各部分領域内の高周波画素値の平均と分散を算出し、下記式１の条件に従って高輝度２値画像Ｈ(x,y)と低輝度２値画像Ｌ(x,y)を作成する。これらの２値画像では、前記の高周波画像の特性により、画素値が大きい文字部ではＨ(x,y)が１となり、その背景部であって文字部の近傍にある画素ではＬ(x,y)が１となる。
【０００８】
【数１】
最後に、論理演算部１０５は、高輝度２値画像Ｈ(x,y)および低輝度２値画像Ｌ(x,y)について、下記式２の論理演算を行なう。式２において、ｌは検出対象とする文字部の線素の太さに相当する画素数であり、予め設定しておく。この論理演算により、両サイドのＬ(x,y)が１で中央のＨ(x,y)が１の部分と、両サイドのH(x,y)が１で中央のL(x,y)が１の部分だけが１となり、文字部の輪郭だけが検出された検出画像が生成される。
【００１０】
｛（H(x,y)∩L(x-l,y)）∩（H(x,y)∩L(x+l,y)）｝∪｛（Ｈ(x-l,y)∩L(x,y)）∩（Ｈ(x+l,y)∩L(x,y)）｝ … （式２）
【００１１】
【発明が解決しようとする課題】
前記、従来の文字列検出装置では、検出対象とする文字や図形などの記号部分の検出に、記号部分の大きさや線素の太さなどに依存した定数（前記ｐ及びｌ）を用いている。したがって、入力画像中に含まれる文字や図形などの記号部分の大きさ及び線素の太さが予め明らかでない場合には正確に文字や図形などの記号部分の検出を行うことができない、という問題があった。
【００１２】
また、従来の文字列検出装置では、一度の検出処理を通じ前記文字列検出に用いる定数（前記ｐ及びｌ）が固定されている。したがって、入力画像中に幅や線素の太さの異なる文字や図形などの記号部分が含まれている場合にはそれらを同時に検出することができない、という問題もあった。
【００１３】
本発明は、前記課題を解決するためになされたものであり、検出されるべき入力画像中の図形や文字などの記号部分の大きさや線素の太さに関係なくこれらを検出することができ、記号部分の大きさや線素の太さ等が予め明らかでない場合や、入力画像中に幅や線素の太さの大きく異なる記号部分が含まれている場合であっても、これらを正確に検出することが可能な画像検出装置及び画像検出方法、並びに文字認識装置及び文字認識方法を得ることを目的としており、さらに画像検出処理や文字認識処理に要する記憶容量や処理時間をできるだけ増大させずに、高輝度の記号部分と低輝度の記号部分とを同時に検出することが可能な、画像検出装置及び画像検出方法、並びに文字認識装置及び文字認識方法を提供するものである。
【００１４】
【課題を解決するための手段】
【００１５】
前記の課題を解決し、目的を達成するために、本発明にかかる画像検出装置にあっては、入力画像を入力する画像入力手段と、この画像入力手段で入力された入力画像から画素判定の対象とする注目画素に対して大きさの異なる複数の参照領域を特定する参照領域特定手段と、この参照領域特定手段で特定された前記参照領域に含まれる画素の原画素値に基づいて、前記参照領域ごとに参照値を算出する参照値算出手段と、この参照値算出手段が算出した前記参照領域の参照値と前記注目画素の原画素値との差分値を求め、この差分値と文字部判定用の閾値との比較に基づいて前記注目画素を前記入力画像の文字部と判定する画素判定手段とを備えたことを特徴とする。
【００１６】
本発明にかかる画像検出装置にあっては、前記参照領域特定手段は、前記参照領域と同じ大きさで前記注目画素との相対的な位置が異なる複数の参照領域からなる参照領域群を特定し、前記参照値算出手段は、前記参照領域特定手段が特定した前記参照領域群を構成する参照領域の参照値を算出し、前記画素判定手段は、参照領域の参照値と前記注目画素の原画素値との差分値を求め、この差分値と第１の文字部判定用の閾値との比較に基づいて前記注目画素が前記文字部と判定されるとき、この参照領域を含む参照領域群の参照領域の参照値と前記注目画素の原画素値との差分値を求め、この差分値と第２の文字部判定用の閾値との比較に基づいて前記注目画素を前記文字部と判定することを特徴とする。
【００１７】
本発明にかかる画像検出装置にあっては、前記画素判定手段は、前記差分値と文字部判定用の閾値との比較に基づいて前記参照領域の参照値より大きい原画素値をもつ前記注目画素を高輝度文字部とする文字部判定を行い、高輝度文字部か否かを示す判定結果を出力することを特徴とする。
【００１８】
本発明にかかる画像検出装置にあっては、前記画素判定手段は、前記差分値と文字部判定用の閾値との比較に基づいて前記参照領域の参照値より小さい原画素値をもつ前記注目画素を低輝度文字部とする文字部判定を行い、低輝度文字部か否かを示す判定結果を出力することを特徴とする。
【００１９】
本発明にかかる画像検出装置にあっては、前記画素判定手段は、前記参照値算出手段が算出した前記参照領域の参照値と前記注目画素の原画素値との差分値を求め、この差分値と高輝度文字部判定用の閾値との比較に基づいて前記参照領域の参照値より大きい原画素値をもつ前記注目画素を高輝度文字部とする文字部判定を行い、高輝度文字部か否かを示す判定結果を出力するとともに、前記差分値と低輝度文字部判定用の閾値との比較に基づいて前記参照領域の参照値より小さい原画素値をもつ前記注目画素を低輝度文字部とする文字部判定を行い、低輝度文字部か否かを示す判定結果を出力することを特徴とする。
【００２０】
本発明にかかる画像検出装置にあっては、前記画素判定手段は、前記参照値算出手段が算出した前記参照領域の参照値と前記注目画素の原画素値との差分値を求め、この差分値と高輝度文字部判定用の閾値との比較に基づいて前記参照領域の参照値より大きい原画素値をもつ前記注目画素を高輝度文字部とする文字部判定と前記差分値と低輝度文字部判定用の閾値との比較に基づいて前記参照領域の参照値より小さい原画素値をもつ前記注目画素を低輝度文字部とする文字部判定を行い、前記注目画素が高輝度文字部または低輝度文字部またはこれら文字部以外のいずれかを示す判定結果を出力することを特徴とする。
【００２１】
本発明にかかる文字認識装置にあっては、本発明にかかる画像検出装置に、前記画素判定手段が前記注目画素に対して文字部判定して出力した判定結果に基づいて文字認識する文字認識手段を備えたことを特徴とする。
【００２２】
本発明にかかる画像検出方法にあっては、入力画像を入力する画像入力工程と、この画像入力工程で入力された入力画像から画素判定の対象とする注目画素に対して大きさの異なる複数の参照領域を特定する参照領域特定工程と、この参照領域特定工程で特定された前記参照領域に含まれる画素の原画素値に基づいて、前記参照領域ごとに参照値を算出する参照値算出工程と、この参照値算出工程が算出した前記参照領域の参照値と前記注目画素の原画素値との差分値を求め、この差分値と文字部判定用の閾値との比較に基づいて前記注目画素を前記入力画像の文字部と判定する画素判定工程とを有することを特徴とする。
【００２３】
本発明にかかる画像検出方法にあっては、前記参照領域特定工程は、前記参照領域と同じ大きさで前記注目画素との相対的な位置が異なる複数の参照領域からなる参照領域群を特定し、前記参照値算出工程は、前記参照領域特定工程が特定した前記参照領域群を構成する参照領域の参照値を算出し、前記画素判定工程は、参照領域の参照値と前記注目画素の原画素値との差分値を求め、この差分値と第１の文字部判定用の閾値との比較に基づいて前記注目画素が前記文字部と判定されるとき、この参照領域を含む参照領域群の参照領域の参照値と前記注目画素の原画素値との差分値を求め、この差分値と第２の文字部判定用の閾値との比較に基づいて前記注目画素を前記文字部と判定することを特徴とする。
【００２４】
本発明にかかる画像検出方法にあっては、前記画素判定工程は、前記差分値と文字部判定用の閾値との比較に基づいて前記参照領域の参照値より大きい原画素値をもつ前記注目画素を高輝度文字部とする文字部判定を行い、高輝度文字部か否かを示す判定結果を出力することを特徴とする。
【００２５】
本発明にかかる画像検出方法にあっては、前記画素判定工程は、前記差分値と文字部判定用の閾値との比較に基づいて前記参照領域の参照値より小さい原画素値をもつ前記注目画素を低輝度文字部とする文字部判定を行い、低輝度文字部か否かを示す判定結果を出力することを特徴とする。
【００２６】
本発明にかかる画像検出方法にあっては、前記画素判定工程は、前記参照値算出工程が算出した前記参照領域の参照値と前記注目画素の原画素値との差分値を求め、この差分値と高輝度文字部判定用の閾値との比較に基づいて前記参照領域の参照値より大きい原画素値をもつ前記注目画素を高輝度文字部とする文字部判定を行い、高輝度文字部か否かを示す判定結果を出力するとともに、前記差分値と低輝度文字部判定用の閾値との比較に基づいて前記参照領域の参照値より小さい原画素値をもつ前記注目画素を低輝度文字部とする文字部判定を行い、低輝度文字部か否かを示す判定結果を出力することを特徴とする。
【００２７】
本発明にかかる画像検出方法にあっては、前記画素判定工程は、前記参照値算出工程が算出した前記参照領域の参照値と前記注目画素の原画素値との差分値を求め、この差分値と高輝度文字部判定用の閾値との比較に基づいて前記参照領域の参照値より大きい原画素値をもつ前記注目画素を高輝度文字部とする文字部判定と前記差分値と低輝度文字部判定用の閾値との比較に基づいて前記参照領域の参照値より小さい原画素値をもつ前記注目画素を低輝度文字部とする文字部判定を行い、前記注目画素が高輝度文字部または低輝度文字部またはこれら文字部以外のいずれかを示す判定結果を出力することを特徴とする。
【００２８】
本発明にかかる文字認識方法にあっては、本発明にかかる画像検出方法に、前記画素判定工程が前記注目画素に対して文字部判定して出力した判定結果に基づいて文字認識する文字認識工程を有することを特徴とする。
【００２９】
【発明の実施の形態】
実施の形態１．
図１は、本実施の形態１にかかる文字認識装置の構成図である。図１において、１は画像検出の対象となる原画像を入力する画像入力部、２は画像入力部１で入力された入力画像に含まれる複数の部分領域を参照領域として特定する参照領域特定部、３は参照領域特定部２で特定された複数の参照領域について参照値を算出する参照値算出部、４は画像検出を行う所定領域に含まれる全画素について画素判定を行う画素判定部、５は画素判定部４の出力である画素判定結果を記憶して２値画像を生成する検出画像記憶部、６は検出画像記憶部５で生成された２値画像から文字を認識する文字認識部である。
【００３０】
以下、前記のように構成される文字認識装置の動作を図面に従って説明する。図２は、前記文字認識装置の処理フロー図である。まず、画像入力部１が画像検出を行う原画像のうち所定領域のディジタル信号を入力する（ステップＳ１）。画像入力部１で得られる入力画像は、各画素が輝度に応じた０から２５５までの階調数に量子化された画素値をとるグレースケール画像であり、明るい画素ほど大きな画素値になるものとする。
【００３１】
次に、参照領域特定部２は、入力画像に含まれる複数の部分領域（＃１〜＃Ｎ、Ｎは特定される参照領域の数）を参照領域として特定する（ステップＳ２）。図３は、参照領域特定部２で特定される参照領域を示した模式図である。図３において、７は文字部であるか背景部であるかの画素判定の対象となる画素、８〜１０は参照領域として特定される部分領域である。以下では、画像検出を行う所定の領域に含まれる、文字部であるか背景部であるかの画素判定の対象となる画素を「注目画素」と呼ぶ。図３では、特に参照領域特定部２が注目画素を中心として形状が同じで大きさの異なる三つの部分領域を参照領域として特定した場合について示している。この場合は、特定される参照領域の数Ｎは３である。ここで、参照領域特定部２は、最小の部分領域８を第1番目（＃１）の参照領域として、中間の大きさの部分領域９を第２番目（＃２）の参照領域として、最大の部分領域１０を第３番目（＃３）の参照領域として特定する。ここで、最小の部分領域８の大きさは、入力画像の大きさなどに応じて予め定めておく。
【００３２】
次に、参照値算出部３は、参照領域に含まれる全画素の原画素値の平均値をそれぞれ計算し、これを注目画素についての参照値とする（ステップＳ３）。ここでは、ひとつの注目画素について、特定された参照領域は複数あるので、算出される参照値も、参照領域それぞれに対応し複数算出される。
【００３３】
参照値算出部３は、入力画像のうち画像検出を行う所定領域内に含まれる全画素について、注目画素を順次換えながら前記参照値算出を繰り返し、画像検出を行う所定領域内に含まれる全画素のそれぞれに対応する複数の参照値（＃１〜＃３）を求める。
【００３４】
次に、画素判定部４は、入力画像の原画素値と、参照値算出部３で参照された当該画素に対応する複数の参照値とを比較して画像検出を行なう（ステップＳ４）。以下、ひとつの注目画素についての画素判定処理を図４により説明する。図４は、画素判定処理の処理フロー図である。図４において、ｎは参照値を特定するために示す変数である。ｎは参照値が算出対象とされた参照領域の大きさが小さい順に対応付けられており、ｎ＝１ならば最小の参照領域についての参照値を、ｎ＝Ｎならば最大の参照領域についての参照値を示す。
【００３５】
まず、画素判定部４はｎを１に初期化し（ステップＳ１１）、最小の参照領域についての参照値と注目画素の原画素値とを式３に従って比較し、注目画素が文字部であるか判定を行う（ステップＳ１２）。ここで式３は、周辺より輝度が高い画素、すなわち背景部と比較して高輝度の文字部を検出するために用いる比較条件式である。
【００３６】
原画素値−参照値 ＞ Ｃ1 … （式３）
ただし、Ｃ1は定数である。
【００３７】
次に、画素判定部は前記式３が成立したか判断し（ステップＳ１３）、成立した場合は（ステップＳ１３、Ｙｅｓ）、当該注目画素を文字部と判定して画素判定結果の出力を１とし（ステップＳ１４）、画素判定処理を終了する。一方、ステップＳ１３で前記式３が成立しなかった場合は（ステップＳ１３、Ｎｏ）、ｎに１加算した後（ステップＳ１５）、ｎが最大値Ｎより大きな値になったか判定する（ステップＳ１６）。この判定の結果、ｎがＮ以下の場合には（ステップＳ１６、Ｎｏ）、前回比較した参照値よりも１段階大きな参照領域から算出された参照値に基づいて、当該注目画素についての画素判定処理を繰り返す（ステップＳ１２、ステップＳ１３）。ステップＳ１６で、ｎがＮより大きな値になった場合は（ステップＳ１６、Ｎｏ）、全参照値との比較の結果文字部と判定されなかったので、当該注目画素を背景部と判定して画素判定結果の出力を０とし（ステップＳ１７）、画素判定処理を終了する。
【００３８】
画素判定部４は、入力画像中の画像検出を行う所定領域内に含まれる全画素について、注目画素を順次換えながら前記画素判定処理を繰り返し行う。検出画像記憶部５は、画素判定部の出力を記憶し、文字部を構成する画素のみが検出された２値画像を生成する（ステップＳ４）。最後に、文字認識部６は、検出画像記憶部で生成された２値画像から文字認識を行う（ステップＳ５）。２値画像からの文字認識法としては、例えば、電子情報通信学会論文誌Ｄ−II，Ｖｏｌ．Ｊ８１−Ｄ−II，Ｎｏ．１０，ｐｐ．２２８０−２２８７（１９９８年）「部分文字列の配置規則を考慮したナンバープレート領域抽出」に記載の方法を用いる。
【００３９】
なお、以上、画素判定部４による画素判定処理では、上述の図４に示す画素判定処理フローのステップＳ１３において、画素判定の条件として前記式３を使用し、背景部より輝度の高い文字部を検出する方法について説明したが、画素判定の条件として、式３に換えて式４を使用することで、周囲より輝度の低い画素、すなわち背景部と比較して低輝度の文字部を検出することが可能である。
【００４０】
参照値−原画素値 ＞ Ｃ2 … （式４）
ただし、Ｃ2は定数である。
【００４１】
次に、本実施の形態１を、入力画像中に大きさ及び線素の太さが異なる文字部が含まれている場合の前記文字認識処理に適用する場合を、図面に従って説明する。図５は、図３に示す参照領域の特定の概要を示す模式図である。図５において、１１は文字板の撮像、１２及び１３は文字部を構成する画素、１４は背景部を構成する画素、１５〜１７は画素１２に対応する参照領域として特定される部分領域、１８〜２０は画素１３に対応する参照領域として特定される部分領域、２１〜２３は画素１４に対応する参照領域として特定される部分領域、２４は情景画像部である。
【００４２】
入力画像には、画像検出処理の対象となる文字板の撮像１１と、その外側に画像検出処理の対象とならない情景画像部２４が含まれている。文字板の撮像１１には、背景部より高い輝度の文字部として、大きさ及び線素の太さが異なる文字部である「６」及び「７」の文字が含まれている。図５において、文字板の撮像１１内の「６」の文字は、線素が太くかつ大きな文字部であり、同じく「７」の文字は、線素が細くかつ小さな文字部である。
【００４３】
まず、画素１２が注目画素とされた場合は、画素１２の原画素値は最小の部分領域１５について算出された参照値と比較される。部分領域１５では、背景部の占める割合が大きく、参照値は原画素値より小さくなるため、前記式３を満足して画素１２は文字部と判定される。
【００４４】
次に、画素１３が注目画素とされた場合は、原画素値は最小の部分領域１８について算出された参照値と比較される。しかし、部分領域１８には輝度の高い文字部の画素のみしか含まれていないので、参照値は注目画素の原画素値とほぼ同じ値となり、式３を満足しない。この場合には、一段階大きな部分領域１９について算出される参照値と原画素値との比較判定が行われる。しかし、部分領域１９にも輝度の高い文字部の画素のみしか含まれていないので、同様に式３は満足しない。さらに、最大の部分領域２０について算出される参照値と原画素値との比較判定が行われる。部分領域２０には背景部が含まれているため、参照値は原画素値より小さくなり、前記式３を満足して画素１３が文字部と判定される。
【００４５】
最後に、画素１４が注目画素とされた場合には、部分領域２１〜２３のいずれにも背景部しか含まれないため、各参照領域について算出される参照値と原画素値との比較においては式３が満足されることはない。したがって、画素１４は最終的に背景部と判定される。
【００４６】
なお、画素１２のように、注目画素が文字板の撮像１１の端にある場合に、たとえば部分領域１７のごとき大きな参照領域が最初から特定されると、当該参照領域内に文字板の撮像の外部にある情景画像部２４も含まれることになる。この場合には、情景画像部の輝度に応じて算出される参照値が変化することとなり、画素判定部は注目画素１２の画素判定処理を正確に行うことができない。そこで本実施の形態１に示す文字認識装置では、大きさが異なる複数の参照領域を特定し、参照領域の大きさが小さい順に参照値と原画素値とを比較することにより、文字板の撮像の外部にある情景画像部の影響をできる限り受けないように注目画素の原画素値と参照値との比較を行う。
【００４７】
このような構成とすることで、本実施の形態１の文字認識装置は、入力画像中に含まれる文字部の大きさや線素の太さに関係なくこれらを検出することができ、文字部の大きさや線素の太さ等が予め明らかでない場合や、入力画像中に幅や線素の太さの大きく異なる文字部が含まれている場合であっても、これらを正確に画像検出及び文字認識を行うことが可能となる。また、ひとつの入力画像中に、大きさや線素の太さが大きく異なる複数の文字が含まれている場合にも、これらを同時に画像検出および文字認識することが可能である。さらに、検出されるべき文字が文字板の撮像の端にある場合でも、文字板の撮像の外部にある情景画像に影響されることなく正確に文字部の検出を行うことができる。また、注目画素を中心とした部分領域を参照領域として特定し周辺領域にある画素の原画素値を参照値の算出に反映することで、輝度の高低に偏りなく画像検出を行うことができる。
【００４８】
なお、本実施の形態１では、参照領域特定部で特定される参照領域の数を三つとしたが、これは二つでも良く四つ以上であっても良い。また、参照値算出部の算出する参照値として、本実施の形態１では「参照領域に含まれる全画素の原画素値の平均値」を使用したが、これは、例えば、電子通信学会論文誌、’８０／４、Ｖｏｌ．Ｊ６３−Ｄ、Ｎｏ．４，ｐ．３４９−３５６「判別および最小２乗規準に基づく自動しきい値選定法」に記載の方法を用いてもよく、その他「参照領域に含まれる全画素の原画素値のうちの中間値」や「参照領域に含まれる全画素の原画素値のうち出現回数が最も多い画素値」など参照領域内に含まれる画素の原画素値から算出される値を用いてもよい。さらに、２値画像からの文字認識方法は、前記文献記載の方法としたが、これは他の方法でも良い。
【００４９】
実施の形態２．
本実施の形態２においては、原画像中に、背景部よりも高輝度の文字部と背景部よりも低輝度の文字部の両方が含まれている場合に、これら両方の文字部について一度の処理で画像検出を行い、その結果から高輝度の文字と低輝度の文字の両方を文字認識するものである。以下では、画像検出の対象となる背景部よりも高輝度の文字部を「高輝度文字部」と呼び、背景部よりも低輝度の文字部を「低輝度文字部」と呼ぶ。
【００５０】
図６は、文字認識装置の本実施の形態２の構成図である。なお、本実施の形態２は、先に説明した実施の形態１とは、画素判定部、検出画像記憶部、及び文字認識部が異なるものであり、その他の構成は同様であるから、同一の符号を付して説明を省略する。４ａは、画像検出を行う所定領域に含まれる全画素について画素判定を行う画素判定部で、注目画素が、高輝度文字部であるか否かの判定をおこないその判定結果を出力すると共に、低輝度文字部であるか否かの判定を行いその判定結果を出力する。次に５ａは、入力画像の画素判定結果を記憶して２値画像を生成する検出画像記憶部で、画素判定部４ａから出力される高輝度文字部であるか判定結果から高輝度文字部の２値画像を生成すると共に、低輝度文字部であるか判定結果から低輝度文字部の２値画像を生成する。６ａは、生成された２値画像から文字を認識する文字認識部で、検出画像生成部５ａで生成される高輝度文字部の２値画像から高輝度の文字を認識し、低輝度文字部の２値画像から低輝度の文字を認識する。
【００５１】
以下、前記のように構成される文字認識装置における画像検出処理及び文字認識処理を説明する。なお、本実施の形態２の文字認識装置の全体の処理フローは、前述の図２に示した実施の形態１の処理フローとは画像検出及び文字認識（ステップＳ４、Ｓ５）のみが異なるものであるため、それ以外の処理ステップについては説明を省略する。
【００５２】
まず、画素判定部４ａは、注目画素が高輝度文字部であるか判定しその判定結果を出力すると共に、注目画素が低輝度文字部であるかを判定しその判定結果を出力する。ここで画素判定部の出力は、注目画素が高輝度文字部である場合には、高輝度文字部であるかの判定結果が１、他方低輝度文字部であるかの判定結果が０となる（画素判定部４ａの出力は［１，０］）。逆に、注目画素が低輝度文字部である場合には、低輝度文字部であるかの判定結果が１、他方高輝度文字部であるかの判定結果が０となる（［０，１］）。注目画素が背景部である場合には、高輝度文字部であるかの判定結果も低輝度文字部であるかの判定結果も０となる（［０，０］）。
【００５３】
以下、本実施の形態２における画素判定部４ａの処理を、図面に従って説明する。図７は、画素判定処理４ａの処理フロー図である。まず、参照領域を示す変数ｎを１で初期化し（ステップＳ２１）、最小の参照領域について算出された参照値と注目画素の原画素値とを比較する（ステップＳ２２）。次に、実施の形態１で示した式３を高輝度文字部判定の条件式として、高輝度文字部の条件が成立したかを判定し（ステップＳ２３）、条件が成立した場合には（ステップＳ２３、Ｙｅｓ）、当該注目画素が高輝度文字部であると判定して（ステップＳ２４）、高輝度文字部であるかの判定結果を１とし、当該注目画素に関する画素判定処理を終了する。この場合、画素判定部４ａの出力は［１，０］となる。
【００５４】
高輝度文字部の条件が成立しなかった場合は（ステップＳ２３、Ｎｏ）、実施の形態１で示した式４を低輝度文字部判定の条件式として、低輝度文字部の条件が成立したかを判定し（ステップＳ２５）、条件が成立と判定される場合には（ステップＳ２５、Ｙｅｓ）、当該注目画素が低輝度文字部であると判定して（ステップＳ２６）、低輝度文字部であるかの判定結果を１とし、当該注目画素に関する画素判定処理を終了する。この場合、画素判定部４ａの出力は［０，１］となる。
【００５５】
低輝度文字部の条件も成立しなかった場合は（ステップＳ２５、Ｎｏ）、ｎに１加算し（ステップＳ２７）、ｎが特定された参照領域の数Ｎより大きな値であるか、すなわち当該注目画素に対応した全参照値との比較が終了したかを否かを判定する（ステップＳ２８）。この結果、ｎがＮ以下の場合には（ステップＳ２８、Ｎｏ）、ステップＳ２２へ戻って、前回比較した参照値よりも１段階大きな参照領域について算出された参照値と注目画素の原画素値とを比較し、注目画素に関する画素判定を繰り返す（ステップＳ２３、Ｓ２５）。一方、ステップＳ２８における判定の結果、ｎがＮより大きな値である場合には（ステップＳ２８、Ｙｅｓ）、当該注目画素を背景部と判定して（ステップＳ２９）、低輝度文字部であるかの判定結果と高輝度文字部であるかの判定結果とを共に０として出力し（［０，０］）、当該注目画素に関する画素判定処理を終了する。
【００５６】
画素判定部４ａは、入力画像内の画像検出を行う所定領域内に含まれる全画素について、注目画素を順次換えながら前記画素判定処理を繰り返し行う。この結果、各画素について、高輝度文字部であるかの判定結果と、低輝度文字部であるかの判定結果の二つの判定結果が出力される。次に、検出画像記憶部５ａは、これらの出力を記憶し、高輝度文字部であるかの判定結果から高輝度文字部の２値画像を生成し、低輝度文字部であるかの判定結果から、低輝度文字部の２値画像を生成する。
【００５７】
最後に、文字認識部６ａは、検出画像記憶部で生成された二つの２値画像から文字認識を行う。本実施の形態２では、まず高輝度文字部の２値画像について、例えば実施の形態１で示す方法により文字認識を行って、入力画像中に含まれる白文字等の高輝度文字を認識し、その後、低輝度文字部の２値画像について同様に文字認識を行って、黒文字等の低輝度文字を認識する。
【００５８】
このように、本実施の形態２においては、入力画像中に高輝度文字部あるいは低輝度文字部のいずれか一方、もしくはその両方が含まれている場合であって、それぞれの大きさや線素の太さが予め明らかでない場合でも、正確に画像検出及び文字認識を行うことが可能である。したがって、入力画像中に含まれる文字部が、背景部と比較して低輝度なのか或いは高輝度なのか予測できない場合であっても、確実に文字認識を行うことができる。さらに、一枚の入力画像について、一回の画像検出処理で高輝度文字部と低輝度文字部の両方を検出することができるため、画像入力から文字認識までに要する処理時間を短縮する効果も期待できる。
【００５９】
実施の形態３．
本実施の形態３の文字認識装置は、前述の図６に示す実施の形態２の文字認識装置とは参照領域特定部２の構成のみが異なる。参照領域特定部２は、注目画素を含み、注目画素との相対的な位置と大きさの異なる複数の部分領域を参照領域として特定し、これらの複数の参照領域より算出される参照値より注目画素の画素判定を行う。なお、本実施の形態３の全体の処理フローも、前述の図２で示す処理フローと同じである。
【００６０】
参照領域特定部２は、図８に示す方法により、入力画像に含まれる複数の部分領域を参照領域として特定する。図８は、本実施の形態３の参照領域特定部で特定される参照領域を示した模式図である。図８において、２５〜２９は参照領域として特定される部分領域である。まず、参照領域特定部２は、注目画素７を中心とした部分領域２５を参照領域Ａ1として特定する。さらに、参照領域特定部２は、注目画素を右端中央とする部分領域２６を参照領域Ｂ1、注目画素を左端中央とする部分領域２７を参照領域Ｃ1、注目画素を上端中央とする部分領域２８を参照領域Ｄ1、注目画素を下端中央とする部分領域２９を参照領域Ｅ1として、それぞれ特定する。参照領域Ｂ1〜Ｅ1は、すべて参照領域Ａ1と同じ大きさ及び同じ形状である。これらの同じ大きさの部分領域である参照領域Ａ1〜Ｅ1は、ひとつの参照領域群（＃１）として特定される。
【００６１】
次に、参照領域特定部２は、部分領域の大きさを変えて参照領域群の特定を繰り返し行い、複数の参照領域群（＃１〜＃Ｎ）を指定する。なお、Ｎは参照領域特定部２により特定される参照領域群の数とする。この複数の参照領域群の特定の方法について、図に従って説明する。図９は、参照領域群の特定の概要を示した模式図である。図９で、まず参照領域特定部２は、最小の参照領域Ａ1〜Ｅ1から構成される一番目の参照領域群（＃１）を特定する。次に、部分領域の大きさを一段大きくして、注目画素との相対的な位置が異なり大きさと形状が同じである参照領域Ａ2〜Ｅ2を二番目の参照領域群（＃２）として特定する。本実施の形態３では、特定される参照領域群の数は三つであるものとし、この場合Ｎは３となる。なお、図９では、参照領域群＃１及び＃２の特定についてのみ示されており、部分領域の大きさが最大となる三番目の参照領域群（＃３）の特定については省略されている。
【００６２】
次に、参照値算出部３は、特定された複数の参照領域群について参照値の算出を行う。本実施の形態３では、参照値算出部３は、ひとつの参照領域群について、複数の参照領域に関する参照値を算出する。例えば、参照領域群（＃１）は、五つの参照領域Ａ1〜Ｅ1から構成されているが、これらすべてについて参照値の算出を行う。以下では、参照領域Ａ1から算出した参照値を参照値ａ1と、参照領域Ｂ1から算出した参照値を参照値ｂ1と、参照領域Ｃ1から算出した参照値を参照値ｃ1と、参照領域Ｄ1から算出した参照値を参照値ｄ1と、参照領域Ｅ1から算出した参照値を参照値ｅ1と、表わす。なお、参照領域特定部２は、前述のごとく複数の参照領域群（＃１〜＃３）を特定しているので、参照値算出部３は、それぞれの参照領域群について複数の参照値（ａ1〜ｅ1、ａ2〜ｅ2、ａ3〜ｅ3）の算出を繰り返し行う。
【００６３】
次に、画素判定部４ａは、注目画素の原画素値と当該画素に対応する参照値とを比較して画像検出を行なう。以下、本実施の形態３における画素判定部の処理を、図面に従って説明する。図１０は、画素判定処理の処理フロー図である。以下では、ｎは参照領域群を特定する変数とする。まず、ｎを初期化し（ステップＳ３１）、最小の参照領域Ａ1から算出された参照値ａ1と注目画素の原画素値とを比較する（ステップＳ３２）。次に、前記式３を高輝度文字部判定の条件１として、当該注目画素が高輝度文字部であるかを判定する（ステップＳ３３）。この結果、条件１について高輝度文字部と判定される場合には（ステップＳ３３、Ｙｅｓ）、引き続き参照領域群（ｎ＝１）の参照値ｂ1〜ｅ1と注目画素の原画素値とを比較する（ステップＳ３４）。ここでは、高輝度文字部判定の条件２として下記の式５を使用する。
【００６４】
原画素値−ＭＡＸ（参照値ｂn，参照値ｃn，参照値ｄn，参照値ｅn）＞ Ｃ3 … （式５）
ただし、ＭＡＸは最大値を示す演算子であり、Ｃ3は定数である。
【００６５】
この結果、ステップＳ３５で条件２について高輝度文字部と判定される場合には（ステップＳ３５、Ｙｅｓ）、当該注目画素を高輝度文字部と判定して（ステップＳ３６）、高輝度文字部であるかの判定結果を１、低輝度文字部であるかの判定結果を０として出力し（［１，０］）、当該注目画素に関する画素判定処理を終了する。
【００６６】
ステップＳ３３において高輝度文字部判定の条件１が成立しなかった場合には（ステップＳ３３、Ｎｏ）、前記式４を低輝度文字部判定の条件１として、当該注目画素が低輝度文字部であるかを判定する（ステップＳ３７）。この結果、条件１について低輝度文字部と判定される場合には（ステップＳ３７、Ｙｅｓ）、高輝度文字部の検出の場合と同様に、参照値ｂ1〜ｅ1と注目画素の原画素値とを比較する（ステップＳ３８）。ここでは、低輝度文字部判定の条件２として下記の式６を使用する。
【００６７】
ＭＩＮ（参照値ｂn，参照値ｃn，参照値ｄn，参照値ｅn）−原画素値＞ Ｃ4 … （式６）
ただし、ＭＩＮは最小値を示す演算子であり、Ｃ4は定数である。
【００６８】
この結果、ステップＳ３９で条件２について低輝度文字部と判定される場合には（ステップＳ３９、Ｙｅｓ）、当該注目画素を低輝度文字部と判定して（ステップＳ４０）、低輝度文字部であるかの判定結果を１、高輝度文字部であるかの判定結果を０として出力し（［０，１］）、当該注目画素に関する画素判定処理を終了する。
【００６９】
この画素判定処理において、参照値ｂn〜ｅnとの比較は、原画素値の輝度の変化の方向性を考慮した検定としての意味を持つ。実際の画素判定処理では、画素判定処理に、注目画素を中心とする参照領域から算出された参照値ａnだけを用いると、参照領域内であって検出されるべき文字部の周辺にある、濃淡変動の大きなエッジ領域が文字部と判定される場合がある。そこで、注目画素を上下左右端に含む部分領域も参照領域として特定しそれぞれ参照値を算出した上で、これらの参照値の全てより大きい画素（全てより小さい画素）が高輝度文字部（低輝度文字部）であるという高輝度文字部判定（低輝度文字部判定）の条件２によってさらに画素判定を行うことで、文字を構成する線素のように、背景部よりも高輝度（低輝度）な文字部の画素を確実に判定することができる。
【００７０】
ステップＳ３３及びＳ３７において低輝度文字部あるいは高輝度文字部のいずれとも判定されなかった場合（ステップＳ３７、Ｎｏ）、またはステップＳ３５において高輝度文字部判定の条件２が成立しなかった場合（ステップＳ３５、Ｎｏ）、またはステップＳ３９において低輝度文字部判定の条件２が成立しなかった場合（ステップＳ３９、Ｎｏ）、には、ｎに１加算（ステップＳ４１）した後、ｎが参照領域の数Ｎ（＝３）より大きな値になったか判定する（ステップＳ４２）。この判定の結果、ｎがＮ以下の場合には（ステップＳ４２、Ｎｏ）、次の一段階大きな部分領域で構成される参照領域群ついて画素判定処理を繰り返す（ステップＳ３２〜Ｓ３５、ステップＳ３７〜Ｓ３９）。ステップＳ４２で、ｎがＮより大きな値になった場合は（ステップＳ４２、Ｙｅｓ）、当該注目画素を背景部と判定して（ステップＳ４３）、低輝度文字部であるかの判定結果と高輝度文字部であるかの判定結果とを共に０として出力し（［０，０］）、当該注目画素に関する画素判定処理を終了する。
【００７１】
画素判定部４ａは、入力画像内の画像検出を行う所定領域内に含まれる全画素について、注目画素を順次換えながら前記画素判定処理を繰り返し行う。検出画像記憶部５ａは、これらの出力を記憶し、高輝度文字部であるかの判定結果から高輝度文字の２値画像を生成し、低輝度文字部であるかの判定結果から、低輝度文字部の２値画像を生成する。最後に、文字認識部６ａは、検出画像記憶部５ａで生成された二つの２値画像から文字認識を行う。
【００７２】
このように、本実施の形態３に示す文字認識装置では、入力画像中に含まれる文字の大きさや線素の太さが予め明らかでない場合でも、画像検出及び文字認識を行うことが可能である。また文字部の周辺にある濃淡変動の大きなエッジ領域を確実に背景部と判定するため、正確に画像検出を行うことができ、ひいては文字認識の精度をいっそう向上させることが可能な文字認識装置を得ることができる。
【００７３】
なお、本実施の形態３では、ひとつの大きさで特定される参照領域群に含まれる参照領域として、注目画素を中心とする部分領域と、注目画素をそれぞれ右端中央、左端中央、上端中央、下端中央に含む部分領域の五つが特定されたが、これは注目画素との相対的な位置が異なる二つ以上の部分領域であればいくつでも良く、注目画素と参照領域との相対的な位置関係も、必ずしも前記のごとく特定されるわけではない。また、参照領域特定部で特定される参照領域群の数を三つとしたが、これは複数であればいくつであっても良い。さらに、本実施の形態３は、実施の形態２の文字認識装置に、注目画素を含み、注目画素との相対的な位置と大きさの異なる複数の参照領域を特定する参照領域特定部を備えたことにより、画像検出の精度を向上させるものであるが、実施の形態１の画像認識装置に、前記参照領域特定部を適用することでも同様の効果が期待できる。
【００７４】
実施の形態４．
本実施の形態４においては、画素判定部は、注目画素が高輝度文字部であるか、低輝度文字部であるか、又は背景部であるかの３値化された判定結果を出力し、検出画像記憶部はこれを３値画像として記憶し、この３値画像を基に文字認識部は高輝度文字及び低輝度文字の認識を行う。
【００７５】
本実施の形態４の文字認識装置は、前述の図１に示した文字認識装置とは、画素判定部、検出画像記憶部、及び文字認識部が異なるものであり、その他の構成は同様であるから、同一の符号を付して説明を省略する。４は注目画素が高輝度文字部、低輝度文字部、又は背景部のいずれであるかを判定し、３値化された判定結果を出力する画素判定部、５は入力画像中の各画素について画素判定部４の出力である３値化された判定結果を記憶して３値画像を生成する検出画像記憶部、６は検出画像記憶部５で生成された３値画像から高輝度文字及び低輝度文字を認識する文字認識部である。また、本実施の形態４における文字認識装置の全体の処理フローは、図２に示す実施の形態１の処理フローと同じであるため、以下では特に画像検出及び文字認識（ステップＳ４及びＳ５）について説明する。
【００７６】
画素判定部４は、注目画素の原画素値と参照値とを比較して、当該注目画素が高輝度文字部であるか、低輝度文字部であるか、又は背景部であるかを判定しその判定結果を３値化された判定結果として出力する。以下で、本実施の形態４に示す画素判定部における画素判定処理の処理フローを前述の図７を用いて説明する。
【００７７】
まず、参照領域を示す変数ｎを１で初期化し（ステップＳ２１）、最小の参照から算出された参照値と注目画素の原画素値とを前述の式３及び式４に従って比較する（ステップＳ２２）。次に、式３の高輝度文字部の条件が成立したかどうかどうかを判定し（ステップＳ２３）、成立した場合は（ステップＳ２３、Ｙｅｓ）、注目画素を高輝度文字部と判定して（ステップＳ２４）、当該注目画素の画素判定結果を２として画素判定処理を終了する。
【００７８】
次に、ステップＳ２３で高輝度文字部の条件が成立しなかった場合は（ステップＳ２３、Ｎｏ）、さらに式４の低輝度文字部の条件が成立したかどうかどうかを判定し（ステップＳ２５）、これが成立した場合は（ステップＳ２５、Ｙｅｓ）、注目画素を低輝度文字部と判定して（ステップＳ２６）、当該注目画素の画素判定結果を１として画素判定処理を終了する。
【００７９】
さらに、ステップＳ２５で低輝度文字部の条件も成立しなかった場合は（ステップＳ２５、Ｎｏ）、ｎに１加算した後（ステップＳ２７）、ｎがＮより大きな値になったか、すなわち全参照値との比較が終了したかどうかを検査する（ステップＳ２８）。ｎがＮ以下の場合には（ステップＳ２８、Ｎｏ）、ステップＳ２２へ戻って、前回比較した参照値よりも１段階大きな参照領域から算出された参照値によって、注目画素についての画素判定を繰り返す（ステップＳ２３、Ｓ２５）。ｎがＮより大きな値になった場合は（ステップＳ２８、Ｙｅｓ）、当該画素を背景部と判定し（ステップＳ２９）、当該注目画素の画素判定結果を０として画素判定処理を終了する。
【００８０】
画素判定部４は、入力画像内の画像検出を行う所定領域内に含まれる全画素について、注目画素を順次換えながら前記画素判定処理を繰り返し、３値化された画素判定結果（２／１／０）を出力する。次に、検出画像記憶部４は、画素判定部の出力である３値化された画素判定結果を３値画像として記憶する。この３値画像では、一枚の検出画像に高輝度文字部の検出結果と低輝度文字部の検出結果の両方が含まれる。
【００８１】
最後に文字認識部６は、前記３値画像から文字認識を行う。本実施の形態４では、まず、３値画像のうち高輝度文字部、即ち画素判定結果が２である画素のみを文字部と、他を背景部とみなして文字認識を行う。次に、低輝度文字部、即ち画素判定結果が１である画素のみを文字部と、他を背景部とみなして文字認識を行う。
【００８２】
このように、本実施の形態４に示す文字認識装置では、入力画像中に含まれる文字の大きさや線素の太さが不明な場合でも、画像検出及び文字認識を行うことが可能である。さらに、高輝度文字部と低輝度文字部の両方の検出結果を一つの３値画像として生成し、これを基に文字認識を行うため、高輝度文字部の検出結果と低輝度文字部の検出結果をそれぞれ独立した二枚の２値画像に保存する場合に比べると、検出画像全体としての情報量を低減することが可能であり、少ない記憶容量であっても、低輝度文字部及び高輝度文字部の画像検出及び文字認識を行うことが可能な文字認識装置を得ることが可能である。
【００８３】
実施の形態５．
本実施の形態５の文字認識装置は、図１に示す実施の形態１の文字認識装置と参照領域特定部のみが異なるものであり、その他の構成は同様であるから、同一の符号を付して説明を省略する。２は、大きさ及び形状の異なる複数の部分領域を参照領域として特定する参照領域特定部である。
【００８４】
本実施の形態５では、参照領域特定部２は、図１１に示す方法により、大きさ及び形状の異なる複数の部分領域を参照領域（＃１〜＃Ｎ、Ｎは特定される参照領域の数）として特定する。図１１は、参照領域特定部２の参照領域特定の方法を示した模式図である。図１１において、３０〜３２は注目画素７に対応する参照領域として特定される部分領域である。図１１では、特に参照領域特定部が注目画素を中心として大きさと形状の異なる三つの部分領域を参照領域として特定した場合について示しており、この場合は、特定される参照領域の数Ｎは３である。最小の部分領域３０は、注目画素を中心とする正方形の領域であり、１番目の参照領域（＃１）として特定される。次に大きな部分領域３１は、注目画素を中心とする横方向に長い長方形の領域であり、２番目の参照領域（＃２）として特定される。最大の部分領域３４は、注目画素を中心とする横方向に長い長方形の領域であり、３番目の参照領域（＃３）として特定される。
【００８５】
図１２は、本実施の形態５の参照領域の特定の概要を示す模式図である。図１２において、３３は文字板の撮像である。入力画像には、画像検出処理の対象となる文字板の撮像３３と、その外側に画像検出処理の対象とならない情景画像部２４が含まれている。さらに、文字板の撮像３３には、「７４」の文字で示される背景部より高輝度の文字部が含まれている。
【００８６】
図１２に示すように、検出されるべき文字部の上下端が、文字板の撮像の端に近接しているような場合には、参照領域の形状が全て正方形で同じであるとすると、面積の大きな参照領域では、その内部に文字板の撮像の外部にある情景画像部２４も相当の割合で含まれることになる。この場合には、情景画像部の輝度に影響されて算出される参照値が大きく変化することとなり、画素判定部は注目画素７の画素判定処理を正確に行うことができない。そこで、本実施の形態５における参照領域特定部では、参照領域内に含まれる情景画像部の影響をできるだけ低減するために、部分領域３０〜３２のように、大きな部分領域は横方向に長い長方形の形状の領域として、これらを参照領域として特定する。
【００８７】
以降、前記実施の形態１または２の文字認識装置と同様に、参照値算出部３は参照領域特定部２で特定された参照領域のそれぞれについて参照値の算出を行い、画素判定部４は、参照値と注目画素の原画素値とを比較して文字部の検出をおこない、検出画像記憶部５は、画素判定部４の検出結果から２値画像を生成し、最後に、文字認識部６は２値画像から文字認識を行う。
【００８８】
このように、本実施の形態５の文字認識装置では、入力画像中に含まれる文字部の大きさや線素の太さが不明な場合でも、画像検出及び文字認識を行うことが可能であるとともに、検出されるべき文字や図形などの記号部分が文字板の撮像の端に近接したような場合でも、文字板の撮像内における文字部の配置を考慮し、文字板の撮像の外部にある情景画像部の影響をできるだけ低減して正確に文字部の検出を行うことができる。
【００８９】
なお、本実施の形態５では、参照領域の形状を、大きいものほど横方向に長い長方形となるように特定したが、大きいものほど縦方向に長い長方形となるように特定しても良い。また、例えば、小さいものは正方形で、大きいものは円形あるいは三角形というように部分領域の形状を変えてもよく、逆に小さいものは円形で、大きなものは正方形あるいは長方形というように部分領域の形状を変えても良い。また、本実施の形態５では、注目画素を中心とした複数の参照領域を特定して画素判定を行っているが、前記実施の形態３と同様に、注目画素を中心とした参照領域だけでなく、注目画素を右端中央、左端中央、上端中央、下端中央に含む参照領域も含めて、これらを参照領域群として特定し、これを基に画素判定処理を行うことも、当然に可能である。
【００９０】
以上、実施の形態１ないし５に記載の文字認識装置では、検出画像記憶部５、５ａ及び文字認識部６、６ａを備え、画素判定部４、４ａの出力である画素判定結果から、２値画像を生成し文字認識を行うものであるが、これら検出画像記憶部及び文字認識部を排して、画像入力部、参照領域特定部、参照値算出部及び画素判定部から構成される画像検出装置を得ることが可能である。
【００９１】
このような画像検出装置では、まず画像入力部は、画像検出を行う原画像のうち所定領域のディジタル信号を入力して入力画像を得る。次に、参照領域特定部は、入力画像に含まれる複数の部分領域を参照領域として特定する。次に、参照値算出部は、特定された複数の参照領域のそれぞれについて参照値を算出する。最後に、画素判定部は、入力画像の原画素値と当該画素に対応する複数の参照値とを比較して画像検出を行ない画素判定結果を直接出力する。
【００９２】
このような画像検出装置では、入力画像中に含まれる文字や図形などの記号部分について、その大きさや線素の太さが予め明らかでない場合にも、正確に検出対象である文字や図形などの記号部分を検出することが可能である。また、一つの入力画像中に、大きさや線素の太さが異なる複数の文字や図形などの記号部分が混在しているような場合であっても、これらを同時に検出することができる。したがって、例えば交通標識の自動検出装置などに適用することにより、認識すべき対象となる入力画像に、文字の他、記号や簡単な線図などが含まれる場合に、その大きさや線素の太さに関係無く正確に検出することができるといった効果が期待でき有用である。
【００９３】
【発明の効果】
以上のように、本発明によれば、注目画素を含む大きさの異なる複数の参照領域を特定し、これらの参照領域各々について参照値を算出して、参照領域の参照値と注目画素の画素値との差分値に基づき、当該注目画素の画素判定を行うような構成としたことにより、入力画像中に含まれる文字や図形などの文字部の大きさや線素の太さに関係無く、文字部の検出を正確に行うことができる。したがって、大きさ及び線素の太さが予め明らかでない場合でも画像検出を行うことが可能となり、ひとつの入力画像中に大きさ及び線素の太さが異なる複数の文字部が含まれている場合であっても、一度の画像検出処理でこれら全てを同時に検出することができる。さらに、注目画素が画像検出の対象となる所定領域の端に近い位置にある場合であっても、情景画像部の影響を低減させて正確に画像検出を行うことができる。
【００９４】
また、注目画素を含み注目画素との相対的な位置と大きさの異なる複数の参照領域を特定し、これらの参照領域各々について参照値を算出して、参照領域の参照値と注目画素の画素値との差分値に基づき、当該注目画素の画素判定を行うような構成としたことにより、入力画像中に含まれる文字や図形などの文字部の大きさや線素の太さに関係無く、文字部の検出を正確に行うことができる。したがって、入力画像中に含まれる文字や図形などの文字部の大きさ及び線素の太さが予め明らかでない場合でも画像検出を行うことができ、ひとつの入力画像中に大きさ及び線素の太さが異なる複数の文字部が含まれている場合であっても、一度の画像検出処理でこれら全てを同時に検出することができる。さらに、文字部の周辺にある濃淡変動の大きなエッジ領域を確実に文字部以外と判定するため、画像検出の精度を高めることができる。
【００９６】
また、以上のような効果を有する画像検出装置に、さらに文字を認識する文字認識手段を備えることにより、入力画像中に含まれる文字の大きさ及び線素の太さが予め明らかでない場合でも、正確に文字認識を行うことが可能である。また、ひとつの入力画像中に大きさ及び線素の太さが異なる複数の文字が含まれている場合であっても、一度の文字認識処理でこれら全ての文字を同時に認識することができる。
【００９７】
また、注目画素が高輝度の文字部であるか否かを判定しその判定結果を出力するとともに、当該注目画素が低輝度の文字部であるか否かを判定しその判定結果を出力するような構成としたことにより、入力画像中に高輝度の文字部あるいは低輝度の文字部のいずれか一方、もしくはその両方が含まれている場合であって、文字部それぞれの大きさや線素の太さが予め明らかでない場合でも、正確に画像検出を行うことが可能である。さらに、ひとつの入力画像について、一回の画像検出処理で高輝度の文字部と低輝度の文字部の両方を検出することができるため、画像検出処理に要する処理時間が長くなるのを回避することができる。
【００９８】
また、注目画素が高輝度の文字部であるかまたは低輝度の文字部であるか或いは文字部以外であるかを判定しその判定結果を出力し、この判定結果から高輝度の文字および低輝度の文字の両方を認識するような構成としたことにより、入力画像中に含まれる文字部の大きさや線素の太さが不明な場合でも、画像検出処理及び文字認識処理を行うことが可能である。
【図面の簡単な説明】
【図１】 本発明にかかる文字認識装置の実施の形態１の構成図である。
【図２】 本発明の実施の形態１の文字認識装置の処理フロー図である。
【図３】 本発明の実施の形態１の参照領域特定部で特定される参照領域を示した模式図である。
【図４】 本発明の実施の形態１の画素判定処理の処理フロー図である。
【図５】 本発明の実施の形態１の参照領域の特定の概要を示した模式図である。
【図６】 本発明にかかる文字認識装置の実施の形態２の構成図である。
【図７】 本発明の実施の形態２の画素判定処理の処理フロー図である。
【図８】 本発明の実施の形態３の参照領域特定部で特定される参照領域を示した模式図である。
【図９】 本発明の実施の形態３の参照領域群の特定の概要を示した模式図である。
【図１０】 本発明の実施の形態３の画素判定処理の処理フロー図である。
【図１１】 本発明の実施の形態５の参照領域特定部で特定される参照領域を示した模式図である。
【図１２】 本発明の実施の形態５の参照領域の特定の概要を示した模式図である。
【図１３】 従来の文字列検出装置を示した構成図である。
【符号の説明】
１ 画像入力部
２ 参照領域特定部
３ 参照値算出部
４、４ａ 画素判定部
５、５ａ 検出画像記憶部
６、６ａ 文字認識部
７ 注目画素
８、９、１０、１５、１６、１７、１８、１９、２０、２１、２２、２３、２５、２６、２７、２８、２９、３０、３１、３２ 参照領域として特定される部分領域
１１、３３ 文字板の撮像
１２、１３、１４ 画素
２４ 情景画像部
Claims (4)
- 入力画像を入力する画像入力手段と、
この画像入力手段で入力された入力画像から画素判定の対象とする注目画素に対して大きさの異なる複数の参照領域を特定する参照領域特定手段と、
この参照領域特定手段で特定された前記参照領域に含まれる画素の原画素値に基づいて、前記参照領域ごとに参照値を算出する参照値算出手段と、
この参照値算出手段が算出した前記参照領域の参照値と前記注目画素の原画素値との差分値を求め、この差分値と高輝度文字部判定用の閾値との比較に基づいて前記参照領域の参照値より大きい原画素値をもつ前記注目画素を高輝度文字部とする文字部判定を行い、高輝度文字部か否かを示す判定結果を出力するとともに、前記差分値と低輝度文字部判定用の閾値との比較に基づいて前記参照領域の参照値より小さい原画素値をもつ前記注目画素を低輝度文字部とする文字部判定を行い、低輝度文字部か否かを示す判定結果を出力する処理を、前記参照領域の大きさが小さい参照領域から順に、前記注目画素が高輝度文字部または低輝度文字部のいずれかに判定されるまで繰り返し、すべての前記参照領域に対する前記処理が終了しても高輝度文字部または低輝度文字部のいずれにも判定されない前記注目画素を高輝度文字部または低輝度文字部のいずれでもない画素と判定して、前記注目画素が高輝度文字部か否かを示す判定結果および低輝度文字部か否かを示す判定結果を出力する画素判定手段と
を備えたことを特徴とする画像検出装置。 - 入力画像を入力する画像入力手段と、
この画像入力手段で入力された入力画像から画素判定の対象とする注目画素に対して大きさの異なる複数の参照領域を特定する参照領域特定手段と、
この参照領域特定手段で特定された前記参照領域に含まれる画素の原画素値に基づいて、前記参照領域ごとに参照値を算出する参照値算出手段と、
この参照値算出手段が算出した前記参照領域の参照値と前記注目画素の原画素値との差分値を求め、この差分値と高輝度文字部判定用の閾値との比較に基づいて前記参照領域の参照値より大きい原画素値をもつ前記注目画素を高輝度文字部とする文字部判定と前記差分値と低輝度文字部判定用の閾値との比較に基づいて前記参照領域の参照値より小さい原画素値をもつ前記注目画素を低輝度文字部とする文字部判定を、前記参照領域の大きさが小さい参照領域から順に、前記注目画素が高輝度文字部または低輝度文字部のいずれかに判定されるまで繰り返し、すべての前記参照領域に対する前記文字部判定が終了しても高輝度文字部または低輝度文字部のいずれにも判定されない前記注目画素を高輝度文字部または低輝度文字部のいずれでもない画素と判定して、前記注目画素が高輝度文字部、低輝度文字部またはこれらのいずれでもない画素のいずれであるかを示す判定結果を出力する画素判定手段と
を備えたことを特徴とする画像検出装置。 - 入力画像を入力する画像入力工程と、
この画像入力工程で入力された入力画像から画素判定の対象とする注目画素に対して大きさの異なる複数の参照領域を特定する参照領域特定工程と、
この参照領域特定工程で特定された前記参照領域に含まれる画素の原画素値に基づいて、前記参照領域ごとに参照値を算出する参照値算出工程と、
この参照値算出工程が算出した前記参照領域の参照値と前記注目画素の原画素値との差分値を求め、この差分値と高輝度文字部判定用の閾値との比較に基づいて前記参照領域の参照値より大きい原画素値をもつ前記注目画素を高輝度文字部とする文字部判定を行い、高輝度文字部か否かを示す判定結果を出力するとともに、前記差分値と低輝度文字部判定用の閾値との比較に基づいて前記参照領域の参照値より小さい原画素値をもつ前記注目画素を低輝度文字部とする文字部判定を行い、低輝度文字部か否かを示す判定結果を出力する処理を、前記参照領域の大きさが小さい参照領域から順に、前記注目画素が高輝度文字部または低輝度文字部のいずれかに判定されるまで繰り返し、すべての前記参照領域に対する前記処理が終了しても高輝度文字部または低輝度文字部のいずれにも判定されない前 記注目画素を高輝度文字部または低輝度文字部のいずれでもない画素と判定して、前記注目画素が高輝度文字部か否かを示す判定結果および低輝度文字部か否かを示す判定結果を出力する画素判定工程と
を有することを特徴とする画像検出方法。 - 入力画像を入力する画像入力工程と、
この画像入力工程で入力された入力画像から画素判定の対象とする注目画素に対して大きさの異なる複数の参照領域を特定する参照領域特定工程と、
この参照領域特定工程で特定された前記参照領域に含まれる画素の原画素値に基づいて、前記参照領域ごとに参照値を算出する参照値算出工程と、
この参照値算出工程が算出した前記参照領域の参照値と前記注目画素の原画素値との差分値を求め、この差分値と高輝度文字部判定用の閾値との比較に基づいて前記参照領域の参照値より大きい原画素値をもつ前記注目画素を高輝度文字部とする文字部判定と前記差分値と低輝度文字部判定用の閾値との比較に基づいて前記参照領域の参照値より小さい原画素値をもつ前記注目画素を低輝度文字部とする文字部判定を、前記参照領域の大きさが小さい参照領域から順に、前記注目画素が高輝度文字部または低輝度文字部のいずれかに判定されるまで繰り返し、すべての前記参照領域に対する前記文字部判定が終了しても高輝度文字部または低輝度文字部のいずれにも判定されない前記注目画素を高輝度文字部または低輝度文字部のいずれでもない画素と判定して、前記注目画素が高輝度文字部、低輝度文字部またはこれらのいずれでもない画素のいずれであるかを示す判定結果を出力する画素判定工程と
を有することを特徴とする画像検出方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000029070A JP3876584B2 (ja) | 2000-02-07 | 2000-02-07 | 画像検出装置及び画像検出方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000029070A JP3876584B2 (ja) | 2000-02-07 | 2000-02-07 | 画像検出装置及び画像検出方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001222681A JP2001222681A (ja) | 2001-08-17 |
| JP3876584B2 true JP3876584B2 (ja) | 2007-01-31 |
Family
ID=18554386
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000029070A Expired - Fee Related JP3876584B2 (ja) | 2000-02-07 | 2000-02-07 | 画像検出装置及び画像検出方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3876584B2 (ja) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5073075B2 (ja) * | 2011-03-31 | 2012-11-14 | 株式会社ナナオ | 細線・文字検出方法及び装置 |
-
2000
- 2000-02-07 JP JP2000029070A patent/JP3876584B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001222681A (ja) | 2001-08-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US8059892B1 (en) | Image enhancement method and apparatus | |
| US8417033B2 (en) | Gradient based background segmentation and enhancement of images | |
| KR100371470B1 (ko) | 기울기-기반 지역 에지 검출을 위한 신규한 지각적 문턱값정하기 방법 | |
| JP4264553B2 (ja) | 画像処理装置、撮像装置、画像出力装置、これらの装置における方法およびプログラム | |
| EP1918872B1 (en) | Image segmentation method and system | |
| JP4153108B2 (ja) | 画像処理方法、画像処理装置及び記録媒体 | |
| US9619897B2 (en) | Correction of blotches in component images | |
| EP1596323B1 (en) | Specified object detection apparatus | |
| US20070076951A1 (en) | Image recognition device | |
| JP2000149018A (ja) | 画像処理方法、画像処理装置及び記録媒体 | |
| WO2015070723A1 (zh) | 眼部图像处理方法和装置 | |
| Várkonyi-Kóczy et al. | Gradient-based synthesized multiple exposure time color HDR image | |
| JP2000148980A (ja) | 画像処理方法、画像処理装置及び記録媒体 | |
| Fernández-Caballero et al. | Display text segmentation after learning best-fitted OCR binarization parameters | |
| JP4861922B2 (ja) | 車色判定装置 | |
| JPH10320566A (ja) | 画像処理装置、画像処理方法及びその方法を記憶した記憶媒体 | |
| JP3876584B2 (ja) | 画像検出装置及び画像検出方法 | |
| CN112070771B (zh) | 基于hs通道的自适应阈值分割方法、装置和存储介质 | |
| CN112470165B (zh) | 图像处理装置及图像处理方法 | |
| JP2004320447A (ja) | 画像処理装置、画像処理方法、およびコンピュータが実行するためのプログラム | |
| JP4935561B2 (ja) | 画像処理装置 | |
| JP6790611B2 (ja) | 生体画像処理装置、生体画像処理方法、および生体画像処理プログラム | |
| JPH1185976A (ja) | 画像ノイズ分析方法および記録媒体 | |
| JPH10200755A (ja) | 画像ノイズ分析方法 | |
| JP2001143074A (ja) | 画像処理装置、画像処理方法および画像処理プログラムを記録したコンピュータ読取可能な記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20040722 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060309 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060322 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060519 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060711 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060825 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20060914 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061010 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061023 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091110 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101110 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111110 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121110 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121110 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131110 Year of fee payment: 7 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |