JPH11110485A - Device and method for reading character - Google Patents

Device and method for reading character

Info

Publication number
JPH11110485A
JPH11110485A JP9264160A JP26416097A JPH11110485A JP H11110485 A JPH11110485 A JP H11110485A JP 9264160 A JP9264160 A JP 9264160A JP 26416097 A JP26416097 A JP 26416097A JP H11110485 A JPH11110485 A JP H11110485A
Authority
JP
Japan
Prior art keywords
character
image
extracting
label
minimum projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP9264160A
Other languages
Japanese (ja)
Other versions
JP3645403B2 (en
Inventor
Kei Takizawa
圭 滝沢
Masato Suda
正人 須田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP26416097A priority Critical patent/JP3645403B2/en
Publication of JPH11110485A publication Critical patent/JPH11110485A/en
Application granted granted Critical
Publication of JP3645403B2 publication Critical patent/JP3645403B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To make surely readable characters without being affected by a background pattern or the fluctuation of a luminance value, by extracting the line area of an inputted image, binarizing the image of the line area, recognizing the character segmented from the provided binarized image and reading the character information of the input image. SOLUTION: At a photoelectric transducing part 101, the image of a surface where lot numbers are printed on a postcard conveyed by a conveyer line is inputted as a multilevel image. At a line range extracting part 102, a line range is extracted from the provided multilevel image. At a binarizing pot 103, only the provided range of lines is binarized. At a character detecting and segmenting part 104, a character pattern stream is extracted as each character pattern. At a character recognizing part 104, each extracted character pattern is matched with a character pattern registered on a prepared dictionary, for example, and character recognizing processing is performed.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、例えば、くじ付き
郵便はがき等の多色印字された背景に印字された文字を
読み取る文字読取装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a character reading apparatus for reading characters printed on a multicolor printed background such as a postcard with lottery.

【0002】[0002]

【従来の技術】従来の文字読取装置の文字読取手順とし
ては、まず、紙や金属等の物体表面上に書かれた文字列
を多値画像として入力して、その多値画像から行範囲を
抽出する(行範囲抽出処理)。行範囲とは、文字の並び
に垂直な方向において、文字列が存在する範囲である。
そして、この抽出された行範囲についてのみ2値画像を
生成して(2値化処理)、個々の文字パターンを抽出し
(文字検出切り出し処理)、その抽出された文字パター
ンを文字認識して、読み取り結果として文字列を出力す
る。
2. Description of the Related Art As a character reading procedure of a conventional character reading apparatus, first, a character string written on the surface of an object such as paper or metal is input as a multivalued image, and a line range is determined from the multivalued image. Extract (row range extraction process). The line range is a range in which a character string exists in a direction perpendicular to the arrangement of characters.
Then, a binary image is generated only for the extracted line range (binary processing), individual character patterns are extracted (character detection cutout processing), and the extracted character patterns are recognized as characters. Outputs a character string as a reading result.

【0003】以下、行範囲抽出処理、2値化処理、文字
検出切り出し処理について従来手法を詳しく説明する。
[0003] Hereinafter, a conventional method for a line range extraction process, a binarization process, and a character detection cutout process will be described in detail.

【0004】(1)行範囲抽出処理 まず、入力された多値画像から最小射影を求める。最小
射影は、文字パターンの並んでいる方向に多値画像をス
キャンし、各ライン毎の輝度値の最小値を求めることに
より得られる1次元波形である。次に微分値の計算を行
う。最後に、微分の絶対値の極大値を求め、2つの極大
値にはさまれた区間を行範囲として抽出する。
(1) Row range extraction processing First, a minimum projection is obtained from an input multi-valued image. The minimum projection is a one-dimensional waveform obtained by scanning a multivalued image in the direction in which the character patterns are arranged and obtaining the minimum value of the luminance value for each line. Next, the differential value is calculated. Finally, the maximum value of the absolute value of the derivative is obtained, and a section between the two maximum values is extracted as a row range.

【0005】(2)2値化処理 まず、多値画像から輝度ヒストグラムを生成する。次
に、輝度ヒストグラムから、2値化の閾値を決定する。
ここでは、2値化の閾値の決定法の代表的な方法とし
て、クラス間分散を用いる方法を挙げる。
(2) Binarization processing First, a luminance histogram is generated from a multi-valued image. Next, a threshold for binarization is determined from the luminance histogram.
Here, a method using inter-class variance is mentioned as a typical method of determining a threshold value for binarization.

【0006】2値化の閾値の決定は、輝度値を、閾値よ
りも大きなクラスと小さなクラスの2つのクラスに分け
る処理である。閾値をkとした場合のクラス間分散を、
すべてのkについて求める。クラス間分散を最大にする
kを2値化の閾値として求める。
The determination of the binarization threshold is a process of dividing the luminance value into two classes, a class larger than the threshold and a class smaller than the threshold. The inter-class variance when the threshold is k is
Find for all k. K that maximizes the inter-class variance is obtained as a threshold for binarization.

【0007】この方法は、直感的には、2つのクラス各
々のまとまりがよく、かつ、クラス間の分離がよくなる
ように閾値を決定する方法であり、パラメータの調整を
することなく、安定して適当な2値化の閾値が得られる
という特徴を持つ。
This method is intuitively a method of determining a threshold value so that the two classes are well united and the separation between the classes is improved, and is stable without adjusting the parameters. The feature is that an appropriate binarization threshold can be obtained.

【0008】最後に、多値画像において、閾値よりも大
きな画素と小さな画素をそれぞれ、白と黒に置き換える
ことにより、2値画像を生成する。
Finally, in the multi-valued image, a pixel larger than the threshold value and a pixel smaller than the threshold value are replaced with white and black, respectively, to generate a binary image.

【0009】(3)文字検出切り出し処理 まず、2値画像に対してラベリングを行う。次に、ラベ
ルフィルタリングにより、ラベリングにより得られたラ
ベルの中で、文字パターンとしてのサイズの基準を満た
さないものを除去する。これは、文字パターンとして極
端に小さなノイズ的なラベルと、極端に大きな背景模様
のラベルを除去する目的で行う。最後に、文字パターン
の抽出処理を行う。この処理の入力であるラベルには、
ラベルフィルタリングによって取り除かれないような背
景ノイズや背景模様が含まれる可能性がある。そこで、
文字パターンのサイズと、印字ピッチ等の事前に得られ
ている情報を基づいて、入力のラベルから文字パターン
に対応するラベルのみを抽出する。
(3) Character detection cutout processing First, labeling is performed on a binary image. Next, by label filtering, of the labels obtained by labeling, those that do not satisfy the criterion of the size as the character pattern are removed. This is performed for the purpose of removing extremely small noise labels as character patterns and extremely large background pattern labels. Finally, a character pattern extraction process is performed. Labels that are input to this process include:
Background noise and background patterns that cannot be removed by label filtering may be included. Therefore,
Based on information obtained in advance such as the size of the character pattern and the printing pitch, only the label corresponding to the character pattern is extracted from the input label.

【0010】[0010]

【発明が解決しようとする課題】従来の行範囲抽出処理
では、特に、多色印字された背景に印字された文字の多
値画像の場合、行範囲が抽出が困難であるという問題点
があった。すなわち、図1に示すように、多値画像中に
背景模様が存在する場合、最小射影の微分波形の絶対値
において、複数の極大値が現れ、また、行範囲の境界が
大きな極大値として現れない。従来の行範囲抽出手法で
は、最小射影の微分波形の絶対値において、大きな値を
持つ極大値の対を見つけるので、このような場合には、
行範囲が正しく抽出できなくなる。
The conventional line range extraction process has a problem that the line range is difficult to extract, especially in the case of a multivalued image of a character printed on a multicolored background. Was. That is, as shown in FIG. 1, when the background pattern exists in the multi-valued image, a plurality of local maxima appear in the absolute value of the differential waveform of the minimum projection, and the boundary of the row range appears as a local maximal value. Absent. In the conventional row range extraction method, a maximum value pair having a large value is found in the absolute value of the differential waveform of the minimum projection. In such a case,
Line range cannot be extracted correctly.

【0011】また、従来のクラス間分散を用いて閾値決
定を行う2値化処理では、文字パターン列に対する背景
の面積が大きく、かつ、文字パターン列と背景の輝度値
が近い場合に適当な閾値が得られないという問題点があ
った。これは、従来の閾値決定法では、文字パターンと
背景の面積が等しいという仮定を置いているからであ
る。文字パターン列に対する背景の面積が大きく、文字
パターン列と背景の輝度値が近い場合には、輝度ヒスト
グラムは例えば図2のようになる。このような場合に閾
値決定法によって得られる閾値は、図2に示すように、
適当な閾値よりも明るい方つまり背景側に寄り、従って
背景ノイズを含んだ2値画像が生成されることになる。
In the conventional binarization processing for determining a threshold value using inter-class variance, an appropriate threshold value is set when the background area for the character pattern string is large and the luminance value of the character pattern string and the background are close. There was a problem that was not obtained. This is because the conventional threshold determination method assumes that the area of the character pattern is equal to the area of the background. When the area of the background with respect to the character pattern string is large and the luminance values of the character pattern string and the background are close, the luminance histogram is as shown in FIG. 2, for example. In such a case, the threshold obtained by the threshold determination method is, as shown in FIG.
A binary image is generated that is brighter than an appropriate threshold value, that is, closer to the background side, and thus includes background noise.

【0012】さらに、従来の文字検出切り出し処理で
は、背景模様と文字パターンとの接触を想定しておら
ず、背景模様に接触した文字パターンから、文字パター
ンを切り出す処理は行われない。したがって、背景模様
と文字パターンとが接触した場合には、その文字パター
ンの認識はできなくなるという問題点があった。これ
は、背景模様と接触した文字パターンは、ラベルフィル
タリングにより、文字パターンとしての基準を満たさな
いとして除去され、文字検出切り出し処理の結果として
得られる文字パターン列の中に含まれなくなることがあ
るからである。
Further, in the conventional character detection cutout process, contact between the background pattern and the character pattern is not assumed, and the process of cutting out the character pattern from the character pattern touching the background pattern is not performed. Therefore, when the background pattern and the character pattern come into contact with each other, there is a problem that the character pattern cannot be recognized. This is because a character pattern in contact with a background pattern may be removed by label filtering as not satisfying a criterion as a character pattern and may not be included in a character pattern string obtained as a result of the character detection cutout process. It is.

【0013】そこで、本発明は、上記問題点に鑑み、多
色印刷された背景に印字されている文字でも、背景模様
や輝度値の変動に影響されずに確実に読み取ることがで
きる精度の高い文字読取装置および文字読取方法を提供
することを目的とする。
In view of the above-mentioned problems, the present invention provides a high-precision high-precision which can reliably read even a character printed on a multicolor printed background without being affected by a change in a background pattern or a luminance value. It is an object to provide a character reading device and a character reading method.

【0014】[0014]

【課題を解決するための手段】本発明の文字読取装置
(請求項1)は、入力された画像の部分画像を予め定め
られた文字列方向に走査して最小射影情報を求める手段
と、前記最小射影情報から高周波数成分を除去する高周
波成分除去手段と、前記高周波数成分の除去された最小
射影情報に基づき行領域を抽出する行抽出手段と、この
行抽出手段で抽出された行領域の画像を2値化する2値
化手段と、この2値化手段で得られた2値化画像から文
字を切り出す文字切出手段と、この文字切出手段で切り
出された文字を認識して前記入力画像の文字情報を読み
取る文字読取手段と、を具備したことにより、背景模様
や、輝度値の変動に影響を受けにくい、行範囲の抽出が
できる。従って、多色印刷された背景に印字されている
文字でも、背景模様や輝度値の変動に影響されずに確実
に読み取ることができる。
According to the present invention, there is provided a character reading apparatus for scanning a partial image of an input image in a predetermined character string direction to obtain minimum projection information; High-frequency component removing means for removing high-frequency components from the minimum projection information, row extracting means for extracting a row area based on the minimum projection information from which the high-frequency component has been removed, and a row area extracted by the row extracting means. A binarizing unit for binarizing an image, a character extracting unit for extracting characters from the binarized image obtained by the binarizing unit, and a character extracting unit for recognizing the character extracted by the character extracting unit. With the provision of the character reading means for reading the character information of the input image, it is possible to extract a line range that is hardly affected by a change in the background pattern or the luminance value. Therefore, even a character printed on a multicolor printed background can be reliably read without being affected by a change in the background pattern or the luminance value.

【0015】本発明の文字読取装置(請求項2)は、入
力された画像の部分画像を予め定められた文字列方向に
走査して最小射影情報を求める手段と、前記最小射影情
報から高周波数成分を除去する高周波成分除去手段と、
前記高周波数成分の除去された最小射影情報を微分し
て、その微分値が負となる位置と正となる位置とに挟ま
れた射影値の変化しない領域を行領域として抽出する行
抽出手段と、この行抽出手段で抽出された行領域の画像
を2値化する2値化手段と、この2値化手段で得られた
2値化画像から文字を切り出す文字切出手段と、この文
字切出手段で切り出された文字を認識して前記入力画像
の文字情報を読み取る文字読取手段と、を具備したこと
により、背景模様や、輝度値の変動に影響を受けにく
い、行範囲の抽出ができる。従って、多色印刷された背
景に印字されている文字でも、背景模様や輝度値の変動
に影響されずに確実に読み取ることができる。
According to a second aspect of the present invention, there is provided a character reading apparatus for scanning a partial image of an input image in a predetermined character string direction to obtain minimum projection information; High frequency component removing means for removing components,
A line extracting means for differentiating the minimum projection information from which the high-frequency component has been removed, and extracting a region in which the projection value does not change between a position where the differential value is negative and a position where the differential value is positive as a line region. Binarizing means for binarizing the image of the line area extracted by the line extracting means, character extracting means for extracting characters from the binarized image obtained by the binarizing means, and character extracting means. Character reading means for recognizing the characters cut out by the output means and reading the character information of the input image, whereby the line range which is hardly affected by the background pattern and the fluctuation of the luminance value can be extracted. . Therefore, even a character printed on a multicolor printed background can be reliably read without being affected by a change in the background pattern or the luminance value.

【0016】本発明の文字読取装置(請求項3)は、入
力された画像の部分画像を予め定められた文字列方向に
走査して最小射影情報を求める手段と、前記最小射影情
報から高周波数成分を除去する高周波成分除去手段と、
前記高周波数成分の除去された最小射影情報に基づき行
領域を抽出する行抽出手段と、この行抽出手段で抽出さ
れた行領域の画像の輝度分布を求める手段と、前記輝度
分布のうち、背景の輝度に対応する分布領域を予め定め
られた基準に従って削除して得られた輝度分布に基づき
2値化閾値を決定する手段と、前記2値化閾値を用いて
前記行領域の画像を2値化する2値化手段と、この2値
化手段で得られた2値化画像から文字を切り出す文字切
出手段と、この文字切出手段で切り出された文字を認識
して前記入力画像の文字情報を読み取る文字読取手段
と、を具備したことにより、背景模様や、輝度値の変動
に影響されずに2値化閾値を決定できる。従って、多色
印刷された背景に印字されている文字でも、背景模様や
輝度値の変動に影響されずに確実に読み取ることができ
る。
According to a third aspect of the present invention, there is provided a character reading apparatus for scanning a partial image of an input image in a predetermined character string direction to obtain minimum projection information; High frequency component removing means for removing components,
A line extracting unit that extracts a line region based on the minimum projection information from which the high-frequency component has been removed, a unit that obtains a luminance distribution of an image of the line region extracted by the line extracting unit, Means for determining a binarization threshold based on a luminance distribution obtained by deleting a distribution area corresponding to the luminance of the image according to a predetermined criterion, and binarizing the image of the row area using the binarization threshold. Binarizing means, character extracting means for extracting characters from the binarized image obtained by the binarizing means, and characters of the input image by recognizing the characters extracted by the character extracting means With the provision of the character reading means for reading the information, the binarization threshold can be determined without being influenced by the background pattern or the fluctuation of the luminance value. Therefore, even a character printed on a multicolor printed background can be reliably read without being affected by a change in the background pattern or the luminance value.

【0017】本発明の文字読取装置(請求項4)は、入
力された画像の部分画像を予め定められた文字列方向に
走査して最小射影情報を求める手段と、前記最小射影情
報から高周波数成分を除去する高周波成分除去手段と、
前記高周波数成分の除去された最小射影情報に基づき行
領域を抽出する行抽出手段と、この行抽出手段で抽出さ
れた行領域の画像を2値化する2値化手段と、この2値
化手段で得られた2値化画像に対しラベリングを行うラ
ベリング手段と、このラベリング手段で得られた各ラベ
ルのサイズに基づき背景画像の接触した文字のラベルを
検出したとき、そのラベルのペリフェラル特徴と予め定
められた文字サイズに基づき該文字ラベルから文字のみ
を切り出す第1の文字切出手段と、前記ラベリング手段
で得られたラベルより、予め定められた文字サイズおよ
び文字間隔に基づき文字を切り出す第2の文字切出手段
と、前記第1および第2の文字切出手段で切り出された
文字を認識して前記入力画像の文字情報を読み取る文字
読取手段と、を具備したことにより、文字パターンと背
景模様が接触する場合にも、文字の切り出しが行える。
従って、多色印刷された背景に印字されている文字で
も、背景模様や輝度値の変動に影響されずに確実に読み
取ることができる。
According to a fourth aspect of the present invention, there is provided a character reading apparatus for scanning a partial image of an input image in a predetermined character string direction to obtain minimum projection information; High frequency component removing means for removing components,
A line extracting unit for extracting a line region based on the minimum projection information from which the high frequency component has been removed, a binarizing unit for binarizing an image of the line region extracted by the line extracting unit, and a binarizing unit Labeling means for performing labeling on the binarized image obtained by the means; and detecting a label of a character in contact with a background image based on the size of each label obtained by the labeling means, and detecting peripheral characteristics of the label. A first character extracting unit that extracts only characters from the character label based on a predetermined character size, and a character extracting unit that extracts characters based on a predetermined character size and a character interval from the label obtained by the labeling unit. 2 character extracting means, and character reading means for recognizing characters extracted by the first and second character extracting means and reading character information of the input image. By the, even when the character pattern and the background pattern is in contact, allows excision of the characters.
Therefore, even a character printed on a multicolor printed background can be reliably read without being affected by a change in the background pattern or the luminance value.

【0018】本発明の文字読取装置(請求項5)は、入
力された画像の部分画像を予め定められた文字列方向に
走査して最小射影情報を求める手段と、前記最小射影情
報から高周波数成分を除去する高周波成分除去手段と、
前記高周波数成分の除去された最小射影情報を微分し
て、その微分値が負となる位置と正となる位置とに挟ま
れた射影値の変化しない領域を行領域として抽出する行
抽出手段と、この行抽出手段で抽出された行領域の画像
の輝度分布を求める手段と、前記輝度分布のうち、背景
の輝度に対応する分布領域を予め定められた基準に従っ
て削除して得られた輝度分布に基づき2値化閾値を決定
する手段と、前記2値化閾値を用いて前記行領域の画像
を2値化する2値化手段と、この2値化手段で得られた
2値化画像に対しラベリングを行うラベリング手段と、
このラベリング手段で得られた各ラベルのサイズに基づ
き背景画像の接触した文字のラベルを検出したとき、そ
のラベルのペリフェラル特徴と予め定められた文字サイ
ズに基づき該文字ラベルから文字のみを切り出す第1の
文字切出手段と、前記ラベリング手段で得られたラベル
のサイズに基づき文字のラベルを検出したら、予め定め
られた文字サイズおよび文字間隔に基づき文字を切り出
す第2の文字切出手段と、前記第1および第2の文字切
出手段で切り出された文字を認識して前記入力画像の文
字情報を読み取る文字読取手段と、を具備したことによ
り、多色印刷された背景に印字されている文字でも、背
景模様や輝度値の変動に影響されずに確実に読み取るこ
とができる。
A character reading apparatus according to the present invention is characterized in that a partial image of an input image is scanned in a predetermined character string direction to obtain minimum projection information, and a high frequency High frequency component removing means for removing components,
A line extracting means for differentiating the minimum projection information from which the high-frequency component has been removed, and extracting a region in which the projection value does not change between a position where the differential value is negative and a position where the differential value is positive as a line region. Means for obtaining a luminance distribution of an image of a line area extracted by the line extracting means; and a luminance distribution obtained by deleting a distribution area corresponding to background luminance from the luminance distribution according to a predetermined reference. Means for determining a binarization threshold value on the basis of: a binarization means for binarizing the image of the row area using the binarization threshold value; and a binarization image obtained by the binarization means. Labeling means for performing labeling;
When a label of a character in contact with the background image is detected based on the size of each label obtained by the labeling means, a first character that cuts out only characters from the character label based on the peripheral characteristics of the label and a predetermined character size is used. Character extracting means, and a second character extracting means for extracting a character based on a predetermined character size and character interval when a character label is detected based on the label size obtained by the labeling means, Character reading means for recognizing the character extracted by the first and second character extracting means and reading the character information of the input image, whereby the character printed on the multicolor printed background is provided. However, it is possible to reliably read the image without being affected by the fluctuation of the background pattern or the luminance value.

【0019】本発明の文字読取方法(請求項7)は、入
力された画像の部分画像を予め定められた文字列方向に
走査して最小射影情報を求めるステップと、前記最小射
影情報から高周波数成分を除去するステップと、前記高
周波数成分の除去された最小射影情報に基づき行領域を
抽出するステップと、前記抽出された行領域の画像を2
値化するステップと、前記2値化画像から文字を切り出
すステップと、前記切り出された文字を認識して前記入
力画像の文字情報を読み取るステップと、を具備したこ
とにより、背景模様や、輝度値の変動に影響を受けにく
い、行範囲の抽出ができる。従って、多色印刷された背
景に印字されている文字でも、背景模様や輝度値の変動
に影響されずに確実に読み取ることができる。
According to a character reading method of the present invention, a partial image of an input image is scanned in a predetermined character string direction to obtain minimum projection information; Removing the row region based on the minimum projection information from which the high-frequency component has been removed;
Digitizing, extracting characters from the binarized image, and recognizing the extracted characters and reading the character information of the input image. A line range that is not easily affected by fluctuations of the line can be extracted. Therefore, even a character printed on a multicolor printed background can be reliably read without being affected by a change in the background pattern or the luminance value.

【0020】本発明の文字読取方法(請求項8)は、入
力された画像の部分画像を予め定められた文字列方向に
走査して最小射影情報を求めるステップと、前記最小射
影情報から高周波数成分を除去するステップと、前記高
周波数成分の除去された最小射影情報を微分して、その
微分値が負となる位置と正となる位置とに挟まれた射影
値の変化しない領域を行領域として抽出するステップ
と、前記抽出された行領域の画像を2値化するステップ
と、前記2値化画像から文字を切り出すステップと、前
記切り出された文字を認識して前記入力画像の文字情報
を読み取るステップと、を具備したことにより、背景模
様や、輝度値の変動に影響を受けにくい、行範囲の抽出
ができる。従って、多色印刷された背景に印字されてい
る文字でも、背景模様や輝度値の変動に影響されずに確
実に読み取ることができる。
The character reading method according to the present invention (claim 8) includes a step of scanning a partial image of an input image in a predetermined character string direction to obtain minimum projection information; Removing the component, and differentiating the minimum projection information from which the high-frequency component has been removed, and defining a region in which the projection value does not change between a position where the differential value is negative and a position where the differential value is positive is a row region. Extracting, extracting the character of the input image by recognizing the extracted character, extracting the character from the binarized image, The step of reading makes it possible to extract a line range that is not easily affected by a change in the background pattern or the luminance value. Therefore, even a character printed on a multicolor printed background can be reliably read without being affected by a change in the background pattern or the luminance value.

【0021】本発明の文字読取方法(請求項9)は、入
力された画像の部分画像を予め定められた文字列方向に
走査して最小射影情報を求めるステップと、前記最小射
影情報から高周波数成分を除去するステップと、前記高
周波数成分の除去された最小射影情報に基づき行領域を
抽出するステップと、前記抽出された行領域の画像の輝
度分布を求めるステップと、前記輝度分布のうち、背景
の輝度に対応する分布領域を予め定められた基準に従っ
て削除して得られた輝度分布に基づき2値化閾値を決定
するステップと、前記2値化閾値を用いて前記行領域の
画像を2値化するステップと、前記2値化画像から文字
を切り出すステップと、前記切り出された文字を認識し
て前記入力画像の文字情報を読み取るステップと、を具
備したことにより、背景模様や、輝度値の変動に影響さ
れずに2値化閾値を決定できる。従って、多色印刷され
た背景に印字されている文字でも、背景模様や輝度値の
変動に影響されずに確実に読み取ることができる。
According to a ninth aspect of the present invention, there is provided a character reading method comprising: scanning a partial image of an input image in a predetermined character string direction to obtain minimum projection information; Removing a component, extracting a row region based on the minimum projection information from which the high-frequency component has been removed, obtaining a luminance distribution of an image of the extracted row region, and Determining a binarization threshold based on a luminance distribution obtained by deleting a distribution area corresponding to background luminance in accordance with a predetermined criterion, and converting the image of the row area into two using the binarization threshold Digitizing, extracting a character from the binarized image, and recognizing the extracted character to read character information of the input image. Background pattern and can determine the binarization threshold without being affected by the variation in the luminance values. Therefore, even a character printed on a multicolor printed background can be reliably read without being affected by a change in the background pattern or the luminance value.

【0022】本発明の文字読取方法(請求項10)は、
入力された画像の部分画像を予め定められた文字列方向
に走査して最小射影情報を求めるステップと、前記最小
射影情報から高周波数成分を除去するステップと、前記
高周波数成分の除去された最小射影情報に基づき行領域
を抽出するステップと、前記抽出された行領域の画像を
2値化するステップと、前記2値化画像に対しラベリン
グを行うステップと、前記ラベリングにより得られた各
ラベルのサイズに基づき背景画像の接触した文字のラベ
ルを検出したとき、そのラベルのペリフェラル特徴と予
め定められた文字サイズに基づき該文字ラベルから文字
のみを切り出す第1の文字切出ステップと、前記ラベリ
ングにより得られたラベルより、予め定められた文字サ
イズおよび文字間隔に基づき文字を切り出す第2の文字
切出ステップと、前記第1および第2の文字切出ステッ
プで切り出された文字を認識して前記入力画像の文字情
報を読み取るステップと、を具備したことにより、文字
パターンと背景模様が接触する場合にも、文字の切り出
しが行える。従って、多色印刷された背景に印字されて
いる文字でも、背景模様や輝度値の変動に影響されずに
確実に読み取ることができる。
The character reading method of the present invention (claim 10)
Scanning a partial image of the input image in a predetermined character string direction to obtain minimum projection information; removing high frequency components from the minimum projection information; and Extracting a row region based on the projection information; binarizing the image of the extracted row region; labeling the binarized image; and labeling each label obtained by the labeling. When detecting a label of a character in contact with the background image based on the size, a first character extraction step of extracting only characters from the character label based on the peripheral characteristics of the label and a predetermined character size, and the labeling A second character extraction step of extracting characters from the obtained label based on a predetermined character size and character spacing; A step of recognizing the character extracted in the first and second character extraction steps and reading the character information of the input image. Can be cut out. Therefore, even a character printed on a multicolor printed background can be reliably read without being affected by a change in the background pattern or the luminance value.

【0023】本発明の文字読取方法(請求項11)は、
入力された画像の部分画像を予め定められた文字列方向
に走査して最小射影情報を求めるステップと、前記最小
射影情報から高周波数成分を除去するステップと、前記
高周波数成分の除去された最小射影情報を微分して、そ
の微分値が正の極大値となる位置と負の極大値となる位
置とに挟まれた射影値の変化しない領域を行領域として
抽出するステップと、前記抽出された行領域の画像の輝
度分布を求めるステップと、前記輝度分布のうち、背景
の輝度に対応する分布領域を予め定められた基準に従っ
て削除して得られた輝度分布に基づき2値化閾値を決定
するステップと、前記2値化閾値を用いて前記行領域の
画像を2値化するステップと、前記2値化画像に対しラ
ベリングを行うステップと、前記ラベリングにより得ら
れた各ラベルのサイズに基づき背景画像の接触した文字
のラベルを検出したとき、そのラベルのペリフェラル特
徴と予め定められた文字サイズに基づき該文字ラベルか
ら文字のみを切り出す第1の文字切出ステップと、前記
ラベリングにより得られたラベルのサイズに基づき文字
のラベルを検出したら、予め定められた文字サイズおよ
び文字間隔に基づき文字を切り出す第2の文字切出ステ
ップと、前記第1および第2の文字切出ステップで切り
出された文字を認識して前記入力画像の文字情報を読み
取るステップと、を具備したことにより、多色印刷され
た背景に印字されている文字でも、背景模様や輝度値の
変動に影響されずに確実に読み取ることができる。
The character reading method of the present invention (claim 11)
Scanning a partial image of the input image in a predetermined character string direction to obtain minimum projection information; removing high frequency components from the minimum projection information; and Differentiating the projection information, extracting a region in which the projection value does not change between a position where the differential value becomes a positive maximum value and a position where the differential value becomes a negative maximum value as a row region, and Determining a luminance distribution of the image of the row region; and determining a binarization threshold based on the luminance distribution obtained by deleting a distribution region corresponding to the luminance of the background from the luminance distribution according to a predetermined reference. A step of binarizing the image of the row region using the binarization threshold, a step of labeling the binarized image, and a step of labeling each label obtained by the labeling. When a label of a character in contact with the background image is detected based on the label, a first character extraction step of extracting only characters from the character label based on the peripheral characteristics of the label and a predetermined character size, and the labeling When a character label is detected based on the obtained label size, a second character extracting step of extracting a character based on a predetermined character size and a character interval, and the first and second character extracting steps are performed. Recognizing the cut-out character and reading the character information of the input image, even if the character is printed on the multicolor printed background, is not affected by the change in the background pattern or the luminance value. Can be reliably read.

【0024】[0024]

【発明の実施の形態】以下、本発明の実施形態について
図面を参照して説明する。
Embodiments of the present invention will be described below with reference to the drawings.

【0025】本発明は、多色印刷された背景に文字が印
刷された対象物、例えば、くじ付き郵便はがきのくじ番
号やチケットの発行番号から文字を読み取るものであ
る。
According to the present invention, characters are read from an object having characters printed on a multicolor printed background, for example, a lottery number of a postcard with lottery or a ticket issue number.

【0026】図3は、本発明の文字読取装置を適用し
た、くじ付郵便はがき選別装置の概略構成を示すしたも
ので、搬送ライン1、集積部3、読取部5、認識部7、
制御部13、選別ゲート9〜11、集積部15〜17か
ら構成される。
FIG. 3 shows a schematic configuration of a lottery and postcard sorting device to which the character reading device of the present invention is applied. The transport line 1, the stacking unit 3, the reading unit 5, the recognizing unit 7,
The control unit 13 includes sorting gates 9 to 11 and stacking units 15 to 17.

【0027】搬送ライン1は、くじ付年賀はがき(以下
単に「はがき」と呼ぶ)2を選別する集積部3から、は
がき2を順次1枚ずつ取り出して搬送する上記各部に搬
送するものである。
The transport line 1 is for transporting the postcards 2 from the stacking unit 3 for sorting out New Year's postcards with lottery (hereinafter simply referred to as "postcards") to the above-mentioned sections for sequentially taking out and transporting the postcards 2 one by one.

【0028】読取部5は、搬送ライン1の途中に設けら
れ搬送されて来るはがき2に記載されているくじ番号を
読みとる例えばCCDカメラ等で構成されている。読取
部5で読み取られた文字情報は認識部7に送られる。
The reading section 5 is constituted by, for example, a CCD camera or the like which is provided in the middle of the transport line 1 and reads the lottery number described on the postcard 2 being transported. The character information read by the reading unit 5 is sent to the recognition unit 7.

【0029】認識部7では、読取部5で読み取られた文
字情報(くじ番号)とあらかじめ記憶されている当選番
号とを照合し、現在搬送ライン1にて搬送中のはがき2
のくじ番号が当選番号に一致しているか否かの判断を行
うようになっている。
The recognition unit 7 compares the character information (lottery number) read by the reading unit 5 with a winning number stored in advance, and determines the postcard 2 currently being transported on the transport line 1.
It is determined whether or not the lottery number matches the winning number.

【0030】認識部7には制御部13が接続され、制御
部13では、認識部7における判断結果に基づいて搬送
ライン1の近傍に配置されている選別ゲート9、10、
11を駆動制御するようになっている。
A control unit 13 is connected to the recognizing unit 7. The control unit 13 selects sorting gates 9, 10, 10.
11 is driven and controlled.

【0031】選別ゲート9は、はずれのはがきをはずれ
集積部15に導くものであり、選別ゲート10は、あた
りはがきをあたり集積部16に導くものであり、選別ゲ
ート11は、読取不能等のはがきをその他集積部17に
導くものである。
The sorting gate 9 guides the postcard to the stacking unit 15, the sorting gate 10 guides the postcard to the stacking unit 16, and the sorting gate 11 determines that the postcard cannot be read. Is led to the other accumulation unit 17.

【0032】このような構成において、認識部7は、搬
送中のはがき2から読取部5で読み取られたくじ番号と
所定の当選番号との一致を例えば複合類似度により判定
し、一致していれば「当選」と判断して選別ゲート10
を駆動させる指令信号を、逆に不一致であれば「はず
れ」と判断して選別デート9を駆動させる指令信号をそ
れぞれ制御部13に出力することになり、この結果、搬
送されて来たはがきが夫々の当否に基づいてはずれ集積
部15あるいはあたり集積部16に導かれる。
In such a configuration, the recognizing section 7 determines whether the lottery number read from the postcard 2 being conveyed by the reading section 5 and a predetermined winning number are determined by, for example, the composite similarity, and the recognition section 7 determines whether the numbers match. If it is judged as "winning", sorting gate 10
In contrast, if they do not match, the command signal for driving the sorting date 9 is output to the control unit 13, and as a result, the conveyed postcard is determined. It is guided to the out-of-stack accumulating unit 15 or the hit accumulating unit 16 based on the respective pass / fail.

【0033】このような構成により、人手を介すること
なく、くじの当否を自動判定できるので、大量のくじ付
きはがきの当否判定も迅速に処理することができる。
With such a configuration, it is possible to automatically determine whether or not a lottery is required without manual intervention, so that the determination as to whether or not a large number of lottery postcards can be performed quickly.

【0034】図4は、図3のくじ付き郵便はがき選別装
置の読取部5に用いられる文字読取装置の構成例を示し
たもので、光電変換部101、行範囲抽出部102、2
値化部103、文字検出切り出し部104、文字認識部
105から構成されている。
FIG. 4 shows an example of the configuration of a character reading device used in the reading unit 5 of the lottery postcard sorting device shown in FIG.
It comprises a value conversion unit 103, a character detection cutout unit 104, and a character recognition unit 105.

【0035】本発明の文字読取装置は、くじ付きはがき
に印字されているくじ番号等のように、紙等の物体に多
色印刷された背景に印字されている文字を読み取る際に
特に効果がある。例えば、読取対象である文字(くじ付
きはがきの場合、くじ番号)の印字されている領域の画
像は、図5のような画像であり、文字読み取り処理を難
しくする次のような特徴を持つ。
The character reading apparatus of the present invention is particularly effective when reading characters printed on a multicolor printed background on an object such as paper, such as a lottery number printed on a lottery postcard. is there. For example, an image of an area where characters to be read (a lottery number in the case of a postcard with lottery) is printed is an image as shown in FIG. 5 and has the following features that make the character reading process difficult.

【0036】・複数の背景模様が存在する。There are a plurality of background patterns.

【0037】・背景模様が文字パターンに接触する場合
がある。
The background pattern may come into contact with the character pattern.

【0038】・背景と文字パターンとのコントラストが
低い。
The contrast between the background and the character pattern is low.

【0039】次に、図6を参照して図4の文字読取装置
の処理動作の概略を説明する。
Next, an outline of the processing operation of the character reading apparatus of FIG. 4 will be described with reference to FIG.

【0040】まず、光電変換部101では、搬送ライン
1で搬送されてくるはがきのくじ番号の印字されている
面の画像を多値画像として入力する。
First, in the photoelectric conversion unit 101, the image of the surface on which the lottery number of the postcard conveyed on the conveyance line 1 is printed is input as a multi-valued image.

【0041】行範囲抽出部102では、得られた多値画
像に対して、行範囲の抽出を行う。2値化部103で
は、得られた行の範囲についてのみ2値化を行う。文字
検出切り出し部104では、文字パターン列を個々の文
字パターンとして抽出する。文字認識部105では、抽
出された個々の文字パターンについて、例えば、予め用
意された辞書に登録されている文字パターンとのマッチ
ングを行って、文字認識処理を行う。
The row range extraction unit 102 extracts a row range from the obtained multi-valued image. The binarization unit 103 binarizes only the obtained row range. The character detection cutout unit 104 extracts a character pattern string as individual character patterns. The character recognition unit 105 performs a character recognition process by matching the extracted individual character patterns with, for example, character patterns registered in a prepared dictionary.

【0042】次に、本発明の特徴である、行範囲抽出部
102、2値化部103、文字検出切り出し部104に
ついて詳細に述べる。
Next, the line range extracting unit 102, the binarizing unit 103, and the character detecting and extracting unit 104, which are features of the present invention, will be described in detail.

【0043】(1) 行範囲抽出部 行範囲抽出部102の処理動作について図7を参照して
説明する。
(1) Row Range Extraction Unit The processing operation of the row range extraction unit 102 will be described with reference to FIG.

【0044】入力多値画像G(x、y)の予め定められ
た印字文字の領域の画像、すなわち、部分画像g(x、
y)に対して、次のような最小射影Pmin(y)を求め
る(ステップS1)。最小射影とは、文字パターンの並
んでいる方向に部分画像g(x、y)をスキャンした結
果得られた、そのラインの射影値の最小値である。
An image of a predetermined print character area of the input multivalued image G (x, y), that is, a partial image g (x, y)
The following minimum projection P min (y) is obtained for y) (step S1). The minimum projection is the minimum projection value of the line obtained as a result of scanning the partial image g (x, y) in the direction in which the character patterns are arranged.

【0045】[0045]

【数1】 (Equation 1)

【0046】ここで、部分画像g(x、y)は、処理の
高速化のため、x方向の範囲を限定した画像を用いる。
なお、図7では、部分画像g(x、y)として、G
(x、y)をx方向に三等分した真ん中の画像を用いて
いる。
Here, as the partial image g (x, y), an image having a limited range in the x direction is used for speeding up the processing.
In FIG. 7, G is used as the partial image g (x, y).
A middle image obtained by dividing (x, y) into three equal parts in the x direction is used.

【0047】最小射影Pmim で、行の範囲は、図7のよ
うに幅と深さの大きな谷として現れる。谷として現れる
ものは、行範囲に対応するもののみではなく、背景模様
に対応する谷や、画像の高周波成分もある。
At the minimum projection P mim , the range of the row appears as a valley with a large width and depth as shown in FIG. The valleys appearing not only correspond to the row range, but also include valleys corresponding to the background pattern and high-frequency components of the image.

【0048】そこで、文字パターン列以外に対応する谷
を除去する目的で、Pmim (y)から高周波成分を取り
除いて平滑化された波形P”mim (y)を計算する(ス
テップS2)。P”mim (y)を求める前に、一旦次の
ような波形P’mim (y)を計算する。
[0048] Therefore, the purpose of removing the trough corresponding to the non-character pattern string by removing high frequency components from the P mim (y) to calculate the smoothed waveform P "mim (y) (step S2) .P Before obtaining mim (y), the following waveform P ′ mim (y) is calculated once.

【0049】[0049]

【数2】 (Equation 2)

【0050】P’mim からP”mim の計算は、次のよう
に行う。
[0050] calculated from the P 'mim of P "mim is carried out in the following manner.

【0051】[0051]

【数3】 (Equation 3)

【0052】ここで、wは、平滑化の幅であり、文字パ
ターン列の高さよりも多少小さめに設定する。文字パタ
ーンの高さは、フォントの大きさと、光電変換部101
での入力解像度から予測できる。
Here, w is the width of the smoothing, and is set slightly smaller than the height of the character pattern string. The height of the character pattern depends on the size of the font and the photoelectric conversion unit 101.
Can be predicted from the input resolution at.

【0053】次に、P”mim (y)から谷を検出するこ
とにより、行の範囲を抽出する(ステップS3)。具体
的には、図8のようにP”mim (y)の一次微分を求
め、負の値と正の値との間にはさまれた、一次微分の値
が「0」(射影値の変化のない)の範囲を行の範囲とし
て抽出する。
Next, a row range is extracted by detecting a valley from P ″ mim (y) (step S3). Specifically, as shown in FIG. 8, the first derivative of P ″ mim (y) , And a range in which the value of the first derivative is “0” (no change in the projection value) between the negative value and the positive value is extracted as a row range.

【0054】(2) 2値化部 2値化部103の処理動作について図9を参照して説明
する。
(2) Binarization Unit The processing operation of the binarization unit 103 will be described with reference to FIG.

【0055】まず、抽出された行範囲についての多値画
像の輝度ヒストグラムh(z)を求める(ステップS1
1)。
First, a luminance histogram h (z) of a multivalued image for the extracted row range is obtained (step S1).
1).

【0056】次に、輝度ヒストグラムから背景の輝度に
対応する分布領域を予め定められた基準に従って削除す
る(ステップS12)。すなわち、クラス間分散を用い
る閾値決定法をh(z)に直接適用するのではなく、h
(z)に対してヒストグラムカットを行いh′(z)を
求め、h′(z)に対して、従来同様の閾値決定法を適
用する(ステップS13)。
Next, the distribution area corresponding to the luminance of the background is deleted from the luminance histogram according to a predetermined reference (step S12). That is, instead of directly applying the threshold determination method using interclass variance to h (z), h
A histogram cut is performed on (z) to obtain h ′ (z), and a conventional threshold value determination method is applied to h ′ (z) (step S13).

【0057】ヒストグラムカットは、次のように行う。
z>zareaを満たすz(輝度値)の範囲に含まれるh
(z)面積が、ヒストグラムの全体の面積のTarea%と
なるような、zareaを求める。z>zareaを満たすzに
ついて、h(z)の値を「0」に置き換える。得られる
波形をh′(z)とする。
The histogram cut is performed as follows.
h included in the range of z (brightness value) satisfying z> z area
(Z) Find z area such that the area is T area % of the entire area of the histogram. For z satisfying z> z area , the value of h (z) is replaced with “0”. The obtained waveform is defined as h ′ (z).

【0058】ヒストグラムカットを行う目的は、ヒスト
グラムにおいて、背景に相当する部分の面積を減らし、
クラス間分散を用いる閾値決定法により適当な閾値が得
られるようにすることである。
The purpose of the histogram cut is to reduce the area of the portion corresponding to the background in the histogram,
The purpose is to obtain an appropriate threshold value by a threshold value determination method using inter-class variance.

【0059】Tarea%の値は、ヒストグラムにおいて、 ・背景に対応する部分を完全には除去しない ・背景に対応する部分の面積を十分に減らす の2つの条件を満たすような値に設定しておく。In the histogram, the value of T area % is set to a value that satisfies the following two conditions in the histogram: (1) the portion corresponding to the background is not completely removed; (2) the area of the portion corresponding to the background is sufficiently reduced. deep.

【0060】最後に、決定された閾値にて入力多値画像
の行範囲の領域について2値化を行う(ステップS1
4)。
Finally, binarization is performed on the area of the row range of the input multi-valued image at the determined threshold value (step S1).
4).

【0061】(3) 文字検出切り出し部 文字検出切り出し部104の処理動作について図10を
参照して説明する。
(3) Character Detection and Extraction Unit The processing operation of the character detection and extraction unit 104 will be described with reference to FIG.

【0062】まず、2値画像に対してラベリングを行う
(ステップS21)。次に、接触文字パターン切り出し
処理で、例えば、図10の右から2番めの「0」のよう
に背景模様と接触している文字パターンを背景模様から
切り出す処理を行う(ステップS22)。ここで、読取
対象としている文字(文字パターン)のサイズは予め定
められているものである。従って、ラベルのサイズも各
文字毎に予め定めることができるので、背景模様と接触
している場合は、ラベルが予め定められた大きさより大
きいものとなる。そこで、このラベルの大きさに基づき
背景模様と接触している文字パターンを判断することが
できる。
First, labeling is performed on the binary image (step S21). Next, in the contact character pattern cutout processing, for example, a processing of cutting out a character pattern in contact with the background pattern, such as the second “0” from the right in FIG. 10, from the background pattern (step S22). Here, the size of the character (character pattern) to be read is predetermined. Therefore, the size of the label can also be determined in advance for each character. When the label is in contact with the background pattern, the label becomes larger than the predetermined size. Therefore, the character pattern in contact with the background pattern can be determined based on the size of the label.

【0063】最後に、文字パターンの抽出処理では、文
字パターンのサイズと、印字ピッチ等の事前に得られて
いる情報を基づいて、ラベルから文字パターン列を構成
する個々の文字パターンを抽出する(ステップS2
3)。このとき、背景模様と接触している文字パターン
(図10では、右から2番目の「0」)のラベルからも
文字パターンのみを抽出する。
Finally, in the character pattern extraction processing, individual character patterns constituting a character pattern sequence are extracted from the label based on information obtained in advance such as the size of the character pattern and the printing pitch ( Step S2
3). At this time, only the character pattern is extracted from the label of the character pattern that is in contact with the background pattern (in FIG. 10, the second “0” from the right).

【0064】ここで、背景模様に接触した文字パターン
(図10の右から2番目の「0」)に着目して、ステッ
プS22の切り出し処理およびステップS23の文字パ
ターンの抽出処理について、図11を参照して詳しく述
べる。
Here, focusing on the character pattern (the second “0” from the right in FIG. 10) in contact with the background pattern, FIG. 11 shows the cutout processing in step S22 and the character pattern extraction processing in step S23. Reference is made in detail.

【0065】まず、文字パターンと背景模様が接触して
できたラベルを見つける。これは、ラベルの外接矩形の
大きさと、位置に基づいて求める。背景模様が文字パタ
ーンの上にある場合には、得られたラベルに対して、次
のようにして切り出しを行い、背景模様が文字パターン
の下にある場合には、次のアルゴリズムを上下逆にして
切り出しを行う。
First, a label formed by contact between a character pattern and a background pattern is found. This is obtained based on the size and position of the circumscribed rectangle of the label. If the background pattern is above the character pattern, cut out the obtained label as follows, and if the background pattern is below the character pattern, reverse the following algorithm upside down. And cut it out.

【0066】文字抽出処理では、まず、ペリフェラルパ
ターンPERI(x)を求める(ステップS31)。ペ
リフェラルパターンは、図12(a)に示すようなラベ
ルの外接矩形内を下から上に向ってスキャンし、図12
(b)に示すように、外接矩形の下端から最初にぶつか
る黒画素までの距離をペリフェラルパターンの値とす
る。
In the character extraction processing, first, a peripheral pattern PERI (x) is obtained (step S31). The peripheral pattern is scanned from the bottom to the top in the circumscribed rectangle of the label as shown in FIG.
As shown in (b), the distance from the lower end of the circumscribed rectangle to the first black pixel that hits is taken as the value of the peripheral pattern.

【0067】そして、ペリフェラルパターンから、文字
パターンの水平範囲を求める(ステップS32)。PE
RI(x)が閾値Hthよりも大きな値を持つ水平方向の
範囲を、水平範囲として抽出する。閾値Hthは、文字サ
イズが既知であることから予め定めることができる値で
ある。
Then, the horizontal range of the character pattern is obtained from the peripheral pattern (step S32). PE
A horizontal range in which RI (x) has a value larger than the threshold value Hth is extracted as a horizontal range. The threshold value Hth is a value that can be determined in advance because the character size is known.

【0068】つづいて、ペリフェラルパターンの値の
「0」から閾値Hstdまでの範囲を、文字パターンの垂
直の範囲として抽出する(ステップS33)。閾値H
stdは、文字サイズが既知であることから予め定めるこ
とができる値である。
Subsequently, a range from the value “0” of the peripheral pattern to the threshold H std is extracted as a vertical range of the character pattern (step S33). Threshold H
std is a value that can be determined in advance because the character size is known.

【0069】最後に、切り出された矩形範囲に対応する
範囲を、ラベル画像から切り出す(ステップS34)。
Finally, a range corresponding to the cut-out rectangular range is cut out from the label image (step S34).

【0070】なお、図10のステップS22で、ラベル
のサイズが予め定められたサイズとほぼ同じものに対し
ては、ステップS23の文字パターン抽出処理では、図
11に示す処理を行わずに、予め定められた各種文字パ
ターンのサイズおよび印字ピッチ等に基づき、その文字
パターン領域を切り出せばよい。
In step S22 of FIG. 10, if the label size is substantially the same as the predetermined size, the character pattern extraction process of step S23 does not perform the process shown in FIG. The character pattern area may be cut out based on the determined size and printing pitch of various character patterns.

【0071】以上説明したように、上記実施形態によれ
ば、背景模様や、輝度値の変動に影響を受けにくい、行
範囲の抽出ができる。また、調整が容易になるという効
果もある。これは、調整用のパラメータが少なく、パラ
メータは、変動の少ない文字パターン列の高さのみを考
慮して設定すればよいからである。
As described above, according to the above-described embodiment, it is possible to extract a line range which is hardly affected by a change in a background pattern or a luminance value. Also, there is an effect that the adjustment becomes easy. This is because there are few adjustment parameters, and the parameters need only be set in consideration of the height of the character pattern string with little change.

【0072】また、2値化処理の際、輝度ヒストグラム
に対する簡単な操作により、文字パターン列に対する背
景の面積が大きく、かつ、文字パターン列と背景の輝度
値が近い場合のような、従来の閾値決定法では適当な閾
値が得られない多値画像に対しても適当な閾値が得られ
るようになる。これにより、2値化処理の性能が向上す
る。
Also, in the binarization process, a simple operation on the luminance histogram allows a conventional threshold such as a case where the background area for the character pattern row is large and the luminance value of the character pattern row and the background are close to each other. In the determination method, an appropriate threshold can be obtained even for a multivalued image for which an appropriate threshold cannot be obtained. Thereby, the performance of the binarization processing is improved.

【0073】さらに、従来の方法により検出切り出しが
できないような、文字パターンと背景模様が接触する場
合にも、文字パターン列を検出切り出しすることができ
るようになる。これは、文字パターン列の認識率の向上
につながる。
Further, even when a character pattern and a background pattern come into contact with each other such that detection and extraction cannot be performed by the conventional method, a character pattern string can be detected and extracted. This leads to an improvement in the recognition rate of the character pattern string.

【0074】[0074]

【発明の効果】以上説明したように、多色印刷された背
景に印字されている文字でも、背景模様や輝度値の変動
に影響されずに確実に読み取ることができる。
As described above, even characters printed on a multicolor printed background can be reliably read without being affected by variations in the background pattern or luminance value.

【図面の簡単な説明】[Brief description of the drawings]

【図1】従来の行範囲抽出処理の問題点を説明するため
の図。
FIG. 1 is a diagram for explaining a problem of a conventional row range extraction process.

【図2】従来の2値化閾値決定方法の問題点を説明する
ための図。
FIG. 2 is a diagram for explaining a problem of a conventional binarization threshold value determination method.

【図3】本発明の文字読取装置を適用した、くじ付郵便
はがき選別装置の概略構成を示した図。
FIG. 3 is a diagram showing a schematic configuration of a lottery and postcard sorting device to which the character reading device of the present invention is applied.

【図4】本発明の文字読取装置の概略構成を示した図。FIG. 4 is a diagram showing a schematic configuration of a character reading device of the present invention.

【図5】本実施形態の文字読取装置に入力される多値画
像の一例を示した図。
FIG. 5 is a view showing an example of a multi-value image input to the character reading device of the embodiment.

【図6】図4の文字読取装置の処理動作の概略を説明す
るための図。
FIG. 6 is a view for explaining an outline of a processing operation of the character reading apparatus of FIG. 4;

【図7】行範囲抽出部の処理動作について説明するため
の図。
FIG. 7 is a diagram for explaining a processing operation of a row range extraction unit.

【図8】図7のステップS3の処理方法をより詳細に説
明するための図。
FIG. 8 is a diagram for explaining the processing method of step S3 in FIG. 7 in more detail;

【図9】2値化部の処理動作について説明するための
図。
FIG. 9 is a diagram for explaining a processing operation of a binarization unit;

【図10】文字検出切り出し部の処理動作について説明
するための図。
FIG. 10 is a diagram for explaining a processing operation of a character detection cutout unit;

【図11】背景模様に接触した文字パターンに着目し
て、図10のステップS22の切り出し処理およびステ
ップS23の文字パターンの抽出処理についてより詳細
に説明するための図。
FIG. 11 is a diagram for explaining in more detail the extraction processing of step S22 and the extraction processing of the character pattern of step S23 in FIG. 10, paying attention to the character pattern in contact with the background pattern.

【図12】図11のステップS31のペリフェラルパタ
ーンの計算方法について説明するための図。
FIG. 12 is a view for explaining a method of calculating a peripheral pattern in step S31 of FIG. 11;

【符号の説明】[Explanation of symbols]

101…光電変換部 102…行範囲抽出部 103…2値化部 104…文字検出切り出し部 105…文字認識部 101: photoelectric conversion unit 102: row range extraction unit 103: binarization unit 104: character detection cutout unit 105: character recognition unit

Claims (12)

【特許請求の範囲】[Claims] 【請求項1】 入力された画像の部分画像を予め定めら
れた文字列方向に走査して最小射影情報を求める手段
と、 前記最小射影情報から高周波数成分を除去する高周波成
分除去手段と、 前記高周波数成分の除去された最小射影情報に基づき行
領域を抽出する行抽出手段と、 この行抽出手段で抽出された行領域の画像を2値化する
2値化手段と、 この2値化手段で得られた2値化画像から文字を切り出
す文字切出手段と、 この文字切出手段で切り出された文字を認識して前記入
力画像の文字情報を読み取る文字読取手段と、 を具備したことを特徴とする文字読取装置。
A means for scanning a partial image of the input image in a predetermined character string direction to obtain minimum projection information; a high frequency component removing means for removing high frequency components from the minimum projection information; A row extracting means for extracting a row area based on the minimum projection information from which the high-frequency component has been removed; a binarizing means for binarizing an image of the row area extracted by the row extracting means; Character extracting means for extracting characters from the binarized image obtained in the above, and character reading means for recognizing the characters extracted by the character extracting means and reading the character information of the input image. Character reading device.
【請求項2】 入力された画像の部分画像を予め定めら
れた文字列方向に走査して最小射影情報を求める手段
と、 前記最小射影情報から高周波数成分を除去する高周波成
分除去手段と、 前記高周波数成分の除去された最小射影情報を微分し
て、その微分値が負となる位置と正となる位置とに挟ま
れた射影値の変化しない領域を行領域として抽出する行
抽出手段と、 この行抽出手段で抽出された行領域の画像を2値化する
2値化手段と、 この2値化手段で得られた2値化画像から文字を切り出
す文字切出手段と、 この文字切出手段で切り出された文字を認識して前記入
力画像の文字情報を読み取る文字読取手段と、 を具備したことを特徴とする文字読取装置。
2. A means for scanning a partial image of an input image in a predetermined character string direction to obtain minimum projection information; a high frequency component removing means for removing high frequency components from the minimum projection information; Line extraction means for differentiating the minimum projection information from which the high-frequency component has been removed, and extracting a region in which the projection value does not change between a position where the differential value is negative and a position where the differential value is positive as a line region, A binarizing unit for binarizing the image of the line area extracted by the line extracting unit; a character extracting unit for extracting a character from the binarized image obtained by the binarizing unit; Character reading means for recognizing characters cut out by the means and reading character information of the input image.
【請求項3】 入力された画像の部分画像を予め定めら
れた文字列方向に走査して最小射影情報を求める手段
と、 前記最小射影情報から高周波数成分を除去する高周波成
分除去手段と、 前記高周波数成分の除去された最小射影情報に基づき行
領域を抽出する行抽出手段と、 この行抽出手段で抽出された行領域の画像の輝度分布を
求める手段と、 前記輝度分布のうち、背景の輝度に対応する分布領域を
予め定められた基準に従って削除して得られた輝度分布
に基づき2値化閾値を決定する手段と、 前記2値化閾値を用いて前記行領域の画像を2値化する
2値化手段と、 この2値化手段で得られた2値化画像から文字を切り出
す文字切出手段と、 この文字切出手段で切り出された文字を認識して前記入
力画像の文字情報を読み取る文字読取手段と、 を具備したことを特徴とする文字読取装置。
A means for scanning a partial image of the input image in a predetermined character string direction to obtain minimum projection information; a high frequency component removing means for removing high frequency components from the minimum projection information; A row extracting unit that extracts a row region based on the minimum projection information from which the high-frequency component has been removed; a unit that obtains a luminance distribution of an image of the line region extracted by the line extracting unit; Means for determining a binarization threshold based on a luminance distribution obtained by deleting a distribution area corresponding to luminance in accordance with a predetermined criterion, and binarizing an image of the row area using the binarization threshold Character extracting means for extracting characters from the binary image obtained by the binarizing means; character information of the input image by recognizing the character extracted by the character extracting means Character reader to read When, character reading apparatus characterized by comprising a.
【請求項4】 入力された画像の部分画像を予め定めら
れた文字列方向に走査して最小射影情報を求める手段
と、 前記最小射影情報から高周波数成分を除去する高周波成
分除去手段と、 前記高周波数成分の除去された最小射影情報に基づき行
領域を抽出する行抽出手段と、 この行抽出手段で抽出された行領域の画像を2値化する
2値化手段と、 この2値化手段で得られた2値化画像に対しラベリング
を行うラベリング手段と、 このラベリング手段で得られた各ラベルのサイズに基づ
き背景画像の接触した文字のラベルを検出したとき、そ
のラベルのペリフェラル特徴と予め定められた文字サイ
ズに基づき該文字ラベルから文字のみを切り出す第1の
文字切出手段と、 前記ラベリング手段で得られたラベルより、予め定めら
れた文字サイズおよび文字間隔に基づき文字を切り出す
第2の文字切出手段と、 前記第1および第2の文字切出手段で切り出された文字
を認識して前記入力画像の文字情報を読み取る文字読取
手段と、 を具備したことを特徴とする文字読取装置。
4. A means for scanning a partial image of an input image in a predetermined character string direction to obtain minimum projection information; a high frequency component removing means for removing high frequency components from the minimum projection information; A row extracting means for extracting a row area based on the minimum projection information from which the high-frequency component has been removed; a binarizing means for binarizing an image of the row area extracted by the row extracting means; Labeling means for labeling the binarized image obtained in the step (a), and when a label of a character in contact with the background image is detected based on the size of each label obtained by the labeling means, the peripheral features of the label and the A first character extracting unit that extracts only characters from the character label based on the determined character size; and a predetermined character size and a predetermined size based on the label obtained by the labeling unit. A second character cutout unit that cuts out characters based on a character interval and a character reading unit that recognizes a character cut out by the first and second character cutout units and reads character information of the input image; A character reading device comprising:
【請求項5】 入力された画像の部分画像を予め定めら
れた文字列方向に走査して最小射影情報を求める手段
と、 前記最小射影情報から高周波数成分を除去する高周波成
分除去手段と、 前記高周波数成分の除去された最小射影情報を微分し
て、その微分値が負となる位置と正となる位置とに挟ま
れた射影値の変化しない領域を行領域として抽出する行
抽出手段と、 この行抽出手段で抽出された行領域の画像の輝度分布を
求める手段と、 前記輝度分布のうち、背景の輝度に対応する分布領域を
予め定められた基準に従って削除して得られた輝度分布
に基づき2値化閾値を決定する手段と、 前記2値化閾値を用いて前記行領域の画像を2値化する
2値化手段と、 この2値化手段で得られた2値化画像に対しラベリング
を行うラベリング手段と、 このラベリング手段で得られた各ラベルのサイズに基づ
き背景画像の接触した文字のラベルを検出したとき、そ
のラベルのペリフェラル特徴と予め定められた文字サイ
ズおよび文字間隔に基づき該文字ラベルから文字のみを
切り出す第1の文字切出手段と、 前記ラベリング手段で得られたラベルのサイズに基づき
文字のラベルを検出したら、予め定められた文字サイズ
および文字間隔に基づき文字を切り出す第2の文字切出
手段と、 前記第1および第2の文字切出手段で切り出された文字
を認識して前記入力画像の文字情報を読み取る文字読取
手段と、 を具備したことを特徴とする文字読取装置。
5. A means for scanning a partial image of an input image in a predetermined character string direction to obtain minimum projection information; a high frequency component removing means for removing high frequency components from the minimum projection information; Line extraction means for differentiating the minimum projection information from which the high-frequency component has been removed, and extracting a region in which the projection value does not change between a position where the differential value is negative and a position where the differential value is positive as a line region, Means for calculating the luminance distribution of the image of the line area extracted by the line extracting means; and a luminance distribution obtained by deleting a distribution area corresponding to the luminance of the background from the luminance distribution according to a predetermined reference. Means for determining a binarization threshold value based on the binarization threshold value; binarization means for binarizing the image of the row region using the binarization threshold value; Labeling means for performing labeling; When a label of a character in contact with the background image is detected based on the size of each label obtained by the labeling means, only characters from the character label are detected based on the peripheral characteristics of the label and a predetermined character size and character spacing. First character extracting means for extracting, and second character extracting means for extracting a character based on a predetermined character size and character interval when a label of a character is detected based on the size of the label obtained by the labeling means. And a character reading means for recognizing characters cut out by the first and second character cutting means and reading character information of the input image.
【請求項6】 前記高周波成分除去手段は、予め定めら
れた文字の高さに基づき定められたパラメータにより前
記最小射影情報から高周波数成分を除去することを特徴
とする請求項1〜5のいずれか1つに記載の文字読取装
置。
6. The apparatus according to claim 1, wherein said high-frequency component removing means removes a high-frequency component from said minimum projection information by a parameter determined based on a predetermined character height. The character reading device according to any one of the above.
【請求項7】 入力された画像の部分画像を予め定めら
れた文字列方向に走査して最小射影情報を求めるステッ
プと、 前記最小射影情報から高周波数成分を除去するステップ
と、 前記高周波数成分の除去された最小射影情報に基づき行
領域を抽出するステップと、 前記抽出された行領域の画像を2値化するステップと、 前記2値化画像から文字を切り出すステップと、 前記切り出された文字を認識して前記入力画像の文字情
報を読み取るステップと、 を具備したことを特徴とする文字読取方法。
7. A step of scanning a partial image of the input image in a predetermined character string direction to obtain minimum projection information; a step of removing a high-frequency component from the minimum projection information; Extracting a line area based on the minimum projection information from which the line area has been removed, binarizing the image of the extracted line area, cutting out characters from the binarized image, and cutting out the characters Recognizing the input image and reading the character information of the input image.
【請求項8】 入力された画像の部分画像を予め定めら
れた文字列方向に走査して最小射影情報を求めるステッ
プと、 前記最小射影情報から高周波数成分を除去するステップ
と、 前記高周波数成分の除去された最小射影情報を微分し
て、その微分値が負となる位置と正となる位置とに挟ま
れた射影値の変化しない領域を行領域として抽出するス
テップと、 前記抽出された行領域の画像を2値化するステップと、 前記2値化画像から文字を切り出すステップと、 前記切り出された文字を認識して前記入力画像の文字情
報を読み取るステップと、 を具備したことを特徴とする文字読取方法。
8. A step of scanning a partial image of the input image in a predetermined character string direction to obtain minimum projection information; a step of removing a high-frequency component from the minimum projection information; Differentiating the minimum projection information from which the difference has been removed, and extracting a region in which the projection value does not change between a position where the differential value is negative and a position where the differential value is positive as a line region; and Binarizing the image of the region, cutting out characters from the binarized image, and reading character information of the input image by recognizing the cut out characters. Character reading method.
【請求項9】 入力された画像の部分画像を予め定めら
れた文字列方向に走査して最小射影情報を求めるステッ
プと、 前記最小射影情報から高周波数成分を除去するステップ
と、 前記高周波数成分の除去された最小射影情報に基づき行
領域を抽出するステップと、 前記抽出された行領域の画像の輝度分布を求めるステッ
プと、 前記輝度分布のうち、背景の輝度に対応する分布領域を
予め定められた基準に従って削除して得られた輝度分布
に基づき2値化閾値を決定するステップと、 前記2値化閾値を用いて前記行領域の画像を2値化する
ステップと、 前記2値化画像から文字を切り出すステップと、 前記切り出された文字を認識して前記入力画像の文字情
報を読み取るステップと、 を具備したことを特徴とする文字読取方法。
9. A step of scanning a partial image of the input image in a predetermined character string direction to obtain minimum projection information; a step of removing a high-frequency component from the minimum projection information; Extracting a row region based on the minimum projection information from which the line region has been removed; obtaining the luminance distribution of the image of the extracted line region; and determining, in advance, a distribution region corresponding to background luminance among the luminance distribution. Determining a binarization threshold based on a luminance distribution obtained by deleting according to the obtained criterion; binarizing the image of the row region using the binarization threshold; A character reading method, comprising: a step of cutting out characters from a character string; and a step of recognizing the cut out character and reading character information of the input image.
【請求項10】 入力された画像の部分画像を予め定め
られた文字列方向に走査して最小射影情報を求めるステ
ップと、 前記最小射影情報から高周波数成分を除去するステップ
と、 前記高周波数成分の除去された最小射影情報に基づき行
領域を抽出するステップと、 前記抽出された行領域の画像を2値化するステップと、 前記2値化画像に対しラベリングを行うステップと、 前記ラベリングにより得られた各ラベルのサイズに基づ
き背景画像の接触した文字のラベルを検出したとき、そ
のラベルのペリフェラル特徴と予め定められた文字サイ
ズに基づき該文字ラベルから文字のみを切り出す第1の
文字切出ステップと、 前記ラベリングにより得られたラベルより、予め定めら
れた文字サイズおよび文字間隔に基づき文字を切り出す
第2の文字切出ステップと、 前記第1および第2の文字切出ステップで切り出された
文字を認識して前記入力画像の文字情報を読み取るステ
ップと、 を具備したことを特徴とする文字読取方法。
10. A step of scanning a partial image of an input image in a predetermined character string direction to obtain minimum projection information; a step of removing a high frequency component from the minimum projection information; Extracting a line region based on the minimum projection information from which the line region has been removed, binarizing the image of the extracted line region, labeling the binarized image, and labeling the binarized image. A first character extracting step of extracting only a character from the character label based on the peripheral characteristics of the label and a predetermined character size when detecting a label of a character in contact with the background image based on the size of each label thus obtained. And a second sentence that cuts out characters based on a predetermined character size and character spacing from the label obtained by the labeling. A character reading method, comprising: a character extracting step; and a step of recognizing the character extracted in the first and second character extracting steps and reading character information of the input image.
【請求項11】 入力された画像の部分画像を予め定め
られた文字列方向に走査して最小射影情報を求めるステ
ップと、 前記最小射影情報から高周波数成分を除去するステップ
と、 前記高周波数成分の除去された最小射影情報を微分し
て、その微分値が正の極大値となる位置と負の極大値と
なる位置とに挟まれた射影値の変化しない領域を行領域
として抽出するステップと、 前記抽出された行領域の画像の輝度分布を求めるステッ
プと、 前記輝度分布のうち、背景の輝度に対応する分布領域を
予め定められた基準に従って削除して得られた輝度分布
に基づき2値化閾値を決定するステップと、 前記2値化閾値を用いて前記行領域の画像を2値化する
ステップと、 前記2値化画像に対しラベリングを行うステップと、 前記ラベリングにより得られた各ラベルのサイズに基づ
き背景画像の接触した文字のラベルを検出したとき、そ
のラベルのペリフェラル特徴と予め定められた文字サイ
ズに基づき該文字ラベルから文字のみを切り出す第1の
文字切出ステップと、 前記ラベリングにより得られたラベルのサイズに基づき
文字のラベルを検出したら、予め定められた文字サイズ
および文字間隔に基づき文字を切り出す第2の文字切出
ステップと、 前記第1および第2の文字切出ステップで切り出された
文字を認識して前記入力画像の文字情報を読み取るステ
ップと、 を具備したことを特徴とする文字読取方法。
11. A step of scanning a partial image of the input image in a predetermined character string direction to obtain minimum projection information; a step of removing a high frequency component from the minimum projection information; Differentiating the minimum projection information removed, and extracting a region in which the projection value does not change between a position where the differential value becomes a positive maximum value and a position where the differential value becomes a negative maximum value as a row region; and Obtaining a luminance distribution of the image of the extracted row region; and, based on a luminance distribution obtained by deleting a distribution region corresponding to the luminance of the background from the luminance distribution according to a predetermined reference. Determining a binarization threshold; binarizing the image of the row region using the binarization threshold; performing labeling on the binarized image; A first character extracting step of extracting only a character from the character label based on the peripheral characteristics of the label and a predetermined character size when detecting a label of a character in contact with the background image based on the size of each label thus obtained. A second character extracting step of extracting a character based on a predetermined character size and a character interval when a character label is detected based on the label size obtained by the labeling; and the first and second character extracting steps. Recognizing the character extracted in the character extracting step and reading the character information of the input image.
【請求項12】 予め定められた文字の高さに基づき定
められた範囲で前記最小射影情報から高周波数成分を除
去することを特徴とする請求項7〜11のいずれか1つ
に記載の文字読取方法。
12. The character according to claim 7, wherein a high-frequency component is removed from the minimum projection information within a range determined based on a predetermined character height. Reading method.
JP26416097A 1997-09-29 1997-09-29 Character reading apparatus and character reading method Expired - Fee Related JP3645403B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP26416097A JP3645403B2 (en) 1997-09-29 1997-09-29 Character reading apparatus and character reading method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP26416097A JP3645403B2 (en) 1997-09-29 1997-09-29 Character reading apparatus and character reading method

Publications (2)

Publication Number Publication Date
JPH11110485A true JPH11110485A (en) 1999-04-23
JP3645403B2 JP3645403B2 (en) 2005-05-11

Family

ID=17399303

Family Applications (1)

Application Number Title Priority Date Filing Date
JP26416097A Expired - Fee Related JP3645403B2 (en) 1997-09-29 1997-09-29 Character reading apparatus and character reading method

Country Status (1)

Country Link
JP (1) JP3645403B2 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7352897B2 (en) 2001-09-27 2008-04-01 Canon Kabushiki Kaisha Method and means for dividing an image into character image lines, and method and apparatus for character image recognition
JP2008243016A (en) * 2007-03-28 2008-10-09 Oki Electric Ind Co Ltd Character recognition method, character recognition program and character recognition device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7352897B2 (en) 2001-09-27 2008-04-01 Canon Kabushiki Kaisha Method and means for dividing an image into character image lines, and method and apparatus for character image recognition
JP2008243016A (en) * 2007-03-28 2008-10-09 Oki Electric Ind Co Ltd Character recognition method, character recognition program and character recognition device

Also Published As

Publication number Publication date
JP3645403B2 (en) 2005-05-11

Similar Documents

Publication Publication Date Title
JP6080259B2 (en) Character cutting device and character cutting method
JP4208918B2 (en) Method and apparatus for extracting text from document image, computer program and storage medium thereof
EP0632402B1 (en) Method for image segmentation and classification of image elements for document processing
LeBourgeois Robust multifont OCR system from gray level images
JPH05225378A (en) Area dividing system for document image
JP2006338578A (en) Character recognition apparatus
KR101793184B1 (en) Apparatus of Fast lyric area extraction from images of printed music scores and method therefor
Karanje et al. Survey on text detection, segmentation and recognition from a natural scene images
JP3645403B2 (en) Character reading apparatus and character reading method
JPH0256688A (en) Character segmenting device
Ting et al. A syntactic business form classifier
Chandran et al. Structure recognition and information extraction from tabular documents
Bouressace et al. A convolutional neural network for Arabic document analysis
JPH10222602A (en) Optical character reading device
Visilter et al. Development of OCR system for portable passport and visa reader
JP4867894B2 (en) Image recognition apparatus, image recognition method, and program
JPH09305707A (en) Image extracting system
Gayashan et al. Old Sinhala newspaper article segmentation for content recognition using image processing
JPH0916715A (en) Character recognition system and method therefor
JP2894111B2 (en) Comprehensive judgment method of recognition result in optical type character recognition device
Boiangiu et al. Automatic Correction of OCR Results Using Similarity Detection for Words and Fonts
Arenas et al. A Document layout analysis method based on morphological operators and connected components
JPH09305709A (en) Image recognition method and its device
JP3199033B2 (en) Optical character reading method and optical character reading device
JPH0773273A (en) Pattern segmenting and recognizing method and its system

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040802

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041012

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041213

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050203

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080210

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090210

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100210

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100210

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110210

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120210

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees