JP5023205B2 - Dropout color processing apparatus and dropout color processing method using the same - Google Patents

Dropout color processing apparatus and dropout color processing method using the same Download PDF

Info

Publication number
JP5023205B2
JP5023205B2 JP2010207388A JP2010207388A JP5023205B2 JP 5023205 B2 JP5023205 B2 JP 5023205B2 JP 2010207388 A JP2010207388 A JP 2010207388A JP 2010207388 A JP2010207388 A JP 2010207388A JP 5023205 B2 JP5023205 B2 JP 5023205B2
Authority
JP
Japan
Prior art keywords
color
extracted
histogram
image
threshold
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2010207388A
Other languages
Japanese (ja)
Other versions
JP2011018359A (en
Inventor
啓介 中島
伸一 篠田
正弘 及川
和樹 中島
正嶋  博
恭広 内田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Information and Telecommunication Engineering Ltd
Original Assignee
Hitachi Computer Peripherals Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Computer Peripherals Co Ltd filed Critical Hitachi Computer Peripherals Co Ltd
Priority to JP2010207388A priority Critical patent/JP5023205B2/en
Publication of JP2011018359A publication Critical patent/JP2011018359A/en
Application granted granted Critical
Publication of JP5023205B2 publication Critical patent/JP5023205B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Character Input (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Description

本発明は、多色の画像データに対し色範囲を指定して抽出し、これに該当する色をあらかじめ設定した色に変更する抽出画像処理装置および処理方法に関するものであり、特に抽出させる色範囲を操作性よく指定する技術に関するものである。   The present invention relates to an extraction image processing apparatus and a processing method for specifying and extracting a color range from multicolor image data and changing the corresponding color to a preset color, and in particular, a color range to be extracted. It is related with the technique of designating with good operability.

近年、財務関係文書の電子保存(イメージファイル化)を法的に容認するe文書法の制定(2005年4月1日より施行)なども契機になり、OCR(光学的文字認識)、スキャナなどを用いたオフィスや役所、自治体の文書電子化が進んでいる。特にOCRは、大量の手書き情報を短時間で電子化できるため、業務の効率化に大きく貢献している。OCRに入力するOCR帳票は、人間が文字を記入する際に基準となる枠や罫線等をドロップアウト色で印刷し、人間が書いた文字のみを読み取ることで認識率を向上させている。従来の文字読み取りはOCRの読取りセンサに付けたフィルタで光学的に抽出していたため、OCR固有の機能であったが、現在では多色の読取り画像をコンピュータで画像処理することでデジタル的な抽出が可能となっている。しかし、各種OCR帳票は、会社または事業体単位で独自に作成、印刷、利用されているため、OCR導入時にドロップアウトすべき枠の色を環境に応じて指定し登録する必要がある。   In recent years, the enactment of the e-document law (enforced on April 1, 2005) that legally allows electronic storage (image files) of financial documents has become a trigger, such as OCR (optical character recognition), scanners, etc. Documents are being digitized at offices, government offices, and local governments. In particular, OCR greatly contributes to business efficiency because it can digitize a large amount of handwritten information in a short time. The OCR form input to the OCR has a recognition rate improved by printing a frame, a ruled line, or the like, which is a reference when a human enters a character, in a dropout color and reading only the character written by the human. Conventional character reading was optically extracted by a filter attached to an OCR reading sensor, so it was a function unique to OCR, but now it is digitally extracted by image processing of multicolored images with a computer. Is possible. However, since various OCR forms are independently created, printed, and used for each company or business unit, it is necessary to specify and register the color of the frame to be dropped out according to the environment when introducing OCR.

しかし、企業の統合、自治体の合併など組織改編の際、機器導入後、合併前の他社や他自治体の幅広い帳票に迅速に対応するためには設定変更の効率化が求められている。また、1枚の帳票内に豊富な情報を表現するため複数のドロップアウト色(マルチドロップアウトカラー)が増え、カラーのカーボンコピーを含め文字色の多様性への対応が必須で、今後ますます文字色や抽出色の境界(閾値)の設定機能の向上が課題になることが予想される。   However, at the time of organizational reorganization, such as corporate integration or merger of local governments, it is necessary to improve the efficiency of setting changes in order to respond quickly to a wide range of forms from other companies and other local governments before the merger after the introduction of equipment. In addition, multiple dropout colors (multidropout colors) have been added to express a wealth of information in a single form, and it is essential to support the diversity of character colors, including carbon copies of colors. It is expected that improvement of the function for setting the boundary (threshold value) between the character color and the extracted color will be an issue.

この問題を解決する方式として、従来特許文献1のように彩度に応じて二値化閾値を変化させる方式、特許文献2のように特定画像部位のヒストグラムから色分布の最大・最小値を求めドロップアウト色範囲を求める方式、特許文献3のように罫線を抽出しそのヒストグラムから分離精度を上げる方式、特許文献4のように色空間上の色分布から特定色領域を検出し色下地を除去する方式、特許文献5のように抽出すべき色分布と抽出したくない色分布を用いることで分離精度を向上させる方式が提案されている。   As a method for solving this problem, a method for changing the binarization threshold according to the saturation as in Patent Document 1 and the maximum and minimum values of the color distribution are obtained from a histogram of a specific image portion as in Patent Document 2. A method for obtaining a dropout color range, a method for extracting ruled lines and increasing the separation accuracy from the histogram as in Patent Document 3, and a method for detecting a specific color area from a color distribution in a color space and removing a color background as in Patent Document 4 A method for improving the separation accuracy by using a color distribution to be extracted and a color distribution not to be extracted as in Patent Document 5 has been proposed.

特開2001−118031号公報JP 2001-118031 A 特開2003−216894号公報JP 2003-216894 A 特開2005−258683号公報JP 2005-258683 A 特開平9−51443号公報JP-A-9-51443 特開平7−98762号公報Japanese Patent Laid-Open No. 7-98762

これらの方式もしくはその組み合わせでは、ユーザーが抽出したい色を指定する操作が煩雑で閾値の調整に大きな工数がかかるという問題を解決できない。   These methods or a combination thereof cannot solve the problem that the user's operation of specifying the color to be extracted is complicated and the adjustment of the threshold takes a large amount of man-hours.

例えば特許文献1のように彩度に応じて二値化閾値を変化させる方式では、有彩色と無彩色を区別する彩度の閾値の設定が必要で、彩度の低い罫線をドロップアウトするには閾値を低く設定する必要があり、そうすればボールペンのような彩度の高い手書き文字が記入された帳票では文字が読み取れないという基本的な問題が発生してしまう。また、特許文献2や特許文献3のように色分布の最大・最小値を求め色範囲とする方式では、色の抽出/ドロップアウト範囲が矩形となるために、文字のカスレを防止するために抽出領域を小さくすると罫線が出現し、抽出領域を拡げて罫線を抑えれば文字がカスレてしまうというジレンマがおこり閾値の調整は暗礁に乗り上げる。   For example, in the method of changing the binarization threshold according to the saturation as in Patent Document 1, it is necessary to set a saturation threshold that distinguishes between chromatic and achromatic colors, and a ruled line with low saturation is dropped out. Needs to be set to a low threshold value, and this causes a basic problem that characters cannot be read in a form in which handwritten characters with high saturation such as a ballpoint pen are written. Further, in the method of obtaining the maximum / minimum value of the color distribution and using the color range as in Patent Document 2 and Patent Document 3, the color extraction / dropout range is rectangular, so that character blurring is prevented. When the extraction area is made smaller, ruled lines appear, and when the extracted area is expanded and the ruled lines are suppressed, characters become blurred. Adjustment of the threshold goes up to the reef.

また、特許文献4のように色空間上の色分布から特定色領域を検出し色下地を除去する方式では、色平面に対して各種の特定色抽出方式を適用する例が示されているが、色平面固有の抽出であるために、罫線と文字が交わっている部分の分離には対応できていない。
また、特許文献5のように抽出すべき色分布と抽出したくない色分布を用いることで分離精度を向上させる方式では、抽出すべき色を画面上で指定する操作は、一つ一つの画素を指定し、もしくは中心に近い色を指定し許容幅を入力する必要があり、煩雑で、特に網点背景上の文字などを指定することはほとんど不可能に近い。
In addition, in the method of detecting a specific color region from the color distribution in the color space and removing the color background as in Patent Document 4, examples in which various specific color extraction methods are applied to the color plane are shown. Since the extraction is unique to the color plane, it cannot cope with the separation of the portion where the ruled line and the character intersect.
In the method of improving the separation accuracy by using the color distribution to be extracted and the color distribution not to be extracted as in Patent Document 5, the operation of designating the color to be extracted on the screen is performed for each pixel. Or a color close to the center and an allowable width must be input, which is cumbersome, and it is almost impossible to specify characters on a halftone dot background.

本発明は、ドロップアウトカラー処理装置においてユーザーが抽出したい色を指定する操作が煩雑で閾値の調整に大きな工数がかかるという問題を解決するために、帳票を多色の画像データとして入力する入力部と、上記画像データを所定の色空間に変換する色空間変換部と、上記色空間内のデータのヒストグラムを作成するヒストグラム作成部と、上記ヒストグラムに基づいてデータ分布の輪郭を作成する輪郭作成部と、上記作成した輪郭によって色空間上の抽出領域を作成する閾値生成部と、上記画像データの各画素の上記色空間変換結果が上記色空間上の抽出領域に属するか否かによって上記画像データの各画素をそれぞれ指定した色に変換する指定色変換部と、処理後の画像を出力する出力部とを有するドロップアウトカラー処理装置において、前記閾値生成部に色空間上の抽出領域を異なる方式で生成する複数の閾値生成部を設け、上記輪郭作成部で輪郭を作成する際、色空間上の座標があらかじめ設定した領域内か否かによって上記複数の閾値生成部を切り替えることを特徴とする。   The present invention provides an input unit for inputting a form as multicolor image data in order to solve the problem that a user's operation of specifying a color to be extracted in a dropout color processing apparatus is complicated and takes a lot of man-hours to adjust a threshold value. A color space conversion unit that converts the image data into a predetermined color space, a histogram creation unit that creates a histogram of data in the color space, and a contour creation unit that creates a contour of a data distribution based on the histogram A threshold generation unit that creates an extraction region on the color space based on the created contour, and the image data depending on whether the color space conversion result of each pixel of the image data belongs to the extraction region on the color space. A dropout color processing device having a designated color conversion unit that converts each pixel of the image into a designated color and an output unit that outputs the processed image The threshold generation unit is provided with a plurality of threshold generation units that generate the extraction region in the color space by different methods, and when the contour generation unit generates the contour, whether the coordinates in the color space are within a preset region. The plurality of threshold generation units are switched depending on whether or not.

また、前記複数の閾値生成部のうち少なくとも一つはヒストグラム分布の最小境界を選択して抽出領域を作成する閾値生成部であり、少なくとも一つはヒストグラム分布の谷部を選択して抽出領域を作成する閾値生成部であることを特徴とする。   In addition, at least one of the plurality of threshold generation units is a threshold generation unit that selects the minimum boundary of the histogram distribution and creates an extraction region, and at least one selects the valley portion of the histogram distribution and selects the extraction region. It is a threshold generation unit to be created.

また、色空間上にあらかじめ設定した前記領域の境界は、色空間に対して平行もしくは垂直であることを特徴とする。   Further, the boundary of the region set in advance on the color space is parallel or perpendicular to the color space.

また、色空間上にあらかじめ設定した前記領域の境界は、色空間に対して傾斜して設けたことを特徴とする。   Further, the boundary of the region set in advance on the color space is provided so as to be inclined with respect to the color space.

また、帳票を多色の画像データとして入力する入力部と、上記画像データを所定の色空間に変換する色空間変換部と、上記色空間内のデータのヒストグラムを作成するヒストグラム作成部と、上記ヒストグラムに基づいてデータ分布の輪郭を作成する輪郭作成部と、上記作成した輪郭によって色空間上の抽出領域を作成する閾値生成部と、上記画像データの各画素の上記色空間変換結果が上記色空間上の抽出領域に属するか否かによって上記画像データの各画素を、それぞれ指定した色に変換する指定色変換部と、処理後の画像を表示もしくは出力する出力部と、を有するドロップアウトカラー処理装置において、
上記画像データに対し「抽出色を含む」画像領域を指定する第一の範囲指定部と、上記画像データに対し「抽出色を含まない」画像領域を指定する第二の範囲指定部と、上記「抽出色を含む」画像領域内および、「抽出色を含まない」画像領域内の一部もしくは全部の色空間分布を抽出するヒストグラム作成部と、上記ヒストグラム抽出結果に基づき閾値を生成する閾値生成部を備えることを特徴とする。
An input unit that inputs a form as multicolor image data; a color space conversion unit that converts the image data into a predetermined color space; a histogram creation unit that creates a histogram of data in the color space; A contour creation unit that creates a contour of a data distribution based on a histogram, a threshold generation unit that creates an extraction region in a color space based on the created contour, and the color space conversion result of each pixel of the image data is the color A dropout color having a designated color conversion unit that converts each pixel of the image data into a designated color depending on whether it belongs to an extraction area in space, and an output unit that displays or outputs the processed image In the processing device,
A first range designating unit for designating an image area “including the extracted color” for the image data; a second range designating unit for designating an image area “not containing the extracted color” for the image data; A histogram creation unit that extracts a part or all of the color space distribution in an image area that includes an extracted color and an image area that does not include an extracted color, and a threshold generation that generates a threshold based on the histogram extraction result. It comprises a part.

また、「抽出色」の閾値を生成する手段として、「抽出色を含む」画像領域を色抽出した色空間上の分布として「抽出色を含む」包絡面を生成する第1のスムージング手段と、「抽出色を含まない」画像領域を色抽出した色空間上の分布として「抽出色を含まない」包絡面を生成する第2のスムージング手段と、少なくとも「抽出色を含む」包絡面の内側にあって、「抽出色を含まない」包絡面の外側にあれば「抽出色」とする判定基準を持つ閾値生成部とを備えることを特徴とする。   In addition, as a means for generating a threshold of “extracted color”, a first smoothing means for generating an “extracted color” envelope surface as a distribution in a color space obtained by color extracting an “extracted color” image area; A second smoothing means for generating an envelope surface that does not include an extracted color as a distribution in a color space obtained by extracting a color of an image area that does not include an extracted color, and at least inside the envelope surface that includes an extracted color And a threshold generation unit having a determination criterion of “extracted color” if it is outside the envelope surface “not including extracted color”.

また、前記閾値生成手段は、「抽出色を含む」包絡面の内側にあってかつ「抽出色を含まない」包絡面の内側にある競合領域においては、上記ヒストグラム抽出結果に基づき「抽出色を含む」輪郭を作成する際、「抽出色を含まない」領域外ではヒストグラム分布の最小境界を選択して閾値を生成し、「抽出色を含まない」領域内ではヒストグラムの谷部を選択して閾値を生成する閾値生成部を有することを特徴とする。   In addition, the threshold value generation unit is configured to generate an “extracted color” based on the histogram extraction result in a competitive area that is inside the envelope surface that includes “extracted color” and that is inside the envelope surface that does not include “extracted color”. When creating an `` contained '' contour, select the minimum boundary of the histogram distribution outside the `` does not include extracted color '' area to generate a threshold, and select the valley of the histogram within the `` does not include extracted color '' area It has the threshold value production | generation part which produces | generates a threshold value, It is characterized by the above-mentioned.

本発明によれば、多色画像データについて、所定の色範囲を決定し設定色に変更するドロップアウトカラー処理装置において、複数の「抽出色を含む」色範囲と「抽出色を含まない」色範囲を簡単に設定でき、抽出境界を自動的に決定することができるため、新規の抽出帳票の追加が容易で、メンテナンスコストを大幅に抑えることができ、安定して色を抽出し、除去することができる。   According to the present invention, in a dropout color processing apparatus that determines a predetermined color range and changes to a set color for multicolor image data, a plurality of “extracted color” color ranges and “extracted color” colors Since the range can be set easily and the extraction boundary can be determined automatically, it is easy to add new extraction forms, greatly reduce maintenance costs, and stably extract and remove colors. be able to.

本発明の第1の実施形態の全体ブロック図である。1 is an overall block diagram of a first embodiment of the present invention. 本発明の第1の実施形態の概略フローチャートである。It is a schematic flowchart of the 1st Embodiment of this invention. 本発明の第1の実施形態のヒストグラム作成例を示す模式図である。It is a schematic diagram which shows the example of histogram preparation of the 1st Embodiment of this invention. 本発明の第1の実施形態のヒストグラム格納データを示す模式図である。It is a schematic diagram which shows the histogram storage data of the 1st Embodiment of this invention. 本発明の第1の実施形態の閾値生成を示す模式図である。It is a schematic diagram which shows the threshold value generation of the 1st Embodiment of this invention. 本発明の第1の実施形態の閾値生成方式を示す詳細説明図である。It is detailed explanatory drawing which shows the threshold value production | generation system of the 1st Embodiment of this invention. 本発明の第1の実施形態の閾値生成方式の変形例を示す詳細説明図である。It is detailed explanatory drawing which shows the modification of the threshold value generation system of the 1st Embodiment of this invention. 本発明の第1の実施形態の閾値生成を示すフローチャートである。It is a flowchart which shows the threshold value generation of the 1st Embodiment of this invention. 本発明の第1の実施形態の第1の閾値生成方式を示す模式図である。It is a schematic diagram which shows the 1st threshold value production | generation system of the 1st Embodiment of this invention. 本発明の第1の実施形態の第1の閾値生成方式のフローチャートである。It is a flowchart of the 1st threshold value generation system of the 1st Embodiment of this invention. 本発明の第1の実施形態の第2の閾値生成方式を示す模式図である。It is a schematic diagram which shows the 2nd threshold value production | generation system of the 1st Embodiment of this invention. 本発明の第1の実施形態の第2の閾値生成方式のフローチャートである。It is a flowchart of the 2nd threshold value generation system of the 1st Embodiment of this invention. 本発明の第2の実施形態の概略フローチャートである。It is a schematic flowchart of the 2nd Embodiment of this invention. 本発明の第2の実施形態の閾値生成を示す模式図である。It is a schematic diagram which shows the threshold value generation of the 2nd Embodiment of this invention. 本発明の第2の実施形態の閾値生成を示す説明図である。It is explanatory drawing which shows the threshold value generation of the 2nd Embodiment of this invention. 本発明の第2の実施形態の閾値生成を示す説明図である。It is explanatory drawing which shows the threshold value generation of the 2nd Embodiment of this invention. 本発明の実施形態における操作画面を示す模式図である。It is a schematic diagram which shows the operation screen in embodiment of this invention. 本発明の実施形態における他の操作画面を示す模式図である。It is a schematic diagram which shows the other operation screen in embodiment of this invention. 本発明のハードウエア構成を示すブロック図である。It is a block diagram which shows the hardware constitutions of this invention.

以下本発明の実施の形態について、その構成、画像表示例、および処理フローチャートを説明する。
〔第1の実施の形態〕
図1は、本発明の全体のブロック図である。RGB画像を入力する入力部100は、色空間変換・ヒストグラム作成部200におけるグレイ変換部211、浮動閾値二値化部212、二値化判定部214によって画像データのHSV色空間変換とヒストグラム処理を行う。その後ヒストグラム処理部213で二値化処理で黒画素となる画素のみのヒストグラムを採取しヒストグラムバッファ222に格納する。二値化のための一次バッファデータは浮動閾値二値化画像バッファ220に格納し、RGBからHSVに変換した画像はHSV画像バッファ230に格納し、二値化結果は二値化結果バッファ240におのおの格納する。
Hereinafter, the configuration of the embodiment of the present invention, an image display example, and a processing flowchart will be described.
[First Embodiment]
FIG. 1 is an overall block diagram of the present invention. An input unit 100 for inputting an RGB image performs HSV color space conversion and histogram processing of image data by a gray conversion unit 211, a floating threshold binarization unit 212, and a binarization determination unit 214 in the color space conversion / histogram creation unit 200. Do. Thereafter, the histogram processing unit 213 collects a histogram of only pixels that become black pixels by binarization processing and stores the histogram in the histogram buffer 222. The primary buffer data for binarization is stored in the floating threshold binarized image buffer 220, the image converted from RGB to HSV is stored in the HSV image buffer 230, and the binarization result is stored in the binarization result buffer 240. Store each one.

次に、輪郭作成・閾値生成部300は、内部に備える第1閾値生成部310と第2閾値生成部311で罫線部と文字部の閾値生成を行い、色空間上の抽出領域を設定する。この抽出領域に基づき指定色変換部400で対象画素の色が色空間上の抽出領域内かどうかの判定を閾値判定部410で行い、出力画像を出力部110からディスプレイ、プリンタ等の出力装置に出力する。   Next, the contour creation / threshold value generation unit 300 generates threshold values for the ruled line portion and the character portion by the first threshold value generation unit 310 and the second threshold value generation unit 311 provided therein, and sets an extraction region on the color space. Based on this extraction region, the specified color conversion unit 400 determines whether the color of the target pixel is within the extraction region on the color space, and the threshold determination unit 410 determines the output image from the output unit 110 to an output device such as a display or printer. Output.

図2は、本発明の第1の実施の形態の概略フローチャートを示す。入力画像100aは、罫線104が印字され文字102が記入されている帳票画像を示す。色空間変換・ヒストグラム作成部200では、帳票を電子的に読み取りRGBなどの多色の画像データに変換し、例えば人間の目の特性に近いHSV色空間等に変換し、そのヒストグラム201を採取する。さらに、輪郭作成・閾値生成部300では、ヒストグラム201から頻度の分布の輪郭を作成し、作成した輪郭とあらかじめ設定した領域もしくは、作成した輪郭と他の輪郭との干渉の有無をチェックし、SV平面上で閾値301を生成する。指定色変換部400では閾値301に基づき入力画像データの画像を変換し、罫線104を白に置き換えて除去し、文字102のみを再現した出力画像110aを出力する。   FIG. 2 shows a schematic flowchart of the first embodiment of the present invention. The input image 100a shows a form image in which ruled lines 104 are printed and characters 102 are entered. The color space conversion / histogram creation unit 200 electronically reads a form and converts it into multicolor image data such as RGB, converts it into, for example, an HSV color space close to the characteristics of the human eye, and collects the histogram 201. . Further, the contour creation / threshold generation unit 300 creates a frequency distribution contour from the histogram 201, checks whether there is interference between the created contour and a preset region or the created contour and another contour, and SV A threshold value 301 is generated on the plane. The designated color conversion unit 400 converts the image of the input image data based on the threshold value 301, replaces the ruled line 104 with white and removes it, and outputs an output image 110 a that reproduces only the character 102.

次に、上記各処理の詳細について説明する。図3はHSV色空間の模式図であって、図3(a)はHSV色空間2000の回転方向は色相H、系方向は彩度S、高さ方向は輝度Vを示す。HSV色空間では、RGBなどの多色データに比べて、色相、彩度、輝度に分離されているため、より人間の認識に近い処理が可能となる。本実施の形態では、色相を30種に、彩度および輝度は32種に分類し、HSV色空間に変換した画像データの頻度を求める。図3(b)は、ヒストグラムから頻度の分布を求めた模式図を示す。黒インク等の文字部の頻度は、彩度が低い分布2002となり、色のついた罫線は彩度が高い分布2003、2004のようになる。   Next, details of each of the above processes will be described. FIG. 3 is a schematic diagram of the HSV color space. FIG. 3A shows the hue H in the rotation direction of the HSV color space 2000, the saturation S in the system direction, and the luminance V in the height direction. Since the HSV color space is separated into hue, saturation, and luminance as compared to multicolor data such as RGB, processing closer to human recognition is possible. In this embodiment, the hue is classified into 30 types, the saturation and the luminance are classified into 32 types, and the frequency of the image data converted into the HSV color space is obtained. FIG. 3B shows a schematic diagram in which the frequency distribution is obtained from the histogram. The frequency of the character portion such as black ink has a distribution 2002 with low saturation, and the colored ruled lines have distributions 2003 and 2004 with high saturation.

図4は、HSV色空間上の画像データのヒストグラム収集データ構造を示す模式図である。各収集データ2100〜2104は色相(H)別に、彩度(S)、輝度(V)の頻度を求める。このようにヒストグラムは3次元的なデータとして記憶する。   FIG. 4 is a schematic diagram showing a histogram collection data structure of image data on the HSV color space. Each collected data 2100 to 2104 obtains the frequency of saturation (S) and luminance (V) for each hue (H). Thus, the histogram is stored as three-dimensional data.

図5は、閾値生成方式の模式図であり、図5(a)は、HSV色空間2000のヒストグラム、図5(b)は、その1色相を切り出したS−V平面を示す。図において横軸は彩度(S)、縦軸は輝度(V)を示し、2005は文字部の分布、2006は罫線部の分布を示す。図5(c)はその拡大図で、文字部の分布2005と罫線部の分布2006は、罫線上の文字が存在するため分布が重なっているケースが多く、その重なった分布における断面2007は、たとえば図5(d)に示すように、頻度分布に谷部を形成している場合が多い。図5(c)には谷線2008を示す。本発明では、文字と罫線の重なっている分布を分離するためにこの頻度の谷部を利用している。   5A and 5B are schematic diagrams of the threshold generation method. FIG. 5A shows a histogram of the HSV color space 2000, and FIG. 5B shows an SV plane in which one hue is cut out. In the figure, the horizontal axis indicates saturation (S), the vertical axis indicates luminance (V), 2005 indicates the distribution of character portions, and 2006 indicates the distribution of ruled line portions. FIG. 5C is an enlarged view of the distribution 2005 of the character part and the distribution 2006 of the ruled line part because there are characters on the ruled line and the distributions are often overlapped. A section 2007 in the overlapped distribution is as follows. For example, as shown in FIG. 5D, valleys are often formed in the frequency distribution. A valley line 2008 is shown in FIG. In the present invention, this frequency valley is used to separate the overlapping distribution of characters and ruled lines.

図6は閾値生成処理の一例を示し、特定の色相HにおけるS−V平面において文字と罫線の分布を示す説明図である。図6(a)では、横軸Sに文字2010と罫線2011の仮分離閾値SMinを設け、SMinより大きな彩度のヒストグラムについて閾値近似直線2012を求める。次に、この近似直線と直線S=SMinの交点を求める。SMinより小さな彩度の部分については、上記の交点を基点に図5(d)で説明した文字部と罫線部の頻度の谷部を検索し谷線を求める。閾値の具体的算出に関しSMinより大きな彩度のヒストグラムには第1の閾値生成方式を用い、SMinより小さな彩度のヒストグラムには第2の閾値生成方式を用いており、このアルゴリズムの詳細については後述する。   FIG. 6 is an explanatory diagram showing an example of the threshold generation process, showing the distribution of characters and ruled lines on the SV plane in a specific hue H. In FIG. 6A, a provisional separation threshold SMin for characters 2010 and ruled lines 2011 is provided on the horizontal axis S, and a threshold approximate straight line 2012 is obtained for a histogram having a saturation greater than SMin. Next, the intersection of this approximate straight line and the straight line S = SMin is obtained. For the portion of saturation smaller than SMin, the valley of the frequency of the character portion and the ruled line portion described with reference to FIG. Regarding the specific calculation of the threshold, the first threshold generation method is used for a histogram with a saturation larger than SMin, and the second threshold generation method is used for a histogram with a saturation smaller than SMin. It will be described later.

色分離のための閾値は、上記演算で求めた閾値近似直線と谷線からなる折れ線に対して所定の補正係数をかけて閾値2013を生成する。縦軸VにおけるVMinは、ノイズの上限を示し、閾値の計算はVMin以上のみを対象としている。   As a threshold for color separation, a threshold 2013 is generated by applying a predetermined correction coefficient to a broken line composed of a threshold approximate line and a valley line obtained by the above calculation. VMin on the vertical axis V indicates the upper limit of noise, and threshold calculation is only for VMin and higher.

文字の頻度分布が仮分離閾値SMinよりも小さい場合は、上述のように文字と罫線は正しく分離が可能である。一方、図6(b)のように文字分布2016が仮分離閾値SMinよりも大きな場合は、閾値近似直線と実際の分布の間に誤差が生じ閾値が低く設定されるため、文字にもかかわらず閾値の上に分布2017が生じ、読取文字がかすれる問題が発生する。   When the character frequency distribution is smaller than the temporary separation threshold SMin, the characters and ruled lines can be correctly separated as described above. On the other hand, when the character distribution 2016 is larger than the temporary separation threshold SMin as shown in FIG. 6B, an error occurs between the threshold approximate line and the actual distribution, and the threshold is set low. A distribution 2017 occurs above the threshold value, causing a problem that the read characters are faint.

図7(a)は、上記に対応する別の仮分離閾値の設定方式を示す。仮分離閾値2020をS軸に対し平行でなく略45度傾斜した直線で設定する。これにより仮分離閾値と実際の分布のずれを小さくすることができ閾値生成のロバスト性を向上できる。また、仮分離閾値よりも大きな彩度の領域では、ヒストグラムを直線近似ではなく、頻度の最小境界
2021を求めている。これにより、閾値近似直線から閾値に変換する補正係数をなくし、パラメータ数を減らすことができる。図7(b)は、仮分離閾値2020よりも小さな領域の閾値決定方式を示し、これは、文字と罫線の頻度の谷部を求める方式を用いる。
FIG. 7A shows another temporary separation threshold setting method corresponding to the above. The temporary separation threshold 2020 is set as a straight line that is not parallel to the S-axis and is inclined approximately 45 degrees. Thereby, the deviation between the temporary separation threshold and the actual distribution can be reduced, and the robustness of threshold generation can be improved. Further, in a region of saturation greater than the temporary separation threshold, the histogram is not a linear approximation but the minimum frequency boundary 2021 is obtained. As a result, the correction coefficient for converting the threshold approximation line into the threshold value can be eliminated, and the number of parameters can be reduced. FIG. 7B shows a threshold value determination method for an area smaller than the temporary separation threshold value 2020, which uses a method for obtaining a trough portion of the frequency of characters and ruled lines.

図8に、本発明の閾値生成処理の全体フローチャートを示す。まず、変数やテーブルの初期化を行い(S11)、座標更新を行う(S12)。座標移動は、色相Hごとに、彩度Sを降順に、輝度Vをノイズの上限VMinから昇順に色頻度をスキャンしていく。図6、図7で述べたように、対象座標が、競合エリア外つまり仮分離閾値よりも対象の彩度が高い場合(S13)は、第一の閾値生成方式である最小値抽出(S14)より境界を求め、仮分離閾値よりも対象の彩度が低い場合(S13)は、第二の閾値生成方式である頻度の谷部検出(S21)により境界を求める。境界計算後、前のV位置を記憶するため前値の更新(S15)を行う。スキャンが終了すれば(S16)次に移るが、スキャンが残っていれば座標更新(S12)に戻る。彩度Sを降順に処理し、終了すれば(S16)今度は逆に彩度Sを昇順に座標更新(S17)を行い、スムージング処理(S18)を行い急激な変化をスムーズな動きに変換する。スキャンが終了すれば(S19)閾値の生成を完了(S20)する。   FIG. 8 shows an overall flowchart of the threshold value generation process of the present invention. First, variables and tables are initialized (S11), and coordinates are updated (S12). For coordinate movement, for each hue H, the color frequency is scanned in descending order and the luminance V is scanned in ascending order from the noise upper limit VMin. As described in FIGS. 6 and 7, when the target coordinates are outside the competitive area, that is, when the target saturation is higher than the temporary separation threshold (S13), the minimum value extraction (S14) which is the first threshold generation method is performed. If the saturation of the target is lower than the temporary separation threshold (S13), the boundary is obtained by frequency valley detection (S21) which is the second threshold generation method. After the boundary calculation, the previous value is updated (S15) to store the previous V position. If the scan is completed (S16), the process proceeds to the next step. If the scan remains, the process returns to the coordinate update (S12). If the saturation S is processed in descending order and the processing is completed (S16), the coordinates of the saturation S are updated in ascending order (S17), and the smoothing process (S18) is performed to convert the sudden change into a smooth motion. . If the scan is completed (S19), the threshold generation is completed (S20).

次に、本発明の実施の形態で用いられる二つの閾値生成方式について詳細に説明する。
図9は第一の閾値生成方式である最小値検出方式の詳細を説明する模式図である。図9(a)は色相HにおけるS−V平面での頻度を示している。H1からH7は、所定の閾値を超える頻度の輝度Vの最小値と最大値を線で結んだものである。頻度分布は、画像に依存するためすべての彩度Sで存在するとは限らず、ここではH2、H5は欠けている。図9(b)は、彩度Sを最大彩度から降順に、彩度Sに対応する輝度Vの最小値を求める。このフローチャートを図10に示す。前に求めた最小値(前V)より現在の最小値(現V)が小さい場合(S33)は、その値をそのまま採用する(S34)。しかし、前Vより現Vが大きな場合(S33)や頻度が存在しない場合は、前Vを1増加させる(S35)にとどめ急峻な変化をスムージングする(図9(c))。この処理が終了すれば彩度Sを0から昇順に増やし、今度は現Vが前Vより大きな場合、前Vを1増加させるにとどめることによって、両方へのスムージングが完了する(図9(d))。このようにスムージングを行い、ヒストグラムで得た頻度からユーザーが希望する抽出領域を切り出す。
Next, two threshold value generation methods used in the embodiment of the present invention will be described in detail.
FIG. 9 is a schematic diagram for explaining the details of the minimum value detection method which is the first threshold value generation method. FIG. 9A shows the frequency on the SV plane in the hue H. FIG. H1 to H7 are obtained by connecting the minimum value and the maximum value of the luminance V with a frequency exceeding a predetermined threshold by a line. Since the frequency distribution depends on the image, it does not always exist at all saturations S, and here H2 and H5 are missing. In FIG. 9B, the minimum value of the brightness V corresponding to the saturation S is obtained in descending order of the saturation S from the maximum saturation. This flowchart is shown in FIG. When the current minimum value (current V) is smaller than the previously obtained minimum value (previous V) (S33), that value is adopted as it is (S34). However, when the current V is larger than the previous V (S33) or when there is no frequency, the previous V is increased by 1 (S35), and a steep change is smoothed (FIG. 9C). When this process ends, the saturation S is increased in ascending order from 0, and when the current V is larger than the previous V, the previous V is increased by 1 to complete smoothing to both (FIG. 9 (d) )). Smoothing is performed in this way, and an extraction region desired by the user is cut out from the frequency obtained from the histogram.

図11は、第二の閾値生成方式である頻度の谷部検出方式を説明する模式図である。横方向は彩度S、縦方向は輝度Vを表す。P0、P1、P2は、彩度Sを降順に決定してきた経緯を示している。P2から次の閾値境界を求める際、P4,P5,P6のいずれに進むかを決定する。図12にそのフローチャートを示す。参照画素Aと参照画素Bの頻度を比較し(S43)、Aの頻度がBの頻度よりも小さければP4へ進み(S44)、Aの頻度がBの頻度と同等であればP5へ進み(S45)、Aの頻度がBの頻度よりも大きければP6へ(S46)進む。このようにすれば、頻度の谷部をたどり、閾値を決定することが可能となる。
〔第2の実施の形態〕
次に、本発明の第2の実施の形態を説明する。第1実施の形態では色付き罫線上に記述された黒色等の無彩色に近い文字を抽出するため、色空間内に仮の分離閾値を設定した。
第2の実施の形態では、色ボールペン、マジック、カラーカーボンなどの有彩色で記入された文字を切出し抽出するため、抽出色を含まないエリアを仮の分離閾値として利用することで、第1の実施の形態と同様に閾値生成処理を実行することができる。
FIG. 11 is a schematic diagram for explaining a frequency valley detection method which is the second threshold generation method. The horizontal direction represents saturation S, and the vertical direction represents luminance V. P0, P1, and P2 indicate the circumstances for determining the saturation S in descending order. When obtaining the next threshold boundary from P2, it is determined which of P4, P5 and P6 is to be proceeded to. The flowchart is shown in FIG. The frequencies of the reference pixel A and the reference pixel B are compared (S43). If the frequency of A is smaller than the frequency of B, the process proceeds to P4 (S44), and if the frequency of A is equal to the frequency of B, the process proceeds to P5 ( If the frequency of A is greater than the frequency of B (S45), the process proceeds to P6 (S46). In this way, it is possible to follow the valley of the frequency and determine the threshold value.
[Second Embodiment]
Next, a second embodiment of the present invention will be described. In the first embodiment, a temporary separation threshold is set in the color space in order to extract characters close to an achromatic color such as black described on a colored ruled line.
In the second embodiment, in order to cut out and extract characters written in chromatic colors such as color ballpoint pens, magic, and color carbon, the first non-existing color area is used as a temporary separation threshold. The threshold value generation process can be executed as in the embodiment.

本実施の形態の概略フローチャートを図13で説明する。色文字を抽出する際は、どの色を抽出するのか参照画像を用いて定義する必要がある。参照画像101aには、抽出色の対象102の文字と抽出しない罫線が混在している。これを、「抽出色を含む」範囲
105を指定する第1範囲指定部と「抽出色を含まない」範囲103を指定する第2範囲指定部で指示し、本システムで自動的に抽出したい色を判別する。このため、従来例のように細かな抽出対象文字内の1ドットを指定する必要が無く、また抽出した中心色に対するマージン閾値を入力する必要もない。
A schematic flowchart of the present embodiment will be described with reference to FIG. When extracting color characters, it is necessary to define which color to extract using a reference image. In the reference image 101a, characters of the object 102 to be extracted and mixed ruled lines are mixed. This is instructed by the first range designating unit that designates the range 105 that includes “extracted color” and the second range designating unit that designates the range 103 that does not include the extracted color. Is determined. For this reason, it is not necessary to designate one dot in a fine character to be extracted as in the conventional example, and it is not necessary to input a margin threshold value for the extracted center color.

「抽出色を含まない」範囲103、「抽出色を含む」範囲105のそれぞれにつきヒストグラム作成部251、252でヒストグラムを作成し、「抽出色を含まない」ヒストグラム261、「抽出色を含む」ヒストグラム262を得る。この複数のヒストグラムから輪郭形成・閾値生成部300aで文字抽出閾値301を作成する。輪郭形成・閾値生成部300aは、画像データが少なくとも「抽出色を含む」包絡面の内側にあってかつ「抽出色を含まない」包絡面の外側にあれば、「抽出色」と判定する判定基準をもつ。この閾値を元に、入力画像100の各画素のHSV値が、色空間上の抽出境界内か否かで抽出した色を指定した色に変換することでドロップアウト処理を実行する。   Histograms are generated by the histogram creation units 251 and 252 for the “excluded color” range 103 and the “extracted color” range 105, respectively, and the “excluded color” histogram 261 and the “excluded color” histogram 262 is obtained. A character extraction threshold value 301 is created from the plurality of histograms by the contour formation / threshold value generation unit 300a. The contour formation / threshold generation unit 300a determines that the image data is “extracted color” if the image data is at least inside the envelope surface “including the extracted color” and outside the envelope surface “not including the extracted color”. Has a standard. Based on this threshold value, the dropout process is executed by converting the extracted color into a designated color based on whether the HSV value of each pixel of the input image 100 is within the extraction boundary on the color space.

図14は、閾値生成の模式図を示す。抽出色を含むヒストグラム図14(a)と抽出色を含まないヒストグラム図14(b)の特定の色相Hで切り出した断面を図14(c)、(d)に示した。第1の実施の形態では、あらかじめ色空間内に仮の分離閾値を設定したが、第2の実施の形態では抽出色を含まないエリアを仮の分離閾値2021として利用することで、第1の実施の形態と同様の閾値生成処理を実行することができる。つまり、図14(e)における、仮の分離閾値2021外であれば、前述した第一の閾値生成方式である最小値検出で閾値を生成し、仮の分離閾値2021内であれば、第二の閾値生成方式である頻度の谷部検出で閾値を生成する。図14(f)には、図14(e)の断面2007における頻度の谷部を示す模式図を示す。   FIG. 14 is a schematic diagram of threshold generation. FIGS. 14C and 14D show cross sections cut out with a specific hue H in the histogram including the extracted color in FIG. 14A and the histogram in FIG. 14B not including the extracted color. In the first embodiment, a temporary separation threshold is set in advance in the color space. In the second embodiment, the first embodiment uses an area that does not include an extracted color as the temporary separation threshold 2021. A threshold generation process similar to that in the embodiment can be executed. That is, in FIG. 14E, if it is outside the temporary separation threshold 2021, the threshold is generated by the minimum value detection that is the first threshold generation method described above, and if it is within the temporary separation threshold 2021, the second is detected. The threshold value is generated by detecting the valley of the frequency that is the threshold generation method. FIG. 14F is a schematic diagram illustrating a frequency trough portion in the cross-section 2007 in FIG.

図15は、本実施の形態の閾値生成方式を具体的に示す模式図である。2011は罫線分布、2016は文字分布である。「抽出色を含む」包絡面生成する第1スムージング手段で処理を行う。すなわち、図15(a)は、抽出色を含まないエリア2045外での最小値2041検出の模式図を示す。彩度Sを降順にたどり抽出域の最小値をスムージングしながら検出する。次に、図15(b)は、同じく抽出色を含まないエリア2045外での最大値2042検出を行う。   FIG. 15 is a schematic diagram specifically illustrating the threshold generation method according to the present embodiment. 2011 is a ruled line distribution, and 2016 is a character distribution. Processing is performed by the first smoothing means for generating an envelope surface including the extracted color. That is, FIG. 15A shows a schematic diagram of detection of the minimum value 2041 outside the area 2045 not including the extracted color. The saturation S is detected in descending order, and the minimum value of the extraction area is detected while being smoothed. Next, in FIG. 15B, the maximum value 2042 is detected outside the area 2045 that does not include the extracted color.

さらに、図16では、「抽出色を含まない」包絡面を生成する第2スムージング手段で処理、すなわち抽出色を含まないエリア2045内での頻度の谷線2043検出を行う。
これらの検出結果をつなぎ合わせると、図16(b)のように、ユーザーが所望した抽出領域2046を自動的に得ることができ、複雑な閾値を組み合わせることなく、簡単な指定で安定した色抽出を可能としている。
Further, in FIG. 16, processing is performed by the second smoothing unit that generates an envelope surface that does not include the extracted color, that is, the frequency valley line 2043 is detected in the area 2045 that does not include the extracted color.
When these detection results are connected, an extraction region 2046 desired by the user can be automatically obtained as shown in FIG. 16B, and stable color extraction can be performed with simple designation without combining complicated threshold values. Is possible.

図17は、本発明の画面表示例を示す。画面3000中には、画面プレビュー3001とヒストグラム表示3002、編集ボタン3010の表示がある。色指定ボタン3003はONの場合は、従来用いられていたインターフェイスに沿った表示となる。プレビュー画面3001には読み取った参照画像が表示され、その中で抽出する画素であるか、抽出しない画素であるかは、抽出するラジオボタン3011、もしくは抽出しないラジオボタン3012の何れをONにするかで指示を行う。   FIG. 17 shows a screen display example of the present invention. The screen 3000 includes a screen preview 3001, a histogram display 3002, and an edit button 3010. When the color designation button 3003 is ON, display is performed along a conventionally used interface. The read reference image is displayed on the preview screen 3001, and it is determined whether the extracted pixel button 3011 or the unextracted radio button 3012 is ON as to whether the pixel is to be extracted or not. To give instructions.

プレビュー画面3001上で、抽出、もしくは抽出しない画素をクリックすると、ヒストグラム表示3002上の色空間に中心の色空間が表示され、その範囲はバウンディングボックス3022をマウスで調整することで定義ができる。抽出、非抽出エリアが確定したら、色範囲の登録3008、追加3006、削除3009、などのボタンで編集処理が可能である。   When a pixel that is extracted or not extracted is clicked on the preview screen 3001, the center color space is displayed in the color space on the histogram display 3002, and the range can be defined by adjusting the bounding box 3022 with the mouse. When the extraction / non-extraction area is determined, editing processing can be performed with buttons such as color range registration 3008, addition 3006, and deletion 3009.

図18は、本発明の他の画像表示例を示す。包含指定ボタン3003aがONの場合は、画像プレビュー3001上で、抽出色を含む範囲105、抽出色を含まない範囲103の指定が可能である。このため、罫線と文字が小さなエリアで混在している場合や、網点背景上の文字を指定する場合に効果を発揮する。抽出色を含むか否かは、先に説明した方式と同様に抽出するラジオボタン3011、抽出しないラジオボタン3012のON/OFFで指示する。   FIG. 18 shows another image display example of the present invention. When the inclusion designation button 3003a is ON, the range 105 including the extracted color and the range 103 not including the extracted color can be specified on the image preview 3001. This is effective when ruled lines and characters are mixed in a small area or when characters on a halftone dot background are designated. Whether or not to include the extracted color is instructed by ON / OFF of the radio button 3011 to be extracted and the radio button 3012 not to be extracted in the same manner as described above.

図19に、本発明を実現するハードウエア構成例を示す。スキャナ14から色画像を入力し、パーソナルコンピュータ15で画像抽出処理後、認識装置17へ画像を転送する。
151はCPU、152は画像制御部、153はUSB接続部、154はメモリ、155はLAN I/F、156はATA I/F、157はハードディスクである。閾値や色範囲の設定はパーソナルコンピュータ15に接続されたキーボード18やマウス19を用いて指示する。
FIG. 19 shows a hardware configuration example for realizing the present invention. A color image is input from the scanner 14, and after the image is extracted by the personal computer 15, the image is transferred to the recognition device 17.
Reference numeral 151 denotes a CPU, 152 denotes an image control unit, 153 denotes a USB connection unit, 154 denotes a memory, 155 denotes a LAN I / F, 156 denotes an ATA I / F, and 157 denotes a hard disk. Setting of the threshold value and the color range is instructed by using a keyboard 18 and a mouse 19 connected to the personal computer 15.

本発明は、帳票読取り装置へ適用できるだけではなく、コンピュータ用画像処理ソフト、OCRソフト等へ容易に適用することができる。   The present invention can be applied not only to a form reading apparatus but also easily to computer image processing software, OCR software, and the like.

本発明において可能なその他の実施形態を以下に記載する。   Other embodiments possible in the present invention are described below.

(付記1)帳票を多色の画像データとして入力する入力部と、上記画像データを所定の色空間に変換する色空間変換部と、上記色空間内のデータのヒストグラムを作成するヒストグラム作成部と、上記ヒストグラムに基づいてデータ分布の輪郭を作成する輪郭作成部と、上記作成した輪郭によって色空間上の抽出領域を作成する閾値生成部と、上記画像データの各画素の上記色空間変換結果が上記色空間上の抽出領域に属するか否かによって上記画像データの各画素を、それぞれ指定した色に変換する指定色変換部と、処理後の画像を表示もしくは出力する出力部とを有し、上記画像データに対し「抽出色を含む」画像領域を指定する第一の範囲指定部と、上記画像データに対し「抽出色を含まない」画像領域を指定する第二の範囲指定部と、上記「抽出色を含む」画像領域内および、「抽出色を含まない」画像領域内の一部もしくは全部の色空間分布を抽出するヒストグラム作成部と、上記ヒストグラム抽出結果に基づき閾値を生成する閾値生成部を備えることを特徴とするドロップアウトカラー処理装置ドロップアウトカラー処理装置において、「抽出色」の判定基準を生成する手段として、「抽出色を含む」包絡面の内側にあって、「抽出色を含まない」包絡面の内側にある競合領域においては、包絡面の境界面色の距離に応じて抽出させる程度を変化させる手段を有することを特徴とするドロップアウトカラー処理装置。   (Supplementary Note 1) An input unit that inputs a form as multicolor image data, a color space conversion unit that converts the image data into a predetermined color space, and a histogram creation unit that creates a histogram of data in the color space; A contour creation unit that creates a contour of a data distribution based on the histogram, a threshold generation unit that creates an extraction region in a color space based on the created contour, and the color space conversion result of each pixel of the image data A designated color conversion unit that converts each pixel of the image data into a designated color depending on whether or not it belongs to an extraction region on the color space, and an output unit that displays or outputs the processed image, A first range designating unit for designating an image area “including an extracted color” for the image data; and a second range designating unit for designating an image area “not including an extracted color” for the image data; A histogram creation unit that extracts part or all of the color space distribution in the image area that includes the extracted color and the image area that does not include the extracted color, and a threshold value that generates a threshold based on the histogram extraction result Dropout color processing apparatus characterized by comprising a generation unit In the dropout color processing apparatus, as means for generating a criterion for “extracted color”, the “extracted color is included” inside the envelope surface, A dropout color processing apparatus comprising means for changing a degree of extraction in a competing region inside an envelope surface that does not include color according to a distance between boundary colors of the envelope surface.

(付記2)付記1のドロップアウトカラー処理装置において、上記画像データに対し「抽出色を含む」画像領域を指定する手段もしくは、上記画像データに対し「抽出色を含まない」画像領域を指定する手段として、操作者に入力画像データもしくは入力画像を二値化したデータを提示する手段と、操作者が「抽出色を含む」もしくは「抽出色を含まない」のいずれの画像領域を指定するのかを明示する手段と、上記の指定を切り替える手段と、「抽出色を含む」もしくは「抽出色を含まない」の指定に応じてドラッグおよび指定後に表示する矩形の色を変更する手段と、指定後の画像領域の開始終了位置を記憶する手段を有することを特徴とするドロップアウトカラー処理装置。   (Supplementary Note 2) In the dropout color processing apparatus according to Supplementary Note 1, means for designating an image area “including the extracted color” for the image data or designating an image area “not including the extracted color” for the image data Means for presenting input image data or binarized data to the operator as a means, and whether the operator designates an image area “includes extracted color” or “does not include extracted color” Means for switching between the above designations, means for changing the color of the rectangle displayed after dragging and designation according to the designation of “including extracted color” or “not including extracted color”, and after A dropout color processing apparatus comprising means for storing a start / end position of an image area.

(付記3)付記1のドロップアウトカラー処理装置において、「抽出色」の判定基準を2次元もしくは3次元の頻度分布画像上に表示する手段を備えたことを特徴とするドロップアウトカラー処理装置。   (Supplementary note 3) The dropout color processing apparatus according to supplementary note 1, further comprising means for displaying a criterion for determining “extracted color” on a two-dimensional or three-dimensional frequency distribution image.

(付記4)付記3の記載のドロップアウトカラー処理装置において、「抽出色」の複数の判定基準で生成した出力画像を、色を変え重ねて表示する手段と、上記出力画像に対し、対象画像エリアと対象出力に対応する色を指定する手段と、抽出した箇所の正解を指示する手段と、正解データを表示する手段と、正解データを登録する手段を有することを特徴とするドロップアウトカラー処理装置。   (Supplementary note 4) In the dropout color processing apparatus according to supplementary note 3, means for displaying an output image generated based on a plurality of “extracted color” determination criteria in a different color, and a target image relative to the output image Dropout color processing characterized by having means for designating a color corresponding to an area and target output, means for instructing the correct answer of the extracted location, means for displaying correct data, and means for registering correct data apparatus.

(付記5)付記4のドロップアウトカラー処理装置において、すでに設定してある「抽出色」の判定基準に新しい「抽出色」を追加し、もしくは削除する編集を行う手段と、編集が行われた結果、編集前の判定基準での出力との差異を表示する手段を有することを特徴とするドロップアウトカラー処理装置。   (Additional remark 5) In the dropout color processing apparatus according to additional remark 4, an edit means for adding or deleting a new “extracted color” to the already set “extracted color” criterion is performed. As a result, a dropout color processing apparatus having means for displaying a difference from an output based on a criterion before editing.

(付記6)付記5のドロップアウトカラー処理装置において、「抽出色」の判定基準の編集前の出力画像、編集後の出力画像に加え、正解データとの差異を表示する手段を有することを特徴とするドロップアウトカラー処理装置。   (Supplementary note 6) The dropout color processing apparatus according to supplementary note 5 includes means for displaying a difference from the correct answer data in addition to the output image before editing and the output image after editing of the criterion of “extracted color”. Dropout color processing device.

(付記7)帳票を多色の画像データとして入力する入力部と、上記画像データを所定の色空間に変換する色空間変換部と、上記色空間内のデータのヒストグラムを作成するヒストグラム作成部と、上記ヒストグラムに基づいてデータ分布の輪郭を作成する輪郭作成部と、上記作成した輪郭によって色空間上の抽出領域を作成する閾値生成部と、上記画像データの各画素の上記色空間変換結果が上記色空間上の抽出領域に属するか否かによって上記画像データの各画素を、それぞれ指定した色に変換する指定色変換部と、処理後の画像を表示もしくは出力する出力部とを有し、上記画像データに対し「抽出色を含む」画像領域を指定する第一の範囲指定部と、上記画像データに対し「抽出色を含まない」画像領域を指定する第二の範囲指定部と、上記「抽出色を含む」画像領域内および、「抽出色を含まない」画像領域内の一部もしくは全部の色空間分布を抽出するヒストグラム作成部と、上記ヒストグラム抽出結果に基づき閾値を生成する閾値生成部を備えたドロップアウトカラー処理装置において、「抽出色」の閾値を生成する手段として、「抽出色を含む」画像領域を色抽出した色空間上の分布として「抽出色を含む」包絡面を生成する第1のスムージング手段と、「抽出色を含まない」画像領域を色抽出した色空間上の分布として「抽出色を含まない」包絡面を生成する第2のスムージング手段と、少なくとも「抽出色を含む」包絡面の内側にあって、「抽出色を含まない」包絡面の外側にあれば「抽出色」とする判定基準を持つ閾値生成部とを備え、包絡面を生成する手段として、色相毎に、また彩度ごとに輝度の最小値、最大値を検出し、彩度方向にスムージング処理し、さらに色相方向にスムージング処理する手段を有することを特徴とするドロップアウトカラー処理装置。   (Supplementary note 7) An input unit that inputs a form as multicolor image data, a color space conversion unit that converts the image data into a predetermined color space, and a histogram creation unit that creates a histogram of data in the color space; A contour creation unit that creates a contour of a data distribution based on the histogram, a threshold generation unit that creates an extraction region in a color space based on the created contour, and the color space conversion result of each pixel of the image data A designated color conversion unit that converts each pixel of the image data into a designated color depending on whether or not it belongs to an extraction region on the color space, and an output unit that displays or outputs the processed image, A first range designating unit for designating an image area “including an extracted color” for the image data; and a second range designating unit for designating an image area “not including an extracted color” for the image data; A histogram creation unit that extracts part or all of the color space distribution in the image area that includes the extracted color and the image area that does not include the extracted color, and a threshold value that generates a threshold based on the histogram extraction result In a dropout color processing apparatus including a generation unit, as means for generating a threshold of “extracted color”, an envelope surface including “extracted color” as a distribution in a color space obtained by performing color extraction on an image region including “extracted color” And a second smoothing means for generating an envelope surface that does not include an extracted color as a distribution on a color space obtained by color extracting an image area that does not include an extracted color, and at least Means for generating an envelope surface, comprising a threshold generation unit having a criterion of being “extracted color” if it is inside the envelope surface “including the extracted color” and outside the envelope surface “not including the extracted color” Dropout color processing characterized by having a means for detecting the minimum and maximum luminance values for each hue and for each saturation, performing smoothing processing in the saturation direction, and further performing smoothing processing in the hue direction apparatus.

(付記8)帳票を多色の画像データとして入力する入力部と、上記画像データを所定の色空間に変換する色空間変換部と、上記色空間内のデータのヒストグラムを作成するヒストグラム作成部と、上記ヒストグラムに基づいてデータ分布の輪郭を作成する輪郭作成部と、上記作成した輪郭によって色空間上の抽出領域を作成する閾値生成部と、上記画像データの各画素の上記色空間変換結果が上記色空間上の抽出領域に属するか否かによって上記画像データの各画素を、それぞれ指定した色に変換する指定色変換部と、処理後の画像を表示もしくは出力する出力部とを有し、上記画像データに対し「抽出色を含む」画像領域を指定する第一の範囲指定部と、上記画像データに対し「抽出色を含まない」画像領域を指定する第二の範囲指定部と、上記「抽出色を含む」画像領域内および、「抽出色を含まない」画像領域内の一部もしくは全部の色空間分布を抽出するヒストグラム作成部と、上記ヒストグラム抽出結果に基づき閾値を生成する閾値生成部を備えたドロップアウトカラー処理装置において、「抽出色」の閾値を生成する手段として、「抽出色を含む」画像領域を色抽出した色空間上の分布として「抽出色を含む」包絡面を生成する第1のスムージング手段と、「抽出色を含まない」画像領域を色抽出した色空間上の分布として「抽出色を含まない」包絡面を生成する第2のスムージング手段と、少なくとも「抽出色を含む」包絡面の内側にあって、「抽出色を含まない」包絡面の外側にあれば「抽出色」とする判定基準を持つ閾値生成部とを備え、包絡面を生成する手段として、色相毎に、また輝度ごとに彩度の最小値、最大値を検出し、輝度方向にスムージング処理し、さらに色相方向にスムージング処理する手段を有することを特徴とするドロップアウトカラー処理装置。   (Supplementary Note 8) An input unit that inputs a form as multicolor image data, a color space conversion unit that converts the image data into a predetermined color space, and a histogram creation unit that creates a histogram of data in the color space; A contour creation unit that creates a contour of a data distribution based on the histogram, a threshold generation unit that creates an extraction region in a color space based on the created contour, and the color space conversion result of each pixel of the image data A designated color conversion unit that converts each pixel of the image data into a designated color depending on whether or not it belongs to an extraction region on the color space, and an output unit that displays or outputs the processed image, A first range designating unit for designating an image area “including an extracted color” for the image data; and a second range designating unit for designating an image area “not including an extracted color” for the image data; A histogram creation unit that extracts part or all of the color space distribution in the image area that includes the extracted color and the image area that does not include the extracted color, and a threshold value that generates a threshold based on the histogram extraction result In a dropout color processing apparatus including a generation unit, as means for generating a threshold of “extracted color”, an envelope surface including “extracted color” as a distribution in a color space obtained by performing color extraction on an image region including “extracted color” And a second smoothing means for generating an envelope surface that does not include an extracted color as a distribution on a color space obtained by color extracting an image area that does not include an extracted color, and at least Means for generating an envelope surface, comprising a threshold generation unit having a criterion of being “extracted color” if it is inside the envelope surface “including the extracted color” and outside the envelope surface “not including the extracted color” A dropout color processing apparatus comprising means for detecting a minimum value and a maximum value of saturation for each hue and for each luminance, performing a smoothing process in the luminance direction, and further performing a smoothing process in the hue direction .

100:入力部
110:出力部
200:色空間変換・ヒストグラム作成部
300:輪郭作成・閾値生成部
300a:輪郭作成・閾値生成部
310:第1閾値生成部
311:第2閾値生成部
400:指定色変換部
100: input unit 110: output unit 200: color space conversion / histogram creation unit 300: contour creation / threshold generation unit 300a: contour creation / threshold generation unit 310: first threshold generation unit 311: second threshold generation unit 400: designation Color converter

Claims (6)

帳票を多色の画像データとして入力する入力部と、上記画像データを所定の色空間に変換する色空間変換部と、上記色空間内のデータのヒストグラムを作成するヒストグラム作成部と、上記ヒストグラムに基づいてデータ分布の輪郭を作成する輪郭作成部と、上記作成した輪郭によって閾値を生成し色空間上の抽出領域を作成する閾値生成部と、上記画像データの各画素の上記色空間変換結果が上記色空間上の抽出領域に属するか否かによって上記画像データの各画素を、それぞれ指定した色に変換する指定色変換部と、処理後の画像を出力する出力部とを有するドロップアウトカラー処理装置において、
上記画像データに対し「抽出色を含む」画像領域を指定する第1範囲指定部と、上記画像データに対し「抽出色を含まない」画像領域を指定する第2範囲指定部と、上記「抽出色を含む」画像領域内および、「抽出色を含まない」画像領域内の一部もしくは全部の色空間分布を抽出するヒストグラム作成部と、上記ヒストグラム抽出結果に基づき、前記色空間分布において前記画像データが「抽出色を含む」ヒストグラム包絡面の内側にあってかつ「抽出色を含まない」ヒストグラム包絡面の外側にあれば、「抽出色」と判定する判定基準により閾値を生成する閾値生成部を備えることを特徴とするドロップアウトカラー処理装置。
An input unit that inputs a form as multicolor image data, a color space conversion unit that converts the image data into a predetermined color space, a histogram creation unit that creates a histogram of data in the color space, and the histogram An outline creation unit for creating a contour of the data distribution based on the threshold, a threshold generation unit for creating a threshold value based on the created outline and creating an extraction region on the color space, and the color space conversion result of each pixel of the image data Dropout color processing having a designated color conversion unit that converts each pixel of the image data into a designated color depending on whether or not it belongs to an extraction region on the color space, and an output unit that outputs the processed image In the device
A first range designating unit for designating an image area “including an extracted color” for the image data; a second range designating unit for designating an image area “not containing an extracted color” for the image data; A histogram creating unit that extracts a part or all of the color space distribution in the image area including the color and the image area not including the extracted color, and the image in the color space distribution based on the histogram extraction result. A threshold generation unit that generates a threshold based on a determination criterion for determining “extracted color” if data is inside a histogram envelope that includes “extracted color” and outside a histogram envelope that does not include “extracted color” A dropout color processing apparatus comprising:
請求項1記載のドロップアウトカラー処理装置において、「抽出色」の閾値を生成する手段として、「抽出色を含む」画像領域を色抽出した色空間上の分布として「抽出色を含む」包絡面を生成する第1スムージング手段と、「抽出色を含まない」画像領域を色抽出した色空間上の分布として「抽出色を含まない」包絡面を生成する第2スムージング手段と、少なくとも「抽出色を含む」包絡面の内側にあって、「抽出色を含まない」包絡面の外側にあれば「抽出色」とする判定基準を持つ閾値生成部とを備えることを特徴とするドロップアウトカラー処理装置。   2. The dropout color processing apparatus according to claim 1, wherein, as means for generating a threshold value of “extracted color”, an envelope surface including “extracted color” as a distribution in a color space obtained by color-extracting an image region including “extracted color” First smoothing means for generating an image plane, a second smoothing means for generating an envelope surface that does not include an extracted color as a distribution in a color space obtained by extracting the color of an image area that does not include an extracted color, and at least an “extracted color” A dropout color process comprising: a threshold generation unit having a determination criterion of being “extracted color” if it is inside the envelope surface “including” and outside the “excluded color” envelope surface apparatus. 請求項1記載のドロップアウトカラー処理装置において、前記閾値生成手段は、「抽出色を含む」包絡面の内側にあってかつ「抽出色を含まない」包絡面の内側にある競合領域においては、上記ヒストグラム抽出結果に基づき「抽出色を含む」輪郭を作成する際、「抽出色を含まない」領域外ではヒストグラム分布の最小境界を選択して閾値を生成し、「抽出色を含まない」領域内ではヒストグラムの谷部を選択して閾値を生成する閾値生成部を有することを特徴とするドロップアウトカラー処理装置。   The dropout color processing apparatus according to claim 1, wherein the threshold value generating means is inside the envelope surface “including the extracted color” and inside the envelope surface “not including the extracted color”, When creating an outline that includes “extracted color” based on the above histogram extraction result, a threshold is generated by selecting the minimum boundary of the histogram distribution outside the “excluded color” area, and an “excluded color” area A dropout color processing apparatus comprising a threshold value generation unit that generates a threshold value by selecting a valley portion of the histogram. 帳票を多色の画像データとして入力し、上記画像データを所定の色空間に変換し、上記色空間内のデータのヒストグラムを作成し、上記ヒストグラムに基づいてデータ分布の輪郭を作成し、上記作成した輪郭によって閾値を生成し色空間上の抽出領域を作成し、上記画像データの各画素の上記色空間変換結果が上記色空間上の抽出領域に属するか否かによって上記画像データの各画素をそれぞれ指定した色に変換し、処理後の画像を出力するドロップアウトカラー処理方法において、
上記画像データに対し「抽出色を含む」画像領域と「抽出色を含まない」画像領域を指定し、上記「抽出色を含む」画像領域内および「抽出色を含まない」画像領域内の一部もしくは全部の色空間分布を抽出して各々のヒストグラムを作成し、上記ヒストグラム抽出結果に基づき、前記色空間分布において前記画像データが「抽出色を含む」ヒストグラム包絡面の内側にあってかつ「抽出色を含まない」ヒストグラム包絡面の外側にあれば、「抽出色」と判定する判定基準により閾値を生成することを特徴とするドロップアウトカラー処理方法。
A form is input as multicolor image data, the image data is converted into a predetermined color space, a histogram of the data in the color space is created, a contour of the data distribution is created based on the histogram, and the creation A threshold value is generated based on the contour, an extraction area on the color space is created, and each pixel of the image data is determined depending on whether the color space conversion result of each pixel of the image data belongs to the extraction area on the color space. In the dropout color processing method that converts each to the specified color and outputs the processed image,
For the image data, an “extracted color” image region and an “extracted color” image region are designated, and one of the “extracted color” image region and the “extracted color” image region is specified. Each or all of the color space distributions are extracted to create respective histograms, and based on the histogram extraction result, the image data in the color space distribution is inside the histogram envelope surface including “extracted colors” and “ A dropout color processing method, wherein a threshold value is generated according to a determination criterion for determining “extracted color” if it is outside a histogram envelope surface that does not include an extracted color .
請求項4記載のドロップアウトカラー処理方法において、「抽出色」の閾値を生成するため、「抽出色を含む」画像領域を色抽出した色空間上の分布として「抽出色を含む」包絡面を生成し、「抽出色を含まない」画像領域を色抽出した色空間上の分布として「抽出色を含まない」包絡面を生成し、少なくとも「抽出色を含む」包絡面の内側にあって「抽出色を含まない」包絡面の外側にあれば「抽出色」であると判定することを特徴とするドロップアウトカラー処理方法。   5. The dropout color processing method according to claim 4, wherein an envelope surface including “extracted color” is used as a distribution in a color space obtained by color extracting an image region including “extracted color” in order to generate a threshold value of “extracted color”. Generate an envelope surface that does not include the extracted color as a distribution in the color space obtained by color-extracting the image area that does not include the extracted color, and that is at least inside the envelope surface that includes the extracted color. A dropout color processing method, wherein if it is outside an envelope surface that does not include an extracted color, it is determined that it is an “extracted color”. 請求項4記載のドロップアウトカラー処理において、前記閾値生成手段は、「抽出色を含む」包絡面の内側にあってかつ「抽出色を含まない」包絡面の内側にある競合領域においては、上記ヒストグラム抽出結果に基づき「抽出色を含む」輪郭を作成する際、「抽出色を含まない」領域外ではヒストグラム分布の最小境界を選択して閾値を生成し、「抽出色を含まない」領域内ではヒストグラムの谷部を選択して閾値を生成することを特徴とするドロップアウトカラー処理方法。   5. The dropout color processing according to claim 4, wherein the threshold value generation unit is arranged in the competitive region that is inside the envelope surface that includes the “extracted color” and that is inside the envelope surface that does not include the “extracted color”. When creating an outline that includes “extracted color” based on the histogram extraction result, a threshold is generated by selecting the minimum boundary of the histogram distribution outside the “excluding extracted color” area, and within the “excluding extracted color” area Then, a dropout color processing method, wherein a threshold value is generated by selecting a valley portion of a histogram.
JP2010207388A 2010-09-16 2010-09-16 Dropout color processing apparatus and dropout color processing method using the same Active JP5023205B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010207388A JP5023205B2 (en) 2010-09-16 2010-09-16 Dropout color processing apparatus and dropout color processing method using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010207388A JP5023205B2 (en) 2010-09-16 2010-09-16 Dropout color processing apparatus and dropout color processing method using the same

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2008161540A Division JP4627787B2 (en) 2007-12-26 2008-06-20 Dropout color processing apparatus and dropout color processing method using the same

Publications (2)

Publication Number Publication Date
JP2011018359A JP2011018359A (en) 2011-01-27
JP5023205B2 true JP5023205B2 (en) 2012-09-12

Family

ID=43596039

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010207388A Active JP5023205B2 (en) 2010-09-16 2010-09-16 Dropout color processing apparatus and dropout color processing method using the same

Country Status (1)

Country Link
JP (1) JP5023205B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022110885A (en) 2021-01-19 2022-07-29 キヤノン株式会社 Image processing apparatus, image processing method, and program

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0798762A (en) * 1993-07-27 1995-04-11 Citizen Watch Co Ltd Image processing method
JPH0997309A (en) * 1995-09-28 1997-04-08 Glory Ltd Character extracting device
JP2000315256A (en) * 1999-04-30 2000-11-14 Katsuji Uosaki Color sorting method for eggplant and vegetable selecting method for eggplant using the method
JP2003216894A (en) * 2002-01-18 2003-07-31 Fujitsu Ltd Processor and program for dropout processing
JP2005071134A (en) * 2003-08-26 2005-03-17 Toshiba Corp Optical character reader
JP4423076B2 (en) * 2004-03-22 2010-03-03 キヤノン株式会社 Recognition object cutting apparatus and method

Also Published As

Publication number Publication date
JP2011018359A (en) 2011-01-27

Similar Documents

Publication Publication Date Title
US8244035B2 (en) Image processing apparatus and control method thereof
JP4772888B2 (en) Image processing apparatus, image forming apparatus, image processing method, program, and recording medium thereof
US6865290B2 (en) Method and apparatus for recognizing document image by use of color information
US8320019B2 (en) Image processing apparatus, image processing method, and computer program thereof
US8023147B2 (en) Image processing method and image processing apparatus
EP0522702B1 (en) Spot color extraction
JP5958023B2 (en) Image processing apparatus and image processing program
KR101000421B1 (en) Method for processing drop-out color and apparatus thereof
JP4960817B2 (en) Image processing apparatus and image processing method
JP5935454B2 (en) Image processing apparatus and image processing program
US20060114484A1 (en) Image processing apparatus and method therefor
US20060056660A1 (en) Image processing apparatus and image processing method
US10477063B2 (en) Character detection and binarization
CN104054047B (en) Image processing apparatus and image processing system
JP4655335B2 (en) Image recognition apparatus, image recognition method, and computer-readable recording medium on which image recognition program is recorded
JP5645612B2 (en) Image processing apparatus, image processing method, program, and storage medium
JP4217575B2 (en) Image processing apparatus, image processing method, program, and storage medium
US8181108B2 (en) Device for editing metadata of divided object
US8274515B2 (en) Vector image generation method, image processing apparatus, and computer-readable storage medium for computer program
JP5023205B2 (en) Dropout color processing apparatus and dropout color processing method using the same
JP2006345314A (en) Image processing apparatus and image processing method
JP4627787B2 (en) Dropout color processing apparatus and dropout color processing method using the same
US8270722B2 (en) Image processing with preferential vectorization of character and graphic regions
US20090290797A1 (en) Image processing for storing objects separated from an image in a storage device
JP2005151455A (en) Image processor, information processor, these control method, and program

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111020

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120522

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120618

R150 Certificate of patent or registration of utility model

Ref document number: 5023205

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150622

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250