KR0136120B1 - Method to retrieve half tone image - Google Patents

Method to retrieve half tone image

Info

Publication number
KR0136120B1
KR0136120B1 KR1019900016884A KR900016884A KR0136120B1 KR 0136120 B1 KR0136120 B1 KR 0136120B1 KR 1019900016884 A KR1019900016884 A KR 1019900016884A KR 900016884 A KR900016884 A KR 900016884A KR 0136120 B1 KR0136120 B1 KR 0136120B1
Authority
KR
South Korea
Prior art keywords
brightness
pixels
brightnesses
value
image
Prior art date
Application number
KR1019900016884A
Other languages
Korean (ko)
Other versions
KR920009163A (en
Inventor
강구수
Original Assignee
정용문
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 정용문, 삼성전자주식회사 filed Critical 정용문
Priority to KR1019900016884A priority Critical patent/KR0136120B1/en
Publication of KR920009163A publication Critical patent/KR920009163A/en
Application granted granted Critical
Publication of KR0136120B1 publication Critical patent/KR0136120B1/en

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

화성처리시스템에서 중간조 영상의 추출시 입력 영상과 비교되는 디더매트릭스의 역치를 입력 영상의 히스토그램의 평활화를 통해 설정함으로써 시각적으로 보다 우수한 중간조 영상을 추출한다.When the halftone image is extracted in the chemical processing system, the threshold value of the dither matrix, which is compared with the input image, is set by smoothing the histogram of the input image.

Description

중간조 영상 추출 방법Halftone Image Extraction Method

제1도는 디더매트릭스 및 입력 영상 예시도.1 is a diagram illustrating a dither matrix and an input image.

제2도는 일반적인 팩시밀리의 구성도.2 is a schematic diagram of a typical facsimile.

제3도는 종래의 중간조 영상 추출 과정을 나타낸 흐름도.3 is a flowchart illustrating a conventional halftone image extraction process.

제4도는 종래의 히스토그램 및 역치 관계도.4 is a conventional histogram and threshold relationship diagram.

제5도는 본 발명에 따른 히스토그램 및 그 평활화 상태도.5 is a histogram and a smoothed state diagram according to the present invention.

제6도는 본 발명의 실시 예에 따른 중간조 영상 추출 과정을 나타낸 흐름도.6 is a flowchart illustrating a halftone image extraction process according to an embodiment of the present invention.

제7도는 제6도중 히스토그램 평활화 과정을 구체화한 흐름도.7 is a flowchart embodying a histogram smoothing process in FIG.

제8도는 본 발명의 실시 예에 이용되는 히스토그램 상태도.8 is a histogram state diagram used in an embodiment of the present invention.

본 발명은 화상처리시스템에 있어서 중간조(hlaftone) 영상 추출방법에 관한 것으로, 특히 히스토그램 평활화(histogram equalization)법을 이용한 중간조 영상추출방법에 관한 것이다.The present invention relates to a halftone image extraction method in an image processing system, and more particularly, to a halftone image extraction method using a histogram equalization method.

일반적으로 팩시밀리나 프린터 및 복사기 등과 같은 화상처리시스템에서는 디더(Dither) 매트릭스를 이용하여 중간조 영상을 검출한다. 상기 중간조에는 실제의 중간조(real halftone)와 모조의 중간조(dummy halftone)가 있으며, 그 표현 방법도 각기 다르다. 본 발명은 모조의 중간조에 관한 것이므로 전자의 경우에 대한 언급은 생략하고 후자의 표현 방법들에 대해서만 설명하기로 한다.In general, image processing systems such as facsimile machines, printers, and copiers detect a halftone image using a dither matrix. The halftone includes a real halftone and a dummy halftone, and their expression methods are also different. Since the present invention relates to the counterfeit half of the dummy, the description of the former case will be omitted and only the latter expression methods will be described.

모조의 중간조를 표현하는 방법에는 조직적 디더법, 임의(random) 디더법, 오차 배분법, 평균 오차 최소(오차분산)법, 평균치 제한법 및 농도 패턴법 등이 있다. 상기 표현 방법들 중 조직적 디더법은 2치화하는 역치(threshold)를 각 화소(pixel)의 위치정보로부터 결정하며, 전체 화상에 대해 매칭하는 매트릭스 내의 역치 위치가 변하지 않는 가장 단순한 방법이다. 이 조직적 디더법은 스파이럴(spiral), 스크롤(scroll) 등과 같은 도트(dot) 집중형과 베이어(Bayer), 도트(Dot) 등과 같이 도트의 중간 주파수가 높은 특성을 갖는 도트 분산형이 있다.Methods of expressing the counterfeit halftone include a systematic dither method, a random dither method, an error distribution method, an average error minimum (error variance) method, an average value limit method, and a concentration pattern method. Among the above expression methods, the systematic dither method determines the threshold value to be binarized from the position information of each pixel, and is the simplest method in which the threshold position in the matrix matching the entire image does not change. This systematic dither method includes a dot lump type such as spiral, scroll, and the like, and a dot scatter type having a high intermediate frequency of dots such as Bayer and Dot.

예를 들어 입력 영상이 8비트로 양자화된 M형 N열(M×N)의 영상데이터라고 할 때 16단계의 밝기(16gray level) 값을 갖는 중간조로 변형하는 방법은 다음과 같다. 제1도의 (1a)에 도시된 바와 같은 4행 4열(4×4) 디더 매트릭스를 (1b)에 도시된 바와 같은 입력 영상의 왼쪽 위에서부터 중첩(overlap)되지 않게 주사하면서 입력 영상의 어떤 화소가 갖는 밝기가 그에 대응되는 디더매트릭스의 역치(Aij)보다 크면 백색으로 나타내고, 그렇지 않으면 흑색으로 나타냄으로써 모조의 중간조 영상을 추출한다. 이 때 상기(1a)에서 역치(Aij)의 순서, 즉 역치들의 행과 열 배열 순서는 적용하는 베이어, 도트, 스파이럴, 스크롤 등 디더매트릭스 형태에 따라 달라진다. 또한 각각의 역치는 서로 다른 레벨을 갖고 있다.For example, when the input image is image data of M-type N columns (M × N) quantized to 8 bits, the method of transforming the input image into a halftone having 16 gray level values is as follows. Some pixels of the input image while scanning the four-row, four-column (4 × 4) dither matrix as shown in (1a) of FIG. 1 so as not to overlap from the top left of the input image as shown in (1b). If the brightness is larger than the corresponding dither matrix threshold (Aij), it is represented by white, otherwise it is represented by black to extract the dummy halftone image. In this case, the order of the threshold values Aij, that is, the order of the rows and columns of the threshold values, depends on the dither matrix type such as Bayer, dot, spiral, and scroll. Each threshold also has a different level.

제3도는 종래의 중간조 영상 추출 과정을 나타낸 흐름도로서, 각 단계별 동작을 구체적으로 설명하면 다음과 같다. 팩시밀리의 중앙ㅊ리장치 혹은 중간조 영상 추출을 제어하기 위한 소정의 제어부는 내부의 제1버퍼의 상기 M행 N열(M×N) 영상데이터를 저장한다(3a단계). 상기 제1버퍼에 영상데이터를 저장한 후에는 팩시밀리의 신호처리부에 저장되어 있는 상기(1a)에 도시된 바와 같은 배열의 4행 4열(4×4) 디더매트릭스의 역치(A00, A01, ..., A32, A33)를 소정의 제2버퍼에 저장한다(3b단계). 그리고 영상데이터 행레지스터값(i)과 열레지스터값(j)을 0으로 설정한다(3c단계).3 is a flowchart illustrating a conventional halftone image extraction process, which will be described in detail with respect to each step operation. A predetermined control unit for controlling the facsimile center or halftone image extraction stores the M rows N columns (M × N) image data of the first buffer therein (step 3a). After storing the image data in the first buffer, the threshold values (A00, A01, .4) of the four rows and four columns (4x4) of the array as shown in (1a) stored in the signal processing unit of the facsimile. ..., A32, A33 are stored in a predetermined second buffer (step 3b). Then, the image data row register value i and the column register value j are set to 0 (step 3c).

영상데이터 레지스터값(i)을 4로 나눈 값의 정수치 나머지를 디더매트릭스 행레지스터값(I)으로 저장하고 열레지스터값(j)을 4로 나눈 값의 정수치 나머지를 디더매트릭스 열레지스터값(J)으로 저장한다(3d단계). 이와 같이 영상데이터 행 열레지스터값(i,j)을 각각 4로 나누어 나머지값을 디더매트릭스 행, 열레지스터값(I,J)으로 저장하는 것은 4행 4열(4×4) 디더매트릭스를 이용하여 16단계 밝기를 갖는 중간조 영상을 추출하기 위해 제1버퍼내의 각 화소에 대응하는 디더매트릭스 역치를 찾기 위한 것이다.The integer remainder of the image data register value (i) divided by 4 is stored as the dither matrix row register value (I), and the integer remainder of the column register value (j) divided by 4 is stored in the dither matrix column register value ( J) (step 3d). In this way, dividing the image data row column register values (i, j) by 4 and storing the remaining values as dither matrix rows and column register values (I, J) uses 4 rows and 4 columns (4 x 4) dither matrix. The dither matrix threshold corresponding to each pixel in the first buffer is extracted to extract a halftone image having 16 levels of brightness.

M행 N열(M×N)의 영상데이터가 저장되어 있는 상기 제1버퍼의 영상데이터 행레지스터값(i)번째 행, 영상데이터 열레지스터값(j)번째 열의 데이터가 4행 4열(4×4)의 디더매트릭스의 역치가 저장되어 있는 제2버퍼의 디더매트릭스 행레지스터값(I)번째 행, 디더매트릭스 열레지스터값(J)번째 열의 역치보다 큰지 아닌지 여부를 확인하기 위하여 두 데이터를 비교한다(3e단계). 이 비교 결과 전자의 데이터가 크다면 중간조 영상의 I번째 행 J번째 열을 백으로 세트하고(3f단계), 작다면 중간조 영상의 I번째 행 j번째 열을 흑으로 세트한다(3g단계). 즉, 한 화소의 밝기값과 그에 대응하는 행과 열의 디더매트릭스의 역치를 비교하여 상기 화소의 밝기값이 디더매트릭스의 역치보다 크면 백으로, 작으면 흑으로 함으로써 중간조 영상을 표현하는 것이다. 이후 영상데이터 열레지스터값(j)이 N-1보다 작은지 아닌지 여부를 확인한다(3h단계). 이 확인 결과 상기 영상데이터 열레지스터값(j)이 N-1보다 작으면 현재 영상데이터 열레지서터값(j)에 1을 증가시킨 값을 영상데이터 열레지스터값(j)으로 저장한다(3j단계). 그리고 영상데이터 행레지스터값(i)을 4로 나눈 값의 정수치 나머지를 디더매트릭스 행레지스터값(I)으로 저장하고, 영상데이터 행레지스터값(i)을 4로 나눈 값의 정수치 나머지를 디더매트릭스 행레지스터값(I)으로 저장하는 작업(3d단계)부터 다시 반복하여 전술한 동작을 실시한다. 이와 같은 동작 과정을 통하여 하나의 행에 대한 N개 열 영상데이터 모두를 중간주 영상으로 추출하게 된다. 또한 하나의 행에 대한 N개 열의 영상데이터에 대한 중간조 표현이 모두 완료되면 영상데이터 열레지스터값이 N-1과 같게 되므로(3f단계), 영상데이터 열레지스터값(j)이 N-1보다 작지 않게 된다.The data of the first row of the image data row register value (i) and the image data column register value (j) column of the first buffer in which the image data of M rows N columns (M × N) are stored are 4 rows 4 columns (4 Compare the two data to see whether or not the threshold value of the dither matrix row register value (I) and the dither matrix column register value (J) column of the second buffer in which the threshold value of the dither matrix of the (Step 3e). As a result of this comparison, if the former data is large, the I-th row J-th column of the halftone image is set to white (step 3f), and if it is small, the j-th column of the Ith row of the halftone image is set to black (step 3g). . That is, the halftone image is expressed by comparing the brightness value of one pixel with the threshold value of the dither matrix of the row and column corresponding to the white value if the brightness value of the pixel is larger than the threshold value of the dither matrix. Then, it is checked whether or not the image data column register value j is smaller than N-1 (step 3h). As a result of the checking, when the image data column register value j is smaller than N-1, the value obtained by increasing 1 to the current image data column register value j is stored as the image data column register value j (step 3j). ). Then, the integer integer remainder of the image data row register value (i) divided by 4 is stored as the dither matrix row register value (I), and the integer value remainder of the image data row register value (i) divided by 4 is dithered. The above-described operation is repeated again from the step of storing the matrix row register value I (step 3d). Through this operation process, all the N column image data of one row are extracted as the intermediate image. In addition, when all halftone representations of the image data of N columns of one row are completed, the image data column register value is equal to N-1 (step 3f), so the image data column register value j is larger than N-1. It will not be small.

영상데이터 열레지스터값(j)이 N-1보다 작지 않을 경우에는 영상데이터 행레지스터값(i)이 M-1보다 작거나 같은지를 비교한다(3i단계). 영상데이터 행레지스터값(i)이 M-1보다 작으면 현재 영상데이터 행레지스터값(i)에 1을 증가시킨 값을 영상데이터 행레지스터값(i)으로 저장하고 영상데이터 행레지스터값(i)을 0으로 세트한다(3k단계). 그리고 상기한 N개의 열의 영상데이터에 대한 중간조 추추시와 마찬가지로, 영상데이터 행레지스터값(i)을 4로 나눈 값의 정수치 나머지를 디더매트릭스 행레지스터값(i)으로 저장하고, 영상데이터 열레지서터값(j)을 4로 나눈 값의 정수치 나머지를 영상데이터를 모두 중간조 영상으로 추출하게 된다. 이상 설명한 동작들을 통하여 M행 N열(M×N) 영상데이터에 대한 16단계 밝기로의 중간조 표현이 모두 완료되어지는 것이다.If the image data column register value j is not less than N-1, it is compared whether the image data row register value i is less than or equal to M-1 (step 3i). If the image data row register value (i) is smaller than M-1, the value obtained by increasing 1 to the current image data row register value (i) is stored as the image data row register value (i) and the image data row register value (i). Set to 0 (step 3k). As in the halftone tracing of the image data of the N columns, the integer integer remainder of the value obtained by dividing the image data row register value (i) by 4 is stored as the dither matrix row register value (i), and the image data column Image data is extracted as half-tone images from the remainder of the integer value obtained by dividing the register value j by four. Through the above-described operations, halftone expression with 16 levels of brightness for M row N column (M × N) image data is completed.

상술한 바와 같은 종래의 중간조 표현 방법은 입력 영상의 분포에 무관하게 일정 간격의 밝기 차를 갖는 역치들을 사용함으로써 여러 가지 문제점을 갖고 있었다. 예를 들면, 제4도의 히스토그램에 도시된 바와 같이 불필요한 역치들이 종종 발생하였으며, 화소수가 가장 큰 지점(역치 128전·후)에서도 역치들 사이의 간격이 화소수가 작은 지점과 균일하므로 효율적인 역치의 적용이 이루어지지 않아 16계조의 중간조 영상을 시각적으로 우수하게 생성시키기가 매우 어려웠다.As described above, the conventional halftone representation method has various problems by using thresholds having a brightness difference at regular intervals regardless of the distribution of the input image. For example, as shown in the histogram of FIG. 4, unnecessary thresholds often occurred, and even at the point where the largest number of pixels (before and after the threshold 128), the interval between the thresholds is uniform with the point where the number of pixels is small, so that the effective threshold is applied. It was very difficult to produce visually excellent halftone images of 16 gradations because of this.

따라서 본 발명의 목적은 중간조 영상을 시각적으로 우수하게 생성시키기 위한 중간조 영상 추출방법을 제공함에 있다.Accordingly, an object of the present invention is to provide a halftone image extraction method for generating a halftone image visually.

본 발명의 다른 목적은 중간조 영상 추출시 효율적인 역치들의 적용이 이루어지도록 하는 방법을 제공함에 있다.Another object of the present invention is to provide a method for efficiently applying thresholds in halftone image extraction.

상기한 목적을 달성하기 위한 본 발명은 화성처리시스템에서 중간요 영상의 추출시 입력 영상과 비교되는 디더매트릭스의 역치를 입력 영상의 히스토그램의 평활화를 통해 설정함으로써 시각적으로 보다 우수한 중간조 영상을 추출한다.In order to achieve the above object, the present invention extracts a better halftone image visually by setting a threshold value of a dither matrix compared to an input image through smoothing a histogram of an input image when extracting a mid-reduction image in a chemical conversion processing system. .

이하 본 발명의 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 회로의 구성 소자 등과 같은 많은 특정(特定) 사항들이 나타나고 있는데, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들 없이도 본 발명이 시시될 수 있음은 이 기술 분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다. 그리고 본 발명을 설명함에 있어, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description, numerous specific details such as components of specific circuits are shown, which are provided to help a more general understanding of the present invention, and it is understood that the present invention may be indicated without these specific details. It will be self-evident to those of ordinary knowledge. In the following description of the present invention, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted.

제2도는 본 발명이 적용되는 일반적인 팩시밀리의 구성도로서, 시스템을 총괄적으로 제어하고 각종 연산을 수행하는 중앙처리장치(이하 CPU라 함.)(10)와, 상기 CPU(10)의 제어에 의해 원고를 주사하여 아나로그 영상신호를 생성하고 그 생성된 아나로그 영상신호를 디지털 영상 데이터로 변환하여 출력하는 원고주사부(20)와, 상기 원고주사부(20)에서 출력되는 영상데이터 또는 수신된 영상데이터 및 디더매트릭스를 저장하며 다른 시스템과의 영상데이터 송수신기 엔코딩 및 디코딩을 하는 신호처리부(30)와, 상기 신호처리부(30)에 저장된 영상데이터를 상기 CPU(10)의 제어에 의해 입력하여 용지에 기록하는 기록부(40)와, 상기 신호처리부(30)에 저장된 영상데이터를 상기 CPU(10)의 제어에 의해 공중망을 통하여 다른 시스템으로 송신하거나 수신하는 전송부(50)로 구성된다.2 is a configuration diagram of a general facsimile to which the present invention is applied, and is a central processing unit (hereinafter referred to as a CPU) 10 which collectively controls a system and performs various operations, and under the control of the CPU 10. An original scan unit 20 for scanning an original to generate an analog image signal, converting the generated analog image signal into digital image data, and outputting the image data output from the original scan unit 20; The image processing unit 30 stores the image data and the dither matrix and encodes and decodes the image data transceiver with another system, and inputs the image data stored in the signal processor 30 under the control of the CPU 10 to form a paper. A recording unit 40 for recording the data, and a transmission unit 50 for transmitting or receiving the image data stored in the signal processing unit 30 to another system through a public network under the control of the CPU 10. It consists of.

제5도는 본 발명의 실시 예에 따른 히스토드램 및 그 평활화 상태도이다. (5a)는 히스토그램을 나타내고 (5b)는 상기 히스토그램이 이상적(ideally)으로 평활화한 상태를 나타낸 것이다.5 is a histogram and a smoothing state diagram according to an embodiment of the present invention. (5a) shows a histogram and (5b) shows a state where the histogram is ideally smoothed.

제6도는 본 발명의 실시 예에 따른 중간조 영상 추출 과정을 나타낸 흐름도로서, 제2도의 구성 요소들 중 CPU(10)에서 실행된다. 상기 CPU(10)는 우선 원고로부터 주사되거나 다른 시스템으로부터 수신되어 n비트로 양자화된 M행 N열(M×N)의 영상데이터를 내부의 제1버퍼에 저장한다(6a단계). 그리고 그 저장된 영상데이터에 대한 히스토그램을 구한 다음 평활화를 행한다(6b단계).FIG. 6 is a flowchart illustrating a process of extracting halftone images according to an exemplary embodiment of the present invention, which is executed by the CPU 10 among the components of FIG. 2. The CPU 10 first stores image data of M rows N columns (M × N) scanned from a document or received from another system and quantized in n bits (step 6a). The histogram of the stored video data is obtained, and then smoothed (step 6b).

제7도는 상기 히스토그램 평활화 과정을 구체화한 흐름도이다.7 is a flowchart illustrating the histogram smoothing process.

상기 제7도를 참조하면, 입력 영상의 히스토그램을 구하고 각 밝기(0×255)가 갖는 화수소를 메모리에 설정(Histo[각 밝기])한다(7a단계). 그리고 화소수가 0이 아닌 밝기들의 수, 즉 Histo[각 밝기]가 0이 아닌 수를 카운트한다(7b단계). 예를 들어 입력 영상에서 16단계를 갖는 중간조 영상을 추출한다고 가정할 경우, 상기 카운트된 수가 16을 초과하는지의 여부를 검사한다(7c단계). 상기 검사결과 카운트도니 수가 16을 초과할 경우에는 가장 적은 화소수를 갖는 밝기를 선택하여 그 값(×)을 제1메모리영역(B1)에 기억된 밝기의 좌·우 방향으로 다른 밝기가 갖는 화소수에 더해지지 않았으면서 화소수가 0을 초과하는 제1 및 제2밝기(y, z)를 구하여 제2 및 제3메모리영역(B2, B3)에 저장한다(7e단계). 그리고 제1 및 제2밝기가 모두 발생되었는지 확인한다(7f단계).Referring to FIG. 7, the histogram of the input image is obtained, and the hydrogen of each brightness (0 × 255) is set (Histo [each brightness]) in the memory (step 7a). Then, the number of pixels whose non-zero number of brightnesses, that is, Histo [each brightness], counts a non-zero number (step 7b). For example, if it is assumed that the half-tone image having 16 steps is extracted from the input image, it is checked whether the counted number exceeds 16 (step 7c). If the counted number of checks exceeds 16, the brightness having the smallest number of pixels is selected, and the value (x) is a pixel having a different brightness in the left and right directions of the brightness stored in the first memory area B1. The first and second brightnesses y and z having the number of pixels exceeding zero but not added to the number are obtained and stored in the second and third memory areas B2 and B3 (step 7e). Then, it is checked whether both the first and second brightnesses are generated (step 7f).

상기 확인 결과 제1 및 제2밝기가 모두 발생되었으면 두 밝기의 화소수가 같은지 체크한다(7g단계). 상기 체크결과 두 밝기의 화소수가 같을 경우에는 가장 적은 화소수를 갖는 밝기값(×)에 거리상 가까운 쪽을 제4메모리영역(B4)에 저장한다(7h단계). 반면에 상기 두 밝기의 화소수가 다를 경우에는 둘중에서 적은 화소수를 갖는 쪽을 제4메모리영역(B4)에 저장한다(7k단계). 또한 제1 및 제2밝기가 모두 발생되지 않았을 경우에는 제1 혹은 제2밝기(y, z) 중 발생된 어느 한쪽의 밝기 값을 제4메모리 영역(B4)에 저장한다(7i단계). 상기와 같이 제4메모리영역(B4)에 가장 적은 화소수를 갖는 밝기값(x)에 가까운 쪽을 저장하거나, 적은 화소수를 갖는 쪽을 저장하거나, 제1 혹은 제2밝기(y, z) 중 발생된 어느 한쪽의 밝기 값을 저장한 후에는 그 저장된 밝기의 화소수를 제1메모리 영역(B1)에 저장된 밝기의 화소수에 더한 후 Histo[k]를 상기 더한 값으로 갱신한다. 상기 제1메모리 영역(B1)에 저장된 밝기값과 상기 제4메모리 영역(B4)에 저장된 밝기값중 낮은 밝기값의 변수를 k라 가정하며, 상기 두 밝기값중 높은 밝기값을 변수 I라고 가정하면 Histo[I]은 0으로 갱신된다(7i단계). 이때 저장 내용이 0으로 갱신된 Histo[I]은 다음 작업부터는 무시한다. 이후 카운트를 1감소시키고(7j단계), 카운트된 수가 16을 초과하는지의 여부를 검사하는 작업(7c단계)부터 다시 실행한다. 한편, 상기 카운트된 수가 16을 초과하지 않을 경우에는 카운트된 밝기들의 수가 16인지 확인한다(7m단계). 상기 확인 결과 16일 경우에는 전술한 과정의 반복수행을 통하여 발생된 16개의 밝기를 디더매트릭스의 제1-제16역치로 설정하여 제2버퍼에 저장하고 작업을 종료한다(7n단계). 그러나 카운트된 수가 16도 아닐 경우에는 에러로 처리한다(7n단계).If both the first and second brightness are generated as a result of the check, it is checked whether the number of pixels of the two brightnesses is the same (step 7g). If the check results indicate that the two pixels have the same number of pixels, the distance closer to the brightness value (×) having the smallest number of pixels is stored in the fourth memory area B4 (step 7h). On the other hand, if the number of pixels having the two brightnesses is different, the one having the smaller number of pixels is stored in the fourth memory area B4 (step 7k). When neither the first nor second brightness is generated, the brightness value of any one of the first and second brightnesses y and z is stored in the fourth memory area B4 (step 7i). As described above, the side close to the brightness value x having the smallest number of pixels, the side having the smallest number of pixels, or the first or second brightness (y, z) are stored in the fourth memory area B4. After storing one of the generated brightness values, the number of stored brightnesses is added to the number of pixels of brightness stored in the first memory area B1, and then Histo [k] is updated to the added value. Assume that the variable of the lower brightness among the brightness values stored in the first memory area B1 and the brightness value stored in the fourth memory area B4 is k, and the higher brightness value of the two brightness values is assumed to be variable I. Histo [I] is updated to zero (step 7i). At this time, Histo [I] whose contents have been updated to 0 are ignored. Thereafter, the count is decreased by one (step 7j), and the operation is again executed from the operation of checking whether the counted number exceeds 16 (step 7c). On the other hand, if the counted number does not exceed 16, it is checked whether the counted brightness number is 16 (step 7m). If the result of the check is 16, 16 brightnesses generated through the repetition of the above-described process are set as the first to sixteenth threshold values of the dither matrix, stored in the second buffer, and the operation ends (step 7n). However, if the counted number is not 16, it is treated as an error (step 7n).

제8도는 본 발명의 실시 예에 이용되는 히스토그램 상태도로서, 상기한 제7도의 히스토그램 평활화 과정을 부연 설명하기 위해 8비트로 양자화한 입력 영상으로부터 히스토그램을 구한 결과가 이와 같다고 가정하여 나타낸 것이다. 도시된 바에 따르면, 화소수가 0이 아닌 밝기는 19개이다. 본 실시 예에 따르면 이 밝기들은 역치로 쓰일 수 있다. 종래와 같이 임의로 정한 역치를 쓰는 것이 아니라 실제 데이터로 16개의 계조를 설정해서 쓰기 때문에 훨씬 효율적이고 적합한 역치를 사용하게 되는 것이다.FIG. 8 is a histogram state diagram used in an embodiment of the present invention. In order to further explain the histogram smoothing process of FIG. 7, the histogram is calculated based on the assumption that the result of the histogram is the same. As shown, the non-zero pixel number is 19 brightness. According to the present embodiment, these brightnesses may be used as a threshold. Instead of using a threshold determined arbitrarily as in the prior art, 16 gray levels are set and used as actual data, so that a more efficient and suitable threshold is used.

예를 들어 입력 영상을 16단계의 밝기값(중간조 영상 추출 단계값)을 갖는 중간조로 변형하려 한다면, 16개의 역치만 필요함에도 불구하고 상기와 같이 19개의 밝기가 존재하면 3개가 초과된다. 이때는 이 3개를 소정의 조건에 따라 다른 밝기에 뭉쳐줌으로써 16개로 만들어준다. 또한 이렇게 16개로 만들어줄 때 입력 영상의 분포에 따라 역치로 선택되는 각 밝기 사이의 차(간격)를 크게 혹은 작게 조절함으로써 시각적으로 보다 우수한 중간조 영상을 추출할 수 있게 한다.For example, if the input image is transformed into a halftone having 16 levels of brightness values (midtone image extraction step values), even though only 16 threshold values are required, three pieces are exceeded when 19 brightness levels exist as described above. At this time, these three are combined into different brightnesses according to a predetermined condition to make 16. In addition, when the 16 images are made, it is possible to extract visually better halftone images by adjusting the difference (interval) between each brightness selected as the threshold according to the distribution of the input image.

구체적으로, 밝기들 중 가장 적은 화소수 3을 갖는 밝기 P2를 기준밝기로 설정한다. 그리고 다른 밝기가 갖는 화소수에 더해지지 않았으면서 상기 기준밝기보다 더 어둡거나 더 밝되(상기 기준밝기의 좌측 혹은 우측) 화수소가 0을 초과하는 제1 및 제2밝기를 검출한다. 도시된 바에 따르면 제1밝기는 없고 제2밝기는 P3가 된다. 이때는 상기 제1 및 제2밝기가 어느 하나만 발생된 경우이므로 그 발생된 밝기값을 선택하고, 상기 선택된 밝기의 화소수 7을 상기 기준밝기의 화소수에 더한 값 10을 상기 선택된 밝기와 상기 기준 밝기 중 낮은 밝기 P2의 화소수로 갱신한다. 다시 말해서, P3가 없어지면서 화소수가 3이던 P2에 뭉쳐져 상기 P2는 화소수가 10이 되고, 화소수가 0이 아닌 밝기들의 총 개수는 1에서 18로 줄어들게 된다. 하지만 화소수가 0이 아닌 밝기들의 개수를 카운트한 값이 18이므로 여전히 중간조 영상 추출 단계값 16을 초과한다. 그러므로 밝기들중 가장 적은 화소수 4를 갖는 밝기 P13을 기준밝기로 설정한다. 그리고 다른 밝기가 갖는 화소수에 더해지지 않았으면서 상기 기준밝기보다 더 어두운 제1밝기와 더 밝은 제2밝기를 검출한다. 도시된 바에 따르면, 상기 제1밝기는 P12이고 상기 제2밝기는 P14이다. 이때는 상기 제1 및 제2밝기가 모두 발생된 경우이므로 상기 두 밝기중 적은 화소수를 갖는 쪽, 즉 P12를 선택한다. 그리고 상기 선택된 밝기의 화소수 5를 상기 기준밝기의 화소수에 더한 값 9를 상기 선택된 밝기와 상기 기준 밝기중 낮은 밝기, 즉 P12의 화소수로 갱신한다. 다시 말해서, P13이 없어지면서 화소수가 5이던 P12에 뭉쳐져 상기 P12는 화소수가 9가 되고, 화소수가 0이 아닌 밝기들의 총 개수는 18ㅇ0ㅔ서 17로 줄어들게 된다. 하지만 화소수가 0이 아닌 밝기들의 개수를 카운트한 값이 17이므로 여전히 중간조 영상 추출 단계값 16을 초과한다. 그러므로 밝기들중 가장 적은 화소수 5를 갖는 밝기 P20을 기준밝기로 설정한다. 그리고 다른 밝기가 갖는 화소수에 더해지지 않았으면서 상기 기준밝기보다 더 어두운 제1밝기와 더 밝은 제2밝기를 검출한다. 도시된 바에 따르면, 상기 제1밝기는 P19이고 상기 제2밝기는 없습니다. 이때는 상기 제1밝기 P19를 선택한다. 그리고 상기 선택된 밝기의 화소수 11을 상기 기준밝기의 화소수에 더한 값 16을 상기 선택된 밝기와 상기 기준 밝기중 낮은 밝기, 즉 P19의 화소수로 갱신한다. 다시 말해서, P20이 없어지면서 화소수가 11이던 P19에 뭉쳐져 상기 P19는 화소수가 16이 되고, 화소수가 0이 아닌 밝기들의 총 개수는 17에서 16으로 줄어들게 된다. 이렇게 하여 남은 밝기들 16개(P2, P4~P12, P14~P19)를 그 발생 순서대로 디더매트릭스의 각 역치[제1도 (1a)의 A00~A33)으로 설정하게 되는 것이다.Specifically, the brightness P2 having the smallest number of pixels 3 among the brightnesses is set as the reference brightness. The first and second brightnesses, which are darker or brighter than the reference brightness (left or right of the reference brightness) but not exceeding the number of pixels having different brightness, are detected when the hydrogen exceeds zero. As shown, there is no first brightness and the second brightness is P3. In this case, since only one of the first and second brightnesses is generated, the generated brightness value is selected, and a value 10 obtained by adding the number of pixels 7 of the selected brightness to the number of pixels of the reference brightness is the selected brightness and the reference brightness. Is updated to the number of pixels of low brightness P2. In other words, as P3 disappears, the number of pixels merges into P2, which was 3, so that P2 becomes 10 pixels, and the total number of non-zero brightnesses decreases from 1 to 18. However, since the number of pixels counting the number of non-zero brightnesses is 18, the halftone image extraction step value 16 is still exceeded. Therefore, the brightness P13 having the smallest number of pixels 4 among the brightnesses is set as the reference brightness. The first brightness and the brighter second brightness that are darker than the reference brightness are detected without being added to the number of pixels having different brightnesses. As shown, the first brightness is P12 and the second brightness is P14. In this case, since both of the first and second brightnesses are generated, the one having the smaller number of pixels among the two brightnesses, that is, P12 is selected. The value 9 obtained by adding the pixel number 5 of the selected brightness to the pixel number of the reference brightness is updated to the lower of the selected brightness and the reference brightness, that is, the number of pixels of P12. In other words, as P13 disappears, the number of pixels is united in P12, which is 5, so that P12 becomes 9, and the total number of non-zero brightnesses is reduced from 18 to 0 by 17. However, since the number of pixels counting the number of non-zero brightnesses is 17, the halftone image extraction step value 16 is still exceeded. Therefore, the brightness P20 having the smallest number of pixels 5 among the brightnesses is set as the reference brightness. The first brightness and the brighter second brightness that are darker than the reference brightness are detected without being added to the number of pixels having different brightnesses. As shown, the first brightness is P19 and there is no second brightness. In this case, the first brightness P19 is selected. The number 16 of the selected brightness is added to the number of pixels of the reference brightness and the value 16 is updated to the lower of the selected brightness and the reference brightness, that is, the number of pixels of P19. In other words, as P20 disappears, the number of pixels merges into P19, which was 11, so that P19 becomes 16 pixels and the total number of non-zero brightnesses decreases from 17 to 16. In this way, the remaining 16 brightnesses (P2, P4 to P12, P14 to P19) are set to the respective threshold values (A00 to A33 in FIG. 1A) of the dither matrix in the order of their occurrence.

다시 제6도를 참조하면, 상기와 같이 히스토그램 평활화를 실시한 다음에 실시하게 되는 일련의 동작 과정(6c~6k단계), 즉 버퍼에 저장된 M행 N열 영상데이터를 상기 중간조 영상 추출 단계값의 제곱근만큼의 열을 단위로 역치들과 1:1 대응하여 비교한 결과 해당 역치보다 작을 경우 같은 행 및 열에 대응하는 중간조 영상을 흑색으로 세트하고 해당 역치보다 클 경우 같은 행 및 열에 대응하는 중간조 영상을 백색으로 세트하는 과정은 전술한 제3도의 동작 과정(3c~3k단계)과 동일하다.Referring back to FIG. 6, a series of operation steps (steps 6c to 6k) performed after the histogram smoothing as described above, that is, M row and N column image data stored in a buffer may be performed. As a result of comparing one-to-one correspondences with thresholds in the unit of the square root, the halftone image corresponding to the same row and column is set to black when it is smaller than the threshold, and the halftone corresponding to the same row and column when it is larger than the corresponding threshold. The process of setting the image to white is the same as the operation process (steps 3c to 3k) of FIG. 3 described above.

요약하면, 본 발명의 실시 예는 임의의 중간조 영상 추출에 히스토그램 평활화 기법을 이용한 것으로, 입력영상의 히스토그램에서 가장 적은 화수수(0은 제외)를 가지는 밝기값의 화소수를 0이 아닌 화소수를 가지는 동시에 다른 밝기값에 뭉쳐지지 않은 좌, 우(밝기의 측면에서는 상, 하)의 가장 가까운 밝기값의 화소수를 뭉쳐줄 좌, 우 인접(neighbor) 밝기를 찾을 때, 1개 이상의 화소수를 가지면서 다른 밝기값에 뭉쳐지지 않은 좌, 우 밝기들 중 가장 가까운 것을 선택하여 그 밝기의 화소수에 뭉치는 방법을 상용하는 경우에도 좋은 결과를 얻을 수 있다.In summary, an embodiment of the present invention uses a histogram smoothing technique for extracting an arbitrary halftone image, in which the number of pixels having the least number of pixels (excluding zero) in the histogram of the input image is the number of pixels other than zero. One or more pixels to find the left and right neighboring brightnesses that will aggregate the number of pixels of the left and right (up and down in terms of brightness) that are not aggregated to other brightness values at the same time. Good results can also be obtained when using the method of selecting the closest among the left and right brightnesses that are not aggregated to other brightness values and combining them to the pixel number of the brightness.

상술한 바와 같이 입력 영상의 히스토그램을 평활화한 다음에 디더매트릭스를 적용함으로써 시각적으로 보다 우수한 중간조 영상을 추출할 수 있는 장점이 있다.As described above, by smoothing the histogram of the input image and then applying a dither matrix, there is an advantage that a visually superior halftone image can be extracted.

한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도내에서 여러 가지 변형이 가능함은 물론이다. 즉 디더매트릭스의 형태(type)나 임의의 중간조 영상이 갖는 밝기의 단계를 일정 정도 변형하여 마찬가지 방법으로 구현할 수 있을 것이다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 않되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.Meanwhile, in the detailed description of the present invention, specific embodiments have been described, but various modifications are possible without departing from the scope of the present invention. That is, the type of dither matrix or the level of brightness of an arbitrary halftone image may be modified to some extent and implemented in the same manner. Therefore, the scope of the present invention should not be limited to the described embodiments, but should be defined not only by the scope of the following claims, but also by the equivalents of the claims.

Claims (2)

화상처리시스템에서 소정 단계의 중간조 영상을 추출하는 방법에 있어서, 원고로부터 주사되거나 다른 시스템으로부터 수신되어 n비트로 양자화된 M행 N열 영상 데이터를 버퍼에 저장하는 과정과, 상기 버퍼에 저장된 입력 영상의 히스토그램을 구하는 과정과, 상기 입력 영상의 히스토그램에서 역치 설정 대상인 화소수가 0이 아닌 밝기들의 총 개수를 카운트하는 과정과, 화소수가 0이 아닌 밝기들의 총 개수를 카운트한 값이 중간조 영상 추출 단계값과 같으면 그 밝기들을 디더매트릭스의 각 역치로 설정하며, 화소수가 0이 아닌 밝기들의 총 개수를 카운트한 값이 중간조 영상 추출 단계값을 초과할 경우 다음 부과정들(1)~(3)을 반복 수행하여 상기 중간조 영상 추출 단계값과 같도록 하는 히스토그램 평활화 과정과, (1) 가장 적은 화소수를 갖는 밝기를 기준 밝기로 하여 다른 밝기가 갖는 화소수에 더해지지 않았으면서 상기 기준밝기보다 더 어둡거나 더 밝되 화소수가 0을 초과하는 제1 및 제2밝기를 검출, (2) 상기 제1 및 제2밝기가 모두 발생되었을 경우 상기 두 밝기의 화소수가 같으면 가장 적은 화소수를 갖는 밝기값에 가까운 쪽을 선택하며 같지 않으면 둘 중 적은 화소수를 갖는 쪽을 선택하고, 상기 제1 및 제2밝기가 어느 하나만 발생된 경우에는 그 발생된 밝기값을 선택, (3) 상기 선택된 밝기의 화소수를 상기 기준밝기의 화소수에 더한 값을 상기 선택된 밝기와 상기 기준밝기 중 낮은 밝기의 화소수로 갱신하고 상기 낮은 밝기는 디더매트릭스의 소정 역치로 설정하며 높은 밝기의 화소수는 상기 역치 설정 대상에서 삭제.A method of extracting a half-tone image of a predetermined step in an image processing system, the method comprising: storing M-row N-column image data scanned from an original or received from another system and quantized by n bits in a buffer, and an input image stored in the buffer Obtaining a histogram of the image, counting the total number of non-zero brightnesses as the number of pixels to be set as a threshold value in the histogram of the input image, and extracting a halftone image from a value obtained by counting the total number of the non-zero brightnesses as the number of pixels If the value is the same, the brightness is set to each threshold value of the dither matrix, and if the number of pixels counting the total number of non-zero brightness exceeds the halftone image extraction step value, the following subprocesses (1) to (3) Repeats the histogram smoothing process so as to be equal to the halftone image extraction step value, and (1) the brightness having the smallest number of pixels. Detects the first and second brightnesses that are darker or brighter than the reference brightness but not greater than zero as the reference brightness without being added to the number of pixels having other brightnesses, and (2) the first and second brightnesses If both are generated, if the number of pixels of the two brightnesses is the same, the side closer to the brightness value having the smallest number of pixels is selected. If not, the side having the smallest number of pixels is selected, and only the first and second brightnesses are generated. If the generated brightness value is selected, (3) the number of pixels of the selected brightness is added to the number of pixels of the reference brightness by updating the value of the selected brightness and the lower brightness pixels of the reference brightness and the low brightness. Is set to a predetermined threshold of the dither matrix and the number of high brightness pixels is deleted from the threshold setting target. 상기 버퍼에 저장된 M행 N열 영상데이터를 상기 중간주 영상 추출 단계값의 제곱근 만큼의 열을 단위로 상기 역치들과 1:1 대응하여 비교한 결과, 해당 역치보다 작을 경우 같은 행 및 열에 대응하는 중간조 영상을 흑색으로 세트하고 해당역치보다 클 경우 같은 행 및 열에 대응하는 중간조 영상을 백색으로 세트하는 과정으로 이루어짐을 특징으로 하는 중간조 영상 추출방법.The M rows and N columns image data stored in the buffer are compared with the thresholds in units of square roots of the intermediate image extraction step values in units of 1: 1, and corresponding to the same rows and columns when they are smaller than the thresholds. And setting the halftone image to black and setting the halftone image corresponding to the same row and column to white when the halftone image is larger than the corresponding threshold. 화성처리시스템에서 n비트로 양자화된 M행 N열 영상데이터에 대한 히스토그램으로부터 역치를 구하여 소정 단계의 중간조 영상을 추출하는 방법에 있어서, 히스토그램에서 화소수가 0이 아닌 밝기들의 총 개수를 카운트하는 제1과정과, 화소수가 0이 아닌 밝기들의 개수를 카운트한 값이 영상 추출 단계값을 초과할 경우 가장 적은 화소수를 갖는 기준밝기로 하여 다른 밝기가 갖는 화소수에 더해지지 않았으면서 상기 기준 밝기보다 더 어둡거나 더 밝되 화소수가 0을 초과하는 제1 및 제2밝기를 검출하는 제2과정과, 상기 제1 및 제2밝기가 모두 발생되었을 경우 상기 두 밝기의 화소수가 같으면 가장 적은 화소수를 갖는 밝기값에 가까운 쪽을 선택하고 같지 않으면 둘중 적은 화소수를 갖는 쪽을 선택하며, 상기 제1 및 제2밝기가 어느 하나만 발생된 경우에는 그 발생된 밝기값을 선택하는 제3과정과, 상기 선택된 밝기의 화소수를 상기 기준밝기의 화소수에 더한 값을 상기 선택된 밝기와 상기 기준밝기 중 낮은 밝기의 화소수로 갱신하며, 상기 낮은 밝기를 디더매트릭스의 소정 역치로 설정하는 제4과정과, 상기 역치 설정후, 상기 선택된 밝기와 상기 기준밝기중 높은 밝기를 삭제하고, 화소수가 0이 아닌 밝기들의 총 개수를 1 감소시켜 그 값이 상기 중간조 영상 추출 단계값과 같지 않으면 상기 제2과정으로 되돌아가는 제5과정으로 이루어지는 히스토그램 평활화를 실행함을 특징으로 하는 중간조 영상 추출방법.A method for extracting a half-tone image of a predetermined step by obtaining a threshold value from a histogram of n-row quantized M-row N-column image data in a chemical conversion processing system, the method comprising: a first number of counting the total number of non-zero brightnesses in the histogram If the value of counting the number of non-zero brightnesses exceeds the image extraction step value, the reference brightness has the smallest number of pixels and is not added to the number of pixels having other brightnesses. A second process of detecting the first and second brightnesses that are darker or lighter but the number of pixels exceeds zero, and the brightness having the smallest number of pixels when the number of pixels of the two brightnesses is the same when both of the first and second brightnesses are generated; If the side close to the value is selected and not the same, the side having the smaller number of pixels is selected, and only one of the first and second brightnesses is generated. And a third process of selecting the generated brightness value, and updating a value obtained by adding the number of pixels of the selected brightness to the number of pixels of the reference brightness to the number of pixels of the lower brightness among the selected brightness and the reference brightness, A fourth step of setting the brightness to a predetermined threshold of the dither matrix; and after setting the threshold, the high brightness of the selected brightness and the reference brightness is deleted, and the total number of non-zero brightnesses is decreased by one. And a halftone image extracting step of performing a histogram smoothing process comprising a fifth process returning to the second process if it is not equal to the halftone image extraction step value.
KR1019900016884A 1990-10-22 1990-10-22 Method to retrieve half tone image KR0136120B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019900016884A KR0136120B1 (en) 1990-10-22 1990-10-22 Method to retrieve half tone image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019900016884A KR0136120B1 (en) 1990-10-22 1990-10-22 Method to retrieve half tone image

Publications (2)

Publication Number Publication Date
KR920009163A KR920009163A (en) 1992-05-28
KR0136120B1 true KR0136120B1 (en) 1998-04-27

Family

ID=19305001

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019900016884A KR0136120B1 (en) 1990-10-22 1990-10-22 Method to retrieve half tone image

Country Status (1)

Country Link
KR (1) KR0136120B1 (en)

Also Published As

Publication number Publication date
KR920009163A (en) 1992-05-28

Similar Documents

Publication Publication Date Title
US5008950A (en) Image processing method and apparatus for error-dispersion digitization without moire or spurious stripe formation
EP0696129B1 (en) Method and system for image conversion utilizing dynamic error diffusion
US5325448A (en) Image treatment method and apparatus with error dispersion and controllable quantization
JP4559118B2 (en) Bit mask generation system, printer driver, printing method incorporating the generated bit mask mask, and method of using the same
JP4100782B2 (en) Error diffusion value processing method
US5491564A (en) Data compression method and apparatus for binary image using Markov model encoding
JPH11187264A (en) Method and device for processing image
US20060285167A1 (en) Image processing method and a recording medium storing image processing program
US6025930A (en) Multicell clustered mask with blue noise adjustments
JPH04213774A (en) Image processing method
KR0136120B1 (en) Method to retrieve half tone image
EP0496599B1 (en) Image processing apparatus and method for smoothing contours
KR100301009B1 (en) An image data processing device
US5748772A (en) Image processing method and apparatus including an error calculation for calculating a difference between the values of error correction data and stored representative values
JPH08298598A (en) Image processor and image processing method
JPS6359272A (en) Picture processor
JPH03151762A (en) Picture processor
JPH0537775A (en) Pseudo intermediate tone processing method and its device
JP2900907B2 (en) Image processing device
KR930005131B1 (en) Histogram equalization for picture tone
Zhuge et al. Halftoning via Error Diffusion using Circular Dot-overlap Model
JPS60253369A (en) Processing system of halftone picture
JPH06296235A (en) Facsimile equipment
KR930000705B1 (en) Dither matrix method for facsimile telegraph
JPH08321949A (en) Binarization processing method for intermediate tone image

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20041228

Year of fee payment: 8

LAPS Lapse due to unpaid annual fee