KR100188679B1 - Image quality enhancement method based on the mean-separate histogram equalization having the brightness control function and circuit thereof - Google Patents
Image quality enhancement method based on the mean-separate histogram equalization having the brightness control function and circuit thereof Download PDFInfo
- Publication number
- KR100188679B1 KR100188679B1 KR1019960011624A KR19960011624A KR100188679B1 KR 100188679 B1 KR100188679 B1 KR 100188679B1 KR 1019960011624 A KR1019960011624 A KR 1019960011624A KR 19960011624 A KR19960011624 A KR 19960011624A KR 100188679 B1 KR100188679 B1 KR 100188679B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- average level
- sub
- level
- density function
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 23
- 230000001186 cumulative effect Effects 0.000 claims abstract description 43
- 238000012937 correction Methods 0.000 claims abstract description 41
- 238000013507 mapping Methods 0.000 claims abstract description 20
- 230000006870 function Effects 0.000 claims description 72
- 238000012545 processing Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000003111 delayed effect Effects 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 1
- 238000002059 diagnostic imaging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/57—Control of contrast or brightness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20021—Dividing image into blocks, subimages or windows
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20216—Image averaging
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Picture Signal Circuits (AREA)
- Image Processing (AREA)
Abstract
본 발명의 화질 개선 방법은 입력되는 영상신호를 화면단위로 평균레벨을 구하는 단계, 화면단위의 입력되는 영상신호의 그레이 레벨 분포도를 구하는 단계, 구해진 화면단위의 그레이 레벨 분포도를 평균레벨에 따라 소정수의 서브영상으로 분할하는 단계, 구해진 화면단위의 그레이 레벨 분포도를 근거로하여 분할된 서브영상별로 확률밀도함수와 누적밀도함수를 구하는 단계, 입력영상의 평균밝기에 근거하여 소정의 보정함수에 따른 보정치를 평균레벨에 가산하여 보상된 평균레벨을 얻는 단계 및 서브영상별로 구해진 누적밀도함수와 보상된 평균레벨에 따라 각 서브영상의 샘플들을 그레이 레벨로 맵핑하여 등화된 신호를 출력하는 단계를 포함하여 입력영상의 평균밝기에 따라 보정치가 부가된 보상된 평균레벨을 근거로 하여 드오하된 신호의 밝기를 조절함으로써 지나치게 어둡거나 밝은 입력영상신호의 콘트라스트를 개선하여 화질을 크게 개선시킨다.The image quality improving method of the present invention comprises the steps of: obtaining an average level of an input video signal in units of screens; obtaining a gray level distribution of input image signals in units of screens; Dividing the image into sub-images; calculating a probability density function and a cumulative density function for each sub-image based on the obtained gray level distribution of the screen unit; and a correction value according to a predetermined correction function based on the average brightness of the input image. To obtain the compensated average level by adding to the average level, and outputting an equalized signal by mapping the samples of each sub-image to the gray level according to the cumulative density function obtained for each sub-image and the compensated average level. Deowed signal based on the compensated average level with corrections added according to the average brightness of the image To improve the contrast of too dark or too bright input image signals by adjusting the brightness and greatly improve image quality.
Description
제1도는 본 발명에 의한 화질 개선 회로의 일 실시예에 따른 블럭도이다.1 is a block diagram according to an embodiment of an image quality improvement circuit according to the present invention.
제2도(a) 및 제2도(b)는 본 발명에 적용되는 밝기 보정함수의 예를 설명하기 위한 도면이다.2 (a) and 2 (b) are diagrams for explaining an example of a brightness correction function applied to the present invention.
제3도(a) 및 제3도(b)는 제2도(a) 및 제2도(b)에 도시된 밝기 보정함수에 의해 보상된 평균레벨과 입력영상의 평균레벨의 관계의 예를 보인 도면이다.3 (a) and 3 (b) show examples of the relationship between the average level compensated by the brightness correction functions shown in FIGS. 2 (a) and 2 (b) and the average level of the input image. The figure shown.
제4도는 본 발명에 의한 화질 개선 회로의 다른 실시예에 따른 블럭도이다.4 is a block diagram according to another embodiment of the image quality improvement circuit according to the present invention.
본 발명은 밝기보상기능을 가진 평균 분리 히스토그램 등화를 이용한 화질 개선 방법과 그 회로에 관한 것으로, 특히 주어진 영상을 그평균에 근거하여 소정수의 서브영상으로 분할하고, 입력영상의 밝기를 보상하여 분할된 영상에 대하여 각각 히스토그램 등화하여 화질을 개선하는 화질 개선 방법과 그 회로에 관한 것이다.The present invention relates to a method for improving image quality using a mean-segmented histogram equalization having a brightness compensation function and a circuit thereof. In particular, a given image is divided into a predetermined number of sub-images based on the average, and the brightness of an input image is compensated for. The present invention relates to a picture quality improvement method and a circuit for improving the picture quality by histogram equalization of each image.
그레이 레벨(gray level)의 히스토그램은 영상(image)의 외양(appearance)의 전체적인 묘사를 제공한다. 주어진 영상에 대해 적절히 조절된 그레이 레벨은 외양 또는 영상의 콘트라스트를 개선시킨다.Histograms of gray levels provide an overall depiction of the appearance of the image. Properly adjusted gray levels for a given image improve the appearance or contrast of the image.
콘트라스트 개선을 위한 많은 방법중에 히스토그램 등화가 가장 널리 알려져 있으며, 영상의 샘플분포에 따라 주어진 영상의 콘트라스를 개선하는 방법은 아래 문헌 [1],[2]에 개시되어 있다: [1] J.S.Lim,Two-Dimensional Signal and Image Processing, Prentice Hall, Englewood Cliffs, New Jersey, 1990, [2] R.C.Gonzalez and P.Wints, Digital Image Processing, Addison-Wesley, Reading, Massachusetts, 1977.Among many methods for improving contrast, histogram equalization is most widely known, and methods for improving the contrast of a given image according to the sample distribution of the image are described in [1] and [2]: [1] JSLim, Two-Dimensional Signal and Image Processing, Prentice Hall, Englewood Cliffs, New Jersey, 1990, [2] RC Gonzalez and P. Wints, Digital Image Processing, Addison-Wesley, Reading, Massachusetts, 1977.
또한, 메디컬 영상 처리와 레이다 영상 처리를 포함하는 히스토그램 등화 방법의 유용한 응용은 아래 문헌 [3],[4]에 개시되어 있다: [3] J.Zimmerman, S.Pizer, E.Staab, E.Perry, W.Mccartney, and B.Brenton, Evaluation of the effectiveness of adaptive histogram equalization for contrast enhancement. IEEE Tr.on Medical Imaging,pp.304-312, Dec.1988, [4] Y.Li, W.Wang, and D.Y.Yu, Application of adaptive histogram equalization to x-ray chest image, Proc. of the SPIE,pp.513-514, vol.2321,1994.In addition, useful applications of histogram equalization methods, including medical image processing and radar image processing, are disclosed in [3], [4]: [3] J. Zimmerman, S. Pizer, E. Staab, E. Perry, W. McCartney, and B. Brenton, Evaluation of the effectiveness of adaptive histogram equalization for contrast enhancement. IEEE Tr.on Medical Imaging, pp. 304-312, Dec. 1988, [4] Y. Li, W. Wang, and D. Y. Yu, Application of adaptive histogram equalization to x-ray chest image, Proc. of the SPIE, pp. 513-514, vol. 2321,1994.
일반적으로, 히스토그램 등화는 동적 범위(dynamic range)를 늘리는 (stretching) 효과를 갖기 때문에 히스토그램 등화는 결과 영상의 그레이 분포를 평평(flat)하게 하고, 그 결과로서 영상의 콘트라스트를 개선한다.In general, histogram equalization has the effect of stretching the dynamic range, so histogram equalization flattens the gray distribution of the resulting image, and as a result improves the contrast of the image.
널리 알려진 히스토그램 등화의 이러한 특성은 실제적인 경우에서는 결점이 되기도 한다. 즉, 히스토그램 등화의 출력 밀도가 일정하기 때문에 출력영상의 평균 밝기(brightness)는 중간 그레이 레벨에 가깝게 된다. 실제적으로, 아날로그 영상의 히스토그램 등화를 위하여, 히스토그램 등화에서 출력영상의 평균 밝기는 입력영상의 평균 밝기에는 무관하게 정확히 중간 그레이 레벨이다. 분명하게, 이 특성은 실제 응용에서는 바람직하지 않다. 예를 들어, 밤에 찍은 장면은 히스토그램 등화 후에는 낮동안 찍은 장면과 같이 보이는 문제점이 발생될 수 있다. 따라서, 지나치게 어둡거나 밝은 영상신호는 낮은 콘트라스트를 초래한다.This characteristic of the well-known histogram equalization can be a drawback in practical cases. That is, since the output density of the histogram equalization is constant, the average brightness of the output image is close to the intermediate gray level. In practice, for histogram equalization of an analog image, the average brightness of the output image in histogram equalization is exactly intermediate gray level regardless of the average brightness of the input image. Clearly, this property is undesirable in practical applications. For example, a scene taken at night may appear to look like a scene taken during the day after histogram equalization. Therefore, an excessively dark or bright video signal results in low contrast.
상기의 문제점을 해결하기 위하여, 본 발명의 목적은 주어진 영상을 평균레벨을 이용하여 소정수의 서브영상으로 분할하여 입력 영상의 평균 밝기에 따라 평균레벨에 보정치를 두어 분할된 서브영상에 대하여 독립적으로 히스토그램 등화하는 화질 개선 방법을 제공하는 데 있다.In order to solve the above problems, an object of the present invention is to divide a given image into a predetermined number of sub-images using the average level, and to make correction values at the average level according to the average brightness of the input image. The present invention provides a method for improving image quality of histogram equalization.
본 발명의 다른 목적은 주어진 영상을 평균레벨을 이용하여 소정수의 서브영상으로 분할하여 입력 영상의 평균밝기에 따라 평균레벨에 보정치를 두어 분할된 서브영상에 대하여 독립적으로 히스토그램 등화하는 화질 개선 회로를 제공하는 데 있다.Another object of the present invention is to improve an image quality improvement circuit for dividing a given image into a predetermined number of sub-images using an average level, and putting a correction value at the average level according to the average brightness of the input image to independently histogram equalize the divided sub-images. To provide.
상기의 목적을 달성하기 위하여, 본 발명에 의한 화질 개선 방법은 소정수(L)의 그레이 레벨로 표현되는 영상신호를 히스토그램 등화하여 화질을 개선하는 방법에 있어서:In order to achieve the above object, the image quality improving method according to the present invention is a method for improving image quality by histogram equalizing a video signal represented by a predetermined number (L) of gray levels:
(a) 입력되는 영상신호를 화면단위로 평균레벨을 구하는 단계; (b) 화면단위의 입력되는 영상신호의 그레이 레벨 분포도를 구하는 단계; (c) 상기 구해진 화면단위의 그레이 레벨 분포도를 상기 평균레벨에 따라 소정수의 서브영상으로 분할하는 단계; (d) 상기 구해진 화면단위의 그레이 레벨 분포도를 근거로하여 상기 분할된 서브영상별로 확률밀도함수와 누적밀도함수를 구하는 단계; (e) 입력영상의 평균밝기에 근거하여 소정의 보정함수에 따른 보정치를 상기 평균레벨에 가산하여 보상된 평균레벨을 얻는 단계; 및 (f) 서브영상별로 구해진 누적밀도함수와 상기 보상된 평균레벨에 따라 각 서브영상의 샘플들을 그레이 레벨로 맵핑하여 등화된 신호를 출력하는 단계를 포함함을 특징으로 하고 있다.(a) obtaining an average level of the input video signal in units of screens; (b) obtaining a gray level distribution of the input video signal in units of screens; (c) dividing the obtained gray level distribution of the screen unit into a predetermined number of sub-images according to the average level; obtaining a probability density function and a cumulative density function for each of the divided sub-images based on the obtained gray level distribution map of the screen unit; (e) adding a correction value according to a predetermined correction function to the average level based on the average brightness of the input image to obtain a compensated average level; And (f) outputting an equalized signal by mapping the samples of each sub-image to the gray level according to the cumulative density function obtained for each sub-image and the compensated average level.
상기의 다른 목적을 달성하기 위하여, 본 발명에 의한 화질 개선회로는 소정수(L)의 그레이 레벨로 표현되는 영상신호를 히스토그램 등화하여 화질 개선하는 회로에 있어서;In order to achieve the above another object, the image quality improvement circuit according to the present invention comprises a circuit for improving image quality by histogram equalizing a video signal represented by a predetermined number (L) of gray levels;
입력되는 영상신호를 화면단위로 그레이 레벨 분포도를 계산하는 제1계산수단; 입력되는 영상신호를 화면단위로 평균레벨을 계산하는 제2계산수단; 입력영상의 평균밝기에 근거하여 소정의 보정함수에 따른 보정치를 상기 평균레벨에 가산하여 보상된 평균레벨을 출력하는 밝기 보상수단; 상기 계산된 화면단위의 그레이 레벨 분포도를 상기 평균레벨에 따라 소정수의 서브영상으로 분할하고 서브영상별로 출력되는 확률밀도함수를 출력하는 분할수단; 상기 서브영상별로 출력되는 확률밀도함수를 근거로하여 서브영상별로 누적밀도함수를 계산하는 제3계산수단; 입력되는 영상신호를 화면 단위로 지연하는 화면 메모리; 상기 화면 메모리로부터 출력되는 각 서브영상의 샘플들을 상기 서브영상별로 계산된 누적밀도함수와 상기 보상된 평균레벨에 따라 그레이 레벨로 맵핑하는 맵핑수단; 및 상기 화면 메모리로부터 출력되는 영상신호와 상기 평균레벨을 비교한 결과에 따라 상기 맵핑수단에서 출력되는 서브영상별로 그레이 레벨로 맵핑된 출력중 하나를 선택해서 등화된 신호를 출력하는 출력수단을 포함함을 특징으로 하고 있다.First calculating means for calculating a gray level distribution chart based on the input video signal in units of screens; Second calculating means for calculating an average level of the input video signal in units of screens; Brightness compensation means for outputting a compensated average level by adding a correction value according to a predetermined correction function to the average level based on the average brightness of the input image; Dividing means for dividing the calculated gray level distribution of the screen unit into a predetermined number of sub-images according to the average level and outputting a probability density function output for each sub-image; Third calculating means for calculating a cumulative density function for each sub-image based on a probability density function output for each sub-image; A screen memory for delaying an input video signal in units of screens; Mapping means for mapping samples of each sub-image output from the screen memory to a gray level according to the cumulative density function calculated for each sub-image and the compensated average level; And output means for outputting an equalized signal by selecting one of outputs mapped to gray levels for each sub-image output from the mapping means according to a result of comparing the image signal output from the screen memory with the average level. It is characterized by.
이하, 첨부된 도면을 참조하여, 본 발명에 의한 밝기보상기능을 가진 평균-분리 히스토그램 등화를 이용한 화질 개선 방법과 그 회로의 바람직한 실시예를 설명하기로 한다.Hereinafter, with reference to the accompanying drawings, it will be described a preferred embodiment of the image quality improvement method using a mean-separated histogram equalization having a brightness compensation function and the circuit according to the present invention.
먼저, 본 발명에서 제안하는 화질 개선 방법에 대하여 설명하기로 한다.First, the image quality improving method proposed by the present invention will be described.
{X}는 주어진 영상을 나타내고, Xm은 주어진 영상 {X}의 평균레벨을 나타낸다. 평균레벨(Xm)을 근거로 해서, 여기서는 입력영상을 {X}L,{X}U라고 정의된 2개의 서브 영상으로 분할하되, {X}L에서의 모든 샘플은 평균레벨(Xm) 이하이고, {X}U에서의 모든 샘플은 평균레벨(Xm)보다 크다.{X} represents a given image, and X m represents an average level of a given image {X}. Based on the mean level (X m ), we divide the input image into two sub-images defined by {X} L , {X} U , where all samples at {X} L are average level (X m ) Below, all samples in {X} U are greater than the mean level (X m ).
주어진 영상 {X}은 L개의 이산(discrete) 그레이 레벨{X0,X1,...,XL-1}로 구성되고, 여기서, X0=0은 블랙레벨을 나타내고, XL-1=1은 화이트 레벨을 나타낸다. 또한, Xm∈{X0,X1,...,XL-1}이다.A given image {X} consists of L discrete gray levels {X 0 , X 1 , ..., X L-1 }, where X 0 = 0 represents a black level, and X L-1 = 1 indicates white level. And X m ∈ {X 0 , X 1 , ..., X L-1 }.
분할된 서브영상 {X}L,{X}U의 각각의 확률 밀도 함수(probability density funtion:PDF)는 아래 (3) 및 (4)식으로 나타낼 수 있다.Probability density functions (PDF) of the divided sub-images {X} L and {X} U may be represented by the following Equations (3) and (4).
여기서, L은 레벨수이고, pL(Xk)는 서브영상{X}L에서 k번째 그레이 레벨(Xk)의 확률이고, pU(Xk)는 서브영상 {X}U에서 k번째 그레이 레벨(Xk)의 확률이고, nk L,nk U는 각 서브영상에서 이 레벨이 나타나는 횟수를 나타내고, nL,nU은 서브영상 {X}L, 서브영상 {X}U에서 각각의 전체 새플수를 나타낸다.Where L is the number of levels, p L (X k ) is the probability of the kth gray level (X k ) in the sub-image {X} L , and p U (X k ) is the k-th in the sub-image {X} U Is the probability of the gray level (X k ), where n k L , n k U represents the number of times this level appears in each sub-image, and n L , n U represents the sub-picture {X} L , the sub-picture {X} U Each total number of saples is shown.
그때, 각각의 서브영상 {X}L, 서브영상 {X}U의 누적 밀도함수(cumulative density funtion:CDF)는 다음 식 (5)와 (6)과 같이 정의된다.At this time, the cumulative density function (CDF) of each sub-image {X} L and the sub-image {X} U is defined as the following equations (5) and (6).
누적 밀도 함수를 근거로 해서, 등화된 출력(YH)은 주어진 입력영상(Xk)에 대해 다음과 같이 주어진다.Based on the cumulative density function, the equalized output Y H is given as follows for a given input image X k .
즉, Bm을 보상된 평균레벨이라고 하고, △은 평균밝기에 따른 소정의 보정함수에 의해 얻어지는 보정치라고 하면, 이 보상된 평균레벨(Bm)은 평균레벨(Xm)에 보정치(△)를 가산한 결과가 된다. 이때,In other words, if B m is a compensated average level and Δ is a correction value obtained by a predetermined correction function according to average brightness, this compensated average level B m is a mean value X m and a correction value Δ. It is the result of adding. At this time,
이다. Bm'는 보상된 평균레벨(Bm)보다 높은 영역에서 매핑되는 첫번째 그레이 레벨을 나타낸다.to be. B m ′ represents the first gray level mapped in the region above the compensated average level B m .
결론적으로 식(7)은 샘플들이 입력영상의 평균레벨(Xm)보다 같거나 작으면 (0,Bm)에 맵핑시킨 결과이고, 샘플들이 입력영상의 평균레벨(Xm)보다 크면 (Bm',XL-1)에 맵핑시킨 결과이다.Consequently, the equation (7) is the result of samples are mapped to if equal to or less than the mean level (X m) of the input image is (0, B m), the samples are greater than the mean level (X m) of the input image (B m ', X L-1 ).
따라서, 보정치가 0보다 크면(△ 0), 등화된 출력(YH)이 밝아질 것이고, 보정치가 0보다 작으면(△ 0), 등화된 출력(YH)이 어두워질 것이다. △가 증가할수록 낮은(lower) 영역의 다이나믹 범위는 개선될 것이고, △가 감소할수록 높은(upper) 영역의 다이나믹 범위는 개선괼 것이다. 주어진 영상신호의 평균레벨(Xm)에 따라, 즉, 밝고 어두움에 따라 적절히 보상된 평균레벨(Bm)은 평균-분리 히스토그램 등화에 의해 입력영상의 화질을 크게 개선시킨다.Thus, if the correction value is greater than zero (Δ 0), the equalized output Y H will be bright, and if the correction value is smaller than zero (Δ 0), the equalized output Y H will be dark. As Δ increases, the dynamic range of the lower region will improve, and as Δ decreases, the dynamic range of the upper region will improve. The average level B m , which is properly compensated according to the average level X m of a given image signal, that is, bright and dark, greatly improves the image quality of the input image by means of a mean-separated histogram equalization.
여기서, 입력영상의 평균레벨에 의해 소정수의 서브영상으로 분할하여 각 서브영상에 대해 독립적으로 히스토그램 등화하는 것을 평균-분리 히스토그램 등화라고 본 발명에서는 지칭한다.Here, splitting into a predetermined number of sub-images by the average level of the input image and independently histogram equalization for each sub-image is referred to as mean-separated histogram equalization in the present invention.
이어서, 제1도 내지 제4도를 결부시켜 본 발명에 의한 밝기보상기능을 가진 평균 분리 히스토그램 등화를 이용한 화질 개선회로의 실시예를 설명하기로 한다.Next, the embodiment of the image quality improvement circuit using the average separated histogram equalization with the brightness compensation function according to the present invention will be described with reference to FIGS.
제1도는 본 발명에 의한 화질 개선 회로의 일 실시예에 따른 블럭도이다.1 is a block diagram according to an embodiment of an image quality improvement circuit according to the present invention.
제1도에 있어서, 프레임 히스토그램 계산기(102)는 입력되는 영상신호(Xk)에 대해 1화면 단위로 히스토그램을 계산한다. 즉, 1프레임 영상의 그레이 레벨 분포도를 계산한다. 여기서, 화면 단위는 필드도 될 수 있으나 프레임으로 한다.In FIG. 1, the frame histogram calculator 102 calculates a histogram in units of one screen with respect to an input image signal X k . That is, the gray level distribution of one frame image is calculated. In this case, the screen unit may be a field but may be a frame.
프레임 평균 계산기(104)는 입력되는 영상신호(Xk)를 프레임단위로 평균레벨(Xm)을 계산한다.The frame average calculator 104 calculates an average level X m based on the input image signal X k in units of frames.
분할기(106)는 프레임 히스토그램 계산기(102)에서 계산된 그레이 레벨 분포도를 프레임 평균 계산기(104)에서 계산된 평균레벨(Xm)을 근거로하여 소정수(여기서는 2개)의 서브영상으로 분할하여 2개의 서브영상의 확률밀도함수(pL(Xk), pU(Xk))를 출력한다. 이 확률밀도함수(pL(Xk), pU(Xk))는 위 (1)식 및 (2)식으로 나타내어진다.The divider 106 divides the gray level distribution calculated by the frame histogram calculator 102 into a predetermined number (here two) sub-images based on the average level X m calculated by the frame average calculator 104. The probability density functions p L (X k ) and p U (X k ) of the two sub-images are output. The probability density functions p L (X k ) and p U (X k ) are given by the above equations (1) and (2).
제1CDF 계산기(108)는 분할기(106)로부터 출력되는 모든 영상샘플이 평균레벨(Xm) 이하인 서브영상(이하 제1서브영상이라고 함)의 확률밀도함수(pL(Xk))를 입력하여 위 (3)식을 이용하여 누적밀도함수(cL(Xk))를 계산한다.The first CDF calculator 108 inputs a probability density function p L (X k ) of a sub-image (hereinafter referred to as a first sub-image) in which all image samples output from the divider 106 are equal to or less than the average level (X m ). Calculate the cumulative density function (c L (X k )) using the equation (3) above.
제2CDF 계산기(110)는 분할기(106)로부터 출력되는 모든 영상샘플이 평균레벨(Xm)보다 큰 서브영상(이하 제2서브영상이라고 함)의 확률밀도함수(pU(Xk))를 입력하여 위 (4)식을 이용하여 누적밀도함수(cU(Xk))를 계산한다.The second CDF calculator 110 calculates a probability density function p U (X k ) of a sub-image (hereinafter referred to as a second sub-image) in which all image samples output from the divider 106 are larger than the average level (X m ). Calculate the cumulative density function (c U (X k )) using the above equation (4).
DCF 메모리(112)에서는 제1 및 제2CDF 계산기(108,110)에서 계산된 누적밀도함수 (cL(Xk), cU(Xk))를 동기신호(SYNC)에 따라 프레임단위로 갱신하고, 갱신되는 동안에 이전에 저장된 누적밀도함수 (cL(Xk), cU(Xk))는 제1 및 제2맵퍼(116,118)에 공급된다. 여기서, 동기신호는 화면단위가 필드이면 필드 동기신호가 되고, 프레임이면 프레임 동기신호가 되며, CDF 메모리(112)는 버퍼로서 사용된다.In the DCF memory 112, the cumulative density functions c L (X k ) and c U (X k ) calculated by the first and second CDF calculators 108 and 110 are updated in units of frames according to the synchronization signal SYNC. The cumulative density functions c L (X k ) and c U (X k ) previously stored during the update are supplied to the first and second mappers 116, 118. Here, the synchronization signal is a field synchronization signal if the screen unit is a field, and is a frame synchronization signal if a frame, and the CDF memory 112 is used as a buffer.
한편, 프레임 메모리(100)는 입력되는 영상신호(Xk)를 1프레임 단위로 저장한다. 제1 및 제2CDF계산기(108,110)로부터 출력되는 누적밀도함수(cL(Xk), cU(Xk))는 입력되는 영상신호에 비해 1프레임 지연된 영상신호의 누적밀도함수이므로 제1 및 제2CDF 계산기(108,110)에서 계산된 누적밀도함수(cL(Xk), cU(Xk))와 동일 프레임의 영상신호를 제1 및 제2맵퍼(116,118)에 입력시키기 위하여 입력되는 영상신호(Xk)를 프레임 메모리(100)에 의해 1프레임 지연시킨다.The frame memory 100 stores the input image signal X k in units of one frame. The cumulative density functions c L (X k ) and c U (X k ) output from the first and second CDF calculators 108 and 110 are cumulative density functions of the video signal delayed by one frame relative to the input video signal. Image inputted to input image signals of the same frame to the first and second mappers 116 and 118 calculated by the second CDF calculator 108 and 110, c L (X k ) and c U (X k ). The signal X k is delayed by one frame by the frame memory 100.
한편, 밝기 보상기(114)는 프레임 평균 계산기(104)에서 출력되는 평균레벨(Xm)을 입력하여 식(8)에 도시된 바와 같이 입력영상의 평균밝기에 따른 보정치(△)를 평균레벨(Xm)에 가산하여 보상된 평균레벨(Bm)을 출력한다.Meanwhile, the brightness compensator 114 inputs the average level X m output from the frame average calculator 104 and converts the correction value Δ according to the average brightness of the input image to the average level (A) as shown in Equation (8). X m ) is added to output the compensated average level B m .
이 보정치(△)는 제2도(a) 및 제2도(b)에 도시된 바와 같은 보정함수에 의해 결정된다. 제2도(a) 및 제2도(b)에 도시된 보정함수외에 다른 응용예가 있을 수 있다.This correction value Δ is determined by a correction function as shown in Figs. 2A and 2B. There may be other applications besides the correction function shown in FIGS. 2A and 2B.
제2도(a) 및 제2도(b)에 도시된 바와 같은 보정함수에 따른 보정치에 의해 등화된 출력의 밝기를 조절하게 된다. 즉, 입력영상의 평균레벨(Xm)이 아주 작으면 즉, 아주 어두운 영상이면 0보다 큰 보정치(△)를 평균레벨(Xm)에 가산하여 본 발명에서 제안하고 있는 평균분리 히스토그램 등화방법에 의해 처리하면 등화된 출력이 밝아지게 된다.The brightness of the equalized output is adjusted by the correction value according to the correction function as shown in FIGS. 2A and 2B. That is, if the average level (X m ) of the input image is very small, that is, a very dark image, the correction value (△) greater than zero is added to the average level (X m ) to the average separation histogram equalization method proposed in the present invention. By doing so, the equalized output is brightened.
또한, 입력영상의 평균레벨(Xm)이 아주 크면 즉, 아주 밝은 영상이면 0보다 작은 보정치(△)를 평균레벨(Xm)에 가산하여 본 발명에서 제안하고 있는 평균 분리 히스토그램 등화방법에 의해 처리하면 등화된 출력이 어두워진다. 따라서, 평균레벨(Xm)에 따라 소정의 적절한 보정치(△)에 의해 보상된 평균레벨(Bm)은 입력영상의 화질을 크게 개선시킨다.In addition, if the average level (X m ) of the input image is very large, that is, a very bright image, the correction value (△) smaller than 0 is added to the average level (X m ) by the average separation histogram equalization method proposed by the present invention. Processing darkens the output that is equalized. Therefore, the average level B m compensated by a predetermined appropriate correction value DELTA according to the average level X m greatly improves the image quality of the input image.
제3도(a) 및 제3도(b)는 제2도(a) 및 제2도(b)에 도시된 밝기 보정함수에 따른 보정치(△)가 부여된 보상된 평균레벨(Bm)과 입력영상의 평균레벨(Xm)의 관계를 보인 도면이다.3 (a) and 3 (b) show a compensated average level (B m ) given a correction value (Δ) according to the brightness correction function shown in FIGS. 2 (a) and 2 (b). And the average level (X m ) of the input image.
한편, 제1맵퍼(116)는 제1CDF 계산기(108)에서 계산된 누적밀도함수 (cL(Xk)), 프레임 메모리(100)로부터 출력되는 1프레임 지연된 영상신호와 밝기 보상기(114)로부터 출력되는 보상된 평균레벨(Bm)을 입력하여 평균레벨(Xm)이하인 제1서브영상의 샘플들{X}L을 그 누적밀도함수에 따라 0에서 Bm까지의 그레이 레벨로 맵핑한다.On the other hand, the first mapper 116 is obtained from the cumulative density function (c L (X k )) calculated by the first CDF calculator 108 and the image compensator and the brightness compensator 114 delayed by one frame output from the frame memory 100. The compensated average level B m is input to map samples {X} L of the first sub-image below the average level X m to gray levels from 0 to B m according to the cumulative density function.
제2맵퍼(118)는 제2CDF 계산기(110)에서 계산된 누적밀도함수(cU(Xk)), 프레임 메모리(100)로부터 출력되는 1프레임 지연된 영상신호와 밝기 보상기(114)로부터 출력되는 보상된 평균레벨(Bm)을 입력하여 평균레벨(Xm)보다 큰 제2서브영상의 샘플들{X}U을 그 누적밀도함수에 따라 Bm'에서 XL-1까지의 그레이 레벨로 맵핑한다.The second mapper 118 is a cumulative density function (c U (X k )) calculated by the second CDF calculator 110, a one-frame delayed image signal output from the frame memory 100 and the brightness compensator 114 is output By inputting the compensated average level (B m ), samples {X} U of the second sub-image larger than the average level (X m ) are converted into gray levels from B m 'to X L-1 according to the cumulative density function. Map it.
제1 및 제2맵퍼(116,118)에서 맵핑되는 출력은 식(7)로 나타내어지고, Bm'는 식(9)로 나타내어진다.The output mapped in the first and second mappers 116, 118 is represented by equation (7) and B m 'is represented by equation (9).
비교기(120)는 프레임 메모리(100)에서 출력되는 영상신호와 프레임 평균 계산기(104)에서 출력되는 평균레벨(Xm) 비교하여 프레임 메모리(100)에서 출력되는 영상신호가 제1서브영상에 해당하는 신호이면 제1맵퍼(116)를 선택하고, 제2서브영상에 해당하는 신호이면 제2맵퍼(118)를 선택하는 선택제어신호를 출력한다.The comparator 120 compares the image signal output from the frame memory 100 with the average level X m output from the frame average calculator 104, and the image signal output from the frame memory 100 corresponds to the first sub image. If it is a signal to select the first mapper 116, if the signal corresponding to the second sub-image, the selection control signal for selecting the second mapper 118 is output.
선택기(122)는 비교기(120)로부터 출력되는 선택제어신호에 따라 제1맵퍼(116)의 출력 또는 제2맵퍼(118)의 출력을 선택해서 등화된 출력(TH)를 출력한다. 이 등화된 출력(YH)은 콘트라스트를 개선하면서 주어진 영상의 평균 밝기를 고려하여 보상된 출력이다.The selector 122 selects the output of the first mapper 116 or the output of the second mapper 118 according to the selection control signal output from the comparator 120 and outputs the equalized output T H. This equalized output Y H is the output compensated taking into account the average brightness of a given image while improving contrast.
제4도는 본 발명에 의한 화질 개선 회로의 다른 실시예에 따른 블럭도이다.4 is a block diagram according to another embodiment of the image quality improvement circuit according to the present invention.
제4도에 있어서, 프레임 히스토그램 계산기(202)는 입력되는 영상신호(Xk)를 프레임단위로 그레이 레벨 분포도를 계산한다. 프레임 평균 계산기(204)는 입력되는 영상신호(Xk)를 프레임 단위로 평균레벨(Xm)을 계산한다.In FIG. 4, the frame histogram calculator 202 calculates a gray level distribution in the frame unit of the input image signal X k . The frame average calculator 204 calculates an average level X m of the input image signal X k in units of frames.
분할기(206)는 프레임 히스토그램 계산기(202)에서 계산된 그레이 레벨 분포도를 프레임 평균 계산기(204)에서 계산된 평균레벨(Xm)을 근거로하여 제1 및 제2 서브영상으로 분할한 후 위 (1)식 및 식(2)으로 표현되는 제1 및 제2 서브영상의 확률밀도함수(pL(Xk), pU(Xk))를 출력한다.The divider 206 divides the gray level distribution calculated by the frame histogram calculator 202 into first and second sub-images based on the average level X m calculated by the frame average calculator 204, 1) The probability density functions p L (X k ) and p U (X k ) of the first and second sub-images represented by equations (2) are output.
제1CDF 계산기(208)는 분할기(206)로부터 출력되는 제1 서브영상의 확률밀도함수(pL(Xk))를 입력하여 위 (3)식을 이용하여 누적밀도함수(cL(Xk))를 계산한다.The first CDF calculator 208 inputs the probability density function p L (X k ) of the first sub-image output from the divider 206 and uses the above equation (3) to calculate the cumulative density function c L (X k). Calculate)).
제2CDF 계산기(210)는 분할기(206)로부터 출력되는 제2서브영상의 확률밀도함수(pU(Xk))를 입력하여 위 (4)식을 이용하여 누적밀도함수(cU(Xk))를 계산한다.The second CDF calculator 210 inputs the probability density function p U (X k ) of the second sub-image output from the divider 206 and uses the above equation (4) to calculate the cumulative density function c U (X k). Calculate)).
CDF메모리(212)는 제1 및 제2CDF 계산기(208,210)에서 계산된 제1 및 제2서브영상의 누적밀도함수(cL(Xk), cU(Xk))를 동기신호(SYNC)에 따라 프레임단위로 갱신하고, 갱신되는 동안에 이전에 저장된 누적밀도함수(cL(Xk), cU(Xk))는 제1 및 제2맵퍼(216,218)에 공급된다.The CDF memory 212 stores the cumulative density functions c L (X k ) and c U (X k ) of the first and second sub-images calculated by the first and second CDF calculators 208 and 210 as the synchronization signal SYNC. Is updated frame by frame, and the cumulative density functions c L (X k ) and c U (X k ) previously stored during the update are supplied to the first and second mappers 216 and 218.
밝기 보상기(214)는 프레임 평균 계산기(204)에서 출력되는 평균레벨(Xm)을 입력하여 식(8)에 도시된 바와 같이 입력영상의 평균밝기에 따른 보정치를 평균레벨(Xm)에 가산하여 보상된 평균레벨(Bm)을 출력한다.The brightness compensator 214 inputs the average level X m output from the frame average calculator 204 and adds a correction value according to the average brightness of the input image to the average level X m as shown in Equation (8). Outputs the compensated average level (B m ).
제1맵퍼(216)는 제1CDF 계산기(208)에서 계산된 누적밀도함수(cL(Xk)), 입력되는 영상신호(Xk)와 밝기 보상기(214)로부터 출력되는 보상된 평균레벨(Bm)을 입력하여 제1서브영상의 샘플들 {X}L을 그 누적밀도함수에 따라 0에서 Bm까지의 그레이 레벨로 맵핑한다.The first mapper 216 is the cumulative density function c L (X k ) calculated by the first CDF calculator 208, the input image signal X k , and the compensated average level output from the brightness compensator 214. B m ) to map samples {X} L of the first sub-image to gray levels from 0 to B m according to the cumulative density function.
제2맵퍼(218)는 제2CDF 계산기(210)에서 계산된 누적밀도함수(cU(Xk)), 입력되는 영상신호(Xk)와 밝기 보상기(214)로부터 출력되는 보상된 평균레벨(Bm)을 입력하여 제2서브영상의 샘플들 {X}U을 그 누적밀도함수에 따라 Bm'에서 XL-1까지의 그레이 레벨로 맵핑한다.The second mapper 218 is the cumulative density function c U (X k ) calculated by the second CDF calculator 210, the input image signal X k and the compensated average level output from the brightness compensator 214 ( B m ) to map the samples {X} U of the second sub-image to gray levels from B m 'to X L-1 according to the cumulative density function.
제1 및 제2맵퍼(216,218)에 입력되는 영상신호(Xk)는 제1 및 제2CDF계산기(108,110)에서 계산된 누적밀도함수(cL(Xk), cU(Xk))와 비교해 볼 때 다음 프레임의 영상신호이다. 제2도에 도시된 회로에서는 인접프레임간에는 높은 상관성을 가진다는 특성을 이용하여 프레임 메모리를 생략함으로써 하드웨어를 감소시킨다.The image signals X k inputted to the first and second mappers 216 and 218 are combined with the cumulative density functions c L (X k ) and c U (X k ) calculated by the first and second CDF calculators 108 and 110. In comparison, this is the video signal of the next frame. In the circuit shown in FIG. 2, the hardware is reduced by omitting the frame memory by utilizing the characteristic of having a high correlation between adjacent frames.
비교기(220)는 입력되는 영상신호(Xk)와 프레임 평균 계산기(204)에서 출력되는 평균레벨(Xm)을 비교하여 입력되는 영상신호(Xk)가 제1서브영상에 해당하는 신호이면 제1맵퍼(216)를 선택하고, 제2서브영상에 해당하는 신호이면 제2맵퍼(218)를 선택하는 선택제어신호를 출력한다.The comparator 220 compares the input image signal X k and the average level X m output from the frame average calculator 204, and if the input image signal X k is a signal corresponding to the first sub image. The first mapper 216 is selected, and if it is a signal corresponding to the second sub-image, a selection control signal for selecting the second mapper 218 is output.
선택기(222)는 비교기(220)로부터 출력되는 선택제어신호에 따라 제1맵퍼(216)의 출력 또는 제2맵퍼(218)의 출력을 선택해서 등화된 출력(YH)를 출력한다. 이 등화도니 출력(YH)은 콘트라스트를 개선하면서 주어진 영상의 평균밝기를 고려하여 보상된 출력이다.The selector 222 selects the output of the first mapper 216 or the output of the second mapper 218 according to the selection control signal output from the comparator 220 and outputs the equalized output Y H. This equalized-done output Y H is a compensated output in consideration of the average brightness of a given image while improving contrast.
본 발명은 영상신호의 화질 개선에 관련된 광범위한 분야에 응용될 수 있다. 즉, 방송기기, 레이다 신호처리시스템, 의용공학, 가전제품 등에 응용될 수 있다.The present invention can be applied to a wide range of fields related to the improvement of image quality of a video signal. That is, the present invention can be applied to broadcast equipment, radar signal processing systems, medical engineering, home appliances, and the like.
상술한 바와 같이, 입력영상의 평균밝기에 따른 보정치를 고려하여 평균-분리 히스토그램 등화를 이용하는 본 발명은 종래의 히스토그램 등화에서 발생하는 갑작스런 밝기 변화와 아티펙트를 효과적으로 줄여서 콘트라스트를 개선하면서 입력영상의 화질을 크게 개선시킨다. 또한, 지나치게 어둡거나 밝은 입력영상신호의 콘트라스트를 개선하여 화질을 크게 개선시킨다.As described above, the present invention using the mean-separated histogram equalization in consideration of the correction value according to the average brightness of the input image effectively reduces the sudden brightness change and artifacts that occur in the conventional histogram equalization to improve the contrast and improve the image quality of the input image. Greatly improve. In addition, the image quality is greatly improved by improving the contrast of an excessively dark or light input video signal.
Claims (14)
Priority Applications (7)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019960011624A KR100188679B1 (en) | 1996-04-17 | 1996-04-17 | Image quality enhancement method based on the mean-separate histogram equalization having the brightness control function and circuit thereof |
| JP09051871A JP3130266B2 (en) | 1996-03-09 | 1997-03-06 | Image improvement method and circuit using average separation histogram equalization |
| ES97301554T ES2188863T3 (en) | 1996-03-09 | 1997-03-07 | PROCEDURE FOR IMPROVING IMAGES THROUGH EQUALIZATION OF HISTOGRAMS OF INDEPENDENT MEDIA AND CIRCUIT FOR THE SAME. |
| EP97301554A EP0794514B1 (en) | 1996-03-09 | 1997-03-07 | Image enhancing method using mean-separate histogram equalization and a circuit therefor |
| CN97102591A CN1075917C (en) | 1996-03-09 | 1997-03-07 | Image enhancing method using mean-separate histogram equalization and circuit therefor |
| DE69717518T DE69717518T2 (en) | 1996-03-09 | 1997-03-07 | Image enhancement method by histogram equalization with mean agreement and circuit therefor |
| US08/813,425 US5963665A (en) | 1996-03-09 | 1997-03-10 | Image enhancing method using mean-separate histogram equalization and a circuit therefor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019960011624A KR100188679B1 (en) | 1996-04-17 | 1996-04-17 | Image quality enhancement method based on the mean-separate histogram equalization having the brightness control function and circuit thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR970073039A KR970073039A (en) | 1997-11-07 |
| KR100188679B1 true KR100188679B1 (en) | 1999-06-01 |
Family
ID=19455947
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1019960011624A KR100188679B1 (en) | 1996-03-09 | 1996-04-17 | Image quality enhancement method based on the mean-separate histogram equalization having the brightness control function and circuit thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100188679B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100638912B1 (en) * | 2004-02-20 | 2006-10-25 | 엘지전자 주식회사 | Method and apparatus of processing video signal |
| US7286716B2 (en) | 2002-07-15 | 2007-10-23 | Samsung Electronics Co., Ltd. | Image quality enhancement circuit and method using inter-frame correlativity |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101396439B1 (en) * | 2007-09-14 | 2014-05-20 | 삼성전기주식회사 | Apparatus and method for capturing image |
-
1996
- 1996-04-17 KR KR1019960011624A patent/KR100188679B1/en not_active IP Right Cessation
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7286716B2 (en) | 2002-07-15 | 2007-10-23 | Samsung Electronics Co., Ltd. | Image quality enhancement circuit and method using inter-frame correlativity |
| KR100638912B1 (en) * | 2004-02-20 | 2006-10-25 | 엘지전자 주식회사 | Method and apparatus of processing video signal |
Also Published As
| Publication number | Publication date |
|---|---|
| KR970073039A (en) | 1997-11-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3130266B2 (en) | Image improvement method and circuit using average separation histogram equalization | |
| US5862254A (en) | Image enhancing method using mean-matching histogram equalization and a circuit therefor | |
| KR100200628B1 (en) | Image quality enhancement circuit and method thereof | |
| KR100207660B1 (en) | Picture quality improving method and circuit using quantized histogram equalization | |
| US5937090A (en) | Image enhancement method and circuit using quantized mean-matching histogram equalization | |
| KR100213039B1 (en) | Method and apparatus of image enhancement using average-matching histogram equalization | |
| KR100188679B1 (en) | Image quality enhancement method based on the mean-separate histogram equalization having the brightness control function and circuit thereof | |
| KR100200630B1 (en) | Image quality enhancement method and circuit thereof based on the quantized mean-matching histogram equalization having brightness compensation function | |
| KR100195120B1 (en) | Image quality enhancement method and circuit thereof based on the quantized mean-separate histogram equalization having brightness compensation function | |
| KR0176602B1 (en) | Picture quality improving method & circuit using mean-matching histogram equalization having brightness compensation function | |
| KR0183830B1 (en) | Picture quality improving method & circuit using mean-separate histogram equalization | |
| KR100200631B1 (en) | Picture quality enhancing method of color signal based on the mean-separate histogram equalization and color compensation and circuit thereof | |
| KR100230261B1 (en) | Picture quality enhancing method of color signal based on the quantized mean-separate histogram equalization and the color compensation, and circuit thereof | |
| KR100200611B1 (en) | Image quality enhancement method based on the mean-separate histogram equalization having the gain control function and circuit thereof | |
| KR100195119B1 (en) | Image quality enhancement method and circuit thereof based on the quantized mean-matching histogram equalization | |
| KR100219612B1 (en) | Picture quality enhancing method of color signal based on the qauntized mean matching histogram equalization and the color compensation, and circuit thereof | |
| KR100200632B1 (en) | Picture quality enhancing method of color signal based on the mean matching histogram equalization and color compensation and circuit thereof | |
| KR100195123B1 (en) | Picture quality enhancement method and circuit thereof based on the mean-matching histogram equalization of a low pass filtered signal | |
| KR100224885B1 (en) | Image quality enhancement method and circuit thereof based on the quantized mean-maching histogram equalization having gain control function | |
| KR100195116B1 (en) | Image quality enhancement method based on the mean-matching histogram equalization having the gain control function and circuit thereof | |
| KR100195118B1 (en) | Image enhancing method based on the quantized mean-separate histogram equalization having the gain control function and circuit thereof | |
| KR100195122B1 (en) | Picture quality enhancement method and circuit thereof based on the mean-matching histogram equalization of a low pass filtered signal |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20071221 Year of fee payment: 10 |
|
| LAPS | Lapse due to unpaid annual fee |