KR101029460B1 - image centering method - Google Patents

image centering method Download PDF

Info

Publication number
KR101029460B1
KR101029460B1 KR1020090031232A KR20090031232A KR101029460B1 KR 101029460 B1 KR101029460 B1 KR 101029460B1 KR 1020090031232 A KR1020090031232 A KR 1020090031232A KR 20090031232 A KR20090031232 A KR 20090031232A KR 101029460 B1 KR101029460 B1 KR 101029460B1
Authority
KR
South Korea
Prior art keywords
image
inspection
magnification
optical system
model
Prior art date
Application number
KR1020090031232A
Other languages
Korean (ko)
Other versions
KR20100112774A (en
Inventor
황영민
박희재
이창열
현창홍
Original Assignee
에스엔유 프리시젼 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스엔유 프리시젼 주식회사 filed Critical 에스엔유 프리시젼 주식회사
Priority to KR1020090031232A priority Critical patent/KR101029460B1/en
Priority to JP2012504574A priority patent/JP5570588B2/en
Priority to PCT/KR2010/002081 priority patent/WO2010117176A2/en
Priority to CN201080016220.3A priority patent/CN102439415B/en
Priority to TW099111071A priority patent/TWI481860B/en
Publication of KR20100112774A publication Critical patent/KR20100112774A/en
Application granted granted Critical
Publication of KR101029460B1 publication Critical patent/KR101029460B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/002—Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G01N21/956—Inspecting patterns on the surface of objects
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques
    • G01N2021/8893—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques providing a video image and a processed signal for helping visual decision

Abstract

본 발명은 영상 센터링 방법에 관한 것으로, 더욱 상세하게는 영상 센터링 방법에 있어서, 검사대상물을 제1배율의 광학계로 촬영하고, 촬영된 제1배율의 화상에서 찾고자 하는 검사영역의 위치를 설정하여 모델화상으로 등록하는 등록단계; 상기 검사대상물을 정해진 순서에 따라 제1배율보다 고배율인 제2배율의 광학계로 촬영하여 타겟화상을 획득하는 촬영단계; 상기 촬영단계에서 획득한 타겟화상을 제1배율의 크기로 축소하여 검사화상으로 등록하는 축소단계; 상기 모델화상에서 상기 검사화상을 검색하는 매칭단계; 상기 매칭단계를 통해 상기 검사화상이 검색되면, 상기 등록단계에서 설정된 상기 검사영역의 위치에 대응되도록 상기 제2배율의 광학계 또는 상기 검사대상물을 이동시키는 센터링단계;를 포함하여 구성되는 것을 특징으로 한다.The present invention relates to an image centering method, and more particularly, in an image centering method, an image of an inspection object is photographed by an optical system having a first magnification, and a model is set by setting a position of an inspection area to be found in the photographed first magnification image. A registration step of registering as an image; A photographing step of photographing the inspection object with an optical system having a second magnification higher than the first magnification in a predetermined order to obtain a target image; A reduction step of reducing the target image obtained in the shooting step to a size of a first magnification and registering the target image as a test image; A matching step of retrieving the inspection image from the model image; And a centering step of moving the optical system of the second magnification or the inspection object to correspond to the position of the inspection area set in the registration step when the inspection image is searched through the matching step. .

이에 의하여 광학계의 배율 전환이 없이 신속하게 최종화상을 획득할 수 있고, 검색과정의 모션에 따라 등록되는 타겟화상에서 모델화상의 일부가 나타나거나 보이지 않는 경우에도 중앙에 검사영역이 위치하는 최종화상을 획득할 수 있는 영상 센터링 방법이 제공된다.As a result, the final image can be obtained quickly without changing the magnification of the optical system, and even if a part of the model image appears or is not visible in the target image registered according to the motion of the retrieval process, the final image in which the inspection region is located at the center is displayed. An image centering method that can be obtained is provided.

영상, 센터링, 고배율, 저배율 Image, Centering, High Magnification, Low Magnification

Description

영상 센터링 방법{image centering method}Image centering method

본 발명은 검사대상물에서 찾고자 하는 검사영역이 고배율의 화상 중앙에 위치하도록 하는 영상 센터링 방법에 관한 것으로, 더욱 상세하게는 검사영역을 고배율의 화상 중앙에 위치시킬 때 배율의 변환이 없음은 물론 검사영역을 탐색하기 위한 모션에 따른 시간을 최소화할 수 있는 영상 센터링 방법에 관한 것이다.The present invention relates to an image centering method in which an inspection area to be searched for an inspection object is located at the center of a high magnification image, and more particularly, there is no change in magnification when the inspection area is positioned at the center of a high magnification image. The present invention relates to an image centering method capable of minimizing a time due to a motion for searching for a signal.

일반적으로 영상 센터링 기술은 촬영되는 검사대상물의 화상에서 찾고자 하는 검사영역을 검색하고, 검색된 검사영역을 고배율의 화상 중앙에 위치시키는 기술이다.In general, an image centering technique is a technique of searching for an inspection area to be found in an image of an inspection object to be photographed, and placing the searched inspection area at the center of a high magnification image.

첨부 도면 도 1은 종래 기술의 제1실시예에 따른 영상 센터링 방법을 설명하기 위한 순서도로써, 도 1을 참조하면, 사전에 사용자는 검사대상물을 저배율의 광학계로 촬영하고 촬영된 화상에서 찾고자 하는 검사영역을 발췌하여 모델화상으로 등록시켜 놓는다.(S1)FIG. 1 is a flowchart illustrating an image centering method according to a first embodiment of the prior art. Referring to FIG. 1, a user photographs an inspection object with a low magnification optical system and searches for an image to be found. The area is extracted and registered as a model image (S1).

그런 다음 검사대상물에서 검사영역을 화상의 중앙에 위치시키기 위해 저배율의 광학계는 검사대상물을 정해진 순서에 따라 촬영하게 되고, 촬영된 화상은 타겟화상으로 등록된다.(S2) 그리고 등록된 저배율의 타겟화상에서 등록된 모델화상 을 검색한다.(S3) 이때, 타겟화상에서 모델화상이 검색되면, 모델화상이 타겟화상의 중앙에 위치될 수 있도록 광학계 또는 검사대상물을 이동시킨다.(S4) 통상은 저배율의 타겟화상에서 모델화상이 검색되지만, 그렇지 않을 경우 S2의 단계로 복귀하여 타겟화상을 갱신할 수 있다.(S31) 그런 다음 광학계는 저배율에서 고배율로 변환되고,(S5) 고배율로 변환된 광학계가 검사대상물을 촬영함으로써, 검사영역이 화상의 중앙에 위치된 고배율의 최종화상을 획득할 수 있다.(S6)Then, the low magnification optical system photographs the inspection object in a predetermined order in order to position the inspection area at the center of the image on the inspection object, and the photographed image is registered as the target image (S2). (S3) At this time, if the model image is found in the target image, the optical system or the inspection object is moved so that the model image can be positioned in the center of the target image. The model image is retrieved from the target image, but otherwise, the process returns to the step S2 to update the target image. (S31) Then, the optical system is converted from low magnification to high magnification (S5) and the optical system converted to high magnification is inspected. By photographing the object, it is possible to obtain a high magnification of the final image in which the inspection area is located at the center of the image. (S6)

여기서 저배율은 20x의 배율을 나타내고, 고배율은 50x의 배율을 나타내는 것으로 본다.Here, low magnification indicates a magnification of 20x, and high magnification indicates a magnification of 50x.

종래 기술에 따라 액정표시장치의 박막트랜지스터를 센터링할 때, 첨부 도면 도 3은 종래 기술의 실시예에서 발췌된 검사영역을 도시한 도면이다. 도 3을 참조하면, 박막트랜지스터의 소스/드레인 전극과 게이트 전극의 형성 영역을 검사영역(10)으로 설정하였다. 이때, 도 3에 도시된 도면은 종래 기술에 따라 저배율의 광학계가 촬영한 화상에서 발췌한 검사영역(10)이다.When centering the thin film transistor of the liquid crystal display according to the prior art, the accompanying drawings Figure 3 is a view showing an inspection area taken in the embodiment of the prior art. Referring to FIG. 3, the formation region of the source / drain electrode and the gate electrode of the thin film transistor is set as the inspection region 10. 3 is an inspection area 10 extracted from an image captured by a low magnification optical system according to the related art.

첨부 도면 도 2는 종래 기술의 제2실시예에 따른 영상 센터링 방법을 설명하기 위한 순서도로써, 도 2를 참조하면, 사전에 사용자는 검사대상물을 고배율의 광학계로 촬영하고 촬영된 화상에서 찾고자 하는 검사영역을 발췌하여 모델화상으로 등록시켜 놓는다.(S10)FIG. 2 is a flowchart illustrating an image centering method according to a second exemplary embodiment of the prior art. Referring to FIG. 2, in advance, a user may photograph an inspection object with a high magnification optical system and search for a photographed image. The area is extracted and registered as a model image (S10).

그런 다음 고배율의 광학계는 검사대상물을 순차적으로 촬영하게 되고, 촬영된 화상은 타겟화상으로 등록된다.(S20) 그리고 등록된 타겟화상에서 등록된 모델 화상을 검색한다.(S30) 이때, 고배율의 광학계가 촬영하는 타겟화상에서 등록된 모델화상이 검색될 때까지 고배율의 광학계 또는 검사대상물은 계속해서 움직이며, 움직임에 따라 등록되는 타겟화상을 갱신한다.(S32) 여기서 타겟화상에서 모델화상이 검색되면, 모델화상이 타겟화상의 중앙에 위치될 수 있도록 광학계 또는 검사대상물을 이동시킨다.(S40) 그런 다음 고배율의 광학계가 검사대상물을 촬영함으로써, 검사영역이 화상의 중앙에 위치된 고배율의 최종화상을 획득할 수 있다.(S50)Then, the high magnification optical system sequentially photographs the inspection object, and the photographed image is registered as the target image. (S20) Then, the registered model image is searched for (S30). The optical system or inspection object of high magnification continues to move and updates the registered target image according to the movement until the registered model image is retrieved from the target image photographed by the user (S32). In this case, the optical system or the inspection object is moved so that the model image can be positioned in the center of the target image. Can be obtained (S50).

하지만, 종래 기술의 제1실시예에 따른 영상 센터링 방법에서 보면, 타겟화상에서 모델화상이 검색되어 광학계 또는 검사대상물을 이동시킨 다음 광학계를 저배율에서 고배율로 변환하는 과정을 거쳐야 하므로, 배율 변환에 따른 지연시간이 발생되는 문제점이 있다.However, in the image centering method according to the first embodiment of the prior art, since the model image is searched in the target image to move the optical system or the inspection object, and then the optical system has to undergo a process of converting the optical system from low magnification to high magnification. There is a problem that a delay time occurs.

또한, 종래 기술의 제1실시예에 따른 영상 센터링 방법에서 보면, 최종화상을 획득하였을 때, 배율 전환에 따른 오차가 발생할 수 있고, 이로 인해 검사영역이 화상의 중앙에 위치되지 않을 수 있다.In addition, in the image centering method according to the first embodiment of the prior art, when the final image is obtained, an error may occur due to the switching of magnifications, and thus the inspection area may not be located at the center of the image.

또한, 종래 기술의 제2실시예에 따른 영상 센터링 방법에서 보면, 검색과정의 모션에 따라 등록되는 타겟화상에서 모델화상의 일부가 나타나거나 보이지 않는 경우에는 타겟화상을 계속적으로 갱신해야 하는 문제점이 있다.In addition, in the image centering method according to the second embodiment of the prior art, if a part of the model image does not appear or appear in the target image registered according to the motion of the retrieval process, there is a problem of continuously updating the target image. .

또한, 종래 기술의 제2실시예에 따른 영상 센터링 방법에서 보면, 타겟화상에서 모델화상 전체가 검색될 때까지 고배율의 광학계 또는 검사대상물이 계속적으로 움직여야 하므로, 검색과정의 모션에 따른 지연시간이 발생되는 문제점이 있다.In addition, in the image centering method according to the second embodiment of the prior art, since a high magnification optical system or an inspection object must continuously move until the entire model image is retrieved from the target image, a delay time according to the motion of the retrieval process occurs. There is a problem.

따라서 본 발명의 목적은 이와 같은 종래 기술의 문제점을 해결하기 위한 것으로써, 광학계의 배율 전환이 없이 신속하게 최종화상을 획득할 수 있는 영상 센터링 방법을 제공함에 있다.Accordingly, an object of the present invention is to solve the problems of the prior art, and to provide an image centering method capable of quickly obtaining a final image without changing the magnification of an optical system.

또한, 배율 전환에 따른 오차를 방지하고, 검사영역이 최종화상의 중앙에 정위치될 수 있는 영상 센터링 방법을 제공함에 있다.In addition, the present invention provides an image centering method that prevents errors due to magnification switching and allows an inspection area to be positioned at the center of a final image.

또한, 검색과정의 모션에 따라 등록되는 타겟화상에서 모델화상의 일부가 나타나거나 보이지 않는 경우에도 계속적인 촬영없이 중앙에 검사영역이 위치하는 최종화상을 획득할 수 있는 영상 센터링 방법을 제공함에 있다.The present invention also provides an image centering method for acquiring a final image in which a test region is located at the center without continuous shooting even when a part of a model image appears or is not visible in a target image registered according to a motion of a retrieval process.

또한, 검색과정의 모션을 최소화하여 검사영역을 검색하는 데 소요되는 지연시간을 최소화할 수 있는 영상 센터링 방법을 제공함에 있다.Another object of the present invention is to provide an image centering method capable of minimizing a delay of searching a test area by minimizing a motion of a search process.

상기 목적은, 본 발명에 따라, 영상 센터링 방법에 있어서, 검사대상물을 제1배율의 광학계로 촬영하고, 촬영된 제1배율의 화상에서 찾고자 하는 검사영역의 위치를 설정하여 모델화상으로 등록하는 등록단계; 상기 검사대상물을 정해진 순서에 따라 제1배율보다 고배율인 제2배율의 광학계로 촬영하여 타겟화상을 획득하는 촬영단계; 상기 촬영단계에서 획득한 타겟화상을 제1배율의 크기로 축소하여 검사화상으로 등록하는 축소단계; 상기 모델화상에서 상기 검사화상을 검색하는 매칭단계; 상기 매칭단계를 통해 상기 검사화상이 검색되면, 상기 등록단계에서 설정된 상기 검사영역의 위치에 대응되도록 상기 제2배율의 광학계 또는 상기 검사대상물을 이동시키는 센터링단계;를 포함하여 구성되는 영상 센터링 방법에 의해 달성된다.The above object is, according to the present invention, in the image centering method, registration of photographing the inspection object with the optical system of the first magnification, setting the position of the inspection region to be found in the photographed first magnification image, and registering it as a model image. step; A photographing step of photographing the inspection object with an optical system having a second magnification higher than the first magnification in a predetermined order to obtain a target image; A reduction step of reducing the target image obtained in the shooting step to a size of a first magnification and registering the target image as a test image; A matching step of retrieving the inspection image from the model image; And a centering step of moving the optical system of the second magnification or the inspection object to correspond to the position of the inspection area set in the registration step when the inspection image is searched through the matching step. Is achieved by

여기서 상기 매칭단계를 통해 상기 검사화상이 검색되지 않으면, 에러신호를 발생하는 경고단계와, 상기 촬영단계로 복귀하는 순환단계 중 적어도 어느 한 단계를 포함하여 구성되도록 하는 것이 바람직하다.If the inspection image is not found through the matching step, it is preferable to include at least one of a warning step of generating an error signal and a cyclic step of returning to the photographing step.

여기서 상기 센터링단계를 거친 다음 상기 제2배율의 광학계가 상기 검사대상물을 촬영하여 상기 검사영역이 화상의 중앙에 형성되는 최종화상을 획득하는 최종단계;를 포함하여 구성되도록 하는 것이 바람직하다.Here, after the centering step, the second magnification optical system photographs the inspection object to obtain a final image in which the inspection area is formed at the center of the image.

여기서 상기 모델화상의 검사영역 위치는 상기 모델화상 내에서 상기 검사영역 위치를 지정하여 제1좌표값으로 설정하고, 상기 모델화상에서 검색된 검사화상의 위치는 상기 모델화상 내에서 검색된 검사화상 위치를 상기 제1좌표값에 대한 제2좌표값으로 설정하며, 상기 제1좌표값과 상기 제2좌표값 사이의 변위에 따라 환산된 값으로 상기 제2배율의 광학계 또는 상기 검사대상물의 이동방향과 이동거리가 결정되도록 하는 것이 바람직하다.Herein, the inspection region position of the model image is set to a first coordinate value by designating the inspection region position in the model image, and the inspection image position found in the model image corresponds to the inspection image position found in the model image. A second coordinate value with respect to a first coordinate value, the value converted according to the displacement between the first coordinate value and the second coordinate value, and the moving direction and the moving distance of the optical system of the second magnification or the inspection object; It is desirable to allow to be determined.

본 발명에 따르면, 광학계의 배율 전환이 없이 신속하게 최종화상을 획득할 수 있는 영상 센터링 방법이 제공된다.According to the present invention, an image centering method capable of quickly obtaining a final image without changing the magnification of an optical system is provided.

또한, 배율 전환에 따른 오차를 방지하고, 검사영역이 최종화상의 중앙에 정위치될 수 있는 영상 센터링 방법이 제공된다.In addition, an image centering method is provided in which an error due to magnification switching is prevented and an inspection area can be positioned at the center of a final image.

또한, 검색과정의 모션에 따라 등록되는 타겟화상에서 모델화상의 일부가 나타나거나 보이지 않는 경우에도 중앙에 검사영역이 위치하는 최종화상을 획득할 수 있는 영상 센터링 방법이 제공된다.In addition, an image centering method is provided for acquiring a final image in which a test region is located at the center even when a part of the model image is not displayed or shown in the target image registered according to the motion of the retrieval process.

또한, 검색과정의 모션을 최소화하여 검사영역을 검색하는 데 소요되는 지연시간을 최소화할 수 있는 영상 센터링 방법이 제공된다.In addition, an image centering method for minimizing a motion required to search an inspection area by minimizing a motion of a search process is provided.

설명에 앞서, 여러 실시예에 있어서, 동일한 구성을 가지는 구성요소에 대해서는 동일한 부호를 사용하여 대표적으로 제1실시예에서 설명하고, 그 외의 실시예에서는 제1실시예와 다른 구성에 대해서 설명하기로 한다.Prior to the description, in the various embodiments, components having the same configuration will be representatively described in the first embodiment using the same reference numerals, and in other embodiments, different configurations from the first embodiment will be described. do.

이하, 첨부한 도면을 참조하여 본 발명의 일실시예에 따른 영상 센터링 방법에 대하여 상세하게 설명한다.Hereinafter, an image centering method according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings.

본 발명에서는 액정표시장치에서 박막트랜지스터의 형상을 센터링하는 방법으로, 특히 박막트랜지스터의 소스/드레인 전극과 게이트 전극의 연결 부분이 화상의 중앙에 위치하도록 하는 방법을 일실시예로 설명한다. 이하 설명하는 용어에서 검사대상물은 액정표시장치가 되며, 검사영역은 박막트랜지스터의 소스/드레인 전극과 게이트 전극의 연결 부분이 된다.In the present invention, a method of centering the shape of a thin film transistor in a liquid crystal display, in particular, a method of arranging a connection portion between a source / drain electrode and a gate electrode of the thin film transistor in the center of an image will be described as an embodiment. In the following description, the inspection object is a liquid crystal display, and the inspection area is a connection portion between the source / drain electrode and the gate electrode of the thin film transistor.

첨부 도면 도 4는 본 발명의 일실시예에 따른 영상 센터링 방법을 설명하기 위한 순서도이고, 도 5 내지 도 9는 본 발명의 일실시예에 따른 영상 센터링 방법을 설명하기 위한 도면이다. 특히 도 5는 본 발명의 일실시예에 따라 촬영된 모델화상(20)이고, 도 6은 본 발명의 일실시예에 따라 촬영된 타겟화상(30)이고, 도 7 은 본 발명의 일실시예에 따라 타겟화상(30)이 축소된 검사화상(31)이고, 도 8은 검사화상(31)이 검색된 본 발명의 일실시예에 따른 모델화상(20)이고, 도 9는 본 발명의 일실시예에 따라 최종단계에서 획득한 최종화상(40)이다.4 is a flowchart illustrating an image centering method according to an embodiment of the present invention, and FIGS. 5 to 9 are views for explaining an image centering method according to an embodiment of the present invention. In particular, Figure 5 is a model image 20 taken in accordance with an embodiment of the present invention, Figure 6 is a target image 30 taken in accordance with an embodiment of the present invention, Figure 7 is an embodiment of the present invention According to the target image 30 is a reduced inspection image 31, Figure 8 is a model image 20 according to an embodiment of the present invention in which the inspection image 31 is retrieved, Figure 9 is an embodiment of the present invention According to an example, the final image 40 obtained in the final stage.

도 4를 참조하면, 본 발명의 일실시예에 따른 영상 센터링 방법은 등록단계(S100))와 촬영단계(S200)와 축소단계(S300)와 매칭단계(S400)와 센터링단계(S500)로 구분할 수 있다.Referring to FIG. 4, the image centering method according to an embodiment of the present invention may be divided into a registration step (S100), a shooting step (S200), a reduction step (S300), a matching step (S400), and a centering step (S500). Can be.

사전에 사용자는 검사대상물을 제1배율의 광학계로 촬영하여 획득한 화상 자체를 도 5에 도시된 바와 같은 모델화상(20)으로 등록시켜 놓는다. 본 발명의 일실시예에 따른 모델화상(20)에서 찾고자 하는 검사영역(10)은 제1좌표값(X2, Y2)으로 설정된다. 다시 말해, 모델화상(20)의 검사영역(10) 위치는 모델화상(20) 내에서 검사영역(10)의 위치를 지정하여 제1좌표값(X2, Y2)으로 설정하는 것이다. 이러한 과정이 등록단계(S100)로써, 등록단계(S100)는 검사대상물을 제1배율의 광학계로 촬영하고, 촬영된 제1배율의 화상에서 찾고자 하는 검사영역(10)의 위치를 설정하여 모델화상(20)으로 등록한다.In advance, the user registers the image itself obtained by photographing the inspection object with the optical system of the first magnification as the model image 20 as shown in FIG. The inspection area 10 to be searched for in the model image 20 according to an embodiment of the present invention is set to the first coordinate values X2 and Y2. In other words, the position of the inspection region 10 of the model image 20 is set to the first coordinate values X2 and Y2 by designating the position of the inspection region 10 in the model image 20. This process is the registration step (S100), the registration step (S100) is to shoot the inspection object with the optical system of the first magnification, and set the position of the inspection area 10 to be found in the image of the first magnification of the photographed model image Register as (20).

등록단계(S100)를 거쳐 등록된 모델화상(20)을 기반으로 하여 제1배율보다 고배율인 제2배율의 광학계는 검사대상물을 정해진 순서에 따라 촬영하여 타겟화상(30)을 획득한다. 좀더 자세하게는, 제2배율의 광학계로 검사대상물을 촬영하면, 도 6에 도시된 바와 같은 타겟화상(30)을 획득할 수 있다. 획득된 타겟화상(30)에는 찾고자 하는 검사영역(10)이 전부 또는 일부가 나타날 수 있고, 검사영역(10)이 나타나지 않을 수도 있다. 도 6의 타겟화상(30)에서는 검사영역(10)의 일부가 나타 나 있다. 이러한 과정이 촬영단계(S200)로써, 촬영단계(S200)는 모델화상(20)이 등록된 상태에서 검사대상물을 정해진 순서에 따라 제1배율보다 고배율인 제2배율의 광학계로 촬영하여 타겟화상(30)을 획득한다.The optical system of the second magnification having a higher magnification than the first magnification based on the registered model image 20 through the registration step S100 acquires the target image 30 by photographing the inspection object in a predetermined order. More specifically, by photographing the inspection object with the optical system of the second magnification, it is possible to obtain the target image 30 as shown in FIG. All or part of the inspection area 10 to be searched may appear in the obtained target image 30, and the inspection area 10 may not appear. In the target image 30 of FIG. 6, a part of the inspection area 10 is shown. This process is the photographing step (S200), the photographing step (S200) is a target image by photographing the inspection object in the state in which the model image 20 is registered with a second magnification optical system having a higher magnification than the first magnification in a predetermined order. 30).

이렇게 촬영단계(S200)를 거쳐 획득한 타겟화상(30)은 제1배율의 크기로 축소하여 검사화상(31)으로 임시 등록된다. 좀더 자세하게는, 도 6의 타겟화상(30)을 축소하여 도 7에 도시된 바와 같이 축소된 검사화상(31)을 등록하게 된다. 이러한 과정이 축소단계(S300)로써, 축소단계(S300)는 촬영단계(S200)에서 획득한 타겟화상(30)을 제1배율의 크기로 축소하여 검사화상(31)으로 등록한다.The target image 30 acquired through the photographing step S200 is reduced to the size of the first magnification and temporarily registered as the inspection image 31. In more detail, the target image 30 of FIG. 6 is reduced to register the reduced inspection image 31 as shown in FIG. 7. This process is a reduction step (S300), the reduction step (S300) is to reduce the target image 30 obtained in the shooting step (S200) to the size of the first magnification to register as the inspection image (31).

그러면, 등록단계(S100)를 거쳐 등록된 모델화상(20)을 기반으로 하여 모델화상(20)에서 임시 등록되어 있는 검사화상(31)을 검색한다. 후술하는 순환단계(S420)에 의해 상술한 타겟화상(30) 및 검사화상(31)은 제2배율의 광학계가 정해진 순서에 따라 검사대상물을 촬영할 때마다 갱신되고, 갱신되는 검사화상(31)을 상술한 모델화상(20)에서 계속적으로 검색할 수 있다. 이러한 과정이 매칭단계(S400)로써, 매칭단계(S400)는 등록되어 있는 모델화상(20)에서 검사화상(31)을 검색한다.Then, the inspection image 31 that is temporarily registered in the model image 20 is searched based on the registered model image 20 through the registration step S100. The target image 30 and the inspection image 31 described above are updated each time the inspection object is taken in the order in which the optical system of the second magnification is determined, and the updated inspection image 31 is updated. It is possible to search continuously in the model image 20 described above. This process is a matching step (S400), the matching step (S400) retrieves the inspection image 31 from the registered model image 20.

매칭단계(S400)를 거쳐 모델화상(20)에서 검사화상(31)이 검색되면, 센터링단계(S500)를 거치게 된다. 센터링단계(S500)에서는 등록단계(S100)에서 설정된 검사영역(10)의 위치에 대응되도록 제2배율의 광학계 또는 검사대상물을 이동시킨다. 좀더 자세하게는, 도 8에 도시된 바와 같이 모델화상(20)의 검사영역(10) 위치는 등록단계(S100)에서 설정된 바와 같이 제1좌표값(X2, Y2)로 설정되어 있다. 이때, 모델화상(20)의 검사화상(31) 위치는 등록단계(S100)에서 등록된 모델화상(20) 내에서 검색된 검사화상(31) 위치를 제1좌표값(X2, Y2)에 대한 제2좌표값(X1, Y1)으로 설정된다. 그러면, 설정된 제1좌표값(X2, Y2)과 제2좌표값(X1, Y1) 사이의 변위(L)를 환산하여 제2배율의 광학계 또는 검사대상물의 이동방향과 이동거리가 결정된다.When the inspection image 31 is retrieved from the model image 20 through the matching step S400, the centering step S500 is performed. In the centering step S500, the optical system or the inspection object of the second magnification is moved to correspond to the position of the inspection area 10 set in the registration step S100. More specifically, as shown in FIG. 8, the position of the inspection area 10 of the model image 20 is set to the first coordinate values X2 and Y2 as set in the registration step S100. In this case, the position of the inspection image 31 of the model image 20 is set to the position of the inspection image 31 searched in the model image 20 registered in the registration step S100 with respect to the first coordinate values X2 and Y2. It is set to two coordinate values (X1, Y1). Then, the displacement L between the set first coordinate values X2 and Y2 and the second coordinate values X1 and Y1 is converted to determine the moving direction and the moving distance of the optical system or the inspection object of the second magnification.

다시 말하면, 제2좌표값이 (X1, Y1)이고, 제1좌표값이 (X2, Y2)이므로, 모델화상(20) 내에서 두 좌표값 사이의 변위 L에 대하여In other words, since the second coordinate value is (X1, Y1) and the first coordinate value is (X2, Y2), for the displacement L between two coordinate values in the model image 20,

x축 방향의 길이는

Figure 112009021748038-pat00001
이고,the length in the x-axis direction
Figure 112009021748038-pat00001
ego,

y축 방향의 길이는

Figure 112009021748038-pat00002
이다.the length in the y-axis direction
Figure 112009021748038-pat00002
to be.

그러면, 제2배율의 광학계 또는 검사대상물이 실제 이동하는 거리 R에 대하여 모델화상(20) 내에서의 변위 L에 대한 변환상수를 K라 하면,Then, let K be the conversion constant for the displacement L in the model image 20 with respect to the distance R at which the optical system or inspection object of the second magnification is actually moved.

(변환상수 K는 모델화상(20) 내에서의 단위 길이(변위가 1인 경우)에 따라 제2배율의 광학계 또는 검사대상물이 이동해야 하는 실제거리를 의미함)(The conversion constant K means the actual distance that the optical system or the inspection object of the second magnification should move according to the unit length (when displacement is 1) in the model image 20.)

X축 방향의 실제이동거리는

Figure 112009021748038-pat00003
이고,The actual travel distance in the X axis direction
Figure 112009021748038-pat00003
ego,

Y축 방향의 실제이동거리는

Figure 112009021748038-pat00004
이며,The actual travel distance in the Y axis direction
Figure 112009021748038-pat00004
,

실제이동거리는

Figure 112009021748038-pat00005
인 수식을 만족하게 된다.Actual distance traveled
Figure 112009021748038-pat00005
Is satisfied.

도 8에 도시된 바에 의하면, 센터링단계(S500)에 의해 제2배율의 광학계는 우측으로 Rx 만큼 이동되고, 아래로 Ry 만큼 이동된다. 검사대상물은 제2배율의 광학계와 반대로 움직일 것이다.As shown in FIG. 8, by the centering step S500, the optical system of the second magnification is moved by Rx to the right and moved by Ry downward. The object to be tested will move against the optical system of the second magnification.

센터링단계(S500)를 거친 다음 최종단계(S600)를 거치게 된다. 최종단계(S600)에서는 제2배율의 광학계 또는 검사대상물이 이동한 다음 제2배율의 광학계가 검사대상물을 촬영하여 최종화상(40)을 획득한다. 최종화상(40)은 도 9에 도시된 바와 같이 제2배율에서 검사대상물을 촬영한 영상으로, 고배율인 제2배율의 최종화상(40) 중앙에 검사영역(10)이 위치한다.After the centering step (S500) and then the final step (S600). In the final step (S600), the optical system or the inspection object of the second magnification is moved, and then the optical system of the second magnification photographs the inspection object to obtain the final image 40. As shown in FIG. 9, the final image 40 is an image of the inspection object at the second magnification, and the inspection region 10 is positioned at the center of the final image 40 of the second magnification.

또한, 매칭단계(S400)를 통해 검사화상(31)이 검색되지 않으면, 에러신호를 발생하는 경고단계(S410)와, 상기 촬영단계(S200)로 복귀하는 순환단계(S420) 중 적어도 어느 한 단계를 포함하여 구성될 수 있다. In addition, when the inspection image 31 is not found through the matching step S400, at least one of a warning step S410 for generating an error signal and a cyclic step S420 for returning to the photographing step S200. It may be configured to include.

경고단계(S410)에서는 모델화상(20) 내에서 검사화상(31)을 찾을 수 없다는 에러 신호를 발생하며, 발생된 에러 신호에 따라 사용자가 확인하도록 할 수 있다. 사용자가 확인하는 방법에는 에러신호를 화면에 표시하거나, 경고음을 발생하는 방법 등이 있다. 순환단계(S420)에서는 촬영단계(S200)로 복귀하여 타겟화상(30)을 갱신한다.In the warning step S410, an error signal indicating that the test image 31 cannot be found in the model image 20 may be generated, and the user may confirm the error according to the generated error signal. The user checks a method such as displaying an error signal on the screen or generating a warning sound. In the circulation step S420, the process returns to the photographing step S200 to update the target image 30.

영상 센터링 방법에 따라 검사영역(10)이 동일한 경우 모델화상(20)은 변경되지 않으나, 검사영역(10)이 변경되는 경우 상술한 모델화상(20)은 사용자에 의해 변경될 수 있다.According to the image centering method, the model image 20 is not changed when the inspection area 10 is the same. However, when the inspection area 10 is changed, the model image 20 may be changed by the user.

상술한 본 발명의 일실시예에 따른 영상 센터링 방법에서 제1배율은 제2배율 보다 저배율인 것으로, 제1배율은 20x 의 배율이고, 제2배율은 50x 의 배율을 적용할 수 있다. 본 발명에서는 제1배율에 대한 제2배율의 비는 클수록 유리할 것이다.In the image centering method according to the embodiment of the present invention described above, the first magnification is lower than the second magnification, the first magnification is 20x, and the second magnification is 50x. In the present invention, the larger the ratio of the second magnification to the first magnification will be advantageous.

본 발명에 따르면, 제1배율로 등록된 모델화상(20)을 통해 제2배율에서 검사영역(10)을 촬영하고, 검사영역(10)이 중앙에 위치하는 화상을 획득할 수 있으므로, 최종화상(40)을 획득하는 데 있어서, 종래 기술의 제1실시예와 같은 광학계의 배율 변환이 없음은 물론 종래 기술의 제2실시예에서와 같은 탐색에 따른 모션이 최소화된다.According to the present invention, since the inspection area 10 can be photographed at the second magnification through the model image 20 registered at the first magnification, an image in which the inspection area 10 is located at the center can be obtained. In obtaining (40), there is no magnification conversion of the optical system as in the first embodiment of the prior art, as well as the motion according to the search as in the second embodiment of the prior art is minimized.

본 발명의 권리범위는 상술한 실시예에 한정되는 것이 아니라 첨부된 특허청구범위 내에서 다양한 형태의 실시예로 구현될 수 있다. 특허청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 누구든지 변형 가능한 다양한 범위까지 본 발명의 청구범위 기재의 범위 내에 있는 것으로 본다.The scope of the present invention is not limited to the above-described embodiment, but may be embodied in various forms of embodiments within the scope of the appended claims. Without departing from the gist of the invention claimed in the claims, it is intended that any person skilled in the art to which the present invention pertains falls within the scope of the claims described herein to various extents that can be modified.

도 1은 종래 기술의 제1실시예에 따른 영상 센터링 방법을 설명하기 위한 순서도,1 is a flowchart illustrating an image centering method according to a first embodiment of the prior art;

도 2는 종래 기술의 제2실시예에 따른 영상 센터링 방법을 설명하기 위한 순서도,2 is a flowchart illustrating an image centering method according to a second embodiment of the prior art;

도 3은 종래 기술의 실시예에서 발췌된 검사영역을 도시한 도면,3 is a view showing a test area extracted in the embodiment of the prior art,

도 4는 본 발명의 일실시예에 따른 영상 센터링 방법을 설명하기 위한 순서도,4 is a flowchart illustrating an image centering method according to an embodiment of the present invention;

도 5 내지 도 9는 본 발명의 일실시예에 따른 영상 센터링 방법을 설명하기 위한 도면이다.5 to 9 are diagrams for describing an image centering method according to an embodiment of the present invention.

<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>

10: 검사영역 20: 모델화상 30: 타겟화상10: inspection area 20: model image 30: target image

31: 검사화상 40: 최종화상31: Inspection image 40: Final image

Claims (5)

영상 센터링 방법에 있어서,In the image centering method, 검사대상물을 제1배율의 광학계로 촬영하고, 촬영된 제1배율의 화상에서 찾고자 하는 검사영역의 위치를 설정하여 모델화상으로 등록하는 등록단계;A registration step of photographing the inspection object with an optical system of a first magnification, setting a position of an inspection area to be searched for in the photographed first magnification image and registering it as a model image; 상기 검사대상물을 정해진 순서에 따라 제1배율보다 고배율인 제2배율의 광학계로 촬영하여 타겟화상을 획득하는 촬영단계;A photographing step of photographing the inspection object with an optical system having a second magnification higher than the first magnification in a predetermined order to obtain a target image; 상기 촬영단계에서 획득한 타겟화상을 제1배율의 크기로 축소하여 검사화상으로 등록하는 축소단계;A reduction step of reducing the target image obtained in the shooting step to a size of a first magnification and registering the target image as a test image; 상기 모델화상에서 상기 검사화상을 검색하는 매칭단계;A matching step of retrieving the inspection image from the model image; 상기 매칭단계를 통해 상기 검사화상이 검색되면, 상기 등록단계에서 설정된 상기 검사영역의 위치에 대응되도록 상기 제2배율의 광학계 또는 상기 검사대상물을 이동시키는 센터링단계;를 포함하여 구성되는 영상 센터링 방법.And a centering step of moving the optical system or the inspection object of the second magnification to correspond to the position of the inspection area set in the registration step when the inspection image is searched through the matching step. 제1항에 있어서,The method of claim 1, 상기 매칭단계를 통해 상기 검사화상이 검색되지 않으면, 에러신호를 발생하는 경고단계와, 상기 촬영단계로 복귀하는 순환단계 중 적어도 어느 한 단계를 포함하여 구성되는 영상 센터링 방법.And at least one of a warning step of generating an error signal and a cyclic step of returning to the photographing step if the inspection image is not found through the matching step. 제1항 또는 제2항에 있어서,The method according to claim 1 or 2, 상기 센터링단계를 거친 다음 상기 제2배율의 광학계가 상기 검사대상물을 촬영하여 상기 검사영역이 화상의 중앙에 형성되는 최종화상을 획득하는 최종단계;를 포함하여 구성되는 영상 센터링 방법.And a final step of acquiring a final image in which the inspection area is formed at the center of the image by photographing the inspection object by the optical system of the second magnification after the centering step. 제3항에 있어서,The method of claim 3, 상기 모델화상의 검사영역 위치는 상기 모델화상 내에서 상기 검사영역 위치를 지정하여 제1좌표값으로 설정하고, 상기 모델화상에서 검색된 검사화상의 위치는 상기 모델화상 내에서 검색된 검사화상 위치를 상기 제1좌표값에 대한 제2좌표값으로 설정하며, 상기 제1좌표값과 상기 제2좌표값 사이의 변위에 따라 환산된 값으로 상기 제2배율의 광학계 또는 상기 검사대상물의 이동방향과 이동거리가 결정되는 것을 특징으로 하는 영상 센터링 방법.The inspection image position of the model image is set to a first coordinate value by designating the inspection region position in the model image, and the inspection image position found in the model image is the inspection image position found in the model image. It is set as a second coordinate value with respect to the one coordinate value, and the value is converted according to the displacement between the first coordinate value and the second coordinate value. Image centering method, characterized in that determined. 제1항 또는 제2항에 있어서,The method according to claim 1 or 2, 상기 모델화상의 검사영역 위치는 상기 모델화상 내에서 상기 검사영역 위치를 지정하여 제1좌표값으로 설정하고, 상기 모델화상에서 검색된 검사화상의 위치는 상기 모델화상 내에서 검색된 검사화상 위치를 상기 제1좌표값에 대한 제2좌표값으로 설정하며, 상기 제1좌표값과 상기 제2좌표값 사이의 변위에 따라 환산된 값으로 상기 제2배율의 광학계 또는 상기 검사대상물의 이동방향과 이동거리가 결정되는 것을 특징으로 하는 영상 센터링 방법.The inspection image position of the model image is set to a first coordinate value by designating the inspection region position in the model image, and the inspection image position found in the model image is the inspection image position found in the model image. It is set as a second coordinate value with respect to the one coordinate value, and the value is converted according to the displacement between the first coordinate value and the second coordinate value. Image centering method, characterized in that determined.
KR1020090031232A 2009-04-10 2009-04-10 image centering method KR101029460B1 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020090031232A KR101029460B1 (en) 2009-04-10 2009-04-10 image centering method
JP2012504574A JP5570588B2 (en) 2009-04-10 2010-04-06 Video centering method
PCT/KR2010/002081 WO2010117176A2 (en) 2009-04-10 2010-04-06 Image-centering method
CN201080016220.3A CN102439415B (en) 2009-04-10 2010-04-06 Image-centering method
TW099111071A TWI481860B (en) 2009-04-10 2010-04-09 Image centering method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090031232A KR101029460B1 (en) 2009-04-10 2009-04-10 image centering method

Publications (2)

Publication Number Publication Date
KR20100112774A KR20100112774A (en) 2010-10-20
KR101029460B1 true KR101029460B1 (en) 2011-04-15

Family

ID=42936695

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090031232A KR101029460B1 (en) 2009-04-10 2009-04-10 image centering method

Country Status (5)

Country Link
JP (1) JP5570588B2 (en)
KR (1) KR101029460B1 (en)
CN (1) CN102439415B (en)
TW (1) TWI481860B (en)
WO (1) WO2010117176A2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015078852A (en) * 2013-10-15 2015-04-23 株式会社ディスコ Alignment method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990070849A (en) * 1998-02-25 1999-09-15 이종수 Solder Inspection System and Method of Printed Circuit Board
KR20070026792A (en) * 2004-07-09 2007-03-08 올림푸스 가부시키가이샤 Image processing device and method
JP2008139202A (en) 2006-12-04 2008-06-19 Tokyo Electron Ltd Apparatus and method for detecting defect, apparatus and method for processing information, and its program

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04295748A (en) * 1991-03-25 1992-10-20 Nikon Corp Pattern inspecting apparatus
JPH05157534A (en) * 1991-12-05 1993-06-22 Matsushita Electric Ind Co Ltd Pattern matching method
JPH08201025A (en) * 1995-01-31 1996-08-09 Ntn Corp Noncontact coordinate dimension measuring machine
JP2000028336A (en) * 1998-07-10 2000-01-28 Hoya Corp Device for measuring shape and method therefor
JP2000269306A (en) * 1999-03-18 2000-09-29 Fujitsu Quantum Device Kk Manufacture of semiconductor device and manufacturing apparatus therefor
JP3448041B2 (en) * 2001-09-26 2003-09-16 株式会社東芝 Pattern defect inspection equipment
JP4313162B2 (en) * 2002-11-21 2009-08-12 株式会社日立国際電気 Alignment mark detection method and inspection apparatus
JP2004343222A (en) * 2003-05-13 2004-12-02 Olympus Corp Image processing apparatus

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990070849A (en) * 1998-02-25 1999-09-15 이종수 Solder Inspection System and Method of Printed Circuit Board
KR20070026792A (en) * 2004-07-09 2007-03-08 올림푸스 가부시키가이샤 Image processing device and method
JP2008139202A (en) 2006-12-04 2008-06-19 Tokyo Electron Ltd Apparatus and method for detecting defect, apparatus and method for processing information, and its program

Also Published As

Publication number Publication date
JP2012523560A (en) 2012-10-04
TW201037298A (en) 2010-10-16
TWI481860B (en) 2015-04-21
CN102439415B (en) 2014-04-16
KR20100112774A (en) 2010-10-20
JP5570588B2 (en) 2014-08-13
WO2010117176A2 (en) 2010-10-14
WO2010117176A3 (en) 2011-01-20
CN102439415A (en) 2012-05-02

Similar Documents

Publication Publication Date Title
US8508587B2 (en) Imaging device
JP2004004043A (en) Camera corrector
WO2010101227A1 (en) Device for creating information for positional estimation of matter, method for creating information for positional estimation of matter, and program
JP2010014504A (en) Inspection condition determination method, inspection condition determining device, visual inspection machine, and program
JP2008310446A (en) Image retrieval system
JP2020519980A (en) Apparatus and method for calibrating a vehicle camera system
KR20120054689A (en) Inspection method
KR100888235B1 (en) Image processing device and method
CN112071246B (en) Method and device for positioning sub-pixels of display panel and compensation method of display panel
EP3460757A1 (en) Image processing apparatus and image processing system
JP2006214816A (en) Semiconductor inspection device
KR101029460B1 (en) image centering method
JP2009294109A (en) Calibration apparatus
JP2004028811A (en) Device and method for correcting distance for monitoring system
US20040111230A1 (en) Method of detecting a pattern and an apparatus thereof
JP5416082B2 (en) Strain measuring apparatus and strain measuring method
JP2015230515A (en) Subject tracking device and camera
JP4798210B2 (en) Appearance inspection apparatus and appearance inspection method
JP2010283088A (en) Wafer appearance inspection device
JP4258189B2 (en) Appearance inspection apparatus and appearance inspection method
JP2004347488A (en) Field work support device
JP2003030638A (en) Image display device, image display method and control program therefor
JP5039083B2 (en) Image creation method, calculation device, image creation program, and storage medium
KR20200044252A (en) Display apparatus inspection system, inspection method of display apparatus and display apparatus using the same
JP2023084389A (en) Replacement panel design support system

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140402

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160329

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170317

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20180402

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20190329

Year of fee payment: 9