KR100837887B1 - Optical Mark Recognition method by image process and Optical Mark Recognition card - Google Patents

Optical Mark Recognition method by image process and Optical Mark Recognition card Download PDF

Info

Publication number
KR100837887B1
KR100837887B1 KR1020060054773A KR20060054773A KR100837887B1 KR 100837887 B1 KR100837887 B1 KR 100837887B1 KR 1020060054773 A KR1020060054773 A KR 1020060054773A KR 20060054773 A KR20060054773 A KR 20060054773A KR 100837887 B1 KR100837887 B1 KR 100837887B1
Authority
KR
South Korea
Prior art keywords
reading
value
mark
display card
image
Prior art date
Application number
KR1020060054773A
Other languages
Korean (ko)
Other versions
KR20070120258A (en
Inventor
김택진
Original Assignee
김택진
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김택진 filed Critical 김택진
Priority to KR1020060054773A priority Critical patent/KR100837887B1/en
Publication of KR20070120258A publication Critical patent/KR20070120258A/en
Application granted granted Critical
Publication of KR100837887B1 publication Critical patent/KR100837887B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06KGRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations
    • G06K17/0032Apparatus for automatic testing and analysing marked record carriers, used for examinations of the multiple choice answer type
    • G06T5/80

Abstract

이미지처리를 통한 광학마크 표시카드 판독 방법 및 이를 위한 광학마크 표시카드에 관한 것으로 스캔 될 표시카드의 판독 오류를 방지하기 위한 타이밍마크의 위치와 간격, 폭, 길이 등의 정보와 스캔 방향 양 종단에 표시된 시작점과 끝점의 간격 및 표기된 마크 중 최종 정답을 가려내기 위하여 표기로 판단하는 최소값과 표기된 마크들 사이의 최대값을 판단하기 위한 공차값을 미리 설정하여 기록하는 셋팅 단계, 상기한 셋팅 단계를 거친 후 스캔된 이미지 데이터에서 미리 설정되어 기록된 타이밍마크정보와 시작점과 끝점의 간격을 기준으로 스캔된 이미지 데이터를 보정함과 아울러 급지 공급에서 겹침이 발생되었는지를 판단하여 작업자에게 알려주는 표준화 단계, 상기한 표준화 단계를 거친 이미지 데이터를 판독하여 그 값을 저장함과 아울러 셋팅 단계에서 설정한 값에 따라 채점한 후 그 결과를 기록하는 판독 단계로 구성되어 스캔 오류를 해소하는 이미지처리를 통한 광학마크 표시카드 판독 방법 및 표시 카드에 관한 것이다.A method of reading an optical mark display card through image processing, and an optical mark display card therefor, wherein the timing mark positions and spacings, widths, and lengths of information for preventing a reading error of a display card to be scanned and information on both ends of the scanning direction In order to determine the interval between the displayed start point and the end point and the final correct answer among the marked marks, the setting step of pre-setting and recording the tolerance value for determining the minimum value determined by the marking and the maximum value between the marked marks, the above-described setting step After the standardized step of correcting the scanned image data on the basis of the pre-set and recorded timing mark information from the scanned image data and the interval between the start point and the end point, and determines whether the overlap occurs in the paper feed supply, and informs the operator, In addition to reading and storing image data that has undergone a standardization step After grading, depending on the value set in the setting step comprises the step of writing the result to the reading relates to an optical card mark reading method and a display card with an image processing to eliminate the scanning error.

OMR, 마크, 판독, 타이밍마크 OMR, Mark, Read, Timing Mark

Description

이미지처리를 통한 광학마크 표시카드 판독 방법 및 이를 위한 광학마크 표시카드{Optical Mark Recognition method by image process and Optical Mark Recognition card}Optical Mark Recognition Method by Image Processing and Optical Mark Recognition Card for It {Optical Mark Recognition method by image process and Optical Mark Recognition card}

도 1은 광학마크 판독장치를 나타내는 블록도.1 is a block diagram showing an optical mark reading apparatus.

도 2는 본 발명에 따른 표시카드를 나타내는 평면도2 is a plan view showing a display card according to the present invention;

도 3a는 스캔된 원본 파일을 나타내는 도면Figure 3a shows a scanned original file

도 3b는 스캔된 원본 파일에서 여백부분을 제거한 도면3B is a view of removing margins from the scanned original file.

도 4a 내지 도 4c는 스캔 오류의 예를 타이밍마크로 나타내는 도면4A to 4C are diagrams showing examples of scan errors with timing marks;

도 5는 스캔 오류를 시작점과 끝점으로 표시한 도면5 shows a scan error as a start point and an end point

도 6은 스캔되어 이미지 처리된 표시카드의 마크별 판독값을 나타내는 도면Fig. 6 shows the mark-by-mark readings of the display card scanned and imaged;

본 발명은 이미지처리를 통한 광학마크 표시카드 판독 방법 및 표시카드에 관한 것으로, 보다 상세하게는 스캔된 표시카드의 이미지를 이미지처리를 통하여 기준 표시카드와 대응되도록 보정하여 스캔 오류를 방지하고, 정답판단을 위하여 마크별 측정값을 기록해두고 마킹으로 판단하지 않도록 하기 위한 최소값과 정답을 인정하기 위한 공차를 설정하여 잉크 번짐 등의 표시실수로 인한 판독오류가 발생되지 않도록 하는 이미지처리를 통한 광학마크 표시카드 판독 방법과 이를 위한 표시카드에 관한 것이다.The present invention relates to an optical mark display card reading method and display card through image processing, and more particularly, to correct the scanned image of the display card to correspond to the reference display card through the image processing to prevent scanning errors, correct answers Record the measurement value for each mark for judgment and set the minimum value for not judging by marking and the tolerance for acknowledging the correct answer to display the optical mark through image processing to prevent the reading error caused by the display mistake such as ink bleeding. It relates to a card reading method and a display card therefor.

광학마크 판독기(Optical Mark Recognition)는 사용자가 컴퓨터용 사인펜 혹은 연필 등의 필기구를 이용하여 OMR용 표기카드에 형성된 다수의 마크 중 임의의 마크를 표기하면, 여기에 광을 조사하여 투과 혹은 반사된 광량 값을 광센서로 검출하여 표기된 부분을 판독하는 장치로써, 판독이 신속하고 정확하여 시험답안지 혹은 통계분석자료 입력용으로 주로 사용되고 있다.Optical mark reader (Optical Mark Recognition) when a user marks any mark among a plurality of marks formed on the OMR marking card using a writing instrument such as a computer sign pen or pencil, the amount of light transmitted or reflected by irradiating light thereto It is a device that detects the value by using optical sensor and reads the marked part. It is used for test answer sheet or statistical analysis data because the reading is quick and accurate.

그러나 이러한 종래의 광소자를 이용한 판독방법은 표시카드의 비뚤어짐이나 구겨짐과 같은 판독 오류가 발생할 경우, 사용자가 이를 직접 확인하여 판독 오류된 표시카드를 다시 판독하여야 하였으며, 표시카드의 삽입불량으로 인한 판독오류가 발생하더라도 오류부분을 정확하게 검증할 수 없는 문제점이 있었다.However, in the conventional reading method using the optical element, when a reading error such as a skew or wrinkle of the display card occurs, the user must directly check the reading card again to read the reading error and read due to an incorrect insertion of the display card. Even if an error occurred, there was a problem that the error part could not be correctly verified.

아울러, 판독된 표시카드는 판독데이터만 기록되므로 오류가 발생될 경우 사람이 직접 많은 표시카드들 중에서 해당 표시카드를 찾아서 확인하여야 하므로 오류발생시 확인에도 많은 어려움이 있었다.In addition, since the read display card is only read data is recorded, when an error occurs, a person has to find and check the display card among many display cards, and thus there is a lot of difficulty in checking when an error occurs.

이러한 문제점을 해소하면서 표시카드의 비뚤어짐 등의 판독오류를 방지하기 위하여 최근에는 스캐너를 사용하여 표시카드를 스캔한 후 이미지프로세싱을 통해 채점하는 방식이 개발되고 있으며, 그 예로서 대한민국 등록특허 10-0453533호에는 정답이 표기된 특정 표시카드를 스캔한 이미지를 저장하고, 사용되는 실제 표시카드를 스캔한 이미지와 상기한 정답이 표기된 표시카드의 이미지를 비교하여 판독하 는 방식을 사용하고 있으나, 이는 마킹부분을 좌표로 변환하여 해당 좌표문자를 일일이 비교하는 방식이므로, 일일이 좌표를 확인한 후 그를 문자로 저장하고 이를 비교하므로 연산시간이 오래 걸리고 용량이 커지게 되어 판독시간이 오래 걸리고 많은 메모리가 필요하므로 판독을 위한 장치의 비용이 증가되는 문제점이 있었다.In order to solve such a problem and to prevent reading errors such as skewing of the display card, recently, a method of scoring a display card by scanning the display card and then processing the image using a scanner has been developed. No. 0453533 uses a method of storing an image of a specific display card marked with the correct answer, and comparing the scanned image of the actual display card used with the image of the display card marked with the correct answer. It converts the part into coordinates and compares the corresponding coordinates one by one. Therefore, after checking the coordinates one by one and saves them as characters and compares them, it takes a long time and large capacity, so it takes a long time and requires a lot of memory. There was a problem that the cost of the device for the increase.

또한, 다른 예로서 대한민국 등록특허 10-0468461호에는 스캔된 이미지를 일정한 방향과 정확한 각도로 정렬한 후 타이밍마크의 위치와 응답마크의 위치를 기준으로 판독을 하는 방법이 개시되어 있으나, 표기된 부분의 판독값을 기준으로 타이밍마크의 좌표와 응답마크의 좌표를 일일이 확인한 후 이를 기준으로 판독하므로 시간이 오래 걸리는 문제점이 있었다.Further, as another example, Korean Patent Registration No. 10-0468461 discloses a method of aligning a scanned image at a predetermined direction with an accurate angle, and then reading the reference image based on a position of a timing mark and a position of a response mark. There was a problem in that it takes a long time because the coordinates of the timing mark and the response mark are read on the basis of the read value and then read based on this.

또한, 표시카드가 스캔되는 과정에서 늘어짐 예를 들어, 타이밍마크측은 정확하게 스캔되고 반대측은 늘어지는 현상, 혹은 임의의 타이밍마크부분이 다른 타이밍마크부분보다 늘어지는 현상 등의 스캔 오류가 발생될 경우에는 이를 판단하지 못하게 된다.In addition, when the display card is scanned, a sag, for example, when the timing mark side is scanned correctly and the other side sags, or when a timing error occurs such that a certain timing mark part sags than another timing mark part, You will not be able to judge this.

더욱이, 이러한 스캔 오류의 경우 본원의 출원인의 선등록건인 대한민국 등록 특허 10-0460336호에 개시된 바와 같이 하나의 문항에 대한 다수의 마크에서 표기된 마크의 면적을 비교하여 가장 넓은 면적으로 표기된 마크를 최종 수정된 답안으로 확인하는 경우에는 실제 면적이 가장 넓은 마크가 임의의 타이밍마크 부분에 위치되나 스캔시 늘어짐이 발생된 다른 타이밍마크 부분에 표기된 부분이 최종수정된 마크보다 커지게 되면서 판독오류가 발생하게 되나 종래의 판독방법으로는 이러한 오류를 판단하지 못하는 문제점이 있었다.Moreover, in the case of such a scan error, the mark marked in the widest area is finalized by comparing the areas of marks marked in a plurality of marks for one item, as disclosed in Korean Patent Registration No. 10-0460336, the applicant's pre-registered case. In the case of the corrected answer, the mark with the largest real area is located at any timing mark part, but the part marked at the other timing mark part, which is sagging during scanning, becomes larger than the last modified mark. However, there is a problem that the conventional reading method does not determine such an error.

본 발명은 상기한 바와 같은 문제점을 해결하기 위한 것으로, 스캔된 표시카드의 이미지를 설정된 타이밍마크의 위치, 폭, 길이, 간격 등의 정보와 특정 위치에 형성된 시작점과 끝점의 간격정보를 이용하여 이미지를 보정하고, 정답판단을 위하여 마크별 측정값을 기록한 후 마킹된 것으로 보지 않기 위한 최소값과 정답을 인정하기 위한 공차를 이용하여 판독하여, 늘어짐, 기울어짐 등의 스캔 오류로 인한 판독오류와, 잉크 번짐 등의 마킹 실수로 인한 판독오류가 발생되지 않도록 하는 이미지처리를 통한 광학마크 표시카드 판독 방법을 제공하는 데 목적이 있다.The present invention is to solve the above problems, the image of the scanned display card by using the information such as the position, width, length, interval of the set timing mark and the interval information of the start and end points formed at a specific position After correcting the error, record the measurement value for each mark to determine the correct answer, and then read it by using the minimum value for not seeing it as marked and the tolerance for acknowledging the correct answer. It is an object of the present invention to provide a method of reading an optical mark display card through image processing that prevents a reading error due to a marking mistake such as smearing.

본 발명의 다른 목적은 표시카드의 양측 가장자리에 대칭되게 타이밍마크가 인쇄되어 타이밍마크가 직선이 되게 이미지 보정할 수 있도록 하고, 표시카드의 진행방향측 양종단에 시작점과 끝점을 표기하여 이들의 간격을 미리 설정함으로써 진행방향측 늘어짐, 겹침 등을 확인할 수 있도록 하는 표시카드를 제공하는 데 있다.Another object of the present invention is to print a timing mark symmetrically on both edges of the display card so that the image can be corrected so that the timing mark is a straight line, and mark the start and end points at both ends of the display card in the direction of travel. It is to provide a display card that can be set in advance to check the progress direction side sag, overlapping and the like.

상기한 목적을 달성하기 위한 본 발명의 특징은 스캔될 표시카드의 판독 오류를 방지하기 위한 타이밍마크의 위치와 간격, 폭, 길이 등의 정보와 스캔 방향 양 종단에 표시된 시작점과 끝점의 간격 및 표기된 마크 중 최종 정답을 가려내기 위하여 표기로 판단하는 최소값과 표기된 마크들 사이의 최대값을 판단하기 위한 공차값을 미리 설정하여 기록하는 셋팅 단계, 상기한 셋팅 단계를 거친 후 스캔된 이미지 데이터에서 미리 설정되어 기록된 타이밍마크정보와 시작점과 끝점의 간격을 기준으로 스캔된 이미지 데이터를 보정함과 아울러 급지 공급에서 겹침이 발생 되었는지를 판단하여 작업자에게 알려주는 표준화 단계, 상기한 표준화 단계를 거친 이미지 데이터를 판독하여 그 값을 저장함과 아울러 셋팅 단계에서 설정한 값에 따라 채점한 후 그 결과를 기록하는 판독 단계로 구성되어 스캔 오류를 해소하는 이미지처리를 통한 광학마크 표시카드 판독 방법에 있다.Features of the present invention for achieving the above object is information on the position and spacing, width and length of the timing mark to prevent the reading error of the display card to be scanned, and the spacing and marking of the start and end points displayed at both ends of the scanning direction. A setting step of previously setting and recording a tolerance value for determining a minimum value which is determined as a mark and a maximum value between marked marks in order to determine the final correct answer among marks, and presetting the scanned image data after the above setting step. To correct the scanned image data on the basis of the recorded timing mark information and the interval between the start point and the end point, and to determine whether an overlap has occurred in the paper feed supply. Read and store the value, score it according to the value set in the setting step, and It consists of a reading step for writing and has the optical marking card read by an image processing method to solve the scanning error.

또한, 표시카드의 양측 가장자리에는 타이밍마크를 대칭되게 표기하고, 표시카드의 스캔방향 양측 가장자리에는 시작점과 끝점을 표시하여, 대칭되는 타이밍마크의 위치가 직선이 되도록 이미지 데이터를 보정하고, 시작점과 끝점의 간격에 따라 늘어짐이나 겹침 등을 확인할 수 있도록 하여 표시카드의 스캔 오류를 보정하는 표시카드에 다른 특징이 있다.In addition, timing marks are symmetrically written on both edges of the display card, and start and end points are displayed on both edges of the display card in the scanning direction, so that the image data is corrected so that the positions of the symmetric timing marks are straight. There is another feature of the display card that corrects the scanning error of the display card by checking the sagging or overlapping depending on the interval of the display.

이상과 같은 특징을 갖는 본 발명의 실시예를 하기에서 첨부된 도면을 참조하여 보다 상세하게 살펴본다.An embodiment of the present invention having the above characteristics will be described in more detail with reference to the accompanying drawings.

도 1은 본 발명에 따른 이미지처리를 통한 광학마크 표시카드 판독 방법을 실현하기 위한 판독장치를 나타낸다.1 shows a reading apparatus for realizing an optical mark display card reading method through image processing according to the present invention.

상기한 판독 장치는 각종 데이터를 입력할 수 있도록 하는 키입력부(10)와, 입력되는 동작제어 신호에 따라 동작이 제어되어 표시카드를 스캔하여 이미지 데이터화하는 스캔처리부(20), 입력되는 동작 제어 신호에 따라 이미지의 늘어짐, 비틀어짐 등을 보정하는 이미지 처리부(30), 입력되는 동작제어신호에 의하여 동작이 제어되어 스캔된 이미지 데이터를 판독하는 판독 연산부(40), 각종 데이터가 기록되는 메모리부(50), 각종 정보가 표시되는 표시부(60) 및, 키입력부(10)로부터 출 력되는 신호를 기준으로 스캔처리부(20)와 판독 연산부(40)와 표시부(60) 및 이미지 처리부(30)의 동작을 제어하는 제어부(70)로 구성되어 스캔된 표시카드의 스캔 오류를 보정하여 정확한 판독이 이루어지도록 한다.The reading apparatus includes a key input unit 10 for inputting various data, an operation controlled according to an input operation control signal, and a scan processing unit 20 for scanning the display card into image data and inputting an operation control signal. Image processing unit 30 for correcting sagging and twisting of the image according to the image, reading operation unit 40 for reading out the scanned image data whose operation is controlled by an input operation control signal, and a memory unit for recording various data ( 50), the display unit 60 and the display unit 60 and the display unit 60 and the image processing unit 30 on the basis of the signal output from the display unit 60 and the key input unit 10 on which various information is displayed. It is composed of a control unit 70 for controlling the operation to correct the scan error of the scanned display card to ensure accurate reading.

그리고, 도 2는 본 발명에 따른 광학마크 표시카드를 나타내는 도면으로, 표시카드(100)의 상/하 가장자리에 대칭으로 타이밍마크(110)가 인쇄되고, 스캔 방향 양 종단에는 시작점(122)과 끝점(124)이 표기되며, 상기한 시작점(122)과 끝점(124)은 동일한 모양과 형상을 갖는다.2 is a view showing an optical mark display card according to the present invention, in which the timing marks 110 are symmetrically printed on the upper and lower edges of the display card 100, and the start point 122 and both ends of the scanning direction are printed. An end point 124 is indicated, and the start point 122 and the end point 124 have the same shape and shape.

상기한 구성을 갖는 판독 장치와 표시카드를 이용한 판독방법을 하기에서 보다 상세하게 살펴본다.A reading method using the reading device and the display card having the above configuration will be described in more detail below.

본 발명에 다른 이미지처리를 통한 광학마크 표시카드 판독 방법은 키입력부를 통해서 이미지 보정을 위한 표준 이미지 설정값 및 판독 오류를 방지하기 위한 판독 오류 방지용 설정값을 입력받아 제어부가 메모리에 기록하는 셋팅 단계와, 상기한 셋팅 단계를 거친 후 스캔된 이미지 데이터에서 메모리에 기록된 표준 이미지 설정값을 기준으로 스캔된 이미지 데이터를 이미지 처리부에서 이미지 보정하는 표준화 단계 및, 상기한 표준화 단계를 거친 이미지 데이터의 마킹부분을 판독하여 그 결과를 기록하고 판독값들을 판독 오류 보정용 설정값을 이용하여 판독 연산부에서 연산하여 채점한 후 그 결과를 기록하는 판독 단계로 구성된다.According to another aspect of the present invention, there is provided a method of reading an optical mark display card through image processing, in which a control unit receives a standard image setting value for image correction and a reading error prevention setting value for preventing a reading error, and writes it in a memory. And a standardization step of correcting the scanned image data in the image processing unit based on the standard image setting values recorded in the memory from the scanned image data after the setting step, and marking of the image data that has undergone the standardization step. And a reading step of reading the portion, recording the result, and calculating and scoring the read values using the read error correction setting value, and then recording the result.

1) 셋팅 단계1) Setting Step

상기한 구성에서 셋팅 단계는 키입력부를 통해서 스캔된 표시카드의 타이밍 마크 위치와 간격, 넓이, 길이 등의 타이밍마크 설정값과, 시작점과 끝점의 간격 등의 표준 이미지 설정값과, 실제 마킹을 한 것으로 판단하기 위한 최소값과 여러 차례 수정시 다수의 마킹된 마크 중 최종 정답으로 판단하기 위한 마크별 최소 차이값(이하 공차값이라 함)을 설정한다.In the above configuration, the setting step includes a timing mark setting value such as timing mark position and spacing, width and length of the display card scanned through the key input unit, standard image setting values such as spacing between the start point and the end point, and actual marking. The minimum difference value for each mark and the minimum difference value for each mark (hereinafter, referred to as a tolerance value) for determining the final correct answer among a plurality of marked marks are set.

상기에서 타이밍마크 설정값을 보다 구체적으로 살펴보면 진행방향으로 첫번째 타이밍마크는 표시카드의 모서리에서 얼마의 간격이 떨어졌는지를 'mm'등의 거리측정단위 혹은 좌표값을 이용하여 입력하고, 두번째 타이밍마크는 첫번째 타이밍마크와 얼마의 간격으로 떨어져 있는지를 마찬가지로 입력하며, 각 타이밍마크의 넓이와 길이가 얼마인지를 사용자는 판독 장치를 구성하는 표시부(모니터)에 표시된 설정메뉴를 보면서 설정하게 된다.Looking at the timing mark set value in more detail above, the first timing mark in the advancing direction is input using a distance measuring unit or coordinate value such as 'mm', and how far apart from the edge of the display card. The distance between the first timing mark and the distance is similarly inputted, and the user sets the width and length of each timing mark while viewing the setting menu displayed on the display unit (monitor) constituting the reading apparatus.

상기한 바와 같은 셋팅 단계가 종료되면 셋팅된 값들은 메모리에 기록되고, 메모리에 기록된 값은 이후 표준화 단계에서 스캔된 이미지를 보정하고 판독단계에서 채점을 하는데 사용된다.When the setting step as described above is finished, the set values are written to the memory, and the values recorded in the memory are then used to correct the scanned image in the normalization step and to score in the reading step.

2)표준화 단계2) Standardization Step

상기한 표준화 단계는 스캔 처리부에서 스캔한 이미지 데이터를 이미지 처리부에서 메모리에 설정된 표준 이미지 설정값에 맞도록 보정하는데, 이를 보다 상세하게 살펴본다.In the normalization step, the image data scanned by the scan processor is corrected to meet the standard image setting values set in the memory by the image processor, which will be described in detail.

우선 입력된 이미지 데이터 중 필요한 부분만 추출하는데, 이는 스캔하는 과정에서 실제 표시카드의 이미지 외에 여백부분을 삭제하는 것으로, 도 3a에 나타내는 바와 같이 여백부분(130)과 실제 표시카드(100)의 이미지 부분의 명도값, 색도 값 등의 측정값을 기준으로 여백부분을 제거하고 도 3b와 같이 실제 표시카드(100)의 이미지 부분만 추출한다.First, only the necessary portion of the input image data is extracted, which deletes the margin portion in addition to the image of the actual display card during scanning, as shown in FIG. 3A, the image of the margin portion 130 and the actual display card 100. The margin part is removed based on measured values such as brightness value and chroma value of the part, and only the image part of the actual display card 100 is extracted as shown in FIG. 3B.

그리고, 추출된 이미지가 기울어졌을 경우 보정을 통해서 기준선에 맞도록 기울림 보정을 수행한다. When the extracted image is tilted, the tilt correction is performed to fit the reference line through correction.

이후, 메모리에 기록된 타이밍마크의 위치와 간격, 넓이, 길이 등을 독출하여 스캔된 이미지의 명도값 혹은 색도값 등(이하 명도값을 이용함)을 이용하여 설정된 위치에서 오차범위 내에 타이밍마크가 존재하는지와, 설정된 타이밍마크의 간격, 폭, 길이를 측정하여 설정된 값들과 비교한다.Thereafter, a timing mark exists within an error range at a position set using a brightness value or a chromaticity value (hereinafter, referred to as a brightness value) of the scanned image by reading the position, interval, width, and length of the timing mark recorded in the memory. The interval, width, and length of the set timing mark are measured and compared with the set values.

이 과정에서 임의의 타이밍마크의 위치가 표준 이미지 설정값의 위치를 벗어났을 경우에는, 예를 들어 도 4a에 나타내는 바와 같이 타이밍마크가 기준위치(도면에 점선으로 표시)보다 우측으로 밀려났을 경우에는 이전 타이밍마크(T1)와 현재 타이밍마크(T2) 사이에 스캔시에 늘어짐이 발생한 것이므로 이 늘어짐을 설정된 간격에 맞도록 축소하는 보정을 한다.In this process, when the position of the arbitrary timing mark is out of the position of the standard image setting value, for example, when the timing mark is pushed to the right of the reference position (indicated by the dotted line in the drawing) as shown in FIG. Since a sag occurred at the time of scanning between the previous timing mark T1 and the current timing mark T2, correction is made to reduce the sag to match the set interval.

그리고, 타이밍마크(T3)의 폭이 도 4b에 나타내는 바와 같이 설정값보다 넓을 경우에는 역시 스캔시 늘어짐이 발생한 것이므로 이를 설정된 폭에 맞도록 축소해주고, 반대로 도 4c에 나타내는 바와 같이 타이밍마크(T4)가 설정된 값보다 폭이 좁을 경우에는 스캔중 건너뜀 현상이 발생되거나 표시카드의 겹침 현상이 발생한 것이므로 이를 설정된 값만큼 늘려주는 보정을 하게 된다.When the width of the timing mark T3 is wider than the set value as shown in FIG. 4B, the sag occurs during scanning. Therefore, the timing mark T3 is reduced to match the set width. In contrast, the timing mark T4 is shown in FIG. 4C. If the width is narrower than the set value, a skipping phenomenon occurs during scanning or overlapping of display cards.

또한, 타이밍마크의 길이 역시 설정된 값과 비교하여 동일하도록 맞추어주는 보정을 수행한다.In addition, the length of the timing mark is compared with the set value, and the correction is performed to be the same.

아울러, 상기한 타이밍마크는 용지의 상/하부에 대칭으로 인쇄될 수도 있는데 이 경우에는 상기한 바와 같은 보정작업을 수행하기 전에 상/하부 타이밍마크가 수직선상에 위치되는지를 판단하여, 상/하부 타이밍마크가 수직선상에 위치되도록 이미지를 보정처리한다.In addition, the timing mark may be symmetrically printed on the upper and lower portions of the paper. In this case, it is determined whether the upper / lower timing mark is positioned on the vertical line before performing the correction operation as described above. The image is corrected so that the timing mark is located on the vertical line.

이는 상부 타이밍마크와 이와 대응되는 하부 타이밍마크를 연결하였을 때 선의 기울어짐이 발생될 경우, 해당 기울어짐만큼 하부이미지 혹은 상부이미지에 늘어짐이 발생된 것이므로 상/하부 타이밍마크가 직선이 되도록 하부이미지를 상부 이미지를 기준으로 오차각만큼 축소해준다.When the upper timing mark and the corresponding lower timing mark are connected to each other, when the inclination of the line occurs, the lower image or the upper image is stretched by the inclination, so the upper / lower timing mark becomes a straight line. Reduce the error angle based on the top image.

아울러, 도 5에 나타내는 바와 같이 상기한 시작점과 끝점의 간격(A1 혹은 A2)을 이용하여 측정된 시작점과 끝점의 간격과 기록된 간격을 비교하여 오차범위를 벗어날 경우에는 용지 겹침이 발생한 것이므로, 이를 작업자에게 표시부를 구성하는 모니터 혹은 경광등 등을 통해서 통보하여 해당 표시카드가 재스캔될 수 있도록 한다.In addition, as shown in FIG. 5, when the gap between the start point and the end point measured by using the gap between the start point and the end point (A1 or A2) and the recorded gap is out of the error range, the paper overlap occurs. The operator is notified through the monitor or the warning lamp which constitutes the display unit so that the display card can be rescanned.

이상과 같은 보정에 의하여 스캔된 이미지가 설정된 기준값에 맞도록 표준화되면 판독장치는 각각의 타이밍마크열과 표시열의 마킹된 부분의 측정값을 이용하여 판독을 하게 된다.When the scanned image is normalized to the set reference value by the correction as described above, the reading apparatus reads using the measured values of each of the timing mark strings and the marked portions of the display strings.

3) 판독 단계3) reading step

상기한 판독 단계에서 각 마크별로 명도값, 색도값 혹은 표기된 면적 등 측정값은 도 6에 나타내는 바와 같이 해당 표기마크 위치에 저장된다.In the above reading step, measured values such as brightness value, chromaticity value or marked area for each mark are stored at the corresponding mark position as shown in FIG.

한편, 판독을 위한 기준으로 명도값을 사용할 경우에는 각 마크별 명암을 확 인하여 다수의 마크 중 정답으로 인정하는 것을 가장 어두운 마크로 하고, 색도값을 사용할 경우 지정된 수정 순서에 따른 색깔로 구분하는데 예를 들면 수정순서를 노란색->녹색->검정색 등으로 지정할 경우 노란색과 녹색이 있으면 녹색을 정답으로 노란색, 녹색, 검정색이 있을 경우 검정색을 정답으로 판단하며 수정기준은 차츰 진한색으로 될 수 있도록 하고, 면적의 경우 명도와 색도에 상관없이 사용자가 설정한 값에 따라 정답으로 인정한다.On the other hand, when the brightness value is used as a reference for reading, the darkest mark is recognized as the darkest mark among the plurality of marks by checking the contrast of each mark, and when the chroma value is used, the color is classified according to the designated correction order. For example, if the order of correction is yellow-> green-> black, if yellow and green are present, green is the correct answer. If yellow, green and black are correct, black is the correct answer. In the case of area, regardless of brightness and chromaticity, the correct answer is accepted according to the value set by the user.

그리고, 상기한 바와 같이 표기된 마크를 판독단계에서는 상기한 측정값 중 실제 마킹을 한 것으로 판단하기 위한 최소값과 여러 차례 수정시 정답으로 판단하기 위하여 다수의 마킹된 마크 중 최종 정답으로 판단하기 위한 마크별 차이값(이하 공차값이라 함)을 기준으로 하여 정답 여부를 판단하게 된다.In the reading step, the mark marked as described above is determined by the mark for determining the final correct answer among the plurality of marked marks in order to determine the minimum value for determining the actual marking among the above-described measured values and the correct answer when corrected several times. The answer is determined based on the difference value (hereinafter referred to as the tolerance value).

이때, 상기한 최소값과 공차값은 키입력부를 통해서 셋팅 과정에서 작업자가 표시부를 통해서 확인하면서 최적치를 설정하게 되는데 이는 표시카드를 판독한 데이터가 메모리에 기록되어 있으므로 최소값과 공차값의 값만 바꾸면 판독 연산부에서 반복 연산이 가능하므로 최적의 측정결과가 나오도록 수회 반복하여 판독할 수 있게 된다.At this time, the minimum value and the tolerance value are set by the operator during the setting process through the key input unit to set the optimum value. This is because the data read the display card is recorded in the memory, and the reading operation unit changes only the value of the minimum value and the tolerance value. Because it is possible to repeat operation in, it can be read several times to get the best measurement result.

그 예로서, 도 6에서 첫번째 열의 답란에서 1번째 줄의 판독값을 살펴보면, 1은 '147', 2는 '181', 3은 '49', 4는 '50', 5는 '49'의 측정값을 갖는데, 최소값을 '70'으로 하고 공차를 '1'로 설정해놓을 경우에는 3,4,5는 제외되고, 1,2 중 공차가 '1'보다 크면서 크기가 큰 2가 정답으로 판단된다.As an example, in the answer column of the first column in FIG. 6, the reading of the first line shows that 1 is '147', 2 is '181', 3 is '49', 4 is '50', and 5 is '49'. If the minimum value is '70' and the tolerance is set to '1', 3,4,5 is excluded, and 2, which is larger than 1 and larger in magnitude, is the correct answer. Judging.

한편, 상기한 셋팅 과정에서 최소값을 40으로 할 경우에는 1~5모두 마킹된 것으로 확인되고 이들의 값 중 최대값을 찾아야 하므로 판독시간이 오래 걸리고, 공차값을 극단적으로 '40'으로 할 경우에는 1과 2의 공차가 '34'이므로 모두 정답으로 판단되는 오류 또는 정답을 두개로 인식하는 문제가 발생하게 된다.On the other hand, when setting the minimum value to 40 in the above setting process, it is confirmed that all of 1 to 5 are marked, and the maximum value of these values must be found, so that the reading time is long and the tolerance value is extremely '40'. Since the tolerance of 1 and 2 is '34', there is a problem of recognizing the error or the correct answer which are both judged as correct answers.

따라서 반복적으로 최소값과 공차값을 최적이 되도록 다시 수정하여 판독함으로써 판독오류를 최소로 할 수 있다.Therefore, the reading error can be minimized by repeatedly modifying and reading the minimum value and the tolerance value again to be optimal.

이와 같이 최소값은 낮을수록 공차는 높을수록 판독시의 에러율이 높아지게 되고, 최소값을 높게 조정하고 공차를 낮게 조정할수록 에러율은 낮아진다.In this way, the lower the minimum value, the higher the tolerance, the higher the error rate at reading, and the higher the minimum value and the lower the tolerance, the lower the error rate.

이상과 같이 구성된 본 발명에 의하면 판독시에 발생되는 기울어짐, 늘어짐 등의 스캔 오류를 쉽게 보정하고, 타이밍마크의 위치를 미리 설정해둠으로써 빠른 속도의 위치결정이 가능하며, 용지 겹침 등을 프로그램에서 확인할 수 있어서 판독의 정확도가 향상되는 효과가 있다.According to the present invention configured as described above, it is possible to easily correct scanning errors such as tilting and sagging during reading, and to set the position of the timing mark in advance so that high-speed positioning is possible, and paper stacking and the like can be used in the program. As a result, the accuracy of reading can be improved.

또한, 스캔된 이미지의 마킹 부분의 측정값을 기록하고 이를 판독하기 위한 최소값과 공차값을 프로그램을 통해서 조정하므로 판독 속도 향상, 판독비용 절감 및 한 번의 판독으로 여러 번 판독한 효과를 얻을 수 있게 되어 판독의 정확도가 향상되는 효과가 있다.In addition, the program records the measured values of the marking part of the scanned image and adjusts the minimum and tolerance values for reading them, which improves the reading speed, reduces the cost of reading, and provides the effect of multiple readings in one reading. There is an effect that the accuracy of reading is improved.

Claims (6)

키입력부로부터 출력되는 신호에 따라 스캔 처리부에서 입력된 이미지 데이터를 이미지처리부에서 정렬한 후 판독 연산부에서 판독이 이루어지도록 제어부가 제어하는 표시카드 판독 장치를 사용한 판독방법에 있어서, A reading method using a display card reading apparatus in which a control unit controls the reading operation unit to read the image data inputted from the scan processing unit in accordance with a signal output from the key input unit and then read in the reading processing unit. 키입력부를 통해서 표준 이미지 설정값인 스캔될 표시카드의 실제 타이밍마크의 위치와 간격, 넓이, 길이 및 스캔될 표시카드의 스캔 방향 양측 종단에 각각 표기된 시작점과 끝점의 간격을 선택적으로 혹은 모두 사용자가 설정하여 메모리에 기록하는 셋팅 단계,Through the key input, the user can select the position and spacing, the width, the length of the actual timing mark of the display card to be scanned, and the spacing of the start and end points respectively on both ends of the scanning direction of the display card to be scanned. Setting step of setting and writing to memory, 상기한 셋팅 단계를 거친 후 메모리에 기록된 표준 이미지 설정값을 기준으로 스캔된 이미지의 타이밍마크와 시작점, 끝점을 비교하여 표준 이미지와 대응되도록 이미지 처리부에서 이미지 늘림, 축소, 회전등의 보정을 수행하는 표준화 단계,After the above setting steps, the image processing unit adjusts the image stretching, reduction, and rotation to match the standard image by comparing the timing mark with the start point and the end point of the scanned image based on the standard image setting values recorded in the memory. Standardization stage, 상기한 표준화 단계를 거친 이미지 데이터를 판독 연산부에서 판독한 후 그 결과를 기록하는 판독 단계로 구성되는 것을 특징으로 하는 이미지처리를 통한 광학마크 표시카드 판독 방법.And a reading step of reading the image data which has undergone the above-described standardization step in a reading operation unit and then recording the result thereof. 제 1항에 있어서, 상기한 타이밍마크는 용지의 양측 가장자리에 대칭되게 배열되어, 상기한 표준화 단계에서 대칭되는 타이밍마크의 위치가 직선이 되도록 이미지 데이터를 보정하는 과정을 수행하는 것을 특징으로 하는 이미지처리를 통한 광학마크 표시카드 판독 방법.2. The image as claimed in claim 1, wherein the timing marks are symmetrically arranged at both edges of the paper, and the image data is corrected so that the positions of the timing marks that are symmetric in the normalizing step become straight lines. Method of reading optical mark display card through processing. 키입력부로부터 출력되는 신호에 따라 스캔처리부에서 입력된 이미지 데이터를 이미지처리부에서 정렬한 후 판독 연산부에서 판독이 이루어지도록 제어부가 제어하는 표시카드 판독 장치를 사용한 판독방법에 있어서, A reading method using a display card reading apparatus in which the control unit controls the reading operation unit to read the image data inputted by the scan processing unit in accordance with a signal output from the key input unit, and then read in the reading processing unit. 키입력부를 통해서 스캔될 표시카드의 판독오류 방지용 설정값인 각 마크별로 명도값, 색도값 혹은 표기된 면적 등 판독을 위한 측정값의 범위 내에서 실제 마킹을 한 것으로 판단하기 위한 최소값과 여러 차례 수정시 정답으로 판단하기 위하여 다수의 마킹된 마크 중 최종 정답으로 판단하기 위한 마크별 차이값(이하 공차값이라 함)을 사용자가 설정하여 메모리에 기록하는 셋팅 단계,The minimum value to judge that the actual marking is made within the range of the measured value for reading such as brightness value, chromaticity value or marked area for each mark, which is the setting value for preventing the reading error of the display card to be scanned through the key input unit A setting step in which a user sets a difference value for each mark (hereinafter, referred to as a tolerance value) for judging the final correct answer among the plurality of marked marks in order to judge the correct answer, and records the result in a memory; 상기한 셋팅 단계를 거친 후 스캔된 이미지를 표준이미지와 대응되도록 이미지 처리부에서 이미지 보정하는 표준화 단계,A standardization step of correcting an image in the image processing unit to correspond to the standard image after the setting step; 상기한 표준화 단계를 거친 이미지 데이터를 판독 연산부에서 셋팅 단계에서 기 설정된 값을 기준으로 판독한 후 그 결과를 기록하는 판독 단계 및, A reading step of reading the image data which has undergone the above-described standardization step based on the value set in the setting step by the reading operation unit and recording the result thereof; 상기한 판독 단계를 수행한 작업자가 키입력부를 통해서 새로운 판독오류 방지용 설정값을 설정하고, 판독 단계에서 측정되어 메모리에 저장된 측정값 데이터로 판독 연산부가 재판독하도록 하여 최적의 판독율이 나오도록 과정을 반복하는 검증 단계로 구성되는 것을 특징으로 하는 이미지처리를 통한 광학마크 표시카드 판독 방법.The operator who has performed the above reading step sets a new reading error prevention setting value through the key input unit, and causes the reading operation unit to read back the measured value data measured in the reading step and stored in the memory so that the optimum reading rate is obtained. And a verification step of repeating the optical mark display card reading method through the image processing. 키입력부로부터 출력되는 신호에 따라 스캔 처리부에서 입력된 이미지 데이터를 이미지처리부에서 정렬한 후 판독 연산부에서 판독이 이루어지도록 제어부가 제어하는 표시카드 판독 장치를 사용한 판독방법에 있어서, A reading method using a display card reading apparatus in which a control unit controls the reading operation unit to read the image data inputted from the scan processing unit in accordance with a signal output from the key input unit and then read in the reading processing unit. 키입력부를 통해서 스캔될 표시카드의 표준 이미지 설정값인 스캔될 표시카드의 실제 타이밍마크의 위치와 간격, 길이, 폭 및 스캔될 표시카드의 스캔방향 양측 종단에 각각 표기된 시작점과 끝점의 간격을 선택적으로 혹은 모두 사용자가 설정함과 아울러 판독오류 방지용 설정값인 각 마크별로 명도값, 색도값 혹은 표기된 면적 등 판독을 위한 측정값의 범위 내에서 실제 마킹을 한 것으로 판단하기 위한 최소값과 여러 차례 수정시 정답으로 판단하기 위하여 다수의 마킹된 마크 중 최종 정답으로 판단하기 위한 마크별 차이값(이하 공차값이라 함)을 사용자가 설정하여 메모리에 기록하는 셋팅 단계,Optionally select the position, spacing, length, width, and start and end points of the end of each display in the scanning direction of the display card to be scanned, which is the standard image setting value of the display card to be scanned through the key input unit. The minimum value and the number of modifications to determine that the actual marking is made within the range of the measured value for reading such as brightness value, chromaticity value or marked area for each mark that is set by the user or is set by the user. A setting step in which a user sets a difference value for each mark (hereinafter, referred to as a tolerance value) for judging the final correct answer among the plurality of marked marks in order to judge the correct answer, and records the result in a memory; 상기한 셋팅 단계를 거친 후 스캔된 이미지를 셋팅 단계에서 설정된 값을 기준으로 표준이미지와 대응되도록 이미지 처리부에서 이미지 보정하는 표준화 단계,A standardization step of correcting an image in the image processing unit to correspond to the standard image based on the value set in the setting step after the setting step; 상기한 표준화 단계를 거친 이미지 데이터를 판독 연산부에서 셋팅 단계에서 기 설정된 값을 기준으로 판독한 후 그 결과를 기록하는 판독 단계 및, A reading step of reading the image data which has undergone the above-described standardization step based on the value set in the setting step by the reading operation unit and recording the result thereof; 상기한 판독 단계를 수행한 작업자가 키입력부를 통해서 새로운 판독오류 방지용 설정값을 설정하고, 판독 단계에서 측정되어 메모리에 저장된 측정값 데이터로 판독 연산부가 재판독하도록 하여 최적의 판독율이 나오도록 과정을 반복하는 검증 단계로 구성되는 것을 특징으로 하는 이미지처리를 통한 광학마크 표시카드 판독 방법.The operator who has performed the above reading step sets a new reading error prevention setting value through the key input unit, and causes the reading operation unit to read back the measured value data measured in the reading step and stored in the memory so that the optimum reading rate is obtained. And a verification step of repeating the optical mark display card reading method through the image processing. 삭제delete 삭제delete
KR1020060054773A 2006-06-19 2006-06-19 Optical Mark Recognition method by image process and Optical Mark Recognition card KR100837887B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060054773A KR100837887B1 (en) 2006-06-19 2006-06-19 Optical Mark Recognition method by image process and Optical Mark Recognition card

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060054773A KR100837887B1 (en) 2006-06-19 2006-06-19 Optical Mark Recognition method by image process and Optical Mark Recognition card

Publications (2)

Publication Number Publication Date
KR20070120258A KR20070120258A (en) 2007-12-24
KR100837887B1 true KR100837887B1 (en) 2008-06-13

Family

ID=39138119

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060054773A KR100837887B1 (en) 2006-06-19 2006-06-19 Optical Mark Recognition method by image process and Optical Mark Recognition card

Country Status (1)

Country Link
KR (1) KR100837887B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101278496B1 (en) * 2009-11-14 2013-07-02 권승철 The system for manufacturing an incorrect answer note and the method for manufacturing the same

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09293118A (en) * 1996-04-25 1997-11-11 Nec Eng Ltd Mark sheet reader
JPH10208001A (en) 1997-01-28 1998-08-07 Denso Corp Two-dimensional code and two-dimensional reading method
JP2001160114A (en) 1999-09-21 2001-06-12 Omron Corp Two-dimensional dot code and its reader
KR20030028777A (en) * 2003-01-21 2003-04-10 김태호 CRS-CODE and CRS-CODE encoding and decoding method of the same
JP2003346105A (en) 2002-04-29 2003-12-05 Shenzhen Syscan Technology Co Ltd Two-dimensional bar code and method for recording the same
KR100453533B1 (en) * 2003-11-04 2004-10-21 (주)우린하나 Examination paper marking apparatus and its method
KR100468461B1 (en) * 2004-02-26 2005-01-31 김완묵 OMR Reader By Image Processing (Local Or Remote Processing)

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09293118A (en) * 1996-04-25 1997-11-11 Nec Eng Ltd Mark sheet reader
JPH10208001A (en) 1997-01-28 1998-08-07 Denso Corp Two-dimensional code and two-dimensional reading method
JP2001160114A (en) 1999-09-21 2001-06-12 Omron Corp Two-dimensional dot code and its reader
JP2003346105A (en) 2002-04-29 2003-12-05 Shenzhen Syscan Technology Co Ltd Two-dimensional bar code and method for recording the same
KR20030028777A (en) * 2003-01-21 2003-04-10 김태호 CRS-CODE and CRS-CODE encoding and decoding method of the same
KR100453533B1 (en) * 2003-11-04 2004-10-21 (주)우린하나 Examination paper marking apparatus and its method
KR100468461B1 (en) * 2004-02-26 2005-01-31 김완묵 OMR Reader By Image Processing (Local Or Remote Processing)

Also Published As

Publication number Publication date
KR20070120258A (en) 2007-12-24

Similar Documents

Publication Publication Date Title
US7573616B2 (en) Enhanced data capture from imaged documents
US5140139A (en) Preparing mark/read documents with markable boxes and locating the boxes from the document scan data
US6741738B2 (en) Method of optical mark recognition
JP5624671B2 (en) Character string cutting method and character string cutting device
KR101648756B1 (en) Examination paper recognition and scoring system
US7564587B2 (en) Method of scoring a printed form having targets to be marked
US6600482B1 (en) Method and system for form recognition and digitized image processing
US20050201639A1 (en) Scannable form, system and method for image alignment and identification
US8331740B2 (en) Inferential self-registration of imperfect OMR forms
KR100837887B1 (en) Optical Mark Recognition method by image process and Optical Mark Recognition card
US8336779B1 (en) System for automatically reading a response form using a digital camera
JP3960751B2 (en) Printer top edge position correction method and computer readable medium
US6726102B2 (en) Data recording medium and code reader
KR100453533B1 (en) Examination paper marking apparatus and its method
US8488220B1 (en) Method and apparatus for calibrating imaging equipment
JPH09237312A (en) Optical character reader
KR101281805B1 (en) Method for recognizing optical mark recognition card by image process
JPH03263282A (en) Character segmenting method for character reader
JP4068909B2 (en) Writing input device, writing input method, program, and storage medium
US20090232404A1 (en) System and method for optical mark recognition
CN117475453B (en) Document detection method and device based on OCR and electronic equipment
JPH07210628A (en) License reader
JPH07192087A (en) Optical character reader
JP2001126025A (en) For ocr format parameter generation method
JPS59180783A (en) Optical character reader

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130315

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140314

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150603

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160509

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20180605

Year of fee payment: 11