KR100431786B1 - 위변조의 방지가 가능한 문서를 인증하는 장치 - Google Patents

위변조의 방지가 가능한 문서를 인증하는 장치 Download PDF

Info

Publication number
KR100431786B1
KR100431786B1 KR10-2002-0023903A KR20020023903A KR100431786B1 KR 100431786 B1 KR100431786 B1 KR 100431786B1 KR 20020023903 A KR20020023903 A KR 20020023903A KR 100431786 B1 KR100431786 B1 KR 100431786B1
Authority
KR
South Korea
Prior art keywords
document
information
unit
barcode
watermark
Prior art date
Application number
KR10-2002-0023903A
Other languages
English (en)
Other versions
KR20030085697A (ko
Inventor
김종원
최종욱
장완호
최홍윤
Original Assignee
주식회사 마크애니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 마크애니 filed Critical 주식회사 마크애니
Priority to KR10-2002-0023903A priority Critical patent/KR100431786B1/ko
Publication of KR20030085697A publication Critical patent/KR20030085697A/ko
Application granted granted Critical
Publication of KR100431786B1 publication Critical patent/KR100431786B1/ko

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B42—BOOKBINDING; ALBUMS; FILES; SPECIAL PRINTED MATTER
    • B42D—BOOKS; BOOK COVERS; LOOSE LEAVES; PRINTED MATTER CHARACTERISED BY IDENTIFICATION OR SECURITY FEATURES; PRINTED MATTER OF SPECIAL FORMAT OR STYLE NOT OTHERWISE PROVIDED FOR; DEVICES FOR USE THEREWITH AND NOT OTHERWISE PROVIDED FOR; MOVABLE-STRIP WRITING OR READING APPARATUS
    • B42D25/00—Information-bearing cards or sheet-like structures characterised by identification or security features; Manufacture thereof
    • B42D25/30—Identification or security features, e.g. for preventing forgery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
    • G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
    • G06K7/14—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation using light without selection of wavelength, e.g. sensing reflected white light
    • G06K7/1404—Methods for optical code recognition
    • G06K7/1408—Methods for optical code recognition the method being specifically adapted for the type of code
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K1/00—Methods or arrangements for marking the record carrier in digital fashion
    • G06K1/12—Methods or arrangements for marking the record carrier in digital fashion otherwise than by punching
    • G06K1/121—Methods or arrangements for marking the record carrier in digital fashion otherwise than by punching by printing code marks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K17/00—Methods or arrangements for effecting co-operative working between equipments covered by two or more of main groups G06K1/00 - G06K15/00, e.g. automatic card files incorporating conveying and reading operations

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Electromagnetism (AREA)
  • General Health & Medical Sciences (AREA)
  • Toxicology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)

Abstract

워터마크 및 바코드가 삽입된 출력문서를 오프라인상에서 인증하기 위한 문서 인증 장치가 개시된다. 스캐닝부에서는 문서가 스캐닝되어 문서의 내용 정보, 문서에 삽입된 바코드 정보, 및 문서에 삽입된 워터마크 정보를 포함하는 디지털 신호를 출력한다. 디코더/인증부에서는 스캐닝부로부터 디지털 신호를 수신하고, 수신된 디지털 신호로부터 문서의 내용 정보, 바코드 정보, 및 워터마크 정보가 각각 분리되며, 분리된 각 정보들은 상호 비교되어, 비교 결과에 따라 문서의 위변조 여부가 확인된다.

Description

위변조의 방지가 가능한 문서를 인증하는 장치{APPARATUS FOR AUTHENTICATING DOCUMENT WHICH IS CAPABLE OF PREVENTING A FORGERY OR AN ALTERATION}
본 발명은 위변조의 방지가 가능한 문서를 인증하는 장치에 관한 것으로, 보다 구체적으로는 워터마크 및 바코드가 삽입된 출력문서를 오프라인상에서 인증하기 위한 문서 인증 장치에 관한 것이다.
본 출원의 출원인과 동일한 출원인에 의해 2002년 2월 1일자로 출원되고 현재 미공개되었으며, 발명의 명칭이 "위변조의 방지가 가능한 문서를 제작하는 장치 및 방법, 그리고 상기 문서를 인증하는 장치 및 방법" 인 한국 특허출원 제 2002-5943 호에는, 온라인 또는 오프라인상의 문서에 워터마크 및 바코드를 중복 삽입하여 추후 이들을 인증하는 기술이 개시되어 있다. 상기 한국특허출원에 개시된 내용은 본 출원의 출원일 당시 불특정 다수에게 공지된 기술이 아님을 명확히 한다.
본 발명은 상기 특허출원의 기술에 의해 제작된 문서를 오프라인 상에서 인증하는 구체적인 장치에 관한 것이다. 상기 한국 특허출원 제 2002-5943 호에 개시된 내용은 본 명세서에 참조로써 모두 포함된다.
본 발명에 따른 문서인증 장치에서 인증되는 대상인 바코드 및 워터마크가삽입된 문서를 제작하는 과정을 도 1 및 도 2 를 참조로 하여 설명한다.
도 1 은 본 발명에 따라 온라인상의 문서에 바코드 및 워터마크를 삽입하여 위변조의 확인이 가능한 문서를 제작하는 과정을 나타내는 블록도이고, 도 2 는 본 발명에 따라 오프라인상의 문서에 바코드 및 워터마크를 삽입하여 위변조의 확인이 가능한 문서를 제작하는 과정을 나타내는 블록도이다.
도 1 을 참조로 하면, 본 발명에 따른 문서를 제작하는 장치 (100) 는 문서의 정보에 기초하여 바코드를 생성하는 바코드 생성부 (120), 문서의 정보에 기초하여 워터마크를 생성하는 워터마크 생성부 (150), 생성된 바코드 및 워터마크를 결합하는 결합부 (170), 결합된 바코드 및 워터마크를 문서에 삽입하는 삽입부 (180) 를 포함하여 구성된다.
온라인상의 문서 (110) 는 통상의 소프트웨어 (예를들어, Microsoft Word, 아래한글, 훈민정음과 같은 워드 프로세싱용 프로그램 및 QUARKEXPRESS 등과 같은 출판용 프로그램 등) 를 통해 작성된 디지털 파일 형태의 전자문서이다. 또는, 상기 통상의 소프트웨어를 통해 작성된 문서 및 CAD, PHOTOSHOP, PDF 파일 같은 이미지 파일이나 이미지와 텍스트의 형태로 결합한 형태로 변환시킨 것이 모두 가능하다
바코드 생성부 (120) 에서는, 온라인상의 문서 (110) 에 포함된 정보를 토대로 하여 일련의 정보를 바코드 입력형태로 변환하여, 문서에 삽입가능한 이미지 형태의 바코드 (130) 를 생성한다. 문서에 포함된 정보를 바코드 형태로 변환하기에 앞서 문서의 정보를 이미지 부분과 텍스트 부분의 정보로 구분하는 것도 유용한데, 그 이유는 문서내의 이미지 및 텍스트 부분의 위치정보까지 바코드 생성에 이용하기 위함이다.
바코드 생성부 (120) 에서 생성되는 바코드는 굵거나 가는 바 (검은 막대) 와 스페이스 (흰 막대) 의 조합에 의해 영 숫자 또는 특수 기호를 광학적으로 판독하기 쉽게 부호화한 것이다. 이를 이용하여 정보의 표현과 정보의 수집 및 해독을 가능하게 한다.
문자나 숫자를 나타내는 검은 바와 흰 공간의 연속으로 바와 스페이스를 특정하게 배열해 이진수 0과 1의 비트로 표현되고, 이들을 조합해 정보로 이용하게 되는데, 이들은 심벌로지라고 하는 바코드 언어에 의해 정의된 규칙에 의해 만들어진다. 즉, 바코드는 컴퓨터 내부 로직의 기본인 0과 1의 비트로 이루어진 하나의 언어로, 바의 두께와 스페이스의 폭의 비율에 따라 여러 종류의 코드 체계가 있다.
이렇게 인쇄된 코드는 추후 바코드 인식 장치에 빛의 반사를 이용해서 데이터를 재생시키며 재생된 데이터를 수집, 전송하는 것이다. 상기 과정에서 사용되는 바코드는 1차원 바코드, 2차원 바코드, 컬러코드, 연속형 또는 불연속형 바코드 및 이와 유사한 다양한 형태의 바코드 등이 가능하다.
또한, 바코드 생성부 (120) 에서 바코드를 생성하는 방법으로는 상기문서의 내용을 자동으로 바코드 정보로 변환하여 생성하는 것, 또는 사용자에 의하여 특정 정보만을 문서에서 추출하여 바코드 정보로 변환하여 생성하는 것이 가능하다.
또한, 상기 바코드 생성에서 사용되는 상기 구분된 텍스트부는 이미지 부분에서 문자 혹은 텍스트 부분을 문자인식 과정을 통하여 인식한 문자열, 혹은 텍스트를 포함하는 것이 가능하다. 추가로, 바코드 생성부 (120) 에서 생성되는 바코드 정보는 텍스트 전체를 생성정보로 사용하는 방법과 텍스트의 일부를 바코드의 생성정보로 사용하는 것, 또는 이미지의 정보를 사용하는 방법, 그리고 상기 온라인상의 문서 (110) 의 텍스트 정보와 이미지 정보의 일부 혹은 전체를 바코드의 생성정보로 사용하는 것이 모두 가능하다.
상기와 같은 바코드의 생성과 병행하여, 키생성부 (140) 에서는 온라인상의 문서 (110) 에 포함된 정보를 토대로 하여 워터마크 키가 생성된다. 여기서 생성되는 키 정보는 워터마크를 삽입하고 추출하기 위한 정보라고 할 수 있다. 또한, 키로써 생성되는데 기초가 되는 문서 (110) 에 포함된 정보는 문서를 제작하는 공공기관이나 회사의 마크, 혹은 회사로고와 같은 이미지 정보, 문서에 할당된 고유번호(SERIAL NUMBER), 혹은 사용자에 의해 임의 설정된 숫자나 문자의 조합, 날짜, 또는 이미지 정보와 숫자 혹은 문자의 조합이 가능하다. 바코드의 생성에 이용되는 문서의 정보와 워터마크 키의 생성에 이용되는 문서의 정보는 서로 같은 것이어도 되고, 서로 다른 것이어도 관계없다.
워터마크 생성부 (150) 에서는, 키 생성부 (140) 에서 생성된 워터마크 키 정보를 사용하여 문서에 삽입될 이미지 형태의 워터마크 (160) 를 생성한다. 그러나, 상기 워터마크 (160) 는 반드시 이미지 형태로 제한되지는 않는다. 본 발명에 적용될 수 있는 워터마킹 기술은 기존에 제안되거나 발표된 모든 워터마킹 기술을 적용할 수 있다.
예를 들어 본 출원인과 동일한 출원인에 의해 출원된 "웨이블렛 변환 및 이산코사인 변환을 이용한 칼라 이미지의 워터마킹 방법 (한국특허등록 제 285077 호)", "텍스트 워터마크 삽입 방법 및 장치 (한국특허출원 제 1999-58131 호)", "연약한 워터마크 기술을 이용한 문서변조방지기술 (한국특허출원 제 2000-1096 호)", 및 "디지털 증명서의 발급 및 인증을 위한 텍스트의 삽입방법 및 장치 (한국특허출원 제 2000-65038 호)" 등에 개시된 워터마킹 기술을 본 발명의 워터마크 생성 및 추후의 검출과정에 이용할 수 있다.
또한, 상기 문서에 발생될 수 있는 위변조를 방지하기 위하여 생성되는 워터마크 (160) 는 육안으로 확인이 가능한 가시적인 워터마크 (Visible Watermark) 및 육안으로 확인이 불가능한 비가시적인 워터마크 (Invisible Watermark) 둘 모두 사용이 가능하다. 하지만 통상적인 경우 비가시적인 워터마크를 사용한다.
또한, 상기 워터마크 (160) 의 종류는 강인한 워터마크(Robust Watermark) 또는 연약한 워터마크 (Fragile Watermark), 또는 강인한 워터마크와 연약한 워터마크의 결합방식이 모두 가능하다.
또한, 본 발명에서 상기 워터마크 (160) 에 추가적으로 광학적 워터마크를 생성하여 문서에 삽입할 수도 있다. 광학적 워터마크라함은 광간섭, 잠상현출, 또는 이와 유사한 광학적 현상을 이용한 워터마크로써, 광학적 워터마크가 삽입된 문서가 불법복사된 경우 문서에 예를들어 COPY, COPIED, FORGERY 등의 문자가 나타나게 되어 불법복사 여부가 판명된다. 이러한 광학적 워터마크에 대해서는 본 출원인과 동일한 출원인에 의해 출원된 "문서의 복사 및 위조/변조 방지 및 인증장치 (한국특허출원 제 2001-33568 호)" 에 상세히 개시되어 있다.
문서 (140) 에 포함된 정보로 부터 각각 생성된 바코드 (130) 와 워터마크 (160) 는 결합기 (170) 에서 결합된 형태로 바뀌게 된다. 결합기(170) 에서는 이미지 형태로 생성된 바코드 (130) 와 이미지 형태로 생성된 워터마크 (160) 가 상호 간섭으로 인하여 훼손되지 않게끔 결합된다.
결합방법은 바코드 (130) 와 워터마크 (170) 를 각각 별도의 위치로 분리하여 결합하는 방법과 바코드 (130) 와 워터마크 (170) 를 중첩하여 결합하는 방법이 모두 가능하다. 그러나, 바코드 (130) 와 워터마크 (170) 가 별도의 위치에 구성된 경우는 바코드 자체의 위변조를 감지하기 어렵기 때문에 바코드 (130) 와 워터마크 (170) 를 중첩하여 결합하는 방법을 따르는 것이 바람직하다.
또한, 바코드 (130) 와 워터마크 (170) 의 결합에서 바코드 자체의 위변조 여부를 확인하기 위하여 바코드 보다 크기가 더 큰 워터마크를 삽입하는 것이 바람직하다. 이는 추후 불순한 의도를 가진 자가 바코드 자체를 바꾸어 변조하였을 경우에, 워터마크의 남은 부분을 통해 문서의 인증을 하기 위함이다.
또한, 워터마크 (170) 와 바코드 (130) 의 결합시 비가시적인 워터마크를 사용한 경우, 비가시적인 워터마크는 그 특성상 육안으로 감지되지 않으며 바코드와의 상호간섭이 거의 일어나지 않으므로 결합에 의한 바코드나 워터마크의 훼손은 발생하지 않는다.
다음으로, 삽입부 (180) 에서는 상기 결합부 (170) 에서 결합된 워터마크 (170) 와 바코드 (130) 를 문서 (110) 에 삽입하게 되는데, 삽입 방법으로는 문서 (110) 의 이미지 부분에 삽입하는 방법 또는 문서 (110) 를 이미지 파일로 변환한후에 삽입하는 방법이 모두 가능하다.
이상과 같은 삽입부 (180) 에서의 워터마크 (170) 와 바코드 (130) 의 문서 (110) 로의 삽입으로써 바코드 및 워터마크가 삽입된 문서 (190) 가 제작된다.
상기 일련의 과정을 거쳐 제작된 문서 (190) 는 문서의 정보가 바코드에 삽입되어 있으며, 문서의 정보는 바코드에 의해 정보가 보호되기 때문에, 만일 문서가 편집되거나 수정되는 경우 그 내용의 변경을 확인할 수가 있으며, 따라서 상기 제작된 문서 (190) 수정이나 편집에 안전한 문서로써 온라인 및 오프라인에서 사용이 가능하게 된다. 또한, 사용자에 의해 바코드가 고의적으로 교체되는 경우는 바코드를 포함하고 있는 워터마크에 의해 바코드 부분의 워터마크가 삭제되었으므로 워터마크 검출시 바코드 자체가 위변조 되었음을 확인할 수가 있다.
다음으로, 오프라인상의 문서에 워터마크 및 바코드를 삽입하여 문서를 제작하는 과정을 도 2 를 참조로 하여 설명하기로 한다. 도 2 는 본 발명의 다른 실시예에 따라 오프라인상의 문서에 바코드 및 워터마크를 삽입하여 위변조의 확인이 가능한 문서를 제작하는 과정을 나타내는 블록도이다.
기업이나 정부에서 사용되는 문서는 디지털 과정을 거치지 않은 경우가 많기 때문에 이를 온라인 상에서 사용하기 위해서는 오프라인 상의 문서를 디지털화 하여 온라인 문서로 전환하는 경우가 많다. 여기서 오프라인 상의 문서 (210) 란 컴퓨터를 통하지 않고 직접 오프라인상에서 만들어진 문서 또는 온라인상에서 만들어진 후 프린터등을 통해 출력된 문서 또는 출력후 사용자의 필요에 따라 서명이나 날인등의 추가정보가 삽입된 문서의 원본을 말한다.
도 2 의 문서제작장치 (200) 는 문서변환부 (215) 를 더 포함하며, 오프라인상의 문서 (210) 는 문서변환부 (215) 에서 스캐너를 포함한 광학처리 장치에 의하여 이미지 파일 형태로 변환하여 온라인 문서로 변환 된다.
또한, 문서변환부 (215) 에서는 OCR(Optical Characteristic Recognition) 장치 또는 광학처리 장치를 통하여 문서가 변환되는 과정에서 추가로 OCR프로그램에 의해, 전자 파일의 텍스트 일부 혹은 전부가 문서의 텍스트형태로 변환되는 과정이 포함될 수 있다.
또한 상기 문서 변환부 (215) 에서 오프라인 상의 문서 (210) 가 이미지 파일 형태를 변환되는 과정에서, 문자 또는 그림이나 도면의 이미지정보를 바코드 삽입정보의 일부로 사용하는 것이 가능하다.
이하, 바코드 생성부 (220) 를 통해 생성된 바코드 (230) 및 키생성부 (240) 와 워터마크 생성부 (250) 를 통해 생성된 워터마크 (260) 는 결합부 (270) 에서 결합되고, 삽입부 (280) 에서 문서 (210) 에 삽입되어 결과적으로 바코드 및 워터마크가 삽입된 문서 (280) 가 제작되며, 이러한 일련의 과정은 도 1 을 참조로 하여 설명한 온라인상의 전자문서에 바코드 및 워터마크를 삽입하여 문서를 제작하는 실시예에서 대응되는 부분과 동일한 과정이므로 이에 대한 상세한 설명은 생략하기로 한다.
본 발명의 위변조의 방지가 가능한 문서인증 장치는 상기 도 1 및 도 2 의 제작과정을 통해 제작된 바코드 및 워터마크가 삽입된 문서를 오프라인 상에서 인증하기 위한 장치이다.
본 발명의 목적은 워터마크 및 바코드가 삽입된 출력문서의 위변조여부를 오프라인 상에서 간편하게 확인 및 인증하는 장치를 제공하는 것이다.
본 발명의 다른 목적은 문서 자체의 위변조 뿐만 아니라 문서에 삽입된 바코드 자체의 위변조 여부 까지도 확인 할 수 있는 문서인증 장치를 제공하는 것이다.
본 발명의 또다른 목적은 통상적인 바코드의 인식 기능에 부가적으로 바코드 및 워터마크를 사용한 문서의 인증 기능이 첨가된 단일의 문서인증 장치를 제공하는 것이다.
도 1 은 본 발명에 따라 온라인상의 문서에 바코드 및 워터마크를 삽입하여 위변조의 확인이 가능한 문서를 제작하는 과정을 나타내는 블록도이다.
도 2 는 본 발명에 따라 오프라인상의 문서에 바코드 및 워터마크를 삽입하여 위변조의 확인이 가능한 문서를 제작하는 과정을 나타내는 블록도이다.
도 3 은 본 발명에 따른 문서를 인증하는 장치의 구성을 개략적으로 나타낸 도면이다.
도 4 는 본 발명에 따른 문서를 인증하는 장치의 세부적인 구성을 나타낸 블록도이다.
* 도면의 주요부분에 대한 부호의 설명 *
300 : 문서인증 장치 320 : 스캐닝부
322 : 광원변환부 324 : 색보정부
326 : A/D 변환부 340 : 디코더/인증부
342 : 분기부 344 : 문서 인식부
346 : 바코드 검출부 348 : 워터마크 검출부
350 : 비교부 352 : I/O 기능부
354 : 출력부 356 : 경보부
360 : 컴퓨터
본 발명의 일 태양에 따르면, 본 발명은 문서의 위변조 여부를 확인하기 위하여 바코드 및 워터마크가 삽입된 문서를 인증하는 장치로서, 상기 문서를 스캐닝하여 상기 문서의 내용 정보, 상기 문서에 삽입된 바코드 정보, 및 상기 문서에 삽입된 워터마크 정보를 포함하는 디지털 신호를 출력하는 스캐닝부; 및 상기 스캐닝부로부터 상기 디지털 신호를 수신하고, 상기 수신된 디지털 신호로부터 상기 문서의 내용 정보, 상기 바코드 정보, 및 상기 워터마크 정보를 각각 분리하며, 상기 분리된 각 정보들을 상호 비교하여 상기 문서의 위변조 여부를 확인하는 디코더/인증부를 포함하는 장치를 제공한다.
상기 스캐닝부와 상기 디코더/인증부는 하나의 하드웨어로 통합되어 있는 것이 가능하다.
상기 분리된 각 정보들의 비교는 상기 문서의 내용 정보와 상기 바코드 정보의 비교, 및 상기 문서의 내용 정보와 상기 상기 워터마크 정보의 비교일 수 있다.
또한, 상기 분리된 각 정보들의 비교는 상기 문서의 내용 정보와 상기 바코드 정보의 비교, 및 상기 바코드의 정보와 상기 상기 워터마크 정보의 비교일 수 있다.
또한, 상기 분리된 각 정보들의 비교는 상기 문서의 내용 정보와 상기 워터마크 정보의 비교, 및 상기 바코드의 정보와 상기 워터마크 정보의 비교일 수 있다.
여기에서, 상기 바코드 및 워터마크가 삽입된 문서는 상기 바코드 및 상기 워터마크가 중첩하여 결합된 문서인 것이 바람직하다.
또한, 상기 문서 인증 장치는 상기 디코더/인증부와 연결되며, 상기 디코더/인증부로부터의 문서의 인증 결과를 수신하는 컴퓨터를 더 포함할 수 있다.
여기에서, 상기 컴퓨터는 상기 문서 인증 장치 내에 통합되는 것도 가능하다.
또한, 상기 스캐닝부는 상기 문서를 스캐닝하여 생성된 빛 신호를 전기적인 신호로 변환시키고, 변환된 신호를 증폭시키는 광원변환부; 상기 광원변환부로부터 출력되는 신호의 투과율을 소정 간격으로 조절하는 색보정부; 및 상기 색보정부로부터 출력되는 신호를 디지털 신호로 변환시키는 A/D 변환부를 구비하는 것이 바람직하다.
또한, 상기 디코더/인증부는 상기 스캐닝부로부터 출력되는 상기 디지털 신호를 수신하여, 상기 수신된 디지털 신호를 상기 문서의 내용 정보, 상기 문서에삽입된 바코드 정보, 및 상기 문서에 삽입된 워터마크 정보로 각각 분리하는 분기부; 상기 분기부로부터 수신되는 상기 문서의 내용 정보를 인식하는 문서 인식부; 상기 분기부로부터 수신되는 상기 바코드 정보를 검출하는 바코드 검출부; 상기 분기부로부터 수신되는 상기 워터마크 정보를 검출하는 워터마크 검출부; 및 상기 인식된 문서의 내용정보, 상기 검출된 바코드, 및 상기 검출된 워터마크를 상호 비교하여, 상기 문서의 위변조여부를 확인하는 비교부를 구비하는 것이 바람직하다.
여기에서, 상기 문서 인식부에서 인식되는 문서의 내용정보, 상기 바코드 검출부에서 검출되는 바코드 정보, 및 상기 워터마크 검출부에서 검출되는 워터마크 정보는, 서로 간의 비교를 용이하게 하기 위해서, 각각 소정의 설정된 양식에 따라 테이블 형태로 변환된 후에 상기 비교부로 전송되는 것이 바람직하다.
또한, 상기 장치는 상기 바코드 검출부에 연결되며, 상기 바코드 검출부에서 상기 바코드의 정보가 인식되었음을 사용자에게 알리는 경보부를 더 포함하는 것이 바람직하다.
또한, 상기 장치는 상기 비교부에 연결되며, 상기 비교부에서의 상기 문서의 인증 결과를 디스플레이하여 사용자에게 알리는 출력부를 더 포함하는 것이 바람직하다.
또한, 상기 문서를 스캐닝하는 광원은 바코드 전용 광원 및 상기 문서를 전체적으로 스캐닝하는 광원을 포함하는 것이 바람직하다.
이하, 첨부된 도면을 참조로 하여 본 발명의 바람직한 실시예에 대하여 상세히 설명하기로 한다.
도 3 은 본 발명에 따른 문서를 인증하는 장치 (300) 의 구성을 개략적으로 나타낸 도면이다.
도 3 을 참조로 하면, 본 발명에 따른 문서를 인증하는 장치 (300) 은 바코드 및 워터마크가 삽입된 문서 (380) 를 스캐닝하여 이를 전기적인 디지털 신호로 변환하는 스캐닝부 (320), 및 스캐닝부 (320) 와 연결되며 스캐닝부 (320) 로부터 디지털 신호를 수신하여 이를 해독하고 또한 문서의 인증을 수행하는 디코더/인증부 (340) 를 포함하여 구성된다. 또한, 디코더/인증부 (340) 는 컴퓨터 (360) 와 연결되는 구성일 수도 있다. 컴퓨터 (360) 는 고정식 컴퓨터 뿐 아니라 노트북, PDA 등의 이동식 컴퓨터 또는 핸드폰과 같은 저장 메모리와 연산능력을 가지고 있는 통상의 장치가 될 수도 있다.
도 4 는 본 발명에 따른 문서를 인증하는 장치 (300) 의 세부적인 구성을 나타낸 블록도이다.
도 4 를 참조로 하면, 도 3 의 스캐닝부 (320) 는 광원변환부 (322), 색보정부 (324), 및 A/D 변환부 (326) 를 포함하여 구성된다. 또한, 도 3 의 디코더/인증부 (340) 는 분기부 (342), 문서인식부 (344), 바코드 검출부 (348), 워터마크 검출부 (348), 및 비교부 (350) 를 포함하여 구성된다. 출력부 (354) 및 경보부 (356) 가 디코더/인증부 (340) 와 연결되어 구성될 수 있으며, 디코더/인증부 (340) 는 I/O 기능부 (352) 를 통해 컴퓨터로 연결될 수 있다.
도 3 및 도 4 에서는 스캐닝부 (320) 와 디코더/인증부 (340) 를 분리된 구성요소로서 설명하였으나, 이들 구성요소는 단일의 하드웨어로 제작될 수 있음은물론이다.
이하, 도 3 및 도 4 를 참조로 하여, 본 발명에 따른 문서인증 장치 (300) 의 세부 구성요소의 각 기능 및 본 장치가 문서를 인증하는 과정에 대해 상세히 설명하기로 한다.
우선, 스캐닝부 (320) 에서, 도 1 및 도 2 의 문서제작장치 (100 및 200) 에서 제작된 바코드 및 워터마크가 삽입된 문서 (380) 가 스캐닝 된다.
광원변환부 (322) 의 광원에서 주사된 빛은 문서 (380) 에 삽입된 워터마크 및 바코드, 및 대상 문서 (380) 전체의 내용 (즉, 문자등) 을 스캐닝하게 된다. 광원변환부 (322) 는 보다 구체적으로는 광원발생/주사부, 수광부, 및 증폭부를 포함한다.
광원발생/주사부는 대상 문서 (380) 의 정보 판독을 위한 광원을 발생시키고 이를 문서로 주사하는 부분으로서, 광원으로는 냉음극 형광램프 (Cold cathode fluorescent lamp) 및 LED, He-Ne 레이저, 또는 레이저 다이오드 등이 사용된다. 사용되는 광원으로는 상기 광원이외에 별도의 바코드용 광원으로 하나 또는 그 이상의 광원이 사용되어도 관계없다. 그 이유는, 본 발명에 따른 문서인증 장치에서의 정보판독은 문서의 인증을 위해 대상 문서를 전부 스캐닝할 필요도 있으나, 또한 바코드 인식을 통한 인증외의 바코드 정보만을 신속히 판독해야 할 필요도 있기 때문이다. 즉, 별도의 바코드용 광원을 사용하여 우선 바코드의 정보를 먼저 판독하여 이용하고, 후에 다른 광원을 사용하여 문서의 전부 스캐닝을 포함하는 문서의 인증을 위한 스캐닝을 할 수도 있다.
광원발생/주사부에서 주사된 빛은 문서에서 반사되어 수광부로 향하게 된다. 빛의 반사율은 대상 문서의 문자열, 워터마크부분, 심볼의 바 (bar) 부분, 도트 (dot) 부분에서의 반사율과, 스페이스에서의 반사율이 다르기 때문에, 수광부에서는 이러한 상이한 빛의 양을 감지하여 렌즈를 통해 빛을 전기신호로 바꾸는 CCD (Charge Coupled Device) 를 사용할 수 있다. CCD 는 빛을 전하 (Charge) 로 변환시키고, 이를 전류로 바꾸어주는 기능을 한다.
검출되는 빛의 양은 매우 적기 때문에, 발생되는 전기신호의 양도 적다. 따라서, 발생된 전기신호를 증폭하는 과정이 필요하며, 증폭부에서는 상기 전기신호는 증폭된다.
색보정부 (324) 에서는, 광원변환부 (322) 에서 생성된 전압신호 이미지는 부드러운 이미지 표현을 위해 구간을 설정하여 투과율을 일정한 간격으로 조절된다. 또한, 색보정부 (324) 에서는 밝기와 명암조절, 하프톤 (half tone) 등의 처리가 소프트웨어적으로 이루어진다.
상기 보정처리를 거친 전기신호는 A/D 변환부 (326) 에서 디지털 신호로 변환된다. 즉, 상하한 경계값 (Threshod) 를 정하여 아날로그 신호가 상한 경계값에 도달하면 래치 (latch) 가 동작하여 신호는 하이 상태를 유지하고, 아날로그 신호가 하한 경계값에 도달하면 래치가 동작하여 신호는 로우 상태로 변환된다. 이와 같은 방식으로 아날로그 전기신호는 디지털 신호로 변환된다.
스캐닝부 (320) 로부터 출력된 디지털 신호는 디코더/인증부 (340) 에서 해독되고, 또한 문서의 인증과정이 수행된다.
디코더/인증부 (340) 에서는 후술하는 본 발명에 따른 문서의 위변조여부 확인 및 인증 기능이외에, 일반적으로 바코드 리더기에서 수행되는 바코드 정보판독 기능이 수행된다. 즉, 스캐닝부 (320) 로부터의 디지털 신호의 비트 패턴에 할당된 데이터 값을 생성하여 데이터를 해독한다. 디코더/인증부 (340) 에서 해독된 바코드 정보는 I/O 기능부 (352) 를 통해 컴퓨터 (360) 로 곧바로 전송되어 컴퓨터 (360) 내의 응용프로그램에 의해 이용되거나, 또는 디코더/인증부 (340) 내의 버퍼에 임시저장된 후 한번에 컴퓨터 (360) 로 보내질 수도 있고, 아니면 디코더/인증부 (320) 내의 응용프로그램에 의해 이용될 수 있다.
디코더/인증부 (340) 의 분기부 (342) 에서는, 스캐닝부 (320) 로부터 전송된 정보를 엣지 (Edge) 탐지 과정등을 이용하여 바코드 정보, 워터마크 정보, 및 대상문서의 정보로 영역 분리하는 기능을 수행한다. 이는, 후술하는 비교부 (350) 에서의 문서의 인증을 위해서는 문서에 삽입된 워터마크 정보, 바코드 정보, 및 대상문서의 내용정보가 서로 비교되는 과정이 필요하기 때문이다.
구체적으로 분기부 (342) 에서는 수평과 수직라인, 수직패턴, 배경, 잡음등을 처리하는 과정 (동적 형태 편집 (Dynamic Form Editing)), 손으로 쓴 문자나 숫자를 인식하는 과정 (핸드 프린트 인식 (Hand Pring Recognition)), 숫자로 구성된 코드 및 1차원, 2차원, 또는 칼라코드와 같은 코드부를 인식하는 과정 (바코드 인식 (Bar Code Recognition)), 및 컴퓨터나 타이프라이터와 같은 입력장치로부터 출력된 문자나 숫자를 인식하는 과정 (기계 프린트 인식 (Machine Print Recogniton)) 등이 수행된다.
이와 같이 분기부 (342) 에서 영역분리된 정보의 개별 신호는 각각 문서인식부 (344), 바코드 검출부 (346), 및 워터마크 검출부 (348) 로 전송된다.
문서 인식부 (344) 에서는, 분기부 (342) 로부터 수신되는 대상 문서 (380) 의 내용 정보의 오류를 정정한다. 그 후, 이를 대상 문서 형태로 그대로 변환하거나, 또는 바코드 및 워터마크와 비교하기 용이하게 하기 위하여 소정의 설정된 양식에 따른 테이블 형태로 변환한다.
바코드 검출부 (346) 는 분기부 (342) 로부터 수신되는 문서 (380) 에 포함된 바코드 정보를 탐지한다. 탐지된 바코드 신호는 데이터의 표현 방법이나, 또는 데이터의 배열 방법에 따라 정보를 읽을 수 있도록 정보 추출되고, 추출된 정보는 소정의 설정된 양식에 따라 테이블 형태로 변환되며, 이와 같은 테이블 형식의 변환은 추후 대상 문서의 정보 또는 워터마크 정보와의 비교의 용이성을 위해서이다.
워터마크 검출부 (348) 에서는, 문서제작과정에서 바코드와 중첩하여 삽입된 워터마크가 검출되고, 또한 검출된 워터마크는 소정의 설정된 양식에 따라 테이블 형태로 변환된다.
이와 같이, 문서 인식부 (344), 바코드 검출부 (346), 및 워터마크 검출부 (348) 에서 예를 들어 소정의 테이블 형태로 각각 변환된 정보들은 비교부 (350) 로 전송된다.
비교부 (350) 에서는, 소정의 필요에 따라 여러가지 방식으로 문서의 인증 절차가 수행된다.
문서의 위변조 여부의 확인 및 원본 인증을 위한 제 1 방법은, 검출된 바코드 정보와 인식된 대상 문서 정보를 상호 비교하는 것이다. 비교 결과 서로 정보가 일치한다면 문서는 위변조되지 않은 원본 문서로 판단되고, 서로 정보가 일치하지 않는다면 문서는 유통과정에서 그 내용이 위변조 된 것으로 판단된다.
제 2 방법은, 검출된 워터마크 정보와 인식된 대상 문서 정보를 상호 비교하는 것이다. 비교 결과 서로 정보가 일치한다면 문서는 위변조되지 않은 원본 문서로 판단되고, 서로 정보가 일치하지 않는다면 문서는 유통과정에서 그 내용이 위변조 된 것으로 판단된다. 상기 제 2 방법에 따르면 바코드 자체가 위변조 된 경우까지 검출해 낼 수 있는 장점이 있다. 즉, 만약 대상 문서의 정보에도 위변조가 행해지고, 바코드 마저 문서의 위변조에 따라 위변조 되었다면 상기 제 1 방법에서는 문서의 위변조 여부의 잘못된 판단을 할 가능성도 배제될 수 없다. 그러나, 제 2 방법에 따라 바코드와 중첩하여 삽입된 워터마크의 정보 또한 대상 문서의 정보와 비교되므로, 바코드 자체가 위변조된 경우 까지도 이를 확인할 수 있다.
제 3 방법은, 검출된 워터마크 정보와 검출된 바코드 정보를 상호 비교하여, 문서의 위변조 여부를 확인하는 것이다. 이와 같은 제 3 방법은 상기 제 1 및 제 2 방법 중 어느 하나와 결합하는 등에 따라 문서의 인증에 대한 동일한 효과를 얻을 수 있다.
출력부 (354) 는 디코더/인증부 (340) 와 연결되며, 화면 등을 통하여 시각적인 표시를 가능하게 하는 구성요소이다. 출력부 (354) 는 여러가지 용도로 사용될 수 있는데, 예를 들어 바코드 검출부 (346) 에서 바코드의 정보가 인식되었음을 사용자에게 알리거나 또는 비교부 (350) 에서의 인증결과를 사용자에게 알리는 용도로 사용될 수 있다.
경보부 (356) 도 또한 디코더/인증부 (340) 와 연결되며, 램프 또는 부져 등으로 구성된 구성요소이다. 경보부 (356) 또한 바코드 검출부 (346) 에서 바코드의 정보가 인식되었음을 사용자에게 알리거나 또는 비교부 (350) 에서의 인증결과를 사용자에게 알리는 용도로 사용될 수 있다. 상기 경보부 (356) 는 별도의 장치로 추가되는 것이 일반적이지만 컴퓨터 (360) 에 포함된 모니터상에서 표시되는 표시기능 또는 경보기능을 사용하는 것도 가능하다.
또한, 디코더/인증부 (340) 에서의 문서의 인증 결과는 디코더/인증부 (340) 자체에서의 출력부 (354) 나 경보부 (356) 를 통한 문서의 진위여부의 표시 기능 이외에도, I/O 기능부 (352) 를 통해 컴퓨터 (360) 로 곧바로 전송되어 컴퓨터 (360) 내의 응용프로그램에 의해 이용되거나, 또는 디코더/인증부 (340) 내의 버퍼에 임시저장된 후 한번에 컴퓨터 (360) 로 보내질 수도 있다.
또한, 본 발명에 따른 문서인증장치 (300) 는 상술한 실시예에서와 같이 별도의 컴퓨터 (360) 와 연결될 수도 있으나, 문서인증장치 (300) 가 컴퓨터의 기능을 포함하여 구성될 수도 있다.
본 발명은 상기의 실시예들을 참조로하여 특별히 도시되고 기술되었지만, 이는 예시를 위하여 사용된 것이며 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 첨부된 청구범위에서 정의된 것처럼 발명의 정신 및 범위를 벗어남이 없이다양한 수정을 할 수 있다.
이와 같이, 본 발명의 문서인증 장치에 의하면, 워터마크 및 바코드가 삽입된 출력문서의 위변조여부를 오프라인 상에서 간편하게 확인 및 인증하는 효과가 있다.
또한, 문서 자체의 위변조 뿐만 아니라 문서에 삽입된 바코드 자체의 위변조 여부 까지도 확인 할 수 있고, 통상적인 바코드의 인식 기능에 부가적으로 바코드 및 워터마크를 사용한 문서의 인증 기능이 첨가된 단일의 문서인증 장치를 제공하는 효과가 있다.

Claims (14)

  1. 문서의 위변조 여부를 확인하기 위하여 바코드 및 워터마크가 삽입된 문서를 인증하는 장치로서,
    상기 문서를 스캐닝하여 상기 문서의 내용 정보, 상기 문서에 삽입된 바코드 정보, 및 상기 문서에 삽입된 워터마크 정보를 포함하는 디지털 신호를 출력하는 스캐닝부; 및
    상기 스캐닝부로부터 상기 디지털 신호를 수신하고, 상기 수신된 디지털 신호로부터 상기 문서의 내용 정보, 상기 바코드 정보, 및 상기 워터마크 정보를 각각 분리하며, 상기 분리된 각 정보들을 상호 비교하여 상기 문서의 위변조 여부를 확인하는 디코더/인증부를 포함하고,
    상기 디코더/인증부는
    상기 스캐닝부로부터 출력되는 상기 디지털 신호를 수신하여, 상기 수신된 디지털 신호를 상기 문서의 내용 정보, 상기 문서에 삽입된 바코드 정보, 및 상기 문서에 삽입된 워터마크 정보로 각각 분리하는 분기부,
    상기 분기부로부터 수신되는 상기 문서의 내용 정보를 인식하는 문서 인식부,
    상기 분기부로부터 수신되는 상기 바코드 정보를 검출하는 바코드 검출부,
    상기 분기부로부터 수신되는 상기 워터마크 정보를 검출하는 워터마크 검출부, 및
    상기 인식된 문서의 내용정보, 상기 검출된 바코드, 및 상기 검출된 워터마크를 상호 비교하여, 상기 문서의 위변조여부를 확인하는 비교부를 구비하며,
    상기 문서 인식부에서 인식되는 문서의 내용정보, 상기 바코드 검출부에서 검출되는 바코드 정보, 및 상기 워터마크 검출부에서 검출되는 워터마크 정보는, 서로 간의 비교를 용이하게 하기 위해서, 각각 소정의 설정된 양식에 따라 테이블 형태로 변환된 후에 상기 비교부로 전송되는 것을 특징으로 하는 장치.
  2. 제 1 항에 있어서,
    상기 스캐닝부와 상기 디코더/인증부는 하나의 하드웨어로 통합되어 있는 것을 특징으로 하는 장치.
  3. 제 1 항에 있어서,
    상기 분리된 각 정보들의 비교는
    상기 문서의 내용 정보와 상기 바코드 정보의 비교, 및 상기 문서의 내용 정보와 상기 워터마크 정보의 비교인 것을 특징으로 하는 장치.
  4. 제 1 항에 있어서,
    상기 분리된 각 정보들의 비교는
    상기 문서의 내용 정보와 상기 바코드 정보의 비교, 및 상기 바코드의 정보와 상기 워터마크 정보의 비교인 것을 특징으로 하는 장치.
  5. 제 1 항에 있어서,
    상기 분리된 각 정보들의 비교는
    상기 문서의 내용 정보와 상기 워터마크 정보의 비교, 및 상기 바코드의 정보와 상기 워터마크 정보의 비교인 것을 특징으로 하는 장치.
  6. 제 1 항에 있어서,
    상기 바코드 및 워터마크가 삽입된 문서는 상기 바코드 및 상기 워터마크가 중첩하여 결합된 문서임을 특징으로 하는 장치.
  7. 제 1 항에 있어서,
    상기 디코더/인증부와 연결되며, 상기 디코더/인증부로부터의 문서의 인증 결과를 수신하는 컴퓨터를 더 포함하는 것을 특징으로 하는 장치.
  8. 제 7 항에 있어서,
    상기 컴퓨터는 상기 문서 인증 장치 내에 통합되는 것을 특징으로 하는 장치.
  9. 제 1 항에 있어서,
    상기 스캐닝부는
    상기 문서를 스캐닝하여 생성된 빛 신호를 전기적인 신호로 변환시키고, 변환된 신호를 증폭시키는 광원변환부;
    상기 광원변환부로부터 출력되는 신호의 투과율을 소정 간격으로 조절하는 색보정부; 및
    상기 색보정부로부터 출력되는 신호를 디지털 신호로 변환시키는 A/D 변환부를 구비하는 것을 특징으로 하는 장치.
  10. 삭제
  11. 삭제
  12. 제 1 항에 있어서,
    상기 바코드 검출부에 연결되며, 상기 바코드 검출부에서 상기 바코드의 정보가 인식되었음을 사용자에게 알리는 경보부를 더 포함하는 것을 특징으로 하는 장치.
  13. 제 1 항에 있어서,
    상기 비교부에 연결되며, 상기 비교부에서의 상기 문서의 인증 결과를 디스플레이하여 사용자에게 알리는 출력부를 더 포함하는 것을 특징으로 하는 장치.
  14. 제 1 항에 있어서,
    상기 문서를 스캐닝하는 광원은 바코드 전용 광원 및 상기 문서를 전체적으로 스캐닝하는 광원을 포함하는 것을 특징으로 하는 장치.
KR10-2002-0023903A 2002-05-01 2002-05-01 위변조의 방지가 가능한 문서를 인증하는 장치 KR100431786B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2002-0023903A KR100431786B1 (ko) 2002-05-01 2002-05-01 위변조의 방지가 가능한 문서를 인증하는 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2002-0023903A KR100431786B1 (ko) 2002-05-01 2002-05-01 위변조의 방지가 가능한 문서를 인증하는 장치

Publications (2)

Publication Number Publication Date
KR20030085697A KR20030085697A (ko) 2003-11-07
KR100431786B1 true KR100431786B1 (ko) 2004-05-17

Family

ID=32381086

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2002-0023903A KR100431786B1 (ko) 2002-05-01 2002-05-01 위변조의 방지가 가능한 문서를 인증하는 장치

Country Status (1)

Country Link
KR (1) KR100431786B1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010043172A (ko) * 1998-04-30 2001-05-25 메디아섹 테크놀로지즈 엘엘시 아날로그 문서의 디지털 인증
KR20010087809A (ko) * 2000-06-10 2001-09-26 최종욱 워터마킹 기술을 이용한 티켓 발급 및 인증을 위한 시스템및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010043172A (ko) * 1998-04-30 2001-05-25 메디아섹 테크놀로지즈 엘엘시 아날로그 문서의 디지털 인증
KR20010087809A (ko) * 2000-06-10 2001-09-26 최종욱 워터마킹 기술을 이용한 티켓 발급 및 인증을 위한 시스템및 방법

Also Published As

Publication number Publication date
KR20030085697A (ko) 2003-11-07

Similar Documents

Publication Publication Date Title
KR100405828B1 (ko) 위변조의 방지가 가능한 문서를 제작하는 장치 및 방법,그리고 상기 문서를 인증하는 장치 및 방법
US7512249B2 (en) System and method for decoding digital encoded images
KR100548983B1 (ko) 디지털 증명서의 발급 및 인증을 위한 텍스트의 삽입 방법및 장치
Wu et al. Data hiding in digital binary image
US7197644B2 (en) Systems and methods for providing hardcopy secure documents and for validation of such documents
JP3804012B2 (ja) 文書画像の改ざん判定方法及びシステム、並びにその制御用プログラム
JP5453074B2 (ja) 文書を印刷する方法及びプログラム
EP0676877A2 (en) Method and apparatus for authentication and verification of printed documents using digital signatures and authentication codes
US8014559B2 (en) Information embedding apparatus, information embedding method, information extracting apparatus, information extracting method, computer program product
Tkachenko et al. Printed document authentication using two level or code
US9064138B2 (en) Method for detecting reorgination of barcodes
CN1691087B (zh) 用于解码数字编码图像的系统和方法
Villán et al. Tamper-proofing of electronic and printed text documents via robust hashing and data-hiding
KR101501122B1 (ko) 위변조의 확인이 가능한 프레임 바코드가 삽입된 문서를 제작하는 방법 및 장치, 그리고 상기 문서를 인증하는 방법 및 장치
KR100431786B1 (ko) 위변조의 방지가 가능한 문서를 인증하는 장치
US20030116627A1 (en) Method for integrating hidden information in a set of notes
KR100491649B1 (ko) 다차원 바코드의 워터마크 삽입·검출 시스템 및 그삽입·검출 방법
JP4260076B2 (ja) 文書作成装置、文書検証装置、文書作成方法、文書検証方法、文書作成プログラム、文書検証プログラム、文書作成プログラムを格納した記録媒体、および文書検証プログラムを格納した記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130506

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20140430

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20150604

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20160503

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20170504

Year of fee payment: 14

FPAY Annual fee payment

Payment date: 20180503

Year of fee payment: 15

FPAY Annual fee payment

Payment date: 20190502

Year of fee payment: 16