KR101515162B1 - 전자펜을 이용하는 정보 제공 장치 및 그의 정보 제공 방법 - Google Patents

전자펜을 이용하는 정보 제공 장치 및 그의 정보 제공 방법 Download PDF

Info

Publication number
KR101515162B1
KR101515162B1 KR1020140028880A KR20140028880A KR101515162B1 KR 101515162 B1 KR101515162 B1 KR 101515162B1 KR 1020140028880 A KR1020140028880 A KR 1020140028880A KR 20140028880 A KR20140028880 A KR 20140028880A KR 101515162 B1 KR101515162 B1 KR 101515162B1
Authority
KR
South Korea
Prior art keywords
background image
information
unit
electronic pen
data
Prior art date
Application number
KR1020140028880A
Other languages
English (en)
Inventor
이명환
송태민
Original Assignee
이명환
송태민
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이명환, 송태민 filed Critical 이명환
Priority to KR1020140028880A priority Critical patent/KR101515162B1/ko
Priority to PCT/KR2015/002335 priority patent/WO2015137715A1/ko
Priority to US15/124,586 priority patent/US20170124411A1/en
Application granted granted Critical
Publication of KR101515162B1 publication Critical patent/KR101515162B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G06F3/0321—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface by optically sensing the absolute position with respect to a regularly patterned surface forming a passive digitiser, e.g. pen optically detecting position indicative tags printed on a paper sheet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5846—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using extracted text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423—Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/19—Image acquisition by sensing codes defining pattern positions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Character Discrimination (AREA)

Abstract

본 발명의 한 실시예에 따른 전자펜을 이용한 정보 제공 장치는 패턴이 형성된 기록매체 상에서 전자펜에 의하여 감지된 패턴정보를 수신하는 수신부, 상기 패턴정보로부터 배경 이미지를 추출하는 배경 이미지 추출부, 상기 패턴정보를 필기 데이터로 변환하는 필기 데이터 변환부, 상기 필기 데이터 및 상기 필기 데이터에 대응하는 배경 이미지를 저장하는 저장부, 그리고 상기 필기 데이터 및 상기 필기 데이터에 대응하는 배경 이미지를 사용자 단말에게 전송하는 통신부를 포함한다.

Description

전자펜을 이용하는 정보 제공 장치 및 그의 정보 제공 방법{INFORMATION PROVIDING APPARATUS USING ELECTRONIC PEN AND INFORMATION PROVIDING METHOD OF THE SAME}
본 발명은 전자펜을 이용하는 정보 제공 장치 및 그의 정보 제공 방법에 관한 것이다.
전자펜은 아날로그와 디지털이 결합된 새로운 개념의 펜이다. 전자펜을 이용하여 종이에 글씨를 쓰면, 필기한 정보가 컴퓨터로 전송되며, 이미지 파일의 형태로 관리될 수 있다. 일반펜으로 쓴 문서도 스캐너(전자색분해기)로 스캔하면 이미지 파일의 형태로 관리될 수 있지만, 전자펜으로 쓴 문서는 스캔과정이 필요 없으며, 별도의 프로그램을 통해 문서를 손쉽게 관리할 수 있는 장점이 있다.
전자펜을 이용하여 필기된 손글씨가 포함되는 이미지 파일을 타인과 공유하고자 하는 시도가 있다. 예를 들어, 손글씨로 만든 이북(e-book)을 타인과 공유하거나, 손글씨로 작성한 문서를 SNS(Social Network Service) 상에서 공유할 수 있다. 손글씨로 작성한 문서는 디지털 폰트(digital fonts)로 작성된 문서에 비하여 작성자의 진정성을 표현할 수 있으며, 읽는 사람의 감성을 효과적으로 충족시킬 수 있다.
본 발명이 이루고자 하는 기술적 과제는 전자펜을 이용하는 정보 제공 장치 및 그의 정보 제공 방법을 제공하는 데 있다.
본 발명의 한 실시예에 따른 전자펜을 이용한 정보 제공 장치는 패턴이 형성된 기록매체 상에서 전자펜에 의하여 감지된 패턴정보를 수신하는 수신부, 상기 패턴정보로부터 배경 이미지를 추출하는 배경 이미지 추출부, 상기 패턴정보를 필기 데이터로 변환하는 필기 데이터 변환부, 상기 필기 데이터 및 상기 필기 데이터에 대응하는 배경 이미지를 저장하는 저장부, 그리고 상기 필기 데이터 및 상기 필기 데이터에 대응하는 배경 이미지를 사용자 단말에게 전송하는 통신부를 포함한다.
상기 필기 데이터는 상기 전자펜에 의하여 상기 기록매체 상에 기록된 손글씨에 관한 정보를 포함할 수 있다.
상기 저장부는 상기 필기 데이터, 상기 필기 데이터에 대응하는 배경 이미지 및 상기 필기 데이터에 대응하는 키워드가 짝을 이루어 저장될 수 있다.
상기 저장부는 상기 배경 이미지 상에 상기 필기 데이터가 결합된 이미지 파일을 저장할 수 있다.
상기 저장부에는 상기 이미지 파일 및 상기 이미지 파일에 대응하는 키워드가 짝을 이루어 저장될 수 있다.
키워드와 짝을 이루는 필기 데이터 또는 이미지 파일을 검색하는 검색부를 더 포함할 수 있다.
상기 패턴정보 별로 배경 이미지를 저장하는 배경 이미지 저장부를 더 포함하며, 상기 배경 이미지 추출부는 상기 배경 이미지 저장부로부터 상기 배경 이미지를 추출할 수 있다.
상기 배경 이미지는 광고 이미지를 포함할 수 있다.
본 발명의 한 실시예에 따른 정보 제공 장치의 전자펜을 이용한 정보 제공 방법은 패턴이 형성된 기록매체 상에서 전자펜에 의하여 감지된 패턴정보를 수신하는 단계, 상기 패턴정보로부터 배경 이미지를 추출하는 단계, 상기 패턴정보를 필기 데이터로 변환하는 단계, 상기 필기 데이터 및 상기 필기 데이터에 대응하는 배경 이미지를 저장하는 단계, 그리고 상기 필기 데이터 및 상기 필기 데이터에 대응하는 배경 이미지를 사용자 단말에게 전송하는 단계를 포함한다.
본 발명의 실시예에 따르면, 전자펜에 의하여 작성된 손글씨가 사용자가 다양한 배경 이미지와 결합하여 공유될 수 있다. 특히, 손글씨로 작성된 이미지 파일은 광고에 활용될 수 있으며, 기업의 광고 효과를 높일 수 있다.
도 1은 본 발명의 한 실시예에 따른 정보 제공 시스템을 나타내는 블록도이다.
도 2는 본 발명의 한 실시예에 따른 전자펜의 한 예이다.
도 3은 본 발명의 한 실시예에 따른 전자펜과 기록매체의 한 예이다.
도 4 내지 5는 본 발명의 한 실시예에 따른 기록매체 상에 형성되는 닷패턴을 설명하는 도면이다.
도 6은 본 발명의 한 실시예에 따른 정보 제공 장치의 블록도이다.
도 7은 본 발명의 한 실시예에 따른 사용자 단말의 블록도이다.
도 8은 본 발명의 한 실시예에 따른 정보 제공 장치의 배경 이미지 저장부가 패턴정보 별로 배경 이미지를 저장하는 예를 나타낸다.
도 9는 본 발명의 한 실시예에 따른 정보 제공 장치의 저장부가 필기 데이터 및 배경 이미지를 저장하는 일 예를 나타낸다.
도 10은 본 발명의 한 실시예에 따른 정보 제공 장치의 저장부가 필기 데이터 및 배경 이미지를 저장하는 다른 예를 나타낸다.
도 11은 저장된 이미지 파일의 예이다.
도 12는 본 발명의 한 실시예에 따른 정보 제공 시스템의 정보 제공 방법을 나타내는 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제2, 제1 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부된 도면을 참조하여 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은 본 발명의 한 실시예에 따른 정보 제공 시스템을 나타내는 블록도이고, 도 2는 본 발명의 한 실시예에 따른 전자펜의 한 예이며, 도 3은 본 발명의 한 실시예에 따른 전자펜과 기록매체의 한 예이고, 도 4 내지 5는 본 발명의 한 실시예에 따른 기록매체 상에 형성되는 닷패턴을 설명하는 도면이며, 도 6은 본 발명의 한 실시예에 따른 정보 제공 장치의 블록도이고, 도 7은 본 발명의 한 실시예에 따른 사용자 단말의 블록도이다.
도 1을 참조하면, 정보 제공 시스템(10)은 전자펜(100), 정보 제공 장치(200) 및 사용자 단말(300)을 포함한다.
전자펜(100)은 패턴이 형성된 기록매체 상의 패턴정보를 감지한다. 여기서, 패턴은 기록매체 상의 위치 결정 수단이며, 예를 들면 점 형상, 직선 형상, 사선 형상, 곡선 형상, 링 형상 등으로 다양하게 형성될 수 있다. 본 명세서에서는 설명의 편의를 위하여 점 형상의 닷패턴을 예로 들어 설명하나, 이는 예시적인 것이며, 본 발명을 한정하는 것은 아니다. 전자펜(100)에 의하여 감지된 패턴정보를 이용하여 기록매체 상의 위치를 식별할 수 있다.
정보 제공 장치(200)는 전자펜(100)으로부터 수신한 패턴정보로부터 기록매체 상의 배경 이미지에 대한 정보를 추출하며, 패턴정보를 필기 데이터로 변환한다. 여기서, 패턴정보는 전자펜(100)에 의하여 감지된 패턴정보 자체를 의미하거나, 패턴정보로부터 추출한 위치정보를 의미할 수 있다. 일 예로, 전자펜(100)은 기록매체 상의 패턴정보를 감지한 후, 패턴정보로부터 위치정보를 추출하여 정보 제공 장치(200)로 전송할 수 있다. 다른 예로, 전자펜(100)은 기록매체 상의 패턴정보를 정보 제공 장치(200)로 전송하고, 정보 제공 장치(200)가 패턴정보로부터 위치정보를 추출할 수도 있다.
이때, 배경 이미지 상에는 광고 이미지가 포함될 수 있다. 여기서, 광고 이미지는 기업 또는 상품을 광고하기 위한 도안 또는 문구를 포함할 수 있다. 배경 이미지 상에는 사용자가 미리 설정한 다양한 이미지(예, 가족사진, 풍경사진, 꽃 사진 등)가 포함될 수도 있다. 그리고, 정보 제공 장치(200)는 변환한 필기 데이터와 추출한 배경 이미지를 저장한다.
정보 제공 장치(200)는 저장한 필기 데이터와 함께 이에 대응하는 배경 이미지를 SNS(Social Network Service) 또는 사용자의 검색을 통하여 사용자 단말(300)에게 전송한다.
사용자 단말(300)이 정보 제공 장치(200)에게 키워드를 포함하는 검색 요청을 전송하면, 정보 제공 장치(200)는 키워드와 매칭되는 필기 데이터를 검색하고, 검색된 필기 데이터와 함께 이에 대응하는 배경 이미지를 사용자 단말(300)에게 전송할 수도 있다.
사용자 단말(300)은 네트워크에 접속하여 정보 제공 장치정보 제공 장치(200)로부터 수신한 결과를 출력한다.
도 2 내지 3을 참조하면, 전자펜(100)은 몸체부(110), 몸체부(110)의 일단에 마련되며 닷패턴이 형성된 기록매체 상의 패턴정보를 감지하는 필기부(120) 및 몸체부(110)의 내부에 포함되는 통신부(미도시)를 포함한다.
몸체부(110)는 ABS(Acrylonitrite Butadiene Styrene copolymer)와 PC(Poly Carbonate)의 혼합 수지, PP(Poly Propylene), PPS(Poly Phenylene Sulfide) 등의 합성 수지, PMMA 합성 수지, PS 합성 수지, 유리, 금속류 및 이들로부터 선택된 혼합물 중 하나를 포함하여 이루어질 수 있다.
몸체부(110)는 직경이 동일하거나 상광하협 형태로 구성될 수 있으며, 양단부에는 덮개(미도시)가 형성될 수 있다.
필기부(120)는 기록매체(400) 상에 기록 가능한 펜팁 유닛(121), 펜팁 유닛(121)에 가해지는 필압 정보를 생성하는 압력 감지 센서(123), 기록매체(400) 상에 적외선을 출력하는 적외선 광원(125), 기록매체(400) 상에서 산란되는 적외선을 감지하는 적외선 센서(127) 및 감지된 적외선을 이용하여 패턴정보를 검출하는 검출 유닛(129)을 포함한다.
펜팁 유닛(121)은 몸체부(110)의 일단에서 외부로 돌출되는 펜촉 형태로 형성될 수 있다.
압력 감지 센서(123)는 펜팁 유닛(121)과 인접하며 펜팁 유닛(121)에 가해지는 압력을 감지할 수 있다. 압력 감지 센서(123)는 펜팁 유닛(121)과 기록매체(400) 간의 접촉 시, 펜팁 유닛(121)에 가해지는 힘에 비례하는 압력을 수치로 산출하여 필압 정보를 생성할 수 있다.
적외선 광원(125)은 펜팁 유닛(121)이 기록매체(400)와 접촉하거나, 기록매체(400)와 소정 거리 이하로 근접하는 경우, 적외선을 투광한다.
적외선 센서(127)는 펜팁 유닛(121)과 인접하며, 기록매체(400) 상에서 산란되는 적외선을 감지한다.
검출 유닛(129)은 적외선 센서(127)로부터 감지된 적외선을 이용하여 기록매체(400) 상의 닷패턴을 검출한다.
한편, 기록매체(400)는 닷패턴이 인쇄된 종이를 포함할 수 있다. 기록매체(400)는, 예를 들면 닷패턴이 인쇄된 책, 다이어리 등일 수 있다.
본 발명의 한 실시예에 따른 기록매체 상에 형성되는 닷패턴은 도 4 내지 5를 통하여 상세하게 설명한다.
도 4를 참조하면, 닷패턴(500)은 가상의 격자선(520)과 다수의 마크(510)를 포함하며, 각각의 마크(510)는 가상의 격자선(520)의 교점을 중심으로 소정 간격을 두고 형성될 수 있다. 각각의 마크(510)는 가상의 격자선(520)의 교점을 중심으로 형성되는 위치에 따라 결정되는 패턴 값에 의하여 패턴정보를 제공할 수 있다.
마크(510)는, 예를 들면 프탈로시아닌계화합물, 나프탈로시아닌계화합물, 아미늄계화합물 및 이들로부터 선택된 혼합물 중 하나를 포함하는 적외선 흡수 잉크를 이용하여 형성될 수 있다. 이에 따라, 적외선 센서(127)는 마크(510)가 형성되지 않은 부분에서 산란되는 적외선을 감지할 수 있으며, 검출 유닛(129)은 이를 이용하여 6*6 크기의 격자선(520) 상에서 가로세로 6개씩 36개의 마크(510)를 인식한 경우, 각각의 마크(510) 값에 따른 패턴정보를 산출할 수 있다.
마크(510)는 가상의 격자선(520)의 교점을 중심으로 소정 간격을 두고 형성되어 각각의 마크(510) 값을 가지며, 마크(510) 값은 적어도 두 개 이상의 상이한 수의 조합으로 구성될 수 있다.
마크(510)의 형태는 원형, 타원형, 다각형, 직선 등 다양한 형태를 가질 수 있다.
도 5를 참조하면, 마크(510)는 가상의 격자선(520)의 교점과의 관계에 따라 4가지의 위치에 존재할 수 있다. 마크(510)가 a와 같이 교점 우측에 위치하는 경우 마크(510) 값을 "1"로 나타내고, b와 같이 교점 상단에 위치하는 경우 마크(510) 값을 "2"로 나타내며, c와 같이 교점 좌측에 위치하는 경우 마크(510) 값을 "3"로 나타내고, d와 같이 교점 하단에 위치하는 경우 마크(510) 값을 "4"로 나타낼 수 있다. 이와 같이, 가상의 격자선(520)의 교점을 중심으로 한 마크(510)의 위치에 따라 패턴정보를 검출할 수 있다.
또한, 마크(510)는 가상의 격자선(520) 상이 아닌 대각선 방향으로도 형성될 수 있으며 하나의 가상 격자선(520)의 교점에 다수의 마크(510)가 형성되어 위치 정보를 제공할 수 있다. 이 경우 각각의 마크(510) 값은 x 좌표와 y 좌표로 분리되는 방식으로 임의의 좌표로 표현될 수 있으며, 패턴정보는 좌표로 표현되는 마크(510) 값으로부터 제공될 수 있다.
가상의 격자선(520)은 일정한 간격을 두고 가로 및 세로로 형성될 수 있다. 격자선(520) 사이의 거리는 250㎛ 내지 300㎛로 형성될 수 있으며, 마크(510)는 가상의 격자선(520)의 교점을 중심으로 1/4 내지 1/8의 거리를 둔 지점에 형성될 수 있다. 또는 마크(510)는 가상의 격자선(520)의 교점을 중심으로 두 개 이상의 마크(510)가 연관되어 형성될 수 있다.
본 발명의 한 실시예에 따르면, 전자펜(100)이 인식한 패턴정보는 정보 제공 장치(200)로 전송될 수 있다. 그리고, 정보 제공 장치(200)는 전자펜(100)이 인식한 패턴정보를 이용하여 배경 이미지를 추출하고, 필기 데이터를 변환할 수 있다.
도 6을 참조하면, 정보 제공 장치(200)는 수신부(210), 배경 이미지 추출부(220), 배경 이미지 저장부(230), 필기 데이터 변환부(240), 저장부(250), 검색부(260) 및 통신부(270)를 포함한다.
수신부(210)는 전자펜(100)으로부터 패턴정보를 수신할 수 있다. 예를 들어, 수신부(210)는 전자펜(100)과 유선 또는 무선으로 통신할 수 있으며, 가상의 격자선(520)의 교점을 중심으로 한 마크(510)의 위치에 따라 전자펜(100)에 의하여 검출된 패턴정보를 수신할 수 있다.
배경 이미지 추출부(220)는 전자펜(100)으로부터 수신한 패턴정보를 이용하여 배경 이미지를 추출한다. 이를 위하여, 정보 제공 장치(200)는 패턴정보 별로 배경 이미지를 저장하는 배경 이미지 저장부(230)를 더 포함할 수 있다. 배경 이미지 추출부(220)는 배경 이미지 저장부(230)로부터 배경 이미지를 추출할 수 있다. 여기서, 배경 이미지 저장부(230)에 저장된 배경 이미지는 기록매체(400) 상에 인쇄된 배경 이미지와 동일한 이미지일 수 있다. 배경 이미지는 광고 이미지 또는 사용자가 설정한 다양한 이미지를 포함할 수 있다. 여기서, 광고 이미지는 기업 또는 상품을 광고하기 위한 광고 도안, 광고 문구 등을 포함할 수 있다. 도 8은 본 발명의 한 실시예에 따른 정보 제공 장치(200)의 배경 이미지 저장부(230)가 패턴정보 별로 배경 이미지를 저장하는 예를 나타낸다. 도 8과 같이, 패턴정보 및 이에 대응하는 배경 이미지는 서로 짝을 이루어 저장될 수 있다. 배경 이미지를 추출하기 위한 패턴정보는 필기 데이터 변환을 위한 패턴정보와 동일하거나, 필기 데이터 변환을 위한 패턴정보의 일부일 수 있다. 즉, 전자펜(100)이 기록매체(400) 상에 필기하기 위하여 접촉을 시작한 위치의 패턴정보 또는 필기 중에 감지한 패턴정보를 이용하여 배경 이미지를 추출할 수 있다. 예를 들어, 기록매체(400) 상의 페이지 별 패턴정보 및 배경 이미지가 서로 짝을 이루어 저장될 수 있다.
그리고, 필기 데이터 변환부(240)는 수신한 패턴정보를 필기 데이터로 변환한다. 여기서, 필기 데이터는 전자펜(100)에 의하여 기록매체(400) 상에 기록된 손글씨에 관한 정보를 포함할 수 있다.
배경 이미지 추출부(220)가 패턴정보로부터 배경 이미지를 추출하거나, 필기 데이터 변환부(240)가 패턴정보를 필기 데이터로 변환하기 위하여, 패턴정보로부터 위치 정보를 추출할 수 있다. 여기서, 위치 정보는, 예를 들면 전자펜(100)이 기록매체(400) 상에 접촉을 시작한 위치 정보, 전자펜(100)이 연속적으로 접촉하며 이동하는 위치 정보, 전자펜(100)이 기록매체(400) 상에 마지막으로 접촉한 위치 정보 등을 포함할 수 있다. 전자펜(100)이 패턴정보로부터 위치정보를 추출하여 정보 제공 장치(200)에게 전송할 수 있다. 이때, 패턴정보와 위치정보는 혼용될 수 있다. 또는, 전자펜(100)이 패턴정보를 정보 제공 장치(200)에게 전송하며, 정보 제공 장치(200)는 패턴정보로부터 위치정보를 추출할 수도 있다.
여기서, 필기 데이터 변환부(240)는 배경 이미지 추출부(220)의 배경 이미지 추출 결과에 따라 활성화될 수 있다. 예를 들어, 필기 데이터 변환부(240) 및 배경 이미지 추출부(220)는 연결될 수 있다. 그리고, 배경 이미지 추출부(220)가 배경 이미지를 추출한 후, 추출 결과를 필기 데이터 추출부(240)에게 전달하면, 필기 데이터 추출부(240)는 필기 데이터를 추출할 수 있다.
한편, 저장부(250)는 배경 이미지 추출부(220)에 의하여 추출된 배경 이미지 및 필기 데이터 변환부(240)에 의하여 변환된 필기 데이터를 저장한다. 도 9는 본 발명의 한 실시예에 따른 정보 제공 장치(200)의 저장부(250)가 필기 데이터 및 배경 이미지를 저장하는 일 예를 나타낸다. 도 9와 같이, 필기 데이터 및 이에 대응하는 배경 이미지는 서로 짝을 이루어 저장될 수 있다. 그리고, 필기 데이터에 포함되는 키워드도 필기 데이터와 짝을 이루어 저장될 수 있다. 여기서, 키워드는 작성자에 의하여 미리 지정될 수 있다. 키워드는 정보 제공 장치(200)에 의하여 필기 데이터로부터 미리 추출될 수도 있다. 도 10은 본 발명의 한 실시예에 따른 정보 제공 장치(200)의 저장부(250)가 필기 데이터 및 배경 이미지를 저장하는 다른 예를 나타낸다. 도 10과 같이, 필기 데이터는 배경 이미지 상에 결합되어 이미지 파일로 저장될 수 있다. 그리고, 필기 데이터에 포함되는 키워드도 이미지 파일과 짝을 이루어 저장될 수 있다. 도 11은 저장된 이미지 파일의 예이다. 도 11과 같이, 이미지 파일(1100)은 배경 이미지(1110) 상에 결합된 필기 데이터(1120)를 포함할 수 있다. 그리고, 배경 이미지(1110)는 광고 이미지(1112), 예를 들어 광고 도안 또는 광고 문구 등을 포함할 수 있다.
한편, 통신부(270)는 사용자 단말(300)과 통신하며, 저장부(250)에 저장된 필기 데이터 및 배경 이미지를 사용자 단말(300)에게 전송한다. 이때, 필기 데이터 및 이에 대응하는 배경 이미지는 SNS(Social Network Service) 또는 사용자의 검색을 통하여 사용자 단말(300)에게 제공될 수 있다. 이때, 통신부(270)는 사용자 단말(300)에게 필기 데이터 및 이에 대응하는 배경 이미지를 별도로 전송하며, 사용자 단말(300)에서 필기 데이터 및 배경 이미지를 결합하여 출력할 수 있다. 또는, 정보 제공 장치(200)는 필기 데이터 및 이에 대응하는 배경 이미지를 미리 결합하며, 필기 데이터와 배경 이미지가 결합된 이미지 파일을 사용자 단말(300)에게 전송할 수도 있다.
사용자의 검색을 통하여 필기 데이터 및 배경 이미지가 제공되는 경우, 검색부(260)는 사용자 단말(300)로부터 검색 요청을 받은 키워드와 짝을 이루는 필기 데이터를 저장부(250)에서 검색하며, 검색한 필기 데이터 및 이와 짝을 이루는 배경 이미지를 추출한다. 예를 들어, 사용자 단말(300)이 "가수 000"을 키워드로 입력하여 검색을 요청한 경우, 검색부(260)는 "가수 000"를 키워드로 미리 저장해 놓은 필기 데이터를 검색하며, 검색한 필기 데이터 및 이에 대응하는 배경 이미지를 추출할 수 있다.
도시되지 않았으나, 정보 제공 장치(200)는 정보 처리 장치 및 관리 서버로 분리될 수 있다. 즉, 정보 처리 장치는 정보 제공 장치(200)의 구성 중 일부의 기능을 수행하고, 관리 서버는 정보 제공 장치(200)의 구성 중 나머지 일부의 기능을 수행할 수 있다. 그리고, 정보 처리 장치 및 관리 서버는 유선 또는 무선으로 통신할 수 있다.
일 예로, 정보 처리 장치는 정보 제공 장치(200)의 수신부(210), 필기데이터 변환부(240), 배경이미지 추출부(220)의 기능을 수행하며, 관리 서버는 정보 제공 장치(200)의 배경이미지 저장부(230), 저장부(250), 검색부(260) 및 통신부(270)를 포함할 수 있다. 이를 위하여, 정보 처리 장치는 필기데이터 변환부(240)가 변환한 필기데이터와 배경이미지 추출부(220)가 추출한 배경이미지를 결합하는 결합부를 더 포함할 수도 있다. 그리고, 정보 처리 장치의 배경이미지 추출부(220)와 관리 서버의 배경이미지 저장부(230)는 직접 또는 간접으로 데이터를 송수신할 수 있다.
다른 예로, 정보 처리 장치는 정보 제공 장치(200)의 수신부(210), 필기데이터 변환부(240)의 기능을 수행하며, 관리 서버는 정보 제공 장치(200)의 배경이미지 추출부(220), 배경이미지 저장부(230), 저장부(250), 검색부(260) 및 통신부(270)를 포함할 수도 있다.
여기서, 정보 처리 장치는, 예를 들면 PC(Personal Computer), 노트북 컴퓨터(Laptop Computer), 스마트폰(Smart phone), 태블릿 PC 등일 수 있다.
도 7을 참조하면, 사용자 단말(300)은 PC(Personal Computer), 노트북 컴퓨터(Laptop Computer), 스마트폰(Smart phone), 태블릿 PC 등일 수 있다.
사용자 단말(300)은 통신부(310), 사용자 인터페이스부(320), 출력부(330), 제어부(340) 및 저장부(350)를 포함한다. 다만, 도시된 구성 요소 모두가 필수 구성 요소인 것은 아니다. 도시된 구성 요소보다 더 많은 구성 요소에 의해 사용자 단말이 구현될 수도 있고, 더 적은 구성 요소에 의해 사용자 단말이 구현될 수도 있다.
통신부(310)는 이동 통신 모듈 및 무선 인터넷 모듈을 포함할 수 있고, 이들 모듈의 전체 또는 일부는 하나의 모듈로 통합될 수 있다.
이동 통신 모듈은 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 무선 신호는 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
무선 인터넷 모듈은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WLAN(Wireless LAN)(Wi-Fi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다.
사용자 인터페이스부(320)는 사용자로부터 데이터 또는 단말의 동작 제어를 위한 정보를 입력받는다. 사용자 인터페이스부(320)는 키 패드(key pad), 돔 스위치(dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치, 마이크 등일 수 있다.
출력부(330)는 사용자 단말(300)에서 처리되는 정보를 다양한 형태의 신호(예를 들면, 음향신호, 시각 신호)로 사용자에게 표시한다. 출력부(330)는, 예를 들면 LCD(Liquid Crystal Display), LED(Light Emission Diode) 디스플레이, OLED(Organic Light Emission Diode) 디스플레이, 스피커 등일 수 있다.
제어부(340)는 사용자 단말(300)의 전반적인 동작을 제어한다. 예를 들면, 음성 통화, 데이터 통신, 화상 통화 등과 관련된 전반적인 제어 및 처리를 수행한다.
저장부(350)는 제어부(340)의 동작을 위한 프로그램을 저장하고, 입/출력되는 데이터를 임시 저장한다. 사용자 단말(300)은 인터넷 상에서 저장부(350)의 저장 기능을 수행하는 웹 스토리지(Web Storage)와 관련되어 동작할 수도 있다.
본 발명의 한 실시예에 따르면, 사용자 단말(300)의 사용자 인터페이스부(320)가 사용자로부터 소정의 키워드를 입력 받으면, 통신부(310)는 정보 제공 장치(200)에게 해당 키워드에 관한 검색을 요청한다. 통신부(310)가 정보 제공 장치(200)로부터 소정의 키워드에 관한 필기 데이터 및 배경 이미지를 수신하면, 출력부(330)는 수신한 필기 데이터 및 배경 이미지를 출력한다.
도 12는 본 발명의 한 실시예에 따른 정보 제공 시스템의 정보 제공 방법을 나타내는 흐름도이다. 도 1 내지 7과 중복된 내용은 설명을 생략한다.
도 12를 참조하면, 전자펜(100)은 기록매체(400) 상의 닷패턴을 감지하고(S1200), 감지된 패턴정보를 정보 제공 장치(200)에게 전송한다(S1202).
정보 제공 장치(200)는 전자펜(100)으로부터 수신한 패턴정보로부터 배경 이미지를 추출한다(S1204). 그리고, 정보 제공 장치(200)는 전자펜(100)으로부터 수신한 패턴정보를 이용하여 위치정보를 추출하며, 추출한 위치정보를 필기 데이터로 변환한다(S1206). 여기서, 배경 이미지를 추출하기 위한 패턴정보는 필기 데이터로 변환하기 위한 패턴정보와 동일한 패턴정보이거나, 필기 데이터로 변환하기 위한 패턴정보의 일부일 수 있다. 즉, 정보 제공 장치(200)는 전자펜(100)으로부터 수신한 패턴정보를 이용하여 배경 이미지를 추출한 후, 동일한 패턴정보를 필기 데이터로 변환할 수 있다.
정보 제공 장치(200)는 변환한 필기 데이터와 추출한 배경 이미지를 저장한다(S1208).
한편, 사용자 단말(300)이 소정 키워드에 관한 검색을 요청한 경우(S1210), 정보 제공 장치(200)는 해당 키워드를 포함하는 필기 데이터를 검색하며(S1212), 검색한 필기 데이터와 이에 대응하는 배경 이미지를 사용자 단말(300)에게 전송한다(S1214). 그리고, 사용자 단말(300)은 정보 제공 장치(200)로부터 수신한 필기 데이터 및 배경 이미지를 출력한다(S1216). 필기 데이터 및 배경 이미지가 SNS를 통하여 사용자 단말(300)에게 제공되는 경우, 검색 과정(즉, S1210, S1212)은 생략될 수도 있다.
이와 같이, 전자펜(100)에 의하여 기록되는 손글씨를 포함하는 이미지 파일은 광고와 함께 노출될 수 있다.
본 명세서에서, 배경 이미지가 광고 이미지를 포함하는 경우, 정보 제공 장치는 광고 노출 장치와 혼용될 수 있으며, 정보 제공 시스템은 광고 시스템과 혼용될 수 있다.
본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-programmable gate array) 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 전자펜
200: 정보 제공 장치
300: 사용자 단말

Claims (10)

  1. 전자펜을 이용한 정보 제공 장치에 있어서,
    패턴이 형성된 기록매체 상에서 전자펜에 의하여 감지된 패턴정보를 수신하는 수신부,
    패턴 정보 별로 배경 이미지를 저장하는 배경 이미지 저장부,
    상기 감지된 패턴정보에 기초하여 상기 배경 이미지 저장부로부터 배경 이미지를 추출하는 배경 이미지 추출부,
    상기 감지된 패턴정보를 필기 데이터로 변환하는 필기 데이터 변환부,
    상기 필기 데이터 및 상기 필기 데이터에 대응하는 배경 이미지를 저장하는 저장부, 그리고
    상기 필기 데이터 및 상기 필기 데이터에 대응하는 배경 이미지를 사용자 단말에게 전송하는 통신부
    를 포함하고,
    상기 필기 데이터는 상기 전자펜에 의하여 상기 기록매체 상에 기록된 손글씨에 관한 정보를 포함하는 정보 제공 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 저장부는 상기 필기 데이터, 상기 필기 데이터에 대응하는 배경 이미지 및 상기 필기 데이터에 대응하는 키워드가 짝을 이루어 저장되는 정보 제공 장치.
  4. 제1항에 있어서,
    상기 저장부는 상기 배경 이미지 상에 상기 필기 데이터가 결합된 이미지 파일을 저장하는 정보 제공 장치.
  5. 제4항에 있어서,
    상기 저장부에는 상기 이미지 파일 및 상기 이미지 파일에 대응하는 키워드가 짝을 이루어 저장되는 정보 제공 장치.
  6. 제3항 또는 제5항에 있어서,
    키워드와 짝을 이루는 필기 데이터 또는 이미지 파일을 검색하는 검색부를 더 포함하는 정보 제공 장치.
  7. 삭제
  8. 제1항에 있어서,
    상기 배경 이미지는 광고 이미지를 포함하는 정보 제공 장치.
  9. 정보 제공 장치의 전자펜을 이용한 정보 제공 방법에 있어서,
    패턴 정보 별로 배경 이미지를 저장하는 단계,
    패턴이 형성된 기록매체 상에서 전자펜에 의하여 감지된 패턴정보를 수신하는 단계,
    상기 감지된 패턴정보에 기초하여 저장된 배경 이미지를 추출하는 단계,
    상기 패턴정보를 필기 데이터로 변환하는 단계,
    상기 필기 데이터 및 상기 필기 데이터에 대응하는 배경 이미지를 저장하는 단계, 그리고
    상기 필기 데이터 및 상기 필기 데이터에 대응하는 배경 이미지를 사용자 단말에게 전송하는 단계를 포함하고,
    상기 필기 데이터는 상기 전자펜에 의하여 상기 기록매체 상에 기록된 손글씨에 관한 정보를 포함하는 정보 제공 방법.
  10. 삭제
KR1020140028880A 2014-03-12 2014-03-12 전자펜을 이용하는 정보 제공 장치 및 그의 정보 제공 방법 KR101515162B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140028880A KR101515162B1 (ko) 2014-03-12 2014-03-12 전자펜을 이용하는 정보 제공 장치 및 그의 정보 제공 방법
PCT/KR2015/002335 WO2015137715A1 (ko) 2014-03-12 2015-03-11 전자펜을 이용하는 정보 제공 장치 및 그의 정보 제공 방법
US15/124,586 US20170124411A1 (en) 2014-03-12 2015-03-11 Information-providing device using electronic pen, and information providing method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140028880A KR101515162B1 (ko) 2014-03-12 2014-03-12 전자펜을 이용하는 정보 제공 장치 및 그의 정보 제공 방법

Publications (1)

Publication Number Publication Date
KR101515162B1 true KR101515162B1 (ko) 2015-04-24

Family

ID=53054107

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140028880A KR101515162B1 (ko) 2014-03-12 2014-03-12 전자펜을 이용하는 정보 제공 장치 및 그의 정보 제공 방법

Country Status (3)

Country Link
US (1) US20170124411A1 (ko)
KR (1) KR101515162B1 (ko)
WO (1) WO2015137715A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102082181B1 (ko) 2019-08-21 2020-05-29 에이아이프렌드 주식회사 인공지능 기반 전자펜, 인공지능 기반 전자펜을 이용한 콘텐츠 재생 시스템 및 방법

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11372902B1 (en) * 2019-04-09 2022-06-28 State Farm Mutual Automobile Insurance Company Methods and apparatus to compress telematics data
US11519745B1 (en) 2019-04-09 2022-12-06 State Farm Mutual Automobile Insurance Company Methods and apparatus to compress telematics data

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110134662A (ko) * 2010-06-09 2011-12-15 주식회사 티스터디 전자펜을 활용한 수학학습 서비스를 제공하는 방법 및 학습 서버와, 수학학습 도구 시스템
KR20140023785A (ko) * 2012-08-17 2014-02-27 크루셜텍 (주) 전자펜을 이용하여 단말장치의 동작을 제어하는 방법, 그 단말장치 및 전자펜

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110134662A (ko) * 2010-06-09 2011-12-15 주식회사 티스터디 전자펜을 활용한 수학학습 서비스를 제공하는 방법 및 학습 서버와, 수학학습 도구 시스템
KR20140023785A (ko) * 2012-08-17 2014-02-27 크루셜텍 (주) 전자펜을 이용하여 단말장치의 동작을 제어하는 방법, 그 단말장치 및 전자펜

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102082181B1 (ko) 2019-08-21 2020-05-29 에이아이프렌드 주식회사 인공지능 기반 전자펜, 인공지능 기반 전자펜을 이용한 콘텐츠 재생 시스템 및 방법

Also Published As

Publication number Publication date
WO2015137715A1 (ko) 2015-09-17
US20170124411A1 (en) 2017-05-04

Similar Documents

Publication Publication Date Title
US7094977B2 (en) Method and system for information association
US10013624B2 (en) Text entity recognition
KR100824110B1 (ko) 정보 조합 방법 및 시스템
Arai et al. PaperLink: a technique for hyperlinking from real paper to electronic content
US7054487B2 (en) Controlling and electronic device
US9530050B1 (en) Document annotation sharing
US7236653B2 (en) System and method for locating document areas using markup symbols
US20020050982A1 (en) Data form having a position-coding pattern detectable by an optical sensor
US20030046256A1 (en) Distributed information management
US9342155B2 (en) Character entry apparatus and associated methods
US11182593B2 (en) Image processing method, computer device, and computer readable storage medium
CN107454964A (zh) 一种商品识别方法和装置
EP2890100B1 (en) Image processing apparatus
US20120249425A1 (en) Character entry apparatus and associated methods
US20090127006A1 (en) Information Management in an Electronic Pen Arrangement
KR101515162B1 (ko) 전자펜을 이용하는 정보 제공 장치 및 그의 정보 제공 방법
CN103699314B (zh) 实现手写签字的方法及终端
WO2007023991A1 (en) Embedding hot spots in electronic documents
CN106256119B (zh) 检测电子文档内的签名行
KR101594590B1 (ko) 전자펜을 이용하는 광고 제공 장치 및 그의 광고 방법
KR101596885B1 (ko) 정보 처리 시스템 및 그의 정보 처리 방법
US9286683B1 (en) Text detection near display screen edge
JP2008181510A (ja) デジタルペンを用いた手書きの記載情報の収集及び管理システム
KR101796166B1 (ko) Sns 시스템의 손글씨 공유 방법
KR101452355B1 (ko) 닷패턴 인식 장치 및 컨텐츠 실행 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180312

Year of fee payment: 4