KR101372495B1 - 스타일러스 펜 접촉 시점 검출식 터치 스크린 입력장치 - Google Patents

스타일러스 펜 접촉 시점 검출식 터치 스크린 입력장치 Download PDF

Info

Publication number
KR101372495B1
KR101372495B1 KR1020120060261A KR20120060261A KR101372495B1 KR 101372495 B1 KR101372495 B1 KR 101372495B1 KR 1020120060261 A KR1020120060261 A KR 1020120060261A KR 20120060261 A KR20120060261 A KR 20120060261A KR 101372495 B1 KR101372495 B1 KR 101372495B1
Authority
KR
South Korea
Prior art keywords
stylus pen
contact
touch screen
input
terminal
Prior art date
Application number
KR1020120060261A
Other languages
English (en)
Other versions
KR20130136683A (ko
Inventor
이종배
안지윤
Original Assignee
크레신 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 크레신 주식회사 filed Critical 크레신 주식회사
Priority to KR1020120060261A priority Critical patent/KR101372495B1/ko
Publication of KR20130136683A publication Critical patent/KR20130136683A/ko
Application granted granted Critical
Publication of KR101372495B1 publication Critical patent/KR101372495B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G06F3/0442—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means using active external devices, e.g. active pens, for transmitting changes in electrical potential to be received by the digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0384—Wireless input, i.e. hardware and software details of wireless interface arrangements for pointing devices

Abstract

본 발명은 터치 스크린에 사용자 명령을 입력하는 스타일러스 펜 접촉 시점 검출식 터치 스크린 입력장치에 관한 것으로, 특히 각각 접촉 센싱 신호를 발생시키는 스타일러스 펜의 접촉과 상기 스타일러스 펜을 잡고 있는 손의 접촉을 구분할 수 있어서, 스타일러스 펜의 접촉을 통한 입력만 선택적으로 받아들일 수 있는 스타일러스 펜 접촉 시점 검출식 터치 스크린 입력장치에 관한 것이다.
또한, 본 발명은 스타일러스 펜의 접촉시 펜 팁의 접촉 압력 크기를 감지하여 단말기에 제공하고, 단말기에서는 기준값 이상의 크기를 갖는 접촉 압력일 때만 입력으로 받아들임과 동시에 접촉 압력의 크기에 따라 선 굵기를 포함한 사용자 명령의 특성을 가변시킴으로써, 자연스러운 필기나 스케치 등을 가능하게 하는 스타일러스 펜 접촉 시점 검출식 터치 스크린 입력장치에 관한 것이다.

Description

스타일러스 펜 접촉 시점 검출식 터치 스크린 입력장치{Touch screen input device based on detecting of contact time of stylus pen}
본 발명은 터치 스크린에 사용자 명령을 입력하는 스타일러스 펜 접촉 시점 검출식 터치 스크린 입력장치에 관한 것으로, 더욱 상세하게는 각각 접촉 센싱 신호를 발생시키는 스타일러스 펜의 접촉과 상기 스타일러스 펜을 잡고 있는 손의 접촉을 구분할 수 있어서, 스타일러스 펜의 접촉을 통한 입력만 선택적으로 받아들일 수 있는 스타일러스 펜 접촉 시점 검출식 터치 스크린 입력장치에 관한 것이다.
또한, 본 발명은 스타일러스 펜의 접촉시 펜 팁의 접촉 압력 크기를 감지하여 단말기에 제공하고, 단말기에서는 기준값 이상의 크기를 갖는 접촉 압력일 때만 입력으로 받아들임과 동시에 접촉 압력의 크기에 따라 선 굵기를 포함한 사용자 명령의 특성을 가변시킴으로써, 자연스러운 필기나 스케치 등을 가능하게 하는 스타일러스 펜 접촉 시점 검출식 터치 스크린 입력장치에 관한 것이다.
일반적으로 스마트 폰이나 테블릿 PC(예: Galaxy Tab®)와 같은 이동통신단말기, 개인정보단말기(PDA), 노트북, 게임기, 내비게이션 등의 기기에서는 데이터 입력장치를 사용하여 원하는 기능을 선택하고 입력하게 된다.
데이터 입력 장치는 키를 손가락 등으로 눌러 해당 데이터를 입력하는 키패드 방식(키보드 포함) 및 접촉면을 가볍게 접촉함으로써 해당 데이터를 인식하는 터치 스크린(touch screen) 방식 등으로 대별된다.
그 중 다양한 부가기능을 제공할 수 있도록 화면의 크기는 넓으면서도 단말기의 크기가 커지는 것은 방지하도록, 화면상의 UI(User Interface)에서 직접 사용자 명령을 입력하는 터치 스크린이 최근 각광받고 있다.
또한, 터치 스크린 화면에서 필기나 스케치와 같이 좀더 세밀한 사용자 명령을 입력할 수 있도록 스타일러스 펜(stylus pen)이 사용되는데, 스타일러스 펜은 한국공개특허 제2010-115522호 및 제2009-041786호 등에서 정전용량 방식과 압력 감지 방식을 비롯한 다양한 방식을 제안하고 있다.
그러나, 이상과 같은 종래기술에서는 도 1과 같이 스타일러스 펜(20)을 이용하여 단말기(10)의 터치 스크린에 접촉(P1)하여 필기나 스케치를 할 때, 스타일러스 펜(20)을 잡은 손의 여러 영역(P2, P3) 역시 터치 스크린에 접촉하므로 불필요한 손의 접촉 역시 사용자 명령으로 입력받는 문제점이 있었다.
이에, 사용자는 스타일러스 펜(20)을 잡은 손이 터치 스크린에 접촉하지 않도록 손을 약간 든 상태에서 스타일러스 펜(20)을 사용하거나, 먼저 터치 스크린의 특정 영역을 선택(예: "「" 및 "」"이 각 모서리에 표시되면서 설정됨)한 후 스타일러스 펜(20)만 인식하는 그 선택 영역에 입력하는 불편함이 있었다.
또한, 위 한국공개특허 등에서는 자연스러운 필기나 스케치를 위해 스타일러스 펜(20)이 터치 스크린에 접촉하는 압력의 크기에 따라 선의 굵기 등을 조절하여 필기감을 좋게 하는데 이러한 기능이 있어도 여전히 손의 접촉을 방지해야 하므로 그 기능을 온전히 제공하지 못하였다.
또한, 실제 필기나 스케치 등을 목적으로 하는 스타일러스 펜(20)의 접촉이 아니고 실수 등으로 인해 스타일러스 펜(20)을 터치 스크린에 가볍게 접촉하기만 해도 단말기(10)에서 아무런 여과 없이 사용자 명령으로 받아들임에 따라 필기나 스케치를 지우고 다시 써야하는 불편함이 있었다.
본 발명은 전술한 바와 같은 문제점을 해결하기 위해 제안된 것으로, 각각 접촉 센싱 신호를 발생시키는 스타일러스 펜의 접촉과 상기 스타일러스 펜을 잡고 있는 손의 접촉을 구분할 수 있어서, 스타일러스 펜의 접촉을 통한 입력만 선택적으로 받아들일 수 있는 스타일러스 펜 접촉 시점 검출식 터치 스크린 입력장치를 제공하고자 한다.
또한, 본 발명은 스타일러스 펜의 접촉시 펜 팁의 접촉 압력 크기를 감지하여 단말기에 제공하고, 단말기에서는 기준값 이상의 크기를 갖는 접촉 압력일 때만 입력으로 받아들임과 동시에 접촉 압력의 크기에 따라 선 굵기를 포함한 사용자 명령의 특성을 가변시킴으로써, 자연스러운 필기나 스케치 등을 가능하게 하는 스타일러스 펜 접촉 시점 검출식 터치 스크린 입력장치를 제공하고자 한다.
이를 위해, 본 발명에 따른 스타일러스 펜 접촉 시점 검출식 터치 스크린 입력장치는 터치 스크린에 접촉한 스타일러스 펜(200)(stylus pen)과 손(hand)을 감지하는 터치 스크린 센싱부(110)와; 상기 터치 스크린 센싱부(110)에 접촉하여 사용자 명령을 입력하며, 상기 터치 스크린 센싱부(110)에 직접 접촉하는 펜 팁(211)과, 상기 펜 팁(211)이 상기 터치 스크린과 접촉하면서 발생한 압력을 감지하는 압력 감지부(212)를 구비한 스타일러스 펜(200)과; 상기 압력 감지부(212)에서 감지한 상기 스타일러스 펜(200)의 접촉 압력의 크기를 판단하고, 상기 스타일러스 펜(200)의 접촉 압력이 기준값 이상인 경우 상기 스타일러스 펜(200)을 통한 사용자 명령이 실행되게 하는 입력 시작 판별부(150)와; 상기 입력 시작 판별부(150)로부터 상기 스타일러스 펜(200)의 접촉 압력 크기를 입력받고 상기 터치 스크린 센싱부(110)로부터 접촉 센싱 신호를 입력받아, 상기 스타일러스 펜(200)의 접촉 압력이 기준값 이상인 시점(t0)부터 일정시간 이전(t-1)인 기준시점 사이(t)에 입력되기 시작한 접촉 센싱 신호(P1)가 존재하는지 판단하는 센싱 신호 발생시간 판별부(170); 및 상기 스타일러스 펜(200)의 접촉 압력이 기준값 이상인 시점(t0)부터 일정시간 이전(t-1)인 기준시점 사이(t)에 입력되기 시작한 접촉 센싱 신호(P1)를 발생시키는 접촉점만을 스타일러스 펜(200)의 입력으로 받아들이고, 상기 입력으로 받아들인 명령에 따라 단말기(100)를 제어하는 단말기 UI 모듈(130);을 포함하는 것을 특징으로 한다.
이때, 어플리케이션 프로그램을 다운로드 받아 저장하는 어플리케이션 메모리(140)를 더 포함하되, 상기 센싱 신호 발생시간 판별부(170)는 상기 어플리케이션 메모리(140)에 저장된 어플리케이션 프로그램을 실행하여 구현되는 것이 바람직하다.
또한, 상기 스타일러스 펜(200)은 상기 압력 감지부(212)에서 감지한 압력의 크기를 상기 터치 스크린이 구비된 단말기(100)로 전송하는 통신부를 포함하고, 상기 단말기 UI 모듈(130)은 입력된 상기 스타일러스 펜(200)의 접촉 압력의 크기에 따라 상기 스타일러스 펜(200)에 의해 입력된 사용자 명령의 특성을 가변시키는 것이 바람직하다.
또한, 상기 스타일러스 펜(200)의 통신부는 상기 압력 감지부(212)에서 감지한 접촉 압력을 오디오 신호로 변환하는 신호변환 모듈(213)과, 상기 신호변환 모듈(213)에 연결된 오디오 케이블(220) 및 상기 오디오 케이블(220)의 단부에 연결되며 단말기(100)의 마이크로 폰 입력포트에 연결되는 마이크로 폰 단자(230)를 포함하는 것이 바람직하다.
또한, 상기 스타일러스 펜(200)의 통신부는 상기 압력 감지부(212)에서 감지한 접촉 압력의 크기를 상기 단말기(100)에 무선으로 송신하는 근거리 무선통신 모듈(215)인 것이 바람직하다.
이상과 같은 본 발명에 의하면 스타일러스 펜의 접촉 압력이 기준값 이상인 시점부터 일정시간 이전인 기준시점 사이에 새로운 접촉 센싱 신호가 발생하였는지 판단할 수 있어서, 상기 새로운 접촉 센싱 신호를 발생시키는 접촉점을 스타일러스 펜 입력으로 받아들일 수 있게 한다.
따라서, 스타일러스 펜의 접촉을 통한 입력만 받아들이고 손의 접촉은 입력으로 받아들이지 않으므로 스타일러스 펜을 손으로 잡고 사용하더라도 터치 스크린에 손이 접촉하는 걱정을 할 필요 없이 편리한 사용을 가능하게 한다.
또한, 본 발명은 스타일러스 펜의 접촉시 펜 팁의 접촉 압력 크기를 감지하여 단말기에 제공하고, 이때 단말기에서는 기준값 이상의 크기를 갖는 접촉 압력일 때만 입력으로 받아들임과 동시에 접촉 압력의 크기에 따라 선 굵기를 포함한 사용자 명령의 특성을 가변시킨다.
따라서, 사용자가 실수로 스타일러스 펜을 터치 스크린에 접촉하더라도 이를 사용자 명령으로 받아들이지 않음은 물론, 접촉 압력에 따라 필기감을 변경함으로써 자연스러운 필기나 스케치 등을 가능하게 한다.
도 1은 종래 기술에 따른 스타일러스 펜의 사용 상태도이다.
도 2는 본 발명에 따른 스타일러스 펜 접촉 시점 검출식 터치 스크린 입력장치를 나타낸 구성도이다.
도 3은 본 발명에 따른 스타일러스 펜 접촉 시점 검출식 터치 스크린 입력장치의 센싱 신호 발생시간 판별부에 의한 검출 방법을 나타낸 도이다.
도 4는 본 발명에 따른 스타일러스 펜 접촉 시점 검출식 터치 스크린 입력장치의 일 실시예에 따른 스타일러스 펜을 나타낸 사시도이다.
도 5는 본 발명에 따른 스타일러스 펜 접촉 시점 검출식 터치 스크린 입력장치의 일 실시예에 따른 스타일러스 펜을 나타낸 정단면도이다.
도 6은 본 발명에 따른 스타일러스 펜 접촉 시점 검출식 터치 스크린 입력장치의 다른 실시예에 따른 스타일러스 펜을 나타낸 정단면도이다.
도 7a는 본 발명에 따른 스타일러스 펜 접촉 시점 검출식 터치 스크린 입력장치의 펜 팁을 나타낸 다른 예이다.
도 7b는 본 발명에 따른 스타일러스 펜 접촉 시점 검출식 터치 스크린 입력장치의 펜 팁을 나타낸 다른 예의 사용 상태도이다.
도 8은 본 발명에 따른 스타일러스 펜 접촉 시점 검출식 터치 스크린 입력장치의 동작 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 따른 스타일러스 펜 접촉 시점 검출식 터치 스크린 입력장치에 대해 상세히 설명한다.
단, 이하에서는 터치 스크린을 구비한 다양한 단말기 중 자체에 컴퓨팅 기능을 부가한 테블릿 PC와 같은 이동통신단말기를 일 예로 들어 설명하나, 본 발명이 이에 한정하지 않음은 자명할 것이다.
먼저, 도 2에 도시된 바와 같이, 본 발명에 따른 스타일러스 펜 접촉 시점 검출식 터치 스크린 입력장치는 터치 스크린 센싱부(110)와, 센싱 면적 비교부(120)와, 단말기 UI(User Interface) 모듈(130)과, 어플리케이션 메모리(140)와, 입력 시작 판별부(150)와, 압력 감지부(212)와, 단말기 제어부(160) 및 센싱 신호 발생시간 판별부(170)를 포함한다.
터치 스크린 센싱부(110)와, 단말기 UI 모듈(130)과, 어플리케이션 메모리(140) 및 단말기 제어부(160)는 사용자 명령의 입력을 위해 종전부터 테블릿 PC와 같은 이동통신단말기(100)(이하, '단말기'라 함)에 탑재되어 있는 것이다.
그 외 센싱 면적 비교부(120)와, 입력 시작 판별부(150) 및 센싱 신호 발생시간 판별부(170)는 본 발명을 위해 위 구성들과 연동되도록 특별히 추가된 것이다.
이때, 상기 터치 스크린 센싱부(110)는 그 동작 방식의 특성에 따라 단말기(100)나 상기 단말기(100)의 터치 스크린에 구비되는 것으로, 현재로서는 정전용량 감지식 센싱부나 압력 감지식 센싱부가 대표적으로 사용되고 있다.
공지된 바와 같이 정전용량 감지식은 스타일러스 펜(stylus pen)(200)이나 손(hand or palm)의 접촉시 변화되는 정전용량(즉, 정전압)의 크기를 감지하는 방식이고, 압력 감지식은 스타일러스 펜(200)이나 손의 접촉시 가해지는 압력을 감지하는 방식이다.
정전용량 감지식은 X축 전극과 Y축 전극이 그리드 타입으로 배열되어 있고, 압력 감지식은 도트 스페이서(Dot Spacer)가 그리드 타입으로 배열되어 있어서, 스타일러스 펜(200)과 손의 접촉을 감지함과 동시에 접촉 위치 및 접촉 면적을 감지할 수 있는 방식의 대표적인 예이다.
따라서, 본 발명은 스타일러스 펜(200)과 손의 접촉을 감지함과 동시에 접촉 위치 및 접촉 면적을 감지할 수 있으면 적용되므로, 정전용량 감지식 센싱부와 압력 감지식 센싱부 모두에 본 발명이 적용될 수 있음은 물론, 그 외 다른 방식에도 본 발명이 적용될 수 있음은 자명할 것이다.
다만, 정전용량 감지식 센싱부의 경우에는 스타일러스 펜(200)의 접촉시와 손의 접촉시의 정전용량 크기 변화가 매우 유사하여, 손의 접촉에 따른 잘못된 입력을 배제할 필요성이 특히 크므로 본 발명은 정전용량 감지식 센싱부를 채택한 터치 스크린을 채택한 단말기(100)에 특히 유용할 것이다.
센싱 면적 비교부(120)는 터치 스크린 센싱부(110)에서 감지한 스타일러스 펜(200)과 손의 접촉 영역 면적을 비교하고, 비교결과 최소 접촉 영역 면적을 갖는 스타일러스 펜(200)의 접촉만을 입력(즉, 사용자 명령)으로 선택할 수 있게 하는 것으로, 단말기(100)에 탑재된다.
도 1과 같이 종래처럼 스타일러스 펜(20)을 사용시, 손을 단말기(10)의 터치 스크린에 기댄 상태에서 사용하는 것이 편리한데, 이때 터치 스크린에는 스타일러스 펜(20)에 의한 1개소의 접촉(P1)과 일 예로 손에 의한 2개소의 접촉(P2, P3)이 있게 되므로 본 발명은 센싱 면적 비교부(120)에서 그 3개소의 접촉(P1 내지 P3) 중 접촉 영역 면적이 가장 작은 스타일러스 펜(200)의 접촉을 구분한다.
따라서, 최소 접촉 영역 면적을 갖는 스타일러스 펜(200)의 접촉만을 입력으로 받아들이고, 손에 의해 발생한 2개소의 접촉은 불필요한 접촉으로서 제거하므로, 스타일러스 펜(200)의 사용시 손을 들고 사용하거나 먼저 터치 스크린의 특정 영역을 선택(보통 "「" 및 "」"이 각 모서리에 표시되면서 설정됨)한 후 입력 가능한 그 특정 영역에 입력하는 불편함을 제거한다.
다만, 이상과 같이 센싱 면적 비교부(120)는 그 분석 결과를 단말기 제어부(160)에 제공함으로써 최소 접촉 영역 면적을 갖는 스타일러스 펜(200)의 접촉만을 입력으로 처리해야 하는데, 이를 위해 센싱 면적 비교부(120)에서는 각 접촉 영역의 면적값 만을 제공하고 단말기 제어부(160)에서 면적의 크기를 비교하도록 할 수 있다.
물론, 센싱 면적 비교부(120)에서 각 접촉 영역의 면적값을 비교하여 그 중 가장 작은 스타일러스 펜(200)의 접촉 결과만을 단말기 제어부(160)에 제공할 수 있으며, 나아가 최근의 데이터 프로세싱 기술의 발전에 비추어 센싱 면적 비교부(120)의 기능을 단말기 제어부(160)에 일체로 탑재할 수도 있다.
단말기 UI 모듈(130)은 종래부터 단말기(100)에 탑재되어 있는 것으로, 화면을 통해 각종 아이콘이나 버튼 등을 표시하여 사용자 명령 입력 환경을 제공하고, 스타일러스 펜(200)을 통해 필기나 스케치 혹은 아이콘이나 버튼 누름 등의 사용자 명령 입력시에는 그에 해당하는 명령을 실행한다. 이러한 단말기 UI 모듈(130)은 보통 단말기 제어부(160)에 의해 제어된다.
어플리케이션 메모리(140)는 단말기(100)에 다운로드 가능한 각종 어플리케이션('앱' 또는 '어플'이라고 줄여 일컫기도 함)을 저장하는 것으로, 특히 본 발명에서는 상술한 센싱 면적 비교부(120)는 물론 후술할 입력 시작 판별부(150) 및 센싱 신호 발생시간 판별부(170)의 의 기능을 수행하는 어플리케이션을 다운로드 받아 저장한다.
따라서, 어플리케이션 메모리(140)에 저장된 어플리케이션 프로그램을 실행하면 센싱 면적 비교부(120)와, 입력 시작 판별부(150) 및 센싱 신호 발생시간 판별부(170)의 기능이 설치되고, 설치된 센싱 면적 비교부(120)와, 입력 시작 판별부(150) 및 센싱 신호 발생시간 판별부(170)는 단말기 제어부(160)와 연동되기 시작한다.
이와 같이 센싱 면적 비교부(120)와, 입력 시작 판별부(150) 및 센싱 신호 발생시간 판별부(170)를 다운로드 가능한 어플리케이션 프로그램에 의해 설치 가능하도록 하면, 단말기(100)의 칩셋 구조나 프로세스 로직 등을 교체할 필요 없이 기존부터 제공되고 있는 단말기(100)에 그대로 적용할 수 있게 된다.
입력 시작 판별부(150)는 스타일러스 펜(200)이 터치 스크린에 접촉하는 압력의 크기를 판단하고, 판단 결과 스타일러스 펜(200)의 접촉 압력이 기준값 이하인 경우에는 입력 대기 상태를 유지하고, 반대로 스타일러스 펜(200)의 접촉 압력이 기준값 초과인 경우에는 해당 스타일러스 펜(200)을 통한 사용자 명령이 실행되게 한다.
따라서, 필기나 스케치 등을 목적으로 하는 실제 스타일러스 펜(200)의 접촉이 아니고 실수 등으로 스타일러스 펜(200)을 터치 스크린에 가볍게 접촉하기만 해도 단말기(100)에서 사용자 명령으로 받아들이는 것을 방지하므로, 실수에 의한 필기나 스케치를 지우고 다시 쓰는 등의 불편함을 제거한다.
다만, 이러한 입력 시작 판별부(150)는 단말기(100)에 설치되는 것이 바람직할 것이나, 단말기(100) 이외에 스타일러스 펜(200)에 설치될 수도 있으며, 후술하는 바와 같이 스타일러스 펜(200)의 펜 팁(211)을 비롯한 압력 감지부(212)로부터 접촉 압력값을 제공받아 작동한다.
단말기 제어부(160)는 공지의 CPU에 해당하는 것으로, 음성 통화나 무선 인터넷과 같은 데이터 통신을 비롯한 단말기(100) 고유의 기능을 위한 프로세스는 물론, 어플리케이션 메모리(140)에 저장된 프로그램이 실행시에는 본 발명의 전반적인 프로세스 역시 처리한다.
센싱 신호 발생시간 판별부(170)는 도 3에 도시된 바와 같이 스타일러스 펜(200)으로부터 제공된 접촉 압력이 기준값(즉, 임계값) 이상인 시점(t0)부터 일정시간 이전(t-1)인 기준시점 사이(t)에 터치 스크린에서 새로운 접촉 센싱 신호가 발생하였는지 판단한다.
일정시간은 약 0.5초 내지 1초로 설정되는 등 자유롭게 설정되며, 스타일러스 펜(200)의 접촉 압력이 기준값 이상인 시점(t0)부터 일정시간 이전(t-1)인 기준시점 사이(t)에 새롭게 발생한 접촉 센싱 신호(즉, 't' 시간 구간 동안 발생하기 시작한 신호)는 스타일러스 펜(200)의 접촉(P1)에 의한 것뿐이다.
그 외 손이 접촉(P1, P1)하면서 발생한 접촉 센싱 신호는 t-1 시점 이전부터 계속해서 발생하고 있는 것으로, 새롭게 기준시점 사이(t) 이내에 새롭게 발생한 것이 아니므로 스타일러스 펜(200)에 의한 접촉(P1)과 구분할 수 있다.
이를 위해 센싱 신호 발생시간 판별부(170)는 입력 시작 판별부(150)로부터 스타일러스 펜(200)의 접촉 압력 크기를 입력받고 터치 스크린 센싱부(110)로부터 접촉 센싱 신호를 입력받을 수 있도록 설치된다.
스타일러스 펜(200)의 접촉 압력이 기준값 이상인 시점부터 일정시간 이전인 기준시점 사이에 발생하는 새로운 접촉 센싱 신호는 스타일러스 펜(200)에 의한 압력일 가능성이 극히 높으므로 손은 물론 그 외 제3의 물체와의 접촉과 구분할 수 있다.
스타일러스 펜(200)에 의한 접촉이 새롭게 이루어지기 시작한 시점부터 좀더 힘을 주어 그 접촉 압력이 기준값 이상이 되기까지의 극히 짧은 시간 동안 스타일러스 펜(200)을 제외한 다른 새로운 접촉이 있기에는 실질적으로 거의 불가능하기 때문이다.
따라서, 단말기 UI 모듈(130)은 상기 새로운 접촉 센싱 신호를 발생시키는 접촉점을 스타일러스 펜(200) 입력으로 받아들일 수 있으므로, 상술한 바와 같이 손의 접촉에 의한 입력은 배제하고, 스타일러스 펜(200)에 의한 접촉만을 입력으로 받아들일 수 있게 된다.
다만, 센싱 신호 발생시간 판별부(170)는 센싱 면적 비교부(120)와는 별개로 동작하여 단독으로 스타일러스 펜(200)에 의한 접촉을 구분하고 이를 입력으로 받아들이게 할 수 있음은 물론, 센싱 면적 비교부(120)와 함께 동작하여 이중으로 스타일러스 펜(200)에 의한 접촉을 구분하여 더욱 확실한 동작을 보장하도록 할 수도 있을 것이다.
이하, 본 발명에 따른 스타일러스 펜 접촉 시점 검출식 터치 스크린 입력장치에 적용되는 스타일러스 펜에 대해 설명한다.
도 4의 (a)에 도시된 바와 같이 본 발명의 스타일러스 펜(200)은 펜 몸체(210)와, 상기 펜 몸체(210)의 전방 단부에 구비되어 터치 스크린에 접촉하는 펜 팁(211)과, 상기 펜 몸체(210)의 후방 단부에 연결된 오디오 케이블(220) 및 상기 오디오 케이블(220)의 단부에 구비된 마이크로 폰 단자(230)를 포함한다.
따라서, 도 4의 (b)와 같이 상기 마이크로 폰 단자(230)를 단말기(100)의 마이크로 폰 입력포트에 연결하면, 펜 팁(211)이 터치 스크린에 의해 발생한 압력의 크기를 음성 신호로 변환한 후 마이크로 폰 입력포트를 통해 단말기(100)로 제공할 수 있게 된다.
즉, 본 발명은 단말기(100)에 어떠한 물리적 변화나 추가적인 장비를 갖출 필요없이 본 발명의 스타일러스 펜(200)만 있으면 적용할 수 있게 한다.
또한, 오디오 케이블(220) 및 마이크로 폰 단자(230)를 통해 스타일러스 펜(200)을 단말기(100)에 연결한 상태에서 사용할 수 있어서, 별도의 배터리가 불필요하고, 배터리를 교체할 필요가 없으며, 배터리가 없어서 스타일러스 펜(200)의 무게가 가벼우므로 장시간 사용시에도 손목에 무리가 가지 않는다.
한편, 스타일러스 펜(200)에 의한 접촉 압력의 크기 변화를 단말기(100)에 공급하는 주된 목적은 스타일러스 펜(200)을 이용하여 필기나 스케치를 할 때 압력의 크기에 따라 선의 굵기를 가변시킴으로써 필기감(혹은, 필압감)을 좋게 하고, 그에 따라 자연스러운 필기나 스케치를 가능하도록 하기 위함이다.
그러나, 스타일러스 펜(200)으로 필기나 스케치를 할 때 선의 굵기를 가변시키는 용도 이외에 화면에 표시된 버튼을 누르는 압력이 큰 경우에는 음성 높임 정도를 더욱 빠르게(혹은, 크게) 변화시키는 등 그 외 다양한 사용자 명령의 특성을 가변시키는 용도로 사용될 수도 있다.
이를 위해, 이상과 같은 스타일러스 펜(200)은 도 5에 도시된 바와 같이 펜 몸체(210)와, 펜 팁(211)과, 상술한 압력 감지부(212)로서 사용되는 압력 감지 센서(212)와, 신호변환 모듈(213) 및 마감 캡(C1) 등을 포함한다.
펜 팁(211)은 터치 스크린에 직접 접촉하는 부분으로, 펜 몸체(210) 내부에 위치하는 부분에는 걸림턱(211a)이 설치되어 있고, 걸림턱(211a)과 지지플레이트(P) 사이에는 스프링(S)이 삽입되어 있다. 펜 팁(211)의 상단부(211b)는 지지플레이트(P)를 통과하여 상측으로 돌출되도록 설치된다.
따라서, 펜 팁(211)이 터치 스크린에 접촉하지 않을 때에는 스프링(S)의 탄성력에 의해 펜 팁(211)이 외부로 노출된 상태를 유지하고, 펜 팁(211)이 터치 스크린에 접촉시에는 스프링(S)이 압축되며 펜 팁(211)이 내측으로 삽입되고, 펜 팁(211)의 상단부(211b)는 압력 감지 센서(212)에 접촉하게 된다.
압력 감지 센서(212)는 펜 팁(211)이 상승하는 정도에 따라 접촉 압력의 크기를 감지하는 것으로, 이러한 압력 감지 센서(212)는 상술한 바와 같은 압력 감지부(212)의 일 실시예로서 사용되며, 보통은 한 쌍의 검출판(212a)을 갖는 스트레인 게이지(strain gauge)가 사용된다.
따라서, 접촉시 펜 팁(211)의 상단부가 검출판(212a) 사이에 삽입되어 변형이 발생하면 스트레인 게이지의 액티브 영역(active region)에서 정전용량의 크기가 변화(전기 저항값이 변화되는 방식도 있음)되므로, 이러한 정전용량 크기의 변화를 접촉 압력의 크기 변화로 사용할 수 있게 한다.
또한, 신호변환 모듈(213)은 접촉 압력의 크기(즉, 전기 저항값)를 오디오 신호로 변환함으로써 오디오 케이블(220)을 통해 접촉 압력의 크기 정보가 포함된 신호를 단말기(100)로 전송한다.
이점에서 상기 신호변환 모듈(213)과, 오디오 케이블(220) 및 마이크로 폰 단자(230)를 일종의 '통신부'로 이해할 수 있다.
한편, 본 발명은 도 5를 참조하여 설명한 바와 같이 오디오 케이블(220)을 통해 유선통신을 하는 통신부 이외에, 근거리 무선통신(NFC: Near Field Communication) 방식의 통신부도 사용 가능하다.
이를 위해 도 6과 같이 스타일러스 펜(200)의 '통신부'는 압력 감지부(212)에서 감지한 접촉 압력의 크기를 단말기(100)에 무선 송신하는 근거리 무선통신 모듈(예: 블루투스 모듈 등)(215)과, 상기 근거리 무선통신 모듈(215)에 전원을 공급하는 배터리(214)를 포함하는 구성이 사용된다.
다만, 무선통신 방식을 사용하면 신호변환 모듈(213)에서 접촉 압력 크기를 오디오 신호로 변환한 후 단말기(100)로 무선 송신하는 방식은 물론, 신호변환 모듈(213)에서 접촉 압력의 크기를 바로 무선 송신 신호로 변환하여 전송할 수 있을 것이다.
또한, 위에서 도 5 및 도 6을 참조하여 설명한 스타일러스 펜(200)은 단말기(100)의 터치 스크린에 접촉하는 펜 팁(211)으로서 단부가 뾰족하며 플라스틱 등의 재질로 이루어진 일반적인 것을 예로 들어 설명하였다.
그러나, 본 발명은 도 7a에 도시된 바와 같이 브러쉬형 펜 팁(211')도 사용될 수 있는데, 브러쉬형 펜 팁(211')은 공지된 바와 같이 실제 브러쉬(brush)와 유사한 감촉을 주도록 제작되어 있다.
따라서, 도 7b에 도시된 바와 같이 그림을 좋아하는 사용자(미술가나 디자이너 등)들이 그림을 그리는 용도로 사용할 때는 브러쉬형 펜 팁(211')을 사용할 수 있으므로, 본 발명의 펜 팁은 브러쉬형 펜 팁(211')도 포함하는 것으로 이해될 것이다.
이하, 이상과 같은 구성으로 이루어진 본 발명에 따른 스타일러스 펜 접촉 시점 검출식 터치 스크린 입력장치의 작동에 대해 설명한다.
도 8에 도시된 바와 같이, 단말기(100)에 전원이 공급되어 작동이 시작되면 스타일러스 펜(200)의 접촉에 의한 사용자 명령의 있는지 입력 대기(S110)한다.
다음, 입력 대기 중 스타일러스 펜(200)의 접촉이 있으면 스타일러스 펜(200)에 일체로 구비된 압력 감지부(212) 즉, 압력 감지 센서(212)로부터 접촉 압력의 크기를 입력받고, 입력 시작 판별부(150)에서 입력된 접촉 압력의 크기가 기준값을 초과하는지 판별(S120)한다.
판별 결과 접촉 압력의 크기가 기준값을 초과하지 않으면 계속해서 입력 대기하고, 기준값을 초과하면 스타일러스 펜(200)의 접촉이 실수 등에 의한 것이 아닌 것으로 판단하고 스타일러스 펜(200)의 입력을 허용(S130)한다.
스타일러스 펜(200)의 입력이 허용되면 센싱 면적 비교부(120)에서 스타일러스 펜(200)에 의한 접촉 영역 면적과 손에 의한 접촉 영역 면적을 비교(S140a)한다. 이때 스타일러스 펜(200)은 펜 팁(211)을 통해 접촉하므로 스타일러스 펜(200)의 접촉 영역 면적이 최소일 것이다.
다음, 스타일러스 펜(200)과 손의 접촉 영역의 면적을 비교한 결과에 따라 스타일러스 펜(200)에 의한 접촉이 입력(즉, 사용자 명령)으로서 결정(S150a)된다. 따라서, 손이 터치 스크린에 접촉함에 따른 잘못된 입력은 배제된다.
다음, 스타일러스 펜(200)의 접촉에 의한 사용자 명령만 단말기 제어부(160)의 제어하에 단말기 UI 모듈(130)로 제공됨으로써 해당 명령을 수행하고, 특히 압력 감지부(212)에서 제공된 접촉 압력값도 함께 제공되므로 선의 굵기 등을 가변시키면서 자연스러운 필기나 스케치를 가능하게 한다.
한편, 이상과 같이 스타일러스 펜(200)에 의한 접촉 압력의 크기가 기준값을 초과하여 스타일러스 펜(200)의 입력을 허용(S130)된 경우, 센싱 신호 발생시간 판별부(170)는 스타일러스 펜(200)의 접촉 압력이 기준값 이상인 시점부터 일정시간 이전인 기준시점 사이에 새로운 접촉 센싱 신호가 발생하였는지 검출(S140b)한다.
검출결과 스타일러스 펜(200)의 접촉 압력이 기준값 이상인 시점부터 일정시간 이전인 기준시점 사이에 발생하는 새로운 접촉 센싱 신호가 있으면 이를 스타일러스 펜(200)에 의한 것으로 판단하여, 상기 새로운 접촉 센싱 신호의 접촉점을 사용자 입력으로 결정(S150b)한다.
다만, 도 8에서는 단계 S140a 및 S150a이 수행됨과 동시에 단계 S140b 및 S150b이 수행됨으로써 손에 의한 접촉 센싱 신호를 제거하는 것을 예로 들어 도시하였지만, 단계 S140a 및 S150a는 단계 S140b 및 S150b와 별개로 각각 독립적으로 수행될 수도 있음은 자명할 것이다.
이상, 본 발명의 특정 실시예에 대하여 상술하였다. 그러나, 본 발명의 사상 및 범위는 이러한 특정 실시예에 한정되는 것이 아니라, 본 발명의 요지를 변경하지 않는 범위 내에서 다양하게 수정 및 변형이 가능하다는 것을 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 이해할 것이다.
따라서, 이상에서 기술한 실시예들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이므로, 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 하며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
100: 단말기 110: 터치 스크린 센싱부
120: 센싱 면적 비교부 130: 단말기 UI 모듈
140: 어플리케이션 메모리 150: 입력 시작 판별부
160: 단말기 제어부 170: 센싱 신호 발생시간 판별부
200: 스타일러스 펜 211, 211': 펜 팁
212: 압력 감지부(압력 감지 센서) 213: 신호변환 모듈
214: 배터리 215: 근거리 무선통신 모듈
C1, C2: 마감캡

Claims (5)

  1. 터치 스크린에 접촉한 스타일러스 펜(200)(stylus pen)과 손(hand)을 감지하는 터치 스크린 센싱부(110)와;
    상기 터치 스크린 센싱부(110)에 접촉하여 사용자 명령을 입력하며, 상기 터치 스크린 센싱부(110)에 직접 접촉하는 펜 팁(211)과, 상기 펜 팁(211)이 상기 터치 스크린과 접촉하면서 발생한 압력을 감지하는 압력 감지부(212)를 구비한 스타일러스 펜(200)과;
    상기 압력 감지부(212)에서 감지한 상기 스타일러스 펜(200)의 접촉 압력의 크기를 판단하고, 상기 스타일러스 펜(200)의 접촉 압력이 기준값 이상인 경우 상기 스타일러스 펜(200)을 통한 사용자 명령이 실행되게 하는 입력 시작 판별부(150)와;
    상기 입력 시작 판별부(150)로부터 상기 스타일러스 펜(200)의 접촉 압력 크기를 입력받고 상기 터치 스크린 센싱부(110)로부터 접촉 센싱 신호를 입력받아, 상기 스타일러스 펜(200)의 접촉 압력이 기준값 이상인 시점(t0)부터 일정시간 이전(t-1)인 기준시점 사이(t)에 입력되기 시작한 접촉 센싱 신호(P1)가 존재하는지 판단하는 센싱 신호 발생시간 판별부(170); 및
    상기 스타일러스 펜(200)의 접촉 압력이 기준값 이상인 시점(t0)부터 일정시간 이전(t-1)인 기준시점 사이(t)에 입력되기 시작한 접촉 센싱 신호(P1)를 발생시키는 접촉점만을 스타일러스 펜(200)의 입력으로 받아들이고, 상기 입력으로 받아들인 명령에 따라 단말기(100)를 제어하는 단말기 UI 모듈(130);을 포함하는 것을 특징으로 하는 스타일러스 펜 접촉 시점 검출식 터치 스크린 입력장치.
  2. 제1항에 있어서,
    어플리케이션 프로그램을 다운로드 받아 저장하는 어플리케이션 메모리(140)를 더 포함하되, 상기 센싱 신호 발생시간 판별부(170)는 상기 어플리케이션 메모리(140)에 저장된 어플리케이션 프로그램을 실행하여 구현되는 것을 특징으로 하는 스타일러스 펜 접촉 시점 검출식 터치 스크린 입력장치.
  3. 제1항에 있어서,
    상기 스타일러스 펜(200)은 상기 압력 감지부(212)에서 감지한 압력의 크기를 상기 터치 스크린이 구비된 단말기(100)로 전송하는 통신부를 포함하고,
    상기 단말기 UI 모듈(130)은 입력된 상기 스타일러스 펜(200)의 접촉 압력의 크기에 따라 상기 스타일러스 펜(200)에 의해 입력된 사용자 명령의 특성을 가변시키는 것을 특징으로 하는 스타일러스 펜 접촉 시점 검출식 터치 스크린 입력장치.
  4. 제3항에 있어서,
    상기 스타일러스 펜(200)의 통신부는 상기 압력 감지부(212)에서 감지한 접촉 압력을 오디오 신호로 변환하는 신호변환 모듈(213)과, 상기 신호변환 모듈(213)에 연결된 오디오 케이블(220) 및 상기 오디오 케이블(220)의 단부에 연결되며 단말기(100)의 마이크로 폰 입력포트에 연결되는 마이크로 폰 단자(230)를 포함하는 것을 특징으로 하는 스타일러스 펜 접촉 시점 검출식 터치 스크린 입력장치.
  5. 제3항에 있어서,
    상기 스타일러스 펜(200)의 통신부는 상기 압력 감지부(212)에서 감지한 접촉 압력의 크기를 상기 단말기(100)에 무선으로 송신하는 근거리 무선통신 모듈(215)인 것을 특징으로 하는 스타일러스 펜 접촉 시점 검출식 터치 스크린 입력장치.
KR1020120060261A 2012-06-05 2012-06-05 스타일러스 펜 접촉 시점 검출식 터치 스크린 입력장치 KR101372495B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120060261A KR101372495B1 (ko) 2012-06-05 2012-06-05 스타일러스 펜 접촉 시점 검출식 터치 스크린 입력장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120060261A KR101372495B1 (ko) 2012-06-05 2012-06-05 스타일러스 펜 접촉 시점 검출식 터치 스크린 입력장치

Publications (2)

Publication Number Publication Date
KR20130136683A KR20130136683A (ko) 2013-12-13
KR101372495B1 true KR101372495B1 (ko) 2014-03-11

Family

ID=49983291

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120060261A KR101372495B1 (ko) 2012-06-05 2012-06-05 스타일러스 펜 접촉 시점 검출식 터치 스크린 입력장치

Country Status (1)

Country Link
KR (1) KR101372495B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101673135B1 (ko) * 2015-01-20 2016-11-07 주식회사 트레이스 디지타이저 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050111844A (ko) * 2004-05-24 2005-11-29 삼성전자주식회사 스타일러스 펜
KR20100136578A (ko) * 2009-06-19 2010-12-29 삼성전자주식회사 터치 입력 수단 및 스타일러스 펜, 이를 이용한 터치스크린 장치, 및 터치스크린 제어방법
KR20130051097A (ko) * 2011-11-09 2013-05-20 삼성전자주식회사 터치 기능 지원 방법 및 이를 지원하는 터치 기능 지원 시스템과 터치 펜

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050111844A (ko) * 2004-05-24 2005-11-29 삼성전자주식회사 스타일러스 펜
KR20100136578A (ko) * 2009-06-19 2010-12-29 삼성전자주식회사 터치 입력 수단 및 스타일러스 펜, 이를 이용한 터치스크린 장치, 및 터치스크린 제어방법
KR20130051097A (ko) * 2011-11-09 2013-05-20 삼성전자주식회사 터치 기능 지원 방법 및 이를 지원하는 터치 기능 지원 시스템과 터치 펜

Also Published As

Publication number Publication date
KR20130136683A (ko) 2013-12-13

Similar Documents

Publication Publication Date Title
KR101456047B1 (ko) 휴대 단말기 및 그의 기능 수행 방법
US9377871B2 (en) System and methods for determining keyboard input in the presence of multiple contact points
KR101424259B1 (ko) 휴대단말에서 입력 피드백 제공 방법 및 장치
KR101880653B1 (ko) 터치패널을 구비하는 휴대단말기의 입력 판정 장치 및 방법
WO2015110063A1 (zh) 信息处理方法、装置及设备
AU2016203222A1 (en) Touch-sensitive button with two levels
KR20130099717A (ko) 터치 스크린 기반의 사용자 인터페이스 제공 장치 및 방법
CN109478108B (zh) 触控笔通信信道
JP2015207034A (ja) 情報入力装置及び情報入力方法
JP6266833B1 (ja) 電子機器、プログラムおよび制御方法
TWI634473B (zh) 掌上型電子裝置的輸入法自動切換系統及方法
US11941101B2 (en) Fingerprint unlocking method and terminal
TWI659353B (zh) 電子設備以及電子設備的工作方法
CN105183359B (zh) 一种放大和缩小的方法、装置及终端
WO2021213274A1 (zh) 移动终端防误触方法、装置、计算机设备及存储介质
CA2884202A1 (en) Activation of an electronic device with a capacitive keyboard
JP2019030000A (ja) 電子機器、プログラムおよび制御方法
KR101372495B1 (ko) 스타일러스 펜 접촉 시점 검출식 터치 스크린 입력장치
KR101380930B1 (ko) 터치 스크린 입력장치
JP6000035B2 (ja) 情報処理装置、情報処理装置の制御方法、制御プログラム、および記録媒体
CN108427534B (zh) 控制屏幕返回桌面的方法和装置
US9710080B2 (en) Portable electronic device including contact sensors, and method for controlling same
KR20060125375A (ko) 마우스 기능을 구비한 스타일러스 펜과 그의 마우스 기능구현방법
KR20120035711A (ko) 전자 필기 장치 및 그의 동작 방법
KR20200019426A (ko) 스마트 터치패드 인터페이스 방법 및 그 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170307

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180305

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190305

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20200303

Year of fee payment: 7