KR101081754B1 - Apparatus for touch recognition and method for driving touch recognition using optical signal - Google Patents

Apparatus for touch recognition and method for driving touch recognition using optical signal Download PDF

Info

Publication number
KR101081754B1
KR101081754B1 KR1020090135486A KR20090135486A KR101081754B1 KR 101081754 B1 KR101081754 B1 KR 101081754B1 KR 1020090135486 A KR1020090135486 A KR 1020090135486A KR 20090135486 A KR20090135486 A KR 20090135486A KR 101081754 B1 KR101081754 B1 KR 101081754B1
Authority
KR
South Korea
Prior art keywords
touch
noise
points
touch points
recognition device
Prior art date
Application number
KR1020090135486A
Other languages
Korean (ko)
Other versions
KR20110078629A (en
Inventor
이중호
박지형
윤동욱
염기원
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020090135486A priority Critical patent/KR101081754B1/en
Publication of KR20110078629A publication Critical patent/KR20110078629A/en
Application granted granted Critical
Publication of KR101081754B1 publication Critical patent/KR101081754B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412Digitisers structurally integrated in a display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)

Abstract

광신호를 이용한 멀티 터치 인식 장치에서의 노이즈를 제거하도록 하는 멀티터치인식장치 및 멀티 터치 인식장치의 구동 방법을 제공한다. 본 발명에 일실시예에 따른 터치 인식 장치의 구동방법은 터치 패널, 상기 터치 패널의 가장자리에 쌍으로 배치되는 광송수신부 및 제어부로 구성되는 터치인식장치를 구동하는 방법에 있어서, 터치 패널 상에 외부 터치가 발생한 복수의 영역을 복수의 터치 포인트로 감지하는 단계, 감지된 복수의 터치 포인트 중 제1 터치 포인트의 수평 방향 및 수직 방향 각각의 방향으로 상기 제1 터치 포인트를 전부 가리는 타 터치 포인트가 존재하는지 여부를 판단하는 단계, 상기 판단 결과 상기 타 터치 포인트가 존재하는 경우, 상기 제1 터치 포인트를 노이즈로 판단하는 단계 및 상기 노이즈로 판단된 제1 터치 포인트를 제거하는 단계를 포함한다.A multi-touch recognition device and a method of driving a multi-touch recognition device for removing noise in a multi-touch recognition device using an optical signal are provided. According to an aspect of the present invention, there is provided a method of driving a touch recognition device. The method of driving a touch recognition device including a touch panel, an optical transmitter and receiver disposed in pairs at an edge of the touch panel, and a control unit comprising: Sensing a plurality of areas where an external touch has occurred as a plurality of touch points, and another touch point covering all of the first touch points in a horizontal direction and a vertical direction of the first touch point among the detected touch points Determining whether the image exists, if the other touch point exists, determining the first touch point as noise, and removing the first touch point determined as the noise.

터치 인식, 허상 제거 Touch recognition, virtual image removal

Description

광신호를 이용한 터치인식장치 및 터치 인식장치의 구동 방법{Apparatus for touch recognition and method for driving touch recognition using optical signal}Apparatus for touch recognition and method for driving touch recognition using optical signal}

발명은 터치인식장치 및 터치 인식장치의 구동 방법에 관한 것으로, 특히 외부 터치가 발생한 것으로 감지된 영역에 대하여 노이즈와 실신호 여부를 판단하여, 노이즈를 제거하도록 하는 터치인식장치 및 터치 인식장치의 구동 방법에 관한 것이다.  The present invention relates to a method for driving a touch recognition device and a touch recognition device. In particular, the touch recognition device and the touch recognition device are driven to determine whether noise and a real signal are detected in a region detected as an external touch occurring, thereby removing noise. It is about a method.

터치패널은 일반적으로 표시장치 상에 부착되어 손이나 펜과 접촉되는 터치위치에서 전기적인 특성이 변하여 그 터치 위치를 감지하는 유저 인터페이스의 하나로써 그 응용범위가 소형 휴대용 단말기, 사무용기기 등 매우 넓다. 이러한 터치패널은 두 개 이상의 멀티 터치가 동시에 발생되면 감지 오류를 발생시키는 경우가 많다.A touch panel is generally attached to a display device and has one of a user interface that detects the touch position by changing electrical characteristics at a touch position contacting a hand or a pen, and its application range is very wide such as a small portable terminal and an office device. Such a touch panel often generates a detection error when two or more multi-touches occur at the same time.

즉, 멀티 터치를 인식할 수 있는 터치 인식 장치에서 실제 터치가 발생하지 않았음에도 터치 입력으로 인식되는 경우가 발생할 수 있다. 즉, 실신호가 아니라 노이즈임에도 불구하고 터치 영역으로 인식되는 경우가 발생할 수 있다. That is, in a touch recognition device capable of recognizing multi-touch, a case in which a touch is recognized may occur even though an actual touch does not occur. That is, a case may be recognized as a touch area despite the noise rather than the real signal.

본 발명은 상술한 바와 같은 종래 기술의 문제점을 해결하기 위하여 제안된 것으로, 광신호를 이용한 멀티 터치 인식 장치에서의 노이즈를 제거하도록 하는 멀티터치인식장치 및 멀티 터치 인식장치의 구동 방법을 제공함을 목적으로 한다.The present invention has been proposed to solve the problems of the prior art as described above, and an object of the present invention is to provide a multi-touch recognition device and a driving method of the multi-touch recognition device to remove noise in the multi-touch recognition device using an optical signal. It is done.

상술한 바와 같은 목적을 달성하기 위한 본 발명에 일실시예에 따른 터치 인식 장치의 구동방법은 터치 패널, 상기 터치 패널의 가장자리에 쌍으로 배치되는 광송수신부 및 제어부로 구성되는 터치인식장치를 구동하는 방법에 있어서, 터치 패널 상에 외부 터치가 발생한 복수의 영역을 복수의 터치 포인트로 감지하는 단계, 감지된 복수의 터치 포인트 중 제1 터치 포인트의 수평 방향 및 수직 방향 각각의 방향으로 상기 제1 터치 포인트를 전부 가리는 타 터치 포인트가 존재하는지 여부를 판단하는 단계, 상기 판단 결과 상기 타 터치 포인트가 존재하는 경우, 상기 제1 터치 포인트를 노이즈로 판단하는 단계 및 상기 노이즈로 판단된 제1 터치 포인트를 제거하는 단계를 포함한다.In accordance with an aspect of the present invention, there is provided a method of driving a touch recognition device. The touch recognition device includes a touch panel, an optical transmitter and receiver disposed in pairs on an edge of the touch panel, and a controller. The method may include detecting a plurality of areas in which an external touch occurs on a touch panel as a plurality of touch points, wherein the first touch point is disposed in a horizontal direction and a vertical direction of the first touch point among the detected plurality of touch points. Determining whether there are other touch points covering all of the touch points; if the other touch points exist, determining the first touch points as noise and the first touch points determined as noise Removing the step.

한편, 상술한 바와 같은 목적을 달성하기 위한 본 발명에 다른 일실시예에 따른 터치 인식 장치는 다수의 픽셀을 포함하는 터치 패널, 상기 터치 패널 상에 적어도 하나의 쌍으로 배치되고, 발광부 및 수광부를 포함하는 광송수신 모듈이 복수개 구비되는 광송수신부 및 상기 복수의 광송수신 모듈의 동작을 제어하고, 상기 광송수신부의 상기 수광부의 광 신호 수신 여부를 스캔하여, 상기 수광부의 광 신호 수신 여부에 따라 상기 터치 패널 상의 터치 포인트의 위치를 인식하며, 인식된 복수의 터치 포인트 중 제1 터치 포인트의 수평 방향 및 수직 방향 각각의 방향으로 상기 제1 터치 포인트를 전부 가리는 타 터치 포인트가 존재한다고 판단되면, 상기 제1 터치 포인트를 노이즈로 판단하여 그 노이즈를 제거하는 제어부를 포함한다. On the other hand, the touch recognition device according to another embodiment of the present invention for achieving the above object is a touch panel including a plurality of pixels, disposed in at least one pair on the touch panel, the light emitting unit and the light receiving unit Controlling the operation of the optical transmission and reception unit and the plurality of optical transmission and reception module including a plurality of optical transmission and reception module including a, and scans the optical signal reception of the light receiving unit of the optical transmission and reception unit, according to whether or not receiving the optical signal of the light receiving unit Recognizing the position of the touch point on the touch panel, if it is determined that there is another touch point covering all of the first touch point in each of the horizontal direction and the vertical direction of the first touch point, And a controller configured to determine the first touch point as noise and to remove the noise.

상기에서 설명한 본 발명에 따른 광신호를 이용한 터치인식장치 및 터치인식장치의 구동 방법의 효과를 설명하면 다음과 같다.The effects of the touch recognition device and the method of driving the touch recognition device using the optical signal according to the present invention described above are as follows.

본 발명에 따르면, 터치 패널 상에 외부 터치가 발생한 것으로 감지되는 복수의 영역에 대하여 해당 영역이 실신호인지 노이즈인지 여부를 판단하여, 노이즈에 해당하는 경우에는, 노이즈로 판단되는 영역은 제거하여 터치 포인트로 인식하지 않도록 함으로써, 멀티 터치에 의한 오류를 줄일 수 있다.According to the present invention, it is determined whether a corresponding area is a real signal or a noise with respect to a plurality of areas in which an external touch is detected on the touch panel. When the area corresponds to noise, the area determined to be noise is removed and touched. By not recognizing the point, errors caused by the multi-touch can be reduced.

본 발명의 다른 목적, 특징 및 잇점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.Other objects, features and advantages of the present invention will become apparent from the following detailed description of embodiments taken in conjunction with the accompanying drawings.

이하 상기의 목적을 구체적으로 실현할 수 있는 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 설명한다. 이때 도면에 도시되고 또 이것에 의해서 설명되는 본 발명의 구성과 작용은 적어도 하나의 실시예로서 설명되는 것이며, 이것에 의해서 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.Hereinafter, with reference to the accompanying drawings, preferred embodiments of the present invention that can specifically realize the above object will be described. At this time, the configuration and operation of the present invention shown in the drawings and described by it will be described as at least one embodiment, by which the technical spirit of the present invention and its core configuration and operation is not limited.

도 1은 본 발명의 일 실시예에 따른 광신호를 이용한 터치 인식 장치의 구성을 도시한다. 도 1을 참조하면, 터치 인식 장치는 터치 패널(20), 복수의 광송수신 모듈(11)을 포함하는 광송수신부(10) 및 제어부(30)를 포함한다. 1 illustrates a configuration of a touch recognition apparatus using an optical signal according to an embodiment of the present invention. Referring to FIG. 1, the touch recognition apparatus includes a touch panel 20, an optical transmitter / receiver 10 including a plurality of optical transmitter / receiver modules 11, and a controller 30.

상기 광송수신부(10)는 대향하는 측, 즉 마주보는 방향으로 쌍으로 배치된다. 또한 한쌍으로 구성될 수도 있고, 복수의 쌍으로 구성될 수도 있다. 즉, 사각의 터치 패널의 경우 두 개의 가장자리에 한쌍으로 배치될 수도 있고, 네 개의 가장자리에 두 쌍으로 배치될 수도 있다. 또한 도 1에서는 사각형의 터치 패널(20)을 예시로 설명하였지만, 본 발명은 터치 패널의 형상에 제한되지 아니하며, 다양한 형상의 터치 패널이 가능하다. 즉, 광송수신부가 마주보는 양측에 배치되면 가능한 것이다. The light transmitting and receiving units 10 are arranged in pairs in opposite sides, that is, facing directions. It may also be composed of a pair, or may be composed of a plurality of pairs. That is, the rectangular touch panel may be arranged in pairs at two edges or in pairs at four edges. In addition, although FIG. 1 illustrates the rectangular touch panel 20 as an example, the present invention is not limited to the shape of the touch panel, and various shapes of the touch panel are possible. That is, it is possible if the optical transmitter and receiver are arranged on both sides facing each other.

상기 터치 패널의 가장자리에 배치되는 광송수신부(10)는 복수개의 광송수신 모듈을 포함한다. 각각의 광송수신 모듈(11)은 발광부 및 수광부를 포함한다. 이에 대해서는 도 2를 참조하여 상세하게 설명한다. 제1측에 배치되는 광송수신 모듈의 발광부에서 출력하는 광은 마주보는 제2측에 배치되는 광수신 모듈의 복수의 수광부에서 수신되고, 제2측에 배치되는 광송수신 모듈의 발광부에서 발광되는 광은 제1측에 배치되는 복수의 광수신 모듈의 수광부로 수신된다. 즉, 하나의 발광부에서 출력된 광 신호는 마주보는 측면의 복수의 수광부에서 수신하고, 양측에서 발광 및 수광을 모두 하게 된다. The optical transmitter / receiver 10 disposed at the edge of the touch panel includes a plurality of optical transmitter / receiver modules. Each light transmitting and receiving module 11 includes a light emitting portion and a light receiving portion. This will be described in detail with reference to FIG. 2. The light output from the light emitting unit of the optical transmission module disposed on the first side is received by the plurality of light receiving units of the light receiving module disposed on the second side facing each other, and the light emitted from the light emitting unit of the optical transmission module arranged on the second side The light is received by the light receiving units of the plurality of light receiving modules arranged on the first side. That is, light signals output from one light emitting unit are received by a plurality of light receiving units on opposite sides, and both light emission and light reception are performed at both sides.

제어부(30)는 복수의 광송수신 모듈의 동작을 제어하고, 상기 터치 패널의 제1측 및 대향하는 제2측의 수광부의 광 신호 수신 여부를 스캔하여, 상기 수광부 의 광 신호 수신 여부에 따라 상기 터치 패널 상 의 터치 포인트의 위치를 인식한다. The controller 30 controls the operation of the plurality of light transmitting / receiving modules, scans the light receiving unit on the first side of the touch panel and the opposing second side to receive the light signal, and determines whether the light receiving unit receives the light signal. Recognize the location of the touch point on the touch panel.

또한 상기 제어부(200)는 본 발명의 실시예에 따라, 멀티 터치가 발생하는 경우, 각각의 감지된 터치 포인트에 대하여 실신호인지 노이즈인지 여부를 판단하여, 노이즈에 해당하는 경우 해당 터치 포인트를 제거할 수 있다. 구체적인 노이즈 판단 방법에 대해서는 아래에서 살펴보기로 한다. In addition, according to an embodiment of the present invention, when a multi-touch occurs, the controller 200 determines whether each detected touch point is a real signal or noise and removes the touch point if it corresponds to noise. can do. A detailed noise determination method will be described below.

도 2는 본 발명의 일 실시예에 따른 일체형 광송수신 모듈의 사시도이다. 하나의 광송수신 모듈(11)은 발광부(11a)와 수광부(11b)를 포함한다. 발광부(11a)와 수광부(11b)는 상하로 중첩되며 독립적으로 구동된다. 발광부(11a)는 데이터 라인 "1"로부터 입력되는 발광 인에이블 신호에 응답하여 인에이블되고, 데이터 라인 "2"로부터 입력되는 발광 신호에 응답하여 광(광 신호. 예컨대 적외선)을 외부로 출력할 수 있다. 수광부(11b)는 데이터 라인 "3"으로부터 입력되는 수광 인에이블(enable) 신호에 응답하여 인에이블되고, 광 신호를 수신하면 광 수신 신호를 데이터 라인 "4"로 출력할 수 있다. 일 실시예에서, 발광부(11a)와 수광부(11b)는 전원선을 공유할 수 있다.2 is a perspective view of an integrated optical transmission module according to an embodiment of the present invention. One light transmitting and receiving module 11 includes a light emitting portion 11a and a light receiving portion 11b. The light emitting portion 11a and the light receiving portion 11b overlap vertically and are driven independently. The light emitting part 11a is enabled in response to the light emission enable signal input from the data line "1", and outputs light (light signal, for example infrared rays) to the outside in response to the light emission signal input from the data line "2". can do. The light receiving unit 11b is enabled in response to a light receiving enable signal input from the data line “3”, and when receiving the light signal, may output the light reception signal to the data line “4”. In one embodiment, the light emitting unit 11a and the light receiving unit 11b may share a power line.

발광부(11a)는, 예컨대 LED(light emitting diode)로 구현될 수 있고, 수광부(11b)는, 예컨대 PD(photo diode)로 구현될 수 있다. 발광부(11a)와 수광부(11b)는, 예컨대 적외선 파장의 광을 송수신할 수 있다. 그러나, 발광부(11a)와 수광부(11b)가 이에 국한되는 것은 아니며 터치인식장치의 응용예에 따라 발광부(11a)와 수광부(11b)의 소자 종류와 광 파장이 결정될 수 있다. The light emitting unit 11a may be implemented by, for example, a light emitting diode (LED), and the light receiving unit 11b may be implemented by, for example, a photo diode (PD). The light emitting part 11a and the light receiving part 11b can transmit / receive light of an infrared wavelength, for example. However, the light emitting unit 11a and the light receiving unit 11b are not limited thereto, and device types and light wavelengths of the light emitting unit 11a and the light receiving unit 11b may be determined according to the application of the touch recognition device.

도 2의 예는 발광부(11a)가 위에, 수광부(11b)가 아래에 정렬되는 것을 보이고 있으나, 발광부(11a)가 아래에 수광부(11b)가 위에 배치될 수도 있다. 광 송수신 모듈(11)의 발광부(11a)와 수광부(11b)는 사출로 형성된 하나의 하우징(housing) 내에 중첩 배치되어 일체형을 이룰 수 있다. 이때, 광송수신 모듈의 발광부(11a) 및 수광부(11b)를 하나의 하우징 내에 상하 중첩 정렬하는 경우 개별적인 외장을 생략할 수 있으므로 두께를 감소시킬 수 있다. 또한 발광부(11a) 및 수광부(11b)가 상하로 중첩 정렬될 때 발생하는 높이 변화를 고려하여, 터치 패널(20)의 적층을 반대로 할 수도 있다. 이와 같이 광송수신 모듈의 수광부와 발광부를 서로 반대로 정렬함으로써, 마주보는 광송수신 모듈의 발광부들의 높이 및 수광부들의 높이를 일치시키고, 광 송수신 효율을 향상시킬 수 있다. In the example of FIG. 2, the light emitting part 11a is arranged above and the light receiving part 11b is arranged below, but the light emitting part 11a may be disposed below the light receiving part 11b. The light emitting part 11a and the light receiving part 11b of the light transmitting / receiving module 11 may be overlapped in one housing formed by injection to form an integrated body. In this case, when the light emitting unit 11a and the light receiving unit 11b of the light transmitting / receiving module are vertically superimposed in one housing, individual sheaths may be omitted so that the thickness may be reduced. In addition, the stacking of the touch panel 20 may be reversed in consideration of the height change that occurs when the light emitting part 11a and the light receiving part 11b overlap and align. In this way, by aligning the light receiving unit and the light emitting unit of the light transmitting and receiving module opposite to each other, it is possible to match the height of the light emitting units of the light transmitting and receiving module and the height of the light receiving unit, it is possible to improve the light transmission and reception efficiency.

도 3은 본 발명의 일 실시예에 따라 터치 패널(20)의 마주보는 양측에 광송수신 모듈(11)이 배치된 구성을 도시한다. 터치 패널의 일실시예로는 디스플레이 소자 위를 덮는 투명한 막(film) 또는 판(plate)으로 구현될 수 있다.3 illustrates a configuration in which the optical transmission / reception module 11 is disposed on opposite sides of the touch panel 20 according to an embodiment of the present invention. One embodiment of the touch panel may be implemented as a transparent film or plate covering the display element.

이하의 설명에서 터치 패널(20)의 픽셀들은 디스플레이 소자의 픽셀들에 대응(예컨대, 일대응 대응)되는 격자로서, 사용자의 터치 포인트를 판단하기 위한 가상 또는 물리적인 픽셀을 의미한다. In the following description, the pixels of the touch panel 20 are grids corresponding to (eg, one correspondence to) the pixels of the display element, and mean virtual or physical pixels for determining a user's touch point.

광송수신 모듈의 발광부는 순차적으로 또는 소정 패턴에 따라 발광하고, 점멸할 수 있다. 즉, 광송수신 모듈의 발광부가 순차적으로 발광하는 실시예에서, S1, S2, S3, S4 ... 의 순서로 발광하고, 이에 반대편 S31 내지 S60의 광송수신 모듈의 수광부들이 광 신호를 수신할 수 있다. 또한 S31 내지 S60의 발광부가 순차적 으로 발광하면, 반대편의 S1 내지 S30의 수광부들에서 광신호를 수신할 수 있다. 터치패널의 상호 대향하는 XX1 및 XX2는 각각 발광부 및 수광부를 포함하고 있으며, 반대편으로 광신호를 출력하고, 반대편으로부터 광신호를 수신한다. The light emitting units of the light transmitting / receiving module may emit and flash sequentially or according to a predetermined pattern. That is, in the embodiment in which the light emitting unit of the light transmitting module sequentially emits light, the light emitting units of the light transmitting modules of S31 to S60 on the opposite side can receive the optical signal in the order of S1, S2, S3, S4 ... have. In addition, when the light emitting units of S31 to S60 emit light sequentially, the light receiving units of S1 to S30 on the opposite side may receive an optical signal. The opposing XX1 and XX2 of the touch panel each include a light emitting portion and a light receiving portion, and output an optical signal on the opposite side and receive the optical signal from the opposite side.

제어부는 수광부를 스캔하여 광신호의 수신 여부를 판단한다. 광신호가 수신된 경우, 해당 광신호를 발생한 발광부와 해당 광신호를 수신한 수광부 사이에 장애물, 즉 터치가 존재하지 않는 것으로 판단한다. 이러한 방식으로 모든 또는 특정 조건에 의한 일부의 수광부의 광수신 여부를 스캔하고, 최후까지 터치가 없는 영역으로 판단되지 않은 영역을 터치 영역으로 판단하는 것이다. 이러한 방식은 수광부에서 광 신호를 수신하지 않은 경우 터치 영역으로 판단하는 것과는 다른 방식이다.The controller scans the light receiver to determine whether an optical signal is received. When an optical signal is received, it is determined that there is no obstacle, that is, a touch, between the light emitting unit generating the optical signal and the light receiving unit receiving the optical signal. In this way, all or part of the light receiving units are scanned according to a specific condition or not, and the area which is not determined as the touchless area until the end is determined as the touch area. This method is different from the determination of the touch area when the light receiving unit does not receive the optical signal.

본 발명의 일 실시예에 따르면, 터치 패널의 마주보는 양측에 대응(예컨대, 일대일 대응)하도록 배치된 광송수신 모듈의 발광부를 적어도 하나씩 인에이블시키고, 발광부와 중첩되어 그 역시 터치 패널의 마주보는 양측에 정렬된 수광부의 광 수신 여부를 감지하여 터치 포인트의 존재 유무를 판단하기 때문에 임의의 발광부 또는 수광부에서 오작동이 발생하더라도 터치 포인트 인식 오류에 큰 영향을 미치지 않는다. 즉, 단방향의 광송수신만으로 터치 포인트를 인식하는 것이 아니라, 양방향의 광송수신으로 터치 포인트를 인식하게 되므로, 터치 포인트 인식 오류를 줄일 수 있는 것이다.According to an embodiment of the present invention, at least one light emitting unit of an optical transmitting / receiving module disposed to correspond to (eg, one-to-one correspondence) facing both sides of the touch panel is enabled, and overlaps with the light emitting unit, which is also facing the touch panel. Since the presence or absence of a touch point is determined by detecting whether light is received from the light receiving units arranged at both sides, even if a malfunction occurs in any light emitting unit or light receiving unit, the touch point recognition error is not significantly affected. That is, the touch point is not recognized by only one-way optical transmission and reception, but the touch point is recognized by two-way optical transmission and reception, thereby reducing a touch point recognition error.

한편, 본원 발명의 터치인식장치의 제어부는 터치인식 오류를 줄이기 위하여, 노이즈를 제거하도록 터치인식장치를 제어한다. On the other hand, the control unit of the touch recognition device of the present invention controls the touch recognition device to remove the noise, in order to reduce the touch recognition error.

도 4는 본 발명에 따른 터치인식장치에서 발생하는 노이즈의 예시를 도시한다. 도 4를 참조하면, 멀티 터치(a, d)가 발생하는 경우, 실제 터치된 a 및 d 이외에 b와 c같은 노이즈가 감지되는 경우가 발생할 수 있다. 즉, 실제 터치되지 않음에도 불구하고, 노이즈로 인하여 터치 영역으로 오인식되는 경우가 발생할 수 있다. Figure 4 shows an example of noise generated in the touch recognition device according to the present invention. Referring to FIG. 4, when multi-touches a and d occur, noises such as b and c may be detected in addition to the touched a and d. That is, even though the touch is not actually touched, the touch area may be misidentified due to noise.

이 경우, 실제 접촉되지 않은 영역까지 터치 영역으로 인식하여, 터치스크린 오작동이 발생할 수 있다.In this case, the touch screen may be malfunctioned by being recognized as a touch area up to an area that is not actually touched.

본 명세서에서 실신호라 하면 터치스크린 상에서 실제로 외부 터치가 발생됨으로 인하여 감지되는 상을 의미하고, 노이즈라 하면 터치스크린 상에서 실제로 외부 터치가 발생하지 않음에도 불구하고 상기 외부터치에 대하여 존재 및 위치를 감지하는 과정에서 발생하게 되는 상을 의미한다. In the present specification, the actual signal refers to an image detected by the fact that an external touch is actually generated on the touch screen, and the noise indicates the presence and position of the external touch despite the fact that the external touch does not actually occur on the touch screen. It means the phase that occurs in the process.

터치스크린에서 노이즈가 존재하면, 실제로 외부 터치가 존재하지 않았음에도 외부 터치가 존재하는 것으로 인식하게 되어, 사용자가 원하지 않은 어플리케이션을 실행하게 되기도 하고, 기기 오작동이 발생하기도 한다. If noise is present on the touch screen, the external touch is recognized as the presence of the external touch even though the external touch does not exist, resulting in an application that is not desired by the user, or a device malfunction.

도 5는 본 발명에 따른 터치인식장치의 구동 방법에 대한 순서도를 도시한다. 터치인식장치의 구동 방법을 도시하는 도2를 참조하면, 터치 패널 상에 외부 터치가 발생한 복수의 영역을 복수의 터치 포인트로 감지하는 단계, 감지된 복수의 터치 포인트 중 제1 터치 포인트의 수평 방향 및 수직 방향 각각의 방향으로 상기 제1 터치 포인트를 전부 가리는 타 터치 포인트가 존재하는지 여부를 판단하는 단계, 상기 판단 결과 상기 타 터치 포인트가 존재하는 경우, 상기 제1 터치 포인트 를 노이즈로 판단하는 단계 및 상기 노이즈로 판단된 제1 터치 포인트를 제거하는 단계를 포함한다. 5 is a flowchart illustrating a method of driving a touch recognition device according to the present invention. Referring to FIG. 2 illustrating a method of driving a touch recognition device, detecting a plurality of areas in which an external touch occurs on a touch panel as a plurality of touch points, and a horizontal direction of a first touch point among the detected touch points And determining whether there are other touch points covering all of the first touch points in each of the vertical directions, and if the other touch points exist, determining the first touch points as noise. And removing the first touch point determined as the noise.

터치 패널 상에 외부 터치가 발생한 영역을 복수의 터치 포인트로 감지하고(S10), N개의 터치 포인트를 작은 크기의 순서대로 정렬한다(S11). 이때 N은 1 이상의 자연수를 의미한다.An area where an external touch occurs on the touch panel is detected as a plurality of touch points (S10), and the N touch points are arranged in order of small size (S11). In this case, N means one or more natural numbers.

N개의 터치 포인트를 작은 크기의 순서대로 인지하고, 가장 작은 크기의 제1 터치 포인트부터 노이즈 여부를 판단한다. 이 후 터치 포인트로 인지된 영역에 대하여 하나씩 순차적으로 노이즈인지 여부를 판단한다. 이때, N-1개까지 노이즈 여부를 판단하며, N번째, 즉 가장 큰 사이즈를 갖는 영역은 노이즈인지 여부를 별도로 판단하지 아니하여도 된다. The N touch points are recognized in order of small size, and the first touch point having the smallest size is judged as noise. Thereafter, it is determined whether the noise is sequentially one by one with respect to the area recognized as the touch point. At this time, it is determined whether there is noise up to N-1, and it is not necessary to separately determine whether the Nth, i.e., the area having the largest size is noise.

노이즈인지 여부를 판단하는 방법은 제1 터치 포인트의 수평 방향 및 수직 방향으로 제1 터치 포인트를 전부 가리는 타 터치 포인트가 존재하는지 여부를 판단하는 것이다(S14). The method of determining whether the noise is noise is to determine whether there are other touch points covering all of the first touch points in the horizontal and vertical directions of the first touch point (S14).

상기의 조건에 해당하는 타 터치 포인트가 존재하지 않는다면, 제1 터치 포인트는 실신호로 판단하여, 실제의 터치 포인트로 인식한다(S15).If there is no other touch point corresponding to the above condition, the first touch point is determined as a real signal and recognized as an actual touch point (S15).

그리고 상기의 조건에 해당하는 타 터치 포인트가 존재하는 것으로 판단되면, 제1 터치 포인트는 노이즈로 판단하여 제거할 수 있다(S16).If it is determined that another touch point corresponding to the above condition exists, the first touch point may be determined as noise and removed (S16).

상기 제1 터치 포인트에 대해 노이즈 여부를 판단하였다면, 제2 터치 포인트에 대해 노이즈 여부를 판단한다. 이러한 방식으로 제N-1 터치 포인트까지 노이즈 여부를 판단할 수 있다.  If it is determined whether the noise is with respect to the first touch point, it is determined whether the noise is with respect to the second touch point. In this manner, it may be determined whether the noise reaches the N-th touch point.

도 6a 및 도 6b는 노이즈 여부를 판단하는 프로세싱에 대하여 실시예를 도시한다. 6A and 6B illustrate an embodiment of processing for determining whether noise is present.

도 6a를 참조하면, a, b, c 및 d 로 감지된 터치 포인트에 대하여, 사이즈대로 정렬하면, d, a, c, b의 순서가 된다. Referring to FIG. 6A, when the touch points detected as a, b, c, and d are arranged in size, the order of d, a, c, and b is in order.

먼저, d 영역에 대해서 노이즈인지 여부를 판단하면, d 영역의 수직방향으로 d영역을 전부 가리는 c영역이 존재한다. 또한 수직 방향으로 d 영역을 전부 가리는 b영역이 존재한다. First, when it is determined whether the noise is with respect to the d region, there is a c region covering all the d regions in the vertical direction of the d region. In addition, there exists a b area which completely covers the d area in the vertical direction.

따라서 d 영역은 노이즈에 해당하는 것으로 판단한다. Therefore, it is determined that the region d corresponds to noise.

그 다음 a 영역에 대해서 노이즈인지 여부를 판단하면, a 영역의 수직방향으로 a영역을 전부 가리는 c영역이 존재한다. 또한 수평 방향으로 a 영역을 전부 가리는 b영역이 존재한다. Then, if it is determined whether the noise is with respect to the a region, there is a c region covering all the a regions in the vertical direction of the a region. In addition, there exists a b area which completely covers a area in the horizontal direction.

따라서 a 영역은 노이즈에 해당하는 것으로 판단한다.Therefore, it is determined that region a corresponds to noise.

그 다음 c 영역에 대해서 노이즈인지 여부를 판단하면, 수직 방향 및 수평 방향으로 c 영역을 전부 가리는 터치 포인트 영역은 존재하지 않는다. 따라서 c 영역은 노이즈에 해당하지 아니한 것으로, 실신호로 판단할 수 있다.Then, if it is determined whether the noise is with respect to the c region, there is no touch point region covering all of the c region in the vertical direction and the horizontal direction. Therefore, the region c does not correspond to noise and can be determined as a real signal.

결과적으로 도 6a에서는 a 영역 및 d 영역이 노이즈에 해당하고, b 영역 및 c 영역이 실신호에 해당한다. As a result, in FIG. 6A, area a and area d correspond to noise, and area b and area c correspond to real signals.

도 6b를 참조하면, a, b, c 및 d 로 감지된 터치 포인트에 대하여, 사이즈대로 정렬하면, d, a, c, b의 순서가 된다. Referring to FIG. 6B, when the touch points detected as a, b, c, and d are arranged in size, the order of d, a, c, and b is in order.

먼저, d 영역에 대해서 노이즈인지 여부를 판단하면, d 영역의 수직방향으로 d영역을 전부 가리는 c영역이 존재한다. 또한 수직 방향으로 d 영역을 전부 가리는 b영역이 존재한다. First, when it is determined whether the noise is with respect to the d region, there is a c region covering all the d regions in the vertical direction of the d region. In addition, there exists a b area which completely covers the d area in the vertical direction.

따라서 d 영역은 노이즈에 해당하는 것으로 판단한다. Therefore, it is determined that the region d corresponds to noise.

그 다음 a 영역에 대해서 노이즈인지 여부를 판단하면, a 영역의 수평 방향으로 a 영역을 전부 가리는 b 영역이 존재한다. 그러나 수직 방향으로 a 영역을 전부 가리는 영역은 존재하지 아니한다. a 영역의 수직 방향에 위치하는 c 영역은 도 6b에서 알 수 있는 바와 같이, a 를 수직방향으로 전부 가리지 않는다. Then, if it is determined whether or not noise is with respect to the a region, there is a b region that completely covers the a region in the horizontal direction of the a region. However, there is no area covering the entire area a in the vertical direction. The region c located in the vertical direction of the region a does not entirely cover a in the vertical direction, as can be seen in FIG. 6B.

따라서 a 영역은 실신호에 해당하는 것으로 판단한다.Therefore, it is determined that the region a corresponds to the real signal.

그 다음 c 영역에 대해서 노이즈인지 여부를 판단하면, 수직 방향 및 수평 방향으로 c 영역을 전부 가리는 터치 포인트 영역은 존재하지 않는다. 따라서 c 영역은 노이즈에 해당하지 아니한 것으로, 실신호로 판단할 수 있다.Then, if it is determined whether the noise is with respect to the c region, there is no touch point region covering all of the c region in the vertical direction and the horizontal direction. Therefore, the region c does not correspond to noise and can be determined as a real signal.

결과적으로 도 6b에서는 d 영역이 노이즈에 해당하고, a 영역, b 영역 및 c 영역은 실신호에 해당한다.As a result, in FIG. 6B, area d corresponds to noise, and area a, area b, and area c correspond to real signals.

도 7a 및 도 7b는 본 발명에 따른 프로세싱 방법을 채용한 터치 인식 장치의 실제 구현예를 도시한다. 7A and 7B show an actual implementation of a touch recognition device employing a processing method according to the present invention.

도 7a를 참조하면, 복수의 영역으로 터치 포인트가 감지되지만, 도 7b를 참조하면, 본 발명에 의한 프로세싱 후 노이즈가 제거되고 실신호(1,3)만이 남는 것이다. Referring to FIG. 7A, a touch point is detected in a plurality of areas, but referring to FIG. 7B, after processing according to the present invention, noise is removed and only real signals 1 and 3 remain.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술분야에서 통상의 지식을 가지는 자라면 본 발명의 본 질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서 본 발명에 개시된 실시예들은 본 발명의 기술사상을 한정하기 위한 것이 아니라 설명하기 위한 것에 불과하고, 이러한 실시예에 의하여 본 발명의 기술사상의 범위가 한정되는 것은 아니다. 본 발명의 보호범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and those skilled in the art to which the present invention pertains may make various modifications and changes without departing from the essential characteristics of the present invention. . Therefore, the embodiments disclosed in the present invention are not intended to limit the technical idea of the present invention but to describe the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.

도 1은 본 발명의 일 실시예에 따른 광신호를 이용한 터치 인식 장치의 구성을 도시한다. 1 illustrates a configuration of a touch recognition apparatus using an optical signal according to an embodiment of the present invention.

도 2는 본 발명의 일 실시예에 따른 일체형 광송수신 모듈의 사시도이다. 2 is a perspective view of an integrated optical transmission module according to an embodiment of the present invention.

도 3은 본 발명의 일 실시예에 따라 터치 패널의 가장자리에 한쌍의 광송수신부가 배치된 구성을 도시한다. 3 illustrates a configuration in which a pair of optical transmitters and receivers are disposed on an edge of a touch panel according to an embodiment of the present invention.

도 4는 본 발명에 따른 터치인식장치에서 발생하는 노이즈의 예시를 도시한다. Figure 4 shows an example of noise generated in the touch recognition device according to the present invention.

도 5는 본 발명에 따른 터치인식장치의 구동 방법에 대한 순서도를 도시한다. 5 is a flowchart illustrating a method of driving a touch recognition device according to the present invention.

도 6a 및 도 6b는 노이즈 여부를 판단하는 프로세싱에 대하여 실시예를 도시한다. 6A and 6B illustrate an embodiment of processing for determining whether noise is present.

도 7a 및 도 7b는 본 발명에 따른 프로세싱 방법을 채용한 터치 인식 장치의 실제 구현예를 도시한다.7A and 7B show an actual implementation of a touch recognition device employing a processing method according to the present invention.

Claims (6)

터치 패널, 상기 터치 패널의 가장자리에 쌍으로 배치되는 광송수신부 및 제어부로 구성되는 터치인식장치를 구동하는 방법에 있어서, In the method of driving a touch recognition device consisting of a touch panel, an optical transmitter and receiver disposed in pairs on the edge of the touch panel, 터치 패널 상에 외부 터치가 발생한 복수의 영역을 복수의 터치 포인트로 감지하는 단계;Detecting a plurality of areas where an external touch occurs on the touch panel as a plurality of touch points; 감지된 복수의 터치 포인트 중 제1 터치 포인트에서 상기 광송수신부에 의해 송수신되는 광의 방향과 평행한 수평 방향 및 상기 수평 방향에 수직인 수직 방향 각각의 방향으로 상기 제1 터치 포인트를 전부 가리는 타 터치 포인트가 존재하는지 여부를 판단하는 단계;Other touches covering all of the first touch points in a horizontal direction parallel to a direction of light transmitted and received by the optical transmitter and receiver at a first touch point among a plurality of detected touch points and in a vertical direction perpendicular to the horizontal direction. Determining whether a point exists; 상기 판단 결과 상기 타 터치 포인트가 존재하는 경우, 상기 제1 터치 포인트를 노이즈로 판단하는 단계; 및Determining that the first touch point is noise when the other touch point exists; And 상기 노이즈로 판단된 제1 터치 포인트를 제거하는 단계를 포함하는 것을 특징으로 하는 터치인식장치의 구동방법.And removing the first touch point determined as the noise. 제1항에 있어서,The method of claim 1, 상기 감지된 복수의 터치 포인트를 크기 순서대로 정렬하는 단계;Arranging the plurality of detected touch points in order of size; 감지된 상기 복수의 터치 포인트 중 작은 크기의 순서대로 순차적으로 노이즈 여부를 판단하는 것을 특징으로 하는 터치인식장치의 구동방법.The method of driving the touch recognition device, characterized in that the noise is sequentially determined in the order of the small size of the plurality of detected touch points. 제2항에 있어서,The method of claim 2, 상기 인식된 터치 포인트가 N개인 경우, 작은 크기의 순서대로 N-1개의 터치 포인트에 대하여 순차적으로 노이즈 여부를 판단하는 것을 특징으로 하는 터치인식장치의 구동방법.When the recognized touch points are N, the touch recognition device driving method, characterized in that to determine whether the noise sequentially for the N-1 touch points in a small order. 다수의 픽셀을 포함하는 터치 패널;A touch panel including a plurality of pixels; 상기 터치 패널 상에 적어도 하나의 쌍으로 배치되고, 발광부 및 수광부를 포함하는 광송수신 모듈이 복수개 구비되는 광송수신부; 및An optical transmitting and receiving unit disposed on the touch panel in at least one pair and including a plurality of optical transmitting and receiving modules including a light emitting unit and a light receiving unit; And 상기 복수의 광송수신 모듈의 동작을 제어하고, 상기 광송수신부의 상기 수광부의 광 신호 수신 여부를 스캔하여, 상기 수광부의 광 신호 수신 여부에 따라 상기 터치 패널 상의 터치 포인트의 위치를 인식하며, 인식된 복수의 터치 포인트 중 제1 터치 포인트에서 상기 광송수신부에 의해 송수신되는 광의 방향과 평행한 수평 방향 및 상기 수평 방향에 수직인 수직 방향 각각의 방향으로 상기 제1 터치 포인트를 전부 가리는 타 터치 포인트가 존재한다고 판단되면, 상기 제1 터치 포인트를 노이즈로 판단하여 그 노이즈를 제거하는 제어부를 포함하는 것을 특징으로 하는 터치 인식 장치.Controls the operation of the plurality of optical transmission and reception modules, scans the light receiving unit for receiving the optical signal, and recognizes the position of the touch point on the touch panel according to whether the light receiving unit receives the optical signal. Among the plurality of touch points, another touch point covering all of the first touch points in the horizontal direction parallel to the direction of the light transmitted and received by the optical transmitting and receiving unit at the first touch point and in the vertical direction perpendicular to the horizontal direction is And determining that the first touch point is noise and removing the noise. 제4항에 있어서,5. The method of claim 4, 상기 제어부는 상기 인식된 복수의 터치 포인트를 크기 순서대로 정렬하고, 작은 크기 순서대로 순차적으로 터치 포인트가 노이즈인지 여부를 판단하는 것을 특징으로 하는 터치 인식 장치.And the control unit arranges the recognized plurality of touch points in order of size, and sequentially determines whether the touch points are noise in order of small size. 제5항에 있어서,The method of claim 5, 상기 인식된 터치 포인트가 N개인 경우, 작은 크기의 순서대로 N-1개의 터치 포인트에 대하여 순차적으로 노이즈 여부를 판단하는 것을 특징으로 하는 터치 인식 장치.When the recognized touch points are N, the touch recognition apparatus according to the small size in order to determine whether the noise in the N-1 touch points in sequence.
KR1020090135486A 2009-12-31 2009-12-31 Apparatus for touch recognition and method for driving touch recognition using optical signal KR101081754B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090135486A KR101081754B1 (en) 2009-12-31 2009-12-31 Apparatus for touch recognition and method for driving touch recognition using optical signal

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090135486A KR101081754B1 (en) 2009-12-31 2009-12-31 Apparatus for touch recognition and method for driving touch recognition using optical signal

Publications (2)

Publication Number Publication Date
KR20110078629A KR20110078629A (en) 2011-07-07
KR101081754B1 true KR101081754B1 (en) 2011-11-09

Family

ID=44918080

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090135486A KR101081754B1 (en) 2009-12-31 2009-12-31 Apparatus for touch recognition and method for driving touch recognition using optical signal

Country Status (1)

Country Link
KR (1) KR101081754B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101323196B1 (en) * 2010-10-05 2013-10-30 주식회사 알엔디플러스 Multi-touch on touch screen apparatus

Also Published As

Publication number Publication date
KR20110078629A (en) 2011-07-07

Similar Documents

Publication Publication Date Title
KR100804815B1 (en) Touch screen using infrared camera to be hardly affected by external optical
EP2843509B1 (en) Electronic device having proximity touch function
US9158415B2 (en) Touch panel, method for driving touch panel, and display apparatus having touch panel
US8130210B2 (en) Touch input system using light guides
US8576200B2 (en) Multiple-input touch panel and method for gesture recognition
US20070165008A1 (en) Compact infrared touch screen apparatus
JP5389776B2 (en) Reference setting method for optical touch input device and optical touch input device to which the method is applied
US20100085329A1 (en) Optical touch display device, optical touch sensing device and touch sensing method
KR101427858B1 (en) Electronic device and touch-sensing method
CN104571731B (en) Touch panel and display device
CN104205028B (en) There is the touch-surface based on light of curved boundaries and inclination frame
CN102129327A (en) High-efficiency infrared touch panel device
CN102184062B (en) Infrared touch system and control method thereof
US9465487B2 (en) Optical touch sensitive apparatus and image capturing apparatus
KR101081754B1 (en) Apparatus for touch recognition and method for driving touch recognition using optical signal
US20120169666A1 (en) Optical touch-sensing liquid crystal panel, optical touch-sensing panel and method of determining touch position
US9575613B2 (en) Touch-sensing apparatus, touch system, and touch-detection method
CN104423726A (en) Optical coordinate input device
KR101236200B1 (en) Touch screen using multi reflection
KR20090118792A (en) Touch screen apparatus
JP2015095210A (en) Operation input device
KR101866322B1 (en) Touch sensing device using total internal reflection and touch sensing method using the same
US20130170185A1 (en) Display device with optical recognition of inputting instrument
KR101243614B1 (en) Optical touch screen apparatus
KR101358781B1 (en) Optical touch screen apparatus using frustrated total internal reflection

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141103

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151102

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20171101

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20181101

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20191028

Year of fee payment: 9