KR100994526B1 - 감지시스템 - Google Patents

감지시스템 Download PDF

Info

Publication number
KR100994526B1
KR100994526B1 KR1020080095265A KR20080095265A KR100994526B1 KR 100994526 B1 KR100994526 B1 KR 100994526B1 KR 1020080095265 A KR1020080095265 A KR 1020080095265A KR 20080095265 A KR20080095265 A KR 20080095265A KR 100994526 B1 KR100994526 B1 KR 100994526B1
Authority
KR
South Korea
Prior art keywords
pointer
mirror image
light source
plane
linear light
Prior art date
Application number
KR1020080095265A
Other languages
English (en)
Other versions
KR20100007673A (ko
Inventor
초-이 린
신-치 쳉
Original Assignee
픽스아트 이미징 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 픽스아트 이미징 인코포레이티드 filed Critical 픽스아트 이미징 인코포레이티드
Publication of KR20100007673A publication Critical patent/KR20100007673A/ko
Application granted granted Critical
Publication of KR100994526B1 publication Critical patent/KR100994526B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0428Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Position Input By Displaying (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

본 발명은 포인터를 감지하고 포인터의 위치를 계한하는데 적용하는 감지시스템에 관한 것으로, 감지시스템은 패널, 반사부, 이미지 센서 및 프로세서로 이루어진다. 패널은 제1평면과 제1평면 위에 있는 제1구역을 포함하며, 제1구역은 사변형이고, 순서에 따라 연결된 제1변, 제2변, 제3변 및 제4변을 구비한다. 반사부는 제1변에 배치되어 있으며, 또한 제1평면 위에 있다. 반사부의 제2평면은 제1평면과 수직이며, 제2평면은 반사면이므로 제1구역를 비추어 제2구역을 형성한다. 이미지 센서는 제3변과 제4변이 교차되는 코너에 배치되어 있으며, 또한 제1평면 위에 있다. 이미지 센서의 감지범위는 제1구역과 제2구역을 포함한다. 프로세서는 이미지 센서에 전기적으로 접속한다.

Description

감지시스템{SENSING SYSTEM}
본 발명은 감지 시스템에 관한 것으로, 특히 반사부를 갖고 있는 감지 시스템에 관한 것이다.
터치시스템(touch system)은 이미 미국 특허 제4,782,328호와 제6,803,906호와 같은 많은 특허에 의해 개시되여 있다. 상술한 두편의 특허가 개시하고 있는 터치시스템은 각기 적어도 두개의 센서(sensor)를 필요하므로 터치시스템의 생산코스트가 많아지게 된다. 이하, 상술한 두편의 특허중의 하나에 대하여 설명한다.
제1도에는 종래의 터치 스크린 시스템(touch screen system)이 도시되어 있다. 미국 특허 제4,782,328호가 개시하고 있는 터치 스크린 시스템(100)은 패널(110), 제1광센서(120), 제2광센서(130) 및 프로세서(140)를 포함한다. 패널(110)은 구형의 터치 스크린 에리어(touch screen area)(112)를 갖고 있다. 제1광센서(120) 및 제2광센서(130)는 터치 스크린 에리어(112)의 한 변의 상대적인 양단에 배치되여 있으며, 제1광센서(120) 및 제2광센서(130)의 감지범위는 터치 스크린 에리어(112)를 공동으로 포용하고 있다. 제1광센서(120) 및 제2광센서(130)는 프로세서(140)에 전기 접속한다.
포인터(pointer)(150)가 터치 스크린 에리어(112)를 접촉하는 경우, 제1광센서(120) 및 제2광센서(130)는 각기 제1감지라인(sensing line)(162) 및 제2감지라인(164)을 따라 포인터(150)를 감지한다. 프로세서(140)는 제1감지라인(162) 및 제2감지라인(164)에 의해서 포인터(150)의 위치를 계산한다.
하지만, 종래의 터치 스크린 시스템(100)은 반드시 두개의 광센서(120),(130)를 갖추어야 하므로 종래의 터치 스크린 시스템(100)의 생산코스트가 많아지게 된다.
본 발명은 생산코스트가 비교적 적은 감지시스템을 제공함에 그 목적이 있다.
본 발명의 감지시스템은 포인터를 감지하고 포인터의 위치를 계산하는데 적용한다. 본 발명의 감지시스템은 패널, 반사부, 이미지 센서 및 프로세서로 이루어진다. 패널은 제1평면과 제1평면 위에 있는 제1에리어를 포함하며, 제1에리어는 사변형이므로 순서에 따라 연결된 제1변, 제2변, 제3변 및 제4변을 구비한다. 반사부는 제1변에 배치되여 있으며, 또한 제1평면 위에 있다. 반사부의 제2평면은 제1평면과 수직되며, 제2평면은 반사면이므로 제1에리어를 비추어 제2에리어를 형성한다. 이미지 센서는 제3변과 제4변이 교차되는 구석에 배치되여 있으며, 또한 제1평면 위에 있다. 이미지 센서의 감지범위는 제1에리어와 제2에리어를 포용하고 있다. 프로세서는 이미지 센서에 전기 접속한다.
포인터가 제1에리어에 근접하며, 포인터가 반사부에 제1미러 이미지를 형성하며, 포인터와 제1미러 이미지가 이미지 센서의 감지범위 안에 있을 때, 포인터의 제1에리어에 근접한 부분 및 제1미러 이미지의 제2에리어에 근접한 부분과 이미지 센서가 같은 선에 위치하지 않을 때, 이미지 센서는 포인터와 제1미러 이미지를 감지하며, 프로세서는 포인터의 위치를 계산한다.
본 발명의 실시예에 있어서, 이미지 센서는 제1감지라인에 따라 포인터를 감지하고 제2감지라인에 따라 제1미러 이미지를 감지하며, 프로세서는 제1감지라인과 제2감지라인에 의해서 포인터의 위치를 계산한다.
본 발명의 실시예에 있어서, 제1에리어는 구형이다. 프로세서는 제1변과 제3변사이의 제1거리(D1)에 관한 정보를 갖고 있다. 프로세서가 포인터의 위치를 계산하는 방법은 다음과 같이 개시되는 바, 제1감지라인과 제3변 사이의 제1각도(A1)을 확정하고; 제2감지라인과 제3변 사이의 제2각도(A2)을 확정하며; 두배의 D1를 tanA1과 tanA2의 합으로 나누어 포인터와 제4변 사이의 제2거리(D2)를 계산한다.
감지시스템은 제2변에 배치되여 있는 제1리니어광원과 제3변에 배치되여 있는 제2리니어광원을 더 포함한다. 제1리니어광원과 제2리니어광원은 모두 제1평면 위에 있다. 제1리니어광원은 반사부에 제2미러 이미지를 형성하고, 제2리니어광원은 반사부에 제3미러 이미지를 형성하며, 제4변은 반사부에 제4미러 이미지를 형성한다. 반사부, 제1리니어광원, 제2리니어광원 및 제4변은 제1에리어를 둘러싸고 있다. 반사부, 제2미러 이미지, 제3미러 이미지 및 제4미러 이미지는 제2에리어를 둘러싸고 있다. 제1리니어광원, 제2미러 이미지 및 제3미러 이미지는 이미지 센서의 감지범위 안에 있다.
본 발명의 실시예에 있어서, 제1에리어는 구형이 아닌 사변형이다. 프로세서는 한 구석을 지나며 또한 제1변에 평행되는 제1가상선과 제1변사이의 제1거리(D3) 에 관한 정보를 갖고 있다. 프로세서가 포인터의 위치를 계산하는 방법은 다음과 같이 개시되는 바, 제1감지라인과 제1가상선 사이의 제1각도(A3)를 확정하고; 제2감지라인과 제1가상선 사이의 제2각도(A4)를 확정하며; 두배의 D3을 tanA3과 tanA4의 합으로 나누어 구석을 지나며 또한 제1변에 수직되는 제2가상선과 포인터사이의 제2거리(D4)를 계산한다.
감지시스템은 제2변에 배치되여 있는 제1리니어광원, 제3변에 배치되여 있는 제2리니어광원 및 제4변에 배치되여 있는 제3리니어광원을 더 포함한다. 제1리니어광원, 제2리니어광원 및 제3리니어광원은 모두 제1평면 위에 있다. 제1리니어광원은 반사부에 제2미러 이미지를 형성하고, 제2리니어광원은 반사부에 제3미러 이미지를 형성하며, 제3리니어광원은 반사부에 제4미러 이미지를 형성한다. 반사부, 제1리니어광원, 제2리니어광원 및 제3리니어광원은 제1에리어를 둘러싸고 있다. 반사부, 제2미러 이미지, 제3미러 이미지, 제4미러 이미지은 제2에리어를 둘러싸고 있다. 제1리니어광원, 제2미러 이미지, 제3미러 이미지 및 제4미러 이미지는 이미지 센서의 감지범위 안에 있다.
본 발명의 실시예에 있어서, 포인터가 제1에리어에 근접하며, 포인터가 반사부에 제1미러 이미지를 형성하며, 포인터와 제1미러 이미지가 이미지 센서의 감지범위 안에 있을 때, 포인터의 제1에리어에 근접한 부분 및 제1미러 이미지의 제2에리어에 근접한 부분과 이미지 센서가 같은 선에 위치할 때, 이미지 센서는 제3감지라인에 따라 포인터의 크기를 감지한다. 프로세서는 제3감지라인에 있는 포인터의 크기와 포이터와 구석사이의 제3거리(D5)의 길이의 대응관계에 관한 정보를 갖고 있으며, 프로세서는 포인터의 크기에 의해서 포인터의 위치를 계산한다.
본 발명의 실시예에 있어서, 감지시스템은 패널의 제1평면 위에 배치되여 있으며 또한 제1에리어 밖에 있는 제1광원을 더 포함한다. 제1광원은 반사부에 제2미러 이미지을 형성한다. 제1광원과 제2미러 이미지는 이미지 센서의 감지범위 밖에 있다. 포인터는 광반사표면을 구비한다. 제1광원은 불가시광선을 내며, 제1미러 이미지는 제1광원이 포인터의 광반사표면을 비추어 형성한 것이다.
본 발명의 실시예에 있어서, 포인터는 발광장치를 구비하며, 제1미러 이미지는 발광장치에서 비추는 광선에 의해 형성된 것이다.
본 발명의 감지시스템의 프로세서는 반사부와 이미지 센서에 의해서 포인터의 위치를 계산할수 있다. 따라서 종래의 기술과 비교하여 보면, 본 발명의 감지시스템은 하나의 이미지 센서를 사용할수 있으며, 따라서 감지시스템의 생산코스트를 낮추고 있다.
〔제1실시예〕
제2도는 본 발명의 제1실시예에 따른 감지시스템의 입체도이고, 제3도는 제2도의 감지시스템이 작동할 때의 평면도이다. 제2도와 제3도를 참조하여 보면, 감지시스템(200)은 포인터(270)를 감지하고 포인터(270)의 위치를 계산하는데 적용한다. 감지시스템(200)은 패널(210), 반사부(220), 제1리니어광원(230), 제2리니어광원(240), 이미지 센서(250) 및 프로세서(260)를 포함한다. 패널(210)은 화이트 보드(white board) 또는 터치 스크린(touch screen)이며, 제1평면(214)과 제1평면(214) 위에 있는 제1에리어(212)를 포함한다. 제1에리어(212)는 사변형이며, 예를 들면 구형이며, 따라서 순서에 따라 연결된 제1변(212a), 제2변(212b), 제3변(212c) 및 제4변(212d)을 갖게 된다.
반사부(220)는 제1변(212a)에 배치되여 있으며, 또한 제1평면(214) 위에 있다. 반사부(220)의 제2평면(222)은 제1평면(214)과 수직되며, 제2평면(222)은 반사면이므로 제1에리어(212)를 비추어 제2에리어(212')를 형성한다. 반사부(220)는 예를 들어 평면반사경(plane mirror)일수 있지만, 이것에 한정되지 않는다. 제1리니어광원(230)은 제2변(212b)에 배치되여 있으며, 또한 제1평면(214) 위에 있다. 제1리니어광원(230)은 반사부(220)에 제2미러 이미지(mirror image)(230')를 형성한다.
제2리니어광원(240)은 제3변(212c)에 배치되여 있으며, 또한 제1평면(214) 위에 있다. 제2리니어광원(240)은 반사부(220)에 제3미러 이미지 (240')를 형성한다. 제4변(212d)은 반사부(220)에 제4미러 이미지 (212d')를 형성한다. 반사부(220), 제1리니어광원(230), 제2리니어광원(240) 및 제4변(212d)은 제1에리어(212)를 둘러싸고 있다. 반사부(220), 제2미러 이미지 (230'), 제3미러 이미지 (240') 및 제4미러 이미지 (212d')는 제2에리어(212')를 둘러싸고 있다.
이미지 센서(250)는 제3변(212c)과 제4변(212d)이 교차되는 구석(C1)에 배치되여 있으며, 또한 제1평면(214) 위에 있다. 이미지 센서(250)의 감지범위는 제1에리어(212)와 제2에리어(212')를 포용하고 있다. 제1리니어광원(230), 제2미러 이미지 (230') 및 제3미러 이미지 (240')는 이미지 센서(250)의 감지범위 안에 있다. 프로세서(260)는 이미지 센서(250)에 전기 접속한다.
이하, 본 실시예의 감지시스템(200)의 작동방식에 대하여 설명한다. 제4도는 제3도의 프로세서(260)가 포인터의 위치를 계산하는 것을 나타낸 도면이며, 제5도는 제3도의 이미지 센서의 이미지 감지 윈도(image sensing window)를 나타내는 도면이다. 제3도, 제4도 및 제5도를 참조하여 보면, 포인터(270)(제2도를 참조할 수 있다)가 제1에리어(212)에 근접하며, 포인터(270)가 반사부(220)에 제1미러 이미지(270')를 형성하며, 포인터(270)와 제1미러 이미지(270')가 이미지 센서(250)의 감지범위 안에 있을 때, 포인터(270)의 제1에리어(212)에 근접한 부분 및 제1미러 이미지(270')의 제2에리어(212')에 근접한 부분과 이미지 센서(250)가 같은 선에 위치하지 않을 때, 이미지 센서(250)는 포인터(270)와 제1미러 이미지(270')를 감지하며, 프로세서(260)는 포인터(270)의 위치를 계산한다. 다시 말하면, 본 실시예의 이미지 센서(250)는 제1감지라인(282)에 따라 포인터(270)를 감지하고 제2감지라인(284)에 따라 제1미러 이미지(270')를 감지하며, 프로세서(260)는 제1감지라인(282)과 제2감지라인(284)에 의해서 포인터(270)의 위치를 계산한다.
반드시 설명해야 할 것은 본 실시예에 있어서 포인터(270)의 제1에리어(212)에 근접한 부분은 포인터(270)의 뾰족한 끝(272)( 제2도를 참조할 수 있다)이고, 제1미러 이미지(270')의 제2에리어(212')에 근접한 부분은 제1미러 이미지(270')의 뾰족한 끝(272')이다.
상세히 설명하면, 본 실시예에 있어서 이미지 센서(250)는 이미지 감지 윈도(image sensing window)(252)를 갖고 있다. 포인터(270)가 제1에리어(212)에 근접하지 않았을 때, 제1리니어광원(230), 제2미러 이미지 (230') 및 제3미러 이미지 (240')에서 나오는 빛은 이미지 감지 윈도(252) 위에 비교적 높은 휘도의 브라이트 존(bright zone)(254)을 형성하며, 이것이 바로 주요한 감지 존(sensing zone)이다. 포인터(270)가 제1에리어(212)에 근접할 때, 이미지 센서(250)는 제1감지라인(282)에 따라 포인터(270)를 감지하고, 이미지 감지 윈도(252) 위의 브라이트 존(254)에 제1까만선(obscure line)(252a)이 나타나게 되며, 이미지 센서(250)로부터 제1전기신호를 출력한다. 프로세서(260)는 제1전기신호를 접수하며, 또한 이미지 감지 윈도(252) 위에 있는 제1까만선(252a)의 위치에 의해서 제1감지라인(282)과 제3변(212c) 사이의 제1각도(A1)을 확정한다. 다시 말하면, 프로세서(260)는 내장 방식에 의해서 이미지 감지 윈도(252) 위의 까만선의 위치와 감지라인과 제3변(212c) 사이의 각도의 대응관계에 관한 정보를 갖게 되며, 제1각도(A1)을 확정하는 공작이 진행되도록 한다.
같은 도리로 이미지 센서(250)는 제2감지라인(284)에 따라 제1미러 이미지(270')를 감지하며, 이미지 감지 윈도(252) 위의 브라이트 존(254)에 제2까만선(252b)이 나타나게 되며, 이미지 센서(250)로부터 제2전기신호를 출력한다. 프로세서(260)는 제2전기신호를 접수하며, 또한 이미지 감지 윈도(252) 위에 있는 제2까만선(252b)의 위치에 의해서 제2감지라인(284)과 제3변(212c) 사이의 제2각도(A2)을 확정한다. 반드시 설명해야 할것은 제1리니어광원(230)과 제2리니어광원(240)의 휘도가 높으면 높을수록 이미지 감지 윈도(252) 위에 있는 제1까만선(252a)과 제2까만선(252b)이 더욱 선명하게 된다.
또한 프로세서(260)는 내장 방식에 의해서 제1변(212a)과 제3변(212c) 사이의 제1거리(D1)에 관한 정보를 갖게 된다. 본 실시예에 있어서, 제3변(212c)을 직각좌표계(cartesian coordinate system)의 X축으로 하고, 제4변(212d)을 직각좌표계의 Y축으로 할 때, 구석(C1)의 좌표는 (0,0)이다. 포인터(270)의 X좌표가 포인터(270)와 제4변(212d) 사이의 제2거리(D2)이고, 포인터(270)와 제1미러 이미지(270')의 중점이 제1변(212a)에 있으므로 D1은 (D2·tanA1+D2·tanA2)/2와 같다. 따라서 프로세서(260)는 두배의 D1을 tanA1과 tanA2의 합으로 나누어 포인터(270)와 제4변(212d)사이의 제2거리(D2)를 계산한다. 다시 말하면 포인터(270)의 좌표(D2, D2·tanA1)는 위에서 설명한 계산방법으로 계산할 수 있다. 여기서 반드시 설명해햐 할것은 직각좌표계로 포인터(270)의 좌표를 계산하는 방법은 오직 하나의 예일뿐, 설계자는 설계수요에 따라 다른 좌표시스템으로 포인터의 좌표를 계산할수 있으며, 본 발명은 더 이상 한정하지 않는다.
본 실시예의 감지시스템(200)의 프로세서(260)는 반사부(220)와 이미지 센서(250)에 의해서 포인터(270)의 위치를 계산할수 있다. 종래의 기술과 비교하여 보면, 본 실시예의 감지시스템(200)은 하나의 이미지 센서(250)를 사용할수 있으며, 따라서 감지시스템(200)의 생산코스트를 낮추게 된다.
〔제2실시예〕
제6도는 본 발명의 제2실시예에 따른 감지시스템이 작동할 때의 평면도이다. 제7도는 제6도의 프로세서가 포인터의 위치를 계산하는 것을 나타낸 도면이다. 제6도와 제7도를 참조하여 보면, 본 실시예의 감지시스템(300)이 제1실시예의 감지시스템(200)에 비해 다른것이라면 감지시스템(300)은 제3리니어광원(390)을 더 포함 하며, 패널(310)의 제1평면(314) 위에 있는 제1에리어(312)는 구형이 아닌 사변형인 것이다.
제3리니어광원(390)은 제1에리어(312)의 제4변(312d)에 배치되여 있으며, 반사부(320)에 제4미러 이미지 (390')를 형성한다. 반사부(320)(제1에리어(312)의 제1변(312a)에 배치되여 있다), 제1리니어광원(330)(제1에리어(312)의 제2변(312b)에 배치되여 있다), 제2리니어광원(340) (제1에리어(312)의 제3변(312c)에 배치되여 있다) 및 제3리니어광원(390)은 제1에리어(312)를 둘러싸고 있다.
반사부(320), 제1리니어광원(330)이 반사부(320)에 형성한 제2미러 이미지 (330'), 제2리니어광원(340)이 반사부(320)에 형성한 제3미러 이미지 (340'), 제4미러 이미지 (390')은 제2에리어(312')를 둘러싸고 있다. 이미지 센서(350)는 제3변(312c)과 제4변(312d)이 교차되는 구석(C2)에 배치되여 있으며, 이미지 센서(350)의 감지범위는 제1에리어(312)와 제2에리어(312')를 포용하고 있다. 제1리니어광원(330), 제2미러 이미지 (330'), 제3미러 이미지 (340') 및 제4미러 이미지 (390')는 이미지 센서(350)의 감지범위 안에 있다. 포인터(370)는 반사부(320)에 제1미러 이미지 (370')를 형성한다.
이하, 본 실시예의 감지시스템(300)의 작동방식에 대하여 설명한다. 본 실시예에 있어서, 구석(C2)을 지나 제1변(312a)에 평행되는 제1가상선(imaginary line)(L1)울 직각좌표계의 X축으로 하고, 구석(C2)을 지나 제1변(312a)에 수직되는 제2가상선(imaginary line)(L2)울 직각좌표계의 Y축으로 할 때, 구석(C2)의 좌표는 (0,0)이다. 프로세서(360)는 내장 방식에 의해서 제1가상선(L1)과 제1변(312a)사이의 제1거리(D3) 에 관한 정보를 갖고 있다.
포인터(370)가 제1에리어(312)에 근접하며, 포인터(370)가 반사부(320)에 제1미러 이미지(370')를 형성하며, 포인터(370)와 제1미러 이미지(370')가 이미지 센서(350)의 감지범위 안에 있을 때, 포인터(370)의 제1에리어(312)에 근접한 부분 및 제1미러 이미지(370')의 제2에리어(312')에 근접한 부분과 이미지 센서(350)가 같은 선에 위치하지 않을 때, 이미지 센서(350)는 먼저 제1감지라인(382)에 따라 포인터(370)를 감지하고 제2감지라인(384)에 따라 제1미러 이미지(370')를 감지하며, 다음으로 프로세서(360)는 제1감지라인(382)에 의해서 제1감지라인(382)과 제1가상선(L1) 사이의 제1각도(A3)를 확정하고, 제2감지라인(384)에 의해서 제2감지라인(384)과 제1가상선(L1) 사이의 제2각도(A4)를 확정한다. 그다음으로 프로세서(360)는 두배의 D3을 tanA3과 tanA4의 합으로 나누어 제2가상선(L2)과 포인터(370)사이의 제2거리(D4)를 계산한다. 따라서 포인터(370)의 좌표(D4, D4·tanA3)는 상술한 계산방법으로 계산할수 있다.
반드시 설명해야 할것은 본 실시예의 이미지 센서(350)의 감지방식과 프로세서(360)가 각도를 확정하는 방식은 제1실시예의 관련된 부분을 참조할수 있으므로 여기서 더욱 상세히 설명하지 않는다.
제8도는 제6도의 프로세서가 포인터의 위치를 계산하는 것을 나타낸 다른 도면이며, 제9도는 제6도의 이미지 센서의 이미지 감지 윈도를 나타낸 도면이다. 제6도,제8도 및 제9도를 참조하여 보면, 본 실시예에 있어서 포인터(370)가 제1에리어(312)에 근접하지 않았을 때, 제1리니어광원(330), 제2미러 이미지 (330'), 제3미러 이미지 (340') 및 제4미러 이미지 (390')에서 나오는 빛은 이미지 감지 윈도(352)(제6도를 참조할수 있다) 위에 비교적 높은 휘도의 브라이트 존(354)을 형성하며, 이것이 바로 주요한 감지 존이다. 포인터(370)의 제1에리어(312)에 근접한 부분 및 제1미러 이미지(370')의 제2에리어(312')에 근접한 부분과 이미지 센서(350)가 같은 선에 위치할 때, 이미지 센서(350)는 제3감지라인(386)(즉 제2가상선(L2))에 따라 포인터(370)의 크기를 감지한다. 여기서 반드시 설명해야 할것은 본 실시예의 프로세서(360)는 내장 방식에 의해서 제3감지라인(386)에 있는 포인터(370)의 크기와 포이터(370)와 구석(C2)사이의 제3거리(D5)의 길이의 대응관계에 관한 정보를 갖게 되며, 프로세서(360)는 포인터(370)의 크기에 의해서 포인터(370)의 위치를 계산한다.
다시 말하면, 포인터(370)가 이미지 센서(350)의 이미지 감지 윈도(352)에 가까우면 가까울수록(즉 제3거리(D5)가 짧으면 짧을수록) 이미지 감지 윈도(352) 위의 브라이트 존(354)에 나타나는 제3까만선(352c)의 폭(W1)이 더욱 커지게 된다. 제3까만선(352c)의 폭(W1)과 제3거리(D5)의 길이의 대응관계는 먼저 프로세서(360) 안에 내장할수 있다. 따라서 포인터(370), 제1미러 이미지(370') 및 이미지 센서(350)가 같은 선에 위치할 때, 프로세서(360)는 포인터(370)의 크기에 의해서 대응되는 제3거리(D5)의 길이를 계산할 수 있다.
본 실시예에 있어서 프로세서(360)는 내장 방식에 의해서 제3감지라인(386)과 제1가상선(L1)사이의 제3각도(A5)에 관한 정보를 갖게 되며, 따라서 포인터(370)의 좌표(D5·cosA5, D5·sinA5)를 계산할수 있다. 본 실시예에 있어서, 제3각도(A5)는 90도이다.
〔제3실시예〕
제10도는 본 발명의 제3실시예에 따른 감지시스템의 입체도이다. 제2도와 제10도를 참조하여 보면, 본 실시예의 감지시스템(400)이 제1실시예의 감지시스템(200)에 비해 다른것이라면 감지시스템(400)은 제1리니어광원(230)과 제2리니어광원(240)을 생략한것이다. 감지시스템(400)은 패널(410)의 제1평면(414) 위에 배치되여 있으며 또한 제1에리어(412) 밖에 있는 제1광원(430)을 포함한다. 제1광원(430)은 반사부(420)에 제2미러 이미지(430')을 형성한다. 제1광원(430)과 제2미러 이미지(430')는 이미지 센서(450)의 감지범위 밖에 있다. 포인터(470)는 광반사표면(472)을 갖고 있으며, 광반사표면(472)의 광반사재료는 유럽 규칙EN471의 규격에 부합하지만, 이것으로 한정되는 것은 아니다.
제1광원(430)은 적외선과 같은 불가시광선을 내며, 그 광파는 약 940nm이다. 반사부(420)에 형성된 포인터(470)의 제1미러 이미지(도시하지 않음)는 제1광원(430)이 포인터(470)의 광반사표면(472)을 비추어 형성한 것이다. 이미지 센서(450)는 이미지 감지 윈도(452)의 앞에 배치한 필터(filter)(456)를 갖출수 있다. 포인터(470)는 불가시광선을 필터(456)로 반사할수 있으며, 필터(456)는 기타 광선을 여과하여 이미지 감지 윈도(452)가 포인터(470)에서 반사한 불가시광선을 접수하도록 한다. 이미지 센서(450)는 포인터(470)의 제1미러 이미지(도시하지 않았음)를 감지할 수 있다.
여기서 반드시 설명해야 할것은 제1에리어(412)는 구형이 아닌 사변형일수 있지만, 도면에 도시하지 않았다.
〔제4실시예〕
제11도는 본 발명의 제4실시예에 따른 감지시스템의 입체도이다. 제2도와 제11도를 참조하여 보면, 본 실시예의 감지시스템(500)이 제1실시예의 감지시스템(200)에 비해 다른것이라면 감지시스템(500)은 제1리니어광원(230)과 제2리니어광원(240)을 생략할수 있는 것이다. 포인터(570)는 발광장치(572)를 구비하며, 제1미러 이미지(도시하지 않았음)는 발광장치(572)에서 비추는 광선에 의해 형성된것이다. 이미지 센서(550)는 포인터(570) 및 반사부(520)에 형성된 포인터(570)의 제1미러 이미지을 감지할수 있다.
여기서 반드시 설명해야 할것은 제1에리어(512)는 구형이 아닌 사변형일수 있지만, 도면에 도시하지 않았다.
제1도는 종래의 터치 스크린 시스템의 개략도,
제2도는 본 발명의 제1실시예에 따른 감지시스템의 입체도,
제3도는 제2도의 감지시스템이 작동할 때의 평면도,
제4도는 제3도의 프로세서가 포인터의 위치를 계산하는 것을 나타낸 도면,
제5도는 제3도의 이미지 센서의 이미지 감지 윈도를 나타낸 도면,
제6도는 본 발명의 제2실시예에 따른 감지시스템이 작동할 때의 평면도,
제7도는 제6도의 프로세서가 포인터의 위치를 계산하는 것을 나타낸 도면,
제8도는 제6도의 프로세서가 포인터의 위치를 계산하는 것을 나타낸 다른 도면,
제9도는 제6도의 이미지 센서의 이미지 감지 윈도를 나타낸 도면,
제10도는 본 발명의 제3실시예에 따른 감지시스템의 입체도,
제11도는 본 발명의 제4실시예에 따른 감지시스템의 입체도이다.
*도면에 대한 부호설명*
100: 터치 스크린 시스템 100,210,210,410 패널
112: 터치 스크린 에리어 112a: 한 변
120: 제1광센서 130: 제2광센서
140,260,360: 프로세서 150,270,370,470,570: 포인터
162,282,382: 제1감지라인 164,284,384: 제2감지라인
200,300,400,500: 감지시스템 212,312,412,512: 제1에리어
212',312': 제2에리어 212a,312a,412a: 제1변
212b,312b,412b: 제2변 212c,312c,412c: 제3변
212d,312d: 제4변 212d',390': 제4미러 이미지
214,314,414: 제1평면 220,320,420,520: 반사부
222: 제2평면 230,330: 제1리니어광원
230',330',430': 제2미러 이미지 240,340: 제2리니어광원
240',340': 제3미러 이미지 250,350,450,550: 이미지 센서
252,352,452: 이미지 감지 윈도 252a: 제1까만선
252b: 제2까만선 254,354: 브라이트 존
270',370': 제1미러 이미지 272,272': 뾰족한 끝
352c: 제3까만선 386: 제3감지라인
390: 제3리니어광원 430: 제1광원
456: 필터 472: 광반사표면
572: 발광장치 A1,A3: 제1각도
A2,A4: 제2각도 A5: 제3각도
C1,C2: 구석 D1,D3: 제1거리
D2,D4: 제2거리 D5: 제3거리
L1: 제1가상선 L2: 제2가상선
W1: 넓이

Claims (11)

  1. 포인터를 감지하고 포인터의 위치를 계산하는 감지시스템으로서,
    제1평면과 제1평면 위에 있는 제1구역(first area)를 포함하는 패널(panel)로서, 상기 제1구역은 순서대로 연결된 제1변(boundary), 제2변, 제3변 및 제4변을 구비한 사변형인, 패널;
    상기 제1변에 배치되고 상기 제1평면 위에 있는 반사부(reflective element)로서, 상기 반사부는 상기 제1평면에 수직하는 제2평면을 포함하고, 상기 제2평면은 반사면이고 상기 제1구역을 비추어 제2구역(second area)을 형성하는, 반사부;
    상기 제3변과 상기 제4변이 교차하는 코너에 배치되고 상기 제1평면 위에 있는 이미지 센서로서, 상기 이미지 센서의 감지 범위는 상기 제1구역과 상기 제2구역을 포함하는, 이미지 센서, 및
    상기 이미지 센서에 전기적으로 접속되는 프로세서
    를 포함하고,
    상기 포인터가 상기 제1구역에 다가와서 상기 반사부가 상기 포인터를 비추어 제1 미러 이미지(mirror image)를 형성했을 때 상기 포인터와 상기 제1 미러 이미지가 상기 이미지 센서의 감지 범위 내에 있는 경우이면서 상기 포인터 중 상기 제1구역에 근접한 부분, 상기 제1 미러 이미지 중 상기 제2구역에 근접한 부분, 및 상기 이미지 센서가 직선상에 위치하지 않는 경우에, 상기 이미지 센서는 상기 포인터와 상기 제1 미러 이미지를 감지하고 상기 프로세서는 상기 포인터의 위치를 계산하는,
    감지시스템.
  2. 제1항에 있어서,
    상기 이미지 센서는 제1 감지 경로(sensing path)에 따라 상기 포인터를 감지하고, 제2 감지 경로에 따라 상기 제1 미러 이미지를 감지하며,
    상기 프로세서는 상기 제1 감지 경로와 상기 제2 감지 경로에 따라서 상기 포인터의 위치를 계산하는,
    감지시스템.
  3. 제2항에 있어서,
    상기 제1구역은 구형인,
    감지시스템.
  4. 제3항에 있어서,
    상기 프로세서는 상기 제1변과 상기 제3변 사이의 제1거리(D1)에 관한 정보를 갖고 있으며,
    상기 프로세서는,
    상기 제1 감지 경로와 상기 제3변 사이의 제1각도(A1)를 결정하는 단계;
    상기 제2 감지 경로와 상기 제3변 사이의 제2각도(A2)을 결정하는 단계; 및
    상기 제1거리(D1)에 2를 곱한 후, tan A1과 tan A2의 합으로 나누어 상기 포인터와 상기 제4변 사이의 제2거리(D2)를 계산하는 단계를 포함하는 방법으로 상기 포인터의 위치를 계산하는,
    감지시스템.
  5. 제3항에 있어서,
    상기 제2변에 배치되고 상기 제1평면 위에 있는 제1 선형 광원(linear light source)과, 상기 제3변에 배치되고 상기 제1평면 위에 있는 제2 선형 광원을 더 포함하고,
    상기 반사부는 상기 제1 선형 광원을 비추어 제2 미러 이미지를 형성하고, 상기 제2 선형 광원을 비추어 제3 미러 이미지를 형성하며, 상기 제4변을 비추어 제4 미러 이미지를 형성하고,
    상기 반사부, 상기 제1 선형 광원, 상기 제2 선형 광원, 및 상기 제4변이 상기 제1구역을 둘러싸고,
    상기 반사부, 상기 제2 미러 이미지, 상기 제3 미러 이미지, 및 상기 제4 미러 이미지가 상기 제2구역을 둘러싸고,
    상기 제1 선형 광원, 상기 제2 미러 이미지, 및 상기 제3 미러 이미지는 상기 이미지 센서의 감지 범위 내에 있는,
    감지시스템.
  6. 제2항에 있어서,
    상기 제1구역은 구형이 아닌 사변형인,
    감지시스템.
  7. 제6항에 있어서,
    상기 프로세서는, 상기 코너를 통과하고 상기 제1변에 평행하는 제1가상선(imaginary line)과 상기 제1변 사이의 제1거리(D3)에 관한 정보를 갖고 있고,
    상기 프로세서는,
    상기 제1 감지 경로와 상기 제1가상선 사이의 제1각도(A3)를 결정하는 단계;
    상기 제2 감지 경로와 상기 제1가상선 사이의 제2각도(A4)를 결정하는 단계; 및
    상기 제1거리(D3)에 2를 곱한 후, tan A3과 tan A4의 합으로 나누어서, 상기 코너를 통과하고 상기 제1변에 수직하는 제2가상선과 상기 포인터 사이의 제2거리(D4)를 계산하는 단계
    를 포함하는 방법으로 상기 포인터의 위치를 계산하는,
    감지시스템.
  8. 제6항에 있어서,
    상기 제2변에 배치되고 상기 제1평면 위에 있는 제1 선형 광원(linear light source), 상기 제3변에 배치되고 상기 제1평면 위에 있는 제2 선형 광원, 및 상기 제4변에 배치되고 상기 제1평면 위에 있는 제3 선형 광원을 더 포함하고,
    상기 반사부는 상기 제1 선형 광원을 비추어 제2 미러 이미지를 형성하고, 상기 제2 선형 광원을 비추어 제3 미러 이미지를 형성하며, 상기 제3 선형 광원을 비추어 제4 미러 이미지를 형성하고,
    상기 반사부, 상기 제1 선형 광원, 상기 제2 선형 광원, 및 상기 제3 선형 광원은 상기 제1구역을 둘러싸고,
    상기 반사부, 상기 제2 미러 이미지, 상기 제3 미러 이미지, 및 상기 제4 미러 이미지는 상기 제2구역을 둘러싸고,
    상기 제1 선형 광원, 상기 제2 미러 이미지, 상기 제3 미러 이미지, 및 상기 제4 미러 이미지는 상기 이미지 센서의 감지 범위 내에 있는,
    감지시스템.
  9. 제1항에 있어서,
    상기 포인터가 상기 제1구역에 다가와서 상기 반사부가 상기 포인터를 비추어 상기 제1 미러 이미지를 형성했을 때 상기 포인터와 상기 제1 미러 이미지가 상기 이미지 센서의 감지 범위 내에 있는 경우이면서 상기 포인터 중 상기 제1구역에 근접한 부분, 상기 제1 미러 이미지 중 상기 제2구역에 근접한 부분, 및 상기 이미지 센서가 같은 직선상에 위치하는 경우에,
    상기 이미지 센서는 제3 감지 경로에 따라서 포인터의 크기를 감지하고,
    상기 프로세서는, 상기 포인터와 상기 코너 사이의 거리인 제3 거리(D5)의 길이와, 상기 제3 감지 경로에서의 상기 포인터의 크기와의 관계에 대한 정보를 저장하고 있고,
    상기 프로세서는 상기 포인터의 크기에 기초하여 상기 포인터의 위치를 계산하는,
    감지시스템.
  10. 제1항에 있어서,
    상기 제1평면 위에 위치하고 상기 제1구역 밖에 있는 제1 광원을 더 포함하고,
    상기 반사부는 상기 제1 광원을 비추어 제2 미러 이미지를 형성하고,
    상기 제1 광원 및 상기 제2 미러 이미지는 상기 이미지 센서의 감지 범위 밖에 있으며,
    상기 포인터는 반사면(reflective surface)을 구비하고,
    상기 제1 광원은 비가시광선(invisible light)을 방사하고,
    상기 제1 미러 이미지는 상기 제1 광원이 상기 포인터의 상기 반사면을 비추어 형성되는,
    감지시스템.
  11. 제1항에 있어서,
    상기 포인터는 발광장치를 구비하며, 상기 제1 미러 이미지는 상기 발광장치에서 비추는 광선에 의해 형성되는,
    감지시스템.
KR1020080095265A 2008-07-10 2008-09-29 감지시스템 KR100994526B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
TW97126033 2008-07-10
TW097126033 2008-07-10

Publications (2)

Publication Number Publication Date
KR20100007673A KR20100007673A (ko) 2010-01-22
KR100994526B1 true KR100994526B1 (ko) 2010-11-15

Family

ID=41505924

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080095265A KR100994526B1 (ko) 2008-07-10 2008-09-29 감지시스템

Country Status (3)

Country Link
US (1) US7689381B2 (ko)
JP (3) JP2010019822A (ko)
KR (1) KR100994526B1 (ko)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8427453B2 (en) * 2008-07-10 2013-04-23 Pixart Imaging Inc. Optical sensing system
US8305363B2 (en) * 2008-10-10 2012-11-06 Pixart Imaging Sensing system and locating method thereof
US8368668B2 (en) 2009-06-30 2013-02-05 Pixart Imaging Inc. Displacement detection system of an optical touch panel and method thereof
TWI413925B (zh) * 2010-06-11 2013-11-01 Pixart Imaging Inc 光學觸控系統、物件位置計算裝置以及物件位置計算方法
CN102314258B (zh) * 2010-07-01 2013-10-23 原相科技股份有限公司 光学触控系统、物件位置计算装置以及物件位置计算方法
CN102402345A (zh) * 2010-09-17 2012-04-04 原相科技股份有限公司 光学式触控装置及其触碰感测方法
TWI441060B (zh) 2011-04-14 2014-06-11 Pixart Imaging Inc 一種光學觸控系統之影像處理方法
TWI480784B (zh) 2011-06-21 2015-04-11 Pixart Imaging Inc 一種光學觸控系統及其計算物件座標方法
US9229578B2 (en) 2011-08-05 2016-01-05 Pixart Imaging Inc. Image sensor and optical touch system including the same
US8860695B2 (en) 2011-08-05 2014-10-14 Pixart Imaging Inc. Optical touch system and electronic apparatus including the same
TWI460636B (zh) * 2011-09-07 2014-11-11 Pixart Imaging Inc 光學觸控系統及其定位方法
TWI448918B (zh) * 2011-09-09 2014-08-11 Pixart Imaging Inc 光學觸控系統
US8884904B2 (en) * 2011-10-13 2014-11-11 PixArt Imaging Incorporation, R.O.C. Touch panel apparatus, system and operation method thereof
TWI463375B (zh) * 2011-10-19 2014-12-01 Pixart Imaging Inc 光學觸控系統、光學感測模組及其運作方法
CN103076925B (zh) * 2011-10-26 2016-07-06 原相科技股份有限公司 光学触控系统、光学感测模块及其运作方法
CN104081179B (zh) * 2011-11-30 2016-03-16 株式会社岛津制作所 顶空进样装置
TWI470475B (zh) 2012-04-17 2015-01-21 Pixart Imaging Inc 電子系統
TWI684031B (zh) 2012-07-16 2020-02-01 美商唯亞威方案公司 光學濾波器及感測器系統
US9489085B2 (en) 2012-10-08 2016-11-08 PixArt Imaging Incorporation, R.O.C. Optical touch panel system and positioning method thereof
US9213448B2 (en) 2012-11-29 2015-12-15 Pixart Imaging Inc. Positioning module, optical touch system and method of calculating a coordinate of a touch medium
TWI475448B (zh) * 2012-11-29 2015-03-01 Pixart Imaging Inc 座標定位模組、光學式觸控系統及其計算觸控媒介之座標的方法
US12106505B2 (en) 2020-09-02 2024-10-01 International Business Machines Corporation Reflection-based distance perception

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5789739A (en) 1995-10-26 1998-08-04 Sick Ag Optical detection device for determining the position of an indicator medium

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE2217536C2 (de) * 1972-04-12 1974-05-09 Carl Schenck Maschinenfabrik Gmbh, 6100 Darmstadt Anordnung zur Regelung einer dynamischen Prüfanlage, insbesondere für eine hydraulisch angetriebene
US4507557A (en) * 1983-04-01 1985-03-26 Siemens Corporate Research & Support, Inc. Non-contact X,Y digitizer using two dynamic ram imagers
US4553842A (en) * 1983-05-09 1985-11-19 Illinois Tool Works Inc. Two dimensional optical position indicating apparatus
US4782328A (en) * 1986-10-02 1988-11-01 Product Development Services, Incorporated Ambient-light-responsive touch screen data input method and system
JPH0736603A (ja) * 1993-07-16 1995-02-07 Wacom Co Ltd 二次元位置検出装置
JPH0883415A (ja) * 1994-07-15 1996-03-26 Sony Corp 信号記録及び/又は再生装置、信号記録及び/又は再生方法並びに記録媒体
JP3876942B2 (ja) * 1997-06-13 2007-02-07 株式会社ワコム 光デジタイザ
US6036189A (en) * 1998-05-19 2000-03-14 Williams Electronics Games, Inc. Game with viewing panel having variable optical characteristics for producing virtual images
US6803906B1 (en) 2000-07-05 2004-10-12 Smart Technologies, Inc. Passive touch system and method of detecting user input
JP2005025415A (ja) * 2003-06-30 2005-01-27 Sony Corp 位置検出装置
US7442914B2 (en) * 2003-09-12 2008-10-28 Flatfrog Laboratories Ab System and method of determining a position of a radiation emitting element
US20090090569A1 (en) * 2005-10-13 2009-04-09 Cho-Yi Lin Sensing System
US20070165007A1 (en) * 2006-01-13 2007-07-19 Gerald Morrison Interactive input system
JP5025552B2 (ja) * 2008-04-16 2012-09-12 キヤノン株式会社 タッチパネル

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5789739A (en) 1995-10-26 1998-08-04 Sick Ag Optical detection device for determining the position of an indicator medium

Also Published As

Publication number Publication date
US7689381B2 (en) 2010-03-30
JP2011117977A (ja) 2011-06-16
JP2010019822A (ja) 2010-01-28
US20100010773A1 (en) 2010-01-14
KR20100007673A (ko) 2010-01-22
JP2013178807A (ja) 2013-09-09

Similar Documents

Publication Publication Date Title
KR100994526B1 (ko) 감지시스템
US20090090569A1 (en) Sensing System
TWI453642B (zh) 多點觸控面板及手勢辨識之方法
KR101033428B1 (ko) 에어리어 이미지 센서를 사용한 위치 검출 장치
US8619061B2 (en) Optical touch apparatus and operating method thereof
US8717315B2 (en) Touch-control system and touch-sensing method thereof
TWI441047B (zh) 感測系統
TWI430151B (zh) 觸控裝置及其觸控方法
TWI498785B (zh) 觸控感應裝置以及觸碰點偵測方法
JP2005107607A (ja) 光学式位置検出装置
US9471180B2 (en) Optical touch panel system, optical apparatus and positioning method thereof
US8131502B2 (en) Sensing system and method for obtaining location of pointer thereof
CN101644975B (zh) 感测系统
JP5351218B2 (ja) 導光体及びこれを用いた光学式タッチパネル
US8232511B2 (en) Sensing system adapted to sense a pointer and calculate a location of the pointer
TWI457805B (zh) 測定物體位置的裝置及方法
CN111488068B (zh) 光学触控装置与光学触控方法
TW201019189A (en) Sensing system
CN102902420B (zh) 感测系统
TWI520037B (zh) 光學觸控系統、光學裝置及其定位方法
CN102981681B (zh) 光学触控系统、光学装置及其定位方法
TWI460636B (zh) 光學觸控系統及其定位方法
TWI471785B (zh) 光學觸控模組
CN103092429B (zh) 测定物体位置的装置及方法
TWI423095B (zh) 利用不同時形成的光域之物體偵測系統及方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20131024

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20141027

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20151026

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20161025

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20171024

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20181025

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20191029

Year of fee payment: 10