KR20090005704A - Informaition input device for mobile and input method thereof - Google Patents

Informaition input device for mobile and input method thereof Download PDF

Info

Publication number
KR20090005704A
KR20090005704A KR1020070068960A KR20070068960A KR20090005704A KR 20090005704 A KR20090005704 A KR 20090005704A KR 1020070068960 A KR1020070068960 A KR 1020070068960A KR 20070068960 A KR20070068960 A KR 20070068960A KR 20090005704 A KR20090005704 A KR 20090005704A
Authority
KR
South Korea
Prior art keywords
sensor
portable terminal
information
user
external interface
Prior art date
Application number
KR1020070068960A
Other languages
Korean (ko)
Other versions
KR100957002B1 (en
Inventor
권동수
김승찬
박지은
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020070068960A priority Critical patent/KR100957002B1/en
Publication of KR20090005704A publication Critical patent/KR20090005704A/en
Application granted granted Critical
Publication of KR100957002B1 publication Critical patent/KR100957002B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Abstract

An information input device for a mobile terminal and an information input method thereof are provided to recognize the inputs from a user intuitively by mapping various functions of a mobile terminal and a signal of an information input device. A sensing unit senses finger motion, press pressure, finger temperature and finger prints, and a sensor interface converts the information received from the sensing unit to electric information. The sensing unit and the sensor interface configure an external interface(110), and a mobile terminal(140) receives information from the external interface. The external interface has a structure which can be attached to and detached from the mobile terminal, and is connected to the mobile terminal in wireless or wired manner. The sensing unit of the external interface includes a pressure measurement sensor, a temperature measurement sensor, and a fingerprint recognition sensor. The pressure measurement sensor includes an FSR(Force Sensitive Resistor) or a strain gauge which is able to measure the force of a user's finger in a vertical direction.

Description

휴대단말기용 정보입력장치 및 정보입력방법{informaition input device for mobile and input method thereof}Information input device and information input method for a mobile terminal

본 발명은 휴대단말기용 정보입력장치 및 입력방법에 관한 것으로써, 더욱 상세하게는 외형인터페이스를 휴대단말기의 액세서리 형태로 만들어 다양한 기능의 구현을 가능하게 할 뿐만 아니라, 손가락의 직관적인 정보입력이 가능한 휴대단말기용 정보입력장치 및 입력방법에 관한 것이다.The present invention relates to an information input device and an input method for a portable terminal, and more particularly, to make the external interface into an accessory form of the portable terminal to enable various functions as well as to intuitively input information of a finger. The present invention relates to an information input device and an input method for a portable terminal.

일반적으로 기존 핸드폰의 구조에서는 검색버튼이 핸드폰 좌측측면에 위치하고 있으며, 버튼의 위치가 위/아래로 구성되어 메뉴의 이동, 목록의 검색, 통화음량의 증감에 사용되고 있으나, 핸드폰의 기능의 향상으로 메뉴의 증가와 저장용량의 증가로 검색자료의 양이 늘어남에 따라 이러한 검색 버튼을 사용할 경우에는 빈번한 버튼 누름 조작이 필요하기 때문에 사용자로 하여금 불편을 초래하게 된다.In general, in the structure of the existing mobile phone, the search button is located on the left side of the mobile phone, and the position of the button is configured up / down to move the menu, search the list, and increase or decrease the call volume. As the amount of search data increases due to the increase of the storage capacity and the increase of the storage capacity, frequent use of the button is required when using the search button, which causes inconvenience to the user.

이러한 문제를 해결하기 위하여 조그셔틀 버튼을 위치시켜 양손 엄지손가락으로 조작이 가능하며, 목록 검색에 대해 상향 스크롤 조작과 하향 스크롤 조작을 통해서 빠르게 편리하게 사용할 수 있었다.In order to solve this problem, the jog shuttle button can be positioned and operated with the thumb of both hands, and the user can quickly and conveniently use the up and down scrolling operations for searching the list.

하지만 이러한 기술만으로는 구현하고자 하는 기능에 제한이 되는 것이 현실 이다. 즉 소형화되는 이동통신 단말에 맞추어 각각의 기능을 구현하기에는 소형 휴대폰의 크기가 너무 작은 것이 현실이다. 따라서 단순히 버튼식으로 어떤 기능을 구현하고 조그셔틀 버튼을 사용하는 방식으로 이동통신 단말의 사용에 최적화를 이루기에는 한계가 있다. However, the reality is that such technology alone is limited to the functions to be implemented. That is, the reality is that the size of the small mobile phone is too small to implement each function in accordance with the miniaturized mobile communication terminal. Therefore, there is a limit to optimizing the use of the mobile communication terminal by simply implementing a function by a button type and using a jog shuttle button.

또한 휴대폰의 제어방법으로써 측면버튼을 많이 사용하여 왔는데, 이는 파지에 불편을 초래할 뿐만 아니라, 제어 기능에 문제가 있었던 것이 사실이다.In addition, a lot of side buttons have been used as a method of controlling a mobile phone, which is not only inconvenient to grip, but also has a problem in the control function.

또한 휴대폰에서 흔히 활용되는 기존 버튼 기반의 입력방식 및 최근 각광받고 있는 휴대단말기 본체에 내장된 클릭 휠과 같은 입력방법은 사용자의 의도 전달을 확실하게 해 줄 수 있지만, 입력을 위한 또 다른 면적을 차지하게 되는 특징이 있어 사용자에게 불편을 초래하여 왔던 것이 또한 문제점이다. In addition, input methods such as the existing button-based input method commonly used in mobile phones and the click wheel built into the main body of the portable terminal, which can be assured the user's intention, but occupy another area for input. It is also a problem that there has been a feature that has caused inconvenience to the user.

본 발명은 상기와 같은 문제를 해결하기 위하여 안출한 것으로써, 휴대용단말기로부터 정보 입력장치를 물리적으로 분리하여 사용자의 정보 입력의 편리함을 추구하고자 함이 본 발명의 목적이다. The present invention has been made to solve the above problems, it is an object of the present invention to seek the convenience of user input information by physically separating the information input device from the portable terminal.

또한 휴대용단말기의 경우 상술한 바와 같이 그 단말기의 크기의 소형화로 말미암아 제한된 기능을 사용할 수 밖에 없었는 데, 이러한 문제를 해결하여 다양한 기능 구현을 가능하게 하는 것이 본 발명의 또 다른 목적이다.In addition, in the case of a portable terminal, as described above, due to the miniaturization of the size of the terminal, it was inevitably limited to use a limited function. Another object of the present invention is to solve various problems and to implement various functions.

본 발명의 그 밖의 목적, 특정한 장점들 및 새로운 특징들은 첨부된 도면들과 연관되어지는 이하의 상세한 설명과 바람직한 실시예들로부터 더욱 분명해질 것 이다.Other objects, specific advantages and novel features of the invention will become more apparent from the following detailed description and the preferred embodiments associated with the accompanying drawings.

본 발명에 의한 정보 입력장치는 손가락의 움직임 또는 압력 또는 온도에 관한 정보를 입력받을 수 있는 센서부; 이러한 센서부로부터 받은 정보를 전기적인 정보로 바꾸어 휴대단말기와 통신하는 센서인터페이스로 구성된 외형인터페이스와, 이러한 외형 인터페이스로부터 정보를 입력받을 수 있는 휴대용단말기를 포함하는 것을 특징으로 한다. The information input device according to the present invention comprises a sensor unit for receiving information regarding the movement of the finger or pressure or temperature; It is characterized in that it comprises an external interface consisting of a sensor interface for communicating with the portable terminal by converting the information received from the sensor into electrical information, and a portable terminal capable of receiving information from the external interface.

특히, 센서부와 센서인터페이스로 구성된 외형인터페이스는 휴대용단말기로부터 탈착이 가능한 것을 특징으로 한다. 뿐만 아니라, 외형인터페이스는 음악을 재생시키는 기능을 수행하거나, 디스플레이 기능을 수행하는 휴대용단말기와 통신을 할 때 유선 또는 무선의 방식으로 가능한 것을 특징으로 한다. In particular, the external interface consisting of the sensor unit and the sensor interface is characterized in that the removable from the portable terminal. In addition, the external interface is capable of performing a function of playing music or communicating with a portable terminal performing a display function in a wired or wireless manner.

특히, 센서부에 있는 센서는 압력측정센서 또는 온도측정센서 또는 지문인식센서로 구성되어 있는 것이 바람직하다. 여기서 압력측정센서는 손가락의 수직적인 방향의 힘에 대한 측정이 가능하고, FSR센서 또는 스트레인게이지인 것이 바람직하다. 또한 온도측정센서는 RTD센서 또는 열전대 또는 써미스터인 것이 바람직하다.In particular, the sensor in the sensor unit is preferably composed of a pressure measuring sensor, a temperature measuring sensor or a fingerprint recognition sensor. Here, the pressure sensor can measure the force in the vertical direction of the finger, it is preferable that the FSR sensor or strain gauge. In addition, the temperature measuring sensor is preferably an RTD sensor or a thermocouple or thermistor.

본 발명에서 사용자의 손가락을 통한 휴대용단말기의 입력방법은 휴대용단말기와 외형인터페이스가 ON인 상태에서 사용자의 입력을 대기하는 단계, 사용자의 손가락의 움직임에 따른 정보를 센서부가 수용하는 단계, 센서부에 수용된 정보를 센서인터페이스가 해석하고 휴대용단말기와 통신하는 단계, 이러한 사용자의 입력정보를 휴대용단말기의 화면표시부가 표시하는 단계로 구성되어 있는 것이 바람직 하다.In the present invention, a method of inputting a portable terminal through a user's finger includes waiting for a user's input while the portable terminal and an external interface are turned on, accommodating information according to a user's finger movement, and a sensor unit. The sensor interface preferably interprets the received information and communicates with the portable terminal, and displays the user's input information on the screen display unit of the portable terminal.

특히, 손가락의 움직임에 따른 정보를 센서부가 수용하는 단계는 손가락의 움직임을 감지하는 방식이거나, 사용자의 입력에 대한 버튼 방식인 것이 가능하다. In particular, the step of accommodating the information according to the movement of the finger may be a method of detecting the movement of the finger or a button method for the user's input.

본 발명에 따른 휴대형 단말기용 정보 입력장치를 사용하게 되면 휴대용단말기의 다양한 기능을 정보입력장치의 신호를 휴대용단말기에 맵핑하는 방법에 의해서 이루는 것이 가능하다.When the information input device for a portable terminal according to the present invention is used, various functions of the portable terminal can be achieved by a method of mapping signals of the information input device to the portable terminal.

뿐만 아니라, 너무 작은 크기에서 비롯되는 작동상의 불완전성을 보완하여 사용자의 입력을 직관적으로 인식하여 휴대 단말기를 제어하는 것이 가능하다.In addition, it is possible to control the mobile terminal by intuitively recognizing the user's input by supplementing the operational imperfections resulting from the size too small.

또한 손가락에 의해 눌려지는 압력측정, 손가락의 접촉에 의해 전달되는 온도측정, 지문 정보의 측정 등을 통해 추가적인 확장이 가능하여, 향후 중시되는 감성 인터페이스 또는 보안 기능이 향상된 인터페이스 개발에 중요한 역할을 할 것으로 예상된다. In addition, it is possible to further expand through pressure measurement by finger, temperature measurement by finger contact, fingerprint information measurement, etc., which will play an important role in developing an important emotional interface or an interface with enhanced security functions in the future. It is expected.

이하, 첨부도면을 참조하여 본 발명의 구성과 작용에 대하여 설명하면 다음과 같다.Hereinafter, the configuration and operation of the present invention with reference to the accompanying drawings.

도 1은 본 발명에 따른 외형인터페이스(110)와 휴대용단말기(140)의 작동상태를 보여주는 사용상태도이다. 도 1에서 보여진 바와 같이 손(210)의 누름 또는 회전 동작이 발생하면 이러한 정보는 정보입력장치(100)의 센서부(120)를 통해 센싱이 된다. 이러한 정보는 센서부(120)와 유선(161) 또는 무선(160)으로 연결되어 있고, 휴대용단말기(140)의 액세서리 형태인 센서인터페이스(130)를 통해 입력되고 저장된다. 이러한 센서인터페이스(130)는 사용자의 입력을 받아들이기 위한 마이크로 프로세서(미도시)와 메모리(미도시)로 구성되어 있으며, 이는 사용자의 입력정보에 따라 다양한 정보를 산출하는 역할을 수행한다.1 is a state diagram showing the operating state of the external interface 110 and the portable terminal 140 according to the present invention. As shown in FIG. 1, when a pressing or rotating operation of the hand 210 occurs, this information is sensed through the sensor unit 120 of the information input device 100. The information is connected to the sensor unit 120 by a wired 161 or wireless 160, and is input and stored through the sensor interface 130, which is an accessory form of the portable terminal 140. The sensor interface 130 is composed of a microprocessor (not shown) and a memory (not shown) for receiving a user's input, which calculates various information according to the user's input information.

여기서 휴대용단말기(140)는 정보입력장치(100)의 센서인터페이스(130)를 통해서 유선(161) 또는 무선(160)으로 연결되어 있다. 이러한 구성을 취하게 되면, 사용자로부터 입력된 정보는 유선 또는 무선의 방식으로 휴대용단말기(140)의 화면표시부(150)상에 디스플레이된다.Here, the portable terminal 140 is connected to the wired 161 or the wireless 160 through the sensor interface 130 of the information input device 100. With this configuration, the information input from the user is displayed on the screen display unit 150 of the portable terminal 140 in a wired or wireless manner.

도 2는 본 발명에 따른 외형인터페이스(120)로부터 손가락(210)의 동작에 따라 휴대용단말기(140)이 작용하는 과정을 나타내는 절차도이다. 먼저 사용자가 사용하고자 하는 휴대용단말기(140)의 전원을 ON상태로 바꾸어 주어 입력을 받을 수 있는 단계를 만들어 준다(S10). 이처럼 휴대용단말기(140)이 ON 상태가 되면, 무선 방식의 경우에는 통신이 가능한 범위 내에 외형인터페이스(110)가 위치하여야 하고 유선 방식의 경우에는 외형인터페이스(110)에 전원 장치가 있는가 여부에 따라 ON 또는 OFF의 상태가 된다. 만일 전원 장치가 있다면 ON상태로 만들어 준다. 2 is a flowchart illustrating a process in which the portable terminal 140 operates according to the operation of the finger 210 from the external interface 120 according to the present invention. First, the user changes the power of the portable terminal 140 to be used in the ON state to make a step to receive the input (S10). When the portable terminal 140 is turned on in this way, in the wireless mode, the external interface 110 must be located within a communication range, and in the case of a wired method, the external terminal 110 is ON depending on whether there is a power supply. Or OFF. If there is a power supply, turn it on.

그리고 난 후 사용자는 손가락(210)의 움직임에 따라 센서부(120)는 각기 다른 방식의 반응을 보이게 된다. 만일 이러한 움직임 중 하나가 손가락의 평면내의 이동이라면, 연속된 좌표값(310,330)을 인식하기 위해서는 터치패드 혹은 클릭휠 등의 2차원좌표값을 얻을 수 있는 모듈을 활용할 수 있다. 또한 도 6에 도시된 바와 같이 구분된 영역의 누름을 버튼 형식을 받기 위해서는 여러 기준선(520,530)으 로 나뉜 셀(510,511)위의 눌리는 압력을 구분할 수 있는 압력측정센서(120a) 혹은 멤브레인 스위치가 이러한 압력을 인지하는 대표적인 센서가 될 거이다. 또한 응용프로그램의 목적에 따라 2차원 평면내의 연속값을 인지가능한 터치패드(미도시)와 같은 모듈을 통한 입력을 소프트웨어적으로 구분된 영역을 인지하는 센서처럼 활용할 수 있을 것이다.Then, as the user moves the finger 210, the sensor unit 120 may respond in different ways. If one of the movements is a movement in the plane of the finger, a module capable of obtaining two-dimensional coordinate values such as a touch pad or a click wheel may be used to recognize the continuous coordinate values 310 and 330. In addition, as shown in FIG. 6, in order to receive a button form, the pressure measurement sensor 120a or a membrane switch capable of distinguishing the pressing pressure on the cells 510 and 511 divided into several reference lines 520 and 530 is used to receive the button type. It will be a representative sensor that senses pressure. In addition, depending on the purpose of the application, input through a module such as a touchpad (not shown) capable of recognizing continuous values in a two-dimensional plane may be used as a sensor for recognizing a software-divided area.

하지만 측정하고자 하는 것이 온도라면 이러한 센서는 온도측정센서(120b)가 위치할 수 있다. 혹은 제어하고자 하는 기능이 사용자에 따른 휴대용단말기(140)의 작동가능여부라면 센서 인터페이스 (130)에 위치하는 메모리(미도시)에 기록되어 있는 손가락의 지문과의 일치여부를 확인할 수 있는 지문 인식 센서(120c)일 수 있다.However, if the temperature is to be measured, such a sensor may be located in the temperature measuring sensor (120b). Alternatively, if the function to be controlled is operable of the portable terminal 140 according to the user, a fingerprint recognition sensor for confirming whether or not the fingerprint of the finger recorded in a memory (not shown) located in the sensor interface 130 is matched. 120c.

이러한 각각의 기능은 사용자의 선택에 따라 사전에 모드로 나누어 작동하는 것 역시 가능하다.Each of these functions can also be divided into modes according to the user's choice.

상술한 세가지 방식의 센서가 하나의 외형 인터페이스(110) 내에 구현이 가능하므로 사용자의 손가락(210)의 움직임에 따라 센서부(120)가 사용자의 입력을 수용하게 된다(S20). 이러한 센서부(120)는 본 발명에 따른 외형인터페이스(110)내부의 바깥쪽에 위치하는 것이 일반적이다. 또한 이러한 외형인터페이스(110)는 사용자의 취향에 따라 구형이거나 직육면체의 형태를 띌 수 있다. 이의 구성방법은 이 분야에서 통상의 지식을 가진 자에게 자명한 내용이므로 생략한다. Since the above-described three types of sensors can be implemented in one external interface 110, the sensor unit 120 receives the user's input according to the movement of the user's finger 210 (S20). The sensor unit 120 is generally located outside the inside of the outer interface 110 according to the present invention. In addition, the external interface 110 may take the form of a spherical or cuboid according to the user's taste. Its construction method is omitted because it is obvious to those skilled in the art.

이처럼 센서부(120)에서 인식된 사용자의 입력정보는 센서인터페이스(130)의 메모리에 저장이 된다(S30). 이와 동시에 센서인터페이스(130)는 호스트 장치인 휴 대용단말기(140)와 통신을 시작한다. 이러한 통신이 시작되고 나면, 휴대용단말기(140)의 화면표시부(150)는 적절한 변형을 거쳐 화면표시부(150)에 사용자의 입력정보를 표시하게 된다(S40). 이러한 정보를 사용자가 확인하게 되면 휴대용단말기로의 입력은 종료된다.As such, the user input information recognized by the sensor unit 120 is stored in the memory of the sensor interface 130 (S30). At the same time, the sensor interface 130 starts communication with the portable terminal 140 that is the host device. After the communication is started, the screen display unit 150 of the portable terminal 140 displays the user input information on the screen display unit 150 through appropriate modification (S40). When the user confirms this information, the input to the portable terminal is terminated.

도 3에서는 본 발명에 따른 외형 인터페이스(110)의 외부에 엄지손가락(210)을 대고, 시계방향으로 움직이는 모습을 보여주는 사용상태도이다. 도 3에 도시된 바와 같이 본 발명에 따른 외형인터페이스(110)는 구형의 형태를 이루고 있으므로 xy 좌표안에서의 2차원 맵핑이 가능하다. 즉 사용자의 엄지손가락(210)이 외형인터페이스(110)의 외면에 닿게 되면, 그 지점에 일치하는 좌표(x1,y1)의 정보가 외형인터페이스(110) 내부의 센서인터페이스(130)에 저장된다. 이처럼 저장된 (x1,y1)의 정보는 센서인터페이스(130)와 휴대용단말기(140)에 연결된 방식(160,161)을 통해 휴대용단말기의 화면상의 스크린(150)의 일점에 매칭된다. In FIG. 3, the thumb 210 is placed on the outside of the external interface 110 according to the present invention, and a state diagram showing a state of moving clockwise is shown. As shown in FIG. 3, since the external interface 110 according to the present invention has a spherical shape, two-dimensional mapping in xy coordinates is possible. That is, when the user's thumb 210 touches the outer surface of the external interface 110, information of coordinates (x1, y1) corresponding to the point is stored in the sensor interface 130 inside the external interface 110. The information of the stored (x1, y1) is matched to one point of the screen 150 on the screen of the portable terminal through the methods 160 and 161 connected to the sensor interface 130 and the portable terminal 140.

물론 이 때 사용자는 필요에 따라 축적을 변화시키는 방법을 통해 적은 움직임으로 휴대용단말기(140)안에서 큰 움직임을 유도할 수 있다. Of course, at this time, the user can induce a large movement in the portable terminal 140 with a small movement through a method of changing the accumulation as needed.

도 4는 본 발명에 따른 외형인터페이스(110)의 입력정보를 2차원 정보로 맵핑시키는 상태를 보여주는 설명도이다. 도 4에 도시된 바와 같이 사용자의 현재의 위치(310)는 (x1,y1)에 일치하는 결과를 얻을 수 있지만, 도 3에 도시된 바와 같이 이동시키면(320), 최종적인 좌표는 (x2,y2)이다. 이 때 사용자의 손가락(210)의 움직임은 2차원 평면내에서의 움직임으로의 투영이 가능한 데, 2차원 평면은 x축 (34 0)과 y축(350)을 기준으로 하는 좌표계이다. 4 is an explanatory diagram showing a state in which input information of the external interface 110 is mapped to two-dimensional information according to the present invention. As shown in FIG. 4, the user's current location 310 may obtain a result corresponding to (x1, y1). However, if the user moves to the location as shown in FIG. 3 (320), the final coordinate is (x2, y2). At this time, the movement of the user's finger 210 can be projected to the movement in the two-dimensional plane, the two-dimensional plane is a coordinate system based on the x-axis (34 0) and y-axis (350).

이것은 마치 노트북 컴퓨터의 터치패드와 같은 역할을 한다고 할 수 있다. 하지만 이는 외형인터페이스(110)의 내부에 저장되는 정보일 뿐이고 이것이 휴대용단말기(140)의 어떠한 정보에 일치하는 가의 여부는 사용자의 선택사항이 된다. 이처럼 본 발명에 따른 정보 입력장치(100)는 사용자의 손가락의 움직임에 대한 2차원 정보를 저장하는 기능을 제공한다.It's like a touchpad on a notebook computer. However, this is only information stored in the external interface 110 and whether or not it matches the information of the portable terminal 140 is a user's option. As described above, the information input device 100 according to the present invention provides a function of storing two-dimensional information about a movement of a user's finger.

도 5는 본 발명에 따른 외형인터페이스(110)의 입력을 버튼 방식으로 하는 것에 대한 사용상태도이다. 도 5에 도시된 바와 같이 외형인터페이스(110)의 외면에 일정이상의 압력을 가하게 되면, 이는 컴퓨터의 키패드를 누르는 것과 같은 효과가 나타난다. 즉 키패드의 어떤 버튼을 누르는 것과 같은 효과를 발생시키게 된다. 사용자가 외형인터페이스(110)의 특정부분(510)을 누르게 되면, 8번째 셀(가로(520), 세로(530)의 선으로 구분되어 있는 영역의 표시)을 클릭하게 되면, 외형인터페이스(110)의 내부에 있는 센서인터페이스(130)에서는 8번째 셀이 눌린 것으로 인식하게 된다. 이러한 정보는 호스트 장치인 휴대용단말기(140)로 정보를 송신하게 된다. 이러한 방식은 가로선(520)과 세로선(530)으로 구획되어 있는 임의의 셀에 대해 적용하는 것이 가능하다. 5 is a state diagram used for the input of the external interface 110 according to the present invention as a button method. As shown in FIG. 5, when a certain pressure is applied to the outer surface of the external interface 110, the same effect as pressing a keypad of a computer is produced. This produces the same effect as pressing any button on the keypad. When the user presses a specific part 510 of the external interface 110, when the user clicks on the eighth cell (the display of the area divided by the lines of the horizontal 520 and the vertical 530), the external interface 110 is displayed. In the sensor interface 130 in the interior of the eighth cell is recognized as being pressed. This information is transmitted to the portable terminal 140 that is the host device. This approach can be applied to any cell divided by horizontal lines 520 and vertical lines 530.

도 6은 본 발명에 따른 사용자의 버튼 입력정보를 각각의 셀에 대한 버튼 조작으로 보여주는 설명도이다. 도 6에 도시된 바와 같이 어떤 지점(510)을 누르게 되면, 이러한 정보는 센서인터페이스(130)내에서 셀 8(528)을 누른 것과 같은 상태로 저장이 되게 된다. 이 때 만일 사용자의 손가락(210)이 다른 지점(511)을 누르게 되면, 그 지점에 대한 정보는 셀 2(522)를 누른 것과 같은 상태가 되고, 그에 맞는 정보가 위에 상술한 바와 같은 이치로 센서인터페이스(130)에 저장이 된다. 6 is an explanatory view showing button input information of a user according to the present invention as a button operation for each cell. As shown in FIG. 6, when a certain point 510 is pressed, this information is stored in the same state as pressing the cell 8 528 in the sensor interface 130. At this time, if the user's finger 210 presses another point 511, the information on the point becomes the same as pressing the cell 2 522, and the information corresponding thereto is the same as described above. It is stored at 130.

(( 실시예Example ))

본 발명이 적용가능한 분야로는 여러 가지가 있다. 하지만 본 발명에서는 사용자의 움직임을 인지할 수 있는 기능과 사용자의 누름의 강도를 측정할 수 있는 기능, 사용자의 손가락의 온도를 측정할 수 있는 기능, 사용자의 지문인식을 할 수있는 기능으로 나누어 설명하기로 한다. There are several fields to which the present invention is applicable. However, the present invention is divided into a function for recognizing a user's movement and a function for measuring the intensity of the user's pressing, a function for measuring the temperature of a user's finger, and a function for recognizing a user's fingerprint. Let's do it.

먼저 사용자의 움직임을 측정할 수 있는 기능에 대해서 설명하기로 한다. First, a function of measuring a user's movement will be described.

도 7은 본 발명에 따른 사용자의 입력에 따라 응용프로그램이 제어되는 내용을 보여주는 사용상태도이다. 본 발명에 따른 응용프로그램은 음악재생 장치를 나타내는 프로그램일 수 있다. 도 7에 도시된 바와 같이, 접촉점1(310)에서 접촉점 ( 330)의 방향으로 사용자의 손가락(210)이 이동을 하게 되면 이에 따른 정보는 시계방향으로 제어 대상을 회전시키는 동작으로 응용프로그램에서 기능맵핑이 가능하다 . 따라서 응용프로그램 상에서는 다이얼을 돌리듯 스크롤이 넘어가거나 클릭 휠을 써서 리스트 상의 아이템을 검색하는 등의 조작과 연결시킬 수 있게 되는 것이다.7 is a usage state diagram showing the content of the application is controlled according to the user input according to the present invention. The application program according to the present invention may be a program representing a music player. As shown in FIG. 7, when the user's finger 210 moves in the direction of the contact point 330 at the contact point 1 310, the information corresponding thereto is a function of rotating an object to be controlled in a clockwise direction. Mapping is possible. Therefore, in an application program, you can connect with scrolling like scrolling the dial or using the click wheel to search for items on the list.

만일 응용프로그램이 음악 재생장치라면, 위와 같이 접촉점1(310)에서 접촉점 2 (330)로 이동시키는 동작이 휴대용단말기(140)의 현재를 가리키는 커서(도 7에서는 사각형 모양으로 표시)가 다음 항목으로 스크롤 되는 기능을 보이도록 매핑하는 것이 가능하다. 즉 스크롤바(710)이 이에 맞추어 아래쪽으로 이동하게 된다.If the application is a music player, the operation of moving the contact point 1 310 from the contact point 2 330 to the current point of the portable terminal 140 (represented by a square in FIG. 7) moves to the next item. It is possible to map to show the scrolling function. In other words, the scroll bar 710 moves downward accordingly.

도 8은 도 4에 도시된 손가락(210)의 움직임에 대한 정보가 휴대용단말기 (140)의 화면표시부(150)에 2차원 맵핑이 되는 것을 보여주는 사용상태도이다. 즉 사용자의 손가락이 어떤 지점(810)을 누른 후 다른 지점(811)으로 끌면서 이동하면 이에 맞추어 휴대용단말기(140)의 커서는 어떤 지점(830)에서 다른 지점(831)으로 이동하게 된다. 이는 본 발명에 따른 정보 입력장치를 사용하여 2차원 정보를 맵핑하는 하나의 실시예라고 할 수 있다. 8 is a state diagram showing that information on the movement of the finger 210 shown in FIG. 4 is two-dimensional mapping to the screen display unit 150 of the portable terminal 140. That is, when a user's finger presses a certain point 810 and then drags it to another point 811, the cursor of the portable terminal 140 moves from one point 830 to another point 831. This is an embodiment of mapping two-dimensional information by using the information input device according to the present invention.

도 9는 본 발명에 따른 사용자의 버튼 입력에 따라 음악재생장치가 제어되는 내용을 보여주는 사용상태도이다. 사용자의 손가락(210)이 어떤 지점(510)을 누르면 이에 해당하는 셀은 자기자신의 셀이 눌렸다는 정보를 센서인터페이스(130)로 전송한다. 이러한 버튼 입력에 대응하는 동작은 디지털 정보라고 할 수 있는데, 이러한 디지털 정보에 맞추어 휴대용단말기(140)의 화면표시부(150)는 스크롤바 ( 710)의 동작을 유도하여 다음 곡을 재생하는 기능을 수행할 수 있게 된다. 9 is a state diagram showing the content of the music playback device is controlled according to the user's button input according to the present invention. When the user's finger 210 presses a certain point 510, the corresponding cell transmits the information indicating that the cell of the user is pressed to the sensor interface 130. The operation corresponding to the button input may be referred to as digital information, and the screen display unit 150 of the portable terminal 140 may induce the operation of the scroll bar 710 to play the next song according to the digital information. It becomes possible.

도 10은 본 발명에 따른 압력센서(120a)가 구비되어있는 외형인터페이스 ( 110)에 힘(F)이 작용하는 모습을 보여주는 사용상태도이다. 이러한 압력측정 센서 (120a)에 사용자 손가락(210)의 힘이 작용하게 되면 센서부(120)에서는 손가락(210)의 움직임 또는 누름의 동작을 감지한다. 이를 감지하기 위해서 압력측정센서( 120b)는 일정한 힘 이상이 작용할 때 구동하는 방식과 필요 분해능에 따라 256단계, 1024단계, 혹은 65536단계로 나누는 방식으로 구별할 수 있다. 이렇게 입력된 사용자로부터의 정보는 A/D변환을 하여 휴대용단말기(140)에서 사용하게 된다. 이때 압력을 측정할 수 있는 센서로는 FSR(Force Sensitive Resistor)를 활용할 수 있다. 또는 스트레인 게이지를 사용하는 방법 역시 가능할 것이다. 10 is a state diagram showing a state in which the force (F) acts on the external interface 110 is provided with a pressure sensor 120a according to the present invention. When the force of the user's finger 210 acts on the pressure measuring sensor 120a, the sensor unit 120 detects a movement or a pressing action of the finger 210. In order to detect this, the pressure measuring sensor 120b may be divided into a 256 step, a 1024 step, or a 65536 step according to a driving method and a required resolution when a predetermined force or more is applied. Information input from the user is converted into A / D and used in the mobile terminal 140. At this time, a force sensitive sensor may be used as a sensor capable of measuring pressure. Alternatively, strain gauges may be used.

여기서 필요에 따라 도 7과 같이 사용자의 손가락(210)의 움직임에 따라 2차 원 정보를 활용하는 방식과 도 9와 같이 버튼식으로의 활용이 가능하다.In this case, as shown in FIG. 7, the method of utilizing the secondary information according to the movement of the user's finger 210 and the button type as shown in FIG.

도 11은 본 발명에 따른 온도측정센서(120b)가 구비된 외형인터페이스(110)에 열이 전달되는 모습을 보여주는 사용상태도이다. 사용자의 손가락(210)과 외형 인터페이스 (110)의 온도차에 기인하여 열(Q)이 손가락(210)에서 외형인터페이스 ( 110)로 전달 된다. 이것은 일종의 열전달현상이라고 할 수 있는데, 전달된 열이 외형인터페이스(110)의 내부에 위치한 온도측정센서(120b)에 의해서 측정된다. 이때의 온도측정센서(120b)로는 RTD(Resistance Temperature Detector Sensor) 또는 열전대 또는 온도에 따라 저항이 변하는 써미스터 등을 활용할 수 있다.11 is a state diagram showing a state in which heat is transferred to the external interface 110 with the temperature sensor 120b according to the present invention. Due to the temperature difference between the user's finger 210 and the external interface 110, the heat Q is transferred from the finger 210 to the external interface 110. This is a kind of heat transfer phenomenon, the heat transmitted is measured by the temperature measuring sensor 120b located inside the external interface 110. In this case, the temperature measuring sensor 120b may use a resistance temperature detector sensor (RTD), a thermocouple, or a thermistor whose resistance varies depending on temperature.

도 12는 본 발명에 따른 지문인식센서(120c)가 장착된 외형인터페이스(110)에 손가락(210)의 지문인식과정을 보여주는 사용상태도이다. 이를 위하여 외형인터페이스(110)의 내부에 지문인식센서(120c)가 설치된다. 이러한 지문인식방법은 통상적으로 인텔리전트 빌딩의 출입자 통제시스템으로 사용되는데, 정보보안이 휴대폰의 영역까지 활용되는 현추세에 비추어 구비한 기능에 해당한다. 즉 사용자의 손가락(210)의 지문 정보를 입력하여 놓게 되면 그 특정 지문을 가진 사용자만이 휴대용 단말기(140)를 사용할 수 있으므로 소형크기에서 제한되던 기능이 확장된 경우라고 할 수 있다. 12 is a state diagram showing the fingerprint recognition process of the finger 210 in the external interface 110, the fingerprint recognition sensor 120c is mounted in accordance with the present invention. To this end, the fingerprint recognition sensor 120c is installed inside the external interface 110. Such a fingerprint recognition method is commonly used as an access control system of an intelligent building, which corresponds to a function provided in view of the current trend that information security is utilized to the area of a mobile phone. That is, when the fingerprint information of the user's finger 210 is input and released, only the user with the specific fingerprint can use the portable terminal 140, so that the limited function of the small size can be expanded.

굳이 위와 같은 영역에 한정하지 않더라도 본 발명은 휴대용단말기(140)의 공간적 제약을 넘어서는 부분에 대하여 활용될 수 있음은 분명하다고 할 것이다. Even if it is not limited to the above areas, it will be clear that the present invention can be utilized for a portion beyond the spatial constraints of the portable terminal 140.

도 1은 본 발명에 따른 정보입력장치와 휴대용단말기의 작동상태를 보여주는 사용상태도.1 is a use state showing the operating state of the information input device and the portable terminal according to the present invention.

도 2는 본 발명에 따른 사용자가 입력한 정보가 외형인터페이스를 통해 휴대용 단말에 전달되는 것을 보여주는 절차도. 2 is a procedure showing that information input by a user according to the present invention is transmitted to a portable terminal through an external interface.

도 3은 본 발명에 따른 사용자가 외형인터페이스의 외부에 엄지손가락을 대고 시계방향으로 움직이는 것을 보여주는 사용상태도.Figure 3 is a use state showing that the user moves in a clockwise direction with the thumb on the outside of the appearance interface according to the present invention.

도 4는 본 발명에 따른 외형인터페이스의 정보를 2차원 정보로 맵핑시키는 상태를 보여주는 설명도 4 is an explanatory diagram showing a state of mapping information of an external interface into two-dimensional information according to the present invention;

도 5는 본 발명에 따른 본 발명에 따른 외형인터페이스의 입력을 버튼 방식으로 하는 것에 대한 사용상태도.5 is a state diagram used for the input of the external interface according to the present invention according to the present invention as a button method.

도 6은 본 발명에 따른 사용자의 버튼 입력정보를 각각의 셀에 대한 버튼 조작으로 보여주는 설명도.6 is an explanatory diagram showing button input information of a user according to the present invention as a button operation for each cell;

도 7은 본 발명에 따른 사용자의 입력에 따라 음악재생장치가 제어되는 내용을 보여주는 사용상태도.7 is a use state diagram showing the content of the music playback device is controlled in accordance with the user input according to the present invention.

도 8은 본 발명에 따른 손가락의 움직임에 대한 정보가 휴대용단말기의 화면표시부에 2차원 맵핑이 되는 것을 보여주는 사용상태도.8 is a use state diagram showing that the information on the movement of the finger according to the invention is a two-dimensional mapping on the screen display of the portable terminal.

도 9는 본 발명에 따른 사용자의 버튼 입력에 따라 음악재생장치가 제어되는 내용을 보여주는 사용상태도.9 is a use state diagram showing the content of the music playback device is controlled according to the user's button input according to the present invention.

도 10은 본 발명에 따른 압력센서가 구비되어있는 외형인터페이스에 힘이 작 용하는 모습을 보여주는 사용상태도.Figure 10 is a use state showing a state in which the force acting on the external interface having a pressure sensor according to the present invention.

도 11은 본 발명에 따른 온도센서가 구비되어있는 외형인터페이스에 열이 전달되는 모습을 보여주는 사용상태도.11 is a state diagram showing the appearance of heat transfer to the external interface having a temperature sensor according to the present invention.

도 12는 본 발명에 따른 지문인식센서가 구비되어있는 외형인터페이스에 지문이 인식되는 모습을 보여주는 사용상태도.Figure 12 is a state of use showing a state that the fingerprint is recognized on the external interface is provided with a fingerprint recognition sensor according to the present invention.

<도면의 주요부분에 대한 부호 설명><Description of Signs of Major Parts of Drawings>

110:외형인터페이스,110: external interface,

120:센서부,120: sensor unit,

120a:압력측정센서,120a: pressure measuring sensor,

120b:온도측정센서,120b: temperature measuring sensor,

120c:지문인식센서,120c: fingerprint sensor,

130:센서인터페이스,130: sensor interface,

140:휴대용단말기,140: portable terminal,

150:휴대용단말기의 화면표시부,150: screen display of the portable terminal,

160:무선 연결, 161:유선 연결,160: wireless connection, 161: wired connection,

210:손가락,210: Finger,

310:좌표(x1,y1),310: coordinates (x1, y1),

320:좌표(x2,y2).320: Coordinates (x2, y2).

Claims (8)

휴대단말기용 정보입력장치에 있어서,In the information input device for a mobile terminal, 손가락(210)의 움직임, 압력, 온도 또는 지문에 관한 정보를 입력받을 수 있는 센서부(120); A sensor unit 120 capable of receiving information about a movement, pressure, temperature, or fingerprint of the finger 210; 상기 센서부(120)로부터 받은 정보를 전기적 정보로 바꾸는 센서인터페이스 (130);로 구성된 외형인터페이스(110)와, And a sensor interface 130 for converting the information received from the sensor unit 120 into electrical information. 상기 외형인터페이스(110)로부터 정보를 입력받을 수 있는 휴대용단말기 (140)를 포함하는 것을 특징으로 하는 휴대단말기용 정보입력장치.And a portable terminal (140) capable of receiving information from the external interface (110). 제 1항에 있어서,The method of claim 1, 상기 외형인터페이스(110)는 휴대용단말기(140)로부터 탈착 또는 부착이 가능한 것을 특징으로 하는 휴대단말기용 정보입력장치.The external interface 110 is a portable terminal information input device, characterized in that detachable or attachable from the portable terminal (140). 제 1항에 있어서,The method of claim 1, 상기 외형인터페이스(110)는 휴대용단말기(140)와 유선 또는 무선으로 연결되어 있는 것을 특징으로 하는 휴대단말기용 정보입력장치.The external interface 110 is an information input device for a portable terminal, characterized in that connected to the portable terminal 140 by wire or wireless. 제 1항에 있어서,The method of claim 1, 상기 외형인터페이스(110)내의 센서부(120)는,The sensor unit 120 in the external interface 110, 압력측정센서(120a) 또는 온도측정센서(120b) 또는 지문인식센서(120c)를 포함하는 것을 특징으로 하는 휴대단말기용 정보입력장치.And a pressure measuring sensor (120a) or a temperature measuring sensor (120b) or a fingerprint recognition sensor (120c). 제 4항에 있어서,The method of claim 4, wherein 상기 압력측정센서(120a)는 사용자의 손가락(210)의 수직방향의 힘을 측정할 수 있는 FSR 또는 스트레인게이지로 구성된 것을 특징으로 하는 휴대단말기용 정보입력장치.The pressure measuring sensor (120a) is an information input device for a portable terminal, characterized in that consisting of FSR or strain gauge capable of measuring the force in the vertical direction of the user's finger (210). 제 4항에 있어서, The method of claim 4, wherein 상기 온도측정센서(120b)는 RTD 센서 또는 열전대 또는 써미스터인 것을 특징으로 하는 휴대단말기용 정보입력장치.The temperature measuring sensor (120b) is an information input device for a portable terminal, characterized in that the RTD sensor or thermocouple or thermistor. 휴대용단말기(14)의 정보입력방법에 있어서,In the information input method of the portable terminal 14, (a) 휴대용단말기(140)가 작동상태에 있고, 상기 휴대용단말기(140)와 무선(161) 또는 유선(160)으로 연결되어있는 외형인터페이스(110)가 작동상태에서 사용자의 입력을 대기하는 단계(S10);(a) the portable terminal 140 is in an operating state, and the external interface 110 connected to the portable terminal 140 by wireless 161 or wired 160 is waiting for a user input in an operating state. (S10); (b) 상기 사용자의 입력 신호가 발생하면, 센서부(120)의 압력측정센서(120a), 온도측정센서(120b) 또는 지문인식센서(120c)에서 상기 입력신호를 수용하는 단계(S20);(b) receiving the input signal from a pressure measuring sensor (120a), a temperature measuring sensor (120b) or a fingerprint recognition sensor (120c) of the sensor unit when the input signal of the user is generated (S20); (c) 상기 수용된 입력신호를 센서인터페이스(130)에서 전기적 신호로 변경하 고 휴대용단말기(140)와 통신하는 단계(S30);및(c) converting the received input signal into an electrical signal at the sensor interface 130 and communicating with the portable terminal 140 (S30); and (d) 상기 휴대용단말기(140)에서 상기 전기적 신호를 수신하고, 사용자의 입력정보를 화면표시부(150)에 표시하는 단계(S40)를 포함하는 것을 특징으로 하는 휴대용단말기의 정보입력방법.(d) receiving the electrical signal at the portable terminal 140 and displaying user input information on the screen display unit 150 (S40). 제 7항에 있어서,The method of claim 7, wherein 상기 (b)단계의 상기 사용자의 입력신호가 수용되는 방식은 손가락(210)의 움직임을 감지하는 방식이거나 손가락(210)의 누름에 의한 버튼 방식인 것을 특징으로 하는 휴대용단말기의 정보입력방법.The method of receiving the user's input signal in the step (b) is a method of detecting a movement of the finger 210 or a button method by pressing the finger 210, characterized in that the information input method of the portable terminal.
KR1020070068960A 2007-07-10 2007-07-10 informaition input device for mobile and input method thereof KR100957002B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070068960A KR100957002B1 (en) 2007-07-10 2007-07-10 informaition input device for mobile and input method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070068960A KR100957002B1 (en) 2007-07-10 2007-07-10 informaition input device for mobile and input method thereof

Publications (2)

Publication Number Publication Date
KR20090005704A true KR20090005704A (en) 2009-01-14
KR100957002B1 KR100957002B1 (en) 2010-05-13

Family

ID=40487251

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070068960A KR100957002B1 (en) 2007-07-10 2007-07-10 informaition input device for mobile and input method thereof

Country Status (1)

Country Link
KR (1) KR100957002B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101106212B1 (en) * 2010-07-12 2012-01-25 한국과학기술원 Input method and device for user terminal having touch screen, recording medium for the same and user terminal comprising the same
KR20190122460A (en) * 2018-04-20 2019-10-30 주식회사 유니온커뮤니티 Mobile Fingerprint Input Apparatus, Entrance Control System Comprising the Fingerprint Input Apparatus and Control Method thereof
KR20220161242A (en) * 2015-02-03 2022-12-06 박홍철 A smart remote control method that implements user authentication services to provide various Internet personalization services, including advertisements

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10222291A (en) * 1997-02-05 1998-08-21 Furaito Plan:Kk Position input device
CN100555878C (en) * 2001-09-20 2009-10-28 蒂莫西·B·希金斯 Multipurpose key pack
KR20060068898A (en) * 2004-12-17 2006-06-21 주식회사 팬택 Mobile phone with temperature sensor module

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101106212B1 (en) * 2010-07-12 2012-01-25 한국과학기술원 Input method and device for user terminal having touch screen, recording medium for the same and user terminal comprising the same
KR20220161242A (en) * 2015-02-03 2022-12-06 박홍철 A smart remote control method that implements user authentication services to provide various Internet personalization services, including advertisements
KR20220165217A (en) * 2015-02-03 2022-12-14 박홍철 Smart remote control system that provides Internet advertisement authentication services in IOT and CLOUD network environments
KR20220166217A (en) * 2015-02-03 2022-12-16 박홍철 The method of How to set up a DATA transmission path to provide various Internet services including advertising in a cloud network environment
KR20230026365A (en) * 2015-02-03 2023-02-24 박홍철 Data provision system for Internet service transmission in a CLOUD network environment
KR20230028328A (en) * 2015-02-03 2023-02-28 박홍철 Flexible Address method data delivery system for Internet service transmission in a CLOUD network environment
KR20230033010A (en) * 2015-02-03 2023-03-07 박홍철 Fixed Address data provision system for Internet service transmission in a CLOUD network environment
KR20190122460A (en) * 2018-04-20 2019-10-30 주식회사 유니온커뮤니티 Mobile Fingerprint Input Apparatus, Entrance Control System Comprising the Fingerprint Input Apparatus and Control Method thereof

Also Published As

Publication number Publication date
KR100957002B1 (en) 2010-05-13

Similar Documents

Publication Publication Date Title
US20230359340A1 (en) Omnidirectional gesture detection
US10032592B2 (en) Force sensing switch
JP4900824B2 (en) Input display device
US8416198B2 (en) Multi-dimensional scroll wheel
CN101727238B (en) Information display apparatus, mobile information unit, display control method and display control program
US20080309621A1 (en) Proximity based stylus and display screen, and device incorporating same
US20090229892A1 (en) Switchable sensor configurations
KR20140060818A (en) Remote controller and display apparatus, control method thereof
CN102750811B (en) Misoperation-preventing remote control component, intelligent system and method
EP2335142A2 (en) Curved surface input device with normalized capacitive sensing
KR101679379B1 (en) Method and device for force sensing gesture recognition
JP2007505413A (en) Tethered stylus for use with capacitive sensing touchpad
US11216089B2 (en) Electronic device and method for mapping function to button input
US20140195989A1 (en) Input device, display device and method of controlling thereof
JP5664240B2 (en) Information input system, information input method, information input program
KR100957002B1 (en) informaition input device for mobile and input method thereof
CN100374998C (en) Touch control type information input device and method
KR101332708B1 (en) Mobile terminal and case with rear side auxiliary touch input device
US7356769B2 (en) Method and apparatus for providing inputs to a communication or computing device
KR20100009023A (en) Apparatus and method for recognizing movement
KR20080024381A (en) Keyboard including mouse function and key input method using the same
KR101545702B1 (en) Portable terminal for operating based sensed data and method for operating portable terminal based sensed data
KR20080006780A (en) Method of implementing funtion of wireless mouse and the mobile communication terminal therefor
TWI460647B (en) Method for multi-selection for an electronic device and the software thereof
KR20090046455A (en) Pen-type input device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E90F Notification of reason for final refusal
AMND Amendment
AMND Amendment
E601 Decision to refuse application
E801 Decision on dismissal of amendment
J201 Request for trial against refusal decision
AMND Amendment
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130429

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20140422

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee