KR101155544B1 - Apparatus and method for displaying keyboard - Google Patents

Apparatus and method for displaying keyboard Download PDF

Info

Publication number
KR101155544B1
KR101155544B1 KR1020110089037A KR20110089037A KR101155544B1 KR 101155544 B1 KR101155544 B1 KR 101155544B1 KR 1020110089037 A KR1020110089037 A KR 1020110089037A KR 20110089037 A KR20110089037 A KR 20110089037A KR 101155544 B1 KR101155544 B1 KR 101155544B1
Authority
KR
South Korea
Prior art keywords
key
touch input
enlarged
display
target key
Prior art date
Application number
KR1020110089037A
Other languages
Korean (ko)
Inventor
김형수
Original Assignee
김형수
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김형수 filed Critical 김형수
Priority to KR1020110089037A priority Critical patent/KR101155544B1/en
Application granted granted Critical
Publication of KR101155544B1 publication Critical patent/KR101155544B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04805—Virtual magnifying lens, i.e. window or frame movable on top of displayed information to enlarge it for better reading or selection

Abstract

PURPOSE: An apparatus and a method for displaying a keyboard are provided to improve the convenience of key input in a touch type multimedia device. CONSTITUTION: A sensing unit(10) detects the touch input of a pointer. A coordinate determination unit(20) determines the coordinate of a location corresponding to the touch input. A controller(30) determines an expansion target key about the determined touch input coordinates. A display unit(40) enlarges and overlays a key to be enlarged. A storage unit(50) stores a spot in which areas divided around keys meet each other.

Description

키보드 표시장치 및 방법{APPARATUS AND METHOD FOR DISPLAYING KEYBOARD}Keyboard display and method {APPARATUS AND METHOD FOR DISPLAYING KEYBOARD}

본 발명은 키보드 표시장치 및 방법에 관한 것으로서, 보다 상세하게는 터치방식의 멀티미디어 기기에서 사용하기 위한 키보드 표시장치 및 방법에 관한 것이다.
The present invention relates to a keyboard display device and method, and more particularly, to a keyboard display device and method for use in a touch-type multimedia device.

일반적으로, 터치방식의 멀티미디어 기기의 자판은, 화면상의 키보드 모양의 키에 해당하는 부분을 터치하여 키를 입력하는 방식을 사용하고 있다. 이와 같은 방식은 멀티미디어 기기의 특성상 비교적 작은 크기의 자판을 사용하기 때문에 손가락이 터치되는 부분의 경계가 불명확하여 오타가 발생할 확률이 증가한다.In general, a keyboard of a touch type multimedia device uses a method of inputting a key by touching a portion corresponding to a key of a keyboard shape on a screen. Since this method uses a keyboard having a relatively small size due to the characteristics of the multimedia device, the probability of a typo is increased because the boundary of the portion where the finger is touched is unclear.

이와 같은 문제점을 해결하기 위하여, 터치 기반의 멀티미디어 기기의 자판 입력시에 사용자의 손가락이 근접한 위치에 있는 복수의 키를 확대하여 표시하는 멀티미디어 기기의 자판 표시 장치 및 방법이, 공개특허 제2011-76771호에 개시되어 있다.In order to solve such a problem, a keyboard display apparatus and method of a multimedia device for enlarging and displaying a plurality of keys in which a user's finger is located at the time of keyboard input of a touch-based multimedia device are disclosed. It is disclosed in the call.

그러나, 위와 같은 종래기술은, 사용자가 일단 사용하고자 하는 키에 근접하면, 해당 좌표에서 인접한 복수의 키를 모두 사용자에게 표시하여, 사용자가 의도하지 않은 키까지 확대되므로, 사용자는 일단 사용하고자 하는 키에 근접한 경우에도, 또 다시 사용할 키를 선택하여야 하므로, 사용자의 불편함을 초래하게 되는 문제점이 있다.
However, in the prior art as described above, when the user is close to a key to be used, all of a plurality of adjacent keys at the corresponding coordinates are displayed to the user, so that the user is enlarged to a key not intended by the user. In the case of close to, since the key to be used again must be selected, there is a problem that causes inconvenience to the user.

본 발명은 상기한 바와 같은 문제점을 해결하기 위하여 제안된 것으로, 사용자가 키보드에서 터치하고자 하는 키의 인접영역을 터치한 경우, 해당 키를 확대하여 사용자에게 표시하기 위한, 키보드 표시장치 및 방법을 제공하는데 그 목적이 있다.
The present invention has been proposed to solve the above problems, and when the user touches an adjacent region of a key to be touched on the keyboard, the present invention provides a keyboard display apparatus and method for enlarging the corresponding key and displaying the same to the user. Its purpose is to.

상기와 같은 목적을 달성하기 위해, 디스플레이부를 구비하는 멀티미디어 기기에서, 본 발명의 키보드 표시장치는, 포인터의 터치입력을 검출하는 센싱부; 상기 터치입력에 해당하는 위치의 좌표를 결정하는 좌표결정부; 상기 좌표결정부가 결정한 상기 터치입력의 좌표에 대하여, 확대할 대상 키를 결정하는 제어부; 및 상기 제어부가 결정한 확대할 대상 키를 확대 및 오버레이하여 상기 디스플레이부에 표시하는 표시부를 포함한다.In order to achieve the above object, in a multimedia device having a display unit, the keyboard display device of the present invention, the sensing unit for detecting a touch input of the pointer; A coordinate determination unit determining coordinates of a position corresponding to the touch input; A controller configured to determine a target key to be enlarged with respect to the coordinates of the touch input determined by the coordinate determiner; And a display unit which enlarges and overlays the target key to be enlarged determined by the controller to display on the display unit.

본 발명의 일실시예에서, 상기 디스플레이부에서 상기 키보드가 표시되는 영역의 사이를 동일한 간격으로 구획한 부분이 만나는 지점의 좌표를 저장하는 저장부를 더 포함하는 것이 바람직하다.In one embodiment of the present invention, it is preferable that the display unit further includes a storage unit for storing the coordinates of the point where the partitioned portion between the area where the keyboard is displayed at equal intervals.

본 발명의 일실시예에서, 상기 제어부는, 상기 저장부가 저장하는 좌표를 참조로 상기 좌표결정부가 결정한 터치입력의 좌표에 대하여, 확대할 대상 키를 결정하는 것이 바람직하다.In one embodiment of the present invention, it is preferable that the controller determines a target key to be enlarged with respect to the coordinates of the touch input determined by the coordinate determination unit with reference to the coordinates stored by the storage unit.

본 발명의 일실시예에서, 상기 제어부는, 상기 터치입력이 단일 키에 걸쳐 이루어진 경우에는, 해당 키를 확대할 대상 키로 결정하는 것이 바람직하다.In one embodiment of the present invention, when the touch input is made over a single key, it is preferable that the controller determines the target key to be enlarged.

본 발명의 일실시예에서, 상기 제어부는, 상기 터치입력이 복수의 키에 걸쳐 이루어진 경우에는, 상기 터치입력의 면적이 넓은 부분에 해당하는 키를 확대할 대상 키로 결정하는 것이 바람직하다.In one embodiment of the present invention, when the touch input is made over a plurality of keys, it is preferable that the controller determines a target key to enlarge a key corresponding to a large portion of the touch input.

본 발명의 일실시예에서, 상기 제어부는, 상기 터치입력이 복수의 키에 걸쳐 이루어지고, 상기 터치입력의 면적이 복수의 키에 걸쳐 실질적으로 동일한 경우에는, 상기 터치입력이 먼저 이루어진 부분에 해당하는 키를 확대할 대상 키로 결정하는 것이 바람직하다.
In one embodiment of the present invention, if the touch input is made over a plurality of keys and the area of the touch input is substantially the same over a plurality of keys, the controller corresponds to a portion where the touch input is made first. It is preferable to determine the key to be enlarged as a target key to be enlarged.

또한, 상기와 같은 목적을 달성하기 위해, 디스플레이부를 구비하는 멀티미디어 기기에서의 본 발명의 키보드 표시방법은, 터치입력을 검출하여, 상기 디스플레이부에서 상기 키보드가 표시되는 영역의 사이를 동일한 간격으로 구획한 부분이 만나는 지점의 좌표를 참조로, 상기 터치입력에 해당하는 위치의 좌표를 결정하는 단계; 상기 터치입력의 좌표에 대하여, 확대할 대상 키를 결정하는 단계; 및 확대할 대상 키를 확대 및 오버레이하여 상기 디스플레이부에 표시하는 단계를 포함한다.In addition, in order to achieve the above object, the keyboard display method of the present invention in a multimedia device having a display unit, by detecting a touch input, partitioning the area in which the keyboard is displayed on the display unit at equal intervals Determining coordinates of a position corresponding to the touch input with reference to the coordinates of a point where one portion meets; Determining a target key to be enlarged with respect to the coordinates of the touch input; And enlarging and overlaying a target key to be enlarged and displaying the displayed key on the display unit.

본 발명의 일실시예에서, 상기 확대할 대상 키를 결정하는 단계는, 상기 터치입력이 단일 키에 걸쳐 이루어진 경우에는, 해당 키를 확대할 대상 키로 결정하는 것이 바람직하다.In an embodiment of the present disclosure, the determining of the target key to be enlarged may include determining the target key to be enlarged when the touch input is made over a single key.

본 발명의 일실시예에서, 상기 확대할 대상 키를 결정하는 단계는, 상기 터치입력이 복수의 키에 걸쳐 이루어진 경우에는, 상기 터치입력의 면적이 넓은 부분에 해당하는 키를 확대할 대상 키로 결정하는 것이 바람직하다.In an embodiment of the present disclosure, the determining of the target key to be enlarged may include determining, as the target key to be enlarged, a key corresponding to a portion having a large area of the touch input when the touch input is made over a plurality of keys. It is desirable to.

본 발명의 일실시예에서, 상기 확대할 대상 키를 결정하는 단계는, 상기 터치입력이 복수의 키에 걸쳐 이루어지고, 상기 터치입력의 면적이 복수의 키에 걸쳐 실질적으로 동일한 경우에는, 상기 터치입력이 먼저 이루어진 부분에 해당하는 키를 확대할 대상 키로 결정하는 것이 바람직하다.
In an embodiment of the present disclosure, the determining of the target key to be enlarged may include: when the touch input is made over a plurality of keys, and the area of the touch input is substantially the same over a plurality of keys, the touch. It is preferable to determine the key corresponding to the portion where the input is made first as the target key to be enlarged.

상기와 같은 본 발명은, 사용자가 터치입력에 오류를 범할 확률을 줄여, 터치방식의 멀티미디어 기기의 키입력에 편의를 도모하도록 하는 효과가 있다.
The present invention as described above has the effect of reducing the probability of a user making an error in the touch input to facilitate the key input of the touch-type multimedia device.

도 1은 본 발명이 적용되는 터치방식의 멀티미디어 기기의 일예시도이다.
도 2는 도 1의 디스플레이부에 일반적인 키보드가 표시되는 것을 설명하기 위한 일예시도이다.
도 3a 및 도 3b는 본 발명에 따른 키보드 표시를 설명하기 위한 일예시도이다.
도 4는 본 발명에 따른 키보드 표시장치의 일실시예 구성도이다.
도 5a 내지 도 5d는 도 4의 좌표결정부와 제어부의 동작을 설명하기 위한 일예시도이다.
도 6은 본 발명에 따른 키보드 표시방법을 설명하기 위한 일실시예 흐름도이다.
도 7은 도 6의 S63의 일실시예 상세 흐름도이다.1 is an exemplary view of a touch type multimedia device to which the present invention is applied.
FIG. 2 is an exemplary view for explaining that a general keyboard is displayed on the display unit of FIG. 1.
3A and 3B are exemplary views for explaining a keyboard display according to the present invention.
4 is a configuration diagram of an embodiment of a keyboard display device according to the present invention.
5A through 5D are exemplary views for explaining the operation of the coordinate determination unit and the control unit of FIG. 4.
6 is a flowchart illustrating an embodiment of a keyboard display method according to the present invention.
7 is a detailed flowchart of an embodiment of S63 of FIG. 6.

어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나, 또는 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 '직접 연결되어' 있다거나, '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.When a component is said to be 'connected' or 'connected' to another component, it may be directly connected to or connected to that other component, but other components may be present in between. It should be understood that. On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, '포함한다' 또는 '가지다' 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. The terminology used herein is for the purpose of describing particular example embodiments only and is not intended to be limiting of the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, the terms "comprises", "having", and the like are used to specify that a feature, a number, a step, an operation, an element, a component, or a combination thereof, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다. Hereinafter, a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명이 적용되는 터치방식의 멀티미디어 기기의 일예시도로서, 예를 들어 스마트폰을 도시하였으나, 이에 한정되는 것은 아니고, 휴대폰, 노트북 컴퓨터(laptop computer), 타블렛 컴퓨터(tablet computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션 등의 이동형 단말과, 디지털 TV, 데스크탑 컴퓨터 등 고정형 단말을 포함하는 개념이다.1 illustrates an example of a touch-type multimedia device to which the present invention is applied. For example, a smartphone is illustrated, but is not limited thereto, and a mobile phone, a laptop computer, a tablet computer, The concept includes a mobile terminal such as a digital broadcasting terminal, a personal digital assistant (PDA), a portable multimedia player (PMP), a navigation device, and a fixed terminal such as a digital TV or a desktop computer.

도면에 도시된 바와 같이, 본 발명이 적용되는 멀티미디어 기기(100)는, 디스플레이부(110)를 구비하여 본 발명에 의해 키보드를 디스플레이한다. 바람직하게는, 디스플레이부(110)는 액정 디스플레이(liquid crystal display; LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display; TFT LCD), 유기 발광 다이오드(organic light-emitting diode; OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중 어느 하나이다.As shown in the figure, the multimedia apparatus 100 to which the present invention is applied includes a display unit 110 to display a keyboard according to the present invention. Preferably, the display 110 includes a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), It is either a flexible display or a 3D display.

디스플레이부(110)는 터치동작을 감지하는 센서(이하, '터치센서'라 함)(도시되지 않음)와 상호 레이어 구조를 이루어(이하, '터치스크린'이라 함), 입력장치로도 사용된다. 터치센서는, 예를 들어, 터치필름, 터치시트, 터치패드 등의 형태일 수 있다. The display 110 has a mutual layer structure with a sensor (hereinafter, referred to as a “touch sensor”) (not shown) that detects a touch operation (hereinafter referred to as a “touch screen”), and is also used as an input device. . The touch sensor may be, for example, in the form of a touch film, a touch sheet, a touch pad, or the like.

터치센서(도시되지 않음)는 디스플레이부(110)의 특정 부위에 가해진 압력 또는 디스플레이부(110)의 특정 부위에 발생하는 정전용량 등의 변화를 전기적인 입력신호로 변환하도록 구성된다. 터치센서는 터치 되는 위치 및 면적뿐만 아니라, 터치 시의 압력까지도 검출하도록 구성될 수 있다.The touch sensor (not shown) is configured to convert a change in pressure applied to a specific portion of the display 110 or capacitance generated at a specific portion of the display 110 into an electrical input signal. The touch sensor may be configured to detect not only the position and area of the touch but also the pressure at the touch.

터치센서에 대한 터치입력이 있는 경우, 그에 대응하는 신호는 후술하는 좌표결정부로 전송되고, 좌표결정부는 디스플레이부(110)의 어느 영역에서 터치입력이 있었는지 등을 확인한다.When there is a touch input to the touch sensor, a signal corresponding thereto is transmitted to a coordinate determination unit to be described later, and the coordinate determination unit checks in which area of the display unit 110 there is a touch input.

한편, 본 발명이 적용되는 멀티미디어 기기(100)는 그 내부에 근접센서(도시되지 않음)가 배치될 수 있다. 근접센서는 소정의 검출면에 접근하는 물체, 혹은 근방에 존재하는 물체의 유무를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출하는 센서를 말한다. Meanwhile, in the multimedia apparatus 100 to which the present invention is applied, a proximity sensor (not shown) may be disposed therein. The proximity sensor refers to a sensor that detects the presence or absence of an object approaching a predetermined detection surface or an object present in the vicinity without using mechanical force by using electromagnetic force or infrared rays.

이러한 근접센서의 예로는 투과형 광전센서, 직접반사형 광전센서, 미러반사형 광전센서, 고주파 발진형 근접센서, 정전용량형 근접센서, 자기형 근접센서, 적외선 근접센서 등이 있다. Examples of the proximity sensor include a transmission photoelectric sensor, a direct reflection photoelectric sensor, a mirror reflection photoelectric sensor, a high frequency oscillation proximity sensor, a capacitive proximity sensor, a magnetic proximity sensor, and an infrared proximity sensor.

디스플레이부(110)가 정전식인 경우에는 포인터(예를 들어, 손가락)의 근접에 따른 전계의 변화로 포인터의 근접을 검출하도록 구성된다. When the display 110 is capacitive, the display 110 is configured to detect the proximity of the pointer by the change of the electric field according to the proximity of the pointer (for example, the finger).

이하에서는 설명의 편의를 위해, 디스플레이부(110)에 포인터가 접촉되지 않으면서 근접되어 포인터가 디스플레이부(110) 상에 위치함이 인식되도록 하는 행위를 '근접터치(proximity touch)'라 하고, 디스플레이부(110) 상에 포인터가 실제로 접촉되는 행위를 '접촉터치(contact touch)'라 한다. Hereinafter, for convenience of explanation, the act of allowing the display unit 110 to be approached without being touched to recognize that the pointer is located on the display unit 110 is referred to as 'proximity touch'. The act of actually contacting the pointer on the display 110 is referred to as 'contact touch'.

디스플레이부(110) 상에서 포인터로 근접터치가 되는 위치라 함은, 포인터가 근접터치될 때, 포인터가 디스플레이부(110)에 대해 수직으로 대응되는 위치를 의미하는 것이다.
The position of the proximity touch with the pointer on the display 110 refers to a position where the pointer is perpendicular to the display 110 when the pointer is in proximity.

도 2는 도 1의 디스플레이부에 일반적인 키보드가 표시되는 것을 설명하기 위한 일예시도이다.FIG. 2 is an exemplary view for explaining that a general keyboard is displayed on the display unit of FIG. 1.

일반적으로, 사용자는 디스플레이부(110)에 표시되는 키보드(120)를 터치하여, 원하는 문자를 입력하는 것이 가능하다. In general, a user may input a desired character by touching the keyboard 120 displayed on the display 110.

도 2와 같은 일반적인 터치방식의 멀티미디어 기기(100)의 경우에, 디스플레이부(110)에서 표시되는 키보드를 사용자가 터치하더라도 그 표시에 있어서 별다른 변화가 발생하지 않는다. In the case of the general touch type multimedia device 100 as shown in FIG. 2, even if the user touches the keyboard displayed on the display 110, no change in the display occurs.

그러나, 본 발명에 따른 키보드 표시에 의하면, 사용자가 키보드의 키를 직접터치 또는 근접터치하는 경우, 사용자가 입력하고자 하는 키를 확대하여 표시한다. 이를 도면을 참조로 설명하자.However, according to the keyboard display according to the present invention, when the user directly touches or touches a key of the keyboard, the key to be input by the user is enlarged and displayed. Let this be described with reference to the drawings.

도 3a 및 도 3b는 본 발명에 따른 키보드 표시를 설명하기 위한 일예시도이다.3A and 3B are exemplary views for explaining a keyboard display according to the present invention.

도 3a에 도시된 바와 같이, 사용자가 본 발명에 따라 표시되는 키보드의 소정 키(본 발명의 설명에서는 'J'키)를 직접터치 또는 근접터치하면, 해당 'J'를 도 3b와 같이 확대 및 오버레이(overlay)하여 표시하여, 사용자가 확대된 키를 터치하여 키입력함으로써, 에러없이 원하는 키입력이 가능하게 된다.
As shown in FIG. 3A, when the user directly touches or touches a predetermined key ('J' key in the description of the present invention) of the keyboard displayed according to the present invention, the 'J' is enlarged and enlarged as shown in FIG. 3B. By overlaying and displaying, the user touches the enlarged key and inputs the key, thereby enabling desired key input without error.

도 4는 본 발명에 따른 키보드 표시장치의 일실시예 구성도로서, 도 1의 멀티미디어 기기(100)의 내부에 구비되는 것이다.FIG. 4 is a diagram illustrating an embodiment of a keyboard display device according to the present invention, which is provided in the multimedia apparatus 100 of FIG. 1.

도면에 도시된 바와 같이, 본 발명의 키보드 표시장치는, 센싱부(10), 좌표결정부(20), 제어부(30), 표시부(40) 및 저장부(50)를 포함한다.As shown in the drawing, the keyboard display device of the present invention includes a sensing unit 10, a coordinate determination unit 20, a control unit 30, a display unit 40, and a storage unit 50.

센싱부(10)는, 사용자가 포인터(예를 들어, 손가락)로 멀티미디어 기기(100)의 디스플레이부(110)를 직접터치 또는 근접터치의 입력이 있는 경우, 이를 검출한다. 센싱부(10)는 바람직하게는, 위에서 설명한 터치센서 또는 근접센서이다. The sensing unit 10 detects a user's input of a direct touch or a proximity touch on the display 110 of the multimedia apparatus 100 with a pointer (for example, a finger). The sensing unit 10 is preferably a touch sensor or a proximity sensor described above.

터치센서는 포인터에 의해 특정 부위에 가해진 압력 또는 디스플레이부(110)의 특정 부위에 발생하는 정전용량 등의 변화를 전기적인 입력신호로 변환하며, 근접센서는 디스플레이부(110)에 접근하는 포인터를 전자계의 힘 또는 적외선을 이용하여 기계적 접촉이 없이 검출한다.The touch sensor converts a change in pressure applied to a specific portion by a pointer or capacitance generated at a specific portion of the display unit 110 into an electrical input signal, and the proximity sensor converts a pointer approaching the display unit 110. Detects without mechanical contact using the force of the electromagnetic field or infrared light.

좌표결정부(20)는 센싱부(10)가 감지한, 터치입력에 해당하는 위치의 좌표를 결정한다. 일반적으로, 터치방식의 멀티미디어 기기(100)의 디스플레이부(110)의 좌표결정에 대해서는, 이미 본 발명이 속하는 기술분야에서 널리 알려진 바와 같으므로, 그 상세한 설명은 생략하기로 한다.The coordinate determiner 20 determines coordinates of a position corresponding to the touch input sensed by the sensing unit 10. In general, the coordinate determination of the display unit 110 of the touch-type multimedia device 100 is already well known in the art to which the present invention pertains, and a detailed description thereof will be omitted.

제어부(30)는, 좌표결정부(20)가 결정한, 터치입력의 좌표를 확인하여, 확대할 대상 키보드의 키를 결정하고, 표시부(40)가 해당 키를 확대하도록 제어한다. The controller 30 checks the coordinates of the touch input determined by the coordinate determination unit 20, determines a key of the target keyboard to be enlarged, and controls the display unit 40 to enlarge the corresponding key.

표시부(40)는 제어부(30)의 제어에 따라, 확대할 대상 키보드의 키를 확대 및 오버레이하여 디스플레이부(110)에 표시한다.
Under the control of the controller 30, the display unit 40 enlarges and overlays the keys of the target keyboard to be enlarged and displays them on the display unit 110.

좌표결정부(20)와 제어부(30)의 동작을 도 5를 참조로 설명하자.The operation of the coordinate determination unit 20 and the control unit 30 will be described with reference to FIG. 5.

도 5a 내지 도 5d는 도 4의 좌표결정부와 제어부의 동작을 설명하기 위한 일예시도로서, 도 3의 키보드를 확대하여 표시한 것이다.5A through 5D are diagrams illustrating examples of operations of the coordinate determiner and the controller of FIG. 4, in which the keyboard of FIG. 3 is enlarged and displayed.

도 5a에 도시된 바와 같이, 본 발명의 제어부(30)는 디스플레이부(110)에서 키보드의 키가 표시되는 영역의 사이를 동일한 간격으로 구획하고, 각 구획이 만나는 지점(a~h)의 좌표를 미리 저장하여 둔다. 이를 위하여, 본 발명의 표시장치는 각 구획이 만나는 지점의 좌표를 저장하는 저장부(50)를 구비한다. As shown in FIG. 5A, the control unit 30 divides the regions in which the keys of the keyboard are displayed on the display unit 110 at equal intervals, and coordinates of the points a to h where the sections meet. Save it in advance. To this end, the display device of the present invention includes a storage unit 50 for storing the coordinates of the point where each section meets.

즉, 저장부(50)는 제어부(30)의 키결정시, 키보드의 키가 표시되는 영역의 사이를 동일한 간격으로 구획한 부분이 만나는 지점의 좌표를 저장한다.That is, the storage unit 50 stores the coordinates of the points where the partitioned portions meet at equal intervals between the areas where the keys of the keyboard are displayed when the controller 30 determines the key.

도 5b에 도시된 바와 같이, 사용자가 포인터(예를 들어, 손가락)를 이용하여 'J'키에 터치입력(51)을 하면, 좌표결정부(20)는 해당 좌표를 결정한다. 좌표결정부(20)의 좌표결정에 대해서는, 이미 널리 알려져 있음은 위에서 설명한 바와 같다.As illustrated in FIG. 5B, when a user applies a touch input 51 to the 'J' key using a pointer (for example, a finger), the coordinate determination unit 20 determines the corresponding coordinate. Coordinate determination of the coordinate determination unit 20 has already been widely known as described above.

제어부(30)는 저장부(50)에 저장된 좌표를 참조로, 터치입력(51)의 좌표를 확인하여, 확대할 대상 키보드의 키를 결정한다. 도 5b에서는 해당 키를 'J'로 결정하고, 도 3b와 같이 확대하여 표시하도록 표시부(40)를 제어한다.The controller 30 determines the keys of the target keyboard to be enlarged by checking the coordinates of the touch input 51 with reference to the coordinates stored in the storage 50. In FIG. 5B, the corresponding key is determined as 'J', and the display unit 40 is controlled to enlarge and display as shown in FIG. 3B.

도 5c는 터치입력이 있는 키가 중복되는 경우를 설명하기 위한 것이다.5C illustrates a case where keys with touch inputs overlap.

도 5c에 도시된 바와 같이 사용자가 포인터(예를 들어, 손가락)를 이용하여 'J'키와 'H'키 사이에 터치입력(52)을 하면, 좌표결정부(20)는 해당 좌표를 결정한다. As illustrated in FIG. 5C, when the user makes a touch input 52 between the 'J' key and the 'H' key by using a pointer (for example, a finger), the coordinate determination unit 20 determines the corresponding coordinate. do.

제어부(30)는 저장부(50)에 저장된 좌표를 참조로, 터치입력(52)의 좌표를 확인하는데, 이때, 확대할 대상 키보드의 키가 복수인 경우에는, 터치입력(52)된 면적이 가장 넓은 키('J'키)를 확대할 대상 키보드의 키로 결정한다. The controller 30 checks the coordinates of the touch input 52 with reference to the coordinates stored in the storage 50. In this case, when there are a plurality of keys of the target keyboard to be enlarged, the area of the touch input 52 is The widest key ('J') is determined by the key on the target keyboard to be enlarged.

도 5d는 터치입력이 있는 키가 중복되고, 터치입력된 면적이 실질적으로 동일한 경우를 설명하기 위한 것이다.FIG. 5D illustrates a case in which keys with touch inputs overlap and the touch input areas are substantially the same.

도 5d에 도시된 바와 같이, 사용자가 포인터(예를 들어, 손가락)를 이용하여 'J'키와 'H'키의 사이에 터치입력(53)을 하면, 좌표결정부(20)는 해당 좌표를 결정한다. As shown in FIG. 5D, when the user makes a touch input 53 between the 'J' key and the 'H' key by using a pointer (for example, a finger), the coordinate determination unit 20 may determine a corresponding coordinate. Determine.

제어부(30)는 저장부(50)에 저장된 좌표를 참조로, 터치입력(53)의 좌표를 확인하는데, 이때, 확대할 대상 키보드의 키가 복수인 경우에는, 터치입력(53)된 면적이 가장 넓은 키를 확대할 대상 키보드의 키로 결정하며(도 5c의 경우), 도 5d와 같이 면적이 실질적으로 동일한 경우에는, 어느 부분이 먼저 터치입력되었는지를 확인하여, 해당 키를 확대할 대상 키보드의 키로 결정한다. The controller 30 checks the coordinates of the touch input 53 with reference to the coordinates stored in the storage 50. In this case, when there are a plurality of keys of the target keyboard to be enlarged, the area of the touch input 53 is If the area is substantially the same as shown in FIG. 5D, and the area of the target keyboard to be enlarged is determined as the key of the target keyboard to be enlarged (FIG. Determined by the key.

포인터로 사용하는 사용자의 손가락에 의해 터치입력되는 면적은, 디스플레이부(110)에 표시되는 키보드(120)의 키 사이의 간격보다는 실질적으로 크므로, 동시에 두개의 키를 실질적으로 동일한 면적으로 터치입력하는 것은 매우 드문 일이므로, 위와 같은 제어부(30)의 결정에 의해 확대할 키를 결정하여도 무방할 것이다.
Since the area touched by the user's finger used as the pointer is substantially larger than the distance between the keys of the keyboard 120 displayed on the display 110, the two keys are simultaneously touched with substantially the same area. Since it is very rare, the key to be enlarged may be determined by the determination of the control unit 30 as described above.

도 6은 본 발명에 따른 키보드 표시방법을 설명하기 위한 일실시예 흐름도이다.6 is a flowchart illustrating an embodiment of a keyboard display method according to the present invention.

도면에 도시된 바와 같이, 본 발명의 표시방법은, 사용자가 멀티미디어 기기(100)의 디스플레이부(110)를 직접터치 또는 근접터치하여 터치입력이 있는 경우에, 센싱부(10)가 터치입력이 있음을 검출한다(S61).As shown in the figure, in the display method of the present invention, when the user directly touches or touches the display 110 of the multimedia apparatus 100, and there is a touch input, the sensing unit 10 receives a touch input. It is detected that the presence (S61).

센싱부(10)가 터치입력이 있음을 검출하면, 좌표결정부(20)는, 해당 터치입력의 좌표를 결정한다(S62).If the sensing unit 10 detects that there is a touch input, the coordinate determination unit 20 determines the coordinates of the touch input (S62).

제어부(30)는, 저장부(50)에 저장된, 키보드의 키가 표시되는 영역의 사이를 동일한 간격으로 구획하여, 각 구획이 만나는 지점의 좌표를 참조로, 터치입력에 대하여 결정된 좌표를 이용하여 확대할 키보드의 대상 키를 결정한다(S63).The controller 30 partitions the areas where the keys of the keyboard are displayed in the storage unit 50 at equal intervals, and uses the coordinates determined for the touch input with reference to the coordinates of the points where the partitions meet. The target key of the keyboard to be enlarged is determined (S63).

도 7은 도 6의 S63의 일실시예 상세 흐름도이다.7 is a detailed flowchart of an embodiment of S63 of FIG. 6.

도면에 도시된 바와 같이, 본 발명의 제어부(30)는 확대할 대상 키가 복수가 아닌 경우에는(S71), 즉, 터치입력이 단일 키에 걸쳐 이루어진 경우에는, 해당 키를 확대할 대상 키로 결정한다(S72). As shown in the figure, the control unit 30 according to the present invention determines that the target key to be enlarged when the target key to be enlarged is not plural (S71), that is, when the touch input is made over a single key. (S72).

만일, 확대할 대상 키가 복수인 경우에는(S71), 즉, 터치입력이 복수의 키에 걸쳐 이루어진 경우에는, 터치입력의 면적이 넓은 부분에 해당하는 키를 결정하여(S73), 해당 키를 확대할 대상 키로 결정한다(S74).When there are a plurality of target keys to be enlarged (S71), that is, when a touch input is made over a plurality of keys, a key corresponding to a large portion of the touch input is determined (S73), and the corresponding key is selected. The target key to be enlarged is determined (S74).

만일, 확대할 대상 키가 복수이고(S71)(즉, 터치입력이 복수의 키에 걸쳐 이루어지고), 터치입력의 면적이 복수의 키에 걸쳐 실질적으로 동일한 면적을 이루는 경우에는(S73), 터치입력이 가장 먼저 이루어진 부분을 확인하여, 해당 부분의 키를 확대할 대상 키로 결정할 수 있다(S75).If there are a plurality of target keys to be enlarged (S71) (that is, touch input is made over a plurality of keys), and the area of the touch input is made substantially the same area over a plurality of keys (S73), the touch The first part of the input may be checked to determine a target key to be enlarged (S75).

이후, 제어부(30)는 확대할 대상 키를 확대 및 오버레이하여 표시하도록 표시부(40)를 제어한다(S64).Thereafter, the controller 30 controls the display unit 40 to enlarge and overlay the target key to be enlarged (S64).

이와 같은 S61 내지 S64에 대하여, 터치입력이 종료될 때까지 반복하여 수행하는 것임은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 자명하다.
It is apparent to those skilled in the art that the S61 to S64 are repeatedly performed until the touch input ends.

이와 같은 본 발명에 의하면, 사용자가 도 5a와 같은 환경에서 터치입력에 오류를 범할 확률을 줄여, 터치방식의 멀티미디어 기기의 키입력에 편의를 도모할 수 있다.According to the present invention, it is possible to reduce the probability of the user making an error in the touch input in the environment as shown in FIG. 5A, and to facilitate the key input of the touch-type multimedia device.

한편, 본 발명의 실시예들은 컴퓨터로 판독 가능한 기록매체에 컴퓨터가 읽어들일 수 있는 프로그램 코드를 기록하여 구현하는 것이 가능하다. 본 발명의 실시예들이 소프트웨어를 이용하여 실행되는 경우, 본 발명의 구성수단들은 필요한 작업을 실행하는 코드 세그먼트들이다. 또한, 프로그램 또는 코드 세그먼트들은 컴퓨터의 프로세서로 판독 가능한 매체에 저장되거나 전송 매체 또는 통신망을 통해 반송파와 결합된 컴퓨터 데이터 신호로 전송될 수 있다.Meanwhile, embodiments of the present invention can be implemented by recording a program code that can be read by a computer on a computer-readable recording medium. When embodiments of the present invention are implemented using software, the structural means of the present invention are code segments for performing necessary tasks. The program or code segments may also be stored in a medium readable by a processor of the computer or transmitted in a computer data signal coupled with a carrier wave via a transmission medium or a communication network.

컴퓨터로 판독 가능한 기록매체에는 컴퓨터 시스템이 읽어들일 수 있는 데이터를 저장하는 모든 종류의 기록장치가 포함될 수 있다. 예컨대, 컴퓨터 판독가능 기록매체에는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 포함될 수 있다. 또한, 네트워크로 연결된 컴퓨터 시스템에 컴퓨터 판독가능 기록매체를 분산배치하여 컴퓨터가 읽어들일 수 있는 코드가 분산 방식으로 저장되고 실행되도록 할 수 있다.The computer-readable recording medium may include any type of recording device that stores data that can be read by a computer system. For example, the computer-readable recording medium may include a ROM, a RAM, a CD-ROM, a magnetic tape, a floppy disk, an optical data storage device, and the like. The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.

이상에서 본 발명에 따른 실시예들이 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 범위의 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 다음의 특허청구범위에 의해서 정해져야 할 것이다.
While the invention has been shown and described with reference to certain preferred embodiments thereof, it will be understood by those skilled in the art that various changes and modifications may be made without departing from the spirit and scope of the invention as defined by the appended claims. Accordingly, the true scope of the present invention should be determined by the following claims.

10: 센싱부 20: 좌표결정부
30: 제어부 40: 표시부
50: 저장부10: sensing unit 20: coordinate determination unit
30: control unit 40: display unit
50: storage

Claims (10)

디스플레이부를 구비하는 멀티미디어 기기의 키보드 표시장치에 있어서,
포인터의 터치입력을 검출하는 센싱부;
상기 터치입력에 해당하는 위치의 좌표를 결정하는 좌표결정부;
상기 좌표결정부가 결정한 상기 터치입력의 좌표에 대하여, 확대할 대상 키를 결정하는 제어부;
상기 제어부가 결정한 확대할 대상 키를 확대 및 오버레이하여 상기 디스플레이부에 표시하는 표시부; 및
상기 디스플레이부에서 상기 키보드의 키와 키 사이에 형성되는 영역을 동일하게 양분하여 구획한 부분이 만나는 지점의 좌표를 저장하는 저장부를 포함하고,
상기 제어부는, 상기 저장부가 저장하는 좌표를 참조로 상기 좌표결정부가 결정한 터치입력의 좌표에 대하여, 확대할 대상 키를 결정하는 표시장치.
In the keyboard display device of the multimedia device having a display unit,
A sensing unit detecting a touch input of the pointer;
A coordinate determination unit determining coordinates of a position corresponding to the touch input;
A controller configured to determine a target key to be enlarged with respect to the coordinates of the touch input determined by the coordinate determiner;
A display unit which enlarges and overlays the target key to be enlarged determined by the controller to display on the display unit; And
And a storage unit for storing coordinates of a point where the divided portions of the display unit are equally divided between the keys and the keys of the keyboard.
And the control unit determines a target key to be enlarged with respect to the coordinates of the touch input determined by the coordinate determination unit with reference to the coordinates stored by the storage unit.
삭제delete 삭제delete 제1항에 있어서, 상기 제어부는, 상기 터치입력이 단일 키에 걸쳐 이루어진 경우에는, 해당 키를 확대할 대상 키로 결정하는 표시장치.
The display device of claim 1, wherein the controller is further configured to determine the key as a target key to be enlarged when the touch input is applied to a single key.
제1항에 있어서, 상기 제어부는, 상기 터치입력이 복수의 키에 걸쳐 이루어진 경우에는, 상기 터치입력의 면적이 넓은 부분에 해당하는 키를 확대할 대상 키로 결정하는 표시장치.
The display device of claim 1, wherein the controller is configured to determine, as the target key to enlarge, a key corresponding to a portion having a large area of the touch input when the touch input is made over a plurality of keys.
제1항에 있어서, 상기 제어부는, 상기 터치입력이 복수의 키에 걸쳐 이루어지고, 상기 터치입력의 면적이 복수의 키에 걸쳐 실질적으로 동일한 경우에는, 상기 터치입력이 먼저 이루어진 부분에 해당하는 키를 확대할 대상 키로 결정하는 표시장치.
The key of claim 1, wherein the controller is configured to perform a key corresponding to a portion of the first touch input when the touch input is made over a plurality of keys and the area of the touch input is substantially the same over a plurality of keys. Display that determines the target key to magnify.
디스플레이부를 구비하는 멀티미디어 기기의 키보드 표시방법에 있어서,
터치입력을 검출하여, 상기 디스플레이부에서 상기 키보드의 키와 키 사이에 형성되는 영역을 동일하게 양분하여 구획한 부분이 만나는 지점의 좌표를 참조로, 상기 터치입력에 해당하는 위치의 좌표를 결정하는 단계;
상기 터치입력의 좌표에 대하여, 확대할 대상 키를 결정하는 단계; 및
확대할 대상 키를 확대 및 오버레이하여 상기 디스플레이부에 표시하는 단계를 포함하는 표시방법.
In the keyboard display method of the multimedia device having a display unit,
Detecting a touch input, and determining the coordinates of the position corresponding to the touch input, with reference to the coordinates of the point where the divided portion by dividing the area formed between the key and the key of the keyboard in the display unit equally step;
Determining a target key to be enlarged with respect to the coordinates of the touch input; And
And enlarging and overlaying a target key to be enlarged and displaying the displayed key on the display unit.
제7항에 있어서, 상기 확대할 대상 키를 결정하는 단계는, 상기 터치입력이 단일 키에 걸쳐 이루어진 경우에는, 해당 키를 확대할 대상 키로 결정하는 표시방법.
The display method according to claim 7, wherein the determining of the target key to be enlarged comprises: determining the target key to be enlarged when the touch input is made over a single key.
제7항에 있어서, 상기 확대할 대상 키를 결정하는 단계는, 상기 터치입력이 복수의 키에 걸쳐 이루어진 경우에는, 상기 터치입력의 면적이 넓은 부분에 해당하는 키를 확대할 대상 키로 결정하는 표시방법.
The method of claim 7, wherein the determining of the target key to be enlarged comprises: displaying the target key to be enlarged as a target key to be enlarged when the touch input is over a plurality of keys. Way.
제7항에 있어서, 상기 확대할 대상 키를 결정하는 단계는, 상기 터치입력이 복수의 키에 걸쳐 이루어지고, 상기 터치입력의 면적이 복수의 키에 걸쳐 실질적으로 동일한 경우에는, 상기 터치입력이 먼저 이루어진 부분에 해당하는 키를 확대할 대상 키로 결정하는 표시방법.

The method of claim 7, wherein the determining of the target key to be enlarged comprises: when the touch input is made over a plurality of keys, and the area of the touch input is substantially the same over a plurality of keys, A display method of determining a key corresponding to the first part to be enlarged as a target key to be enlarged.

KR1020110089037A 2011-09-02 2011-09-02 Apparatus and method for displaying keyboard KR101155544B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110089037A KR101155544B1 (en) 2011-09-02 2011-09-02 Apparatus and method for displaying keyboard

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110089037A KR101155544B1 (en) 2011-09-02 2011-09-02 Apparatus and method for displaying keyboard

Publications (1)

Publication Number Publication Date
KR101155544B1 true KR101155544B1 (en) 2012-06-19

Family

ID=46688893

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110089037A KR101155544B1 (en) 2011-09-02 2011-09-02 Apparatus and method for displaying keyboard

Country Status (1)

Country Link
KR (1) KR101155544B1 (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090029307A (en) * 2006-09-06 2009-03-20 애플 인크. Touch screen device, method, and graphical user interface for determining commands by applying heuristics

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090029307A (en) * 2006-09-06 2009-03-20 애플 인크. Touch screen device, method, and graphical user interface for determining commands by applying heuristics

Similar Documents

Publication Publication Date Title
EP2631766B1 (en) Method and apparatus for moving contents in terminal
US9569106B2 (en) Information processing apparatus, information processing method and computer program
US20140062875A1 (en) Mobile device with an inertial measurement unit to adjust state of graphical user interface or a natural language processing unit, and including a hover sensing function
KR101534282B1 (en) User input method of portable device and the portable device enabling the method
US9665177B2 (en) User interfaces and associated methods
US20100073302A1 (en) Two-thumb qwerty keyboard
US20130215018A1 (en) Touch position locating method, text selecting method, device, and electronic equipment
JP5620440B2 (en) Display control apparatus, display control method, and program
US20110083104A1 (en) Methods and devices that resize touch selection zones while selected on a touch sensitive display
US20120120016A1 (en) Image of a keyboard
KR100901106B1 (en) Touch screen control method, touch screen apparatus and portable small electronic device
JP6113490B2 (en) Touch input method and apparatus for portable terminal
US20090288889A1 (en) Proximity sensor device and method with swipethrough data entry
US9864514B2 (en) Method and electronic device for displaying virtual keypad
KR20140112296A (en) Method for processing function correspond to multi touch and an electronic device thereof
US10365748B2 (en) Smart touch location predictor based on direction vector
US9146666B2 (en) Touch sensor navigation
KR101155544B1 (en) Apparatus and method for displaying keyboard
JP6331022B2 (en) Display device, display control method, and display control program
KR102027548B1 (en) Method and apparatus for controlling screen display in electronic device
EP2977878B1 (en) Method and apparatus for displaying screen in device having touch screen
KR20120096365A (en) Cursor moving method in the touch screen keypad including sliding key and device using thereof

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee