KR101094636B1 - System and method of gesture-based user interface - Google Patents
System and method of gesture-based user interface Download PDFInfo
- Publication number
- KR101094636B1 KR101094636B1 KR1020090044544A KR20090044544A KR101094636B1 KR 101094636 B1 KR101094636 B1 KR 101094636B1 KR 1020090044544 A KR1020090044544 A KR 1020090044544A KR 20090044544 A KR20090044544 A KR 20090044544A KR 101094636 B1 KR101094636 B1 KR 101094636B1
- Authority
- KR
- South Korea
- Prior art keywords
- gesture
- movement path
- coordinate data
- vertex
- point
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
제스처 기반 사용자 인터페이스 시스템 및 그 방법을 개시한다. 사용자 인터페이스 시스템은 입력 이벤트에 의한 좌표 데이터에서 시작 점과 끝 점 및, 상기 시작 점과 끝 점 사이의 적어도 하나의 정점을 추출하는 좌표 추출부; 및, 상기 정점을 거쳐 상기 시작 점과 끝 점을 연결하는 선의 형태로부터 적어도 하나의 제스처를 인식하는 제스처 인식부를 포함한다.Disclosed is a gesture-based user interface system and method thereof. The user interface system includes: a coordinate extractor for extracting a start point and an end point and at least one vertex between the start point and the end point from coordinate data generated by an input event; And a gesture recognition unit recognizing at least one gesture from a form of a line connecting the start point and the end point via the vertex.
사용자 인터페이스, 제스처 User interface, gesture
Description
본 발명의 실시예들은 조작의 편의성와 다양성을 향상시킨 제스처 기반의 사용자 인터페이스 시스템 및 그 방법에 관한 것이다.Embodiments of the present invention relate to a gesture-based user interface system and method for improving convenience and variety of operation.
초기의 사용자 인터페이스는 컴퓨터와 상호작용을 하기 위해 텍스트 기반의 인터페이스로 설계되었다. 이것은 일반 사용자로 하여금 일일이 키보드를 사용하여 명령어를 입력하게 하였으며, 이러한 명령어 체계를 알지 못하는 일반 사용자들에게는 매우 어려운 일이었다.Early user interfaces were designed as text-based interfaces for interacting with computers. This allowed ordinary users to enter commands using the keyboard, which was very difficult for ordinary users who did not know this command system.
이후, 마우스와 같은 입력 메커니즘이 도입되면서 사용자 인터페이스는 아이콘 기반의 메뉴로 발전되었다. 이는 컴퓨터 사용의 증가를 가져왔을 뿐만 아니라, 컴퓨터를 처음 사용하는 초보자들도 쉽게 접근할 수 있었다. 그러나, 컴퓨터 환경의 발달로 다양한 장치 및 기술들이 개발되고 사용자의 요구가 복잡해짐에 따라 보다 새로운 인터페이스 기술이 요구되고 있다.Later, with the introduction of a mouse-like input mechanism, the user interface developed into an icon-based menu. Not only did this increase the use of the computer, it was also easily accessible for beginners using the computer for the first time. However, with the development of computer environment, various devices and technologies are developed and user's needs are complicated, and new interface technology is required.
HCI(human-computer interface; 인간-컴퓨터 인터페이스)는 이러한 요구를 반영하기 위한 기술을 연구하는 분야로서, 보다 상세하게는 시각, 청각, 촉각 등의 다양한 인간 중심적 인터페이스를 통해 보다 직관적인 방식으로 컴퓨터와 통신하는 방법을 다루는 분야이다. 특히, 현재의 HCI 기술 중에서 음성 인식기술과 제스처 인식기술이 가장 편리한 인터페이스 기술로 사용되고 있다.Human-computer interface (HCI) is a field of research to address these needs. More specifically, human-computer interface (HCI) is a more intuitive way of interacting with computers through various human-centered interfaces such as visual, auditory, and tactile. It is a field that deals with how to communicate. In particular, among the current HCI technology, voice recognition technology and gesture recognition technology are used as the most convenient interface technology.
한편, 내비게이션 시스템은 사용자로부터 목적지를 입력받아 해당 목적지까지의 길을 안내하는 시스템이다. 대부분의 내비게이션 시스템은 GPS 위성으로부터 GPS 신호를 수신하여 주행 중인 차량의 위치정보를 산출하고 목적지까지의 최단 거리의 길을 산출하여 지도상에 표시하거나 음성으로 안내한다.Meanwhile, the navigation system receives a destination from a user and guides the way to the corresponding destination. Most navigation systems receive GPS signals from GPS satellites, calculate location information of the vehicle being driven, calculate the shortest distance to the destination, and display or voice guidance on the map.
상기한 내비게이션 시스템의 기능이 더욱 다양해지고 복잡해지면서 일반적인 버튼 조작만으로 내비게이션 단말을 제어하기는 어려운 일이 되고 있다. 더욱이, 내비게이션 단말이 운전 중에 이용됨을 감안했을 때 조작이 쉬운 사용자 인터페이스가 요구된다.As the functions of the navigation system become more diverse and complicated, it is difficult to control the navigation terminal by only general button operations. Furthermore, in view of the fact that the navigation terminal is used while driving, a user interface that is easy to operate is required.
본 발명의 일실시예는 새로운 형태의 제스처를 인식할 수 있는 사용자 인터페이스 시스템 및 그 방법을 제공한다.One embodiment of the present invention provides a user interface system and method for recognizing a new type of gesture.
본 발명의 일실시예는 제스처의 적용 유무를 사용자가 용이하게 확인할 수 있는 제스처 기반 사용자 인터페이스 시스템 및 그 방법을 제공한다.One embodiment of the present invention provides a gesture-based user interface system and a method for allowing a user to easily determine whether a gesture is applied.
본 발명의 일실시예에 따른 제스처 기반 사용자 인터페이스 시스템은 입력 이벤트에 의한 좌표 데이터에서 시작 점과 끝 점 및, 상기 시작 점과 끝 점 사이의 적어도 하나의 정점을 추출하는 좌표 추출부; 및, 상기 정점을 거쳐 상기 시작 점과 끝 점을 연결하는 선의 형태로부터 적어도 하나의 제스처를 인식하는 제스처 인식부를 포함한다.According to an aspect of the present invention, there is provided a gesture-based user interface system including: a coordinate extractor configured to extract a start point and an end point and at least one vertex between the start point and the end point from coordinate data according to an input event; And a gesture recognition unit recognizing at least one gesture from a form of a line connecting the start point and the end point via the vertex.
본 발명의 일실시예에서 상기 좌표 추출부는 상기 시작 점과 끝 점 사이에 존재하는 좌표 데이터 중 상기 시작 점과 끝 점을 잇는 선분과의 수직 거리가 일정 거리 이상인 좌표 데이터를 상기 정점으로 판단한다.In one embodiment of the present invention, the coordinate extracting unit determines coordinate data having a vertical distance of a line segment connecting the start point and the end point from the coordinate data existing between the start point and the end point as the vertex.
본 발명의 일실시예에서 상기 제스처 인식부는 상기 정점에서 시작 점으로 향하는 방향 벡터인 시작 벡터와 상기 정점에서 끝 점으로 향하는 방향 벡터인 끝 벡터의 벡터 곱으로부터 상기 정점의 위치를 판단하는, 제스처 기반 사용자 인터페이스 시스템.In one embodiment of the present invention, the gesture recognition unit determines the position of the vertex from a vector product of a start vector which is a direction vector from the vertex to the start point and an end vector which is a direction vector from the vertex to the end point. User interface system.
본 발명의 일실시예에서 상기 제스처는 내비게이션 시스템에서 디스플레이 중인 지도 화면의 제어와 관련된 기능, 또는 상기 내비게이션 시스템에서 제공하는 메뉴로의 이동과 관련된 기능이 설정된다.In one embodiment of the present invention, the gesture is set a function related to the control of the map screen being displayed in the navigation system, or a function related to movement to a menu provided by the navigation system.
본 발명의 일실시예에 따른 제스처 기반 사용자 인터페이스 시스템은 상기 인식된 제스처의 이동 경로를 표시하는 제스처 표시부; 및, 상기 제스처와 관련된 심볼을 표시하는 심볼 표시부를 더 포함한다.A gesture-based user interface system according to an embodiment of the present invention includes a gesture display unit for displaying the movement path of the recognized gesture; And a symbol display unit that displays a symbol related to the gesture.
본 발명의 일실시예에서 상기 제스처 표시부는 상기 이동 경로를 나타내는 텍스처를 상기 좌표 데이터에 해당하는 위치에 맵핑하거나, 프레임 별 이미지의 위치가 다른 스프라이트 이미지를 이용한 애니메이션을 상기 좌표 데이터에 해당하는 위치에 표시한다.In one embodiment of the present invention, the gesture display unit maps a texture representing the movement path to a position corresponding to the coordinate data, or an animation using a sprite image having a different position of an image for each frame at a position corresponding to the coordinate data. Display.
본 발명의 일실시예에 따른 제스처 기반 사용자 인터페이스 방법은 좌표 추출부와, 제스처 인식부와, 기능 실행부로 구성된 사용자 인터페이스 시스템의 제스처 기반 사용자 인터페이스 방법에 있어서, 상기 좌표 추출부에서 입력 이벤트에 의한 좌표 데이터에서 시작 점과 끝 점 및, 상기 시작 점과 끝 점 사이의 적어도 하나의 정점을 추출하는 단계; 및, 상기 제스처 인식부에서 상기 정점을 거쳐 상기 시작 점과 끝 점을 연결하는 선의 형태로부터 적어도 하나의 제스처를 인식하는 단계를 포함한다.In a gesture-based user interface method according to an embodiment of the present invention, a gesture-based user interface method of a user interface system including a coordinate extractor, a gesture recognition unit, and a function execution unit, coordinates by an input event in the coordinate extractor Extracting a start point and an end point from data and at least one vertex between the start point and the end point; And recognizing, by the gesture recognition unit, at least one gesture from a form of a line connecting the start point and the end point via the vertex.
본 발명의 일실시예에 따른 제스처 기반 사용자 인터페이스 방법은 상기 기능 실행부에서 상기 인식된 제스처에 해당하는 기능을 실행하는 단계; 상기 기능 실행부에서 상기 제스처의 이동 경로를 표시하는 단계; 및, 상기 기능 실행부에서 상기 제스처와 관련된 심볼을 표시하는 단계를 더 포함한다.A gesture-based user interface method according to an embodiment of the present invention includes the steps of executing a function corresponding to the recognized gesture in the function execution unit; Displaying a movement path of the gesture in the function execution unit; And displaying a symbol related to the gesture in the function execution unit.
본 발명의 일실시예에 따르면, 새로운 형태의 제스처를 인식할 수 있는 사용자 인터페이스를 제공함으로써 보다 다양한 기능을 제스처에 설정하여 사용할 수 있으며 사용자 인터페이스의 사용을 더욱 확대시킬 수 있다..According to an embodiment of the present invention, by providing a user interface capable of recognizing a new type of gesture, various functions can be set and used in the gesture, and the use of the user interface can be further expanded.
본 발명의 일실시예에 따르면, 사용자가 입력한 제스처의 이동 경로와 심볼을 표시하는 제스처 디스플레이 기능을 제공함으로써 사용자가 입력한 제스처의 형태 및 적용 여부를 쉽게 확인할 수 있다.According to an embodiment of the present invention, by providing a gesture display function for displaying the movement path and the symbol of the gesture input by the user, it is easy to check the form and the application of the gesture input by the user.
본 발명의 일실시예에 따르면, 새로운 형태의 제스처를 인식하는 사용자 인터페이스를 내비게이션 시스템에 적용하여 새로운 형태의 제스처에 메뉴로의 이동과 관련된 기능을 설정함으로써 자주 사용되는 기능에 대해 쉽고 빠르게 접근할 수 있어 운전 중 사용자 인터페이스의 안전한 사용을 도모할 수 있다.According to an embodiment of the present invention, by applying a user interface for recognizing a new type of gesture to a navigation system, a function related to moving to a menu is set to a new type of gesture, thereby enabling easy and quick access to frequently used functions. This allows safe use of the user interface while driving.
이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, the present invention is not limited or limited by the embodiments. Like reference numerals in the drawings denote like elements.
본 발명의 일실시예에 따른 사용자 인터페이스 시스템은 제스처 인식 기술을 적용한 입력 수단을 의미한다.The user interface system according to an embodiment of the present invention refers to an input means to which gesture recognition technology is applied.
도 1은 본 발명의 일실시예에 따른 제스처 기반 사용자 인터페이스 시스템의 내부 구성을 도시한 도면이다.1 is a diagram illustrating an internal configuration of a gesture-based user interface system according to an embodiment of the present invention.
도 1을 참조하면, 제스처 기반 사용자 인터페이스 시스템은 좌표 추출 부(110)와, 제스처 인식부(130)와, 기능 실행부(150)로 구성된다. 기능 실행부(150)는 제스처 표시부(151)와, 심볼 표시부(153)를 포함한다.Referring to FIG. 1, the gesture-based user interface system includes a
좌표 추출부(110)는 사용자가 손가락이나 스타일러스 등을 이용하여 제스처를 입력할 경우 입력된 제스처에 의한 입력 이벤트를 검출하는 역할을 수행한다. 즉, 좌표 추출부(110)는 입력 이벤트에 의한 좌표 데이터를 검출한다. 좌표 추출부(110)는 사용자의 터치 위치를 일정 시간 간격으로 검출하는 터치 스크린이나 터치 패드와 같은 터치 기반의 입력 장치를 의미할 수 있으나, 이에 한정되는 것은 아니며 마우스 등 여타의 입력장치가 채용될 수 있다.The
본 발명의 일실시예는 ←, →, ↑, ↓ 등 시작 점과 끝 점을 이용하여 인식 가능한 직선 또는 곡선 형태의 제스처(이하, '일반 제스처'라 칭함)뿐 아니라 <, >, ∧, ∨ 등 꺾인 점(즉, 정점)을 포함한 직선 또는 곡선 형태의 제스처(이하, '꺾임 제스처'라 칭함)를 인식하는 기술을 제안한다.One embodiment of the present invention is not only a linear or curved gesture (hereinafter, referred to as a 'general gesture') that can be recognized using a starting point and an ending point such as ←, →, ↑, ↓, but also <,>, ∧, ∨. A technique for recognizing a straight or curved gesture (hereinafter, referred to as a "bent gesture") including an angled point (that is, a vertex) is proposed.
좌표 추출부(110)는 입력 이벤트에 의한 좌표 데이터에서 시작 점과 끝 점, 그리고 상기 시작 점과 끝 점 사이에 존재하는 좌표 데이터 중 적어도 하나의 정점을 추출한다.The
도 2는 꺾임 제스처의 형태를 설명하기 위한 도면이다.2 is a view for explaining the form of the bending gesture.
실제 사용자가 입력한 꺾임 제스처를 통한 좌표 데이터를 분석하면, 도 2에 도시한 바와 같이 최소 세 개의 점으로 이루어짐을 알 수 있다. 이때, 제스처의 입력 방향은 제스처 인식과는 무관하므로 제한을 두지 않는다. 꺾임 제스처에 의한 좌표 데이터를 단순화 시키면 동일한 제스처에 대해서는 제스처의 형태가 동일 함을 인식할 수 있다.When analyzing the coordinate data through the bent gesture input by the actual user, as shown in Figure 2 it can be seen that consists of at least three points. In this case, since the input direction of the gesture is not related to gesture recognition, there is no limitation. By simplifying the coordinate data of the break gesture, it is possible to recognize that the same gesture shape is the same for the same gesture.
꺾임 제스처에 의한 좌표 데이터를 단순화 하기 위하여 Ramer Douglas Peucker 알고리즘을 적용할 수 있다. Ramer Douglas Peucker 알고리즘는 분할 접근법을 토대로 한 것으로, 곡선을 이루는 정점 데이터를 이용하여 곡선 원래의 형태는 유지하면서 입력된 정점 데이터를 줄여 곡선을 단순화 시키는 알고리즘이다.The Ramer Douglas Peucker algorithm can be applied to simplify the coordinate data of the break gesture. Ramer Douglas Peucker's algorithm is based on the segmentation approach, and uses the vertex data of the curve to simplify the curve by reducing the input vertex data while maintaining the original shape of the curve.
일반적인 Ramer Douglas Peucker 알고리즘는 다음과 같다.A typical Ramer Douglas Peucker algorithm is as follows.
도 3을 참조하면, 좌표 데이터에서 시작 점(301)과 끝 점(305)을 선분(305)으로 잇고 시작 점(301)과 끝 점(305) 사이에 존재하는 각 점에 대하여 선분(305)으로부터의 수직 거리를 구한다. 이때, 시작 점(301)과 끝 점(305) 사이에 존재하는 좌표 데이터 중 선분(305)과의 수직 거리가 가장 큰 점을 정점(307)으로 선택한다. 이때, 정점(307)에 대한 선분(305)과의 수직 거리가 일정 거리 상수 값보다 작으면 곡선의 단순화에 포함되는 정점으로 판단하고 정점 리스트에 저장한다. 한편, 정점(307)에 대한 선분(305)과의 수직 거리가 일정 거리 상수 값보다 클 경우에는 시작 점(301)과 정점(307) 사이의 좌표 데이터, 정점(307)과 끝 점(303) 사이의 좌표 데이터를 대상으로 상기한 과정을 반복하여 새로운 정점을 탐색한다.Referring to FIG. 3, in the coordinate data, the
본 발명의 일실시예는 시작 점과 끝 점, 그리고 하나의 정점을 찾아 꺾임 제스처를 인식할 수 있다. 즉, 상기한 Ramer Douglas Peucker 알고리즘에서 최초 과정 즉, 시작 점과 끝 점 사이에서 하나의 정점을 찾는 과정만을 수행하여 세 점이 이루는 형태로부터 꺾임 제스처를 인식할 수 있다.An embodiment of the present invention may recognize a break gesture by finding a start point, an end point, and one vertex. That is, in the Ramer Douglas Peucker algorithm, only the first process, that is, the process of finding one vertex between a start point and an end point, may be performed to recognize a break gesture from a form of three points.
도 4를 참조하면, 좌표 추출부(110)는 입력 이벤트에 의한 좌표 데이터에서 시작 점(401)과 끝 점(403)을 추출한 후 시작 점(401)과 끝 점(403) 사이에 존재하는 좌표 데이터 중 시작 점(401)과 끝 점(403)을 잇는 선분(405)과의 수직 거리(D)가 가장 큰 점 즉, 정점(407)을 추출한다. 이때, 좌표 추출부(110)는 정점(407)이 선분(405)과의 수직 거리(D)가 일정 거리 상수 값보다 클 경우 꺾임 제스처를 인식하는데 사용 가능한 정점인 것으로 판단한다. 한편, 좌표 추출부(110)는 정점(407)이 선분(405)과의 수직 거리(D)가 일정 거리 상수 값보다 작을 경우 꺾임 제스처를 인식하는데 사용 불가능한 정점인 것으로 판단하여 정점(407)을 무시하고 시작 점(401)과 끝 점(403)을 이용하여 일반 제스처를 인식하도록 한다.Referring to FIG. 4, the
제스처 인식부(130)는 좌표 추출부(110)로부터 추출된 시작 점, 끝 점 및 정점으로부터 꺾임 제스처의 형태를 인식하는 역할을 수행한다. 제스처 인식부(130)는 시작 점과 끝점을 정점을 거쳐 연결하는 선의 형태에 따라 꺾임 제스처의 형태를 인식할 수 있다. 상기 제스처의 형태를 인식하기 위해서는 시작 점과 끝 점을 기준으로 정점이 어디에 위치하느냐에 따라 <, >, ∧, ∨의 형태를 가지는 꺾임 제스처를 인식할 수 있다.The
도 5를 참조하면, 제스처 인식부(130)는 정점(M)에서 시작 점(S)으로 향하는 방향 벡터(이하, '시작 벡터'라 칭함)(A)와, 정점(M)에서 끝 점(E)으로 향하는 방향 벡터(이하, '끝 벡터'라 칭함)(B)를 구한다. 이어, 제스처 인식부(130)는 시작 벡터(A)와 끝 벡터(B)의 벡터 곱(C)을 구한 후 벡터 곱(C)에서 x축에 대한 벡터 값(C.x) 또는 y축에 대한 벡터 값(C.y)에 따라 정점(M)의 위치(왼쪽, 오른쪽, 위쪽, 아래쪽)를 판단할 수 있다. 제스처 인식부(130)는 정점(M)의 위치를 판단함으 로써 꺾임 제스처의 형태(<, >, ∧, ∨)를 인식할 수 있다.Referring to FIG. 5, the
기능 실행부(150)는 제스처 인식부(130)에서 인식된 제스처에 해당하는 기능을 실행한다. 본 발명의 일실시예는 ←, →, ↑, ↓와 같이 정점이 존재하지 않는 형태의 일반 제스처와, <, >, ∧, ∨와 같이 정점이 존재하는 형태의 꺾임 제스처를 구분하여 인식한 후 인식된 형태의 제스처에 해당하는 기능을 수행할 수 있다.The
꺾임 제스처를 적용하는 과정에서 시스템의 종류나 성능에 따라 전혀 다른 제스처로 인식되는 경우가 발생할 수 있다. 도 6은 ∨ 형태의 꺾임 제스처에 의한 입력 이벤트의 좌표 데이터를 도시한 것이다. 여기서, 'Down'은 좌표 데이터의 시작 점을 나타내는 이벤트, 'Up'은 좌표 데이터의 끝 점을 나타내는 이벤트, 'Move'는 시작 점과 끝 점 사이에 존재하는 점들을 나타내는 이벤트를 의미한다.In the process of applying the break gesture, a different gesture may occur depending on the type or performance of the system. FIG. 6 illustrates coordinate data of an input event by a bent gesture in the form of a bevel. Here, 'Down' means an event indicating the start point of the coordinate data, 'Up' means an event indicating the end point of the coordinate data, and 'Move' means an event indicating points existing between the start point and the end point.
Down/Move/Up 이벤트가 확실하게 구분될 경우 Up 이벤트에서 제스처 인식이 이루어지나, 강압식 터치 방식 등을 사용하는 시스템의 경우 제스처가 입력되는 중간에 원하지 않는 Up 이벤트가 발생할 수 있다.If the down / move / up events are clearly distinguished, gesture recognition is performed in the up event, but in a system using a forced touch method, an unwanted up event may occur in the middle of a gesture input.
도 6에서 좌측(경우 1)과 우측(경우 2)의 좌표 데이터는 동일한 꺾임 제스처의 형태를 가진다. 그러나, 경우 1은 제스처 입력 동안에 Up 이벤트가 발생하지 않기 때문에 ∨ 형태의 꺾임 제스처로 인식된다. 한편, 경우 2는 제스처 입력 동안 원하지 않는 Up 이벤트가 발생하므로 첫번째 Up 이벤트에 대한 제스처와, 두번째 Up 이벤트에 대한 제스처 즉, 두 가지의 형태의 제스처로 인식될 수 있다. 이러한 문제를 해결하기 위해 본 발명의 일실시예는 첫번째 Up 이벤트가 발생하는 시 점에 인식된 제스처를 적용하지 않고 최종 Up 이벤트까지 인식된 제스처를 누적한 후에 제스처 간의 우선 순위를 이용하여 판단된 제스처를 적용할 수 있다.In FIG. 6, the coordinate data of the left side (case 1) and the right side (case 2) have the same form of a folding gesture. However, case 1 is recognized as a bent gesture because the Up event does not occur during gesture input. On the other hand, in case 2, since an unwanted Up event occurs during the gesture input, it may be recognized as a gesture for the first Up event and a gesture for the second Up event, that is, two types of gestures. In order to solve this problem, one embodiment of the present invention does not apply a recognized gesture at the time when the first Up event occurs, but accumulates the recognized gestures to the final Up event, and then uses the priority of the gestures. Can be applied.
꺾임 제스처의 우선순위가 일반 제스처의 우선순위 보다 높다는 가정에서 첫번째 Up 이벤트에 대한 제스처가 일반 제스처의 형태이고 두번째 Up 이벤트에 대한 제스처가 꺾임 제스처의 형태일 경우 두번째 Up 이벤트에 의한 제스처를 최종 인식된 제스처로 판단하여 두번째 Up 이벤트의 제스처에 해당하는 기능을 수행한다.If the gesture of the first up event is in the form of a normal gesture and the gesture of the second up event is in the form of a bend gesture, the gesture of the second up event is finally recognized. It determines the gesture and performs the function corresponding to the gesture of the second Up event.
본 발명의 일실시예는 사용자가 자신이 입력한 제스처의 적용 여부를 확인할 수 있도록 제스처 인식부(130)에서 인식된 제스처의 이동 경로 및 제스처와 관련된 심볼을 표시하는 제스처 디스플레이 기능을 수행한다.An embodiment of the present invention performs a gesture display function of displaying a movement path of a gesture recognized by the
제스처 표시부(151)는 제스처의 이동 경로를 디스플레이 하는 역할을 수행하고, 심볼 표시부(153)는 제스처와 관련된 심볼 또는 제스처에 해당되는 기능과 관련된 심볼을 표시하는 역할을 수행한다. 특히, 제스처 표시부(151)는 텍스처 맵핑 기술 또는 애니메이션 기술을 이용하여 입력 이벤트에 의한 좌표 데이터 상에 제스처의 이동 경로를 디스플레이 한다.The
텍스처 맵핑 기술에 의한 제스처 디스플레이 과정은 다음과 같다.The gesture display process by the texture mapping technique is as follows.
제스처 표시부(151)는 입력 이벤트에 의한 좌표 데이터에서 서로 인접한 두 지점 간에 폴리곤을 각각 생성한 후 제스처의 이동 경로를 나타내기 위해 복수의 이미지로 구성된 텍스처를 상기 생성된 폴리곤에 맵핑한다. 도 7을 참조하면, 폴리곤을 생성하기 위해서는 서로 인접한 두 지점 즉, 이전 위치의 좌표 데이터(이 하, '선 지점'이라 칭함)(701)와 현재 위치의 좌표 데이터(이하, '후 지점'이라 칭함)(703)를 이용한다. 먼저, 선 지점(701)과 후 지점(703) 간의 거리를 통해 폴리곤 생성 여부를 결정하게 되는데, 예를 들어, 텍스처를 구성하는 하나의 이미지가 32*32의 사이즈를 가질 경우 폴리곤 생성 여부를 판단하는 거리는 32 픽셀로 결정될 수 있다. 즉, 선 지점(701)과 후 지점(703)의 거리가 일정 거리 이상일 경우 선 지점(701)과 후 지점(703) 사이에 폴리곤을 생성하기로 결정한다. 이어, 선 지점(701)에서 후 지점(703)으로 향하는 단위 방향 벡터를 구한 후 선 지점(701)과 후 지점(703)에서 단위 방향 벡터만큼 각각 90도 회전시킨다. 이때, 단위 방향 벡터만큼 90도 회전 시킨 지점의 좌표 데이터 즉, 선 지점(701)과 후 지점(703)의 위/아래에 네 개의 점을 구할 수 있으며 네 개의 점을 이용하여 폴리곤(705)을 구성할 수 있다. 그리고, 제스처 표시부(151)는 상기한 과정을 통해 생성된 폴리곤의 폭에 따라 텍스처를 패턴 방식으로 맵핑시킨다. 예를 들어, 도 8과 같이 32*32로 된 5장의 이미지로 구성된 텍스처(801)를 사용할 경우 제스처의 진행 방향에 따라 입력 이벤트에 의한 좌표 데이터 상에 생성된 폴리곤에 텍스처(801)의 이미지를 순차적으로 맵핑 시킨다. 이때, 제스처 표시부(151)는 폴리곤의 생존 시간에 따라 상기 맵핑된 텍스처의 이미지를 차례로 변경한다. 폴리곤 1이 생존 시간이 가장 길고 제스처의 진행 방향으로 갈수록 폴리곤의 생존 시간이 짧아진다. 본 발명의 일실시예는 폴리곤이 생성되고 경과된 시간 즉, 생존 시간에 따라 텍스처의 이미지를 변경함으로써 제스처의 이동 경로를 나타내는 텍스처가 시간 경과에 따라 서서히 사라지는 효과를 표현할 수 있다. 본 발명의 일실시예는 제스처의 적용 여부가 확인 가능하고 제스처에 의한 결과를 빠르게 수행해야 하므로 결과를 실행하기까지 걸리는 시간이 동일해야 하므로 생존 시간을 이용한 방식으로 제스처의 이동 경로에 대한 디스플레이를 수행한다.The
애니메이션 기술에 의한 제스처 디스플레이 과정은 다음과 같다.The gesture display process by the animation technique is as follows.
제스처 표시부(151)는 통상 게임에서 애니메이션 효과를 주기 위해 사용하던 방식으로 제스처의 이동 경로를 표시할 수 있다. 도 9를 참조하면, 본 발명의 일실시예는 제스처의 이동 경로를 나타내기 위한 애니메이션으로 프레임 별 이미지의 위치가 다른 스프라이트 이미지(901)를 이용할 수 있다. 도 9에 도시한 바와 같이, 제스처 표시부(151)는 입력 이벤트에 의한 좌표 데이터 내에서 하나의 오브젝트에 프레임 마다 이미지의 좌표를 다르게 적용함으로써 제스처의 이동 경로에 대한 디스플레이를 수행할 수 있다.The
본 발명의 일실시예에 따른 제스처 기반 사용자 인터페이스 시스템은 내비게이션 시스템의 입력 수단으로 적용될 수 있다. 내비게이션 시스템은 기존에 사용하던 일반 제스처(←, →, ↑, ↓, 터치)에 새로운 형태의 꺾임 제스처(<, >, ∧, ∨)를 추가하여 사용할 수 있다. 일반 제스처는 디스플레이 중인 지도 화면의 제어와 관련된 기능, 예를 들어, 지도 위치 이동(터치), 지도 확대(↓)/축소(↑), 현 위치 이동(←, →) 등의 기능이 설정될 수 있다. 또한, 꺾임 제스처는 내비게이션 시스템에서 제공하는 메뉴로의 이동과 관련된 기능, 예를 들어, 집으로(∧), 자주 가는 곳(∨), 최근 목적지(<), 경로 취소(>) 등의 기능이 설정될 수 있다. 꺾임 제스처의 경우 사용자에 의해 자주 사용되는 메뉴, 특히 경로 설정/취소/변경 과 관련된 메뉴가 설정될 수 있다. 본 발명의 일실시예는 제스처의 특성에 따라 인식 결과(제스처에 해당하는 기능)의 실행 시점을 조절할 수 있다. 일반 제스처는 제스처를 인식하면서 동시에 인식 결과를 실행하고 꺾임 제스처는 제스처 인식이 완료된 후에 인식 결과를 실행한다.The gesture-based user interface system according to an embodiment of the present invention may be applied as an input means of the navigation system. The navigation system can be used by adding a new type of bend gestures (<,>, ∧, ∨) to the conventional gestures (←, →, ↑, ↓, touch). The general gesture may be set for functions related to control of the map screen being displayed, for example, map position shift (touch), map zoom (↓) / reduction (↑), and current position shift (←, →). have. In addition, the break gesture may be a function related to moving to a menu provided by the navigation system, for example, a function such as returning home, a favorite place, a recent destination (<), and canceling a route (>). Can be set. In the case of the folding gesture, a menu frequently used by the user, in particular, a menu related to setting / canceling / changing a path may be set. One embodiment of the present invention may adjust the execution time of the recognition result (function corresponding to the gesture) according to the characteristics of the gesture. The general gesture recognizes the gesture and simultaneously executes the recognition result, and the break gesture executes the recognition result after the gesture recognition is completed.
내비게이션 시스템에 적용된 제스처 기반 사용자 인터페이스 시스템은 제스처 간의 우선 순위를 표 1과 같이 정의할 수 있다.The gesture-based user interface system applied to the navigation system may define the priority among the gestures as shown in Table 1.
도 6을 참조하여 설명한 바와 같이, 내비게이션 시스템에 적용된 제스처 기반 사용자 인터페이스 시스템은 제스처를 인식하는 과정에서 원하지 않는 Up 이벤트로 인해 두 개 이상의 제스처가 입력될 경우 제스처 간의 우선 순위를 비교하여 우선 순위가 높은 제스처를 최종 제스처로 판단한다. 즉, 제스처를 입력하는 과정에서 원하지 않는 Up 이벤트가 발생함으로 인해 꺾임 제스처가 일반 제스처로 인식되는 경우가 자주 발생하게 되므로 꺾임 제스처를 일반 제스처에 비해 우선 순위를 높게 설정한다.As described with reference to FIG. 6, the gesture-based user interface system applied to the navigation system has a higher priority by comparing the priority of the gestures when two or more gestures are input due to an unwanted Up event in the process of recognizing a gesture. Determine the gesture as the final gesture. That is, because the unwanted gesture is frequently recognized as a normal gesture due to an unwanted Up event in the process of inputting the gesture, the folded gesture is set to have a higher priority than the normal gesture.
본 발명의 일실시예에 따른 제스처 기반 사용자 인터페이스 시스템이 적용된 내비게이션 시스템은 제스처를 인식하는 과정에서 제스처의 이동 경로와 심볼을 디스플레이 할 수 있다.The navigation system to which the gesture-based user interface system is applied according to an embodiment of the present invention may display the movement path and the symbol of the gesture in the process of recognizing the gesture.
도 10을 참조하면, 사용자가 일반 제스처를 입력할 경우 내비게이션 화면 상에 사용자로부터 입력되는 일반 제스처의 이동 경로(101) 및, 일반 제스처의 기능과 관련된 심볼(103)을 표시할 수 있다. 또한, 도 11을 참조하면, 사용자가 꺾임 제스처를 입력할 경우 내비게이션 화면 상에 사용자로부터 입력되는 꺾임 제스처의 이동 경로(111) 및 꺾임 제스처의 기능과 관련된 심볼(113)을 표시할 수 있다. 제스처의 이동 경로는 입력 이벤트에 의한 좌표 데이터 상에 표시하고 제스처의 기능과 관련된 심볼은 제스처의 이동 경로와 인접한 위치에 표시할 수 있다.Referring to FIG. 10, when a user inputs a general gesture, the
도 12는 본 발명의 일실시예에 따른 제스처 기반 사용자 인터페이스 방법의 전 과정을 도시한 도면이다. 여기서, 제스처 기반 사용자 인터페이스 방법은 도 1에 도시한 사용자 인터페이스 시스템에 의해 실행될 수 있다.12 is a diagram illustrating the entire process of a gesture-based user interface method according to an embodiment of the present invention. Here, the gesture-based user interface method may be executed by the user interface system shown in FIG.
본 발명의 일실시예에 따른 제스처 기반 사용자 인터페이스 방법은 좌표 추출부(110)를 통해 제스처 기반의 입력 이벤트에 의한 좌표 데이터를 추출한다(S1201). 특히, 본 발명의 일실시예는 입력 이벤트에 의한 좌표 데이터에서 시작 점과 끝 점을 추출한 후 시작 점과 끝 점 사이에 존재하는 좌표 데이터 중 시작 점과 끝 점을 잇는 선분과의 수직 거리가 가장 큰 정점을 추출한다.The gesture-based user interface method according to an embodiment of the present invention extracts coordinate data by a gesture-based input event through the coordinate extractor 110 (S1201). In particular, in one embodiment of the present invention after extracting the start point and the end point from the coordinate data by the input event, the vertical distance between the line connecting the start point and the end point is the most among the coordinate data existing between the start point and the end point. Extract large vertices
본 발명의 일실시예에 따른 제스처 기반 사용자 인터페이스 방법은 제스처 인식부(130)를 통해 상기 시작 점과 끝 점을 정점을 거쳐 연결하는 선의 형태로부터 사용자가 입력한 제스처의 형태를 인식한다(S1202). 본 발명의 일실시예는 상기 시작 점과 끝 점을 잇는 선분을 기준으로 정점이 어디에 위치하느냐에 따라 새로운 형태인 꺾임 제스처(<, >, ∧, ∨)를 인식할 수 있다.In the gesture-based user interface method according to an embodiment of the present invention, the
본 발명의 일실시예에 따른 제스처 기반 사용자 인터페이스 방법은 기능 실행부(150)를 통해 상기 인식된 제스처에 해당하는 기능을 수행한다(S1203). 아울러, 본 발명의 일실시예는 사용자가 자신이 입력한 제스처의 적용 여부를 확인할 수 있도록 제스처를 인식하는 과정(S1202)을 수행하면서 동시에 제스처의 이동 경로를 표시할 수 있다. 본 발명의 일실시예는 텍스처 맵핑 기술 또는 애니메이션 기술을 이용하여 입력 이벤트에 의한 좌표 데이터 상에 텍스처 또는 애니메이션 이미지를 맵핑함으로써 제스처의 이동 경로를 표시할 수 있다. 또한, 본 발명의 일실시예는 사용자가 자신이 입력한 제스처의 기능을 쉽게 확인할 수 있도록 제스처에 해당하는 기능과 관련된 심볼을 상기 이동 경로와 함께 표시할 수 있다.The gesture-based user interface method according to an embodiment of the present invention performs a function corresponding to the recognized gesture through the function execution unit 150 (S1203). In addition, an embodiment of the present invention may perform a process of recognizing a gesture (S1202) so that a user may confirm whether the gesture input by the user is applied, and simultaneously display a movement path of the gesture. An embodiment of the present invention may display a movement path of a gesture by mapping a texture or an animation image onto coordinate data by an input event using a texture mapping technique or an animation technique. In addition, an embodiment of the present invention may display a symbol associated with a function corresponding to a gesture together with the movement path so that a user can easily check the function of the gesture input by the user.
따라서, 본 발명의 일실시예는 새로운 형태의 제스처를 인식할 수 있는 사용자 인터페이스를 제공함으로써 보다 다양한 기능을 제스처에 설정하여 사용할 수 있다. 또한, 본 발명의 일실시예는 사용자가 입력한 제스처의 이동 경로와 심볼을 표시하는 제스처 디스플레이 기능을 제공함으로써 사용자가 입력한 제스처의 형태 및 적용 여부를 쉽게 확인할 수 있다.Therefore, an embodiment of the present invention can provide a user interface that can recognize a new type of gesture, thereby enabling a variety of functions to be set and used. In addition, an embodiment of the present invention can easily determine the type and application of the gesture input by the user by providing a gesture display function for displaying the movement path and the symbol of the gesture input by the user.
본 발명의 실시예들은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독 가능 매체를 포함한다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.Embodiments of the present invention include computer readable media including program instructions for performing various computer implemented operations. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. The media may be program instructions that are specially designed and constructed for the present invention or may be available to those skilled in the art of computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks. Magneto-optical media, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.As described above, the present invention has been described by specific embodiments such as specific components and the like. For those skilled in the art to which the present invention pertains, various modifications and variations are possible.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be limited to the described embodiments, and all of the equivalents or equivalents of the claims as well as the claims to be described later will belong to the scope of the present invention. .
도 1은 본 발명의 일실시예에 따른 제스처 기반 사용자 인터페이스 시스템의 내부 구성을 도시한 도면이다.1 is a diagram illustrating an internal configuration of a gesture-based user interface system according to an embodiment of the present invention.
도 2는 새로운 제스처의 형태를 설명하기 위한 도면이다.2 is a view for explaining the form of a new gesture.
도 3 내지 도 5는 제스처의 인식 과정의 일례를 설명하기 위한 도면이다.3 to 5 are diagrams for explaining an example of a gesture recognition process.
도 6은 제스처의 인식 과정의 다른 일례를 설명하기 위한 도면이다.6 is a view for explaining another example of a gesture recognition process.
도 7과 도 8은 제스처의 이동 경로 디스플레이의 일례를 설명하기 위한 도면이다.7 and 8 are views for explaining an example of the movement path display of the gesture.
도 9는 제스처의 이동 경로 디스플레이의 다른 일례를 설명하기 위한 도면이다.9 is a view for explaining another example of the movement path display of the gesture.
도 10과 도 11은 내비게이션 시스템에서의 제스처의 이동 경로 및 심볼을 디스플레이 한 일례를 도시한 것이다.10 and 11 illustrate an example of displaying a movement path and a symbol of a gesture in a navigation system.
도 12는 본 발명의 일실시예에 따른 제스처 기반 사용자 인터페이스 방법의 전 과정을 도시한 도면이다.12 is a diagram illustrating the entire process of a gesture-based user interface method according to an embodiment of the present invention.
<도면의 주요 부분에 대한 부호의 설명><Explanation of symbols for the main parts of the drawings>
110: 좌표 추출부110: coordinate extraction unit
130: 제스처 인식부130: gesture recognition unit
150: 기능 실행부150: function execution unit
151: 제스처 표시부151: gesture display unit
153: 심볼 표시부153: symbol display unit
Claims (37)
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090044544A KR101094636B1 (en) | 2009-05-21 | 2009-05-21 | System and method of gesture-based user interface |
PCT/KR2010/003073 WO2010134725A2 (en) | 2009-05-21 | 2010-05-14 | Gesture-based user interface system and method for same |
CN2010800223989A CN102483648A (en) | 2009-05-21 | 2010-05-14 | Gesture-based user interface system and method for same |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090044544A KR101094636B1 (en) | 2009-05-21 | 2009-05-21 | System and method of gesture-based user interface |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20100125703A KR20100125703A (en) | 2010-12-01 |
KR101094636B1 true KR101094636B1 (en) | 2011-12-20 |
Family
ID=43126633
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020090044544A KR101094636B1 (en) | 2009-05-21 | 2009-05-21 | System and method of gesture-based user interface |
Country Status (3)
Country | Link |
---|---|
KR (1) | KR101094636B1 (en) |
CN (1) | CN102483648A (en) |
WO (1) | WO2010134725A2 (en) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9171200B2 (en) | 2011-03-04 | 2015-10-27 | Hewlett-Packard Development Company, L.P. | Gestural interaction identification |
KR101800182B1 (en) | 2011-03-16 | 2017-11-23 | 삼성전자주식회사 | Apparatus and Method for Controlling Virtual Object |
CN103428558A (en) * | 2012-05-23 | 2013-12-04 | 深圳市同洲电子股份有限公司 | Method and device for sharing program |
JP6171016B2 (en) * | 2012-09-14 | 2017-07-26 | ワイドヴァンテージ インク | Electric device that uses a magnetic field sensor to determine user input |
CN102915348B (en) * | 2012-09-27 | 2015-09-09 | 北京百度网讯科技有限公司 | Recommend the method and system of search information to user in map |
CN103529930B (en) * | 2013-01-04 | 2016-12-28 | 努比亚技术有限公司 | The index method of menu based on somatosensory recognition, device and terminal thereof |
TWI547626B (en) | 2013-05-31 | 2016-09-01 | 原相科技股份有限公司 | Apparatus having the gesture sensor |
CN104238735A (en) * | 2013-06-13 | 2014-12-24 | 原相科技股份有限公司 | Device with gesture sensor |
CN103309617A (en) * | 2013-06-27 | 2013-09-18 | 广东威创视讯科技股份有限公司 | Method and device for rapidly recognizing gesture |
CN103413080A (en) * | 2013-08-20 | 2013-11-27 | 苏州跨界软件科技有限公司 | Password protection realization method based on gesture |
CN110083300B (en) * | 2019-04-08 | 2022-01-11 | 南京航空航天大学 | Gesture data extraction method based on distance change |
TWI709894B (en) * | 2019-12-23 | 2020-11-11 | 大陸商北京集創北方科技股份有限公司 | Gesture feature processing method and touch control module using the same |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009093291A (en) | 2007-10-04 | 2009-04-30 | Toshiba Corp | Gesture determination apparatus and method |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5390260A (en) * | 1993-06-28 | 1995-02-14 | International Business Machines, Corp. | Method and apparatus for on-line, real time recognition of stroked hand-drawn characters |
US5570113A (en) * | 1994-06-29 | 1996-10-29 | International Business Machines Corporation | Computer based pen system and method for automatically cancelling unwanted gestures and preventing anomalous signals as inputs to such system |
EP0905644A3 (en) * | 1997-09-26 | 2004-02-25 | Matsushita Electric Industrial Co., Ltd. | Hand gesture recognizing device |
CN1722063A (en) * | 2004-07-12 | 2006-01-18 | 英业达股份有限公司 | Gesture identification system and its method |
KR101185144B1 (en) * | 2006-01-24 | 2012-09-24 | 삼성전자주식회사 | Method and apparatus for estimating 2-dimension trajectory of a gesture |
KR100808543B1 (en) * | 2006-09-15 | 2008-02-29 | 한국과학기술연구원 | Apparatus and method for acquiring man movement information using stereo vision sensor |
CN101174193A (en) * | 2006-10-31 | 2008-05-07 | 佛山市顺德区顺达电脑厂有限公司 | Devices and methods for operating electronic equipments option by capturing images |
-
2009
- 2009-05-21 KR KR1020090044544A patent/KR101094636B1/en active IP Right Grant
-
2010
- 2010-05-14 CN CN2010800223989A patent/CN102483648A/en active Pending
- 2010-05-14 WO PCT/KR2010/003073 patent/WO2010134725A2/en active Application Filing
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009093291A (en) | 2007-10-04 | 2009-04-30 | Toshiba Corp | Gesture determination apparatus and method |
Also Published As
Publication number | Publication date |
---|---|
WO2010134725A3 (en) | 2011-02-24 |
KR20100125703A (en) | 2010-12-01 |
CN102483648A (en) | 2012-05-30 |
WO2010134725A2 (en) | 2010-11-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101094636B1 (en) | System and method of gesture-based user interface | |
KR101947034B1 (en) | Apparatus and method for inputting of portable device | |
US8098879B2 (en) | Information processing device, image movement instructing method, and information storage medium | |
JP4560062B2 (en) | Handwriting determination apparatus, method, and program | |
JP5724543B2 (en) | Terminal device, object control method, and program | |
KR101043944B1 (en) | Method and apparatus for providing virtual keyboard | |
KR101646616B1 (en) | Apparatus and Method for Controlling Object | |
EP3096207B1 (en) | Display control method, data process apparatus, and program | |
CN108733303B (en) | Touch input method and apparatus of portable terminal | |
JP5604279B2 (en) | Gesture recognition apparatus, method, program, and computer-readable medium storing the program | |
JP5865535B1 (en) | User interface program | |
US20090090567A1 (en) | Gesture determination apparatus and method | |
US9870144B2 (en) | Graph display apparatus, graph display method and storage medium | |
JP2019514097A (en) | Method for inserting characters in a string and corresponding digital device | |
EP2534566A2 (en) | Multi-layer user interface with flexible parallel movement | |
KR102205283B1 (en) | Electro device executing at least one application and method for controlling thereof | |
KR20100066721A (en) | Method of controlling virtual object or view point on two dimensional interactive display | |
US20170255375A1 (en) | Method and system for providing prototyping tool, and non-transitory computer-readable recording medium | |
JP2019514096A (en) | Method and system for inserting characters in a string | |
JP5567097B2 (en) | Electronic device, handwritten document display method, and display program | |
US20170315615A1 (en) | Gesture library | |
JP6033061B2 (en) | Input device and program | |
JP6131004B2 (en) | Object display method, program, and apparatus | |
KR101641063B1 (en) | Apparatus and method for controlling terminal | |
JPH08255221A (en) | Character graphic input editing device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20141209 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20151208 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20161207 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20171212 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20181206 Year of fee payment: 8 |
|
FPAY | Annual fee payment |
Payment date: 20191210 Year of fee payment: 9 |