KR101116221B1 - Touch tracing muti-touch gesture detection system and method of the same - Google Patents

Touch tracing muti-touch gesture detection system and method of the same Download PDF

Info

Publication number
KR101116221B1
KR101116221B1 KR1020100038820A KR20100038820A KR101116221B1 KR 101116221 B1 KR101116221 B1 KR 101116221B1 KR 1020100038820 A KR1020100038820 A KR 1020100038820A KR 20100038820 A KR20100038820 A KR 20100038820A KR 101116221 B1 KR101116221 B1 KR 101116221B1
Authority
KR
South Korea
Prior art keywords
gesture
touch
game
shapes
monitor
Prior art date
Application number
KR1020100038820A
Other languages
Korean (ko)
Other versions
KR20110119227A (en
Inventor
이동훈
윤태수
한상헌
이윤찬
정승대
Original Assignee
동서대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동서대학교산학협력단 filed Critical 동서대학교산학협력단
Priority to KR1020100038820A priority Critical patent/KR101116221B1/en
Publication of KR20110119227A publication Critical patent/KR20110119227A/en
Application granted granted Critical
Publication of KR101116221B1 publication Critical patent/KR101116221B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger

Abstract

본 발명은 터치 궤적 기반의 멀티 터치 제스처 인식 시스템 및 그 방법에 관한 것으로, 한 명당 1개 또는 2개의 터치 패널을 이용하여 모니터 화면에 표현된 각기 다른 2개의 제스처 모양을 동시에 입력하여 맞추는 새로운 형태의 게임을 제공한다. 또한, 통신망을 통해 연결된 복수 개의 PC를 통해 한 명당 1개 또는 2개의 터치 패널을 이용하여 모니터 화면에 표현된 각기 다른 2개의 제스처 모양을 동시에 입력하여 맞추는 1:1, 1:n, n:n, n:m 대결 형태의 게임을 제공한다.
본 발명에 의한 터치 궤적 기반의 멀티 터치 제스처 인식 방법은, (a) 멀티 터치 제스처 인식 프로그램을 설치 및 구동하는 단계와; (b) 상기 멀티 터치 제스처 인식 프로그램이 구동되면 모니터에 게임 화면을 출력한 후 게임 방법을 선택받는 단계와; (c) 상기 게임 방법이 결정되면 게임을 시작하여 상기 모니터의 화면에 두 개의 제스처 모양을 동시에 순차적으로 또는 연속적으로 출력하는 단계와; (d) 상기 화면에 제스처 모양이 출력된 후 복수 개의 터치 패널을 통해 한 사람당 두 개의 제스처 모양(신호)을 동시에 입력받는 단계와; (e) 상기 터치 패널을 통해 입력된 제스처 신호의 궤적을 각각 탐색하여 제스처 모양을 인식한 후 상기 화면에 출력된 제스처 모양과의 일치 및 유사 여부를 판단하는 단계; 및 (f) 상기 터치 패널을 통해 입력된 제스처 모양과 상기 화면에 출력된 제스처 모양이 일치하거나 유사하면 점수를 부여하는 단계;를 포함하고 있다.The present invention relates to a touch trajectory-based multi-touch gesture recognition system and a method thereof. The present invention relates to a new form of simultaneously inputting and matching two different gesture shapes represented on a monitor screen using one or two touch panels per person. Provide the game. In addition, 1: 1, 1: n, n: n are used to simultaneously input two different gesture shapes represented on the monitor screen by using one or two touch panels per person through a plurality of PCs connected through a communication network. , n: m provides a game of confrontation.
According to the present invention, a touch trajectory-based multi-touch gesture recognition method includes: (a) installing and driving a multi-touch gesture recognition program; (b) if the multi-touch gesture recognition program is driven, outputting a game screen to a monitor and selecting a game method; (c) when the game method is determined, starting a game and outputting two gesture shapes simultaneously or sequentially on the screen of the monitor; (d) simultaneously receiving two gesture shapes (signals) per person through a plurality of touch panels after the gesture shapes are output on the screen; (e) recognizing the gesture shape by searching for the trajectory of the gesture signal input through the touch panel, and then determining whether the gesture shape matches or is similar to the gesture shape output on the screen; And (f) assigning a score when the gesture shape input through the touch panel and the gesture shape output on the screen match or are similar to each other.

Description

터치 궤적 기반의 멀티 터치 제스처 인식 시스템 및 그 방법{TOUCH TRACING MUTI-TOUCH GESTURE DETECTION SYSTEM AND METHOD OF THE SAME} Touch trajectory-based multi-touch gesture recognition system and method thereof {TOUCH TRACING MUTI-TOUCH GESTURE DETECTION SYSTEM AND METHOD OF THE SAME}

본 발명은 터치 궤적 기반의 멀티 터치 제스처 인식 시스템(Muti-touch gesture detection system) 및 그 방법에 관한 것으로, 보다 상세하게는 한 명당 1개 또는 2개의 터치 패널을 이용하여 모니터 화면에 표현된 각기 다른 2개의 제스처 모양을 동시에 입력하여 맞추는 새로운 형태의 게임을 제공하는 터치 궤적 기반의 멀티 터치 제스처 인식 시스템 및 그 방법에 관한 것이다.
The present invention relates to a touch trajectory-based multi-touch gesture detection system and a method thereof, and more particularly, to display different touch screens using one or two touch panels per person. The present invention relates to a touch trajectory-based multi-touch gesture recognition system and a method for providing a new type of game by simultaneously inputting two gesture shapes.

일반적으로, 전자식 오락 게임은 별도의 게임기나 개인용 컴퓨터 등과 같은 하드웨어 장치를 이용하여 게임을 진행할 수 있도록 되어 있다. 이러한 전자식 오락 게임의 경우에는 키보드를 이용하여 게임 진행상태를 컨트롤하거나, 컨트롤 레버 및 버튼을 수동으로 조작하여 게임을 진행할 수 있도록 하고 있다.In general, the electronic entertainment game is to be able to proceed with the game using a hardware device such as a separate game machine or personal computer. In the case of such an electronic entertainment game, the game progress can be controlled using a keyboard, or the game can be performed by manually operating the control lever and the buttons.

종래의 전자식 오락 게임에 대한 선행기술을 살펴보면 다음과 같다.Looking at the prior art for the conventional electronic entertainment game as follows.

국내 공개특허 제2000-36398호(이하, '선행기술 1'이라 한다)는 컴퓨터와 인터페이스 기능을 하는 문자쓰기 장치 및 문자쓰기 장치 이용 방법에 관한 것으로, 특정 소프트웨어의 수행에 의하여 컴퓨터 모니터에 나타나는 문자(여기서 문자란 컴퓨터로 표현 가능한 모든 문자를 의미함) 모양대로 입체적으로 문자를 입체문자 쓰기 창에 표시하며, 또한 입체문자 쓰기 창에 표시된 문자를 따라서 쓰게 되면 해당 문자에 대한 음성 출력이 컴퓨터에서 나오도록 하는 입체문자 표시 장치, 사용자가 터치패널 창에 쓰는 문자 모양이 그대로 터치패널 창에 나타나면서 동시에 컴퓨터의 모니터에도 표현하는 터치패널 장치 및 상기 입체문자 표시 장치와 상기 터치패널 장치를 제어하는 컴퓨터로 구성된 것을 특징으로 하고 있다. Korean Patent Laid-Open No. 2000-36398 (hereinafter, referred to as “prior art 1”) relates to a character writing device and a method of using a character writing device that interface with a computer. (In this case, the letter means all characters that can be expressed by a computer.) Characters are displayed in the three-dimensional writing window in three dimensions as they are. Also, if you write in accordance with the characters displayed in the three-dimensional writing window, the voice output of the characters comes from the computer. A three-dimensional character display device, a touch panel device that a user writes on a touch panel window as it is displayed on a touch panel window, and simultaneously displayed on a computer monitor, and a computer that controls the three-dimensional display device and the touch panel device. It is characterized by consisting of.

상기 선행기술 1은 사용자로 하여금 숫자를 포함한 영어, 일어, 한문 등과 같은 다국어에 해당하는 문자에 대한 쓰기, 듣기, 말하기, 읽기를 훈련할 수 있는 문자쓰기 장치 및 문자쓰기 장치 이용 방법에 대한 것으로, 화면에 표현된 형태를 터치 패널을 통해 각각 입력하여 한 명 또는 여러 명이 동시에 게임을 할 수 있는 기능은 제공하지 못하고 있다.The prior art 1 relates to a character writing apparatus and a method of using a character writing apparatus that enable the user to train writing, listening, speaking, and reading of a character corresponding to a multilingual language such as English, Japanese, and Chinese, including numbers. It is not possible to provide a function that allows one or more people to play a game at the same time by inputting the form expressed on the screen through the touch panel.

국내 공개특허 제2002-4435호(이하, '선행기술 2'라 한다)는 이미지 인식을 이용한 댄스 게임시스템에 관한 것으로, 한 곡 이상의 저장된 음악 중 한 곡의 음악을 읽어내서 출력하는 음악 출력수단과, 상기 음악 출력수단의 음악에 맞춰서 CCD 카메라에 의한 촬영영역 중 임의의 영역에 대한 터치를 지시하는 터치 안내수단 및 상기 CCD 카메라에 의해 촬영되는 이미지를 분석하여 상기 터치 안내수단에 의해 지시된 임의의 공간에서의 터치 동작을 감시하는 공간터치동작 감시수단으로 구성된 것을 특징으로 하고 있다. Korean Patent Laid-Open Publication No. 2002-4435 (hereinafter referred to as 'prior art 2') relates to a dance game system using image recognition, and includes a music output means for reading and outputting one piece of music from one or more stored songs; A touch guide means for instructing a touch on an arbitrary region of the photographing area by the CCD camera in accordance with the music of the music output means, and an arbitrary image indicated by the touch guide means by analyzing an image photographed by the CCD camera. Characterized in that it comprises a space touch operation monitoring means for monitoring the touch operation in the space.

상기 선행기술 2는 음악에 맞춰 신체를 역동적으로 움직여 리듬감을 표현함과 동시에 운동효과를 얻을 수는 있지만, 모니터 화면에 표현된 두 개의 제스처 모양을 양손으로 터치 패널을 통해 동시에 입력하여 한 명 또는 여러 명이 동시에 게임을 할 수 있는 기능은 제공하지 못하고 있다.In the prior art 2, the body dynamically moves in accordance with music to express a rhythmic feeling and at the same time obtain an exercise effect, but one or several people simultaneously input two gesture shapes expressed on the monitor screen through the touch panel with both hands. At the same time, it does not provide the ability to play games.

국내 등록특허 제498166호(이하, '선행기술 3'이라 한다)는 족동식 게임 시스템 및 그 제어방법에 관한 것으로, 전자식 오락게임의 게임 진행상에 존재하는 목적물을 게임 진행자의 발에 의한 조작에 의해 이동되게 조종하기 위한 입력기능을 수행하는 족동 조작수단; 상기 족동 조작수단을 통한 게임 진행자의 발에 의한 조작으로 상기 목적물의 전환적인 조종에 의해 진행되는 전자식 오락계임의 게임 프로그램이 저장되어 있는 게임프로그램 저장수단; 상기 게임프로그램 저장수단의 게임프로그램을 실행하여 상기 족동 조작수단에서의 발 조작에 의한 입력기능을 통해 전자식 오락게임의 게임 진행상의 목적물 조종상태를 제어하는 제어수단; 및 게임프로그램의 실행에 따른 상기 제어수단의 제어하에 상기 족동 조작수단에서의 발 조작을 통해 진행되는 목적물의 조종에 의한 게임 진행상태를 모니터를 통해 가시적으로 출력하도록 비디오신호를 처리하는 비디오 처리수단을 포함하여 구성되고; 상기 게임프로그램 저장수단의 게임프로그램은 목적물로서의 테트리스 퍼즐 블록을 전환적으로 조종하여 진행하는 테트리스 게임의 게임프로그램인 것을 특징으로 하고 있다.Korean Registered Patent No. 498166 (hereinafter referred to as 'prior art 3') relates to a foot-based game system and a control method thereof, wherein the object present in the game progress of the electronic entertainment game is operated by the operator of the game host. A footfoot manipulation means for performing an input function for controlling to be moved; Game program storage means for storing a game program of an electronic entertainment system, which is operated by a switchover of the object by manipulation by the foot of the game presenter through the foot movement control means; A control means for executing a game program of the game program storage means and controlling an object manipulation state of the game progress of the electronic entertainment game through an input function by foot manipulation in the footfoot manipulation means; And video processing means for processing a video signal to visually output a game progress state through the monitor under the control of the control means according to the execution of the game program. Configured to include; The game program of the game program storage means is characterized in that the game program of the Tetris game that proceeds by controlling the Tetris puzzle block as the object.

상기 선행기술 3은 발판을 이용한 게임 진행자의 발 조작에 의해 테트리스 게임과 같은 아케이드형 게임을 진행할 수 있도록 함에 따라, 게임 진행자가 신체적으로 전체적으로 활용하여야 게임진행이 가능하게 됨에 의해 게임의 오락성이 배가될 뿐만 아니라, 체력단련이나 다이어트 등과 같은 운동 기능적인 요소를 기대할 수 있는 효과가 있지만, 모니터 화면에 표현된 두 개의 제스처 모양을 양손으로 터치 패널을 통해 동시에 입력하여 한 명 또는 여러 명이 동시에 게임을 할 수 있는 기능은 제공하지 못하고 있다.The prior art 3 allows an arcade-type game such as a Tetris game to be progressed by manipulating the foot of a game presenter using a scaffold, so that the game progression can be doubled by enabling the game progression to be fully utilized physically. In addition, it is effective to expect exercise functional elements such as fitness and diet, but one or more people can play at the same time by simultaneously inputting two gesture shapes on the monitor screen with both hands through the touch panel. It does not provide the function.

국내 등록특허 제805274호(이하, '선행기술 4'라 한다)는 게임을 이용한 인지 장애 치료 방법 및 그 기록 매체에 관한 것으로, 입력되는 인적사항을 포함하는 사용자 정보를 사용자 데이터 베이스에 저장하여 등록하는 단계; 주의력 훈련 놀이, 시공간 지각력 훈련 놀이, 기억력 훈력 놀이 및 문제해결능력 훈련 놀이에 대한 정보를 저장하는 인지 장애 치료 게임 모듈로부터 게임 정보를 독출하여 게임을 실행하는 단계; 및 상기 사용자가 상기 게임 수행시에 측정된 반응 시간의 평균과 분산을 화면에 표시하고, 상기 평균과 분산을 상기 사용자 데이터 베이스에 사용자별로 저장하는 단계를 포함하고, 상기 게임은 시각 및 청각을 통해 상기 사용자에게 제시되는 단서를 이용하여 상기 훈련 놀이들 마다 주어진 과제를 해결하는 게임을 수행하게 하고, 상기 게임 수행시의 반응 시간의 평균과 분산을 산출하는 방식인 것을 특징으로 하고 있다.Korean Registered Patent No. 805274 (hereinafter referred to as 'prior art 4') relates to a method for treating cognitive disorders using a game and a recording medium thereof, and stores and registers user information including input personal information in a user database. Making; Reading game information from a cognitive impairment therapy game module that stores information about attention training play, space-time perceptual training play, memory training play, and problem solving training play; And displaying, on the screen, an average and a variance of the reaction time measured when the user performs the game, and storing the average and the variance for each user in the user database. By using the clues presented to the user to play a game that solves a given task for each of the training play, it is characterized in that it is a method of calculating the average and variance of the reaction time when performing the game.

상기 선행기술 4는 환자가 스스로 반복학습 할 수 있어 치료자의 개입시간을 줄여 주고, 수행결과에 대하여 즉각적 피드백을 제공할 수 있으며, 환자의 수행결과에 대한 점수를 정확하게 기록하여 분석할 수 있고, 결과해석의 난이도를 일반인이 수용할 수 있으며, 특정 나라의 언어체계와 문화에 적합하도록 컨텐츠가 구성될 수 있고, 학습장애 및 주의력 결핍/과잉활동 장애 등과 같은 발달 장애를 가지고 있는 아동의 학습능력 및 주의력도 증진시킬 수 있는 게임을 이용한 인지 장애 치료 방법을 제공하지만, 모니터 화면에 표현된 두 개의 제스처 모양을 양손으로 터치 패널을 통해 동시에 입력하여 한 명 또는 여러 명이 동시에 게임을 할 수 있는 기능은 제공하지 못하고 있다.
The prior art 4 can repeat the patient himself to reduce the intervention time of the therapist, can provide immediate feedback on the performance results, can accurately record and analyze the scores of the performance results of the patients, the results Difficulty in interpretation can be accepted by the general public, content can be adapted to the language system and culture of a particular country, and learning ability and attention of children with developmental disabilities such as learning disabilities and attention deficit / hyperactivity disorder It provides a method of treating cognitive impairment using a game that can be promoted, but it does not provide a function that allows one or several people to play a game simultaneously by simultaneously inputting two gesture shapes expressed on a monitor screen through a touch panel with both hands. I can't.

전술한 문제점을 해결하기 위하여 본 발명이 이루고자 하는 기술적 과제는, 한 명당 1개 또는 2개의 터치 패널을 이용하여 모니터 화면에 표현된 각기 다른 2개의 제스처 모양을 동시에 입력하여 맞추는 새로운 형태의 게임을 제공하는 터치 궤적 기반의 멀티 터치 제스처 인식 시스템 및 그 방법을 제시하는 데 있다.The technical problem to be solved by the present invention in order to solve the above problems, by using one or two touch panels per person to provide a new type of game that simultaneously inputs and fits two different gesture shapes represented on the monitor screen A touch trajectory based multi-touch gesture recognition system and method are provided.

또한, 본 발명이 이루고자 하는 다른 기술적 과제는 통신망을 통해 연결된 복수 개의 PC를 통해 한 명당 1개 또는 2개의 터치 패널을 이용하여 모니터 화면에 표현된 각기 다른 2개의 제스처 모양을 동시에 입력하여 맞추는 1:1, 1:n, n:n, n:m 대결 형태의 게임을 제공하는 터치 궤적 기반의 멀티 터치 제스처 인식 시스템 및 그 방법을 제시하는 데 있다.
In addition, another technical problem to be achieved by the present invention is to simultaneously input two different gesture shapes represented on the monitor screen by using one or two touch panels per person through a plurality of PCs connected through a communication network 1: The present invention provides a touch trajectory-based multi-touch gesture recognition system and a method for providing a game of 1, 1: n, n: n, and n: m confrontation.

본 발명의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해되어 질 수 있을 것이다.
The problem of the present invention is not limited to those mentioned above, and other problems not mentioned will be clearly understood by those skilled in the art from the following description.

전술한 기술적 과제를 해결하기 위한 본 발명은 「터치 궤적 기반의 멀티 터치 제스처 인식 방법에 있어서,
(a) 멀티 터치 제스처 인식 프로그램을 설치 및 구동하는 단계와;
(b) 상기 멀티 터치 제스처 인식 프로그램이 구동되면 모니터에 게임 화면을 출력한 후 게임 방법을 선택받는 단계와;
(c) 상기 게임 방법이 결정되면 게임을 시작하여 상기 모니터의 화면에 두 개의 제스처 모양을 동시에 순차적으로 또는 연속적으로 출력하는 단계와;
(d) 상기 화면에 제스처 모양이 출력된 후 복수 개의 터치 패널을 통해 한 사람당 두 개의 제스처 모양(신호)을 동시에 입력받는 단계와;
(e) 상기 터치 패널을 통해 입력된 제스처 신호의 궤적을 각각 탐색하여 제스처 모양을 인식한 후 상기 화면에 출력된 제스처 모양과의 일치 및 유사 여부를 판단하는 단계; 및
(f) 상기 터치 패널을 통해 입력된 제스처 모양과 상기 화면에 출력된 제스처 모양이 일치하거나 유사하면 점수를 부여하는 단계;
를 포함하되,
상기 (a) 단계에서 상기 멀티 터치 제스처 인식 프로그램은 상기 터치 패널을 통해 제스처 모양의 신호가 입력된 후 터치가 끊어진 상태에서 다른 제스처 모양의 신호가 곧바로 입력되면 처음에 입력된 제스처 모양의 신호로 동작을 구분하고,
상기 터치 패널을 통해 입력되는 제스처 모양이 도중에 끊어지지 않고 다른 제스처 모양으로 변화되었을 때 마지막에 입력된 제스처 모양의 신호로 동작을 구분하고,
상기 (c) 단계에서 상기 화면을 통해 출력되는 제스처 모양은 오른쪽 방향 가로선, 왼쪽 방향 가로선, 위쪽 방향 세로선, 아래쪽 방향 세로선, 시계 방향 원, 반시계 방향 원을 포함한 제스처 모양 중 한 개 또는 두 개의 제스처 모양을 포함하고,
상기 (e) 단계에서 상기 터치 패널을 통해 입력된 제스처 모양의 인식은 상기 터치 패널을 통해 입력된 제스처 모양의 궤적을 탐색하여 각 동작을 이루는데 필요한 최소한의 조건(길이, 가로 및 세로의 변화율, 궤적의 평균 중심으로부터 회전된 각도)을 충족하는지 판단하고, 조건이 충족되면 각 동작의 정확도를 측정하여 가장 정확도가 높은 동작을 상기 입력된 제스처 모양의 동작으로 인식하는 것을 특징으로 하는 터치 궤적 기반의 멀티 터치 제스처 인식 방법.」을 과제 해결 수단으로 한다.
The present invention for solving the above-described technical problem "In the touch trajectory-based multi-touch gesture recognition method,
(a) installing and driving a multi-touch gesture recognition program;
(b) if the multi-touch gesture recognition program is driven, outputting a game screen to a monitor and selecting a game method;
(c) when the game method is determined, starting a game and outputting two gesture shapes simultaneously or sequentially on the screen of the monitor;
(d) simultaneously receiving two gesture shapes (signals) per person through a plurality of touch panels after the gesture shapes are output on the screen;
(e) recognizing the gesture shape by searching for the trajectory of the gesture signal input through the touch panel, and then determining whether the gesture shape matches or is similar to the gesture shape output on the screen; And
(f) assigning a score when the gesture shape input through the touch panel and the gesture shape output on the screen match or are similar to each other;
Including,
In the step (a), the multi-touch gesture recognition program operates as a gesture-type signal initially inputted when another gesture-shaped signal is immediately input in a state in which a touch is disconnected after the gesture-like signal is input through the touch panel. , Then
When the gesture shape inputted through the touch panel is changed to another gesture shape without being cut off in the middle, the operation is divided into signals of the last gesture input signal,
In the step (c), the gesture shape output through the screen may include one or two gestures including a right horizontal line, a left horizontal line, a vertical vertical line, a vertical vertical line, a clockwise circle, and a counterclockwise circle. Including shapes,
Recognition of the gesture shape input through the touch panel in the step (e) is a minimum condition (length, horizontal and vertical rate of change, The rotation angle from the average center of the trajectory), and if the condition is satisfied, the accuracy of each motion is measured to recognize the most accurate motion as the input gesture shape motion. Multi-touch gesture recognition method. "Is a problem solving means.

그리고 본 발명은, 「터치 궤적 기반의 멀티 터치 제스처 인식 시스템에 있어서,
멀티 터치 제스처 인식 프로그램을 저장한 메모리와;
상기 멀티 터치 제스처 인식 프로그램의 구동에 의해 게임이 시작되면 두 개의 제스처 모양을 동시에 순차적으로 또는 연속적으로 출력하는 모니터와;
상기 모니터에 제스처 모양이 출력된 후 게임 참가자로부터 두 개의 제스처 신호를 입력받는 복수 개의 터치 패널; 및
상기 멀티 터치 제스처 인식 프로그램을 구동하여 상기 모니터에 두 개의 제스처 모양을 동시에 순차적으로 또는 연속적으로 출력하고, 상기 복수 개의 터치 패널을 통해 입력된 제스처 신호(모양)를 각각 인식하여 상기 모니터에 출력된 제스처 모양과의 일치 및 유사 여부를 판단하여 상기 모니터에 점수로 표시하는 제어부;
를 포함하되,
상기 모니터를 통해 각기 다른 또는 같은 두 개의 제스처 모양을 동시에 순차적으로 또는 연속적으로 출력하여, 한 사람당 한 개 또는 두 개의 터치 패널을 통해 두 개의 제스처 모양을 동시에 입력받아 제스처 모양을 맞추는 게임을 하며, 단독 게임 또는 1:1, 1:n, n:n, n:m 대결 형태의 게임 중 하나를 선택받아 진행하는 것을 특징으로 하는 터치 궤적 기반의 멀티 터치 제스처 인식 시스템.」을 다른 과제 해결 수단으로 한다.
And the present invention, "in the touch trajectory-based multi-touch gesture recognition system,
A memory storing a multi-touch gesture recognition program;
A monitor for outputting two gesture shapes sequentially or sequentially simultaneously when the game is started by driving the multi-touch gesture recognition program;
A plurality of touch panels configured to receive two gesture signals from a game participant after a gesture shape is output to the monitor; And
Gestures output to the monitor by driving the multi-touch gesture recognition program and outputting two gesture shapes simultaneously or sequentially to the monitor, and recognizing gesture signals (shapes) input through the plurality of touch panels, respectively. A control unit for determining whether or not to match the shape and the similarity as a score on the monitor;
Including,
Two or more different gesture shapes are output simultaneously or sequentially through the monitor, and two or more gestures can be simultaneously input through one or two touch panels for each person to play a game that matches the gesture shapes. A touch trajectory-based multi-touch gesture recognition system characterized in that a game or one of 1: 1, 1: n, n: n, and n: m confrontation games are selected and proceeded. .

삭제delete

삭제delete

삭제delete

삭제delete

삭제delete

삭제delete

삭제delete

본 발명에 따르면, 한 명당 1개 또는 2개의 터치 패널을 이용하여 모니터 화면에 표현된 각기 다른 2개의 제스처 모양을 동시에 입력하여 맞추는 새로운 형태의 게임을 제공함으로써, 재미와 흥미를 유발하고 지능발달에 도움을 줄 수 있다.According to the present invention, by providing a new type of game that simultaneously inputs and fits two different gesture shapes expressed on a monitor screen by using one or two touch panels per person, inducing fun and interest and improving intelligence. It can help.

또한, 본 발명에서는 통신망을 통해 연결된 복수 개의 PC를 통해 한 명당 1개 또는 2개의 터치 패널을 이용하여 모니터 화면에 표현된 각기 다른 2개의 제스처 모양을 동시에 입력하여 맞추는 1:1, 1:n, n:n, n:m 대결 형태의 게임을 제공함으로써, 온라인을 통해 여러 명이 함께 게임을 즐길 수 있는 효과가 있다.
In addition, in the present invention, 1: 1, 1: n, which simultaneously inputs and fits two different gesture shapes represented on the monitor screen using one or two touch panels per person through a plurality of PCs connected through a communication network. By providing n: n, n: m confrontation type games, it is effective for several people to play the game together online.

본 발명의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해되어 질 수 있을 것이다.
The effects of the present invention are not limited to those mentioned above, and other effects that are not mentioned will be clearly understood by those skilled in the art from the following description.

도 1은 본 발명의 바람직한 실시 예에 의한 터치 궤적 기반의 멀티 터치 제스처 인식 시스템의 구성도
도 2는 터치 제스처의 동작 예를 나타낸 예시도
도 3은 끊어지지 않고 연속으로 입력된 제스처 변화를 구분하는 방법을 설명하기 위한 설명도
도 4는 본 발명의 바람직한 실시 예에 의한 터치 궤적 기반의 멀티 터치 제스처 인식 방법을 나타낸 흐름도
도 5는 도 4에서 입력된 제스처 모양(신호)을 인식하고 화면에 출력된 제스처 모양과의 일치 및 유사 여부를 판단하는 방법을 나타낸 흐름도
도 6a 내지 도 6c는 입력된 제스처 모양의 궤적을 탐색하여 각 동작을 이루는데 필요한 최소한의 조건을 충족시키는지를 검사하는 방법에 대한 설명도
도 7a 내지 도 7c는 각 동작의 정확도를 측정하여 입력된 제스처 모양의 동작을 인식하는 방법에 대한 설명도
도 8은 멀티 터치 제스처 인식 게임의 예를 보인 화면
도 9는 멀티 터치 제스처 인식 게임의 제 1 방법을 나타낸 예시도
도 10은 멀티 터치 제스처 인식 게임의 제 2 방법을 나타낸 예시도
도 11은 멀티 터치 제스처 인식 게임의 제 3 방법을 나타낸 예시도1 is a configuration diagram of a touch trajectory based multi-touch gesture recognition system according to an exemplary embodiment of the present invention.
2 is an exemplary view illustrating an operation example of a touch gesture.
3 is an explanatory diagram for explaining a method of distinguishing a continuously input gesture change without breaking;
4 is a flowchart illustrating a touch trajectory based multi-touch gesture recognition method according to an exemplary embodiment of the present invention.
FIG. 5 is a flowchart illustrating a method of recognizing a gesture shape (signal) input in FIG. 4 and determining whether the gesture shape is identical or similar to a gesture shape output on a screen.
6A to 6C are explanatory diagrams of a method of checking a trace of an input gesture shape and checking whether a minimum condition necessary to accomplish each operation is satisfied.
7A to 7C are explanatory diagrams illustrating a method of recognizing a gesture action input by measuring the accuracy of each gesture.
8 is a screen illustrating an example of a multi-touch gesture recognition game.
9 is an exemplary view showing a first method of a multi-touch gesture recognition game.
10 is an exemplary view showing a second method of a multi-touch gesture recognition game.
11 is an exemplary view showing a third method of a multi-touch gesture recognition game.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명되는 실시 예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙여 설명하기로 한다.DETAILED DESCRIPTION Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention. As those skilled in the art would realize, the described embodiments may be modified in various different ways, all without departing from the spirit or scope of the present invention. In order to clearly explain the present invention in the drawings, parts not related to the description are omitted, and similar parts are denoted by similar reference numerals throughout the specification.

이하, 본 발명에서 실시하고자 하는 구체적인 기술내용에 대해 첨부도면을 참조하여 상세하게 설명하기로 한다.
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.

터치 궤적 기반의 멀티 터치 제스처 인식 시스템의 실시 예Embodiment of Touch Trajectory Based Multi-Touch Gesture Recognition System

도 1은 본 발명의 바람직한 실시 예에 의한 터치 궤적 기반의 멀티 터치 제스처 인식 시스템의 구성도이다.1 is a block diagram of a touch trajectory based multi-touch gesture recognition system according to an exemplary embodiment of the present invention.

본 발명에 의한 터치 궤적 기반의 멀티 터치 제스처 인식 시스템은 도 1에 도시된 바와 같이, 복수 개의 터치 패널(110), 모니터(120), 메모리(140), 멀티 터치 제스처 인식 프로그램(150), 제어부(160)를 포함하며, 여기에 스피커(130)를 추가로 포함할 수 있다.As shown in FIG. 1, the touch trajectory-based multi-touch gesture recognition system according to the present invention includes a plurality of touch panels 110, a monitor 120, a memory 140, a multi-touch gesture recognition program 150, and a controller. 160, and may further include a speaker 130.

상기 복수 개의 터치 패널(110)은 게임 참가자가 제스처 모양을 터치로 입력하는 터치 입력장치로서, 한 명당 두 개의 터치 패널이 구비된다. 이에 의해, 게임 참가자는 모니터(120)의 화면에 출력되는 두 개의 제스처 모양을 보고 두 개의 터치 패널(110)을 통해 양손으로 두 개의 제스처 모양을 동시에 입력하면서 맞추는 게임을 하게 된다.The plurality of touch panels 110 are touch input devices in which a game participant inputs a gesture shape by a touch, and two touch panels are provided for each person. As a result, the game participant sees two gesture shapes output on the screen of the monitor 120, and plays a game of simultaneously matching two gesture shapes with both hands through the two touch panels 110.

상기 모니터(120)는 상기 멀티 터치 제스처 인식 프로그램(150)의 구동에 의해 게임이 시작되면 두 개의 제스처 모양을 동시에 화면에 출력한다. 이때, 상기 모니터(120)에 동시에 출력되는 두 개의 제스처 모양은 순차적으로 또는 연속적으로 출력할 수 있다.When the game starts by driving the multi-touch gesture recognition program 150, the monitor 120 simultaneously outputs two gesture shapes on the screen. In this case, two gesture shapes simultaneously output to the monitor 120 may be sequentially or sequentially output.

상기 메모리(140)는 상기 멀티 터치 제스처 인식 프로그램(150)을 저장하는 저장 공간으로서, 램(RAM), 플래시 메모리, 하드디스크 등 PC 내부에 설치된 저장공간을 모두 포함한다. The memory 140 is a storage space for storing the multi-touch gesture recognition program 150 and includes all the storage spaces installed in a PC such as a RAM, a flash memory, a hard disk, and the like.

상기 멀티 터치 제스처 인식 프로그램(150)은 상기 모니터(120)를 통해 각기 다른 또는 같은 두 개의 제스처 모양을 동시에 순차적으로 또는 연속적으로 출력하여, 게임 참가자의 한 사람당 두 개의 터치 패널(110)을 통해 두 개의 제스처 모양을 동시에 입력받아 제스처 모양을 맞추는 게임 프로그램으로서, 게임 참가자가 게임 방법(단독 게임, 1:1, n:n, n:m 대결 형태의 게임 등)을 선택할 수 있도록 제공한다. 상기 멀티 터치 제스처 인식 프로그램(150)에 대해서는 후술하는 도 2 내지 도 11에서 더 상세히 설명하기로 한다.The multi-touch gesture recognition program 150 outputs two or the same two or more gesture shapes simultaneously or sequentially through the monitor 120, thereby providing two through two touch panels 110 per person of the game participant. A game program that matches the gesture shape by receiving two gesture shapes simultaneously, and provides a game participant to select a game method (single game, 1: 1, n: n, n: m confrontation type game, etc.). The multi-touch gesture recognition program 150 will be described in more detail later with reference to FIGS. 2 to 11.

상기 제어부(160)는 상기 멀티 터치 제스처 인식 프로그램(150)을 구동하여 상기 멀티 터치 제스처 인식 프로그램(150)에 의해 상기 모니터(120)의 화면에 두 개의 제스처 모양을 동시에 순차적으로 또는 연속적으로 출력하고, 상기 복수 개의 터치 패널(110)을 통해 입력된 각각의 제스처 신호(모양)를 인식하여 상기 모니터(120)에 출력된 제스처 모양과의 일치 및 유사 여부를 판단하여 상기 모니터(120)에 점수로 표시하도록 제어한다.The controller 160 drives the multi-touch gesture recognition program 150 to output two gesture shapes simultaneously or sequentially at the same time on the screen of the monitor 120 by the multi-touch gesture recognition program 150. Recognizing each gesture signal (shape) input through the plurality of touch panels 110 to determine the match and similarity to the shape of the gesture output to the monitor 120 as a score on the monitor 120 Control to display.

또한, 상기 제어부(160)는 상기 모니터(120)의 화면에 출력되는 제스처 모양을 상기 스피커(130)를 통해 음성으로 출력하거나 또는 상기 복수 개의 터치 패널(110)을 통해 입력된 제스처 신호가 상기 모니터(120)의 화면에 출력된 제스처 모양과 일치 또는 유사할 때 상기 스피커(130)를 통해 음성 또는 음악소리를 출력하도록 제어할 수도 있다.In addition, the controller 160 outputs a gesture shape output on the screen of the monitor 120 as a voice through the speaker 130 or a gesture signal input through the plurality of touch panels 110. When the shape of the gesture 120 is identical to or similar to the gesture shape output on the screen, the speaker 130 may control to output a voice or music sound.

이하, 첨부도면을 참조하여 본 발명에 의한 터치 궤적 기반의 멀티 터치 제스처 인식 시스템의 동작 원리에 대해 상세히 설명하기로 한다.
Hereinafter, the operation principle of the touch trajectory based multi-touch gesture recognition system according to the present invention will be described in detail with reference to the accompanying drawings.

터치 제스처의 동작 예Example of operation of touch gestures

도 2는 터치 제스처의 동작 예를 나타낸 예시도이고, 도 3은 끊어지지 않고 연속으로 입력된 제스처 변화를 구분하는 방법을 설명하기 위한 설명도이다. 2 is an exemplary diagram illustrating an operation example of a touch gesture, and FIG. 3 is an explanatory diagram for describing a method of distinguishing a gesture change continuously input without breaking.

상기 터치 제스처는 도 2에 나타낸 바와 같이, 오른쪽 방향 가로선(A), 왼쪽 방향 가로선(B), 위쪽 방향 세로선(C), 아래쪽 방향 세로선(D), 시계 방향 원(E), 반시계 방향 원(F) 등 6가지 동작으로 구분되어 있다. 여기서, 상기 터치 제스처는 설명의 편의상 6가지 동작의 예를 나타낸 것으로, 이외에 다른 모양이나 형태로 얼마든지 구현할 수 있다. As shown in FIG. 2, the touch gesture includes a right horizontal line A, a left horizontal line B, a vertical vertical line C, a vertical vertical line D, a clockwise circle E, and a counterclockwise circle. It is divided into six operations such as (F). Here, the touch gesture is an example of six operations for convenience of description, and can be implemented in any number of other shapes or forms.

상기 멀티 터치 제스처 인식 프로그램(150)은 하나의 터치 패널을 통해 한 개의 제스처 모양의 신호가 입력된 후 터치가 끊어진 상태에서 다른 제스처 모양의 신호가 곧바로 입력되면 처음에 입력된 제스처 모양의 신호로 동작을 구분한다. 그리고, 하나의 터치 패널을 통해 입력되는 제스처 모양이 도중에 끊어지지 않고 다른 제스처 모양으로 변화되었을 때 마지막에 입력된 제스처 모양의 신호로 동작을 구분한다. 즉, 도 3에 나타낸 바와 같이, 가로선의 입력 도중에 터치 지점이 끊어지지 않고 원형으로 변화하였을 때 뒤에 입력된 원형의 제스처 모양을 가지고 동작을 구분한다.
The multi-touch gesture recognition program 150 operates as a gesture-type signal initially inputted when a signal of a gesture shape is input through one touch panel and then another signal of a gesture shape is immediately input in a state in which the touch is cut off. Separate When the gesture shape inputted through one touch panel is changed to another gesture shape without being cut off in the middle, the operation is divided into a gesture signal input last. That is, as shown in FIG. 3, when the touch point is changed to the circle without breaking during the input of the horizontal line, the operation is distinguished by the circular gesture shape input behind.

터치 궤적 기반의 멀티 터치 제스처 인식 방법의 실시 예An embodiment of a touch trajectory based multi-touch gesture recognition method

도 4는 본 발명의 바람직한 실시 예에 의한 터치 궤적 기반의 멀티 터치 제스처 인식 방법을 나타낸 흐름도이다.4 is a flowchart illustrating a touch trajectory based multi-touch gesture recognition method according to an exemplary embodiment of the present invention.

도 1 및 도 4를 참조하여 설명하면, 상기 멀티 터치 제스처 인식 프로그램(150)을 PC에 설치한 후 구동한다(단계 S100).Referring to FIGS. 1 and 4, the multi-touch gesture recognition program 150 is installed in a PC and then driven (step S100).

상기 멀티 터치 제스처 인식 프로그램(150)이 구동되면 상기 모니터(120)에 게임 화면이 출력되고(단계 S110), 이어서 게임 방법을 선택하는 화면이 나타난다. 이때, 게임 참가자가 원하는 게임 방법(단독 게임, 1:1, 1:n, n:n, n:m 대결 형태의 게임 등)을 선택한 후(단계 S120), 게임 시작 버튼을 클릭하면 멀티 터치 제스처 인식 게임이 시작된다(단계 S130). When the multi-touch gesture recognition program 150 is driven, a game screen is output to the monitor 120 (step S110), and then a screen for selecting a game method appears. At this time, the game participant selects the desired game method (single game, 1: 1, 1: n, n: n, n: m match type game, etc.) (step S120), and then clicks the game start button to perform a multi-touch gesture. The recognition game starts (step S130).

상기 멀티 터치 제스처 인식 게임이 시작되면, 상기 모니터(120)의 화면에 두 개의 제스처 모양이 동시에 순차적으로 또는 연속적으로 출력된다(단계 S140). 이때, 상기 모니터(120)의 화면에 출력되는 두 개의 제스처 모양은 서로 다른 모양을 가지거나 서로 같은 모양을 가질 수도 있다.When the multi-touch gesture recognition game is started, two gesture shapes are simultaneously or sequentially output on the screen of the monitor 120 (step S140). In this case, two gesture shapes output on the screen of the monitor 120 may have different shapes or may have the same shape.

상기 게임 참가자는 상기 모니터(120)의 화면에 출력된 두 개의 제스처 모양을 보고, 양손으로 두 개의 터치 패널(110)을 통해 상기 모니터(120)의 화면에 출력된 두 개의 제스처 모양을 동시에 그려서 입력한다(단계 S150).The game participant sees two gesture shapes output on the screen of the monitor 120, and simultaneously draws two gesture shapes output on the screen of the monitor 120 through two touch panels 110 with both hands. (Step S150).

상기 제어부(160)에서는 상기 멀티 터치 제스처 인식 프로그램(150)에 따라 상기 터치 패널(110)을 통해 입력된 제스처 신호의 궤적을 각각 탐색하여 제스처 모양을 인식한 다음(단계 S160), 상기 터치 패널(110)을 통해 입력된 제스처 신호와 상기 모니터(120)의 화면에 출력된 제스처 모양을 비교하여 일치 및 유사 여부를 판단한다(단계 S170). 이때, 상기 제스처 모양을 인식하는 방법과 제스처 모양의 일치 및 유사 여부를 판단하는 방법에 대해서는 후술하는 도 5에서 상세히 설명하기로 한다.The controller 160 recognizes a gesture shape by searching for a trace of a gesture signal input through the touch panel 110 according to the multi-touch gesture recognition program 150 (step S160), and then touches the touch panel ( The gesture signal input through 110 and the gesture shape output on the screen of the monitor 120 are compared to determine whether there is a match or similarity (S170). In this case, a method of recognizing the gesture shape and a method of determining whether the gesture shape is identical or similar will be described in detail later with reference to FIG. 5.

상기 터치 패널(110)을 통해 입력된 제스처 모양과 상기 모니터(120)의 화면에 출력된 제스처 모양이 서로 일치하거나 유사하면(단계 S180의 '예') 제스처 모양을 맞춘 게임 참가자에게 점수를 부여(단계 S190)한 후 계속 게임을 진행하고, 서로 일치하지 않거나 유사하지 않으면(단계 S180의 '아니오') 틀린 횟수를 누적하도록 한다(단계 S210). 이때, 틀린 횟수에 대해 규칙을 정하여 정해진 횟수가 되면(단계 S220의 '예') 게임을 종료하고, 그렇지 않으면(단계 S220의 '아니오') 게임을 계속하도록 한다.If the gesture shape input through the touch panel 110 and the gesture shape output on the screen of the monitor 120 match or are similar to each other (YES in step S180), a score is given to a game participant who matches the gesture shape ( After the step S190), the game is continued, and if the numbers do not match or are not similar to each other (NO in step S180), the wrong number of times is accumulated (step S210). At this time, a rule is set for the wrong number of times and the game ends when the number of times is determined (YES in step S220), and the game continues otherwise (No in step S220).

상기 게임을 진행하는 도중에 게임종료 신호가 입력되면(단계 S200의 '예') 상기 멀티 터치 제스처 인식 프로그램(150)을 종료하고, 그렇지 않으면 상기 단계 S140) 이후의 과정을 반복 수행한다.
If a game end signal is input while the game is in progress (YES in step S200), the multi-touch gesture recognition program 150 ends, otherwise the process subsequent to step S140 is repeatedly performed.

제스처 모양의 인식과 일치 및 유사 여부 판단 방법How to recognize and match gesture shapes

도 5는 도 4에서 입력된 제스처 모양(신호)을 인식하고 화면에 출력된 제스처 모양과의 일치 및 유사 여부를 판단하는 방법을 나타낸 흐름도이다.5 is a flowchart illustrating a method of recognizing a gesture shape (signal) input in FIG. 4 and determining whether the gesture shape (signal) is matched or similar to the gesture shape output on the screen.

상기 복수 개의 터치 패널(110)을 통해 제스처 모양(신호)이 입력되면, 상기 멀티 터치 제스처 인식 프로그램(150)에서는 입력된 제스처 모양의 길이가 동작을 추출할 정도로 적당한 길이를 가지는 지를 판단한다(단계 S310). 이때, 길이가 적당하지 않으면(단계 S310의 '아니오') 인식 실패로 간주(단계 S311)하여 틀린 횟수로 누적하게 된다.When a gesture shape (signal) is input through the plurality of touch panels 110, the multi-touch gesture recognition program 150 determines whether the length of the input gesture shape has a suitable length enough to extract an operation (step) S310). At this time, if the length is not appropriate (NO in step S310), it is regarded as a recognition failure (step S311) and accumulates at an incorrect number of times.

상기 입력된 제스처 모양이 적당한 길이를 가지고 있으면(단계 S310의 '예'), 상기 입력된 제스처 모양에서 마지막으로 입력된 지점부터 거꾸로 탐색하여 각 동작을 이루는데 필요한 최소한의 조건을 충족시키는 지를 검사한다(단계 S320). 이때, 상기 검사 방법에 대해서는 후술하는 도 6a 내지 도 6c에서 상세히 설명하기로 한다.If the input gesture shape has an appropriate length (YES in step S310), the input gesture shape is searched backwards from the last input point to check whether the minimum condition necessary to achieve each operation is satisfied. (Step S320). In this case, the inspection method will be described in detail later with reference to FIGS. 6A to 6C.

상기 입력된 제스처 모양이 각 동작을 이루는데 필요한 최소한의 조건을 충족하면(단계 S330의 '예') 상기 입력된 제스처 모양의 각 동작에 대해 정확도를 측정하고(단계 S340), 그렇지 않으면(단계 S330의 '아니오') 인식 실패로 간주한다(단계 S331). 여기서, 상기 각 동작에 대한 정확도를 측정하는 이유는 상기 입력된 제스처 모양이 어떠한 동작에 가장 근접했는지를 확률적으로 판단하여 정확도가 가장 높은 동작을 상기 입력된 제스처 모양의 동작으로 인식하기 위해서이다. 상기 정확도의 측정 방법에 대해서는 후술하는 도 7a 내지 도 7c에서 상세히 설명하기로 한다.If the input gesture shape satisfies the minimum conditions necessary to achieve each operation (YES in step S330), the accuracy is measured for each operation of the input gesture shape (step S340), otherwise (step S330). 'No') is regarded as a recognition failure (step S331). The reason for measuring the accuracy of each gesture is to determine probably which motion the input gesture shape is closest to and recognize the motion having the highest accuracy as the motion of the input gesture shape. The method of measuring the accuracy will be described in detail later with reference to FIGS. 7A to 7C.

상기 정확도가 가장 높은 동작을 상기 입력된 제스처 모양의 동작으로 인식한다(단계 S350).The operation having the highest accuracy is recognized as an operation of the input gesture shape (step S350).

그 다음, 상기 멀티 터치 제스처 인식 프로그램(150)에서 상기 모니터(120)의 화면에 출력된 제스처 모양의 동작과 상기 입력된 제스처 모양의 인식된 동작을 비교하여 일치 여부를 판단한다(단계 S360). 이때, 동작이 일치하면(단계 S370의 '예') 동작 완벽 일치로 간주하여(단계 S371) 해당 게임 참가자에게 점수를 부여하고, 동작이 일치하지 않으면(단계 S370의 '아니오') 동작의 유사 여부를 판단한다(단계 S380).Next, the multi-touch gesture recognition program 150 compares the gesture-shaped operation output on the screen of the monitor 120 with the recognized gesture of the input gesture-shaped to determine whether there is a match (step S360). At this time, if the motions match (YES in step S370), the game is considered to be a perfect match (step S371), and the game participant is given a score, and if the motions do not match (no in step S370), the motion is similar. It is determined (step S380).

상기 단계 S380에서 상기 모니터(120)의 화면에 출력된 제스처 모양의 동작과 상기 입력된 제스처 모양의 인식된 동작이 유사하면(단계 S390의 '예') 동작 일치로 간주하여(단계 S391) 해당 게임 참가자에게 점수를 부여하고, 동작이 일치하지 않으면(단계 S390의 '아니오') 동작 불일치로 판단한다(단계 S400). If the gesture-like operation output on the screen of the monitor 120 and the recognized gesture of the input gesture shape are similar in step S380 (YES in step S390), the game is regarded as a motion match (step S391). A score is given to the participant, and if the motion does not match (NO in step S390), it is determined as a motion mismatch (step S400).

여기서, 본 발명에서는 상기 멀티 터치 제스처 인식 프로그램(150)에 따라 상기 동작의 일치 여부만 활용하고, 추가적으로 유사 여부를 활용할 수 있다. 이때, 상기 유사 여부는 상기 입력된 제스처 모양에 대해 인식된 동작의 정확도를 가지고 판단할 수 있다. 이때, 동작의 정확도를 측정하는 방법은 후술하는 도 7a 내지 도 7c와 같다.
Here, according to the present invention, only the match of the operation may be used according to the multi-touch gesture recognition program 150, and the similarity may be additionally used. In this case, the similarity may be determined with the accuracy of the recognized operation with respect to the input gesture shape. At this time, the method of measuring the accuracy of the operation is the same as Figures 7a to 7c to be described later.

제스처 모양의 인식 방법How gestures are recognized

도 6a 내지 도 6c는 입력된 제스처 모양의 궤적을 탐색하여 각 동작을 이루는데 필요한 최소한의 조건을 충족시키는지를 검사하는 방법에 대한 설명도이고, 도 7a 내지 도 7c는 각 동작의 정확도를 측정하여 입력된 제스처 모양의 동작을 인식하는 방법에 대한 설명도이다.6A to 6C are explanatory diagrams of a method of checking whether a trace of an input gesture shape is satisfied to meet minimum conditions necessary to achieve each operation, and FIGS. 7A to 7C are measured by measuring the accuracy of each operation. An illustration of a method of recognizing an input gesture action.

먼저, 입력된 제스처 모양의 궤적을 탐색하여 각 동작을 이루는데 필요한 최소한의 조건을 충족시키는지를 검사하는 방법은 다음과 같다. First, a method of searching for a trace of an input gesture shape and checking whether it meets a minimum condition necessary to achieve each operation is as follows.

일반적으로, 가로선의 경우에는 세로의 변화가 적으며 가로의 변화가 단조 증가하거나 단조 감소하게 된다(도 6a 참조). 그리고, 세로선의 경우에는 가로의 변화가 적으며 세로의 변화가 단조 증가하거나 단조 감소하게 된다(도 6b 참조). 또한, 원형의 경우에는 궤적의 평균 중심으로부터 각 지점의 각도를 측정하여 180°이상 회전하는 모양을 갖는다(도 6c 참조). In general, in the case of a horizontal line, the change in length is small and the change in width is monotonically increasing or monotonically decreasing (see FIG. 6A). In the case of the vertical line, the change in the horizontal is small and the change in the length is monotonically increased or monotonically decreased (see FIG. 6B). In addition, in the case of a circular shape, the angle of each point is measured from the average center of the trajectory to have a shape that rotates by 180 ° or more (see FIG. 6C).

따라서, 상기 터치 패널을 통해 입력된 제스처 모양의 궤적을 탐색하여 각 동작을 이루는데 필요한 최소한의 조건(길이, 가로 및 세로의 변화율, 궤적의 평균 중심으로부터 회전된 각도 등)을 충족하는지 판단한다. 이때, 각 조건을 충족시키는 지점을 최대한 길게 연결하고, 조건을 만족시키지 못하는 지점(에러 지점)이 연속되면 중단하고, 중단된 시점의 길이를 저장한다.Accordingly, the user may search for a gesture-shaped trajectory input through the touch panel to determine whether the minimum conditions (length, horizontal and vertical change rate, angle rotated from the average center of the trajectory, etc.) necessary to accomplish each operation are satisfied. At this time, the points satisfying each condition are connected as long as possible, and if the point (error point) that does not satisfy the condition is continuously stopped, the length of the stopped point is stored.

다음으로, 각 동작의 정확도를 측정하여 입력된 제스처 모양의 동작을 인식하는 방법은 다음과 같다.Next, a method of recognizing an input gesture shape motion by measuring the accuracy of each motion is as follows.

먼저, 가로선의 경우에는 궤적의 평균 세로 위치를 계산하여 각 지점이 평균에서 얼마나 차이가 나는지 오류를 측정한다(도 7a 참조). 그리고 세로선의 경우에는 궤적의 평균 가로 위치를 계산하여 각 지점이 평균에서 얼마나 차이가 나는지 오류를 측정한다(도 7b 참조). 또한, 원형의 경우에는 전체 궤적을 3등분 하여 각 부분에서 임의의 지점을 선택하여(3 지점) 각 지점이 이루는 삼각형의 외접원 중심을 계산한다(A). 동일한 계산을 수회 반복한 후 원 중심을 설정한다(B). 그리고 평균 중심에서 각 지점까지의 거리를 계산하고 평균을 산출하여 반지름을 설정한다(C). 그 후, 입력 범위 내의 모든 지점과 중심 사이의 거리가 반지름과 얼마나 차이가 나는지 오류를 측정한다(C). 이때, 각 동작들은 완벽한 형태에 가까울수록 100%에 수렴한다.
First, in the case of the horizontal line, the average longitudinal position of the trajectory is calculated to measure the error of how much each point differs from the average (see FIG. 7A). In the case of the vertical line, the average horizontal position of the trajectory is calculated to measure an error of how much each point differs from the average (see FIG. 7B). In the case of a circular shape, the entire trajectory is divided into three parts, and an arbitrary point is selected from each part (three points) to calculate the circumscribed circle center of the triangle formed by each point (A). Repeat the same calculation several times and set the circle center (B). The radius is calculated by calculating the distance from the mean center to each point and calculating the average (C). The error is then measured (C) how far the distance between all points and centers in the input range differs from the radius. At this time, each operation converges to 100% as the closer to the perfect form.

멀티 터치 제스처 인식 게임의 제 1 방법(단독 게임)First method (multiplayer game) of multi-touch gesture recognition game

도 8은 멀티 터치 제스처 인식 게임의 예를 보인 화면이고, 도 9는 멀티 터치 제스처 인식 게임의 제 1 방법(단독 게임)을 나타낸 예시도이다.8 is a screen illustrating an example of a multi-touch gesture recognition game, and FIG. 9 is an exemplary diagram illustrating a first method (alone game) of the multi-touch gesture recognition game.

상기 멀티 터치 제스처 인식 게임의 제 1 방법은 도 8 및 도 9에 나타낸 바와 같이, 상기 모니터(120)의 화면을 통해 각기 다른 또는 같은 두 개의 제스처 모양을 동시에 순차적으로 또는 연속적으로 출력한 다음, 게임 참가자로부터 두 개의 터치 패널(110)을 통해 두 개의 제스처 모양을 동시에 입력받아 제스처 모양을 맞추는 게임이다. 이때, 게임 참가자는 두 개의 터치 패널(110)에 한 손씩 얹어서 양손을 이용하여 상기 모니터(120) 화면에 표현된 제스처 모양을 각각 터치로 입력한다. In the first method of the multi-touch gesture recognition game, as shown in FIGS. 8 and 9, two or more different gesture shapes are output simultaneously or sequentially through the screen of the monitor 120. It is a game that matches two gesture shapes by simultaneously inputting two gesture shapes from two participants through two touch panels 110. At this time, the game participant places one hand on the two touch panels 110 and inputs a gesture shape expressed on the screen of the monitor 120 using both hands by touch.

상기 터치 패널(110)을 통해 제스처 모양(신호)이 입력되면 상기 멀티 터치 제스처 인식 프로그램(150)은 입력된 제스처 신호의 궤적을 검색하여 각 동작 별로 구분하여 인식하고, 인식한 제스처 신호의 동작과 상기 모니터(120)에 출력된 제스처 모양의 동작을 비교하여 일치 및 유사 여부를 판단한다. 이때, 상기 터치 패널(110)을 통해 입력된 제스처 신호의 동작이 상기 모니터(120)에 출력된 제스처 모양의 동작과 일치하거나 유사하면 게임 참가자에게 점수를 주거나 기록을 갱신한다. 여기서, 상기 멀티 터치 제스처 인식 프로그램(150)은 상기 터치 패널(110)을 통해 입력된 두 개의 제스처 신호를 구분 인식하여, 두 개의 궤적을 동시에 처리한다.When the gesture shape (signal) is input through the touch panel 110, the multi-touch gesture recognition program 150 searches for the trajectory of the input gesture signal, recognizes the motion signal separately, and recognizes the motion signal. The operation of the gesture shape output to the monitor 120 is compared to determine whether the match is similar or similar. In this case, if the gesture signal input through the touch panel 110 matches or is similar to the gesture shape output to the monitor 120, the game participant is given a score or the record is updated. Here, the multi-touch gesture recognition program 150 distinguishes and recognizes two gesture signals input through the touch panel 110 to simultaneously process two trajectories.

본 발명의 멀티 터치 제스처 인식 게임은 게임 참가자가 혼자서 하는 단독 게임뿐만 아니라 1:1, n:n, n:m과 같은 대결 형태의 게임도 할 수 있다. 이에 대해, 첨부된 도면을 참조하여 설명하면 다음과 같다.
The multi-touch gesture recognition game of the present invention can play not only a single game played by a game participant alone, but also a game of confrontation such as 1: 1, n: n, n: m. This will be described below with reference to the accompanying drawings.

멀티 터치 제스처 인식 게임의 제 2 방법(1:1 게임)Second method of multi-touch gesture recognition game (1: 1 game)

도 10은 멀티 터치 제스처 인식 게임의 제 2 방법(1:1 게임)을 나타낸 예시도이다.10 is an exemplary view showing a second method (1: 1 game) of a multi-touch gesture recognition game.

상기 멀티 터치 제스처 인식 게임의 제 2 방법은 도 10에 나타낸 바와 같이, 하나의 모니터의 화면을 통해 각기 다른 또는 같은 두 개의 제스처 모양을 동시에 순차적으로 또는 연속적으로 출력한 다음, 두 명의 게임 참가자로부터 한 사람당 두 개의 터치 패널을 통해 두 개의 제스처 모양을 동시에 입력받아 제스처 모양을 맞추는 1:1 게임이다. 이때, 게임 참가자는 한 명당 한 개의 터치 패널(110)을 사용하며, 한 개의 터치 패널(110)에 양손을 얹어서 상기 모니터(120) 화면에 표현된 두 개의 제스처 모양을 동시에 터치로 입력한다. According to the second method of the multi-touch gesture recognition game, as shown in FIG. 10, two or more different gesture shapes are outputted sequentially or sequentially through the screen of one monitor, and then one of two game participants is displayed. It is a 1: 1 game where two gesture shapes are input simultaneously through two touch panels per person to match the gesture shape. At this time, the game participant uses one touch panel 110 per person, and puts both hands on one touch panel 110 to simultaneously input two gesture shapes expressed on the screen of the monitor 120.

이와 같이, 상기 터치 패널(110)을 통해 제스처 모양(신호)이 입력되면 상기 멀티 터치 제스처 인식 프로그램(150)은 입력된 4개의 제스처 신호의 궤적을 검색하여 각 동작 별로 구분하여 인식하고, 인식한 각 제스처 신호의 동작과 상기 모니터(120)에 출력된 제스처 모양의 동작을 비교하여 일치 및 유사 여부를 판단한다. 이때, 상기 터치 패널(110)을 통해 입력된 제스처 신호의 동작이 상기 모니터(120)에 출력된 제스처 모양의 동작과 일치하거나 유사하면 해당 게임 참가자에게 점수를 주거나 기록을 갱신한다. 여기서, 상기 멀티 터치 제스처 인식 프로그램(150)은 상기 터치 패널(110)을 통해 입력된 4개의 제스처 신호를 구분 인식하여, 4개의 궤적을 동시에 처리한다.
As such, when a gesture shape (signal) is input through the touch panel 110, the multi-touch gesture recognition program 150 searches for the trajectories of the four input gesture signals and recognizes and recognizes each of the gestures. The operation of each gesture signal is compared with the operation of the gesture shape output to the monitor 120 to determine whether there is a match or similarity. In this case, if the gesture signal input through the touch panel 110 matches or is similar to the gesture shape output to the monitor 120, the game participant scores or updates the record. Here, the multi-touch gesture recognition program 150 distinguishes and recognizes four gesture signals input through the touch panel 110 to simultaneously process four trajectories.

멀티 터치 제스처 인식 게임의 제 2 방법(1:n, n:n, n:m 게임)Second method of multi-touch gesture recognition game (1: n, n: n, n: m game)

도 11은 멀티 터치 제스처 인식 게임의 제 3 방법(n:n 또는 n:m 게임)을 나타낸 예시도이다.11 is an exemplary diagram illustrating a third method (n: n or n: m game) of a multi-touch gesture recognition game.

상기 멀티 터치 제스처 인식 게임의 제 3 방법은 도 11에 나타낸 바와 같이, 인터넷이나 지역 네트워크 통신망을 통해 연결된 PC를 이용하여 1:n, n:n, n:m 게임을 동시에 할 수 있다. 이때, 하나의 PC에 두 명이 같이 게임을 할 수도 있고, 한 명이 게임을 할 수 있다. 여기서, 하나의 PC에 두 명이 게임을 할 경우에는 도 10과 같이 한 사람이 한 개의 터치 패널을 이용하여 양손으로 게임을 하며, 하나의 PC에 한 명이 게임을 할 경우에는 도 9와 같이 두 개의 터치 패널에 한 손씩 얹어서 양손을 이용하여 게임을 한다. In the third method of the multi-touch gesture recognition game, as shown in FIG. 11, 1: n, n: n, n: m games can be simultaneously played using a PC connected through the Internet or a local network communication network. At this time, two people may play a game together on one PC, and one person may play a game. Here, when two people play a game on one PC, as shown in FIG. 10, one person plays a game with both hands using one touch panel, and when one person plays a game on one PC, as shown in FIG. Put one hand on the touch panel and play with both hands.

본 발명의 실시 예에서는 하나의 PC에 두 개의 터치 패널이 구비된 예에 대해 설명하고 있으나, 하나의 PC에 두 개 이상의 터치 패널을 구비하여 두 명 이상이 하나의 PC를 이용하여 게임 할 수도 있다. 이때, 한 명의 게임 참가자는 1개 또는 2개의 터치 패널을 이용하여 게임을 할 수 있다.In an embodiment of the present invention, an example in which two touch panels are provided in one PC is described, but two or more touch panels may be provided in one PC so that two or more people can play using one PC. . In this case, one game participant may play a game using one or two touch panels.

이와 같이 구성된 본 발명의 터치 궤적 기반의 멀티 터치 제스처 인식 시스템 및 그 방법은 한 명당 1개 또는 2개의 터치 패널을 이용하여 모니터 화면에 표현된 각기 다른 2개의 제스처 모양을 동시에 입력하여 맞추는 새로운 형태의 게임을 제공함으로써, 본 발명의 기술적 과제를 해결할 수가 있다.The touch trajectory-based multi-touch gesture recognition system and method of the present invention configured as described above have a new form of inputting and matching two different gesture shapes simultaneously expressed on a monitor screen using one or two touch panels per person. By providing a game, the technical problem of this invention can be solved.

또한, 통신망을 통해 연결된 복수 개의 PC를 통해 한 명당 1개 또는 2개의 터치 패널을 이용하여 모니터 화면에 표현된 각기 다른 2개의 제스처 모양을 동시에 입력하여 맞추는 1:1, 1:n, n:n, n:m 대결 형태의 게임을 제공함으로써, 본 발명의 기술적 과제를 해결할 수가 있다.
In addition, 1: 1, 1: n, n: n are used to simultaneously input two different gesture shapes represented on the monitor screen by using one or two touch panels per person through a plurality of PCs connected through a communication network. By providing a game in the form of n: m confrontation, the technical problem of the present invention can be solved.

이상에서 설명한 본 발명의 바람직한 실시 예들은 기술적 과제를 해결하기 위해 개시된 것으로, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자(당업자)라면 본 발명의 사상과 범위 안에서 다양한 수정, 변경, 부가 등이 가능할 것이며, 이러한 수정 변경 등은 이하의 특허청구범위에 속하는 것으로 보아야 할 것이다.
Preferred embodiments of the present invention described above are disclosed to solve the technical problem, and those skilled in the art to which the present invention pertains (man skilled in the art) various modifications, changes, additions, etc. within the spirit and scope of the present invention. It will be possible to, and such modifications, changes, etc. will be considered to be within the scope of the following claims.

110 : 복수 개의 터치 패널 120 : 모니터
130 : 스피커 140 : 메모리
150 : 멀티 터치 제스처 인식 프로그램 160 : 제어부110: a plurality of touch panels 120: monitor
130: speaker 140: memory
150: multi-touch gesture recognition program 160: control unit

Claims (9)

터치 궤적 기반의 멀티 터치 제스처 인식 방법에 있어서,
(a) 멀티 터치 제스처 인식 프로그램을 설치 및 구동하는 단계와;
(b) 상기 멀티 터치 제스처 인식 프로그램이 구동되면 모니터에 게임 화면을 출력한 후 게임 방법을 선택받는 단계와;
(c) 상기 게임 방법이 결정되면 게임을 시작하여 상기 모니터의 화면에 두 개의 제스처 모양을 동시에 순차적으로 또는 연속적으로 출력하는 단계와;
(d) 상기 화면에 제스처 모양이 출력된 후 복수 개의 터치 패널을 통해 한 사람당 두 개의 제스처 모양(신호)을 동시에 입력받는 단계와;
(e) 상기 터치 패널을 통해 입력된 제스처 신호의 궤적을 각각 탐색하여 제스처 모양을 인식한 후 상기 화면에 출력된 제스처 모양과의 일치 및 유사 여부를 판단하는 단계; 및
(f) 상기 터치 패널을 통해 입력된 제스처 모양과 상기 화면에 출력된 제스처 모양이 일치하거나 유사하면 점수를 부여하는 단계;
를 포함하되,
상기 (a) 단계에서 상기 멀티 터치 제스처 인식 프로그램은 상기 터치 패널을 통해 제스처 모양의 신호가 입력된 후 터치가 끊어진 상태에서 다른 제스처 모양의 신호가 곧바로 입력되면 처음에 입력된 제스처 모양의 신호로 동작을 구분하고,
상기 터치 패널을 통해 입력되는 제스처 모양이 도중에 끊어지지 않고 다른 제스처 모양으로 변화되었을 때 마지막에 입력된 제스처 모양의 신호로 동작을 구분하고,
상기 (c) 단계에서 상기 화면을 통해 출력되는 제스처 모양은 오른쪽 방향 가로선, 왼쪽 방향 가로선, 위쪽 방향 세로선, 아래쪽 방향 세로선, 시계 방향 원, 반시계 방향 원을 포함한 제스처 모양 중 한 개 또는 두 개의 제스처 모양을 포함하며,
상기 (e) 단계에서 상기 터치 패널을 통해 입력된 제스처 모양의 인식은 상기 터치 패널을 통해 입력된 제스처 모양의 궤적을 탐색하여 각 동작을 이루는데 필요한 최소한의 조건(길이, 가로 및 세로의 변화율, 궤적의 평균 중심으로부터 회전된 각도)을 충족하는지 판단하고, 조건이 충족되면 각 동작의 정확도를 측정하여 가장 정확도가 높은 동작을 상기 입력된 제스처 모양의 동작으로 인식하는 것을 특징으로 하는 터치 궤적 기반의 멀티 터치 제스처 인식 방법.
In the touch trajectory-based multi-touch gesture recognition method,
(a) installing and driving a multi-touch gesture recognition program;
(b) if the multi-touch gesture recognition program is driven, outputting a game screen to a monitor and selecting a game method;
(c) when the game method is determined, starting a game and outputting two gesture shapes simultaneously or sequentially on the screen of the monitor;
(d) simultaneously receiving two gesture shapes (signals) per person through a plurality of touch panels after the gesture shapes are output on the screen;
(e) recognizing the gesture shape by searching for the trajectory of the gesture signal input through the touch panel, and then determining whether the gesture shape matches or is similar to the gesture shape output on the screen; And
(f) assigning a score when the gesture shape input through the touch panel and the gesture shape output on the screen match or are similar to each other;
Including,
In the step (a), the multi-touch gesture recognition program operates as a gesture-type signal initially inputted when another gesture-shaped signal is immediately input in a state in which a touch is disconnected after the gesture-like signal is input through the touch panel. , Then
When the gesture shape inputted through the touch panel is changed to another gesture shape without being cut off in the middle, the operation is divided into signals of the last gesture input signal,
In the step (c), the gesture shape output through the screen may include one or two gestures including a right horizontal line, a left horizontal line, a vertical vertical line, a vertical vertical line, a clockwise circle, and a counterclockwise circle. Include shapes,
Recognition of the gesture shape input through the touch panel in the step (e) is a minimum condition (length, horizontal and vertical rate of change, The rotation angle from the average center of the trajectory), and if the condition is satisfied, the accuracy of each motion is measured to recognize the most accurate motion as the input gesture shape motion. Multi-touch gesture recognition method.
삭제delete 삭제delete 삭제delete 제 1 항에 있어서, 상기 각 동작의 정확도를 측정하는 방법은,
상기 터치 패널을 통해 입력된 제스처 모양의 궤적에 따라 가로 변화율, 세로 변화율, 궤적의 평균 중심에서 궤적의 각 지점까지의 거리(반지름) 차이에 대한 오류를 측정하여 정확도를 측정하는 것을 특징으로 하는 터치 궤적 기반의 멀티 터치 제스처 인식 방법.
The method of claim 1, wherein the measuring method measures the accuracy of each operation.
Measuring the accuracy by measuring the error of the horizontal change rate, the vertical change rate, the distance (radius) difference from the average center of the trajectory to each point of the trajectory according to the trajectory of the gesture shape input through the touch panel Trajectory based multi-touch gesture recognition method.
제 1 항에 있어서, 상기 멀티 터치 제스처 인식 프로그램은,
상기 화면을 통해 각기 다른 또는 같은 두 개의 제스처 모양을 동시에 순차적으로 또는 연속적으로 출력하여, 한 사람당 한 개 또는 두 개의 터치 패널을 통해 두 개의 제스처 모양을 동시에 입력받아 제스처 모양을 맞추는 게임을 하며, 단독 게임 또는 1:1, 1:n, n:n, n:m 대결 형태의 게임 중 하나를 선택받아 진행하는 것을 특징으로 하는 터치 궤적 기반의 멀티 터치 제스처 인식 방법.
According to claim 1, The multi-touch gesture recognition program,
Two or more different gesture shapes are outputted sequentially or successively at the same time through the screen, and a game of matching two gesture shapes by simultaneously inputting two gesture shapes through one or two touch panels per person, Touch trajectory-based multi-touch gesture recognition method characterized in that the selection of the game or one of the game of 1: 1, 1: n, n: n, n: m confrontation.
터치 궤적 기반의 멀티 터치 제스처 인식 시스템에 있어서,
멀티 터치 제스처 인식 프로그램을 저장한 메모리와;
상기 멀티 터치 제스처 인식 프로그램의 구동에 의해 게임이 시작되면 두 개의 제스처 모양을 동시에 순차적으로 또는 연속적으로 출력하는 모니터와;
상기 모니터에 제스처 모양이 출력된 후 게임 참가자로부터 두 개의 제스처 신호를 입력받는 복수 개의 터치 패널; 및
상기 멀티 터치 제스처 인식 프로그램을 구동하여 상기 모니터에 두 개의 제스처 모양을 동시에 순차적으로 또는 연속적으로 출력하고, 상기 복수 개의 터치 패널을 통해 입력된 제스처 신호(모양)를 각각 인식하여 상기 모니터에 출력된 제스처 모양과의 일치 및 유사 여부를 판단하여 상기 모니터에 점수로 표시하는 제어부;
를 포함하되,
상기 모니터를 통해 각기 다른 또는 같은 두 개의 제스처 모양을 동시에 순차적으로 또는 연속적으로 출력하여, 한 사람당 한 개 또는 두 개의 터치 패널을 통해 두 개의 제스처 모양을 동시에 입력받아 제스처 모양을 맞추는 게임을 하며, 단독 게임 또는 1:1, 1:n, n:n, n:m 대결 형태의 게임 중 하나를 선택받아 진행하는 것을 특징으로 하는 터치 궤적 기반의 멀티 터치 제스처 인식 시스템.
In the touch trajectory-based multi-touch gesture recognition system,
A memory storing a multi-touch gesture recognition program;
A monitor for outputting two gesture shapes sequentially or sequentially simultaneously when the game is started by driving the multi-touch gesture recognition program;
A plurality of touch panels configured to receive two gesture signals from a game participant after a gesture shape is output to the monitor; And
Gestures output to the monitor by driving the multi-touch gesture recognition program and outputting two gesture shapes simultaneously or sequentially to the monitor, and recognizing gesture signals (shapes) input through the plurality of touch panels, respectively. A control unit for determining whether or not to match the shape and the similarity as a score on the monitor;
Including,
Two or more different gesture shapes are output simultaneously or sequentially through the monitor, and two or more gestures can be simultaneously input through one or two touch panels for each person to play a game that matches the gesture shapes. Touch trajectory-based multi-touch gesture recognition system, characterized in that the progress of the game or select one of the game, 1: 1, 1: n, n: n, n: m.
제 7 항에 있어서, 상기 제어부는,
상기 모니터에 출력되는 제스처 모양을 스피커를 통해 음성으로 출력하거나 또는 상기 터치 패널을 통해 입력된 제스처 신호가 상기 모니터에 출력된 제스처 모양과 일치 또는 유사할 때 상기 스피커를 통해 음성 또는 음악소리를 출력하도록 제어하는 것을 특징으로 하는 터치 궤적 기반의 멀티 터치 제스처 인식 시스템.The method of claim 7, wherein the control unit,
To output a voice or music sound through the speaker when a gesture signal output to the monitor is output as a voice through a speaker or when a gesture signal input through the touch panel is identical or similar to the gesture shape output to the monitor. Touch trajectory based multi-touch gesture recognition system, characterized in that for controlling. 삭제delete
KR1020100038820A 2010-04-27 2010-04-27 Touch tracing muti-touch gesture detection system and method of the same KR101116221B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100038820A KR101116221B1 (en) 2010-04-27 2010-04-27 Touch tracing muti-touch gesture detection system and method of the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100038820A KR101116221B1 (en) 2010-04-27 2010-04-27 Touch tracing muti-touch gesture detection system and method of the same

Publications (2)

Publication Number Publication Date
KR20110119227A KR20110119227A (en) 2011-11-02
KR101116221B1 true KR101116221B1 (en) 2012-03-06

Family

ID=45390853

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100038820A KR101116221B1 (en) 2010-04-27 2010-04-27 Touch tracing muti-touch gesture detection system and method of the same

Country Status (1)

Country Link
KR (1) KR101116221B1 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104677376B (en) * 2013-11-29 2017-09-12 广东瑞图万方科技股份有限公司 Navigation system gesture instruction input method and device
WO2018216078A1 (en) 2017-05-22 2018-11-29 任天堂株式会社 Game program, information processing device, information processing system, and game processing method
JP7083822B2 (en) 2017-05-22 2022-06-13 任天堂株式会社 Game programs, information processing devices, information processing systems, and game processing methods
JP6921193B2 (en) 2017-05-22 2021-08-18 任天堂株式会社 Game programs, information processing devices, information processing systems, and game processing methods

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005049387A (en) * 2003-07-29 2005-02-24 Taito Corp Game machine with character learning function

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005049387A (en) * 2003-07-29 2005-02-24 Taito Corp Game machine with character learning function

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
⑤ 두 손으로 각각 다른 도형 그리기, 5분 뇌호흡, 29쪽, 이승헌(2006.2.22.)*

Also Published As

Publication number Publication date
KR20110119227A (en) 2011-11-02

Similar Documents

Publication Publication Date Title
JP6683938B2 (en) Scoring support program, scoring support device, and scoring support method
Adhikary et al. Text entry in virtual environments using speech and a midair keyboard
KR101116221B1 (en) Touch tracing muti-touch gesture detection system and method of the same
Markussen et al. Selection-based mid-air text entry on large displays
US20090312102A1 (en) Strum processing for music video game on handheld device
KR101922894B1 (en) A music game device and computer-readable medium for recording program therefor
WO2015041168A1 (en) Game control program, game system, and game control method
JP2006221281A (en) Program for controlling guide display and information processor
Carvalho et al. Audio-based puzzle gaming for blind people
Kamal et al. Teaching motion gestures via recognizer feedback
JP2014012138A (en) Method, apparatus, and program for progressing music game
Carreira et al. Evaluation of in-air hand gestures interaction for older people
JP4816435B2 (en) Character input processing method
Hedeshy et al. All birds must fly: The experience of multimodal hands-free gaming with gaze and nonverbal voice synchronization
KR102402055B1 (en) Training system for improving brain function
JP3179626B2 (en) Voice game console
Morimoto et al. Eyejam: a gaze-controlled musical interface
TWI802395B (en) cognitive training system
JP2021040823A (en) Game system, game program, and control method of game system
JP7316319B2 (en) Game system, program and information storage medium
CN216092192U (en) Game device
Cardoso WordPop: introducing text using only gaze
JP5009349B2 (en) Handwriting learning support program and handwriting learning support device
JP2006284861A (en) Program and device to support learning by handwriting
JP6552065B2 (en) Performance equipment

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20141219

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20151222

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170208

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180201

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190201

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20200128

Year of fee payment: 9