KR20160043658A - 터치스크린 상에서 제어방법 및 장치 - Google Patents

Abstract

본 발명은 터치스크린을 이용한 디바이스에서 제스처를 이용하여 제어하는 방법 및 장치에 관한 발명이며, 보다 상세하게는 본 발명은 터치스크린 디스플레이상에서 제스처 신호를 입력받는 단계, 제스처 신호와 등록된 일 이상의 제스처 패턴을 비교하여 실행제스처를 판단하는 단계, 제스처 신호를 실행 제스처와 비교하여 제스처의 크기와 제스처 신호의 정확도를 추출하는 단계, 크기, 정확도 및 실행 제스처 패턴의 난이도를 기초로 미리 정해진 방식에 따라 제스처 신호의 점수를 부여하는 단계 및 점수에 대응하는 제어 효과를 적용하는 단계를 포함하는 것을 특징으로 한다.

Description

터치스크린 상에서 제어방법 및 장치 {METHOD AND APPARATUS FOR CONTROLLING ON THE TOUCH SCREEN}

본 발명은 터치스크린을 이용한 디바이스에서 제스처를 이용하여 제어하는 방법 및 장치에 관한 것으로서, 보다 상세하게는 모바일 디바이스 상에서 게임 제어 방법 및 장치에 관한 것이다.

최근 IT 기술의 급격한 발전으로 다양한 전자 기기들이 상용화 되고 있으며 특히 이중에서도 모바일 디바이스가 주류를 이루고 있다. 모바일 디바이스의 경우 휴대성이 요구되는바 입력장치를 디바이스 본체와 별도로 구성하는 것이 제한 요소였으나 터치스크린이 개발 됨에 따라 최근 모바일 디바이스의 입력장치는 터치스크린을 이용하는 장치가 주류를 이루고 있다.

초기에는 단말기의 성능 문제로 간단한 기능의 어플리케이션이 주로 개발되었고, 따라서 입력장치 역시 다양성이 요구되지 않았다. 하지만 충분한 CPU 및 그래픽 성능이 지원됨에 따라서 모바일 디바이스 상에서도 컴퓨터 수준의 그래픽 처리가 가능해 지면서 다양한 어플리케이션이 출시되고 있다. 하지만, 키보드, 마우스 등의 사용자 인터페이스의 지원이 충분하지 못하여 모바일 디바이스를 이용하여 어플리케이션을 제어하는데 어려움을 주고 있다.

이러한 모바일 디바이스 상의 입력 환경의 제한을 해결하기 위하여 전면 터치스크린을 적용한 모바일 디바이스가 상용화되면서, 어플리케이션의 제어를 위해 별도의 키 패드가 없이, 터치스크린 화면에 가상 조작키를 출력하여 출력부를 터치함으로써 제어하는 경우가 보편적이 되었다.

사용자는 보통 스타일러스 또는 손가락으로 터치스크린 디스플레이 화면상에서 직접 GUI 객체를 가리킴으로써 입력을 인가하므로, 터치스크린 디스플레이는 별도의 입력장치를 필요로 하지 않는다. 이러한 장점으로 인해 모바일 디바이스에서도 폭넓게 활용되고 있으며, 터치스크린 디스플레이를 탑재한 모바일 디바이스의 사용이 보편화됨에 따라 과거 컴퓨터를 통해서 수행되던 프로그램들 중 상당수가 모바일 디바이스를 통해서도 구현되고 있어, 터치스크린 디스플레이를 구비한 장치와 사용자가 쉽게 상호작용할 수 있게 해주는 사용자 인터페이스를 설계하는 것은 새로운 과제가 되었다.

이러한 가상의 사용자 인터페이스는, 일반적으로 화면의 크기가 작은 모바일 디바이스의 디스플레이 화면의 일부분을 차지하기 때문에 사용자의 화면 인식을 방해하는 요소로 작용하였다. 이러한 불편을 해결하기 위해 터치스크린의 접촉의 제스처를 이용하여 모바일 디바이스를 제어하는 방법이 사용되고 있다. 특히 모바일 디바이스를 기반으로 하는 게임의 경우에 이러한 인터페이스의 제한이 크게 문제가 되고 있다.

한국공개특허 제10-2013-0061276호 "스마트폰을 이용한 제스처 인식 기반 게임장치 및 방법" (2013.06.11)

본 발명이 해결하고자 하는 과제는 터치스크린 디스플레이상에서의 제한적인 모바일 디바이스의 입력화면에서 보다 다양한 제어 방법 및 장치를 제공하는 것이다.

본 발명이 해결하고자 하는 다른 과제는 터치스크린 디스플레이상에서 다양한 제스처 신호를 이용한 터치스크린 제어 방법 및 장치 제공하는 것이다.

전술한 바와 같은 과제를 해결하기 위하여 본 발명의 일 실시예에 따른 발명은 터치스크린 디스플레이상에서 제스처 신호를 입력받는 단계, 제스처 신호와 등록된 일 이상의 제스처 패턴을 비교하여 실행제스처를 판단하는 단계, 제스처 신호를 실행 제스처와 비교하여 제스처의 크기와 제스처 신호의 정확도를 추출하는 단계, 크기, 정확도 및 실행 제스처 패턴의 난이도를 기초로 미리 정해진 방식에 따라 제스처 신호의 점수를 부여하는 단계 및 점수에 대응하는 제어 효과를 적용하는 단계를 포함하는 것을 특징으로 한다.

본 발명의 일 실시예에 따른 발명은 제 터치스크린 디스플레이상에서 입력받은 제스처 신호 입력은 하나 또는 그 이상의 접촉부의 드래그 움직임 인식하는 것을 특징으로 한다.

본 발명의 일 실시예에 따른 발명은 제 터치스크린 디스플레이상에서 입력받은 제스처 신호 입력은 하나 또는 그 이상의 접촉부의 입력의 리듬을 인식하는 것을 특징으로 한다.

본 발명의 일 실시예에 따른 발명은 제 제스처 패턴을 추가로 등록하는 단계를 더 포함하고, 제스처 패턴을 추가로 등록하는 단계는, 터치스크린 디스플레이상에서 입력받은 제스처 패턴 신호를 입력받는 단계, 제스처 패턴 신호를 분석하여 기존의 등록된 제스처 패턴과 비교하여 유사 여부를 판단하는 단계, 유사한 등록된 제스처 패턴이 존재하는 경우 제스처 패턴 신호를 다시 입력받게 하고, 유사한 등록된 제스처 패턴의 부재 시 제스처 패턴 신호를 제스처 패턴으로 추가 등록하는 단계 및 추가 등록된 제스처 패턴의 입력 난이도를 미리 정해진 방식에 따라 결정하는 단계를 포함하는 것을 특징으로 한다.

본 발명의 일 실시예에 따른 발명은 제 터치스크린 디스플레이상에서 입력받은 제스처 신호의 시작 좌표가 모바일 디바이스의 디스플레이에 표시되는 게임상의 오브젝트의 영역 포함되는 경우, 점수는 오브젝트에 제어 효과를 적용하는 것을 특징으로 한다.

본 발명의 일 실시예에 따른 발명은 터치스크린 디스플레이상에서 제스처 신호를 입력받는 입력부 및 제스처 신호를 분석하여 등록된 제스처 패턴과 매칭하고, 제스처 신호를 분석하여 제스처의 크기와 제스처 신호의 정확도를 추출하고, 크기, 정확도 및 매칭된 제스처 패턴의 난이도를 기초로 미리 정해진 방식에 따라 제스처의 점수를 부여하고, 점수에 대응하는 제어 효과를 적용하는 제어부를 포함하는 것을 특징으로 한다.

본 발명의 실시예들에 의하면 적어도 다음과 같은 효과가 있다.

즉, 터치스크린 디스플레이상에서의 제스처 신호를 입력받고 제스처 신호의 종류, 크기, 정확도를 판단하여 이를 바탕으로 제스처 신호에 점수를 부여하여 점수 에 따른 효과를 주어, 제한적인 모바일 디바이스의 입력화면에서 보다 다양한 제어 방법 및 장치를 제공할 수 있다.

또, 터치스크린 디스플레이상에서의 다양한 제스처 신호를 이용한 터치스크린 제어 방법 및 장치 제공할 수 있다.

본 발명의 효과는 이상에서 언급한 효과에 제한되지 않으며, 언급되지 않은 또 다른 효과는 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

도 1 은 본 발명의 일 실시예에 따른 모바일 디바이스의 블록도이다.
도 2 는 본 발명의 일 실시예에 따른 모바일 디바이스의 터치스크린에 입력된 제스처 신호 따른 제어 방법을 나타낸 동작 흐름도이다.
도 3a 및 도 3c 는 모바일 디바이스에 저장된 등록제스처 패턴의 난이도 및 제스처 신호의 크기 및 정확도에 따른 점수의 실시예이다.
도 4 내지 도 7 은 본 발명의 일 실시예에 따른 모바일 디바이스의 터치스크린에 입력되는 제스처 신호의 일 실시태양을 도시한 것이다.
도 8a 및 8b는 본 발명의 일 실시예에 따른 제스처 패턴을 추가로 등록하는 단계를 도시한 것이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.

비록 제 1, 제 2 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서 이하에서 언급되는 제 1 구성요소는 본 발명의 기술적 사상 내에서 제 2 구성요소일 수도 있음은 물론이다.

본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터 또는 신호를 '전송'하는 경우에는 구성요소는 다른 구성요소로 직접 상기 데이터 또는 신호를 전송할 수 있고, 적어도 하나의 또 다른 구성요소를 통하여 데이터 또는 신호를 다른 구성요소로 전송할 수 있음을 의미한다.

각 블록은 특정된 논리적 기능 (들) 을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실행 예들에서는 블록들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

도 1 은 본 발명의 일 실시예에 따른, 터치스크린 디스플레이상의 제스처 신호를 통해 제어 명령을 실행하는 모바일 디바이스의 구성도를 도시한 것이다.

도 1 에 따르면, 터치스크린 디스플레이상의 제스처 입력을 통해 제어 명령을 실행하는 모바일 디바이스 (100) 는 터치스크린 (110), 저장부 (140), 통신부 (150) 및 제어부 (160) 를 포함하고, 터치스크린 (110) 은 입력부 (111) 및 표시부 (112) 를 포함한다.

도 1 에 도시되어 있는 바와 같이, 터치스크린 (110) 은 제어신호를 수신하는 터치스크린 패널로 구성되는 입력부 (111) 와 영상을 표시하는 디스플레이 패널로 구성되는 표시부 (112) 를 포함할 수 있다. 따라서 터치스크린 (110) 에서는 문서 또는 영상을 표시할 뿐만 아니라, 컨텐츠 제어를 위한 신호를 수신할 수 있다. 구현방법에 따라 입력부 (111) 와 표시부 (112) 를 하나의 모듈에 구현될 수 있다.

입력부 (111) 는 모바일 디바이스에서 제스처 신호를 입력 받아 후술 할 제어부 (160) 로 제스처 신호를 전송 한다. 후술하는 바와 같이 입력부 (111) 는 미리 정의된 다양한 패턴의 명령을 사용자로부터 입력받아, 이를 제어부로 전송하는 역할을 수행하며, 입력은 사용자의 손가락이나 스타일러스펜 등에 의해 이루어질 수 있다. 입력부 (111) 는 상기와 같은 기능을 하는 터치스크린 신호의 검출 방식에 따라 크게 저항막 방식, 정전용량방식 및 전자유도방식 등으로 분류될 수 있다.

표시부 (112) 는 모바일 디바이스에서의 디스플레이 영역으로 영상으로 표시 가능한 모든 정보를 포함하며, 표시부 (112) 에 표시되는 정보는 제어부 (160) 에서 전송된 것이다. 본 발명에 따른 제스쳐 신호를 통해 명령을 수행하는 경우, 제어명령의 입력이 요구되는 시점에 제스쳐 신호의 입력을 요구하는 표시가 표시부 (112) 에 표시될 수 있다. 이들 중 일부 디스플레이는 이를 통해 외부를 볼 수 있도록 투명하도록 구성될 수 있다. 또한 모바일 디스플레이의 구현 형태에 따라 디스플레이 모듈이 2개 이상 존재할 수도 있다. 음성을 포함하는 동영상을 일 경우 본 명세서에는 상세히 기재되지 않았으나 동영상은 소리와 함께 표시될 수 있다.

저장부 (140) 에는 모바일 디바이스의 처리 및 제어를 위한 프로그램을 저장된다. 또한 저장부는 입/출력되는 데이터들을 저장할 수도 있다. 저장부는 제어부 (160) 에서 처리된 데이터를 저장하며, 이러한 데이터는 통신부 (150) 를 통하여 외부 서버로부터 수신된 데이터 일 수 있다. 또한 저장부 (140) 에는 게임 어플리케이션이 저장될 수 있으며 본 발명의 일 실시예에 따르면 제스처 패턴, 난이도, 제어 효과 등이 저장된다.

저장부 (140) 는 플래시 메모리 타입 (flash memory type), 하드디스크 타입 (hard disk type), 멀티미디어 카드 마이크로 타입 (multimedia card micro type), 카드 타입의 메모리 (예를 들어 SD 또는 XD 메모리 등), 롬 (ROM, Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 자기메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또는, 저장부 (140) 는 인터넷상에서 저장 기능을 수행하는 웹 스토리지 (web storage), NAS (network-attached storage), 및 클라우드 환경을 위한 분산 저장 시스템일 수도 있다.

통신부 (150) 는 모바일 디바이스에서 서버 또는 다른 모바일 디바이스와 데이터를 송수신한다. 통신부 (150) 는 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 또한 수신된 데이터는 저장부 (140) 에 저장된다. 여기에서, 상기 무선 신호는, 음성 신호, 화상 통화 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다. 무선 인터넷 접속으로도 송수신이 가능하며, 무선 인터넷 기술로는 WLAN (Wireless LAN), Wi-Fi, Wibro (Wireless broadband), Wimax (World Interoperability for Microwave Access), HSDPA (High Speed Downlink Packet Access) 등이 이용될 수 있다. 또한, 근거리 통신을 통한 데이터 수신도 가능하며, 근거리 통신 기술로 블루투스 (Bluetooth), RFID (Radio Frequency Identification), 적외선 통신 (IrDA, infrared Data Association), UWB (Ultra Wideband), ZigBee 등이 이용될 수 있다.

제어부 (160) 는 통상적으로 모바일 디바이스의 전반적인 동작을 제어한다. 예를 들어 음성 통화, 데이터 통신, 미디어 재생, 내부 데이터 처리 및 내부 모듈 제어 등을 위한 관련된 제어 및 처리를 수행한다.

제어부 (160) 는 입력된 제스처 신호를 저장부 (140) 에 저장된 하나 이상의 제스처 패턴을 비교하여 실행 제스처를 판단하는 기능을 수행하며, 입력된 제스처 신호를 저장부 (140) 에 저장된 실행 제스처와 비교하여 제스처 신호의 크기와 정확도를 추출하는 기능을 수행한다. 또한 제스처 신호에서 추출된 크기 및 정확도와 실행 제스처의 난이도를 고려하여 제스처 신호의 점수를 부여한다. 또한 실행 제스처에 해당하는 제어 효과를 부여된 점수만큼 적용하는 기능을 수행한다.

이하에서는, 본 발명에 따른, 터치스크린 디스플레이상의 제스처 입력을 통해 제어 명령을 실행하는 모바일 디바이스에서의 제어 방법에 대하여 상세히 설명하도록 한다도 1 에는 설명의 편의를 위해, 터치스크린 (110), 저장부 (140), 통신부 (150) 및 제어부 (160) 를 별도의 구성으로 도시되었으나, 발명의 구현에 있어 해당 구성들은 상호 결합 또는 분리되어 구현될 수 있다.

도 2 는 본 발명의 일 실시예에 따른, 터치스크린 디스플레이상의 제스처 입력을 통해 제어 명령을 실행하는 모바일 디바이스에서의 제어 방법을 나타낸 동작 흐름도이다. 이하에서는, 설명의 편의를 위해 도 1의 구성요소들 및 그 도면부호를 참조하여 설명한다.

도 2 를 참조한 일 실시예에서 도 1 의 터치스크린 입력부 (111) 를 통해 제스처 신호를 입력받는다. (S210) 제스처 신호를 입력 받는데 있어, 필요한 경우 터치 스크린 (110) 의 표시부 (112) 에 제스처 신호 입력을 유도하는 표시가 디스플레이 될 수 있다. 제스처 신호를 유도하는 표시는 특정 이미지가 될 수 있고, 표시부 (112) 의 특정위치에 특정 효고, 이를테면 화면의 깜박거리는 효과 등이 나타나는 것으로 구현될 수 도 있다.

입력된 제스처 신호는 입력부 (111) 에서 제어부 (160) 로 전송된다. 예를 들어 안드로이드 운영 체제의 경우에는 터치 이벤트를 지원한다. 이벤트의 종류는 크게 세 가지로 분류할 수 있다. 우선 터치스크린에 손가락이 닿을 때 발생하는 터치스타트 (touchstart) 이벤트는 제스처 신호의 시작 지점을 의미한다. 스크린에 손가락이 닿은 채로 움직일 때 발생하는 터치무브 (touchmove) 이벤트는 제스처 신호의 움직임을 의미한다. 스크린에서 손가락을 뗄 때 발생하는 터치엔드 (touchend) 이벤트는 제스처 신호의 종료 지점을 의미한다.

또한 손가락으로 접촉하는 경우 마우스로 신호를 입력 받는 것과 비교하면 정확한 좌표 값을 얻을 수 없어 터치 이벤트는 손가락 접촉면이 크기 때문에 접촉 표면의 평균 좌표 값을 얻는다.

제스처 신호는 모바일 디바이스의 터치스크린에 입력되는 사용자의 접촉을 말하며 주로 손가락의 접촉을 의미하나 그 외에도 스타일러스펜 등 터치스크린에 입력을 인가할 수 있는 방법이라면 무관하다.

사용자에 의해 인가되는 제스처 신호는 터치스크린 디스플레이상의 일 이상의 좌표와 매칭될 수 있다. 마우스의 클릭과 같이, 터치스크린 디스플레이에서 탭 (tap) 은 일 위치와 매핑 (mapping) 되는 입력에 해당한다. 이때, 탭이란 손가락 또는 스타일러스 등의 입력장치를 터치스크린 디스플레이에 가볍게 두드려 접촉시킴으로써 입력신호를 인가하는 방식을 의미한다. 한편, 마우스의 드래그와 같이, 터치스크린 디스플레이상에서 이루어지는 드래그 (drag) 는 두 개 이상의 위치와 매핑 될 수 있다. 이외에도 터치스크린 디스플레이상에서 이루어지는 제스처 신호로 더블 탭 (double tap) 을 포함하는 멀티플 탭 (multiple tap), 롱 탭 (long tap) 과 멀티터치 (multi-touch) 방식인 핀치인 (pinch-in), 핀치아웃 (pinch-out) 등이 구현될 수 있다.

더블 탭이란 손 또는 스타일러스 등의 입력장치를 일정 시간 내에 터치스크린 디스플레이에 두 번 가볍게 두드려 접촉시킴으로써 입력신호를 인가하는 방식을, 멀티플 탭은 세 번 이상의 입력을 인가하는 방식을, 롱 탭이란 일정 시간 이상 터치스크린 신호 입력 상태를 유지하여 입력하는, 즉 길게 탭 하는 방식을 의미한다. 멀티터치 방식이란, 터치스크린 디스플레이를 통해 동시에 여러 좌표가 인식되는 방식을 의미하며, 따라서, 전술한 탭, 드래그, 더블 탭, 롱 탭은 둘 이상의 손가락으로 이루어질 수도 있다. 핀치인이란, 두 손가락을 근접시켜 터치스크린 디스플레이 상에 접촉시킨 후, 두 손가락을 안쪽에서 바깥쪽으로 밀어내는 제스처를, 핀치 아웃이란, 두 손가락 사이를 떨어뜨려 터치스크린 디스플레이 상에 접촉시킨 후, 두 손가락을 꼬집듯이 바깥쪽에서 안쪽으로 모으는 제스처를 의미한다. 본 발명의 일 실시예에 따른 기능 수행 명령을 실행시키는 제스처 신호는 전술한 제스처 신호에 한정되지 않고, 다양한 제스처 신호로 변형 실시될 수 있다.

S220 단계는 본 발명의 일 실시예에 따르면, 입력부 (111) 를 통하여 입력된 제스처 신호를 저장부 (140) 에 저장되어 있는 제스처 패턴과 비교하는 것을 특징으로 할 수 있다. 이에 대하여 도 3a 를 통하여 상세히 설명하도록 한다.

본 발명의 일 실시예에 따르면, 저장부 (140) 에는 하나 이상의 제스처 패턴이 미리 저장될 수 있다. 도 3a 311 내지 313 은 다양한 제스처 패턴의 일 예에 해당한다. S220 단계에서는 입력된 제스처 신호와 저장된 제스처 패턴과 비교되어 사용자에 의해 의도된 제스처가 무엇인지 분석된다.

예를 들어 터치가 된 이후 우측 하향 방향으로 드래그 된 이후에 터치가 종료된 경우 311 등록 제스처 패턴과 유사하다 판단 가능하다. 따라서 S220 단계에서는 제어부 (160) 는 입력된 제스처 신호는 311 제스처 패턴에 해당하는 신호라 판단을 한다.

다른 예를 들면, 7시 방향에서 터치가 된 이후에 시계 방향으로 점차 반지름이 작아지게 회전하면서 두 바퀴를 돌고 터치가 종료된 경우, 제어부 (160) 는 312 제스처 패턴에 해당하는 신호라 판단을 한다.

또 다른 예를 들면, 터치가 된 이후에 좌측 하향 방향으로 이동 후 반 시계 방향으로 모서리를 만들면서 별 모양 드래그 이후에 터치가 시작된 지점 주변영역에서 터치가 종료된 경우, 제어부 (160) 는 313 제스처 패턴에 해당하는 신호라 판단을 한다.

S230 단계는 본 발명의 일 실시예에 따르면, S210 단계에서 입력된 제스처 신호를 등록된 제스처 패턴과 비교하여 입력크기 및 정확도를 추출하는 것을 특징으로 할 수 있다. 이에 대하여 도 3b 및 3c 를 통하여 상세히 설명하도록 한다.

도 3b 는 본 발명의 일 실시예에 따른, 제스처 신호의 크기에 따는 분류를 나타낸다. 즉 321 제스처 신호의 경우는 323 제스처 신호에 비해 크기가 상대적으로 더 작다. 이러한 경우 323 제스처 신호가 321 에 비하여 입력하는데 상대적으로 더 오랜 시간이 걸리기 때문에 보다 큰 점수를 준다.

즉, 본 발명에 따르면, 제스처를 입력하는데 시간이 더 오래 소요되는 동작에 대해서는 더 큰 난이도를 가지는 것으로 상정하여 더 큰 점수를 부여한다.

도 3c 는 본 발명의 일 실시예에 따른, 제스처 신호의 정확도에 따른 분류를 나타낸다. 즉 비교 대상인 330 제스처 패턴과 비교하면 좌측에 있는 331 제스처 신호에 비하여 우측에 있는 333 제스처 신호가 정확도가 높기 때문에 333 제스처 신호에 보다 큰 점수를 부여할 수 있다.

제스처 신호의 정확도를 판단하여 제스처를 인식하는 하는 방법은 꼭지점의 개수를 인식하는 방법이나, 제스처를 일정한 간격으로 샘플링하고 각 샘플링간 직선의 각도와 가장 가까운 8 방향 코드를 선택하여 생성된 숫자를 나열하는 체인코드 (Chain Code) 이용하여 판단하는 방법이 있다. 제스처 신호의 정확도 판단 방법은 전술한 방법에 한정되지 않고, 다양한 방법이 적용될 수 있다.

S240 단계는 본 발명의 일 실시예에 따르면, S220 단계 판단된 제스처 패턴의 난이도와 S230 단계에서 추출된 제스처 신호의 크기 및 정확도를 기본으로 제스처 신호의 점수를 부여하는 것을 특징으로 할 수 있다.

본 발명의 일 실시예에 따르면, 312 에 해당하는 제스처 신호가 입력된 경우 312 제스처 패턴의 난이도 3이다. 그리고 제스처 신호입력의 크기와 제스처 신호입력의 정확도를 기반으로 하여 제스처 신호에 점수를 부가 할 수 있다.

점수를 부가하는 방법은 제스처 패턴의 난이도, 제스처 신호입력의 크기 및 제스처 신호입력의 정확도 이 세 가지를 변수로 하여 하나 이상의 변수 값을 이용하여 각 변수에 값을 곱하거나 더하는 방법으로 점수를 계산할 수 있다. 다만 제스처 신호의 점수를 부여하는 방법은 전술한 방법에 한정되지 않고, 다양한 방법으로 가능할 수 있다.

S250 단계는 본 발명의 일 실시예에 따르면, 제스처 패턴에 해당하는 효과가 S240 단계에서 부여된 점수에 대응하는 만큼 적용되는 것을 특징으로 할 수 있다.

본 발명의 일 실시예에 따르면, 도 4 에서 410 제스처 신호가 입력되면 그 제스처 신호에 대응하는 제스처 패턴의 효과가 S240 단계에서 부여된 점수에 해당하는 효과를 나타낸다. 예를 들어 410 제스처 패턴이 파이어볼에 해당한다면 파이어볼에 의해 적이 입는 데미지는 S240 단계에서 부여된 점수에 해당하는 데미지 일 수 있다.

도 5 는 2개의 신호가 동시에 입력되는 것을 특징으로 하는 본 발명의 일 실시예를 나타낸다. 다만 두 개의 입력 제스처로 제한되는 것은 아니며 둘 이상의 손가락으로 입력이 이루어질 수도 있다. 또한 복수의 입력 제스처가 동일한 제스처일 필요는 없으며, 입력부 (111) 에 동시에 복수의 입력이 입력 되는 경우를 의미한다.

도 6 은 더블 탭이나 트리플 탭 또는 그 이상의 멀티 탭이 입력되는 경우 각 입력간의 시간을 측정하여 리듬을 인식하는 것으로 제스처 신호를 분석한다. 다만 리듬을 인식하는 경우 제스처 패턴의 난이도 및 제스처 신호의 정확도를 두 개의 변수로 하여 하나 또는 두 개의 변수를 이용하여 점수를 부여 할 수 있다.

도 7 은 터치스크린 디스플레이상에서 입력받은 제스처 신호의 시작 좌표가 모바일 디바이스의 디스플레이에 표시되는 게임상의 오브젝트의 영역 포함되는 경우 오브젝트에 제어 효과를 적용하는 것을 특징으로 하는 것이다.

예를 들어, 본 발명의 일 실시예에 따르면, 게임상의 710 영역에 해당하는 적 케릭터가 존재하는 경우 제스처 신호 720 와 같이 710 영역 안에서 제스처 신호가 존재하는 경우 게임상에 복수의 적이 있는 경우에도 선택된 오브젝트에 해당하는 적에서 제스처 패턴의 대응하는 효과가 적용된다.

다만 제스처 신호 730 과 같이 어느 오브젝트에도 해당하지 않는 경우에는 미리 정해진 규칙에 따라 해당하는 적에게 효과를 적용하거나 아니면 복수의 적에게 효과를 적용하는 등 다양한 방법으로 효과를 적용할 수 있다.

도 8a 및 8b 는 저장부 (140) 에 새로운 제스처 패턴을 등록하는 것을 보여준다. 새로운 제스처 패턴을 등록하기 위해 입력부 (110) 에 제스처 신호를 입력하면 기존의 제스처 패턴과 유사 여부를 판단한다. 유사한 패턴이 존재하기 않는다면 제스처 신호의 난이도를 분석하여 난이도를 부여한다. 그리고 제스처 신호의 대응하는 제스처 패턴의 적용 효과를 결정하고 저장부 (140) 에 저장한다.

이상 첨부된 도면을 참조하여 본 발명의 실시예들을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것은 아니고, 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형 실시될 수 있다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100 : 모바일 디바이스 110 : 터치스크린
111 : 입력부 112 : 표시부
140 : 저장부 150 : 통신부
160 : 제어부
S210 내지 S250 : 모바일 디바이스의 상태
310 내지 360 : 모바일 디바이스의 상태

Claims (6)

1. 터치스크린 디스플레이상에서 제스처 신호를 입력받는 단계;
   상기 제스처 신호와 등록된 일 이상의 제스처 패턴을 비교하여 실행 제스처를 판단하는 단계;
   상기 제스처 신호를 상기 실행 제스처와 비교하여 제스처 신호의 크기와 제스처 신호의 입력 정확도를 추출하는 단계;
   상기 크기, 상기 정확도 및 상기 실행 제스처 패턴의 난이도를 기초로 미리 정해진 방식에 따라 상기 제스처 신호의 점수를 부여하는 단계; 및
   상기 점수에 대응하는 제어 효과를 적용하는 단계를 포함하는 것을 특징으로 하는, 터치스크린 상에서 제어방법.
   
2. 제 1 항에 있어서,
   상기 터치스크린 디스플레이상에서 입력받은 제스처 신호 입력은 하나 또는 그 이상의 접촉부의 드래그 움직임 인식하는 것을 특징으로 하는, 터치스크린 상에서 제어방법.
3. 제 1 항에 있어서,
   상기 터치스크린 디스플레이상에서 입력받은 제스처 신호 입력은 하나 또는 그 이상의 접촉부의 입력의 리듬을 인식하는 것을 특징으로 하는, 터치스크린 상에서 제어방법.
4. 제 1 항에 있어서,
   제스처 패턴을 추가로 등록하는 단계를 더 포함하고,
   상기 제스처 패턴을 추가로 등록하는 단계는,
   터치스크린 디스플레이상에서 입력받은 제스처 패턴 신호를 입력받는 단계;
   상기 제스처 패턴 신호를 분석하여 기존의 등록된 제스처 패턴과 비교하여 유사 여부를 판단하는 단계;
   유사한 등록된 제스처 패턴이 존재하는 경우 제스처 패턴 신호를 다시 입력받게 하고, 유사한 등록된 제스처 패턴의 부재 시 상기 제스처 패턴 신호를 제스처 패턴으로 추가 등록하는 단계; 및
   상기 추가 등록된 제스처 패턴의 입력 난이도를 미리 정해진 방식에 따라 결정하는 단계를 포함하는 것을 특징으로 하는, 터치스크린 상에서 제어방법.
5. 제 1 항에 있어서,
   상기 터치스크린 디스플레이상에서 입력받은 제스처 신호의 시작 좌표가 상기 모바일 디바이스의 디스플레이에 표시되는 게임상의 오브젝트의 영역 포함되는 경우,
   상기 점수는 상기 오브젝트에 제어 효과를 적용하는 것을 특징으로 하는, 터치스크린 상에서 제어방법.
6. 터치스크린 디스플레이상에서 제스처 신호를 입력받는 입력부; 및
   상기 제스처 신호를 분석하여 등록된 제스처 패턴과 매칭하고,
   상기 제스처 신호를 분석하여 제스처의 크기와 제스처 신호의 정확도를 추출하고,
   상기 크기, 상기 정확도 및 상기 매칭된 제스처 패턴의 난이도를 기초로 미리 정해진 방식에 따라 상기 제스처의 점수를 부여하고,
   상기 점수에 대응하는 제어 효과를 적용하는 제어부를 포함하는 것을 특징으로 하는, 터치스크린을 포함하는 모바일장치.
   

Images