KR101680084B1 - 제스처 디자인 방법 및 제스처 디자인 장치 - Google Patents

Abstract

제스처 디자인 방법은 제스처 디자인 장치가 인터페이스 장치의 움직임 정보에 대응되는 이동 궤적을 상기 디스플레이 장치에 표시하는 단계, 상기 입력 장치가 상기 디스플레이 장치에서 상기 이동 궤적 상에 적어도 하나의 허들 객체를 표시하는 명령을 입력 받는 단계, 상기 입력 장치가 상기 디스플레이 장치에서 시작 지점부터 상기 허들 객체를 지나가는 경로 객체를 표시하는 명령을 입력 받는 단계 및 상기 제스처 디자인 장치 가 상기 허들 객체 및 상기 경로 객체를 기반으로 상기 인터페이스 장치의 특정 움직임에 대응되는 특정 제스처를 결정하는 단계를 포함한다.

Description

제스처 디자인 방법 및 제스처 디자인 장치{DESIGNING METHOD FOR GESTURE INTERFACE AND DESIGNING APPARATUS FOR GESTURE INTERFACE}

이하 설명하는 기술은 움직임을 인터페이스로 사용하는 장치에 대한 제스처 디자인 방법 및 장치에 관한 것이다.

최근 모바일 기기를 중심으로 다양한 인터페이스 방식이 개발되고 있다. 터치스크린을 이용한 입력, 단말의 가속도 센서를 이용한 제스처 입력, 카메라를 이용한 명령 입력 등 다양한 기술이 상용화되고 있다.

다양한 제스처 입력을 연구하는 인터랙션 디자이너는 새로운 제스처를 구현하고 테스트를 해보아야 한다. 예를 들어, 스마트폰을 귀에 가져가서 바로 전화통화로 연결하는 제스처 인터랙션 아이디어를 테스트하는 경우, 디자이너가 모바일 어플리케이션을 직접 프로그래밍하여 개발해야 한다. 또는 휴대폰의 디자인 모형에 가속도 센서 등의 제스처 센서를 부착하여 이를 컴퓨터와 연동하기 위해 피젯(Phidget)과 같은 인터페이스 장치를 연결하고 플래시(Adobe Flash)와 같은 개발 환경에서 이를 프로그래밍하여야 한다.

복잡한 센서의 패턴을 쉽게 저작하고 테스트 및 구현을 쉽게 수행 할 수 있도록 도와주는 기존의 연구로는 데모 프로그래밍(Programming-By-Demonstration) 방식이 가장 잘 알려져 있다. 이그젬플라(Exemplar)나 제스처코더(Gesture Coder) 등은 디자이너가 인터랙션을 수행하는 동안 센서의 패턴을 기록해두었다가 비슷한 패턴을 검출해내는 방식을 활용하고 있다.

한편 이동 단말 뿐만 아니라 스마트 워치(smart watch), 스마트 안경 등과 같이 다양한 웨어러블 기기(wearable device)가 등장하고 있다.

한국등록특허 제10-1482701호

종래 기술은 제스처 디자이너가 제스처를 의미하는 센싱 데이터를 애해하고 이를 프로그램밍해야 한다는 문제점이 있었다. 이를 극복하고자 제스처를 저작하는 제스처 마크업 언어가 제안된 바 있다. 한편 제스처 디자인 장치에서 일정한 제스처를 추정하여 제스처 마크업 언어를 사용한다면 실제 원하는 제스처를 얻기 까지 많은 수정 과정이 필요할 수 있다.

이하 설명하는 기술은 다양한 웨어러블 기기의 실제 제스처를 기반으로 제스처 마크업 언어를 이용하는 제스처 디자인 방법 내지 장치를 제공하고자 한다.

이하 설명하는 기술의 해결과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

제스처 디자인 방법은 제스처 디자인 장치가 인터페이스 장치의 움직임 정보에 대응되는 이동 궤적을 상기 디스플레이 장치에 표시하는 단계, 상기 입력 장치가 상기 디스플레이 장치에서 상기 이동 궤적 상에 그래픽 객체인 적어도 하나의 허들 객체를 표시하는 명령을 입력 받는 단계, 상기 입력 장치가 상기 디스플레이 장치에서 상기 허들 객체를 지나가는 그래픽 객체인 경로 객체를 표시하는 명령을 입력 받는 단계 및 상기 제스처 디자인 장치가 상기 허들 객체 및 상기 경로 객체를 기반으로 상기 인터페이스 장치의 특정 움직임에 대응되는 특정 제스처를 결정하는 단계를 포함한다. 상기 경로 객체는 상기 특정 제스처의 이동 경로를 나타내고, 상기 허들 객체는 상기 특정 제스처가 이동하면서 지나가는 특정 지점을 나타낸다.

제스처 디자인 장치는 인터페이스 장치의 움직임 정보를 수신하는 통신 모듈 장치, 상기 장치의 움직임 정보에 대응되는 이동 궤적 및 그래픽 객체인 제스처 마크업 언어를 표시하는 디스플레이 장치, 사용자가 상기 제스처 마크업 언어를 입력하거나 수정하는 입력 장치, 상기 제스처 마크업 언어를 특정 제스처 코드로 변환하는 변환 코드를 저장하는 메모리 장치 및 상기 변환 코드를 이용하여 상기 사용자가 입력한 제스처 마크업 언어를 상기 제스처 코드로 변환하는 연산 장치를 포함한다.

이하 설명하는 기술은 실제 웨어러블 장치 내지 이동 단말이 이동하는 궤적을 기반으로 제스처를 디자인하기 때문에 보다 정확한 제스처를 손쉽게 디자인할 수 있다.

이하 설명하는 기술의 효과는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

도 1은 제스처 마크업 언어에 대한 예를 도시한다.
도 2는 일정한 제스처와 이에 대응되는 제스처 마크업 언어의 예를 도시한다.
도 3은 제스처 디자인 방법에 대한 순서도의 예이다.
도 4는 제스처 입력을 위한 인터페이스 장치를 선택하는 화면에 대한 예이다.
도 5는 인터페이스 장치에 대한 시작각도 설정 및 제스처 허용 범위를 설정하는 화면에 대한 예이다.
도 6은 인터페이스 장치의 움직임을 나타내는 디스플레이 화면에 대한 예이다.
도 7은 인터페이스 장치의 이동 궤적을 기반으로 제스처 마크업 언어를 통해 제스처를 정의하는 과정에 대한 예이다.
도 8은 이동 단말을 제스처 디자인 장치로 이용한 화면의 예이다.
도 9는 제스처 디자인 장치의 구성을 도시한 블록도의 예이다.

이하 설명하는 기술은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 이하 설명하는 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 이하 설명하는 기술의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 해당 구성요소들은 상기 용어들에 의해 한정되지는 않으며, 단지 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 이하 설명하는 기술의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

본 명세서에서 사용되는 용어에서 단수의 표현은 문맥상 명백하게 다르게 해석되지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함한다" 등의 용어는 설시된 특징, 개수, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 의미하는 것이지, 하나 또는 그 이상의 다른 특징들이나 개수, 단계 동작 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 배제하지 않는 것으로 이해되어야 한다.

도면에 대한 상세한 설명을 하기에 앞서, 본 명세서에서의 구성부들에 대한 구분은 각 구성부가 담당하는 주기능 별로 구분한 것에 불과함을 명확히 하고자 한다. 즉, 이하에서 설명할 2개 이상의 구성부가 하나의 구성부로 합쳐지거나 또는 하나의 구성부가 보다 세분화된 기능별로 2개 이상으로 분화되어 구비될 수도 있다. 그리고 이하에서 설명할 구성부 각각은 자신이 담당하는 주기능 이외에도 다른 구성부가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성부 각각이 담당하는 주기능 중 일부 기능이 다른 구성부에 의해 전담되어 수행될 수도 있음은 물론이다. 따라서, 본 명세서를 통해 설명되는 각 구성부들의 존재 여부는 기능적으로 해석되어야 할 것이며, 이러한 이유로 이하 설명하는 제스처 디자인 방법 및 제스처 디자인 장치에 따른 구성부들의 구성은 이하 설명하는 기술의 목적을 달성할 수 있는 한도 내에서 대응하는 도면과는 상이해질 수 있음을 명확히 밝혀둔다.

또, 방법 또는 동작 방법을 수행함에 있어서, 상기 방법을 이루는 각 과정들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 과정들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.

이하 설명하는 제스처 디자인 방법 내지 장치는 제스처 인터랙션(interaction) 디자이너가 제스처를 인터랙션으로 이용하는 다양한 장치에 대한 제스처 인터페이스를 손쉽게 개발하도록 한다. 이하 제스처 디자인의 대상이 되는 장치를 인터페이스 장치라고 명명한다.

인터페이스 장치는 장치 자체의 움직임을 인터페이스로 사용하는 스마트폰과 같은 이동 단말, 카메라 또는 센서를 이용하여 획득하는 사용자의 움직임을 인터페이스로 사용하는 장치(예컨대, 스마트폰, 콘솔 게임기, 웨어러블 기기 등), 3축 가속도 센서를 이용하여 움직임을 측정할 수 있는 장치(에컨대, 스마트폰, 웨어러블 기기, 로봇 등) 등을 포함하는 의미이다. 웨어러블 기기는 소위 스마트 워치, 스마트 안경 등과 같이 사람의 신체에 착용하는 다양한 기기를 포함한다.

스마트폰과 같은 이동 단말을 예로 들어 설명하면 현재 시장에 나온 이동 단말은 다양한 제스처를 인터페이스로 이용하다. 예컨대, 이동 단말을 뒤집어 놓으면 사운드 출력이 없어지기도 하고, 이동 단말을 일정하게 흔들거나 이동 단말로 일정한 제스처를 입력하면 특정 앱(application)이 수행되거나, 이동 단말의 명령이 수행되기도 한다.

이하 설명하는 제스처 디자인 방법 내지 장치는 인터랙션 디자이너가 이동 단말에 내장된 각종 센서에서 생성되는 출력값이 의미하는 제스처의 의미를 알지 못하더라고, 직감적인 그래픽 객체인 제스처 마크업 언어를 이용하여 제스처 인터랙션을 정의할 수 있다.

본격적인 설명에 앞서 몇 가지 용어를 정의하고자 한다. 제스처는 사용자가 인터페이스 장치를 통해 입력하는 인터페이스 장치의 움직임을 의미한다. 제스처 마크업 언어는 제스처 코드 생성을 위해 사용하는 언어로서, 프로그래밍 언어가 아닌 직감적인 그래픽적 요소를 언어를 의미한다. 제스처 코드는 이동 단말 또는 컴퓨터 장치에서 특정 제스처를 정의하는 소프트웨어적인 코드를 의미한다. 특정 제스처를 정의하는 제스처 코드는 OS, 소프트웨어의 종류, 기기의 종류 등에 따라 다양한 코드가 사용될 수 있을 것이다.

이하 설명하는 제스처 디자인 방법 내지 장치는 인터페이스 장치가 움직이는 공간에 대응되는 화면에서 특정 제스처 마크업 언어를 표시하는 방식으로 제스처를 디자인한다. 먼저 제스처를 정의내지 특정하는 제스처 마크업 언어에 대해 설명하기로 한다. 도 1은 제스처 마크업 언어에 대한 예를 도시한다.

도 1(a)는 경로 객체의 예를 도시하고, 도 1(b)는 허들 객체의 예를 도시한다. 도 1(a)를 살펴보면, 경로 객체는 화살표와 직선으로 구성된 예를 도시하였다. 그러나 제스처가 직선 방향으로만 진행하는 것은 아니므로, 경로 객체는 곡선으로 구성될 수도 있다. 도 1(a)에서는 경로 객체에 시작점에 해당하는 객체를 별도로 표시하였다. 다만 경로 객체는 디스플레이 장치 상에서 제스처의 특정 경로를 표시하기만 하면 된다. 따라서 경로 객체는 인터페이스 장치의 움직임을 나타내는 경로를 표시하는 객체(방향 및 이동 경로)로 구성되면 충분하다. 경로 객체는 도 1(a)에 도시한 객체와 달리 다양한 형태의 객체가 사용될 수도 있다.

도 1(b)를 살펴보면, 허들 객체는 특정 지점이 사이에 위치하는 제1 지점과 제2 지점을 지나는 직선 형태를 갖는다. 도 1(b)에서는 허들 객체가 제스처 방향을 나타내는 객체를 별도로 표시하였다. 그러나 제스처 방향을 나타내는 객체가 반드시 필요한 것은 아니다. 도 1(b)에서는 허들 객체에서 제1 지점 및 제2 지점을 원형 객체로 표시하였으나, 이러한 객체도 반드시 필요한 것은 아니다. 허들 객체는 2차원 공간에서 특정 제1 지점과 제2 지점을 지나가는 직선 또는 3차원 공간에서 특정 제1 지점과 제2 지점을 평면을 의미한다. 따라서 허들 객체는 도 1(b)에 도시한 형태에 한정되지 않고, 직선 또는 평면을 표현할 수 있는 다양한 객체가 사용될 수도 있다.

도 1(c)는 제스처가 특정 시작점에서 시작하여 허들 객체(a)에 도착하는 경우이다. 도 1(d)는 제스처가 시작점에서 시작하여 허들 객체(a)를 지나 다른 허들 객체(b)에 도착하는 경우이다. 도 1(e)는 제스처가 시작점에서 시작하여 허들 객체(a)를 지난 후 허들 객체(b) 또는 허들 객체(c)에 도착하는 예이다. 도 1(f)는 제스처가 시작점에서 시작하여 허들 객체(a), 허들 객체(b), 허들 객체(c), 허들 객체(d)를 통과하여 회전하는 예를 도시한다. 이와 같이 그래픽 객체로 표현되는 제스처 마크업 언어를 사용하면 손쉽게 특정 제스처를 정의할 수 있다.

도 2는 일정한 제스처와 이에 대응되는 제스처 마크업 언어의 예를 도시한다. 도 2(a)의 우측은 책상과 같은 평면에 위치한 이동 단말을 뒤집는 제스처(flip over)를 도시하고, 도 2(a)의 좌측은 이에 대응되는 제스처 마크업 언어에 대한 예를 도시한다. 3차원 평면 중 xz 평면에서 이동 단말의 바닥을 기준으로 회전하면서 위치가 180˚변경되는 것을 알 수 있다.

도 2(b)의 우측은 사용자가 이동 단말을 바지 주머니에 넣는 제스처이고, 도 2(b)의 좌측은 이에 대응되는 제스처 마크업 언어에 대한 예를 도시한다. 도 2(b) 경우 xy 평면에서 허들 객체 0을 경유하여 허들 객체 1 또는 허들 객체 2에 도착하는 경우를 도시한다.

도 2(c)의 우측은 사용자가 이동 단말을 튕기는 제스처(tapping)이고, 도 2(c)의 좌측은 이에 대응되는 제스처 마크업 언어에 대한 예를 도시한다. 도 2(c) 경우 xz 평면에서 시작 객체로부터 가까운 위치에 있는 허들 객체 0을 지나 허들 객체 1에 도착하는 경우를 도시한다. 허들 객체 1은 허들 객체 0보다 시작 객체에 가까운 곳에 위치한다. 이는 사용자가 손바닥에 이동 단말을 튕기는 경우 반동에 의해 최초 이동 방향의 반대방향으로 움직이는 경우를 설명한다.

이동 단말 또는/및 웨어러블 기기를 사용하는 사용자는 해당 인터페이스 장치를 3차원 공간에서 일정하게 움직이면서 제스처를 입력한다. 제스처 인터랙션 디자이너는 디스플레이 장치의 화면이라는 2차 공간에서 제스처를 디자인하기 때문에 3차원 공간 상의 제스처를 화면에 어떻게 표현해야 하는지 이해하기 어려울 수 있다. 따라서 다음과 같은 방법을 제안한다. 이후 사용자는 제스처 인터랙션 디자이너를 의미한다. 사용자는 제스처를 디자인하는 연구를 수행하는 자 또는 이동단말이나 웨어러블 기기의 실제 사용자(end user)일 수도 있다.

먼저 사용자가 먼저 자신이 디자인하고자 하는 제스처를 인터페이스 장치 또는 인터페이스 장치에 대응되는 장치를 이용하여 입력한다. 예컨대, 손에 파지한 이동 단말 또는 손목에 착용한 스마트 워치를 움직이면서 제스처를 입력한다. 사용자가 제스처 마크업 언어 사용 전에 입력하는 제스처를 베이스 제스처라고 명명한다. 사용자가 베이스 제스처를 입력하면 베이스 제스처에 대응되는 경로 정보를 일정하게 디스플레이 장치가 출력한다. 이를 통해 사용자는 3차원 공간 상의 제스처가 화면에 실제 어떤 경로를 갖는지 충분히 직잠할 수 있다. 이때 화면에 출력되는 경로를 인터페이스 장치의 이동 궤적이라고 명명한다. 이후 사용자는 화면에 출력된 이동 궤적을 참고하여 전술한 제스처 마크업 언어를 화면에 표시하는 방식으로 제스처를 디자인할 수 있다.

제스처를 디자인할 때 사용하는 장치를 이하 제스처 디자인 장치라고 명명한다. 제스처 디자인 장치는 인터페이스 장치의 제스처(움직임 정보)를 전달받아 베이스 제스처를 출력하고, 제스처 마크업 언어를 입력하여 제스처를 정의하는 장치이다. 결국 제스처 디자인 장치는 디스플레이 장치, 입력 장치, 연산 장치 등을 포함하는 컴퓨터 장치에 해당한다. 제스처 디자인 장치는 인터페이스 장치와 다른 별도의 컴퓨터 장치(PC, 태블릿 PC 등)일 수도 있고, 스마트폰과 같은 이동 단말일 수도 있다. 후자인 경우 제스처 디자인 장치는 인터페이스 장치인 동시에 제스처 디자인 장치에 해당할 수 있다.

한편 사용자는 실제 인터페이스 장치를 사용하여 제스처 디자인 장치에 베이스 제스처를 입력할 수도 있고, 3차원 공간 상의 움직임 정보를 센싱하는 별도의 센서 장치를 사용하여 베이스 제스처를 제스처 디자인 장치에 입력할 수도 있다. 설명의 편의를 위해 이하 사용자는 인터페이스 장치를 사용하여 베이스 제스처를 생성하는 것으로 가정한다. 인터페이스 장치는 3차원 공간 상에서의 움직임 정보를 생성할 수 있어야 한다. 따라서 인터페이스 장치는 자이로 센서, 가속도 센서 등과 같은 움직임(motion) 센서를 포함해야 할 것이다. 특정한 센서를 사용하여 생성하는 실제 데이터의 규격이나 데이터 처리 방법에 대해서는 설명하지 않기로 한다.

도 3은 제스처 디자인 방법(100)에 대한 순서도의 예이다. 이하 설명의 편의를 위해 제스처 디자인 장치(80)는 스마트폰과 같은 이동 단말이라고 가정한다.

사용자는 먼저 제스처를 입력한 인터페이스 장치(50)를 선택한다(110). 사용자는 사전에 제스처를 디자인할 인터페이스 장치(50)를 제스처 디자인 장치(80)에 등록할 수 있다. 이 경우 제스처를 디자인하는 단계에서 사용자가 특정 인터페이스 장치(50)를 선택해야 할 것이다. 이후 사용자는 선택한 인터페이스 장치(50)를 이용하여 일정한 베이스 제스처를 입력하게 된다(120). 또는 사용자는 제스처를 디자인하는 단계에서 특정 인터페이스 장치(50)와 제스처 디자인 장치(80)를 연결한 후 베이스 제스처를 입력할 수도 있을 것이다. 예컨대, 제스처 디자인 장치(80)가 블루투스 통신을 통해 웨어러블 기기(인터페이스 장치(50))를 인식하면, 사용자는 해당 인터페이스 장치(50)를 이용하여 베이스 제스처를 입력할 수 있다.

도 4는 제스처 입력을 위한 인터페이스 장치(50)를 선택하는 화면에 대한 예이다. 도 4(a)는 하단에 사용자 객체가 출력된 제스처 디자인 장치(80)의 화면의 예이다. 도 4(a)는 예시적으로 사용자의 양손 및 머리를 표시하였다. 사용자는 하단의 사용자 객체를 선택하여 특정 장치를 선택하는 과정을 시작할 수 있다. 예컨대, 손에서 이용할 수 있는 인터페이스 장치(50)는 스마트폰, 스마트 워치, 손목에 착용하는 밴드, 손가락에 착용하는 반지 등과 같은 장치 등이 있다. 머리에 착용하는 인터페이스 장치(50)는 스마트 안경(구글 글래스 등), 헤어 밴드, 이어폰 등과 같은 장치 등이 있다. 이외에 사용자가 착용할 수 있는 옷, 모자 등과 같은 다양한 형태의 장치가 사용될 수 있음은 물론이다.

도 4(b)는 도4(a)에서 손이나 머리를 선택한 경우 현재 제스처 디자인 장치(80)에 등록되거나 연결된 인터페이스 장치(50)의 종류를 출력하는 화면의 예이다. 도 4(b) 상단에는 직감적인 아이콘 객체 형태로 인터페이스 장치(50)를 출력하였고, 도 4(b)의 하단에는 인터페이스 장치(50)에 대한 택스트 정보를 리스트 형태로 출력한 예이다. 도4(b)의 하단 같이 가용한 인터페이스 장치(50)에 대한 정보를 출력할 때 해당 인터페이스 장치(50)에 대한 식별정보(ID)를 표시할 수도 있다. 동일한 형태의 장치를 복수 개 사용하여 제스처를 입력하는 경우, 각 인터페이스 장치(50)에 대한 제스처 저작 시 인터페이스 장치(50)를 구별할 필요가 있기 때문이다.

도 4(c)는 사용자의 왼손에 스마트 워치를 선택하고, 사용자의 오른손에 스마트폰을 선택한 결과를 출력한 화면의 예이다. 이후 각각의 인터페이스 장치(50)에 대한 제스처 저작을 수행하게 된다.

도 4에서 제스처 디자인 장치(80)는 실제 3차원 공간에서 인터페이스 장치(스마트 워치, 스마트 밴드, 스마트폰, 스마트 안경 등)가 배치되는 위치에 대응되게 사용자 객체 및 인터페이스 장치를 나타내는 객체를 출력하는 것이 바람직하다. 이를 통해 사용자는 자신이 보다 직감적으로 제스처를 디자인할 수 있다. 예컨대, 특히 둘 이상의 인터페이스 장치(50)를 사용하여 조합된 하나의 제스처를 디자인 하는 경우 유리할 것이다.

이와 같이 제스처 디자인 장치(80)가 저작하는 제스처는 하나 이상의 인터페이스 장치(50)를 사용할 수 있다. 이 경우 각각의 인터페이스 장치(50)가 서로 다른 제스처를 표현할 수 있다. 복수 개의 인터페이스 장치(50)가 입력하는 제스처는 각각 서로 다른 명령을 의미할 수도 있고, 복수 개의 인터페이스 장치(50)가 입력하는 제스처는 서로 조합하여 하나의 명령을 의미할 수도 있다.

한편 인터페이스 장치(50)가 특정 제스처를 입력하는 시작 상태(시작 각도)가 있을 수 있다. 예컨대, 스마트폰이 수평면에 놓인 상태에서 시작할 수도 있고, 수직으로 놓인 상태에서 시작할 수도 있고, 수평면에 대해 스마트폰의 길이방향이 일정한 각도를 갖는 상태에서 시작할 수도 있다. 따라서 인터페이스 장치(50)가 제스처를 시작하는 시작 상태를 사전에 결정할 필요가 있다. 사용자는 시작 상태에 있는 인터페이스 장치(50)를 기준으로 제스처 저작을 수행해야 할 것이다.

나아가 사용자는 인터페이스 장치(50)가 특정 제스처를 입력할 수 있는 허용 범위(경계 영역)을 설정할 수도 있다. 설정한 허용 범위를 벗어나는 제스처 입력은 제스처 인식 과정에서 무시될 수 있다.

도 5는 인터페이스 장치(50)에 대한 시작각도 설정 및 제스처 허용 범위를 설정하는 화면에 대한 예이다. 도 5(a)는 인터페이스 장치(50)의 시작 각도를 설정하는 예이다. 도 5(a) 상단에는 인터페이스 장치(50)인 스마트폰을 도시하였고, 일정한 길이를 갖는 속이 빈 막대 형태의 진자(振子)가 표시되었다. 디스플레이 장치의 화면에 나타나는 진자는 인터페이스 장치(50)의 움직임에 따른 기울기 또는 가속도값을 의미한다. 도 5(a)에서는 일정하게 기울어진 상태에서 인터페이스 장치(50)의 가속도값을 나타내는 진자를 표시하였고, 사용자는 이 가속도값을 시작 각도로 설정한 경우이다. 3차원 가속도 센서를 사용하는 경우 시작 간도는 해당 순간의 가속도값(x,y,z)로 정의된다. 사용자가 시작 각도를 갖는 인터페이스 장치(50)를 들고 있는 상태에서 제스처 디자인 장치(80)에 시작 각도를 설정하는 명령을 전달한다. 각종 명령은 제스처 디자인 장치(80)의 화면을 터치하거나, 특정 키를 입력하는 등의 방식으로 수행된다. 나아가 인터페이스 장치(50)의 입력 장치를 통해 특정 명령을 제스처 디자인 장치(80)로 전달할 수도 있다. 도 5에서는 시작 각도가 설정된 상태를 속이 빈 진자 형태로 표시하였다.

도 5(a)는 시작 각도가 설정된 후 인터페이스 장치(50)의 움직임에 따라 실선 형태의 진자가 출력되는 예를 도시한다. 실선 형태의 진자는 현재 인터페이스 장치(50)의 움직임에 대응한다. 진자의 방향은 인터페이스 장치(50)의 움직임 내지 기울기에 따른 가속도값에 해당하고, 진자의 길이는 인터페이스 장치(50)의 움직임(기울기)의 변화 정도에 따른 가속도값의 변화정도(크기)를 의미한다. 예컨대, 인터페이스 장치(50)가 순간적으로 크게 움직이거나 회전하면 진자의 길이는 큰 값을 갖게된다. 진자는 인터페이스 장치(50)의 현재 움직임을 나타내고, 전술한 이동 궤적은 진자의 끝부분이 이동하는 경로에 대응된다.

도 5(b)는 인터페이스 장치(50)의 제스처를 인식하는 허용 범위를 설정하는 화면의 예이다. 도 5(b)의 상단은 사용자가 인터페이스 장치(50)의 시작 각도를 설정한 화면이고, 도 5(b)의 하단은 허용 범위를 사용자가 설정하는 화면의 예이다. 도 5(b)의 하단에서 굵은 실선으로 표시한 원이 허용 범위에 해당하는 영역이다. 사용자는 허용 범위를 터치 패널, 키패드, 키보드, 마우스 등과 같은 입력 수단을 이용하여 설정할 수 있다.

다시 도 3으로 돌아가서 제스처 디자인 방법(100)을 설명한다. 베이스 제스처 입력은 제스처 디자인 이전에 수행되면 충분하다. 따라서 제스처 디자인 과정에서 먼서 베이스 제스처 입력한 후 곧바로 이동 궤적 상에 제스처 마크업 언어를 표시할 수도 있고, 사전에 베이스 제스처를 마련하고 이후 제스처 디자인 장치(80)에서 제스처를 디자인할 수도 있다. 도 3으로 설명하면 베이스 제스처를 입력하는 단계 내지 베이스 제스처를 마련하는 단계(120)는 베이스 제스처에 대응하는 이동 궤적을 표시하는 단계(130)와 연속되거나, 일정한 시간 간격을 두고 각 단계가 수행될 수도 있다. 예컨대, 사용자는 베이스 제스처를 입력하고, 이를 별도의 저장 장치 또는 제스처 디자인 장치(80)에 저장한 후 사용자가 자신이 저장했던 하나 이상의 베이스 제스처를 기반으로 제스처를 디자인할 수 있다.

제스처 디자인 장치(80)는 디스플레이 장치를 통해 베이스 제스처에 대응되는 이동 궤적을 출력한다(130). 베이스 제스처는 인터페이스 장치(50)의 움직임 정보(데이터)를 이용하여 생성되고, 디스플레이 장치에 출력된다.

도 6은 인터페이스 장치(50)의 움직임을 나타내는 디스플레이 화면에 대한 예이다. 도 6(a)에서 복수의 진자가 표시되었으나, 진자는 시간 순서에 따라 순차적으로 출력되는 것이다. 도 6(a)는 인터페이스 장치(50)의 움직임에 대응하는 가속도값에 따라 진자가 출력되면서 진자의 끝 지점의 움직임에 대응되는 이동 궤적이 출력되는 예를 도시한다. 도 6(b)는 인터페이스 장치(50)인 스마트폰을 3회 좌우로 흔든 경우의 진자가 이동한 궤적에 해당한다. 현재 진자는 초기 시작 각도에 해당하는 위치에 있다. 따라서 인터페이스 장치(50)인 스마트폰이 시작 각도를 설정한 위치에 다시 돌아온 상태라고 하겠다.

진자의 이동 궤적은 인터페이스 장치(50)의 가속도 값을 기준으로 결정될 수 있다. 나아가 가속도 값이라는 물리적 수치 외에도 실제 인터페이스 장치(50)의 이동 궤적을 이용할 수도 있다. 인터페이스 장치(50)의 실제 이동 궤적은 인터페이스 장치(50)의 상대적인 위치 좌표를 추출하면 된다. 예컨대, 움직임 센서, 자기장 센서를 이용하여 일정한 시작 위치로부터 3차원 공간 상에서 인터페이스 장치(장치의 기준 위치)가 어떤 좌표를 갖는지 연산하면 충분하다. 나아가 별도의 카메라 장치를 이용하여 인터페이스 장치(50)의 움직임 궤적을 추적할 수도 있을 것이다. 각종 센서 또는 카메라 장치 등을 이용하여 인터페이스 장치(50)의 실제 이동 궤적을 결정하고, 이동 궤적에 대응하는 움직임 정보를 제스처 디자인 장치(80)에 전달하고, 제스처 디자인 장치(80)는 움직임 정보에 기반하여 일정한 화면에 이동 궤적을 표시한다.

사용자는 디스플레이 장치에 표시되는 이동 궤적을 기반으로 이동 궤적 위에 제스처 마크업 언어를 배치한다. 사용자는 인터페이스 장치(50)의 이동 궤적을 기준으로 특정 제스처가 3차원 공간에서 특정 경로를 지나간다는 것을 알 수 있다. 따라서 일반적으로 사용자는 이동 궤적 상에 허들 객체를 먼저 배치하는 것이 바람직할 수 있다. 이후 허들 객체를 지나가는 특정 경로 객체를 배치한다. 특정 경로 객체는 시작점과 종료점이 존재할 수 있다. 시작점과 종료점이 존재하는 경우 제스처는 반드시 해당 시작점과 종료점에서 각각 시작하고 종료할 수 있다. 나아가 제스처는 시작점과 종료점이 별도로 없이, 제1 허들 객체에서 시작하여 제2 허들 객체에서 종료하는 형태일 수도 있다.

도 3에서는 사용자가 이동 궤적 상에 적어도 하나의 허들 객체를 배치하고(140), 이후 경로 객체를 배치한다(150)고 설명하였다. 그러나 반드시 허들 객체를 먼저 배치하여야만 하는 것은 아니다. 순서에 관계없이 적당한 허들 객체 및 경로 객체가 존재하면 최종 제스처가 정의될 수 있다.

도 7은 인터페이스 장치(50)의 이동 궤적을 기반으로 제스처 마크업 언어를 통해 제스처를 정의하는 과정에 대한 예이다. 도 7에 도시한 제스처 마크업 언어는 다양한 형태의 제스처 마크업 언어 중 일예이다.

도 7(a)는 인터페이스 장치(50)를 3번 좌우로 흔든 후의 베이스 제스처가 출력된 화면의 예이다. 도 7(b)는 베이스 제스처가 출력된 화면에서 사용자가 허들 객체를 배치한 예이다. 사용자는 베이스 제스처를 기반으로 인터페이스 장치(50)를 일정하게 흔들면 반드시 지나가는 영역을 확인할 수 있다. 사용자는 이후 해당 영역에 허들 객체를 배치한다. 도 7(b)에서는 3개의 허들 객체 H1, H2 및 H3를 배치한 예를 도시한다. 도 7(b)에서는 도 1과는 다르게 허들 객체가 방향을 나타내는 객체 없이 직선으로만 표시되었다. 이후 사용자는 도 7(c)와 같이 특정 지점에서 시작하여 허들 객체를 지나가는 경로 객체를 순서대로 배치할 수 있다. 경로 객체는 허들 객체 사이는 잇는 직선 내지 곡선의 형태를 갖고, 화살표는 제스처의 움직임 방향을 나타낸다. 도 7(c)에서는 허들 객체 사이의 경로 객체에 일정한 원 객체를 추가로 도시하였다. 도 7(c)에서 최종적으로 정의한 제스처는 인터페이스 장치(50)를 일정한 시작 각도에서 좌에서 우로 흔든 경우에 대응된다.

제스처 디자인을 위해 사용하는 제스처 마크업 언어에 대해 추가적으로 설명한다. 제스처는 경로 객체만으로 가지고도 정의가 가능할 것이다. 경로 객체만으로 구성된 제스처는 특정 지점에서 시작하여 해당 경로를 갖고 특정 지점에서 종료하는 형태가 될 것이다. 경로 객체만으로 구성된 제스처를 제1 제스처라고 하자. 정의된 경로와 동일 내지 거의 유사한 경로를 갖는 특정 제스처만이 제1 제스처로 인식될수 있다.

허들 객체는 어떤 제스처가 해당 허들 객체를 지나가는지 판단하기 위한 요소이다. 도 7(c)와 같이 경로 객체와 허들 객체로 구성된 제스처를 제2 제스처라고 명명하자. 어떤 제스처가 허들 객체로 정의한 영역을 지나가고, 동시에 움직임의 방향이 경로 객체와 동일하다면, 해당 제스처는 제2 제스처로 인식될 수 있다. 이 경우 경로 객체는 움직임의 방향만을 의미할 수 있다. 그러나 경우에 따라서는 경로 객체가 해당 경로와 동일 또는 일정한 편차를 두고 해당 경로와 유사한 경로를 의미할 수도 있다. 제스처 저작에 있어서 허들 객체를 여러개 사용하면 유사한 제스처를 서로 구분할 수도 있을 것이다.

한편 이동 궤적을 표시하는 과정(130)에서 사용자는 이동 궤적이 표시된 화면에서 해당 이동 궤적이 표시되는 시점을 변경할 수도 있다. 3차원 공간 상에서 이동 궤적이 표시되는 시점을 변경할 수 있다. 이를 통해 사용자는 3차원 공간 상에서 이동 궤적의 경로를 명확하게 알 수 있다. 또한 제스처 마크업 언어를 배치하는 과정(140 및 150)에서 출력되는 시점을 일정하게 변경하면서 허들 객체 또는 경로 객체를 배치할 수도 있다. 3차원 공간에서 허들 객체는 단순하게 2차원 직선으로 표현될 수도 있지만, 3차원 평면으로 표시될 수도 있다.

도 3으로 돌아가서 사용자가 제스처 마크업 언어를 모두 화면에 배치한 후 제스처 디자인 장치(80)는 화면에 존재하는 경로 객체 및 허들 객체를 기반으로 특정 제스처를 결정한다(160). 이 과정은 제스처 마크업 언어를 인터페이스 장치(50)를 사용하는 장치가 인식하는 일정한 제스처 코드로 변환하는 과정에 해당한다.

이후 사용자는 제스처 마크업 언어도 정의된 특정 제스처를 특정 명령에 매핑할 수도 있을 것이다(170). 예컨대, 제스처 디자인 장치(80)에서 생성된 특정 제스처를 일정한 아이콘 또는 식별자로 표시하고, 사용자는 명령 리스트의 특정 명령을 선택하여 특정 제스처가 선택한 명령을 수행하도록 설정할 수 있다. 특정 명령은 특정 앱 실행, 컴퓨터 장치 또는 이동 단말 등에서 사용되는 명령 실행 등이 가능하다. 예컨대, 스마트폰을 특정 시작 각도에서 좌우로 흔든 명령은 카메라 실행에 사용될 수 있다. 또 스마트폰을 다른 시작 각도에서 좌우로 흔든 명령은 화면 잠금에 사용될 수 있다. 나아가 스마트 워치를 우에서 좌로 이동하면서 동시에 스마트폰을 좌에서 우로 이동하는 명령은 스마트폰과 스마트 워치의 동기화 수행에 사용될 수 있다.

제스처 디자인 방법(100) 과정에서 시작 각도 설정, 허용 범위 설정, 제스처 마크업 언어 배치 등은 다양한 입력 장치를 통해 수행할 수 있다. 디스플레이 장치에 특정 메뉴를 나타내는 아이콘을 표시하여 해당 메뉴를 선택한 후 각 과정을 수행할 수 있다. 또한 제스처 마크업 언어 배치는 그림 그리기 툴과 같은 프로그램을 이용하여 수행될 수도 있다. 배치한 제스처 마크업 언어는 일정하게 수정하거나 삭제할 수도 있다.

도 8은 이동 단말을 제스처 디자인 장치(80)로 이용한 화면의 예이다. 도 8은 스마트폰과 같은 이동 단말을 제스처 디자인 장치(80)로 이용한 경우이다. 사용자의 왼쪽 손에는 스마트 워치를 착용하면서 오른쪽 손에는 제스처 디자인 장치(80)로 사용하는 이동 단말을 파지한 경우이다.

도 8의 상단에는 제스처 디자인 과정에 사용되는 다양한 메뉴를 아이콘으로 표시한 화면의 예를 도시한다. 도 8에 설명한 바와 같이 좌에서 우측 순서로 각각 화면 시점 변환, 시작 각도 설정, 되돌리기(이전 상태로 돌아가기), 허들 객체 배치, 경로 객체 배치 및 객체 삭제 메뉴에 해당한다. 각 메뉴를 선택한 후 해당 화면에서 터치 패널을 선택하여 시점을 변환하거나, 허들 객체의 배치 위치 내지 크기를 설정할 수 있을 것이다.

도 8의 중앙 좌측에는 스마트 워치를 일정하게 회전시킨 이동 궤적에 제스처 마크업 언어를 배치한 화면을 도시하였고, 중앙 우측에는 스마트폰을 좌에서 우로 움직인 이동 궤적에 제스처 마크업 언어를 배치한 화면을 도시하였다. 사용자는 각 인터페이스 장치(50)에 대한 제스처를 개별 화면에서 정의할 수도 있고, 도 8과 같이 동시에 하나의 화면에서 두 개의 인터페이스 장치(50)에 대한 제스처를 정의할 수도 있을 것이다.

도 9는 제스처 디자인 장치(200)의 구성을 도시한 블록도의 예이다.

제스처 디자인 장치(200)는 인터페이스 장치의 움직임 정보를 수신하는 통신 모듈 장치(220), 상기 장치의 움직임 정보에 대응되는 이동 궤적 및 그래픽 객체인 제스처 마크업 언어를 표시하는 디스플레이 장치(260), 사용자가 상기 제스처 마크업 언어를 입력하거나 수정하는 입력 장치(230, 235) 상기 제스처 마크업 언어를 특정 제스처 코드로 변환하는 변환 코드를 저장하는 메모리 장치(250) 및 상기 변환 코드를 이용하여 상기 사용자가 입력한 제스처 마크업 언어를 상기 제스처 코드로 변환하는 연산 장치(240)를 포함한다.

입력 장치(230)는 키보드, 마우스, 키패드 등과 같이 컴퓨터 장치에서 사용될 수 있는 다양한 장치를 포함한다. 나아가 입력 장치는 디스플레이 장치(110)에서 디스플레이 패널과 함께 배치되는 터치 패널(235)을 포함한다. 디스플레이 장치(110)는 그래픽 객체를 출력하는 다양한 장치가 사용될 수 있음은 자명하다.

메모리 장치(150)는 제스처 마크업 언어를 제스처 코드로 변환하는 변환 코드를 저장한다. 제스처 코드는 제스처를 인터페이스로 사용하는 장치에서 특정 제스처를 정의하는 프로그램 코드 내지 데이터를 의미한다.

또한 제스처 디자인 장치(200)는 인터페이스 장치와는 별개의 컴퓨터 장치일 수도 있지만, 도 3 등에서 도시한 바와 같이 인터페이스 장치인 스마트폰을 제스처 디자인 장치로 사용할 수도 있다. 이 경우 제스처 지다인 장치는 자신의 움직임 정보를 획득하는 센서 장치(210)를 포함할 수 있다. 센서 장치(210)는 가속도 센서, 자이로 센서, 자기장 센서 등과 같이 기기 자체의 움직임(이동) 정보를 획득할 수 있는 각종 장치를 포함하는 의미이다.

제스처 디자인 장치(200)를 통해 제스처를 디자인 하는 과정은 전술한 도 3 및 관련된 설명과 동일하다. 제스처 디자인 장치(200)를 기준으로 제스처 디자인 과정을 정리하면, 제스처 디자인 장치(200)가 인터페이스 장치(50)의 움직임 정보에 대응되는 이동 궤적을 디스플레이 장치(260)에 표시하는 단계, 입력 장치(230, 235)가 디스플레이 장치(260)에서 이동 궤적 상에 적어도 하나의 허들 객체를 표시하는 명령을 입력 받는 단계, 입력 장치(230, 235)가 디스플레이 장치(260)에서 허들 객체를 지나가는 경로 객체를 표시하는 명령을 입력 받는 단계 및 제스처 디자인 장치(200)가 허들 객체 및 경로 객체를 기반으로 인터페이스 장치(50)의 특정 움직임에 대응되는 특정 제스처를 결정하는 단계를 포함한다.

제스처 마크업 언어인 경로 객체는 화살표, 직선 또는 곡선 중 적어도 하나를 포함하고, 허들 객체는 특정 지점을 지나가는 직선 또는 곡선 중 적어도 하나를 포함한다.

디스플레이 장치(260)는 명령 아이콘 또는 명령 리스트를 출력하고, 입력 장치(230, 235)는 사용자로부터 생성한 제스처 코드에 대응되는 명령을 선택하는 입력을 입력받고, 연산 장치(240)는 생성한 제스처 코드와 선택한 명령을 맵핑할 수도 있다.

본 실시예 및 본 명세서에 첨부된 도면은 전술한 기술에 포함되는 기술적 사상의 일부를 명확하게 나타내고 있는 것에 불과하며, 전술한 기술의 명세서 및 도면에 포함된 기술적 사상의 범위 내에서 당업자가 용이하게 유추할 수 있는 변형 예와 구체적인 실시예는 모두 전술한 기술의 권리범위에 포함되는 것이 자명하다고 할 것이다.

50 : 인터페이스 장치 80 : 제스처 디자인 장치
200 : 제스처 디자인 장치 210 : 센서 장치
220 : 통신 모듈 장치 230 : 입력 장치
235 : 터치 패널 240 : 연산 장치
250 : 메모리 장치 260 : 디스플레이 장치

Claims (17)

1. 입력 장치, 디스플레이 장치 및 연산 장치를 포함하는 제스처 디자인 장치를 이용하여 인터페이스 장치에 대한 제스처 디자인 방법에 있어서,
   상기 제스처 디자인 장치가 상기 인터페이스 장치로부터 상기 인터페이스 장치의 이동을 나타내는 움직임 정보를 입력받는 단계;
   상기 제스처 디자인 장치가 상기 움직임 정보에 대응되는 이동 궤적을 상기 디스플레이 장치에 표시하는 단계;
   상기 입력 장치가 상기 디스플레이 장치에서 상기 이동 궤적 상에 그래픽 객체인 적어도 하나의 허들 객체를 표시하는 명령을 입력받는 단계;
   상기 입력 장치가 상기 디스플레이 장치에서 상기 허들 객체를 지나가는 그래픽 객체인 경로 객체를 표시하는 명령을 입력 받는 단계; 및
   상기 제스처 디자인 장치가 상기 허들 객체 및 상기 경로 객체를 기반으로 상기 인터페이스 장치의 특정 움직임에 대응되는 특정 제스처를 결정하는 단계를 포함하되, 상기 경로 객체는 상기 특정 제스처의 이동 경로를 나타내고, 상기 허들 객체는 상기 특정 제스처가 이동하면서 지나가는 특정 지점을 나타내되,
   상기 인터페이스 장치가 복수 개인 경우, 상기 제스처 디자인 장치는 상기 인터페이스 장치 각각의 움직임 정보를 기준으로 상기 특정 제스처를 결정하거나, 상기 인터페이스 장치 중 2개 이상의 조합된 움직임 정보를 기준으로 상기 특정 제스처를 결정하는 제스처 디자인 방법.
2. 제1항에 있어서,
   상기 인터페이스 장치는 움직임 센서를 포함하는 이동 단말 및 움직임 센서를 포함하는 웨어러블 기기 중 적어도 하나를 포함하는 제스처 디자인 방법.
3. 삭제
4. 제1항에 있어서,
   상기 제스처 디자인 장치는 움직임 센서를 포함하는 이동 단말이고,
   상기 인터페이스 장치는 상기 이동 단말 및 상기 이동 단말에 상기 움직임 정보를 전달하는 웨어러블 기기 중 적어도 하나인 제스처 디자인 방법.
5. 제1항에 있어서,
   상기 표시하는 단계 전에 상기 제스처 디자인 장치가 상기 인터페이스 장치의 현재 위치 또는 상기 인터페이스 장치의 현재 가속도값을 설정하는 단계를 더 포함하고,
   상기 표시하는 단계에서 상기 제스처 디자인 장치가 상기 현재 위치를 기준으로 상기 인터페이스 장치가 이동하는 위치 또는 상기 현재 가속도값을 기준으로 상기 인터페이스 장치의 가속도값이 변화하는 정도에 대응하는 이동 궤적으로 표시하는 제스처 디자인 방법.
6. 제1항에 있어서,
   상기 표시하는 단계 전에 상기 제스처 디자인 장치가 상기 인터페이스 장치의 이동 또는 상기 인터페이스 장치의 가속도값 변화 정도를 측정할 수 있는 허용 범위를 설정하는 단계를 더 포함하고, 상기 움직임 정보는 상기 허용 범위 내에서 상기 인터페이스 장치의 이동, 회전 또는 상기 가속도값의 변화인 제스처 디자인 방법.
7. 제1항에 있어서,
   상기 표시하는 단계에서 상기 제스처 디자인 장치는 상기 디스플레이 장치에 상기 움직임 정보에 따라 상기 이동 궤적을 그리는 직선 또는 진자(振子)를 표시하고, 상기 직선 또는 진자는 상기 인터페이스 장치의 가속도값 변화 정도 또는 상기 인터페이스 장치의 이동 정도에 비례하는 길이를 갖는 제스처 디자인 방법.
8. 제1항에 있어서,
   상기 표시하는 단계에서 상기 제스처 디자인 장치는 3차원 공간 상에서 상기 이동 궤적을 표시하는 시점을 변경하는 명령을 입력받는 제스처 디자인 방법.
9. 제1항에 있어서,
   상기 표시하는 단계 전에 상기 제스처 디자인 장치는 상기 인터페이스 장치를 나타내는 인터페이스 객체를 상기 디스플레이 장치에 표시하고, 상기 표시하는 단계에서 상기 인터페이스 객체가 표시된 영역의 중심을 기준으로 상기 이동 궤적을 표시하는 제스처 디자인 방법.
10. 제9항에 있어서,
    상기 인터페이스 객체는 사용자 객체와 함께 표시되고, 상기 인터페이스 객체는 상기 인터페이스 장치가 실제 사용되는 위치에 대응되게 상기 사용자 객체에 표시되거나, 상기 사용자 객체를 기준으로 일정한 지점에 표시되는 제스처 디자인 방법.
11. 인터페이스 장치의 이동을 나타내는 움직임 정보를 수신하는 통신 모듈 장치;
    상기 장치의 움직임 정보에 대응되는 이동 궤적 및 그래픽 객체인 제스처 마크업 언어를 표시하는 디스플레이 장치;
    사용자가 상기 제스처 마크업 언어를 입력하거나 수정하는 입력 장치;
    상기 제스처 마크업 언어를 특정 제스처 코드로 변환하는 변환 코드를 저장하는 메모리 장치; 및
    상기 변환 코드를 이용하여 상기 사용자가 입력한 제스처 마크업 언어를 상기 제스처 코드로 변환하는 연산 장치를 포함하되,
    상기 인터페이스 장치가 복수 개인 경우, 상기 연산 장치는 상기 인터페이스 장치 각각의 움직임 정보 또는 상기 인터페이스 장치 중 2개 이상의 조합된 움직임 정보를 기준으로 상기 제스처 마크업 언어를 상기 제스처 코드로 변환하는 제스처 디자인 장치.
12. 제11항에 있어서,
    상기 제스처 디자인 장치의 위치 또는 가속도값 중 적어도 하나를 센싱하는 센서 장치를 더 포함하고, 상기 움직임 정보는 상기 위치 또는 가속도값의 변화에 대응되고, 상기 디스플레이 장치는 상기 제스처 디자인 장치의 움직임 정보에 대응되는 이동 궤적을 표시하는 제스처 디자인 장치.
13. 제11항에 있어서,
    상기 제스처 마크업 언어는
    제스처 시작점을 나타내는 시작 객체, 제스처의 이동 경로를 나타내는 경로 객체 및 제스처가 특정 지점을 지나가는지 여부를 판단하는 허들 객체를 포함하는 제스처 디자인 장치.
14. 제13항에 있어서,
    상기 시작 객체는 점 또는 특정 마크를 포함하고,
    상기 경로 객체는 화살표, 직선 또는 곡선 중 적어도 하나를 포함하고,
    상기 허들 객체는 상기 특정 지점을 지나가는 직선을 포함하는 제스처 디자인 장치.
15. 제11항에 있어서,
    상기 디스플레이 장치는 명령 아이콘 또는 명령 리스트를 출력하고,
    상기 입력 장치는 사용자로부터 상기 제스처 코드에 대응되는 명령을 선택하는 입력을 입력받고,
    상기 연산 장치는 상기 제스처 코드와 상기 선택한 명령을 맵핑하는 제스처 디자인 장치.
16. 제11항에 있어서,
    상기 인터페이스 장치는 움직임 센서를 포함하는 이동 단말 및 움직임 센서를 포함하는 웨어러블 기기 중 적어도 하나를 포함하는 제스처 디자인 장치.
17. 제11항에 있어서,
    상기 디스플레이 장치는 상기 움직임 정보에 따라 상기 이동 궤적을 그리는 직선 또는 진자(振子)를 표시하고, 상기 직선 또는 진자는 상기 인터페이스 장치의 가속도값 변화 정도 또는 상기 인터페이스 장치의 이동 정도에 비례하는 길이를 갖는 제스처 디자인 장치.
    
    

Images