KR101048447B1 - Ｎｕｉ를 위한 제스쳐 등록 장치 및 방법 - Google Patents

Ｎｕｉ를 위한 제스쳐 등록 장치 및 방법 Download PDF

Info

Publication number
KR101048447B1
KR101048447B1 KR1020090104479A KR20090104479A KR101048447B1 KR 101048447 B1 KR101048447 B1 KR 101048447B1 KR 1020090104479 A KR1020090104479 A KR 1020090104479A KR 20090104479 A KR20090104479 A KR 20090104479A KR 101048447 B1 KR101048447 B1 KR 101048447B1
Authority
KR
South Korea
Prior art keywords
coordinate
training data
gesture
column
coordinate column
Prior art date
Application number
KR1020090104479A
Other languages
English (en)
Other versions
KR20110047735A (ko
Inventor
박정일
Original Assignee
화영시스템즈주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 화영시스템즈주식회사 filed Critical 화영시스템즈주식회사
Priority to KR1020090104479A priority Critical patent/KR101048447B1/ko
Publication of KR20110047735A publication Critical patent/KR20110047735A/ko
Application granted granted Critical
Publication of KR101048447B1 publication Critical patent/KR101048447B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Abstract

본 발명은 NUI(Natural User Interface)를 위한 제스쳐 등록 장치 및 방법 에 관한 것이다.
본 발명에 따른 제스쳐 등록 장치 및 방법은, 제스쳐 등록을 위한 복수개의 트레이닝 데이터 좌표 열을 입력 받아, 상기 복수개의 트레이닝 데이터 좌표 열을 각각 오프셋(offset)한 후, 상기 오프셋된 복수개의 트레이닝 데이터 좌표 열 중에서 기준 좌표 열을 선택하고, 상기 기준 좌표 열을 기준으로 상기 복수개의 트레이닝 데이터 좌표 열을 정규화하며, 상기 정규화된 복수개의 트레이닝 데이터 좌표 열을 평균하여 제스쳐 프로파일 데이터를 생성하는 것을 특징으로 한다.

Description

ＮＵＩ를 위한 제스쳐 등록 장치 및 방법 {Apparatus and method for registering NUI gesture}
본 발명은 NUI(Natural User Interface)를 위한 제스쳐(gesture) 등록 장치 및 방법에 관한 것으로, 보다 상세하게는 터치 패널이나 터치 스크린상에서 사용되는 NUI(Natural User Interface)를 위한 제스쳐(gesture)를 효율적으로 등록할 수 있는 장치 및 방법에 관한 것이다.
터치 스크린(터치 패널)은 컴퓨터, 휴대폰, PDA, 개인 정보용 단말기기, 상품 전시용 단말기기, 지하철이나 철도 승차권 발매기, 은행의 ATM 기기, 산업용 모니터 등 단순한 화면의 표시뿐만 아니라 기기와 사용자 사이의 상호 작용을 필요로 하는 곳에서 키패드, 키보드, 마우스, 조이스틱과 같은 입력 장치를 대신하여 스크린 상의 특정 부분의 접촉을 감지함으로써 소정의 정보를 입력 받을 수 있는 장치이다. 이러한 터치 스크린은 키패드, 키보드, 마우스, 조이스틱과 같은 입력 장치를 설치하기 곤란한 환경이나 사용자들에게 직관적인 상호작용을 요구하는 곳에서 주로 사용되고 있으며, 점차 그 수요가 날로 확대되고 있다.
이와 관련하여, 터치 스크린은 기존에는 싱글 터치(single-touch) 방식으로 스크린 상에 하나의 점에 대한 입력만을 허용하는 수준이었으나, 최근에는 멀티 터치(multi-touch)라는 다점 입력 기술이 나타나기 시작하여 스크린 상에서 여러 개의 점을 입력할 수 있게 되었으며, 이에 따라 기기와 사용자 사이의 상호 작용의 방식이 획기적으로 변화되기 시작하고 있다.
한편, 도 1은 이러한 터치 스크린을 이용하여 NUI(Natural User Interface)를 구현하는 것을 설명하는 도면이다.
도 1을 참고하면, 터치 인식 장치(10)가 터치 스크린 상에서 터치(touch)를 인식하여 이에 상응하는 위치 정보(입력 좌표)를 NUI 장치(20)에 전송하면, NUI 장치(20)는 이를 기초로 기 등록된 제스쳐 프로파일과 비교하여 소정의 제스쳐를 인식하게 된다. 그리고, 이와 같이 인식된 제스쳐는 멀티 터치 어플리케이션(30)이나 GUI 어플리케이션(35)에 의해 소정의 명령 또는 입력으로 인식되어 해당 기능을 수행하게 된다.
그러나, 종래기술에 따르면, 기존의 터치 스크린의 입력 장치의 한계(예컨대, 기존의 OS(Operating System)가 주로 단일 입력만 지원됨)로 인하여 사용자의 요구가 반영되거나 발굴하고자 하는 컨텐츠의 제작에 많은 제한이 있었으며, 이에 따라 프로그램이나 어플리케이션 개발자의 요구가 충실히 반영될 수 없는 문제점이 있었다.
또한, 멀티 터치(multi-touch)를 통한 제스쳐를 효율적으로 등록하고 인식할 수 있는 기술이 미비하여, 프로그램 개발자들이 멀티 터치에 기반한 NUI를 구현하는데 상당한 어려움이 있었다.
본 발명은 전술한 바와 같은 문제점을 해결하기 위해 창안된 것으로, 본 발명의 목적은 터치 패널이나 터치 스크린상에서 사용되는 NUI를 위한 제스쳐를 효율적으로 등록할 수 있는 장치 및 방법을 제공하는 것이다.
본 발명의 다른 목적은, 기존의 싱글 터치에 기반한 제스쳐 뿐만 아니라 멀티 터치에 기반한 제스쳐도 용이하게 등록할 수 있는 NUI를 위한 제스쳐 등록 장치 및 방법을 제공하는 것이다.
본 발명의 또 다른 목적은, 터치 패널이나 터치 스크린 상에서 다양한 제스쳐를 인식하여 NUI 프로그래밍의 여러 가지 기능들을 손쉽게 구현할 수 있는 프로그램 또는 어플리케이션 개발자를 위한 제스쳐 등록 장치 및 방법을 제공하는 것이다.
본 발명의 또 다른 목적은, 기존의 어플리케이션에 대하여 포인팅 디바이스로서 동작시켰던 부분을 터치를 이용한 제스쳐로 대체하여 호환이 가능하도록 구현할 수 있는 NUI를 위한 제스쳐 등록 장치 및 방법을 제공하는 것이다.
상기 목적을 위하여, 본 발명의 일 형태에 따른 NUI를 위한 제스쳐 등록 장치는, 제스쳐 등록을 위한 복수개의 트레이닝 데이터 좌표 열을 입력 받는 좌표 열 입력부; 상기 복수개의 트레이닝 데이터 좌표 열을 각각 오프셋(offset)하는 좌표 열 오프셋부; 상기 오프셋된 복수개의 트레이닝 데이터 좌표 열 중에서 기준 좌표 열을 선택하고, 상기 기준 좌표 열을 기준으로 상기 복수개의 트레이닝 데이터 좌표 열을 정규화하는 좌표 열 정규화부; 및 상기 정규화된 복수개의 트레이닝 데이터 좌표 열에 대해 동일한 인덱스를 갖는 좌표의 값들을 각각 평균하여 제스쳐 프로파일 데이터를 생성하는 프로파일 데이터 생성부를 포함하는 것을 특징으로 한다.
그리고, 본 발명의 일 형태에 따른 NUI를 위한 제스쳐 등록 시스템은, 터치 스크린의 입력 장치로부터 터치를 감지하여 터치 위치에 대한 입력 좌표를 생성하는 터치 검출기; 상기 입력 좌표에 대해 인덱싱(indexing)을 수행하여 데이터 좌표 열을 생성하는 위치 생성기; 및 상기 위치 생성기로부터 전송된 트레이닝 데이터 좌표 열을 각각 오프셋(offset)한 후, 상기 오프셋된 복수개의 트레이닝 데이터 좌표 열 중에서 기준 좌표 열을 선택하고, 상기 기준 좌표 열을 기준으로 상기 복수개의 트레이닝 데이터 좌표 열을 정규화하여 제스쳐 프로파일 데이터를 생성하는 제스쳐 등록기를 포함하는 것을 특징으로 한다.
한편, 본 발명의 일 형태에 따른 NUI를 위한 제스쳐 등록 방법은, a) 제스쳐 등록을 위한 복수개의 트레이닝 데이터 좌표 열을 입력 받아, 상기 복수개의 트레이닝 데이터 좌표 열을 각각 오프셋(offset)하는 단계; b) 상기 오프셋된 복수개의 트레이닝 데이터 좌표 열 중에서 기준 좌표 열을 선택하고, 상기 기준 좌표 열을 기준으로 상기 복수개의 트레이닝 데이터 좌표 열을 정규화하는 단계: 및 c) 상기 정규화된 복수개의 트레이닝 데이터 좌표 열에 대해 동일한 인덱스를 갖는 좌표의 값들을 각각 평균하여 제스쳐 프로파일 데이터를 생성하는 단계를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 터치 패널이나 터치 스크린상에서 사용되는 NUI를 위한 제스쳐를 용이하고 효율적으로 등록할 수 있는 효과를 가진다.
그리고, 본 발명에 따르면, 단일 입력 시스템을 확장하여 다점 입력(멀티 터치)을 통한 제스쳐 인식 기능을 구현하여 사용자에게 직관적인 NUI를 제공할 수 있는 효과를 가진다.
또한, 본 발명에 따르면, 터치 패널이나 터치 스크린 상에서 다양한 제스쳐를 등록하여 NUI 프로그래밍의 여러 가지 기능들을 손쉽게 구현할 수 있는 개발자 환경을 제공할 수 있다.
이하에서는 첨부 도면 및 바람직한 실시예를 참조하여 본 발명을 상세히 설명한다. 참고로, 하기 설명에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.
본 발명에 대한 구체적인 설명에 앞서, 본 발명에서 말하는 제스쳐(gestue)에 대해 정의하면, 이는 터치 스크린 상에서 이루어지는 사용자의 동작을 통칭하는 의미라 할 수 있다. 즉, 제스쳐는 일반적으로 사용되는 기본 동작과 특정 어플리케이션에서 정의하는 어플리케이션 전용 제스쳐(Application-specific Gesture) 등을 포함하는 의미이다.
도 2는 터치 스크린 상에 소정의 제스쳐가 입력되는 것을 예시한 것인데, 터치 스크린 상에서 엄지 손가락과 집게 손가락을 오므렸다가(도 2의 (a) 참조) 폄으로써(도 2의 (b) 참조) 하나의 제스쳐를 입력하는 것을 나타낸다. 그리고, 도 3은 NUI를 위해 사용될 수 있는 여러 가지 제스쳐를 예시하는 도면인데, 본 발명은 이와 같이 다양한 제스쳐를 개발자나 사용자가 직접 정의하여 등록할 수 있도록 함으로써 사용자 편의적인 개발 환경을 제공할 수 있다.
도 4는 본 발명의 일 실시예에 따른 NUI를 위한 제스쳐 등록 시스템의 구성도를 예시한 것이다.
도 4를 참고하면, 본 발명에 따른 제스쳐 등록 시스템은 크게 터치 인식 장치(100)와 NUI 장치(200)로 구성되고, 터치 인식 장치(100)는 터치 검출기(110), 위치 생성기(120), 위치 변환기(130) 등을 포함하고, NUI 장치(200)는 제스쳐 등록기(210), 제스쳐 데이터베이스(220), 제스쳐 인식기(230), 변수 조정기(240), 디버거(250) 등을 포함한다.
이를 상술하면, 터치 검출기(Touch Detector)(110)는 터치 스크린의 입력 장치로부터 싱글 터치(1점 입력) 또는 멀티 터치(다점 입력)를 감지하며 하드웨어에 종속적인 터치 스크린 상의 좌표를 얻는다. 참고로, 도 5의 (a)는 터치 검출기에서 생성되는 데이터 포맷을 예시한 것인데, 여기서 중심 좌표 x, 중심 좌표 y, 반경 x, 반경 y는 터치 수만큼 반복된다.
그리고, 위치 생성기(Position Generator)(120)는 터치 검출기(110)로부터 전송 받은 데이터에 대해 인덱싱(indexing)을 수행한다. 여기서, 인덱싱을 수행한다는 것은 이산 시간에 측정된 좌표 데이터로부터 연속적인 데이터를 생성함으로써 연관성 있는 데이터로 변환하는 것을 의미한다. 그리고, 이에 따라 손가락을 누르 고, 움직이고, 떼는 동작이 인덱스에 의하여 관리되게 된다. 참고로, 도 5의 (b)는 위치 생성기(120)에서 생성되는 데이터 포맷을 예시한 것인데, 여기서 중심 좌표 x, 중심 좌표 y, 반경 x, 반경 y는 터치 수만큼 반복되며, 터치 인덱스는 각 점의 번호를 의미하고, 동작은 누름, 움직임, 떼는 동작을 나타낸다.
위치 변환기(Position Converter)(130)는 위치 생성기(120)로부터 얻은 하드웨어 종속적인 다중 입력 정보들을 다양한 모니터의 설정에 적합하게 시스템에 종속적인 좌표를 생성한다. 이 경우, 위치 변환기(130)는 다양한 해상도를 지원하도록 구현되며, 다중(multiple) 모니터, 클론(Clone) 모니터 등도 지원하도록 구현하는 것이 바람직하다. 그리고, 사용자가 모니터의 해상도를 변경할 경우 이를 반영하여 멀티 터치의 오차가 발생하지 않도록 하며, 좌표 변환식은 알고리즘이 간단한 선형 맵핑식을 이용하는 것이 바람직하고 필요한 경우 좌표 보정식을 추가한다.
한편, 제스쳐 등록기(Gesture Profiler)(210)는 여러 차례의 트레이닝(training)을 통해 NUI를 위한 제스쳐를 등록한다. 즉, 제스쳐 등록기(210)는 터치 인식 장치(100)로부터 제공되는 여러 차례의 트레이닝에 대한 트레이닝 데이터 좌표 열을 수신하고, 이에 근거하여 제스쳐로 등록할 프로파일 데이터를 생성한다.
참고로, 도 6은 본 발명에서 사용될 수 있는 제스쳐 등록을 위한 사용자 인터페이스를 예시한 도면이다. 사용자는 시작(start) 버튼을 누른 후 제스쳐 입력 영역에 터치 드래깅(touch dragging)을 하며, 이를 여러 차례 반복한 후 종료(end) 버튼을 누르면, 트레이닝 데이터 좌표 열이 저장된다. 제스쳐 등록기(210)에 대한 보다 상세한 설명은 도 7 내지 도 11을 참조하여 후술하기로 한다.
제스쳐 데이터베이스(Gesture Database)(220)는 제스쳐 등록기(210)를 통해 생성된 제스쳐 프로파일을 저장하며, 추후 터치 스크린 상에서 터치가 인식되는 경우 이를 제스쳐 인식기(230)로 제공한다.
제스쳐 인식기(Gesture Recognizer)(230)는 터치 스크린 상에서 터치가 있는 경우 터치 인식 장치(100)로부터 제공되는 터치 데이터 좌표 열을 수신하고, 이를 제스쳐 데이터베이스(220)로부터 전송 받은 제스쳐 프로파일과 비교하여, 입력된 터치가 어떠한 제스쳐에 해당하는지를 인식한다.
그리고, 변수 조정기(Parameter Regulator)(240)는 각각의 파트(part)에서 변경될 수 있는 값들을 조정할 수 있도록 하여, 특정 디바이스나 응용 프로그램에 맞는 값들을 선택할 수 있게 한다.
마지막으로, 디버거(Debugger)(250)는 입출력 데이터의 확인, 적용된 알고리즘의 상태 파악 등 각각의 파트에서의 진행 상황을 확인할 수 있도록 하여 전체 개발 과정에서의 문제점을 확인할 수 있게 한다.
이하에서는, 도 7 내지 도 11을 참조하여, 본 발명에 따른 NUI를 위한 제스쳐 등록 장치 및 방법에 대해 상세 설명하기로 한다. 참고로, 본 발명에 따른 제스쳐 등록 장치(제스쳐 등록기)는 도 4에 도시된 바와 같이 NUI 장치의 일 구성요소로 사용될 수도 있으며, 별개의 독립적인 장치로도 구현될 수도 있다.
먼저, 도 7은 본 발명의 일 실시예에 따른 NUI를 위한 제스쳐 등록 장치의 구성도이다. 도시된 바와 같이, 본 발명의 일 실시예에 따른 제스쳐 등록 장치(210)는 좌표 열 입력부(211), 좌표 열 오프셋부(212), 좌표 열 정규화부(213), 프로파일 데이터 생성부(214) 등을 포함한다.
그리고, 도 8은 본 발명의 일 실시예에 따른 NUI를 위한 제스쳐 등록 방법의 흐름도이다.
이하, 도 7 및 도 8을 참조하여 본 발명에 따른 NUI를 위한 제스쳐 등록 장치 및 방법을 함께 설명한다.
단계 S810에서, 좌표 열 입력부(211)는 터치 인식 장치(100)로부터 제공되는 트레이닝 데이터 좌표 열을 입력 받는다. 여기서, 데이터 좌표 열은 터치 시작부터 드래깅(dragging) 후 터치 종료까지의 입력 좌표의 집합을 의미한다. 이는 도 9에 도시된 바와 같이, 싱글 터치 인식 장치의 경우 입력 좌표의 수와 해당 입력 좌표를 포함하는 포맷을 가질 수 있으며(도 9의 (a) 참조), 멀티 터치 인식 장치의 경우 입력 좌표의 수와 해당 입력 좌표, 그리고 싱글 또는 멀티 터치를 나타내는 터치 타입 태그(touch type tag)를 포함할 수 있다.
단계 S820에서, 좌표 열 오프셋부(212)는 좌표 열 입력부(211)를 통해 입력된 트레이닝 데이터 좌표 열에 대해 각 좌표의 x값들 중 최소값 및 y값들 중 최소값을 계산하고, 단계 S830에서, 상기 x값들 중 최소값 및 y값들 중 최소값을 기준으로 트레이닝 데이터 좌표 열을 오프셋(offset)한다. 도 10은 이를 설명하는 도면으로, 도 10의 (a)는 각 좌표의 x값들 중 최소값 및 y값들 중 최소값으로 x6, y3 이 구해지는 것을 나타내며, 도 10의 (b)는 이와 같이 구해진 x6, y3 을 기준으로 트레이닝 데이터 좌표 열을 오프셋한 것을 나타낸다.
한편, 단계 S840에서는 트레이닝이 종료되었는가를 판단하며, 만약 시작 버튼을 다시 누르면(도 6 참조) 단계 S810으로 진행되어 다음 트레이닝 데이터 좌표 열을 입력 받게 된다.
여러 차례의 트레이닝 데이터 좌표 열의 입력을 마친 후 종료 버튼을 누르면, 단계 S850을 진행되어, 좌표 열 정규화부(213)는 단계 S810 내지 단계 S830 과정에서 입력된 복수개의 트레이닝 데이터 좌표 열 중에서 가장 짧은 트레이닝 데이터 좌표 열을 기준 좌표 열로 선택한다. 참고로, 여기서 트레이닝 데이터 좌표 열이 가장 짧다는 것은 트레이닝 동안 입력된 좌표의 수가 가장 작다는 것을 의미한다.
그리고, 좌표 열 정규화부(213)는, 단계 S860에서, 가장 짧은 트레이닝 데이터 좌표 열을 기준으로 나머지 트레이닝 데이터 좌표 열을 정규화한다. 여기서, 좌표 열 정규화는, 예컨대 패턴의 크기를 일정한 크기로 고정시키고 고정된 크기에 따라서 필요한 좌표 점을 추출(decimation)함으로써 수행될 수 있다. 도 11은 이를 설명하는 도면으로, 만약 도 11의 (a)에 도시된 제1 트레이닝 데이터 좌표 열이 기준으로 선택된 경우, 도 11의 (b)에 도시된 제2 트레이닝 데이터 좌표 열은 정해진 패턴 크기(예, 제1 트레이닝 패턴의 크기)로 변경된 후 제1 트레이닝 데이터 좌표 열에 상응하는 인덱스의 좌표 열이 추출된다. 예컨대, i를 기준 좌표 열의 인덱스, j를 대상 좌표 열의 인덱스라 하고, n을 기준 좌표 열의 크기, m을 대상 좌표 열의 크기라 하면, j=i*(m/n)에 해당하는 인덱스의 좌표가 대상 좌표 열 중에서 추출된다.
마지막으로, 단계 S870에서, 프로파일 데이터 생성부(214)는 이와 같이 정규화된 복수개의 트레이닝 데이터 좌표 열에 대해 동일한 인덱스를 갖는 좌표의 값들을 각각 평균하여 프로파일 데이터를 생성한다. 참고로, 여기서 임의의 제스쳐의 프로파일 데이터의 좌표 수는 기준으로 선택된 트레이닝 데이터의 좌표 수와 동일할 것이다.
참고로, 전술한 실시예에서는 임의의 제스쳐 등록을 위해 가장 짧은 트레이닝 데이터 좌표 열을 기준 좌표 열로 선택하였는데, 본 발명의 다른 실시예에서는 미리 기준 좌표 열의 좌표 수와 크기를 정해 놓고 이를 기준을 트레이닝 데이터 좌표 열의 정규화를 수행할 수도 있다.
한편, 본 발명에 따른 NUI를 위한 제스쳐 등록 방법은 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터 판독가능 기록매체를 통하여 실시될 수 있다. 상기 컴퓨터 판독가능 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 기록매체는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독가능 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기 계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
지금까지 본 발명을 바람직한 실시예를 참조하여 상세히 설명하였지만, 본 발명이 속하는 기술분야의 당업자는 본 발명의 기술적 사상이나 필수적 특징들을 변경하지 않고서 다른 구체적인 다양한 형태로 실시할 수 있는 것이므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다.
그리고, 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 특정되는 것이며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태는 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
도 1은 터치 스크린을 이용하여 NUI를 구현하는 것을 설명하는 도면이다.
도 2는 터치 스크린 상에 소정의 제스쳐가 입력되는 것을 예시한 도면이다.
도 3은 NUI를 위해 사용될 수 있는 여러 가지 제스쳐를 예시하는 도면이다.
도 4는 본 발명의 일 실시예에 따른 NUI를 위한 제스쳐 등록 시스템의 구성도이다.
도 5는 터치 검출기 및 위치 생성기에서 각각 생성되는 데이터 포맷을 예시한 것이다.
도 6은 본 발명에서 사용될 수 있는 제스쳐 등록을 위한 사용자 인터페이스를 예시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 NUI를 위한 제스쳐 등록 장치의 구성도이다.
도 8은 본 발명의 일 실시예에 따른 NUI를 위한 제스쳐 등록 방법의 흐름도이다.
도 9는 본 발명에 따른 데이터 좌표 열의 포맷을 예시하는 도면이다.
도 10은 본 발명에 따른 트레이닝 데이터 좌표 열의 오프셋을 설명하는 도면이다.
도 11은 본 발명에 따른 트레이닝 데이터 좌표 열의 정규화를 설명하는 도면이다.

Claims (16)

  1. NUI(Natural User Interface)를 위한 제스쳐(gesture) 등록 장치로서,
    제스쳐 등록을 위한 복수개의 트레이닝 데이터 좌표 열을 입력 받는 좌표 열 입력부;
    상기 복수개의 트레이닝 데이터 좌표 열을 각각 오프셋(offset)하는 좌표 열 오프셋부;
    상기 오프셋된 복수개의 트레이닝 데이터 좌표 열 중에서 기준 좌표 열을 선택하고, 상기 기준 좌표 열을 기준으로 상기 복수개의 트레이닝 데이터 좌표 열을 정규화하는 좌표 열 정규화부; 및
    상기 정규화된 복수개의 트레이닝 데이터 좌표 열에 대해 동일한 인덱스를 갖는 좌표의 값들을 각각 평균하여 제스쳐 프로파일 데이터를 생성하는 프로파일 데이터 생성부를 포함하는 제스쳐 등록 장치.
  2. 제1항에 있어서,
    상기 좌표 열 오프셋부는 각각의 트레이닝 데이터 좌표 열에 대해 각 좌표의 x값들 중 최소값 및 y값들 중 최소값을 계산하고, 상기 x값들 중 최소값 및 y값들 중 최소값을 기준으로 해당 트레이닝 데이터 좌표 열을 오프셋하는 것을 특징으로 하는 제스쳐 등록 장치.
  3. 제1항 또는 제2항에 있어서,
    상기 기준 좌표 열은 상기 오프셋된 복수개의 트레이닝 데이터 좌표 열 중에서 좌표의 수가 가장 작은 좌표 열인 것을 특징으로 하는 제스쳐 등록 장치.
  4. 제1항 또는 제2항에 있어서,
    상기 좌표 열 정규화부는 각각의 트레이닝 데이터 좌표 열에 의해 생성된 패턴의 크기를 기준 좌표 열에 의해 생성된 패턴의 크기에 상응하도록 변경하고, 상기 크기가 변경된 패턴의 해당 트레이닝 데이터 좌표 열에서 기준 좌표 열에 상응하는 좌표 점을 추출함으로써 트레이닝 데이터 좌표 열을 정규화하는 것을 특징으로 하는 제스쳐 등록 장치.
  5. 제1항 또는 제2항에 있어서,
    상기 트레이닝 데이터 좌표 열의 포맷은 좌표 수, 터치 타입 태그(touch type tag), 상기 터치 타입 태그에 상응하는 좌표 열로 구성된 것을 특징으로 하는 제스쳐 등록 장치.
  6. NUI(Natural User Interface)를 위한 제스쳐(gesture) 등록 시스템으로서,
    터치 스크린의 입력 장치로부터 터치를 감지하여 터치 위치에 대한 입력 좌표를 생성하는 터치 검출기;
    상기 입력 좌표에 대해 인덱싱(indexing)을 수행하여 데이터 좌표 열을 생성하는 위치 생성기; 및
    상기 위치 생성기로부터 전송된 트레이닝 데이터 좌표 열을 각각 오프셋(offset)한 후, 상기 오프셋된 복수개의 트레이닝 데이터 좌표 열 중에서 기준 좌표 열을 선택하고, 상기 기준 좌표 열을 기준으로 상기 복수개의 트레이닝 데이터 좌표 열을 정규화하여 제스쳐 프로파일 데이터를 생성하는 제스쳐 등록기를 포함하는 제스쳐 등록 시스템.
  7. 제6항에 있어서,
    상기 제스쳐 등록기는 각각의 트레이닝 데이터 좌표 열에 대해 각 좌표의 x값들 중 최소값 및 y값들 중 최소값을 계산하고, 상기 x값들 중 최소값 및 y값들 중 최소값을 기준으로 해당 트레이닝 데이터 좌표 열을 오프셋하는 것을 특징으로 하는 제스쳐 등록 시스템.
  8. 제6항에 있어서,
    상기 제스쳐 등록기는 각각의 트레이닝 데이터 좌표 열에 의해 생성된 패턴의 크기를 기준 좌표 열에 의해 생성된 패턴의 크기에 상응하도록 변경하고, 상기 크기가 변경된 패턴의 해당 트레이닝 데이터 좌표 열에서 기준 좌표 열에 상응하는 좌표 점을 추출함으로써 트레이닝 데이터 좌표 열을 정규화하는 것을 특징으로 하는 제스쳐 등록 시스템.
  9. 제6항 내지 제8항 중 어느 한 항에 있어서,
    상기 생성된 제스쳐 프로파일 데이터를 저장하는 제스쳐 데이터베이스를 더 포함하는 것을 특징으로 하는 제스쳐 등록 시스템.
  10. 제9항에 있어서,
    상기 위치 생성기로부터 전송된 터치 데이터 좌표 열을 상기 제스쳐 데이터베이스에 저장된 제스쳐 프로파일 데이터와 비교하여 상기 터치 데이터 좌표 열에 상응하는 제스쳐를 인식하는 제스쳐 인식기를 더 포함하는 것을 특징으로 하는 제스쳐 등록 시스템.
  11. NUI(Natural User Interface)를 위한 제스쳐(gesture) 등록 방법으로서,
    a) 제스쳐 등록을 위한 복수개의 트레이닝 데이터 좌표 열을 입력 받아, 상기 복수개의 트레이닝 데이터 좌표 열을 각각 오프셋(offset)하는 단계;
    b) 상기 오프셋된 복수개의 트레이닝 데이터 좌표 열 중에서 기준 좌표 열을 선택하고, 상기 기준 좌표 열을 기준으로 상기 복수개의 트레이닝 데이터 좌표 열을 정규화하는 단계: 및
    c) 상기 정규화된 복수개의 트레이닝 데이터 좌표 열에 대해 동일한 인덱스를 갖는 좌표의 값들을 각각 평균하여 제스쳐 프로파일 데이터를 생성하는 단계를 포함하는 제스쳐 등록 방법.
  12. 제11항에 있어서,
    상기 단계 a)의 오프셋은, 각각의 트레이닝 데이터 좌표 열에 대해 각 좌표의 x값들 중 최소값 및 y값들 중 최소값을 계산하고, 상기 x값들 중 최소값 및 y값들 중 최소값을 기준으로 해당 트레이닝 데이터 좌표 열을 오프셋하는 것을 특징으로 하는 제스쳐 등록 방법.
  13. 제11항에 있어서,
    상기 기준 좌표 열은 상기 오프셋된 복수개의 트레이닝 데이터 좌표 열 중에서 좌표의 수가 가장 작은 좌표 열인 것을 특징으로 하는 제스쳐 등록 방법.
  14. 제11항 내지 제13항 중 어느 한 항에 있어서,
    상기 단계 b)의 좌표 열 정규화는, 각각의 트레이닝 데이터 좌표 열에 의해 생성된 패턴의 크기를 기준 좌표 열에 의해 생성된 패턴의 크기에 상응하도록 변경하고, 상기 크기가 변경된 패턴의 해당 트레이닝 데이터 좌표 열에서 기준 좌표 열에 상응하는 좌표 점을 추출하는 것을 특징으로 하는 제스쳐 등록 방법.
  15. 제11항 내지 제13항 중 어느 한 항에 있어서,
    d) 상기 생성된 프로파일 데이터를 제스쳐 데이터베이스에 저장하는 단계를 더 포함하는 것을 특징으로 하는 제스쳐 등록 방법.
  16. 제11항 내지 제13항 중 어느 한 항에 따른 제스쳐 등록 방법을 수행하는 프로그램이 기록된 컴퓨터 판독가능 기록매체.
KR1020090104479A 2009-10-30 2009-10-30 Ｎｕｉ를 위한 제스쳐 등록 장치 및 방법 KR101048447B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020090104479A KR101048447B1 (ko) 2009-10-30 2009-10-30 Ｎｕｉ를 위한 제스쳐 등록 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090104479A KR101048447B1 (ko) 2009-10-30 2009-10-30 Ｎｕｉ를 위한 제스쳐 등록 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20110047735A KR20110047735A (ko) 2011-05-09
KR101048447B1 true KR101048447B1 (ko) 2011-07-11

Family

ID=44238988

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090104479A KR101048447B1 (ko) 2009-10-30 2009-10-30 Ｎｕｉ를 위한 제스쳐 등록 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101048447B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080082177A (ko) * 2007-03-07 2008-09-11 삼성전자주식회사 표시 장치 및 그의 구동 방법
KR20090130697A (ko) * 2008-06-16 2009-12-24 주식회사 케이티테크 터치 스크린을 이용한 휴대 단말기의 동작 제어 방법 및 그휴대 단말기
KR20100021056A (ko) * 2008-08-14 2010-02-24 웅진코웨이주식회사 터치 스크린 표시장치
KR20100083432A (ko) * 2009-01-13 2010-07-22 엘지전자 주식회사 멀티 터치 입력 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080082177A (ko) * 2007-03-07 2008-09-11 삼성전자주식회사 표시 장치 및 그의 구동 방법
KR20090130697A (ko) * 2008-06-16 2009-12-24 주식회사 케이티테크 터치 스크린을 이용한 휴대 단말기의 동작 제어 방법 및 그휴대 단말기
KR20100021056A (ko) * 2008-08-14 2010-02-24 웅진코웨이주식회사 터치 스크린 표시장치
KR20100083432A (ko) * 2009-01-13 2010-07-22 엘지전자 주식회사 멀티 터치 입력 장치 및 방법

Also Published As

Publication number Publication date
KR20110047735A (ko) 2011-05-09

Similar Documents

Publication Publication Date Title
EP2756369B1 (en) Soft keyboard interface
US8619036B2 (en) Virtual keyboard based activation and dismissal
JP6276290B2 (ja) 円形タッチセンシティブキーボードの入力方法及び装置
CN102246134B (zh) 软键盘控制
JP4560062B2 (ja) 筆跡判定装置、方法およびプログラム
TWI605359B (zh) 觸控板之手勢辨識方法與手勢辨識裝置
US8847904B2 (en) Gesture recognition method and touch system incorporating the same
US20090213083A1 (en) Simulation of multi-point gestures with a single pointing device
KR101094636B1 (ko) 제스처 기반 사용자 인터페이스 시스템 및 그 방법
US8456433B2 (en) Signal processing apparatus, signal processing method and selection method of user interface icon for multi-touch panel
JP2006524955A (ja) タッチスクリーン及び縮小型キーボードのための曖昧でないテキスト入力方法
JP2008192092A (ja) タッチパネル装置、情報処理装置及びプログラム
US20150100911A1 (en) Gesture responsive keyboard and interface
US20150185850A1 (en) Input detection
CN102023784A (zh) 非接触式输入字符的方法和设备
Zhang et al. Gestkeyboard: enabling gesture-based interaction on ordinary physical keyboard
US7142715B2 (en) Arabic handwriting recognition using feature matching
KR101072858B1 (ko) Ｎｕｉ를 위한 제스쳐 인식 장치 및 방법
US9323719B2 (en) Mathematical expression input apparatus, mathematical expression modification method, and storage medium storing program
KR101307345B1 (ko) 멀티 터치 포인트를 이용한 키 입력 장치 및 그 방법
KR101048447B1 (ko) Ｎｕｉ를 위한 제스쳐 등록 장치 및 방법
US9021379B1 (en) Matching of gesture keyboard strokes with predefined stroke templates
US20150103010A1 (en) Keyboard with Integrated Pointing Functionality
US11061556B2 (en) Computer device having variable display output based on user input with variable time and/or pressure patterns
Madhvanath et al. GeCCo: Finger gesture-based command and control for touch interfaces

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee