KR101199970B1 - 멀티 터치 특징정보 추출방법 및 그 멀티 터치 특징정보를 이용한 멀티 터치 제스처 인식방법 - Google Patents

멀티 터치 특징정보 추출방법 및 그 멀티 터치 특징정보를 이용한 멀티 터치 제스처 인식방법 Download PDF

Info

Publication number
KR101199970B1
KR101199970B1 KR1020100107284A KR20100107284A KR101199970B1 KR 101199970 B1 KR101199970 B1 KR 101199970B1 KR 1020100107284 A KR1020100107284 A KR 1020100107284A KR 20100107284 A KR20100107284 A KR 20100107284A KR 101199970 B1 KR101199970 B1 KR 101199970B1
Authority
KR
South Korea
Prior art keywords
touch
information
gesture
touch points
points
Prior art date
Application number
KR1020100107284A
Other languages
English (en)
Other versions
KR20120045627A (ko
Inventor
오치민
서융호
이준성
김종구
이칠우
Original Assignee
전남대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전남대학교산학협력단 filed Critical 전남대학교산학협력단
Priority to KR1020100107284A priority Critical patent/KR101199970B1/ko
Priority to US13/882,157 priority patent/US20130215034A1/en
Priority to PCT/KR2010/008229 priority patent/WO2012057394A1/ko
Publication of KR20120045627A publication Critical patent/KR20120045627A/ko
Application granted granted Critical
Publication of KR101199970B1 publication Critical patent/KR101199970B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 멀티 터치 특징정보 추출방법 및 그 멀티 터치 특징정보를 이용한 멀티 터치 제스처 인식방법에 관한 것으로, 보다 구체적으로는 터치 점에 개수에 의존적이지 않는 멀티 터치 특징정보를 추출할 수 있고, 추출된 멀티 터치 특징정보를 이용하여 제스처 인식의 정확도를 향상시킬 수 있는 멀티 터치 특징정보 추출방법 및 그 멀티 터치 특징정보를 이용한 멀티 터치 제스처 인식방법에 관한 것이다.

Description

멀티 터치 특징정보 추출방법 및 그 멀티 터치 특징정보를 이용한 멀티 터치 제스처 인식방법{Acquisition method of multi-touch feature and multi-touch gesture recognition using the multi-touch feature}
본 발명은 멀티 터치 특징정보 추출방법 및 그 멀티 터치 특징정보를 이용한 멀티 터치 제스처 인식방법에 관한 것으로, 보다 구체적으로는 터치 점에 개수에 의존적이지 않는 멀티 터치 특징정보를 추출할 수 있고, 추출된 멀티 터치 특징정보를 이용하여 제스처 인식의 정확도 및 자유도를 향상시킬 수 있는 멀티 터치 특징정보 추출방법 및 그 멀티 터치 특징정보를 이용한 멀티 터치 제스처 인식방법에 관한 것이다.
멀티 터치 기술은 인간과 컴퓨터의 상호작용(HCI:Human Computer Interaction)에 관한 기술로써, 최근 들어, 사용자 간의 협업으로 터치를 가능하게 하므로 주목받고 있으며 교육, 오락, 방송관련 어플리케이션 등이 꾸준히 개발되고 있다.
또한, 멀티 터치 기술은 멀티 터치의 특징을 추출하기 위한 멀티 터치 특징 추출 기술과 추출된 멀티 터치 특징을 이용하여 터치의 제스처를 인식하는 멀티 터치 제스처 인식기술로 구분될 수 있으며, 일반적으로 멀티 터치 특징추출 기술은 터치 점들의 개수와 위치, 위치변화에 따른 움직임을 추출하는 기술이다.
또한, 멀티 터치 제스처는 터치 점의 개수나 위치에 의존하는 제스처와 터치 점의 움직임에 의존하는 제스처로 구분되며, 상기 터치 점의 움직임에 의존하는 제스처에는 이동, 축소/확대, 회전 제스처가 있고, 상기 터치 점의 개수나 위치에 의존하는 제스처는 움직임에 의존하는 제스처를 여러 의미로 재정의하여 자유도를 높일 수 있는 제스처이다.
즉, 이러한 종래의 멀티 터치 제스처 인식은 터치 점의 개수에 매우 의존적이므로 두 개의 터치 점이 동시에 이동할 경우 이동 제스처로 인식을 하지 못하거나, 여러 개의 터치 점이 동시에 멀어지는 것과 같이 인식하기 위해 정의된 터치 점의 개수가 달라지면 스케일링 제스처로 인식을 하지 못하는 경우가 발생하고 있는 실정이므로, 멀티 터치의 개수에 상관없이 제스처를 인식할 수 있는 기술의 개발이 시급하다.
본 발명자들은 터치 개수에 의존이 적은 멀티 터치의 특징을 추출하고, 추출된 멀티 터치 특징을 이용하여 제스처를 인식하기 위해 연구 노력한 결과, 터치 점의 위치 정보와 각 터치 점을 중심으로 일정한 반경 내의 다른 터치 점의 연결 정보인 에지 정보를 원소로 하는 하나의 터치 그래프 정보를 멀티 터치 특징정보로 추출하여, 멀티 터치의 제스처를 인식함으로써 제스처 정의 및 인식의 자유도를 높일 수 있고, 인식의 정확도를 향상시킬 수 있는 멀티 터치 특징정보 추출방법 및 그 멀티 터치 특징정보를 이용한 멀티 터치 제스처 인식방법의 기술적 구성을 개발하게 되어 본 발명을 완성하게 되었다.
따라서, 본 발명의 목적은 터치 개수에 의존이 적은 멀티 터치 특징정보 추출방법을 제공하는 것이다.
또한, 본 발명의 다른 목적은 추출된 멀티 터치 특징정보를 이용하여 멀티 터치 제스처를 인식함으로써 다양한 제스처의 정의가 가능하고, 제스처 인식의 정확도를 높일 수 있는 멀티 터치 제스처 인식방법을 제공하는 것이다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기의 목적을 달성하기 위하여 본 발명은 복수 개의 터치 점의 변화에 관한 특징인 멀티 터치 특징정보 추출방법에 있어서, 터치 패널로부터 터치 점들에 대한 위치정보를 입력받는 제1단계, 상기 각 터치 점을 중심으로 일정한 반경 내에 위치하는 터치 점들을 서로 일대 일로 연결하고, 서로 연결되는 두 개의 터치 점의 위치정보로 이루어지는 에지 정보들을 생성하는 제2단계, 서로 연결되는 모든 터치 점들의 위치정보와 에지 정보들을 원소로 하는 터치 그래프정보를 생성하고, 상기 터치 그래프정보를 상기 멀티 터치 특징정보로 추출하는 제3단계 및 상기 터치 패널로부터 상기 위치정보가 갱신되어 입력되고, 상기 갱신된 위치정보를 기반으로 상기 터치 그래프정보를 갱신하는 제4단계를 포함하는 것을 특징으로 하는 멀티 터치 특징정보 추출방법을 제공한다.
바람직한 실시예에 있어서, 상기 제4단계의 갱신된 터치 그래프정보는 이전의 터치 그래프 정보를 포함한다.
바람직한 실시예에 있어서, 상기 제1단계는 상기 터치 패널로부터 상기 터치 점들이 표시된 터치 영상을 입력받는 제1-1단계 및 상기 각 터치 점이 표시된 영역 중 터치의 강도가 가장 센 점의 위치인 터치 정점을 추출하고, 상기 터치 정점의 위치를 상기 각 터치 점의 위치정보로 획득하는 제1-2단계를 포함한다.
바람직한 실시예에 있어서, 상기 제2단계의 반경은 7[cm] 내지 13[cm] 사이의 값들 중 어느 하나의 거리로 설정된다.
바람직한 실시예에 있어서, 상기 터치 그래프 정보는 아래의 수학식 1에 의해 계산되어 생성 및 갱신된다.
[수학식1]
Figure 112010070729099-pat00001
여기서, G는 터치 그래프 정보, V는 터치 그래프 정보 내의 모든 터치 점들의 위치정보들의 집합, E는 터치 그래프 정보 내의 모든 에지 정보들의 집합을 뜻하며, Xi ,t, Xj ,t는 상기 반경 내에서 서로 연결되는 터치 점의 위치 좌표값이다.
또한, 본 발명은 상기 멀티 터치 특징정보 추출방법을 컴퓨터상에서 수행하기 위한 프로그램이 저장된 컴퓨터로 읽을 수 있는 매체를 제공한다.
또한, 본 발명은 상기 멀티 터치 특징정보 추출방법을 이용하여 터치 그래프 정보를 추출하고, 상기 터치 그래프 정보에 접근하여 각 터치 점이 이동한 이동거리 및 이동방향을 구하는 제5단계 및 동일한 터치 그래프 정보 내의 각 터치 점이 동일범위 내에서 동일한 방향으로 이동한 것일 경우, 상기 동일한 터치 그래프 정보 내의 터치 점들은 이동하는 것으로 인식하는 제6단계를 포함하는 멀티 터치 제스처 인식방법을 제공한다.
바람직한 실시예에 있어서, 상기 제5단계는 상기 각 터치 점의 X축 이동거리 및 Y축 이동거리를 계산하여 상기 각 터치 점의 이동벡터를 구하고, 상기 제6단계는 상기 동일한 터치 그래프 정보 내의 각 터치 점들의 이동벡터를 내적하고, 내적 값이 동일범위 내에서 '1'일 경우, 상기 동일한 터치 그래프 정보 내의 터치 점들은 이동하는 것으로 인식한다.
또한, 본 발명은 상기 멀티 터치 특징정보 추출방법을 이용하여 터치 그래프 정보를 추출하고, 상기 터치 그래프 정보에 접근하여 동일한 터치 그래프 정보 내의 각 에지 정보의 터치 점들 간의 거리인 에지 거리들을 구하는 제5단계 및 상기 에지 거리들이 모두 임계치 이상으로 커진 것일 경우, 상기 동일한 터치 그래프 정보 내의 터치 점들은 서로 멀어지는 확대 동작을 하는 것으로 인식하고, 상기 에지 거리가 모두 임계치 이상으로 작아진 것일 경우, 상기 동일한 터치 그래프 정보 내의 터치 점들은 서로 가까워지는 축소 동작을 하는 것으로 인식하는 제7단계를 포함하는 멀티 터치 제스처 인식방법을 제공한다.
또한, 본 발명은 상기 멀티 터치 특징정보 추출방법을 이용하여 터치 그래프 정보를 추출하고, 상기 터치 그래프 정보에 접근하여 동일한 터치 그래프 정보 내의 터치 점들의 좌표값들을 평균하여 중심좌표를 구하는 제5단계, 상기 중심좌표에 X축을 두고, 상기 터치 점들이 각각 상기 X축의 '0'도 방향과 이루는 방향각도를 구하는 제6단계 및 상기 터치 점들의 방향각도가 모두 임계치 이상으로 커진 것일 경우, 상기 터치 점들은 시계반대방향으로 회전하는 것으로 인식하고, 상기 터치 점들의 방향각도가 모두 임계치 이상으로 작아진 것일 경우, 상기 터치 점들은 시계방향으로 회전하는 것으로 인식하는 제7단계를 포함하는 것을 특징으로 하는 멀티 터치 제스처 인식방법을 제공한다.
또한, 본 발명은 상기 멀티 터치 특징정보 추출방법을 이용하여 터치 그래프 정보를 추출하고, 상기 터치 그래프 정보에 접근하여 동일한 터치 그래프 정보 내의 터치 점들의 개수를 계수하는 제5단계 및 상기 동일한 터치 그래프 정보 내에서 터치 점들이 새롭게 생성되었는지 소멸되었는지를 판단하고, 상기 터치 점들의 생성개수 또는 소멸개수에 기반하여 마우스의 클릭 동작을 인식하는 제6단계를 포함하는 멀티 터치 제스처 인식방법을 제공한다.
바람직한 실시예에 있어서, 상기 터치 점들의 개수를 계수하는 단계는 동일한 터치 그래프 정보 내의 터치 점들의 위치변화가 있는지 판단하는 제5-1단계를 더 포함하고, 상기 마우스 클릭 동작을 인식하는 단계는 상기 터치 점들의 개수가 변화하지 않고 위치변화가 있을 경우 마우스의 드레그 동작으로 인식한다.
또한, 본 발명은 상기 멀티 터치 제스처 인식방법을 컴퓨터상에서 수행하기 위한 프로그램이 저장된 컴퓨터로 읽을 수 있는 매체를 제공한다.
본 발명은 다음과 같은 우수한 효과를 가진다.
먼저, 본 발명의 멀티 터치 특징정보 추출방법에 의하면, 멀티 터치의 특징이 터치 점의 개수가 아닌, 일정한 영역 내에서 터치 점의 위치 정보 및 에지 정보로 이루어지므로 터치 제스처 인식 시 멀티 터치의 다양한 특징정보를 제공할 수 있는 효과가 있다.
또한, 본 발명의 멀티 터치 제스처 인식방법에 의하면, 추출된 멀티 터치 특징정보를 이용하여 터치 점의 개수에 의존하지 않고, 일정한 영역 내의 터치 점들의 위치변화와 에지 정보의 변화 또는 에지 정보 내의 터치 점들의 관계를 이용하여 멀티 터치 제스처를 정의할 수 있으므로 제스처 정의의 자유도가 매우 높고 멀티 터치 인식의 정확도를 향상시킬 수 있는 효과가 있다.
도 1 및 도 2는 본 발명의 일 실시예에 따른 멀티 터치 특징정보 추출방법을 설명하기 위한 도면,
도 3은 본 발명의 다른 실시예에 따른 멀티 터치 제스처 인식방법의 제1 실시예를 설명하기 위한 도면,
도 4는 본 발명의 다른 실시예에 따른 멀티 터치 제스처 인식방법의 제2 실시예를 설명하기 위한 도면,
도 5는 본 발명의 다른 실시예에 따른 멀티 터치 제스처 인식방법의 제3 실시예를 설명하기 위한 도면이다.
본 발명에서 사용되는 용어는 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어도 있는데 이 경우에는 단순한 용어의 명칭이 아닌 발명의 상세한 설명 부분에 기재되거나 사용된 의미를 고려하여 그 의미가 파악되어야 할 것이다.
이하, 첨부한 도면에 도시된 바람직한 실시예들을 참조하여 본 발명의 기술적 구성을 상세하게 설명한다.
그러나, 본 발명은 여기서 설명되는 실시예에 한정되지 않고 다른 형태로 구체화 될 수도 있다. 명세서 전체에 걸쳐 동일한 참조번호는 동일한 구성요소를 나타낸다.
본 발명의 일 실시예에 따른 멀티 터치 특징정보 추출방법은 멀티 터치 제스처의 인식에 기준이 되는 터치의 특징인 멀티 터치 특징정보를 추출하기 위한 방법이다.
다시 말해서, 상기 멀티 터치 특징정보는 복수 개의 터치 점의 상태변화에 관한 특징으로 정의할 수 있다.
또한, 본 발명의 일 실시예에 따른 멀티 터치 특징정보추출방법은 실질적으로 멀티 터치 특징정보를 컴퓨터상에서 추출할 수 있는 프로그램에 의해 수행된다.
또한, 상기 프로그램은 프로그램 명령, 로컬 데이터 파일, 로컬 데이터 구조 등이 단독 또는 조합으로 구성된 프로그램일 수 있고, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라, 인터프리터 등을 사용하여 컴퓨터에 의해 실행될 수 있는 고급 언어 코드로 짜여진 프로그램일 수 있다.
또한, 상기 프로그램은 컴퓨터로 읽을 수 있는 매체에 저장되어 컴퓨터로 읽혀짐으로써 그 기능을 수행하고, 상기 매체는 본 발명을 위하여 특별히 설계되어 구성된 것들이거나 컴퓨터 소프트웨어 분야에서 통상의 지식을 가진 자에서 공지되어 사용 가능할 것일 수 있으며, 예를 들면, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD, DVD와 같은 광 기록 매체, 자기 및 광 기록을 겸할 수 있는 자기-광 기록 매체, 롬, 램, 플래시 메모리 등 단독 또는 조합에 의해 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치일 수 있다.
또한, 상기 프로그램은 상기 매체에 의해 컴퓨터에 읽혀질 수 있는 것뿐만 아니라, 인트라넷이나 인터넷 등의 통신망을 통해 정보를 전송할 수 있는 서버 시스템에 저장되어 컴퓨터로 전송될 수도 있고, 상기 서버 시스템에서 상기 프로그램을 컴퓨터로 전송하지 않고 컴퓨터가 상기 서버 시스템으로 접근하여 상기 서버 시스템상에서 상기 프로그램을 수행할 수 있는 플랫폼을 제공할 수도 있다.
도 1 및 도 2를 참조하면, 본 발명의 일 실시예에 따른 멀티 터치 특징정보는 먼저, 터치 패널(10)로부터 터치 점들(X1,X2,X3,X4,X5)의 위치정보를 입력받는다.
또한, 상기 터치 패널(10)은 직접 상기 터치 점들(X1,X2,X3,X4,X5)의 위치정보를 직접 전송해 줄 수도 있고 상기 터치 점들(X1,X2,X3,X4,X5)이 표시된 이차원의 터치 영상(10a)을 입력해 줄 수도 있다.
또한, 상기 터치 패널(10)은 저항막이나 정전용량 방식 등을 사용하는 소형 패널뿐만 아니라 초음파방식, 적외선방식, 광학방식 등을 사용하는 중/대형 터치 패널일 수도 있다.
즉, 상기 터치 패널(10)은 상기 터치 점들(X1,X2,X3,X4,X5)의 이차원 위치정보를 직접 입력해주거나 상기 터치 영상(10a)을 입력해줄 수 있는 패널이면 충분하다.
또한, 상기 터치 패널(10)로부터 입력되는 상기 터치 영상(10a)은 실질적으로 2비트의 흑백영상일 수도 있고 8비트의 그레이스케일 영상일 수 있으며, 상기 터치 패널(10)로부터 입력되는 터치 점의 위치정보를 영상으로 변환한 것일 수도 있다.
또한, 상기 터치 영상(10a)으로부터 상기 터치 점(X1,X2,X3,X4,X5)의 위치정보를 획득하기 위해서는, 먼저, 각 터치 점이 표시된 터치 영역(X1')에서 가장 터치의 정도가 센 점인 터치 정점을 구하고, 다음, 상기 터치 정점들을 상기 터치 점들(X1,X2,X3,X4,X5)의 이차원 위치정보로 추출하는 과정을 거친다.
또한, 상기 각 터치 점들(X1,X2,X3,X4,X5)에는 레이블링(Labeling) 과정을 통해 터치 점들의 식별을 위한 일정한 식별ID를 부여된다.
다음, 상기 터치 영상(10a)의 각 터치 점(X1,X2,X3,X4,X5)을 중심으로 일정한 반경(r) 내에 위치하는 터치 점들을 찾는다.
또한, 상기 반경(r)의 길이는 사람이 손을 폈을 때 평균적으로 터치할 수 있는 최대 거리의 절반인 7[cm] 내지 13[cm] 사이의 값들 중 어느 하나로 선택하였다.
도 1 및 도 2에 도시한 제1 터치 점(X1), 제2 터치 점(X2) 및 제3 터치 점(X3)을 예로 들어 설명하면, 먼저, 상기 제1 터치 점(X1)을 중심으로 일정한 반경(r) 내에 있는 터치 점인 상기 제2 터치 점(X2)과 상기 제3 터치 점(X3)을 찾고 상기 제1 터치 점(X1)은 각각 상기 제2 터치 점(X2) 및 상기 제3 터치 점(X3)과 일대 일로 대응시켜 연결한다.
여기서, 일대 일로 대응시켜 연결된다 함은 상기 제1 터치 점(X1)과 상기 제2 터치 점(X2)을 원소로 하는 하나의 에지 정보와 상기 제1 터치 점(X1)과 상기 제3 터치 점(X3)을 원소로 하는 다른 하나의 에지 정보가 생성되는 것을 뜻한다.
다음, 상기 제3 터치 점(X3)과 서로 연결되는 상기 제2 터치 점(X2)의 에지 정보를 생성한다.
이러한 과정은 모든 터치 점들(X1,X2,X3,X4,X5)에 대해 수행된다.
즉, 상기 제1 터치 점(X1)을 기준으로 상기 에지 정보는 상기 제1 터치 점(X1)과 상기 제2 터치 점(X2)을 원소로 하는 제1 에지 정보((X1,X2)), 상기 제2 터치 점(X2)과 상기 제3 터치 점(X3)을 원소로 하는 제2 에지 정보((X2,X3)) 그리고 상기 제1 터치 점(X1)과 상기 제3 터치 점(X3)을 원소로 하는 제3 에지 정보((X1,X3))의 세 개의 에지 정보가 생성된다.
만약, 상기 반경 내에 터치 점이 두 개가 존재할 경우에는 두 개의 위치 정보와 하나의 에지 정보가 생성되며, 네 개가 존재할 경우에는 네 개의 위치 정보와 여섯 개의 에지 정보가 생성되는 것이다.
다음, 서로 연결되는 모든 터치 점들의 위치정보들과 에지 정보들을 원소로 하는 터치 그래프 정보를 생성한다.
또한, 상기 터치 그래프 정보는 아래의 수학식 1과 같이 표현할 수 있다.
Figure 112010070729099-pat00002
여기서, G는 상기 터치 그래프 정보, V는 하나의 반경 내에 위치하는 터치 점들의 위치정보, E는 상기 하나의 반경 내에 위치하는 에지 정보, Xi ,t는 현재시간에 각 터치 점의 이차원 위치 좌표값, Xj ,t는 현재시간에 각 터치 점과 매칭되는 다른 터치 점들의 위치 좌표값이다.
도 1을 예로 들면, 현재 터치 그래프정보는 세 개의 터치점(X1,X2,X3)과 세 개의 에지 정보((X1,X2),(X1,X3),(X2,X3))로 이루어지는 제1 터치 그래프정보(G1) 및 두 개의 터치 점(X4,X5)과 하나의 에지 정보((X4,X5))로 이루어지는 제2 터치 그래프정보(G2)의 두 개의 터치 그래프정보가 존재한다.
다음, 상기 터치 패널(10)로부터 상기 터치 영상(10a)이 갱신되어 입력되고, 상술한 단계들을 반복하여 상기 터치 그래프정보들(G1,G2)을 갱신하고, 상기 터치 그래프 정보들(G1,G2)의 집합을 상기 멀티 터치 특징정보로 추출한다. 또한, 갱신되는 터치 그래프 정보는 이전의 터치 그래프 정보를 포함한다.
즉, 본 발명의 일 실시예에 따라 추출되는 멀티 터치 특징정보는 일정한 반경 내에서 서로 연관되는 터치 점들의 위치 및 연결 정보들을 묶어 생성하므로 종래의 하나의 터치 점의 위치나 터치 점들의 개수에 의존하는 멀티 터치 특징정보에 비해 매우 우연하게 터치 제스처를 정의하거나 인식하는데 사용이 가능하다.
도 3 내지 도 6은 본 발명의 다른 실시예에 따른 멀티 터치 제스처 인식방법의 실시예들을 보여주는 도면으로써, 본 발명의 다른 실시예에 따른 멀티 터치 제스처 인식방법들은 터치되는 영역에 이동, 확대, 회전, 클릭, 드레그 등과 같은 이벤트를 부여하기 위해 터치의 변화를 인식하는 방법이며, 본 발명의 일 실시예에 따른 멀티 터치 특징정보 추출방법에 의해 추출된 터치 그래프 정보들(G1,G2)을 사용한다.
도 3을 참조하면, 본 발명의 다른 실시예에 따른 멀티 터치 제스처 인식방법의 제1 실시예는 멀티 터치의 이동을 정의하여 인식하는 것으로, 각 터치 그래프 정보마다 인식이 이루어진다.
이하에서는 설명의 편의를 위해 상기 제1 그래프 정보(G1)를 예로 들어 설명하기로 한다.
먼저, 상기 제1 터치 그래프 정보(G1)에 접근하여 상기 제1 터치점(X1), 상기 제2 터치점(X2) 및 상기 제3 터치점(X3)이 각각 이동한 이동거리 및 이동방향을 구한다.
다음, 상기 제1 터치점(X1), 상기 제2 터치점(X2) 및 상기 제3 터치점(X3)이 동일한 방향 및 동일한 비율의 거리로 이동한 것일 경우에는 상기 제1 터치점(X1), 상기 제2 터치점(X2) 및 상기 제3 터치점(X3)은 모두 이동하는 이동 제스처를 하고 있는 것으로 인식한다.
또한, 상기 이동 제스처는 아래의 수학식 2의 이동 제스처 우도함수를 계산하여 판단된다.
Figure 112010070729099-pat00003
여기서, P1은 이동 제스처(Z1)의 우도함수(likelihood function), dx는 각 터치 점들의 X축 이동 거리, dy는 각 터치 점들의 Y축 이동거리이다.
또한, 상기 X축 이동 거리 및 Y축 이동거리는 이전의 터치 점들의 위치 정보(X1 ,t-1,X2 ,t-1,X3 ,t-1)로부터 계산될 수 있다.
즉, 모든 터치 점들의 이동방향의 내적이 '1'에 가깝다면 상기 제1 터치 점(X1), 상기 제2 터치 점(X2) 및 상기 제3 터치 점(X3)은 서로 동일한 방향으로 이동하는 것으로 판단할 수 있다.
그러나, 상기 이동 제스처는 각 터치 점들의 X축 이동거리 및 Y축 이동거리뿐만 아니라, 각 터치 점이 실제 이동한 거리 및 X축과 이루는 각도를 구하여 계산될 수 있음은 물론이다.
또한, 수학식 2에서는 상기 터치 그래프 정보(G1)의 각 터치 점들의 이동 제스처를 인식하는 것을 예로 들었으므로 기호 'G1'으로 사용하였으나 실질적으로 모든 터치 그래프 정보(G1,G2)에 대해 각각 이동 제스처의 판단이 이루어진다.
도 4는 본 발명의 다른 실시예에 따른 멀티 터치 제스처 인식방법의 제2 실시예를 설명하기 위한 것으로, 상기 멀티 터치 제스처 인식방법의 제2 실시예는 멀티 터치의 스케일링 제스처를 인식하고 판단하기 위한 방법이다.
이하에서도 설명의 편의를 위해 상기 제1 터치 그래프 정보(G1)를 예로 들어 설명하기로 한다.
먼저, 상기 제1 터치 그래프 정보(G1)에 접근하여 각 에지 정보 내의 터치 점(X1 ,t,X2 ,t,X3 ,t)들의 거리인 에지 거리들(d(1,2),t,d(1,3),t,d(2,3),t)을 구한다.
다음, 상기 에지 거리들(d(1,2)t,d(1,3)t,d(2,3)t)과 이전의 에지 정보의 터치 점들(X1 ,t-1,X2 ,t-1,X3 ,t-1)의 에지 거리들(d(1,2),t-1,d(1,3),t-1,d(2,3),t-1)을 서로 비교하여 상기 에지 거리들(d(1,2)t,d(1,3)t,d(2,3)t)이 모두 임계거리 이상으로 커진 경우 상기 제1 터치 그래프 정보(G1) 내의 터치 점(X1 ,t,X2 ,t,X3 ,t)들은 확대 동작을 하는 것으로 인식하고, 모두 임계거리 이상으로 작아진 경우 상기 제1 터치 그래프 정보(G1) 내의 터치 점(X1 ,t,X2 ,t,X3 ,t)들은 축소 동작을 하는 것으로 인식한다.
또한, 상기 확대 동작과 상기 축소 동작을 포함하는 스케일링 제스처는 아래의 수학식 3의 스케일링 제스처 우도함수를 계산하여 판단된다.
Figure 112010070729099-pat00004
여기서, P2는 스케일링 제스처(Z2)의 우도함수, u(x)는 단위함수, d는 에지 거리, Smin는 임계거리이다.
즉, 상기 제1 터치 그래프 정보(G1)의 에지 거리들(d(1,2)t,d(1,3)t,d(2,3)t)이 임계거리 이상으로 변화할 경우 확률이 '1'로 계산되며, 상기 제1 터치 그래프 정보(G1) 내의 터치 점(X1 ,t,X2 ,t,X3 ,t)들은 확대 동작을 하는 것으로 인식한다.
도 5는 본 발명의 다른 실시예에 따른 멀티 터치 제스처 인식방법의 제3 실시예를 설명하기 위한 것으로, 상기 멀티 터치 제스처 인식방법의 제3 실시예는 멀티 터치의 회전 제스처를 인식하고 판단하기 위한 방법이다.
이하에서는 설명의 편의를 위해 상기 제1 터치 그래프 정보(G1)를 예로 들어 설명하기로 한다.
먼저, 상기 제1 터치 그래프 정보(G1)에 접근하여 상기 제1 터치 그래프 정보(G1) 내의 모든 터치 점의 중심좌표를 구한다. 여기서 중심좌표는 제1 터치 그래프 정보(G1)의 모든 터치 점들의 좌표 평균으로 구해질 수 있다.
다음, 상기 중심좌표(c)에 X축을 두고, 상기 X축의 '0'도 방향과 상기 각 터치 점(X1 ,t,X2 ,t,X3 ,t)이 이루는 방향각도(θ1,t,θ2,t,θ3,t) 및 상기 X축의 '0'도 방향과 상기 각 터치 점(X1 ,t,X2 ,t,X3 ,t)의 이전 위치의 터치점(X1,t-1,X2,t-1,X3,t-1)이 이루는 방향각도(θ1,t-1,θ2,t-1,θ3,t-1)를 구한다.
다음, 상기 각 터치 점(X1 ,t,X2 ,t,X3 ,t)의 방향각도(θ1,t,θ2,t,θ3,t)와 상기 이전 위치의 터치 점(X1 ,t-1,X2 ,t-1,X3 ,t-1)의 방향각도(θ1,t-1,θ2,t-1,θ3,t-1)를 서로 비교하여 현재 각 상기 각 터치 점(X1 ,t,X2 ,t,X3 ,t)의 방향각도(θ1,t,θ2,t,θ3,t)가 모두 임계각도 이상으로 커질 경우, 상기 제1 터치 점(X1 ,t), 제2 터치 점(X2 ,t) 및 상기 제3 터치 점(X3 ,t)은 시계반대방향의 회전 제스처로 인식하고, 모두 임계 각도 이상으로 작아질 경우, 상기 제1 터치 점(X1 ,t), 제2 터치 점(X2 ,t) 및 상기 제3 터치 점(X3 ,t)은 시계방향의 회전 제스처로 인식한다.
또한, 상기 회전 제스처는 아래의 수학식 4의 회전 제스처 우도함수를 계산하여 판단된다.
Figure 112010070729099-pat00005
여기서, P3는 회전 제스처(Z3)의 우도함수, u(x)는 단위함수, Rmin는 임계각도이다.
즉, 상기 제1 터치 그래프 정보(G1)의 모든 터치 점들(X1 ,t,X2 ,t,X3 ,t)이 모두 임계각도 이상으로 회전할 경우 확률이 '1' 또는 '0'이 되어 회전 제스처를 정의하고 인식할 수 있는 것이다.
또한, 본 발명의 다른 실시예에 따른 멀티 터치 제스처 인식방법은 이동, 스케일링, 회전 등의 제스처 이외에 마우스의 클릭이나 드레그와 같은 제스처를 인식할 수도 있는데, 먼저, 상기 제1 터치 그래프 정보(G1)에 접근하여 현재 터치 점들(X1 ,t,X2 ,t,X3 ,t)의 개수, 일정한 시간(Δt) 동안 움직인 터치 점들의 개수 및 일정한 시간(Δt) 동안 움직이지 않은 터치 점들의 개수를 계수한다.
다음, 일정한 시간 동안 일정한 터치 점들의 개수가 새롭게 생성되었다가 소멸될 경우 마우스의 클릭 제스처로 인식할 수 있다.
또한, 일정한 시간 동안 일정한 터치 점들이 상기 이동 제스처(Z1)를 하거나 상기 회전 제스처(Z3)를 한다면, 마우스의 드레그 제스처로 인식할 수 있다.
예를 들면, 상기 현재 터치 점들(X1 ,t,X2 ,t,X3 ,t)의 개수는 아래의 수학식 5와 같이 개수 제스처 우도함수를 정의하고, 상기 현재 터치 점들(X1 ,t,X2 ,t,X3 ,t)이 움직이거나 움직이지 않는 개수는 아래의 수학식 6과같이 이동개수 제스처 우도함수로 정의하여 마우스의 클릭이나 드레그 제스처 인식에 활용될 수 있다.
Figure 112010070729099-pat00006
여기서, P4는 개수 제스처(Z4) 우도함수, δ(x)는 델타함수, N은 현재 상기 터치 점들(X1 ,t,X2 ,t,X3 ,t)의 개수, k는 정의하고자 터치 점들의 개수이다. 즉, 사용자가 k개의 터치 점의 개수를 정의하고, 실제 터치 점들의 개수가 k개라면 상기 개수 제스처 우도함수는 '1'이 된다.
Figure 112010070729099-pat00007
여기서, P5는 이동개수 제스처(Z5) 우도함수, 'l'은 일정한 시간 동안 움직임이 있는 터치 점들의 개수, 'o'는 일정한 시간 동안 움직임이 없는 터치 점들의 개수이다. 즉, 현재 'k'개의 터치 점이 있고, 'l'개의 터치 점이 일정한 시간 동안 움직이이고, 'o'개의 터치 점이 움직이지 않는다면, 상기 이동개수 제스처 우도함수는 '1'이 된다.
또한, 상기 마우스의 클릭 제스처는 아래의 수학식 7과 같이 상기 개수 제스처 우도함수와 상기 이동개수 제스처 우도함수를 조합한 클릭 제스처 우도함수로 정의되어 마우스의 클릭 제스처를 인식할 수 있다.
Figure 112010070729099-pat00008
즉, 현재 상기 제1 터치 그래프 정보(G1) 내의 터치 점의 개수가 한 개이고, 일정한 시간 동안 한 개의 터치 점이 생성되었다가 소멸되었다면 마우스의 클릭 제스처로 인식할 수 있다.
또한, 상기 마우스의 드레그 제스처는 아래의 수학식 8과 같이 상기 이동 제스처(Z1)의 우도함수, 상기 회전 제스처(Z3)의 우도함수 및 상기 개수 제스처(Z4) 우도함수를 조합하여 정의하고 인식할 수 있다
Figure 112010070729099-pat00009
즉, 현재 상기 제1 터치 그래프 정보(G1) 내의 터치 점이 이동 제스처 또는 회전 제스처를 하고 터치 점의 개수가 두 개라면 마우스의 드레그 제스처로 인식할 수 있다.
그러나, 상기 마우스의 클릭 제스처나 드레그 제스처는 상기 우도함수들(P1,P2,P3,P4,P5)을 다양하게 조합하여 사용자가 정의할 수 있고, 상기 이동, 스케일, 회전 제스쳐도의 우도함수들도(P1,P2,P3,) 상기 터치 그래프 정보(G)를 이용하여 사용자가 다양하게 정의할 수 있을 것이다.
따라서, 멀티 터치의 정의 및 인식의 자유도가 매우 높고, 멀티 터치 제스처를 다양한 방법으로 정의할 수 있으므로 멀티 터치 제스처 인식의 정확도를 매우 향상시킬 수 있는 효과가 있다.
이상에서 살펴본 바와 같이 본 발명은 바람직한 실시예를 들어 도시하고 설명하였으나, 상기한 실시예에 한정되지 아니하며 본 발명의 정신을 벗어나지 않는 범위 내에서 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변경과 수정이 가능할 것이다.
10: 터치 패널 10a:터치 영상

Claims (16)

  1. 삭제
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 복수 개의 터치 점의 변화에 관한 특징인 멀티 터치 특징정보 추출방법에 있어서,
    터치 패널로부터 터치 점들이 표시된 터치 영상을 입력받는 제1-1단계;
    상기 각 터치 점이 표시된 영역 중 터치의 강도가 가장 센 점의 위치인 터치 정점을 추출하고, 상기 터치 정점의 위치를 각 터치 점의 위치정보로 획득하는 제1-2단계;
    상기 각 터치 점을 중심으로 7[cm] 내지 13[cm] 사이의 반경 내에 위치하는 터치 점들을 서로 일대 일로 연결하고, 서로 연결되는 두 개의 터치 점의 위치정보로 이루어지는 에지 정보들을 생성하는 제2단계;
    서로 연결되는 모든 터치 점들의 위치정보와 에지 정보들을 원소로 하는 복수 개의 터치 그래프정보를 생성하고, 상기 터치 그래프정보들을 상기 멀티 터치 특징정보로 추출하는 제3단계;
    상기 터치 패널로부터 상기 위치정보가 갱신되어 입력되고, 상기 갱신된 위치정보를 기반으로 상기 터치 그래프정보를 갱신하는 제4단계;
    상기 터치 그래프 정보에 접근하여 각 터치 점의 X축 이동거리 및 Y축 이동거리를 계산하여 상기 각 터치 점의 이동벡터를 구하는 제5단계; 및
    동일한 터치 그래프 정보 내의 각 터치 점들의 이동벡터를 내적하여, 내적 값이 동일범위 내에서 '1'일 경우, 상기 동일한 터치 그래프 정보 내의 터치 점들은 이동하는 것으로 인식하는 제6단계; 포함하고,
    상기 터치 그래프 정보는 아래의 수학식 1에 의해 계산되어 생성 및 갱신되고,
    [수학식1]
    Figure 112012024981854-pat00016

    여기서, G는 터치 그래프 정보, V는 터치 그래프 정보 내의 모든 터치 점들의 위치정보들의 집합, E는 터치 그래프 정보 내의 모든 에지 정보들의 집합을 뜻하며, Xi,t, Xj,t는 상기 반경 내에서 서로 연결되는 터치 점의 위치 좌표값이다.
    상기 제6단계는 아래의 수학식 2의 이동 제스처 우도함수의 값이 '1'일 경우 상기 동일한 터치 그래프 정보 내의 터치 점들은 이동하는 것으로 인식하는 것을 특징으로 하는 멀티 터치 제스처 인식방법.
    [수학식2]
    Figure 112012024981854-pat00017

    여기서, P1은 이동 제스처(Z1)의 우도함수(likelihood function), dx는 각 터치 점들의 X축 이동 거리, dy는 각 터치 점들의 Y축 이동거리이다.
  9. 삭제
  10. 제 8 항에 있어서,
    상기 제5단계 이후에,
    상기 에지 거리들이 모두 임계치 이상으로 커진 것일 경우, 상기 동일한 터치 그래프 정보 내의 터치 점들은 서로 멀어지는 확대 동작을 하는 것으로 인식하고, 상기 에지 거리가 모두 임계치 이상으로 작아진 것일 경우, 상기 동일한 터치 그래프 정보 내의 터치 점들은 서로 가까워지는 축소 동작을 하는 것으로 인식하는 제7단계;를 포함하고,
    상기 제7단계는 아래의 수학식 3의 스케일링 제스처 우도함수의 값이 '1' 또는 '0'일 경우, 확대 또는 축소 동작하는 것으로 인식하는 것을 특징으로 하는 멀티 터치 제스처 인식방법.
    [수학식3]
    Figure 112012024981854-pat00018

    여기서, P2는 스케일링 제스처(Z2)의 우도함수, u(x)는 단위함수, d는 에지 거리, Smin는 임계거리이다.
  11. 삭제
  12. 제 8 항에 있어서,
    상기 제5단계 이후에,
    상기 터치 그래프 정보에 접근하여 동일한 터치 그래프 정보 내의 터치 점들의 좌표값들을 평균하여 중심좌표를 계산하며, 상기 중심좌표에 X축을 두고, 상기 터치 점들이 각각 상기 X축의 '0'도 방향과 이루는 방향각도를 구하는 제8단계; 및
    상기 터치 점들의 방향각도가 모두 임계치 이상으로 커진 것일 경우, 상기 터치 점들은 시계반대방향으로 회전하는 것으로 인식하고, 상기 터치 점들의 방향각도가 모두 임계치 이상으로 작아진 것일 경우, 상기 터치 점들은 시계방향으로 회전하는 것으로 인식하는 제8-1단계;를 포함하고,
    상기 제8단계 및 상기 제8-1단계는 아래의 수학식 4의 회전 제스처 우도함수가 '1' 또는 '0'일 경우, 회전하는 것으로 인식하는 것을 특징으로 하는 멀티 터치 제스처 인식방법.
    [수학식4]
    Figure 112012062654819-pat00019

    여기서, P3는 회전 제스처(Z3)의 우도함수, u(x)는 단위함수, Rmin는 임계각도이다.
  13. 삭제
  14. 제 8 항에 있어서,
    상기 제5단계 이후에,
    상기 동일한 터치 그래프 정보 내에서 터치 점들이 새롭게 생성되었는지 소멸되었는지를 판단하고, 상기 터치 점들의 생성개수 또는 소멸개수에 기반하여 마우스의 클릭 동작을 인식하는 제9단계;를 포함하고,
    상기 제9단계는 아래의 수학식 5의 개수 제스처 우도함수가 '1'일 경우, 마우스의 클릭 동작으로 인식하는 것을 특징으로 하는 멀티 터치 제스처 인식방법. 것을 특징으로 하는 멀티 터치 제스처 인식방법.
    [수학식5]
    Figure 112012024981854-pat00020

    여기서, P4는 개수 제스처(Z4) 우도함수, δ(x)는 델타함수, N은 현재 상기 터치 점들(X1,t,X2,t,X3,t)의 개수, k는 정의하고자 터치 점들의 개수이다
  15. 제 14 항에 있어서,
    상기 제5단계는 상기 동일한 터치 그래프 정보 내의 터치 점들의 위치변화가 있는지 판단하는 제5-1단계를 더 포함하고,
    상기 제6단계는 상기 터치 점들의 개수가 변화하지 않고 위치변화가 있을 경우 마우스의 드레그 동작으로 인식하며,
    상기 제6단계는 아래의 수학식 6의 이동 개수 제스처 우도함수가 '1일 경우, 마우스의 드레그 동작으로 인식하는 것을 특징으로 하는 멀티 터치 제스처 인식방법.
    [수학식 6]
    Figure 112012024981854-pat00021

    여기서, P5는 이동개수 제스처(Z5) 우도함수, 'l'은 일정한 시간 동안 움직임이 있는 터치 점들의 개수, 'o'는 일정한 시간 동안 움직임이 없는 터치 점들의 개수이다.
  16. 제 8 항, 제 10 항, 제 12 항, 제 14 항 또는 제 15 항의 멀티 터치 제스처 인식방법을 컴퓨터상에서 수행하기 위한 프로그램이 저장된 컴퓨터로 읽을 수 있는 매체.
KR1020100107284A 2010-10-29 2010-10-29 멀티 터치 특징정보 추출방법 및 그 멀티 터치 특징정보를 이용한 멀티 터치 제스처 인식방법 KR101199970B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020100107284A KR101199970B1 (ko) 2010-10-29 2010-10-29 멀티 터치 특징정보 추출방법 및 그 멀티 터치 특징정보를 이용한 멀티 터치 제스처 인식방법
US13/882,157 US20130215034A1 (en) 2010-10-29 2010-11-22 Extraction method for multi-touch feature information and recognition method for multi-touch gestures using multi-touch feature information
PCT/KR2010/008229 WO2012057394A1 (ko) 2010-10-29 2010-11-22 멀티 터치 특징정보 추출방법 및 그 멀티 터치 특징정보를 이용한 멀티 터치 제스처 인식방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100107284A KR101199970B1 (ko) 2010-10-29 2010-10-29 멀티 터치 특징정보 추출방법 및 그 멀티 터치 특징정보를 이용한 멀티 터치 제스처 인식방법

Publications (2)

Publication Number Publication Date
KR20120045627A KR20120045627A (ko) 2012-05-09
KR101199970B1 true KR101199970B1 (ko) 2012-11-12

Family

ID=45994088

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100107284A KR101199970B1 (ko) 2010-10-29 2010-10-29 멀티 터치 특징정보 추출방법 및 그 멀티 터치 특징정보를 이용한 멀티 터치 제스처 인식방법

Country Status (3)

Country Link
US (1) US20130215034A1 (ko)
KR (1) KR101199970B1 (ko)
WO (1) WO2012057394A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024049042A1 (ko) * 2022-08-29 2024-03-07 삼성전자주식회사 제스쳐의 궤적을 변경하기 위한 전자 장치, 방법, 및 컴퓨터 판독 가능 저장 매체

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9471170B2 (en) 2002-11-04 2016-10-18 Neonode Inc. Light-based touch screen with shift-aligned emitter and receiver lenses
US8902196B2 (en) * 2002-12-10 2014-12-02 Neonode Inc. Methods for determining a touch location on a touch screen
US9063614B2 (en) 2009-02-15 2015-06-23 Neonode Inc. Optical touch screens
JP2013206180A (ja) * 2012-03-28 2013-10-07 Kyocera Corp 電子機器および表示方法
US20160274790A1 (en) * 2015-01-12 2016-09-22 Yonggui Li Method realizing a plurality of keys/buttons which positions are determined dynamically and passively
US10282034B2 (en) 2012-10-14 2019-05-07 Neonode Inc. Touch sensitive curved and flexible displays
US9164625B2 (en) 2012-10-14 2015-10-20 Neonode Inc. Proximity sensor for determining two-dimensional coordinates of a proximal object
US9921661B2 (en) 2012-10-14 2018-03-20 Neonode Inc. Optical proximity sensor and associated user interface
US9207800B1 (en) 2014-09-23 2015-12-08 Neonode Inc. Integrated light guide and touch screen frame and multi-touch determination method
US20140306910A1 (en) * 2013-04-15 2014-10-16 Qualcomm Incorporated Id tracking of gesture touch geometry
KR102091287B1 (ko) * 2013-06-11 2020-03-20 원투씨엠 주식회사 동시 터치 기반 서비스 제공 방법
KR102091288B1 (ko) * 2013-06-11 2020-03-20 원투씨엠 주식회사 형상 터치 기반 서비스 제공 방법
US9501183B2 (en) * 2013-12-02 2016-11-22 Nokia Technologies Oy Method, apparatus and computer program product for distinguishing a touch event from a gesture
CN104063153B (zh) * 2014-05-04 2018-12-11 南京中兴软件有限责任公司 一种实现人机交互的方法和装置
TW201544993A (zh) * 2014-05-28 2015-12-01 Pegatron Corp 手勢控制之方法、手勢控制模組及其具有手勢控制模組之穿戴式裝置
KR20180098021A (ko) * 2017-02-24 2018-09-03 삼성전자주식회사 전자장치 및 그 제어방법
WO2019108129A1 (en) * 2017-12-01 2019-06-06 Make Studios Pte. Ltd. A system and method for determining a task to be triggered on a mobile device
CN115039060A (zh) 2019-12-31 2022-09-09 内奥诺德公司 非接触式触摸输入系统
CN111338516B (zh) * 2020-02-26 2022-05-10 业成科技（成都）有限公司 手指触控的检测方法和装置、电子设备、存储介质
JP2023544332A (ja) 2020-09-30 2023-10-23 ネオノード インコーポレイテッド 光学式タッチセンサ

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009134444A (ja) 2007-11-29 2009-06-18 Smk Corp 光学式タッチパネル入力装置
KR100984596B1 (ko) 2004-07-30 2010-09-30 애플 인크. 터치 감지 입력 장치용 제스처

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7030861B1 (en) * 2001-02-10 2006-04-18 Wayne Carl Westerman System and method for packing multi-touch gestures onto a hand
US8970503B2 (en) * 2007-01-05 2015-03-03 Apple Inc. Gestures for devices having one or more touch sensitive surfaces
US7907125B2 (en) * 2007-01-05 2011-03-15 Microsoft Corporation Recognizing multiple input point gestures
KR20090037535A (ko) * 2007-10-12 2009-04-16 한국과학기술연구원 터치스크린의 입력 처리 방법
TWI460621B (zh) * 2008-01-21 2014-11-11 Elan Microelectronics Corp 可供進行多物件操作之觸控板及應用其中之方法
JP5448370B2 (ja) * 2008-05-20 2014-03-19 キヤノン株式会社 情報処理装置及びその制御方法、プログラム、記憶媒体
US8830181B1 (en) * 2008-06-01 2014-09-09 Cypress Semiconductor Corporation Gesture recognition system for a touch-sensing surface
US8390577B2 (en) * 2008-07-25 2013-03-05 Intuilab Continuous recognition of multi-touch gestures
KR20100048090A (ko) * 2008-10-30 2010-05-11 삼성전자주식회사 터치와 모션을 통해 제어 명령을 생성하는 인터페이스 장치, 인터페이스 시스템 및 이를 이용한 인터페이스 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100984596B1 (ko) 2004-07-30 2010-09-30 애플 인크. 터치 감지 입력 장치용 제스처
JP2009134444A (ja) 2007-11-29 2009-06-18 Smk Corp 光学式タッチパネル入力装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024049042A1 (ko) * 2022-08-29 2024-03-07 삼성전자주식회사 제스쳐의 궤적을 변경하기 위한 전자 장치, 방법, 및 컴퓨터 판독 가능 저장 매체

Also Published As

Publication number Publication date
US20130215034A1 (en) 2013-08-22
WO2012057394A1 (ko) 2012-05-03
KR20120045627A (ko) 2012-05-09

Similar Documents

Publication Publication Date Title
KR101199970B1 (ko) 멀티 터치 특징정보 추출방법 및 그 멀티 터치 특징정보를 이용한 멀티 터치 제스처 인식방법
US10732725B2 (en) Method and apparatus of interactive display based on gesture recognition
Tsai et al. Design of hand gesture recognition system for human-computer interaction
US10043308B2 (en) Image processing method and apparatus for three-dimensional reconstruction
RU2711029C2 (ru) Классификация касаний
Feng et al. Features extraction from hand images based on new detection operators
Lee et al. Towards augmented reality driven human-city interaction: Current research on mobile headsets and future challenges
WO2018032947A1 (zh) 三维模型验证码的实现方法及其装置
KR102470522B1 (ko) 핸드라이팅된 다이어그램 커넥터들의 관리를 위한 시스템 및 방법
CN108475325B (zh) 用于识别手写图连接符的系统、方法及计算机可读介质
KR101483054B1 (ko) 상호작용을 지원하는 모바일 기반 증강현실 제작 시스템 및 방법
CN109725724B (zh) 有屏设备的手势控制方法和装置
CN108701215B (zh) 用于识别多对象结构的系统和方法
US10579868B2 (en) System and method for recognition of objects from ink elements
CN111492407B (zh) 用于绘图美化的系统和方法
CN114360047A (zh) 举手手势识别方法、装置、电子设备及存储介质
Liang et al. Turn any display into a touch screen using infrared optical technique
Nyirarugira et al. Hand gesture recognition using particle swarm movement
CN103547982A (zh) 利用空间和时间特征识别触摸传感器数据中的接触和接触属性
CN108921129A (zh) 图像处理方法、系统、介质和电子设备
Kim et al. Method for user interface of large displays using arm pointing and finger counting gesture recognition
Triki et al. Imaging and HMI: Fondations and complementarities
She et al. An Integrated Approach of Real-time Hand Gesture Recognition Based on Feature Points
Hannuksela et al. Camera‐Based Motion Recognition for Mobile Interaction
Guo et al. Estimation of 3D human hand poses with structured pose prior

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151029

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee