KR102118408B1 - 터치 감지 디바이스에서 터치 동작을 수행하는 방법 - Google Patents
터치 감지 디바이스에서 터치 동작을 수행하는 방법 Download PDFInfo
- Publication number
- KR102118408B1 KR102118408B1 KR1020150095954A KR20150095954A KR102118408B1 KR 102118408 B1 KR102118408 B1 KR 102118408B1 KR 1020150095954 A KR1020150095954 A KR 1020150095954A KR 20150095954 A KR20150095954 A KR 20150095954A KR 102118408 B1 KR102118408 B1 KR 102118408B1
- Authority
- KR
- South Korea
- Prior art keywords
- touch
- gesture
- shape
- sensing device
- parameters
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
- G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
- G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
- G06F3/04186—Touch location disambiguation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
- G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
Abstract
본 발명은 터치 감지 디바이스에서 터치 동작을 수행하는 방법을 개시한다. 상기 방법은, 터치 스크린 상에서 제공되는 터치 입력과 관련된 접촉 영역의 형상을 검출하는 과정과, 미리 결정된 기준에 기초하여, 상기 식별된 형상이 유효한지 여부를 결정하는 과정과, 상기 유효화된 형상의 움직임에 기초하여 제스처를 검출하는 과정과, 상기 제스처를 하나 이상의 미리 규정된 제스처들과 매칭시킴으로써 상기 검출된 제스처가 유효한지 여부를 결정하는 과정과, 상기 터치 동작을 수행하는 과정을 포함한다. 마찬가지로, 상기 터치 입력이 손 형상인 경우에는, 터치 스크린 상에 제공되는 터치 입력과 관련된 접촉 영역의 형상은, 하나 이상의 미리 규정된 파라미터들에 기초하여 식별된다. 또한, 식별된 형상의 배향이 결정된다. 이어서, 미리 결정된 기준에 기초하여, 상기 식별된 형상이 유효화된다. 상기 식별된 형상이 유효한 경우에는, 상기 터치 감지 디바이스 상에서 터치 동작이 수행된다.
Description
관련 출원
본 출원은 2014년 7월 7일에 출원된 인도 가출원 제3353/CHE/2014호 "A METHOD OF IDENTIFYING THE HAND SHAPES AND GESTURES IN TOUCH AND HOVER SENSITIVE DEVICES"에 대한 우선권을 주장하며, 상기 가출원의 내용 전체는 본 명세서에 모든 목적을 위한 참조로서 포함된다.
기술 분야
본 발명은 일반적으로 터치 스크린 분야에 관한 것이며, 보다 구체적으로는 터치 스크린 가능한 디바이스에서 하나 이상의 디바이스 특정 동작들을 수행하기 위한 제스처를 식별하는 방법 및 시스템에 관한 것이다.
각종 타입의 전자 디바이스의 터치 스크린은, 터치 포인트의 좌표들을 검출하여 미리 규정된 동작을 수행할 수 있게 한다. 터치 스크린에 있어서, 디스플레이 상의 입력 포인터 움직임은, 터치 스크린의 표면을 따라 사용자의 손가락이 이동되는 것과 같은 손가락의 상대적 움직임들에 대응할 수 있다. 마찬가지로, 손 제스처들이 터치 스크린에서 구현되고 있으며, 예를 들어 터치 스크린 상의 표면에서 하나 이상의 탭(tap)들이 검출되는 경우에 선택들이 이루어질 수 있다. 몇몇 경우들에서는, 터치 스크린 중의 일부분에 대해 탭될 수 있으며, 다른 경우들에서는 터치 스크린 중의 전용 부분에 대해 탭될 수도 있다. 상기 탭에 따른 선택 이외에도, 터치 스크린 가장자리에서의 손가락 모션을 사용하여 스크롤링(scrolling)이 개시될 수도 있다.
최근에는, 보다 진보된 제스처들이 구현되고 있다. 예를 들어, 스크롤링 제스처가 인식되도록 터치 스크린 상에 4개의 손가락을 올려놓고, 그 후에 터치 스크린 상에서 손가락들을 움직여서 스크롤링 이벤트들을 수행하는 것에 의하여 스크롤링이 개시될 수 있다. 그러나, 이러한 진보된 제스처들을 구현하기 위한 방법들은 제한적일 수 있으며, 많은 경우들에 있어서 반직관적(counterintuitive)일 수 있다. 특정 애플리케이션들에서는, 사용자로 하여금, 더 효율적으로 일정한 것들을 의미하고 정확하게 의도된 동작들을 행하도록 일반적으로 인식될 수 있는 손 움직임들 및/또는 손가락 배향들과 같은 실제 제스처들을 사용 가능하게 하는 것이 유익할 수 있다.
그러나, 특정 제스처를 가능하게 하기 위해서는 사전 학습 또는 여러 종류의 입력들에 대한 모델 훈련의 요구가 필요할 수 있다. 이것은 디바이스의 저장소를 많이 차지할 수 있다. 따라서, 터치 스크린 상의 터치 입력들을 식별하기 위한, 효율적이면서 보다 고속의 방법에 대한 필요성이 존재한다. 보다 구체적으로, 터치 가능 스크린이 스위치 오프 상태에 있을 경우에 수신되는 터치 입력들을 인식하기 위한 방법 및 시스템에 대한 필요성이 존재한다.
본 발명의 목적은 하나 이상의 파라미터들을 사용하여 터치 스크린 가능한 디바이스들에서 디바이스 특정 동작들을 수행하기 위한 제스처를 식별하는 방법을 제공하는 것이다. 제스처는 단순 손 형상 또는 터치 패턴일 수 있다.
손 형상들을 사용하여 터치 감지 디바이스에서 터치 동작을 수행하는 방법은, 다음의 단계들을 포함한다. 상기 터치 감지 디바이스의 터치 스크린 상에 제공되는 터치 입력과 관련된 접촉 영역의 형상은, 하나 이상의 미리 규정된 파라미터들에 기초하여, 식별된다. 또한, 식별된 형상의 배향이 결정된다. 이어서, 미리 결정된 기준에 기초하여, 상기 식별된 형상이 유효화된다. 상기 식별된 형상이 유효한 경우에는, 상기 터치 감지 디바이스 상에서 터치 동작이 수행된다.
본 발명의 다른 양태는 제스처들을 사용하여 터치 감지 디바이스에서 터치 동작을 수행하는 방법을 개시한다. 상기 방법은, 상기 터치 감지 디바이스의 터치 스크린 상에서 제공되는 터치 입력과 관련된 접촉 영역의 형상을 식별하는 단계와, 미리 결정된 기준에 기초하여, 상기 식별된 형상이 유효한지 여부를 결정하는 단계와, 상기 유효화된 형상의 움직임에 기초하여, 제스처를 검출하는 단계와, 상기 제스처를 하나 이상의 미리 규정된 제스처들과 매칭시킴으로써 상기 검출된 제스처가 유효한지 여부를 결정하는 단계와, 상기 검출된 제스처가 유효하다는 결정과 상기 식별된 형상이 유효하다는 결정에 기초하여, 상기 터치 동작을 수행하는 단계를 포함한다.
본 발명의 다른 양태는 터치 감지 디바이스의 스크린이 스크린 오프 상태에 있는 경우, 디바이스 애플리케이션을 수행(실행)하는 것을 개시한다. 사용자가 촬영용의 전면 카메라를 오픈하기 위해, 스크린 오프 상태에서 스크린을 스와이프(swipe)하는 것을 고려한다. 사용자가 스크린 오프 상태에서 두 개의 엄지 손가락을 이용하여 터치 제스처를 수행하는 경우, 카메라 애플리케이션이 자동 실행될 수 있다.
본 발명의 다양한 실시예에 따른 전자장치는 하나 이상의 파라미터들을 사용하여 터치 스크린에 입력된 사용자의 제스처를 식별할 수 있다. 전자장치는 사용자의 제스처를 기반으로 특정 기능(동작)을 수행함에 따라, 사용자의 편의성을 증대시킬 수 있다. 사용자들은 보다 효율적으로 전자장치의 특정 기능을 이용할 수 있다.
본 발명의 전술한 양태들 및 본 발명의 다른 특징들에 대해서는 첨부 도면과 함께 취해지는 다음의 상세한 설명에서 설명될 것이다.
도 1은 본 발명의 일 실시예에 따른, 터치 감지 디바이스에서 터치 동작을 수행하기 위해 손 형상을 인식하는 방법을 도시한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른, 상호 정전용량 데이터 및 파라미터들의 계산을 처리하는 방법을 도시한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 데이터 이진화 방법을 도시한 흐름도이다.
도 4a는 본 발명의 일 실시예에 따른, 영역 식별 방법을 도시한 흐름도이다.
도 4b는 본 발명의 일 실시예에 따른, 영역 식별 처리에서 잘못 해석된 영역을 수정하는 방법을 도시한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른, 평균 각도 방법을 사용하여 형상의 배향을 결정하는 개략도이다.
도 6은 본 발명의 일 실시예에 따른, 관절 손가락들을 분리시켜서, 손의 여러 부분들을 식별하는 방법을 도시한 흐름도이다.
도 7a은 본 발명의 일 실시예에 따른, 손을 식별하는 방법을 도시한 흐름도이다.
도 7b는 본 발명의 일 실시예에 따른, 다수 개의 파라미터(높이, 너비, 좌측부터 우측까지의 길이, 우측부터 좌측까지의 길이)에 따른 손의 모양을 도시한 개략도이다.
도 8a은 본 발명의 일 실시예에 따른, 손가락을 식별하는 방법을 도시한 흐름도이다.
도 8b는 본 발명의 일 실시예에 따른, 다수 개의 파라미터(높이, 너비, 좌측에서 우측까지의 대각선 길이, 우측부터 좌측까지의 대각선 길이)에 따른 손가락의 형상을 도시한 개략도이다.
도 9a는 본 발명의 일 실시예에 따른, 손가락을 분리하는 방법을 도시한 흐름도이다.
도 9b는 본 발명의 일 실시예에 따른, 손가락부터 손바닥까지 분리하는 다수의 동작들을 도시한 개략도이다.
도 10은 본 발명의 일 실시예에 따른, 형상들을 저장하는 방법을 도시한 흐름도이다.
도 11은 본 발명의 일 실시예에 따른, 계산된 파라미터 및 기록된 파라미터들을 사용하는 형상 매칭 방법을 도시한 흐름도이다.
도 12a는 본 발명의 일 실시예에 따른, 한 손가락 형상 식별을 이용하여 카메라를 실행시키는 것에 대한 개략도이다.
도 12b는 본 발명의 일 실시예에 따른, 한 손가락 형상 식별을 이용하여 카메라를 실행시키는 방법을 도시한 흐름도이다.
도 13은 본 발명의 일 실시예에 따른, 두 손가락 형상 식별을 이용하여 카메라를 실행시키는 것에 대한 개략도이다.
도 14는 본 발명의 다른 실시예에 따른, 터치 감지 디바이스에서의 터치 동작 수행 방법을 도시한 흐름도이다.
도 15은 본 발명의 일 실시예에 따른, 사용자에 의해 수행된 제스처를 선형화하고 파라미터들을 계산하는 방법을 도시한 흐름도이다.
도 16a 및 도 16b는 본 발명의 일 실시예에 따른, 2개의 에지를 포함하는 샘플 제스처 매칭을 수행하는 개략도이다.
도 17a는 본 발명의 다른 실시예에 따른, 매칭을 위해 하나 이상의 파라미터들을 계산하는 방법을 도시한 흐름도이다.
도 17b는 본 발명의 다른 실시예에 따른, TSP IC에서 수집된 하나 이상의 좌표를 처리하는 방법을 도시한 흐름도이다.
도 17c는 본 발명의 일 실시예에 따른, 사용자에 의해 수행된 제스처를 등록된 제스처와 매칭하는 방법을 도시한 흐름도이다.
도 18a는 본 발명의 일 실시예에 따른, 사용자에 의해 수행된 제스처를 결정하기 위한 압력 정점 및 방향 정점의 계산 방법을 도시한 흐름도이다.
도 18b는 본 발명의 일 실시예에 따른, 사용자에 의해 수행된 제스처를 기록된 제스처와 매칭하는 방법을 도시한 흐름도이다.
도 19은 본 발명의 일 실시예에 따른, 터치 감지 디바이스를 이용하여 하나 이상의 제스처를 등록하는 방법을 도시한 흐름도이다.
도 20은 본 발명의 일 실시예에 따른, 한 손가락 제스처 식별을 이용하여 카메라를 실행시키는 것에 대한 개략도이다.
도 21a는 본 발명의 일 실시예에 따른, 두 손가락 제스처 식별을 이용하여 카메라를 실행시키는 것에 대한 개략도이다.
도 21b는 본 발명의 일 실시예에 따른, 두 손가락 제스처 식별을 이용하여 카메라를 실행시키는 방법을 도시한 흐름도이다.
도 22는 본 발명의 일 실시예에 따른, 형상 식별에 기반하는 각종 터치 동작들을 실행시키는 것에 대한 개략도이다.
도 1은 본 발명의 일 실시예에 따른, 터치 감지 디바이스에서 터치 동작을 수행하기 위해 손 형상을 인식하는 방법을 도시한 흐름도이다.
도 2는 본 발명의 일 실시예에 따른, 상호 정전용량 데이터 및 파라미터들의 계산을 처리하는 방법을 도시한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 데이터 이진화 방법을 도시한 흐름도이다.
도 4a는 본 발명의 일 실시예에 따른, 영역 식별 방법을 도시한 흐름도이다.
도 4b는 본 발명의 일 실시예에 따른, 영역 식별 처리에서 잘못 해석된 영역을 수정하는 방법을 도시한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른, 평균 각도 방법을 사용하여 형상의 배향을 결정하는 개략도이다.
도 6은 본 발명의 일 실시예에 따른, 관절 손가락들을 분리시켜서, 손의 여러 부분들을 식별하는 방법을 도시한 흐름도이다.
도 7a은 본 발명의 일 실시예에 따른, 손을 식별하는 방법을 도시한 흐름도이다.
도 7b는 본 발명의 일 실시예에 따른, 다수 개의 파라미터(높이, 너비, 좌측부터 우측까지의 길이, 우측부터 좌측까지의 길이)에 따른 손의 모양을 도시한 개략도이다.
도 8a은 본 발명의 일 실시예에 따른, 손가락을 식별하는 방법을 도시한 흐름도이다.
도 8b는 본 발명의 일 실시예에 따른, 다수 개의 파라미터(높이, 너비, 좌측에서 우측까지의 대각선 길이, 우측부터 좌측까지의 대각선 길이)에 따른 손가락의 형상을 도시한 개략도이다.
도 9a는 본 발명의 일 실시예에 따른, 손가락을 분리하는 방법을 도시한 흐름도이다.
도 9b는 본 발명의 일 실시예에 따른, 손가락부터 손바닥까지 분리하는 다수의 동작들을 도시한 개략도이다.
도 10은 본 발명의 일 실시예에 따른, 형상들을 저장하는 방법을 도시한 흐름도이다.
도 11은 본 발명의 일 실시예에 따른, 계산된 파라미터 및 기록된 파라미터들을 사용하는 형상 매칭 방법을 도시한 흐름도이다.
도 12a는 본 발명의 일 실시예에 따른, 한 손가락 형상 식별을 이용하여 카메라를 실행시키는 것에 대한 개략도이다.
도 12b는 본 발명의 일 실시예에 따른, 한 손가락 형상 식별을 이용하여 카메라를 실행시키는 방법을 도시한 흐름도이다.
도 13은 본 발명의 일 실시예에 따른, 두 손가락 형상 식별을 이용하여 카메라를 실행시키는 것에 대한 개략도이다.
도 14는 본 발명의 다른 실시예에 따른, 터치 감지 디바이스에서의 터치 동작 수행 방법을 도시한 흐름도이다.
도 15은 본 발명의 일 실시예에 따른, 사용자에 의해 수행된 제스처를 선형화하고 파라미터들을 계산하는 방법을 도시한 흐름도이다.
도 16a 및 도 16b는 본 발명의 일 실시예에 따른, 2개의 에지를 포함하는 샘플 제스처 매칭을 수행하는 개략도이다.
도 17a는 본 발명의 다른 실시예에 따른, 매칭을 위해 하나 이상의 파라미터들을 계산하는 방법을 도시한 흐름도이다.
도 17b는 본 발명의 다른 실시예에 따른, TSP IC에서 수집된 하나 이상의 좌표를 처리하는 방법을 도시한 흐름도이다.
도 17c는 본 발명의 일 실시예에 따른, 사용자에 의해 수행된 제스처를 등록된 제스처와 매칭하는 방법을 도시한 흐름도이다.
도 18a는 본 발명의 일 실시예에 따른, 사용자에 의해 수행된 제스처를 결정하기 위한 압력 정점 및 방향 정점의 계산 방법을 도시한 흐름도이다.
도 18b는 본 발명의 일 실시예에 따른, 사용자에 의해 수행된 제스처를 기록된 제스처와 매칭하는 방법을 도시한 흐름도이다.
도 19은 본 발명의 일 실시예에 따른, 터치 감지 디바이스를 이용하여 하나 이상의 제스처를 등록하는 방법을 도시한 흐름도이다.
도 20은 본 발명의 일 실시예에 따른, 한 손가락 제스처 식별을 이용하여 카메라를 실행시키는 것에 대한 개략도이다.
도 21a는 본 발명의 일 실시예에 따른, 두 손가락 제스처 식별을 이용하여 카메라를 실행시키는 것에 대한 개략도이다.
도 21b는 본 발명의 일 실시예에 따른, 두 손가락 제스처 식별을 이용하여 카메라를 실행시키는 방법을 도시한 흐름도이다.
도 22는 본 발명의 일 실시예에 따른, 형상 식별에 기반하는 각종 터치 동작들을 실행시키는 것에 대한 개략도이다.
이하, 본 문서의 다양한 실시예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 문서의 실시예의 다양한 변경(modifications), 균등물(equivalents), 및/또는 대체물(alternatives)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 문서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 문서에서, "A 또는 B," "A 또는/및 B 중 적어도 하나," 또는 "A 또는/및 B 중 하나 또는 그 이상"등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, "A 또는 B," "A 및 B 중 적어도 하나," 또는 "A 또는 B 중 적어도 하나"는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 문서에서 사용된 "제 1," "제 2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 예를 들면, 제 1 사용자 기기와 제 2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 문서에 기재된 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소(예: 제 1 구성요소)가 다른 구성요소(예: 제 2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소(예: 제 1 구성요소)가 다른 구성요소(예: 제 2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소와 상기 다른 구성요소 사이에 다른 구성요소(예: 제 3 구성요소)가 존재하지 않는 것으로 이해될 수 있다.
본 문서에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 문서에서 사용된 용어들은 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 문서에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 문서에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 문서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 문서에서 정의된 용어일지라도 본 문서의 실시예들을 배제하도록 해석될 수 없다.
도 1은 본 발명의 일 실시예에 따른, 터치 감지 디바이스에서 터치 동작을 수행하기 위해 손 형상을 인식하는 방법을 도시한 흐름도이다. 사용자가 스크린을 터치하는 경우에는, 상호 정전용량이 변화되며, 또한 그 상호 정전용량의 변화는, 동작 102에서, 터치 센서 패널 집적 회로(touch sensor panel integrated circuit; TSP IC)(즉, 터치 컨트롤러)에 의해서 검출될 수 있다. 터치 영역의 형상은 일 영역으로서 고려될 수 있다. 이 영역에 대해 검출된 상호 정전용량 데이터는, 동작 103에서 터치 감지 디바이스는 상기 검출된 상호 정전 용량 데이터를 처리하여, 파라미터들의 세트를 계산할 수 있다. 계산된 파라미터들에 기초하여, 동작 104에서는 터치 감지 디바이스는 터치 영역의 형상을 식별할 수 있다. 동작 105에서, 이 식별된 형상은 터치 감지 디바이스 내의 미리 규정된 형상 또는 미리 기록된 형상과 매칭될 수 있다. 본 발명의 일 실시예에 따르면, 이 형상 패턴은 복수의 형상들의 조합을 가질 수 있다. 또한, 동작 106에서는, 터치 감지 디바이스는 식별된 형상에 대응하는 터치 동작을 인에이블할 수 있다. 본 발명의 일 실시예에서는, 터치 감지 디바이스의 디스플레이 패널이 스크린 오프 상태에 있는 경우에도, 터치 감지 디바이스는 터치 동작을 인에이블할 수 있다. 만약, 동작 105에서, 식별된 형상이 미리 규정된 형상 또는 미리 기록된 형상과 매칭되지 않는 다면, 동작 101로 회귀할 수 있다.
본 발명의 일 실시예에 따른 파라미터들의 세트는, 영역의 면적, 영역의 너비, 영역의 높이, 영역의 우-좌 경사 길이, 영역의 좌-우 경사 길이, 영역 내에 둘러싸인 터치 노드들의 수, 영역의 직각성(rectangularity), 영역의 연신도(elongatedness) 및 영역의 평균 각도 중의 하나 이상을 포함한다.
본 발명의 일 실시예에서, 이 영역은 터치 스크린의 상호 정전용량 변화를 검출하는 것에 기초하여 식별될 수 있다. 상호 정전용량 데이터가 처리되어서, 그 식별된 하나 이상의 터치 영역들에 기초하여 하나 이상의 파라미터들이 규정된다. 상호 정전용량 데이터를 처리하는 방법은 도 2에서 상세히 설명된다. 파라미터들이 식별되고 나면, 각각의 규정된 파라미터들의 값이, 그 식별된 하나 이상의 터치 영역들에 대해서 결정될 수 있다. 규정된 파라미터들의 결정 값들에 기초하여, 영역의 형상이 식별될 수 있다.
본 발명의 일 실시예에서는, 터치 감지 디바이스의 디스플레이 패널이 스크린 오프 상태에 있는 경우에도, 터치 동작을 인에이블할 수 있다. 예를 들어, 스크린이 스크린 오프(off) 상태에 있는 경우에, 사용자가 스크린을 스와이프하여, 셀프 촬영용 전면 카메라를 온(on)하는 것을 고려한다. 사용자가 스크린 오프 상태에서 두 개의 손가락을 이용하여 터치 제스처를 수행하는 경우, 터치 감지 디바이스는 카메라 애플리케이션을 자동으로 실행할 수 있다. 터치 스크린 디바이스의 스크린 오프 상태에서, 사용자는 자신의 손가락을 다양한 형상들이 되게 배치함으로써 대응되는 동작이 수행되도록 할 수 있다. 터치 스크린 디바이스는 비모델 기반(non-model based) 접근방식을 이용하여 손/손가락 형상들을 식별하는 것에 의해, 스크린 오프 상태에서의 터치 제스처들을 인식할 수 있다.
이와 유사하게, 사용자가 스크린 오프 상태에서 핀치 아웃(pinch out) 제스처를 수행할 경우에는, 스크린 중의 핀치 아웃된 부분이 시간과 부재중 전화 알림을 디스플레이한다. 사용자가 손가락을 들어올리지 않고, 스크린 오프 상태에서, 스크린 중의 임의의 부분에 있는 한쪽 손가락을 이용하여 스몰 스와이프(small swipe) 제스처를 수행하는 경우에는, 각종 애플리케이션들에 대한 숏컷(shortcut)들이 디스플레이될 수 있다. 스크린 오프 상태에서는, TSP IC가 저전력 모드로 동작될 수 있다. 일 예에서, 저전력 모드는 TSP IC의 동작 빈도를 감소시키는 것에 의해 달성될 수도 있다.
도 2는 본 발명의 일 실시예에 따른, 상호 정전용량 데이터 및 파라미터들의 계산을 처리하는 방법을 도시한 흐름도이다. 접촉 영역의 형상을 식별하기 위해, 터치 감지 디바이스는 상호 정전용량 데이터를 처리할 수 있다. 이러한 처리는 동작 201에 나타낸 바와 같은 이진화 방법을 사용하여 상호 정전용량 데이터를 필터링하는 것을 포함한다. 데이터 이진화 방법은 도 3에서 상세히 설명된다. 또한, 동작 202에서는, 터치 감지 디바이스는 영역 식별 방법을 사용하여 터치 스크린 상의 하나 이상의 터치 영역들을 식별할 수 있다. 또한, 터치 감지 디바이스는 식별된 영역에 대한 파라미터들을 계산할 수 있다.
도 3은 본 발명의 일 실시예에 따른 데이터 이진화 방법을 도시한 흐름도이다. 본 발명의 일 실시예에 따르면, 터치 센서 패널의 2개의 교차하는 도전체/전극들의 경로의 커플링 용량은 노드(node)로서 고려된다. 각각의 노드에서의 상호 정전용량의 변화가 계산될 수 있다. 데이터 이진화를 수행하기 위한, 미리 규정된 임계값이 선택된다. 또한, 동작 301에 나타낸 바와 같이, 터치 감지 디바이스는 현재 노드에서의 상호 정전용량의 변화와 그 상호 정전용량의 미리 규정된 임계값과 비교될 수 있다. 현재의 노드의 상호 정전용량 값이 미리 규정된 임계값보다 큰 경우, 현재의 노드의 상호 정전용량 값은 (동작 303에서) 1로 설정될 수 있다. 현재의 노드의 상호 정전용량 값이 미리 규정된 임계값 미만인 경우, 현재의 노드의 상호 정전용량 값은 (동작 302에서) 0으로 설정될 수 있다.
도 4a는 본 발명의 일 실시예에 따른, 영역 식별 방법을 도시한 흐름도이다. 본 발명에서, 터치 감지 디바이스는 상호 정전용량 터치 데이터 배열을 사용하여, 터치 영역을 식별할 수 있다. 상호 정전용량 터치 데이터 배열은 이진화된 데이터를 사용하여 형성될 수 있다. 터치 영역을 식별하기 위해, 동작 401에서는 다음의 초기 조건들이 주어진다.
“초기 영역 값 = 2
연결된 영역 값 = 0 및
정전용량 터치 데이터 배열의 시작으로 이동”
동작 402에서는, 터치 감지 디바이스는 상호 정전용량 터치 데이터 배열 내의 모든 노드(node, 포인트)들이 체크되었는지 여부를 판단할 수 있다. 노드들은 포인트들로 지칭되기도 한다. 상호 정전용량 터치 데이터 배열 내의 모든 노드들이 체크된 경우, 동작 403에 나타낸 바와 같이, 영역을 식별하는 처리가 종결될 수 있다. 이러한 제어 처리는 도 4b의 흐름도로 이행된다. 상호 정전용량 터치 데이터 배열 내의 모든 노드들이 체크되지 않은 경우, 동작 404에서, 터치 감지 디바이스는 현재의 노드 값이 1인지 여부를 판단할 수 있다. 만약, 노드의 상호 정전용량의 현재 값이 1이 아닌 경우, 동작 410으로 진행할 수 있다. 노드의 상호 정전용량의 현재 값이 1인 경우, 동작 405에서는, 터치 감지 디바이스는 모든 8 방향에서 현재 노드의 주위에 있는 적어도 하나의 값이 1보다 큰지 여부를 판단할 수 있다. 1보다 큰 상호 정전용량 값을 가지는 하나 이상의 노드들이 존재하는 경우, 동작 406에서 터치 감지 디바이스는 그 연결된 영역 값을 현재의 노드 주위로부터 얻어진 가장 큰 노드 값으로 업데이트할 수 있다.동작 마찬가지로, 동작 407에서, 터치 감지 디바이스는 현재의 노드 값 및 현재의 노드 주위에 있는 모든 노드들의 노드 값을, 업데이트된 연결된 영역 값으로 업데이트할 수 있다. 동작 405에서 1보다 큰 상호 정전용량 값을 가지는 주위의 노드들이 존재하지 않는 경우, 동작 408에 나타낸 바와 같이 그 연결된 영역 값이 초기 영역 값으로 업데이트된다. 또한, 그 영역 값이 증분되며, 제어 흐름은 동작 407로 향하게 된다. 연결된 영역 값의 업데이트가 완료된 경우, 동작 410에서는 상호 정전용량 데이터 배열 내의 다음 노드가 선택된다.
도 4b는 본 발명의 일 실시예에 따른, 영역 식별 처리에서 잘못 해석된 영역을 수정하는 방법을 도시한 흐름도이다. 잘못 해석된 영역 값들을 바로잡기 위하여, 현재의 영역의 초기 값은 2로 설정될 수 있다(동작 411). 또한, 동작 412에서는 터치 감지 디바이스는 현재의 영역 값이 최종 영역 값보다 큰지 여부를 판단할 수 있다. 최종 영역 값은 도 4a에서의 동작 408의 연결된 영역 값에 대한 최종 값이다. 현재의 영역 값이 최종 영역 값보다 큰 경우, 동작 413에 나타낸 바와 같이 처리가 종결될 수 있다. 현재의 영역 값이 최종 영역 값보다 작은 경우에는, 동작 414에서, 제어 흐름이 상호 정전용량 데이터 배열의 시작으로 이행된다. 마찬가지로, 동작 415에서는, 터치 감지 디바이스는 상호 정전용량 데이터 배열 내의 모든 노드들이 체크되었는지의 여부를 판단할 수 있다. 상호 정전용량 데이터 배열 내의 모든 노드들이 체크된 경우에는, 동작 416에서, 현재의 영역 값이 증분되고, 동작 412로 회귀될 수 있다. 상호 정전용량 데이터 배열 내의 모든 노드들이 체크되지 않은 경우에는, 동작 418에서, 터치 감지 디바이스는 현재의 노드의 상호 정전용량 값과 현재의 영역 값이 동일한지 여부를 판단할 수 있다. 현재의 노드의 상호 정전용량 값이 현재의 영역과 동일한 경우에는, 동작 419에서 터치 감지 디바이스는 주위의 8방향에서 현재의 노드 주변 값이 0보다 크면서 현재의 영역 값과 동일하지 않은지 여부를 판단할 수 있다. 긍정(yes)인 경우에는, 에러 영역 값은 이전의 처리에서 얻어진 값인 것으로 설정될 수 있다(동작 420). 그 결과, 에러 영역 값과 동일한 상호 정전용량 데이터 배열 내의 모든 노드들은 현재의 영역 값으로서 설정될 수 있다.
만약, 현재 노드의 상호 정전용량 값이 동작 418에서 현재의 영역과 동일하지 않은 경우, 동작 417로 회귀하여, 상호 정전용량 데이터 배열의 다음 지점(point)을 획득할 수 있다. 게다가, 동작 421 이후에도, 동작 417로 회귀할 수 있다.
도 5는 본 발명의 일 실시예에 따른, 형상 인식을 위한 파라미터들의 계산에 대한 개략도를 나타낸 것이다. 터치 영역의 형상을 결정하기 위해 계산되는 각종 파라미터들은, 영역의 면적, 영역의 폭, 영역의 높이, 영역의 우-좌 경사 길이, 영역의 좌-우 경사 길이, 영역 내에 둘러싸인 터치 노드들의 수, 영역의 빗변, 영역의 직각성, 영역의 연신도 및 영역의 평균 각도 중의 하나 이상의 파라미터이다.
최소 경계 사각형을 찾기 위하여, 경계 박스를 계산하는 방법이 이용된다.
경계 박스의 영역 = 경계 박스의 (너비 X 높이).
경계 박스의 둘레 = 경계 박스의 2X(너비+높이).
형상의 중심(x,y) =(Σxi/n, Σyi/n) , 여기서 iε[1,n], n은 검출된 포인트들의 총 개수.
xi: 형상 내부의 포인트들의 x 좌표.
yi: 형상 내부의 포인트들의 y 좌표
형상의 면적 = 형상 내부의 터치된 포인트들의 총 개수.
형상의 둘레 = 형상의 가장자리에 덮인 포인트들의 총 개수
형상의 배향을 식별하기 위하여, 평균 각도 방법이 사용될 수 있다. 본 발명의 일 실시예에 따르면, 형상의 내부에는 각각의 선이 임계값보다 큰, 서로 다른 각도의 직선들이 그려지게 되며, 이어서 모든 각도들의 평균을 찾게 된다.
평균 각도 방법(선의 각도)
형상의 평균 각도 = Σαi/n, 여기서 iε[1,n], n은 검출된 포인트들의 총 개수.
좌측에서 우측까지의 너비를 결정함에 있어서 관련되는 동작들:
동작 1: 경계 박스의 좌측-상단 포인트에 가장 가까운 형상의 포인트를 탐색
동작 2: 경계 박스의 우측-하단 포인트에 가장 가까운 형상의 포인트를 탐색
동작 3: 동작 1 및 동작 2에서 언급한 포인트들을 접합하는 선 상에 놓인 모든 포인트들을 카운트.
우측에서 좌측까지의 너비를 결정함에 있어서 관련되는 동작들:
동작 1: 경계 박스의 우측-상단 포인트에 가장 가까운 형상의 포인트를 탐색.
동작 2: 경계 박스의 좌측-상단 포인트에 가장 가까운 형상의 포인트를 탐색.
동작 3: 동작 1 및 동작 2에서 언급된 포인트들을 접합하는 선 상에 놓인 모든 포인트들을 카운트.
도 6은 본 발명의 일 실시예에 따른, 관절 손가락들을 분리시켜서, 손의 여러 부분들을 식별하는 방법을 도시한 흐름도이다. 본 발명의 일 실시예에서, 동작 601에서 터치 감지 디바이스는 손 식별(fist identification)을 수행할 수 있다. 손을 식별하는 방법에 대해서는 도 7a에 상세히 설명된다. 또한, 동작 602에서 터치 감지 디바이스는 손이 터치 영역 내에 존재하는지 여부를 판단할 수 있다. 손이 터치 영역 내에 존재하는 경우에는, 피스트 카운트(fist count)가 증가되며, 식별된 영역 내의 모든 포인트들이 0으로 리셋될 수 있다. 손이 터치 영역 내에서 식별되지 않는 경우에는, 동작 604에서 터치 감지 디바이스는 손가락 식별(finger identification)을 수행할 수 있다. 손가락을 식별하는 방법에 대해서는 도 8a에서 상세히 설명된다. 손가락이 터치 영역 내에 존재하는 경우에는, 핑거 카운트(finger count)가 증분되며, 터치 영역 내에 존재하는 모든 포인트들이 0으로 리셋될 수 있다(동작 606). 동작 605에서 손가락이 터치 영역 내에 존재하지 않는 경우에는, 동작 607에서 터치 감지 디바이스는 임의의 규정되지 않은 영역이 터치 영역 내에 존재하는지 여부를 판단할 수 있다. 어떠한 규정되지 않은 영역도 터치 영역 내에 존재하지 않는 경우에는, 처리가 종결될 수 있다(동작 608). 적어도 하나의 규정되지 않은 영역이 검출된 경우 동작 609에서, 터치 감지 디바이스는 현재의 규정되지 않은 형상이, 식별되지 않은 미리 규정된 형상들과 상이한 것인지 여부를 판단할 수 있다. 현재의 식별되지 않은 형상이 사전 기록된 형상들과 매칭되지 않는 경우에는, 동작 610에 나타낸 바와 같이, 터치 감지 디바이스는 팜 카운트(palm count)를 증가시키고, 처리를 종결할 수 있다. 현재의 식별된 형상이 사전 기록된 형상들과 매칭는 경우에는, 동작 611에서, 손가락 식별이 수행된다.
도 7a는 본 발명의 일 실시예에 따른, 손 식별 방법을 도시한 흐름도이다. 손을 식별하기 위해, 종횡비, 좌측에서 우측까지의 길이, 및 경계 박스의 둘레와 같은 파라미터들이 사용될 수 있다. 미리 규정된 범위는 각 파라미터들의 세트이다. 본 발명의 예시적 일 실시예에 따라, 동작 701에서는, 종횡비가 계산된다. 손의 형상을 식별하기 위해, 이 종횡비는 일정한 범위 내에 존재할 필요가 있다. 본 발명의 일 실시예에서, 이상적인 종횡비는 대략 3이다. 종횡비가 미리 규정된 비율 내에 포함되는 경우에는, 동작 702에서, 터치 감지 디바이스는 좌측에서 우측까지의 비율 및 우측에서 좌측까지의 비율을 계산할 수 있다. 또한, 동작 702에서는, 터치 감지 디바이스는 좌측에서 우측까지의 길이 및 우측에서 좌측까지의 길이가 미리 규정된 범위(대략적으로, LR>RL인 경우에는 1.3 또는 RL>LR인 경우에는 0.75) 내에 포함되는지 여부를 판단할 수 있다. 이어서, 형상의 둘레 또는 경계 박스의 둘레가 결정된다. 형상의 둘레 또는 경계 박스의 둘레가 손을 위해 정해진 일정한 범위 내에 포함되는 경우에는(대략 0.75), 동작 703에서, 터치 감지 디바이스는 경계 박스의 영역 및 손 형상에 의해 덮인 영역를 계산할 수 있다. 동작 704에서는, 터치 감지 디바이스는 경계 박스의 영역과 손 형상에 의해 덮인 영역의 비율을 계산할 수 있다. 계산된 비율이 미리 규정된 범위 내에 포함되는 경우에는, 동작 705에서 터치 감지 디바이스는 손을 식별할 수 있다. 상기 계산된 파라미터들 중의 어떤 것도 미리 규정된 범위 내에 포함되지 않는 경우에는, 손이 식별되지 않는다. 미리 규정된 범위들은, 가능한 손 측정을 식별하기 위해, 다양한 사람들의 손들에 대해 수행된 연구에 기초하여 설정될 수 있다.
도 7b는 본 발명의 일 실시예에 따른 높이, 너비, 좌측에서 우측까지의 길이 및 우측에서 좌측까지의 길이와 같은 몇몇 파라미터들에 따른 예시적 손 형상을 도시한 것이다.
도 7b를 참조하면, 손의 높이(H), 손의 너비(W), 좌측에서 우측까지의 길이(LR) 및 우측에서 좌측까지의 길이(RL)가 도시된다.
도 8a는 본 발명의 일 실시예에 따른, 손가락 식별 방법을 도시한 흐름도이다. 본 발명의 예시적 일 실시예에서, 손가락을 식별하기 위하여, 손 형상의 우측에서 좌측까지의 대각선 길이, 및 좌측에서 우측까지의 대각선 길이가 계산된다. 동작 801에서는, 터치 감지 디바이스는 좌측에서 우측까지의 대각선 길이 및 우측에서 좌측까지의 대각선 길이의 최대값이 손가락을 위해 정해진 미리 규정된 범위 내에 포함되는지 여부를 판단할 수 있다. 예시적 실시예에서, 미리 규정된 범위는 2.5이다. 좌측에서 우측까지의 대각선 길이 및 우측에서 좌측까지의 대각선 길이의 최대값이 미리 규정된 범위 내에 포함되는 경우, 동작 802에서는, 터치 감지 디바이스는 형상의 둘레 또는 경계 박스의 둘레를 계산할 수 있고, 동작 803에서는, 형상의 둘레 또는 경계 박스의 둘레가 손가락을 위해 정해진 범위 내에 포함되는지 여부를 결정할 수 있다. 본 발명의 예시적 실시예에서, 대략적인 범위는 대략 1로 설정된다. 또한, 동작 804에서는, 터치 감지 디바이스는 경계 박스의 영역과 손가락 영역에 의해 덮인 영역 간의 비율을 계산할 수 있다. 이 비율이 미리 규정된 범위들 사이에 포함되는 경우에는, 동작 805에서 손가락이 식별된다. 본 발명의 일 실시예에서, 경계 박스의 영역과 손가락 영역에 의해 덮인 영역 간의 비율에 대한 미리 규정된 범위는, 대략 0.7 내지 0.9로 설정된다. 파라미터들에 대한 전술한 비율 중의 어떤 것도 대응하는 미리 규정된 비율 내에 포함되지 않는 경우에는, 동작 806에 나타낸 바와 같이, 손가락을 식별하는 것 없이 본 처리가 종결된다.
도 8b는 본 발명의 일 실시예에 따른 손가락의 형상에 대응하는 높이, 너비, 좌측에서 우측까지의 대각선 길이 및 우측에서 좌측까지의 대각선 길이와 같은 각종 파라미터들을 나타낸 것이다.
도 8b를 참조하면, 손가락 형상의 높이(H), 손가락 형상의 너비(W), 손가락 형상의 좌측에서 우측까지의 대각선 길이(LR) 및 손가락 형상의 우측에서 좌측까지의 대각선 길이(RL)를 도시한다.
도 9는 본 발명의 일 실시예에 따른, 손바닥으로부터 손가락을 분리/구별하는 방법의 흐름도를 도시한 것이다. 본 발명의 일 실시예에서, 동작 901에서는, 터치 감지 디바이스는 터치 영역에 대한 경계 박스를 획득할 수 있다. 동작 902에서는, 터치 감지 디바이스는 상부 좌측으로부터 제 1 당면 영역(first encountered region)을 획득할 수 있다. 본 실시예의 관점에서 제 1 당면 영역은 제일 왼쪽의 손가락이 될 수 있다. 또한, 동작 903에서는, 경계 박스의 너비를 따라 상기 당면 영역의 모든 포인트들을 가로지르고서, 그것의 길이를 저장한다. 이어서, 동작 904에서는, 경계 박스의 다음 열(row)이 선택된다. 또한, 동작 905에서는, 현재의 열에서 이전의 당면 영역의 길이를 카운트한다. 이어서, 이전에 저장된 길이와 현재의 영역의 길이 사이의 차분에 대한 절대값이 계산된다. 동작 906에서는, 이 차분이 델타(Delta)로 지칭된다. 동작 907에서는, 터치 감지 디바이스는 델타 값이 미리 규정된 임계값보다 큰 것인지 여부를 판단할 수 있다. 본 발명의 일 실시예에서, 미리 규정된 임계값은 4로 설정된다. 동시에, 현재의 열에서의 당면 영역의 길이는 0으로 설정된다. 델타 값이 미리 규정된 임계값보다 작은 경우에는, 경계 박스의 다음 열을 선택하기 위해, 제어 흐름이 동작 904로 이행된다. 델타 값이 미리 규정된 임계값보다 높은 경우에는, 동작 908에서, 현재의 열 내의 모든 값들이 0으로 리셋되며, 처리가 종결된다.
도 9b는 본 발명의 일 실시예에 따른 손바닥으로부터 손가락을 분리시키는 것에 존재하는 각종 동작들에 대한 개략도이다. 동작 1에서는, 손가락이 손바닥으로부터 분리된다. 마찬가지로, 동작들 2 & 3에서는 터치 영역의 나머지를 위한 경계 박스가 생성되며, 동작 4에서는 각 손가락 및 손바닥을 식별한다.
도 10은 본 발명의 일 실시예에 따른, 형상들을 저장하는 방법을 도시한 흐름도이다. 참고를 위한 하나 이상의 형상들을 터치 감지 디바이스에 기록하기 위해, 사용자는 형상을 기록할 옵션을 선택할 필요가 있다. 본 발명의 일 실시예에 따르면, 동작 1001에서는, 손 형상을 사용하여 제스처를 기록하는 입력을 제공하기 위해 터치 감지 디바이스 내에 블랭크 영역(blank area)가 제공된다. 사용자는 터치 입력을 제공하는 동안에 손 형상에 존재하는 미미한 편차들을 기록하기 위해 동일한 제스처를 복수 횟수 반복할 필요가 있다. 각각의 터치 입력 프레임들은 터치 감지 디바이스 메모리 내에 저장된다. 연속적인 미리 규정된 개수의 프레임들을 위한 데이터가 유사한 경우에는(동작 1002), 동작 1003에서, 터치 감지 디바이스는 데이터의 상호 정전용량을 처리할 수 있다. 또한, 그 형상을 위한 파라미터들이 계산된다. 만약, 동작 1002에서 연속적인 미리 규정된 개수의 프레임들이 유사하지 않은 경우, 동작 1001로 회귀할 수 있다. 손 형상이 승인되어 파라미터들이 계산되고 나면, 그 파라미터들 및 대응 형상들은 터치 감지 디바이스 내에 저장될 수 있다.
도 11은 본 발명의 일 실시예에 따른, 계산된 파라미터 및 기록된 파라미터들을 사용하는 형상 매칭 방법을 도시하는 흐름도이다. 형상 매칭을 수행하기 위해, 동작 1101에서는, 터치 감지 디바이스는 검출된 영역의 수가 기록된 영역의 수와 동일한지 여부를 판단할 수 있다. 검출된 영역의 수가 기록된 영역의 수와 동일한 경우에는, 다음의 절대값들이 계산되어, 미리 규정된 비율(Ω)과 비교된다.
ABS(W/LR-RECORDED(W/LR))<Ω
ABS(H/LR-RECORDED(H/LR))<Ω
ABS(W/RL-RECORDED(W/RL))<Ω
ABS(H/RL-RECORDED(H/RL))<Ω
여기서,
W 는 형상의 너비이고,
H는 형상의 높이이고,
LR는 형상의 좌측에서 우측까지의 길이이며,
RL은 형상의 우측에서 좌측까지의 길이이다.
본 발명의 예시적 일 실시예에 따라, 미리 규정된 값(Ω)의 근사값은 0.25 내에 포함된다. 전술한 적어도 3개의 조건들을 위한 Ω의 값이 0.25의 범위 내에 존재하는 경우에는, 추가의 비교들이 수행되어 기록된 형상들로부터의 매칭을 결정한다. 동작 1103에서는, 터치 형상의 둘레 값과 기록된 둘레 사이의 차분이 계산될 수 있다. 또한, 계산된 차분의 절대값은, 대응 형상의 미리 규정된 값과 비교될 수 있다. 본 발명의 일 실시예에서, 미리 규정된 값은 대략 10이다. 계산된 값이 미리 규정된 값보다 작은 경우에는, 동작 1104에서, 터치 감지 디바이스는 기록된 각도와 현재의 각도 간의 차분을 계산할 수 있다. 이어서, 차분의 절대값이 미리 규정된 각도와 비교될 수 있다. 본 발명의 일 실시예에 따르면, 미리 규정된 각도는 대략 20도이다. 동작 1104에서, 결정된 차분이 사전 규정된 각도보다 작은 경우에는, 중심 갭(centroid gap)이 터치 형상을 매칭하기 위한 다른 파라미터인 것으로 간주될 수 있다. 동작 1105에서는, 터치 감지 디바이스는 터치 형상 내의 중심 갭과 기록된 중심 갭 사이의 차분을 계산할 수 있다. 이어서, 계산된 차분이 사전 규정된 값과 비교될 수 있다. 중심 갭에서의 차분이 미리 규정된 값보다 작은 경우, 동작 1106에서, 터치 감지 디바이스는 매칭된 형상을 얻을 수 있다. 동작 1101,1102,1103,1104 및 1105에서 설명한 비교 중의 어느 것도 실패한 경우에는, 이 형상은 기록된 형상들 중의 어느 것과도 매칭되지 않는 것이 될 수 있다.
도 12a는 본 발명의 일 실시예에 따른, 한 손가락 형상 식별을 이용하여 카메라를 실행시키는 것에 대한 개략도이다. 본 도면은 형상 기반 터치 동작 실행에 대한 이용 케이스를 예시한 것이다. 본 발명의 본 실시예에 따르면, 터치 스크린 디바이스의 디스플레이 패널이 스크린 오프 상태에 있는 경우에도, 스크린 상의 소정 배향에 있는 하나의 손가락이 검출되는 경우, 카메라가 실행될 수 있다. 터치 스크린 디바이스는 비모델 기반 접근방식을 이용하여 손/손가락 형상들을 식별해 냄으로써, 스크린 오프 상태에서의 터치 형상들을 인식할 수 있다. 본 도면은, 제스처를 실행하고 나서 3초 이후에, 카메라가 실행되는 것을 예시하고 있다.
도 12b는 본 발명의 일 실시예에 따른, 한 손가락 형상 식별을 이용하여 카메라를 실행하는 방법을 도시한 흐름도이다. 동작 1201에서, 터치 감지 디바이스는 한 손가락을 식별할 수 있다. 또한, 동작 1202에서, 터치 감지 디바이스는 레프트 하프(left half)와 바텀 하프(bottom half)의 중심을 체크할 수 있다. 이어서, 배향은, 270도(랜드스케이프 모드(landscape mode))에 대응하는 3으로 규정된다. 이어서, 동작 1204에서, 터치 감지 디바이스는 손가락의 좌측에서 우측까지의 대각선이, 손가락의 우측에서 좌측까지의 대각선보다 큰지 여부를 판단할 수 있다. 좌측에서 우측까지의 대각선이 우측에서 좌측까지의 대각선보다 큰 경우에는, 평균각법(average angle method)이 실행되어서, 그 형상의 배향을 식별해 낼 수 있다. 동작 1205에서, 평균 각도가 결정되어서, 터치 감지 디바이스는 30도 및 0도와 비교할 수 있다. 평균 각도가 30도와 0도 사이에 존재하는 경우, 터치 감지 디바이스는 손가락의 중심이 손가락 폭의 1/3보다 작은지 여부를 판단할 수 있다. 상기 조건이 만족되는 경우, 동작 1207에서, 터치 감지 디바이스는 카메라에 대응하는 형상을 식별하고, 카메라를 실행할 수 있다.
본 발명의 다른 실시예에서는, 동작 1208에서, 터치 감지 디바이스는 손가락의 중심, 손가락의 라이트 하프(right half) 및 바텀 하프가 체크되어서 형상을 식별해 낼 수 있다. 이러한 케이스들에서, 배향은, 동작 1209에 나타낸 바와 같이 90도(포트레이트 모드(portrait mode))에 대응하는 1로 규정된다. 또한, 동작 1210에서는, 터치 감지 디바이스는 우측에서 좌측까지의 대각선이 좌측에서 우측까지의 대각선보다 큰지 여부를 판단할 수 있다. 우측에서 좌측까지의 대각선이 좌측에서 우측까지의 대각선보다 큰 경우에는, 평균각법이 적용되어서 그 형상을 규정한다. 동작 1211에서, 터치 감지 디바이스는 평균 각도를 결정하고, 30도 및 0도와 비교할 수 있다. 평균 각도가 30도와 0도 사이에 존재하는 경우에는, 동작 1202에서 다음의 조건이 결정된다.
중심 > 2* 폭/3
상기 조건이 만족되는 경우, 동작 1207에서, 터치 감지 디바이스는 카메라에 대응하는 형상을 식별하고, 카메라를 실행할 수 있다.
본 제 1 및 제 2 실시예에서 설명된 조건들 중의 적어도 하나가 만족되는 경우에는, 동작 1213에 나타낸 바와 같이, 사용자가 손가락을 들어 올릴 때까지 터치 감지 디바이스는 대기하게 된다.
도 13은 본 발명의 일 실시예에 따른, 두 손가락 형상 식별을 이용하여 카메라를 실행하는 것에 대한 개략도이다. 사용자가 터치 감지 디바이스의 스크린 위의 특정 방향에 두 손가락을 놓을 때, 카메라 실행이 수행된다.
도 14는 본 발명의 다른 실시예에 따른, 터치 감지 디바이스에서의 터치 동작 수행 방법을 도시한 흐름도이다. 동작 1401에서, 터치 감지 디바이스는 사용자에 의해 터치 감지 디바이스가 터치되었는지 여부를 판단할 수 있다. 또한, 동작 1402에서, 터치 감지 디바이스는 상기 터치의 유효성을 검출할 수 있다. 본 발명의 일 실시예에서, TSP IC는 상호 정전용량 데이터 또는 터치 좌표를 제공할 수 있다. 터치 좌표 데이터는 처리된 데이터이다. 터치 데이터의 유효성은, 상호 정전용량 데이터 및 터치 좌표 데이터에 있어서 상이하다. 상호 정전용량 데이터는 2D 배열 입력 데이터이다. 이 배열의 각각의 셀은, 터치 스크린 패널에서의 2개의 교차하는 도전체/전극 경로들의 상호 정전용량 값 또는 커플링 용량을 나타낸다. 입력 데이터의 승인에 포함된 제 1 동작은, 사전 결정된 임계값에 대한 입력 배열의 이진화이다. 이러한 이진화된 데이터는 터치 영역을 식별하는데 사용될 수 있다. 또한, 터치 영역은 클러스터(cluster)로도 지칭된다. 상호 정전용량 데이터는, 그것이 하나의 터치 포인트를 나타내는 하나의 영역을 포함하는 경우, 유효한 것으로 간주된다. 입력 데이터가 터치 좌표 데이터인 경우에는, 수신된 데이터는 모든 터치 위치들 또는 포인터들을 위한 파라미터들의 세트이다. 파라미터들의 세트는, 포인터의 2(또는 3) 차원 위치 파라미터들 및 포인터의 면적, 스크린의 경계들에 관한 포인터의 길이와 너비와 같은 다른 파라미터들을 포함할 수 있다. 터치 영역들의 수는 파라미터들을 사용하여 결정될 수 있다. 터치 좌표 데이터는, 그것이 하나의 터치 포인트를 나타내는 하나의 클러스터/영역을 포함하는 경우, 유효한 것으로 간주된다. 만약, 동작 1402에서 상기 터치의 유효성이 검출되지 않은 경우, 터치 감지 디바이스는 동작 1403에서 미리 규정된 개수의 프레임들을 기다리고, 상기 미리 규정된 개수의 프레임들을 기다린 후에, 동작 1401로 회귀할 수 있다.
동작 1404에서는, 터치 감지 디바이스는 유효한 입력 데이터를 저장할 수 있다. 다른 계산 동작들에서의 사용을 위한 입력 데이터를 저장하기 위해서, 추가의 계산 동작들이 포함될 수도 있다. 입력 데이터가 상호 정전용량 데이터인 경우에는, 식별된 영역은 인접 노드 값들의 세트이다. 이러한 노드 값들은 포인트들의 각종 좌표 값들의 평균과 같은 통계 파라미터를 계산함으로써 포인트로 변환될 수 있다. 또한, 선택적으로는, 적절한 인자를 곱하는 것에 의해 노드 값들을 터치 좌표 값으로 변환한다. 적절한 인자는 터치 감지 디바이스에 존재하는 전극들의 수 및 해상도에 기초한 스케일링 인자(scaling factor)이다. 입력 데이터가 터치 좌표 데이터인 경우에는, 어떠한 추가 계산도 필요하지 않을 수 있다. 입력 데이터로부터 획득된 필수 파라미터들은, 터치 감지 디바이스 내에 저장될 수 있다.
동작 1405에서는, 터치 감지 디바이스는 제스처가 완료되었는지 또는 아직 진행중인지, 즉 사용자가 아직도 제스처를 행하고 있는지 여부를 판단할 수 있다. 제스처가 완료되었는지의 여부를 체크하는 어써션(assertion)이, 입력 데이터 타입들 모두, 즉 상호 정전용량 데이터 및 터치 좌표 데이터를 위해 수신된 엠프티 프레임들(터치되지 않은 프레임들)의 수에 기초하여 행해질 수 있다. 엠프티 프레임들의 수에 대한 임계값은, 제스처 종료를 확인하기 위해 대기되는 임계 시간이다. 제스처 종료의 검출은 복수의 스트로크(stroke)들을 가진 제스처들에 있어서 중요하다. 복수-스트로크 제스처들이 터치 감지 디바이스에 의해 지원되지 않는 경우에는, 제스처의 종료 검출은 잘못된 엠프티 데이터 프레임들을 처리하도록 준비된다.
상호 정전용량 데이터에 있어서, 연속 엠프티 프레임들의 수가 임계 수를 초과하는 경우에는, 제스처가 종료될 수 있다. 어떤 넌-엠프티 프레임(터치 프레임)이 중간에 수신되는 경우에는, 이 알고리즘이 정상 동작을 재개하고, 복수-스트로크 지원 알고리즘들을 위해 정상적으로 계속된다. 단일의 스트로크 알고리즘들의 경우, 이 임계값은 매우 낮게 설정됨으로써 오직 잘못된 엠프티 프레임들을 보상하기만 한다. 터치 좌표 데이터에 있어서, 제스처가 완료되었는지의 체크는 포인터 업(pointer up) 이벤트에 의해 트리거된다. 넌-엠프티 프레임에 대한 체크는 포인터 이동 또는 다운 이벤트의 발생이다. 만약 동작 1405에서 상기 제스처가 완료되지 않은 경우 터치 감지 디바이스는 동작 1402로 회귀할 수 있다.
동작 1405이후에, 동작 1406에서 터치 감지 디바이스는 상호 정전용량 또는 터치 좌표 데이터를 사용하여 파라미터들을 계산할 수 있다. 본 발명의 일 실시예에서는, 파라미터들을 계산하기 위해 존재하는 2개의 접근방식(approach)이 있다. 제 1 방식은 제스처가 선형인 것으로 가정하고, 선형이 아닌 경우에는 제스처를 선형화하는 에지들의 방향에 기초하는 것이다. 제 2 방식은 수행된 제스처와 모든 기록된 제스처 간의 코사인 거리(cosine distance)에 기초하는 것이다. 모든 이러한 계산들은 IC 또는 응용 프로세서에서 수행될 수 있다. 본 발명의 일 실시예에 따른 파라미터들의 계산에 대해서는 도 15, 도 16a 및 도 17a에 상세히 설명된다. 또한, 동작 1407에서, 터치 감지 디바이스는 계산된 파라미터들이 유효한지 여부를 판단할 수 있다. 만약, 동작 1407에서 계산된 파라미터들이 유효하지 않은 경우 터치 감지 디바이스는 동작 1403으로 회귀할 수 있다. 동작 1407에서 상기 계산된 파라미터들이 유효한 것으로 결정된 경우 이어서, 동작 1408에서는, 대응하는 매칭이 하나 이상의 등록된 또는 미리 규정된 매칭들로부터 탐색될 수 있다. 하나 이상의 등록된 제스처로부터 대응 매칭을 탐색하는 것에 포함된 방법 동작들에 대해서는 도 19에서 상세히 설명된다. 동작 1409에서는, 대응하는 터치 동작이 터치 감지 디바이스 내에서 인에이블될 수 있다.
도 15은 본 발명의 일 실시예에 따른, 사용자에 의해 수행된 제스처를 선형화하고 파라미터들을 계산하는 방법을 도시한 흐름도이다. 본 발명의 예시적 실시예에서, 제스처가 선형화되어 엔드포인트들을 획득할 수 있다. 이 엔드포인트들은 에지들을 형성하며, 이 에지들의 방향 인덱스들은 사용자에 의해 수행된 제스처들과 하나 이상의 등록된 제스처를 비교 및 매칭하는데 사용되는 파라미터들일 수 있다.
사용자에 의해 제공되는 터치 입력의 처음 2개의 포인트는, 제 1 에지인 것으로 간주된다. 이어서, 동작 1501에서는, 다음 포인트가 입력으로서 주어질 수 있다. 다음 포인트가 체크되어, 다음 포인트가 제 1 에지와 동일선상에 있는지의 여부가 탐색된다. 또한, 동작 1502에서, 터치 감지 디바이스는 이미 처리된 포인트들의 수가 0인지 여부를 판단할 수 있다. 처리된 포인트들의 수가 0인 경우에는, 다음 포인트가 제 1 포인트로서 취해지며, 에지는 다음 포인트로부터 시작된다. 처리된 포인트들의 수가 0이 아닌 경우, 동작 1504에서, 터치 감지 디바이스는 이전에 처리된 포인트들이 동일선상에 있는지 여부를 판단할 수 있다. 동작 1504에서 다음 포인트가 동일선상에 있는 경우에는, 현재의 에지와 결합되며, 새로운 엔드포인트들은 초기 엔드포인트들 중의 하나와 새로운 포인트가 된다. 만일 동작 1504에서 동일선상에 있지 않은 경우에는, 동작 1505에서 이전의 포인트를 업데이트 하기 위해서, 현재의 에지 중의 가장 최근의 엔드포인트와 새로운 포인트가 새로운 현재의 에지의 엔드포인트들인 것으로 간주된다. 만약, 동작 1504에서 다음 포인트가 동일선상에 있는 경우 동작 1506에서는, 현재의 포인트에 의해 형성된 이전의 2개의 에지와 이전의 2개의 정점(vertex)들 간의 각도가 계산된다. 다음으로, 동작 1504에서 계산된 각도가 동작 1507에서의 임계값보다 작다는 것이 계산될 수 있다. 계산된 각도가 미리 규정된 임계값보다 작은 경우에는, 에지의 길이가 결정되고, 임계값과 비교될 수 있다(동작 1509). 미리 규정된 임계값은 방향 계산을 위해 선택한 방향 접근방식의 수에 기초하여 설정될 수 있다. 예를 들어, 4 방향 또는 8 방향 접근방식이 사용되어 방향을 계산한다. 각도가 미리 규정된 임계값보다 큰 경우에는(동작 1507), 동작 1508에서 이전의 포인트가 현재의 포인트로 대체된다. 만약 길이가 동작 1509에서 결정된 것으로서, 미리 결정된 임계값보다 작은 경우, 동작 1508에서 이전의 포인트는 현재의 포인트로 대체될 수 있다. 동작 1510에 나타낸 바와 같이, 그것의 길이가 소정의 미리 규정된 임계값보다 작은 경우에는 이전의 에지가 폐기되고, 그 2개의 에지는 병합되며, 최종 에지는 이전의 에지 중의 제 1 포인트 및 현재의 에지 중의 가장 최근의 포인트를 새로운 현재의 에지로서 갖는다. 동작 1511에서는, 처리될 포인트들이 결정된다. 처리될 포인트들이 존재하는 경우에는, 동작 1501로 회귀하는 것에 의해 모든 나머지 포인트들에 대한 방향이 계산된다. 만약, 더 이상 처리될 포인트들이 존재하지 않는 경우 이어서, 동작 1512에서 이 방향이 계산된다. 게다가, 동작 1503, 1505, 1508 이후에, 동작 1501로 회귀할 수 있다.
도 16a 및 도 16b는 본 발명의 일 실시예에 따른, 방향 계산에 대한 개략도이다. 도 15에서 설명된 방법을 사용하여 전체 제스처를 선형화한 이후에는, 각각의 에지에 대한 방향들이 계산된다. 도 16a는 4 방향, 8 방향에서부터 360 방향까지 달라지는 각종 범위들 내에서 에지들의 방향이 계산되는 것을 도시하고 있다. 이러한 방향들은, 초기 포인트로부터 시작되는 각각의 에지의 연속 엔드포인트들을 고려하여 획득된 벡터들에 기초하여 계산될 수 있다. 본 도면들은 8 방향에 있어서 에지에 할당된 다양한 방향 값들의 경계를 도시하고 있다. 모든 영역들이 반드시 동일한 크기를 가질 필요는 없다. 각각의 방향에 따른 영역은, 해당 방향에 대응하는 존(zone)으로서 간주된다. 예를 들어, 존 1 내의 어떤 에지에 할당된 방향은 0개이고, 존 2는 4개이다. 도 16b는 방향들 4 및 7을 갖는 2개의 에지에 의한 예시적 제스처를 도시한 것이다. 본 예시적 제스처는 2개의 에지를 포함한다. 이 에지의 경사(inclination)에 기초하여, 2개 에지들 각각에 대한 방향들은 1 및 7로서 계산되었다.
도 17a는 본 발명의 다른 실시예에 따른, 하나 이상의 파라미터들의 계산 방법을 도시한 흐름도이다. 제스처 좌표들은 TSP IC에서 수집된다. 제스처의 좌표들을 수집하는 동안에, 스트로크 길이들을 계산 및 저장하는 것과 같은 2개의 스트로크 사이의 인터벌에서 추가 동작들이 수행될 수도 있다. 사용자가 스크린을 터치하는 경우에는, 동작 1701에 도시된 바와 같이, 터치 감지 디바이스가 상기 사용자가 제스처를 했는지 안했는지 검출할 수 있다. 또한, 동작 1702에서, 터치 감지 디바이스는 사용자가 제스처를 제공하기 위해 스크린 상에서 손가락을 움직였는지 여부를 판단할 수 있다. 사용자가 제스처를 행하기 위해 손가락을 움직인 경우에는, 현재의 좌표들이 제스처의 시작인지의 여부가 결정된다(동작 1703). 현재의 좌표들이 제스처의 시작인 경우에는, 동작 1707에 나타낸 바와 같이, 현재의 좌표들이 좌표들의 배열에 부가될 수 있고, 동작 1702로 회귀할 수 있다. 본 발명의 일 실시예에서는, 제스처의 완료를 반복적으로 결정한다. 현재의 좌표들이 제스처의 시작이 아닌 경우에는, 현재의 좌표들과 마지막 좌표들 간의 거리가 계산된다. 또한, 동작 1708에서, 터치 감지 디바이스는 현재의 좌표들과 마지막 좌표들 간의 거리가 계산되고, 그것이 미리 규정된 임계값 이상인지의 여부를 판단할 수 있다. 미리 규정된 임계값 거리는 샘플링 레이트(sampling rate)에 기초하여 설정될 수 있다. 현재의 좌표들과 마지막 좌표들 간의 거리가 계산되고, 그것이 미리 규정된 임계값 거리 이상인 경우에는, 현재의 포인트들의 좌표들이 좌표 배열에 부가된다. 현재의 좌표들과 마지막 좌표들 간의 거리가 계산되고, 그것이 미리 규정된 임계값보다 작은 경우에는, 제어 흐름이 동작 1702로 이행된다.
동작 1702에서 사용자가 손가락을 들어올린 경우(사용자가 더 이상 스크린 상에서 그들의 손가락을 움직이지 않는 경우)에는, 스트로크 길이가 계산되어 터치 감지 디바이스에 저장될 수 있다(1704). 이어서, 동작 1705에서 시간 제한을 위한 체크들이 수행된다. 제스처는 복수의 스트로크들을 포함할 수 있다. 따라서, 엠프티 데이터 프레임이 반드시 제스처의 종료를 나타내는 것은 아니다. 따라서, 시간 제한은 제스처의 하나 이상의 스트로크들 간의 시간 인터벌이 될 수 있다. 만약, 동작 1705에서 시간 제한이 만료되지 않은 경우 이어서, 동작 1706에서, 터치 감지 디바이스는 사용자가 새로운 스트로크를 행했는지 여부를 판단할 수 있다. 사용자가 제스처에 대응하는 새로운 스트로크를 행한 경우에는, 새로운 스트로크의 좌표가 좌표들의 배열에 부가된다. 동작 1706에서 사용자가 새로운 스트로크를 행하지 않은 경우, 동작 1705로 회귀할 수 있다. 그리고 동작 1705에서 시간 제한이 만료된 경우 동작 1709에 나타낸 바와 같이, 좌표들을 수집하는 처리가 중단되며, 수집된 좌표들의 처리가 시작된다.
도 17b는 본 발명의 다른 실시예에 따른, 도 16b에서 설명된 방법을 사용하여 수집된 하나 이상의 좌표를 처리하는 방법을 도시한 흐름도이다. 수집된 좌표들은 TSP IC에서 처리된다. 입력 데이터를 파라미터들로 변환하기 위해 필요한 계산이 IC 자체에서 행해지며, 또는 부분적으로는 다른 프로세서에서 행해지게 된다.
사용자가 제스처를 완료하고 좌표들이 수집되고 나면(동작 1710), 동작 1711에서 수집된 좌표들이 샘플링된다. 동작 1712에서는, 샘플링된 좌표들의 중심이 계산될 수 있다. 터치 감지 디바이스 상에서 수행되는 제스처는, 터치 감지 디바이스의 배향에 따라 달라질 수 있다. 따라서, 동작 1713에서, 터치 감지 디바이스는 제스처가 배향 불변량에 매칭되는지 여부를 판단할 수 있다. 제스처가 배향 불변량에 매칭되는 경우에는, 동작 1714에서, 샘플링된 좌표들의 배향이 계산된다. 또한, 동작 1715에서는, 중심을 원점으로 유지하는 것에 의해 샘플링된 좌표들이 변환된다. 또한, 동작 1716에서는, 변환된 좌표들이 계산된 배향 각도만큼 원점을 중심으로 회전된다.
제스처가 배향 불변량과 매칭되지 않는 경우에는, 동작 1717에 나타낸 바와 같이, 샘플링된 좌표들이 중심을 원점으로 유지하는 것에 의해 변환되기만 한다. 또한, 동작 1718에서는, 처리된 좌표들이 저장을 위해 응용 프로세서로 전송된다.
도 17c는 본 발명의 일 실시예에 따른, 사용자에 의해 수행된 제스처를 등록된 제스처와 매칭하는 방법을 도시한 흐름도이다. 본 발명의 일 실시예에서, 등록된 제스처와 사용자 수행된 제스처는, 그들 간의 코사인 거리에 기초하여 비교된다. 동작 1721에서는, 처리된 좌표들이 제스처 매칭을 위해서 사용될 수 있다. 동작 1722에서는, 처리된 좌표들이 정규화되어서, 사용자에 의해 지정된 등록 또는 사전 규정 제스처들에 대한 매칭을 위해 사용될 수 있다. 수행 및 각 기록된 또는 사전 규정된 제스처 간에 계산된 코사인 거리에 기초하여, 스코어들이 생성될 수 있다. 동작 1723에서는, 상기 스코어를 생성하기 위해서, 수행된 제스처의 스트로크들의 수가, 매칭되는 제스처들의 스트로크들의 수와 비교된다. 여기서 상기 스코어는 만약 1723에서 스트로크가 없는 경우 생성되지 않는다. 만약 1723에서 스코어가 생성된다면, 수행된 제스처에 대해 획득된 최상의 스코어가, 그 제스처의 기록된 인스턴스들에 기초하여 결정되는 미리 규정된 최소 예상값과 비교되고, 상기 최상의 스코어가 동작 1724에서 미리 규정된 최소 예상값보다 큰지, 동일한지 결정된다. 만약, 상기 최상의 스코어가 상기 미리 규정된 최소 예상값보다 크거나 동일한 경우 수행된 제스처의 터치 포인트들 및 스트로크들의 순서가, 최상의 스코어를 가진 제스처의 터치 포인트들 및 스트로커들의 순서와 비교된다. 여기서, 비교는 동작 1725에서 상기 제스처가 도트를 포함하는지, 상기 도트가 정확한 순서로 행해진 건인지를 결정한다. 만약, 동작 1725에서 제스처가 도트를 포함하고, 상기 도트가 정확한 순서로 행해진 경우 동작 1726에서는, 수행된 제스처의 최소 경계 박스의 둘레와 그 길이에 대한 비율이, 최상의 스코어를 가진 제스처들의 최소 경계 박스의 둘레와 그 길이에 대한 비율과 비교된다. 그리고 동작 1726에서 상기 수행된 제스처의 비율과 최상의 스코어를 가진 제스처의 비율 간의 차이를 결정할 수 있다. 만약, 상기 수행된 제스처의 비율과 상기 최상의 스코어를 가진 제스처의 비율이 한계값 이내인 경우, 동작 1727에서 매칭이 탐색될 수 있다. 상기의 비교 중의 어떠한 것도 실패한 경우에는, 사용자 수행된 제스처에 대한 매칭이 탐색되지 않으며, 흐름은 사용자 수행된 제스처를 위한 동작 1728로 진행된다. 그렇지 않은 경우에는, 수행된 제스처에 대한 매칭이 탐색되며, 대응하는 터치 동작이 터치 감지 디바이스에서 인에이블될 수 있다.
도 18a는 본 발명의 일 실시예에 따른, 사용자에 의해 수행된 제스처를 결정하기 위한 압력 정점 및 방향 정점의 계산 방법을 도시한 흐름도이다. 본 접근방식에서는, 터치 데이터와 함께 압력 데이터가 사용됨으로써 제스처를 특징화한다. 마찬가지로, 제스처의 각 정점에서 압력이 가해졌다가 해제되는 횟수에 기초하여, 스크린 상에서 수행되는 형상들이 상이한 제스처들인 것으로 간주된다.
동작 1801에서는, 터치 데이터 및 압력 데이터가 TSP IC로부터 추출된다. 추출된 터치 데이터에 기초하여, 동작 1802에서는, 제스처가 선형화되며 그 제스처를 형성하는 각 에지에 대한 방향들이 계산될 수 있다. 이어서, 동작 1803에서, 터치 감지 디바이스는 압력 포인트의 위치 및 해당 위치에서 압력이 적용된 횟수를 저장할 수 있다. 이어서, 동작 1804에서는, 미리 규정된 압력 피크 임계값에 기초하여, 상기 저장된 압력 포인트들이 유효화된다. 사용자가 터치 감지 디바이스의 스크린으로부터 손가락을 들어올린 경우에는, 방향 정점이 계산되며(동작 1806) 또한 동작 1807에서는, 방향 정점 및 압력 정점이 계산되어 사용자 수행된 제스처를 등록된 제스처들과 매칭할 수 있다. 사용자의 손가락이 터치 감지 디바이스의 스크린으로부터 들어 올려지지 않은 경우에는, 다음 좌표들에 대한 압력 및 터치 데이터를 반복 체크하기 위해서, 제어 흐름은 동작 1801로 이행된다.
도 18b는 본 발명의 일 실시예에 따른, 사용자에 의해 수행된 제스처를 등록된 제스처와 매칭하는 방법을 도시한 흐름도이다. 본 발명의 일 실시예에서, 등록된 제스처 및 사용자 수행된 제스처가 터치 데이터의 방향 및 압력 카운트의 관점에서 비교된다. 동작 1808에서는, 터치 데이터의 방향의 수가, 등록된 제스처 내에 존재하는 방향의 수와 비교된다. 터치 데이터의 방향의 수가 등록된 제스처에 존재하는 방향의 수와 동일한 경우에는, 동작 1809에서, 상기 터치 데이터와 상기 등록된 제스처가 비교된다. 사용자 수행된 제스처의 방향 값들이 등록된 제스처의 방향 값들과 동일한 경우에는, 동작 1810에서, 압력 카운트가 비교된다. 사용자 수행된 제스처의 압력이 등록된 제스처와 동일한 경우에는, 매칭이 성공된다(동작 1811). 상기 비교 중의 어느 것도 실패한 경우에는, 사용자 수행된 제스처에 대한 매칭이 사용자 수행된 제스처를 위해서 탐색되지 않는다.
도 19은 본 발명의 일 실시예에 따른, 터치 감지 디바이스를 이용하여 하나 이상의 제스처를 등록하는 방법을 도시한 흐름도이다. 본 발명의 일 실시예에서, 미리 규정된 트레일 제스처 패턴(trails gesture pattern)들의 세트가 새로운 제스처를 생성하기 위한 기준으로서 제공된다. 터치 감지 디바이스를 이용하여 하나 이상의 제스처를 등록하기 위해, 동작 1901에서는, TSP IC로부터의 사용자에 의한 터치 입력의 상호 정전용량 데이터 및 터치 좌표 데이터가 처리되어 응용 프로세서로 전송될 수 있다. 또한, 터치 감지 디바이스는 동일한 제스처를 복수 회 입력하기 위한 옵션을 사용자에게 제공함으로써, 각각의 시간에서 수행되는 제스처 내의 미세 변화들을 검출할 수 있도록 한다. 평균 점수는 각각의 시간에서 제스처를 수행하는 동안에 생성된 모든 스코어들을 평균화하여 계산될 수 있다. 스코어들은 제스처를 저장 또는 미리 규정된 제스처들과 매칭함으로써 생성될 수 있다. 동작 1903에서, 터치 감지 디바이스는 현재의 제스처가 이미 기록된 제스처와 매칭되었는지 또는 현재의 제스처가 같은 제스처에 대한 이전의 트레일들과 상이한 것인지 여부를 판단할 수 있다. 상기 조건들 중의 어느 것이 만족된 경우에는, 사용자 수행된 제스처가 폐기될 수 있다(동작 1904). 사용자 수행된 제스처가 동작 1903에서 언급된 조건들 중의 어느 것에도 포함되지 않는 경우에는, 동작 1905에 나타낸 바와 같이, 제스처에 ID 및 명칭이 할당된다. 또한, 이것은 ID, 명칭, 처리 좌표들의 목록, 평균 최소 스코어와 함께, 데이터베이스 또는 파일과 같은 영구 저장소에 저장된다.
도 20a는 본 발명의 일 실시예에 따른 한 손가락 제스처 식별을 이용하는 카메라의 실행에 대한 개략도이다. 본 도면은 제스처 기반 터치 동작의 이용 케이스를 예시한 것이다. 본 발명의 일 실시예에 따르면, 터치 스크린 디바이스의 디스플레이 패널이 스크린 오프 상태에 있는 경우라도, 소정 배향에 있는 한 손가락 제스처가 스크린 상에서 검출되는 경우에는, 카메라가 실행될 수 있다. 터치 스크린 디바이스는 비모델 기반 접근방식을 이용하여 소정 배향에 있는 손/손가락 형상들을 식별해 냄으로써, 스크린 오프 상태에서 터치 제스처들을 인식한다. 본 도면은 제스처가 실행되고 나서 N초 후에, 카메라가 실행되는 것을 예시한 것이다.
도 20b는 본 발명의 일 실시예에 따른 두 손가락 제스처 식별을 이용하여 카메라를 실행시키는 것에 대한 개략도이다. 사용자가 터치 감지 디바이스의 스크린 상에서 소정 배향으로 두 손가락을 스와이프하는 경우, 카메라 실행이 행해지게 된다.
도 21은 본 발명의 일 실시예에 따른 두 손가락 제스처 식별을 이용하여 카메라를 실행시키는 방법을 도시한 흐름도이다. 터치 스크린은 스크린 오프 상태에서 형상을 식별해 낸다. 본 이용 케이스에서는, 두 손가락을 이용하여 카메라가 실행될 수 있다. 형상은 중심을 이용하여 결정될 수 있다. 동작 2101에서는, 카메라 형상이 식별되는 경우, 터치 감지 디바이스는 제 1 손가락의 중심 C1을 저장할 수 있다. 또한, 동작 2102에서는, 제 2 손가락 형상의 중심이 추적되어 업데이트될 수 있다. 이어서, 제 1 손가락의 중심(C1)과 제 2 손가락의 중심(C2)의 차분이 계산된다. 동작 2103에 나타낸 바와 같이, 계산된 차분이 홀딩을 위한 시간 카운터에서의 3 전극 증가보다 큰 경우에는, 동작 2104에서, 제 2 손가락의 중심이 그 각도와 비교될 수 있다.
동작 2104에서, 터치 감지 디바이스는 C2 > 폭/2이며, 마지막 각도 > 60인지 여부를 판단할 수 있다. 만약, 상기 C2 > 폭/2이며, 마지막 각도 > 60이 아닌 경우, 동작 2102로 회귀할 수 있다. 그리고 만약, 상기 C2 > 폭/2이며, 마지막 각도 > 60인 경우, 동작 2105로 진행할 수 있다.
또한, 동작 2105에서, 터치 감지 디바이스는 홀딩을 위한 카운터가 미리 규정된 수(예, 10)보다 큰지 여부를 판단할 수 있다. 이 미리 규정된 수는 샘플링 주파수에 기초하여 설정될 수 있다. 상기 조건을 만족하지 못하는 경우에는, 동작 2106에서, 어떠한 형상도 식별되지 않았음을 선언하게 되며, 카메라 그립(camera grip) 검출이 다시 시작된다.
홀딩을 위한 카운터가 미리 규정된 수보다 큰 경우에는, 동작 2107에서, 슬라이딩 시간(sliding time)이 결정될 수 있다. 슬라이딩 시간이 2초 미만인 경우에는, 동작 2108에서, 카메라가 터치 감지 디바이스에서 실행될 수 있다. 만약, 동작 2107에서 슬라이딩 시간이 2초 이상인 경우, 동작 2101로 회귀할 수 있다.
도 22는 본 발명의 일 실시예에 따른, 형상 식별에 기반하여 각종 터치 동작들을 실행시키는 것에 대한 개략도이다. 본 도면은, 터치 입력이 스크린 오프 상태에서 터치 감지 디바이스의 터치 스크린 상에서 제공되는 6가지 이용 케이스를 예시한 것이다.
제 1 이용 케이스는, 사용자가 카메라를 실행시키기 위하여, 스크린 오프 상태에서 두 엄지손가락을 이용하여 터치 복원을 수행하는 것을 예시한 것이다. 이 이용 케이스는 본 발명의 도 12a 및 도 20a에서 상세히 설명되어 있다. 이와 유사하게, 제 2 이용 케이스는, 사용자가 스크린을 스와이프하는 경우의 전면 카메라의 실행을 예시한 것이며, 이것은 도 12b 및 21b에 상세하게 설명되어 있다. 제 3 이용 케이스에서는, 알파벳의 형태로 제스처가 만들어진다. 사용자는 알파벳의 형태로 터치 입력을 제공하는 것이 가능하게 된다. 예를 들어, 애플리케이션의 첫 번째 문자 형태의 터치 입력은 그 애플리케이션에 대한 실행을 수행하게 된다. C 형상의 터치 입력을 고려해 보면, 애플리케이션에 대한 채팅(chat)이 터치 감지 디바이스에서 실행된다.
도 20에 도시된 제 4 이용 케이스에 따르면, 터치 감지 디바이스의 스크린이 스크린 오프 상태에 있을 때, 사용자가 핀치 아웃과 같은 제스처를 행할 경우, 터치 감지 디바이스의 터치 스크린이 시간과 부재중 전화 알림을 보여주게 된다.
제 5 이용 케이스는 스몰 스와이프 제스처를 도시한 것이다. 사용자가 스몰 스와이프로서 터치 입력을 제공하는 경우에는, 본 발명의 일 실시에에 따라, 터치 감지 디바이스가 다양한 애플리케이션들에 대한 숏컷을 디스플레이한다. 디스플레이될 숏컷은 선호에 따라 사용자에 의해 설정될 수도 있다.
제 6 이용 케이스는 스크린을 잠금 해제하기 위해 사용되는 것을 예시한 것이다.
사용자는, 터치 감지 디바이스가 스크린 오프 상태에 있는 경우, 터치 감지 디바이스의 터치 스크린 상에 미리 설정된 형상을 드로잉(drawing)함으로써, 그 터치 스크린을 잠금 해제할 수 있다. 예를 들어, 본 도면에 나타낸 바와 같이, 사용자는 스크린의 잠금 해제를 위해 별 모양(star shape)을 설정하였다. 동일한 동작이 행해지면, 스크린은 잠금 해제된다.
컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(magnetic media)(예: 자기테이프), 광기록 매체(optical media)(예: CD-ROM(compact disc read only memory), DVD(digital versatile disc), 자기-광 매체(magneto-optical media)(예: 플롭티컬 디스크(floptical disk)), 하드웨어 장치(예: ROM(read only memory), RAM(random access memory), 또는 플래시 메모리 등) 등을 포함할 수 있다. 또한, 프로그램 명령에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 다양한 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지다.
다양한 실시예에 따른 모듈 또는 프로그램 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 추가적인 다른 구성요소를 더 포함할 수 있다. 다양한 실시예에 따른 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱(heuristic)한 방법으로 실행될 수 있다. 또한, 일부 동작은 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다. 그리고 본 문서에 개시된 실시예는 개시된, 기술 내용의 설명 및 이해를 위해 제시된 것이며, 본 문서에서 기재된 기술의 범위를 한정하는 것은 아니다. 따라서, 본 문서의 범위는, 본 문서의 기술적 사상에 근거한 모든 변경 또는 다양한 다른 실시예를 포함하는 것으로 해석되어야 한다.
본 방법의 발명을 첨부 도면에 도시된 본 발명의 실시예와 관련하여 설명하였지만, 이것에 한정되는 것은 아니다. 본 발명의 범위 및 사상으로부터 벗어나지 않는 범위 내에서 다양한 치환, 변형 및 변경이 이루어질 수 있음은 당업자에게 명백할 것이다.
Claims (30)
- 터치 감지 디바이스에서 터치 동작을 수행하는 방법으로서,
상기 터치 감지 디바이스의 터치 스크린 상에서 입력되는 터치 입력을 감지하는 과정;
상기 터치 입력에 대응하는 하나 이상의 파라미터들과 하나 이상의 미리 규정된 파라미터들에 기초하여, 상기 감지된 터치 입력에 따른 접촉 영역의 형상을 식별하는 과정;
상기 식별된 형상의 배향(orientation)을 결정하는 과정; 및
상기 식별된 형상을 기반으로 상기 터치 입력에 대응되는 동작을 수행하는 과정을 포함하고,
상기 하나 이상의 파라미터들은 상기 형상의 평균 각도를 포함하고,
상기 평균 각도를 계산하는 방법은, 다른 경계 포인트들에 접합하는(joining) 선들의 길이가 임계값을 초과할 때, 상기 선들에 의해 형성되는 복수의 각도들의 세트를 계산하고, 상기 형상의 배향을 결정하기 위해 상기 계산된 복수의 각도들의 세트의 평균을 계산하는 방법. - 제 1 항에 있어서,
상기 터치 입력을 감지하는 과정은, 상기 터치 감지 디바이스의 디스플레이 패널이 스크린 오프 상태에 있을 경우에 감지하는 것을 특징으로 하는 방법. - 제 1 항에 있어서, 상기 접촉 영역의 형상을 식별하는 과정은,
상기 터치 감지 디바이스에 내장된 터치 센서 패널 집적 회로(TSP IC)에 의해, 상기 터치 스크린에서의 상호 정전용량의 변화를 상기 터치 입력이 결과로서 검출하는 과정;
이진화 방법을 사용하여 상호 정전용량 데이터를 필터링하는 과정;
영역 식별 방법을 사용하여 상기 터치 스크린 상의 하나 이상의 터치 영역들을 식별하는 과정;
상기 식별된 하나 이상의 터치 영역들에 기초하여, 하나 이상의 파라미터들을 식별하는 과정;
상기 식별된 하나 이상의 터치 영역들에 대한 하나 이상의 상기 미리 규정된 파라미터들 각각의 값을 결정하는 과정; 및
상기 하나 이상의 상기 미리 규정된 파라미터들의 각각의 값을 결정하는 과정에 기초하여, 상기 형상을 식별하는 과정을 포함하는 방법. - 제 3 항에 있어서, 상기 이진화 방법은,
미리 규정된 임계값을 사용하여 상기 상호 정전용량 데이터를 필터링하는 과정; 및
미리 규정된 상한(upper limit)을 사용하여 노이즈를 제거하는 과정을 포함하는 방법. - 제 3 항에 있어서, 상기 영역 식별 방법은,
상기 상호 정전용량 데이터 내의 하나 이상의 불연속성들에 기초하여, 상기 하나 이상의 터치 영역들을 세그먼트(segment)하도록, 상기 필터링된 상호 정전용량 데이터를 처리하는 과정으로서, 상기 하나 이상의 불연속성들 중의 각 불연속성은 새로운 영역의 시작을 표시하는, 상기 처리하는 과정; 및
상기 하나 이상의 터치 영역들의 식별의 순서에 기초하여, 상기 하나 이상의 터치 영역들을 라벨링(labeling)하는 과정을 포함하는 방법. - 제 3 항에 있어서, 상기 하나 이상의 파라미터들은,
영역의 면적, 영역의 너비, 영역의 높이, 영역의 우-좌 경사 길이(right-left slant length), 영역의 좌-우 경사 길이(a left-right slant length), 영역에 포함된 터치 포인트들의 수, 영역의 빗변(hypotenuse), 영역의 직각성(rectangularity), 영역의 연신도(elongatedness) 및 영역의 평균 각도 중의 하나 이상을 포함하는 방법. - 삭제
- 제 1 항에 있어서,
기 설정된 기준에 기초하여, 상기 식별된 형상이 유효한지 여부를 결정하는 과정을 더 포함하고,
상기 식별된 형상이 유효한지 여부를 결정하는 단계는,
상기 식별된 형상과 관련된 하나 이상의 파라미터들과 하나 이상의 기록된 형상들과 관련된 하나 이상의 파라미터들을 비교하는 것에 의하여, 상기 식별된 형상을 상기 터치 감지 디바이스에 저장된 상기 하나 이상의 기록된 형상들과 매칭(matching)시키는 과정을 포함하는 방법. - 제 8 항에 있어서, 상기 매칭은,
상기 식별된 형상과 관련된 상기 하나 이상의 파라미터들과 하나 이상의 기록된 형상들과 관련된 상기 하나 이상의 파라미터들 간의 차분(differences)이 미리 결정된 임계값 범위 내에 포함되는지를 결정하는 것을 포함하는 방법. - 제 1 항에 있어서,
상기 식별된 형상을 등록하는 과정; 및
하나 이상의 파라미터들을 상기 터치 감지 디바이스의 메모리에 상기 하나 이상의 미리 규정된 파라미터들로서, 저장하는 과정을 더 포함하는 방법. - 터치 감지 디바이스의 터치 동작을 수행하는 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체에 있어서, 상기 방법은,
상기 터치 감지 디바이스의 터치 스크린 상에서 입력되는 터치 입력을 감지하는 과정;
상기 터치 입력에 대응하는 하나 이상의 파라미터들과 하나 이상의 미리 규정된 파라미터들에 기초하여, 상기 감지된 터치 입력에 따른 접촉 영역의 형상을 식별하는 과정;
상기 식별된 형상의 배향을 결정하는 과정; 및
상기 식별된 형상을 기반으로 상기 터치 입력에 대응되는 동작을 수행하는 과정을 포함하고,
상기 하나 이상의 파라미터들은 상기 형상의 평균 각도를 포함하고,
상기 평균 각도를 계산하는 방법은, 다른 경계 포인트들에 접합하는(joining) 선들의 길이가 임계값을 초과할 때, 상기 선들에 의해 형성되는 복수의 각도들의 세트를 계산하고, 상기 형상의 배향을 결정하기 위해 상기 계산된 복수의 각도들의 세트의 평균을 계산하는 것을 특징으로 하는 컴퓨터로 읽을 수 있는 기록 매체. - 터치 감지 디바이스에서 터치 동작을 수행하는 방법으로서,
상기 터치 감지 디바이스의 터치 스크린 상에서 입력되는 터치 입력을 감지하는 과정;
상기 터치 입력에 대응하는 하나 이상의 파라미터들과 하나 이상의 미리 규정된 파라미터들에 기초하여, 상기 감지된 터치 입력에 따른 접촉 영역의 형상을 식별하는 과정;
기 설정된 기준에 기초하여, 상기 식별된 형상이 유효한지 여부를 결정하는 과정;
유효화된 형상의 움직임에 기초하여, 제스처를 검출하는 과정;
상기 제스처를 하나 이상의 미리 규정된 제스처들과 매칭시킴으로써 상기 검출된 제스처가 유효한지 여부를 결정하는 과정; 및
상기 검출된 제스처가 유효하다는 결정 및 상기 식별된 형상이 유효하다는 결정에 기초하여, 상기 터치 입력에 대응되는 동작을 수행하는 과정을 포함하고,
상기 제스처를 매칭하는 방법은, 상기 제스처에 대응하여 복수의 수집된 좌표들을 필터링하고, 상기 필터링된 좌표들을 선형화하고, 상기 선형화된 좌표들의 방향 파라미터들을 계산하고, 압력이 적용된 좌표들 및 상기 좌표들에서 상기 압력이 적용된 회수를 수집하고, 상기 선형화된 제스처의 가장 가까운 정점으로부터의 거리가 미리 규정된 임계값보다 큰 상기 수집된 압력 좌표들을 필터링하고, 방향 기반 접근방식을 사용하여 상기 계산된 방향 파라미터들을 매칭하고, 방향이 매칭되는 경우, 각 정점에 적용된 압력의 회수 및 등록된 압력의 회수를 비교하여 제스처를 매칭하는 방법. - 제 12 항에 있어서, 상기 유효화된 형상의 움직임에 기초하여, 상기 제스처를 검출하는 과정은,
상기 접촉 영역과 관련된 터치 영역의 중심(centroid)을 계산하는 과정;
현재의 중심과 이전에 저장된 중심 간의 거리가 특정한 미리 규정된 임계값을 초과하는 경우 상기 중심을 저장하는 과정;
상기 제스처의 종료를 결정하는 과정; 및
상기 제스처가 특정한 미리 규정된 시간 기간 내에 종료되지 않은 경우 상기 제스처를 폐기하는 과정을 포함하는 방법. - 제 13 항에 있어서, 상기 터치 영역의 중심(centroid)을 계산하는 과정은,
알고리즘이 상호 정전용량 데이터를 사용하도록 구성된 경우, 하나 이상의 노드(node) 값들에 기초하여 상기 터치 영역의 중심을 결정하는 과정; 및
알고리즘이 상호 정전용량 데이터를 사용하도록 구성되지 않는 경우, 터치 센서 패널 집적 회로(TSP IC)로부터 획득된 터치 좌표들을 사용하여 상기 터치 영역의 중심을 결정하는 과정 중의 적어도 하나를 포함하는 방법. - 제 13 항에 있어서, 상기 제스처의 종료를 결정하는 과정은,
상기 터치 감지 디바이스가 상호 정전용량 데이터를 사용하도록 구성된 경우, TSP IC(a touch sensor panel integrated circuit) 로부터 수신된 상호 정전용량 데이터 프레임 내의 미리 규정된 임계값을 초과하는 노드들의 수가 미리 규정된 임계값 범위 내에 포함되지 않는지를 결정하는 과정;
상기 터치 감지 디바이스가 터치 좌표 데이터를 사용하도록 구성된 경우, 포인트-업(pointer-up) 이벤트에 대응하는 이벤트가 상기 TSP IC로부터 수신되었는지를 결정하는 과정; 및
미리 규정된 시간 인터벌 내에 다른 스트로크가 시작되지 않았는지를 체크하고, 상기 다른 스트로크가 시작된 경우에는 상기 스트로크가 현재의 제스처의 일부가 되게 하는 과정을 포함하는 방법. - 제 12 항에 있어서, 상기 제스처가 유효한지 여부를 결정하는 과정은,
상기 터치 감지 디바이스가 제스처 매칭 이전에 형상 매칭을 수행하도록 구성된 경우, 상기 제스처를 상기 식별된 형상에 대응하는 하나 이상의 미리 규정된 제스처들과 매칭시키고; 또한
상기 터치 감지 디바이스가 제스처 매칭 이전에 형상 매칭을 수행하도록 구성되지 않은 경우, 상기 제스처를 모든 등록된 제스처들 또는 미리 규정된 제스처들과 매칭시키는 것을 포함하는 방법. - 제 16 항에 있어서, 상기 제스처를 매칭시키는 과정은,
방향 기반 접근방식, 방향 및 압력 기반 접근방식, 및 추가 체크를 갖는 최소 코사인 거리 접근방식 중의 하나를 사용하여, 제스처와 하나 이상의 미리 규정된 제스처들 간의 매칭을 결정하는 과정을 포함하는 방법. - 제 17 항에 있어서, 상기 방향 기반 접근방식을 사용하여 매칭을 결정하는 과정은,
복수의 수집된 좌표들을 필터링하고;
상기 필터링된 좌표들을 선형화하고;
상기 선형화된 좌표들의 방향 파라미터들을 계산하고;
상기 계산된 방향 파라미터들을 상기 하나 이상의 미리 규정된 제스처들의 파라미터들과 매칭시키고; 또한
상기 계산된 방향 파라미터들과 상기 하나 이상의 미리 규정된 제스처들 간의 차분이 미리 규정된 범위 내에 포함되는지를 결정하는 것을 포함하는 방법. - 제 17 항에 있어서, 추가 체크를 갖는 최소 코사인 거리에 기초하여, 상기 제스처를 매칭시키는 과정은,
상기 제스처가 수행되고 있는 동안에 좌표들을 수집하고;
상기 수집된 좌표들을 샘플링하고;
샘플링된 좌표들의 중심을 계산하고;
제스처 매칭이 배향 감지로서 구성된 경우, 샘플링된 좌표들의 배향을 계산하고;
중심을 원점으로 유지하면서 상기 샘플링된 좌표들을 변환하고;
상기 제스처 매칭이 배향 감지로서 구성된 경우, 상기 변환된 좌표들을 상기 원점을 중심으로 계산된 각도만큼 회전시키고;
상기 회전된 좌표들을 사용하여 현재의 제스처와 기록/미리 규정된 제스처들 간의 최소 코사인 거리를 계산하고; 또한
동적 최소 스코어 체크(dynamic minimum score check)를 수행하고, 상기 제스처가 복수의 스트로크들을 포함하는 경우 터치 체크의 포인트들의 오더(order)를 수행하고, 현재의 제스처와 최적으로 매칭된 제스처 간의 둘레-길이 비율 체크를 수행하는 과정을 포함하는 방법.
- 삭제
- 터치 감지 디바이스의 터치 동작을 수행하는 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체에 있어서, 상기 방법은,
상기 터치 감지 디바이스의 터치 스크린 상에서 입력되는 터치 입력을 감지하는 과정;
상기 터치 입력에 대응하는 하나 이상의 파라미터들과 하나 이상의 미리 규정된 파라미터들에 기초하여, 상기 감지된 터치 입력에 따른 접촉 영역의 형상을 식별하는 과정;
기 설정된 기준에 기초하여, 상기 식별된 형상이 유효한지 여부를 결정하는 과정;
유효화된 형상의 움직임에 기초하여, 제스처를 검출하는 과정;
상기 제스처를 하나 이상의 미리 규정된 제스처들과 매칭시킴으로써 상기 검출된 제스처가 유효한지 여부를 결정하는 과정; 및
상기 검출된 제스처가 유효하다는 결정 및 상기 식별된 형상이 유효하다는 결정에 기초하여, 상기 터치 입력에 대응되는 동작을 수행하는 과정을 포함하고,
상기 제스처를 매칭하는 방법은, 상기 제스처에 대응하여 복수의 수집된 좌표들을 필터링하고, 상기 필터링된 좌표들을 선형화하고, 상기 선형화된 좌표들의 방향 파라미터들을 계산하고, 압력이 적용된 좌표들 및 상기 좌표들에서 상기 압력이 적용된 회수를 수집하고, 상기 선형화된 제스처의 가장 가까운 정점으로부터의 거리가 미리 규정된 임계값보다 큰 상기 수집된 압력 좌표들을 필터링하고, 방향 기반 접근방식을 사용하여 상기 계산된 방향 파라미터들을 매칭하고, 방향이 매칭되는 경우, 각 정점에 적용된 압력의 회수 및 등록된 압력의 회수를 비교하여 제스처를 매칭하는 것을 특징으로 하는 컴퓨터로 읽을 수 있는 기록 매체. - 터치 동작을 수행하는 터치 감지 디바이스에 있어서,
하나 이상의 미리 규정된 파라미터들을 저장하기 위한 저장부;
터치 입력을 수신하기 위한 터치 스크린; 및
상기 저장부 및 상기 터치 스크린에 작동적으로 연결된 프로세서;를 포함하고,
상기 프로세서는,
상기 터치 감지 디바이스의 상기 터치 스크린을 통해 입력되는 상기 터치 입력을 감지하고, 상기 터치 입력에 대응하는 하나 이상의 파라미터들과 상기 저장부에 저장된 하나 이상의 미리 규정된 파라미터들에 기초하여, 상기 감지된 터치 입력에 따른 접촉 영역의 형상을 식별하고, 상기 식별된 형상의 배향(orientation)을 결정하고, 상기 식별된 형상을 기반으로 상기 터치 입력에 대응되는 동작을 수행하고,
상기 하나 이상의 파라미터들은 상기 형상의 평균 각도를 포함하고,
상기 프로세서는 다른 경계 포인트들에 접합하는(joining) 선들의 길이가 임계값을 초과할 때, 상기 선들에 의해 형성되는 복수의 각도들의 세트를 계산하고, 상기 형상의 배향을 결정하기 위해 상기 계산된 복수의 각도들의 세트의 평균을 계산하여, 상기 형상의 평균 각도를 계산하는 터치 감지 디바이스. - 제 22 항에 있어서, 상기 프로세서는,
상기 터치 감지 디바이스에 내장된 터치 센서 패널 집적 회로에 의해 상기 터치 스크린에서의 상호 정전용량의 변화를 상기 터치 입력의 결과로서 검출하고, 이진화 방법을 사용하여 상호 정전용량 데이터를 필터링하고, 영역 식별 방법을 사용하여 상기 터치 스크린에서의 하나 이상의 터치 영역들을 식별하고, 상기 식별된 하나 이상의 터치 영역들에 기초하여 하나 이상의 파라미터들을 식별하고, 상기 식별된 하나 이상의 터치 영역들에 대한 상기 미리 규정된 파라미터들 각각의 값을 결정하고, 상기 결정된 상기 미리 규정된 파라미터들의 값들에 기초하여 상기 형상을 식별하는 것을 특징으로 하는 터치 감지 디바이스. - 제 22 항에 있어서, 상기 프로세서는,
상기 식별된 형상과 관련된 하나 이상의 파라미터들과 하나 이상의 기록된 형상들과 관련된 하나 이상의 파라미터들을 비교하는 것에 의하여, 상기 식별된 형상을 상기 터치 감지 디바이스에 저장된 상기 하나 이상의 기록된 형상들과 매치시켜서 상기 식별된 형상이 유효한지 여부를 결정하고, 상기 식별된 형상이 유효한 경우 상기 식별된 형상을 기반으로 상기 터치 입력에 대응되는 동작을 수행하는 것을 특징으로 하는 터치 감지 디바이스. - 제 22 항에 있어서, 상기 프로세서는,
상기 식별된 형상을 등록하고, 상기 하나 이상의 파라미터들을 상기 터치 감지 디바이스의 메모리에 저장하는 것을 특징으로 하는 터치 감지 디바이스. - 제 22 항에 있어서, 상기 프로세서는,
상기 터치 감지 디바이스의 상기 터치 스크린 상에서 입력되는 상기 터치 입력을 감지하고, 상기 하나 이상의 미리 규정된 파라미터들에 기초하여, 상기 감지된 터치 입력에 따른 접촉 영역의 형상을 식별하고, 기 설정된 기준에 기초하여 상기 식별된 형상이 유효한지 여부를 결정하고, 유효화된 형상의 움직임에 기초하여 제스처를 검출하고, 상기 제스처를 하나 이상의 미리 규정된 제스처들과 매칭시킴으로써 상기 검출된 제스처가 유효한지 여부를 결정하고, 상기 검출된 제스처가 유효하다는 결정 및 상기 식별된 형상이 유효하다는 결정에 기초하여, 상기 터치 입력에 대응되는 동작을 수행하는 것을 특징으로 하는 터치 감지 디바이스. - 제 26 항에 있어서, 상기 프로세서는,
상기 접촉 영역과 관련된 터치 영역의 중심을 계산하고, 현재의 중심과 이전에 저장된 중심 간의 거리가 특정한 미리 규정된 임계값을 초과하는 경우 상기 중심을 저장하고, 상기 제스처의 종료를 결정하고, 상기 제스처가 특정한 미리 규정된 시간 기간 내에 종료되지 않은 경우 상기 제스처를 폐기하여 상기 제스처를 검출하는 것을 특징으로 하는 터치 감지 디바이스. - 제 27 항에 있어서, 상기 프로세서는,
알고리즘이 상호 정전용량 데이터를 사용하도록 구성된 경우, 하나 이상의 노드 값들에 기초하여 상기 터치 영역의 중심을 결정하고, 알고리즘이 상호 정전용량 데이터를 사용하도록 구성되지 않는 경우, 터치 센서 패널 집적 회로(TSP IC)로부터 획득된 터치 좌표들을 사용하여 상기 터치 영역의 중심을 결정하여 상기 터치 영역의 중심을 계산하는 것을 특징으로 하는 터치 감지 디바이스. - 제 27 항에 있어서, 상기 프로세서는,
상기 터치 감지 디바이스가 상호 정전용량 데이터를 사용하도록 구성된 경우, TSP IC로부터 수신된 상호 정전용량 데이터 프레임 내의 미리 규정된 임계값을 초과하는 노드들의 수가 미리 규정된 임계값 범위 내에 포함되지 않는지를 결정하고, 상기 터치 감지 디바이스가 터치 좌표 데이터를 사용하도록 구성된 경우, 포인트-업(pointer-up) 이벤트에 대응하는 이벤트가 상기 TSP IC로부터 수신되었는지를 결정하고, 미리 규정된 시간 인터벌 내에 다른 스트로크가 시작되지 않았는지를 체크하고, 상기 다른 스트로크가 시작된 경우에는 상기 스트로크가 현재의 제스처의 일부가 되게 하여 상기 제스처의 종료를 결정하는 것을 특징으로 하는 터치 감지 디바이스. - 제 22 항에 있어서, 상기 프로세서는,
상기 터치 감지 디바이스가 제스처 매칭 이전에 형상 매칭을 수행하도록 구성된 경우, 상기 제스처를 상기 식별된 형상에 대응하는 하나 이상의 미리 규정된 제스처들과 매칭시키고, 상기 터치 감지 디바이스가 제스처 매칭 이전에 형상 매칭을 수행하도록 구성되지 않은 경우, 상기 제스처를 모든 등록된 제스처들 또는 미리 규정된 제스처들과 매칭시켜서 상기 제스처가 유효한지 여부를 결정하는 것을 특징으로 하는 터치 감지 디바이스.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US14/791,674 US20160004380A1 (en) | 2014-07-07 | 2015-07-06 | Method of performing a touch action in a touch sensitive device |
| PCT/KR2015/007020 WO2016006918A1 (en) | 2014-07-07 | 2015-07-07 | Method of performing a touch action in a touch sensitive device |
| CN201580037514.7A CN106575170B (zh) | 2014-07-07 | 2015-07-07 | 在触摸敏感设备中执行触摸动作的方法 |
| EP15818851.6A EP3167358B1 (en) | 2014-07-07 | 2015-07-07 | Method of performing a touch action in a touch sensitive device |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| IN3353CH2014 | 2014-07-07 | ||
| IN3353/CHE/2014??? | 2015-04-21 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20160005656A KR20160005656A (ko) | 2016-01-15 |
| KR102118408B1 true KR102118408B1 (ko) | 2020-06-03 |
Family
ID=58490602
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150095954A KR102118408B1 (ko) | 2014-07-07 | 2015-07-06 | 터치 감지 디바이스에서 터치 동작을 수행하는 방법 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20160004380A1 (ko) |
| EP (1) | EP3167358B1 (ko) |
| KR (1) | KR102118408B1 (ko) |
| CN (1) | CN106575170B (ko) |
| WO (1) | WO2016006918A1 (ko) |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9046992B2 (en) * | 2010-10-01 | 2015-06-02 | Z124 | Gesture controls for multi-screen user interface |
| JP6529332B2 (ja) * | 2015-05-13 | 2019-06-12 | キヤノン株式会社 | 電子機器およびその制御方法 |
| US10942642B2 (en) * | 2016-03-02 | 2021-03-09 | Airwatch Llc | Systems and methods for performing erasures within a graphical user interface |
| KR20170141012A (ko) | 2016-06-14 | 2017-12-22 | 삼성전자주식회사 | 사용자 입력을 처리하기 위한 방법 및 그 전자 장치 |
| US10324621B2 (en) * | 2017-03-02 | 2019-06-18 | Adobe Inc. | Facilitating analysis of use interface gesture patterns |
| US10318071B2 (en) * | 2017-03-23 | 2019-06-11 | Intel Corporation | Method and apparatus for a blob angle orientation recognition in a touch device |
| US10372266B2 (en) * | 2017-03-24 | 2019-08-06 | Parade Technologies, Ltd. | Systems and methods of improved water detection on a touch-sensitive display using directional scanning techniques |
| CN107657163B (zh) * | 2017-09-25 | 2020-08-21 | 维沃移动通信有限公司 | 一种应用程序启动方法及移动终端 |
| CN109634450A (zh) * | 2017-10-09 | 2019-04-16 | 华为技术有限公司 | 防误触检测方法、装置及终端 |
| US10423321B2 (en) | 2017-11-02 | 2019-09-24 | Dell Products L. P. | Defining a zone to perform an action in a dual-screen tablet |
| CN108062199B (zh) * | 2017-12-15 | 2020-05-12 | Oppo广东移动通信有限公司 | 触碰信息的处理方法、装置、存储介质及终端 |
| US11232178B2 (en) * | 2017-12-22 | 2022-01-25 | Synaptics Incorporated | Systems and methods for behavioral authentication using a touch sensor device |
| CN108845756B (zh) * | 2018-07-04 | 2021-02-02 | Oppo广东移动通信有限公司 | 触控操作方法、装置、存储介质及电子设备 |
| WO2020028542A1 (en) * | 2018-08-02 | 2020-02-06 | Elo Touch Solutions, Inc. | Water immune projected-capacitive (pcap) touchscreen |
| CN110806804A (zh) * | 2019-11-01 | 2020-02-18 | 大众问问(北京)信息科技有限公司 | 一种音频控制方法、装置、计算机设备及存储介质 |
| CN111124113A (zh) * | 2019-12-12 | 2020-05-08 | 厦门厦华科技有限公司 | 一种基于轮廓信息的应用启动方法及电子白板 |
| CN111338516B (zh) * | 2020-02-26 | 2022-05-10 | 业成科技（成都）有限公司 | 手指触控的检测方法和装置、电子设备、存储介质 |
| CN111525958B (zh) * | 2020-04-08 | 2023-02-03 | 湖南大学 | 一种具有数据通信和手势动作识别功能的光相机通信系统 |
| CN112987930A (zh) * | 2021-03-17 | 2021-06-18 | 读书郎教育科技有限公司 | 一种实现和大尺寸电子产品便捷交互的方法 |
| US11693555B1 (en) * | 2022-01-12 | 2023-07-04 | Adobe Inc. | Pressure value simulation from contact area data |
| CN114360686B (zh) * | 2022-03-07 | 2022-06-03 | 西南医科大学附属医院 | 融合游戏的康复训练计算机装置、运行方法及存储介质 |
| CN115033165A (zh) * | 2022-06-29 | 2022-09-09 | Oppo广东移动通信有限公司 | 触摸事件处理方法、装置、存储介质与电子设备 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100099394A1 (en) * | 2008-10-17 | 2010-04-22 | Sony Ericsson Mobile Communications Ab | Method of unlocking a mobile electronic device |
| US20100211920A1 (en) * | 2007-01-06 | 2010-08-19 | Wayne Carl Westerman | Detecting and Interpreting Real-World and Security Gestures on Touch and Hover Sensitive Devices |
| US20120206377A1 (en) * | 2011-02-12 | 2012-08-16 | Microsoft Corporation | Angular contact geometry |
| US20140002407A1 (en) * | 2012-06-29 | 2014-01-02 | Massoud Badaye | Touch orientation calculation |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4112812B2 (ja) * | 2001-03-27 | 2008-07-02 | 株式会社東芝 | パターン評価方法、パターン評価装置およびコンピュータ読み取り可能な記録媒体 |
| EP1679067A4 (en) * | 2003-09-19 | 2010-04-07 | Kissei Pharmaceutical | COMBINED MEDICINES |
| JP5256902B2 (ja) * | 2008-07-22 | 2013-08-07 | 株式会社リコー | 画像形成装置 |
| US20110130170A1 (en) * | 2009-07-21 | 2011-06-02 | Lg Electronics Inc. | Mobile terminal and method of controlling the operation of the mobile terminal |
| CN102141873A (zh) * | 2010-02-02 | 2011-08-03 | 宏碁股份有限公司 | 电子文件的操控方法 |
| US20130113714A1 (en) * | 2011-11-06 | 2013-05-09 | Dun Dun (Duncan) Mao | Electronic Device Having Single Hand Multi-Touch Surface Keyboard and Method of Inputting to Same |
| US10082950B2 (en) * | 2011-11-09 | 2018-09-25 | Joseph T. LAPP | Finger-mapped character entry systems |
| KR20130063131A (ko) * | 2011-12-06 | 2013-06-14 | 삼성전자주식회사 | 터치 감지 파라미터 설정 방법 및 장치 |
| JP5810923B2 (ja) * | 2012-01-06 | 2015-11-11 | 富士通株式会社 | 入力装置及びタッチ位置算出方法 |
| TWI493438B (zh) * | 2012-01-09 | 2015-07-21 | Amtran Technology Co Ltd | 觸控方法 |
| US20130194235A1 (en) * | 2012-02-01 | 2013-08-01 | Logitec Europe S.A. | Multi-sensor input device |
| US8902181B2 (en) * | 2012-02-07 | 2014-12-02 | Microsoft Corporation | Multi-touch-movement gestures for tablet computing devices |
| CN103488321A (zh) * | 2012-06-14 | 2014-01-01 | 腾讯科技（深圳）有限公司 | 一种在触摸屏终端上识别触摸动作的方法及装置 |
| KR101995278B1 (ko) * | 2012-10-23 | 2019-07-02 | 삼성전자 주식회사 | 터치 디바이스의 ui 표시방법 및 장치 |
| CN103809865A (zh) * | 2012-11-12 | 2014-05-21 | 国基电子（上海）有限公司 | 触摸屏的触摸动作识别方法 |
| KR20140067379A (ko) * | 2012-11-26 | 2014-06-05 | 삼성전기주식회사 | 접촉 감지 장치 및 터치스크린 장치 |
-
2015
- 2015-07-06 KR KR1020150095954A patent/KR102118408B1/ko active IP Right Grant
- 2015-07-06 US US14/791,674 patent/US20160004380A1/en not_active Abandoned
- 2015-07-07 EP EP15818851.6A patent/EP3167358B1/en active Active
- 2015-07-07 WO PCT/KR2015/007020 patent/WO2016006918A1/en active Application Filing
- 2015-07-07 CN CN201580037514.7A patent/CN106575170B/zh not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100211920A1 (en) * | 2007-01-06 | 2010-08-19 | Wayne Carl Westerman | Detecting and Interpreting Real-World and Security Gestures on Touch and Hover Sensitive Devices |
| US20100099394A1 (en) * | 2008-10-17 | 2010-04-22 | Sony Ericsson Mobile Communications Ab | Method of unlocking a mobile electronic device |
| US20120206377A1 (en) * | 2011-02-12 | 2012-08-16 | Microsoft Corporation | Angular contact geometry |
| US20140002407A1 (en) * | 2012-06-29 | 2014-01-02 | Massoud Badaye | Touch orientation calculation |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20160005656A (ko) | 2016-01-15 |
| EP3167358B1 (en) | 2020-05-06 |
| CN106575170A (zh) | 2017-04-19 |
| EP3167358A4 (en) | 2017-12-13 |
| EP3167358A1 (en) | 2017-05-17 |
| CN106575170A8 (zh) | 2017-07-11 |
| US20160004380A1 (en) | 2016-01-07 |
| WO2016006918A1 (en) | 2016-01-14 |
| CN106575170B (zh) | 2020-11-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102118408B1 (ko) | 터치 감지 디바이스에서 터치 동작을 수행하는 방법 | |
| KR101514169B1 (ko) | 정보 처리 장치, 정보 처리 방법 및 기록 매체 | |
| KR101646616B1 (ko) | 객체 제어 장치 및 방법 | |
| JP5520336B2 (ja) | タッチパネルの縁部把持検知方法およびそのタッチパネルの縁部把持検知方法に関するデバイス | |
| WO2011142317A1 (ja) | ジェスチャー認識装置、方法、プログラム、および該プログラムを格納したコンピュータ可読媒体 | |
| JP5604279B2 (ja) | ジェスチャー認識装置、方法、プログラム、および該プログラムを格納したコンピュータ可読媒体 | |
| CN104216642B (zh) | 一种终端控制方法 | |
| JP2016520946A (ja) | 人間対コンピュータの自然な３次元ハンドジェスチャベースのナビゲーション方法 | |
| US9916043B2 (en) | Information processing apparatus for recognizing user operation based on an image | |
| US10366281B2 (en) | Gesture identification with natural images | |
| JP2013525891A (ja) | ユーザのタッチジェスチャを判別する方法及びデバイス | |
| US20110268365A1 (en) | 3d hand posture recognition system and vision based hand posture recognition method thereof | |
| WO2012068950A1 (zh) | 触摸屏触发方法及触摸装置 | |
| TWI431538B (zh) | 基於影像之動作手勢辨識方法及系統 | |
| JP6005417B2 (ja) | 操作装置 | |
| KR101559502B1 (ko) | 실시간 손 포즈 인식을 통한 비접촉식 입력 인터페이스 방법 및 기록 매체 | |
| US9971429B2 (en) | Gesture recognition method, apparatus and device, computer program product therefor | |
| CN102147707A (zh) | 一种基于笔划的多指触控手势识别方法 | |
| US10551934B2 (en) | Gesture recognition method, apparatus and device, computer program product therefor | |
| Wong et al. | Virtual touchpad: Hand gesture recognition for smartphone with depth camera | |
| JP2010231480A (ja) | 筆跡処理装置、プログラム、及び方法 | |
| KR101386655B1 (ko) | 3d 공간 터치 시스템 및 방법 | |
| CN102945103B (zh) | 一种光学传感器触摸物识别方法 | |
| JP2017045332A5 (ko) |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |