KR102398042B1 - 휴먼 인터페이스 디바이스 및 방법 - Google Patents
휴먼 인터페이스 디바이스 및 방법 Download PDFInfo
- Publication number
- KR102398042B1 KR102398042B1 KR1020177011605A KR20177011605A KR102398042B1 KR 102398042 B1 KR102398042 B1 KR 102398042B1 KR 1020177011605 A KR1020177011605 A KR 1020177011605A KR 20177011605 A KR20177011605 A KR 20177011605A KR 102398042 B1 KR102398042 B1 KR 102398042B1
- Authority
- KR
- South Korea
- Prior art keywords
- movement
- angle
- circular
- current
- circular movement
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 230000033001 locomotion Effects 0.000 claims abstract description 103
- 239000013598 vector Substances 0.000 claims description 55
- 230000007423 decrease Effects 0.000 claims description 12
- 238000005259 measurement Methods 0.000 claims description 12
- 238000001914 filtration Methods 0.000 claims description 7
- 230000005684 electric field Effects 0.000 claims description 6
- 230000000977 initiatory effect Effects 0.000 claims description 3
- 238000001514 detection method Methods 0.000 description 29
- 238000010586 diagram Methods 0.000 description 13
- 238000013459 approach Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 230000000694 effects Effects 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 230000005057 finger movement Effects 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 230000004807 localization Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000008450 motivation Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000737 periodic effect Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
- G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Abstract
오브젝트에 의해 수행되는 연속적인 원형 제스처를 검출하기 위한 방법은: 이동을 스캐닝함으로써 원형 이동을 수행하는 오브젝트의 이동을 검출하고 상기 오브젝트의 후속 위치 포인트들을 결정하는 단계를 구비할 수 있고, 여기서 가상 원형 이동의 기준 위치는 스캐닝된 위치 포인트들의 이력(history)에 의존하여 구성된다.
Description
관련 특허 출원
본 출원은, 2014년 10월 29일 출원된 공동 소유의 미국 가출원 번호 62/072,184 호의 우선이익을 주장하며, 상기 미국 가출원은 모든 목적들을 위해 본 출원에 참조로 통합된다.
기술 분야
본 개시는 휴먼 인터페이스를 위한 방법 및 디바이스에 관한 것으로, 특히 센서 시스템을 위한 연속적인 원형 제스처 검출 방법에 관한 것이다.
멀티-레벨 제어, 예를 들면 가전 제품의 볼륨 제어 또는 화면/광 밝기 제어를 위한 알려진 시스템들은 원형 터치 패드 또는 용량형 선형 슬라이더(흔히 노트북의 키보드 위에 장착됨)를 이용하거나, 또는 그것들은 손가락이 전용 슬라이더 영역, 예를 들어 터치패드의 오른쪽 경계선에서 움직일 때의 일반 노트북 터치패드로부터의 터치 정보를 이용한다. 이 센서들은 손가락 끝에 대한 절대 위치 정보(많은 원형 터치 패드들의 경우와 같이 아마도 모호한 위치 정보)를 제공하고, 따라서 원형 터치패드 상의 손가락 끝의 각도 또는 슬라이더 상의 위치 - 간단한 방식으로(in a straight forward way) 제어 레벨에 직접적으로 또는 별도로(differentially) 매핑될 수 있는 정보를 제공한다. 특히 터치 휠에서는, 손가락 끝과 휠의 기하학적 중심이 휠의 기준점과 각도를 형성하는 것이 중요하며, 이 각도는 평가될 수 있다.
고정 기준 위치 없이 원의 제스처를 인식하게 될 때, 원 이동에서 각도를 결정하는 것은 더 이상 간단하지 않다. 이것은 예를 들면, 근접장 용량형 센서 시스템을 이용하여 2차원(2D)/3차원(3D) 프리-에어(free-air) 제스처를 사용하거나, 또는 비디오 또는 적외선 카메라 시스템과 같은 중거리/원거리장 센서 시스템을 사용하는 일반적인 비(non)-원형 터치 패드의 경우에 그러하다.
시계 방향 및 시계 반대 방향 중 어느 방향일 수 있는 원 또는 원형 이동을 고려하지만, 원 이동 중에 매번, 원 또는 원형 이동이 고정 시작 또는 정지 위치를 갖도록 제한하지 않는다면, 실시간 애플리케이션에서는 그 존재할 때까지(up to the presence) 획득된 데이터만을, 즉 부분적인 제스처 패턴들만을 평가할 수 있다. 그려진 원의 중심을 알지 못하면, 움직임이 시작될 때 검출 유닛은 원의 방향을 알 수 없다: 예를 들어, 좌우 이동은 시계 방향 원의 상단에 나타나지만 시계 반대 방향 원의 하단에도 나타난다. 원 제스처는 본 개시에서 임의의 유형의 원형 운동을 의미하는 것으로 이해되어야 한다. 그것은 일정한 반경을 가질 필요는 없지만, 기준점 또는 따라야 할 소정의 경로가 없는 원을 묘사하는 손 또는 손가락의 임의의 자유로운 움직임에 대해 전형적으로 반경 및 중심점은 시간에 따라 변할 수 있다.
2D 원형 움직임을 1차원(1D) 데이터로 매핑하는 몇 가지 방법이 공지되어 있다.
원형 터치-패드: 예를 들어 도 1에 도시된 바와 같은 1D 용량형 슬라이더(100)는 복수의 선형으로 배열된 센서 요소들(110, 120)을 포함한다. 이러한 센서는 또한 원형 운동을 검출하기 위해 도 1의 센서(200)로 도시된 바와 같이 원형으로 배열될 수 있으며, 어떤 MP3 음악 플레이어는 이 기술을 사용한다.
고정 중심 위치: 2D 데카르트 좌표의 임의의 점은 고정된 기준 위치(중심점)로부터의 거리 및 이 점과 기준 위치를 지나는 선과 기준 방향 벡터(예컨대, 양의 x축 방향) 사이의 각도로 일대일로(bijectively) 매핑되어, 극좌표의 점을 생성할 수 있다. 여기서 명명된 각도가 원하는 1D 데이터이다. 도 3에 도시된 바와 같이, pnew의 x 및 y 성분을 각각 p(new,x) 및 p(new,y)로 하여 원(C) 상의 입력 위치(pnew)와 C의 고정 중심 위치(pc)가 제공되면, pnew와 pc를 연결하는 벡터의 4 사분면 역 탄젠트 함수 atan2를 계산함으로써 양의 x축에 대한 pnew의 각도(α)가 유일하게 결정될 수 있는데, 즉, α = atan2(p(new,y)-p(c,y), p(new,x)-p(c,x))이다. π로 주기적인 출력을 갖는 단일 인수(single-argument) 역 탄젠트 함수와 비교하면, atan2는 p(new,x)-p(c,x)와 p(new,y)-p(c,y)의 부호를 추가로 평가하고 따라서 α를 네 개의 사분면들 중 하나에 매핑할 수 있다. 명백하게 이 방법은 원 상의 입력 위치들에만 국한되지 않으며, 임의의 2D 위치를 입력으로 사용할 수 있고 각도를 출력할 것이다. 당연히, 이 절대 각도 출력 외에 추가로 2개의 입력 위치 벡터들(pold 및 pnew)이 주어지면, 두 개의 출력 각도들이 계산될 수 있으며, 이들의 차이는 입력 위치의 이동에 대한 척도가 된다.
본 출원인에 의해 출원되고 발명의 명칭이 "Continuous circle gesture detection for a sensor system"인, 공동 계류중인 미국 특허 출원 US 14/503883 호에 따르면(이 문헌은 그 전체가 본 출원에 참조로 통합됨), 연속적인 속도 벡터들 간의 각도들(또는 이로부터의 근사치들)이 시간에 걸쳐 누적되어 누산기(accumulator)의 차동 갱신을 수행하는 방법이 제안되며, 여기서 속도 벡터는 시간에 있어 연속적인 두 위치 벡터들 간의 차이로 정의된다. 이것은 도 4에 도시되어 있다. 이전 속도 벡터와 새로운 속도 벡터 사이의 회전 방향에 따라(회전량은 π/2보다 작다고 가정됨), 1D 누산기가 증가 또는 감소한다. 누산기를 변경시키는 양은 두 속도 벡터들 간의 각도 또는 그의 근사치이다. 이러한 접근법은 전환(translation) 및 스케일링을 허용하는데, 즉 예를 들면 2D 입력 위치들이 터치 패드를 사용하여 획득될 때, 터치패드의 어느 영역(예컨대, 왼쪽 하단 또는 오른쪽 상단)에서 특정 패턴이 그려지는지 또는 그것이 얼마나 크게 그려지는지는 중요하지 않다 - 1D 출력 측정값에 미치는 효과는 동일하다. 하지만 이 접근법은 원 상을 부드럽게 움직이는 위치의 각도를 제공하지 않는다. 연속적인 속도 벡터들 사이의 미분 각도들을 적분하는 것이 이론적으로 가능하지만, 여전히 적분 상수는 부족할 것이다. 또한, 근사 및 필터링/평활화로, 누적되기도 할 각도 추정치의 각각의 미분 업데이트에 (작은) 오차가 도입된다. 또한 입력 속도 벡터의 각도로부터 α를 계산할 수 없는데, 왜냐하면 이것은 모호한 매핑일 것이기 때문이다. 참조 도면, 도 5: 오른쪽 상단으로의 각도 φ에서의 속도 벡터는 시계 방향으로 회전하는 사분면 II 내의 위치 - 이 위치의 각도 α1에 해당 - 에서 발생할 수 있거나 또는 사분면 IV 내의 반시계 방향으로 회전하는 위치(각도 α2에 해당)에서 발생할 수 있고, 여기서 α1과 α2는 π만큼 차이가 난다. 예를 들어 속도 벡터들의 이력으로부터 회전 방향이 알려질 때조차도, φ로부터 α까지의 맵(map)은 회전 방향이 바뀔 때마다 π만큼 점프하는 것을 암시할 것이다 - 이것은 분명 매끄러운 측정이 아니다. 이것은, 먼저 시계 방향으로 회전한 다음 회전 방향을 변경하는 상향 이동의 궤적을 나타내는 도 6에 도시되어 있다.
"Method and apparatus for initiating one-dimensional signals with a two-dimensional pointing device"을 개시하는 미국 특허 US 8,330,731 호에 따르면, 두 개의 연속적인 움직임 벡터들 사이의 각도의 부호는 1D 데이터의 (미분) 업데이트 값의 부호/극성을 결정한다. 2D 이동의 양은 업데이트 값의 크기를 스케일링한다. 1D 데이터의 극성은 각도 부호 변경으로의 지연으로 인해 또는 갑작스럽게 멈출 때 변경된다. 시작 검출: 정의된 타겟 구역, 예컨대 터치패드의 오른쪽 에지(edge) 내의 손가락 움직임 검출. 이 접근법은 절대 각도 정보를 제공하지 않는다.
위의 해결책들은 2D (원형) 이동을 1D 데이터로 매핑하는 것을 제공하지만, 가상 원 상의 포인트/핑거의 위치의 절대 각도 추정에 대해서는 설명하지 않는다.
따라서, 2D (원형) 이동을 1D 데이터 상에 매핑하기 위한 향상된 방법이 필요하다. 다양한 실시예들에 따르면, 2D 공간에서 점의 원형 이동과 그려진 가상 원의 중심점에 대한 이 점의 각도가 이 중심점의 절대 위치를 알 수 없는 경우에도 검출될 수 있다.
일 실시예에 따르면, 오브젝트에 의해 수행되는 연속적인 원형 제스처를 검출하기 위한 방법은: 이동을 스캐닝함으로써 원형 이동을 수행하는 오브젝트의 이동을 검출하는 단계 및 상기 오브젝트의 후속 위치 포인트들을 결정하는 단계를 포함할 수 있고, 여기서 가상 원형 이동의 기준 위치는 스캐닝된 위치 포인트들의 이력(history)에 의존하여 구성된다.
추가 실시예에 따르면, 상기 기준 위치는 원 중심 위치일 수 있고, 상기 원 중심 위치는 원형 이동의 현재 출력 각도를 결정하는데 사용될 수 있다. 추가 실시예에 따르면, 상기 현재 출력 각도는 (pnew - pc)의 역 탄젠트를 사용하여 결정될 수 있고, 여기서 pnew는 현재 위치 포인트이고 pc는 현재 원 중심 위치이다. 추가 실시예에 따르면, 상기 위치 포인트들은 2차원 평면 내의 위치들로 변환될 수 있고 복수의 후속 위치 포인트들의 극값들이 버퍼에 저장된다. 추가 실시예에 따르면, 상기 극값들은 궤도 상의 위치들의 세트를 포함할 수 있고, 여기서 각각의 포함된 위치(p)에 대해 2개의 관련 속도 벡터들 - p에서 시작하는 현재 속도 벡터와 p에서 끝나는 이전 속도 벡터 - 이 존재하고; 상기 벡터들 중 하나의 벡터의 각도는 정의된 각도보다 크거나 같고 다른 벡터의 각도는 상기 정의된 각도보다 작거나, 또는 상기 벡터들 중 하나의 벡터의 각도는 정의된 각도보다 크고 다른 벡터의 각도는 상기 정의된 각도보다 작거나 같고; 그리고 상기 원 중심 위치는 상기 저장된 극값들로부터 결정된다. 추가 실시예에 따르면, 상기 극값들은 상기 2차원 평면 내의 최좌측, 최우측, 최상측 및 최하측 위치를 포함할 수 있고, 상기 원 중심 위치는 상기 저장된 극값들로부터 결정된다. 추가 실시예에 따르면, 현재 속도 벡터와 상기 현재 속도 벡터의 저역 통과 필터링된 버전 사이의 각도를 계산함으로써 원형 이동이 검출될 수 있다. 추가 실시예에 따르면, 상기 원 중심 위치는 새로운 위치 포인트와 현재 중심 위치 사이의 거리가 이전 위치 포인트와 상기 중심 위치 사이의 거리보다 작을 때 업데이트될 수 있다. 추가 실시예에 따르면, 새로운 원 중심 위치와 현재 원 중심 위치 사이의 거리의 일부를 상기 현재 원 중심 위치에 가산함으로써 업데이트가 수행될 수 있다. 추가 실시예에 따르면, 원 중심 위치 변화를 저역 통과 필터링함으로써 업데이트가 수행될 수 있다. 추가 실시예에 따르면, 현재 위치가 버퍼 내에 버퍼링될 수 있고, 상기 버퍼는 이동이 원형 이동의 일부라고 결정될 때 그리고 속도 벡터가 소정의 속도 임계값보다 높을 때에만 업데이트된다. 추가 실시예에 따르면, 제스처는 시작 이벤트와 정지 이벤트 사이에 결정될 수 있다. 추가 실시예에 따르면, 상기 시작 이벤트는 원형 궤도 및 소정 임계 각도에 의해 정의될 수 있다. 추가 실시예에 따르면, 현재 각도 측정치는 상기 시작 이벤트를 결정하기 위해 다수의 측정치들에 걸쳐 누적될 수 있다. 추가 실시예에 따르면, 상기 정지 이벤트는 소정 시간 주기 동안 어떠한 원형 이동도 검출되지 않을 때 결정될 수 있다. 추가 실시예에 따르면, 상기 정지 이벤트는 소정 시간 주기 동안 어떠한 이동도 검출되지 않을 때 결정될 수 있다. 추가 실시예에 따르면, 원형 이동은 원형 이동의 각 사분면에서 분할된 이동을 분석함으로써 결정될 수 있다. 추가 실시예에 따르면, 상기 방법은 원형 움직임의 1/4의 세그먼트들을 위해 미리-계산된 임계값들을 저장하는 룩-업 테이블을 이용하는 것을 더 포함할 수 있다. 추가 실시예에 따르면, 상기 오브젝트는 손가락, 손 또는 펜일 수 있다. 추가 실시예에 따르면, 상기 이동을 스캐닝하고 상기 오브젝트의 후속 위치 포인트들을 결정하는 것은 송신 전극을 통해 준-정적(quasi-static) 전기장을 발생시키는 센서 시스템에 의해 수행될 수 있고, 상기 센서 시스템은 적어도 2개의 수신 전극들을 포함한다.
또 하나의 실시예에 따르면, 오브젝트에 의해 수행되는 연속적인 원형 제스처를 검출하기 위한 방법은: 이동을 스캐닝함으로써 원형 이동을 수행하는 오브젝트의 이동을 검출하고 상기 오브젝트의 후속 위치 포인트들을 결정하는 것; 원형 이동의 반경의 감소를 검출하는 것 - 상기 반경의 감소는 두 개의 연속적인 위치 포인트들 사이의 속도 벡터의 섹터 라인이 중심 포인트와 상기 두 개의 위치 포인트들 중 이전의 위치 포인트를 지나는 라인과 교차할 때 검출됨 -; 및 상기 반경의 감소가 검출될 때 중심 포인트를 업데이트하는 것을 포함할 수 있다.
추가 실시예에 따르면, 교차 포인트와 상기 중심 포인트 사이의 거리의 일부를 상기 중심 포인트에 더함으로써 업데이트가 수행될 수 있다. 추가 실시예에 따르면, 중심 포인트 변경을 저역 통과 필터링함으로써 업데이트가 수행될 수 있다. 추가 실시예에 따르면, 상기 섹터 라인은 새로운 위치와 이전 위치 사이의 라인의 수직 이등분선일 수 있다. 추가 실시예에 따르면, 상기 섹터 라인은 상기 속도 벡터에 대해 90도와 다른 각도를 가질 수 있다. 추가 실시예에 따르면, 시계 방향 및 반시계 방향 움직임에 대해, 2개의 서로 다른 라인들이 고려될 수 있다. 추가 실시예에 따르면, 상기 방법은 가상 원형 이동의 기준 위치와 관련된 위치 포인트의 각도를 출력하는 것을 더 포함할 수 있다.
다른 또 하나의 실시예에 따르면, 연속적인 원형 제스처를 검출하기 위한 방법으로서, 가상 원형 이동의 중심 위치는 궤적을 따른 좌표의 국부적/전체적(local/global) 극값들에 의존하여 구성될 수 있다.
도 1은 선형 및 원형 배열의 용량형 슬라이더에 대한 전극들의 종래의 배치구조를 도시한 도면이다.
도 2는 근접장 제스처 검출 시스템의 정면에서의 원형 손 움직임에 대한 2D 위치 추정의 궤적을 도시한 도면이다.
도 3은 원(C) 상의 α 각에서의 점을 도시한 도면이다.
도 4는 두 개의 연속적인 속도 벡터들 사이의 각도를 도시한 도면이다.
도 5는 2D 평면에서 원에 접하는 동일한 방향을 갖는 두 개의 움직임 벡터들을 도시한 도면이다.
도 6은 2D에서 시계 방향 및 반시계 방향 이동의 궤도를 도시한 도면이다.
도 7은 이전 및 새로운 입력 위치로부터 중심 위치의 거리 비교를 도시한 도면이다.
도 8은 가상 중심점 위치(pc)의 업데이트 예를 도시한 도면이다.
도 9는 가상 중심 위치 업데이트, 4개의 극점들 및 측정된 각도를 도시한 도면이다.
도 10은 4개의 극값을 갖는 가상 중심 업데이트 예를 도시한 도면이다.
도 11은 원형 이동 분류를 도시한 도면이다.
도 12의 좌측은 실제 방향 변화를 도시하고, 우측은 잘못된 중심 추정으로 인한 잘못된 방향 변화의 검출을 도시하고 있다.
도 13의 상부는 점(8) 이후에 잘못된 방향 변화를 생성하는 잘못된 중심 추정을 도시하고, 하부는 임계점에서 잘못된 방향 반전을 검출하고 버퍼 내의 2개의 극값을 대체함으로써 상황을 정정하는 방향 검증을 도시하고 있다.
도 14는 선형 세그먼트들로 역(invers) 탄젠트의 근사를 도시한 도면이다.
도 15는 준-정적(quasi-static) 전기장 검출 방법을 사용하여 4개의 프레임 수신 전극들을 갖는 제스처 검출 전극 레이아웃을 도시한 도면이다.
도 2는 근접장 제스처 검출 시스템의 정면에서의 원형 손 움직임에 대한 2D 위치 추정의 궤적을 도시한 도면이다.
도 3은 원(C) 상의 α 각에서의 점을 도시한 도면이다.
도 4는 두 개의 연속적인 속도 벡터들 사이의 각도를 도시한 도면이다.
도 5는 2D 평면에서 원에 접하는 동일한 방향을 갖는 두 개의 움직임 벡터들을 도시한 도면이다.
도 6은 2D에서 시계 방향 및 반시계 방향 이동의 궤도를 도시한 도면이다.
도 7은 이전 및 새로운 입력 위치로부터 중심 위치의 거리 비교를 도시한 도면이다.
도 8은 가상 중심점 위치(pc)의 업데이트 예를 도시한 도면이다.
도 9는 가상 중심 위치 업데이트, 4개의 극점들 및 측정된 각도를 도시한 도면이다.
도 10은 4개의 극값을 갖는 가상 중심 업데이트 예를 도시한 도면이다.
도 11은 원형 이동 분류를 도시한 도면이다.
도 12의 좌측은 실제 방향 변화를 도시하고, 우측은 잘못된 중심 추정으로 인한 잘못된 방향 변화의 검출을 도시하고 있다.
도 13의 상부는 점(8) 이후에 잘못된 방향 변화를 생성하는 잘못된 중심 추정을 도시하고, 하부는 임계점에서 잘못된 방향 반전을 검출하고 버퍼 내의 2개의 극값을 대체함으로써 상황을 정정하는 방향 검증을 도시하고 있다.
도 14는 선형 세그먼트들로 역(invers) 탄젠트의 근사를 도시한 도면이다.
도 15는 준-정적(quasi-static) 전기장 검출 방법을 사용하여 4개의 프레임 수신 전극들을 갖는 제스처 검출 전극 레이아웃을 도시한 도면이다.
원형 제스처(회전식 손가락 움직임, 이하 "에어휠(AirWheel)"이라고도 함)는 제스처 검출 시스템에서 다양한 서로 다른 파라미터를 제어(예를 들면, 볼륨 또는 광 디밍(dimming) 제어 등)하기 위해 사용될 수 있다. 그러나, 비접촉 시스템에서의 움직임들은 종종 일관성이 없으며 감지하기 어려울 수 있고, 이는 종종 사용자 경험을 나쁘게 할 수 있다. 본원에 개시된 검출 방법들의 다양한 실시예들은 이러한 가능한 단점을 극복하도록 설계된다.
개시된 방법들은 임의의 유형의 사용자 입력 디바이스로 한정되지 않는다. 따라서, 그것은 어떠한 2D 또는 3D 검출 시스템에도 적용될 수 있다. 비접촉 제스처 검출 시스템이 도 15에 도시되어 있다. 이러한 3차원 제스처 검출 시스템들은 4-프레임 수신 전극 레이아웃을 갖는 준-정적 교류 전기장을 사용한다. 송신 전극(미도시됨)은 예를 들어 이 4개의 전극들(1510, 1520, 1530 및 1540) 아래에 배열될 수 있고, 수신 전극들(1510, 1520, 1530 및 1540)의 전체 영역을 덮거나 또는 수신 전극들(1510, 1520, 1530 및 1540)에 의해 둘러싸여 있을 수 있다. 다른 배치구조가 사용될 수 있다. 도 4에 도시된 바와 같은 속도 벡터들(v k)은 수신 전극들(1510, 1520, 1530 및 1540)로부터의 측정값들에 의해 결정될 수 있으며, 이 측정값들은 손가락-전극 간 거리가 감소함에 따라 증가(또는 측정 시스템에 따라서는 감소)한다. 이러한 시스템에서는 일반적으로, 송신 전극(미도시됨)이 예를 들어 마이크로컨트롤러 포트에 의해 생성된 30-200 kHz 구형파 신호를 사용하여 전기장을 생성하는데 사용되고, 복수의 수신 전극들(1510, 1520, 1530, 1540)은 오브젝트가 준-정적 전기장에 진입할 때 장내의 교란을 검출한다. 수신 전극들로부터의 신호들은, 이 신호들로부터 3차원 위치를 결정하도록 구성된 평가 장치에 공급된다. 준 정적 필드를 생성하기 위한 송신 신호는, 전형적으로 펄스들을 사용할 수 있는 용량형 터치 측정들과는 반대로, 전형적으로 측정 중에 송신 전극에 지속적으로 공급된다. 여기서 논의된 방법은 이러한 3차원 비(non)-터치 제스처 검출 시스템에 특히 유리할 수 있다. 또한, 모든 전극들(1510, 1520, 1530 및 1540)로부터의 데이터가 동일한 부호를 갖는, 즉 손가락이 모든 전극들에 접근/전극들을 떠나는, 제스처 검출 샘플들은 원 카운터를 업데이트하기 위해 무시될 수 있다. 그러나, 전술한 바와 같이, 상기 방법은 다양한 다른 2차원 또는 3차원 제스처 검출 시스템들에 적용될 수 있다.
제스처 검출 시스템은 시작과 정지 이벤트 사이의 오브젝트, 예컨대 손가락의 움직임을 결정한다. 오브젝트의 원형 이동을 검출하기 위해, 시작 및 정지 이벤트 동안 복수의 위치 측정이 이루어질 수 있고, 시스템이 3차원 위치를 검출할 수 있어도 위치들은 2차원 좌표계의 x-y 좌표로 변환될 수 있다. 샘플링 시간은 바람직하게는 초당 200 샘플일 수 있고, 시스템은 결정된 위치 값들과 관련 샘플링 시간들로부터 벡터 값들을 결정할 수 있다.
도 2는, 도 15에 도시된 바와 같은 전극 배열을 이용하는 근접장 제스처 검출의 정면에서의 원형 손 움직임에 대한 2D 위치 추정의 궤적을 도시한다. 도 2는 x 및 y 방향의 근접장 제스처 검출 시스템 전방에서의 원형 손가락 움직임의 2D 위치 추정의 궤적을 보여준다. 이 그림에서, 위치들은 검출 영역의 오른쪽 상단 부분에 표시되어 있다. 그러나, 손 자세에 따라, 추정된 위치는 또한 검출 영역의 다른 부분, 예컨대 좌측 하단에 놓일 수 있거나, 또는 검출된 궤적의 크기는 개인의 손가락 또는 손의 형상에 따라 더 크거나 작다. 그러나, 손 자세와는 관계없이, 이 움직임은 여전히 원형 이동으로서 검출될 것이다. 위치 결과들이 서로 다른 또 하나의 이유는 디폴트 파라미터 세트가 예를 들어 서로 다른 크기의 다수의 센서들에 사용되고, 고객이 시스템을 다시 파라미터로 나타낼 필요는 없지만, 기능성은 기존들로부터 벗어나(out-of-the-box) 제공되어야 하기 때문일 수 있다.
시각화를 위한 절대 각도 정보의 필요성에 대한 예는 다음과 같다: 광 스위치의 반투명 커버 플레이트에 접촉하는 손가락의 원형 이동은 커버 아래에 원으로 배열된 LED 세트 중 하나의 LED를 조명해야하지만, 반면에 조명이 켜진 LED는 손가락의 현재 위치에 해당하는 위치 또는 각도에 배치되는데, 즉 조명은 가상 원 상의 손가락 위치를 따른다.
요약하면, 절대 각도 정보의 수단을 제공하면서, 서로 다른 손 자세들 또는 원형 제스처의 스케일링 및 변환에 대한 허용 오차뿐만 아니라 부정확한 파라미터화에 대한 견고성이 본원에서 청구하는 주제에 대한 주요 동기가 된다.
다양한 실시예들에 따르면, 입력 위치들의 회전 방향을 평가하여 원형 이동을 검출할 수 있고, 가상 원 중심은 입력 위치들의 이력에 의존하여 업데이트되어 출력 각도 계산을 위한 기준으로서 사용될 수 있다.
출력 각도의 계산
출력 각도의 계산은 간단하다(straight forward): 각각의 새로운 입력 위치 
에 대해, 현재 가상 중심점(pc)으로부터 pnew로의 벡터와 양의 x-축 사이의 각도(α)가 반환된다. 그것은 예를 들면, (pnew - pc)의 4-사분면 역 탄젠트를 계산하여 구해진다. 이 출력 각은, 예를 들어 지터(jitter)를 줄이기 위해, 추가로 필터링될 수 있다.
중심 위치의
업데이트
본 개시의 핵심은 입력 위치들의 이력에 따라 가상 원의 중심 위치(이 위치와 관련하여 위치 각도가 계산됨)를 업데이트하는 것이다. 두 가지 접근법이 제안된다.
접근법 A:
중심 위치는 원형 궤적을 따라 몇 개의 특성 위치들을 결합함으로써(예컨대, 평균화함으로써) 업데이트된다. 이 위치들은 버퍼에 저장되는데, 각각의 버퍼 엔트리는 원형 궤도를 따라 특정한 특성 위치에 대응한다. 특성 위치들의 가능한 세트는 도 9에 도시된 바와 같이 X 또는 Y 좌표의 로컬 극값들이다. 특성 위치가 감지될 때마다, 먼저 버퍼 내의 해당 엔트리가 이 위치로 업데이트되고 그 다음에 중심 위치로 업데이트된다. 이것은 도 9에 도시되어 있다.
특성 위치들(이하, 극값들이라고도 함)은 현재 속도 벡터(υnew = pnew - pold)와 이전 속도 벡터(υold)를 계산하여 구해지고, 여기서 pold는 이전 입력 위치이다. υnew의 각도가 정의된 각도를 취하거나 초과하고 (또는 그 미만이고) υold의 각도가 동일한 정의 각도 미만이면(또는 초과하면), pold는 특성 위치로 간주되어 버퍼 내의 해당 엔트리에 저장되고 중심 위치(pc)가 업데이트된다. 정의된 각도들의 리스트는 pc를 계산하는데 사용되는 특성 위치들의 리스트를 결정한다.
상기 극값들은 손가락 또는 손과 같은 오브젝트에 의해 수행되는 각각의 완전한 원 운동 동안에 업데이트될 수 있다. 따라서, 새로운 극값은 보다 크거나 작을 수 있다. 도 10은, 가상 중심점이 위치를 변경하고 회전이 시계 방향으로 시작되어 방향을 바꾸는 궤적에 대해 4개의 극값을 사용하여 이 프로세스를 도시한다. 번호 매김은, 극값 위치들이 검출되어 버퍼에 저장되고 pc가 업데이트되는 시퀀스 내의 시간 인스턴스들을 나타낸다. 십자 기호들은 원 중심 위치의 변경 위치를 나타낸다. 도시된 바와 같이, 가장 좌측의 위치는 점(2)으로부터 점(6)으로 점(11)까지 변경된다. 가장 위쪽의 위치는 점(3)으로부터 점(7)으로 점(10)까지 변경된다. 가장 우측의 위치는 점(4)에서 점(9)으로 변경되고 그리고 가장 아래의 위치는 점(1)으로부터 점(5)으로 점(8)까지 변경된다.
실제로, 위치 버퍼와 중심 위치를 업데이트하기 위한 추가 조건들이 있다: 새로운 입력 위치(pnew)가 원형 이동의 일부분으로서 분류되고 속도(∥υnew∥)가 충분히 높으면(예컨대, 임계치보다 높으면), 업데이트는 명명된 시간 인스턴스들에서만 수행된다.
원형 이동의 분류는 현재 속도 벡터(υnew)와 현재 속도 벡터의 저역 통과 필터링된 버전(lpυ = lpf(υold)) 사이의 각도(Θ)를 계산함으로써 모든 입력 위치에 대해 수행된다. 원형 이동에서, υnew의 각도는 지속적으로 변화하고, 필터링 지연으로 인해 두 벡터들 사이에는 각도 차이가 있다. 이동이 비원형이나 오히려 선형이라면, υnew의 방향은 시간에 따라 거의 변화하지 않고 |Θ|는 전형적으로 작다. |Θ|는 샘플이 원형 이동에 속할 가능성의 지속적인 측정값으로서 사용될 수 있거나 또는 |Θ|는 이진 분류를 위해 고정 임계값과 비교될 수 있다. 도 11은, 궤도가 원형으로부터 예를 들어 선형으로 변화하고 υnew와 lpυ 사이의 각도 분리의 감소가 보이는 원형 분류 프로세스의 예를 도시한다.
선택적인 미조정(OPTIONAL REFINEMENT)
회전 방향이 하나인 원을 그리는 동안에 중심은 항상 속도 벡터의 동일한 쪽(side), 즉 시계 방향 회전의 경우 속도 벡터의 오른쪽 그리고 반 시계 방향 회전의 경우 속도 벡터의 왼쪽에 있어야 한다. 게다가 회전 방향이 바뀌면 그쪽만 변경된다. 위치가 빠르게 시프트하면 중심 위치 추정이 실패되어 따라서 보고된 출력의 회전 방향을 반전시킬 수 있다. 도 13에 (상부에) 도시된 바와 같이, 연속된 두 개의 원들은 큰 위치 오프셋을 가지며, 두 번째 원은 추정된 중심 위치가 여전히 원의 왼쪽과 바깥쪽에 있는 동안 완료될 수 있다. 이로 인해 의도하지 않은 출력 각도가 발생할 수 있다. 사실상 출력 각도는 원형 이동이 있었음을 실제로 암시하겠지만 반대 방향으로 원형 이동이 있었음을 암시할 것이다. 이 상황은 매우 특별한 경우에만 발생할 것으로 예상되는데, 왜냐하면 정상적인 사용에서 사용자는 동일한 지점을 중심으로 회전하는 경향이 있기 때문이다.
방향 검증은 이러한 빠른 위치 시프트로 인한 방향 반전을 방지하기 위한 특징이다. 실제 방향 변경에서, 이동은 전형적으로 먼저 감속한 다음 회전 방향을 반전시킨다. 중심 위치의 잘못된 추정에 의해 야기되는 출력 각도의 방향 변경에 있어서, 이동은 전형적으로 거의 감속하지 않는다. 따라서, 도 12에 도시된 바와 같이, 중심 위치가 속도 벡터와 관련하여 다른 측에 있고 그리고 속도가 감소하지 않았을 때마다, 잘못된 중심 추정이 검출된다.
속도 벡터와 관련하여 중심 위치가 쪽을 변경할 때에는, 방향 검증은 잘못된 중심 추정을 가정하지만, 속도는 크게 감소하지 않았다. 이 경우에 극값 버퍼 내의 가장 오래된 두 위치들이 즉시 업데이트되어 위치들 둘 다를 pnew로 대체하고, 이로써 추정된 중심 위치를 다시 속도 벡터의 정확한 측으로 신속하게 조정한다. 점 대체는 도 13에 (하부에) 도시되어 있으며, 여기서 극값 8 이후에 (버퍼 내의) 하단 및 좌측 극값들이 현재 위치로 대체되어 새로운 가상 중심을 만든다. 상기 대체는, 가상 중심들(8 및 9)이 명백히 원 밖에 있는 도 13(상부 도면)에서 이전에 발생한 잘못된 방향 변경의 영향을 수정한다.
이러한 접근법을 사용하면, 중심 위치가 갑자기 변경되기 때문에 출력 각도가 매끄럽지 않지만, 필터링을 사용하여, 오류가 있는 중심 추정의 효과를 성공적으로 완화시킬 수 있다.
접근법 B:
중심 위치는 새로운 위치와 중심점 사이의 거리가 이전 위치와 중심점 사이의 거리보다 작을 때, 즉 원의 반경이 업데이트 단계에서 감소될 때 업데이트된다.
가상 원의 반경이 감소하면, 즉, 중심 위치와 현재 입력 위치(pnew)까지의 거리(유클리드 거리)(rnew)가 중심 위치와 이전 입력 위치(pold)까지의 거리(rold)보다 작으면, 중심 위치(pc)가 업데이트된다. 이것은 도 7에 도시되어 있다. 앞에서 언급한 경우, 즉 rnew < rold이면, 현재 입력 위치(pnew)와 이전 입력 위치(pold) 사이의 라인의 수직 이등분선(PB)과 pc와 pold를 지나는 라인의 교차점(pIS)은 pc와 pold 사이에 있다. 이후에 중심점(pc)은 pIS 쪽으로 이동함으로써, 예를 들어 (pIS - pc)의 일부분을 pc에 더함으로써, 예컨대 1차 IIR 저역-통과 필터를 이용함으로써 업데이트되는데, 즉
pc = M·pc + (1 - M)·(pIS - pc)이고,
여기서 M은 IIR 필터의 메모리 계수이다.
도 8은 (x,y)=(80mm,0)에서 시작하는 예시적인 궤도에 대한 중심 위치(pc)의 업데이트를 도시한다.
시작 검출
출력 값들은 시작 및 정지 이벤트 사이에 생성될 수 있다. 시작 이벤트는 원형 궤도에 의해 그리고 예를 들어 소정의 임계 각도가 초과되었을 때 정의될 수 있다. 각도는 여러 측정 점들에 걸쳐 누적될 수 있으며, 임계값이 초과되었을 때 시작 이벤트가 발생할 수 있다.
다른 시작 기준이 적용될 수 있다. 특히, 3D 터치리스(touchless) 센서 시스템들에서는, 움직임이 감지되면 시작이 트리거될 수 있다.
알고리즘은 모든 새로운 입력 위치를 고려하여 절대 각도(α)를 계산하고, 그것이 극값인 것으로 판명되면 가상 중심 위치(pc)를 업데이트한다. 출력들은 시작 조건들이 충족되는 경우에만 보고된다.
시작을 감지하려면 최소 회전 각도에 도달해야하며 궤도는 원형이어야 한다. 이 회전 각도는 첫 번째 두 입력 위치들 이후의 연속적인 α 사이의, 또는 일정 시간 동안의 각도 변화들의 단순한 누적이다.
원형 궤적 분류는 (위에 설명된) 원형 이동 분류를 이용하여 버퍼, 바람직하게는 한정된 길이의 선입 선출(first-in-first-out) 버퍼를 채운다. 궤도가 원형일 가능성은 버퍼에 저장된 분류들을 평균화함으로써, 예를 들어 이진(binary) 이동 분류에 의해 얻어지는데, 그것은 총 버퍼 길이에 걸쳐 원형 이동을 나타내는 버퍼 엔트리들의 수로 정의된다. 상기 가능성이 소정 임계값을 초과하면, 궤도는 원형으로 간주된다.
추가로, 원형 이동이 시작되는 위치에 따라, 서로 다른 기능성들이 에어휠에 매핑될 수 있다. 예를 들어 일반 2D 터치패드를 사용하면, 터치 패드의 왼쪽 가장자리에서 움직임을 시작할 때 에어휠은 볼륨 제어를 할 수 있고, 오른쪽 가장자리에서 시작할 때에는 에어휠이 디스플레이의 밝기를 제어할 수 있다.
정지 검출
가능한 정지 검출 기술은 터치 해제의 검출, 또는 일정 시간 동안 움직이지 않는 손가락의 검출, 또는 터치 해제 이외의 다른 수단에 의해 검출되는 손가락/손의 제거, 예컨대 3D 센서 시스템으로부터의 손 제거를 포함한다.
궤도가 원형이 되는 것을 중단하면, 즉 원형 궤도의 가능성이 정의된 임계값보다 낮아지면, 정지가 검출될 수도 있다.
시작 및/또는 정지 검출은 또한 외부 수단에 의해, 예를 들면 키보드의 버튼을 누르거나/떼어놓음으로써, 트리거될 수도 있다.
리스트 1은 4개의 극점들을 갖는 접근법 A의 결과 알고리즘을 스케치한다.
리스트 1: 접근법 A를 이용한 중심 위치의
업데이트
리스트 2는 접근법 B의 결과 알고리즘을 스케치한다.
복잡성 축소
계산 복잡도를 줄이기 위해, 필요한 각도 분해능이 허용하면, 출력 각도를 계산하는데 사용되는 역 탄젠트 함수는 본 발명에서 제안하는 두 가지 방법으로 근사치를 계산할 수 있다.
- 선형 세그먼트들에 의한 역 탄젠트 함수의 근사화
역 탄젠트 함수는 선형 세그먼트들에 의해 근사화된다. 함수가 원점을 중심으로 점대칭이기 때문에, 양의 값들인 y와 x에 대해서만, 즉 제 1 사분면 또는 1/4 원에 대해서만 함수를 근사화하고, 그리고 출력 각도의 부호를 변경하고/변경하거나 y와 x의 부호들에 따라 π의 배수를 더하는 것으로 충분하다. 이것은 도 14에 도시되어 있으며, 도 14에서 세그먼트 경계들은 (y/x) ∈ {0,1,4,20}이며, 이는 출력 각도에서 π/22의 최대 에러를 발생시킨다.
- 원의 세그먼트화
역 탄젠트 함수의 분해능 또는 입도(granularity)에 대한 요구 사항이 훨씬 더 낮을 때에는, 효율적인 접근법은 1/4 원을 분할(segment)하고 좌표들 사이의 비율(y/x)에 대한 임계값들을 도입하여 세그먼트 및 그의 관련 각도를 출력 값으로 결정하는 것이다.
그 아이디어는 mk = tan(δk)의 임계값들을 갖는 미리 계산된 룩업 테이블을 생성하는 것이며, δk는 1/4 원의 세그먼트들을 분리하는 각도들이다. x와 y의 부호를 평가하면 사분면이 생성되고, y/x를 저장된 임계값들(mk)과 비교하면 하위-사분면(sub-quadrant) 정밀도가 산출된다.
예를 들어, 세그먼트 경계들을 나타내는 x 및 y 축을 사용하여 전체 원을 동일한 크기의 16개 세그먼트로 분할할 때에는, 각각의 사분면은 4개의 세그먼트를 포함한다. 제 1 사분면 내의 각도 δk ∈ {π/8, π/4, 3π/8}에서의 나머지 경계들은 값 mk = y/x ∈ {0.4142, 1, 2.4142}에 해당한다. 이 임계값들은 2의 거듭제곱들에 다소 가깝기 때문에 
으로 근사화될 수 있으며, 
의 종류(kind)의 비교들은 
와의 곱셈을 비트 시프트 연산들로 대체함으로써 더욱 단순화될 수 있다.
다른 실시예들에 따르면, 표준 2D 터치 패드 또는 동등한 위치 설정 디바이스가 주어지면, 예를 들면 터치 패드의 기하학적 중심에 인공의 고정 중심 위치가 도입될 수 있고, 추정/검출된 손가락 위치는 이 중심 위치와 관련해 고려되어 (예를 들어, 양의 x-축과의) 고유 각도를 산출할 수 있다. 이러한 구현의 결점은 선택된 중심 위치가 그려진 원 내에 있을 때에만 적절한 기능성이 제공될 수 있다는 점이다. 따라서 예를 들어 터치 패드의 오른쪽 상단 모서리에 그려진 작은 원이 인식되지 않을 수 있다.
다양한 실시예들에 따르면, 위에 논의된 방법은 다양한 디바이스들로 구현될 수 있다. 예를 들면, 원형 제스처는 하이파이(HiFi) 세트의 가상 볼륨 조절 휠의 제어와 유사하게 사용될 수 있다: 시계 방향 이동은 볼륨을 증가시키고 반시계 방향 이동은 볼륨을 감소시킨다.
또 하나의 실시예에 따르면, 예를 들어 원형 터치 패드로부터 알려진 임의의 유형의 미디어-플레이어 제어 기능성이 구현될 수 있다.
다른 또 하나의 실시예에 따르면, 광 스위치의 조광기 제어, 또는 예를 들어 속도 제어, 공기 상태 온도, 기계적 운동 기능 등과 같은 다양한 다른 기기 기능들의 제어는 본원에 개시된 방법들에 의해 구현될 수 있다.
또 하나의 실시예에 따르면, PC 마우스의 스크롤 휠을 대체하는 것이 구현될 수 있다.
위에 논의된 다양한 방법들은 다양한 센서 시스템들과 함께 사용될 수 있다. 2차원 센서를 갖는 이러한 센서/측정 시스템들의 예로는 터치 패널/터치 디스플레이, 2D 비디오 카메라 등이 있다. 3차원 검출 시스템의 경우, 개시된 방법들은 3D 비디오 카메라들, 3D 용량형 센서 시스템들 등과 함께 사용될 수 있으며, 여기서 3D 위치는 예를 들어 하나의 차원을 생략함으로써 2D 위치로 변환된다.
Claims (28)
- 오브젝트에 의해 수행되는 연속적인 원형 제스처를 검출하기 위한 방법으로서,
이동을 스캐닝함으로써 원형 이동을 수행하는 오브젝트의 이동을 검출하고,
상기 오브젝트의 후속 위치 포인트들을 결정하는 것을 포함하고,
가상 원형 이동의 기준 위치가 스캐닝된 위치 포인트들의 이력(history)에 따라 결정 및 조정(adapt)되고,
상기 기준 위치는 원 중심 위치이고, 상기 원 중심 위치는 원형 이동의 현재 출력 각도를 결정하기 위해 사용되고,
상기 원 중심 위치는 새로운 위치 포인트와 현재 중심 위치 사이의 거리가 이전 위치 포인트와 상기 현재 중심 위치 사이의 거리보다 작을 때 업데이트되는, 방법. - 제 1 항에 있어서,
상기 후속 위치 포인트들은 2차원 평면 내의 위치들로 변환되고, 복수의 후속 위치 포인트들의 극값들은 버퍼에 저장되는, 방법. - 제 2 항에 있어서,
상기 극값들은 상기 2차원 평면 내의 최좌측, 최우측, 최상측 및 최하측 위치를 포함하고, 상기 원 중심 위치는 상기 저장된 극값들로부터 결정되는, 방법. - 제 1 항에 있어서,
원형 이동은 현재 속도 벡터와 상기 현재 속도 벡터의 저역 통과 필터링된 버전 사이의 각도를 계산함으로써 검출되는, 방법. - 제 1 항에 있어서,
업데이트는 새로운 원 중심 위치와 현재 원 중심 위치 사이의 거리의 일부(a fraction)를 상기 현재 원 중심 위치에 가산함으로써 수행되는, 방법. - 제 1 항에 있어서,
업데이트는 원 중심 위치의 변화를 저역 통과 필터링함으로써 수행되는, 방법. - 제 1 항에 있어서,
현재 위치가 버퍼 내에 버퍼링되고, 이동이 원형 이동의 일부라고 결정될 때 그리고 속도 벡터가 소정의 속도 임계값보다 높을 때에만 상기 버퍼가 업데이트되는, 방법. - 제 1 항에 있어서,
제스처는 시작 이벤트와 정지 이벤트 사이에 결정되는, 방법. - 제 8 항에 있어서,
상기 시작 이벤트는 원형 궤도 및 소정 임계 각도에 의해 정의되는, 방법. - 제 9 항에 있어서,
현재 각도 측정치는 상기 시작 이벤트를 결정하기 위해 복수의 측정들에 걸쳐(over multiple measurements) 누적되는, 방법. - 제 8 항에 있어서,
상기 정지 이벤트는 소정 시간 주기 동안 어떠한 원형 이동도 검출되지 않을 때 결정되는, 방법. - 제 8 항에 있어서,
상기 정지 이벤트는 소정 시간 주기 동안 어떠한 이동도 검출되지 않을 때 결정되는, 방법. - 제 1 항에 있어서,
상기 오브젝트는 손가락, 손 또는 펜인, 방법. - 제 1 항에 있어서,
상기 이동을 스캐닝하고 상기 오브젝트의 후속 위치 포인트들을 결정하는 것은 송신 전극을 통해 준-정적(quasi-static) 전기장을 발생시키는 센서 시스템에 의해 수행되고, 상기 센서 시스템은 적어도 2개의 수신 전극들을 포함하는, 방법. - 오브젝트에 의해 수행되는 연속적인 원형 제스처를 검출하기 위한 방법으로서,
이동을 스캐닝함으로써 원형 이동을 수행하는 오브젝트의 이동을 검출하고,
상기 오브젝트의 후속 위치 포인트들을 결정하는 것을 포함하고,
가상 원형 이동의 기준 위치가 스캐닝된 위치 포인트들의 이력(history)에 따라 조정(adapt)되고,
현재 출력 각도가 (pnew - pc)의 역 탄젠트를 사용하여 결정되고,
pnew는 현재 위치 포인트이고, pc는 현재 원 중심 위치인, 방법. - 제 15 항에 있어서,
원형 이동은 원형 이동의 각 사분면의 세그먼트화된 이동(segmented movement)을 분석함으로써 결정되는, 방법. - 제 16 항에 있어서,
상기 원형 이동의 사분면의 세그먼트들에 대한 미리계산된 임계값들을 저장하는 룩업 테이블을 사용하는 것을 더 포함하는, 방법. - 오브젝트에 의해 수행되는 연속적인 원형 제스처를 검출하기 위한 방법으로서,
이동을 스캐닝함으로써 원형 이동을 수행하는 오브젝트의 이동을 검출하고,
상기 오브젝트의 후속 위치 포인트들을 결정하는 것을 포함하고,
가상 원형 이동의 기준 위치가 스캐닝된 위치 포인트들의 이력(history)에 따라 결정 및 조정(adapt)되고,
상기 기준 위치는 원 중심 위치이고, 상기 원 중심 위치는 원형 이동의 현재 출력 각도를 결정하기 위해 사용되고,
상기 후속 위치 포인트들은 2차원 평면 내의 위치들로 변환되고, 복수의 후속 위치 포인트들의 극값들이 버퍼에 저장되고,
상기 극값들은 궤적 상의 위치들의 세트를 포함하고,
각 포함된 위치(p)에 대하여(for each comprised position p), 2개의 관련된 속도 벡터들, p에서 시작하는 현재 속도 벡터 및 p에서 끝나는 이전의 속도 벡터가 존재하고,
상기 벡터들 중 하나의 각도는 정의된 각도보다 크거나 같고, 상기 벡터들 중 다른 하나의 각도는 상기 정의된 각도보다 작고, 또는, 상기 벡터들 중 하나의 각도는 정의된 각도보다 크고 상기 벡터들 중 다른 하나의 각도는 상기 정의된 각도보다 작거나 같고,
상기 원 중심 위치는 상기 저장된 극값들로부터 결정되는, 방법. - 제18항에 있어서,
원형 이동은 현재 속도 벡터와 상기 현재 속도 벡터의 저역 통과 필터링된 버전 사이의 각도를 계산함으로써 검출되는, 방법. - 오브젝트에 의해 수행되는 연속적인 원형 제스처를 검출하기 위한 방법으로서,
이동을 스캐닝함으로써 원형 이동을 수행하는 오브젝트의 이동을 검출하고,
상기 오브젝트의 후속 위치 포인트들을 결정하는 것,
원형 이동의 반경의 감소를 검출하는 것을 포함하며,
상기 반경의 감소는, 2개의 연속하는 위치 포인트들 사이의 속도 벡터의 섹터 라인(sector line)이 중심 포인트와 2개의 연속하는 위치 포인트들 중 더 오래된 위치 포인트를 통과하는 라인에 교차할 때 검출되고,
상기 반경의 감소가 검출되었을 때 중심 포인트를 업데이트하는 것을 포함하는, 방법. - 제 20 항에 있어서,
업데이트는 교차점과 상기 중심 포인트 사이의 거리의 일부(a fraction)를 상기 중심 포인트에 가산함으로써 수행되는, 방법. - 제 20 항에 있어서,
업데이트는 상기 중심 포인트의 변화를 저역 통과 필터링함으로써 수행되는, 방법. - 제 20 항에 있어서,
상기 섹터 라인은 새로운 위치와 오래된 위치 사이의 라인의 수직 이등분선인, 방법. - 제 20 항에 있어서,
상기 섹터 라인은 상기 속도 벡터에 대해 90도 다른 각도를 갖는(has an angle unequal 90 degrees with respect to), 방법. - 제 24 항에 있어서,
시계 방향 및 반시계 방향 이동에 대해, 2개의 서로 다른 라인들이 고려되는, 방법. - 제 20 항에 있어서,
상기 원형 이동의 기준 위치와 관련된 위치 포인트의 각도를 출력하는 것을 더 포함하는, 방법. - 삭제
- 삭제
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US201462072184P | 2014-10-29 | 2014-10-29 | |
| US62/072,184 | 2014-10-29 | ||
| US14/924,329 | 2015-10-27 | ||
| US14/924,329 US9971442B2 (en) | 2014-10-29 | 2015-10-27 | Human interface device and method |
| PCT/EP2015/075040 WO2016066717A1 (en) | 2014-10-29 | 2015-10-28 | Human interface device and method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20170104988A KR20170104988A (ko) | 2017-09-18 |
| KR102398042B1 true KR102398042B1 (ko) | 2022-05-13 |
Family
ID=55852645
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020177011605A KR102398042B1 (ko) | 2014-10-29 | 2015-10-28 | 휴먼 인터페이스 디바이스 및 방법 |
Country Status (7)
| Country | Link |
|---|---|
| US (1) | US9971442B2 (ko) |
| EP (1) | EP3213176A1 (ko) |
| JP (1) | JP6517932B2 (ko) |
| KR (1) | KR102398042B1 (ko) |
| CN (1) | CN107077294B (ko) |
| TW (1) | TWI703471B (ko) |
| WO (1) | WO2016066717A1 (ko) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20050134578A1 (en) * | 2001-07-13 | 2005-06-23 | Universal Electronics Inc. | System and methods for interacting with a control environment |
| US10444892B2 (en) * | 2015-10-07 | 2019-10-15 | Microchip Technology Incorporated | Capacitance measurement device with reduced noise |
| US9910586B2 (en) * | 2016-03-03 | 2018-03-06 | Lenovo (Singapore) Pte. Ltd. | Apparatus, method, and program product for detecting input gestures |
| JP6729338B2 (ja) * | 2016-12-13 | 2020-07-22 | ヤマハ株式会社 | 表示装置 |
| US10551945B2 (en) * | 2017-03-02 | 2020-02-04 | Texas Instruments Incorporated | Touch slider-position sensing |
| JP7170312B2 (ja) * | 2018-09-12 | 2022-11-14 | 国立大学法人 東京大学 | プログラム、情報処理装置、及び情報処理方法 |
| US11370415B2 (en) * | 2019-11-25 | 2022-06-28 | Ford Global Technologies, Llc | Systems and methods for adaptive user input boundary support for remote vehicle motion commands |
| DE102022102295A1 (de) | 2022-02-01 | 2023-08-03 | epitome GmbH | Verfahren zum Steuern einer Reinigungsvorrichtung |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110205175A1 (en) | 2010-02-25 | 2011-08-25 | Egalax_Empia Technology Inc. | Method and device for determining rotation gesture |
| WO2014132893A1 (ja) | 2013-02-27 | 2014-09-04 | アルプス電気株式会社 | 操作検知装置 |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3301079B2 (ja) * | 1990-06-18 | 2002-07-15 | ソニー株式会社 | 情報入力装置、情報入力方法、情報処理装置及び情報処理方法 |
| CN101390034B (zh) | 2004-01-29 | 2012-03-14 | 辛纳普蒂克斯有限公司 | 采用二维定位设备产生一维信号的方法及装置 |
| US8754858B2 (en) * | 2010-09-07 | 2014-06-17 | STMicroelectronics Aisa Pacific Pte | Method to parameterize and recognize circular gestures on touch sensitive surfaces |
| TWI455002B (zh) * | 2011-02-01 | 2014-10-01 | Edamak Corp | 近接手勢偵測裝置及方法 |
| CN102368290B (zh) * | 2011-09-02 | 2012-12-26 | 华南理工大学 | 一种基于手指高级特征的手势识别方法 |
| CN103365456A (zh) * | 2012-04-09 | 2013-10-23 | 宏碁股份有限公司 | 手势操作方法 |
| CN103677555B (zh) * | 2012-09-18 | 2018-09-04 | 南京中兴软件有限责任公司 | 一种屏幕图像显示方法和装置 |
| KR102090269B1 (ko) * | 2012-12-14 | 2020-03-17 | 삼성전자주식회사 | 정보 검색 방법, 그와 같은 기능을 갖는 디바이스 및 기록 매체 |
| CN103970328B (zh) * | 2013-02-05 | 2016-12-28 | 株式会社理光 | 触摸式或非触摸式的多输入点控制指令检测方法和装置 |
| JP6142564B2 (ja) * | 2013-02-18 | 2017-06-07 | コニカミノルタ株式会社 | 情報表示装置および表示制御プログラム |
| JP2014174801A (ja) * | 2013-03-11 | 2014-09-22 | Sony Corp | 情報処理装置、情報処理方法、及びプログラム |
| KR102091028B1 (ko) * | 2013-03-14 | 2020-04-14 | 삼성전자 주식회사 | 사용자 기기의 오브젝트 운용 방법 및 장치 |
| US9665204B2 (en) * | 2013-10-04 | 2017-05-30 | Microchip Technology Incorporated | Continuous circle gesture detection for a sensor system |
-
2015
- 2015-10-27 US US14/924,329 patent/US9971442B2/en active Active
- 2015-10-28 WO PCT/EP2015/075040 patent/WO2016066717A1/en active Application Filing
- 2015-10-28 KR KR1020177011605A patent/KR102398042B1/ko active IP Right Grant
- 2015-10-28 JP JP2017523506A patent/JP6517932B2/ja active Active
- 2015-10-28 EP EP15787987.5A patent/EP3213176A1/en active Pending
- 2015-10-28 CN CN201580057661.0A patent/CN107077294B/zh active Active
- 2015-10-29 TW TW104135650A patent/TWI703471B/zh active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110205175A1 (en) | 2010-02-25 | 2011-08-25 | Egalax_Empia Technology Inc. | Method and device for determining rotation gesture |
| WO2014132893A1 (ja) | 2013-02-27 | 2014-09-04 | アルプス電気株式会社 | 操作検知装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN107077294A (zh) | 2017-08-18 |
| EP3213176A1 (en) | 2017-09-06 |
| US9971442B2 (en) | 2018-05-15 |
| JP6517932B2 (ja) | 2019-05-22 |
| JP2017537387A (ja) | 2017-12-14 |
| CN107077294B (zh) | 2020-08-07 |
| WO2016066717A1 (en) | 2016-05-06 |
| TWI703471B (zh) | 2020-09-01 |
| KR20170104988A (ko) | 2017-09-18 |
| US20160124568A1 (en) | 2016-05-05 |
| TW201633065A (zh) | 2016-09-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102398042B1 (ko) | 휴먼 인터페이스 디바이스 및 방법 | |
| EP2891950B1 (en) | Human-to-computer natural three-dimensional hand gesture based navigation method | |
| KR102011169B1 (ko) | 광 폴오프에 기초한 깊이 이미지의 생성 기법 | |
| KR102335132B1 (ko) | 하나의 단일 감지 시스템을 이용하는 멀티 모드 제스처 기반의 상호작용 시스템 및 방법 | |
| US8933882B2 (en) | User centric interface for interaction with visual display that recognizes user intentions | |
| KR102262425B1 (ko) | 센서 시스템을 위한 연속적인 원형 제스처 검출 | |
| US20120274550A1 (en) | Gesture mapping for display device | |
| JP2012515966A (ja) | 物体の挙動を監視するためのデバイスおよび方法 | |
| CN105320275B (zh) | 可穿戴设备和操作可穿戴设备的方法 | |
| CN111095164A (zh) | 用于依据姿态来检测用户输入的方法和设备 | |
| KR102364328B1 (ko) | 은닉 마르코프 모델 기반 제스처 인식을 위한 방법 | |
| WO2014109262A1 (ja) | タッチパネルシステム | |
| US20120120029A1 (en) | Display to determine gestures | |
| US20180267688A1 (en) | Interaction method and device for controlling virtual object | |
| US9857878B2 (en) | Method and apparatus for processing gesture input based on elliptical arc and rotation direction that corresponds to gesture input | |
| CN105759955B (zh) | 输入装置 | |
| KR20150129419A (ko) | 사용자 입력 장치 및 그 방법 | |
| EP3059664A1 (en) | A method for controlling a device by gestures and a system for controlling a device by gestures | |
| JP2014006765A (ja) | 操作装置 | |
| TWI611343B (zh) | 觸控螢幕的操作方法及使用此操作方法的顯示模組 | |
| TW201145120A (en) | Object detection system | |
| KR20140097907A (ko) | 카메라 기반 명령 입력 장치 및 그 방법 | |
| JP2015132875A (ja) | 位置検出装置及びプログラム | |
| TW201504925A (zh) | 使用者介面的操作方法與電子裝置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |