KR102411010B1 - 3d 제스쳐 인식 - Google Patents

3d 제스쳐 인식 Download PDF

Info

Publication number
KR102411010B1
KR102411010B1 KR1020177003716A KR20177003716A KR102411010B1 KR 102411010 B1 KR102411010 B1 KR 102411010B1 KR 1020177003716 A KR1020177003716 A KR 1020177003716A KR 20177003716 A KR20177003716 A KR 20177003716A KR 102411010 B1 KR102411010 B1 KR 102411010B1
Authority
KR
South Korea
Prior art keywords
sensor cell
gesture
frequency
sensor
cell array
Prior art date
Application number
KR1020177003716A
Other languages
English (en)
Other versions
KR20170029000A (ko
Inventor
바흐라흐 랜 길라드
디미트리오스 림베로풀로스
제럴드 루벤 2세 디진
레예스 에덴 알레한드로 앨라니스
트랑 티. 타이
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20170029000A publication Critical patent/KR20170029000A/ko
Application granted granted Critical
Publication of KR102411010B1 publication Critical patent/KR102411010B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/046—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by electromagnetic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Social Psychology (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 설명은 3D 제스쳐 인식에 관한 것이다. 하나의 예시적인 제스쳐 인식 시스템은 제스쳐 검출 어셈블리를 포함할 수 있다. 제스쳐 검출 어셈블리는 센서 셀 어레이 및 상이한 주파수에서 센서 셀 어레이의 개개의 센서 셀로 신호를 전송할 수 있는 컨트롤러를 포함할 수 있다. 예시적인 제스쳐 인식 시스템은 또한, 상이한 주파수의 신호에 대한 개개의 센서 셀의 응답으로부터 센서 셀 어레이에 근접한 오브젝트의 파라미터를 결정할 수 있고, 파라미터를 사용하여 오브젝트에 의해 수행되는 제스쳐를 식별할 수 있는 제스쳐 인식 컴포넌트를 포함할 수 있다.

Description

3D 제스쳐 인식{3D GESTURE RECOGNITION}
터치 대응 디바이스와의 사람 상호작용은, 터치 센서를 통해 이들 디바이스의 표면에 일반적으로 제약된다. 그러나, 소형의 웨어러블 디바이스(예를 들면, 스마트 워치)로부터 대형 디스플레이까지의 범위에 이르는 컴퓨팅 디바이스의 사이즈 범위는 터치 센서를 주요 입력 매체로서 제한할 수 있다. 소형 스크린의 경우, 사람 손가락이 스크린의 일부분을 가릴 수 있고, 디스플레이의 가시성을 방해할 수 있기 때문에, 스크린을 터치하는 것은 본질적으로 문제점이 될 수 있다. 한편, 대형 디스플레이 상에서의 터치 센서와의 상호작용은 번거로울 수 있다. 몇몇 경우에서, 터치 센서에 의존하지 않는 유저 제스쳐를 검출할 수 있는 것이 유익할 수도 있다.
본 설명은 3D 제스쳐 인식에 관한 것이다. 하나의 예시적인 제스쳐 인식 시스템은 제스쳐 검출 어셈블리를 포함할 수 있다. 제스쳐 검출 어셈블리는 센서 셀 어레이 및 상이한 주파수에서 센서 셀 어레이의 개개의 센서 셀로 신호를 전송할 수 있는 컨트롤러를 포함할 수 있다. 예시적인 제스쳐 인식 시스템은 또한, 상이한 주파수의 신호에 대한 개개의 센서 셀의 응답으로부터 센서 셀 어레이에 근접한 오브젝트의 파라미터를 결정할 수 있고, 그 파라미터를 사용하여 오브젝트에 의해 수행되는 제스쳐를 식별할 수 있는 제스쳐 인식 컴포넌트를 포함할 수 있다.
상기 열거된 예는 독자(reader)를 돕기 위한 빠른 참조(quick reference)를 제공하도록 의도된 것이며 본원에서 설명되는 개념의 범위를 규정하도록 의도된 것은 아니다.
첨부의 도면은 본 문서에서 전달되는 개념의 구현예를 예시한다. 예시된 구현예의 피쳐는 첨부의 도면과 연계하여 취해지는 하기의 설명을 참조하여 더 쉽게 이해될 수 있다. 동일한 엘리먼트를 나타내기에 적합한 곳마다, 다양한 도면에서 동일한 참조 부호가 사용된다. 몇몇 경우에서, 유사한 엘리먼트를 구별하기 위해 참조 부호 이후에 괄호가 사용된다. 관련된 괄호가 없는 참조 부호의 사용은 그 엘리먼트를 총칭하는 것이다. 또한, 각각의 참조 부호의 가장 왼쪽의 숫자는, 그 참조 부호가 처음으로 도입되는 도면 및 관련 논의를 시사한다.
도 1 내지 도 4는, 본 개념의 몇몇 구현예와 부합하는 예시적인 3D 제스쳐 검출 어셈블리를 일괄적으로 예시한다.
도 5는, 본 개념의 몇몇 구현예와 부합하는 예시적인 3D 제스쳐 인식 시나리오를 예시한다.
도 6은, 본 개념의 몇몇 구현예와 부합하는 예시적인 3D 제스쳐 인식 시스템을 예시한다.
도 7 내지 도 9는, 본 개념의 몇몇 구현예와 부합하는 3D 제스쳐 인식 시스템 사용 시나리오를 예시한다.
도 10 내지 도 12는, 본 개념의 몇몇 구현예에 따른 예시적인 3D 제스쳐 인식 기술의 플로우차트이다.
본 설명은 실시간의 삼차원(three-dimensional; 3D) 제스쳐 인식에 관한 것이다. 본 개념은 디지털 디스플레이와의 무터치(touchless) 상호작용에 대한 신규의 접근 방식을 제공한다. 몇몇 구현예에서, 오브젝트(예를 들면, 사람 신체 부위)의 근접을 검출하기 위해 무선 주파수(radio frequency; RF) 센서 셀의 이차원(two-dimensional; 2D) 어레이가 사용될 수 있다. 시간에 걸쳐 센서 셀 어레이의 상이한 센서 셀로부터의 주파수 응답에서의 변화를 모니터링하는 것에 의해, 센서 셀 어레이 근처의 오브젝트가 삼차원적으로 추적될 수 있고, 제스쳐 인식(예를 들면, 제스쳐 식별)을 가능하게 한다. 거리 및 위치 분류를 위해 선택되는 주파수의 수를 감소시키는 것에 의해, 정확한 실시간의 3D 제스쳐 인식이 더 적은 리소스를 사용하여 수행될 수 있다. RF 센서 셀 어레이는 시선(line-of-sight) 없이 작동할 수 있고, 임의의 타입의 표면 뒤에 임베딩될 수 있고, 크기가 조정될 수 있고, 및/또는 다른 근접 감지 기술과 비교하여 전력 소비가 상대적으로 낮을 수 있다.
몇몇 구현예에서, 3D 제스쳐 인식 시스템은 3D 제스쳐 검출 어셈블리 및 제스쳐 인식 컴포넌트를 포함할 수 있다. 3D 제스쳐 검출 어셈블리는 상기에서 언급되는 RF 센서 셀의 2D 어레이를 포함할 수 있다. RF 센서 셀 어레이의 개개의 센서 셀은 오브젝트의 근접을 검출하기 위한 근접장 RF 근접 센서로서 작용할 수 있다. 오브젝트의 검출된 근접은 제스쳐 인식 컴포넌트에 의해 분석될 수 있고 제스쳐로서 식별(예를 들면, 인식)될 수 있다.
일반적으로, 오브젝트가 센서 셀 어레이의 개개의 센서 셀에 근접하면, 오브젝트의 근접은 개개의 센서 셀의 주파수 응답을 약간 교란시킬 수 있고, 오브젝트의 검출을 허용한다. 복수의 센서 셀을 2D 센서 셀 어레이 안으로 결합하는 것에 의해, 고해상도의 RF 기반의 3D 제스쳐 검출 어셈블리는 공간 및 시간에 걸쳐 오브젝트를 추적할 수 있다. 제스쳐 인식 컴포넌트는, 제스쳐를 식별하기 위해, 3D 제스쳐 검출 어셈블리에 의해 감지되는 정보를 사용할 수 있다.
제1 예시적인 RF 기반의 3D 제스쳐 검출 어셈블리
도 1 및 도 2는 제1 예시적인 RF 기반의 3D 제스쳐 검출 어셈블리(100)를 일괄적으로 예시한다. 도 1은 예시적인 RF 기반의 3D 제스쳐 검출 어셈블리(100)의 개략도이다. 이 예에서, 어셈블리(100)는 센서 셀 어레이(102)를 포함한다. 센서 셀 어레이(102)는 복수의 개개의 센서 셀(104)을 수반할 수 있다. 어셈블리는 또한, 다른 것들 중에서도, 컨트롤러(106), 센서 셀 드라이버(108), 스위칭 네트워크(110), 및/또는 전력 검출기(112)를 포함할 수 있다.
도 1에서 도시되는 바와 같이, 센서 셀(104)은 직선 그리드에서 행(row)으로 배열될 수 있다. 이 예에서, 행 1은 센서 셀[104(1), 104(2), 104(3), 및 104(4)]을 포함한다. 몇몇 구현예에서, 센서 셀 어레이(102)는, 행 2, 행 3, 및 행 N으로 나타내어지는 바와 같은, 센서 셀(104)의 추가적인 행을 포함할 수 있다. 대안적으로 또는 추가적으로, 몇몇 구현예에서, 센서 셀 어레이(102)는 센서 셀(104)의 더 많은 또는 더 적은 열을 포함할 수 있다. 비선형의 배열, 다중 방향의 배열, 및/또는 3D 배열을 비롯하여, 센서 셀의 다른 배열 및/또는 그룹화가 고려된다.
도 1에서 도시되는 예에서, 컨트롤러(106)는 센서 셀 드라이버(108)에 연결된다. 몇몇 경우에서, 컨트롤러(106)는, 센서 셀 어레이(102)로 신호를 전송하도록 센서 셀 드라이버(108)에게 지시할 수 있다. 도 1의 예에서 도시되는 바와 같이, 스위칭 네트워크(110)는 송신 스위치(114) 및 수신 스위치(116)를 포함한다. 스위칭 네트워크(110)는 또한, 송신 스위치(114)로부터 개개의 센서 셀(104)까지의 라인(118) 및 개개의 센서 셀(104)로부터 수신 스위치(116)까지의 라인(120)을 포함할 수 있다(도면 페이지 상에서의 혼란을 방지하기 위해, 라인(118 및 120) 중 단지 하나의 각각만이 지정된다). 이 경우, 스위칭 네트워크(110)는 송신 스위치(114)를 통해 센서 셀 드라이버(108)를 센서 셀 어레이(102)에 연결할 수 있다. 몇몇 경우에서, 컨트롤러(106)는, 센서 셀 드라이버(108)로부터 어떤 개개의 센서 셀(104)이 신호를 수신하는지를 결정하기 위해 송신 스위치(114)를 제어할 수 있다. 컨트롤러(106)는 또한, 개개의 센서 셀(104)로부터의 주파수 응답을 전력 검출기(112)로 전달하기 위해 수신 스위치(116)를 제어할 수 있다. 몇몇 경우에서, 전력 검출기(112)는 주파수 응답으로부터의 전력 판독치를 생성할 수 있고, 전력 검출기(112)는 전력 판독치를 컨트롤러(106)로 전송할 수 있다.
도 2는 예시적인 RF 기반의 3D 제스쳐 검출 어셈블리(100)의 확대 개략도이다. 이 경우, 센서 셀의 행 2, 행 3, 및 행 N은, 도면 페이지 상에서의 혼란을 방지하기 위해, 도시되지 않는다. 도 2에서, 센서 셀 드라이버(108)의 내부 컴포넌트를 나타내기 위해, 센서 셀 드라이버(108)의 확대 뷰가 제공된다. 이 예에서, 센서 셀 드라이버(108)는 필터(200)(예를 들면, 저역 통과 필터, RC 회로), 증폭기(202)(예를 들면, 앰프) 및 전압 제어 발진기(voltage controlled oscillator; VCO)(204)(예를 들면, VCO 칩)를 포함한다.
RF 기반의 3D 제스쳐 검출 어셈블리(100)의 예시적인 동작이 도 2와 관련하여 이제 설명될 것이다. 몇몇 구현예에서, 펄스 폭 변조(pulse width modulation; PWM) 출력(206)이 컨트롤러(106)로부터 센서 셀 드라이버(108)로 전송될 수 있다. 몇몇 구현예에서, 컨트롤러(106)는 상대적으로 낮은 전력의 및/또는 상대적으로 낮은 주파수의 컨트롤러일 수 있다. PWM 출력은 조정가능한 듀티 싸이클을 갖는 구형 펄스(square pulse)일 수 있다. 듀티 싸이클을 변경하는 것에 의해, DC 전압(208)의 레벨은 RC 필터(200)의 출력에서 변경될 수 있다. 증폭기(202)는 DC 전압(208)으로부터의 전압을 DC 전압(210)으로 상승시키기 위해 사용될 수 있다. 이 경우, DC 전압(210)은 VCO(204)의 입력 전압 범위 내에 있을 수 있다. DC 전압(210)의 입력을 사용하면, VCO(204)는 사인파(212)를 생성할 수 있다.
컨트롤러(106)는 또한 스위칭 네트워크(110)를 관리할 수 있다. 컨트롤러(106)는 디지털 출력(214 및 216)을 통해 개개의 센서 셀(104)을 선택할 수 있다. 디지털 출력(214 및 216)은 송신 스위치(114) 및 수신 스위치(116)로 전송될 수 있다. 도 2의 예에서, 사인파(212)는 송신 스위치(114)를 통과하여 라인(118)을 통해 개개의 센서 셀[104(4)]로 전송된다. 응답으로, 센서 셀[104(4)]은 라인(120)에서 사인파(218)를 출력할 수 있다. 수신 스위치(116)는 사인파(218)를 전력 검출기(112)로 지향시킬 수 있다. 몇몇 경우에서, 사인파(212)와 사인파(218) 사이의 주파수 시프트는, 센서 셀[104(4)] 위의 사람 손가락과 같은, 센서 셀(104)에 대한 오브젝트의 근접에 의해 야기되는 주파수 응답을 나타낼 수 있다. 추가적으로, 시프트의 크기는, 센서 셀(104)에 대한 오브젝트의 거리를 암시할 수 있다. 전력 검출기(112)는 사인파(218)를 DC 전압(220)으로 변환할 수 있다. 그 다음, DC 전압(220)은 A/D 변환기(222)에 의해 샘플링될 수 있는데, A/D 변환기(222)는 컨트롤러(106) 상에 임베딩될 수 있다.
이 경우, 컨트롤러(106)는, 개개의 센서 셀(104)을 멀티플렉싱하도록 스위칭 네트워크(110)에게 지시할 수 있다. 이 방식으로, 사인파(212)는 개개의 센서 셀(104)로 순차적으로 전송될 수 있다. 개개의 센서 셀(104)로부터의 복수의 주파수 응답은 오브젝트의 근접에 대해 분석될 수 있다. 몇몇 경우에서, 복수의 주파수 응답의 분석은 3D 제스쳐의 식별을 제공할 수 있다.
몇몇 구현예에서, VCO(204)의 입력 전압 범위는, 사인파(212)가 고주파(예를 들면, RF) 사인파(예컨대 6-8 GHz)가 되도록 하는 것일 수 있다. 이들 구현예에서, RF 기반의 3D 제스쳐 검출 어셈블리(100)의 컴포넌트 및 커넥터의 일부는 고주파 컴포넌트 및 커넥터일 것이다. 예를 들면, 도 2에서 도시되는 바와 같이, 점선 영역(224)은 고주파 컴포넌트 및 커넥터를 나타낼 수 있다. 점선 영역(224) 외부의 컴포넌트 및 커넥터는 저주파 및/또는 제어 컴포넌트로서 간주될 수 있다. 이 경우, 저주파 컨트롤러(106), RC 필터(200), 및 증폭기(202)는, VCO(204)가 고주파 사인파(212)를 생성할 수 있도록 셋업된다.
요약하면, 컨트롤러, RC 필터, 증폭기, 및 VCO를 활용하는 것에 의해, 고주파 사인파 신호가 상대적으로 낮은 비용 및 상대적으로 낮은 전력에서 생성될 수 있다. 추가적으로, 센서 셀 어레이를 멀티플렉싱하기 위해, 스위칭 네트워크가 사용될 수 있다. 오브젝트의 근접은, 센서 셀 어레이의 개개의 센서 셀에서 검출되는 주파수 응답에 의해 검출될 수 있다. 복수의 검출된 주파수 응답은 3D 제스쳐로서 식별될 수 있다.
제2 예시적인 RF 기반의 3D 제스쳐 검출 어셈블리
도 3 및 도 4는 제2 예시적인 RF 기반의 3D 제스쳐 검출 어셈블리(300)를 일괄적으로 예시한다. 도 3은 예시적인 RF 기반의 3D 제스쳐 검출 어셈블리(300)의 개략도이다. 이 예에서, 어셈블리(300)는 센서 셀 어레이(302)(센서 셀 어레이(302)는 도 1과 관련하여 설명되는 센서 셀 어레이(102)와 유사할 수 있음)를 포함한다. 센서 셀 어레이(302)는 복수의 개개의 센서 셀(304)(도면 페이지 상에서의 혼란을 방지하기 위해, 단지 하나의 센서 셀(304)만이 지정됨)을 수반할 수 있다. 이 경우에서는, 네 개의 열과 여덟 개의 행(도시되지만 지정되지는 않음)에 32개의 개개의 센서 셀(304)이 배열된다. 어셈블리(300)는 또한, 컨트롤러(306), 센서 셀 드라이버(308), 스위칭 네트워크(310), 및/또는 전력 검출기(312)(도 1의 대응하는 엘리먼트와 유사함)를 포함할 수 있다.
이 예에서, 센서 셀 드라이버(308)는 필터(314)(예를 들면, 저역 통과 필터, RC 회로)를 포함할 수 있는데, 필터(314)는 저항기(316) 및 커패시터(318)를 포함할 수 있다. 센서 셀 드라이버(308)는 또한, 증폭기(320) 및 전압 제어 발진기(VCO)(322)를 포함할 수 있다.
도 3에서 도시되는 예에서, 스위칭 네트워크(310)는 송신 스위치의 두 개의 층 및 수신 스위치의 두 개의 층을 회로 기판 상에 포함한다. 몇몇 경우에서, 회로 기판 상의 RF 라인의 수를 감소시키고 잠재적으로 최소화하기 위해 적층식 스위칭 네트워크가 사용될 수 있는데, 회로 기판 상의 RF 라인의 수를 감소시키고 잠재적으로 최소화하는 것은 신호의 잠재적인 교차 커플링을 감소시킬 수 있고 전력 소비를 감소시킬 수 있다. 다른 구현예에서, 센서 셀 어레이는, 도 3에서 도시되는 예보다 더 많은 또는 더 적은 개개의 센서 셀을 구비할 수 있다. 이들 경우에, 센서 셀 어레이를 지원하기 위해, 회로 기판 상에 더 많은 또는 더 적은 스위치, 스위치의 층, 및/또는 라인이 존재할 수 있다.
도 3의 예에서, 센서 셀 드라이버(308)로부터의 신호는, 갈륨 비소 금속 반도체 전계 효과 트랜지스터(gallium arsenide, metal-semiconductor field effect transistor; GaAs MESFET) 싱글 폴 포 쓰로우(single-pole, four-throw; SP4T) 송신 스위치(324)로 지향될 수 있다. 그 다음, 신호는 SP4T 송신 스위치(324)로부터 네 개의 GaAs MESFET 싱글 폴 에잇 쓰로우(single-pole, eight-throw; SP8T) 송신 스위치(326, 328, 330, 및 332)로 지향될 수 있다. 또한, 신호는 SP8T 송신 스위치(326, 328, 330, 및 332)로부터 여덟 개의 개개의 센서 셀(304) 중 임의의 것으로 지향될 수 있다. 개개의 센서 셀(304)을 통과한 이후, 신호는 대응하는 GaAs MESFET SP8T 수신 스위치(334, 336, 338, 또는 340)로 진행할 수 있다. 그 다음, 신호는 GaAs MESFET SP4T 수신 스위치(342)를 통과할 수 있고 전력 검출기(312)로 그 다음 A/D 변환기(344)로 진행할 수 있는데, A/D 변환기(344)는 컨트롤러(306)에 임베딩될 수 있다. 송신 및 수신 스위치에 대한 다른 재료 및/또는 명세가 고려된다.
몇몇 구현예에서, 어셈블리(300)는, 스위치를 제어하기 위한 복수의 RF 라인과 DC 제어 라인, 및 스위치에 전력을 인가하기 위한 DC 바이어스 라인을 구비할 수 있다. 이들 라인 모두는, 예를 들면, 50 옴의 임피던스를 가질 수 있다. 이들 라인 대부분은, 도면 페이지 상에서의 혼란을 방지하기 위해, 도 3에서 도시되지 않는다. 라인(346, 348, 350, 352, 및 354)은, 하기에서, 도 3 및 도 4와 관련하여 RF 기반의 3D 제스쳐 검출 어셈블리(300)의 동작을 설명하기 위해 사용될 것이다. 도 4는 도 3의 점선의 박스 영역(356)의 확대도를 제공하는 개략도이다.
도 4는, SP8T 송신 스위치(332), 여덟 개의 개개의 센서 셀[304(1-8)], 및 SP8T 수신 스위치(340) 사이의 연결 라인을 예시한다. 도면 페이지 상에서의 혼란을 방지하기 위해, 단지 두 개의 개개의 연결 라인(400 및 402)만이 지정된다. 도 4는 또한, 개개의 센서 셀[304(8)]의 확대도를 도시한다.
몇몇 구현예에서, SP8T 스위치(예를 들면, 326, 328, 330, 및 332)는 3 대 8 디코더(3-to-8 decoder)에 의해 전압 제어되는 RF 라인일 수 있다. 도 4에서 도시되는 예에서, SP8T 송신 스위치(332)는, 싱글 폴 RF 라인(SP4T 송신 스위치(324)에 연결됨), 여덟 개의 RF 쓰로우 라인[센서 셀(304(1-8)]에 연결됨, 라인(400)을 포함함], 여덟 개의 RF 쓰로우 라인(도시되지 않음)을 제어하기 위한 세 개의 전압 제어 라인, 및 DC 바이어스 라인(도시되지 않음)을 포함할 수 있다. SP8T 송신 스위치의 RF 라인은 양방향성일 수 있다. 따라서, SP8T 송신 스위치(332)에 대해, 싱글 폴 RF 라인은 입력 라인으로서 동작할 수 있고, 여덟 개의 RF 쓰로우 라인은 출력 라인으로서 기능할 수 있다. SP8T 수신 스위치(340)를 참조하는 경우, 이 동작은 반대로 될 수 있다.
마찬가지로, 도 3을 참조하면, SP8T 송신 스위치(326, 328, 330, 및 332)의 싱글 폴 RF 라인은 SP4T 송신 스위치(324)의 쓰로우 라인에 연결될 수 있다. SP4T 송신 스위치(324)의 RF 라인은 2 대 4 디코더에 의해 전압 제어될 수 있다. SP4T 송신 스위치(324)는, 하나의 싱글 폴 RF 라인(352); SP8T 송신 스위치(326, 328, 330, 및 332)에 연결되는 네 개의 RF 쓰로우 라인; 네 개의 RF 쓰로우 라인을 제어하기 위한 두 개의 전압 제어 라인(도시되지 않음); 및 DC 바이어스 라인(도시되지 않음)을 포함할 수 있다. SP4T 송신 스위치(324)의 RF 라인도 또한 양방향성일 수 있다. 따라서, SP4T 송신 스위치(324)에 대해, 싱글 폴 RF 라인(352)은 입력 라인으로서 동작할 수 있고, 네 개의 RF 쓰로우 라인은 출력 라인으로서 기능할 수 있다. SP4T 수신 스위치(342)를 참조하는 경우, 이 동작은 반대로 될 수 있다.
몇몇 구현예에서, RF 기반의 3D 제스쳐 검출 어셈블리(300)는 단일의 다층 회로 기판 상에 설계될 수 있다. 하나의 예에서, 모든 DC 라인(바이어스 라인 및 제어 라인)은 다층 회로 기판의 이면 상에 있을 수 있는데, 이것은 RF 신호와 DC 신호 사이에 절연성을 유지하는 것을 도울 수 있다.
도 4의 개개의 센서 셀[304(8)]의 확대도에서 도시되는 바와 같이, 센서 셀[304(8)]은 세 개의 층을 포함할 수 있다. 최상 층(top layer; 404)은 공진기 패치(resonator patch; 406)를 포함할 수 있다. 중간 층은, 두 개 포트의 반파장 커플링 대역 통과 필터(two-port, half-wavelength coupled bandpass filter; 408)일 수 있다. 대역 통과 필터(408)는, 입력 포트(410), 중간 스트립(412), 및 출력 포트(414)를 포함하는 세 개의 별개의 도전성 스트립을 구비할 수 있다. 입력 포트(410)는 라인(400)에 연결될 수 있고, 출력 포트(414)는 라인(402)에 연결될 수 있다. 센서 셀의 바닥 층은 접지면(416)일 수 있다. 어셈블리(300)가 단일의 다층 회로 기판 상에 설계되는 구현예에서, 접지면(416) 및 대역 통과 필터(408)는 동일면 도파관 구성에서 동일한 층 상에 존재할 수 있다. 이들 구현예는 다층 회로 기판의 단지 두 개의 기판만의 사용을 허용할 수 있다. 하나의 경우에서, 최상 층(404)은 1.6 mm의 두께를 가질 수 있다. 추가적으로, 센서 셀[304(8)]은 패시브 분산 인쇄 컴포넌트를 수반할 수 있고, 따라서 센서 셀[304(8)] 그 자체는 전력 소비의 소스가 아니다.
몇몇 구현예에서, 개개의 센서 셀(304)의 동작 주파수는 검출되고 있는 오브젝트(예를 들면, 사람 손가락)의 사이즈 및/또는 표면적에 대응할 수 있다. 예를 들면, 센서 셀(304)이 손가락의 표면적보다 더 크면, 손가락은 센서 셀(304)의 질의 구역(interrogation zone)에 크게 영향을 끼치지 않을 수도 있다. 따라서, 센서 셀(304)에 대한 손가락의 근접의 신뢰성 있는 검출을 위해, 센서 셀(304)의 사이즈는 평균적인 사람 손가락의 표면적과 유사할 수 있다. 도 4의 예에서, 개개의 센서 셀[304(8)]의 공진기 패치(406)는 15 mm의 길이와 15 mm의 폭을 가질 수 있다. 몇몇 경우에서, 중간 스트립(412)의 길이는 반파장 길이일 수 있는데, 중간 스트립(412)의 길이는 대역 통과 필터(408)의 동작 주파수를 결정할 수 있다. 몇몇 구현예에서, 중간 스트립(412)이 더 길수록, 대역 통과 필터(408)의 동작 주파수는 더 낮다. 따라서, 센서 셀(304)의 사이즈가 사람 손가락과 유사한 경우, 센서 셀(304)의 동작 주파수는 상대적으로 높은 주파수(예를 들면, RF), 예컨대 6-8 GHz의 범위일 수 있다.
몇몇 구현예에서, 센서 셀 어레이(302)(도 3)의 사이즈는 통상적인 사람 손의 사이즈보다 약간 더 클 수 있다. 예를 들면, 어셈블리(300)가 단일의 다층 회로 기판 상으로 설계되는 구현예에서, 회로 기판은, 다른 것들 중에서도, 210 mm의 길이와 195 mm의 폭을 가질 수 있다. 하나의 경우에서, 행 사이의 이격 거리는 6.5 mm일 수 있고, 열 사이의 이격 거리는 7.2 mm일 수 있다. 물론, 회로 기판 및/또는 RF 기반의 3D 제스쳐 검출 어셈블리 또는 그 컴포넌트 부품에 대해 다른 치수도 고려된다.
RF 기반의 3D 제스쳐 검출 어셈블리(300)의 예시적인 동작이 도 3 및 도 4와 관련하여 이제 설명될 것이다. 몇몇 구현예에서, 센서 셀(304)의 활성화는, 유저에 의해 수행되는 제스쳐와 같은 고유의 시그니쳐에 대해 분석될 수 있는 주파수 응답을 생성할 수 있다. 몇몇 경우에서, 복수의 주파수를 사용하여 센서 셀(304)을 활성화하는 것은, 단일의 주파수와는 반대로, 시그니쳐의 보다 상세한 특성 묘사(characterization)를 제공할 수 있다. 예를 들면, 복수의 주파수의 사용은 유저의 손가락 배치 및/또는 센서 셀(304)로부터의 복수의 거리에서의 제스쳐의 구별을 더 잘 설명할 수 있다. 따라서, 복수의 주파수의 사용은, 더 복잡한 3D 제스쳐의 식별을 가능하게 하는 것을 도울 수 있다. VCO(322)로부터의 복수의 주파수를 사용하여 센서 셀(304)을 활성화하기 위해, 어셈블리(300)는, 하기에 설명되는 바와 같이, 복수의 일정한 DC 전압 레벨을 VCO(322)로 전달하도록 구성될 수 있다.
도 3의 예를 참조하면, 컨트롤러(306)는 16 MHz의 마이크로컨트롤러(예를 들면, TI MSP430 CPU)일 수 있다. 이 예에서, 컨트롤러(306)는 낮은 전력 포락선을 가질 수 있고, 어셈블리(300)에 의해 활용되는 입력 및 출력의 타입을 지원할 수 있고, 어셈블리(300)의 동작을 위한 컴퓨팅 파워를 제공할 수 있다. 도 3의 라인(346)에서, 펄스 폭 변조(PWM) 출력이 컨트롤러(306)로부터 센서 셀 드라이버(308)로 전송될 수 있다. PWM 출력은 조정가능한 듀티 싸이클을 갖는 구형 펄스(square pulse)일 수 있다. 이 예에서, 컨트롤러(306)는 0 내지 3.3 V의 동작 전압 범위를 가질 수 있다. 따라서, PWM 출력은 일반적으로 0 V 또는 3.3 V에 있을 수 있다.
듀티 싸이클을 적절히 조정하는 것에 의해, 컨트롤러(306)로부터의 PWM 출력이 3.3 V에 있는 시간의 양은 제어될 수 있다. PWM 출력이 3.3 V에 있는 동안, RC 필터(314)의 커패시터(318)는 넌제로의 전압 레벨로 충전될 수 있다. 몇몇 경우에서, PWM 출력이 0 V에 있는 동안, 라인(348)에서의 RC 필터(314)의 출력은 0 V가 아니라, 충전된 커패시터(318)가 유지할 수 있는 전압 레벨에 있다. 시간에 걸쳐 커패시터(318)가 방전됨에 따라, 라인(348)으로의 RC 필터(314)의 출력 전압도 또한 감소할 수 있다는 것을 유의한다. 그러나, PWM 출력이 0 V와 3.3 V 사이에서 변동함에 따라, 커패시터(318)는 자동적으로 재충전되어, RC 필터(314)의 출력인 라인(348)에서 일반적으로 일정한 DC 전압을 유지할 수 있다. 따라서, 라인(348)에서의 일정한 DC 전압 레벨의 레벨은 346에서의 PWM 출력의 듀티 싸이클에 의존할 수 있는데, 이 경우에서는 일반적으로 0 V와 3.3 V 사이에 있다. 예를 들면, 1 V, 1.2 V, 1.4 V 등등과 같은 복수의 일정한 전압은 라인(348)에서 RC 필터(314)로부터 출력될 수 있다.
또한 이 예에서, 컨트롤러(306)로부터의 PWM 출력은 124 KHz의 주파수를 가질 수 있다. 센서 셀 드라이버(308)를 통해 원하는 전압 레벨을 획득하기 위해, PWM 출력의 듀티 싸이클은 조정될 수 있다. 일반적으로 더 높은 듀티 싸이클은 더 높은 출력 전압에 대응한다. 이 예에서, PWM 출력의 듀티 싸이클은 8 비트 레지스터에 의해 제어될 수 있고, 따라서 PWM 출력의 듀티 싸이클은 128개의 별개의 값을 취할 수 있다. 이들 128개의 값의 각각은 상이한 듀티 싸이클에 대응하고, 따라서, 하기에 설명되는 바와 같이, VCO(322)가 궁극적으로 상이한 주파수로 변환하는 상이한 출력 전압에 대응한다. 이 방식에서, 개개의 센서 셀(304)의 주파수 응답은 128개의 상이한 주파수에 대해 기록될 수 있다.
도 3에서 도시되는 예에서, 348에서의 DC 전압은 증폭기(320)로 진행할 수 있다. 몇몇 구현예에서, VCO(322)의 입력 전압 범위는 7-9 V일 수 있다. 이들 구현예에서, 증폭기(320)는 전압 레벨을 348에서의 DC 전압으로부터 350에서의 DC 전압으로 상승시키기 위해 사용될 수 있다. 이 경우, 350에서의 DC 전압은 7-9 V일 수 있고, VCO(322)의 입력 전압 범위 내에 있을 수 있다. 350에서의 7-9 V의 DC 전압 입력을 사용하여, VCO는 352에서 사인파를 생성할 수 있다. 이 경우, 352에서의 사인파는 상대적으로 높은 주파수, 예컨대 6-8 GHz일 수 있다. 이 방식에서, 사인파의 주파수는 센서 셀(304)의 동작 주파수에 대응할 수 있다. 대안적으로 또는 추가적으로, 다른 디바이스는 원하는 주파수의 신호를 센서 셀 어레이로 제공할 수 있다는 것을 유의한다. 예를 들면, 주파수 생성 디바이스가 센서 셀 어레이에 커플링될 수 있고 원하는 출력 주파수에서 디지털적으로 설정될 수 있다. 특정 주파수의 신호를 생성하기 위한 이들 및 다른 디바이스의 사용은, RF 기반의 3D 제스쳐 검출 어셈블리에 대해 고려된다.
컨트롤러(306)는, 송신 스위치 및 수신 스위치로 전송되는 디지털 출력을 통해 개개의 센서 셀(304)을 선택하도록 스위칭 네트워크(310)를 구성할 수 있다. 한 번에 단일의 센서 셀(304)만을 활성화하는 것에 의해, 어셈블리(300)에 걸친 전력 소비는 감소될 수 있다. 도 3의 예에서, 352에서의 사인파는 SP4T 송신 스위치(324)를 통해 SP8T 송신 스위치(332)로, 라인(400)(도 4 참조)을 통해 개개의 센서 셀[304(8)]로 전송될 수 있다. 다른 경우에서, 사인파는 SP8T 송신 스위치(326-332) 중 하나를 통해 다른 개개의 센서 셀(304)로 지향될 수 있다.
도 4에서 도시되는 예를 참조하면, 6-8 GHz의 사인파는 개개의 센서 셀[304(8)]로 지향될 수 있다. 이 예에서, 사인파 신호는 입력 포트(410)에서 전류를 여기시킬 수 있다. 전류는, 입력 포트(410)와 중간 스트립(412) 사이에서 용량성 커플링을 생성할 수 있다. 그 다음, 용량성 커플링은 중간 스트립(412)과 출력 포트(414) 사이에서 생성될 수 있다. 몇몇 경우에서, 대역 통과 필터(408)에 걸친 에너지의 용량성 커플링은 임의의 대역 내의 주파수의 신호가 송신되는 것을 허용할 수 있지만, 한편 임의의 대역 밖의 다른 신호는 억제될 수 있다. 상기에서 언급되는 바와 같이, 중간 스트립(412)의 길이는 반파장 길이일 수 있는데, 중간 스트립(412)의 길이는 대역 통과 필터(408)에 대한 동작의 주파수(예를 들면, 6-8 GHz)를 결정할 수 있다.
이 예에서, 대역 통과 필터(408)로부터의 에너지는, 대역 통과 필터(408) 위에 위치될 수 있는 공진기 패치(406)에 커플링될 수 있다. 몇몇 구현예에서, 공진기 패치(406)에 대한 에너지의 커플링은 두 개의 효과를 가질 수 있다. 첫째, 공진기 패치(406)는 7.8 GHz 근처의 제2 대역 통과 응답을 생성할 수 있다. 둘째, 공진기 패치(406)는 자신의 표면 위에서 작은 구역의 전자기장(예를 들면, 에너지)을 방출할 수 있다. 전자기장의 구역은 센서 셀[304(8)]에 대한 수직 감지 범위를 확립할 수 있다. 이 예에서, 센서 셀[304(8)] 위에 오브젝트를 배치하는 것은 전자기장의 구역을 교란시킬 수 있다. 몇몇 경우에서, 물을 함유하는 오브젝트는 전자기장의 구역을 교란시킬 수 있다. 물 함유 오브젝트는 신체 부위(예를 들면, 사람 손가락) 또는 무생물의 오브젝트(예를 들면, 물 분자를 포함하는 지팡이(wand) 또는 스타일러스, 등등)를 포함할 수 있다. 전자기장의 교란은 센서 셀[304(8)]의 주파수 응답을 변경할 수 있다. 변경된 주파수 응답(예를 들면, 주파수 시프트)은 센서 셀[304(8)] 위의 오브젝트의 수직 배치의 스펙트럼 시그니쳐로서 식별될 수 있다. 또한, 6-8 GHz 범위 내의 상이한 주파수의 사인파로 입력 포트(410)를 여기시키는 것에 의해, 복수의 주파수 응답이 기록되어, 센서 셀[304(8)]에 가까이 배치되는 오브젝트의 (예를 들면, x-y-z 기준축의 z축을 따른) 거리, (예를 들면, x-y-z 기준축의 x-y 평면에 대한) 위치, 및/또는 사이즈의 특성을 더 잘 묘사할 수 있다. 이 예에서, 대역 통과 필터(408)는 상대적으로 많은 양의 에너지가 입력 포트(410)로부터 출력 포트(414)로 송신되는 것을 허용할 수 있는데, 상대적으로 많은 양의 에너지가 입력 포트(410)로부터 출력 포트(414)로 송신되는 것을 허용하는 것은 수신된 전력 대 송신된 전력에서의 변화의 검출을 용이하게 할 수 있다.
변경된 주파수 응답은 센서 셀[304(8)]로부터 출력 포트(414)에서 라인(402)으로 출력 사인파로서 출력될 수 있다. 출력 사인파는, 이 경우, SP8T 수신 스위치(340)를 통과하고, SP4T 수신 스위치(342)를 통과하여, 전력 검출기(312) 상으로 전달될 수 있다. 전력 검출기(312)는 라인(354)에서 출력 사인파를 DC 전압으로 변환할 수 있다. 그 다음, DC 전압은 A/D 변환기(344)에 의해 샘플링될 수 있는데, A/D 변환기(344)는 컨트롤러(306) 상에 임베딩될 수 있다.
몇몇 구현예에서, 센서 셀을 통과하는 신호로부터의 응답 대신, 응답은 센서 셀로부터의 반사된 신호일 수 있다. 예를 들면, 측정은 종단 센서 셀로부터 반사되는 신호로 이루어질 수 있다. 이 예에서, 스위칭 네트워크는 신호를 센서로 전송할 수 있고 동일한 라인을 통해 센서 셀로부터 응답을 수신할 수 있다.
몇몇 구현예에서, RF 기반의 3D 제스쳐 검출 어셈블리는 전력 검출기 없이 설계될 수 있을 것이다. 전력 검출기의 사용 대신, 개개의 센서 셀의 출력에서의 신호가 주어진 주파수에서 개개의 센서 셀의 입력에서의 신호와 직접적으로 혼합될 수 있을 것이다. 이것은 주어진 주파수에서 개개의 센서 셀의 송신 응답을 나타내는 DC 전압을 제공할 수 있을 것이다. RF 기반의 3D 제스쳐 검출 어셈블리로부터 전력 검출기를 제거하는 것은, 어셈블리의 전체적인 전력 소비를 낮출 수 있을 것이다.
요약하면, 몇몇 구현예에서, 3D 제스쳐 검출 어셈블리는 RF 센서 셀 어레이, 컨트롤러, 센서 셀 드라이버, 및 스위칭 네트워크를 포함할 수 있다. 하나의 예에서, 컨트롤러는 고주파(예를 들면, 6-8 GHz) 신호를 RF 센서 셀 어레이로 공급하도록 센서 셀 드라이버에게 지시할 수 있다. 컨트롤러는 스위칭 네트워크에게 신호를 수신할 개개의 센서 셀을 선택하도록 지시할 수 있다. 개개의 센서 셀로부터의 주파수 응답은 수집될 수 있다. 한 범위의 주파수 응답을 효율적으로 수집하기 위해, 컨트롤러는 특정 주파수를 선택할 수 있고 제1 및 그 다음 추가적인 선택된 주파수에서 어레이의 선택된 센서 셀로 신호를 전송하도록 센서 셀 드라이버에게 지시할 수 있다. 주파수 응답의 수집된 범위는 특정 3D 제스쳐로서 식별될 수 있다.
몇몇 구현예에서, RF 센서 셀 어레이의 개개의 센서 셀은, 3D 제스쳐 검출 어셈블리의 전력 및 계산 리소스 소비를 감소시키기 위해 높은 레이트에서 멀티플렉싱될 수 있다. 예를 들면, 단일 주파수의 입력 신호를 사용하여 임의의 주어진 시간에 단지 하나의 센서 셀이 활성화될 수 있다. 한 번에 하나의 센서를 활성화하는 것은, 입력 신호를 센서로 구동하기 위해 사용되는 순간 전력을 감소시킬 수 있다. 추가적으로, 한 번에 하나의 센서를 활성화하는 것은, 감지 주파수를 감소시킬 수 있고, 따라서 계산 비용을 감소시킬 수 있다. 효율성을 더 향상시키기 위해, 높은 제스쳐 인식 레이트를 제공하는 입력 신호 주파수를 선택하기 위해, 피쳐 선택 분석이 사용될 수 있다.
RF 센서 셀 어레이는 더 작은 또는 더 크 디바이스로 크기가 조정될 수 있다. 몇몇 구현예에서, 더 작은 또는 더 큰 3D 제스쳐 검출 어셈블리는, RF 센서 셀을 추가하거나 또는 센서 셀 어레이로부터 RF 센서 셀을 제거하는 것에 의해 달성될 수 있다. 추가적으로, 근접 감지의 유효 범위 및/또는 감도는, 개개의 센서 셀의 사이즈를 변경하는 것에 의해 조정될 수 있다.
일반적으로, RF 센서 셀의 특성은, RF 센서 셀 어레이가, 여전히 실시간 제스쳐 인식을 가능하게 하면서, 임의의 타입의 표면 뒤에/아래에 임베딩될 수 있는 특성일 수 있다. 예를 들면, 센서 셀 어레이를 재료의 뒤에 임베딩된 상태에서, 스크린, 디스플레이, 보호 커버, 등등에 대해 아주 다양한 재료가 사용될 수도 있다. RF 센서 셀 어레이와 검출된 오브젝트 사이에 추가되는 표면 또는 오브젝트는, 센서 셀 어레이의 개개의 센서 셀의 주파수 응답에서 일정한 시프트로서 나타날 수 있고, 따라서 3D 제스쳐 검출 어셈블리의 캘리브레이션 동안 고려될 수 있다.
추가적으로, RF 센서 셀 어레이는 검출된 오브젝트에 대한 시선 없이 실시간의 제스쳐 인식을 가능하게 할 수도 있다. 예를 들면, 유저의 포켓 안의 3D 제스쳐 검출 어셈블리 및/또는 디바이스는 유저의 포켓 외부의 오브젝트를 검출할 수 있을 것이다. 예를 들면, 유저는 그의 전화기를 그의 포켓 안에 넣어 둘 수 있을 것이고 포켓 외부에서 그의 손으로 제스쳐를 수행할 수 있을 것이다. 이 예에서, 전화기에 임베딩되는 제스쳐 검출 어셈블리는 포켓의 직물을 통해 제스쳐를 인식할 수 있을 것이다.
도 3에서 예시되는 경우에서, 센서 셀 드라이버(308)는 스위칭 네트워크(310)를 통해 복수의 개개의 센서 셀(304)에 공급하는 신호의 단일 소스로서 간주될 수 있다. 몇몇 구현예에서, 제스쳐 검출 어셈블리는 하나보다 많은 신호 소스를 포함할 수 있을 것이다. 예를 들면, 제스쳐 검출 어셈블리는 상이한 주파수 범위를 갖는 신호를 두 세트의 센서 셀로 공급하는 두 개의 신호 소스를 포함할 수 있을 것이다. 이 경우, 두 세트의 센서 셀은 각각의 신호 소스에 대응하는 입력 주파수 범위를 가질 수 있을 것이다. 복수의 주파수 범위는 오브젝트 검출 및/또는 제스쳐 인식에 대해 더 넓은 범위를 허용할 수 있을 것이다. 제스쳐 검출 어셈블리의 컴포넌트의 수 또는 명세의 다른 변화도 고려된다.
RF 기반의 3D 제스쳐 인식 시나리오 예
도 5는 예시적인 3D 제스쳐 인식 시나리오(500)를 예시한다. 이 예에서, 센서 셀 어레이(502)는 복수의 개개의 센서 셀(504)을 포함할 수 있다. 센서 셀 어레이(502)는 도 1과 관련하여 설명되는 센서 셀 어레이(102) 및/또는 도 3과 관련하여 설명되는 센서 셀 어레이(302)와 유사할 수 있다. 몇몇 구현예에서, 센서 셀 어레이(502)는, 도 3 및 도 4와 관련하여 상기에서 설명되는 어셈블리(300)와 같은 RF 기반의 3D 제스쳐 검출 어셈블리 상에 포함될 수 있다. 시나리오(500)에서, 검출되고 있는 오브젝트는 유저(506)의 손이다. 이 경우, 유저(506)는 센서 셀 어레이(502)와 상호작용할 수 있다. 예를 들면, 유저(506)는 세 개의 사례 1, 사례 2, 및 사례 3에 의해 나타내어지는 제스쳐를 수행할 수 있다. 이 예에서, 제스쳐 인식 컴포넌트(508)는 유저(506)에 의해 수행되는 제스쳐를 인식할 수 있다.
일반적으로, 제스쳐 인식 컴포넌트(508)에 의한 제스쳐 식별은 오브젝트 및/또는 오브젝트의 파라미터를 감지하는 능력을 포함할 수 있다. 파라미터는, 다른 파라미터 중에서도, 3D 공간에서의 오브젝트의 방위, 오브젝트의 프로파일(예를 들면, 형상, 외형), 및/또는 시간의 지속 기간에 걸친 오브젝트의 움직임을 포함할 수 있다. 하나의 예에서, 오브젝트는 유저의 손일 수 있다. 유저의 손이 3D 제스쳐 검출 어셈블리 위에서 호버링할 때, 개개의 센서 셀은 손의 상이한 부위, 손의 방위, 손의 프로파일(예를 들면, 하나 이상의 손가락의 위치에서의 변화), 및/또는 다른 파라미터를 감지할 수 있다. 제스쳐 인식 컴포넌트(508)는 유저의 제스쳐 또는 다른 입력을 식별하기 위해, 감지된 파라미터의 일부 또는 전체를 사용할 수 있다.
3D 공간에서의 오브젝트의 방위는, 센서 셀 어레이에 대한 오브젝트의 2D 위치 및 또한 개개의 센서 셀로부터의 오브젝트의 거리를 포함할 수 있다. 도 5의 세 개의 사례는 센서 셀 어레이(502)에 대해 위치를 변경하는 유저의 손을 도시한다. 도 5에서 도시되는 예에서, 손이 x-y-z 기준축의 x축을 따라 좌측에서 우측으로 이동하는 것에 의해 센서 셀 어레이(502)에 대한 위치를 변경함에 따라, 센서 셀(504)의 상이한 서브셋의 주파수 응답은 변할 수 있고/있거나 교란될 수 있다. 마찬가지로, 손은 y축을 따라 센서 셀 어레이(502)의 상부에서 하부로 이동하는 것에 의해 위치를 변경할 수 있다. 상이한 손 위치에 대한 교란을 추적하는 것은, 센서 셀 어레이(502)의 표면의 2D 공간에서의 손 추적을 근사할 수 있다.
도 5에서 도시되는 예에서, 사례 1은 x축을 따라 센서 셀 어레이(502)의 좌측 근처에 있는 유저(506)의 손을 도시한다. 사례 2는 대략적으로 센서 셀 어레이(502) 중앙 근처에 있는 손을 도시한다. 사례 3은 센서 셀 어레이(502)의 우측 근처에 있는 손을 도시한다. 이 경우, 유저(506)가 그의 손을 센서 셀 어레이(502)에 걸쳐 좌에서 우로 스와이핑함에 따라, 상이한 개개의 센서 셀(504)은, 사선으로 나타내어지는 바와 같이, 손의 근접에 의해 야기되는 주파수 시프트를 등록할 수 있다. 도 5에서, 도면 페이지 상에서의 혼란을 방지하기 위해, 단지 네 개의 센서 셀[504(1-4)]이 지정된다. 사례 1에서, 센서 셀[504(1)][뿐만 아니라 다른 지정되지 않은 센서 셀(504)]은 주파수 시프트를 등록하고 있다. 사례 2에서, 센서 셀[504(2) 및 504(3)]은 주파수 시프트를 등록하고 있고, 센서 셀[504(1)]은 주파수 시프트를 더 이상 판독하고 있지 않다. 사례 3에서, 센서 셀[504(4)]은 주파수 시프트를 등록하고 있다. 이 경우, 제스쳐 인식 컴포넌트(508)는 센서 셀 어레이(502)의 출력으로부터 손을 검출할 수 있고, 센서 셀 어레이(502) 위에서 좌측에서 우측으로의 손의 움직임을 식별할 수 있고, 오브젝트의 움직임을 스와이프 제스쳐로서 식별할 수 있다.
도 5에서 예시되는 예에서, 센서 셀 어레이(502)의 표면에 평행한 이차원에서의 위치 및/또는 움직임이 도시된다. 대안적으로 또는 추가적으로, 센서 셀 어레이(502)는 또한, 삼차원에서의 수직 움직임을 검출하기 위해 사용될 수 있다. 예를 들면, 유저(506)는 또한, x-y-z 기준축의 z축을 따라, 센서 셀 어레이(502)의 표면으로부터 멀어지게 자신의 손을 들어 올릴 수 있거나 또는 센서 셀 어레이(502)의 표면을 향해 자신의 손을 아래로 낮출 수 있다. 이 예에서, 손이 z축을 따라 움직임에 따라, 센서 셀(504)로부터의 거리는 변할 수 있다. 대응하는 센서 셀(504)로부터의 유저(506)의 손의 거리에서의 변화는 또한, 주파수 응답에서의 변화 및/또는 이들 센서 셀(504)의 신호 강도에서의 변화로 나타날 수 있다. 일반적으로, 센서 셀 어레이(502)에 대한 오브젝트의 위치 및 거리의 조합은, 센서 셀 어레이(502)에 대한 오브젝트의 3D 방위로서 간주될 수 있다.
상기에서 언급되는 바와 같이, 몇몇 구현예에서, 3D 제스쳐 검출 어셈블리는, 유저의 손과 같은 오브젝트의 상이한 부분을 감지하기 위해 사용될 수 있다. 이 예에서, 제스쳐 인식 컴포넌트(508)에 의해, 손의 프로파일에서의 변화가 검출될 수 있고 제스쳐로서 식별될 수 있다. 예를 들면, 제스쳐는, 유저가 자신의 집게 손가락을 반복적으로 폈다가 굽힘에 따라 유저에 의해 이루어지는 한 손가락 스크롤링 액션일 수 있다. 이 사례에서는, 손이 3D 제스쳐 검출 어셈블리 위의 제자리에서 호버링하고 있을 수도 있기 때문에, 손의 전체적인 방위는 시간에 걸쳐 변하는 것으로 간주되지 않을 수도 있다. 그러나, 제스쳐 인식 컴포넌트(508)는, 집게 손가락의 방위가 변함에 따라, 손(및/또는 손가락의 z축 거리)의 프로파일에 대한 변화를 검출할 수 있다. 이 경우, 제스쳐 인식 컴포넌트(508)는 프로파일에서의 변화를 스크롤링 제스쳐로서 식별할 수 있다.
추가적으로, 상기에서 언급되는 바와 같이, 센서 셀(504)을 여기시키기 위한 복수의 주파수의 사용은, 더 복잡한 3D 제스쳐의 식별을 가능하게 하는 것을 도울 수 있다. 예를 들면, 6.6 GHz의 단일의 주파수의 신호를 사용하여 여기되는 센서 셀(504)로부터의 주파수 응답은, 5 mm의 거리에 있는 손에 대해서 20 mm의 다른 거리에 있는 손에 대해서와 실질적으로 동일할 수 있다. 그러나, 센서 셀(504)을 여기시키기 위해 6.6 GHz 근처의 주파수 대역에 걸친 신호가 사용되면, 5 mm의 거리에 있는 손에 대한 주파수 응답과 20 mm의 거리에 있는 손에 대한 주파수 응답이 구별될 수 있다. 제스쳐 인식 컴포넌트(508)는 센서 셀(504)로 전송되는 신호의 주파수에 의해 부분적으로 제스쳐를 식별할 수 있다. 또한, 몇몇 구현예에서, 제스쳐 인식 컴포넌트(508)는 복수의 근접한 오브젝트를 동시에 검출하고 구별할 수 있다.
도 5에서 도시되는 예에서, 센서 셀 어레이(502)는 32개의 센서 셀(504)을 포함할 수 있는데, 32개의 센서 셀(504)은, 오브젝트의 존재 하에서 시그니쳐에 대해 분석될 수 있는 피쳐의 주어진 세트(예를 들면, 선택된 주파수)에 대해 32개의 주파수 응답을 생성할 수 있다. 몇몇 경우에서, 전체적으로 낮은 전력 소비를 가능하게 하기 위해, 32개의 센서 셀(504)을 개별적으로 여기시키는 것이 바람직할 수 있다. 그러나, 실시간의 제스쳐 인식을 가능하게 하기 위해, 유저(506)가 제스쳐를 수행하는 것보다 더 빠른 복수의 상이한 주파수에서 32개의 센서 셀로부터의 주파수 응답을 스캔하는 것이 바람직할 수 있다. 따라서, 한 번에 단지 하나의 센서 셀(504)이 여기될 때 상대적으로 짧은 시간에 복수의 주파수에 걸쳐 센서 셀 어레이(502)의 스캔을 완료하기 위해, 임의의 멀티플렉싱 전략 및/또는 머신 학습 기술이 사용될 수 있다.
몇몇 구현예에서, 각각의 센서 셀(504)을 스캔하기 이전에 주파수를 리셋하는 것보다, 복수의 센서 셀(504)에 걸쳐 단일의 주파수를 스캔하는 것이 상대적으로 더 빠를 수 있다. 이 이유 때문에, 제2 주파수로 변경하기 이전에, 센서 셀 어레이(502)의 많은 센서 셀(504)이 제1 주파수에서 샘플링될 수 있다. 추가적으로 또는 대안적으로, 모든 주파수를 스캔하는 것이 필요하지 않을 수도 있다. 예를 들면, 스캔되는 주파수의 수를 감소시키기 위해, 피쳐 선택 기술이 사용될 수 있다. 예시적인 피쳐 선택 기술은 도 10 및 도 11과 관련하여 설명된다.
몇몇 구현예에서, 센서 셀 어레이(502)의 주파수 응답의 스캔이 일단 완료되면, 호스팅 디바이스는 유저(506)의 손의 위치 및 거리를 계산하기 위해 추론 알고리즘을 사용할 수 있다. 도 5에서 도시되는 예에서, 제스쳐 인식 컴포넌트(508)는, 센서 셀 어레이(502)에 걸쳐 측정되는 스칼라 전력 출력 값의 상대적 강도로부터, x 및 y 축에 대한, 사례 1, 사례 2, 및/또는 사례 3에서의 유저(506)의 손의 2D 위치를 계산할 수 있다. 추가적으로, 제스쳐 인식 컴포넌트(508)는 임의의 개개의 센서 셀(504)로부터의 손의 거리를, 그 개개의 센서 셀(504)에서의 스칼라 전력 출력 값의 크기로부터 계산할 수 있다. 따라서, 시간에 걸쳐 개개의 센서 셀(504)로부터의 주파수 응답에서의 변화를 모니터링하는 것에 의해, 제스쳐 인식 컴포넌트(508)는 손의 움직임을 삼차원적으로 추적할 수 있고, 움직임을 3D 제스쳐로서 실시간 식별할 수 있다.
시스템 예
도 6은 본 개념을 달성하기 위한 예시적인 3D 제스쳐 인식 시스템(600)을 도시한다. 도 7 내지 도 9는 본 개념과 부합하는 예시적인 3D 제스쳐 인식 디바이스 사용 시나리오를 도시한다.
설명의 목적을 위해, 도 6은 다섯 개의 예시적인 3D 제스쳐 검출 디바이스[602(1), 602(2), 602(3), 602(4), 및 602(5)]를 도시한다. 도 6에서 도시되는 바와 같이, 디바이스[602(1)]는 태블릿 타입 디바이스일 수 있고, 디바이스[602(2)]는 가정용 기기(appliance)(예를 들면, 냉장고)일 수 있고, 디바이스[602(3)]는 스마트형 개인용 및/또는 웨어러블 디바이스(예를 들면, 스마트 워치)일 수 있고, 디바이스[602(4)]는 디지털 화이트보드(또는 다른 대형 디스플레이 또는 스크린)일 수 있고, 디바이스[602(5)]는 스마트폰 또는 다른 모바일 디바이스일 수 있다. 도 6에서 도시되는 예는 제한하도록 의도되지 않으며, 임의의 매우 다양한 타입의 디바이스가 제스쳐 인식 시스템에 포함될 수 있을 것이다. 도 6에서 도시되는 바와 같이, 디바이스(602) 중 임의의 것은 하나 이상의 네트워크(604)를 통해 통신할 수 있다.
도 6은 두 개의 디바이스 구성(606)을 도시한다. 개개의 디바이스는 구성[606(1) 또는 606(2)] 중 어느 하나, 또는 대안적인 구성을 활용할 수 있다. 간략하게는, 구성[606(1)]은 오퍼레이팅 시스템 중심의 구성을 나타내고 구성[606(2)]은 시스템 온 칩(system on a chip; SOC) 구성을 나타낸다. 구성[606(1)]은 하나 이상의 애플리케이션(608), 오퍼레이팅 시스템(610), 및 하드웨어(612)로 편제된다. 구성[606(2)]은 공유 리소스(614), 전용 리소스(616), 및 이들 사이의 인터페이스(618)로 편제된다.
어느 하나의 구성(606)에서, 3D 제스쳐 검출 디바이스(602)는 스토리지(620), 프로세서(622), 배터리(624)(또는 다른 전력 소스), 통신 컴포넌트(626), 및/또는 주파수 응답 매핑 테이블(frequency response mapping table; FRMT)(628)을 포함할 수 있다. 디바이스(602)의 어느 하나의 구성(606)은 또한, 제스쳐 검출 어셈블리(gesture detection assembly; GDA)[100(1) 또는 100(2)], 예컨대 도 1과 관련하여 설명되는 제스쳐 검출 어셈블리(100)를 포함할 수 있다. 디바이스(602)의 어느 하나의 구성(606)은 또한, 제스쳐 인식 컴포넌트[gesture recognition component; GRC][508(1) 또는 508(2)], 예컨대 도 5와 관련하여 설명되는 제스쳐 인식 컴포넌트(508)를 포함할 수 있다.
몇몇 구현예에서, 제스쳐 인식 컴포넌트(508)는 제스쳐 검출 어셈블리(100)로부터 입력을 수신할 수 있다. 예를 들면, 제스쳐 인식 컴포넌트(508)는, 도 5의 예에서 도시되는 바와 같이, 센서 셀 어레이의 출력으로부터 제스쳐를 식별할 수 있다. 이 예에서, 제스쳐 인식 컴포넌트는 주파수 응답 매핑 테이블(628)을 사용하여 센서 셀 어레이의 출력에 포함되는 주파수 응답을 비교할 수 있다. 간략하게는, 주파수 응답 매핑 테이블(628)은 주파수 응답을 알려진(known) 제스쳐에 매핑할 수 있다. 제스쳐 인식 컴포넌트(508)는, 센서 셀 어레이로부터의 출력 주파수 응답과 주파수 응답 매핑 테이블(628)의 내용 사이의 매치를 찾을 수 있다. 주파수 응답 매핑 테이블(628)을 생성하기 위한 예시적인 기술이 도 10 및 도 11과 관련하여 설명된다.
몇몇 경우에서, 주파수 응답 매핑 테이블(628)은, 3D 제스쳐 검출 디바이스(602)가 소비자에 의해 사용되기 이전에 생성될 수 있다. 예를 들면, 주파수 응답 매핑 테이블(628)은, 3D 제스쳐 검출 디바이스(602)의 제조시에 디바이스 상으로 적재될 수 있을 것이다. 몇몇 경우에서, 데이터는 주파수 응답 매핑 테이블(628)에 나중에, 예컨대 유저가 커스텀 제스쳐(들)를 식별하기 위해 및/또는 그/그녀 개인 디바이스를 캘리브레이팅하기 위해 3D 제스쳐 검출 디바이스(602)를 트레이닝하기를 원할 때, 추가될 수 있다.
통신 컴포넌트(626)는 디바이스(602)가 다양한 다른 디바이스와 통신하는 것을 허용할 수 있다. 통신 컴포넌트는 수신기 및 송신기 및/또는 다양한 기술, 예컨대 셀룰러, 와이파이(IEEE 802.xx), 블루투스, 등등을 통해 통신하기 위한 다른 무선 주파수 회로부를 포함할 수 있다.
몇몇 경우에서 디바이스(602) 상의 제스쳐 인식 컴포넌트(508)는 상대적으로 강건(robust)할 수 있다는 것을 유의한다. 이들 경우에, 제스쳐 인식 컴포넌트(508)은 유저 제스쳐를 식별하기 위해 제스쳐 검출 어셈블리(100)로부터 수신되는 신호에 대한 분석을 수행할 수 있다. 다른 경우에, 디바이스(602)는, 제스쳐 검출 어셈블리(100), 제스쳐 인식 컴포넌트(508), 및/또는 주파수 응답 매핑 테이블(628)로부터의 출력 및/또는 다른 정보를, 프로세싱을 위해, 원격 리소스, 예컨대 클라우드 기반의 리소스로 전송할 수 있을 것이다. 예를 들면, 클라우드 기반의 리소스는, 유저 제스쳐를 식별하기 위해, 신규의 제스쳐를 식별할 수 있도록 시스템을 트레이닝하기 위해, 및/또는 주파수 응답 매핑 테이블(628)에 신규의 정보를 추가하기 위해, 정보를 분석하도록 사용될 수 있을 것이다.
하나의 관점에서, 3D 제스쳐 검출 디바이스(602) 중 임의의 것은 컴퓨터로서 생각될 수 있다. 본원에서 사용되는 바와 같은 용어 "디바이스", "컴퓨터", 또는 "컴퓨팅 디바이스"는, 어느 정도의 프로세싱 성능 및/또는 스토리지 성능을 갖는 임의의 타입의 디바이스를 의미할 수 있다. 프로세싱 성능은, 기능성을 제공하기 위해 컴퓨터 판독가능한 명령어 형태의 데이터를 실행할 수 있는 하나 이상의 프로세서에 의해 제공될 수 있다. 데이터, 예컨대 컴퓨터 판독가능한 명령어 및/또는 유저 관련 데이터는, 스토리지, 예컨대 컴퓨터 내부 또는 외부에 있을 수 있는 스토리지 상에 저장될 수 있다. 스토리지는, 다른 것들 중에서도, 휘발성 또는 비휘발성 메모리, 하드 드라이브, 플래시 스토리지 디바이스, 및/또는 광학 스토리지 디바이스(예를 들면, CD, DVD 등등), 원격 스토리지(예를 들면, 클라우드 기반의 스토리지) 중 임의의 하나 이상을 포함할 수 있다. 본원에서 사용되는 바와 같이, 용어 "컴퓨터 판독가능한 매체"는 신호를 포함할 수 있다. 대조적으로, 용어 "컴퓨터 판독가능한 저장 매체"는 신호를 배제한다. 컴퓨터 판독가능한 저장 매체는 "컴퓨터 판독가능한 저장 디바이스"를 포함한다. 컴퓨터 판독가능한 저장 디바이스의 예는, 다른 것들 중에서도, RAM과 같은 휘발성 저장 매체, 및 하드 드라이브, 광학 디스크, 및 플래시 메모리와 같은 비휘발성 저장 매체를 포함한다.
상기 언급된 바와 같이, 구성[606(2)]은 시스템 온 칩(SOC) 타입 설계로서 생각될 수 있다. 이러한 경우에, 디바이스에 의해 제공되는 기능성은 단일의 SOC 상에 또는 복수의 커플링된 SOC 상에 통합될 수 있다. 하나 이상의 프로세서는 공유 리소스, 예컨대 메모리, 스토리지 등등, 및/또는 하나 이상의 전용 리소스, 예컨대 어떤 고유 기능성을 수행하도록 구성되는 하드웨어 블록과 조화되도록(coordinate) 구성될 수 있다. 따라서, 본원에서 사용되는 바와 같은 용어 "프로세서"는 또한, 중앙 처리 장치(central processing unit; CPU), 그래픽 프로세싱 유닛(graphical processing unit; GPU), 컨트롤러, 마이크로컨트롤러, 프로세서 코어, 또는 다른 타입의 프로세싱 디바이스를 지칭할 수 있다.
일반적으로, 본원에서 설명되는 기능 중 임의의 것은 소프트웨어, 펌웨어, 하드웨어(예를 들면, 고정식 로직 회로부), 수동 프로세싱, 또는 이들 구현예의 조합을 사용하여 구현될 수 있다. 본원에서 사용되는 바와 같은 용어 "컴포넌트"는 소프트웨어, 펌웨어, 하드웨어, 전체 디바이스 또는 네트워크, 또는 이들의 조합을 일반적으로 나타낸다. 예를 들면, 소프트웨어 구현예의 경우, 이들은, 프로세서(예를 들면, CPU 또는 CPU들) 상에서의 실행시 특정 작업을 수행하는 프로그램 코드를 나타낼 수도 있다. 프로그램 코드는 하나 이상의 컴퓨터 판독가능한 메모리, 예컨대 컴퓨터 판독가능한 저장 매체에 저장될 수 있다. 컴포넌트의 피쳐 및 기술은 플랫폼 독립적인데, 이들이 다양한 프로세싱 구성을 갖는 다양한 상업적 컴퓨팅 플랫폼 상에서 구현될 수도 있다는 것을 의미한다.
도 7 내지 도 9는 본 개념과 부합하는 예시적인 3D 제스쳐 인식 디바이스 사용 시나리오를 도시한다. 도 7은 태블릿 타입 디바이스[602(1)]를 갖는 유저(700)를 예시한다. 태블릿 타입 디바이스[602(1)]는 스크린(702) 내에 또는 아래에 배치되는 제스쳐 검출 어셈블리(100)(도 7의 절단면도에 도시됨)를 구비할 수 있다. 이 예에서, 제스쳐 검출 어셈블리(100)는 태블릿 디바이스[602(1)]의 스크린(702)에 대한 유저(700)의 손의 근접을 검출하기 위해 사용될 수 있다. 유저(700)는, 도 5의 예와 관련하여 상기에서 설명되는 바와 같이, 그의 손을 스크린(702)에 근접하여 3차원적으로 움직일 수 있다. 도 7의 예에서, 태블릿 디바이스[602(1)]와 관련되는 제스쳐 인식 컴포넌트(508)는 손의 3D 움직임을 3D 제스쳐(들)로서 식별할 수 있다. 제스쳐 인식 컴포넌트(508)는 제스쳐에 따라 태블릿 디바이스[602(1)]를 제어할 수 있다.
도 8은 스마트 워치 디바이스[602(3)]를 착용하고 있는 유저(800)를 예시한다. 이 예에서, 스마트 워치 디바이스[602(3)]는, 스마트 워치 디바이스[602(3)]의 표면(802)에 대한 유저(800)의 손가락의 근접을 검출하기 위해 사용될 수 있는 임베딩된 제스쳐 검출 어셈블리[예컨대 도 7의 예에서 도시되는 제스쳐 검출 어셈블리(100)]를 구비할 수 있다. 이 시나리오에서, 제스쳐 인식 컴포넌트(508)는 손가락의 파라미터를 3D 제스쳐(들)로서 식별할 수 있다. 몇몇 구현예에서, 제스쳐 인식 디바이스의 제스쳐 검출 어셈블리는, 디바이스와 신체 부위 사이에 있을 수도 있는 재료(들)을 통해 유저의 신체 부위의 근접을 검출할 수 있다. 스마트 워치 디바이스[602(3)]의 예에서, 유저는 긴 소매 셔츠를 입고 있을 수 있을 것이다. 소매는 유저의 손목 상의 스마트 워치 디바이스[602(3)] 위로 연장할 수 있을 것이다. 이 예에서, 제스쳐 검출 어셈블리는 소매 재료를 통해 손가락을 검출할 수 있다.
도 9는 냉장고 디바이스[602(2)와 상호작용하고 있는 제1 유저(900) 및 디지털 화이트보드 디바이스[602(4)]와 상호작용하고 있는 제2 유저(902)를 도시한다. 이 경우, 제스쳐 검출 어셈블리[100(1)]는 임베딩될 수 있거나 또는 다르게는 냉장고 디바이스[602(2)]와 관련될 수 있다. 제스쳐 검출 디바이스(602)가 디스플레이 또는 스크린을 포함하는 예가 상기에서 그리고 하기에서 제공된다. 제스쳐 검출 디바이스는 다른 시나리오에서 활용될 수 있다. 냉장고 디바이스[602(2)]의 예에서, 위쪽 냉장고 도어는 전통적인 패널(예를 들면, 불투명 표면) 뒤에 배치되는 제스쳐 검출 디바이스(602)일 수 있을 것이다. 대안적으로, 센서 셀 어레이는, 디스플레이로서 또한 기능하는 냉장고 도어의 일부에 임베딩될 수 있을 것이다. 또 다른 구현예에서, 제스쳐 검출 어셈블리는 임베딩될 수 있거나 또는 다른 가정용 기기, 디바이스, 또는 개인 가정, 사무실, 등등과 관련될 수 있다.
도 9는 또한 디지털 화이트보드 디바이스[602(4)]와 상호작용하는 유저(902)를 도시한다. 이 예에서, 디지털 화이트보드 디바이스[602(4)]는, 임베딩된 제스쳐 검출 어셈블리[100(2)]를 갖는 벽 상의 상대적으로 큰 디스플레이일 수 있다. 도 9에서 도시되는 디바이스[602(2) 및 602(4)]의 예에서, 디바이스의 스크린(예를 들면, 디스플레이)과 관련되는 임베딩된 센서 셀 어레이의 표면적은 상대적으로 클 수 있다. 이와 같이, 이들 제스쳐 인식 디바이스(602)는, 유저의 팔, 손, 및/또는 다른 신체 부위를 사용하여 수행될 수 있는 상대적으로 큰 규모의 제스쳐를 검출 및/또는 식별할 수 있는 제스쳐 인식 컴포넌트(508)를 포함할 수 있다. 예를 들면, 제스쳐 인식 컴포넌트(508)는 유저의 펼친 팔의 둘 다의 3D 움직임을 검출할 수 있고 움직임 또는 다른 파라미터를 두 팔의 유저 제스쳐로서 식별할 수 있고, 두 팔의 유저 제스쳐에 따라 디바이스(602)를 제어할 수 있다.
방법 예
도 10은 제스쳐 인식 시스템에 대한 트레이닝 데이터를 생성하기 위한 예시적인 방법(1000)을 도시한다. 도 11은, 제스쳐 인식 시스템에 대한 제스쳐 인식 모델을 트레이닝하기 위한 예시적인 방법(1100)을 도시한다. 도 12는 예시적인 3D 제스쳐 인식 방법(1200)을 도시한다.
도 10을 참조하면, 블록 1002에서, 방법(1000)은, 센서 셀 어레이, 예컨대 도 1에서 도시되는 센서 셀 어레이(102)에 대해 알려진 3D 방위(예를 들면, 위치, 거리)에서 알려진 오브젝트의 위치를 결정할 수 있다. 예를 들면, 유저의 손은 센서 셀 어레이 위에서 알려진 거리(z 차원) 및 위치(x 및 y 축)에서 위치 결정될 수 있다. 센서 셀 어레이에 대한 세 개의 상이한 위치 및 일정한 거리에 있는 유저의 손을 도시하는 도 5의 예를 참조한다. 블록 1002를 달성하는 하나의 방식은, 유저가 제스쳐를 수행하는 동안, 디스플레이에 RGBD 카메라를 가리키는 것일 수 있다. 제스쳐는 센서 셀 어레이 및 RGBD 카메라의 동시 출력으로부터 "알려질" 수 있다.
블록 1004에서, 방법(1000)은, 오브젝트가 알려진 3D 방위에 있는 동안, 복수의 주파수에서 센서 셀 어레이의 센서 셀을 구동할 수 있다. 몇몇 경우에서, 방법은, 다음 주파수로 변환하기 이전에, 주어진 주파수에서 모든 원하는 센서 셀을 구동하는 것을 수반할 수 있다. 추가적으로, 주어진 주파수에 대해, 한 번에 하나의 센서 셀이 구동될 수 있다(예를 들면, 센서 셀은 주어진 주파수에서 순차적으로 구동될 수 있음).
블록 1006에서, 방법(1000)은, 복수의 주파수 및 알려진 3D 방위에 대해, 센서 셀 어레이로부터의 주파수 응답을 수집할 수 있다. 블록 1002-1006은, 다른 3D 방위에 대해 반복될 수 있다(예를 들면, 유저의 손은 위로 또는 아래로 또는 옆으로 이동될 수 있고 그 다음 방법은 반복될 수 있다). 추가적으로, 몇몇 구현예에서, 주파수 응답은 복수의 오브젝트에 대해 수집될 수 있다. 예를 들면, 방법은, (예를 들면, 모집단(population)을 더 대표할) 테스트 유저와 관련되는 바이어스를 감소시키기 위해 복수의 유저에 대해 반복될 수 있다. 예를 들면, 트레이닝 데이터는 복수의 대상, 예컨대 남자 및 여자 둘 다에 대한 주파수 응답을 포함할 수도 있을 것이다. 추가적으로, 변동성, 예컨대 RF 신호에 관련되는 시간 변동성을 감소시키기 위해 조건(예를 들면, 유저, 3D 방위, 주파수)의 각각의 세트에서 방법을 복수 회 반복하는 것에 의해 결과는 향상될 수 있다.
블록 1008에서, 방법(1000)은 수집된 주파수 응답으로부터 트레이닝 데이터를 생성할 수 있다. 몇몇 구현예에서, 트레이닝 데이터는, 방위, 주파수, 오브젝트, 및 시간의 상이한 조합으로부터 생성될 수 있는 수 천 개의 주파수 응답을 포함할 수 있다. 몇몇 경우에서, 트레이닝 데이터는 주파수 응답 모두를 포함할 수 있다. 다른 경우에서, 트레이닝 데이터는 주파수 응답의 서브셋을 포함할 수 있다. 예를 들면, 트레이닝 데이터는 주파수 응답을 수집하기 위해 사용되는 주파수의 소정의 서브셋에 대한 주파수 응답을 포함할 수 있다. 예를 들면, 몇몇 주파수는 주어진 3D 방위에서 오브젝트의 존재에 의해 더 많은 영향을 받을 수도 있다(예를 들면, 더 많은 주파수 응답 변동). 이들 고도로 영향을 받은 주파수는, 다른 것들이 버려지는 동안, 트레이닝 데이터에서 유지될 수도 있다.
몇몇 경우에서, 트레이닝 데이터는 주파수 응답 매핑 테이블(도 6과 관련하여 논의됨)로서 나타날 수 있다. 주파수 응답 매핑 테이블은, 주파수 응답에 대한 알려진 정보(예를 들면, 오브젝트 및 오브젝트의 3D 방위)를 전달할 수 있다. 다른 경우에, 트레이닝 데이터는 제스쳐 인식 모델을 생성하기 위해 활용될 수 있다. 이 양태는 방법(1100)과 관련하여 하기에서 논의된다.
요약하면, 도 10에서 도시되는 예시적인 방법(1000)은 트레이닝 데이터를 개발하기 위해 활용될 수 있다. 일반적으로, 트레이닝 데이터를 생성하기 위해, 제스쳐 검출 어셈블리에 근접하여 알려진 제스쳐가 수행될 수 있다. 몇몇 구현예에서, 전체 제스쳐를 감지하는 대신, 오브젝트는 알려진 고정된 위치에서 감지될 수 있다. 예를 들면, 제1 위치, 제2 위치, 및 제3 위치의 알려진 거리에서 기술자의 또는 유저의 손이 도 5와 유사한 방식으로 감지될 수 있다. 프로세스는 제2의 알려진 거리에서 그리고 제3 알려진 거리, 등등에서 반복될 수 있다. 알려진 위치 사이의 '갭을 충전하기 위한' 모델링이 수행될 수 있다. 예를 들면, 공장 설정에서, 기술자는 특정 제스쳐를 1회 이상 수행할 수 있고 주파수 응답이 제스쳐에 대해 기록될 수 있다. 다른 경우에서, 제스쳐 검출 어셈블리를 사용하여 제스쳐를 또한 감지하는 동안, 3D 카메라와 같은 다른 센서를 사용하여 제스쳐를 기록하는 것에 의해, 트레이닝 제스쳐가 '알려질' 수 있다. 트레이닝 데이터는, 알려진 제스쳐에 응답하여 수집되는 주파수 응답(예를 들면, 측정치, 전력 출력)일 수 있다. 주파수 응답은, 위치, 거리, 주파수, 오브젝트, 및/또는 시간의 상이한 조합과 관련하여 수집될 수 있다. 요약하면, 트레이닝 데이터는 두 가지 측면의 정보를 제공할 수 있다. 제1 측면은, 어떤 주파수가 유용한 정보를 제공하는 경향이 있는지에 관한 것이다. 거의 무한한 범위의 주파수가 감지에 이용가능하기 때문에, 소비자 디바이스 상의 모든 주파수를 감지하는 것은 실용적이지 않을 수도 있다. 따라서, 트레이닝 데이터는 유용한 주파수의 서브셋에 대한 필터링을 허용할 수 있다. 둘째, 트레이닝 데이터는 알려진 제스쳐에 대한 주파수 응답(예를 들면, 시그니쳐)을 제공할 수 있다. 이 정보는 유저에 의해 수행되는 제스쳐를 식별하기 위해 소비자 디바이스 상에서 활용될 수 있다.
몇몇 구현예에서, 트레이닝 데이터는 대표적인 3D 제스쳐 인식 디바이스 상에서 수집될 수 있다. 이 경우, 대표적인 3D 제스쳐 인식 디바이스로부터 수집되는 트레이닝 데이터는, 복수의 다른 3D 제스쳐 인식 디바이스(도 11과 관련하여 설명됨)를 사용하여 사용될 수 있는 제스쳐 인식 모델을 트레이닝시키기 위해 사용될 수 있다. 예를 들면, 대표적인 디바이스는 제조 설비에서 트레이닝 데이터를 감지하기 위해 사용될 수 있다. 그 다음, 이 트레이닝 데이터는 소비자 시장을 위해 생성되는 동일한 모델의 모든 디바이스 상에 저장될 수 있다.
도 11에서 도시되는 예시적인 방법(1100)은 알려진 제스쳐를 식별할 수 있는 제스쳐 인식 모델(예를 들면, 머신 학습 모델)을 트레이닝시키기 위해 사용될 수 있다.
블록 1102에서, 방법(1100)은 트레이닝 데이터를 획득할 수 있다. 몇몇 구현예에서, 트레이닝 데이터는 도 10과 관련하여 설명되는 방법(1000)으로부터 수신될 수 있다.
블록 1104에서, 방법(1100)은 3D 방위를 제스쳐에 매핑하는 제스쳐 인식 모델을 트레이닝하기 위해 트레이닝 데이터를 사용할 수 있다. 예를 들면, 제스쳐 인식 모델은 제스쳐 검출 디바이스에 대한 오브젝트(예를 들면, 유저의 손)의 3D 방위를 분류하기 위해 트레이닝될 수 있다. 몇몇 구현예에서, WEKA 머신 학습 툴킷을 사용하여 랜덤 포레스트 트리(Random Forest Tree) 모델이 트레이닝될 수 있다. 트레이닝 데이터가 복수의 유저로부터 수집되는 하나의 예에서는, 한 명의 유저로부터의 주파수 응답이 테스트 데이터 세트로서 제외되고 한편 나머지 유저로부터의 주파수 응답이 트레이닝 데이터로서 사용되는 "한 명의 유저 제외(leave-one-user-out)" 타입 평가가 트레이닝에서 사용될 수 있다. 이 프로세스는 반복될 수 있는데, 개개의 평가를 위해 유저 중 상이한 유저로부터의 주파수 응답을 제외하고, 트레이닝의 끝에서 복수의 평가로부터의 수행 결과를 평균낸다. 몇몇 경우에서, 랜덤 포레스트 트리 모델이 10개의 트리를 사용하여 트레이닝될 수 있다. 물론, 다른 트레이닝 기술, 예컨대 서포트 벡터 머신(Support Vector Machine), 신경망, 또는 은닉 마르코프 모델(Hidden Markov Model)이 사용될 수 있다.
블록 1106에서, 방법(1100)은 트레이닝된 제스쳐 인식 모델을 출력할 수 있다.
요약하면, 몇몇 구현예에서, 제스쳐 인식 모델은 3D 제스쳐 인식 시스템의 주파수 응답 매핑 테이블, 예컨대 도 6에서 도시되는 시스템(600)의 주파수 응답 매핑 테이블(628)을 수반할 수 있거나 또는 활용할 수 있다. 하나의 관점에서, 제스쳐 인식 모델은, 미지의 오브젝트 및/또는 3D 방위를 검출하여 (그리고 시간에 걸쳐 잠재적으로) 제스쳐를 인식하기 위해, 트레이닝 데이터로부터의 외삽(extrapolation)을 허용할 수 있는 기초를 제공할 수 있다. 이 양태는 도 12와 관련하여 하기에서 논의된다.
상기에서 언급되는 바와 같이, 제스쳐 인식 모델을 트레이닝하는 데 이용가능한 트레이닝 데이터는 수 천 개의 주파수 응답 또는 측정치를 포함할 수 있다. 몇몇 구현예에서, 트레이닝 방법(1100)은, 제스쳐 인식 모델을 트레이닝하기 위한 주파수 응답(예를 들면, 피쳐)을 이용가능한 것보다 더 적은 양 사용할 수 있다. 예를 들면, 트레이닝 방법은, 이용가능한 트레이닝 데이터 중 더 적은 것을 사용하여 추가적인 모델을 트레이닝할 수 있다. 이 예에서, 상이한 양의 트레이닝 데이터를 사용하여 트레이닝되는 상이한 모델의 결과는, 제스쳐 인식을 위한 수용가능한 위치 및/또는 거리 결과를 생성할 수 있는 트레이닝 데이터의 양을 결정하기 위해 비교될 수 있다. 이 비교의 결과는, 제스쳐를 식별하기 위해 활용되는 센서 셀 어레이 스캔의 양을 줄이기 위해 사용될 수 있다.
몇몇 구현예에서, 트레이닝 방법(1100)은 (예를 들면, 제약된 리소스를 갖는 소비자 디바이스에 의한) 최종 사용 시나리오에서 센서 셀 어레이를 사용하여 스캔되는 주파수의 양을 줄이기 위해 사용될 수 있다. 추가적으로 또는 대안적으로, 트레이닝 방법(1100)은, 센서 셀 어레이를 사용하여 스캔되는 특정 주파수를 선택하기 위해 사용될 수 있다. 예를 들면, 트레이닝된 제스쳐 인식 모델은, 제스쳐 인식 디바이스에 대한 오브젝트의 위치 및/또는 거리를 결정하는 데 특정한 주파수가 다른 주파수보다 더 유용하다는 것을 나타낼 수 있을 것이다. 그러면, 특정 주파수는 센서 셀 어레이를 사용하여 스캐닝하기 위해 우선적으로 선택될 수 있을 것이다. 몇몇 구현예에서, 트레이닝된 제스쳐 인식 모델은, 개개의 제스쳐 검출 디바이스 상에서 커스텀 제스쳐를 트레이닝하기 위해 소비자에 의해 사용되는 센서 셀 어레이 스캔의 양을 줄이기 위해 사용될 수 있다.
도 12는 예시적인 3D 제스쳐 인식 방법(1200)을 도시한다. 이 경우에서, 블록 1202에서, 방법(1200)은 이용가능한 주파수의 세트로부터의 제1 주파수에서 센서 셀 어레이의 제1 개개의 센서 셀을 구동할 수 있다. 몇몇 구현예에서, 이용가능한 주파수의 세트는, 예컨대 도 11과 관련하여 설명되는 제스쳐 인식 모델로부터의 출력에 기초하여 선택될 수 있다. 또한, 도 11과 관련하여 설명되는 바와 같이, 주파수의 세트는 트레이닝 데이터에 기초하여 선택될 수 있다. 대안적으로, 몇몇 구현예에서, 주파수 또는 주파수의 세트는 미리 설정될 수 있다(예를 들면, 미리 선택될 수 있다). 예를 들면, 주파수의 미리 설정된 그룹이 스캐닝을 위해 센서 셀 어레이로 전송될 수 있을 것이다.
몇몇 구현예에서, 이용가능한 주파수의 세트의 선택과 유사하게, 제1 개개의 센서 셀은 제스쳐 인식 모델로부터의 출력에 기초하여 선택될 수 있고, 트레이닝 데이터에 기초하여 선택될 수 있고, 미리 설정될/미리 선택될 수 있다. 제1 주파수는 스위칭 네트워크를 통해 제1 개개의 센서 셀로 순차적으로 전송될 수 있다. 예를 들면, 제1 주파수는 제1의 단일의 개개의 센서 셀로 전송될 수 있고, 그 다음, 제2의 단일의 개개의 센서 셀로 전송될 수 있고, 등등이다. 이 예에서, 신호가 한 번에 복수의 센서 셀로 전송되면, 시스템의 전력 소비는 낮춰질 수 있다.
블록 1204에서, 방법(1200)은 제1 개개의 센서 셀로부터 제1 주파수에 대한 제1 응답을 수신할 수 있다. 몇몇 구현예에서, 응답은 개개의 센서 셀에 걸친 주파수 시프트일 수 있다.
블록 1206에서, 방법(1200)은 이용가능한 주파수의 세트로부터의 제2 주파수에서 센서 셀 어레이의 제2 개개의 센서 셀을 구동할 수 있다. 몇몇 경우에서, 제1 및 제2 주파수는 모든 개개의 센서 셀로 전송될 수 있을 것이다. 다른 경우에서, 제1 및 제2 주파수는 개개의 센서 셀의 동일한 서브셋으로 전송될 수 있을 것이다. 이 경우, 제1 및 제2 개개의 센서 셀은 동일한 개개의 센서 셀일 수 있다. 몇몇 구현예에서, 제1 및 제2 주파수는 개개의 센서 셀의 상이한 서브셋으로 전송될 수 있다. 예를 들면, 제1 및 제2 개개의 센서 셀은, 개개의 센서 셀의 관점에서 중첩할 수도 있거나 또는 중첩하지 않을 수도 있다.
블록 1208에서, 방법(1200)은 제2 개개의 센서 셀로부터 제2 주파수에 대한 제2 응답을 수신할 수 있다. 물론, 센서 셀 어레이의 다양한 센서 셀을 사용하여 다양한 주파수에 대한 추가적인 응답이 수집될 수 있다. 예를 들면, 점선(1210)은, 추가적인 주파수를 사용하여 추가적인 센서 셀을 구동하기 위해 방법(1200)이 블록 1208로부터 다시 블록 1202로 되돌아갈 수 있다는 것을 나타낸다. 예를 들면, 블록 1202 내지 1208에서 단지 두 개의 주파수만이 명시적으로 호출되지만, 이들 블록은 수십 개 또는 수백 개의 주파수에 대해 반복될 수 있다.
블록 1212에서, 방법(1200)은 제1 및 제2 응답으로부터 제스쳐를 식별할 수 있다. 몇몇 구현예에서, 제스쳐의 식별은 오브젝트의 파라미터, 예컨대 센서 셀 어레이에 대한 오브젝트의 3D 방위를 결정하는 것을 포함할 수 있다. 또한, 시간적으로 복수의 지점에서 결정되는 3D 방위(예를 들면, 오브젝트의 거리 및 위치), 및/또는 다른 파라미터는 제스쳐로서 식별될 수 있다. 몇몇 구현예에서, 주파수 응답은 트레이닝된 제스쳐 인식 모델에 비교될 수 있다. 예를 들면, 제스쳐 인식 컴포넌트[예컨대 도 5 내지 도 9와 관련하여 설명되는 제스쳐 인식 컴포넌트(508)]는 트레이닝 동안 생성되는 데이터 테이블[예컨대 도 6 및 도 10과 관련하여 설명되는 주파수 응답 매핑 테이블(628)]에서 개개의 주파수에 대한 주파수 응답을 찾을 수 있다. 주파수 응답 매핑 테이블을 사용하여, 제스쳐 인식 컴포넌트는 오브젝트의 대응하는 위치, 거리, 이동 방향, 제스쳐, 및/또는 다른 파라미터를 결정할 수 있다. 물론, 제1 및 제2 응답이 제스쳐 식별을 위해 여기서는 명시적으로 설명되지만, 제스쳐 인식 컴포넌트는 [점선(1210)과 관련하여 상기에서 설명되는 바와 같이] 제스쳐를 식별하기 위해 추가적인 주파수로부터의 추가적인 응답을 사용할 수 있다.
몇몇 구현예에서, 제스쳐 인식 컴포넌트(도 5의 508)는 방법(1200)을 활용할 수 있고 유저에 의한 보정으로부터 및/또는 유저에 의한 캘리브레이션에 기초하여 위치, 거리, 제스쳐, 및/또는 다른 파라미터를 인식하는 것을 학습할 수 있다. 예를 들면, 유저는, 제스쳐 인식 디바이스를 처음 사용하거나 또는 셋업할 때, 제스쳐 인식 컴포넌트를 캘리브레이팅할 것을 촉구받을 수도 있다. 다른 예에서, 유저가 제스쳐 인식 컴포넌트에 의해 이루어지는 제스쳐의 식별을 보정하면, 제스쳐 인식 컴포넌트는 제스쳐의 유저의 식별을 인식하는 것을 학습할 수 있다. 이 양태는 또한, 유저가 그/그녀 자신의 제스쳐를 생성하는 것을 허용할 수 있다. 예를 들면, 유저는, 유저가 그의/그녀의 신규의 제스쳐를 수행하는 것을 허용하는 '설정' 제어를 통해 그래픽 유저 인터페이스(graphical user interface; GUI)에 액세스할 수 있을 수도 있다. GUI는, 정확도를 높이기 위해 유저가 제스쳐를 복수 회, 예를 들면, 10회 반복해야 한다는 것을 요청할 수도 있다. 제스쳐 인식 컴포넌트는 관련된 주파수 응답을 캡쳐할 수 있고 그 다음 유저가 제스쳐를 커맨드에 결부시키는 것을 허용할 수 있다(예를 들면, 이 제스쳐는 예를 들어 '비디오 플레이'를 의미한다). 몇몇 구현예에서, 유저의 캘리브레이션 결과 및/또는 제스쳐의 유저의 식별이 주파수 응답 매핑 테이블에 추가될 수 있다.
다른 방식으로 말하면, 매핑 테이블은 공장에서 디바이스 상에 저장되는 및/또는 유저로부터 획득되는 주파수 응답을 포함할 수 있다. 예를 들면, 트레이닝은 디바이스의 모델을 대표하는 디바이스 상에서 수행될 수 있다. 그 다음, 계속되는 매핑 테이블은 공장에서 그 모델의 모든 디바이스 상에, 예컨대 디바이스의 메모리 또는 스토리지 상에 저장될 수 있다. 유저는, 개개의 디바이스를 유저에 대해 캘리브레이팅하는 것에 의해 매핑 테이블을 증대시킬 수도 있다(예를 들면, 캘리브레이팅은 한 모델의 개개의 디바이스의 감도에서의 약간의 차이 및/또는 개개의 유저가 제스쳐를 어떻게 수행하는지의 세밀한 구별을 중점적으로 다룰 수 있다). 대안적으로 또는 추가적으로, 유저는 커스터마이징된 제스쳐를 매핑 테이블에 추가할 수 있다(예를 들면, 유저는 디바이스 상에서 커스텀 제스쳐를 트레이닝할 수 있고 유저에 의해 정의되는 제스쳐 및 관련된 주파수 응답은 매핑 테이블에 추가될 수 있다).
몇몇 경우에서, 제스쳐 식별은 상대적으로 고정된 프로세스일 수 있다. 다른 경우에서, 제스쳐 식별은 반복적인 프로세스일 수 있다. 예를 들면, 방법(1200)에서, 블록 1202 및 1204는 제스쳐 식별의 제1 부분으로 간주될 수 있고, 한편 블록 1206 및 1208은 제스쳐 식별의 제2 부분으로 간주될 수 있다. 예를 들면, 제스쳐는 제1 부분 및 제2 부분을 갖는 것으로 간주될 수 있을 것이다. 몇몇 경우에서, 가능한 제스쳐의 수는, 제스쳐의 제1 부분이 인식되는 경우 감소될 수 있을 것이다. 이들 경우에서, 트레이닝된 제스쳐 인식 모델은, 제스쳐의 제1 부분이 주어지면, 제스쳐의 제2 부분을 결정하기 위해, 더 적은 주파수 또는 더 적은 수의 센서 셀이 스캔될 수 있다는 것을 나타낼 수 있을 것이다. 상기의 논의의 관점에서, 도 5의 예를 다시 참조하면, 제스쳐의 제1 부분은 사례 1 및 사례 2에 의해 나타내어질 수 있고, 한편 제스쳐의 제2 부분은 사례 3에 의해 나타내어질 수 있다. 이 예에서, 제스쳐의 제1 부분은 제스쳐 인식 컴포넌트(508)에 의해, 사례 1에서 개개의 센서 셀[504(1)]을 활성화하고, 그 다음 사례 2에서 개개의 센서 셀[504(2) 및 504(3)]을 활성화하는 위치에 있는 유저(506)의 손으로서 인식될 수 있다. 몇몇 경우에서, 제스쳐 인식 컴포넌트(508)는, 사례 2에 후속하여 스캔되는 개개의 센서 셀(504)이 유저의 손의 최종 검출된 위치 근처에 개개의 센서 셀을 포함할 수 있을 것이다는 것을 결정하기 위해 트레이닝된 제스쳐 인식 모델을 사용할 수 있다. 제스쳐 인식 컴포넌트(508)는 또한, 다음에 어떤 센서 셀을 스캔할지의 결정을 가이드하기 위해, 좌에서 우로의 손의 움직임의 명백한 방향(예를 들면, 사례 1에서 사례 2로의 방향)을 사용할 수 있다. 예를 들면, 제스쳐 인식 컴포넌트(508)는, 사례 2에 바로 후속하여, 개개의 센서 셀[504(4)]이 스캔될 수 있고, 한편 개개의 센서 셀[504(1)]이 스캔되지 않을 수도 있다는 것을 결정하기 위해, 트레이닝된 제스쳐 인식 모델 및/또는 좌에서 우로의 움직임을 사용할 수 있을 것이다.
설명된 방법은 도 1 내지 도 9와 관련하여 상기에서 설명되는 시스템 및/또는 어셈블리에 의해, 및/또는 다른 어셈블리, 디바이스, 및/또는 시스템에 의해 수행될 수 있다. 방법이 설명되는 순서는 제한으로서 간주되도록 의도된 것은 아니며, 임의의 수의 설명된 액트(act)는 그 방법 또는 대안적인 방법을 구현하기 위해 임의의 순서로 조합될 수 있다. 또한, 방법은 임의의 적절한 하드웨어, 소프트웨어, 펌웨어, 또는 이들의 조합으로 구현될 수 있고, 그 결과 디바이스가 방법을 구현할 수 있게 된다. 하나의 경우에서, 컴퓨팅 디바이스에 의한 실행이 컴퓨팅 디바이스로 하여금 방법을 수행하게 하도록, 방법은 컴퓨터 판독가능한 저장 매체 상에 한 세트의 명령어로서 저장된다.
결론
RF 기반의 제스쳐 인식 시스템은 오브젝트의 근접을 삼차원적으로 감지할 수 있고 오브젝트에 의해 수행되는 3D 제스쳐를 식별하기 위해 감지된 정보를 사용할 수 있다. 터치 센서에 의존하지 않는 3D 제스쳐 인식에 대한 RF 기반의 접근 방식은 더 유연하고 자연스러운 입력 및/또는 디바이스와의 상호작용을 가능하게 할 수 있다. RF 기반이기 때문에, 본 솔루션은 현재의 감지 기술에 비해, 시선에 대한 의존 없이 작동하는 능력, 임의의 타입의 표면 뒤에 쉽게 임베딩되는 능력, 및 거의 임의의 사이즈로 크기가 조정되는 능력을 포함하는 여러 가지 명백한 이점을 포함하고, 동시에 이들 능력 모두는 현재의 근접 감지 기술과 유사한 전력 도메인에서 동작한다.
RF 기반의 제스쳐 인식 시스템은, 마모에 강건하고, 제조 비용이 저렴하고, 프로파일이 낮으며, 모바일 디바이스로의 통합을 위해 더 작게 만들어질 수 있는 제스쳐 검출 어셈블리를 포함할 수 있다. 또한, 오브젝트와 제스쳐 검출 어셈블리 사이의 상호작용은 그 사이의 유전체 재료에 의해 방해받지 않을 수 있고, 몇몇 경우에서는 수직 감지 범위가 작을 수 있고, 응답을 스캔하기에 간편할 수 있고, 고유성을 구별할 만큼 충분히 높은 해상도를 가질 수 있다. RF 기반의 제스쳐 인식 시스템은 또한, 복잡한 제스쳐를 식별하기 위한 제스쳐 인식 컴포넌트를 포함할 수 있다. 제스쳐 인식 컴포넌트는 트레이닝된 제스쳐 인식 모델을 사용할 수 있고 및/또는 디바이스 또는 유저에게 커스터마이징된 신규의 제스쳐를 학습할 수 있다.
디바이스 제어에 관계되는 기술, 방법, 어셈블리, 디바이스, 시스템 등등이 구조적 피쳐 및/또는 방법론적 액트에 고유한 언어로 설명되지만, 첨부의 특허청구범위에서 정의되는 주제는 설명되는 특정 피쳐 또는 액트에 반드시 제한되는 것은 아니라는 것이 이해되어야 한다. 대신, 특정 피쳐 및 액트는 청구되는 방법, 어셈블리, 디바이스, 시스템 등등을 구현하는 예시적 형태로서 개시된다.

Claims (20)

  1. 시스템으로서,
    제스쳐 검출 어셈블리; 및
    제스쳐 인식 컴포넌트
    를 포함하며,
    상기 제스쳐 검출 어셈블리는,
    센서 셀 어레이와,
    상기 센서 셀 어레이의 개개의 센서 셀에 독립적으로 신호를 전송하도록 구성된 스위칭 네트워크와,
    상이한 주파수에서의 상기 신호를 상기 센서 셀 어레이의 개개의 센서 셀로 전송하기 위해 상기 스위칭 네트워크를 제어하도록 구성된 컨트롤러
    를 포함하고,
    상기 제스쳐 인식 컴포넌트는,
    상기 상이한 주파수로 전송된 신호에 대한 상기 개개의 센서 셀의 응답으로부터 상기 센서 셀 어레이에 근접하는 오브젝트의 파라미터를 결정하고,
    상기 파라미터를 사용하여 상기 오브젝트에 의해 수행하는 제스쳐를 식별하도록
    구성되는 것인 시스템.
  2. 제1항에 있어서,
    상기 개개의 센서 셀은 근접장 근접 센서(near-field proximity sensor)인 것인 시스템.
  3. 제1항에 있어서,
    상기 오브젝트는 사람 신체 부위이고, 상기 파라미터는 시간의 지속기간에 걸친 상기 센서 셀 어레이에 대한 상기 사람 신체 부위의 위치 및 거리의 측정치를 포함하는 것인 시스템.
  4. 제1항에 있어서,
    상기 스위칭 네트워크는, 단일의 소스로부터의 상기 신호를 상기 센서 셀 어레이의 복수의 개개의 센서 중 임의의 센서로 지향시키기 위한 스위치를 포함하는 것인 시스템.
  5. 제4항에 있어서,
    상기 스위칭 네트워크는 다층 스위칭 네트워크인 것인 시스템.
  6. 제1항에 있어서,
    상기 컨트롤러는 또한, 상기 스위칭 네트워크를 사용하여 상기 센서 셀 어레이를 멀티플렉싱하도록 구성되는 것인 시스템.
  7. 제6항에 있어서,
    상기 컨트롤러는 또한, 제2 주파수에서의 제2 신호를 상기 센서 셀 어레이로 전송하기 이전에, 제1 주파수에서의 제1 신호를 복수의 개개의 센서 셀로 순차적으로 전송하는 것에 의해 상기 센서 셀 어레이를 멀티플렉싱하도록 구성되는 것인 시스템.
  8. 제7항에 있어서,
    상기 제2 주파수에서의 상기 제2 신호는 상기 복수의 개개의 센서 셀로 전송되거나 또는 상기 제1 신호와는 상이한 개개의 센서 셀의 서브셋으로 전송되는 것인 시스템.
  9. 제1항에 있어서, 상기 신호에 대한 응답은 상기 오브젝트의 수분 함유(water content)로 인해 부분적으로 생성되는 것인 시스템.
  10. 컴퓨터 판독가능한 명령어를 저장하는 컴퓨터 판독가능한 메모리 디바이스로서,
    상기 컴퓨터 판독가능한 명령어는, 하나 이상의 프로세싱 디바이스에 의한 실행시, 상기 하나 이상의 프로세싱 디바이스로 하여금,
    이용가능한 주파수의 세트로부터의 제1 주파수에서 제1 신호로 센서 셀 어레이의 제1 개개의 센서 셀을 구동하는 것과,
    상기 제1 개개의 센서 셀로부터, 상기 제1 주파수에서 전송된 제1 신호에 대한 제1 응답을 수신하는 것과,
    이용가능한 주파수의 상기 세트로부터의 제2 주파수에서 제2 신호로 상기 센서 셀 어레이의 제2 개개의 센서 셀을 구동하는 것과,
    상기 제2 개개의 센서 셀로부터, 상기 제2 주파수에서 전송된 제2 신호에 대한 제2 응답을 수신하는 것과,
    상기 제1 및 제2 응답으로부터 상기 센서 셀 어레이에 근접하는 오브젝트의 파라미터를 결정하고, 상기 파라미터를 사용하여 상기 오브젝트에 의해 수행하는 제스쳐를 식별하는 것을 포함하는 액트(act)를 수행하게 하는, 컴퓨터 판독가능한 명령어를 저장하는 컴퓨터 판독가능한 메모리 디바이스.
  11. 제10항에 있어서,
    상기 제1 주파수 및 상기 제2 주파수는, 적어도 상기 센서 셀 어레이를 포함하는 디바이스로부터의, 또는 상이한 센서 셀 어레이를 포함하는 상이한 디바이스로부터의 트레이닝 데이터에 기초하여 선택되고, 상기 액트는, 상기 이용가능한 주파수의 세트로부터의 추가적인 주파수에 대해, 상기 센서 셀 어레이의 센서 셀을 구동하는 것 및 응답을 수신하는 것을 반복하는 것을 더 포함하는 것인, 컴퓨터 판독가능한 명령어를 저장하는 컴퓨터 판독가능한 메모리 디바이스.
  12. 제11항에 있어서,
    상기 트레이닝 데이터는, 상기 센서 셀 어레이 또는 상기 상이한 센서 셀 어레이에 대한 복수의 위치에서 오브젝트에 대해 수집되거나, 또는 상기 트레이닝 데이터의 적어도 일부는 상기 제스쳐를 수행하는 유저로부터 획득되는 것인, 컴퓨터 판독가능한 명령어를 저장하는 컴퓨터 판독가능한 메모리 디바이스.
  13. 제10항에 있어서,
    상기 제스쳐를 식별하는 것은, 상기 제스쳐를 수행하고 있는 오브젝트를 검출하는 것을 포함하는 것인, 컴퓨터 판독가능한 명령어를 저장하는 컴퓨터 판독가능한 메모리 디바이스.
  14. 제13항에 있어서,
    상기 오브젝트를 검출하는 것은, 상기 센서 셀 어레이에 대한 상기 오브젝트의 거리 및 위치를 결정하는 것을 포함하는 것인, 컴퓨터 판독가능한 명령어를 저장하는 컴퓨터 판독가능한 메모리 디바이스.
  15. 제14항에 있어서,
    상기 제스쳐를 식별하는 것은, 시간의 지속기간에 걸쳐 상기 오브젝트를 복수 회 검출하는 것을 더 포함하는 것인, 컴퓨터 판독가능한 명령어를 저장하는 컴퓨터 판독가능한 메모리 디바이스.
  16. 시스템으로서,
    센서 셀 어레이;
    상기 센서 셀 어레이의 센서 셀에 독립적으로 신호를 전송하도록 구성된 스위칭 네트워크;
    컨트롤러; 및
    제스쳐 인식 컴포넌트
    를 포함하며,
    상기 컨트롤러는,
    제1 신호의 제1 주파수를 선택하고,
    상기 제1 주파수에서 상기 제1 신호를 전송하기 위해 상기 센서 셀 어레이의 개개의 센서 셀을 식별하고,
    제2 주파수에서 상기 센서 셀 어레이의 상기 개개의 센서 셀 또는 다른 개개의 센서 셀에 제2 신호를 전송하기 위해 상기 스위칭 네트워크를 제어하기 이전에, 상기 제1 주파수에서의 상기 제1 신호를 상기 개개의 센서 셀에 전송하도록 상기 스위칭 네트워크를 제어하고,
    상기 개개의 센서 셀로부터, 상기 제1 주파수에서 전송된 상기 제1 신호에 대한 응답을 수신하도록 구성되고
    상기 제스쳐 인식 컴포넌트는,
    상기 응답 및 상기 제2 주파수에서 상기 개개의 센서 셀 또는 상기 다른 개개의 센서 셀로 전송된 상기 제2 신호로부터의 추가 응답으로부터, 상기 센서 셀 어레이에 근접하는 오브젝트의 파라미터를 결정하고,
    상기 파라미터를 사용하여 상기 오브젝트에 의해 수행하는 제스쳐를 식별하도록 구성되는 것인, 시스템.
  17. 삭제
  18. 삭제
  19. 제16항에 있어서, 상기 제스쳐 인식 컴포넌트는 또한, 주파수 응답 매핑 테이블을 사용하여 상기 제스쳐를 식별하도록 구성되는 것인 시스템.
  20. 제16항에 있어서, 상기 컨트롤러는 또한, 상기 제1 주파수에서 전송된 상기 제1 신호에 대한 응답에 적어도 부분적으로 기초하여 상기 제2 주파수를 선택하도록 구성되는 것인 시스템.
KR1020177003716A 2014-07-11 2015-07-07 3d 제스쳐 인식 KR102411010B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/329,875 2014-07-11
US14/329,875 US9552069B2 (en) 2014-07-11 2014-07-11 3D gesture recognition
PCT/US2015/039279 WO2016007447A1 (en) 2014-07-11 2015-07-07 3d gesture recognition

Publications (2)

Publication Number Publication Date
KR20170029000A KR20170029000A (ko) 2017-03-14
KR102411010B1 true KR102411010B1 (ko) 2022-06-17

Family

ID=53783306

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177003716A KR102411010B1 (ko) 2014-07-11 2015-07-07 3d 제스쳐 인식

Country Status (5)

Country Link
US (2) US9552069B2 (ko)
EP (1) EP3167355B1 (ko)
KR (1) KR102411010B1 (ko)
CN (1) CN106662946B (ko)
WO (1) WO2016007447A1 (ko)

Families Citing this family (75)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10042422B2 (en) 2013-11-12 2018-08-07 Thalmic Labs Inc. Systems, articles, and methods for capacitive electromyography sensors
US10188309B2 (en) 2013-11-27 2019-01-29 North Inc. Systems, articles, and methods for electromyography sensors
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
US20150124566A1 (en) 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
US9575560B2 (en) 2014-06-03 2017-02-21 Google Inc. Radar-based gesture-recognition through a wearable device
US9880632B2 (en) 2014-06-19 2018-01-30 Thalmic Labs Inc. Systems, devices, and methods for gesture identification
US9552069B2 (en) * 2014-07-11 2017-01-24 Microsoft Technology Licensing, Llc 3D gesture recognition
US9778749B2 (en) 2014-08-22 2017-10-03 Google Inc. Occluded gesture recognition
US11169988B2 (en) 2014-08-22 2021-11-09 Google Llc Radar recognition-aided search
US9600080B2 (en) 2014-10-02 2017-03-21 Google Inc. Non-line-of-sight radar-based gesture recognition
US10016162B1 (en) 2015-03-23 2018-07-10 Google Llc In-ear health monitoring
EP3289432B1 (en) 2015-04-30 2019-06-12 Google LLC Rf-based micro-motion tracking for gesture tracking and recognition
US10088908B1 (en) 2015-05-27 2018-10-02 Google Llc Gesture detection and interactions
US10817065B1 (en) 2015-10-06 2020-10-27 Google Llc Gesture recognition using multiple antenna
CN108351713B (zh) * 2015-10-14 2022-03-08 麦克赛尔株式会社 输入终端装置和操作输入方法
US20170164162A1 (en) * 2015-12-08 2017-06-08 Nissim Zur LumenGlow™ virtual switch
US10492302B2 (en) 2016-05-03 2019-11-26 Google Llc Connecting an electronic component to an interactive textile
US10963157B2 (en) * 2016-05-12 2021-03-30 Lsi Industries, Inc. Outdoor ordering system with interactive menu elements
US10285456B2 (en) 2016-05-16 2019-05-14 Google Llc Interactive fabric
US11331045B1 (en) 2018-01-25 2022-05-17 Facebook Technologies, Llc Systems and methods for mitigating neuromuscular signal artifacts
US11179066B2 (en) 2018-08-13 2021-11-23 Facebook Technologies, Llc Real-time spike detection and identification
US11000211B2 (en) 2016-07-25 2021-05-11 Facebook Technologies, Llc Adaptive system for deriving control signals from measurements of neuromuscular activity
US10489986B2 (en) * 2018-01-25 2019-11-26 Ctrl-Labs Corporation User-controlled tuning of handstate representation model parameters
WO2018022657A1 (en) 2016-07-25 2018-02-01 Ctrl-Labs Corporation System and method for measuring the movements of articulated rigid bodies
US20190121306A1 (en) 2017-10-19 2019-04-25 Ctrl-Labs Corporation Systems and methods for identifying biological structures associated with neuromuscular source signals
WO2020112986A1 (en) 2018-11-27 2020-06-04 Facebook Technologies, Inc. Methods and apparatus for autocalibration of a wearable electrode sensor system
CN110300542A (zh) 2016-07-25 2019-10-01 开创拉布斯公司 使用可穿戴的自动传感器预测肌肉骨骼位置信息的方法和装置
US11216069B2 (en) 2018-05-08 2022-01-04 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
US10409371B2 (en) 2016-07-25 2019-09-10 Ctrl-Labs Corporation Methods and apparatus for inferring user intent based on neuromuscular signals
US10168776B2 (en) 2016-08-23 2019-01-01 International Business Machines Corporation Remote control via proximity data
US9996164B2 (en) 2016-09-22 2018-06-12 Qualcomm Incorporated Systems and methods for recording custom gesture commands
US10395630B1 (en) * 2017-02-27 2019-08-27 Jonathan Greenlee Touchless knob and method of use
WO2019048885A1 (en) 2017-09-11 2019-03-14 Bae Systems Plc VISIOCASQUE AND APPARATUS AND METHOD FOR CONTROLLING
US10678335B2 (en) 2018-01-08 2020-06-09 Facebook Technologies, Llc Methods, devices, and systems for creating haptic stimulations and tracking motion of a user
DE102018200814B3 (de) * 2018-01-18 2019-07-18 Audi Ag Verfahren zum Betrieb eines zur vollständig automatischen Führung eines Kraftfahrzeugs ausgebildeten Fahrzeugführungssystems des Kraftfahrzeugs und Kraftfahrzeug
WO2019148002A1 (en) 2018-01-25 2019-08-01 Ctrl-Labs Corporation Techniques for anonymizing neuromuscular signal data
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
EP3743892A4 (en) 2018-01-25 2021-03-24 Facebook Technologies, Inc. VISUALIZATION OF INFORMATION ON THE STATE OF A RECONSTRUCTED HAND
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
US10937414B2 (en) 2018-05-08 2021-03-02 Facebook Technologies, Llc Systems and methods for text input using neuromuscular information
WO2019147996A1 (en) 2018-01-25 2019-08-01 Ctrl-Labs Corporation Calibration techniques for handstate representation modeling using neuromuscular signals
EP3743901A4 (en) 2018-01-25 2021-03-31 Facebook Technologies, Inc. REAL-TIME PROCESSING OF HAND REPRESENTATION MODEL ESTIMATES
US10817795B2 (en) 2018-01-25 2020-10-27 Facebook Technologies, Llc Handstate reconstruction based on multiple inputs
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
US11961494B1 (en) 2019-03-29 2024-04-16 Meta Platforms Technologies, Llc Electromagnetic interference reduction in extended reality environments
US11150730B1 (en) 2019-04-30 2021-10-19 Facebook Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
US10877558B1 (en) * 2018-02-28 2020-12-29 Facebook Technologies, Llc Wearable gesture input device using electric impedance measurement
CN111868666A (zh) 2018-03-23 2020-10-30 脸谱科技有限责任公司 用于确定虚拟现实和/或增强现实设备的用户的接触的方法、设备和系统
EP3776338A1 (en) * 2018-03-30 2021-02-17 Dina Katabi Pose estimation using radio frequency signals
US10592001B2 (en) 2018-05-08 2020-03-17 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
EP3801743A4 (en) 2018-05-25 2021-08-04 Facebook Technologies, LLC PROCESSES AND APPARATUS FOR OBTAINING A SUB-MUSCULAR COMMAND
EP3801216A4 (en) 2018-05-29 2021-04-14 Facebook Technologies, LLC. SHIELDING TECHNIQUES FOR NOISE REDUCTION IN SURFACE ELECTROMYOGRAPHY SIGNAL MEASUREMENT AND RELATED SYSTEMS AND METHODS
CN112585600A (zh) 2018-06-14 2021-03-30 脸谱科技有限责任公司 使用神经肌肉标记进行用户识别和认证
US11045137B2 (en) 2018-07-19 2021-06-29 Facebook Technologies, Llc Methods and apparatus for improved signal robustness for a wearable neuromuscular recording device
EP4241661A1 (en) 2018-08-31 2023-09-13 Facebook Technologies, LLC Camera-guided interpretation of neuromuscular signals
WO2020061451A1 (en) 2018-09-20 2020-03-26 Ctrl-Labs Corporation Neuromuscular text entry, writing and drawing in augmented reality systems
US10921764B2 (en) 2018-09-26 2021-02-16 Facebook Technologies, Llc Neuromuscular control of physical objects in an environment
WO2020072915A1 (en) 2018-10-05 2020-04-09 Ctrl-Labs Corporation Use of neuromuscular signals to provide enhanced interactions with physical objects in an augmented reality environment
CN109446994B (zh) 2018-10-30 2020-10-30 北京达佳互联信息技术有限公司 手势关键点检测方法、装置、电子设备及存储介质
US11030678B2 (en) 2018-12-17 2021-06-08 Toast, Inc. User-adaptive restaurant management system
US10885480B2 (en) 2018-12-17 2021-01-05 Toast, Inc. Adaptive restaurant management system
US10905383B2 (en) 2019-02-28 2021-02-02 Facebook Technologies, Llc Methods and apparatus for unsupervised one-shot machine learning for classification of human gestures and estimation of applied forces
KR20210002906A (ko) * 2019-07-01 2021-01-11 삼성전자주식회사 객체를 인식하기 위한 전자 장치 및 그의 동작 방법
GB2603392B (en) * 2019-09-06 2023-05-17 Warner Bros Entertainment Inc Gesture-centric user interface
US11907431B2 (en) 2019-09-06 2024-02-20 Warner Bros. Entertainment Inc. Gesture recognition device with minimal wand form factor
TWI715252B (zh) * 2019-10-18 2021-01-01 宏碁股份有限公司 電子裝置及其利用觸控資料的物件資訊辨識方法
CN112783321A (zh) * 2019-11-08 2021-05-11 苹果公司 使用多个传感器的基于机器学习的手势识别
CN111121607B (zh) * 2019-12-13 2021-12-07 深圳大学 一种训练三维定位模型的方法及三维定位方法、装置
US11678750B2 (en) * 2020-03-23 2023-06-20 Hill Phoenix, Inc. Gesture operated refrigerated display case
US11397468B2 (en) 2020-03-31 2022-07-26 Apple Inc. Skin-to-skin contact detection
US11397466B2 (en) 2020-03-31 2022-07-26 Apple Inc. Skin-to-skin contact detection
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof
CN115328340A (zh) * 2021-05-10 2022-11-11 法雷奥汽车内部控制（深圳）有限公司 用于方向盘触摸检测的设备和方法
CN115412104A (zh) * 2021-05-28 2022-11-29 北京小米移动软件有限公司 手势识别方法及装置、移动终端、计算机可读存储介质
CN113703581A (zh) * 2021-09-03 2021-11-26 广州朗国电子科技股份有限公司 一种基于手势切换的窗口调整方法、电子白板、存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120313882A1 (en) 2010-02-10 2012-12-13 Roland Aubauer System and method for contactless detection and recognition of gestures in a three-dimensional space

Family Cites Families (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4701727A (en) 1984-11-28 1987-10-20 General Dynamics, Pomona Division Stripline tapped-line hairpin filter
US5801340A (en) 1995-06-29 1998-09-01 Invotronics Manufacturing Proximity sensor
US5781081A (en) 1995-09-01 1998-07-14 Ngk Spark Plug Co., Ltd. LC-type dielectric filter having an inductor on the outermost layer and frequency adjusting method therefor
US5986549A (en) 1997-07-23 1999-11-16 Teodorescu; Horia-Nicolai Position and movement reasonant sensor
US6094981A (en) 1998-09-25 2000-08-01 Itt Automotive Electrical Systems, Inc. Capacitive rain sensor for windshield
JP4040201B2 (ja) 1999-03-30 2008-01-30 富士フイルム株式会社 放射線固体検出器、並びにそれを用いた放射線画像記録／読取方法および装置
US6724324B1 (en) 2000-08-21 2004-04-20 Delphi Technologies, Inc. Capacitive proximity sensor
US6583676B2 (en) 2001-06-20 2003-06-24 Apple Computer, Inc. Proximity/touch detector and calibration circuit
US6650111B2 (en) 2001-07-18 2003-11-18 Eaton Corporation Pulsed excited proximity sensor
KR100642183B1 (ko) 2001-08-22 2006-11-06 샤프 가부시키가이샤 터치 센서, 터치 센서가 부착된 표시 장치, 및 위치데이터 생성 방법
US6834251B1 (en) * 2001-12-06 2004-12-21 Richard Fletcher Methods and devices for identifying, sensing and tracking objects over a surface
US7394346B2 (en) * 2002-01-15 2008-07-01 International Business Machines Corporation Free-space gesture recognition for transaction security and command processing
US6742324B2 (en) 2002-09-13 2004-06-01 General Electric Company Methods and apparatus for supporting variable bypass valve systems
WO2005017494A2 (en) 2003-08-18 2005-02-24 Trustees Of Stevens Institute Of Technology A frequency selective terahertz radiation detector
WO2005057719A1 (ja) 2003-12-08 2005-06-23 Matsushita Electric Industrial Co., Ltd. 分波器および合波器
TWI301336B (en) 2003-12-24 2008-09-21 Delta Electronics Inc High frequency filter
US7545365B2 (en) 2004-04-14 2009-06-09 Tyco Electronics Corporation Acoustic touch sensor
US7031886B1 (en) 2004-12-14 2006-04-18 Synaptics Incorporated Methods and systems for detecting noise in a position sensor using minor shifts in sensing frequency
US7932898B2 (en) 2005-09-20 2011-04-26 Atmel Corporation Touch sensitive screen
JP2007181087A (ja) 2005-12-28 2007-07-12 Toshiba Corp 薄膜圧電共振器およびフィルタ回路
US7671706B2 (en) 2006-04-14 2010-03-02 Murata Manufacturing Co., Ltd High frequency multilayer bandpass filter
US7777478B2 (en) 2006-06-08 2010-08-17 University Of Dayton Touch and auditory sensors based on nanotube arrays
US8226237B2 (en) 2006-09-28 2012-07-24 Reichert, Inc. Apparatus and method for monitoring the position of a subject's hand
CN101681223A (zh) 2007-05-07 2010-03-24 爱特梅尔公司 二维位置传感器
US10969917B2 (en) * 2008-01-30 2021-04-06 Apple Inc. Auto scanning for multiple frequency stimulation multi-touch sensor panels
US8526767B2 (en) * 2008-05-01 2013-09-03 Atmel Corporation Gesture recognition
US8482545B2 (en) 2008-10-02 2013-07-09 Wacom Co., Ltd. Combination touch and transducer input system and method
DE112009002241B4 (de) * 2008-12-02 2017-02-09 Mitsubishi Electric Corp. Berührungssensitives Paneel (Touch-Panel) und elektronische Vorrichtung, die mit berührungssensitivem Paneel ausgestattet ist
JP2012515966A (ja) 2009-01-26 2012-07-12 ズッロ・テクノロジーズ・（２００９）・リミテッド 物体の挙動を監視するためのデバイスおよび方法
US8810249B2 (en) * 2009-03-20 2014-08-19 Thomas G. Cehelnik E-field sensor arrays for interactive gaming, computer interfaces, machine vision, medical imaging, and geological exploration CIP
US9317140B2 (en) * 2009-03-30 2016-04-19 Microsoft Technology Licensing, Llc Method of making a multi-touch input device for detecting touch on a curved surface
US8982051B2 (en) * 2009-03-30 2015-03-17 Microsoft Technology Licensing, Llc Detecting touch on a surface
JP5513933B2 (ja) 2009-06-30 2014-06-04 株式会社ジャパンディスプレイ タッチセンサおよび表示装置
CN101943975B (zh) 2009-07-09 2015-12-16 敦泰科技有限公司 超薄型互电容触摸屏及组合式超薄型触摸屏
US9323398B2 (en) * 2009-07-10 2016-04-26 Apple Inc. Touch and hover sensing
CN202142005U (zh) 2009-07-22 2012-02-08 罗技欧洲公司 用于远程、虚拟屏幕输入的系统
US8791907B2 (en) * 2009-08-19 2014-07-29 U-Pixel Technologies Inc. Touch sensing apparatus and method using different modulated driving signals
US20120146943A1 (en) 2009-09-03 2012-06-14 Koninklijke Philips Electronics N.V. Touch sensing output device
KR20110032090A (ko) * 2009-09-22 2011-03-30 삼성전자주식회사 라디오주파수 신호를 이용한 터치인식 장치 및 방법
US8681124B2 (en) * 2009-09-22 2014-03-25 Microsoft Corporation Method and system for recognition of user gesture interaction with passive surface video displays
JP5407731B2 (ja) * 2009-10-14 2014-02-05 日本電気株式会社 電子機器、および、プログラム
US8917262B2 (en) * 2010-01-08 2014-12-23 Integrated Digital Technologies, Inc. Stylus and touch input system
US8653834B2 (en) 2010-01-15 2014-02-18 Synaptics Incorporated Input device with floating electrodes having at least one aperture
US20110181510A1 (en) * 2010-01-26 2011-07-28 Nokia Corporation Gesture Control
US8593331B2 (en) 2010-06-16 2013-11-26 Qualcomm Incorported RF ranging-assisted local motion sensing
US8599165B2 (en) * 2010-08-16 2013-12-03 Perceptive Pixel Inc. Force and true capacitive touch measurement techniques for capacitive touch sensors
US8903521B2 (en) * 2010-08-26 2014-12-02 Blast Motion Inc. Motion capture element
US8960004B2 (en) 2010-09-29 2015-02-24 The George Washington University Synchronous one-pole surface acoustic wave resonator
KR20140043299A (ko) * 2010-10-28 2014-04-09 사이프레스 세미컨덕터 코포레이션 용량성 감지 어레이와 스타일러스의 동기화
JP5598548B2 (ja) 2010-11-16 2014-10-01 株式会社村田製作所 積層帯域通過フィルタ
TWI489358B (zh) 2010-12-28 2015-06-21 Chi Mei Comm Systems Inc 具有接近感測器模組之無線通訊裝置
US8577289B2 (en) 2011-02-17 2013-11-05 Apple Inc. Antenna with integrated proximity sensor for proximity-based radio-frequency power control
US20120293404A1 (en) * 2011-05-19 2012-11-22 Panasonic Corporation Low Cost Embedded Touchless Gesture Sensor
US8766657B2 (en) 2011-06-17 2014-07-01 Microsoft Corporation RF proximity sensor
FR2976692B1 (fr) * 2011-06-17 2013-06-14 Thales Sa Dispositif tactile multicouches a detection capacitive multi-frequence.
EP2587347A3 (en) 2011-10-25 2016-01-20 Broadcom Corporation Portable computing device including a three-dimensional touch screen
GB2504291A (en) 2012-07-24 2014-01-29 St Microelectronics Ltd A proximity and gesture detection module
US8547118B1 (en) * 2012-12-21 2013-10-01 Cypress Semiconductor Corporation Multi-frequency scan for multi-sensor electrode
JP6169258B2 (ja) * 2013-05-07 2017-07-26 ザ トラスティーズ オブ プリンストン ユニヴァーシティ 人の手の３ｄ位置・ジェスチャ検知のためのシステム及び方法
US9218034B2 (en) * 2014-02-13 2015-12-22 Qualcomm Incorporated User-directed motion gesture control
US9582080B1 (en) * 2014-06-25 2017-02-28 Rithmio, Inc. Methods and apparatus for learning sensor data patterns for gesture-based input
US9552069B2 (en) * 2014-07-11 2017-01-24 Microsoft Technology Licensing, Llc 3D gesture recognition

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120313882A1 (en) 2010-02-10 2012-12-13 Roland Aubauer System and method for contactless detection and recognition of gestures in a three-dimensional space

Also Published As

Publication number Publication date
CN106662946A (zh) 2017-05-10
WO2016007447A1 (en) 2016-01-14
US9996165B2 (en) 2018-06-12
EP3167355A1 (en) 2017-05-17
US20160011668A1 (en) 2016-01-14
CN106662946B (zh) 2019-05-10
US9552069B2 (en) 2017-01-24
EP3167355B1 (en) 2022-01-26
KR20170029000A (ko) 2017-03-14
US20170090591A1 (en) 2017-03-30

Similar Documents

Publication Publication Date Title
KR102411010B1 (ko) 3d 제스쳐 인식
KR102081817B1 (ko) 디지타이저 모드 전환 방법
US10152151B2 (en) Stylus pen, touch panel, and coordinate indicating system having the same
US9916049B2 (en) Touch sensing system and display apparatus
CN108139833A (zh) 电子设备及其用于处理手势的方法
CN104063101B (zh) 触摸屏控制方法和装置
KR102440965B1 (ko) 스타일러스 펜, 스타일러스 펜으로부터 신호를 입력받는 전자 장치 및 이의 제어 방법
CN105786239B (zh) 具有电感器的笔
CN105786238B (zh) 利用多个发射器频率感测对象
JP2016532229A (ja) 容量式タッチセンサシステム及び方法
KR101915823B1 (ko) 터치 데이터를 명확히 하기 위한 기법들
Wu et al. Capacitivo: Contact-based object recognition on interactive fabrics using capacitive sensing
JP2016062205A (ja) センサ信号処理回路及びセンサ信号処理方法
CN110115071A (zh) 一种控制发射功率的方法及终端
WO2019062243A1 (zh) 触摸操作的识别方法、装置及电子设备
US20180210606A1 (en) Touch control panel, terminal device and method for detecting touch point
US11793247B2 (en) Smart fabric that recognizes objects and touch input
CN109983427A (zh) 基于噪声估计选择相关参考
KR102034052B1 (ko) 터치 입력 시스템 및 이를 이용한 터치 검출 방법
CN105278846A (zh) 控制移动终端屏幕方向的方法及其移动终端
CN102436333B (zh) 兼容电容定位和电磁定位的输入装置及其输入方法
Czuszynski et al. The passive operating mode of the linear optical gesture sensor
KR102404776B1 (ko) 웨어러블 전자 장치의 사용자 입력 확인 장치 및 방법
CN105320375B (zh) 通过绝对感测的指耦合噪声检测器
WO2017004998A1 (en) System for directing action of self-propelled physical object and method thereof

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant