KR20180042454A - 전자기 방해 신호 검출 - Google Patents

전자기 방해 신호 검출 Download PDF

Info

Publication number
KR20180042454A
KR20180042454A KR1020187010605A KR20187010605A KR20180042454A KR 20180042454 A KR20180042454 A KR 20180042454A KR 1020187010605 A KR1020187010605 A KR 1020187010605A KR 20187010605 A KR20187010605 A KR 20187010605A KR 20180042454 A KR20180042454 A KR 20180042454A
Authority
KR
South Korea
Prior art keywords
user
touch event
context data
certain embodiments
detected
Prior art date
Application number
KR1020187010605A
Other languages
English (en)
Other versions
KR102084209B1 (ko
Inventor
보그다나 라코바
마이크 디그맨
올리비어 바우
필립 스코에슬러
마틴 살바도어
세르지 콘솔 파카레우
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US15/153,599 external-priority patent/US10101869B2/en
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20180042454A publication Critical patent/KR20180042454A/ko
Application granted granted Critical
Publication of KR102084209B1 publication Critical patent/KR102084209B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/046Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by electromagnetic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/316User authentication by observing the pattern of computer usage, e.g. typical user behaviour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31User authentication
    • G06F21/32User authentication using biometric data, e.g. fingerprints, iris scans or voiceprints
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/033Indexing scheme relating to G06F3/033
    • G06F2203/0331Finger worn pointing device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038Indexing scheme relating to G06F3/038
    • G06F2203/0381Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2221/00Indexing scheme relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/21Indexing scheme relating to G06F21/00 and subgroups addressing additional information or applications relating to security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F2221/2133Verifying human interaction, e.g., Captcha

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Electromagnetism (AREA)
  • Acoustics & Sound (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

하나의 실시예에서, 방법이 제 1 디바이스 상의 제 1 터치 이벤트에 연관된 제 1 콘텍스트 데이터에 액세스하는 단계와 제 1 디바이스 상의 터치 이벤트에 연관된 제 2 콘텍스트 데이터에 액세스하는 단계를 포함한다. 터치 이벤트는 제 2 디바이스에 의해 검출되었다. 그 방법은 제 1 콘텍스트 데이터와 제 2 콘텍스트 데이터를 비교하는 단계와 그 비교에 기초하여, 제 1 터치 이벤트가 제 2 디바이스에 의해 검출된 터치 이벤트인지의 여부를 결정하는 단계를 더 포함한다.

Description

전자기 방해 신호 검출
본 명세서는 전자기 방해(electromagnetic interference)를 검출하는 전자 디바이스들에 관한 것이다.
제 1 디바이스가 두 개의 디바이스들 사이에 셋업된 통신 채널을 사용하여 제 2 디바이스를 식별할 수도 있다. 예를 들어, 제 2 디바이스는 신호, 이를테면 블루투스 신호 또는 Wi-Fi 신호에 식별 정보를 인코딩하고, 인코딩된 신호를 제 1 디바이스로 송신할 수도 있다. 제 1 디바이스는 신호를 검출하고, 검출된 신호를 제 2 디바이스의 인코딩된 식별 정보에 액세스하기 위하여 디코딩할 수도 있다. 그러나, 하나 또는 양쪽 디바이스들이 그 신호를 디코딩, 인코딩, 송신, 및/또는 수신할 수 없다면 디바이스 식별은 일어나지 않을 수도 있다. 덧붙여서, 통신 채널에서의 잡음 또는 다른 간섭이 디바이스 식별을 방해할 수도 있다.
사용자의 신체에 커플링되고, 신체로부터, 장치 외부에 있는 물체에 의해 생성된 전자기 방해 신호에 기초한 신호를 수신하도록 구성되는 전극; 및 전극에 커플링되고 전극에 의해 수신된 신호에 기초하여, 사용자와 물체 사이의 상호작용; 물체의 아이덴티티; 또는 장치 주위의 콘텍스트 중 하나 이상을 검출하도록 구성되는 하나 이상의 프로세서들이다.
도 1은 예시적인 전자 디바이스들에 의해 생성된 예시적인 전자기 방해 신호들을 도시한다.
도 2는 예시적인 검출 디바이스에 의한 전자기 방해 신호들의 예시적인 검출을 도시한다.
도 3은 전자기 방해 신호들을 검출하는 예시적인 디바이스의 일 예의 하드웨어를 도시한다.
도 4는 검출된 전자기 방해 신호들을 프로세싱 및 분석하는 예시적인 방법을 도시한다.
도 5는 EMI 신호들을 프로세싱, 분석, 및 분류하는 예시적인 방법을 도시한다.
도 6은 터치-검출 기능(touch-detection capabilities)을 포함하지 않는 디바이스들 상의 터치 검출을 예시한다.
도 7은 터치-감지 디바이스(touch-sensitive device)와 상호작용하는 다수의 사용자들 식별을 예시한다.
도 8은 터치-감지 디바이스와 상호작용하는 사용자 식별을 예시한다.
도 9는 예시적인 컴퓨터 시스템을 도시한다.
일 실시예에서, 방법이, 제 1 디바이스 상의 제 1 터치 이벤트에 연관된 제 1 콘텍스트 데이터에 액세스하는 단계; 제2 디바이스에 의해 검출된, 제 1 디바이스 상의 터치 이벤트에 연관된 제 2 콘텍스트 데이터에 액세스하는 단계; 제 1 콘텍스트 데이터와 제 2 콘텍스트 데이터를 비교하는 단계; 및 그 비교에 기초하여, 제 1 터치 이벤트가 제 2 디바이스에 의해 검출된 터치 이벤트인지의 여부를 결정하는 단계를 포함한다.
일 실시예에서, 그 방법은 제 1 디바이스 상에서 제 2 터치 이벤트에 연관된 제 3 콘텍스트 데이터에 액세스하는 단계; 제3 디바이스에 의해 검출된, 제 1 디바이스 상의 터치 이벤트에 연관된 제 4 콘텍스트 데이터에 액세스하는 단계; 제 3 콘텍스트 데이터와 제 4 콘텍스트 데이터를 비교하는 단계; 및 그 비교에 기초하여, 제 2 터치 이벤트가 제 3 디바이스에 의해 검출된 터치 이벤트인지의 여부를 결정하는 단계를 더 포함한다.
일 실시예에서, 제 2 콘텍스트 데이터는 사용자의 신체에 커플링된 제 2 디바이스의 전극가속도계; 또는 마이크로폰 중 하나 이상으로부터의 출력을 포함하며, 상기 전극은 사용자의 신체로부터 신호를 수신하도록 구성되며, 상기 신호는 제 1 디바이스에 의해 생성된 전자기 방해 신호에 기초한다.
일 실시예에서, 그 방법은 제 1 터치 이벤트가 제 2 디바이스에 의해 검출된 터치 이벤트라는 결정에 응답하여 제 2 디바이스의 사용자를 식별하는 단계를 더 포함한다.
일 실시예에서, 사용자를 식별하는 단계는 사용자에게 ID를 배정하는 단계를 포함한다.
일 실시예에서, 사용자를 식별하는 단계는 사용자를 식별하는 정보에 액세스하는 단계를 포함한다.
일 실시예에서, 사용자를 식별하는 단계는 제 2 디바이스를 식별하는 단계를 포함한다.
일 실시예에서, 그 방법은 제 1 디바이스에 대해 사용자를 인가하는 단계를 더 포함한다.
일 실시예에서, 그 방법은 식별된 사용자에게 특별한 하나 이상의 설정들에 액세스하는 단계를 더 포함한다.
일 실시예에서, 제 1 디바이스는 터치-감지 디바이스를 포함하고; 제 2 디바이스는 착용가능 디바이스를 포함한다.
일 실시예에서, 제 1 콘텍스트 데이터는 제 1 타임스탬프를 포함하고; 제 2 콘텍스트 데이터는 제 2 타임스탬프를 포함한다.
일 실시예에서, 그 방법은 제 1 타임스탬프 및 제 2 타임스탬프 중 하나 이상의 타임스탬프에 대한 오프셋을 결정하는 단계를 더 포함하며, 비교는 오프셋에 추가로 기초한다.
일 실시예에서, 제 2 디바이스는 제 1 사용자에 연관되고; 그 방법은, 제 1 디바이스에 의해 검출된 제 2 터치 이벤트에 연관된 제 3 타임스탬프에 액세스하는 단계; 제2 사용자에 연관된 제3 디바이스에 의해 검출된, 제 1 디바이스 상의 터치 이벤트에 연관된 제 4 타임스탬프에 액세스하는 단계; 제 3 타임스탬프와 제 4 타임스탬프를 비교하는 단계; 비교에 기초하여, 제 2 터치 이벤트가 제 3 디바이스에 의해 검출된 터치 이벤트인지의 여부를 결정하는 단계; 제 1 터치 이벤트가 제 2 디바이스에 의해 검출된 터치 이벤트라는 결정에 응답하여, 제 1 터치 이벤트와 제 1 사용자를 연관시키는 단계; 및 제 2 터치 이벤트가 제 3 디바이스에 의해 검출된 터치 이벤트라는 결정에 응답하여, 제 2 터치 이벤트와 제 2 사용자를 연관시키는 단계를 더 포함한다.
일 실시예에서, 장치가, 터치 센서; 및 터치 센서에 커플링되는 그리고 터치 센서에 의해 검출된 제 1 터치 이벤트에 연관된 제 1 콘텍스트 데이터를 결정하며; 제2 디바이스에 의해 검출된, 제 2 디바이스로부터 장치 상의 터치 이벤트에 연관된 제 2 콘텍스트 데이터를 수신하며; 제 1 콘텍스트 데이터와 제 2 콘텍스트 데이터를 비교하고; 비교에 기초하여, 제 1 터치 이벤트가 제 2 디바이스에 의해 검출된 터치 이벤트인지의 여부를 결정하도록 구성되는 하나 이상의 프로세서들을 포함한다.
일 실시예에서, 하나 이상의 프로세서들은, 터치 센서에 의해 검출된 제 2 터치 이벤트에 연관된 제 3 콘텍스트 데이터를 결정하며; 제3 디바이스에 의해 검출된, 장치 상의 터치 이벤트에 연관된 제 4 콘텍스트 데이터를 제 3 디바이스로부터 수신하며; 제 3 콘텍스트 데이터와 제 4 콘텍스트 데이터를 비교하며; 그 비교에 기초하여, 제 2 터치 이벤트가 제 3 디바이스에 의해 검출된 터치 이벤트인지의 여부를 결정하도록 추가로 구성된다.
일 실시예에서, 제 2 디바이스는 착용가능 디바이스를 포함한다.
일 실시예에서, 제 2 콘텍스트 데이터는, 사용자의 신체에 커플링된 제 2 디바이스의 전극;가속도계; 또는 마이크로폰 중 하나 이상으로부터의 출력을 포함하며, 상기 전극은 사용자의 신체로부터 신호를 수신하도록 구성되며, 신호는 제 1 디바이스에 의해 생성된 전자기 방해 신호에 기초한다.
일 실시예에서, 하나 이상의 프로세서들은 제 1 터치 이벤트가 제 2 디바이스에 의해 검출된 터치 이벤트라는 결정에 응답하여 제 2 디바이스의 사용자를 식별하도록 추가로 구성된다.
일 실시예에서, 제 1 콘텍스트 데이터는 제 1 타임스탬프를 포함하고; 제 2 콘텍스트 데이터는 제 2 타임스탬프를 포함한다.
일 실시예에서, 하나 이상의 비-일시적 컴퓨터-판독가능 저장 매체가, 하나 이상의 프로세서들에 의해 실행될 때 하나 이상의 프로세서들로 하여금 동작들을 수행하게 하는 로직을 수록하고 있으며, 그 동작들은, 제 1 디바이스 상의 제 1 터치 이벤트에 연관된 제 1 콘텍스트 데이터에 액세스하는 동작; 제2 디바이스에 의해 검출된, 제 1 디바이스 상의 터치 이벤트에 연관된 제 2 콘텍스트 데이터에 액세스하는 동작; 제 1 콘텍스트 데이터와 제 2 콘텍스트 데이터를 비교하는 동작; 및 비교에 기초하여, 제 1 터치 이벤트가 제 2 디바이스에 의해 검출된 터치 이벤트인지의 여부를 결정하는 동작을 포함한다.
본 발명을 위한 실시예
전자 디바이스들, 케이블들, 와이어들, 및 다른 도체들이 동작하거나 전자기 및 전자 신호들에 노출될 때 전자기 복사를 방출한다. 예를 들어, 전력선들, 가전기기들, 그리고 모바일 및 컴퓨팅 디바이스들이 전자기 복사를 방출할 수도 있는데, 이 전자기 복사는 환경 전자기 방해(environmental electromagnetic interference, EMI) 또는 전자 잡음이라고 또한 지칭될 수도 있다. 도전성 물체가 자신의 환경에서 EMI에 커플링할 수도 있다. 예를 들어, 커플링은 EMI를 생성하는 물체와 직접 커플링(즉, 도전성 경로를 형성하는 접촉)함으로써 또는 EMI를 생성하는 물체에 용량성(capacitively) 커플링함으로써 일어날 수도 있다. 일 예로서, 인간의 신체는 약간의 도체이고 따라서 EMI 신호들에 커플링하고 EMI 신호들에 대한 안테나로서 역할을 할 수도 있다. EMI 신호들에 커플링된 물체가 제 2 도전성 물체에 커플링하고 EMI 신호들을 제 2 도전성 물체에 송신할 수도 있다. 예를 들어, 사용자의 신체의 부분이 디바이스의 전극에 용량적으로 커플링되고 그 전극에 그 신체에 커플링된 EMI 신호들을 송신할 수도 있다.
EMI 신호들에 커플링된 도전성 물체로부터 수신된 신호들은 생성된 EMI 신호들의 특성과 물체의 특성일 수도 있다. 예를 들어, EMI 신호들의 주파수들, 대역폭, 진폭들, 및 위상은 EMI와 EMI에 커플링된 물체의 도전성 성질들을 생성하는 전자 컴포넌트들의 특성일 수도 있다. 도 1은 각각 예시적인 EMI 신호들(120A, 120B, 및 120C)을 생성하는 예시적인 디바이스들(110A, 110B, 및 110C)을 도시한다. 도 1이 디바이스들(110A, 110B, 및 110C)에 의해 생성된 EMI 신호들의 진폭(수직 축)을 EMI 신호의 주파수(수평 축)의 함수로서 도시하지만, 본 명세서는 생성된 EMI 신호들이, EMI 신호의 진폭(또는 EMI 신호의 특정 성분)을 시간의 함수로서 비제한적으로 포함하는, 임의의 적합한 형태로 표현될 수도 있다는 것도 고려한다.
도 1에 예시된 바와 같이, 디바이스에 의해 생성된 EMI 신호들은 디바이스의 제조사, 유형, 또는 모델에 종속적일 수도 있다. EMI 신호들의 특정 특성들은 디바이스들 및/또는 디바이스들 내의 컴포넌트들 이 고유하게 식별 가능하도록 디바이스 내의 전자 컴포넌트들의 정밀한 구성 및 동작에 종속적일 수도 있다. 더구나, EMI 신호들은 디바이스의 상태 또는 동작 모드에 기초하여 가변할 수도 있다. 예를 들어, EMI 신호들은, 배터리가 충전되고 있는 것; 블루투스 또는 Wi-Fi 컴포넌트들이 동작하고 있는 것; 디스플레이가 동작하고 있는 것; 또는 특정 콘텐츠가 디스플레이 상에 디스플레이됨을 식별할 수도 있다. EMI 신호들은 회로에서 사용되는 전자 컴포넌트들의 특정 유형, 공차 값들, 컴포넌트들의 특정 구성, 그리고 회로들이 노출되는 전기 신호들 및 필드들에 기초하여 가변할 수도 있다. 따라서, 개개의 컴포넌트들, 회로들, 및 디바이스들은 컴포넌트들 및 컴포넌트들의 컬렉션에 의해 개별적으로 그리고 집합적으로 생성된 EMI 신호들에 기초하여 식별될 수도 있다. 그 신호들은 그 다음에 그 신호들을 생성하는 컴포넌트들 또는 디바이스들을 식별하며, 컴포넌트들 또는 디바이스들의 동작 모드 또는 상태를 식별하거나 그 신호들에 커플링되는 그리고 그 신호들을 송신하는 물체를 식별하거나, 또는 상기 동작 모드 또는 상태와 상기 물체를 식별하도록 프로세싱될 수 있다. 프로세싱들은 특정 신호들과 EMI 신호들을 검출하는 디바이스의 환경 또는 콘텍스트를 또한 연관시킬 수도 있다. 2014년 8월 12일자로 출원되고 참조로 본 명세서에 포함된 미국 특허 출원 제14/458,110호는 EMI 신호들을 검출하고 프로세싱하는 예시적인 방법들 및 시스템들을, 연관된 기능과 함께 개시한다.
특정 실시예들에서, 사용자가 착용 또는 보유하는 디바이스가 사용자의 신체에 커플링된 EMI에 기초한 사용자의 신체로부터의 신호들을 수신할 수도 있다. 디바이스에 의해 수신된 신호들은 사용자와 EMI를 방출하는 디바이스 사이의 상호작용들을 결정하거나, EMI를 방출하는 디바이스를 식별하거나, 사용자의 콘텍스트를 결정하거나, 또는 이들의 임의의 적합한 조합일 수도 있다. 도 2는 EMI 신호들을 검출하고 프로세싱하는 예시적인 하드웨어를 갖는 예시적인 디바이스(230)를 도시한다.
도 2에 예시되고 위에서 설명되는 바와 같이, 디바이스(210)와 같은 물체로부터 생성된 EMI 신호들(220)이 사용자의 신체(240)에, 직접적으로 커플링되거나 용량성으로(capacitively) 커플링된다. 디바이스(230)는 사용자(240)에게 직접적으로 또는 용량성으로 커플링되고 사용자의 신체를 통해 송신된 EMI 신호들을 수신한다. 본 명세서에서 더 설명되는 바와 같이, 디바이스(230)는 디바이스(210)에 관한 정보, 사용자(240)와 디바이스(210) 사이의 상호작용들, 및/또는 디바이스(230) 주위의 콘텍스트(context)를 결정하기 위해 사용자(240)에 의해 송신된 EMI 신호들을 수신 및 프로세싱한다.
도 2가 예시적인 디바이스(230)를 도시하지만 본 명세서는 EMI 신호들이 임의의 적합한 디바이스 또는 다수의 디바이스들에 의해 수신 및 프로세싱될 수도 있다는 것도 고려한다. 예를 들어, 디바이스(230)는 손목시계, 반지, 목걸이, 또는 펜던트와 같은 착용가능 디바이스일 수도 있으며; 스마트 폰들 및 태블릿들과 같은 모바일 디바이스들에 내장될; 키보드들, 마우스들, 랩톱들에 내장될; 가전기기들, 가구, 공공 디스플레이들, 자동차들(이를테면 좌석들 또는 조향 휠들), 의류, 헬스 추적기들, 머리띠들, 손목밴드들, 또는 백팩들과 같은 액세서리들에 내장될 수도 있다. 본 명세서는 예를 들어, 2015년 5월 12일자로 발행되고 참조로 본 명세서에 포함된 미국 특허 제9,030,446호에 기재된 착용가능 디바이스들 및 연관된 기능과 같은 임의의 적합한 기능을 갖는 임의의 적합한 디바이스도 고려한다.
디바이스(230)는 사용자(240)로부터의 신호들을 그 사용자에게 커플링된 디바이스(230)의 하나 이상의 전극들로 수신할 수도 있다. 특정 실시예들에서, 커플링은 직접적일 수도 있어서, 전극의 전부 또는 부분이 사용자의 피부와 접촉하고 있다. 특정 실시예들에서, 커플링은 간접적일 수도 있어서, 전극은 사용자에게 용량성으로 커플링된다. 예를 들어, 전극은 디바이스(230)를 위한 덮개에 의해 또는 사용자의 의복에 의해 사용자로부터 분리될 수도 있다. 본 명세서는 사용자(240)로부터 EMI 신호들을 수신하는 전극들이 임의의 적합한 개수로 이루어져 있거나 임의의 적합한 구성으로 이루어진 경우도 고려한다. 예를 들어, 2014년 8월 12일자로 출원되고 참조로 본 명세서에 포함된 미국 특허 출원 제14/458,110호에서 개시된, EMI 신호들을 수신하기 위한 전극 기술 및 구성들이, 적절한 경우에, 사용될 수도 있다. 특정 실시예들에서, 전극들은 예를 들어, 사용자(240)의 손목 또는 머리와 같은 사용자(240)의 윤곽들(contours)에 일치만큼 충분히 유연할 수도 있다. 특정 실시예들에서, 디바이스(230)의 하나 이상의 전극들은 환경, 즉, 사용자(240)가 아닌 다른 것으로부터의 EMI 신호들, 예를 들어, 미국 특허 출원 제14/458,110호에 기재된 EMI 신호들을 수신할 수도 있다.
디바이스(230)는 수신된 EMI 신호를 프로세싱하는 하나 이상의 컴포넌트들 - 하드웨어, 소프트웨어, 또는 둘 다를 포함함 - 을 포함할 수도 있다. 예를 들어, 디바이스(230)는 EMI 신호를 증폭하는 컴포넌트들(250), 신호를 분석하는 컴포넌트들(260), 및 신호를 분류하는 컴포넌트들(270)을 포함할 수도 있다.
도 3은 EMI 신호를 증폭하고 프로세싱하는 디바이스(230)의 예시적인 컴포넌트들을 도시한다. 도 3에 예시된 바와 같이, 디바이스(230)는 전치-증폭기(pre-amplifier), 이를테면 저잡음 트랜스-임피던스 증폭기(low noise trans-impedance amplifier)(310)를 포함할 수도 있다. 특정 실시예들에서, 전치-증폭기가 수신된 신호에 가변 이득을 인가할 수도 있다.
디바이스(230)는, 전치-증폭기로부터의 출력을 필터링하기 위해, 하나 이상의 필터들, 이를테면 저역 통과 필터(320)를 또한 포함할 수도 있다. 디바이스(230)는 증폭기, 이를테면 가변 이득 증폭기(330)를 포함할 수도 있다. 특정 실시예에서, 증폭기는, 예를 들어 신호가 특정 진폭 범위 내에 머무르는 것을 보장하기 위해 그 신호를 스케일링할 수도 있다. 특정 실시예들에서, 진폭 범위는 원하는 애플리케이션 또는 기능에 종속적일 수도 있다. 특정 실시예들에서, 증폭기에 연관된 이득이 동적으로 가변적일 수도 있다. 특정 실시예들에서, 전치-증폭기의 가변 이득, 가변 증폭기의 이득, 및 필터(들)의 차단 주파수들이, 요구되는 애플리케이션 및 반응성에 의존하여, 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어에서 제어될 수 있다. 특정 실시예들에서, 디바이스(230)는 아날로그-디지털 변환기 (ADC)(340)를 포함할 수도 있다. 특정 실시예들에서, ADC(340)는 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어에 의해 제어 가능한 프로그램가능 샘플링 주파수를 가질 수도 있다. 특정 실시예들에서, 디바이스가 EMI를 생성하는 디바이스의 규제 허용된 EMI 방출들을 사용하고 잡음의 다른 소스들을 거부하도록 튜닝될 수도 있다. 특정 실시예들에서, 그렇게 하는 것은 EMI 신호들을 동적으로 특징화하는 것을 피할 수도 있다.
특정 실시예들에서, 디바이스(230)는 EMI 신호들, 이를테면 아날로그 프런트 엔드 및 ADC에 의해 수신된 신호들을 분석하는 하드웨어 또는 소프트웨어를 포함할 수도 있다. 도 4는 EMI 신호들을 분석하는 예시적인 방법(400)을 도시한다. 단계 410에서, EMI 신호들의 전부 또는 일부의 주파수 분석이, 예를 들어 수신된 신호들에 고속 푸리에 변환(fast Fourier transform, FFT)을 사용하여 수행된다.
단계 410에서는 수신된 EMI 신호들 또는 EMI 신호의 부분의 주파수 도메인 표현을 계산될 수도 있다. 특정한 주파수들이, 신호 프로세싱에서의 이 지점 또는 임의의 다른 적합한 지점(이를테면 필터링 단계) 동안 잡음으로서 식별될 수도 있다. 특정 실시예들에서, 특정 주파수 범위가 분석될 수도 있다. 예를 들어1 내지 600 kHz, 600 내지 1200 kHz, 또는 1 내지 1200 kHz에서의 신호들이 분석될 수도 있다. 특정 실시예들에서, 그 주파수 외의 신호들이, 예를 들어 도 3의 필터(320)를 사용함으로써 무시되거나 또는 필터링될 수도 있다.
단계 420에서, 주파수 스펙트럼이 예를 들어 특정 수(예컨대, 1000)의 빈들(bins)로 또는 특정 대역폭의 빈들로와 같이 추가의 분석을 위해 파싱될 수도 있다. 특정 실시예들에서, 주파수 신호들의 부분만이 파싱될 수도 있다.
단계 430에서, EMI 신호의 특성들이 분석될 수도 있다. 예를 들어, 각각의 주파수 빈 또는 범위 내의 신호의 진폭은, 예를 들어, 신호의 전력 스펙트럼 밀도(power spectrum density, PSD)를 분석함으로써 결정될 수도 있다. 다른 예로서, 신호의 위상(phase)이 결정될 수도 있다. 특정 실시예들에서, 통계적 방법들이, 예를 들어, EMI 신호의 또는 EMI 신호의 특정 양태들의 표준 편차, 평균 제곱 근 값, 평균 등을 계산하는데 사용될 수도 있다. 본 개시물이 주파수 도메인에서 일어나는 예시적인 신호 분석을 논의하지만, 본 명세서는 공간적 또는 시간적 도메인에서의 분석을 포함하는 임의의 적합한 분석도 고려한다. 더구나, 본 명세서는 임의의 다른 적합한 데이터, 이를테면 다른 센서들로부터의 데이터가, 본 명세서에서 설명되는 기능을 수행하기 위해 적절한 대로 분석되고 특징화될 수도 있다는 것도 고려한다.
단계 440에서, 분석된 데이터는 정규화 및 필터링될 수도 있고, 그 지점에서 방법(400)은 종료할 수도 있다. 특정 실시예들이 도 4의 방법의 하나 이상의 단계들을 적절한 경우 반복할 수도 있다. 본 개시물이 도 4의 방법의 특정 단계들을 특정 순서로 일어나는 것으로서 예시하고 설명하지만, 본 명세서는 임의의 적합한 순서로 일어나는 도 4의 방법의 임의의 적합한 단계들도 고려한다. 본 명세서는 도 4의 방법의 단계들의 전부 또는 일부를 포함할 수도 있거나 또는 전혀 포함하지 않을 수도 있는 임의의 적합한 단계들을 포함하는, EMI 신호들을 분석하는 임의의 적합한 방법도 고려한다. 더욱이, 비록 본 개시물이 도 4의 방법의 특정 단계들을 수행하는 특정 컴포넌트들, 디바이스들, 또는 시스템들을 예시하고 설명하지만, 본 명세서는 도 4의 방법의 임의의 적합한 단계들을 수행하는 임의의 적합한 컴포넌트들, 디바이스들, 또는 시스템들의 임의의 적합한 조합도 고려한다.
특정 실시예들에서, 단계 430은 원시 특징 벡터(raw feature vector)를 투영할 하위 차원 부분공간(lower-dimensional subspace)을 선택하는 주성분 분석(Principal Component Analysis, PCA)을 포함할 수도 있다. 특정 실시예들에서, PCA 프로세스의 출력은 하위 차원 부분공간에서의 각각의 컴포넌트 또는 차원(dimension) 사이의 분산에서의 차이를 강조하고, 극대화할 수도 있다. PCA의 출력은, 예를 들어, 단계 440의 일부로서 사용되는 변환 행렬일 수도 있다
특정 실시예들에서, 신호 분석은 부분공간 선형 판별식 분석(subspace linear discriminant analysis, LDA), 2차 판별식 분석(quadratic discriminant analysis, QDA), 또는 둘 다를 포함할 수도 있다. 예를 들어, PSD의 N 개 주파수 빈들로 이루어진 신호 데이터가 사용될 수도 있다. 덧붙여서, 이들 N 개 주파수 빈들의 일부 또는 전부 내의 EMI 신호의 변화들이 시간의 함수로서 분석될 수도 있다.
단계 430에서는 데이터를 투영할 부분공간을 선택하기 위하여 공지의 상호작용 이벤트들 및 환경들 전체에 걸쳐 각각의 주파수 빈의 엔트로피 및 분산을 분석할 수도 있다. 특정 실시예들에서, 부분공간의 사이즈가 선택될 수도 있다. 특정 실시예들에서, 부분공간의 사이즈가, 예를 들어 의도된 기능에 기초하여 가변할 수도 있다. 특정 실시예들에서, 주성분 분석이 수행되고 데이터는 부분공간에 투영될 수도 있다. 특정 실시예들에서, LDA 또는 QDA가 그 다음에 적용될 수도 있다. 특정 실시예들에서, PCA, LDA, 및 QDA의 임의의 조합이 적용될 수도 있다.
특정 실시예들에서, 신호 분석이, 예를 들어 디바이스(210) 상의 터치 이벤트의 위치를 결정하기 위해 회귀 방법들을 EMI 신호들에 적용할 수도 있다. 예를 들어, LDA 또는 QDA가 적용될 수도 있다. 다음으로, 단일 샘플(미리-프로세싱된 PSD)과 모든 선형 판별식들 사이의 더 높은 차원 공간에서의 거리가 계산될 수도 있다. 마지막으로, 회귀 모델(regression model)이, 예컨대, 데카르트 좌표들을 사용하여, 이들 거리들을 디스플레이의 2차원 공간에서의 터치 이벤트의 특정 위치에 맞추기 위해 학습될 수도 있다.
특정 실시예들에서, 신호 분석은, 예를 들어 디바이스(210) 상에서 터치 이벤트를 국부화하기 위해, 국부화된 이진 검색 방법들을 포함할 수도 있다. 예를 들어, 제대로인 신호의 N-빈 차원 PSD-공간이 분류기 트리(tree of classifiers)를 구축하여 디바이스와 상호작용하는 지점의 위치를 예측하기 위해 분석될 수도 있다. 특정 실시예들에서, 전체 모델은 이진 트리들로 제한될 수도 있다. 각각의 샘플에 대해, 최외측 분류기는 특징들(예컨대, FFT 빈들)의 분산들 및 다른 통계적 메트릭들에 의존하는 두 개의 부분들로 영역을 분할하기 위해 선택되고 사용된다. 검색 방법은 그 다음에 확률 점수로 영역들에 점수를 부여하고 최고 확률 점수를 갖는 영역을 선택함으로써, 두 개의 영역들 중 어떤 영역에 샘플이 속하는지를 추정한다. 검색 방법은 그 다음에 하나의 영역을 두 개의 서브-영역들로 분리하는 시간마다, 분류기 트리를 하향 내비게이션할 수도 있다. 마지막으로, 디바이스의 특정 영역이 터치 이벤트가 일어났던 위치로서 추정된다.
특정 실시예들에서, 디바이스(230)(또는 임의의 다른 적합한 프로세싱 디바이스)는 미리 결정된 간격들로, 이를테면 매초마다 사용자(240)로부터 수신된 신호들을 프로세싱할 수도 있다. 특정 실시예들에서, 프로세싱 디바이스는 관심 있는 하나 이상의 EMI 신호들이 검출된 후 더 빈번하게 샘플링할 수도 있다. 특정 실시예들에서, 프로세싱 디바이스는 모든 수신된 신호들(예컨대, 전체 대역폭에서의 모든 신호들)에 프로세싱을 진행한 다음, 관심 있는 특정 대역폭들에서 EMI 신호들이 식별되면, 대역폭들에 대해 프로세싱 자원을 집중할 수도 있다. 특정 실시예들에서, 프로세싱 디바이스는 원하는 기능에 기초하여 관심 있는 특정 대역폭들에, 예를 들어 관심 있는 디바이스가 특성 EMI 신호들을 송신하는 대역폭들에 주목할 수도 있다. 특정 실시예들에서, 프로세싱 디바이스는 현재 수신된 EMI 신호들로부터 배경 신호들 또는 이전에 수신된 EMI 신호들을 감산함으로써 EMI 신호들에서의 변화들을 결정할 수도 있다.
본 명세서는 임의의 적합한 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어가 본 명세서에서 논의되는 신호 프로세싱 및 분석 단계들 중 임의의 것을 수행할 수도 있다는 것도 고려한다. 더나아가서, 본 명세서는 디바이스(230)가 사용자에게, 직접적으로 또는 용량성으로 커플링될 수 있는 임의의 물체의 전체 또는 부분일 수도 있다는 것을 고려한다. 특정 실시예들에서, 디바이스(230) 또는 디바이스(230)의 특정 컴포넌트들에 의해 수행되고 있는 것으로서 설명되는 특정한 컴포넌트들 또는 양태들은 다수의 디바이스들에 걸쳐 분산될 수도 있다. 예를 들어, 디바이스가 신호를 수신하는 하나 이상의 전극들과 그 신호를 모든 또는 특정한 프로세싱 단계들을 위한 하나 이상의 컴퓨팅 디바이스들에 전달하는 송신기를 포함할 수도 있다. 디바이스(230)는 상호접속된 컴퓨팅 디바이스들의 네트워크의 일부일 수도 있고, 신호 취득, 프로세싱, 분석, 및 분류는 하나 이상의 다른 컴퓨팅 디바이스들에 걸쳐 분산될 수도 있거나, 디바이스(230)에 의해 수행될 수도 있거나, 또는 이들의 임의의 적합한 조합일 수도 있다.
디바이스(230)는 EMI 신호를 분류하는 하나 이상의 컴포넌트들을 포함할 수도 있다. 예를 들어, 디바이스(230)는 EMI 신호들을 생성하는 디바이스(210)와 같은 물체를 식별할 수도 있거나; 사용자(240)와 디바이스(210) 사이의 상호작용, 이를테면 디바이스(210)에 대한 사용자(240)의 접촉 또는 근접 또는 사용자(240)에 의해 수행된 제스처를 식별할 수도 있거나; 사용자(240)와의 상호작용이 일어나는 디바이스(210) 부분의 위치를 찾아낼 수 있거나; 디바이스(230) 이 커플링되는 물체(이 예에서, 사용자(240))를 식별할 수도 있거나; 또는 이들의 임의의 적합한 조합일 수도 있다.
특정 실시예들에서, 디바이스(230)는 하나 이상의 측정 절차(calibration procedures)들을 수행할 수도 있다. 예를 들어, 디바이스(210) 상에서 터치 이벤트의 위치를 확인하기 위해, 디바이스(230)는 사용자에게 터치 디바이스(210)의 특정 위치에 터치할 것을 지시할 수도 있다.
디바이스(230)는 결과인 수신된 EMI 신호를 분석 및 기록하고 그 신호와 측정 이벤트를 연관시킬 수도 있다. 다른 예로서, 디바이스는 사용자에게 특정한 신체 부위 상에 디바이스를 위치시킬 것을 지시하며, 그 결과인 수신된 EMI 신호를 분석하고 기록하고, 그 신호와 그 특정 신체 부위를 연관시킬 수도 있다. 다른 예로서, 디바이스는 사용자에게 특정 방 또는 물리적 위치에 들어갈 것을 지시하며, 그 결과인 수신된 EMI 신호를 분석 및 기록하고, 그 신호와 그 특정 방 또는 위치를 연관시킬 수도 있다. 다른 예로서, 디바이스는 디바이스를 사용자에게 직접적으로 커플링시키거나 또는 용량성으로 커플링시킬 것을 사용자에게 지시하며, 그 결과인 수신된 EMI 신호를 분석 및 기록하고, 그 신호와 직접 또는 용량성 커플링을 각각 연관시킬 수도 있다. 특정 실시예들에서, 디바이스는 사용자가 특정 측정 이벤트들 또는 조건들을 입력하기 위한 사용자 인터페이스를 제공할 수도 있다. 예를 들어, 디바이스는 사용자가 특정 디바이스와 상호작용하고 있음, 특정 상호작용(예컨대, 제스처)을 수행하고 있음, 특정 위치에 있음, 특정 활동(예컨대 운동)을 수행하고 있음, 특정 상태에 있음 (예컨대 사용자가 땀을 흘리고 있음, 밖에 비가 오고 있음 등) 등을 표시하는 사용자로부터의 피드백을 수신할 수도 있다.
특정 실시예들에서, 디바이스는 사용자에게 선택할 사전 설정된 측정 이벤트(pre-set calibration events)들을 제공할 수도 있다. 특정 실시예들에서, 디바이스는 사용자로 하여금 사용자 맞춤(customization) 이벤트를 시작할 수 있도록 허용할 수도 있다. 특정 실시예들에서, 디바이스가 하나 이상의 테스트 디바이스들, 사용자들, 환경들, 및/또는 조건들로 수행되는 하나 이상의 측정 절차들로부터의 데이터를 포함할 수도 있거나 또는 그러한 데이터에 액세스할 수도 있다. 예를 들어, 디바이스(230)는 흔히 사용되는 스마트 폰들 로부터의 EMI 신호들 또는 또는 다양한 사용자 특성들(예컨대, 나이, 신체 사이즈 또는 유형, 등) 을 포함할 수도 있거나 또는 액세스할 수도 있다.
특정 실시예들에서, 디바이스(230)는 사용자의 신체 임피던스에 기초하여 특정 사용자에 대해 측정할 수도 있다. 예를 들어, 디바이스(230)는 사용자의 신체에 커플링된 둘 이상의 전극들 사이에서 하나 이상의 테스트 신호들을 송신하고 송신된 신호 및 수신된 신호에 기초하여 그 임피던스를 결정할 수도 있다. 특정 실시예들에서, 측정은 콘텍스트 종속적일 수도 있고, 사용자가 운동하고 있을 때 하나의 측정이 수행및 기록되고, 사용자가 가만히 앉아 있을 때 다른 측정이 수행되고 기록될 수도 있다. 특정 실시예들에서, 디바이스(230)는 다수의 측정들을 수행할 수 있고, 이에 따라 임피던스 측정들을 수행할 수도 있는데, 각각의 임피던스 측정은 특정 주파수 또는 주파수 범위에 대응한다. 특정 실시예들에서, 이러한 측정들은 사용자를 위한 프로파일에 저장될 수도 있다. 특정 실시예들에서, 최근의 측정들이 정확도를 향상시키기 위해 과거의 측정들과 조합될 수도 있다. 특정 실시예들에서, 보다 최근의 측정들이 오래된 측정값들보다 더 높은 가중치를 가질 수도 있다.
특정 실시예들에서, 측정의 결과들은 사용자에게 피드백을 제공하는데; 신호 프로세싱, 분석, 또는 특징화를 조정하는데, 또는 둘 다를 위해 사용될 수도 있다. 예를 들어, 측정 결과, 전극이 사용자와 양호한 접촉을 하고 있지 않음이 나타나면, 사용자에게는 그 사실이 통지될 수도 있다. 다른 예로서, 디바이스(230)는 수신된 신호의 이득을, 예를 들어 신호가 특정 진폭 내에 머무르는 것을 보장하기 위해 조정할 수도 있다. 추가적으로 또는 대안적으로, 디바이스(230)는 EMI 신호를 취득하는데 사용되는 샘플링 레이트를 조정할 수도 있거나, EMI 신호를 검출 또는 프로세싱하는데 사용되는 차단 주파수들을 조정할 수도 있거나, 언더샘플링(undersampling)을 수행할 수도 있거나, 또는 그것들의 임의의 적합한 조합을 행할 수도 있다.
특정 실시예들에서, EMI 신호들은 디바이스(230) 또는 사용자 주위의 콘텍스트를 감지하는데 사용될 수도 있다. 예를 들어, 집에서 사용자는 TV, 모바일 폰, 및 냉장고로부터의 EMI에 의해 둘러싸일 수도 있는 반면, 사무실에서 사용자는 데스크톱 컴퓨터, 사무실 조명, 및 사무실 전화 시스템으로부터의 EMI에 의해 둘러싸일 수도 있다. 따라서, 수신된 EMI 신호는 EMI 신호들과 특정 잡음, 환경들, 및 위치들을 연관시키는 데이터 스토어(data store)와 비교될 수 있다. 특정 실시예들에서, 수신된 EMI 신호와 데이터 스토어에서의 신호들 사이의 유사도들은 사용자의 콘텍스트, 이를테면 위치 및 다른 환경 인자(environmental factor)들을 유추하기 위해 머신 학습 알고리즘들과 함께 사용될 수도 있다. 상이한 위치들이 매우 상이한 잡음 콘텍스트들을 가질 수도 있다. 예를 들어, 휴게실이 커피 머신으로부터의 EMI를 포함할 수도 있는 한편, 회의실이 대형 TV 또는 프로젝터로부터의 EMI를 포함할 수도 있고, 도 1이 예시하는 바와 같이, 이들 디바이스들은 인식 가능하게 고유한 EMI 신호들을 각각 생성할 수도 있다.
도 5는, 예를 들어 디바이스들을 식별하거나, 디바이스들의 부분들 간을 차별화하거나, 또는 디바이스에의 근접 정도(디바이스와의 접촉을 포함함)를 결정하기 위해 EMI 신호들을 프로세싱, 분석, 및 분류하는 예시적인 기법(500)을 도시한다. 방법(500)의 특정 실시예들은 본 명세서에서 더 충분히 설명되는 바와 같이, 기계 학습 기법들을 포함할 수도 있다.
방법(500)은, EMI 신호들의 프리 프로세싱이 일어나는 단계 510에서 시작할 수도 있다. 본 명세서는 방법(400) 및 본원에서 설명되는 기술들의 일부 또는 전부를 포함하는 임의의 적합한 프리-프로세싱이 수행될 수도 있음을 고려한다. 프리-프로세싱이 수행된 후, 방법(500)은 EMI 신호들을 분류하는데 사용되는 분류 모델(classification model)을 학습하는 단계 520을 포함할 수도 있다.
예를 들어, 단계 520은 이들 신호들이 속하는 클래스에 따라 EMI 신호들 또는 그것들의 특정 양태들을 라벨표시(labeling)하는 것을 포함할 수도 있다. 클래스가 특정 지문(fingerprint)의 하나 이상의 샘플들일 수도 있다. 지문이 디바이스를, 그리고, 특정 실시예들에서, 특정 콘텍스트를 나타내는 데이터이다. 특정 실시예들에서, 지문이 특정 디바이스, 이를테면 특정 세탁기 또는 태블릿의 특성인 EMI 신호들(또는 그 양태들)일 수도 있다. 특정 실시예들에서, 지문이 특정 위치 및/또는 특정 위치에서의 특정 디바이스의 특성인 EMI 신호들(또는 그 양태들)일 수도 있다. 예를 들어, 하나의 지문이 사용자의 거실에서의 사용자의 태블릿의 특성(예를 들어, 사용자의 거실에서의 다른 디바이스들로부터의 EMI 신호들과 같은 센서 데이터(또는 그것의 결여)에 기초하여 결정됨)일 수도 있고, 다른 지문이 동일한 태블릿이지만 사용자의 침실에서의 특성(사용자의 침실에서의 다른 디바이스들로부터의 EMI 신호들과 같은 센서 데이터(또는 그것의 결여)에 다시 기초함)일 수도 있다.
특정 실시예들에서, 지문은 특정 시간에서의 특정 디바이스의 특성일 수도 있다. 예를 들어, 하나의 지문이 오후 동안 (에커컨에 비교적 큰 부하가 걸려 있을 가능성이 있을 때) 에어컨에 대응할 수도 있고, 다른 지문이 저녁 동안 (에커컨에 상대적으로 더 가벼운 부하가 걸려 있을 때) 에어컨에 대응할 수도 있다. 특정 실시예들에서, 지문은 특정 시구간 동안의 특정 디바이스의 특성일 수도 있다. 예를 들어, 지문이 해당 자동차의 엔진이 시동되는 동안의 특정 자동차에 대응할 수도 있다. 그 예에서, 지문은 시동 엔진에 의해 생성된 특정 EMI 신호들(또는 그 양태들)에 대응할 수도 있다. 추가적으로 또는 대안적으로, 지문은 특정 시구간에 걸친 특정 주파수 또는 주파수들의 범위에서의 (예컨대, 특정 주파수 빈에서의) 하나 이상의 진폭 변화들과 같은 시간 경과에 대한 EMI 신호들에서의 변화들에 대응할 수도 있다.
본 명세서는 지문이 디바이스 및 그것의 콘텍스트의 임의의 적합한 양태들을 포함할 수도 있다는 것을 고려한다. 본 명세서는 상이한 레벨들의 세부사항을 갖는 다수의 지문들이 특정 디바이스 및/또는 콘텍스트들에 대응할 수도 있다는 것을 고려한다. 예를 들어, 지문이 "자동차"에 일반적으로 대응할 수도 있으며, 다른 지문이 특정 모델의 자동차에, 또 다른 지문이 그 모델의 자동차의 특정 인스턴스에, 또 다른 지문이 특정 위치에서의 특정 인스턴스에, 또 다른 지문이 특정 시간에서의 특정 인스턴스 또는 특정 시간 동안의 특정 인스턴스에, 그리고 또 다른 지문이 특정 활동에 연관된 특정 인스턴스에 대응할 수도 있다.
특정 실시예들에서, 분류 모델에 연관된 일부 또는 모든 지문들이 디바이스(230)에 대해 미리 결정될 수도 있다. 특정 실시예들에서, 분류 모델에 연관된 일부 또는 전부 지문들은 디바이스(230)가 사용될 때 동적으로(dynamically) 결정될 수도 있다. 예를 들어, 사용자가 특정 레벨의 정밀도(granularity) 특정 지문을 표시할 수도 있고, 디바이스(230)는 사용자 입력에 일치하는 EMI 신호들 또는 그 양태들을 그 지문의 특성인 것으로서 연관시킬 수도 있다. 다른 예로서, 지문에 연관된 추가적인 샘플들이 디바이스(230)에 의해 검출되고 프로세싱될 때 지문이 동적으로 조정될 수도 있다. 위의 예들은 지문들을 그 지문의 EMI 신호 특성에 기초하여 설명하지만, 지문들은 다른 센서 데이터를 또한 포함할 수도 있다.
특정 실시예들에서, 방법(500)은 분류 모델을 최적화하는 단계 530를 포함할 수도 있다. 단계 530은 분류 모델을 최적화하는 머신 학습 기법들을 포함할 수도 있다. 예를 들어, 특정 지문에 연관된 여러 학습 런(training run)들은 제어된 환경에서 이루어질 수도 있고, 각각의 학습 런으로부터 수집된 데이터는 그 지문과 연관될 수도 있고, 특정 실시예들에서, 그 지문을 업데이트하는데 사용될 수도 있다. 다른 예로서, 사용자-단 훈련 런들(user-end training runs)이 지문을 결정하는데, 이를테면 사용자에게 사용자의 집의 특정 방들을 통과해서 걸을 것을 요청하고 각각의 방에 연관된 EMI 데이터를 기록하는데, 또는 사용자에게 특정 디바이스의 상이한 부분들에 접촉할 것을 요청하고 각각의 부분에 연관된 EMI 데이터를 기록하는데 사용될 수도 있다.
특정 실시예들에서, 긍정적인 사용자 피드백이 분류 모델을 최적화하는데 사용될 수도 있다. 예를 들어, 디바이스(230)가 지문에 대응하도록 결정된 EMI 신호들을 검출할 때, 디바이스(230)는 지문이 정확한지의 여부(예컨대, 사용자가 방금 자동차 엔진 시동을 걸었는지 여부)를 표시할 것을 사용자에게 요청하는 GUI를 사용자에게 제공할 수도 있다. 특정 실시예들에서, 부정적인 사용자 피드백의 결여는 분류 모델을 최적화하는데 사용될 수도 있다. 예를 들어, 하나 이상의 입력들, 이를테면 특정 제스처가, 지문 결정 및/또는 그 결정에 연관된 기능을 사용자가 "되돌리기(undo)"하는 것을 허용할 수도 있다. 지문 결정이 사용자가 그 결정 또는 그 결정에 연관된 기능을 되돌리는 입력을 제공하지 않는 한 정확한 것으로 결정될 수도 있다.
특정 실시예들에서, 임의의 저장된 지문에 대응하지 않는 것으로 결정된 EMI 신호들이 버려질 수도 있다. 특정 실시예들에서, 여러 디바이스들(230)에 연관된 데이터는 분류 모델을 최적화하기 위해 수집되고 사용될 수도 있다. 예를 들어, 특정 텔레비전 모델의 두 개의 별개의 인스턴스들에 연관된 지문들(아마도 두 개의 상이한 사용자들로부터임)이 그 텔레비전 모델에 대한 지문을 업데이트하기 위해 함께 사용될 수도 있다. 본 개시물이 모델 최적화를 위한 예시적인 기법들을 설명하지만, 본 명세서는 단계 530이 임의의 적합한 모델 최적화 기법들을 포함할 수도 있다는 것을 고려한다.
방법(500)은 단계 540을 포함할 수도 있는데, 그 단계는 분류 모델에 대한 결정 경계들을 계산한다. 특정 실시예들에서, 단계 540은 EMI 신호를 분류하는데 사용되는 N-주파수 빈들에 대응하는 N-차원 공간에서 경계들을 결정하는 것을 포함할 수도 있다. 특정 실시예들에서, 단계 540은 N-차원 공간의 서브세트에서 경계들을, 예를 들어 위에서 더 충분히 설명된 PCA 기법들을 사용하여 결정하는 것을 포함할 수도 있다. 특정 실시예들에서, N-차원 공간의 각각의 차원은 관심 있는 주파수 범위들의 서브세트에 대응할 수도 있다. 특정 실시예들에서, LCA는 상이한 지문들에 대응하는 경계들을 차별화하는데 사용될 수도 있다. 특정 실시예들에서, 단계 540은 디바이스(230)가 동작하고 있는 동안 동적으로 수행될 수도 있다. 예를 들어, 디바이스에 의해 검출된 EMI 신호들은 특정 지문에 대응하는 것으로 (또는 대응하지 않는 것으로) 결정될 수도 있다. 그 결정은 N-차원 공간에서 관심 있는 차원들을 업데이트하는데, 하나 이상의 지문들 사이의 경계들을 업데이트하는데, 또는 둘 모두를 업데이트 하는데 사용될 수도 있다.
비록 본 개시물이 도 5의 방법의 특정 단계들을 특정 순서로 일어나는 것으로서 예시하고 설명하지만, 본 명세서는 임의의 적합한 순서로 일어나는 도 5의 방법의 임의의 적합한 단계들도 고려한다. 더구나, 본 명세서는 도 5의 방법의 단계들의 전부 또는 일부를 포함할 수도 있거나 또는 전혀 포함하지 않을 수도 있는 임의의 적합한 단계들을 포함하는, EMI 신호들을 프로세싱, 분석, 및 분류하는 임의의 적합한 방법도 고려한다. 더욱이, 비록 본 개시물이 도 5의 방법의 특정 단계들을 수행하는 특정 컴포넌트들, 디바이스들, 또는 시스템들을 예시하고 설명하지만, 본 명세서는 도 5의 방법의 임의의 적합한 단계들을 수행하는 임의의 적합한 컴포넌트들, 디바이스들, 또는 시스템들의 임의의 적합한 조합도 고려한다.
실제 실시예들에서, 디바이스(230)에 의해 검출된 EMI 신호들은 방법(500)에 의해 구축된 분류 모델에 대해 평가된다. 특정 실시예들에서, 이러한 신호들은 원시 EMI 신호(raw EMI signal)를 프리프로세싱하고 프리프로세싱된 신호를 방법(500)에 의해 구축된 N-차원 공간(또는 N-차원 공간의 서브세트)에 대하여 평가하여, 신호가 속하는 지문(들)을 (존재한다면) 평가함으로써 평가될 수도 있다. 위에서 설명된 바와 같이, EMI 신호들은 방법(500)에 의해 구축된 분류 모델을 업데이트하는데 또한 사용될 수도 있다.
특정 실시예들에서, 하나 이상의 디바이스들이 특정 기능들을 제공하기 위해 추정된 콘텍스트를 사용할 수도 있다. 예를 들어, 사용자가 프린터에 접근할 때, 큐잉된 문서(queued document)들이 자동으로 인쇄될 수도 있다. 다른 예로서, 공유된 디바이스, 이를테면 프레젠테이션들을 디스플레이하는 디스플레이가, 사용자가 디바이스 근처에 있을 때 사용자에 의해 자동으로 제어될 수도 있다. 특정 실시예들에서, 사용자가 특정 콘텍스트에 연관된 기능들을 구성할 수도 있다. 예를 들어, 트리거되거나 또는 감지되고 있는 특정 콘텍스트에 부분적으로 기초하는 규칙을 사용자가 입력할 수도 있다. 위의 예들이 전자 디바이스들의 존재 및 위치의 측면에서 콘텍스트를 논의하지만, 본 명세서는 임의의 적합한 물체로부터의 임의의 적합한 신호들로부터 콘텍스트, 이를테면 습도, 사용자의 활동도(activity rate), 하루 중의 시간, 또는 사용자의 임의의 다른 적합한 콘텍스트를 검출하는 것도 고려한다.
특정 실시예들에서, 디바이스(230)는 디바이스(210)와 통신할 수도 있다. 예를 들어, 디바이스(210)는 EMI 신호들에 인코딩된 통신 신호들을 디바이스(230)로 송신할 수도 있다. 디바이스(210)는, 예를 들어, 디스플레이를 조절하거나(예컨대 디스플레이의 적어도 일 부분을 턴 온 및 오프하거나, 디스플레이의 적어도 일 부분을 어둡게 하는 하는 등), Wi-Fi 모듈 또는 블루투스 모듈을 턴 온 및 오프하거나, 또는 임의의 특정 회로부를 미리 결정된 패턴으로 인에이블 또는 디스에이블시킴으로써 이러한 신호들을 생성할 수도 있다. 높은 프레임레이트 디스플레이들 상에서, 디스플레이의 조절은 시각적 콘텐츠의 프레임들 사이에서 행해질 수도 있다.
특정 실시예들에서, 통신 신호들의 주파수는 전자기 스펙트럼의 미리 결정된 부분에 있을 수도 있다. 이들 예들에 의해 설명된 바와 같이, 디바이스(210)는, 심지어 하나 또는 양쪽 모두의 디바이스들이 특정 통신 기술을 사용하여 통신할 수 없더라도, 디바이스(210)의 하드웨어를 사용하여 디바이스(230)와 통신할 수도 있다. 특정 실시예들에서, 양 디바이스들은 통신 신호들을 인코딩 및 디코딩하기 위한 미리 결정된 프로토콜을 식별하는 소프트웨어를 실행하거나 또는 그러한 소프트웨어에 액세스할 수도 있다.
특정 실시예들에서, 디바이스(230)는 디바이스(210)와는, 예를 들어 Wi-Fi 또는 블루투스 접속을 사용하여, 직접적으로 통신할 수도 있다. 특정 실시예들에서, 디바이스(230)는 디바이스(210)를 감지 및 식별하고 임의의 적합한 통신 기술을 통해 통신 세션을 확립할 수도 있다.
특정 실시예들에서, 하나의 하드웨어가 EMI 신호들을 송신하거나 또는 EMI 신호들의 송신을 용이하게 하기 위해 디바이스(210)에 부착될 수도 있다. 예를 들어, 그 하드웨어는 디바이스로부터 특정 주파수 성분들을 증폭 및 필터링하는 공진기들을 포함할 수도 있다. 이러한 하드웨어는 동글들, 스티커들, 태그들, 또는 임의의 다른 적합한 하드웨어를 포함할 수도 있다.
디바이스(230)에 의해 수신된 EMI 신호들은, 프로세싱되지 않은 형태(raw form)이든 또는 프로세싱된 형태(이를테면 도 4의 방법(400), 도 5의 방법(500), 또는 둘 다에 따라 프로세싱된 신호들)이든, 다수의 기능들을 위해 사용될 수도 있다. 예를 들어, 이러한 신호들은 EMI 신호들의 소스를 식별하는데, 그 소스와 통신하며, 사용자를 식별하는데, 사용자 또는 디바이스(210)의 콘텍스트를 식별하는데, 또는 임의의 다른 적합한 기능을 위해 사용될 수도 있다. 특정 실시예들에서, 기능은 수신된 신호들 또는 수신된 신호들의 양태들과, 특정 EMI 신호들 또는 그들 신호들의 특정 양태들과 기능을 연관시키는 데이터 스토어에서의 참조 데이터를 비교함으로써 제공될 수도 있다.
본 명세서는 이러한 데이터가 임의의 적합한 형태, 이를테면 디바이스(210)에 대한 프로파일, EMI 신호들을 생성하는 디바이스 또는 물체에 대한 프로파일, 사용자(240)에 대한 프로파일, 주위의 콘텍스트에 대한 프로파일, 데이터베이스에서의 레코드, 또는 그것들의 임의의 적합한 조합도 고려한다. 상기 비교에 기초하여, 디바이스(230) 또는 임의의 다른 적합한 컴퓨팅 디바이스일 수도 있는 디바이스가, 특정 기능을 개시하거나, 신호를 무시하거나, 신호를 저장하거나, 신호들에 대한 추가의 프로세싱을 수행하거나, 신호들을 잡음으로서 특징화하거나, 또는 그것들의 임의의 적합한 조합을 행할 것을 결정할 수도 있다.
특정 실시예들에서, 디바이스(230)는 참조 데이터의 모두 또는 일부를 포함할 수도 있다. 특정 실시예들에서, 디바이스(230)에 의해 저장된 데이터는, 예컨대 위에서 설명된 측정에 기초하여 사용자에게 특별한 데이터 일수도 있다. 특정 실시예들에서, 참조 데이터는 임의의 적합한 컴퓨팅 디바이스 상에 저장될 수도 있다. 특정 실시예들에서, 데이터는, 이를테면 사용자(240)에 대해 하나 이상의 유사한 특성들(예컨대, 나이, 성별, 위치 등)을 갖는 사용자들의 세트, 또는 그러한 사용자들의 세트로부터 수집된 데이터로 수행되는 학습에 기초하여, 사용자(240)의 일 양태를 나타낼 수도 있다. 특정 실시예들에서, 신호들 또는 신호들의 특성들은 참조 데이터를 정정(refine) 하기 위해 저장되고 사용될 수도 있다. 특정 실시예들에서, 데이터는 데이터를 수정하여 EMI 신호들 및 신호 특성들의 더욱 정확한 분류를 보장하기 위해 머신 학습 알고리즘들에 의해 사용될 수도 있다. 특정 실시예들에서, 이러한 알고리즘들은 사용자로부터의 입력, 이를테면 특정 신호에 응답하여 특정 기능이 수행되어야 하는지 또는 수행되지않아야 하는지를 나타내는 입력을 사용할 수도 있다.
위에서 설명된 바와 같이, 디바이스에 의해 수신된 EMI 신호들은 물체(예컨대, 디바이스), 회로, 또는 컴포넌트 레벨에서 EMI 신호들의 소스를 식별하는데 사용될 수 있다. 소스를 식별하기 위해 EMI 신호들을 사용하는 것은 식별을 위해 사용될 것이 구체적으로 의도된 신호들 없이도 식별될 수 있도록 한다. 위에서 설명된 바와 같이, 특정 물체들에 특유한 EMI 신호들(이를테면 PSD 정보, 위상 정보, 또는 임의의 적합한 양태)이 임의의 적합한 데이터 구조를 사용하여 저장될 수도 있다.
특정 실시예들에서, 사용자가 EMI 신호들을 수신 디바이스에게 송신하고 있는 하나 이상의 디바이스들을 명시적으로 식별함으로써 디바이스들을 데이터베이스에 또한 추가할 수 있다. 수신 디바이스(또는 임의의 다른 적합한 컴퓨팅 디바이스)는 그 다음에 그 신호들과 식별된 디바이스를 상관시킬 수도 있다. 특정 실시예들에서, 디바이스의 데이터 특성 EMI 신호들은 디바이스, 또는 상기 디바이스에 유사한 대표 디바이스를 테스트하며, 그 결과 EMI 신호들을 식별하고, 디바이스의 식별에 관련하여 신호들 또는 신호들의 양태들을 저장함으로써 결정될 수도 있다. 특정 실시예들에서, 이러한 데이터는 디바이스(230) 상에 포함될 수도 있거나, 여러 상이한 디바이스들(230)에 의해 액세스 가능한 위치 (이를테면 서버 디바이스 상의 데이터베이스)에 저장될 수도 있거나, 또는 둘 다일 수도 있다.
특정 실시예들에서, 디바이스 식별은 임의의 다른 적합한 데이터, 이를테면 콘텍스트, 사용자의 아이덴티티, 또는 둘 다를 고려할 수도 있다. 특정 실시예들에서, 디바이스의 상태 또는 동작 모드가 디바이스 식별과 함께 또는 디바이스 식별 대신 식별될 수도 있다. 예를 들어, 디바이스의 동작 상태, 즉 디바이스 내에서 동작하는 컴포넌트들 및 이들 컴포넌트들의 특정 동작 모드가, EMI 신호들로부터 식별될 수도 있다. 예를 들어, 블루투스 또는 Wi-Fi 변조들과 같은 디스플레이 또는 인덕터들 상의 디스플레이 패턴들이 특정 동작 모드들 동안 이들 컴포넌트들에 특별한 EMI 신호들에 기초하여 감지될 수도 있다.
특정 실시예들에서, 디바이스 식별은 사용자에게 통지하는데 사용될 수도 있다. 예를 들어, 사용자가 미리 알림들(reminder) 또는 메모들과 특정 디바이스들을 연관시킬 수 있다. 예를 들어, 커피 머신과 접촉하는 사용자에게 더 많은 커피를 사는 것 등 다가오는 약속들이 미리알림될 수도 있다. 특정 실시예들에서, 디바이스 식별은 기능을 사용자에게 제공하기 위해 디바이스 상태 정보와 연관하여 사용될 수도 있다. 예를 들어, 디바이스(230)는 디바이스가 동작을 종료하였음을 나타내는 오븐 또는 세탁기와 같은 디바이스로부터 EMI 신호들에서의 변화를 검출할 수도 있다. 따라서, 사용자에게 오븐이 요리를 완료하였음이 또는 세탁기가 자신의 세탁 사이클을 완료하였음이 알려질 수도 있다. 다른 예로서, 디바이스(230)는 디바이스의 동작 상태의 시간 길이, 이를테면 텔레비전, 컴퓨터, 또는 비디오 게임 콘솔이 파워 온 된 시간의 양을 추적할 수도 있다. 특정 실시예들에서, 디바이스와 상태 식별은 디바이스의 동작에 관한 데이터를 로깅하는데 사용될 수도 있다. 이러한 로그(log)들은 데이터 전송과 같은 이벤트가 발생한 시점, 데이터 전송이 얼마나 오래 지속되었는지, 데이터 전송이 얼마나 자주 발행했는지 등을 포함할 수도 있다.
특정 실시예들에서, 디바이스와 상태 정보는 개인화된 기능을 제공하기 위해 디바이스들 사이에서 통신과 함께 사용될 수도 있다. 예를 들어, 디바이스(230)는 특정 디바이스 및 특정 디바이스의 상태를 식별한 다음, 자신의 아이덴티티 또는 연관된 사용자를 식별된 디바이스에 전달할 수도 있다. 이후, EMI 신호들을 생성하는 디바이스는 사용자의 경험을 맞춤화하는 설정들 또는 다른 데이터에 액세스할 수도 있다. 예를 들어, 커피 머신이 사용자의 미리 결정된 브루(brew)를 브루잉할 수 있으며, 텔레비전 세트가 미리 결정된 채널로 튜닝할 수 있는 등이다. 다른 예로서, EMI 신호들을 생성하는 디바이스가 터치 능력 자체를 갖지 않을 수도 있지만 디바이스(230)로부터 전달되는 터치들을 검출할 수도 있다.
디바이스(230)는 사용자와 EMI 신호들을 생성하는 디바이스 사이의 접촉을 검출한 다음 그러한 접촉을 디바이스에 전달할 수도 있다. 이후, 디바이스는 전달된 접촉 이벤트에 응답하여 콘텐츠를 디스플레이하거나 또는 기능을 제공할 수도 있다. 특정 실시예들에서, 디바이스(230)는 검출된 EMI 신호들을 사용하여 다른 디바이스들 또는 센서들에 의한 사용을 위한 배경 잡음 레벨을 검출할 수도 있다. 예를 들어, 감지된 EMI 신호들에 관한 정보는 시끄러운 환경에서 통신 채널을 튜닝하거나 또는 GPS 위치를 향상시키는데 사용될 수도 있다.
특정 실시예들에서, 디바이스(230)는 EMI 신호들을 송신하는 다른 디바이스와의 사용자의 접촉 또는 그러한 다른 디바이스에의 근접(이를테면 근처에서 호버링(hovering) 하는 것)을 검출할 수도 있다. 따라서, 송신 디바이스에는, 그 디바이스가 터치-감지응 기술을 자체에 포함하지 않더라도, 터치-감지 기능이 제공될 수도 있다. 도 6은 사용자 착용 디바이스(230)와 EMI 신호들을 생성하는 다수의 일반 가정용 디바이스들 사이의 접촉을 예시한다. 이들 디바이스들과의 접촉은, 이러한 디바이스들이 터치-감지 기능을 가지지 않는다 하더라도, 디바이스(230)에 의해 감지될 수도 있다.
특정 실시예들에서, 터치 또는 상호작용 이벤트가 디바이스의 특정 부분으로 국부화(localized)될 수도 있다. 예를 들어, EMI 방출들은 디바이스의 물리적 크기 (physical dimension)들에 따라 균일하지 않을 수도 있는데, 예를 들면 EMI 신호들을 방출하는 하드웨어가 디바이스에서 상이한 물리적 위치들에 배치되기 때문이다. 디바이스를 터치하거나 또는 그 디바이스 근처에 갈 때 사용자의 신체에 의해 캡처된 EMI 신호들을 분석함으로써, 상호작용이 일어나는 디바이스상의 특정 부분 또는 부근이 EMI 신호의 고유성(uniqueness)에 기초하여 결정될 수도 있다.
특정 실시예들에서, 디바이스(230)는, 수신된 EMI 신호의 이득을 조정하거나; EMI 신호를 취득하는데 사용되는 샘플링 레이트를 조정하거나; EMI 신호를 검출하거나 또는 프로세싱하는데 사용되는 차단 주파수들을 조정하거나; 언더샘플링을 수행하거나, 또는 그것들의 임의의 적합한 조합에 의해, 디스플레이 위에서 수행된 제스처들과 비교하여 디스플레이와 접촉하여 수행되는 제스처들과 같은 접촉 및 근접 접촉(near-contact) 상호작용들을 검출하고 이들 구별할 수도 있다. 따라서, 터치 감지 기술이 없는 디바이스들에는 제스처들을 포함하는 근접한 디바이스(230)에 의한 검출로 인한 3 차원 제스처 기능이 제공될 수도 있다. 특정 실시예들에서, 근접 및 접촉 측정들은 제스처들을 검출하기 위해, 디바이스(230) 상의 가속도계 또는 임의의 다른 적합한 센서와 같은 다른 센서들로부터의 출력과 결합될 수도 있다.
본 명세서는 EMI 신호들을 생성하는 임의의 디바이스에는 임의의 적합한 터치 기능이 제공될 수도 있다는 것도 고려한. 예를 들어, 디바이스(230)는 사용자가 디바이스 근처로 갈 때에 사용자에게, 그 디바이스가 고온 또는 고-전압 디바이스라는 것을 경고할 수도 있다. 다른 예로서, 사용자가 디바이스 상에 디스플레이되는 콘텐츠와 상호작용할 수도 있다. 디바이스(230)는 접촉을 검출하고 그 접촉을 터치된 디바이스에 전달하면, 터치된 디바이스는 적절한 기능을 실행한다. 터치 또는 호버링을 포함하는 제스처 기능도 또한 검출될 수도 있다. 예를 들어, 사용자가 스와이핑(swiping) 제스처들을 수행함으로써 디스플레이된 슬라이드쇼의 슬라이드들 중에서 내비게이션할 수도 있는데, 스위핑 제스처들은 사용자가 디스플레이하는 디바이스에 대하여 이동함에 따른 수신되는 EMI에서의 변화로 인해 디바이스(230)에 의해 감지된다. 이러한 제스처들은 사용자에게 커플링된 EMI를 감지하는 전극들 외에도, 예를 들어 가속도계 또는 자이로스코프와 같은 임의의 적합한 센서에 의해 감지될 수도 있다. 특정 실시예들에서, 터치 검출은 사용자가 디바이스 근처로 가거나 또는 그 디바이스와 접촉하면 디바이스-특정 통지들(device-specific notification)과 같은 기능을 사용자에게 제공하기 위해 디바이스 식별과 결합될 수도 있다.
특정 실시예들에서, 디바이스의 회로부, 이를테면 트랜스듀서 회로부가, EMI 신호들에서의 메시지들을 인코딩하고 디바이스(230)로 송신하는데 사용될 수도 있다. 예를 들어, 회로부에서의 상태 변화들(이를테면 슬립 모드 진입, 또는 턴 온 또는 오프)이 검출된 EMI 신호에서의 변화를 생성한다. 이러한 신호들의 의도적인 변조는 디바이스(230)에의 통신신호들로 EMI 신호들을 인코딩할 수도 있다. 예를 들어, 디바이스의 디스플레이가 상이한 컬러들을 상이한 간격들로 비출 수도 있거나, 상이한 주파수들(가청, 비가청, 또는 둘 다)에서의 사운드들을 상이한 간격들로 생성하는 스피커들을 가질 수도 있거나, 지문 판독기와 같은 컴포넌트들을 특정한 간격들로 스위치 온 또는 오프할 수도 있거나, 또는 임의의 다른 적합한 변조를 할 수도 있다.
특정 실시예들에서, 통신이 디바이스 또는 사용자 인증을 위해 사용될 수도 있다. 예를 들어, 디바이스와 디바이스(230)가 예를 들어 블루투스와 같은 통신 채널에 의해 페어링될 수도 있다. 사용자는 디바이스, 이를테면 디바이스의 스크린과 접촉할 수도 있는데, 디바이스는 상이한 컬러들을 사용하여 특정한 패턴을 비추기 위해 스크린을 턴 온하고 스크린을 트리거할 수도 있다. 플래싱은 스크린과 접촉하는 손가락 아래의 스크린의 부분에서 일어나, 프로세스가 사용자에게 보이지 않게 할 수도 있다. 이 패턴은 사용자에게 커플링되고 이에 따라 디바이스(230)에 의해 수신되는 EMI 신호들을 생성하는데, 디바이스(230)는 이 신호들을 디코딩하고 잠금해제 토큰(unlock token)을 디바이스에 블루투스 접속을 통해 전송한다. 이 예에서의 디바이스는 예를 들어 모바일 폰, 태블릿, 랩톱, 데스크톱 컴퓨터, 차량, 도어 또는 게이트 진입 시스템과 같은 임의의 적합한 디바이스, 또는 임의의 다른 적합한 디바이스일 수도 있다. 특정 실시예들에서, 인증은 디바이스(230), 디바이스(230)에 커플링된 사용자, 또는 둘 다에 연관된 특정 설정들 또는 데이터를 로딩하는 것을 수반할 수도 있다. 특정 실시예들에서, 디바이스(230)는 자신의 연관된 사용자의 패스워드들 및 잠금해제 토큰들에 대한 저장 소(repository) 로서의 역할을 할 수도 있다. 예를 들어, 상이한 디바이스들 및 EMI의 소스들에 연관된 사용자의 패스워드들이 디바이스(230) 상에 로딩되고 디바이스들의 존재가 디바이스(230)에 의해 감지될 때 디바이스들을 자동으로 잠금해제하는데 사용될 수도 있다. 본 명세서는 적절한 범위에서, 통신이 단방향성 또는 양방향성일 수도 있다는 것도 고려한다.
특정 실시예들에서, 인코딩된 신호들은 EMI 신호들을 생성하는 디바이스에 관한 특정 정보를 송신하는데 사용될 수도 있다. 예를 들어, 디바이스는 트랜스듀서들을 미리 결정된 방식으로 스위칭함으로써 자신의 MAC 주소를 송신할 수도 있다. 디바이스(230)는 자동 디바이스 식별 및 페어링을 수행하기 위해 식별 정보를 사용할 수도 있다. 특정 실시예들에서, 사용자가 타겟 디바이스에 전송할 특정 콘텐츠를 식별할 수도 있는데, 타겟 디바이스는 디바이스(230)와 임의의 적합한 통신 스킴(scheme)을 통해 페어링될 수도 있다. 사용자는 그러면 데이터를 수신하는 타겟 디바이스를 터치할 수도 있다. 타겟 디바이스는 EMI 신호들을 변조하는 임의의 적합한 회로부를 사용하여 신호를 인코딩함으로써, 식별 정보, 이를테면 자신의 MAC 주소를 송신한다. 디바이스(230)는 그러면 데이터를 송신하는 소스 디바이스와 타겟 디바이스 사이에 통신을 확립할 수도 있다.
특정 실시예들에서, 소스 디바이스는 디바이스(230)일 수도 있다. 특정 실시예들에서, 소스 디바이스는 디바이스(230)와 통신하고 있는 다른 디바이스일 수도 있는데, 디바이스(230)는, 타겟 디바이스와 통신을 확립하거나 데이터를 타겟 디바이스에 송신할 것을 소스 디바이스에게 지시하거나, 타겟 디바이스와의 통신 확립 및 소스 디바이스에 대한 지시 모두를 할 수도 있다. 이 예가 도시하는 바와 같이, 디바이스(230)는 둘 이상의 다른 디바이스들 사이에서 통신들을 개시하게 하며 그러한 통신들을 위한 중개자로서 역할을 할 수도 있다.
특정 실시예들에서, 검출된 EMI 신호들은 EMI 신호들을 방출하는 디바이스의 위치를 찾는데, 그리고, 특정 실시예들에서, 검출된 디바이스를 기준으로 사용자의 위치를 찾는데 사용될 수도 있다. 예를 들어, 이러한 신호들은 검출된 디바이스의 위치가 확인된 지역의 지도를 생성하거나 또는 개선하는데 사용될 수도 있다. 검출된 디바이스가 알려진 위치 (예컨대, "거실의 책장", "부엌", "집" 등)에 있다면, 그 디바이스의 위치에 관한 정보는 사용자 환경의 지도를 생성하거나, 그 환경에서 사용자의 위치를 찾거나, 사용자 환경의 지도를 생성하고 그 환경에서 사용자의 위치를 찾는데 사용될 수도 있다.
특정 실시예들에서, 위치 신호들은 사용자의 환경에서 사용자 및 물체들의 위치를 찾는 것을 개선하기 위해, 다른 데이터, 이를테면 GPS 데이터, Wi-Fi 라우터 데이터, 셀 타워 데이터 등에 관련하여 사용될 수도 있다. 본 명세서는, 디바이스 또는 사용자의 위치를 찾는 것, 또는 디바이스가 있는 방에 관한 데이터, 디바이스가 있는 방에서의 위치, 디바이스가 있는 빌딩, 또는 디바이스의 특정 위치 좌표들(이를테면 위도 및 경도)를 포함하는, 검출된 디바이스에 연관된 임의의 적합한 위치 데이터에 기초하여 사용자의 환경을 매핑하는 것도 고려한다.
본 명세서는 이러한 위치 데이터가 임의의 적합한 레벨의 정밀도를 가질 수도 있음을 고려한다. 특정 실시예들에서, 위치 데이터는 사용자의 위치를 찾고 사용자의 환경의 지도를 사용자에게 제공하는데 사용될 수도 있다. 특정 실시예들에서, 위치 데이터는 사용자의 환경의 지도를 생성 또는 보충하거나 또는 특정 위치 또는 디바이스에 대한 사용자의 위치를 찾는데 사용될 수도 있다. 특정 실시예들에서, 검출된 디바이스에 연관된 위치 데이터는 GPS 신호들이 약할 때, 이를테면 사용자가 실내에 있을 때 사용자의 위치 결정들을 향상시키는데 사용될 수도 있다.
특정 실시예들에서, 하나 이상의 사용자들이 터치-감지 디바이스와 상호작용할 수도 있다. 터치-감지 디바이스와 사용자가 보유 또는 착용한 제 2 디바이스로부터의 정보는 사용자들을 식별하는데, 사용자들과 특정 상호작용들을 연관시키는데, 또는 둘 다에 사용될 수도 있다.
특정 실시예들에서, 제 2 디바이스가 사용자의 신체에 의해 송신된 EMI 신호들을 검출할 수 있는 디바이스, 예를 들어 디바이스(230)일 수도 있다. 예를 들어, 제 2 디바이스는 통신 링크, 이를테면 블루투스를 통해 터치-감지 디바이스와 페어링할 수도 있다. 터치-감지 디바이스는 터치 이벤트를 검출하고, 터치 이벤트와 터치 이벤트가 일어났던 시간을 표시하는 타임스탬프와 같은 콘텍스트 데이터를 연관시킬 수도 있다. 제 2 디바이스는 디바이스와의 접촉이 일어남을 표시하는 EMI 신호를 검출할 수도 있고, 아직 검출되지 않았으면, 그 디바이스를 터치-감지 디바이스로서 식별할 수도 있다. 제 2 디바이스는 그 다음에 접촉과 그 접촉이 일어났을 때를 표시하는 타임스탬프와 같은 콘텍스트 데이터를 연관시킬 수도 있다. 제 2 디바이스는 타임스탬프를 터치-감지 디바이스에 전달할 수도 있는데, 터치-감지 디바이스는 그러면 수신된 타임스탬프와 검출했던 터치 이벤트에 연관된 타임스탬프를 비교할 수도 있다. 두 개의 타임스탬프들이 예컨대, 소정의한 허용 범위 내에서 충분히 유사하면, 터치-감지 디바이스는 터치 이벤트와 검출된 접촉이 동일한 이벤트를 나타낸다고 결정할 수도 있다. 따라서, 이벤트에 연관된 사용자는 사용자 또는 제 2 디바이스에 id를 배정함으로써, 사용자 또는 디바이스를 식별하는 정보를 제 2 디바이스로부터 수신함으로써, 또는 임의의 다른 적합한 수단에 의해 식별될 수도 있다. 이 예가 타임스탬프들을 수신하고 비교하는 것으로서 터치-감지 디바이스를 설명하지만, 본 명세서는 터치-감지 디바이스가 자신의 타임스탬프를 제 2 디바이스로 전달할 수도 있으며, 제 2 디바이스가 비교를 수행할 수도 있다는 것도 고려한다. 본 명세서는 각각의 디바이스가 자신의 타임스탬프와 임의의 다른 적합한 정보를 서버 또는 사용자의 스마트 폰과 같은 다른 디바이스로 전송할 수도 있으며, 그러한 다른 디바이스는 비교를 수행하거나 또는 비교를 수행하기 위해 그 정보를 임의의 다른 디바이스로 포워딩할 수도 있다는 것도 고려한다.
특정 실시예들에서, 타임스탬프가 연속 터치 이벤트 동안의 특정 포인트에서, 이를테면 접촉이 처음 시작될 때 터치 이벤트와 연관될 수도 있다. 특정 실시예들에서, 타임스탬프가 연속 터치 이벤트 동안 여러 접촉 지점들의 각각의 접촉 시간을 식별할 수도 있다. 예를 들어, 타임스탬프가 터치-감지 표면에 대한 이동된 시간 또는 거리의 함수로서 접촉 시간을 정기적인 간격들로 기록할 수 있다. 특정 실시예들에서, 타임스탬프가 터치-감지 디바이스와의 접촉의 지속기간을 기록할 수도 있다. 예를 들어, 타임스탬프가 접촉이 처음 식별된 때 기록을 시작하고 접촉이 중단되기까지 기록을 계속할 수도 있다.
특정 실시예들에서, 타임스탬프가 멀티-터치 이벤트, 이를테면 멀티-터치 제스처에서 각각의 접촉 지점에 연관된 시간을 식별할 수도 있다. 예를 들어, 위의 예에서의 제 2 디바이스가 EMI 신호들을 감지하면, 멀티-터치 제스처로부터의 각각의 접촉 지점은 감지될 수도 있는데, 디바이스와 접촉하는 피부의 더 많은 표면 영역이 결과적인 EMI 신호의 더 높은 진폭을 초래하여서이다. 더구나, 접촉과 분리는 심지어 사용자가 움직이지 않는(stationary) 경우에도 EMI 신호들에 기초하여 검출될 수도 있다.
위의 예들은 터치 이벤트가 특정 사용자에 기인하는지의 여부를 결정하기 위해 타임스탬프와 터치 이벤트를 연관시킨다. 타임스탬프가 터치 이벤트와 사용자를 연관시키는데 사용될 수도 있는 콘텍스트 데이터의 하나의 예이다. 임의의 적합한 시간-종속성 센서 판독된 데이터는 터치 디바이스에 의해 감지된 터치 이벤트들과 제 2 디바이스, 이를테면 사용자의 착용가능 디바이스에 의해 감지된 터치 이벤트들을 매칭시키기 위한 콘텍스트 데이터로서 사용될 수도 있다. 예를 들어, 가속도계, 마이크로폰, 또는 자기장 센서로부터의 시간-종속성 센서 데이터는 터치 이벤트와 사용자를 연관시키는데 사용될 수도 있다.
예를 들어, 사용자의 터치 이벤트의 충격(impulse)은 터치-감지 디바이스에 의해 검출될 수도 있다. 그 신호는, 사용자의 손이 터치되는 디바이스 쪽으로 그리고 디바이스 상에서 이동함에 따라, 사용자의 착용가능 디바이스에 의해 캡처된 가속도계 데이터와 비교될 수도 있다.
다른 예로서, 터치 디바이스와 접촉하고 올라가는 사용자의 손의 모션이, 예컨대, 손목 착용 디바이스의 가속도계에 의해 검출될 수도 있고, 그 모션은 터치 센서에 의해 검출된 터치 이벤트들 및 터치 이벤트들의 지속기간과 비교될 수도 있는데, 이는 터치된 디바이스에 의해 검출된 터치 이벤트들이 터치 디바이스로의 사용자의 손의 움직임과 터치 디바이스로부터의 사용자의 손의 움직임 사이의 시간에 검출되어야 하여서이다.
다른 예로서, 착용가능 디바이스 상의 마이크로폰이 터치 이벤트에 의해 생성된 사운드 파들을 검출할 수도 있고, 그 신호로부터 검출된 터치 이벤트는 터치 디바이스에 의해 검출된 터치 이벤트와 비교될 수도 있다. 본 명세서는 터치 이벤트들을 검출하기 위해 임의의 적합한 시간-종속성 센서 데이터가 타임스탬프들에 추가적으로 또는 그러한 타임스탬프들 대신에 사용될 수도 있다는 것도 고려한다. 본 명세서는 임의의 이러한 센서들 또는 센서들의 조합이 터치된 디바이스 또는 착용가능 디바이스, 또는 둘 다 내에 또는 그러한 것들 상에 통합될 수도 있다는 것도 고려한다.
특정 실시예들에서, 터치 이벤트에 연관된 사용자의 아이덴티티는, 예를 들어 사용자가 식별될 때 사용자-특정 데이터를 로딩하거나 또는 실행함으로써 사용자 경험을 맞춤화하는데 사용될 수도 있다. 이러한 데이터는 특정 설정들, 애플리케이션들, 및 콘텐츠를 포함할 수도 있다. 예를 들어, 사용자의 패스워드 키체인(keychain)이 연관된 사용자가 식별될 때 액세스될 수도 있다.
다른 예로서, 사용자가 구매하거나 또는 디바이스 상에 설치한 애플리케이션들이 터치된 디바이스 상으로 로딩될 수도 있다. 다른 예로서, 애플리케이션 내의 사용자-특정 데이터, 이를테면 사용자의 이메일들이, 연관된 사용자가 식별될 때 로딩되거나 또는 액세스될 수도 있다. 다른 예로서, 사용자 식별이 식별된 사용자를 디바이스 속으로 자동으로 로깅할 수도 있고, 사용자에게 특유한 프로파일 또는 다른 데이터를 사용하여 행할 수도 있다.
다른 예로서, 배경 이미지, 스크린 밝기, 볼륨 설정 등과 같은 사용자의 선호들이 로딩될 수도 있다. 다른 예로서, 예를 들어 사용자가 어린이로서 식별될 때, 콘텐츠 필터가 사용될 수도 있다. 다른 예로서, 디바이스와 상호작용하는 것 또는 요청된 데이터에 액세스하거나 또는 터치 이벤트에 연관된 요청된 기능을 수행하는 것이 허가되지 않은 사용자에 의한 것이라면, 이들 터치 이벤트들이 취소될 수도 있다. 특정 실시예들에서, 비허가 사용자를 검출하면 잠금해제된 디바이스가 잠금 상태가 될 수도 있다.
사용자 식별에 연관된 기능의 일 예로서, 제 1 사용자가 터치-감지 디바이스에 접촉할 수도 있다. 그 접촉은 제 2 디바이스, 이를테면 디바이스(230)에 의해 검출될 수도 있고, 사용자는, 예를 들어 위에서 설명된 절차들을 사용하여 식별될 수도 있다. 제 1 사용자는 디바이스 상의 이메일 애플리케이션을 열 수도 있고, 디바이스는 그에 따라 제 1 사용자의 이메일들을 로딩할 수도 있다. 제 2 사용자가 디바이스와 접촉하고 이메일 애플리케이션을 열면, 그 사용자는 식별될 수도 있고 제 2 사용자의 이메일이 그에 따라 로딩될 수도 있다.
특정 실시예들에서, 디바이스는 다른 디바이스, 이를테면 서버 상에 저장된 사용자의 프로파일로부터 사용자의 정보에 액세스할 수도 있다. 특정 실시예들에서, 사용자의 정보는 터치된 디바이스 상에 저장될 수도 있다. 특정 실시예들에서, 사용자의 정보는 제 2 디바이스 상에 저장될 수도 있다.
특정 실시예들에서, 사용자 식별은 공유된 디바이스들, 애플리케이션들, 및 데이터를 향상시킬 수도 있다. 예를 들어, 공유된 문서들 상의 주석들은 식별된 사용자들 중에서 구별될 수도 있다.
특정 실시예들에서, 둘 이상의 사용자들이 디바이스와 동일한 시간에 상호작용하고 있을 수도 있다. 디바이스와 상호작용하는 각각의 사용자는, 각각의 사용자가 그 사용자에 연관된 디바이스(230)와 같은 제 2 디바이스를 가지면, 위에서 설명된 예를 사용하여 식별될 수도 있다. 보다 일반적으로, N-1 명의 사용자들이 연관된 제 2 디바이스를 가지면 N 명의 사용자들이 식별될 수도 있다.
도 7은 터치-감지 디바이스와 동시에 상호작용하는 여러 사용자들의 예시적인 식별들을 도시한다. 도 7에 도시된 바와 같이, 각각의 사용자들(720A, 720B, 및 720C)은 터치-감지 디바이스(710)와 같은 공유된 디바이스 상에서 터치 이벤트들을 생성하고 있다. 각각의 사용자는 예시적인 디바이스인 손목시계(730A, 730B, 및 730C)를 각각 착용하고 있다. 디바이스(710)에 의해 결정된 바와 같은 각각의 사용자의 터치 상호작용들이, 예컨대, 제 1 접촉 시간, 마지막 접촉, 접촉들의 지속기간 등을 표시하는 타임스탬프와 같은 콘텍스트 데이터와 연관된다. 동시에, 디바이스들(730A, 730B, 및 730C)의 각각은 접촉 이벤트들을 기록하고 있고 타임스탬프들과 같은 콘텍스트 데이터와 접촉 이벤트들을 연관시키고 있다.
도 7에 도시된 바와 같이, 사용자(720A)에 대해 디바이스(730A)에 의해 결정된 접촉에 연관된 타임스탬프(750A)가 사용자(720A)에 의해 생성된 터치 이벤트에 대해 디바이스(710)에 의해 결정된 접촉에 연관된 타임스탬프(740A)에 대응한다. 접촉에 연관된 타임스탬프들(750B 및 750C)은 유사하게 접촉에 연관된 타임스탬프들(740B 및 740C)에 각각 대응한다. 따라서, 디바이스(710), 디바이스들(730A~730C), 또는 임의의 다른 적합한 디바이스는 접촉에 대한 타임스탬프들(750A~750C)과 접촉에 대한 타임스탬프들(740A~740C) 사이의 대응관계에 기초하여 특정 사용자들과의 특정 터치 이벤트들을 식별할 수도 있다.
특정 실시예들에서, 디바이스(710)는 사용자의 아이덴티티에 기초하여 상이한 출력 또는 기능을 제공할 수도 있다. 예를 들어, 디바이스(710)는 각각의 사용자에게 입력 컬러를 배정할 수도 있고, 디바이스(710)의 디스플레이 상의 사용자의 터치 입력은 그 사용자에게 배정된 컬러를 사용하여 디스플레이될 수도 있다. 본 명세서는 터치 및 시간 측정들이 도 7에 예시된 터치 및 시간 측정들을 비제한적으로 포함하는 임의의 적합한 형태를 취할 수도 있다는 것도 고려한다. 도 7의 예가 시간 순차적으로 일어나는 터치 이벤트들을 예시하지만, 본 명세서는 동시에 일어나는 터치 이벤트들, 또는 순차적 및 동시 터치 이벤트들의 조합을 포함하는 터치 이벤트들이 본 명세서에서 설명되는 기법들을 사용하여 차별화될 수도 있다는 것도 고려한다.
사용자와 터치-감지 디바이스 사이의 접촉은 제 2 디바이스에서의 다수의 온-보드 센서들(on-board sensors)을 사용하여 검출될 수 있다. 위의 예들이 EMI 센서를 사용하여 접촉을 검출하지만, 본 명세서는 예를 들어 가속도계, 마이크로폰, 또는 자기장 센서와 같은 임의의 적합한 센서 또는 센서들의 조합을 사용하여 접촉을 검출하는 것도 고려한다. 특정 실시예들에서, 센서에 의해 감지된 접촉은 타임스탬프와 연관되고, 그 타임스탬프는 터치-감지 디바이스에 의해 검출된 접촉 이벤트에 연관된 타임스탬프와 비교된다.
도 8은 예시적인 디바이스(830)의 가속도계로부터의 데이터를 사용한 사용자의 예시적인 식별을 도시한다. 도 8에 나타낸 바와 같이, 손목시계(830)를 착용한 사용자(820)는 디바이스(810)와 상호작용한다. 사용자(820)는 터치 이벤트들(840A~840C)을 생성한다. 디바이스(810)는 터치 이벤트들을 기록하고 타임스탬프들과 터치 이벤트들에 대응하는 기록된 접촉들(850A~850C)을 연관시킨다. 덧붙여서, 디바이스(830)의 가속도계가 터치 이벤트들(840A~840C)을 검출하고 가속도계 데이터(860A~860C)에 기초하여 타임스탬프들을 연관시킨다. 각각의 터치 이벤트는 디바이스(810) 및 디바이스(830)에 의해 기록된 타임스탬프들을 비교함으로써 사용자와 연관될 수도 있다.
특정 실시예들에서, 애플리케이션 또는 기능이 특정 사용자의 식별을 돕기 위해, 도 8에 예시된 바와 같이, 다수의 탭 이벤트(tap event)들을 요구할 수도 있다. 예를 들어, 사용자에게는 디바이스에 로그 인하거나 또는 사용자-특정 콘텐츠, 이를테면 사용자의 이메일들에 액세스하기 위하여 디스플레이를 세 번 태핑할 것이 요청될 수도 있다.
특정 실시예들에서, 터치-감지 디바이스 및 제 2 디바이스에 의해 검출된 터치 이벤트들 사이의 래그 (lag)이 터치 이벤트들을 정확하게 연관시키기 위하여 결정될 수도 있다. 래그 상이한 감지 기술들에 연관된 상이한 프로세싱 속력들로 인해, 완전히 동기화되지 않은 클록들로 인해, 타임스탬프들 또는 다른 콘텍스트 데이터의 통신에서의 지연들로 인해, 또는 그것들의 임의의 적합한 조합으로 인해 일어날 수도 있다.
특정 실시예들에서, 래그는, 예를 들어 사용자에게 디스플레이에 접촉할 것을 요청하고 두 개의 상이한 감지 기술들과 각각 연관되는 두 개의 타임스탬프들에서의 차이를 비교함으로써 측정 이벤트 동안 특정 디바이스 또는 감지 기술에 대해 결정될 수도 있다. 특정 실시예들에서, 하나 이상의 오프셋들이 그 다음에 하나 또는 양쪽 모두의 감지 기술들에 연관된 타임스탬프들에 감지 기술들을 동기화시키기 위해 적용될 수도 있다.
특정 실시예들에서, 타임스탬프는 터치 이벤트가 검출되었다는 통지일 수도 있으며, 즉 통지는 터치 이벤트가 방금 일어났음을 표시하는 타임스탬프 자체일 수도 있다. 그 실시예에서, 통신에서의 래그가 검출 시간과 통지가 수신되는 시간 사이의 차이를 감안하여 결정될 수도 있다. 예를 들어, 터치-감지 디바이스와 제 2 디바이스가, 예를 들어, Wi-Fi 접속을 사용하여 페어링할 수도 있다. 터치-감지 디바이스는 제 2 디바이스에 통지를 요청하고 요청 시간과 통지가 수신되는 시간을 비교할 수도 있다. 터치-감지 디바이스는 두 가지 시간들 사이의 차이를 사용하여 적절한 동기 오프셋을 결정할 수도 있다.
도 9는 예시적인 컴퓨터 시스템(900)을 도시한다. 특정 실시예들에서, 하나 이상의 컴퓨터 시스템들(900)이 본 명세서에서 설명되거나 또는 예시되는 하나 이상의 방법들의 하나 이상의 단계들을 수행한다. 본 명세서에서 설명되는 프로세스들 및 시스템들은 하나 이상의 컴퓨터 시스템들(800)을 사용하여 구현될 수도 있다.
특정 실시예들에서, 하나 이상의 컴퓨터 시스템들(800)은 본 명세서에서 설명되거나 또는 예시되는 기능을 제공한다. 특정 실시예들에서, 하나 이상의 컴퓨터 시스템들(800) 상에서 실행하고 있는 소프트웨어가 본 명세서에서 설명되거나 또는 예시되는 하나 이상의 방법들의 하나 이상의 단계들을 수행하거나 또는 본 명세서에서 설명되거나 또는 예시되는 기능을 제공한다.
특정 실시예들이 하나 이상의 컴퓨터 시스템들(800)의 하나 이상의 부분들을 포함한다. 본 명세서에서, 컴퓨터 시스템에 대한 언급은 컴퓨팅 디바이스를 포괄할 수도 있고, 적절한 경우, 반대의 경우도 성립한다. 더구나, 컴퓨터 시스템에 대한 언급은, 적절한 경우, 하나 이상의 컴퓨터 시스템들을 포괄할 수도 있다.
본 명세서는 임의의 적합한 수의 컴퓨터 시스템들(800)도 고려한다. 본 명세서는 임의의 적합한 물리적 형태를 취하는 컴퓨터 시스템(800)도 고려한다. 제한이 아닌 예로서, 컴퓨터 시스템(900)은 임베디드 컴퓨터 시스템, 시스템-온-칩 (system-on-chip, SOC), 단일-보드 컴퓨터 시스템(single-board computer system, SBC) (예를 들어, 컴퓨터-온-모듈(computer-on-module, COM) 또는 시스템-온-모듈(system-on-module, SOM)와 같음), 데스크톱 컴퓨터 시스템, 랩톱 또는 노트북 컴퓨터 시스템, 상호작용 키오스크, 메인프레임, 컴퓨터 시스템들의 메시, 모바일 전화기, 개인 정보 단말기(PDA), 서버, 태블릿 컴퓨터 시스템, 또는 이것들 중 둘 이상의 조합일 수도 있다. 적절한 경우, 컴퓨터 시스템(800)은, 단일 또는 분산형이거나; 다수의 위치들에 걸쳐 있거나; 다수의 머신들에 걸쳐 있거나; 다수의 데이터 센터들에 걸쳐 있거나; 또는 클라우드에 상주하는 하나 이상의 컴퓨터 시스템들(800)을 포함할 수도 있는데, 그러한 시스템들은 하나 이상의 네트워크들에서 하나 이상의 클라우드 컴포넌트들을 포함할 수도 있다.
적절한 경우, 하나 이상의 컴퓨터 시스템들(800)은 실질적 공간적 또는 시간적 제한 없이 본 명세서에서 설명되거나 또는 예시되는 하나 이상의 방법들의 하나 이상의 단계들을 수행할 수도 있다. 제한이 아닌 일 예로서, 하나 이상의 컴퓨터 시스템들(800)은 본 명세서에서 설명되거나 또는 예시되는 하나 이상의 방법들의 하나 이상의 단계들을 실시간으로 또는 배치 모드로 수행할 수도 있다. 하나 이상의 컴퓨터 시스템들(800)은 적절한 경우, 본 명세서에서 설명되거나 또는 예시되는 하나 이상의 방법들의 하나 이상의 단계들을 상이한 시간들에 또는 상이한 위치들에서 수행할 수도 있다.
특정 실시예들에서, 컴퓨터 시스템(800)은 프로세서(902), 메모리(904), 스토리지(906), 입출력(I/O) 인터페이스(908), 통신 인터페이스(910), 및 버스(812)를 포함한다. 비록 본 개시물이 특정 수의 특정 컴포넌트들을 특정 배열로 갖는 특정 컴퓨터 시스템을 설명하고 예시하지만, 본 명세서는 임의의 적합한 수의 임의의 적합한 컴포넌트들을 임의의 적합한 배열로 갖는 임의의 적합한 컴퓨터 시스템도 고려한다.
특정 실시예들에서, 프로세서(902)는 컴퓨터 프로그램을 구성하는 것들과 같은 명령들을 실행하기 위한 하드웨어를 포함한다. 제한이 아닌 일 예로서, 명령들을 실행하기 위해, 프로세서(902)는 내부 레지스터, 내부 캐시, 메모리(904), 또는 스토리지(906)로부터 명령들을 취출(또는 페치)하며; 그것들을 디코딩 및 실행하고; 그 다음에 하나 이상의 결과들을 내부 레지스터, 내부 캐시, 메모리(904), 또는 스토리지(906)에 기입할 수도 있다. 특정 실시예들에서, 프로세서(902)는 데이터, 명령들, 또는 어드레스들을 위한 하나 이상의 내부 캐시들을 포함할 수도 있다.
본 명세서는 적절한 경우, 임의의 적합한 수의 임의의 적합한 내부 캐시들을 포함하는 프로세서(902)도 고려한다. 제한이 아닌 일 예로서, 프로세서(902)는 하나 이상의 명령 캐시들(instruction caches), 하나 이상의 데이터 캐시들(data caches), 및 하나 이상의 변환 색인 버퍼(translation lookaside buffer, TLB)들을 포함할 수도 있다. 명령 캐시들에서의 명령들(instructions)은 메모리(904) 또는 스토리지(906)에서의 명령들의 사본들일 수도 있고, 명령 캐시들은 프로세서(902)에 의한 이들 명령들의 취출 속도를 높일 수 도 있다. 데이터 캐시들에서의 데이터는 동작하는 프로세서(902)에서 실행하고 있는 명령들을 위한 메모리(904) 또는 스토리지(906)에서의 데이터의 사본들; 프로세서(902)에서 실행하고 있는 후속 명령들에 의한 액세스를 위해 또는 메모리(904) 또는 스토리지(906)에의 기입을 위해 프로세서(902)에서 실행되는 이전의 명령들의 결과들; 또는 다른 적합한 데이터일 수도 있다. 데이터 캐시들은 프로세서(902)에 의한 판독 또는 기입 동작 속도를 높일 수도 있다. TLB들은 프로세서(902)를 위한 가상-주소 변환 속도를 높일 수도 있다. 특정 실시예들에서, 프로세서(902)는 데이터, 명령들, 또는 어드레스들을 위한 하나 이상의 내부 레지스터들을 포함할 수도 있다. 본 명세서는 적절한 경우, 임의의 적합한 수의 임의의 적합한 내부 레지스터들을 포함하는 프로세서(902)도 고려한다. 적절한 경우, 프로세서(902)는 하나 이상의 산술 로직 유닛들(arithmetic logic units, ALU들)을 포함하거나; 멀티-코어 프로세서이거나; 또는 하나 이상의 프로세서들(902)을 포함할 수도 있다. 비록 본 개시물이 특정 프로세서를 설명하고 예시하지만, 본 명세서는 임의의 적합한 프로세서도 고려한다.
특정 실시예들에서, 메모리(904)는 프로세서(902)를 위한 실행할 명령들 또는 프로세서(902)를 위한 동작 대상인 데이터를 저장하는 주 메모리를 포함한다. 제한이 아닌 일 예로서, 컴퓨터 시스템(900)은 스토리지(906) 또는 다른 소스(예를 들어, 다른 컴퓨터 시스템(900))로부터 메모리(904)에 명령들을 로딩할 수도 있다. 프로세서(902)는 그 다음에 메모리(904)로부터 내부 레지스터 또는 내부 캐시에 명령들을 로딩할 수도 있다. 명령들을 실행하기 위해, 프로세서(902)는 내부 레지스터 또는 내부 캐시로부터 명령들을 취출하고 그것들을 디코딩할 수도 있다. 명령들의 실행 동안 또는 그러한 실행 후, 프로세서(902)는 하나 이상의 결과들(이는 중간 또는 최종 결과들일 수도 있음)을 내부 레지스터 또는 내부 캐시에 기입할 수도 있다. 프로세서(902)는 그 다음에 그들 결과들 중 하나 이상을 메모리(904)에 기입할 수도 있다.
특정 실시예들에서, 프로세서(902)는 (스토리지(906) 또는 다른 곳이 아니라) 하나 이상의 내부 레지스터들 또는 내부 캐시들 또는 메모리(904)에 있는 명령들만을 실행하고 (스토리지(906) 또는 다른 곳이 아니라) 하나 이상의 내부 레지스터들 또는 내부 캐시들 또는 메모리(904)에 있는 데이터에 대해서만 동작한다. (각각이 주소 버스 및 데이터 버스를 포함할 수도 있는) 하나 이상의 메모리 버스들이 프로세서(902)를 메모리(904)에 커플링시킨다. 버스(812)는 아래에서 설명되는 바와 같이, 하나 이상의 메모리 버스들을 포함할 수도 있다.
특정 실시예들에서, 하나 이상의 메모리 관리 유닛(memory management units: MMU)이 프로세서(902)와 메모리(904) 사이에 존재하고 프로세서(902)에 의해 요청된 메모리(904)로의 액세스들을 용이하게 한다. 특정 실시예들에서, 메모리(904)는 랜덤 액세스 메모리(RAM)를 포함한다. RAM은 적절한 경우 휘발성 메모리일 수도 있고, RAM은 적절한 경우 다이나믹 RAM(DRAM) 또는 스태틱 RAM(SRAM)일 수도 있다. 더구나, 적절한 경우, 이 RAM은 단일-포트형 또는 멀티-포트형 RAM일 수도 있다. 본 명세서는 임의의 적합한 RAM도 고려한다. 메모리(904)는 하나 이상의 메모리들(904)을, 적절한 경우, 포함할 수도 있다. 비록 본 개시물이 특정 메모리를 설명하고 예시하지만, 본 명세서는 임의의 적합한 메모리도 고려한다.
특정 실시예들에서, 스토리지(906)는 데이터 또는 명령들을 위한 대용량 스토리지를 포함한다. 제한이 아닌 일 예로서, 스토리지(906)는 하드 디스크 드라이브(HDD), 플로피 디스크 드라이브, 플래시 메모리, 광학적 디스크, 광자기 디스크, 자기 테이프, 또는 유니버셜 직렬 버스(USB) 드라이브 또는 이것들 중 둘 이상의 조합을 포함할 수도 있다. 스토리지(906)는 적절한 경우, 착탈식 또는 비-착탈식 (또는 고정된) 매체를 포함할 수도 있다. 스토리지(906)는 적절한 경우, 컴퓨터 시스템(800) 내부 또는 외부에 있을 수도 있다.
특정 실시예들에서, 스토리지(906)는 비휘발성, 고체 상태 메모리이다. 특정 실시예들에서, 스토리지(906)는 판독전용 메모리(ROM)를 포함한다. 적절한 경우, 이 ROM은 마스크-프로그래밍된 ROM, 프로그램가능 ROM (PROM), 소거가능 PROM(EPROM), 전기적 소거가능 PROM(EEPROM), 전기적 변경 가능 ROM(EAROM), 또는 플래시 메모리 또는 이것들 중 둘 이상의 조합일 수도 있다. 본 명세서는 임의의 적합한 물리적 형태를 취하는 대용량 스토리지(906)도 고려한다. 스토리지(906)는 적절한 경우 프로세서(902)와 스토리지(906) 사이의 통신을 용이하게 하는 하나 이상의 스토리지 제어 유닛들을 포함할 수도 있다. 적절한 경우, 스토리지(906)는 하나 이상의 스토리지들(906)을 포함할 수도 있다. 비록 본 개시물이 특정 스토리지를 설명하고 예시하지만, 본 명세서는 임의의 적합한 스토리지도 고려한다.
특정 실시예들에서, I/O 인터페이스(908)는 컴퓨터 시스템(900)과 하나 이상의 I/O 디바이스들 사이의 통신을 위한 하나 이상의 인터페이스들을 제공하는 하드웨어, 소프트웨어, 또는 둘 다를 포함한다. 컴퓨터 시스템(900)은 적절한 경우, 이들 I/O 디바이스들의 하나 이상을 포함할 수도 있다. 이들 I/O 디바이스들 중 하나 이상은 사람과 컴퓨터 시스템(800) 사이의 통신을 가능하게 할 수도 있다.
예시적인 일 예로서, I/O 디바이스가 키보드, 키패드, 마이크로폰, 모니터, 마우스, 프린터, 스캐너, 스피커, 스틸 카메라, 스타일러스, 태블릿, 터치 스크린, 트랙볼, 비디오 카메라, 다른 적합한 I/O 디바이스 또는 이것들 중 둘 이상의 조합을 포함할 수도 있다. I/O 디바이스는 하나 이상의 센서들을 포함할 수도 있다. 본 명세서는 그것들을 위한 임의의 적합한 I/O 디바이스들과 임의의 적합한 I/O 인터페이스들(908)도 고려한다. 적절한 경우, I/O 인터페이스(908)는 프로세서(902)이 이들 I/O 디바이스들 중 하나 이상을 인에이블시키는 하나 이상의 디바이스 또는 소프트웨어 드라이버들을 포함할 수도 있다. I/O 인터페이스(908)는 하나 이상의 I/O 인터페이스들(908)을, 적절한 경우 포함할 수도 있다. 비록 본 명세서에서 특정 I/O 인터페이스를 설명하고 예시하지만, 본 명세서는 임의의 적합한 I/O 인터페이스도 고려한다.
특정 실시예들에서, 통신 인터페이스(910)는 컴퓨터 시스템(900)과 하나 이상의 다른 컴퓨터 시스템들(900) 또는 하나 이상의 네트워크들 사이의 통신(예를 들어, 패킷-기반 통신과 같음)을 위한 하나 이상의 인터페이스들을 제공하는 하드웨어, 소프트웨어, 또는 둘 다를 포함한다. 제한이 아닌 일 예로서, 통신 인터페이스(910)는 이더넷 또는 다른 유선 기반 네트워크와 통신하기 위한 네트워크 인터페이스 제어기(network interface controller, NIC) 또는 네트워크 어댑터, 또는 무선 네트워크, 이를테면 Wi-Fi 네트워크와 통신하기 위한 무선 NIC (WNIC) 또는 무선 어댑터를 포함할 수도 있다.
본 명세서는 임의의 적합한 네트워크와 그것을 위한 임의의 적합한 통신 인터페이스(910)도 고려한다. 제한이 아닌 일 예로서, 컴퓨터 시스템(800)은 애드 혹 네트워크, 개인 영역 네트워크(PAN), 로컬 영역 네트워크(LAN), 광역 네트워크(WAN), 도시권 통신망(metropolitan area network, MAN), 인체 영역 네트워크(body area network, BAN), 또는 인터넷의 하나 이상의 부분들 또는 이것들 중 둘 이상의 조합과 통신할 수도 있다. 하나 이상의 이들 네트워크들의 하나 이상의 부분들이 유선 또는 무선일 수도 있다. 일 예로서, 컴퓨터 시스템(900)은 무선 PAN(WPAN)(예를 들어, 블루투스 WPAN과 같음), Wi-Fi 네트워크, WI-MAX 네트워크, 셀룰러 전화기 네트워크(예를 들어, 이동 통신 세계화 시스템(GSM) 네트워크와 같음), 또는 다른 적합한 무선 네트워크 또는 이것들 중 둘 이상의 조합과 통신할 수도 있다. 컴퓨터 시스템(900)은 적절한 경우, 이들 네트워크들 중 임의의 것을 위한 임의의 적합한 통신 인터페이스(910)를 포함할 수도 있다. 통신 인터페이스(910)는 적절한 경우 하나 이상의 통신 인터페이스들(910)을 포함할 수도 있다. 비록 본 명세서가 특정 통신 인터페이스를 설명하고 예시하지만, 본 명세서는 임의의 적합한 통신 인터페이스도 고려한다.
특정 실시예들에서, 버스(bus)(812)는 컴퓨터 시스템(900)의 컴포넌트들을 서로 커플링시키는 하드웨어, 소프트웨어, 또는 둘 다를 포함한다. 제한이 아닌 일 예로서, 버스(812)는 AGP(Accelerated Graphics Port) 또는 다른 그래픽스 버스, EISA(Enhanced Industry Standard Architecture) 버스, FSB(front-side bus), HT(HYPERTRANSPORT) 인터커넥트, ISA(Industry Standard Architecture) 버스, INFINIBAND 인터커넥트, LPC(low-pin-count) 버스, 메모리 버스, MCA(Micro Channel Architecture) 버스, PCI(Peripheral Component Interconnect) 버스, PCIe(PCI-Express) 버스, SATA(serial advanced technology attachment) 버스, VLB(Video Electronics Standards Association local) 버스, 또는 다른 적합한 버스 또는 이것들 중 둘 이상의 조합을 포함할 수도 있다. 버스(812)는 적절한 경우, 하나 이상의 버스들(812)을 포함할 수도 있다. 비록 본 개시물이 특정 버스를 설명하고 예시하지만, 본 명세서는 임의의 적합한 버스 또는 인터커넥트에 생각이 미친다.
본 명세서에서, 컴퓨터-판독가능 비-일시적 저장 매체 또는 매체들은 하나 이상의 반도체 기반 또는 다른 집적 회로들(IC들)(예를 들어, 필드-프로그램가능 게이트 어레이들(FPGA들) 또는 응용 특화 IC들(ASIC들)), 하드 디스크 드라이브들(HDD들), 하이브리드 하드 드라이브들(HHD들), 광 디스크들, 광 디스크 드라이브들(ODD들), 광자기 디스크들, 광자기 드라이브들, 플로피 디스켓들, 플로피 디스크 드라이브들(FDD들), 자기 테이프들, 고체-상태 드라이브들(SSD들), RAM-드라이브들, SECURE DIGITAL 카드들 또는 드라이브들, 임의의 다른 적합한 컴퓨터-판독가능 비-일시적 저장 매체, 또는 둘 이상의 이것들의 임의의 적합한 조합을, 적절한 경우, 포함할 수도 있다. 컴퓨터-판독가능 비-일시적 저장 매체가, 적절한 경우, 휘발성, 비휘발성, 또는 휘발성 및 비휘발성의 조합일 수도 있다.
본 명세서에서, "또는"은 명시적으로 달리 표시되지 않거나 또는 콘텍스트에 의해 달리 표시되지 않는 한 포괄적이고 배타적이지 않다. 그러므로, 본 명세서에서, "A 또는 B"는 명시적으로 달리 표시되지 않거나 또는 콘텍스트에 의해 달리 표시되지 않는 한 "A, B, 또는 둘 다"를 의미한다. 더구나, "그리고"는 명시적으로 달리 표시되지 않거나 또는 콘텍스트에 의해 달리 표시되지 않는 한 공동 및 따로(joint and several) 둘 다이다. 그러므로, 본 명세서에서, "A 및 B"는 명시적으로 달리 표시되지 않거나 또는 콘텍스트에 의해 달리 표시되지 않는 한, "공동으로 또는 개별적으로 A 및 B를" 의미한다.
본 명세서의 범위는 본 기술분야의 통상의 기술자가 이해할 본 명세서에서 설명되거나 또는 예시되는 예시적인 실시예들에 대한 모든 변경들, 대체들, 변동들, 개조들, 및 수정들을 포함한다. 본 개시물의 범위는 본 명세서에서 설명되거나 또는 예시되는 예시적인 실시예들로 제한되지 않는다. 더구나, 비록 본 개시물이 특정 컴포넌트들, 엘리먼트들, 특징, 기능들, 동작들, 또는 단계들을 포함하는 것으로서 본 명세서에서의 각각의 실시예들을 설명하지만, 이들 실시예들 중 임의의 실시예가, 본 기술분야의 통상의 기술자가 이해할 본 명세서에서의 어디에서든 설명되거나 또는 예시되는 컴포넌트들, 엘리먼트들, 특징들, 단계들, 동작들, 또는 단계들 중 임의의 것의 임의의 조합 또는 순열을 포함할 수도 있다. 더욱이, 특정 기능을 수행하도록 적응되거나, 배열되거나, 그러한 특정 기능을 수행할 수 있거나, 그러한 특정 기능을 수행하도록 구성되거나, 가능하게 되거나, 동작 가능하거나, 또는 동작하는 장치 또는 시스템 또는 장치 또는 시스템의 컴포넌트에 대한 첨부의 청구항들에서의 언급은, 그 장치, 시스템, 또는 성분이 그렇게 적응되거나, 배열되거나, 할 수 있거나, 구성되거나, 가능하게 되거나, 동작 가능하거나, 또는 동작되는 한, 그 장치, 시스템, 컴포넌트를, 그것 또는 그 특정 기능이 활성화되거나, 턴 온되거나, 또는 잠금해제되든 아니든 간에 포함한다.

Claims (15)

  1. 제 1 디바이스 상의 제 1 터치 이벤트에 연관된 제 1 콘텍스트 데이터에 액세스하는 단계;
    제2 디바이스에 의해 검출된, 상기 제 1 디바이스 상의 터치 이벤트에 연관된 제 2 콘텍스트 데이터에 액세스하는 단계;
    상기 제 1 콘텍스트 데이터와 상기 제 2 콘텍스트 데이터를 비교하는 단계; 및
    상기 비교에 기초하여, 상기 제 1 터치 이벤트가 상기 제 2 디바이스에 의해 검출된 터치 이벤트인지 여부를 결정하는 단계를 포함하는 방법.
  2. 제 1 항에 있어서,
    상기 제 1 디바이스 상의 제 2 터치 이벤트에 연관된 제 3 콘텍스트 데이터에 액세스하는 단계;
    제3 디바이스에 의해 검출된, 상기 제 1 디바이스 상의 터치 이벤트에 연관된 제 4 콘텍스트 데이터에 액세스하는 단계;
    상기 제 3 콘텍스트 데이터와 상기 제 4 콘텍스트 데이터를 비교하는 단계; 및
    상기 비교에 기초하여, 상기 제 2 터치 이벤트가 상기 제 3 디바이스에 의해 검출된 터치 이벤트인지의 여부를 결정하는 단계를 더 포함하는 방법.
  3. 제 1 항에 있어서, 상기 제 2 콘텍스트 데이터는,
    사용자의 신체에 커플링된 상기 제 2 디바이스의 전극;
    가속도계; 또는
    마이크로폰 중 하나 이상으로부터의 출력을 포함하며,
    상기 전극은 상기 사용자의 신체로부터의 신호를 수신하도록 구성되며, 상기 신호는 상기 제 1 디바이스에 의해 생성된 전자기 방해 신호에 기초하는 방법.
  4. 제 1 항에 있어서, 상기 제 1 터치 이벤트가 상기 제 2 디바이스에 의해 검출된 터치 이벤트라는 결정에 응답하여 상기 제 2 디바이스의 사용자를 식별하는 단계를 더 포함하는 방법.
  5. 제 4 항에 있어서, 상기 사용자를 식별하는 단계는 상기 사용자에게 ID를 배정하는 단계를 포함하는 방법.
  6. 제 4 항에 있어서, 상기 사용자를 식별하는 단계는 상기 사용자를 식별하는 정보에 액세스하는 단계를 포함하는 방법.
  7. 제 4 항에 있어서, 상기 사용자를 식별하는 단계는 상기 제 2 디바이스를 식별하는 단계를 포함하는 방법.
  8. 제 4 항에 있어서, 상기 제 1 디바이스에 대해 상기 사용자를 인가하는 단계를 더 포함하는 방법.
  9. 제 4 항에 있어서, 상기 식별된 사용자에 특별한 하나 이상의 설정들에 액세스하는 단계를 더 포함하는 방법.
  10. 제 1 항에 있어서, 상기 제 1 디바이스는 터치-감지 디바이스를 포함하며;
    상기 제 2 디바이스는 착용가능 디바이스를 포함하는 방법.
  11. 제 1 항에 있어서,
    상기 제 1 콘텍스트 데이터는 제 1 타임스탬프를 포함하며;
    상기 제 2 콘텍스트 데이터는 제 2 타임스탬프를 포함하는 방법.
  12. 제 11 항에 있어서, 상기 제 1 타임스탬프 및 상기 제 2 타임스탬프 중 하나 이상의 타임스탬프에 대한 오프셋을 결정하는 단계를 더 포함하며, 상기 비교는 상기 오프셋에 추가로 기초하는 방법.
  13. 제 11 항에 있어서,
    상기 제 2 디바이스는 제 1 사용자와 연관되며;
    상기 방법은,
    상기 제 1 디바이스에 의해 검출된 제 2 터치 이벤트에 연관된 제 3 타임스탬프에 액세스하는 단계,
    제2 사용자에 연관된 제3 디바이스에 의해 검출된, 상기 제 1 디바이스 상의 터치 이벤트에 연관된 제 4 타임스탬프에 액세스하는 단계;
    상기 제 3 타임스탬프와 상기 제 4 타임스탬프를 비교하는 단계;
    상기 비교에 기초하여, 상기 제 2 터치 이벤트가 상기 제 3 디바이스에 의해 검출된 상기 터치 이벤트인지의 여부를 결정하는 단계;
    상기 제 1 터치 이벤트가 상기 제 2 디바이스에 의해 검출된 터치 이벤트라는 결정에 응답하여, 상기 제 1 터치 이벤트와 상기 제 1 사용자를 연관시키는 단계; 및
    상기 제 2 터치 이벤트가 상기 제 3 디바이스에 의해 검출된 터치 이벤트라는 결정에 응답하여, 상기 제 2 터치 이벤트와 상기 제 2 사용자를 연관시키는 단계를 더 포함하는 방법.
  14. 장치에 있어서,
    터치 센서; 및
    상기 터치 센서에 커플링되는 하나 이상의 프로세서들을 포함하며, 상기 하나 이상의 프로세서들은,
    상기 터치 센서에 의해 검출된 제 1 터치 이벤트에 연관된 제 1 콘텍스트 데이터를 결정하며;
    제2 다바이스에 의해 검출된 상기 장치 상의 터치 이벤트에 연관된 제 2 콘텍스트 데이터를 상기 제2 디바이스로부터 수신하며;
    상기 제 1 콘텍스트 데이터와 상기 제 2 콘텍스트 데이터를 비교하며;
    상기 비교에 기초하여, 상기 제 1 터치 이벤트가 상기 제 2 디바이스에 의해 검출된 상기 터치 이벤트인지의 여부를 결정하도록 구성되는 장치.
  15. 하나 이상의 프로세서들에 의해 실행될 때 상기 하나 이상의 프로세서들로 하여금 동작들을 수행하게 하는 로직이 기록된 하나 이상의 비-일시적 컴퓨터 판독가능 저장 매체로서, 상기 동작들은,
    제 1 디바이스 상의 제 1 터치 이벤트에 연관된 제 1 콘텍스트 데이터에 액세스하는 동작;
    제2 디바이스에 의해 검출된, 상기 제 1 디바이스 상의 터치 이벤트에 연관된 제 2 콘텍스트 데이터에 액세스하는 동작;
    상기 제 1 콘텍스트 데이터와 상기 제 2 콘텍스트 데이터를 비교하는 동작; 및
    상기 비교에 기초하여, 상기 제 1 터치 이벤트가 상기 제 2 디바이스에 의해 검출된 터치 이벤트인지의 여부를 결정하는 동작을 포함하는, 비-일시적 컴퓨터 판독가능 저장 매체.
KR1020187010605A 2015-09-16 2016-09-13 전자기 방해 신호 검출 KR102084209B1 (ko)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201562219635P 2015-09-16 2015-09-16
US62/219,635 2015-09-16
US201562260247P 2015-11-25 2015-11-25
US201562260244P 2015-11-25 2015-11-25
US62/260,247 2015-11-25
US62/260,244 2015-11-25
US15/153,599 2016-05-12
US15/153,599 US10101869B2 (en) 2013-08-13 2016-05-12 Identifying device associated with touch event
PCT/KR2016/010361 WO2017048068A1 (en) 2015-09-16 2016-09-13 Electromagnetic interference signal detection

Publications (2)

Publication Number Publication Date
KR20180042454A true KR20180042454A (ko) 2018-04-25
KR102084209B1 KR102084209B1 (ko) 2020-04-23

Family

ID=58289381

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187010605A KR102084209B1 (ko) 2015-09-16 2016-09-13 전자기 방해 신호 검출

Country Status (4)

Country Link
EP (1) EP3350681B1 (ko)
KR (1) KR102084209B1 (ko)
CN (1) CN108027693B (ko)
WO (1) WO2017048068A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9569055B2 (en) 2013-08-13 2017-02-14 Samsung Electronics Company, Ltd. Interaction sensing
US10073578B2 (en) 2013-08-13 2018-09-11 Samsung Electronics Company, Ltd Electromagnetic interference signal detection
WO2023037289A1 (en) * 2021-09-10 2023-03-16 Manus Technology Group B.V. Novel self-governing synchronization system and method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000148396A (ja) * 1998-11-06 2000-05-26 Canon Inc 情報入力装置および方法
US20150049056A1 (en) * 2013-08-13 2015-02-19 Samsung Electronics Company, Ltd. Interaction Sensing
KR20150101213A (ko) * 2014-02-26 2015-09-03 삼성전자주식회사 전자 장치, 웨어러블 디바이스 및 전자 장치의 동작 방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2374229A1 (en) * 2008-12-05 2011-10-12 Koninklijke Philips Electronics N.V. User identification based on body-coupled communication
CN103534674A (zh) * 2011-02-08 2014-01-22 海沃氏公司 多模态触摸屏交互装置、方法和系统
US9618553B2 (en) * 2011-09-15 2017-04-11 University Of Washington Through Its Center For Commercialization Systems and methods for sensing environmental changes using light sources as sensors
KR101790017B1 (ko) * 2011-09-30 2017-10-25 삼성전자 주식회사 제스처 기반의 통신 채널 운용 제어 방법 및 이를 지원하는 휴대 단말기 시스템
US8599169B2 (en) * 2011-12-14 2013-12-03 Freescale Semiconductor, Inc. Touch sense interface circuit
US8723836B1 (en) * 2012-06-07 2014-05-13 Rockwell Collins, Inc. Touch panel deactivation systems and methods
CN104111725A (zh) * 2013-04-22 2014-10-22 汪林川 基于电容触控屏设备的通信系统及其通信方法
US9622074B2 (en) * 2013-07-24 2017-04-11 Htc Corporation Method for continuing operation on mobile electronic device, mobile device using the same, wearable device using the same, and computer readable medium
US9239648B2 (en) * 2014-03-17 2016-01-19 Google Inc. Determining user handedness and orientation using a touchscreen device

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000148396A (ja) * 1998-11-06 2000-05-26 Canon Inc 情報入力装置および方法
US20150049056A1 (en) * 2013-08-13 2015-02-19 Samsung Electronics Company, Ltd. Interaction Sensing
KR20150101213A (ko) * 2014-02-26 2015-09-03 삼성전자주식회사 전자 장치, 웨어러블 디바이스 및 전자 장치의 동작 방법

Also Published As

Publication number Publication date
EP3350681B1 (en) 2024-04-24
EP3350681A1 (en) 2018-07-25
WO2017048068A1 (en) 2017-03-23
CN108027693B (zh) 2021-06-01
EP3350681A4 (en) 2018-10-10
CN108027693A (zh) 2018-05-11
KR102084209B1 (ko) 2020-04-23

Similar Documents

Publication Publication Date Title
US10671231B2 (en) Electromagnetic interference signal detection
US10141929B2 (en) Processing electromagnetic interference signal using machine learning
US10101869B2 (en) Identifying device associated with touch event
CN108027684B (zh) 电磁干扰信号检测
EP3361351B1 (en) Method and apparatus using frictional sound
KR101720193B1 (ko) 터치 센서에서의 상호작용을 감지하기 위한 방법 및 장치
US20170124816A1 (en) Automatic object detection and state estimation via electronic emissions sensing
US9299350B1 (en) Systems and methods for identifying users of devices and customizing devices to users
US20150177939A1 (en) User interface based on wearable device interaction
KR102084209B1 (ko) 전자기 방해 신호 검출
CN109238306A (zh) 基于穿戴式设备的计步数据校验方法、装置、存储介质及终端
WO2016099609A1 (en) Active indoor location sensing for mobile devices
WO2017044915A1 (en) Touchless compliance system
KR20150086332A (ko) 디바이스 구성, 상호 작용 및 제어를 위한 통합된 프레임워크, 및 연관된 방법, 디바이스 및 시스템
KR102063903B1 (ko) 기계 학습을 이용한 전자기 간섭 신호의 처리
US20230076716A1 (en) Multi-device gesture control
US20240103632A1 (en) Probabilistic gesture control with feedback for electronic devices
WO2023034001A1 (en) Multi-device gesture control
Tung Acoustic sensing: Mobile applications and frameworks
WO2024064170A1 (en) Probabilistic gesture control with feedback for electronic devices

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant