KR102160255B1 - 객체-장치간 상호동작을 위한 상호동작 모드들 - Google Patents

Abstract

일 실시예의 방법은 센서로부터의 출력에 기반하여 장치에 대한 객체의 근접도를 판단하고, 판단된 근접도를 기준 근접도와 비교하는 단계를 포함한다. 그 방법은 비교결과에 기반하여 객체 및 장치 간 상호동작을 처리하기 위한 상호동작 모드를 선택하는 단계를 더 포함한다. 그 방법은 선택된 상호동작 모드에 따라 객체 및 장치 간 상호동작을 처리하는 단계를 더 포함한다.

Description

객체-장치간 상호동작을 위한 상호동작 모드들

본 개시는 일반적으로 객체들과의 상호동작을 검출하는 전자 기기들에 관한 것으로서, 보다 상세히 말하면 표면 접촉 센서들 또는 근접 센서들을 이용하여 상호동작을 검출하는 장치들에 관한 것이다.

터치 센서는 터치나 객체의 존재 및 위치, 또는 예컨대 디스플레이 스크린 상에 놓여진 터치 센서의 터치 감지 영역 내에서의 객체(사용자 손가락이나 스타일러스)의 근접도를 검출할 수 있다. 터치 감지 디스플레이 애플리케이션에서, 터치 센서는 사용자가 마우스나 터치 패드와 간접적으로 상호동작하기 보다 스크린 상에 디스플레이된 것과 직접 상호동작하게 할 수 있다. 터치 센서는 데스크탑 컴퓨터, 랩탑 컴퓨터, 태블릿 컴퓨터, PDA(personal digital assistant), 스마트폰, 위성 네비게이션 장치, 휴대형 미디어 플레이어, 휴대형 게임 콘솔, 키오스크 컴퓨터, POS(point-of-sale) 기기, 또는 기타 적절한 장치에 부착되거나 그 일부로서 제공될 수 있다. 가정용품 또는 기타 가전기기 상의 제어 패널이 터치 센서를 포함할 수 있다.

예컨대, 저항성 터치 스크린, 표면 탄성파(surface acoustic wave) 터치 스크린, 및 용량성 터치 스크린(capacitive touch screens)과 같은 여러가지 다양한 종류의 터치 스크린이 존재한다. 여기에서, 터치 센서에 대한 언급은 터치 스크린을 포함할 수 있고, 적절하다면 그 반대의 경우도 성립할 수 있다. 객체가 용량성 터치 스크린의 표면을 터치하거나 그에 근접할 때, 터치 스크린 내 해당 터치나 근접 위치에서 커패시턴스의 변화가 일어날 수 있다. 터치 센서 제어기가 그러한 커패시턴스의 변화를 처리하여 터치 스크린 상에서의 그 위치를 판단할 수 있다.

용량성 터치는 전극에서 신호를 전송하고, 그런 다음 개재된 물질의 존재에서 비롯된 변동을 측정함으로써 동작한다. 전기장을 활발히 발산하는 것은 장치의 에너지 사용을 늘리고 응답 속도를 저하시킨다. 또한, 용량성 터치 센서를 매우 큰 영역으로 확대하는 것은 엄청난 비용을 들게 할 수 있다.

일 실시예의 방법은 센서로부터의 출력에 기반하여 장치에 대한 객체의 근접도를 판단하고, 판단된 근접도를 기준 근접도와 비교하는 단계를 포함한다. 상기 방법은 상기 비교결과에 기반하여 상기 객체 및 상기 장치 간 상호동작을 처리하기 위한 상호동작 모드를 선택하는 단계를 더 포함한다. 상기 방법은 상기 선택된 상호동작 모드에 따라 상기 객체 및 상기 장치 간 상호동작을 처리하는 단계를 더 포함한다.

도 1a 및 1b는 마찰활동에 기반하여 객체의 위치들을 판단할 수 있는 마찰 터치(TriboTouch) 시스템의 예를 도시한다.
도 2a-2e는 손가락과 마찰 터치 센서 간의 상호동작의 예를 도시한다.
도 3은 마찰 터치 시스템의 구조 예를 도시한다.
도 4는 대안적 아날로그 전단부(front-end)의 예를 도시한다.
도 5는 마찰 터치 동작의 원리를 도시한다.
도 6은 신호 프로파일들에 기반하여 접촉의 유형들을 결정하기 위한 프로세스의 예를 도시한다.
도 7은 용량성 감지 및 마찰 터치의 기능들을 결합한 예를 도시한다.
도 8은 용량성 감지 및 마찰 터치 감지 둘 모두에 대해 동일한 수신기 시스템을 이용하면서 송신기를 전극에 용량 결합하는 예를 도시한다.
도 9는 다양한 물질들의 어레이로 덮힌 마찰 활동(triboactive) 표면을 도시한다.
도 10a-10c는 다양한 객체들이 동일한 패턴의 센서 어레이와 접촉할 때 생성되는 다양한 양전하 및 음전하 패턴들을 도시한다.
도 11은 사용자 및 환경과 관련된 잡음 터치(NoiseTouch) 시스템의 구성 예를 도시한다.
도 12는 잡음 터치 시스템 구조의 예를 도시한다.
도 13은 손의 포즈 또는 위치를 판단하는 프로세스의 예를 도시한다.
도 14는 터치 및 스타일러스 데이터를 분리하는 방법의 예를 도시한다.
도 15는 스타일러스 또는 펜의 접촉에 따른 주변 잡음의 변화를 특징짓는 신호 변화의 검출을 도시한다.
도 16은 사용자의 환경 및 정황을 수동적으로 감지하는 프로세스의 예를 도시한다.
도 17은 수동적으로 감지될 수 있는 잡음 정황들의 예를 도시한다.
도 18은 정황 감지 시스템을 이용하여 잡음 터치 센서를 가진 장치와 통신하는 프로세스의 예를 도시한다.
도 19는 마찰 잡음 터치(TriboNoiseTouch) 시스템의 구조 예를 도시한다.
도 20은 잡음 데이터에서 마찰활동 데이터를 분리하는 방법의 예를 도시한다.
도 21-23은 마찰전기 관련 이벤트 및 잡음 관련 이벤트를 식별하기 위한 마찰 잡음 터치 프로세스들의 예를 도시한다.
도 24는 잡음 기반 감지 서브시스템이 접촉 또는 호버링 영역 주변의 예로 든 블랍(blob)뿐 아니라 그 표면 위에서 호버링(hovering) 하는 손의 "그림자"를 생성하는 동안, 터치 센서 표면과의 개별 마이크로 접촉에 기반하여 예로 든 고분해능 데이터를 생성하는 마찰활동 서브시스템을 도시한다.
도 25는 손가락 접촉의 정확도를 개선하는 방법의 예를 도시한다.
도 26은 손가락 접촉을 검출하고 그것을 비전도성 펜 접촉과 분리시키는 방법의 예를 도시한다.
도 27은 접촉하거나 펜을 쥔 손의 호버링 그림자를 검출함에 따른 펜이나 손의 포즈 추정의 예를 도시한다.
도 28은 고분해능 스타일러스 감지를 지원하는 마찰 터치 감지의 예, 및 메뉴들 및 기능들을 시동시키는 버튼들을 특징으로 하는 특별한 디자인의 스타일러스를 검출하기 위한 마찰 잡음 감지의 예를 도시한다.
도 29는 호버링 감지를 위한 동적 범위를 향상시키는 방법의 예를 도시한다.
도 30은 단일 터치 전극 성분들의 예를 도시한다.
도 31은 예시적 인터리브드(interleaved) 패턴으로 된 두 전극들을 도시한다.
도 32는 두 터치 지점의 위치를 검출하는데 사용될 수 있는 행- 열(row-colum)의 전극 그리드를 도시한다.
도 33 및 34는 그리드 형태의 단일 터치 전극들을 이용하는 어레이 멀티터치 구성들을 도시한다.
도 35는 저항성 시트(sheet) 전극을 이용한 연속적 수동 위치 감지의 예를 도시한다.
도 36 및 37은 연속적 2차원 수동 위치 감지 예를 도시한다.
도 38-40은 전극 시트 구성들의 예를 도시한다.
도 41은 유전체 인코딩된(dielectric-encoded) 수동 위치 감지의 예를 도시한다.
도 42 및 43은 비선형 소자들의 어레이를 이용한 연속 수동 위치 감지의 예를 도시한다.
도 44는 공간 분포(spatially-distributed) 좌표 인코딩의 예를 도시한다.
도 45는 저항성 터치 센서들과 마찰 터치의 결합 예를 도시한다.
도 46 및 47은 유도성 터치 센서들과 마찰 터치의 결합 예를 도시한다.
도 48a-b는 객체와 장치 사이의 상호동작(상호동작) 모드들의 예를 도시한다.
도 49a-b는 다양한 상호동작 모드들에 있어서 사용자에게 다양한 기능성 및 사용자 인터페이스를 제공하는 예를 도시한다.
도 50a-b는 제2상호동작 모드 예에서 그래픽 사용자 인터페이스의 예를 도시한다.
도 51은 상호동작 모드를 식별하는 아이콘들의 예를 도시한다.
도 52은 상호동작 모드를 선택하기 위한 시스템 예를 도시한다.
도 53은 상호동작 모드를 구현하기 위한 방법 예를 도시한다.
도 54은 상호동작 모드를 구현하기 위한 방법의 다른 예를 도시한다.
도 55은 상호동작 모드를 구현하기 위한 방법의 다른 예를 도시한다.
도 56은 컴퓨터 시스템의 예를 도시한다.

일 실시예에서, 장치는 센서; 명령어들을 구현하는 컴퓨터 판독가능 비일시적 저장 매체; 및 상기 매체와 연결되어, 상기 센서로부터의 출력에 기반하여 상기 장치에 대한 객체의 근접도를 판단하고, 상기 판단된 근접도와 기준 근접도를 비교하고, 상기 비교결과에 기반하여 상기 객체 및 상기 장치 사이의 상호동작을 처리하기 위한 상호동작 모드를 선택하되, 상기 상호동작 모드는 제1상호동작 모드 및 제2상호동작 모드 중 하나를 포함하며, 상기 선택된 상호동작 모드에 따라 상기 객체 및 상기 장치 간 상호동작을 처리하는 상기 명령어들을 실행하도록 구성되는 하나 이상의 프로세서들을 포함한다.

일 실시예에서, 상기 센서는 전극을 포함하고, 상기 근접도는 상기 전극에 의해 수신된 신호의 진폭을 포함하되, 상기 신호는 상기 객체와 결합된 환경 EMI(electromagnetic interference)에 기반한다.

일 실시예에서, 상기 신호는 하나 이상의 주파수 대역들 내 하나 이상의 신호들을 포함한다.

일 실시예에서, 상기 근접도는 상기 장치에 대한 상기 객체의 거리를 포함한다.

일 실시예에서, 상기 하나 이상의 프로세서들은 하나 이상의 사용자 환경설정에 기반하여 상호동작 모드를 선택하는 명령어들을 실행하도록 더 구성된다.

일 실시예에서, 상기 하나 이상의 프로세서들은 소프트웨어 애플리케이션과 관련된 데이터에 기반하여 상호동작 모드를 선택하는 명령어들을 실행하도록 더 구성된다.

일 실시예에서, 상기 센서는 제1감지 기술을 이용하여 상기 객체를 검출하도록 구성된 제1센서를 포함하고, 상기 장치는 상기 제1감지 기술과 다른 제2감지 기술을 이용하여 상기 객체를 검출하도록 구성된 제2센서를 포함하고, 상기 하나 이상의 프로세서들은 상기 장치가 상기 제1상호동작 모드에 있을 때, 상기 제1센서로부터의 출력에 기반하여, 상기 객체 및 상기 장치 사이의 상호동작들을 처리하고, 상기 장치가 상기 제2상호동작 모드에 있을 때, 상기 제2센서로부터의 출력에 기반하여, 상기 객체 및 상기 장치 사이의 상호동작들을 처리하는 명령어들을 실행하도록 추가 구성된다.

일 실시예에서, 상기 센서는 복수의 전극들을 포함하고, 상기 하나 이상의 프로세서들은 상기 제1상호동작 모드 시, 단일 전극의 분해능 또는 그보다 큰 분해능으로, 상기 장치에 대한 상기 객체의 위치를 결정하고; 상기 제2상호동작 모드 시, 복수의 전극들 중 둘 이상의 분해능으로, 상기 장치에 대한 상기 객체의 위치를 결정하는 명령어들을 실행하도록 추가 구성된다.

일 실시예에서, 상기 하나 이상의 프로세서들은 상호동작 모드가 바뀌었다는 통지; 또는 선택된 상호동작 모드를 식별하는 통지 중 하나 이상을 개시하는 명령어들을 실행하도록 더 구성된다.

일 실시예에서, 하나 이상의 비일시적 컴퓨터 판독가능 저장 매체는 실행시 장치 센서로부터의 출력에 기반하여 장치에 대한 객체의 근접도를 판단하고, 판단된 근접도를 기준 근접도와 비교하고, 상기 비교결과에 기반하여 상기 객체 및 상기 장치 사이의 상호동작을 처리하기 위한 상호동작 모드를 선택하되, 상기 상호동작 모드는 제1상호동작 모드 및 제2상호동작 모드 중 하나를 포함하도록 동작할 수 있는 명령어들을 구현한다.

일 실시예에서, 상기 센서는 전극을 포함하고, 상기 근접도는 상기 전극에 의해 수신된 신호의 진폭을 포함하되, 상기 신호는 상기 객체와 결합된 환경 EMI(electromagnetic interference)에 기반한다.

일 실시예에서, 상기 근접도는 상기 장치에 대한 상기 객체의 거리를 포함한다.

일 실시예에서, 상기 센서는 제1감지 기술을 이용하여 상기 객체를 검출하도록 구성된 제1센서를 포함하고, 상기 장치는 상기 제1감지 기술과 다른 제2감지 기술을 이용하여 상기 객체를 검출하도록 구성된 제2센서를 포함하며, 상기 매체는 실행 시, 상기 장치가 제1상호동작 모드에 있을 때, 상기 객체 및 상기 장치 사이의 상호동작들을 처리하기 위해 사용할 상기 제1센서로부터의 출력을 선택하고, 상기 장치가 제2상호동작 모드에 있을 때, 상기 객체 및 상기 장치 사이의 상호동작들을 처리하기 위해 사용할 상기 제2센서로부터의 출력을 선택하도록 동작할 수 있는 명령어들을 더 구현한다.

일 실시예에서, 상기 센서는 복수의 전극들을 포함하고, 상기 매체는 실행 시, 제1상호동작 모드에서, 단일 전극의 분해능 또는 그보다 큰 분해능으로 상기 장치에 대한 상기 객체의 위치를 결정하고; 상기 제2상호동작 모드에서, 복수의 전극들 중 둘 이상의 분해능으로, 상기 장치에 대한 상기 객체의 위치를 결정하도록 동작할 수 있는 명령어들을 추가 구현한다.

일 실시예에서, 상기 매체는 실행 시, 상호동작 모드가 바뀌었다는 통지; 또는 선택된 상호동작 모드를 식별하는 통지 중 하나 이상을 개시하도록 동작할 수 있는 명령어들을 더 구현한다.

일 실시예의 방법은 장치의 센서로부터의 출력에 기반하여 상기 장치에 대한 객체의 근접도를 판단하는 단계, 판단된 근접도를 기준 근접도와 비교하는 단계, 상기 비교결과에 기반하여 상기 객체 및 상기 장치 사이의 상호동작을 처리하기 위한 상호동작 모드를 선택하되, 상기 상호동작 모드는 제1상호동작 모드 및 제2상호동작 모드중 하나를 포함하는 단계, 및 상기 선택된 상호동작 모드에 따라 상기 객체 및 상기 장치 간 상호동작을 처리하는 단계를 포함한다.

일 실시예에서, 상기 센서는 전극을 포함하고, 상기 근접도는 상기 전극에 의해 수신된 신호의 진폭을 포함하되, 상기 신호는 상기 객체와 결합된 환경 EMI(electromagnetic interference)에 기반한다.

일 실시예에서, 상기 근접도는 상기 장치에 대한 상기 객체의 거리를 포함한다.

일 실시예에서, 상기 센서는 제1감지 기술을 이용하여 상기 객체를 검출하도록 구성된 제1센서를 포함하고, 상기 장치는 상기 제1감지 기술과 다른 제2감지 기술을 이용하여 상기 객체를 검출하도록 구성된 제2센서를 포함하며,

상기 방법은 상기 장치가 제1상호동작 모드에 있을 때, 상기 객체 및 상기 장치 사이의 상호동작들을 처리하기 위해 사용할 상기 제1센서로부터의 출력을 선택하는 단계, 및 상기 장치가 제2상호동작 모드에 있을 때, 상기 객체 및 상기 장치 사이의 상호동작들을 처리하기 위해 사용할 상기 제2센서로부터의 출력을 선택하는 단계를 더 포함한다.

일 실시예에서, 상기 센서는 복수의 전극들을 포함하고, 상기 방법은 제1상호동작 모드에서, 단일 전극의 분해능 또는 그보다 큰 분해능으로 상기 장치에 대한 상기 객체의 위치를 결정하는 단계, 및 상기 제2상호동작 모드에서, 복수의 전극들 중 둘 이상의 분해능으로, 상기 장치에 대한 상기 객체의 위치를 결정하는 단계를 더 포함한다.

도 1a 및 1b는 마찰활동(triboactivity)에 기반하여 객체의 위치들을 판단할 수 있는 마찰 터치(TriboTouch) 시스템의 예를 도시한다. 도 1a는 전극에 인접한 절연체 표면을 보여준다. 전극은, 도 1b에 도시된 바와 같이 절연체와 객체의 접촉이 로컬 전하의 변위(charge displacement)를 생성할 때 손가락과 같은 객체(130)의 위치들을 결정하는 마찰 터치 하드웨어에 연결된다. 상기 전하의 변위는 순 전류(net current) 흐름이 아니라, 오히려 객체와의 접촉이 제거될 때 반전되는 전하의 변위이다. 이러한 절연체의 내부 전기장 왜곡은 마찰 터치 하드웨어에 의해 다루어져, 접촉 및 분리 이벤트로서 해석될 수 있다. 또한, 왜곡은 접촉 지점으로부터 일정 영역에 걸쳐 확산되어, 연속적인 위치 추정을 가능하게 한다.

도 2a-2e는 마찰활동에 기반하여 손가락의 위치를 결정하는데 사용될 수 있는 마찰 터치 센서 및 손가락 사이의 상호동작의 예를 도시한다. 두 객체가 접촉할 때, 표면 원자들 주변의 전자 구름들의 상호작용으로 인해, 두 객체들 사이에서 전하가 이동할 수 있다. 이러한 효과는 마찰전기, 접촉 전위차, 및 일 함수를 포함한 다양한 명칭으로 알려져 있다. 반도체 산업에서 이러한 현상은 민감한 전자 장치들을 손상시킬 수 있는 ESD(electrostatic discharge) 발생으로 이어진다. 이러한 효과를 저감하고자 시도하기 보다는, "마찰 터치"라는 이름으로 언급될 본 명세서에 개시된 기법들은 이러한 대전(charging) 메커니즘을 이용하여 표면 접촉 및 모션 효과를 검출한다. 마찰 터치는 절연체(가령, 장갑, 브러쉬 등)뿐 아니라 전도체나 강유전체(가령, 손가락, 전도성 고무 등)를 직접 감지하여, 여기 개시된 것들과 같은 감지 표면들과의 상호동작 모드들을 가능하게 한다. 한 양태에서, 마찰 터치는 접촉으로 인해 야기된 로컬 전하 이동을 이용하므로, 계측될 전기장을 방출할 필요가 없다.

마찰 터치 시스템의 양태들이 손가락을 이용하는 도 2a-2e에 도시되나, 어떤 전도성 또는 비전도성 객체라도 동일한 효과를 가질 수 있다. 한 양태에서, 마찰 터치는 두 객체가 접촉하거나 분리될 때 변위되는 전하를 측정함으로써 작동된다. 감지되는 객체 내에 전하를 유도하기 위한 이차 메커니즘은 필요로 되지 않는다. 측정될 신호를 전송할 필요도 없다. 대신, 객체가 감지 표면을 접촉할 때 전하가 생성 및 수신된다. 도 2a는 절연 표면 위에 있는 손가락을 도시한다. 도 2b에서, 손가락이 표면을 접촉할 때 전하가 흘러 전류가 감지된다. 도 2c에서 전류는 평형 상태에서 멈춘다. 도 2d에서 손가락을 떼면 전하 재분포 및 반대 전류가 야기된다. 도 2e에서, 평형상태가 복원된다.

상이한 표면 특성들(가령, 구조, 표면 마이크로 구조 등)을 가지는 절연체들, 반도체들, 및 전도체들의 조합들 사이에서 전하 이동이 일어날 수 있다. 전하 이동("접촉 전류")의 극성, 표면 전하 밀도, 및 속도는 관련된 특정 물질들에 달려있다. 두 물질들 사이에 이동되는 전하의 양은 그들의 상대적 위치들로부터 경험적으로 결정된 "대전열(triboelectric series)"을 통해 추정될 수 있다. 가장 긍정적인 것에서 가장 부정적인 것의 순서로 된, 일반적으로 수용되는 열(series)은 공기, 사람의 피부 또는 가죽, 유리, 사람의 머리카락, 나일론, 울, 고양이 모피, 실크, 알루미늄, 종이, 면, 철, 목재, 아크릴, 폴리스티렌, 고무, 니켈 또는 구리, 은, 아세테이트 또는 레이온, 스티로폼, 폴리우레탄, 폴리에틸렌, 폴리 프로필렌, 비닐(PVC), 실리콘 및 테플론(PTFE)이다. 마찰 터치는 본질적으로 모든 고체 물질에 의한 접촉의 검출을 가능하게 한다.

도 3은 마찰 터치 시스템의 구조 예를 도시한다. 하이 임피던스 증폭기(306)가 표면 접촉(302)에 따라 입력 전극(304)으로부터 수신된 유입 신호들(305)을 증폭하면, 그 다음에 있는 아날로그-디지털 컨버터(ADC)가 그 신호(305)를 디지털 형태로 변환한다. 입력 전극(304), 하이 임피던스 증폭기(306), 및 ADC(308)가 전극(304)에서 보여지는 신호(305)를 정확하게 디지털 형태로 변환한다.

다른 실시예들은 도 4에 도시된 바와 같이, 시그마-델타 접근방식, 전하 계수, 전하 밸런싱(balancing), 또는 작은 전하 변위들을 측정하는 다른 수단을 이용할 수 있다. 이득 제어 시스템(310)이 옵션으로서 사용되어, 시스템의 규정 범위 안에 값들을 유지시킬 수 있다. 하나 이상의 실시예에서, 입력 신호를 수신하여 디지털 형태로 변환하는 구성요소들을 본 명세서에서 아날로그 전단부(front-end)라 부른다. 아날로그 전단부는 입력 전극(304), 증폭기(306), ADC(308) 및 이득 제어(310), 또는 이 구성요소들의 부분집합을 포함할 수 있다. 처리 시스템(312)이 디지털 신호를 수신하여 위치 데이터(332)를 생성한다. 처리 시스템(312)은 하드웨어, 소프트웨어, 또는 하드웨어 및 소프트웨어의 조합을 사용하여 구현될 수 있다. 처리 시스템(312)은 블록 314에서 시작하여 블록(316)에서 초기 교정을 수행한다. 그런 다음 적응 방법(318)을 통해 기준선이 결정될 수 있다. 적응 방법은, 예컨대 이동 평균, 차폐 전극에 대한 차동 계측(differential measurement), 또는 측정 사이트들이나 다른 방법들의 집합체로부터 계산된 종합 측정(composite measure)일 수 있다. 이것은 시스템이 처음 초기화될 때, 또는 시스템이 장기간에 걸친 값들의 일정한 오프셋을 통해 지시되는 바와 같이 신호에 드리프트(drift)가 존재한다는 것을 검출할 때 시작될 수 있다.

블록 320에서 이 기준선이 감산되면, (예를 들어 공통 주파수 50/60Hz 잡음 및 시스템의 예상 범위 위 아래의 주파수들을 검출하기 위한) 신호 안의 잡음이 블록 322에서 모델링되어 버려짐으로써, 접촉 대전 효과로 인한 신호만이 남게 된다.

그런 다음 블록 326에서 정합 필터, 웨이브릿 변환, 또는 타임 도메인 분류기(가령, 지원 벡터 머신)과 같은 방법을 이용하여 접촉 대전 이벤트가 검출되고 타임 도메인 프로파일에 따라 접촉, 분리, 또는 모션으로 분류된다.

그런 다음 블록 328에서 그 이벤트들이 상태 머신에 의해 통합되어 감지 표면의 접촉 상태 맵을 생성하여, 언제 어디서 접촉 및 접촉해제가 발생되었는지를 시스템이 추적할 수 있도록 한다.

최종적으로, 이 맵이 블록 330에서 이벤트 타입과 좌표를 추정하는데 사용된다. 마찰 터치는 접촉이 고정되어 있을 때 보통 연속 신호를 생성하지 않는다는 것을 알아야 한다. 그러나 접촉 및 접촉제거에 대해 반대 극성의 신호들을 생성한다. 이 반대 극성 신호들은 기존 접촉점 주변에서 추가 접촉이 어떻게 이루어지고 제거되는지를 추적하는데 사용될 수 있다. 접촉 패턴은 모래 사이로 손가락을 끌 때 손가락 앞 뒤에 지나간 자국(wake, 후류)이 생기는 효과와 비슷한 것으로 파악될 수 있다. 마찬가지로 "전하 후류(charge wake)"가 시스템에 의해 파악되어, 모션을 판단하는데 사용된다. 최종 출력은 사용자의 액션을 설명하는 하이 레벨 이벤트 스트림(333)이다. 이 출력은 위치 데이터(332)를 포함할 수 있다. 하나 이상의 실시예에서, 큰 객체들은 거의 동시에 수신되는 보다 큰 접촉 "자국(imprint)"을 생성하는 경향이 있으므로, 큰 객체, 예컨대 손가락은 다중 터치 위치들의 집합과 구분될 수 있다. 시간에 따른 접촉들을 상관시킴으로써 마찰 터치 시스템은 어떤 접촉들이 함께 속해 있는지를 추적할 수 있다. 예를 들어 꼬집기 제스처(pinch gesture)에서처럼 두 객체가 바로 가까이 있을 때에도, 실제로 센서는 서로 매우 가까운 두 개의 접촉 "피크"들을 검출한다. 따라서 접촉 관계가 유지될 수 있다.

도 4는 대안적 아날로그 전단부의 예를 도시한다. 도 3의 내용은 하이 임피던스 증폭기(306)와 그 뒤에 오는 아날로그-디지털 컨버터(308)의 사용과 관련되어 있었으나, 마찰 터치는 전하 평형 시그마-델타 컨버터를 사용할 수도 있고, 혹은 그 두 방식을 결합할 수도 있다. 도 4에 도시된 구성에서, 커패시터(406)는 스위치(404)에 의해 기준 전압 소스(Vref)(408) 및 입력 전극(402) 사이에서 스위칭되어 전하 패킷들을 전송함으로써, 입력 전극 전위를 입력 증폭기(410)(또는 1 비트 시그마-델타 ADC의 경우 비교기)의 범위 안에서 유지시킬 수 있다. 이어지는 신호 처리 체인은 ADC(412)의 출력(315)과 자동 이득 제어(AGC)(414)의 출력을 결합하여, 입력 증폭기 및 ADC 만으로 가능한 것보다 높은 동적 범위를 가진 입력 전류를 재구성한다. 재구성된 입력 전류는 처리 시스템(312) 또는 다른 신호 처리 시스템일 수 있는 마찰 터치 신호 프로세싱(416)으로 전달된다.

상술한 바와 같이, 마찰 터치는 물리적 접촉으로 직접 생성된 신호들을 감지할 수 있으며, 감지될 신호들을 전송할 필요가 없다. 따라서 이 시스템은 임의의 전자 회로에서 보통 예상할 수 있는 것 이외의 활동의 결과로서 의사 신호를 출력하지 않으므로, EMI 규정 부합 및 주변에 위치한 잡음에 민감한 전자장치의 설계를 단순화시킬 수 있다. 추가적인 이점은 이러한 설계에 따른 전력 절감이다. 어떤 장(field)을 전송할 필요가 없으므로 직접적인 절감이 있게 된다 또한, 이 시스템은 전력을 공급할 전자 소자들이 줄어듦을 의미하는 단순화된 구조로 인한 이점을 가진다. 더 나아가, 하드웨어에서 광범위한 잡음 제거를 할 필요가 없으므로, 복잡도 감소로 인한 추가적인 절감이 있을 수 있다.

도 5는 마찰 터치 동작의 원리를 도시한다. 절연 표면에 대한 접촉을 통해 발생되는 마찰 전하는 유전 분극을 통해 전극과 용량성으로 결합된다. 그에 따라 마찰 터치는 절연기 표면에서의 객체들의 접촉, 모션, 접촉 분리를 검출할 수 있다. 이와 같이 감지 표면과의 상호동작을 위해 임의의 객체(손가락, 장갑, 플라스틱 스타일러스, 그림 붓, 종이 등)을 사용하는 것이 가능하다. 데이터 처리 시스템은 이벤트 검출 및 분류 소자(506)를 이용하여 표면과 상호 동작하는 객체의 타입을 판단할 수 있다. 이벤트 검출 및 분류 소자(506)는 분류 특성(504)을 사용하여, 객체의 타입을 식별하는 접촉 타입 데이터(508)를 결정한다. 분류 특성(504)은 서로 다른 타입의 객체들에 상응하는 하나 이상의 신호 패턴들(502)을 포함할 수 있다. 예를 들어, 제1신호 패턴(512)은 손가락에 상응하고, 제2신호 패턴(514)은 장갑에, 제3신호 패턴(516)은 플라스틱 스타일러스에, 제4신호 패턴(518)은 그림 붓에 상응하는 식이 될 수 있다. 이벤트 검출 및 분류 성분(506)은 예를 들어, 검출된 마찰 전하 신호를 신호 패턴들(502)과 비교하여, 신호 패턴들(502) 중 검출된 신호에 가장 잘 맞는 하나를 선택할 수 있다. 이벤트 검출 및 분류 소자(506)는 도 3을 참조하여 상술한 바와 같이, 검출된 신호의 위치(510)를 추정할 수도 있다.

도 6은 신호 프로파일들에 기반하여 접촉의 유형들을 결정하기 위한 프로세스의 예를 도시한다. 마찰 터치가 감지 표면에 대한 객체의 접촉, 감지 표면 상에서의 객체의 이동, 및 감지 표면으로부터의 객체의 분리를 감지할 수 있으므로, 그러한 이벤트들을 커패시턴스 측정치들을 통해 알고리즘적으로 도출할 필요가 없다. 따라서 마찰 터치는 용량성 감지가 보통 제공할 수 있는 것보다 그러한 이벤트들에 대해 더 정확한 식별을 제공할 수 있다. 또한, 마찰 전하의 국지화 특성으로 인해, 위치 추정 알고리즘들은 용량성 감지 방식들보다 높은 공간 및 시간 분해능(spatial and temporal resolution)을 낼 수 있다. 이러한 높은 분해능은 예컨대, 도 6에 도시된 프로세스를 이용하여 손바닥 거부 또는 다른 우발적 접촉 거부를 수행하는데 사용될 수 있다.

도 6의 프로세스는 블록 602에서 이벤트들을 검출하여 분류한다. 블록 604는 예를 들어, 도 3을 참조하여 위에서 기술한 바와 같이 상태 머신을 이용하여 감지 표면 상에서의 접촉 상태들의 맵을 생성함으로써 이벤트들을 통합한다. 맵은 접촉 및 접촉 해제가 언제 어디서 발생하는지를 추적하고, 이벤트 타입 및 좌표를 추정하는데 사용될 수 있다. 블록 608은 이벤트 위치들을 추정하여 위치 데이터(612)를 생성한다. 블록 610은 포즈를 검출하여 손 및 스타일러스 포즈 데이터(614)를 생성한다. 도 5에 도시된 바와 같이, 다양한 타입의 접촉들은 다양한 특징의 신호 프로파일(도시된 예들이 실제 자료 데이터를 나타내는 것은 아님)을 가질 수 있고, 수신된 신호의 특징은 예를 들어 스타일러스를 이용한 스케칭 도중 우연한 손바닥 접촉을 검출하는데 사용될 수 있다. 하나 이상의 실시예들에서, 특별한 픽업(pickup) 디자인 없이 객체들의 접촉 프로파일에 기반하여 다양한 객체 타입들이 검출될 수 있다. 이러한 프로파일들은 전형적 파형들이나 파형의 고유한 특성들을 포착하는 알고리즘 방식으로 표현될 수 있다.

마찰 터치 시스템은 각각의 터치 위치에 대해 상술한 하드웨어의 일 예를 이용하거나, 연속적으로 더 큰 전극을 이용할 수 있으며, 전극을 통해 신호의 거리 종속적 변화에 기반하는 위치를 추정할 수 있다. 상기 변화는 덮는 물질의 물질 특성, 전극 몸체의 저항, 전극의 유도 임피던스, 또는 어떤 다른 방식으로 야기될 수 있다. 그에 따라 마찰 터치는 자신의 전극 구조의 분해능보다 높은 분해능으로 위치를 판별할 수 있다. 하나 이상의 실시예들에서, 각각의 터치 위치에 대해 어떤 하드웨어의 예가 사용될 때, 그 하드웨어 예들은 병렬 동작함으로써, 각각의 전극이 개별적으로 다뤄지도록 한다. 병렬 구성은 보다 빠른 판독 속도를 가능하게 하지만, 하드웨어 복잡도를 높인다. 또는 디지털화 시스템이 더 빨라지고 (따라서 더 많은 전력을 소비하기 때문에) 각 전극을 순차적으로 스캔하는 것은 여러 트레이드 오프들(tradeoffs)을 제공하지만, 전반적인 시스템은 보다 간소해진다(따라서 전력 소비를 줄일 수 있다).

마찰 터치는 하나 또는 다수의 터치 지점 용으로 설정될 수 있으며, 부가적으로 연속 위치 감지(전화 또는 태블릿 등) 또는 개별 위치 감지(버튼 등) 용으로 설정될 수 있다. 일 예에서, 터치스크린에서와 같이 위치 및 모션이 감지되거나, 개별 스위치들이 사용될 수 있다. 일 예에서, 4-접촉 저항성 픽업 시스템(4-contact resistive-pickup system)이 사용될 수 있다. 이와 달리, 2 개의 동시 접촉을 검출하는 행-열(row-column) 시스템이 사용될 수도 있다. 다른 대안으로서, 저항성 시스템에 픽업들이 추가될 수 있다. 다른 예에서, 픽업들의 어레이가 사용되어 5 개의 접촉들을 검출할 수 있다. 특정 픽업 구성은 픽업들과 전자회로들에 대한 설계 옵션이다. 개별 위치 감지 응용예들에서, 시스템의 강점은 그대로 유지하면서, 자동차나 선박 용도, 공장 바닥 등에서와 같이 환경 잡음 또는 오염이 문제가 될 수 있는 여러 상황들에서 시스템을 실용적으로 사용할 수 있다. 그러한 경우, 마찰 터치는 전통적인 용량성 감지에 필요한 추가적 예방조치를 필요로 하지 않으면서 강력한 입력이라는 이점을 제공할 수 있다.

도 7은 용량성 감지 및 마찰 터치 사양들을 결합한 예(가령, 전도성 객체 및 비전도성 객체와의 접촉 직접 감지)를 도시한다. 두 방식들 모두 전하 변위에 대한 감응 측정치들을 이용하므로, 실질적으로 동일한 아날로그 전단부 하드웨어를 사용하여 이들을 결합하는 것이 가능하다. 도 7은 전극(702)이 두 감지 방식들 사이에 공유될 수 있게 하는 기본 원리를 도시한다. 용량성 감지는 송신기(706)를 이용하여 평형 AC 신호를 고주파수(통상적으로 >125kHz)로 전극에 전송하고, 그 송신 부하나 다른 전극들에서 수신된 신호를 측정함으로써 작동된다. 용량성 측정은 용량성 수신기(708)에 의해 수행될 수 있다. 그러나 마찰 터치는 수신기(712)를 이용하여 저주파수대(보통 <1kHz)에서 로컬 전하 변위를 측정함으로써 작동된다. 커패시터(704)를 이용하여 전극(702)을 용량성 감지 회로(708)로부터 용량성으로 분리함으로써, 두 감지 모드들을 시간 다중화하거나 마찰 터치 아날로그 전단부나 이어지는 신호 처리 시 송신 신호를 필터링함으로써 마찰전기 전하 변위가 각각 관리 및 측정될 수 있다. 시간 다중화 시, 마찰 터치 시스템(714)이 측정하는 동안 용량성 시스템(710)은 전극(702)에 대한 액세스를 중단하며, 그 반대의 경우도 성립한다. 필터링 시, 마찰 터치 시스템(714)은 필터 및 용량성 시스템(710)에 의해 전송되는 신호에 대한 지식을 이용하여, 처리 중 잡음 거부 단계 중에 용량성 측정치들의 효과를 제거한다. 저항성, 용량성, 및 유도성 센서들과 같은 다른 타입의 터치 센서들을 결합한 다른 예들이 도 45-47을 참조하여 나중에 기술될 것이다.

도 8은 용량성 감지 및 마찰 터치 감지 둘 모두에 대해 동일한 수신기 시스템(806)을 이용하면서 송신기(804)를 전극(802)에 용량 결합하는 예를 도시한다. 용량성 소프트웨어 및 마찰 터치 소프트웨어는 하나의 시스템(808)으로 결합될 수 있다. 이 경우, 용량성 소프트웨어는 마찰 터치 소프트웨어와 동일한 하드웨어를 이용하며, 교대로 공유 자원을 이용한다.

도 9는 다양한 물질들의 어레이(900로 덮힌 마찰활동 표면을 도시한다. 도 9에 도시된 실시예는 마찰 터치 표면 상의 감지 위치들(902, 904, 906) 위에서의 다양한 마찰 음성도(tribonegativity)를 통해 물질들을 패턴화함으로써 다양한 접촉 물질들(가령, 피부, 흑연, 고무, 나일론 등)의 판별을 가능하게 한다. 그 원리는 컬러 필터 마스크가 픽셀 센서들 위에 중첩되는 컬러 CMOS 이미지 센서의 원리와 유사하다. 도 9에서, 마찰 활동 표면은 강력한 마찰 양성(++) 물질들(902)에서 강력한 마찰 음성(--) 물질들(906)까지를 아우르는 4 개의 서로 다른 물질들의 어레이(900)로 덮힌다. 어떤 객체가 그러한 센서들의 무리와 상호작용할 때, 객체의 물질 특성에 대한 판단을 가능하게 하는 특징적 전하 패턴이 생성된다(즉, 마찰 분광법). 하나 이상의 실시예들에서, 어레이는 여러 전극들 위에 놓여질 수 있다. 그 전극들은 서로 가깝게 무리지어져, 작은 모션으로도 충분하게 여러 전극들을 가로지르게 된다. 다양한 물질 타입들 간의 구분은 타입 검출을 신속히 하기 위해 소수의 물질 타입들에 대해 수행될 수 있다.

도 10a-10c는 다양한 객체들이 동일한 패턴의 센서 어레이(1008)와 접촉할 때 생성되는 다양한 양전하 및 음전하 패턴들을 도시한다. 도 10a에서, 손가락(1002)과의 접촉은 --, +, 및 - 센서들 상에 음 전하 패턴들을 생성하고, ++ 센서 상에 중성 전하 패턴을 생성한다. 따라서, 손가락(1002)은 전반적으로 강력한 양의 전하 패턴을 특징으로 한다. 도 10b에서, 연필(1004)과의 접촉은 + 및 ++ 센서들 상에 양 전하 패턴들을 생성하고, - 및 -- 센서들 상에 음 전하 패턴을 생성한다. 따라서, 연필(1004)은 전반적으로 강력한 중성 전하 패턴을 특징으로 한다. 도 10c에서, 지우개(006)와의 접촉은 +, -, 및 ++ 센서들 상에 양 전하 패턴들을 생성하고, -- 센서 상에 중성 전하 패턴을 생성한다. 따라서 지우개(1006)는 강력한 양의 전하 패턴을 특징으로 한다. 이러한 특징의 전하 패턴들은 센서 어레이(1008)와 접촉하는 미지의 객체를 식별하는데 사용될 수 있다.

마찰 터치는 단일 접촉, 듀얼 접촉(가령, 두 손가락의 동시 접촉), 멀티 터치(가령, 셋 이상의 손가락이 동시에 접촉), 터치 순서(가령, 검지가 먼저 접촉하고 그 다음 중지가 접촉함), 제1객체/손가락은 제1상태에 있고 제2객체/손가락은 제2상태에 있는 경우(가령, 회전 시, 제1손가락은 고정되고 제2손가락이 제1손가락 주변으로 회전할 수 있음) 객체/손가락의 상태, 인접하는 손가락들과 인접하지 않는 손가락들, 엄지와 손가락들, 그리고 인공기구(prosthetic device)로부터의 입력 검출을 가능하게 한다. 마찰 터치는 또한 모션 검출을 가능하게 하며, 터치/모션의 위치 검출도 가능하게 한다.

접촉이 검출될 때, 마찰 터치는 접촉하는 객체의 모양, 접촉하는 객체의 물질 타입을 판단하고, 검출된 물질 타입에 기반한 콘트롤을 활성화하고, 검출된 물질들(가령, 브러쉬 및 지우개)의 모양과 타입에 기반하여 양태(modalities)를 활성화하고, 접촉 모양을 이용하여 접촉을 사실적으로 묘사하고, 접촉 모양을 이용하여 객체를 검출해 응용예의 양태를 바꾸고, 접촉 모양을 이용하여 위치 정확도를 향상시키는 것을 가능하게 한다.

듀얼 터치 검출은 줌 제스처, 패닝(panning) 제스처, 및 리드미컬한 제스처를 검출하여 단축경로나 코드를 생성하도록 할 수 있다. 또한, 멀티 터치 검출은 패닝 제스처가 애플리케이션 전환이나 게임에 대한 멀티 핑거(multi-finger) 콘트롤들을 제어할 수 있게 한다.

마찰 터치는 또한, 터치 순서가 검출되게 함으로써, 예를 들어 리드미컬한 입력이 단축경로나 코드들을 생성하는데 사용될 수 있도록 한다. 인접 손가락들 및 인접하지 않는 손가락들의 검출이 사용되어, 여러 키들이 함께 한 문자를 이루는 속기 자판으로부터의 입력을 검출할 수 있다. 엄지와 손가락들의 검출이 사용되어, 변형 자판 입력 모드를 제공하고, 속기 입력을 가능하게 하며, 손가락들의 자국이 코드로 사용될 수 있게 한다. 또한, 모션이 검출됨으로써, 예를 들어, 이어지는 제스처들, 즉 줌 인, 줌 아웃, 패밍, 드래깅, 스크롤링, 스와이핑, 플리킹(flick), 슬라이딩, 시계방향 회전, 또는 반시계방향 회전이 검출될 수 있다. 상술한 다양한 타입의 접촉, 모션/제스처들, 및 위치 또한, 잡음 터치 및 마찰 잡음 터치를 이용하여 검출될 수 있다.

산업 환경에서 마찰 터치 (및 잡음 터치)의 소음 저항 및 고유한 신호 특성은 시끄럽고 습기가 많거나 더러운 환경에서의 작동을 가능하게 한다. 이러한 조건들은 일반적으로 용량성 센서들의 사용을 금지하며, 그 결과 현재 사용되는 시스템들은 물리적 버튼, 멤브레인 스위치, IR 터치 스크린 등과 같이 (강력하지만) 상대적으로 원시적이다. 마찰 터치 기법은, 청소가 용이한 하드 글래스 터치 콘트롤 등, 소비자인 사용자들이 이용 가능한 동일한 타입의 인터페이스들이 산업 환경에서 사용될 수 있게 한다.

마찰 터치는 예컨대, 용량성 감지 없이 슬립 모드에서 활성(wakeup) 모드로의 전환을 위해, 자체적으로 전력이 공급되는 버튼들을 제공하기 위해 사용될 수 있다 마찰 전기 제어 픽업 상에서 접촉이 발생될 때, 소량의 전하 재분포가 일어난다. 해당 장치에 연결된 전자회로가 충분히 저전력이기만 하다면, 이러한 변위 전류는 해당 이벤트에 관해 짧은 메시지를 직접 전송하는데 사용될 수 있다. 이와 달리, 장치가 벌크(bulk) 모션 중에 발생된 정전기로부터 전력을 모아서, 나중에 그 전력을 관련 접촉 이벤트 중의 동작을 위해 사용할 수 있다. 이는 무선 송신기 또는 유사 장치와 연결되어, 완전히 무선이면서 배터리도 없는 장치의 원격 제어를 가능하게 할 수 있다.

마찰 터치는 간접 터치 특성을 제공할 수 있는데, 이는 예컨대, 터치 스크린 상부면에 종이를 놓고 손가락, 스타일러스, 브러쉬 등을 사용하여 그 종이 위에서 쓰는 일을 가능하게 할 수 있다. 마찰 터치 (및 잡음 터치) 표면들은 전극 및 접촉하는 객체 사이에 절연체를 가진 상태로 동작한다. 그러나 전하 변위 효과는 어떤 물질에도 일어날 수 있다. 따라서, 터치 표면이 한 장의 종이나 천과 같은 추가 물질로 덮일 수 있으며, 그 결과로서의 동작이 반드시 지체되는 것은 아닐 수 있다. 어떤 두 물질들의 접촉은 마찰 전기 효과를 일으킬 수 있으므로, (터치 표면과의 접촉 중에) 접촉하는 두 물질들의 구조가 종이와 연필이든 브러쉬와 캔바스이든 접촉 검출에는 문제가 되지 않는다.

마찰 활동 접촉 검출은 예컨대, 종이 위에서의 지우개의 동작을 검출하고, 그에 따라 종이 자체에 그려진 것에 디지털 콘텐츠를 반영시킴으로써 지우기를 검출하는데 사용될 수 있다. 특정 입력을 속도를 높이기 위해 스크린에 대한 부속물이 있을 수 있다. 예를 들어, 게임 애플리케이션에 있어서, 사용자에게 보다 나은 햅틱 피드백을 제공하기 위해, 여러 방향으로 눌러질 때 스크린과 접촉되는 소프트 수동 조이스틱이 사용될 수 있다. 마찬가지로, 여러 모드들 및 툴들 간 거듭되는 스위칭이 일반적인 드로잉(drawings)이나 3D 그래픽과 같은 애플리케이션들에서, 액션을 빠르게 일으키기 위해 사용될 수 있는 물리적 수동 키들을 제공하도록 키보드 템플릿이 사용될 수 있다. 마찰 활동 접촉 감지는 비전도성 물질들로부터의 접촉을 감지할 수 있으므로, 부속물에 대한 재료의 선택이 크게 확장되고, 전도성이 있거나 전기적으로 활발한 소자들이 필요로 되지 않는다. 이는 훨씬 낮은 비용으로 훨씬 광범위한 등급의 입력 경험과, 부속물 용 플라스틱, 종이 또는 목재와 같은 보다 많은 재료들의 집합 사용을 가능하게 한다.

마찰 터치 기법을 이용하여 제스처 입력이 제공될 수 있다. 이 명세서의 다른 부분에서 논의된 바와 같이, 마찰 전기 전하 변위는 손가락이 훑고 있을 때의 모래의 변위와 유사하다. 손가락의 각도 변화(좌측이나 우측으로의 기울임, 기울임의 각도 등)이 모래가 흐트러지는 방식에 영향을 줄 수 있다. 마찬가지로, 손가락의 각도 변화가 전하 변위에 영향을 미칠 수 있다. 이러한 변위의 변화가 측정되어, 각도, 자주 사용하는 손 등을 포함하는 손의 포즈를 추정할 수 있다.

도 11은 사용자 및 환경과 관련된 잡음 터치 시스템의 구성 예를 도시한다. 어떤 사람이 해당 환경 내 장치들이 발산한 전기장으로 둘러싸여 있을 수 있다. 이 전기장은 보통 그 환경 내 EMI(electromagnetic interference)의 일부라고 간주된다. 이 전기장은 몸을 통해 전달되어, 장치 내 전극들과 용량성으로 연결될 수 있다. 이러한 잡음을 배제하려고 하기 보다는, 여기서 "잡음 터치"라고 칭하는 기법이 몸에 의해 전도되어 터치 센서의 전극들에 의해 검출되는 잡음을 이용하여 사용자의 터치 위치를 검출한다. 용량성 센서들과의 특징 일치가 유지된다(호버링 지원, 멀티터치 등). 잡츰 터치는 환경 잡음을 이용하고, 그에 따라 EMI에 영향을 받지 않으며, 사용자 상호 동작을 감지하기 위해 전기장을 방출할 필요가 없다. 잡음 터치는 확장가능하고(즉 임의의 형태와 사이즈를 가진 표면에 적용될 수 있음), 응답성을 가지며, 감소된 복잡도를 가진다.

도 11을 참조하면, 환경 EMI 소스들(1106)이 임피던스 Z_in(1104)를 통해 그라운드(1102)와 연결되고, 임피던스 Z_air(1108)를 통해 사람의 몸(1110)과 연결될 수 있다. 몸(1110) 역시 임피던스 Z_b(1112)를 통해 그라운드(1102)와 연결된다. EMI(1106)는 옵션인 절연체(1116)를 통해 전극(1118)과 연결되고, 그에 따라 임피던스 Z_h(1114)를 통해 그라운드(1102)와 자체 연결되는 잡음 터치 하드웨어(1120)에 의해 수신된다. 시스템의 여러 구성요소들의, 그라운드에 대한 임피던스 값들 간의 차이, 그리고 이들의 EMI 유발 전기장 변화에 대한 노출이 하드웨어(1120)에 의해 감지된 인접하는 임의의 소스로부터의 작은 전위차로 이어진다. 즉, 사람 몸(1110)과 같은 큰 안테나가 전극(1118) 주변에 있을 때의 잡음의 특징은 사람 몸(1110)이 가까이 있지 않을 때와 비교해 상이하다. 잡음 터치 시스템(1120)은 전극(1118)에 의해 수신된 이러한 잡음 특징의 변화를 감지함으로써 터치를 검출할 수 있다.

도 12는 잡음 터치 시스템 구조의 예를 도시한다. (전력선들, 가전기기들, 모바일 및 컴퓨터 기기들 등으로부터의) 환경 잡음은 환경 EMI(즉, 전자 잡음)에 기여하는 전기장을 지속적으로 발생한다. 인간의 몸은 미소한 전도체이며, 그에 따라 상기 신호들에 대한 안테나로서 작용한다. 몸이 전극에 가까이 접근할 때, 예를 들어 몸이 터치 패널 위에서 호버링하거나 터치 패널을 터치할 때, 그 신호는 입력 전극(1206)에 용량성으로 연결된다. 하이 임피던스 증폭기(1208)가 들어오는 신호를 증폭하고, 이어지는 ADC(analog to digital converter)(1214)가 그 신호를 디지털 형태로 변환한다.

하나 이상의 실시예들에서, 처리 시스템(1216)(가령, 컴퓨터 시스템 상에서 실행되는 프로세싱 소프트웨어)은 두 개의 기능을 가진다. 초기에 처리 시스템(1216)은 잡음을 특징짓고(블록 1220) 이득을 조정하여(블록 1218) 신호가 증폭기(1208)를 압도하지 않도록 한다. 그런 다음 데이터 처리 시스템(1224)이 이득 조정을 계속하면서(블록 1226) 원하지 않는 신호를 배제하고(블록 1228) 위치를 추정한다(블록 1230). 이득 조정 정보가, 전단부 하드웨어의 일부일 수 있는 이득 제어기(1210)로 피드백되어, 하이 임피던스 증폭기(1208)를 제어하도록 한다. 이득 조정으로 증폭기(1208)로부터의 신호가 ADC(1214) 범위 안에서 유지된다.

잡음 특징화 시스템(1220)이 사용되어 잡음 신호를 밴드 별로 분해하고 그러한 밴드들이 얼마나 일정하게 사용될 수 있는지 그리고 그 밴드들이 어떤 변동성을 보이는지에 기반하여 밴드들의 신뢰성을 특징지을 수 있다. 이러한 분석을 통해, 각각의 대역에 대한 프로파일이 생성되며, 생성된 프로파일은 잡음 소스 선택 시스템(1222)에 의해 위치 추정을 위한 적절한 대역(또는 대역들의 집합)을 선택하는데 사용될 수 있다. 선택 프로세스는 또한, 시간의 변화, 사용자 위치와 사용자를 둘러싼 잡음 환경 변화에 따라 선택을 바꿀 수도 있다. 예를 들어, 사용자가 TV 앞에 앉아 있을 때, 특정 대역이 특별히 유익할 수 있다. 집을 나갈 때, 이 대역은 더 이상, 차량에 의해 생성된 대역(또는 대역들의 집합)만큼 유용하지 않을 수 있다.

동작 중에, 앞서 설명한 이득 조정이 필요할 때마다 지속적으로 이루어지면서 신호를 하드웨어 범위 안에 유지시키도록 한다. 특성화 데이터를 이용하여 블록(1228)은 원치않는 잡음 대역들을 제거하며, 그 데이터를 블록 1230으로 전송하며, 블록 1230은 사용자가 어디에서 어떻게 표면에 접근하는지를 추정하기 위해 그 신호들을 이용한다. 블록 1230은 또한 사용자 위치가 표면 가장자리와 관련하여 일정한 값들로 표현되도록 본 발명의 선형화를 수행한다. 픽업들의 어레이와 함께 사용될 때, 마찰 터치 내 선형화는 실질적으로, 어레이에 의해 생성된 위치 데이터의 잡음을 제거한다. 각각의 센서에서 위치들이 검출되므로, 위치 데이터는 정화되어(cleaned up) 보다 부드러운 모션에 맞춰진다. 본 명세서에 개시된 전극 픽업 시스템들과 함께 사용될 때(예를 들어 도 32-47 참조), 선형화 시스템은 위치들을 시스템에 의해 생성된 연속적인 값들의 범위로부터 터치 표면의 직교 좌표로 수학적으로 매핑시킨다. 하나 이상의 실시예들에서, 프로세스는 직교 좌표로의 터치 위치들의 개별 매핑에 기반할 수 있다.

도 12에서, 환경으로부터 나온 잡음이 사용자의 몸에 의해 감지될 수 있다. 이 잡음은 몸의 전기장에 의해 입력 전극(1206)과 용량성으로 연결된다. 그런 다음 전극으로부터의 신호가 디지털화된다. 디지털화는 도 12에 도시된 바와 같이, 고이득 증폭기(1208) 및 그에 뒤이은 ADC(1214)를 포함하는 여러 방법들로 수행될 수 있다. 계측 증폭기, 시그마-델타 컨버터, 전하 카운터, 전류 계측 방식들 등과 같은 다른 기법들에 의해 신호가 변환될 수도 있다. 하이 임피던스 증폭기(1208)의 이득은 처리 시스템(1216)의 이득 조정 소자(1218)에 의해 선택적으로 제어될 수 있으며, 하이 임피던스 증폭기(1208) 및 ADC(1214)를 통해 대안적인 충분한 분해능을 가짐으로써 이득 제어가 필요하게 될 수도 있다. 디지털화에 이어, 데이터는 하드웨어나 소프트웨어로 구현될 수 있는 처리 시스템(1216)으로 제공된다. 필요 시 이득 설정을 위한 초기 교정이 수행된다.

블록 1220은 잡음을 주파수 대역으로 특징짓는다. 시스템은 다양한 잡음 대역들의 주기성을 판단할 수도 있다. 이러한 판단은 연속적인 이용 가능성 및 신호 세기에 기반하여 블록 1222에서 신뢰할 수 있는 대역(또는 대역들)의 선택을 가능하게 한다. 그 정보는 원치 않는 신호들을 배제하는데 사용될 수 있다(블록 1228).

블록 1230은 위치 추정을 수행한다. 프로세싱 과정 중에, 신호 특징이 변화할 수 있다. 그러한 변화의 경우, 시스템은 방해 받지 않는 동작을 지원하기 위해 추가 이득 조정(1226) 또는 잡음 특징화(1220)를 시작할 수 있다. 전극 구조에 따라, 연속적인 시트(sheet) 전극의 비선형성을 보상하기 위해 선형화가 수행되거나(블록 1230), 행-열 또는 매트릭스 전극 어레이에서 보여지는 활성화의 중심으로부터 위치가 바로 추정될 수 있다. 그런 다음 블록 1230이 그에 따른 위치 데이터(1232)를 생성한다.

하나 이상의 실시예들에서, 잡음 터치 시스템은 신호 전송을 위한 설비를 포함하지 않는다. 잡음 터치가 환경 신호를 감지하므로 환경 신호 감지를 위해 신호를 전송할 필요가 없기 때문에, 신호 전송 설비가 생략될 수 있다. 수신하는 하드웨어는 EMI를 수용하도록 설계되므로 EMI 소스들로부터의 간섭에 저항성이 있다. 또한, 시스템은 임의의 전자 회로에서 보통 예상할 수 있는 것 이외의 활동의 결과로서 의사 신호를 출력하지 않으므로, EMI 규정 부합 및 주변에 위치한 잡음에 민감한 전자장치의 설계를 단순화시킬 수 있다. 추가적인 이점은 이러한 설계에 따른 전력 절감이다. 한편, 어떤 장(field)을 전송할 필요가 없으므로 직접적인 절감이 있게 된다 또한, 이 시스템은 전력을 우선 공급할 전자회로가 단순히 적다는 것을 의미하는 단순화된 구조로 인한 이점을 가진다. 또한, 하드웨어에서 확장된 잡음 제거를 수행할 필요가 없기 때문에, 해당 전단부에서의 복잡도 감소로 인한 추가 절감 또한 있게 된다.

도 13은 손의 포즈 또는 위치를 판단하는 프로세스의 예를 도시한다. 몸에 의해 전도되는 EMI는 몸을 둘러싼 전기장을 통해 전극으로 용량성으로 연결된다. 일 예로서, 프로세스는 사용자가 좌측 또는 우측에서 스크린을 홀딩하거나 터치하는 때(포즈 정보)를 판단할 수 있다.

ADC(1306)는 증폭기(1302)로부터의 아날로그 입력 신호를 디지털 신호로 변환한다. 시스템의 이득을 적절히 조정함으로써(블록 1308 및 1304), 잡음 터치는 멀리 있는 몸의 일부분의 근접도를 검출할 수 있다. 그로써, 사용자가 물리적 접촉 없이 터치 표면 위를 호버링하고 있을 때를 판별하는 것이 가능하다. 또한, 잡음 터치 시스템에 의해 주어지는 속도로 인해, 전극들이 여러 이득 설정환경에서 연속적으로 스캐닝될 수 있어(블록 1310) 호버링 및 터치에 대한 동시 검출을 가능하게 한다. 여러 이득 설정 스캐닝이 사용되어, 예컨대 손바닥 또는 우연한 접촉의 배제, (한 손 대 양손, 왼손 대 우측 손 등에 따른) 홀딩 포즈 등의 검출을 가능하게 한다.

블록 1312는 다양한 이득들에서 판독된 신호들을 비교한다. 블록 1314는 손의 포즈와 같은 포즈 데이터를 결정하기 위해 포즈 휴리스틱스(heuristics)를 이용한다. 블록 1318은 신호 비교(1312)의 결과를 이용하여 호버링 위치를 판단한다.

다중 이득 표면 스캐닝은 사용자가 잡음 터치 센서를 포함하는 장치를 잡고 있을 때 그 손의 포즈를 검출할 수 있다. 다중 이득 스캐닝은 다양한 감지 깊이를 제공하며, 분해능은 이득의 증가 시 감소한다. 고 이득에서는 보다 먼 객체들을 감지할 수 있으나, 저이득이 사용될 때처럼 위치를 정확하게 판단하지 못한다. 예를 들어, 다중 이득 스캐닝은 접촉 위치에 대해 호버링하는 손의 위치를 파악함으로써 시스템이 오른손으로 잡은 펜의 입력을 왼손으로 잡은 펜의 입력과 구별하도록 할 수 있다. 접촉하는 손의 근사적인 위치를 감지하기 위해 보다 높은 이득 표면 스캐닝 설정을 이용하여 위치가 판단될 수 있다. 다중 이득 스캐닝은 또한, 감지 관점에서 각각 중간 이득으로 한 개 또는 두 개의 감지 "블롭들"을 생성하거나 고이득으로 작거나 큰 "블롭"을 생성할, 한손 호버링 또는 두 손 호버링 여부를 감지하는 것을 도울 수 있다. 고이득의 감지 장은 장치로부터 약간의 거리까지 확장되므로, 잡음 터치 스크린을 가진 장치가 스크린의 위치와 관련하여 어떻게 홀딩되어 있는지를 검출하는 것 또한 가능하다.

하나 이상의 실시예들에서, "터치"의 일부인 제스처들(가령, 다중 이득 호버링 등)은 호버링의 존재에 대해 기계가 어떻게 반응할 수 있는지와는 별개일 수 있다. 예를 들어 사용자가 자신의 오른손으로 전화기를 잡고(홀딩)있다면, 키보드는 자동으로 자신의 터치 지점들을 왼쪽으로 옮겨 사용자가 보다 쉽게 타이핑할 수 있도록 할 수 있다. 또한, 콘트롤들이 태블릿을 잡은 손과 보다 가까운 태블릿 상에 나타날 수 있다(또는 그와 달리, 태블릿의 반대편에 나타남으로써, 놀고 있는 손으로 태블릿을 터치하는 것이 보다 용이하도록 할 수 있다). 한 양태에 있어서, 호버링은 소프트웨어에 대한 정황적 단서가 될 수 있다.

도 14는 터치 및 스타일러스 데이터를 분리하는 방법의 예를 도시한다. 도 12에서 상술한 잡음 터치 기법들과 유사하게, ADC(1420)에 의해 입력 신호가 수신되어 잡음 특징화 블록 1422에 의해 특징화될 수 있다. 변형된 잡음 분리 블록 1424에 의해 잡음 분리가 수행되고, 위치 추정 및 선형화 블록 1426에 의해 위치 데이터(1428)가 결정된다. 상술한 내용은 사용자의 부속물에 대해 설명하였으나, 잡음 터치는 전도성 객체나 부분 전도성 객체들과도 동등하게 기능할 수 있다는 것을 알아야 한다. 그로써, 잡음 터치에 의해 검출될 수 있는 스타일러스, 펜, 또는 다른 장치들(1410)을 만드는 것이 가능하다. 그 경우, 스타일러스(1410)의 설계는 위치 추정(1426) 및 잡음 특징화(1422) 블록들에 의해 검출 가능한 특정 시그니처로 잡음 신호를 각인하는, 인덕터 또는 커패시터와 같은 수동 반응 소자들 (또는 수동 소자들의 결합)을 포함할 수 있다. 특정 시그니처는 잡음 터치가 스타일러스(1410) 및 손가락의 존재를 구별할 수 있게 한다. 따라서, 위치 추정 및 선형화 블록(1426)에 의해 서로 다른 손가락 위치 데이터(1428) 및 스타일러스 위치 데이터(1430)가 생성될 수 있다.

도 15는 스타일러스 또는 펜의 접촉에 따른 주변 잡음의 변화를 특징짓는 신호 변화의 검출을 도시한다. 도 15는 도 14에 도시된 시스템 중 아날로그 전단부의 여러 지점들에서의 신호들의 예를 도시한다. EMI 소스들이 EMI 신호를 방출한다. 스타일러스(1510)가 신호를 방출하고, 전극(1418)에 의해 다른 신호가 수신된다. 전극(1418)이 수신한 신호는 스타일러스가 절연체(1416)와 접촉하고 있지 않을 때 전극이 Z_air 로 수신하는 EMI와는 다르다.

장치의 다른 구현예는 장치로부터 소정 양의 제어된 일반화 EMI를 생성할 수 있으며, 그 EMI는 충분한 환경 EMI를 사용할 수 없는 영역들에서 위치를 검출하는데 사용될 수 있다. 이러한 기능은 환경 EMI의 레벨이 사전에 프로그램 되거나 동적으로 선택된 기준치 미만으로 떨어질 때 자동화 이득 제어 시스템들을 통해 자동으로 스위치 온 될 수 있다. 잡음 터치 시스템은 규제 면에서 허용된 장치의 EMI 방출만을 전적으로 고유하게 사용하도록 맞춰짐으로써, 다른 잡음원을 배제할 수 있다. 이는 EMI 프로파일이 동적으로 특징지어질 필요가 없기 때문에 장치의 견고성을 향상시킨다.

잡음 터치 시스템은 각각의 터치 위치에 대해 상술한 하드웨어의 일 예를 이용하거나, 연속적으로 더 큰 전극을 이용할 수 있으며, 전극을 통해 신호의 거리 종속적 변화에 기반하는 위치를 추정할 수 있다.. 상기 변화는 덮는 물질의 물질 특성, 전극 몸체의 저항, 전극의 유도 임피던스, 또는 어떤 다른 방식으로 야기될 수 있다. 이런 방식으로, 잡음 터치는 자신의 전극 구조의 분해능 보다 높은 분해능으로 위치를 판별할 수 있다.

잡음 터치는 하나 또는 다수의 터치 지점 용으로 설정될 수 있으며, 부가적으로 연속 위치 감지(전화 또는 태블릿 등) 또는 개별 위치 감지(버튼 등) 용으로 설정될 수 있다. 후자의 응용예에서, 시스템의 강점은 그대로 유지하면서, 자동차나 선박 용도, 공장 바닥 등에서와 같이 환경 잡음 또는 오염이 문제가 될 수 있는 여러 상황들에서 시스템을 실용적으로 사용할 수 있다. 그러한 경우, 잡음 터치는 전통적인 용량성 감지에 필요한 추가적 예방조치를 필요로 하지 않으면서 강력한 입력 해법이라는 이점을 제공할 수 있다.

도 16은 사용자의 환경 및 정황을 수동적으로 감지하는 프로세스의 예를 도시한다. 잡음 터치는 환경 EMI를 지속적으로 감지하여 특징화할 수 있고, 이러한 기능은 사용자의 환경 및 정황을 수동으로 감지하는데 사용될 수 있다. 예를 들어 사용자는 집에서 TV, 이동 전화, 및 냉장고로부터 나오는 EMI에 둘러싸여 있을 수 있고, 사무실에서는 데스크탑 컴퓨터, 사무실 조명, 및 사무실 전화 시스템에서 나오는 EMI에 둘러싸일 수 있다. 사용자가 가령 자신의 장치를 시동시키거나 잠금 해제하기 위해 잡음 터치 시스템을 접촉할 때, 잡음 터치 시스템은 이러한 특징 데이터를 포착하고, 그것을 내부 데이터베이스의 잡음 및 환경들과 비교하며, 관련 유사도들을 이용하여 사용자 위치를 추론할 수 있다.

도 16의 프로세스에서 입력 신호가 신호 획득 시스템(1602)으로부터 잡음 특성화 모듈(1604)로 제공된다. 블록 1604는 잡음 특징화를 수행하여 현재의 잡음 프로파일(1610)을 결정한다. 블록 1604는 신호를 (가령 FFT 등을 사용하여) 대역 별로 분해하고, 서로 다른 신호 대역들에서의 신호들의 크기 및 그러한 크기들의 시간 도메인 상의 변화를 모두 분석한다. 위치 결정에 사용될 신호들이 블록 1606으로 제공된다. 블록 1616은 이 명세서의 다른 부분에서 설명하는 바와 같이, 위치 데이터(1608)를 생성하기 위해 추정 및 선형화를 수행한다. 사용자 입력(1606) 및 GPS, WiFi 위치 결정 등과 같은 자동 감지(1618)를 통해, 블록 1620은 장치가 관심 환경 하에 있는지 여부를 판단한다. 관심 환경 하에 있다면, 현재의 잡음 프로파일이 환경 및 정황 데이터베이스(1622)에 저장된다. 데이터베이스 내 현재의 프로파일 및 엔트리들은 환경 및 정황 인식기(1612)에 의해 사용되어, 해당 환경 또는 정황과 다시 만날 때를 검출하고, 다시 인식되면 그에 따라 이벤트들이 생성된다.

도 17은 수동적으로 감지될 수 있는 잡음 정황들의 예를 도시한다. 집이나 사무실의 여러 룸들은 서로 다른 잡음 정황들을 가질 수 있다. 예를 들어, 도 17에 보여진 바와 같이 휴식 룸은 커피 머신에서 나오는 EMI를 포함할 수 있고, 회의실은 대형 TV나 프로젝터로부터 나오는 EMI를 포함할 수 있다. 장치는 정황 추정치들을 사용하여 쉽게 액세스 가능한 소정 기능을 만들 수 있다.

예를 들어 장치는 사용자가 프린터에 접근할 때 사용자에게서 대기중인 문서들을 자동 프린팅하거나, 사용자가 같은 룸 안에 있을 때 프로젝터의 제어를 허용할 수 있다. 사용자는 작업의 능률화를 돕기 위해 영역별 혹은 정황별로 기능들을 추가 설정할 수 있다. TV나 조명이 켜져 있는지 꺼져 있는지 여부와 같은 외부 장치 활동(1702)에 기반하여 잡음 특징화가 수행될 수 있다. 관심 정황은 자동화된 정황 인식(1704)이나 사용자 입력(1706)에 기반할 수 있다. 자동 정황 인식(1704)은 예컨대, 정황이 "부엌을 나가고 있다"거나, "침실 안에 있다"거나 "운전하고 있다"는 것임을 판단할 수 있다. 사용자 입력은 예를 들어, "TV를 시청"하거나 "침대에서 독서"하거나 "옷을 세탁하는" 것일 수 있다. 이러한 요소들에 기반하여 환경 및 정황 데이터(1708)가 생성되고 정황 관련 혹은 정황 종속적 자동화 서비스들(1710)의 입력으로서 사용된다.

도 18은 정황 감지 시스템을 이용하여 잡음 터치 센서를 가진 장치와 통신하는 프로세스의 예를 도시한다. 통신하고자 하는 장치는 장치 자체의 메탈 프레임이나 차폐물을 포함하는 전도성 표면으로 전압을 공급함으로써 용량성 신호(1804)를 방출할 수 있다. 이 신호(1804)는 환경 EMI 장(1802) 안에 결합되어 잡음 터치를 통해 수신된다. 사용자나 스타일러스에 의해 신호가 인코딩될 수 있고(블록 1808) 전극 및 ADC를 통해 수신될 수 있다(블록 1808). 잡음 특징화가 수행될 수 있고(블록 1810), 위치 추정 및 선형화가 수행되어(블록 1812) 위치 데이터(1814)를 생성할 수 있다. 가능하다면 검색의 변수들을 줄일 수 있게 하는 정황에 대한 추가 정보(1816)와 함께, 그러한 신호들을 검색하기 위한 신호 검출 시스템(1818)이 사용될 수 있다. 그런 다음 전송이 일어나는 대역들만을 포함하도록 잡음 신호가 필터링되고(블록 1820), 그 신호는 1824 데이터 수신을 위해 복조 된다(블록 1822). 그러한 데이터는 장치를 고유하게 식별하거나(예를 들어 주변 가전기기에 대한 즉각적이고 직접적인 제어를 허용) 정황 데이터(오븐이 달궈지기까지 남은 시간, 또는 냉장고 문이 열려진 상태라는 것)를 전송하기 위해 사용될 수 있다. 이러한 통신은 양방향으로 이뤄질 수 있어, 장치가 위치 전송 기능은 포함하지 않지만 정황 및 입력 데이터 수신 목적으로 잡음 터치 전극은 포함할 수 있도록 할 수 있다. 따라서 비터치 기능의 장치(전자렌지 등)는 기능 제어 또는 조회 목적으로 인근 장치로부터 잡음 터치 기반 통신문을 수신할 수 있다.

환경 감지가 사용될 수 있는 상황들의 예들로는, 감지된 정황에 따라 전화기의 홈 스크린 바꾸기, 전화기에 의해 감지된 정황을 이용하여 외부 장치들로 사용자 위치 전송하기, 외부 장치들의 활동에 대한 타깃 감지, 및 에너지 소비 모니터링을 포함한다. 센서 시스템은 사용자가 착용하는 시계나 핏비트(Fitbit) 타입 장치와 같은 장치 상에 위치할 수 있다. 센서 시스템은 랩탑이나 TV 상에 있을 수도 있다.

예를 들어 사용자가 집에 들어갈 때, 전화기가 집의 잡음 시그니처(특징)를 검출하여 홈 콘트롤, 예컨대 알람 콘트롤, TV, 오디오 시스템 등에 전용되는 홈 스크린 상에 일련의 애플리케이션들을 제공한다. 전화기의 홈 스크린은 감지된 정황에 따라 변경될 수 있다. 사용자가 집에 들어설 때, 전화기가 집의 잡음 시그니처를 검출하여 홈 콘트롤, 예컨대 알람 콘트롤, TV, 오디오 시스템 등에 전용되는 홈 스크린 상에 일련의 애플리케이션들을 제공한다. 예를 들어, 태블릿이나 스마트 폰이, 헤드폰이 꽂혀 있을 때 음악 애플리케이션들을 포함하는 홈 스크린 페이지를 디스플레이 할 수 있다. 마찬가지로, 사용자가 집에 있을 때, 다양한 가전기기들, 조명 시스템들, TV 및 기타 전자기기들의 콘트롤들, 홈 HVAC 콘트롤들 등을, 훨씬 더 편리하게 액세스되는 인터페이스의 특정 페이지 상에 불러올 수 있다.

다른 예에서, 집은, 각 방에 있는 장치들의 제어를 목적으로 하는, 예컨대 거실에 있을 때는 TV 콘트롤에 특전을 주고 주방에 있을 때는 타이머에 특전을 주는 애플리케이션을 제공하는 것이 가능할 수 있다. 사용자가 집 안에서 방들 사이를 이동할 때, 홈 스크린은 감지된 환경 정황에 따라 변경될 수 있다. 이러한 기법이 방별로 적용될 수 있다. 예를 들어 사용자는 사용자가 서재에 있을 때 이메일 및 사업 문서 관리 소프트웨어와 같은 사업 관련 애플리케이션들을, 거실에 있을 때는 TV 리모콘 및 현재의 TV 스케줄을, 그리고 침실에서는 아기 모니터, 보안 시스템 및 AC 콘트롤들을 디스플레이 하는 페이지를 맞춤화할 수 있다. 이러한 것들은 사용자에 의해 맞춤화되고 관리되도록 설계될 수 있다.

전화기가 감지한 정황을 이용하여 사용자 위치가 외부 장치들로 전송될 수 있다. 예를 들어 전화기는 사용자가 있는 현재의 방을 검출하고, 그 정보를 현재의 방에 있는 장치들로 전송한다. 사용자가 자신의 전화기를 들고 어떤 방으로 들어갈 때 조명이 켜질 수 있고, 그곳을 떠날 때는 조명이 꺼진다; 사용자가 거실로 들어갈 때 소정 프로파일, 예컨대 소정 음악 및 조명 환경이 자동으로 시동될 수 있다; 집에 들어갈 때는 알람이 비활성화될 수 있다. 예를 들어 시스템은 사용자가 멀리 이동했다는 것을 검출할 때 TV에 통지할 수 있다. 그 시점에, TV는 전력을 소비하는 디스플레이 패널은 끄고 소리만 남겨두어 에너지를 절약할 수 있다. 마찬가지로 사용자가 멀리 있으면 에어컨이 절전 모드로 들어갈 수 있고, 사용자가 들어오면 방을 빠르게 냉방시킬 수 있다. 사용자는 인근에서의 자신의 존재나 부재에 기반하여 장치들이 특정하게 동작하도록 설정할 수 있다. 하나 이상의 실시예들에서, TV가 켜져 있으면, 전화기는 사용자가 이전에 선택했던 선호 프로그램들을 찾아서, 사용자에게 특정 채널이 그가 선호하는 프로그램을 보여주고 있다는 것을 말해 줄 수 있다.

TV, 조명, 오디오 시스템 등과 같은 특정 외부 장치들에 대한 타깃 활동 감지에 대해 잡음 검출이 이용될 수 있다. 예를 들어, 전화기가 어떤 장소를 떠나기 전 복도에 있을 때 조명이 켜져 있음을 검출하여 사용자에게 알려줄 수 있다. 다른 예로서, 전화기는 텔레비전이 켜졌음을 검출하여 추천 사항 등을 제공할 수 있다. 에너지 소비 모니터링을 수행하기 위해, 잡음 검출은 집의 전반적 잡음 레벨을 검출하여 전자 장치들의 동작을 모니터링 하여 전체적 에너지 소비에 대한 감을 주도록 할 수 있다. 전반적 잡음 레벨에 대한 신호 처리를 이용하여, 에너지 모니터링이 대상이 되어 장치에 특정될 수 있다.

모든 전자회로는 활성화될 때 오프 상태일 때보다 많은 EMI를 출력할 수 있다. 벌크 EMI의 전반적인 변화를 감지함으로써, 시스템은 사용자가 일반적으로 더 많거나 더 적은 에너지를 사용하고 있을 때를 판단하여, 특정 장치들을 반드시 검출하거나 그러한 장치들에 대한 특정한 사항을 알지 못하고도 전반적 피드백을 제공할 수 있다. 따라서 사용자가 방 안에 있을 때, 감지 시스템은 조명이 있는지 없는지를 검출할 수 있다. 사용자가 EMI환경 변화에 기반하여 시스템이 언급한 다른 영역으로 이동할 때, 시스템은 사용자에게 그들이 조명을 켜두었다는 것을 통지할 수 있다. 이것은 가정, 사무소, 또는 그 밖의 곳에만 적용하도록 특정 위치 별로 부가적으로 게이트 제어될 수 있다. 하나 이상의 실시예들에서 이러한 기법은 조명들이나 기타 인프라구조에 대한 어떤 특별한 계측제어도 필요로 하지 않으므로, 비증보식(unaugmented) 구(legacy) 위치들과도 쉽게 사용될 수 있다는 것을 알아야 한다.

또한 잡음 터치 및 호버링이 단일 에어 터치/탭, 듀얼 에어 터치/탭, 멀티 핑거 에어 터치/탭, 호버링하는 인접 손가락들, 또는 호버링하는 엄지 및 손가락들을 검출하는데 사용될 수 있다. 또한, 예를 들어 줌인, 줌아웃, 패닝, 드래깅, 스크롤링, 스와이핑, 플리킹, 슬라이딩, 시계방향 회전, 또는 반시계방향 회전과 같이 호버링을 이용하는 모션이 검출될 수 있다. 또, 호버링하는 객체 밑의 콘텐츠 부분들이 확대되거나 미리보기 될 수 있다. 또한, 객체의 전도성 부분을 검출함으로써 객체들이 인식될 수 있다. 또, 절연 객체를 잡을 때, 잡음 터치는 툴의 각도, 객체에 대한 손의 위치 검출을 가능하게 한다.

도 19는 마찰 잡음 터치(TriboNoiseTouch) 시스템의 구조 예를 도시한다. 하나 이상의 실시예들에서, 여기 개시되는 마찰 잡음 터치 기법들은 마찰 터치 및 잡음 터치 기법들의 결합에 기반한다. 하나 이상의 실시예들에서, 잡음 터치는, 몸에 의해 전도되어 터치 센서의 전극들에 의해 검출되는 잡음을 이용하여 사용자의 터치 위치를 검출한다. 하나 이상의 실시예들에서, 마찰 터치는 두 객체가 서로 접촉할 때 발생되는 전하 변위를 이용한다. 이러한 변위를 측정함으로써, 마찰 터치는 임의의 물질과 감지 표면의 접촉을 검출할 수 있다. 이는 오늘날 사용되는 용량성 센서들과 유사한 감지 표면을 이용하여 수행되며, (저항성 스크린들이 작동하는 것과 같은) 물리적 변위를 요하지 않는다.

하나 이상의 실시예들에서, 마찰 잡음 터치는 동일한 하드웨어, 전극 기하구조, 및 프로세싱 구조를 이용하여 마찰 터치 및 잡음 터치 기능들을 결합한다. 따라서, 마찰 잡음 터치 시스템은 잡음 터치의 용량성 터치 특성들을 가지며, 마찰 터치를 이용하여 광범위한 물질들과의 접촉을 감지할 수도 있다. 마찰 잡음 터치는 개선된 기능들을 제공하기 위해 각각의 방법론을 기회주의적으로 활용하여, 비접촉 및 벌크 접촉(가령, 손바닥 접촉) 감지를 제공하면서 잡음 터치에 비해 접촉 검출 속도를 더 향상시킬 수 있다. 마찰 잡음 터치는 환경 잡음 및 표면 상호작용을 이용한다. 그에 따라 마찰 잡음 터치는 EMI에 영향을 받지 않을 수 있고 전기장을 방출할 필요가 없다. 마찰 잡음 터치는 비전도 물질들의 접촉을 감지할 수 있다. 또한 마찰 잡음 터치는 터치를 검출하고 견고성, 속도, 및 다양한 물질들(가령, 손가락과 스타일러스)에 의한 접촉의 판별을 제공하기 위해 두 개의 물리적 현상들의 조합을 이용한다. 잡음 터치 및 마찰 터치 기술들을 하나의 패널 안에 결합하여 복잡도를 줄일 수 있고, 에너지 절감을 제공할 수 있으며, 하드웨어 자원 사용을 줄일 수 있다.

잡음 및 마찰활동 측정을 위한 신호들의 소스들은 상이하지만, 그 신호들의 특징은 유사성을 가진다. 두 신호들이 보통 전기장을 통해 전극에 용량성으로 결합되며, 그에 따라 통상적으로 하이 임피던스 증폭기에 의해 증폭된다. 이는 마찰 활동 및 잡음 기반 위치 감지를 위한 하드웨어가 하나의 마찰 잡음 터치 시스템 안에 경제적으로 결합될 수 있게 한다. 마찰 터치 및 잡음 터치 기법들은 시간 다중화 또는 공간 다중화를 이용하여 결합될 수 있다. 예를 들어, 마찰 터치를 이용하고 그 다음 잡음 터치를 이용하여 전체(full) 패널 판독이 수행될 수 있고, 혹은 패널 상의 전극들 중 일부는 마찰 터치에 사용되고 나머지는 잡음 터치에 사용될 수 있으며, 보다 연속적인 커버리지(coverage)를 위해 마찰 터치 및 잡음 터치 사이에 선택적인 전극들의 스위칭이 있게 된다.

도 19에 도시된 마찰 잡음 터치 시스템의 예를 참조하면, 전력선, 가전기기, 모바일 및 컴퓨팅 장치 등과 같은 환경 잡음 소스들(1902)이 환경 EMI(또는 구어체로 말해 전자 소음)에 기여하는 전기장들을 방출한다. 인간의 몸(1904)은 미소한 전도체이며, 그에 따라 상기 신호들에 대한 안테나로서 작용한다. 몸(1904)이 전극(1906)에 가까이 접근할 때, 예를 들어 몸(1904)이 터치 패널 위에서 호버링하거나 터치 패널을 터치할 때, 그 신호는 입력 전극(1906)에 용량성으로 연결된다. 동시에, 몸이나 다른 객체와 터치 표면과의 접촉이 마찰전기 신호(1908)의 생성을 야기한다. 두 신호들은 전극에 용량성으로 연결된다. 하이 임피던스 증폭기 또는 전위계(1910)가 들어오는 신호를 검출하고, 이어서 ADC(analog to digital converter)(1912)가 그 신호를 디지털 형태로 변환한다. 이러한 구성요소들은 두 신호들의 분리를 돕는 추가적인 전환가능한 특징들을 가질 수 있다.

신호는 하드웨어, 소프트웨어, 또는 이들의 조합으로서 구현될 수 있는 처리 시스템(1916)에 의해 처리된다. 처리 시스템(1916)은 시동 시, 그리고 내부 휴리스틱이 신호가 단속적이거나 잡음이 많아진다는 것을 판단할 때마다 수행될 수 있는 교정을 포함할 수 있다. 이것은 예컨대, 평균 및 분산(variance)을 산출하고 이 값들이 일정 범위 안에 유지되게 함으로써 수행된다. 평균값의 편차들은 이득 조정으로 이어질 수 있고, 과도한 분산은 상이한 잡음 대역 선택을 유도할 수 있다.

처리 시스템(1916)은 두 개의 실행 단계들을 가진다. 마찰활동 신호에 대해, 처리 시스템(1916)은 잡음을 특징짓고(블록 1920) 이득을 조정하여(블록 1918) 신호가 증폭기를 압도하지 않도록 한다. 이 단계는 마찰 활동 및 잡음 신호들에 대해 따로따로 수행될 수 있으며, 이 경우 처리 시스템(1916)은 잡음을 특징화하고(블록 1926) 잡음 신호에 대한 이득을 조정한다(블록 1924). 또한, 절연체들이나 인근의 객체들에 달라 붙은 전하들에 의해 생성된 판독치 오프셋들은 마찰 활동 신호들에 대한 오프셋들일 수 있다(블록 1922). 초기화 단계 중에 조기 조건들이 산출된다. 잡음 소스 선택이 수행된다(블록 1928).

초기화가 완료된 후, 시스템의 데이터 프로세싱부가 시동된다(블록 1930). 블록 1932는 수행할 계측을 선택하고, 블록 1934는 요구되는 신호들에 고유한 초기 필터들을 인가하여 신호들을 분리한다. 필터들의 특징은 잡음 신호 선택 및 두 타입의 측정을 인터리빙 하는 수단에 적합하다. 잡음 신호들에 대해 프로세스는 이득 조정을 지속하고(블록 1936) 원치 않는 신호들을 배제한다(블록 1938). 마찰 활동 신호들에 대해 이득 및 오프셋이 환경 드리프트(drift)를 보상하도록 블록 1940 및 1942에서 각자 조정된다. 하이 임피던스 증폭기(1910)를 제어하기 위해 이득 조정 정보가 이득 제어 블록(1914)으로 피드백 됨으로써, 증폭기(1910)로부터의 신호가 ADC 블록(1912)의 범위 내에서 유지되게 한다. 두 신호 경로의 출력은 위치 추정치(1946)를 산출하기 위해 두 측정치의 가장 신뢰할 수 있고 시간 관련성이 있는 특징을 사용하는 기회주의적 위치 추정 및 선형화 블록(1944)으로 공급된다.

도 20은 잡음 데이터에서 마찰활동 데이터를 분리하는 방법의 예를 도시한다. 도시된 바와 같이, 초기화 중에 잡음 및 마찰 활동 신호들의 특징 프로파일이 블록 2002 및 2008에서 각자 생성된다. 런타임에서, 신호 분리 블록(2014)은 마찰활동으로부터 어떤 신호가 나오는지를 나타내는 마찰활동 신호를 시간 및 주파수 도메인들 상에 특징짓는다 그런 다음 나머지 신호가 대역 별로 분석되고, 그 잡음 분석에 있어 적절한 대역들이 선택된다(블록 2016).

시스템은 (아마도 오프라인으로) 특정 초기 신호 대역들을 결정하는 시스템의 초기화와 더불어 시작된다. 신호 분리는 시간 또는 주파수 도메인에서 동작할 수 있고, 결합된 신호에서 특정 주파수 대역들을 필터링 함으로써 수행될 수 있다. 런타임에서, 결정된 초기화 특징에 따라 신호들이 분리되며, 데이터는 처리될 독립적인 스트림들로 분할된다. 대역 선택은 위치, 신호 세기 등에 기반하여 동적으로 가변 될 수 있다.

하나 이상의 실시예들에서, 마찰 잡음 터치 시스템은 신호 전송을 위한 설비를 포함하지 않는다. 마찰 잡음 터치가 해당 환경 및 접촉 자체에 대한 신호를 감지하므로 환경 신호 감지를 위해 신호를 전송할 필요가 없기 때문에, 신호 전송 설비가 생략될 수 있다. 수신하는 하드웨어는 EMI를 수용하도록 설계되므로 EMI 소스들로부터의 간섭에 저항성이 있다. 또한, 시스템은 임의의 전자 회로에서 보통 예상할 수 있는 것 이외의 활동의 결과로서 의사 신호를 출력하지 않으므로, EMI 규정 부합 및 주변에 위치한 잡음에 민감한 전자장치의 설계를 단순화시킬 수 있다. 추가적인 이점은 이러한 설계에 따른 전력 절감이다. 예를 들어, 어떤 장(field)을 전송할 필요가 없으므로 직접적인 절감이 있을 수 있다. 시스템은 전력을 우선 공급할 전자회로가 단순히 적다는 것을 의미하는 단순화된 구조로 인한 이점을 가진다. 또한, 하드웨어에서 확장된 잡음 제거를 수행할 필요가 없기 때문에, 하드웨어 복잡도 감소로 인한 추가 절감 또한 있게 된다.

도 21-23은 마찰전기 관련 이벤트 및 잡음 관련 이벤트를 식별하기 위한 마찰 잡음 터치 프로세스들의 예를 도시한다. 마찰 잡음 이벤트 감지에 대한 세 가지 예시적 프로세스들이 여기에서 기술된다. 도 21의 프로세스는 마찰전기 관련 이벤트를 식별하고, 그런 다음 잡음 관련 이벤트를 식별한다(즉, 마찰 터치 우선). 하나 이상의 실시예들에서, 시스템은 시스템의 마찰 터치부가 일정 시간의 경과 후 어떤 신호도 수신하지 않았을 때 잡음 터치 서브시스템을 시동할 수 있다. 각각의 마찰 터치 이벤트는 검출 시의 터치 이벤트나 물질 분류 이벤트를 전송한다.

도 22의 프로세스는 잡음 이벤트를 식별하고, 그런 다음 마찰전기 이벤트를 식별한다(즉, 잡음 터치 우선). 하나 이상의 실시예들에서, 잡음 터치 우선 설정 시, 주어진 시간이 지나 마찰 터치 인식 파이프라인에 의해 어떤 인터럽트도 전송되지 않았다면 그 후 잡음 이득 설정을 리셋하기 위해 타이머가 사용될 수 있다.

도 23의 프로세스는 광대역 신호를 획득하고 마찰전기 감지 및 잡음 감지를 병렬화하는 스윕(sweep) 프로세스의 예이다. 도 23의 스윕 프로세스는 예를 들어, 우선순위가 상위 레벨, 예컨대 애플리케이션 레벨로 설정되어야 할 때 사용될 수 있다. 예를 들어, 페인팅 애플리케이션이 마찰 전기 기반 감지와 보다 밀접하게 관련될 수 있는 반면, 위치/정황 의존 애플리케이션들은 잡음 기반 감지와 보다 밀접하게 관련될 수 있다.

마찰 터치 및 마찰 잡음의 상대적 우선순위 관련 선택은 장치 및 애플리케이션에 의존할 수 있다. 마찰 전기 우선 방식은 접촉면이 사용자에 의해 아주 많이 사용되는 애플리케이션들에 잘 맞고, "잡음 우선" 방식은 표면과 표면 위에서의 상호작용에 대한 정황 감지가 동시에 사용될 수 있는 모바일 장치 같은 보다 일반적인 애플리케이션 장치들에 잘 맞는다. 마찬가지로, 정황 의존 애플리케이션들은 잡음 감지에 특권을 부여할 가능성이 있고, 드로잉, 페인팅, 및 기타 직접 조작 애플리케이션들은 마찰전기 감지에 특권을 부여할 가능성이 있다.

잡음 및 마찰 활동 측정치들을 결합함으로써, 잡음 기반 또는 용량성 측정치들에서 보여질 정도로 충분한 전도성은 없는 물질들을 검출하는 것이 가능하다. 또한, 마찰 활동 측정에 수반되는 특징적 접촉 판독이 터치 검출을 위한 폭넓은 기준치 추정의 필요성을 없앤다. 이것은 시스템이, 사용자가 스타일러스를 사용하여 소문자 "i"에 점을 찍는 것과 같은 짧은 접촉 이벤트에 반응할 수 있음을 의미한다. 시스템들의 결합은 신체의 일부 및 스타일러스와 같이 손으로 잡는 도구에 대한 검출을 가능하게 한다. 그러한 경우, 스타일러스는 잡음 기반 측정치에서 "보이지 않는" 절연체로 단순하게 구성될 수 있으며, 이는 시스템이 예컨대 손목을 터치 표면에 놓거나 스타일러스를 같은 손으로 쥠으로써 접촉이 이루어지는지 여부를 검출할 수 있게 한다.

위에서 일부가 설명된 도 13은 손의 포즈 정보 및 호버링 위치를 동시 검출하는 프로세스를 도시한다. 마찰 잡음 터치 시스템들은 진짜 접촉이 발생되었을 때를 판단할 수 있어, 터치 표면에 가깝게 머무는 손가락들로부터의 팬텀(phantom) 판독치들이 실수로 명령을 유발하는 것을 방지할 수 있다. 이것은 마찰 활동 신호들이 직접적인 접촉에 의해서만 생성된다는 사실의 부작용이다. 그러나, 동시에 호버링을 또한 검출하는 것이 가능하여, 추가 상호동작 수단을 제공할 수 있다. 몸에 의해 전도되는 EMI가 몸을 둘러싼 전기장을 통해 전극에 용량성으로 연결되므로, 시스템의 이득을 적절히 조정함으로써 잡음 터치는 멀리서 신체 부분의 근접도를 검출할 수 있다. 마찰 잡음 터치 시스템의 속도 덕분에, 여러 이득 설정치로 전극들을 연속 스캐닝할 수 있어 호버링 및 터치의 동시 검출이 가능하다. 이러한 것의 사용은, 예컨대 손바닥 또는 우연한 접촉의 배제, (한 손 대 양손, 왼손 대 우측 손 등에 따른) 홀딩 포즈 등의 검출을 가능하게 한다.

도 13에 도시된 프로세스는 보통 접촉 검출에 사용되는 명목상의 설정치를 상회하는 다양한 이득 설정치들을 사용하여 전극들로부터 판독치를 가져올 수 있다. 보다 높은 이득으로는 보다 약하고 보다 먼 전기장들이 검출된다. 여러 이득들에서 이러한 보다 약한 이미지들을 쌓아 놓음(stacking up)으로써, 시스템은 감지 표면에 무엇이 가까이 있는지를 검출할 수 있다. 예를 들어, 터치 이득 설정치를 G라고 할 때, 위에서 호버링하는 손가락은 설정치 G+1에서, 손가락 관절들의 일부는 설정치 G+2에서, 손과 손바닥의 일부는 이득 설정치 G+3 등에서 검출될 수 있을 것이다. 물론 보다 먼 객체들은 센서에 의해 "보이지" 않을 수 있으나, 사용자가 호버링하는지, 어느 손이 장치를 쥐고 있는지 등에 대해 말해주는 약간의 정보를 수집할 수 있다.

하나 이상의 실시예들에서 마찰 잡음 터치 하드웨어는 정황, 호버링, 접촉의 검출, 및 물질 식별을 가능하게 한다. 이때 정황 의존적 터치 애플리케이션들이 제공될 수 있다. 정황이 감지된 후, 특정 터치 애플리케이션들과 다중 물질 애플리케이션들, 예를 들어 거실로 들어갈 때는 원격 제어 애플리케이션, 사무실로 들어갈 때는 드로잉 어플리케이션이 시동될 수 있다.

또한, 어떤 애플리케이션 및 콘트롤이 사용자에게 이용될 수 있는지를 검출하기 위해 장치가 대기상태에 있는 동안 정황이 사용될 수 있다. 더욱이 마찰 터치가 접촉을 검출하기 위해 사용될 때, 잡음 터치는 백업으로서 사용되거나 절전을 위해 완전히 셧다운될 수 있다. 마찰 잡음 터치는 높은 정밀도의 입력을 또한 제공할 수 있다. 마찰 터치 및 잡음 터치 둘의 병합을 이용하여, 접촉 감지 좌표가 가령 기술적 드로잉 애플리케이션이나 초고화질 디스플레이 상의 상호동작에서의 고 정밀 입력에 사용될 수 있다.

장치의 다른 구현예는 장치로부터 소정 양의 제어된 일반화 EMI를 생성할 수 있으며, 그 EMI는 충분한 환경 EMI를 사용할 수 없는 영역들에서 위치를 검출하는데 사용될 수 있다. 이러한 기능은 환경 EMI의 레벨이 프로그램되거나 동적으로 선택된 기준치 미만으로 떨어질 때 자동화 이득 제어 시스템들을 통해 자동으로 스위치 온 될 수 있다. 이러한 로직은 시스템 상에서 일어나는 요구들을 감안해, 호버링 기능이 필요로 되지 않을 때 시스템이 마찰 활동 모드만을 사용하여 접촉 타입 검출을 배제한 채 감도를 유지하도록 전환할 수 있다. 시스템의 잡음 감지 구성요소는 규제 면에서 허용된 장치의 EMI 방출만을 전적으로 고유하게 사용하도록 맞춰짐으로써, 다른 잡음원을 배제할 수 있다. 이는 EMI 프로파일이 동적으로 특징지어질 필요가 없기 때문에 장치의 견고성을 향상시킨다.

마찰 잡음 터치 시스템은 각각의 터치 위치에 대해 상술한 하드웨어의 일 예를 이용하거나, 연속적으로 더 큰 전극을 이용할 수 있으며, 전극을 통해 신호의 거리 종속적 변화에 기반하는 위치를 추정할 수 있다. 상기 변화는 덮는 물질의 물질 특성, 전극 몸체의 저항, 전극의 유도 임피던스, 또는 어떤 다른 방식으로 야기될 수 있다. 이러한 수단을 통해, 마찰 잡음 터치는 자신의 전극 구조의 분해능보다 높은 분해능으로 위치를 판별할 수 있다.

마찰 잡음 터치는 하나 또는 다수의 터치 지점 용으로 설정될 수 있으며, 부가적으로 연속 위치 감지(전화 또는 태블릿 등) 또는 불연속 감지(버튼 또는 슬라이더 등) 용으로 설정될 수 있다. 후자의 응용예에서, 시스템의 강점은 그대로 유지하면서, 자동차나 선박 용도, 공장 바닥 등에서와 같이 환경 잡음 또는 오염이 문제가 될 수 있는 여러 상황들에서 시스템을 실용적으로 사용할 수 있다. 그러한 경우, 마찰 잡음 터치는 전통적인 용량성 감지에 필요한 추가적 예방조치를 필요로 하지 않으면서 강력한 입력 해법이라는 이점을 제공할 수 있다. 또한, 시스템은 사용자가 큰 장갑을 끼고 있거나 비전도성 도구를 이용하여 제어를 시작할 때에도 감지 상태를 유지함으로써, 사용 방법 및 환경 오염이나 방해와 관련하여 보다 큰 융통성을 허용할 수 있다.

환경 EMI를 연속적으로 감지하여 특징화할 수 있는 마찰 잡음 터치의 특성은 사용자의 환경 및 정황을 수동으로 감지하는데 이용될 수 있다. 예를 들어 사용자는 집에서 TV, 이동 전화, 및 냉장고로부터 나오는 EMI에 둘러싸여 있을 수 있고, 사무실에서는 데스크탑 컴퓨터, 사무실 조명, 및 사무실 전화 시스템에서 나오는 EMI에 둘러싸일 수 있다. 사용자가 아마도 자신의 장치를 시동시키거나 잠금 해제하기 위해 마찰 잡음 터치 시스템을 접촉할 때, 마찰 잡음 터치 시스템은 이러한 특징 데이터를 포착하고, 그것을 내부 데이터베이스의 잡음 및 환경들과 비교하며, 관련 유사도들을 이용하여 사용자 위치를 추론할 수 있다.

이 프로세스가 도 16에 도시된다. 집이나 사무실의 여러 룸들은 아주 상이한 잡음 정황들을 가질 수 있다는 것을 알아야 한다. 예를 들어, 휴식 룸은 커피 머신에서 나오는 EMI를 포함할 수 있고, 회의실은 대형 TV나 프로젝터로부터 나오는 EMI를 포함할 수 있다. 장치는 정황 추정치들을 사용하여 쉽게 액세스 가능한 소정 기능을 만들 수 있다. 예를 들어 사용자가 프린터에 접근할 때 사용자에게서 대기중인 문서들을 자동 프린팅하거나, 사용자가 같은 룸 안에 있을 때 프로젝터의 제어를 허용할 수 있다. 사용자는 작업의 능률화를 돕기 위해 영역별 혹은 정황별로 기능들을 추가 설정할 수 있다.

잡음 기반 감지 서브시스템이 접촉 또는 호버링 영역 주변의 블랍(blob)뿐 아니라 그 표면 위에서 호버링하는 손의 "그림자"를 생성하는 동안, 시스템의 마찰 활동 부분은 터치 센서 표면과의 개별 마이크로 접촉에 기반하여 고분해능 데이터를 생성한다(도 24 참조). 이러한 세 가지 타입의 데이터가 결합되어, 별개로는 감지 모드들에서 이용이 불가한 추가 기능들을 생성할 수 있다.

손가락 접촉의 정확도가 마찰 터치 및 잡음 터치 타입 감지의 결합을 이용하여 개선될 수 있다. 마찰 터치 타입은 보통, 감지 전극들과 상호작용하는 손가락의 미세한 결(micro-texture)로 인해 손가락 접촉 주위에 접촉 구름을 생성할 것이다. 접촉 중심에 대한 정확한 위치를 제공하기 위해 잡음 데이터가 동시에 사용됨으로써, 마찰 데이터가 잡음 블랍 안에 있도록 깔끔하게 세분될 수 있다. 정확한 마찰 접촉 위치들은 그 모양, 크기, 및 의도된 정확한 접촉 위치를 추정하는데 사용될 수 있다. 도 25는 이러한 개선을 수행하기 위한 방법을 도시한다.

터치 감지 표면이 물질들을 감지하도록 처리되어 있지 않거나 그러한 알고리즘들이 활성화되어 있지 않은 경우에도, 손가락 접촉이 검출되어 비전도성 펜 접촉과 분리될 수 있다. 펜은 전도성이 아니므로 잡음 기반 감지 시 인지되지 않겠지만, 손가락 접촉은 두 타입의 접촉 데이터 모두를 생성할 것이다. 이러한 것은 펜이나 손가락 접촉에 기반하는 다양한 개선 알고리즘들을 제어하고 손가락 및 펜의 동시 사용을 가능하게 하기 위해 사용될 수 있다. 그러한 알고리즘은 도 26에 도시되지 않았다. 상기 시스템은 접촉 타입에 기반한 개선된 위치뿐 아니라 접촉 이벤트 타입에 대한 통지를 모두 제공한다.

접촉하거나 펜을 쥐는 손의 호버링 그림자를 검출하여 펜이나 손의 포즈를 추정할 수 있다 패턴 매칭 알고리즘 또는 휴리스틱을 이용하여 손의 전반적 형태, 및 펜을 쥐고 있을 때의 손의 모양이 검출될 수 있고, 검출된 모양은 접촉이 왼손으로 이루어지는지 오른손으로 이루어지는지 여부와 펜이나 손가락 기울기의 추정치를 검출하는데 이용될 수 있다. 기울기는 스타일러스나 펜이 쥐어지는 지점, 및 실제 접촉점을 추정함으로써 산출된다. 손가락 접촉 및 손가락 각도에 대해 동일한 근사적 측정이 이루어질 수 있다. 그러한 알고리즘은 도 27에 도시되지 않았다.

스크린 위에서의 제스처 검출 및 왼손 및 오른손 접촉의 명확한 구분을 위해 추가 데이터가 클라이언트 프로그램에 사용될 수 있다. 이것은 예컨대, 다른 손이 조작에 사용되는 동안 한 손을 이용한 도구 타입의 제어를 가능하게 할 수 있고, 이때 두 접촉들이 우연하게 핀칭(꼬집기) 제스처 휴리스틱을 야기하지 않도록 할 수 있다.

앞서 언급한 바와 같이, 마찰 터치 시스템은 다양한 물질들에 의해 비롯된 전하 변위의 차이를 살펴봄으로써 접촉하는 물질을 검출하는데 사용될 수 있다. 잡음 신호들은 전도성이 있는 저항성 객체를 통해 전달된다. 그 결과, 물질들의 전도성에 따라 물질들을 빠르게 판별함으로써 마찰 잡음 터치 하드웨어에 의해 수행되는 물질들의 구분을 도울 수 있다. 예를 들어, 마찰 잡음 터치 기능의 디스플레이와 상호작용할 때, 연필 끝이 검출되어 드로잉 툴을 자동으로 시작할 수 있고, 연필의 지우개 사용이 지우기 기능을 유도할 수 있다. 이러한 시나리오에서, 잡음 터치 하드웨어는 연필 끝이 전도성이 있어 잡음 및 마찰 신호 둘 모두를 유도할 수 있기 때문에 연필 끝의 사용을 검출할 수 있을 것이다. 한편, 지우개는 마찰 전기 신호만을 생성할 것이다.

마찰 잡음 터치는 마찰 터치 하드웨어에 의해 접촉이 감지된 뒤에만 잡음 터치가 시작되도록 설정될 수 있다. 이 시스템은 터치 및 펜 상호작용과 같은 접촉 기반 상호작용에만 초점을 맞추고, 호버링과 같이 표면 위에서의 상호작용은 감지하지 못할 수 있다. 그러나, 이러한 것은 절전을 가능하게 하고, 마찰 및 잡음 하드웨어 (및 그들 각자의 신호 처리 파이프라인들) 둘 모두가 상호작용 이벤트를 적극적으로 기다리는 것을 방지할 수 있다. 둘 모두에 대해 동일한 전단부가 사용되는 한편, 계산의 감소가 마찰활동 및 잡음 기반 위치 산출을 실행하는데 사용되는 디지털 로직의 동적인 전력 사용을 감소시킨다.

마찰 터치 감지는 고분해능 스타일러스 감지를 지원할 수 있고, 마찰 잡음은 메뉴 및 기능을 시동시키는 버튼들을 특징으로 하는 특별한 디자인의 스타일러스를 검출하기 위해 사용될 수 있다. 스타일러스는 마찰 및 잡음 신호들을 함께 사용하여 위치를 검출할 수 있으며, 여기서 예컨대 마찰 전기 신호들은 접촉, 접촉해제 및 드래깅 상태들을 감지 가능하게 하고, 잡음의 감지는 드래깅 상태 중에 위치를 회복, 홀드(hold), 그리고 버튼 누르기로부터 정보를 얻는데 도움을 줄 수 있다(도 28 참조).

스타일러스의 코어는 펜이 표면과 접촉 상태에 있을 때 패널로 잡음 신호를 전송하는 안테나로 이루어진다. 버튼은 복합 임피던스나 (다이오드 같은) 비선형 양태를 신호 경로에 추가함으로써, 예측 가능한 방식으로 잡음 신호에 영향을 줄 수 있는 필터링 회로 추가를 안테나 경로에 추가하는 것을 가능하게 한다. 펜에 의해 패널로 주입되는 신호를 분석함으로써, 시스템은 버튼이 눌러졌는지 아닌지를 검출할 수 있다. 버튼에 의해 야기되는 임피던스 변화의 경우, 소정 주파수에서의 위상 또는 진폭의 변화가 버튼 누르기를 지시하는 것일 수 있다. 다이오드나 다른 비선형 소자의 경우, 버튼이 눌러질 때 입력 잡음 신호의 클리핑(clipping) 또는 성형(shaping)으로 인해 소정 주파수의 고조파가 감지될 수 있다.

객체가 접촉을 하거나 접촉을 그만둘 때 마찰 전기 대전(charging)이 일어나므로, 마찰 터치를 단독으로 사용하거나 잡음 터치나 다른 감지 방법들과 함께 사용하여 이러한 이벤트들을 보다 정밀하게 검출하는 것이 가능하다. 반대로, 잡음 터치 단독으로는, 접촉이 일어날 때를 검출하기 위해 기준값(조정 가능)을 사용한다. 마찰전하 분포 및 극성은 모션의 방향(표면을 향하거나, 표면에서 멀어지거나, 표면을 따르는 방향)에 좌우되므로, 그러한 이벤트들은 호버링이나 근접촉(near-contact) 이벤트들과 구별될 수 있다. 이는 호버링에 고려되는 값들의 범위에 대해 보다 정교한 제어를 가능하게 하므로, 호버링 감지에 대한 동적 범위를 개선시킨다(도 29 참조).

마찰 터치는 접촉, 분리, 및 모션 검출에는 능숙하지만, 정지된 객체를 검출할 수 없다. 따라서, 그 부분은 잡음 터치의 사용을 통해 장시간의 고정 접촉 중 전도성 객체의 위치 및 모양을 검출하는 것으로 보완된다.

다른 시나리오는 비전도성 스타일러스, 브러쉬, 또는 마찰 터치에 의해서만 검출되는 다른 객체와 마찰 터치 및 잡음 터치 둘 모두에 의해 검출되는 손가락 제스처를 결합한 동시 사용이다. 임의의 애플리케이션은 마찰 터치 및 잡음 터치 특징의 차이 때문에 손가락과 스타일러스를 구별할 수 있고, 그에 따라 그들의 해당 이벤트들을 다르게 처리할 수 있다. 예를 들어 스타일러스 입력은 드로잉에 브러쉬 입력은 페인팅에 사용될 수 있고, 손가락 입력은 이미지 조작에 사용될 수 있다. 예를 들어 이러한 것은 사용자가 호버링을 이용하여 줌(zoom)하고 동시에 플라스틱 스타일러스를 이용하여 드로잉할 수 있게 하거나; 사용자가 드로잉하면서 드로잉 공간을 조정할 수 있게 하거나, 호버링을 이용하여 브러쉬 컬러 강도와 같은 드로잉 변수를 제어하면서 동시에 스타일러스를 사용해 드로잉할 수 있게 한다.

전도 및 비전도 물질들을 어떤 객체 상에 패턴화함으로써, 그 객체의 인식을 가능하게 하는 정보가 인코딩될 수 있다. 예를 들어, 어떤 게임 조각의 하부가 그 아이디와 방향이 검출될 수 있게 하는 물질들의 패턴을 통해 인코딩될 수 있다.

도 30은 여기 개시된 마찰 터치, 잡음 터치, 및 마찰 잡음 터치 기법들과 함께 사용될 수 있는 전극 구성의 한 타입인 단일 터치 전극 구성요소들의 예를 도시한다. 다른 전극 구성들 역시 사용될 수 있다. 특히, 여기 개시된 전극 타입들은 (1) 단일 터치 전극들, (2) 듀얼 터치 전극들, (3) 도 34에 도시된 여러 전극 구성을 포함하는 어레이 멀티 터치 전극들, (4) 연속적인 수동적 위치 감지, (5) 연속적인 이차원 수동 위치 감지, (6) 유전체 인코딩된 수동 위치 감지, (7) 비선형 소자들의 어레이를 이용하는 연속적인 수동 위치 감지, 및 (8) 공간 분포 좌표 인코딩을 포함한다. (1)~(7) 타입들은 마찰 터치, 잡음 터치, 및 마찰 잡음 터치 중 어느 하나와 함께 사용될 수 있다. (8) 타입은 마찰 터치나 마찰 잡음 터치와 함께 사용될 수 있다. 이 유효 전극 검출 조합들(가령, 전극들 (1)~(8) 중 하나 이상과 마찰 터치, 마찰 잡음, 및 마찰 잡음 터치 검출 기법들 중 하나의 조합) 중 어느 하나가 도 3을 참조하여 위에서 기술된 아날로그 전단부와 같은 동일한 아날로그 전단부와 함께 사용될 수 있다.

다시 도 30을 참조하면, 단일 터치 전극은 하나의 스위치로서 동작하도록 설계되거나, 보다 넓은 표면의 한 요소로서 어레이 안에 배열될 수 있다. 이러한 구성요소들을 가진 단일 터치 전극이 도 30에 도시된다. 그 구성요소들은 절연체 계층 및 감지 전극들을 포함한다. 차폐 전극 및 접지 차폐 전극들은 성능 저하를 무릅쓰고 생략될 수 있으나, 터치 검출에 충분한 성능은 유지될 수 있다. 차폐 전극은 감지 전극과 깍지형으로 되어, 두 전극들의 라인들 간 거리가 최소화되게 할 수 있다. 이것은 단순한 깍지끼기, 또는 공간 채움 곡선의 사용을 통해 이루어질 수 있다. 특정한 예가 깍지형 힐베르트 곡선(inter-digitated Hilbert curve)의 사용이다. 깍지형 전극들의 사용은 감지 시스템의 하이 임피던스 증폭기 출력을 사용하여 전극을 능동적으로 구동함으로써 환경에 대한 전극의 기생 커패시턴스를 줄이는데 이용된다. 추가 차폐 전극이 사용되어 표면의 전단과 반대되는 방향으로부터의 시스템에 대한 입력을 배제하도록 할 수 있다. 이것은 태블릿과 같이 투명한 터치 표면 응용예의 경우의 디스플레이와 같은 인근 전자회로에 의해 생성되는 EMI에서 비롯된 가짜 접촉 검출을 방지한다.

도 31은 예시적 인터리브드(interleaved) 패턴으로 된 두 전극들(2602 및 2604)을 도시한다. 인터리브드 전극에서는 차폐 및 픽업(pickup) 전극들만이 도시된다. 전극들은 픽업 또는 차폐를 위해 상호 교환 가능하게 사용될 수 있다. 이것은 인터리브드 패턴의 간단한 예이며, 전극들의 전도성을 가진 부분들은 보다 복잡하게 얽혀있을 수 있다.

도 32는 두 터치 지점의 위치를 검출하는데 사용될 수 있는 행과 열(row-column)의 전극 그리드를 도시한다. 용량성 터치 센서들과는 달리, 행-열 구성들은 여러 터치 위치들을 감지하는 능력을 직접적으로 제공하지 못하는데, 이는 전극들이 감지 전극들로서 사용되며 마찰활동 및 잡음 기반 센서들 내에서는 전송 전극들이 존재하지 않을 수 있기 때문이다. 이러한 구성에서, 두 터치 지점들은 구별될 수 있지만 그들의 정확한 위치는 놓칠 수 있다. 그러나, 이는 두 손가락 두드림(태핑) 또는 꼬집기(핀칭)/확대 제스처들과 같은 일반적인 제스처들에는 충분하다. 다른 예시적 제스처들은 접촉 없이 스크린 위에서 이루어지는 웨이브 또는 스윕 모션, 또는 콘트롤 위에서의 호버링 모션(하이라이트 피드백을 유도할 수 있음)일 수 있다.

도 33 및 34는 그리드 형태의 단일 터치 전극들을 이용하는 어레이 멀티터치 구성들을 도시한다. 각각의 전극은 그 근처에서의 접촉을 개별적으로 감지(픽업)한다. 그러나, 마찰 활동에 의해 생성된 전기장과 전하 구름이 소스 전하 굴절로 인해 바깥방향으로 확장되기 때문에, 도 34에 도시된 바와 같이 전기장이 인근 전극들에서도 검출될 수 있다. 그 결과, 신호를 수신한 전극들 사이에서 접촉 위치가 보간될 수 있다. 마찬가지로, 어떤 거리에서 용량성 결합이 일어나기 때문에, 잡음 기반 센서는 호버링하는 사용자의 손가락과 같은 전도성을 가진 신체를 검출하여, 호버링 감지를 가능하게 할 수 있다.

도 35는 저항성 시트(sheet) 전극을 이용한 연속적 수동 위치 감지의 예를 도시한다. 연속적 수동 위치 감지에 있어서, 단위 면적 당 어떤 알려진 일정 저항을 가진 시트 전극이 이 저항성 시트(3002) 상에 놓여지는 픽업 전극들과 나란하게 사용될 수 있다.

도 35에 도시된 구성은 두 픽업 전극을 가진 선형 센서를 포함한다. 접촉으로 인한 전하 변위의 배분을 검출함으로써 연속적인 수동 위치 감지가 수행된다. 시트의 임피던스가 시스템의 임피던스와 (근사적으로) 정합할 때, 각각의 픽업에서 검출된 값은 접촉 전하 구름에 대한 거리의 어떤 함수가 된다. 픽업들로부터의 판독치들을 특징화하고 선형화함으로써, 디지털 전자회로의 정확도와 정밀도 및 시스템 자체의 잡음 특성 수준으로 어느 위치에서든 연속적으로 접촉의 위치를 검출할 수 있다. 이러한 방식은 기본적인 터치 저항성 시트의 보다 단순화된 전자 회로 및 보다 단순화된 패터닝으로 이어지고, 그것이 다시 낮은 비용과 복잡도로 이어진다. 접촉의 위치는 포착된 총 신호에 대한 각각의 픽업 출력의 비율에 기반하여 산출될 수 있다. 반대로, 전체적 잡음 픽업 계층이 저항성 계층 아래에 놓여져, 표면 안으로 주입된 총 전하량에 대해 감지함으로써 직접 비교를 가능하게 한다.

도 36 및 37은 연속적 2차원 수동 위치 감지 예를 도시한다. 도 35에 도시된 수동 위치 감지 기법은 도 36에 도시된 것과 같이 2차원으로 확장될 수 있다. 이차원 기법은 알려진 m 개의 픽업 지점들(3106)의 분포를 가진 저항성 시트(3102) 안에서 유도된 신호들로부터 n 개의 터치 포인트들(3104)을 감지할 수 있다. 시점 t에서 터치 표면으로의 입력들은 도 37에 도시된 바와 같이 각각의 터치 지점의 좌표들 (xi, yi)(3212)에서의 n 개의 독립적인 전압들 Vi(t)이다. 저항성 시트(3102)의 경계들 상의 m 개의 알려진 픽업 포인트들(3204, 3206, 3208, 3210, 3212)에서 전압들이 측정된다. 저항성 시트를 M x N 저항들의 망으로 근사화하고 이미 알려진 방법들의 사용을 통해, 픽업 지점 및 터치 지점 사이의 저항이 검출될 수 있다. 주어진 픽업 지점 및 터치 지점 사이의 저항 관계는 주어진 픽업 지점에서의 전압을 판단하는데 사용된다.

그에 따른 식은 좌표 상의 픽업 위치에서의 전압 레벨 및 터치 지점들에서의 입력 전압들의 종속성(dependence)을 나타낸다. 픽업 지점들에서의 전압 레벨들에 대한 이 수식 체계로부터, 터치 지점 좌표들(xi, yi) 및 입력 전압들 Vi(t)가 검출된다. 요구되는 픽업 지점 위치들의 개수 m은 적어도 3n이다; 수치적 근사화 및 측정 오차로 인한 에러들을 줄이기 위해 보다 많은 수의 픽업들이 사용될 수 있다. 픽업 지점들의 알려진 분포 및 저항성 시트의 비선형성이 터치 지점들과 그들의 분포에 대한 분리를 가능하게 한다. 이 방법은 제3의 미지의 좌표를 알아냄으로써 접촉점들 (xi, yi)에서 호버링 지점들(xi, yi, zi)로 더 일반화될 수 있다. 호버링 지점들로의 이러한 일반화는 픽업들의 최소 개수 m을 3n에서 4n까지 증가시킨다.

도 38-40은 전극 시트 구성들의 예를 도시한다. 전극들은 도 38 및 39에서 각각 도시된 바와 같이, 픽업들 및 저항성 시트가 서로 다른 계층들 또는 동일한 계층에 있는 상태로 설계될 수 있다.

도 38은 픽업들(3306)과 저항성 시트(3302)를 픽업 접촉부들(3304)로 분리되는 서로 다른 계층들로서 도시한다. 또한, 접촉 판독치들의 분해능을 높이기 위해, 이 패치들 중 몇몇은, 픽업 전극들이 단일 계층 고분해능 터치 표면을 생성하도록, 그들 간에 최소의 갭을 가지고 나란히 정렬될 수 있다. 도 39는 저항성 시트(3404)와 동일한 계층 상에 있는 픽업 접촉부들(3402)을 도시한다. 이와 달리, 도 40에 도시된 것과 같이 접촉부들(3502)이 2 계층 접근법을 이용하여 저항성 시트(2504)의 경계가 아닌 내부에 위치됨으로써, 접촉부(3502)와 같은 일부 전극들이 여러 패치들(3506, 3508)에 효과적으로 사용될 수 있게 한다.

도 41은 유전체 인코딩된(dielectric-encoded) 수동 위치 감지의 예를 도시한다. 터치 표면에 인쇄된 유전체 코드에 의해, 접촉부(3602, 3612)의 위치가 단일 픽업 전극으로 인코딩될 수 있다. 접촉에서 비롯된 신호가 용량성으로 전극에 전달되므로, 픽업 전극으로 전송될 때 신호를 변조하는 표면 상의 유전체 패턴을 인코딩하는 것이 가능하다. 이러한 유전체 패턴은 에칭(etching), 화면 인쇄, 차감 리소그래피(subtractive lithography), 기계적이거나 다른 수단을 통해 생성될 수 있다. 유전체 패턴을 알면 디컨볼루션(de-convolution) 또는 다른 역변환들(3610, 3614)의 결과에 따라 단일 전극으로부터 위치를 복원하는 것이 가능하다. 필수 접촉 영역 및 분해능에 따라, 그러한 여러 패치들(3606, 3608)이 서로 나란히 놓여져 온전한 터치 표면을 만들 수 있고, 코드를 단순화시키며, 각각의 패치에서 패치 사이즈에 대한 코드 사이즈를 증가시킬 수 있다.

도 42 및 43은 비선형 소자들(3704)의 어레이(3702)를 이용한 연속 수동 위치 감지의 예를 도시한다. 손가락들의 위치를 산출하기 위해 연속적인 수동 위치 감지 방식이 행-열 그리드 기반 위치 감지(row-column grid-based position sensing)와 결합될 수 있다. 터치 위치에 대한 시스템의 비선형 응답으로 인해, 동일한 행이나 열에서의 여러 터치들을 구별할 수 있다. 따라서, 행-열 그리드를 사용하여 고분해능의 멀티 터치 위치를 산출하는 것이 가능하게 된다. 연속적인 저항성 시트를 사용하지 않고, 저항성 시트를 격자모양(lattice)의 비선형 래액턴스 소자(nonlinear reactive element)들이나 비선형 리액턴스(nonlinear reactance)를 가지는 시트 물질로 대체할 수 있다.

도 42는 단순화를 위해 일차원 격자를 도시하며, 비슷한 원리가 이차원 격자들에도 적용된다. 이러한 매체들 안으로 주입되는 신호는 해당 매체를 통과하면서 거리와 주파수에 종속적인 상대적 위상 쉬프트를 보이는 솔리튼들(solitons)(단일 자극들)의 그룹으로 분해된다.

도 43에서, 각각의 라인 패턴은 픽업으로부터 증가되는 거리를 보여준다. 각각의 픽업 지점에서 해당 이벤트까지의 거리를 산출하기 위해 솔리튼 위상 쉬프트가 사용되어, 이벤트 위치 판단을 가능하게 할 수 있다. 하나 이상의 실시예들에서, 비선형 전송 라인(비선형 리액턴스 소자들의 격자)이 다수의 픽업 지점들과 함께 사용될 수 있다. 이 경우, 표면은 구역들이나 스트립들로 분할될 수 있으며, 각각의 스트립을 하나의 어레이가 커버한다. 어레이는 선형적으로, 또는 인접 요소들에 두 개 이상의 연결을 가지는 매트릭스 구성으로 연결될 수 있다.

도 44는 공간 분포(spatially-distributed) 좌표 인코딩의 예를 도시한다. 하나 이상의 실시예들에서, 접촉 또는 모션 이벤트에 의해 생성된 신호로부터 디코딩되는 표면의 물리적 변동시의 좌표들을 인코딩함으로써 감지 표면에서의 상기 이벤트의 위치가 결정될 수 있다. 이러한 것의 예가 도 44의 단면으로 보여진다: 손가락(3902)이 가변하는 높이 프로파일(3906)을 가진 표면(3904)을 따라 이동할 때, 검출된 신호(3908)는 모션 방향에 따른 프로파일 변동을 반영한다. 이차원 자체 클록킹(self-clocking) 코드를 사용하여 이러한 변동 시의 위치 정보가 인코딩되며, 이어지는 좌표 디코더(3910)에 의한 신호 처리로 궤적(3912) 상의 지점들의 위치 및 속도를 재구성할 수 있다. 이 기법은 전극들의 어레이 및 관련 전자회로들을 단일 전극 및 증폭기와 함께 입력 모션을 캡처하는 어떤 질감의 표면으로 바람직하게 대체함으로써, 저비용 제스처 입력 표면들을 가져올 수 있다.

도 45는 저항성 터치 센서들과 마찰 터치의 결합 예를 도시한다. 마찰 터치는 추가 감지 방식들과 결합되어, 기존의 물리적 설계를 이용하면서 마찰 터치 기술이 제공하는 이점들로 시스템의 기능을 업그레이드하거나 두 방식 모두의 이점을 이용하도록 할 수 있다. 저항성 센서들은 보통 저항성 물질로 코팅되고 작은 거리만큼 이격된 두 계층들(4002, 4004)을 사용한다. 수직 및 수평 방향들 각각으로, 각각의 계층의 마주보는 엣지를 따라 전극들(4006, 4008)이 있을 수 있다. 터치를 통한 압력에 따라 이 계층들이 접촉하면, 터치 위치가 감지된다.

전극들은 터치의 수직 및 수평 위치를 판단하기 위해 수신기 및 전압 소스의 대안으로서 사용될 수 있다. 픽업들(4010)을 저항성 센서에서 사용되는 상부 저항성 시트(4002) 상에 놓음으로써 마찰 터치가 저항성 센서들과 결합될 수 있다. 픽업들(4010)은 상부 표면(4002)에서의 접촉 위치를 도출하는데 사용될 수 있다. 저항성 센서들은 보통 전체 엣지를 커넥터로 사용하므로, 추가되거나 분리 가능한 접촉부들이 필요할 수 있다. 신호들의 처리를 인터리빙함으로써 저항성 감지 기능이 유지될 수 있다.

이와 달리, 휴지 상태에서 하부 계층(4004)은 전압 소스와 연결되고 상부 계층(4002)은 마찰 터치를 위해 사용된다. 어떤 접촉이 하부 계층을 접촉하기 위한 충분한 힘을 가질 때, 마찰 터치 시스템은 하부 계층과의 접촉으로 야기되는 급작스러운 큰 오프셋을 검출하고, 저항성 위치 검출을 위해 저항성 시스템으로 핸드 오프하고, 그 시점에 두 시스템 모두를 이용하기 위해 인터리빙을 시작할 수 있다. 그러한 방식은 스위칭 감소 및 전력 소비 감소를 가능하게 한다.

마찰 터치는 또한 용량성 터치 센서들과 결합될 수도 있다. 도 7 및 8에 도시된 바와 같이, 용량성 센서들은 전송된 전기장의 변화를 검출함에 따라 동작한다. 두 시스템들 간 협업이 가능하도록, 용량성 센서 ASIC을 마찰 터치 시스템과 동일한 패드들에 직접 연결하여 인터리빙된 감지를 통해 공존을 실현할 수 있다. 마찰 터치가 고속 동작을 할 수 있으므로, 큰 변경없이 기존의 용량성 기술을 이용할 수 있다.

용량성 신호들은 알려진 형태 및 주파수를 가진다. 따라서, 비전송 전극들이 마찰 터치 모드에서 동작하게 하면서, 그와 함께 그 전극들이 다른 전극들에 의해 전송되는 신호를 수신하는 것이 가능하다. 그러한 경우 전통적인 주파수 도메인 필터링을 사용하거나 용량성 센서에 의해 생성된 여자 신호(excitation signal)와 협력하여 동기 필터링을 사용함으로써 마찰 터치 처리 시스템으로부터의 용량성 신호들을 거부하기 위한 필터들이 사용될 수 있다.

도 46 및 47은 유도성 터치 센서들과 마찰 터치의 결합 예를 도시한다. 와이어들의 매트릭스를 이용한 전류 펄스로 액티브 스타일러스를 여자시킴으로써 유도성 센서들이 동작한다. 라인이 여자 제공에 사용되고 있지 않으면, 이 라인들을 마찰 터치 수신기 라인으로 사용하는 것이 가능하다. 마찰 터치는 어떤 신호도 전송하지 않으므로, 그 라인들은 마찰 터치 시스템에 직접 연결될 수 있다. 라인의 일단이 고정 전위 레일(3902)에 영구적으로 부착되어 있는 경우, 그 레일은 마찰 터치 신호가 읽혀질 수 있도록 분리되어야 한다는 것을 알아야 한다. 이러한 분리는 전자 스위치(3904)를 통해 실현될 수 있다.

이와 달리 도 47에 도시된 바와 같이, 전류 펄스들을 통해 유도 시스템이 작동되는 경우, 유도 시스템은 예컨대 커패시터들(4202, 4204)을 통해 터치 표면에 용량성으로 결합되어, 전력 레일에 대한 지속적인 연결이 존재하지 않도록 할 수 있다. 마찰 터치 기술 병합의 추가 이점은 전력 사용의 감소이다. 유도성 감지는 자기장 생성을 위해 전류 흐름을 이용하므로 전력을 항상 필요로 한다. 저전력 마찰 터치 기술을 이용한 초기 접촉 검출을 통해, 접촉이 존재하지 않을 때는 유도성 센서가 불능상태로 될 수 있으며, 그에 따라 시스템이 휴지 상태일 때 큰 에너지 절감이 이루어질 수 있다.

하나 이상의 실시예들에서, 마찰 터치, 마찰 잡음, 마찰 잡음 터치, 또는 이들의 조합은 표면 탄성파, 적외선 또는 음향 터치 센서와 같은 다른 터치 센서 타입들뿐 아니라 상술한 저항성, 용량성 및 유도성 센서들 중 어느 하나와 결합될 수 있다. 마찰 터치, 마찰 잡음, 마찰 잡음 터치는 또한, 여기서 기술된 전극 타입들을 사용할 수 있으나, 도 30을 참조하여 위에서 논의된 바와 같이 마찰 터치 및 마찰 잡음 터치와 함께 사용될 수 있는 공간 분포된 좌표 인코딩 전극들은 예외로 한다.

표면 탄성파(SAW) 터치 센서들은 손가락이 접촉을 행할 때 흡수되는 초음파를 생성하는 트랜스듀서들을 이용한다. 표면은 보통 유리나 그와 비슷한 단단한 물질이다. 이 표면은 마찰 터치 시스템을 위한 픽업들을 제공하기 위해 투명한 전도성 물질로 패턴화된다. 인터리빙은 필요하지 않는데, 이는 SAW 시스템들이 위치 검출을 위해 표면 자체를 통과하는 전기 신호를 사용하지 않기 때문이다.

적외선 터치 센서들은 손가락이 접촉을 행할 때 흡수되는 적외선 광을 생성한다. 이 표면은 마찰 터치 시스템을 위한 픽업들을 제공하기 위해 투명한 전도성 물질로 패턴화된다. 적외선 시스템은 위치를 검출하기 위해 표면 자체를 통과하는 전기 신호를 사용하지 않으므로 인터리빙은 필요하지 않다.

음향 터치 센서들은 위치 검출을 위해, 어떤 객체가 감지 표면을 터치할 때 생성되는 특정 사운드를 검출한다. 이 표면은 마찰 터치 시스템을 위한 픽업들을 제공하기 위해 투명한 전도성 물질로 패턴화된다. 음향 시스템은 위치를 검출하기 위해 표면 자체를 통과하는 전기 신호를 사용하지 않으므로 인터리빙은 필요하지 않다.

특정 실시예들에서, 객체가 장치와 무선으로 상호작용할 수 있다. 객체와 장치 간 상호작용의 예들과 객체와 장치 간 상호작용 감지를 위한 방법 또는 시스템들의 예들은 위에서 충분하게 설명되었다. 본 개시는 어떤 적절한 객체가 어떤 장치와 무선으로 상호 동작할 수 있다는 것을 고려하며, 객체는 사용자의 손, 사용자 손의 일부(하나 이상의 손가락들), 수동 무기물(수동 스타일러스 등), 능동 무기물(능동 스타일러스 등), 또는 이들의 어떤 적절한 조합을 포함하나 그에 국한되지는 않는다. 특정 실시예들에서, 다수의 객체들이 동시에 한 장치와 상호 동작할 수 있다. 본 개시는 어떤 적절한 장치와 어떤 적절한 방식에 따라 무선으로 상호 동작하는 어떤 적절한 객체들을 고려한다.

특정 실시예들에서, 클라이언트 장치가 객체와 장치 간 상호작용들 중 적어도 일부 양태를 좌우하는 다수의 상호동작 모드들 중 하나에서 동작할 수 있다. 특정 실시예들에서, 적절한 상호동작 모드는 장치에 대한 객체의 근접도에 전체가, 혹은 일부가 좌우될 수 있다. 도 48a는 손(4815)과 손(4820) 같은 예시적 객체들과 상호 동작하는 디스플레이(4810)를 가진 클라이언트 장치(4805)의 예를 도시한다. 손(4815)과 손(4820)은 동일한 사용자 또는 서로 다른 사용자들에 속해 있다.

도 48a에 도시된 바와 같이, 디스플레이(4810)의 손(4815)과 같이 기준(4825) 안의 객체는 제1상호동작 영역 안에 있을 수 있으며, 그에 따라 제1상호동작 모드로 장치(4805)와 상호 동작할 수 있다. 손(4820)과 같이 기준(4825) 너머의 객체는 제2상호동작 영역 안에 있을 수 있으며, 그에 따라 제2상호동작 모드로 장치(4805)와 상호 동작할 수 있다.

도 48a의 예는 두 개의 상호동작 영역들 및 두 개의 상호동작 모드들을 도시하지만, 본 개시에서는 장치가 임의의 적절한 수의 상호동작 모드들을 가질 수 있고 그 모드 각각이 특정 상호동작 영역에 대응한다고 간주할 수 있다.. 예를 들어, 특정 실시예들에서 제1상호동작 모드는 도 48a에 도시된 바와 같이 디스플레이 바로 근처의 공간을 포함하지 않고, 디스플레이로부터 특정 거리만큼 떨어져서 시작할 수 있다. 다른 예로서, 제2상호동작 영역은 특정 실시예들에서 제3상호동작 모드에 상응하는 제3상호동작 영역이 시작될 수 있는 디스플레이로부터, 특정한 제2기준을 끝낼 수 있다. 특정 실시예들에서, 제2상호동작 영역은 객체가 장치와 상호 동작할 수 있는 범위까지 멀리 확장될 수 있다. 도 48a는 디스플레이(4810)에 대해 상대적으로 수직 방향으로 층을 이루는 상호동작 영역들을 도시하고 있으나, 본 개시는 상호동작 영역들이 디스플레이(4810)에 대해 대략적으로 평행한 차원과 같이 어떤 다른 적절한 차원으로 층을 이룰 수도 있다는 것을 고려한다.

도 48a에서 기준(4825)으로 나타낸 것과 같이, 기준은 물리적 공간 안에서 두 특정 상호동작 영역들을 분리하는 점들에 해당할 수 있다. 기준은 객체가 상호 동작하는 장치나 장치 표면과 다른 모양을 취할 수 있다. 본 개시는 기준이 어떤 적절한 모양을 가질 수 있다고 간주한다. 특정 실시예에서, 기준의 모양은 장치, 장치와 상호 동작하는 객체, 사용자 설정, 소프트웨어 환경, 정황, 또는 어떤 다른 적절한 요소에 따라 가변될 수 있다.

특정 실시예들에서, 상호동작 영역은 제1상호동작 영역 및 제2상호동작 영역에 대해 각기, 특정 상호동작 모드에 대응하는 상호동작 영역의 크기를 한정하는 경계들(4830 및 4835)을 포함할 수 있다. 특정 실시예에서, 경계들은 적어도 일부가 장치, 장치와 상호 동작하는 객체, 사용자 설정, 소프트웨어 환경, 정황, 또는 어떤 다른 적절한 요소에 따라 결정될 수 있다. 예를 들어 경계들은, 객체가 상호동작을 감지하는 센서에 의해 수신되는 불충분한 신호 세기로 인해 장치와 더 이상 유효하게 상호 동작할 수 없는 거리로 결정될 수 있다. 도 48a에 도시된 바와 같이, 상호동작 영역을 한정 짓는 경계들은 객체가 상호 동작하는 장치의 경계들보다 크거나 상이할 수 있다.

특정 실시예들에서, 상호동작 모드는 객체와 장치 사이의 상호동작의 양상을 판단할 수 있다 그러한 양상은 상호동작이 검출되거나 처리되는 방식 및 그러한 상호동작에서 비롯되는 기능이나 사용자 경험을 포함할 수 있다. 예를 들어, 제1상호동작 모드에서, 장치에 대한 객체나 객체의 일부에 대한 정확한 (가령, 이차원 또는 삼차원) 좌표가 산출될 수 있다. 예를 들어 제1상호동작 모드에서, 장치에 대한 사용자의 손가락 위치가 산출될 수 있다.

특정 실시예들에서, 그러한 위치 산출은 객체와 장치 사이의 상호동작을 검출하는 센서(들)이 사용할 수 있는 최상의 분해능으로 이루어질 수 있다. 예를 들어, 장치는 객체에 의해 야기된 EMI의 변화를 검출하기 위해 하나 이상의 전극들을 가질 수 있다. 이 예에서, 사용자의 손가락 위치는 전극 레벨이나(가령, 그 위치는 가장 가까운 전극에 대해 산출됨), 가능한 경우 서브 전극 레벨에서 산출될 수 있다.

예를 들어 도 48a에서, 손(4815)의 손가락(들)은 각각의 손가락에 가까운 가장 가까운 전극에 대해 계산될 수 있다. 특정 실시예들에서, 제1상호동작 모드는 터치 상호동작, 호버링, 또는 이들의 어떤 적절한 조합을 포함하는 상호동작을 처리할 수 있다. 예를 들어 사용자는 터치 디스플레이를 접촉하여 터치 디스플레이와 상호 동작할 수 있고, 디스플레이 위에서, 그리고 제1상호동작 영역 안에서 하나 이상의 제스처를 수행할 수 있으며, 그런 다음 다시 디스플레이와 터치를 통해 상호 동작할 수 있다.

특정 실시예들에서, 제2상호동작 모드 내, 장치와 상호 동작하는 객체의 위치는 제1상호동작 모드에서 보다는 조잡하게 판단될 수 있다. 예를 들어 객체에 의해 야기된 EMI 감지를 위한 전극들을 가진 장치가 제2상호동작 모드에서, 다수의 전극들을 사용하여 객체의 위치를 산출할 수 있다.

예를 들어, 도 33에 도시된 전극 레이아웃의 예를 참조하면, 제2상호동작 모드에서 상호 동작하는 객체가 개별 전극들에 대해서가 아닌, 좌측하부 사분면(즉, 좌측 하부의 9 개의 전극들)에 대해 위치할 수 있다. 객체가 장치에 대해 이동하면서, 객체가 가장 가깝다고 판단되는 9 개의 전극들로 객체의 위치가 매핑될 수 있다. 그에 따라 객체의 이동은 매핑의 변화를 통해 판단될 수 있다. 따라서, 위의 예에서 매핑을 바꾸기에는 불충분한 작은 모션들은 검출되거나 처리되지 않을 수 있으나, 한 행이나 열만큼 매핑을 바꾸기 충분한 큰 모션들은 판단되어 처리될 수 있다.

도 48b는 제1상호동작 모드 및 제2상호동작 모드에서 객체의 모션이 어떻게 결정되는지의 차이점들을 예시한다. 플로우 4850은 좌에서 우로, 제1상호동작 모드에서 동작하는 장치의 전극 구성을 통해 검출되는 예시적 모션을 도시한다. 각각의 정사각형은 전극을 나타내며, 검은 정사각형은 판단된 객체의 위치를 나타낸다. 플로우 4850은 제1상호동작 모드에서 객체의 위치가 전극당 분해능으로 판단됨을 도시한다. 플로우 4860은 제2상호동작 모드에서 동작하는 동일한 장치의 전극 구성을 통해 검출되는 모션의 예를 도시한다. 객체의 모션은 플로우 4850에서와 동일하다.

플로우 4860이 도시하듯이, 제2상호동작 모드에서의 객체의 모션은 좀 더 조악하게 판단될 수 있고, 그에 따라 제1상호동작 모드에서 검출되거나 처리되는 움직임들이 제2상호동작 모드에서는 검출되거나 처리되지 못할 수 있다. 그러나, 객체의 일반적인 모션은 여전히 제2상호동작 모드에서 검출된다. 도 48b는 장치와 객체의 상호동작을 검출하기 위한 전극 구성의 예를 도시하나, 본 개시는 객체와 장치 사이의 상호동작을 검출하기 위한 어떠한 적절한 센서 구성도 고려한다.

특정 실시예들에서, 객체가 제2상호동작 영역 안에서 장치에 가깝게, 혹은 그로부터 멀리 이동할 때, 객체 위치에 대한 기준으로 사용되는 전극들의 수는 각 경우에 줄거나 늘어난다, 예컨대 객체로부터 전극들에 의해 수신되는 신호 세기가 증가한다. 이 예가 예시한 바와 같이, 제2상호동작 모드에서 장치는 제1상호동작 모드에서 사용되는 특수성을 가지고 객체의 위치를 확인할 수는 없다고 해도, 제스처들과 같은 여러 상호동작들에 적합한 객체의 위치 및 모션을 검출할 수 있다. 예를 들어 제2상호동작 모드에서 장치는 도 48b의 플로우 4860이 예시하는 우측 상부 모션 프로파일을 보이는 제스처와 같이 장치에 대해 이루어지는 스위핑 제스처들을 판단할 수 있다.

특정 실시예들에서, 제2상호동작 모드는 사용자에게 제1상호동작 모드에서 제공되는 것과는 상이한 기능 또는 상이한 인터페이스를 제공할 수 있다. 도 49a-b는 이러한 실시예들의 예를 도시한다. 도 49a는 제1상호동작 모드에서(즉, 경계 4925로 구획되는 제1상호동작 영역 안에서) 장치(4905)와 상호 동작하는 사용자의 손(4915)을 예시한다. 도 49b는 제2상호동작 모드에서(즉, 경계 4925로 구획되는 제2상호동작 영역 안에서) 장치(4905)와 상호 동작하는 사용자의 손들(4920A 및 4920B)을 예시한다.

도 49b에 도시된 바와 같이, 제2상호동작 모드는 손(4902B)이 수행하는 꼬집기 제스처들과 같은 손의 움직임을 검출할 수 있다. 또, 제2상호동작 모드는 포인팅 기능을 제공할 수 있다. 예를 들어, 손(4920A)이 장치(4905)를 가리키고 있을 때, 객체가 상호 동작하는 사용자 인터페이스의 부분을 가리키기 위한 포인터(4940)가 디스플레이 상에 디스플레이 될 수 있다. 객체의 위치는 제2상호동작 모드에서 제1상호동작 모드에서보다 조악하게 결정될 것이기 때문에, 결정된 위치는 위치를 결정하는데 사용되는 분해능 보다 작은 아이콘들이나 텍스트 객체들과 같은 그래픽 객체들과의 상호동작을 구별하기에는 다소 부정확하거나 부적절할 수 있다. 따라서, 특정 실시예들에서 디스플레이된 포인터(4940)가 정확한 사용자 상호동작을 용이하게 할 수 있다.

특정 실시예들에서, 사용자가 제2상호동작 모드에서 장치와 상호 동작할 때, 그리드 등에서와 같이 하나 이상의 소정 점들이 디스플레이 상에 디스플레이 될 수 있다.

도 50a-b는 이러한 특성의 예를 도시한다. 도 50a는 제2상호동작 영역에서 장치(5005)와 상호 동작하는 사용자의 손(5020)을 도시한다. 그리드(5040)가 장치(5005)에 의해 디스플레이 되며, 포인터(5045)는 손(5020)이 장치(5005)를 가리키고 있다고 판단된 위치에 존재한다.

도 50b에서, 손(5020)이 우측으로 이동하였고, 그에 따라 포인터(5045) 또한 우측으로 이동하여 손(5020)이 가리키는 장치(5005) 상의 위치에 대한 장치(5005)의 최선의 추정치를 가리킨다. 특정 실시예들에서, 포인터는 손이 가리키고 있다고 판단된 가장 가까운 그리드 지점에서 UI와 상호 동작할 수 있다. 특정 실시예들에서, 포인터는 사용자 손의 이동의 결과로서, 그리드의 라인들을 따라, 또는 그 라인들 사이에서 이동할 수 있다. 특정 실시예들에서, 그리드는 도 50a-b에 예시된 것과 같이 직사각형과 같은 소정 모양을 취할 수 있고, 다른 적절한 모양을 취할 수도 있다.

특정 실시예들에서, UI는 장치의 홈 스크린 상의 아이콘들이나 웹 페이지 상의 객체들과 같이 상호 동작하는 그래픽 객체들이 균일하지 않게 이격되어 있는 경우에도, 그 객체들에 상응하는 지점들을 가지는 그리드를 디스플레이 할 수 있다. 특정 실시예들에서, 제2상호동작 모드로의 전환 직후, 제2모드가 개시되면 객체의 추정 위치에 포인터가 나타날 수 있다. 특정 실시예들의 제2상호동작 모드에서 포인터는, 사용자 설정, 애플리케이션 설정, 정황, 또는 어떤 다른 적절한 요소에 의해 미리 정해진 위치와 같은 소정 위치에서 나타날 수 있다.

특정 실시예들의 제2상호동작 모드에서, 객체의 특성들은 제1상호동작 모드에서 보다 조악하게 검출될 수 있다. 예를 들어 제1상호동작 모드는 한 손가락으로 취한 스와이핑 제스처와 여러 손가락으로 취한 스와이핑 제스처 사이를 구별할 수 있다. 마찬가지로, 제1상호동작 모드에서는 세 손가락으로 취해진 핀칭(꼬집기) 제스처가 두 손가락으로 위한 핀칭 제스처와 구별될 수 있다. 반대로 제2상호동작 모드에서는 스와이핑 제스처가 그 제스처에 수반되는 손가락 개수 분석이나 검출 없이 객체(가령, 손가락들이나 손 전체)의 모션을 분석하여 전체적으로 판단될 수 있다.

특정 실시예들에서 제1상호동작 모드는 객체 부분의 다른 부분들에 대한 모션(가령 전반적 손 모션에 대해 움직이는 개별 손가락들의 모션)을 검출할 수 있고, 제2상호동작 모드에서는 객체의 전반적 모션(가령 객체의 질량 중심에 따라 결정됨) 또는 객체의 가장 두드러진 특징이 검출되거나 처리될 수 있다. 그러나 제2상호동작 모드 역시, 각자 움직이는 두 손과 같은 두 개의 서로 다른 객체들을 판단 및 구별할 수 있다.

특정 실시예들의 제스처들의 모음은 제2상호동작 모드에서 이용될 수 있고, 동일하거나 상이한 제스처들은 제1상호동작 모드에서 이용될 수 있다. 예를 들어 제1상호동작 모드는 다른 부분에 대해 움직이는 객체의 부분을 포함하는 제스처들과 같이 제2상호동작 모드에서 포함되는 것보다 복잡한 제스처들을 포함할 수 있다. 특정 실시예들에서, 특정 제스처와 같이 특정 상호동작과 관련된 기능은 다양한 상호동작 모드들마다 상이할 수 있다.

본 개시는 모든 적절한 제스처들을 고려한다. 한정하는 것이 아닌 예로서, 제스처들은 포인팅, 스와이핑, 태핑, 핀칭, 두 손으로 취해진 제스처, 무기물을 사용하는 제스처, 또는 이들의 어떤 적절한 조합을 포함한다. 본 개시는 예를 들어, 하나 이상의 전극들에 의해 검출되는 EMI 신호의 변동과 같이, 객체에 반응하여 하나 이상의 센서들에 의해 검출되는 신호의 진폭, 위상 또는 주파수의 변화를 검출하는 것과 같은 모든 적절한 제스처 감지 방법을 고려한다. 본 개시는 제스처들이 제1상호동작 모드 및 제2상호동작 모드 둘 모두에서 서로 다른 분해능이나 정밀도를 가지고 검출될 수 있다고 간주한다.

특정 실시예들에서, 상호동작 모드는 장치에 대한 객체의 근접도에 기반하여 선택될 수 있다. 본 개시는 근접도를 판단하거나, 추정하거나 나타내기 위한 모든 적절한 측정 또는 계측법이 사용될 수 있다고 간주한다. 예를 들어 특정 실시예들에서, 근접도는 객체에 의해 야기되어 센서에 의해 검출된 신호의 진폭으로 판단될 수 있다.

예를 들어 장치는 하나 이상의 주파수 대역들에서 EMI의 변화를 감지하는 전극들의 어레이를 사용하여 객체의 존재를 검출할 수 있다. 장치는 하나 이상의 전극들이 수신한 신호들을 기준 신호 레벨과 비교할 수 있다. 신호가 기준보다 위에 있을 때, 장치는 상호동작 처리를 위해 제1상호동작 모드를 선택할 수 있다. 신호가 기준보다 아래에 있을 때, 장치는 상호동작 처리를 위해 제2상호동작 모드를 선택할 수 있다. 예를 들어 도 48a에서, 기준(4825)은 검출된 신호의 진폭이 특정 값 이하로 떨어지는 공간 내 점들을 가리킬 수 있다. 본 개시는 기준을 결정하기 위해 모든 적절한 신호 또는 신호의 양태가 사용될 수 있다고 간주한다. 본 개시는 기준(들)이 미처리 신호, 부분 처리 신호, 또는 전처리 신호에 적용될 수 있다고 간주한다.

특정 실시예들에서, 장치나 장치 표면으로부터의 객체의 거리가 장치에 대한 객체의 근접도 판단에 사용될 수 있다. 예를 들어 장치는 어떤 객체가 장치의 디스플레이에서 특정 거리만큼 떨어져 있음을 검출할 수 있다. 검출된 거리는 기준 거리와 비교될 수 있고, 그에 따라 상호동작 모드가 선택된다. 예를 들어 도 48a의 기준(4825)은 디스플레이(4805)로부터의 거리와 관련될 수 있다. 거리는 카메라들(가령, DOF(Depth of Field) 또는 TOF(Time of Flight) 카메라들)을 이용하거나, 소정 거리들에서 객체들의 크기를 비교하거나, EMI/커패시턴스 측정치들을 이용하거나, 근접 센서, 광 센서, 또는 거리를 측정하도록 설계된 센서들과 같은 다양한 센서들을 이용하여 측정될 수 있다.

거리의 기준은 어떤 적절한 요소들에 기반하여 가변될 수 있다. 예를 들어 디스플레이의 크기가 기준에 영향을 줄 수 있다. 아주 큰 디스플레이 근처에 있는 사용자는 디스플레이의 어떤 부분으로부터 상대적으로 멀거나 그 부분에 도달하지 못할 수 있다. 따라서, 특정 실시예들에서 장치는 제2상호동작 모드를 선택하여 사용자가 정확한 포인팅, 호버링 및/또는 터치보다는 제스처들을 통해 그러한 부분들과 상호작용할 수 있게 한다. 또한 특정 실시예들에서 제2상호동작 모드는 디스플레이와 사용자의 상호동작 영역의 포인터 같은 그래픽 표시자를 제공할 수 있다. 따라서 디스플레이로부터 상대적으로 먼 상호동작 영역을 정확히 판단하는데 있어서의 사용자의 무능력(inability)이 완화될 수 있다.

특정 실시예들에서 특정 상호동작 모드는 제1디스플레이나 디스플레이의 일부와 같은 장치의 일부와의 상호동작들을 통제할 수 있고, 다른 상호동작 모드는 제2디스플레이나 디스플레이의 다른 부분과 같은 장치의 다른 부분과의 상호동작을 통제한다. 예를 들어 사용자가 매우 큰 디스플레이에 가까이 있을 때, 사용자는 제2상호동작 모드에 따라 사용자에게서 가장 먼(사용자가 닿을 수 없는) 디스플레이의 부분들과 상호 동작할 수 있고, 제1상호동작 모드에 따라 사용자가 닿을 수 범위 안에서 디스플레이의 부분들과 상호 동작할 수 있다.

특정 실시예들에서 기계 학습에 기반하여 하나 이상의 기준들이 결정될 수 있다. 예를 들어, 사용자가 제1상호동작 모드에서 반복적으로 상호동작들을 취소하고 있다면, 장치는 그것을 하나 이상의 기준들을 조정하라는 입력으로 사용하여, 앞으로 비슷한 조건에서 이루어지는 상호동작들을 제2상호동작 모드에 따라 처리되게 할 수 있다.

특정 실시예들에서 기준들은 사용자에 고유할 수 있다. 특정 실시예들에서, 어떤 기준은 장치와 상호 동작하는 객체들이나 사용자들의 수에 좌우될 수 있다. 특정 실시예들에서, 사용자는 제1상호동작 모드에 따라 디스플레이와 상호 동작할 수 있고, 그 디스플레이와 동시에 상호 동작하는 다른 사용자는 제2상호동작 모드에 따라 상호 동작할 수 있으며, 이는 특정 실시예에서 제2사용자가 디스플레이에 대해 제1사용자와 같은 거리에 있거나 제1사용자가 사용하는 객체가 제2사용자가 사용하는 객체만큼 잘 해석될 수 있을 경우라도 그러하다.

특정 실시예들에서, 기준은 사용자나, 사용자가 장치의 디스플레이와 상호 동작하는 애플리케이션과 같은 애플리케이션에 의해 결정될 수 있다. 예를 들어 게임 같은 애플리케이션은 가령 날씨 애플리케이션보다 정밀한 상호작용을 선호하거나 요할 수 있다. 따라서, 특정 실시예들에서 게임 애플리케이션은 실현 가능할 때 제1상호동작 모드를 선호 또는 요할 수 있고, 그에 따라 기준을 설정할 수 있다. 다른 예로서, 사용자가 제2상호동작 모드가 일어나는 거리에 관한 환경을 구체화할 수 있고, 장치는 그러한 설정을 이용하여 기준 거리를 산출할 수 있다.

특정 실시예들에서 기준은 가변 할 수 있다. 예를 들어 EMI 신호들을 검출하기 위한 기준은 객체 검출에 사용되는 대역(들)에 따라 가변할 수 있다. 다른 예로서, 기준은 신호대 잡음비에 따라 가변 할 수 있다. 또 다른 예로서 기준은 객체 검출에 사용되는 감지 기술에 따라 가변 할 수 있다. 예를 들어 여러 기준들이 광학 센서, EMI 센서, 용량성 터치 센서의 출력에서 비롯된 거리 추정치들에 적용될 수 있다. 특정 실시예들에서, 기준은 장치에 대한 객체(또는 객체의 양태)의 위치나 모션에 대한 신뢰도나 확실성의 추정치에 대응할 수 있다. 예를 들어 사용자의 손에 의해 야기되는 신호 세기에 기반하는 기준은, 감지 기술이 사용자 손의 개별 손가락들을 분해할 수 있다는 신뢰도에 좌우될 수 있다. 신뢰도가 낮으면(가령, 신뢰도 기준 대비), 장치는 제2상호동작 모드에서 동작할 수 있다. 신뢰도가 높으면, 장치는 제1상호동작 모드에서 동작할 수 있다.

특정 실시예들에서, 상호동작 모드는 신호 세기의 분석, 거리, 사용자 설정, 및 애플리케이션 설정들과 같은 요소들의 어떤 적절한 조합에 기반하여 선택될 수 있다. 특정 실시예들에서, 이 요소들 중 하나 이상이 가중될 수 있다.

특정 실시예들에서, 장치는 객체의 근접도를 나타내는 다수의 서로 다른 감지 기술들로부터의 입력을 수신할 수 있다. 예를 들어 장치는 객체의 EMI 변동에서 비롯된 신호, 터치 콘트롤과 용량성으로 결합하는 객체로부터 비롯된 신호, 및 객체를 검출하는 광학 센서로부터의 신호를 수신할 수 있다. 이러한 감지 기술들 각각으로부터의 입력은 객체의 근접도 및 그에 따른 적절한 상호동작 모드를 결정하는데 사용될 수 있다. 특정 실시예들에서, 여러 감지 기술들로부터의 입력은 예컨대 객체를 정확히 검출하는 감지 기술의 능력의 추정치들에 따라 가중될 수 있다. 특정 실시예들에서, 여러 기준들이 여러 감지 기술들에 적용될 수 있다.

특정 실시예들에서, 장치는 다른 상호동작 모드의 상호동작들을 처리하는데 사용되는 것과는 다른 또는 추가적인 감지 기술들을 이용하여 특정 상호동작 모드의 상호동작들을 처리할 수 있다. 예를 들어, 제1상호동작 모드에서, 장치는 가까운 거리에서 상대적으로 높은 분해능을 가지는 감지 기술을 이용할 수 있다. 다른 예로서, 제2상호동작 모드에서, 장치는 먼 거리에서 상대적으로 높은 감도를 가지는 감지 기술을 이용할 수 있다. 다른 예로서, 장치는 제1상호동작 모드에서 상호동작들을 처리하기 위해 용량성 터치 감지 기술을 이용할 수 있고, 제2상호동작 모드에서 상호동작들을 처리하기 위해 EMI 감지 기술을 이용할 수 있다.

특정 실시예들에서, 장치는 특정 모드에서 제1감지 기술을 이용하여 상호동작들을 처리할 수 있고, 적절한 상호동작 모드를 결정하기 위해 제2감지 기술을 이용할 수 있다. 특정 실시예들에서, 장치는 선택된 상호동작 모드에 따라 객체와 장치 간의 상호동작을 처리하기 위해 여러 감지 기술들로부터의 입력을 이용할 수 있다.

상술한 바와 같이, 특정 실시예들에서, 장치는 장치의 상호동작 모드가 변경되었음을 사용자에게 통지하는 피드백을 사용자에게 제공할 수 있다. 이 피드백은 그래픽 통지, 청각적 통지, 촉각적 통지와 같은 어떤 적절한 형태, 또는 어떤 다른 적절한 형태를 취할 수 있다. 특정 실시예들에서, 장치는 장치 현재 속해 있는 특정 상호동작 모드를 식별하는 피드백을 사용자에게 제공할 수 있다.

본 개시는 그래픽, 텍스트, 사운드, (LED 등으로부터의) 광, 또는 이들의 어떤 적절한 조합과 같은 적절한 피드백을 고려한다. 예를 들어, 포인터는 상호동작 모드에 따라 상이한 크기 또는 그래픽 외양을 가질 수 있다. 다른 예로서, 장치는 장치가 속해 있는 상호동작 모드를 나타내는 하나 이상의 아이콘들을 디스플레이 할 수 있다. 도 51은 아이콘들의 예를 도시한다. 아이콘들(5105A, 5110A, 및 5115A) 각각은 상호동작들이 제1상호동작 모드에 따라 처리되고 있음을 확인할 수 있게한다. 아이콘들(5105B, 5110B, 및 5115B) 각각은 상호동작들이 제2상호동작 모드에 따라 처리되고 있음을 확인할 수 있게 한다.

특정 실시예들에서, 아이콘들(5110A-B 및 5115A-B) 등의 아이콘들은 각자의 콘텐츠를 동적으로 업데이트하여, 예를 들어 검출된 상호동작의 거리(아이콘 5110A-B에 의해 예시됨)나 검출된 상호동작의 신호 세기(아이콘 5115A-B에 의해 예시됨)를 디스플레이 할 수 있다. 특정 실시예들에서, 장치는 특정 상호동작 모드에서 이용 가능한 제스처들 등의 기능을 식별하는 그래픽 또는 사운드를 제공할 수 있다.

도 52는 상호동작 모드를 구현하기 위한 예시적 구성요소들을 가진 시스템 예를 도시한다. 이 시스템은 전처리 시스템(5210), 처리 시스템(5220) 및 모드 선택 시스템(5230)을 포함할 수 있다. 시스템은 하나 이상의 센서들로부터 입력을 수신하고, 신호를 처리하고, 상호동작 모드를 선택하고, 선택된 상호동작 모드에 적합한 출력을 제공할 수 있다.

특정 실시예들에서, 전처리 시스템(5210)은 전극 등과 같은 센서에 의해 수신된 미가공 신호를 필터링 및 디지털화하 하기 위한 하이 임피던스 증폭기 및 아날로그-디지털 컨버터를 포함할 수 있다. 특정 실시예들에서 전처리 시스템(5210)은, 특정 실시예들에서 처리 시스템(5220)에 의해 수행되는 동작으로부터 이득 조정 입력을 수신할 수 있는 이득 제어를 포함할 수 있다.

특정 실시예들에서 시스템(5200)은 수신된 신호에 적용되는 이득을 가변 할 수 있다. 예를 들어, 시스템(5200)은 신호를 포화시키지 않고 수신 신호의 신호 대 잡음비를 극대화하기 위해 이득을 조정할 수 있다. 특정 실시예들에서, 신호에 적용되는 이득은 상호동작 모드들 사이 및/또는 그 안에서 가변 될 수 있다. 예를 들어 장치가 제1상호동작 모드에 있을 때는 제1이득이 적용될 수 있고, 장치가 제2상호동작 모드에 있을 때는 제1이득보다 높은 제2이득이 적용될 수 있다.

다른 예로서, 제1이득은 장치의 디스플레이에서 아주 가까운 제1상호동작 모드의 상호동작들에 적용될 수 있고, 디스플레이로부터 먼 제1상호동작 모드의 상호동작들에는 제2이득을 적용할 수 있다. 예를 들어, 장치는 객체가 디스플레이에서 3cm 안에 있을 때 제1이득을 적용할 수 있고, 객체가 제1상호동작 모드에 따라 장치와 여전히 상호동작하고 있을 수 있다 하더라도 객체가 3cm 너머에 있을 때는 더 높은 이득인 제2이득을 적용할 수 있다. 특정 실시예들에서, 신호에 적용되는 이득은 신호 감지에 사용되는 감지 기술에 따라 가변 될 수 있다.

특정 실시예들에서 처리 시스템(5220)은 전처리 시스템(5210)으로부터 수신된 신호를 처리한다. 처리 시스템(5220)은 신호에 대해, 잡음 특징화, 잡음 소스 선택, 및 원치 않는 신호 거부와 같은 어떤 적절한 처리를 수행할 수 있다. 처리 시스템(5220)은 또한, 예시적 모드 선택 시스템(5230)을 이용하여 모드 선택을 수행할 수 있다. 모드 선택 시스템(5230)은 처리된 신호를 수신하여 여기에 기술된 기능들을 수행함으로써 장치에 대한 객체의 근접도를 판단할 수 있다. 모드 선택 시스템(5230)은 그 근접도에 따라, 적절한 상호동작 모드를 선택할 수 있다.

예를 들어 도 52에 도시된 바와 같이, 모드 선택 시스템(5230)은 EMI 신호와 같이 처리된 신호의 진폭을 거리 추정치로 변환할 수 있다. 모드 선택 시스템(5230)은 거리 추정치를 사용하여, 예컨대 추정된 거리를 기준 거리와 비교함으로써 적절한 상호동작 모드를 선택할 수 있다. 특정 실시예들에서, 이어지는 프로세싱은 선택된 상호동작 모드에 따라, 예컨대 객체나 객체의 특정 특성들에 대한 위치 추정, 제스처 인식, 또는 어떤 다른 적절한 처리를 수행함으로써 신호를 처리할 수 있다. 예시적 모드 선택 시스템(5230)은 거리 측정치들에 기반한 상호동작의 선택을 예시하고 있으나, 본 개시는 모드 선택 시스템이 신호 진폭을 기준 신호 진폭과 비교하는 것과 같은 어떤 적절한 근접도 판단에 따라 상호동작 모드를 선택할 수 있다는 것을 고려한다.

특정 실시예들에서, 시스템(5200)은 출력(5240)을 제공할 수 있다. 예를 들어 제1상호동작 모드에서 출력(5240)은 정밀 위치 데이터를 포함할 수 있고, 제2상호동작 모드에서 출력(5240)은 객체의 벌크 이동을 반영한 제스처 데이터를 포함할 수 있다. 이 명세서에서 보다 충분하게 기술한 바와 같이, 출력(5240)은 상호동작과 관련된 적절한 기능을 판단하고/하거나 사용자에게 적절한 피드백을 제공하기 위해 사용될 수 있다.

도 53은 상호동작 모드를 구현하기 위한 방법 예를 도시한다. 이 방법은 장치에 대한 객체의 근접도가 판단되는 단계 5310에서 시작될 수 있다. 상술한 바와 같이, 객체의 추정 거리나 수신 신호의 세기와 같은 임의의 적절한 계측치나 측정치에 따라 그러한 판단이 이루어질 수 있다.

단계 5320에서, 상기 판단된 근접도가 기준 근접도와 비교된다. 특정 실시예들에서, 단계 5330에 예시된 바와 같이, 상기 비교는 판단된 근접도가 기준보다 적은지 여부를 결정할 수 있다. 그러나, 본 개시는 임의의 적절한 비교 및 그 비교결과에 따른 판단이 이루어질 수 있다고 간주한다. 예를 들어 상호동작 모드를 구현하기 위한 방법은, 판단된 근접도가 기준보다 큰지 여부를 결정하는 단계를 포함할 수 있다. 상술한 바와 같이 단계들 5320 및 5330은 임의의 적절한 근접도 검출 기술에 적용되는 임의의 적절한 개수의 기준치들에 대해 반복될 수 있다. 단계들 5340A 및 5340B에서, 제1 또는 제2상호동작 모드가 단계 5330의 결정 결과에 따라 선택된다.

단계 5350에서, 상기 선택된 상호동작 모드에 따라 장치 및 객체 간 상호동작들이 처리된다. 이 방법은 단계 5350에서 종료될 수 있다. 이 방법은 단계들 5310-5350을 주기적으로, 혹은 연속적으로 반복할 수 있다. 특정 실시예들은 적절하다면 도 53의 하나 이상의 단계들을 반복할 수 있다. 본 개시가 도 53의 방법의 특정 단계들이 특정 순서로 일어나는 것으로 기술하고 도시하지만, 본 개시는 도 53의 방법의 어떤 적절한 단계들이 임의의 적절한 순서로 일어난다고 간주한다.

또한, 본 개시가 도 53의 방법의 특정 단계들을 포함하는 상호동작 모드 구현 방법의 예를 기술하고 예시하지만, 본 개시는 적절하다면 도 53의 방법의 단계들 전부, 또는 그 일부, 또는 그 중 어느 것도 포함하지 않을 수 있는 임의의 적절한 단계들을 포함하는 임의의 적절한 상호동작 모드 구현 방법을 고려한다. 또한 본 개시가 도 53의 방법 중 특정 단계들을 수행하는 특정 구성요소, 장치들, 또는 시스템들을 기술하고 예시하지만, 본 개시는 도 53의 방법 중 임의의 적절한 단계들을 수행하는 임의의 적절한 구성요소, 장치들, 또는 시스템들을 고려한다.

본 개시는 특정 장치나 센서에 의해 검출되거나 수신되거나 처리되거나 제공되는 기능이 임의의 적절한 통신 기술을 이용하여 임의의 적절한 수의 네트워킹 된 장치들이나 센서들에 의해 검출되거나 수신되거나 처리되거나 제공될 수 있다고 간주한다. 예를 들어, 하나 이상의 클라이언트 장치들, 하나 이상의 서버 장치들, 또는 이들의 어떤 적절한 조합에서 처리가 일어날 수 있다. 다른 예로서, 클라이언트 장치는, 장치 상의 센서를 이용하거나 장치와 직접 통신하거나 하나 이상의 중간 컴퓨팅 장치들을 거쳐 장치와 간접 통신하는 센서로부터의 데이터를 이용하여, 장치에 대한 객체의 근접도를 검출할 수 있다.

도 54는 두 개의 상호동작 모드를 구현하기 위한 방법 예를 도시한다. 그 방법은 감지부(5405)(예컨대 도 52의 전처리 시스템(5210)의 입력 센서 등), 제어부(5410)(예컨대 도 52의 처리 시스템(5220) 등), 및 예를 들어 장치의 디스플레이와 같은 출력부(5415)를 사용할 수 있다.

도 54의 방법은 감지부(5405)로부터 객체의 입력 거리(5420)를 측정하거나 감지부(5405)에서 객체에 의해 생성된 EMI 신호(5425)를 측정하는 등, 상호동작 모드를 결정하기 위해 감지부(5405)에 의해 입력을 결정하는 단계를 포함할 수 있다. 감지부(5405)는 감지된 입력을 처리하기 전이나 후에 그 입력을 제어부(5410)로 보낼 수 있다. 제어부(5410)는 포인팅 모드(5430)나 제스처 모드(5440)와 같은 적절한 상호동작 모드를 결정할 수 있다. 감지부(5405)로부터 입력을 수신한 후, 제어부(5410)는 현재의 상호동작 모드가 적절한지, 예컨대 모드 변경 결정(5435)에서 변경되어야 하는지 여부를 판단할 수 있다.

예를 들어 시스템이 포인팅 모드(5430)에 있다고 가정하자. 감지부(5405)로부터 입력을 수신한 후, 제어부(5410)는 상호동작 모드가 제스처 모드(5440)로 변경되어야 한다고 판단할 수 있다. 적절한 상호동작 모드에 대해 판단한 후, 제어부(5410)는 그 상호동작 모드에 따른 출력을 제공하기 위한 신호를 출력부(5415)로 전송할 수 있다. 예를 들어 제어부(5410)는 제어부(5410)가 상호동작 모드를 포인팅 모드(5430)에서 제스처 모드(5440)로 변경할 때, 출력부(5415)로 사용자 인터페이스 변경 신호를 전송할 수 있다. 그 신호에 따라, 출력부(5415)는 제스처 모드(5440)에 따른 포인터 및 그리드(5450)를 디스플레이 할 수 있다.

부가적으로, 혹은 대안적으로 출력부(5415)는 제스처 모드를 가리키는 하나 이상의 아이콘들(5455)을 디스플레이 할 수도 있다. 감지부(5405)는 사용자의 손과 같은 객체 및 시스템 간의 상호동작들을 검출할 수 있다. 예를 들어 감지부(5405)는 사용자 입력을 검출하고 처리 전이나 후에 그 입력을 제어부(5410)로 보낼 수 있다. 제어부(5410)는 입력이 하나 이상의 제스처라고 판단하고, 제스처 모드(5440)에서 그 제스처 입력을 포인팅 명령(5445)으로 변환할 수 있다. 제어부는 포인팅 명령 또는 그 명령에 기반한 어떤 적절한 신호를 출력부(5415)로 보낼 수 있고, 출력부는 예컨대, 상기 결정된 포인팅 명령에서 비롯된 감지된 상호동작(5460)을 디스플레이 할 수 있다.

본 개시가 도 54의 방법의 특정 단계들이 특정 순서로 일어나는 것으로 기술하고 도시하지만, 본 개시는 도 54의 방법의 어떤 적절한 단계들이 임의의 적절한 순서로 일어난다고 간주한다. 또한, 본 개시가 도 54의 방법의 특정 단계들을 포함하는 상호동작 모드 구현 방법의 예를 기술하고 예시하지만, 본 개시는 적절하다면 도 54의 방법의 단계들 전부, 또는 그 일부, 또는 그 중 어느 것도 포함하지 않을 수 있는 임의의 적절한 단계들을 포함하는 임의의 적절한 상호동작 모드 구현 방법을 고려한다. 또한 본 개시가 도 54의 방법 중 특정 단계들을 수행하는 특정 구성요소, 장치들, 또는 시스템들을 기술하고 예시하지만, 본 개시는 도 54의 방법 중 임의의 적절한 단계들을 수행하는 임의의 적절한 구성요소, 장치들, 또는 시스템들을 고려한다.

도 55는 두 개의 서로 다른 감지부들을 이용하여 두 개의 상호동작 모드를 구현하기 위한 방법 예를 도시한다. 위에서 보다 충분하게 기술한 바와 같이, 둘 이상의 감지 기술들이 사용되어 장치가 속해 있는 것이 어느 상호동작 모드인지를 판단하거나, 특정 상호동작 모드의 상호동작들을 검출 및 처리하거나, 그 둘 모두를 수행할 수 있다. 특정 실시예들에서, 한 감지 기술은 어떤 상호동작 모드를 선택할지를 판단하는데 사용될 수 있고, 다른 하나는 상호동작들을 검출하는데 사용될 수 있다. 특정 실시예들에서, 한 감지 기술은 특정 상호동작 모드를 선택하여 그 모드의 상호동작들을 검출하는데 사용될 수 있고, 다른 감지 기술은 다른 특정 상호동작 모드를 선택하여 그 모드의 상호동작들을 검출하는데 사용될 수 있다.

도 55의 방법은 두 개의 서로 다른 감지부들을 사용할 수 있으며, 그 두 감지부들은 용량성 측정치를 감지하는 감지부(5505)와 EMI 신호를 감지하는 감지부(5510)이다. 그 방법은 제어부(5515)(예컨대 도 52의 처리 시스템(5220) 등), 및 예를 들어 장치의 디스플레이와 같은 출력부(5520)를 사용할 수도 있다. 도 55의 방법은 감지부(5505)에 의해, 객체로부터의 용량성 감지 신호(5525)를 판단하는 단계를 포함할 수 있다.

감지부(5505)는 감지된 입력을 처리하기 전이나 후에 그 입력을 제어부(5515)로 보낼 수 있다. 제어부(5515)는 포인팅 모드(5535)나 제스처 모드(5545)와 같은 적절한 상호동작 모드를 결정할 수 있다. 감지부(5505)로부터 입력을 수신한 후, 제어부(5515)는 현재의 상호동작 모드가 적절한지, 예컨대 모드 변경 결정(5540)에서 변경되어야 하는지 여부를 판단할 수 있다. 예를 들어 시스템이 포인팅 모드(5535)에 있다고 가정하자. 입력을 수신한 후, 제어부는 상호동작 모드가 제스처 모드(5545)로 변경되어야 한다고 판단할 수 있다.

적절한 상호동작 모드에 대해 판단한 후, 제어부(5515)는 그 상호동작 모드에 따른 출력을 제공하기 위한 신호를 출력부(5520)로 전송할 수 있다. 예를 들어 제어부(5515)는 제어부(5515)가 상호동작 모드를 포인팅 모드(5535)에서 제스처 모드(5545)로 변경할 때, 출력부(5520)로 사용자 인터페이스 변경 신호를 전송할 수 있다. 그 신호에 따라, 출력부(5520)는 제스처 모드(5545)에 따른 포인터 및 그리드(5555)를 디스플레이 할 수 있다. 부가적으로, 혹은 대안적으로 출력부(5520)는 제스처 모드를 가리키는 하나 이상의 아이콘들(5560)을 디스플레이 할 수도 있다. 제스처 모드에서 감지부(5510)와 같은 다른 감지부는 사용자의 손과 같은 객체 및 시스템 간의 상호동작들을 검출할 수 있다. 예를 들어 감지부(5510)는 객체와 결합된 EMI 신호를 검출하고, 처리 전이나 후에 그 검출된 EMI 신호들을 제어부(5515)로 보낼 수 있다. 제어부(5515)는 입력이 하나 이상의 제스처라고 판단하고, 제스처 모드(5545)에서 그 제스처 입력을 포인팅 명령(5550)으로 변환할 수 있다. 제어부는 포인팅 명령 또는 그 명령에 기반한 어떤 적절한 신호를 출력부(5520)로 보낼 수 있고, 출력부는 예컨대, 상기 결정된 포인팅 명령에서 비롯된 감지된 상호동작(5566)을 디스플레이 할 수 있다.

본 개시가 도 55의 방법의 특정 단계들이 특정 순서로 일어나는 것으로 기술하고 도시하지만, 본 개시는 도 55의 방법의 어떤 적절한 단계들이 임의의 적절한 순서로 일어난다고 간주한다. 또한, 본 개시가 도 55의 방법의 특정 단계들을 포함하는 상호동작 모드 구현 방법의 예를 기술하고 예시하지만, 본 개시는 적절하다면 도 55의 방법의 단계들 전부, 또는 그 일부, 또는 그 중 어느 것도 포함하지 않을 수 있는 임의의 적절한 단계들을 포함하는 임의의 적절한 상호동작 모드 구현 방법을 고려한다. 또한 본 개시가 도 55의 방법 중 특정 단계들을 수행하는 특정 구성요소, 장치들, 또는 시스템들을 기술하고 예시하지만, 본 개시는 도 55의 방법 중 임의의 적절한 단계들을 수행하는 임의의 적절한 구성요소, 장치들, 또는 시스템들을 고려한다.

도 56은 컴퓨터 시스템(5600)의 예를 도시한다. 특정 실시예들에서, 하나 이상의 컴퓨터 시스템들(5600)이 이 명세서에 기술되거나 예시된 하나 이상의 방법들의 하나 이상의 단계들을 수행한다. 도 3의 처리 시스템(312), 도 12의 잡음 처리 시스템(1216), 도 19의 마찰 잡음 터치 처리 시스템(1916), 또는 도 52의 상호동작 모드 시스템(5200)과 같이, 이 명세서에서 기술된 프로세스들과 시스템들은 하나 이상의 컴퓨터 시스템들(5600)을 이용하여 구현될 수 있다. 특정 실시예들에서, 하나 이상의 컴퓨터 시스템들(5600)은 이 명세서에서 기술되거나 예시된 기능을 제공한다. 특정 실시예들에서, 하나 이상의 컴퓨터 시스템들(5600) 상에서 실행되는 소프트웨어가 이 명세서에 기술되거나 예시된 하나 이상의 방법들의 하나 이상의 단계들을 수행하거나 이 명세서에서 기술되거나 예시된 기능을 제공한다. 예를 들어 도 3의 처리 시스템(312), 도 12의 잡음 처리 시스템(1216), 또는 도 19의 마찰 잡음 터치 처리 시스템(1916)은 하나 이상의 컴퓨터 시스템들(5600) 상에서 실행되는 소프트웨어에 의해 수행되는 하나 이상의 방법들로서 구현될 수 있다. 특정 실시예들은 하나 이상의 컴퓨터 시스템들(5600) 중 하나 이상의 부분들을 포함한다. 여기에서, 컴퓨터 시스템에 대한 언급은 컴퓨팅 장치를 포함할 수 있고, 적절하다면 그 반대의 경우도 성립할 수 있다. 또한, 컴퓨터 시스템에 대한 언급은 적절할 경우 하나 이상의 컴퓨터 시스템들을 포함할 수 있다.

본 개시는 어떤 적절한 수의 컴퓨터 시스템들(5600)을 고려한다. 본 개시는 임의의 적절한 물리적 형태를 취하는 컴퓨터 시스템(5600)을 고려한다. 한정하는 것이 아닌 예로서, 컴퓨터 시스템(5600)은 내장형 컴퓨터 시스템, SOC(system-on-chip), 싱글 보드 컴퓨터 시스템(SBC: single-board computer system)(예를 들어 COM(computer-on-module) 또는 SOM(system-on-module) 등), 데스크탑 컴퓨터 시스템, 랩탑 또는 노트북 컴퓨터 시스템, 인터랙티브 키오스크, 메인프레임, 컴퓨터 시스템들의 망, 모바일 전화, PDA(personal digital assistant), 서버, 태블릿 컴퓨터 시스템, 또는 이들 중 둘 이상의 조합일 수 있다. 적절할 경우, 컴퓨터 시스템(5600)은 하나 이상의 컴퓨터 시스템들(5600)을 포함할 수 있고, 이들은 일원화되거나 분산되거나; 다수의 위치들에 걸쳐 있거나; 다수의 기계장치들에 걸쳐 있거나; 다수의 데이터 센터들에 걸쳐 있거나; 하나 이상의 네트워크들 내 하나 이상의 클라우드 요소들을 포함할 수 있는 클라우드 내에 상주할 수 있다. 적절할 경우, 하나 이상의 컴퓨터 시스템들(5600)은 실질적인 공간 또는 시간의 제약 없이, 이 명세서에 기술되거나 예시된 하나 이상의 방법들의 하나 이상의 단계들을 수행할 수 있다.

한정하는 것이 아닌 예로서, 하나 이상의 컴퓨터 시스템들(5600)은 이 명세서에 기술되거나 예시된 하나 이상의 방법들의 하나 이상의 단계들을 실시간으로나 배치 모드 상태로 수행할 수 있다. 하나 이상의 컴퓨터 시스템들(5600)은 적절할 경우, 이 명세서에 기술되거나 예시된 하나 이상의 방법들의 하나 이상의 단계들을 상이한 시점이나 상이한 위치에서 수행할 수 있다.

특정 실시예들에서, 컴퓨터 시스템(5600)은 프로세서(5602), 메모리(5604), 스토리지(5606), 입출력(I/O) 인터페이스(5608), 통신 인터페이스(5610), 및 버스(5612)를 포함한다. 본 개시가 측정 배열 상태의 특정 개수의 특정 구성요소들을 가진 특정 컴퓨터 시스템을 기술하고 예시하지만, 본 개시는 임의의 적절한 배열 상태의 임의의 적절한 개수의 임의의 적절한 구성요소들을 가진 임의의 적절한 컴퓨터 시스템을 고려한다.

특정 실시예들에서, 프로세서(5602)는 컴퓨터 프로그램을 구성하는 등의 명령어 실행을 위한 하드웨어를 포함한다. 프로세서(5602)는 예컨대, 도 52에 도시된 처리 시스템(5220) 또는 모드 선택 시스템(5230)을 구현하는데 사용될 수 있다. 한정하는 것이 아닌 예로서, 명령어들을 실행하기 위해 프로세서(5602)는 내부 레지스터, 내부 캐시, 메모리(5604) 또는 스토리지(5606)으로부터 명령어들을 검색하고(또는 가져오고), 그들을 디코딩 및 실행하며, 그런 다음 하나 이상의 결과들을 내부 레지스터, 내부 캐시, 메모리(5604) 또는 스토리지(5606)에 쓸 수 있다. 특정 실시예들에서 프로세서(5602)는 데이터, 명령어, 또는 어드레스를 위한 하나 이상의 내부 캐시들을 포함할 수 있다. 본 개시는 적절할 경우 임의의 적절한 수의 임의의 적절한 내부 캐시들을 포함하는 프로세서(5602)를 고려한다.

한정하는 것이 아닌 예로서, 프로세서(5602)는 하나 이상의 명령어 캐시들, 하나 이상의 데이터 캐시들, 및 하나 이상의 TLB(translation lookaside buffer)들을 포함할 수 있다. 명령어 캐시들 안의 명령어들은 메모리(5604)나 스토리지(5606) 내 명령어들의 사본들일 수 있으며, 명령어 캐시들은 프로세서(5602)에 의한 그러한 명령어들의 검색 속도를 높일 수 있다. 데이터 캐시들 안의 데이터는, 프로세서(5602)에서 동작을 위해 실행되는 명령어들에 대한 메모리(5604)나 스토리지(5606) 내 데이터; 프로세서(5602)에서 실행되는 후속 명령어들에 의해 액세스되거나 메모리(5604)나 스토리지(5606)에 쓰기 위해 프로세서(5602)에서 실행되는 이전 명령어들의 결과들; 또는 기타 적절한 데이터의 사본들일 수 있다.

데이터 캐시들은 프로세서(5602)에 의한 읽기 및 쓰기 동작들의 속도를 높일 수 있다. TLB들은 프로세서(5602)를 위한 가상 어드레스 변환의 속도를 높일 수 있다. 특정 실시예들에서 프로세서(5602)는 데이터, 명령어, 또는 어드레스를 위한 하나 이상의 내부 레지스터들을 포함할 수 있다. 본 개시는 적절할 경우 임의의 적절한 수의 임의의 적절한 내부 레지스터들을 포함하는 프로세서(5602)를 고려한다. 적절한 경우, 프로세서(5602)는 하나 이상의 산술 로직 유닛(ALU)들을 포함하거나, 멀티 코어 프로세서이거나, 하나 이상의 프로세서들(5602)을 포함할 수 있다. 본 개시가 특정 프로세서를 기술하고 예시하지만, 본 개시는 임의의 적절한 프로세서를 고려한다.

특정 실시예들에서 메모리(5604)는 프로세서(5602)가 실행할 명령어들이나 프로세서(5602)가 연산할 데이터를 저장하기 위한 주 메모리를 포함한다. 한정이 아닌 예로서, 컴퓨터 시스템(5600)은 스토리지(5606)이나 다른 소스(가령, 다른 컴퓨터 시스템(5600))으로부터 메모리(5604)로 명령어들을 로딩할 수 있다. 그런 다음 프로세서(5602)는 메모리(5604)에서 내부 레지스터나 내부 캐시로 명령어들을 로딩할 수 있다. 그 명령어들을 실행하기 위해 프로세서(5602)는 내부 레지스터나 내부 캐시에서 그 명령어들을 가져와서 디코딩 할 수 있다. 명령어들의 실행 중이나 그 후에, 프로세서(5602)는 하나 이상의 결과들(즉각적이거나 최종적인 결과들일 수 있음)을 내부 레지스터나 내부 캐시에 쓸 수 있다. 그리고 나서 프로세서(5602)는 그 결과들 중 하나 이상을 메모리(5604)에 쓸 수 있다.

특정 실시예들에서, 프로세서(5602)는 하나 이상의 내부 레지스터나 내부 캐시 또는 메모리(5604)(스토리지(5606)이나 다른 곳이 아님) 안의 명령어들만을 실행하고, 하나 이상의 내부 레지스터들이나 내부 캐시들 또는 메모리(5604)(스토리지(5606) 또는 다른 곳이 아님) 안의 데이터에 대해서만 연산한다. 하나 이상의 메모리 버스들(각각이 어드레스 버스와 데이터 버스를 포함할 수 있음)이 프로세서(5602)를 메모리(5604)에 연결시킬 수 있다. 버스(5612)는 아래에 기술되는 바와 같이 하나 이상의 메모리 버스들을 포함할 수 있다. 특정 실시예들에서, 하나 이상의 메모리 관리부(MMU)들이 프로세서(5602)와 메모리(5604) 사이에 상주하여 프로세서(5602)에 의해 요청되는 메모리(5604)로의 액세스를 용이하게 한다. 특정 실시예들에서 메모리(5604)는 RAM(random access memory)를 포함한다. 이 RAM은 적절한 경우 휘발성 메모리일 수 있으며, 적절한 경우 다이내믹 RAM(DRAM) 또는 스태틱 RAM(SRAM)일 수 있다. 또한 적절한 경우 RAM은 단일 포트 또는 멀티 포트 RAM일 수 있다. 본 개시는 임의의 적절한 RAM을 고려한다. 메모리(5604)는 적절한 경우 하나 이상의 메모리들(5604)을 포함할 수 있다. 본 개시가 특정 메모리를 기술하고 예시하지만, 본 개시는 모든 적절한 메모리를 고려한다.

특정 실시예들에서 스토리지(5606)는 데이터나 명령어들을 위한 매스 스토리지(mass storage)를 포함한다. 한정하는 것이 아닌 예로서, 스토리지(5606)는 하드 디스크 드라이브(HDD), 플로피 디스크 드라이브, 플래시 메모리, 광 디스크, 자기-광학적 디스크, 자기 테이프, 또는 USB(universal serial bus) 드라이브 또는 이들 중 둘 이상의 조합을 포함할 수 있다. 스토리지(5606)는 적절한 경우 탈착 가능하거나 탈착이 불가능한(또는 고정형) 매체를 포함할 수 있다. 스토리지(5606)는 적절한 경우 컴퓨터 시스템(5600)의 내부나 외부에 있을 수 있다.

특정 실시예들에서 스토리지(5606)는 비휘발성 반도체 메모리이다. 특정 실시예들에서 스토리지(5606)는 ROM(read only memory)를 포함한다. 적절한 경우, 이 ROM은 마스크 프로그래밍된 ROM, PROM(programmable ROM), EPROM(erasable PROM), EEPROM(electrically erasable PROM), EAROM(electrically alterable ROM), 또는 플래시 메모리 또는 이들 중 둘 이상의 조합일 수 있다. 본 개시는 임의의 적절한 물리적 형태를 취하는 매스 스토리지(5606)를 고려한다. 스토리지(5606)는 적절할 경우, 프로세서(5602) 및 스토리지(5606) 간 통신을 돕는 하나 이상의 스토리지 제어부들을 포함할 수 있다. 적절한 경우, 스토리지(5606)는 하나 이상의 스토리지들(5606)을 포함할 수도 있다. 본 개시가 특정 스토리지를 기술하고 예시하지만, 본 개시는 모든 적절한 스토리지를 고려한다.

특정 실시예들에서, I/O 인터페이스(5608)는 하드웨어, 소프트웨어, 또는 그 둘 모두를 포함하여, 컴퓨터 시스템(5600) 및 하나 이상의 I/O 장치들 간 통신을 위한 하나 이상의 인터페이스들을 제공한다. 컴퓨터 시스템(5600)은 적절한 경우 이러한 I/O 장치들 중 하나 이상을 포함할 수 있다. 이러한 I/O 장치들 중 하나 이상은 사람과 컴퓨터 시스템(5600) 사이의 통신을 가능하게 할 수 있다. 한정하는 것이 아닌 예로서, I/O 장치는 키보드, 키패드, 마이크로폰, 모니터, 마우스, 프린터, 스캐너, 스피커, 스틸(still) 카메라, 태블릿, 터치 스크린, 트랙볼, 비디오 카메라, 디스플레이 스크린, 다른 적절한 I/O 장치, 또는 이들 중 둘 이상의 조합을 포함할 수 있다. I/O 장치는 하나 이상의 센서들을 포함할 수 있다. 본 개시는 모든 적절한 I/O 장치들 및 그에 대한 모든 적절한 I/O 인터페이스들(5608)을 고려한다. 적절할 경우, I/O 인터페이스(5608)는 프로세서(5602)가 그러한 I/O 장치들 중 하나 이상을 구동할 수 있게 하는 하나 이상의 장치나 소프트웨어 드라이버들을 포함할 수 있다. I/O 인터페이스(5608)는 적절한 경우 하나 이상의 I/O 인터페이스들(5608)을 포함할 수 있다. 본 개시가 특정 I/O 인터페이스를 기술하고 예시하지만, 본 개시는 모든 적절한 I/O 인터페이스를 고려한다.

특정 실시예들에서, 통신 인터페이스(5610)는 하드웨어, 소프트웨어, 또는 그 둘 모두를 포함하여, 컴퓨터 시스템(5600) 및 하나 이상의 다른 컴퓨터 시스템들(5600) 또는 하나 이상의 네트워크들 사이에서의 통신(가령 패킷 기반 통신 등)을 위한 하나 이상의 인터페이스들을 제공한다. 한정하는 것이 아닌 예로서, 통신 인터페이스(5610)는 이더넷이나 기타 유선 기반 네트워크와의 통신을 위한 네트워크 인터페이스 제어기(NIC) 또는 네트워크 어댑터, 또는 Wi-Fi 네트워크와 같은 무선 네트워크와의 통신을 위한 무선 NIC(WNIC) 또는 무선 어댑터를 포함할 수 있다. 본 개시는 모든 적절한 네트워크 및 그에 대한 모든 적절한 통신 인터페이스(5610)를 고려한다. 한정하는 것이 아닌 예로서, 컴퓨터 시스템(5600)은 애드호크(ad hoc) 네트워크, PAN(personal area network), LAN(local area network), WAN(wide area network), MAN(metropolitan area network), BAN(body area network), 하나 이상의 인터넷 부분들 또는 이들 중 둘 이상의 조합과 통신할 수 있다. 이러한 하나 이상의 네트워크들 중 하나 이상의 부분들이 유선이거나 무선일 수 있다.

예로서, 컴퓨터 시스템(5600)은 무선 PAN(WPAN)(가령 BLUETOOTH WPAN 등), Wi-Fi 네트워크, Wi-Max 네트워크, 셀룰라 전화 네트워크(가령, GSM(Global System for Mobile Communications) 네트워크), 또는 다른 적절한 무선 네트워크 또는 이들 중 둘 이상의 조합과 통신할 수 있다. 컴퓨터 시스템(5600)은 적절한 경우 이러한 네트워크들 중 하나에 대한 임의의 적절한 통신 인터페이스(5610)를 포함할 수 있다. 통신 인터페이스(5610)는 적절한 경우 하나 이상의 통신 인터페이스들(5610)을 포함할 수 있다. 본 개시가 특정 통신 인터페이스를 기술하고 예시하지만, 본 개시는 모든 적절한 통신 인터페이스를 고려한다.

특정 실시예들에서 버스(5612)는 컴퓨터 시스템(5600)의 구성요소들을 서로 연결시키는 하드웨어, 소프트웨어, 또는 그 둘 모두를 포함한다. 한정이 아닌 예로서, 버스(5612)는 AGP(Accelerated Graphics Port) 또는 다른 그래픽 버스, EISA(Enhanced Industry Standard Architecture) 버스, FSB(front-side bus), HYPERTRANSPORT (HT) 인터커넥트, ISA(Industry Standard Architecture) 버스, INFINIBAND 인터커넥트, LPC(low-pin-count) 버스, 메모리 버스, MCA(Micro Channel Architecture) 버스, PCI(Peripheral Component Interconnect) 버스, PCIe(PCI-Express) 버스, SATA(serial advanced technology attachment) 버스, VLB(Video Electronics Standard Association local) 버스, 또는 다른 적절한 버스, 또는 이들 중 둘 이상의 조합을 포함할 수 있다. 버스(5612)는 적절한 경우 하나 이상의 버스들(5612)을 포함할 수 있다. 본 개시가 특정 버스 기술하고 예시하지만, 본 개시는 모든 적절한 버스나 인터커넥트를 고려한다.

여기서 컴퓨터 판독가능한 비일시적 저장 매체 또는 매체들은 적절하다면, 하나 이상의 반도체 기반 또는 다른 집적회로(IC)들(가령, FPGS(field-programmable gate arrays들)이나 ASIC(application-specific Ic)들) 등), 하드 디스크 드라이브(HDD)들, 하이브리드 하드 드라이브(HHD)들, 광학 디스크, 광학 디스크 드라이브(ODD)들, 자기-광 디스크들, 자기-광 드라이브들, 플로피 디스켓들, 플로피 디스크 드라이브(FDD)들, 자기 테이프들, 반도체 드라이브(SSD)들, RAM 드라이브들, SECURE DIGITAL 카드들이나 드라이브들, 어떤 다른 적절한 컴퓨터 판독가능 비일시적 저장 매체들, 또는 이들 중 둘 이상의 어떤 적절한 조합을 포함할 수 있다. 컴퓨터 판독가능 비일시적 저장 매체는 적절한 경우, 휘발성이거나 비휘발성이거나, 휘발성과 비휘발성의 조합일 수 있다.

여기서 "또는"은 명백히 다르게 지시되거나 정황에 의해 다르게 지시되는 경우가 아니라면, 배타적이지 않은 포괄적인 의미를 가진다. 따라서, 여기서 "A 또는 B"는 명백히 다르게 지시되거나 정황에 의해 다르게 지시되는 경우가 아니라면, "A, B, 또는 둘 모두"를 의미한다. 또, "그리고(및)"는 명백히 다르게 지시되거나 정황에 의해 다르게 지시되는 경우가 아니라면, 공동이면서 별개인 것을 의미한다. 따라서, 여기서 "A 및 B"는 명백히 다르게 지시되거나 정황에 의해 다르게 지시되는 경우가 아니라면, "A와 B가 공동이거나 별개"임을 의미한다.

본 개시의 범위는 이 명세서에 기술되거나 예시된 실시예들에 대해 이 분야의 일반적 기술을 가진 사람이 이해할 수 있는 모든 변경, 치환, 변동, 개조, 및 수정안들을 포함한다. 본 개시의 범위는 여기에 기술되거나 예시된 실시예들에 국한되지 않는다. 또한, 본 개시가 이 명세서에서 각각의 실시예들이 특정 구성성분, 요소, 특성, 기능, 동작, 또는 단계를 포함하는 것으로 기술하고 예시하였으나, 이러한 실시예들 중 하나는 이 명세서의 모든 곳에서 기술되거나 예시된 구성성분, 요소, 특성, 기능, 동작 또는 단계 중 어느 하나에 대해 이 분야의 일반적 기술을 가진 사람이 이해할 수 있는 조합이나 치환을 포함할 수 있다. 이하의 청구범위에서 특정 기능을 수행하도록 적응되거나, 구성되거나, 기능성이 있거나, 설정되거나, 가능하거나, 동작할 수 있거나 작용하는 장치나 시스템 또는 장치나 시스템의 구성요소에 대한 언급은, 그 장치나 시스템 또는 구성요소가 그렇게 적응되거나, 구성되거나, 기능성이 있거나, 설정되거나, 가능하거나, 동작할 수 있거나 작용하기만 한다면, 그 장치나 시스템이나 구성요소 혹은 그 특정 기능이 활성화되거나 켜지거나 잠금 해제되는지 여부와 상관없이 그 장치나 시스템이나 구성요소를 포괄한다.

Claims (15)

1. 하나 이상의 프로세서들을 포함하는 장치에 있어서,
   센서;
   명령어들을 포함하는 컴퓨터 판독가능 비일시적 저장 매체; 및
   상기 매체와 연결되어, 상기 센서로부터의 출력에 기반하여 상기 장치에 대한 객체의 근접도를 판단하고, 상기 판단된 근접도를 기준 근접도와 비교하고, 상기 비교결과에 기반하여 상기 객체 및 상기 장치 사이의 상호동작을 처리하기 위한 상호동작 모드를 선택하되, 상기 상호동작 모드는 제1상호동작 모드; 및 제2상호동작 모드 중 하나를 포함하고, 상기 선택된 상호동작 모드에 따라 상기 객체 및 상기 장치 간 상호동작을 처리하는 상기 명령어들을 실행하도록 구성되고, 상기 센서는 전극을 포함하고, 상기 근접도는 상기 전극에 의해 수신된 신호의 진폭을 포함하되, 상기 신호는 상기 객체와 결합된 환경 EMI(electromagnetic interference)에 기반하는 장치.
2. 삭제
3. 제1항에 있어서, 상기 신호는 하나 이상의 주파수 대역들 내 하나 이상의 신호들을 포함하는 장치.
4. 제1항에 있어서, 상기 근접도는 상기 장치에 대한 상기 객체의 거리를 포함하는 장치.
5. 제1항에 있어서, 상기 하나 이상의 프로세서들은 하나 이상의 사용자 환경설정에 기반하여 상기 상호동작 모드를 선택하는 명령어들을 실행하도록 더 구성되는 장치.
6. 제1항에 있어서, 상기 하나 이상의 프로세서들은 소프트웨어 애플리케이션과 관련된 데이터에 기반하여 상기 상호동작 모드를 선택하는 명령어들을 실행하도록 더 구성되는 장치.
7. 제1항에 있어서,
   상기 센서는 제1감지 기술을 이용하여 상기 객체를 검출하도록 구성된 제1센서를 포함하고,
   상기 장치는 상기 제1감지 기술과 다른 제2감지 기술을 이용하여 상기 객체를 검출하도록 구성된 제2센서를 포함하고,
   상기 하나 이상의 프로세서들은
   상기 장치가 상기 제1상호동작 모드에 있을 때, 상기 제1센서로부터의 출력에 기반하여, 상기 객체 및 상기 장치 사이의 상호동작들을 처리하고,
   상기 장치가 상기 제2상호동작 모드에 있을 때, 상기 제2센서로부터의 출력에 기반하여, 상기 객체 및 상기 장치 사이의 상호동작들을 처리하는 명령어들을 실행하도록 추가 구성되는 장치.
8. 제1항에 있어서,
   상기 센서는 복수의 전극들을 포함하고,
   상기 하나 이상의 프로세서들은 상기 제1상호동작 모드 시, 단일 전극의 분해능 또는 그보다 큰 분해능으로, 상기 장치에 대한 상기 객체의 위치를 결정하고, 상기 제2상호동작 모드 시, 복수의 전극들 중 둘 이상의 분해능으로, 상기 장치에 대한 상기 객체의 위치를 결정하는 명령어들을 실행하도록 추가 구성되는 장치.
9. 제1항에 있어서, 상기 하나 이상의 프로세서들은 상기 상호동작 모드가 변경되었다는 통지; 또는 상기 선택된 상호동작 모드를 식별하는 통지 중 하나 이상을 개시하는 명령어들을 실행하도록 더 구성되는 장치.
10. 명령어들을 구현하는 하나 이상의 비일시적 컴퓨터 판독가능 저장 매체로서, 상기 명령어들은 실행 시,
    장치의 센서로부터의 출력에 기반하여 상기 장치에 대한 객체의 근접도를 판단하고,
    상기 판단된 근접도를 기준 근접도와 비교하고,
    상기 비교결과에 기반하여 상기 객체 및 상기 장치 사이의 상호동작을 처리하기 위한 상호동작 모드를 선택하되, 상기 상호동작 모드는
    제1상호동작 모드; 및
    제2상호동작 모드 중 하나를 포함하도록 동작 가능하고,
    상기 센서는 전극을 포함하고,
    상기 근접도는 상기 전극에 의해 수신된 신호의 진폭을 포함하되, 상기 신호는 상기 객체와 결합된 환경 EMI(electromagnetic interference)에 기반하는 비일시적 컴퓨터 판독가능 저장 매체.
11. 삭제
12. 제10항에 있어서,
    상기 센서는 제1감지 기술을 이용하여 상기 객체를 검출하도록 구성된 제1센서를 포함하고,
    상기 장치는 상기 제1감지 기술과 다른 제2감지 기술을 이용하여 상기 객체를 검출하도록 구성된 제2센서를 포함하고,
    상기 매체는 실행 시,
    상기 장치가 제1상호동작 모드에 있을 때, 상기 객체 및 상기 장치 사이의 상호동작들을 처리하기 위해 사용할 상기 제1센서로부터의 출력을 선택하고;
    상기 장치가 제2상호동작 모드에 있을 때, 상기 객체 및 상기 장치 사이의 상호동작들을 처리하기 위해 사용할 상기 제2센서로부터의 출력을 선택하도록 동작할 수 있는 명령어들을 더 구현하는 비일시적 컴퓨터 판독가능 저장 매체.
13. 장치의 센서로부터의 출력에 기반하여 상기 장치에 대한 객체의 근접도를 판단하는 단계,
    판단된 근접도를 기준 근접도와 비교하는 단계; 및
    상기 비교결과에 기반하여 상기 객체 및 상기 장치 사이의 상호동작을 처리하기 위한 상호동작 모드를 선택하되, 상기 상호동작 모드는
    제1상호동작 모드;
    제2상호동작 모드 중 하나를 포함하는 단계; 및
    상기 선택된 상호동작 모드에 따라 상기 객체 및 상기 장치 간 상호동작을 처리하는 단계를 포함하고,
    상기 센서는 전극을 포함하고,
    상기 근접도는 상기 전극에 의해 수신된 신호의 진폭을 포함하되, 상기 신호는 상기 객체와 결합된 환경 EMI(electromagnetic interference)에 기반하는 방법.
14. 삭제
15. 제13항에 있어서,
    상기 센서는 제1감지 기술을 이용하여 상기 객체를 검출하도록 구성된 제1센서를 포함하고,
    상기 장치는 상기 제1감지 기술과 다른 제2감지 기술을 이용하여 상기 객체를 검출하도록 구성된 제2센서를 포함하고,
    상기 방법은
    상기 장치가 제1상호동작 모드에 있을 때, 상기 객체 및 상기 장치 사이의 상호동작들을 처리하기 위해 사용할 상기 제1센서로부터의 출력을 선택하는 단계; 및
    상기 장치가 제2상호동작 모드에 있을 때, 상기 객체 및 상기 장치 사이의 상호동작들을 처리하기 위해 사용할 상기 제2센서로부터의 출력을 선택하는 단계를 더 포함하는 방법.
    
    

Images