KR20160135179A - 터치 센서에서의 주파수 변환 - Google Patents

터치 센서에서의 주파수 변환 Download PDF

Info

Publication number
KR20160135179A
KR20160135179A KR1020167023305A KR20167023305A KR20160135179A KR 20160135179 A KR20160135179 A KR 20160135179A KR 1020167023305 A KR1020167023305 A KR 1020167023305A KR 20167023305 A KR20167023305 A KR 20167023305A KR 20160135179 A KR20160135179 A KR 20160135179A
Authority
KR
South Korea
Prior art keywords
touch
signal
frequency
processor
row
Prior art date
Application number
KR1020167023305A
Other languages
English (en)
Inventor
대런 레이
클리프튼 포라인즈
다니엘 위그도르
스티븐 레오나르드 샌더스
Original Assignee
텍추얼 랩스 컴퍼니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 텍추얼 랩스 컴퍼니 filed Critical 텍추얼 랩스 컴퍼니
Publication of KR20160135179A publication Critical patent/KR20160135179A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/0418—Control or interface arrangements specially adapted for digitisers for error correction or compensation, e.g. based on parallax, calibration or alignment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333—Constructional arrangements; Manufacturing methods
    • G02F1/13338—Input devices, e.g. touch panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545—Pens or stylus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0428—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • G06F3/0433—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves in which the acoustic waves are either generated by a movable member and propagated within a surface layer or propagated within a surface layer and captured by a movable member
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G06F3/0446—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means using a grid-like structure of electrodes in at least two directions, e.g. using row and column electrodes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/045—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using resistive elements, e.g. a single continuous surface or two parallel surfaces put in contact
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/046—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by electromagnetic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04106—Multi-sensing digitiser, i.e. digitiser using at least two different sensing technologies simultaneously or alternatively, e.g. for detecting pen and finger, for saving power or for improving position detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04112—Electrode mesh in capacitive digitiser: electrode for touch sensing is formed of a mesh of very fine, normally metallic, interconnected lines that are almost invisible to see. This provides a quite large but transparent electrode surface, without need for ITO or similar transparent conductive material

Abstract

터치 감응성 장치는 행과 열을 갖는 터치 인터페이스, 적어도 복수의 행에 각각 복수의 특유의 직교 신호를 발생시키는 신호 발생기, 및 주파수 변환기를 포함한다. 주파수 변환기는 복수의 열 중 적어도 하나에 존재하는 제 1 터치 신호를 수신하고, 상기 제 1 터치 신호를 제 2 중심 주파수를 갖는 제 2 신호로 변환하고, 제 2 신호를 출력한다. 터치 프로세서는 제 2 중심 주파수를 갖는 제 2 신호를 처리하고 터치 이벤트 데이터를 출력함으로써 터치 인터페이스에 대한 터치를 식별한다.

Description

터치 센서에서의 주파수 변환{FREQUENCY CONVERSION IN A TOUCH SENSOR}
본 출원은 2014년 2월 4일에 출원한 미국 가특허출원 번호 61/935,709호의 정식출원이며, 그 전체 내용을 여기에 참조하여 원용한다.
개시된 시스템 및 방법은 일반적으로 유저 입력, 특히 고속 멀티 터치 센서에 업데이트 레이트 스로틀링을 제공하는 유저 입력 시스템에 관한 것이다.
본 출원은 2013년 10월 4일에 출원한 발명의 명칭이 "저 레이턴시 유저 입력 처리 및 피드백을 위한 하이브리드 시스템 및 방법"인 미국 특허출원 제14/046,819호, 2013년 3월 5일에 출원한 발명의 명칭이 "저 레이턴시 터치 감응성 장치"인 미국 특허출원 제13/841,436호, 2013년 3월 15일에 출원한 발명의 명칭이 "고속 멀티 터치 스타일러스"인 미국 특허출원 제61/798,948호, 2013년 3월 15일에 출원한 발명의 명칭이 "유저 식별 기술을 가진 고속 멀티 터치 센서"인 미국 특허출원 제61/799,035호, 2013년 3월 15일에 출원한 발명의 명칭이 "고속 멀티 터치 노이즈 저감"인 미국 특허출원 제61/798,828호, 2013년 3월 15일에 출원한 발명의 명칭이 "액티브 광학 스타일러스"인 미국 특허출원 제61/798,708호, 2012년 10월 5일에 출원한 발명의 명칭이 "저 레이턴시 유저 입력 처리 및 피드백을 위한 하이브리드 시스템 및 방법"인 미국 특허출원 제61/710,256호, 2013년 7월 12일 출원한 발명의 명칭이 "고속 멀티 터치 후처리"인 미국 특허출원 제61/845,892, 2013년 7월 12일 출원한 발명의 명칭이 "규정된 크로스 컨트롤 거동을 이용한 저감된 제어 응답 레이턴시"인 미국 특허출원 제61/845,879, 2013년 9월 18일에 출원한 발명의 명칭이 "상태 변화에 대한 정보를 이용하고 미래의 유저 입력을 예측하여 유저 입력에 대한 응답을 제공하기 위한 시스템 및 방법"인 미국 특허출원 제61/879,245호, 2013년 9월 21일에 출원한 발명의 명칭이 "상태 변화에 대한 정보를 이용하고 미래의 유저 입력을 예측하여 유저 입력에 대한 응답을 제공하기 위한 시스템 및 방법"인 미국 특허출원 제61/880,887호, 2013년 10월 4일 출원한 발명의 명칭이 "저 레이턴시 유저 입력 처리 및 피드백을 위한 하이브리드 시스템 및 방법"인 미국 특허출원 제14/046,823호, 2013년 11월 1일 출원한 발명의 명칭이 "고속 멀티 터치 후처리"인 미국 특허출원 제14/069,609호, 및 2013년 10월 7일에 출원한 발명의 명칭이 "터치 및 스타일러스 레이턴시 테스트 장치"인 미국 특허출원 제61/887,615호에 개시되 고속 멀티 터치 센서 및 기타 인터페이스와 같은 유저 인터페이스에 관한 것이다. 이들 출원의 전체 개시를 여기에 참조하여 원용한다.
본 개시의 상술한 목적 및 그 외의 목적, 특징 및 이점은 첨부한 도면에 도시한 바와 같은 실시형태의 이하의 더욱 특정한 기재로부터 명백해질 것이고, 참조 부호는 다양한 도면에 있어서 동일한 부분을 가리킨다. 도면은 반드시 축척일 필요는 없고, 대신에 개시된 실시형태의 원칙을 예시하는 것에 중점을 둔다.
도 1은 저 레이턴시 터치 센서 장치의 실시형태를 나타내는 고레벨 블럭 다이어그램을 제공한다.
도 2는 저 레이턴시 터치 센서 장치의 실시형태에 사용될 수 있는 크로싱 도전로에 대한 레이아웃의 실시형태를 나타낸다.
도 3은 필드 평탄화 과정을 예시하는 블럭 다이어그램을 나타낸다.
도 4는 극댓값 주변의 4개의 연관된 이웃을 예시하는 다이어그램을 나타낸다.
도 5는 극댓값 주변의 8개의 연관된 이웃을 예시하는 다이어그램을 나타낸다.
도 6은 비대칭 터치 포인트에 대한 타원형 피트를 예시하는 기하학적 도면을 나타낸다.
도 7은 노이즈 저감을 위해 구성된 저 레이턴시 터치 센서 장치의 실시형태를 예시하는 고레벨 블럭 다이어그램을 제공한다.
도 8~11, 12a 및 12b는 신호 발생 및 전송 체계의 간략 다이어그램도이다.
도 13은 개시된 장치 및 방법의 실시형태에 따른 유저 식별 기술을 예시하는 측면도이다.
도 14 및 도 15는 개시된 장치 및 방법의 실시형태에 따른 고속 멀티 터치 스타일러스를 예시하는 투시도를 나타낸다.
도 16은 센서 시트 및 액티브 광학 스타일러스를 예시하는 상면도를 나타낸다.
도 17은 센서 시트 및 액티브 광학 스타일러스를 예시하는 측면도를 나타낸다.
도 18은 개시된 액티브 광학 스타일러스의 실시형태에 따라 센서 시트에서의 내부 반사를 예시하는 측면도이다.
도 19는 개시된 액티브 광학 트타일러스의 실시형태에 따라 앵귤러 필터의 용도를 예시하는 측면도이다.
도 20은 액티브 광학 스타일러스에 의해 센서 시트로 방사된 패턴을 예시하는 측면도이다.
도 21~23은 센서 시트의 엣지를 따라 액티브 광학 스타일러스에 의해 방사된 스폿의 기하학적 투사도를 도시한다.
도 24는 센서 시트에 투사된 다수의 패턴을 예시하는 상면도이다.
도 25는 동일한 사람의 두 손으로 터치했을 경우에 직교 신호 전파 센서에 있어서의 크로스토크를 예시하는 개략 상면도를 나타낸다.
도 26은 다른 사람의 두 손으로 터치했을 경우에 직교 신호 전파 센서에 있어서의 크로스토크의 부족을 예시하는 개략 상면도를 나타낸다.
도 27은 2개의 터치가 행 또는 열을 공유했을 경우에 발생하는 문제를 예시하는 센서의 개략 상면도를 나타낸다.
도 28은 본 개시된 유저, 손 및 객체 판별 시스템의 실시형태를 예시하는 개략 상면도를 나타내고, 여기서 터치스크린 및/또는 프로세서는 매 행 및 매 열에 대해 직교 신호를 발생하고, 또한 매 행 및 매 열에 대한 모든 신호를 검출하도록 조정된다.
도 29는 1명의 유저는 디스플레이 상에 2회 터치하고 있고, 하나의 행으로부터의 신호는 그 신체를 통해서 다른 행으로 통과하는 경우를 예시하는 센서의 개략 상면도를 나타낸다.
도 30은 유저의 손을 통해 신호가 결합되는 경우를 예시하는 센서의 개략 상면도를 나타낸다.
도 31은 2명의 다른 유저에 의해 2회 터치가 이루어지고 있고, 유저 간을 이동하기 위한 신호의 경로가 없기 때문에 행과 행의 결합 또는 열과 열의 결합이 없는 경우를 예시하는 센서의 개략 상면도를 나타낸다.
도 32는 센서의 상부에 정지하여 있는 객체를 예시하는 개략 상면도이다.
도 33a~33c는 데시메이션 처리를 예시하는 개략도를 나타낸다.
도 34는 "N 프레임마다"에 의한 지능적 데시메이션의 예를 예시하는 선도를 나타낸다.
도 35는 "X 마이크로초마다"에 의한 지능적 데시메이션의 예를 예시하는 선도를 나타낸다.
도 36~39는 입력이 행해진 디스플레이 또는 디스플레이의 일부의 예시를 나타낸다.
도 40은 단일 믹서 및 "상이한" 신호를 이용한 저주파수 밴드에 대한 주파수의 세트의 헤테로다인을 예시하는 모식도를 나타낸다.
도 41은 직교 믹서를 이용한 베이스밴드에 대한 주파수의 세트의 헤테로다인을 예시하는 모식도는 나타낸다.
도 42는 푸리에 변환의 실제 입력과 가상 입력(각각) 내로 공급된 쿼드러처(quadrature) 믹서의 동상 출력 및 쿼드러처 출력을 예시하는 모식도를 나타낸다.
다양한 실시형태에 있어서, 본 개시는 다른 손, 유저 또는 객체, 예를 들면 스타일러스에 의해 발생되는 터치 포인트 간을 장치가 구별할 수 있게 하는 것에 중점을 두고 터치 표면 상에서 터치 포인트의 소스 또는 소스들을 구별하기 위한 시스템 및 방법에 관한 것이다. 또한, 본 개시된 기술은 객체, 손 또는 유저를 식별하기 위해 사용될 수도 있다.
본 개시의 전반에 있어서, 용어 "터치", "터치들", "접촉", "접촉들" 또는 기타 기재들은 유저의 손가락, 스타일러스, 객체 또는 신체 부위가 센서에 의해 검출되는 기간 또는 이벤트를 기재하기 위해 사용될 수 있다. 일부 실시형태에 있어서, 이들 검출은 유저가 센서 또는 센서가 포함된 장치와 물리적으로 접촉했을 때에만 발생한다. 다른 실시형태에 있어서, 상기 센서는 터치 표면 위로 거리를 두고, 또는 터치 감응성 장치로부터 떨어져서 호버링하는 "터치들" 또는 "접촉들"을 검출 가능하게 될 수 있다. 그러므로, 감지된 물리적 접촉에 대한 의존성을 시사하는 이러한 기재 내에서의 언어의 사용이 기재된 기술이 이들 실시형태에만 적용되는 의미로 이해되서는 않되며; 실제로 여기에 기재된 전부는 아니더라도 거의 전부는 "터치" 및 "호버" 센서에 동등하게 적용된다. 다른 종류의 센서가 여기에 개시된 실시형태와 관련하여 사용될 수 있고, 예를 들면 카메라, 프록시미티 센서, 광학 센서, 턴레이트 센서, 자이로스코프, 자력계, 서멀 센서, 압력 센서, 힘 센서, 정전용량 터치 센서, 전원 관리 집적회로 판독기, 키보드, 마우스, 모션 센서 등을 들 수 있다.
본 개시된 직교 센싱 터치 유저, 손 및 객체 판별 시스템 및 방법은 정전용량 터치 센서, 특히, 이들에 한정되지는 않지만, 주파수 분할 다중화(FDM), 코드 분할 다중화(CDM) 또는 FDM과 CDM 방법을 결합한 하이브리드 변조 기법과 같은 직교 신호 전달에 기초한 다중화 체계를 채용하는 정전용량 터치 센서와 관련하여 이점이 있다. 여기에서 주파수에 대한 기준은 다른 직교 신호 베이스를 참조할 수 있다. 이와 같이, 본 출원은 본 출원인들의 이전의 2013년 3월 15일에 출원한 발명의 명칭이 "저 레이턴시 터치 감응성 장치"인 미국 특허출원 제13/841,436호 및 2013년 11월 1일에 출원한 발명의 명칭이 "고속 멀티 터치 후처리"인 미국 특허출원 제14/069,609호를 참조하여 원용한다. 이들 출원은 본 개시된 직교 센싱 터치 유저, 손 및 객체 판별 시스템 및 방법과 관련하여 사용될 수 있는 정전용량 FDM, CDM, 또는 FDM/CDM 하이브리드 터치 센서를 고려한다. 이러한 센서에 있어서, 터치는 행으로부터의 신호가 열에 결합되고, 그 열에 수신되면 감지된다.
본 명세서에서는 우선 본 주파수 변환 및 헤테로다인을 위한 시스템 및 방법에 사용되는 고속 멀티 터치 센서의 작동에 대해서 설명한다. 그 다음, 본 기재된 주파수 변환 및 헤테로다인 방법의 상세는 "주파수 변환"이라는 제목 하에 더욱 후술한다.
여기에 사용된 바와 같이, 문구 "터치 이벤트" 및 명사로서 사용되었을 경우의 단어 "터치"는 근접 터치와 근접 터치 이벤트, 또는 센서를 이용하여 식별될 수 있는 임의의 기타 제스처를 포함한다. 일 실시형태에 따르면, 터치 이벤트는 검출, 처리 및 다운스트림 계산 프로세스에 극저 레이턴시, 예를 들면 대략 10밀리초 이하, 또는 대략 1밀리초 미만으로 제공될 수 있다.
일 실시형태에 있어서, 개시된 고속 멀티 터치 센서는 터치 이벤트의 고속 업데이트 레이트 및 저 레이턴시 측정을 위해 개선되어진 투사 정전용량 방법을 이용한다. 이 기술은 상기 이점을 얻기 위해 병렬 하드웨어 및 고주파수 파형을 이용할 수 있다. 또한, 투명한 디스플레이 표면에 사용할 수 있고, 또한 이 기술을 채용하는 제품의 생산을 경제적으로 하게 할 수 있는, 고감도이고 강력한 측정을 가능하게 하는 방법도 개시된다. 이 점에 있어서, 여기서 사용된 바와 같은 "정전용량 객체"는 손가락, 인체의 다른 부위, 스타일러스, 또는 센서가 감지하는 임의의 객체일 수 있다. 여기에 개시된 센서 및 방법은 정전용량에 의존할 필요는 없다. 후술하는 광학 센서 실시형태에 있어서, 이러한 실시형태는 터치 이벤트를 감지하기 위해서 광자 터널링 및 리킹을 이용하고, 여기서 사용된 바와 같은 "정전용량 객체"는 이러한 센싱과 호환될 수 있는 스타일러스 또는 손가락과 같은 임의의 객체를 포함한다. 마찬가지로, 여기에 사용된 바와 같은 "터치 위치" 및 "터치 감응성 장치"는 정전용량 객체와 개시된 센서 간의 실제의 터치 접촉을 요구하지 않는다.
도 1은 일 실시형태에 따른 고속 멀티 터치 센서(100)의 소정의 원리를 예시한다. 도면부호 200에서, 상이한 신호가 표면의 각각의 행으로 전송된다. 신호는 "직교", 즉 서로 분리 및 구별되도록 설계된다. 도면부호 300에서, 수신기는 각각의 열에 장착된다. 수신기는 임의의 전송된 신호 또는 이들 중 임의의 조합을 수신하고, 열에 존재하는 직교의 전송된 신호의 각각의 양을 개별적으로 측정하도록 설계된다. 센서의 터치 표면(400)은 직교 신호를 전파할 수 있는 행과 열의 세트(도시하지 않음)를 포함한다. 일 실시형태에 있어서, 행과 열은 터치 이벤트가 가해지지 않은 경우에는 적거나 거의 없는 양의 신호가 이들 사이에서 결합되는 반면, 터치 이벤트가 가해진 경우에는 많은 또는 무시할 수 없을 정도의 양의 신호가 이들 사이에서 결합되도록 설계된다. (일 실시형태에 있어서, 반대로 적은 양의 신호가 터치 이벤트를 나타내고, 많은 양의 신호가 터치의 결여를 나타내는 반대의 경우가 있을 수 있다.) 상술한 바와 같이, 터치 또는 터치 이벤트는 물리적 터치가 요구되는 것이 아니라, 결합된 신호의 레벨을 영향을 미칠 수 있는 이벤트가 요구된다.
도 1을 계속해서 참조하면, 일 실시형태에 있어서, 일반적으로 행과 열 모두에 근방에서의 터치 이벤트에 의한 정전용량은 행에 존재하는 무시할 수 없는 양의 신호를 열에 결합시킬 수 있다. 보다 일반적으로, 터치 이벤트는 열에 수신된 신호를 발생시키고, 따라서 열에 수신되는 신호와 대응한다. 행 상의 신호는 직교하기 때문에, 다수의 행의 신호는 열에 결합되어 수신기에 의해 구별될 수 있다. 마찬가지로, 각각의 행 상의 신호는 다수의 열과 결합될 수 있다. 소정의 행과 결합되는 각각의 열에 있어서, 열 상에 있는 신호는 어떤 행이 그 열과 동시에 터치되었는지를 나타내는 정보를 포함한다. 일반적으로, 수신되는 각 신호의 양은 상응하는 신호를 전달하는 열과 행 사이의 결합의 양과 관련되므로, 터치하는 객체와 표면의 거리, 터치 및/또는 터치의 압력에 의해 커버되는 표면의 면적을 나타낼 수 있다.
행과 열이 동시에 터치되었을 때, 행 상에 존재하는 신호의 일부는 상응하는 열과 결합된다. (상술한 바와 같이, 터치 또는 터치된이라는 용어는 실제 물리적 접촉이 아니라 상대적 근접을 필요로 한다.) 실제로, 터치 장치의 다양한 실시예에서, 행 및/또는 열과의 물리적 접촉은 행 및/또는 열과, 손가락 또는 다른 터치 객체 사이의 보호 장벽 때문에 일어날 가능성이 거의 없다. 또한, 일반적으로, 행과 열 자체는 서로 접촉하지 않고, 무시할 수 있는 양 이상의 신호가 그들 사이에서 결합되는 것을 방지하는 근접 위치에 위치된다. 일반적으로, 행과 열의 결합은 그들 사이의 실제 접촉 및 손가락 또는 다른 터치 객체의 실제 접촉으로부터 기인하지 않고, 손가락(또는 다른 객체)을 가까이 근접시키는 정전용량 효과에 의해 기인하며, 이 정전용량 효과로 이어지는 가까이 근접시키는 행위는 여기에서는 터치로 지칭된다.
행과 열의 속성은 임의적이며, 특정 배향과 상관없다. 실제로, 행 및 열이라는 용어는 정사각형 격자를 지칭하는 것이 아니라, 신호가 전송되는 컨덕터의 세트(행) 및 신호가 결합될 수 있는 컨덕터의 세트(열)를 지칭하도록 의도된다. 행과 열이 반드시 격자 형상일 필요는 전혀 없다. 터치 이벤트가 "행"의 일부 및 "열"의 일부를 터치하여 어떠한 형태의 결합을 형성할 수 있으면, 다른 형상도 가능하다. 예를 들면, "행"은 동심원 형상일 수 있고, "열"은 바퀴살과 같이 중앙으로부터 바깥쪽으로 방사되는 형상일 수 있다. 또한, 2가지 타입의 신호 전파 채널만 있을 필요가 없고: 행 및 열 대신에, 일 실시형태에 있어서, 채널 "A", "B", 및 "C"가 제공될 수 있고, "A"에 전송되는 신호는 "B" 및 "C"에서 수신될 수 있고, 일 실시형태에 있어서, "A" 및 "B"에 전송되는 신호는 "C"에서 수신될 수 있다. 또한, 신호 전파 채널이 전송기를 지원하는 경우 및 수신기를 지원하는 경우가 있는 부가 기능을 행할 수 있는 것도 가능하다. "행" 및 "열"보다는 3종 이상의 형태의 안테나 컨덕터를 사용해도 좋다. 당업자가 이 개시를 고려한 후, 다양한 대안적 실시형태가 가능하다는 것이 명백해질 것이다.
단순 정현파 실시형태
일 실시형태에 있어서, 행에 전송되는 직교 신호는 변조되지 않은 정현파일 수 있고, 각각은 다른 주파수를 가지며, 주파수는 수신기 내에서 서로 쉽게 구별될 수 있도록 선택된다. 일 실시형태에 있어서, 주파수는 수신기 내에서 서로 쉽게 구별될 수 있도록, 그들 사이에 충분한 간격을 제공할 수 있는 것으로 선택된다. 일 실시형태에 있어서, 선택된 주파수 사이에 단순 고조파 관계가 존재하지 않는다. 단순 고조파 관계의 결핍은 하나의 신호가 다른 하나를 모방할 수 있게 하는 비선형 아티팩트를 경감시킬 수 있다.
일반적으로, 근접 주파수 사이의 간격이 일정하고, 최고 주파수가 최저 주파수의 2배보다 낮은 주파수 "빗(comb)"은 주파수 사이의 간격 Δf가 적어도 측정 주기(τ)의 역수이면, 이 기준을 충족시킬 것이다. 예를 들면, 어떤 행의 신호가 ㎳마다 한번씩 나타나는지(τ) 판별하도록 (예를 들면, 열로부터) 신호의 결합을 측정하는 것이 바람직하면, 주파수 간격(Δf)은 1㎑보다 커야한다(즉, Δf > 1/τ). 이 계산에 따라, 10개의 행만을 갖는 예시적인 경우에 있어서, 다음의 주파수를 사용할 수 있다.
행 1: 5.000 ㎒ 행 6: 5.005 ㎒
행 2: 5.001 ㎒ 행 7: 5.006 ㎒
행 3: 5.002 ㎒ 행 8: 5.007 ㎒
행 4: 5.003 ㎒ 행 9: 5.008 ㎒
행 5: 5.004 ㎒ 행 10:5.009 ㎒
탄탄한 설계를 가능하게 하도록, 주파수 간격이 실질적으로 이 최소보다 클 수 있다는 것이 당업자에게 명백해질 것이다. 예로서, 0.5㎝ 행/열을 갖는 20㎝×20㎝ 터치 표면은 40개의 행과 40개의 열을 필요로 하고, 40개의 다른 주파수의 정현파를 필요로 할 수 있다. ㎳마다 한번의 분석률이 1㎑ 간격만을 필요로 할 수 있는 반면, 보다 탄탄한 구현을 위해 임의의 큰 간격이 이용된다. 임의의 큰 간격은 최대 주파수가 최소 주파수의 2배 이하[즉, fmax<2(fmin)]일 것으로 제한하도록 되어 있다. 이 예에서, 최저 주파수가 5㎒로 설정된 100㎑의 주파수 간격이 사용될 수 있고, 5.0㎒, 5.1㎒, 5.2㎒ 등, 8.9 ㎒까지의 주파수 리스트를 얻을 수 있다.
일 실시형태에 있어서, 리스트 상의 정현파 각각은 신호 발생기에 의해 생성되고, 전송기에 의해 분리된 행에 전송될 수 있다. 동시에 터치되는 행과 열을 식별하도록, 수신기는 열 상에 존재하는 임의의 신호를 수신하고, 신호 처리기는 만약 있다면, 리스트 상의 어떤 주파수가 나타나는지 판별하도록 신호를 분석한다. 일 실시형태에 있어서, 식별은 주파수 분석 기술(예를 들면, 푸리에 변환), 또는 필터 뱅크의 사용에 의해 지원될 수 있다.
일 실시형태에 있어서, 각각의 열의 신호로부터, 수신기는 그 열 상의 신호의 주파수의 리스트로부터 각 주파수의 강도를 판별할 수 있다. 주파수의 강도가 어떤 임계값보다 큰 일 실시형태에 있어서, 신호 처리기는 그 주파수에 상응하는 열과 행 사이의 터치 이벤트가 존재하는지 판별한다. 일 실시형태에 있어서, 행/열 교차점으로부터의 터치의 거리를 포함하여 다양한 물리적 현상에 상응할 수 있는 신호 강도 정보, 터치 객체의 사이즈, 객체가 하방으로 누르는 압력, 터치되고 있는 행/열 교차점의 단편 등은 터치 이벤트 영역의 위치를 알아내는 것을 지원하는데 사용될 수 있다.
신호 강도가 (행에 상응하는) 적어도 2개의 주파수 또는 적어도 2개의 열에 대해 계산되면, 신호 강도가 행/열이 교차하는 맵의 값으로 되는 2차원 맵이 생성될 수 있다. 일 실시형태에 있어서, 신호의 강도는 각각의 열 상의 각 주파수에 대해 계산된다. 신호 강도가 계산되면, 2차원 맵이 생성될 수 있다. 일 실시형태에 있어서, 신호 강도는 행/열이 교차하는 맵의 값이다. 일 실시형태에 있어서, 다른 주파수의 터치 표면의 물리적 차이로 인해, 신호 강도는 정해진 터치에 대해 정규화되거나 또는 교정될 필요가 있다. 유사하게, 일 실시형태에 있어서, 터치 표면에 걸친 또는 교차점 사이의 물리적 차이로 인해, 신호 강도는 정해진 터치에 대해 정규화되거나 또는 교정될 필요가 있다.
일 실시형태에 있어서, 2차원 맵 데이터는 터치 이벤트를 보다 잘 식별하고, 판별하고 또는 구분하도록 임계점이 설정될 수 있다. 일 실시형태에 있어서, 2차원 맵 데이터는 면을 터치하는 객체의 형상, 방향 등에 대한 정보를 추론하는데 사용될 수 있다.
행에 전송되는 신호의 논의로 돌아가서, 정현파가 상술한 구성에서 사용될 수 있는 유일한 직교 신호가 아니다. 실제로, 상술한 바와 같이, 서로 구별될 수 있는 신호의 임의의 세트가 사용될 수 있다. 그럼에도 불구하고, 정현파는 보다 간단한 공학 기술 및 이 기술을 사용하는 장치의 비용 효율적인 제조를 가능하게 할 수 있는 몇몇 바람직한 특성을 가질 수 있다. 예를 들면, 정현파는 (정의에 의해) 매우 좁은 주파수 프로파일을 갖고, 직류 근처의 저주파수까지 낮게 연장될 필요가 없다. 또한, 정현파는 1/f 노이즈에 의해 상대적으로 영향을 받지 않을 수 있고, 이 노이즈는 저주파수까지 연장되는 넓은 신호에 영향을 미칠 수 있다.
일 실시형태에 있어서, 정현파는 필터 뱅크에 의해 검출될 수 있다. 일 실시형태에 있어서, 정현파는 주파수 분석 기술(예를 들면, 푸리에 변환)에 의해 검출될 수 있다. 주파수 분석 기술은 비교적 효율적인 방식으로 구현될 수 있고, 양호한 동적 범위 특성을 갖는 경향이 있어서, 다수의 동시 정현파 사이에서 검출 및 구별할 수 있다. 넓은 신호 처리 관점에서, 다수의 정현파의 수신기의 디코딩은 주파수 분할 다중화의 형태로 고려될 수 있다. 일 실시형태에 있어서, 시분할 및 코드분할 다중화와 같은 다른 변조 기술도 사용될 수 있다. 시분할 다중화는 양호한 동적 범위 특징을 갖지만, 일반적으로 터치 표면으로 전송하는데(또는 터치 표면으로 수신된 신호를 분석하는데) 유한 시간이 소비되는 것이 필요로 된다. 코드 분할 다중화는 주파수 분할 다중화와 동일한 속성을 갖지만, 동적 범위 문제가 발생할 수 있고, 쉽게 다수의 동시 신호 사이를 구별할 수 없다.
변조 정현파 실시형태
일 실시형태에 있어서, 변조 정현파는 상술한 정현파 실시형태와 조합하여 및/또는 보강하여 대신 사용될 수 있다. 비변조 정현파의 사용은 터치 표면 부근의 다른 장치에 무선 주파수 간섭을 일으킬 수 있으므로, 그것들을 사용하는 장치가 규정 검사(예를 들면, FCC, CE)를 통과하는데 있어서 문제가 발생할 수 있다. 또한, 비변조 정현파의 사용은 의도적인 전송 또는 다른 장치로부터의 간섭(가령, 다른 동일한 터치 표면)이 있는 환경에서 다른 정현파로부터의 간섭에 취약할 수 있다. 일 실시형태에 있어서, 이러한 간섭은 설명된 장치의 터치 측정에 실패하거나 또는 저하시킬 수 있다.
일 실시형태에 있어서, 간섭을 피하기 위해서 정현파는 신호가 수신기에 도달하는 즉시 복조["분리(unstirred)"]될 수 있는 방식으로, 전송기에 의해 전송되기 전에 변조 또는 "혼합(stirred)"될 수 있다. 일 실시형태에 있어서, 역변환(또는 근사 역변환)은 신호가 수신기에 도달하는 즉시 변환이 보상되어 실질적으로 신호가 복원될 수 있도록 신호를 변조하는데 사용될 수 있다. 또한, 당업자에게 명백해질 바와 같이, 여기에 설명된 바와 같은 터치 장치에 잇어서의 변조 기술을 이용해서 방출 또는 수신되는 신호는 다른 것과 보다 적은 상관 관계를 가지므로, 따라서 환경 내에 존재하는 다른 신호와 동일한 것으로 여겨지거나 및/또는 그것으로부터 간섭을 받기보다는, 겨우 노이즈에 가깝게 작용할 수 있다.
일 실시형태에 있어서, 활용되는 변조 기술은 전송되는 데이터가 장치 동작의 환경 내에서 상당히 무작위로 또는 적어도 특이하게 나타나게 할 것이다. 주파수 변조 및 직접 시퀀스 확산 스펙트럼 변조라는 2개의 변조 체계에 대해서는 후술한다.
주파수 변조
정현파의 전체 세트의 주파수 변조는 "그들을 번지게 하는 것(smearing them out)"에 의해 그것들이 동일한 주파수로 나타나지 않게 한다. 규정 검사가 일반적으로 고정 주파수와 관련되기 때문에, 주파수 변조된 전송되는 정현파는 저진폭으로 나타날 것이므로 관련될 가능성이 거의 없다. 수신기가 동일 또한 반대 방식으로 그것에 입력되는 임의의 정현파를 "모으기(un-smear)" 때문에, 의도적으로 변조된 전송되는 정현파는 복조될 수 있고, 그 후 그것들은 실질적으로 변조되기 전처럼 나타날 것이다. 환경으로부터 진입(예를 들면, 간섭)하는 고정 주파수 정현파는 그러나, "모으기" 작동에 의해 "번지게" 될 것이므로, 의도된 신호 상에 감소된 또는 제거된 효과를 줄 것이다. 따라서, 그렇지 않으면 센서에 의해 발생될 수 있는 간섭이 주파수 변조, 예를 들면 일 실시형태에서 터치 센서에 사용되는 주파수 빗을 사용함으로써 감소된다.
일 실시형태에 있어서, 정현파의 전체 세트는 단일 기준 주파수로 모두 생성, 즉 자체 변조함으로써 주파수 변조될 수 있다. 예를 들면, 100㎑ 간격을 갖는 정현파의 세트는 다른 정수로 동일한 100㎑ 기준 주파수를 곱함으로써 생성될 수 있다. 일 실시형태에 있어서, 이 기술은 위상 동기 루프(phase-locked loop)를 사용하여 달성될 수 있다. 첫번째 5.0㎒ 정현파를 생성하도록 기준에 50을 곱하고, 5.1㎒ 정현파를 생성하도록 기준에 51을 곱하는 등을 할 수 있다. 수신기는 감지 및 복조 기능을 수행하도록 동일한 변조 기준을 사용할 수 있다.
직접 시퀀스 확산 스펙트럼 변조
일 실시형태에 있어서, 정현파는 전송기 및 수신기에 주지된 의사 난수(pseudo-random)[또는 실제 난수(truly random)] 스케줄로 그것을 주기적으로 반전시킴으로써 변조될 수 있다. 따라서, 일 실시형태에 있어서, 각 정현파가 상응하는 행에 전송되기 전에, 선택 가능한 반전 회로를 통과하고, 그 출력은 "반전 선택" 입력의 상태에 따라 +1 또는 -1 곱해지는 입력 신호이다. 일 실시형태에 있어서, 모든 이 "반전 선택" 입력은 각각의 행에 대한 정현파가 모두 동시에 +1 또는 -1로 곱해지도록 동일 신호로부터 구동된다. 일 실시형태에 있어서, "반전 선택" 입력을 구동하는 신호는 환경 내에 존재할 수 있는 임의의 신호 또는 기능에 독립적인 의사 난수 기능을 한다. 정현파의 의사 난수 반전은 그것을 주파수 밖으로 확산시켜, 그것이 무작위 노이즈와 같이 나타나게 하여, 그것이 접속될 수 있는 임의의 장치와 무시할 수 있을 정도로 간섭한다.
수신기 측에서, 열로부터의 신호는 행 상의 하나의 신호와 같은 동일한 의사 난수 신호에 의해 구동되는 선택 가능한 반전 회로를 통과할 수 있다. 결과적으로, 전송되는 신호가 주파수 내에 확산되어 있지만, 그것들이 +1 또는 -1로 두번 곱해져 있어 그것들을 변경되지 않은 상태로 남겨놓거나 또는 돌려놓기 때문에, 수신되기 전에 역확산된다. 직접 시퀀스 확산 스펙트럼 변조를 적용하는 것은 그것들이 노이즈로서만 작용하거나 의도적인 정현파의 임의의 세트를 모방하지 않도록 열 상에 존재하는 임의의 간섭 신호를 밖으로 확산시킬 수 있다.
일 실시형태에 있어서, 선택 가능한 인버터는 작은 수의 단순 성분으로부터 생성되거나 및/또는 VLSI 처리에서 트랜지스터 내에서 구현될 수 있다.
많은 변조 기술은 서로 독립적이기 때문에, 일 실시형태에 있어서, 다수의 변조 기술, 예를 들면 정현파 세트의 주파수 변조 및 직접 시퀀스 확산 스펙트럼 변조는 동시에 사용될 수 있다. 잠재적으로 구현이 보다 복잡하지만, 이러한 다수의 변조 구현은 더욱 양호한 간섭 저항을 달성할 수 있다.
환경 내에서 특정 의사 난수 변조를 접하는 것은 매우 드물기 때문에, 여기에 기재되는 멀티 터치 센서는 실제 난수 변조 스케줄을 필요로 하지 않을 것이다. 동일한 구현을 갖는 하나를 초과한 터치 표면이 동일인에 의해 터치되는 한가지 예외가 있을 수 있다. 이러한 경우, 그들이 매우 복잡한 의사 난수 스케줄을 사용할지라도 표면이 서로 간섭할 가능성이 있을 수 있다. 따라서, 일 실시형태에 있어서, 충돌할 가능성이 거의 없는 의사 난수 스케줄을 설계하는 것에 주의가 필요하다. 일 실시형태에 있어서, 몇몇 실제 무작위성(true randomness)이 변조 스케줄에 도입될 수 있다. 일 실시형태에 있어서, 무작위성은 실제 무작위 소스로부터의 의사 난수 생성기를 지정하여 (반복되기 전에) 충분히 긴 출력 기간을 갖는 것을 보장함으로써 도입된다. 이러한 일 실시형태는 2개의 터치 표면이 시퀀스의 동일 부분을 동시에 사용할 가능성을 매우 낮출 수 있다. 일 실시형태에 있어서, 무작위성은 실제 무작위 시퀀스를 갖는 의사 난수 시퀀스를 배타적 논리(exclusive or'ing)(XOR)에 적용함으로써 도입된다. XOR 기능은 그 입력의 엔트로피를 결합하여, 그 출력의 엔트로피가 입력보다 절대로 작아지지 않게 한다.
저비용 구현 실시형태
이전에 설명된 기술을 사용하는 터치 표면은 다른 방법과 비교하여, 정현파를 발생하고 검출하는 것과 관련하여 비교적 높은 비용이 들 수 있다. 더욱 비용 효율적이고 및/또는 양산에 더욱 적합할 수 있는 정현파를 발생하고 검출하는 방법에 대해서 후술한다.
정현파 감지
일 실시형태에 있어서, 정현파는 푸리에 변환 검출 체계를 갖는 완전한 무선 수신기를 사용하는 수신기에서 검출될 수 있다. 이러한 검출은 고속 RF 파형을 디지털화하고 그 즉시 디지털 신호 처리를 수행하는 것을 필요로 할 수 있다. 별도의 디지털화 및 신호 처리는 표면의 모든 열에 대해 구현될 수 있고; 이것에 의해 신호 프로세서가 어떤 행 신호가 그 열과 터치되는지를 발견하는 것이 가능하게 된다. 상술한 예에 있어서, 40개의 행과 40개의 열을 갖는 터치 표면을 갖는 것은 이 신호 체인의 40개의 복사본이 필요할 수 있다. 오늘날, 디지털화 및 디지털 신호 처리는 하드웨어, 비용, 및 전력면에서 비교적 고가의 작업이다. 정현파를 검출하는 보다 비용 효율적인 방법, 특히 쉽게 복제되고 매우 적은 전력을 필요로 할 수 있는 방법을 이용하는 것이 유용할 수 있다.
일 실시형태에 있어서, 정현파는 필터 뱅크를 사용하여 검출될 수 있다. 필터 뱅크는 입력 신호를 받아 각 필터와 관련된 주파수 성분으로 분리할 수 있는 다수의 대역 통과 필터를 포함한다. 이산 푸리에 변환(FFT가 효율적인 구현인 DFT)은 통상적으로 주파수 분석에 사용되는 고른 간격의 대역 통과 필터를 갖는 필터 뱅크의 형식이다. DFT는 디지털로 구현될 수 있지만, 디지털화 단계는 고가일 수 있다. 수동 LC(인덕터 및 캐패시터) 또는 RC 능동 필터와 같은 개별 필터로 필터 뱅크를 구현하는 것이 가능하다. 인덕터는 VLSI 처리 상에 제대로 구현하는 것이 어렵고, 별개의 인덕터는 크고 고가라서, 인덕터를 필터 뱅크에 사용하는 것은 비용 효율적이지 않다.
저주파수에서(대략 10㎒ 및 그 이하), VLSI 상에 RC 능동 필터 뱅크를 구현하는 것이 가능하다. 이러한 능동 필터가 제대로 수행될 수 있지만, 많은 다이 스페이스(die space)를 차지할 수도 있고, 바람직한 것보다 많은 전력을 필요로 할 수 있다.
고주파수에서, 표면 탄성파(SAW) 필터 기술로 필터 뱅크를 구현하는 것이 가능하다. 이들은 거의 임의의 FIR 필터 구조를 가능하게 한다. SAW 필터 기술은 직렬 CMOS VLSI보다 고가인 압전 재료를 필요로 한다. 또한, SAW 필터 기술은 많은 필터를 단일 패키지로 통합하기 위한 동시 탭을 충분히 허용하지 않으므로 제조 비용을 증가시킨다.
일 실시형태에 있어서, 정현파는 FFT와 같은 "버터플라이" 토폴로지를 사용하는 표준 CMOS VLSI 상에 스위치형 캐패시터 기술로 구현된 아날로그 필터 뱅크를 사용하여 감지될 수 있다. 이러한 구현을 위해 필요되는 다이 영역은 일반적으로 채널 수의 제곱의 함수이며, 동일 기술을 사용하는 64 채널 필터 뱅크가 1024 채널 버전의 다이 영역의 1/256만 필요로 할 수 있다는 것을 의미한다. 일 실시형태에 있어서, 저 레이턴시 터치 센서용 완전 수신 시스템(complete receive system)은 적절한 필터 뱅크의 세트 및 적절한 증폭기, 스위치, 에너지 감지기 등을 포함하여 복수의 VLSI 다이 상에 구현된다. 일 실시형태에 있어서, 저 레이턴시 터치 센서용 완전 수신 시스템은 적절한 필터 뱅크의 세트 및 적절한 증폭기, 스위치, 에너지 감지기 등을 포함하여 단일 VLSI 다이 상에 구현된다. 일 실시형태에 있어서, 저 레이턴시 터치 센서용 완전 수신 시스템은 n개 채널 필터 뱅크의 n개 경우를 포함하고 적절한 증폭기, 스위치, 에너지 감지기 등을 위해 공간을 남겨놓는 단일 VLSI 다이 상에 구현된다.
정현파 발생
저 레이턴시 터치 센서에 있어서의 전송 신호(예를 들면, 정현파)의 발생은, 주로 각각의 행은 단일 신호의 발생을 필요로 하지만, 열 수신기는 다수의 신호 사이에서 검출 및 구별을 해야만 하기 때문에, 일반적으로 검출보다는 덜 복잡하다. 일 실시형태에 있어서, 정현파는 각각 공통 기준 주파수에 상이한 배수를 곱하는 일련의 위상 동기 루프(PLLs)를 이용하여 발생될 수 있다.
일 실시형태에 있어서, 저 레이턴시 터치 센서 디자인은 전송된 정현파에 대해 매우 높은 품질일 것을 요구하지 않지만, 오히려 통상적으로 무선 회로에서 허용 가능하거나 또는 바람직할 수 있는 것보다 많은 위상 노이즈, 주파수 변동(시간 경과, 온도 등), 고조파 왜곡 및 기타 결함을 갖는 전송되는 정현파를 수용한다. 일 실시형태에 있어서, 다수의 주파수는 디지털 수단에 의해 발생된 다음, 비교적 거친 아날로그 디지털 변환 처리를 채용된다. 상술한 바와 같이, 일 실시형태에 있어서, 발생되는 행 주파수는 서로 단순한 고조파 관계를 갖지 안아야 하고, 개시된 발생 처리에 있어서의 임의의 비선형성에 의해 세트 중 1개의 신호가 다른 것을 "에일리어스(alias)"하거나 또는 모방하지 않게 해야 한다.
일 실시형태에 있어서, 주파수 빗은 필터 뱅크에 의해 필터링되는 일련의 좁은 펄스를 가짐으로써 발생될 수 있고, 뱅크 내의 각각의 필터는 행으로 전송되는 신호를 출력한다. 주파수 "빗"은 수신기에 사용될 수 있는 필터 뱅크와 동일해도 좋은 필터 뱅크에 의해 생성된다. 예로서, 일 실시형태에 있어서, 100㎑의 레이트로 반복되는 10㎱ 펄스는 주파수 성분의 빗을 5㎒에서 시작해서 분리하도록 설계된 필터 뱅크를 통과하고, 100㎑로 분리된다. 정의된 바와 같은 펄스열은 100㎑부터 수십 ㎒까지의 주파수 성분을 가질 수 있으므로, 전송기 내의 모든 행에 대한 신호를 가질 수 있다. 따라서, 수신된 열 신호 내에서 정현파를 검출하도록, 펄스열이 동일한 필터 뱅크를 통해서 상술한 것까지 통과하면, 필터 뱅크 출력은 각각각의 행에 전송될 수 있는 신호 정현파를 각각 포함할 수 있다.
투명 디스플레이 표면
사람이 컴퓨터에서 생성되는 그래픽 및 이미지와 상호 작용할 수 있도록, 터치 표면이 컴퓨터 디스플레이와 통합되는 것이 바람직할 수 있다. 전방 투사가 불투명 터치 표면에 사용될 수 있고, 후방 투사가 반투명한 것에 사용될 수 있는 한편, 현대의 플랫 패널 디스플레이(LCD, 플라즈마, OLED, 등)는 일반적으로 터치 표면이 투명할 것이 요구된다. 일 실시형태에 있어서, 신호가 그것들을 따라 전파되는 것을 가능하게 하는 본 기술의 행과 열은 그들 신호에 대해 전도성일 필요가 있다. 일 실시형태에 있어서, 무선 주파수 신호가 그것들을 따라 전파되는 것을 가능하게 하는 본 기술의 행과 열은 도전성일 필요가 있다.
행과 열이 불충분한 전도성을 가지면, 행/열을 따른 단위 길이당 저항이 단위 길이당 정전용량과 결합되어 저역 통과 필터를 형성할 수 있고; 일단부에 인가된 임의의 고주파수 신호는 이 불량의 컨덕터를 따라 전파되기 때문에 상당히 약화될 수 있다.
시각적으로 투명한 컨덕터[예를 들면, 인듐주석 옥사이드(indium-tin-oxideㄸ) 또는 ITO]가 상업적으로 입수 가능하지만, 여기에 기재되는 저 레이턴시 터치 센서의 일부 실시형태에 바람직할 수 있는 주파수에서는 투명성과 전도성 사이의 트레이드오프가 문제가 된다: ITO가 소정 길이에 걸쳐 소정의 바람직한 주파수를 지원하기에 충분히 두꺼우면, 일부 적용에 불충분하게 투명할 수 있다. 일 실시형태에 있어서, 행 및/또는 열이 전체적으로 또는 적어도 부분적으로 높은 전도성과 광 투과성을 모두 갖는 그래펜 및/또는 탄소 나노튜브로 형성될 수 있다.
일 실시형태에 있어서, 행 및/또는 열은 그들 뒤의 무시될 수 있는 양의 디스플레이를 차단하는 하나 이상의 미세 와이어로 형성될 수 있다. 일 실시형태에 있어서, 미세 와이어는 너무 작아서 볼 수 없거나, 또는 적어도 너무 작아서 그 뒤의 디스플레이를 볼 때 시각적 장애물을 제공하지 않는다. 일 실시형태에 있어서, 투명 유리 또는 플라스틱 상에 패턴화된 미세 은 와이어는 행 및/또는 열을 형성하는데 사용될 수 있다. 이러한 미세 와이어들은 행/열을 따라 양호한 컨덕터를 생성하기에 충분한 단면을 가질 필요가 있지만, 이러한 와이어는 적용에 적합하듯이 밑에 있는 디스플레이를 거의 차단하지 않을 정도로 충분히 작고 충분히 확산되는 것이 바람직하다. 일 실시형태에 있어서, 미세 와이어의 사이즈는 밑에 있는 디스플레이의 픽셀 사이즈 및/또는 피치에 기초하여 선택된다.
일례로서, 새로운 애플 레티나 디스플레이는 한 측에 대략 80미크론의 픽셀 사이즈를 산출하는 인치당 대략 300픽셀을 포함한다. 일 실시형태에 있어서, 대략 10Ω의 저항을 갖는 20미크론 직경, 20㎝ 길이(아이패드 디스플레이의 길이)의 은 와이어는 여기에 설명되는 바와 같은 저 레이턴시 터치 센서에서 행 및/또는 열로서 및/또는 행 및/또는 열의 일부로서 사용된다. 그러나, 이러한 20미크론 직경의 은 와이어는 레티나 디스플레이를 가로지르게 되면 픽셀 전체 라인의 25%까지 차단할 것이다. 따라서, 일 실시형태에 있어서, 적절한 저항을 유지할 수 있고, 또한 무선 주파수 표피 깊이 문제에 관한 허용가능한 응답을 제공할 수 있는 다수의 얇은 직경의 은 와이어가 열 또는 행으로서 사용될 수 있다. 이러한 다수의 얇은 직경의 은 와이어는 직선형이 아닌 다소 부정형의 패턴으로 배치될 수 있다. 얇은 와이의 불규칙 또는 부정형의 패턴은 시각적 거슬림이 덜할 수 있다. 일 실시형태에 있어서, 얇은 와이어의 메쉬가 사용되고, 메쉬의 사용은 패터닝에 있어서의 제조 결함에 대비하는 것을 포함하여 강성을 향상시킬 수 있다. 일 실시형태에 있어서, 얇은 와이어가 적절한 레벨의 저항을 유지하도록 충분한 전도성을 갖고, 무선 주파수 표면 깊이 문제에 관한 기준에 적절하면, 단일의 얇은 직경의 와이어가 열 또는 행으로 사용될 수 있다.
도 2는 다이아몬드형 행/열 메쉬를 갖는 행/열 터치 표면의 실시형태를 도시한다. 이 메쉬 패턴은 그들 사이의 최소 중첩을 허용하면서, 행 및 열에 대해 최대 또한 동일한 표면 면적을 제공하도록 설계된다.
다이아몬드 중 하나보다 큰 면적의 터치 이벤트는 행 및 열의 적어도 일부를 커버할 것이며, 이는 행 신호가 중첩된 열로 일부 결합되도록 할 것이다. 일 실시형태에 있어서, 다이아몬드는 터치 도구(손가락, 스타일러스 등)보다 작도록 사이즈화된다. 일 실시형태에 있어서, 행과 열 사이의 0.5㎝ 간격이 사람의 손가락에 대해 적절한 수행 간격이다.
일 실시형태에 있어서, 단순 격자형의 와이어가 행 및 열로 사용된다. 이러한 격자형은 행 및 열에 대해 보다 적은 표면 면적을 제공하지만, 무선 주파수 신호에 대해 충분하고, 수신기에 의해 감지될 수 있는 충분한 무시할 수 없는 결합을 제공할 수 있다.
일 실시형태에 있어서, 도 2에 도시된 바와 같은 행 및 열에 대한 "다이아몬드 패턴"은 표시된 형상의 공간을 채우는 얇은 와이어의 무작위로 연결된 메쉬를 사용함으로써, 또는 와이어 메쉬를 ITO와 같은 다른 투명 컨덕터와 결합함으로써 생성될 수 있다. 일 실시형태에 있어서, 얇은 와이어는 예를 들면 전체 스크린에 걸쳐 전도성을 길게 연장하기 위해 사용될 수 있고, ITO는 다이아몬드 형상 영역과 같은 전도성 로컬 영역을 위해 사용될 수 있다.
광학 실시형태
상기 기재된 고속 멀티 터치 기술을 구현하는 무선 주파수 및 전기적 방법이 상술된 한편, 다른 매체도 사용될 수 있다. 예를 들면, 신호는 행 및 열에 대한 도파로 또는 기타 수단을 갖는 광학 신호(즉, 광)일 수 있다. 일 실시형태에 있어서, 광학 신호로 사용되는 광은 가시 영역 내, 적외선 및/또는 자외선일 수 있다.
일 실시형태에 있어서, 무선 주파수 신호를 이송하는 전기적 전도성 행 및 열 대신에, 행 및 열은 직교 신호를 발생하는 하나 이상의 광원에 의해 공급되고 광결합기에 의해 도파로와 결합되는 광파이버와 같은 광도파로를 포함할 수 있다. 예를 들면, 다른 별개의 광의 파장이 각각의 행의 파이버에 주사될 수 있다. 사람의 손가락이 행의 파이버를 터치했을 때, 내부 전반사가 실패됨으로써 그 중의 일부의 광이 손가락으로 누설(즉, 결합)될 수 있다. 이어서, 손가락 유래의 광은 상호 프로세스로 인해 열 파이버 중 하나로 입광하고, 상기 파이버 단부에서 검출기로 전파된다.
일 실시형태에 있어서, 광신호는 상이한 파장의 LED 또는 광파이버를 사용함으로써 발생될 수 있다. 일 실시형태에 있어서, 주문 제작형 간섭 필터가 사용된다. 일 실시형태에 있어서, 파이버 열에 존재하는 광의 상이한 파장은 광파이버 뱅크를 사용해서 검출될 수 있다. 일 실시형태에 있어서, 이러한 광파이버 뱅크는 주문 제작형 간섭 필터를 사용해서 구현될 수 있다. 일 실시형태에 있어서, 가시 스펙트럼 외부의 광(예를 들면, 적외선 및/또는 자외선)의 파장은 디스플레이에 가외의 가시 광선이 추가되는 것을 회피하기 위해 사용될 수 있다.
일 실시형태에 있어서, 행 파이버 및 열 파이버는 손가락이 그들을 동시에 터치할 수 있도록 함께 직조될 수 있다. 일 실시형태에 있어서, 직조 구조는 필요에 따라, 디스플레이가 보이지 않게 되는 것을 피하기 위해 시각적으로 투명하게 할 수 있다.
고속 멀티 터치 후처리
각각의 열 내의 각각의 행으로부터 신호 강도를, 예를 들면 상술한 절차를 사용하여 계산한 후, 그 결과를 2차원 "히트맵(heat map)"을 사용 가능한 터치 이벤트로 변환하기 위해 후처리가 수행된다. 일 실시형태에 있어서, 이러한 후처리는 필드 평탄화, 터치 포인트 검출, 보간, 및 프레임 사이의 터치 포인트 정합의 4개의 절차 중 적어도 일부를 포함한다. 필드 평탄화 절차는 행과 열 사이의 크로스토크를 제거하도록 오프셋 레벨을 제하고, 감쇠로 인한 특정 행/열 결합 사이의 진폭 차이를 보상한다. 터치 포인트 검출 절차는 평탄화된 신호의 극대값을 구함으로써 대략적인 터치 포인트를 계산한다. 보간 절차는 대략적인 터치 포인트와 관련된 데이터를 포물면에 적용함으로써 정교한 터치 포인트를 계산한다. 프레임 정합 절차는 프레임에 걸쳐서 서로에 대해 계산된 터치 포인트를 정합한다. 이하에, 각 4개의 절차에 대해 차례로 설명한다. 또한, 각 처리 스텝에 대한 구현, 가능한 고장 모드, 및 결과의 예도 개시한다. 극저 레이턴시에 대한 요구로 인해, 처리 스텝은 최적화 및 병렬화되어야 한다.
첫째로, 필드 평탄화 절차를 설명한다. 터치 표면 및 전자 센서의 설계로 인한 조직적인 문제는 각각의 열의 수신되는 신호 강도에 있어서 아티팩트를 유발할 수 있다. 이 아티팩트는 다음과 같이 보상될 수 있다. 우선, 행과 열 사이의 크로스토크 때문에, 각각의 행/열의 조합에 대한 수신되는 신호 강도는 오프셋 레벨을 경험할 것이다. 양호한 근사치를 위해, 이 오프셋 레벨은 일정해질 것이고 감산될 수 있다.
둘째로, 소정의 행과 열 교차점에서의 교정된 터치로 인한 열에 수신되는 신호의 진폭은 대부분 그들이 행과 열을 따라 전파될 때의 신호의 감쇠로 인해 그 특정 행과 열에 의존적일 수 있다. 더 멀리 그들이 이동할수록 더 많은 감쇠가 일어날 것이므로, 전송기로부터 먼 열과 수신기로부터 먼 행은 그들의 대응부보다 "히트맵"에서 낮은 신호 강도를 가질 것이다. 행과 열의 RF 감쇠가 낮으면, 신호 강도 차이는 무시할 수 있거나 작을 것이며, 또는 보상이 필수적이지 않을 것이다. 감쇠가 높으면, 보상이 필수적이거나 또는 터치 감지의 민감도 또는 품질을 향상시킬 수 있다. 일반적으로, 수신기에서 측정되는 신호 강도는 열에 전송되는 신호의 양을 갖고 선형일 것으로 예상된다. 따라서, 일 실시형태에 있어서, 보상은 그 특정 행/열 결합에 대한 교정 보상에 의해 히트맵 내의 각 위치를 곱하는 것을 포함할 것이다. 일 실시형태에 있어서, 측정 또는 추산이 히트맵 보상 테이블을 결정하는데 사용될 수 있고, 이 테이블은 곱에 의한 보상을 제공하는데 유사하게 사용될 수 있다. 일 실시형태에 있어서, 교정 작업은 히트맵 보상 테이블을 생성하는데 사용된다. 여기서 사용되는 용어 "히트맵"는 실제 열에 대한 맵을 필요로 하지 않고, 오히려 이 용어는 위치에 상응하는 데이터를 포함하는 적어도 2개 차원의 임의의 배열을 의미할 수 있다.
예시적인 실시형태에 있어서, 전체 필드 평탄화 절차는 다음과 같다. 아무것도 표면을 터치하지 않을 때, 우선 각각의 열 수신기에서 각각의 행 신호에 대한 신호 강도를 측정한다. 터치가 행해지지 않았기 때문에, 실질적으로 수신된 전체 신호는 크로스토크에 인한 것이다. 측정된 값(예를 들면, 각각의 열에 있는 각각의 행의 신호의 양)은 히트맵 내의 그 위치로부터 감산될 필요가 있는 오프셋 레벨이다. 이어서, 일정 오프셋이 감산되면, 교정 터치 객체를 각각의 행/열 교차점에 위치시키고, 그 열 수신기에서 행의 신호의 신호 강도를 측정한다. 신호 처리는 터치 표면 상의 하나의 위치값으로 터치 이벤트를 정규화하도록 구성될 수 있다. 우리는 임의로 (최소 감쇠되기 때문에) 가장 강한 신호를 가질 가능성이 있는 위치 즉, 송신기와 수신기에 가장 가까운 행/열 교차점을 선택할 수 있다. 이 위치에서 교정된 터치 신호 강도가 SN이면, 각각의 행 및 열에 대해 교정된 터치 신호 강도는 SR,C이며, 우리가 히트맵에서 각 위치에 (SN/SR,C)를 곱하면, 모든 터치값이 정규화될 것이다. 교정된 터치에 대해, 히트맵 내의 임의의 행/열에 대한 정규화된 신호 강도는 하나로 동일할 것이다.
필드 평탄화 절차 역시 병렬화된다. 한번만 수행될 필요가 있는(또는 가능하면 보수 간격에서 다시) 오프셋 및 정규화 파라미터가 측정되고 저장되면, 각 신호 강도가 측정되자마자 교정이 적용될 수 있다. 도 3은 필드 평탄화 과정의 실시형태를 도시한다.
일 실시형태에 있어서, 각각의 행/열 교차점을 교정하는 것은 규칙적이거나 또는 선택적 보수 간격을 필요로 할 수 있다. 일 실시형태에 있어서, 각각의 행/열 교차점을 교정하는 것은 단위당 한번 필요될 수 있다. 일 실시형태에 있어서, 각각의 행/열 교차점은 교정하는 것은 설계 당 한번 필요될 수 있다. 일 실시형태에 있어서, 또한 특히 예를 들면 행 및 열의 RF 감쇠가 낮은 경우, 각각의 행/열 교차점을 교정하는 것을 전혀 필요로 하지 않을 수 있다. 또한, 행과 열을 따르는 신호 감쇠가 상당히 예측 가능한 일 실시형태에 있어서, 단지 일부의 교차점 측정으로부터 전체 표면을 교정하는 것이 가능할 수 있다.
터치 표면이 다수의 감쇠를 겪으면, 필드 평탄화 절차는 적어도 어느 정도 측정을 정규화할 것이지만, 일부 부작용을 가질 수 있다. 예를 들면, 정규화 상수가 커질수록 각 측정에 있어서 노이즈가 커질 것이다. 낮은 신호 강도 및 높은 감쇠는 터치 포인트 감지 및 보간 처리에 있어서 에러 및 불안전성을 유발할 수 있다는 것은 당업자에게 명백할 수 있다. 따라서, 일 실시형태에 있어서, 최대 감쇠(예를 들면, 가장 먼 행/열 교차점)에 대한 충분한 신호 강도를 제공하는 것에 주의를 기울여야 한다.
이제 터치 포인트 검출에 대해 설명한다. 히트맵이 생성되고 필드가 평탄화되면, 하나 이상의 대략적인 터치 포인트가 식별될 수 있다. 하나 이상의 대략적인 터치 포인트를 식별하는 것은 정규화된(즉, 평탄화된) 신호 강도의 극대값을 구함으로써 행해진다. 하나 이상의 터치 포인트를 구하는 빠르고 병렬화 가능한 방법은 정규화된 히트맵의 각 요소를 이웃하는 것과 비교하고, 그들 모두보다 엄밀히 크면 로컬 최대값으로 라벨링하는 것을 포함한다. 일 실시형태에 있어서, 포인트는 이웃하는 모든 것들 및 상기 정해진 임계보다 엄밀히 크면 로컬 최대값으로 식별된다.
다양한 방식으로 이웃들의 세트를 정의하는 것은 본 개시의 범위 내에 있다. 일 실시형태에 있어서, 가장 가까이 이웃은 폰 노이만 이웃법(Von Neumann neighborhood)에 의해 정의된다. 일 실시형태에 있어서, 가장 가까이 이웃은 무어 이웃법(Moore neighborhood)에 의해 정의된다. 폰 노이만 이웃법은 중앙에서 수직으로 또한 수평으로 가까운 요소(즉, 그것의 북쪽, 남쪽, 동쪽, 및 서쪽 요소)인 4개의 요소로 구성될 수 있다. 이것은 소위 "4방 연결(four-connected)" 이웃으로도 불리운다. 보다 복잡한(즉, 큰) 폰 노이만 이웃법도 적용 가능하며 사용될 수 있다. 무어 이웃법은 중앙에서 수직으로, 수평으로 및 대각선으로 가까운 요소인 8개의 요소(즉, 북쪽, 남쪽, 동쪽, 서쪽, 북동쪽, 북서쪽, 남동쪽, 및 남서쪽 요소)로 구성될 수 있다. 이것은 "8방 연결" 이웃으로도 칭해진다.
이웃 선택은 정밀한 터치 포인트를 계산하는데 사용되는 보간 체계에 의존적일 것이다. 이것에 대해서는 이하에 더욱 상세히 예시한다.
소정의 이웃 비교에 있어서, 요소의 정규화된 신호 강도가 하나 이상의 그 이웃과 동일하거나 또는 엄밀히 노이즈 레벨에 대해 허용되는 허용값 이내인 특별한 경우가 존재할 수 있다. 일 실시형태에 있어서, 이러한 쌍에 있어서의 포인트가 임계값 이상의 값을 갖는다고 해도 터치 포인트로 고려되지 않는다. 일 실시형태에 있어서, 이러한 쌍의 양 포인트는 터치 포인트로 고려된다. 일 실시형태에 있어서, 2개 이상의 이웃하는 포인트가 대략 동일한 값을 갖는 영역은 하나의 터치 이벤트로서 처리된다. 일 실시형태에 있어서, 2개 이상의 이웃하는 포인트가 대략 동일한 값을 갖는 영역은 단일의 국부 최대값이 구해질 수 있는 영역으로부터 상이한 타입의 터치 이벤트(예를 들면, 누군가 그들의 손목이 터치 표면과 접촉)로서 처리된다.
이제 보간 절차에 대해 설명한다. 대략적인 터치 포인트가 결정(즉, 식별)되면, 정밀한 터치 포인트가 보간을 사용하여 계산될 수 있다. 일 실시형태에 있어서, 분산된 터치의 정전용량 접촉은 최대값을 갖는 모델 함수에 적용된다. 일 실시형태에 있어서, 모델 함수는 2차원 이상의 2차 함수이다. 일 실시형태에 있어서, 2차 함수는 포물면이다. 일 실시형태에 있어서, 포물면 모델은 손가락 또는 스타일러스와 같은 터치 표면을 터치하는데 사용될 수 있는 다양한 객체에 대해 허용 가능한 근사치이다. 더욱이, 후술하는 바와 같이, 포물면 모델은 비교적 비집중적인 계산법이다. 일 실시형태에 있어서, 보다 복잡하거나 또는 보다 계산적인 집중 모델이 평탄화된 히트맵로부터 터치의 보다 정확한 평가를 제공하는데 사용될 수 있다. 후술할 목적으로, 포물면을 예시적인 예로서 사용하지만, 당업자에게 명백해지는 바와 같이, 보다 많이 또는 보다 덜 복잡한 모델을 포함하는 다른 모델이 보간을 위해 사용될 수 있다.
도 4는 예시적인 국부 최대값 주변의 폰 노이만 이웃법을 도시한다. 이러한 4방 연결 또는 폰 노이만 이웃법에 대해, 관련 포인트는 도시된 것과 같을 것이며, 중심 요소가 국부 최대값이고, 아래 첨자가 그것과 관련된 특정 요소의 좌표이다. 우리는 5개 요소의 위치 및 신호 강도를 포물면을 정의하는 다음 방정식에 적용할 수 있다.
Figure pct00001
여기서, x 및 y는 요소의 위치이고, z는 요소의 신호 강도이며, A, C, D, E, 및 F는 2차 다항식의 계수이다. 중심 포인트에 대해, 요소 x, y 위치의 모두가 상수이다. z값은 각 요소의 측정된 신호 강도이고, 따라서 알고 있다. 일 실시형태에 있어서, 5개의 알려지지 않은 다항식 계수를 구하기 위해 5개의 연립 방정식이 사용될 수 있다. 각각의 방정식은 중심 포인트 및 그 4개의 이웃을 포함하여 5개의 포인트 중 하나를 나타낸다.
일 실시형태에 있어서, 방데르몽드형 행렬은 다음과 같이 다항식 계수를 구하기 위해 채용될 수 있다:
Figure pct00002
상기 요소 위치에 대한 값을 대입하면, 다음이 얻어진다.
Figure pct00003
그 다음, 상수 방데르몽드형 행렬을 역행렬함으로써 다항식 계수를 구하여:
Figure pct00004
다음이 얻어진다.
Figure pct00005
일 실시형태에 있어서, 다항식 계수는 신호 강도의 일차 결합이며, 부정 및 단일 시프트를 포함하여 오직 단순 곱셈이 그것들을 계산하는데 필요로 되고; 따라서, 그것들은 FPGA 또는 ASIC에서 효과적으로 계산될 수 있다.
포물면의 최대값에서 양 편도함수는 0이다:
Figure pct00006
및
Figure pct00007
이것은 포인트 xf, yf에서 발생하고, 여기서
Figure pct00008
및
Figure pct00009
이다.
따라서, 이웃 데이터가 포물면에 적용되는 일 실시형태에 있어서, 포물면이 1개의 최대값을 갖기 때문에, 그 최대값은 정밀한 터치 포인트의 위치로서 사용된다. 4방 연결된 이웃을 이용하는 일 실시형태에 있어서, 값 xf 및 yf 는 서로 독립적이고, xf는 중앙 포인트의 좌측 및 우측 요소의 신호 강도에만 의존하고, yf는 그것의 상하 요소의 신호 강도에만 의존한다.
도 5는 로컬 최대값 주변의 무어 또는 8방 연결 이웃을 도시한다. 이러한 8방 연결, 또는 무어 이웃에 대해, 관련 포인트는 도시된 바와 같이 나타날 수 있고, 중앙 요소가 로컬 최대값이며, 아래 첨자는 그것과 관련된 특정 요소의 좌표이다. 9개 요소의 위치 및 신호 강도는 포물면 방정식에 적용될 수 있다. 이전 예보다 많은 입력 데이터가 이 예에서 이용 가능하기 때문에, 포물면에 대해 다소 더 복잡한 방정식이 사용될 수 있다.
Figure pct00010
이 방정식은 추가된 xy 교차 항목, 및 상기 모델이 x 또는 y 이외의 방향으로 연장되는 것에 대해 보상하도록 하는 새로운 B 계수를 갖는다. 재차, 중앙 포인트와 관련해서, 모든 요소 x, y 위치는 상수이고, z값은 알고 있다. 9개의 연립 방정식(요소당 하나)이 6개의 알려지지 않은 다항식 계수를 결정[즉, 중복결정(overdetermine)]하는데 사용될 수 있다. 최소 자승법이 6개의 미지의 다항식 계수를 구하데 사용될 수 있다.
방데르몽드형 행렬은 다항식에 적용하는데 사용될 수 있다. 상술한 실시형태와 달리, 행렬은 9행과 6열을 갖는 비정사각형이다.
Figure pct00011
방데르몽드형 행렬에 있어서의 모든 항목은 상수이며, z값은 알고 있으며, 상수값을 대입하면 다음이 산출된다.
Figure pct00012
방데르몽드형 행렬은 비정사각형이기 때문에, 다항식 계수를 구하기 위해 역행렬될 수 없다. 그러나, 다항식 계수에 대해 무어 펜로즈 의사역행렬을 이용하고, 또한 최소 자승법을 적용하여 구할 수 있다. 일 실시형태에 있어서, 의사역행렬은 다음과 같이 정의되고:
Figure pct00013
다음이 얻어진다:
Figure pct00014
다항식 계수는 신호 강도의 일차 결합이다. 곱셈은 약간 더 복잡하지만, 대분분의 곱셈은 계산의 거의 끝부분에 단일 시간이 적용되어 인자가 구해진다. 이 스텝의 목적은 포물면의 최대값을 구하는 것이다. 따라서, 전체적인 스케일 인자는 무관하며, 초점은 기능을 극대화하는 관련값 및 독립 변수에만 맞춰질 필요가 있으며, 일 실시형태에 있어서, 대부분의 연산이 상쇄될 수 있어 구현 효율이 향상될 수 있다.
상술한 바와 같이, 정밀한 터치 포인트는 모두 편미분이 0인 포물면의 최대값에서 추정된다.
Figure pct00015
및
Figure pct00016
이것은 포인트 xf, yf에서 발생하고, 여기서
Figure pct00017
및
Figure pct00018
8방 연결 이웃에 대해, 값 xf 및 yf는 서로 독립적이지 않다. 둘 다 8개 이웃 모두의 신호 강도에 의존한다. 따라서, 이러한 접근법은 증가되는 계산적 부담 및 신호 강도의 어떠한 조합이 정밀 터치 포인트에 대한 단일값을 생성할 가능성을 가질 수 있다. 8 무어 이웃에 최소 제곱 접근법을 사용하는 실시형태에 있어서, 이러한 구현은 노이즈 신호 강도값에 대해 보다 강력하다. 환언하면, 일 실시형태에있어서, 하나의 신호 강도에 있어서의 작은 에러는 계산에 사용되는 데이터의 증가된 양 및 그 데이터의 자기 상용성(self-consistency)에 의해 보상될 것이다.
또한, 8방 연결 이웃법은 유저 인터페이스의 일부로서의 유용함을 증명할 수 있는 B계수(정보의 여분)를 제공한다. xy 교차항의 B 계수는 소프트웨어가 터치가 발생하는 각도를 결정할 수 있게 하는 A 계수 및 C 계수에 있어서 고유의 종횡비와 함께, 적용된 포물면에 있어서의 비대칭성을 특성화하는데 사용될 수 있다.
도 6은 포물면을 특정 z값에서 절단(truncate)함으로써 얻어질 수 있는 타원형 단면을 갖는 예시적인 터치 포인트이다. a 및 b의 값은 다항식의 A 계수 및 C 계수로부터 얻어질 수 있고, 그것들은 표면을 터치하는 객체의 종횡비에 관한 정보를 제공한다. 예를 들면, 손가락 또는 스타일러스는 반드시 원형 대칭이 아닐 수 있으며, a와 b의 비율은 그 형상에 관한 정보를 제공할 수 있다.
각도(φ)의 인식은 타원의 방향에 대한 정보를 제공할 수 있고, 또한 예를 들면 손가락 또는 스타일러스가 어느 곳을 가리키고 있는지 나타낼 수 있으며, φ는 다음과 같이 2×2 행렬(M)의 고유값 및 고유 벡터로부터 계산될 수 있다.
Figure pct00019
이 행렬은 2개의 고유값 및 2개의 고유 벡터를 가질 것이다. 최대 고유값과 관련된 고유 벡터는 타원의 장축의 방향을 가리킬 것이다. 다른 고유 벡터는 단축의 방향을 가리킬 것이다. 고유값 λ1, λ2는 다음과 같이 계산될 수 있다.
Figure pct00020
여기서, tr(M)은 AC와 같은 행렬(M)의 트레이스이며, det(M)은 AC-B2/4와 같은 행렬(M)의 행렬식이다.
고유값이 얻어지면, 우리는 고유 벡터를 계산하기 위해 케일리 헤밀턴 정리를 사용할 수 있다. λ1과 관련된 고유 벡터는 행렬 M-λ 2 I의 열 중 하나이며, λ 2 와 관련된 고유 벡터는 행렬 M- λ 1 I의 열 중 하나이다. 고유 벡터 인덱스의 반전에 주목하라. 타원의 장축이 우리의 좌표계의 x축에 대하여 이루는 각도(φ)는 고유 벡터 경사의 아크탄젠트이다. 고유 벡터 경사는 단지 Δy/Δx이다.
상술한 바와 같이, 보간 스텝은, 예를 들면 평판화된 히트맵으로부터 획득한 데이터를 사용하여 미세한 터치 포인트를 결정하는 것을 필요로 하지만, 상술한 예시적인 포물면 모델에 한정되지 않는다. 미세한 터치 포인트를 결정하는 목적은 터치 포인트에 양호한 입상(granularity), 또한 특히 센서의 교차점을 초과하는 입상을 제공하도록 후처리 하기 위한 것이다. 또 다른 방식을 말하자면, 모델링되고 보간된 미세한 터치 포인트는 행/열 교차점 또는 교차점 사이의 어느 곳이든 직접 도달할 수 있다. 모델의 정확도와 이것의 계산 요구 조건 간에는 트레이드오프 관계가 있을 수 있고; 마찬가지로 모델의 정확도와 실제 터치에 상응하는 보간된 미세 터치 포인트를 제공하는 이것의 능력 사이에는 트레이드오프 관계가 있을 수 있다. 따라서, 일 실시형태에 있어서, 따라서, 일 실시형태에 있어서, 모델은 보간된 터치 포인트와 실제 터치 사이에 충분한 상응성을 제공하는 한편, 최소한의 계산적 부하가 필요하도록 선택된다. 일 실시형태에 있어서, 모델은 보간된 터치 포인트와 실제 터이 사이의 충분한 상응성을 필요로 하도록 선택되고, 또한 처리 하드웨어는 모델의 계산적 부하를 고려하여 선택된다. 일 실시형태에 있어서, 터치 인터페이스에서 작동되는 미리 선택된 하드웨어 및/또는 다른 소프트웨어의 계산 능력을 초과하지 않는 모델이 선택된다.
프레임 정합 절차로 돌아가서, 경시에 따라 터치 표면 상에서 이동하는 객체를 적절히 추적하기 위해, 예를 들면 터치 표면 상을 이동하는 객체가 이동할 때 추적하기 위해, 계산된 터치 포인트를 각각의 다른 프레임의 경계를 넘어 정합시키는 것이 중요하다. 또 다른 방식을 말하자면, 하나의 프레임에서 계산된 각 터치 포인트는 그 다음 프레임에서 식별되거나 또는 다른 배치(예를 들면, 제거)를 가져야 한다. 이것은 일반적인 경우에서는 해결할 수 없는 근본적으로 어려운 문제인 반면, 일 실시형태는 기하학과 물리학의 법칙을 사용하여 구현될 수 있다. 터치 표면과 접촉하는 항목이 유한한 사이즈를 가지며, 어떤 물리적 원리에 따라 이동하기 때문에, 어떤 경우는 타당한 범위 이외의 것으로서 무시될 수 있다. 또한, 일 실시형태에 있어서, 프레임 비율은 합리적인 확실성을 갖는 객체 추적(즉, 한 프레임 단위로 터치 포인트 추적)을 허용하는데 충분해야 한다. 따라서, 예를 들면, 추적될 객체가 터치 표면 또는 추적에 걸쳐 최대 비율로 이동하는 것으로 알려져 있는 경우, 합리적인 확실성을 갖는 추적을 허용할 수 있는 프레임 비율이 선택된다. 예를 들면, 터치 표면의 행 또는 열에 걸친 이동의 최대 비율이, 예를 들면 초당 1000행 또는 열이면, 1000㎐의 프레임 비율이 프레임당 1행 또는 열 이하로 개체가 이동하는 것을 "보일" 것이다. 일 실시형태에 있어서, (상술한 바와 같은) 터치 포인트 보간은 터치 포인트 위치의 보다 정확한 측정을 제공할 수 있으므로, 내부 행 및 내부 열 위치가 본원에 보다 완전히 설명되는 바와 같이 용이하게 식별 가능하다.
손가락 및 스타일러스는 최소 사이즈를 가져서, 서로 모호한 경우를 유발할 만큼 충분히 가까이 접근할 가능성이 거의 없다. 또한, 문제의 경계에 있는 사람 팔 및 그 부분(예를 들면, 손목, 팔꿈치, 손가락 등)의 모션의 속도 특성으로 이동한다. 본 개시된 센서의 터치 표면은 일 실시형태에서는 1㎑ 또는 그 이상의 단위일 수 있는 상대적으로 높은 업데이트 레이트를 갖기 때문에, 표면을 터치하는 손가락 및 스타일러스는 하나의 프레임으로부터 다음으로의 업데이트 기간 동안 아주 멀리 또는 극단적인 각도로 이동할 수 없다. 제한된 거리 및 각도 때문에, 본 개시에 따르면, 추적은 다소 간단할 수 있다.
일 실시형태에 있어서, 경시에 따라 터치 표면 상에서 이동하는 객체를 추적하는 것은 하나의 프레임으로부터 하나 이상의 이전 프레임까지의 데이터를 비교함으로써 수행된다. 일 실시형태에 있어서, 이전 프레임(예를 들면, 히트맵)은 임시 버퍼에 유지될 수 있다. 일 실시형태에 있어서, 이전 프레임에 관해 처리된 데이터(예를 들면, 필드 평탄화된 히트맵 또는 적용된 다항식 계수)는 임시 버퍼에 유지될 수 있다. 일 실시형태에 있어서, 임시 버퍼에 유지되는 이전 프레임에 관한 데이터는 이전 프레임 내의 각각의 미세 터치 포인트에 대한 보간된 미세 터치 포인트 좌표, 및 이들 미세 터치 포인트의 이전 모션과 관련된 벡터의 범위까지 포함하거나 또는 구성할 수 있다. 임시 버퍼는 하나 이상의 이전 프레임과 관련된 데이터를 유지할 수 있고, 이후 계산과 더 이상 관련이 없을 때 데이터를 유지하는 것을 중단할 수 있다.
일 실시형태에 있어서, 프레임 정합 처리에서는 초기에는 현재 프레임(i)에서의 객체의 터치 포인트가 기하학적으로 터치 포인트와 가장 가까운 이전 프레임(즉, i-1)에서의 터치 포인트라고 가정한다.
일 실시형태에 있어서, 터치 포인트의 모션과 관련된 데이터(즉, 속도 및 방향)는 하나 이상의 프레임과 관련하여 결정되고 저장된다. 일 실시형태에 있어서, 터치 포인트의 모션과 관련된 데이터는 다음 프레임에서의 터치 포인트에 대한 예상 위치를 예측하는데 사용된다. 터치 포인트의 모션과 관련된 데이터는, 예를 들면 속도 또는 위치의 변화를 포함할 수 있고, 또한 하나 이상의 이전 프레임으로부터 비롯될 수 있다. 일 실시형태에 있어서, 프레임 내의 예상 위치를 예측하는 것은 2개의 프레임 산출 프레임당 변위 및 그 방향 사이의 이동을 고려함으로써 행해진다. 일 실시형태에 있어서, 프레임 내의 예상 위치를 예측하는 것은 3개 이상의 프레임 내에서의 모션을 고려함으로써 행해진다. 3개 이상의 프레임으로부터의 미세 터치 포인트 위치적 정보를 사용하는 것은 프레임당 변위 및 방향에 추가하여 가속 및 방향의 변화를 고려할 수 있으므로, 보다 정확한 예측을 얻을 수 있다. 일 실시형태에 있어서, 오래된 프레임 데이터보다 최근 프레임 데이터에 보다 많은 비중이 할당된다. 이어서, 프레임 정합 처리에서는, 초기에 현재 프레임(i)에서의 객체의 터치 포인트가 가령 현재 프레임에서의 터치 포인트와 가장 가까운 예측되는 예상 위치와 관련되는 이전 프레임(즉, i-1)에서의 터치 포인트와 상응한다고 가정한다.
일 실시형태에 있어서, 터치 포인트의 사이즈(규모)와 관련된 데이터(예를 들면, 포물면의 A 계수 및 C 계수)는 하나 이상의 프레임과 관련하여 결정되고 저장된다. 프레임 정합 처리에서는 초기에는 현재 프레임(i)에서의 소정의 객체의 사이즈가 이전 프레임(즉, i-1)에서의 그 객체의 사이즈와 상응한다고 가정한다.
일 실시형태에 있어서, 경시에 따라 터치 포인트의 사이즈(규모)의 변화와 관련된 데이터는 하나 이상의 프레임과 연관하여 결정되고 저장된다. 일 실시형태에 있어서, 프레임에서의 터치 포인트의 사이즈의 변화와 관련된 데이터(예를 들면, 마지막 프레임부터의 또는 복수의 프레임에 걸친)는 다음 프레임에서의 그 터치 포인트에 대한 예상 사이즈를 예측하는데 사용된다. 프레임 정합 처리는 초기에는 현재 프레임(i)에서의 객체가 현재 프레임에서의 터치 포인트의 사이즈와 가장 가까운 예측되는 예상 사이즈와 관련된 이전 프레임(즉, i-1)에서의 객체와 아마도 상응한다고 가정할 수 있다.
일 실시형태에 있어서, 경시에 따른 터치 포인트의 회전 방향의 변화와 관련된 데이터(예를 들면, 포물면의 B 계수)는 하나 이상의 프레임과 연관하여 결정되고 저장된다. 일 실시형태에 있어서, 프레임에서의 터치 포인트의 회전 방향과 관련된 데이터(예를 들면, 마지막 프레임부터의 또는 복수의 프레임에 걸친)는 다음 프레임에서의 그 터치 포인트에 대한 회전 방향을 예측하는데 사용된다. 프레임 정합 처리는 초기에는 현재 프레임(i)에서의 객체가 현재 프레임에서의 터치 포인트의 회전 방향과 가장 가까운 예측되는 예상 회전 방향과 관련되는 이전 프레임(즉, i-1)에서의 객체와 상응한다고 가정할 수 있다. 일 실시형태에 있어서, 터치 포인트의 회전 방향은 회전의 단일 터치 포인트 제어(예를 들면, 단일 손가락 제어)를 허용할 수 있으므로, 예를 들면, 스크린 상의 한 손가락의 회전은, 예를 들면 시점을 회전(전통적으로, 터치 표면과 접촉하는 2개의 회전 포인트를 필요로 하는 기능)시켜서 충분한 정보를 제공할 수 있다. 시간이 지남에 따른 회전 방향을 묘사하는 데이터를 사용해서 회전 속도가 계산될 수 있다. 마찬가지로, 회전 방향 또는 회전 속도와 관련된 데이터는 회전 가속도를 계산하는데 사용될 수 있다. 따라서, 회전 속도 및 회전 가속도는 모두 회전 방향을 이용한다. 회전 방향, 회전 속도 및/또는 회전 가속도는 프레임 정합 처리를 사용하여 또는 프레임 정합 처리에 의해 터치 포인트 및 출력에 대해 계산될 수 있다.
일 실시형태에 있어서, 프레임 정합에 대한 경험적 지식(heuristic)은 터치 포인트의 거리 및 속도 벡터를 포함한다. 일 실시형태에 있어서, 프레임 정합에 대한 경험적 지식은 다음 중 하나 이상을 포함한다.
프레임(i+1)에서의 객체의 터치 포인트는 아마도 기하학적으로 그것에 가장 가까운 프레임(i)에 있어서의 터치 프레임일 것이다;
프레임(i+1)에서의 객체의 터치 포인트는 아마도 상기 객체의 속도 이력이 제공되었을 것으로 예측되는 포인트와 가장 가까운 프레임(i)에서의 터치 포인트일 것이다;
프레임(i+1)에서의 객체의 터치 포인트는 프레임(i)에서의 그 터치 포인트와 동일한 사이즈를 가질 수 있다.
이력 데이터의 기타 조합은 본 개시의 범위로부터 벗어나지 않게 사용될 수 있다. 일 실시형태에 있어서, 이전 위치 및 속도 이력은 모두 경험적 지식 프레임 매칭 처리에 사용될 수 있다. 일 실시형태에 있어서, 이전 위치, 속도 이력 및 사이즈 이력은 경험적 지식 프레임 정합 처리에 사용될 수 있다. 일 실시형태에 있어서, 이전 위치 및 다른 이력 정보 경험적 지식 프레임 정합 처리에 사용될 수 있다. 일 실시형태에 있어서, 복수의 프레임에 걸친 이력 정보는 경험적 지식 프레임 정합 처리에 사용된다. 다른 조합은 상기 개시의 관점에서 당업자에게 명백할 것이다.
고속 멀티 터치 노이즈 감소
일 실시형태에 있어서, 노이즈가 고속 멀티 터치(Fast Multi-Touch)(FMT) 센서와의 간섭 또는 센서 내에 고스트 터치(phantom touch)를 유발하는 일부 조건을 극복하기 위한 방법 및 시스템이 제공된다. 상술한 센서의 실시형태에 있어서, 행은 그 상에 전송되는 신호를 갖고, 전송되는 신호는 터치 또는 다수의 터치가 센서의 표면에 또는 근방에 적용될 때 터치 또는 다수의 터치 근방의 열과 결합된다(일부 경우에 있어서, 터치 또는 다수의 터치는 열 내의 행 신호의 감소를 유발할 수 있다.). 터치의 위치는 열로부터의 신호를 판독하여 그것이 생성된 행을 결정함으로써 결정된다.
상술한 바와 같은 센서가 소정 조건(예를 들면, 전자기 노이즈)의 존재하에서 사용되는 경우, 열이 장치의 행 중 하나에 의해 생성되는 주지의 신호와 혼동될 수 있는 다른 소스로부터의 신호를 수신하는 것이 가능하다. 이러한 경우에 있어서, 장치는 실제로는 아니지만 열에 수신된 신호가 행으로부터 비롯한다고 결정하는 고스트 터치를 보고할 수 있다. 본 실시형태는 이러한 고스트 터치의 발생을 감소시키거나 또는 제거하기 위한 방법 및 장치를 제공한다.
따라서, 센서의 일 실시형태에 있어서, 장치의 행 및 열 모두 고유 신호를 전송하고, 또한 장치의 열 또는 행으로부터 각각 신호를 수신하도록 설정된다. 일 실시형태에 있어서, 주어진 열의 행(N)으로부터 검출된 신호는 그 열의 전송된 신호가 행(N)에서 동시에 걸출되면 터치라고 간주될 수 있다. 환언하면, 행 및 열 모두는 장치가 행 및 열의 교차점에서의 터치를 보고하도록, 다른 것의 전송된 신호를 수신해야만 한다. 이러한 방식으로 정합되지 않은 행 또는 열에 수신되는 신호는 예를 들면 외부 소스로부터의 노이즈로서 거절될 것이다. 대안적인 일 실시형태에 있어서, 정해진 열의 행(N)으로부터 감지된 신호 및 행(N)의 정해진 열로부터 감지된 신호 모두는 정합이 이루어진 여부에 상관없이 터치로 여겨질 수 있다. 이 구성이 상술한 정합의 이점을 제공할 수 없는 반면, 센서에 증가된 민감도를 제공할 수 있다.
일 실시형태에 있어서, 고유 신호는 모든 행 및 열에 전송될 수 있다. 일 실시형태에 있어서, 고유 신호는 하나 이상의 행의 서브셋의 각각의 행에 전송될 수 있다. 일 실시형태에 있어서, 고유 신호는 하나 이상의 열의 서브셋의 각각의 열에 전송될 수 있다. 일 실시형태에 있어서, 모든 행 및 열은 고유 신호를 검출하도록 설정된다. 일 실시형태에 있어서, 하나 이상의 행의 서브셋의 각각의 행은 고유 신호를 검출하도록 설정된다. 일 실시형태에 있어서, 하나 이상의 열의 서브셋의 각각의 열은 고유 신호를 검출하도록 설정된다.
도 7은 터치 센서의 일 실시형태에 따른 고속 멀티 터치 센서(700)의 소정 원리를 도시한다. 전송기 및 수신기(702)는 각각의 행에 장착되고, 전송기 및 수신기(703)는 각각의 열에 장착된다. 702로 도시된 전송기는 703으로 도시된 전송기와 동일 요소의 일부 또는 별개일 수 있다. 마찬가지로, 702로 도시된 수신기는 703으로 도시된 수신기와 동일 요소의 일부 또는 별개일 수 있다. 전송기(702, 703) 자체는 별개의 요소일 수 있거나, 또는 간단히 신호 발생기와 같은 신호원에 연결될 수 있거나 또는 신호 발생기의 일부일 수 있다. 마찬가지로, 702 및 703으로 도시된 수신기는 별개의 요소일 수 있거나, 또는 간단히 신호 처리기에 연결될 수 있거나 또는 신호 처리기의 일부일 수 있다. 참조 번호 704는 전송되는 행 신호 및 수신되는 행 신호 모두를 나타내고, 참조 번호 705는 전송되는 열 신호 및 수신되는 열 신호 모두를 나타낸다. 전송된 행 신호의 적어도 하나의 서브셋은 직교, 즉 서로 분리 가능하고 구별 가능하도록 설계된다. 마찬가지로, 전송되는 열 신호의 적어도 하나의 서브셋은 서로에 대하여 직교하도록 설계된다. 수신기는 신호 처리기가 열 또는 행 상에 존재하는 직교 신호 중 적어도 일부의 양을 개별적으로 측정하도록 설정되는 한편, 임의의 전송되는 신호 또는 그것들의 임의의 결합을 수신하도록 설계된다. 일 실시형태에 있어서, 행에 전송되는 직교 신호 각각은 열에 대한 수신기/신호 처리기에 의해 수신되고 측정될 수 있으며, 열에 전송되는 직교 신호 각각은 행에 대한 수신기/신호 처리기에 의해 수신되고 측정될 수 있다. 상술한 바와 같이, 도면에 나타낸 수신기와 신호 처리기 사이의 구별은 읽는이의 편의를 위한 것이며, 신호 발생기와 전송기 사이의 구별도 마찬가지이다. 예를 들면, 행 또는 열은 신호 처리기에 직접 연결될 수 있으므로, 신호 처리기도 수신기로서 작용한다. 유사하게, 행 또는 열은 신호 발생기에 연결될 수 있으므로 신호 발생기도 전송기로서 작용할 수 있다. 일 실시형태에 있어서, 모든 신호 발생기 및 수신기/신호 처리기는 동일한 혼합 신호 ASIC 내에 통합될 수 있다.
일반적으로, 본 센서에 있어서, 행과 열 사이에서 결합되는 신호는 터치 이벤트가 일어날 때와 대조적으로 일어나지 않을 때 변화한다. 일 실시형태에 있어서, 행 및 열은 터치 이벤트가 일어나지 않을 때 낮거나 또는 무시할 수 있는 양의 신호가 그들 사이에서 결합되는 반면, 터치 이벤트가 일어날 때 높거나 또는 무시할 수 없는 양의 신호가 그들 사이에서 결합되도록 구성된다. 일 실시형태에 있어서, 행 및 열은 터치 이벤트가 일어날 때 낮거나 또는 무시할 수 있는 양의 신호가 그들 사이에서 결합되는 반면, 터치 이벤트가 일어나지 않을 때 높거나 또는 무시할 수 없는 양의 신호가 그들 사이에서 결합되도록 구성된다. 일 실시형태에 있어서, 행과 열 사이에서 결합되는 신호는 터치 이벤트가 일어날 때와 대조적으로 일어나지 않을 때 변화한다. 상술한 바와 같이, 터치 또는 터치 이벤트라는 용어는 물리적 터치를 필요로 하지 않고, 오히려 (예를 들면, 노이즈가 아닌) 센서에 영향을 미치고 결합된 신호의 레벨에 영향을 미치는 이벤트를 필요로 한다. 이 점에서, 호버링(hovering)은 터치 이벤트로 여겨진다. 또한, 여기에 사용되는 바와 같은 신호의 "레벨" 또는 "양"은 별개의 미리 결정된 레벨뿐만 아니라, 신호의 상대적인 양, 신호 양의 범위, 시간 간격에서 동적으로 또는 터치 이벤트 결정이 이루어질 때 결정되는 신호의 양, 또는 임의의 그 조합을 포함한다. 따라서, 일 실시형태에 있어서, 본 센서 및 설정은 하나 이상의 행과 하나 이상의 열 사이에 결합되는 신호의 변화로부터 기인하는 터치 이벤트를 식별할 수 있다.
이하에 사용되는 바와 같이, 설명의 편의를 위해, 전송용 컨덕터 및 수신용 컨덕터라는 용어가 사용될 것이다. 전송용 컨덕터는, 예를 들면 신호 발생기로부터 신호를 전달하는 행 또는 열일 수 있다. 이 점에서, 여기서 사용되는 바와 같은 "컨덕터"는 전기적 컨덕터뿐만 아니라 신호가 흐르는 다른 경로도 포함한다. 수신용 컨덕터는 터치 이벤트가 수신용 컨덕터 근방에서 일어날 때 터치의 결합으로부터 얻어진 신호를 전달하고, 터치 이벤트가 수신용 컨덕터 근방에서 일어나지 않을 때 터치 이벤트의 결합으로부터 기인하는 신호를 전달하지 않는 행 또는 열일 수 있다. 일 실시형태에 있어서, 수신기/신호 처리기는 수신용 컨덕터 상의 각각의 전송되는 직교 신호의 양을 측정하며, 이 신호는 터치 이벤트의 결합으로부터 기인한다. 양을 측정하는 것은 터치 이벤트의 식별을 가능하게 한다. 수신기/신호 처리기는 DSP, 필터 뱅크, 또는 그 조합을 포함할 수 있다. 일 실시형태에 있어서, 수신기/신호 처리기는 직교 신호에 상응하는 주파수대(band)를 제공하는 빗형 필터(comb filter)이다.
행 열 교차점 근방에서의 임의의 터치 이벤트가 열 상에 존재하는 행 신호 및 행 상에 존재하는 열 신호 모두를 변화시킬 수 있기 때문에, 일 실시형태에 있어서, 상응하는 행 또는 열의 대응부를 갖지 않는 열 또는 행 상의 임의의 신호는 거부될 수 있다. 일 실시형태에 있어서, 열 수신기/신호 처리기에 수신된 행 신호는 상응하는 열 신호가 상응하는 행 수신기/신호 처리기에 수신되면, 터치 이벤트를 식별하거나 또는 이벤트의 위치를 찾는데 이용된다. 예를 들면, 열(C) 전송 신호가 행(R) 내에서도 검출되는 경우에는 열(C)에 있어서의 행(R)으로부터의 검출된 신호는 터치 이벤트에 의해 야기되는 것으로만 생각된다. 일 실시형태에 있어서, 열(C) 및 행(R)은 다른 행 및 열 신호와 직교하고, 서로 직교하는 신호를 동시에 전송한다. 일 실시형태에 있어서, 열(C) 및 행(R)은 신호를 동시에 전송하지 않고, 오히려 각각 그 신호를 시분할로 할당해서 전송한다. 이러한 일 실시형태에 있어서, 신호에 대해서는 동일한 타임 슬라이스에 전송되는 다른 신호와 직교할 것만이 요구된다.
도시된 바와 같이, 일 실시형태에 있어서, 단일 신호 발생기는 행 및 열 모두에 대해 직교 신호를 발생하는데 사용될 수 있고, 단일 신호 처리기는 행 및 열 모두로부터 수신되는 신호를 처리하는데 사용될 수 있다. 일 실시형태에 있어서, 1개의 신호 발생기는 행 신호 발생 전용이며, 분리된 신호 발생기는 열 신호 발생 전용이다. 일 실시형태에 있어서, 복수의 신호 발생기는 행 신호 발생 전용이며, 마찬가지로 또는, 분리된 복수의 신호 발생기는 열 신호 발생 전용이다. 마찬가지로, 일 실시형태에 있어서, 1개의 신호 처리기는 행 신호 처리 전용이며, 분리된 신호 처리기는 열 신호 발생 전용이다. 일 실시형태에 있어서, 복수의 신호 처리기는 행 신호 발생 전용이며, 마찬가지로 또는, 분리된 복수의 신호 처리기는 열 신호 발생 전용이다.
일 실시형태에 있어서, 각각의 수신용 컨덕터는 그 수신기 및 신호 처리기로서 작용하는 필터 뱅크와 관련되며, 필터 뱅크는 복수의 직교 신호 사이를 구별하도록 적용된다. 일 실시형태에 있어서, 수신용 컨덕터 행과 관련된 필터 뱅크는 이 수신용 컨덕터 행과 관련된 터치 이벤트로부터 기인할 수 있는 모든 직교 신호 사이를 구별하도록 적용된다. 마찬가지로, 수신용 컨덕터 열과 관련된 필터 뱅크는 이 수신용 컨덕터 열과 관련된 터치 이벤트로부터 얻어질 수 있는 모든 직교 신호 사이를 구별하도록 적용된다.
일 실시형태에 있어서, 각각의 행 및 각각의 열은 신호와 관련될 수 있고, 각각의 행 또는 열과 관련된 신호는 모든 다른 행 또는 열의 신호에 관해 고유하며 직교한다. 이러한 일 실시형태에 있어서, 모든 행 및 열 신호를 동시에 "전송"하는 것이 가능할 수 있다. 설계 또는 다른 제약이 필요되거나, 또는 행 및 열당 1개 미만의 신호를 사용하는 것이 바람직할 경우, 시분할 다중화가 채용될 수 있다.
도 8은 3개의 행 및 4개의 열을 갖는 전송 체계의 간단한 예를 도시한다. 이 예시적인 실시형태에 있어서, 각각의 행 및 각각의 열은 신호와 관련될 수 있고, 각각의 행 또는 열과 관련된 신호는 모든 다른 행 또는 열에 있어서 신호에 대해 고유하고 직교한다. 구체적으로, 신호(A, B, C)는 행 1, 2 및 3과 관련되고, 신호(D, E, F, G)는 열 1, 2, 3 및 4와 관련된다. 이 실시형태에 있어서, 모든 행 및 열 신호를 동시에 "전송"하고, 각각의 행 및 열은 전송 컨덕터로서 작용하는 것, 및 각각의 행 및 열을 수신용 컨덕터로서 동시에 작용하는 것이 가능하므로, 터치 이벤트로부터 기인할 수 있는 모든 신호를 동시에 처리할 수 있다.
도 9는 3개의 행 및 4개의 열을 갖는 또 다른 전송 체계의 간단한 예를 도시한다. 이 예시적인 실시형태에 있어서, 각각의 행은 신호와 관련되고, 각각의 행과 관련된 신호는 모든 다른 행에 있어서 신호에 대해 고유하고 직교하며, 각각의 열은 신호와 관련되고, 각각의 열과 관련된 신호는 모든 다른 열에 있어서 신호에 대해 고유하고 직교한다. 그러나, 예시적인 실시형태에 있어서, 행과 관련된 신호가 열과 관련된 신호와 모두 직교하는 것은 아니며, 예를 들면 신호(A)가 행과 열 모두에 사용된다. 여기서, 신호는 제 1 시분할(T1) 동안 행으로 전송되고 열에서 수신되며, 제 2 시분할(T2) 동안 열로 전송되고 행에서 수신된다. 이러한 방식으로, 7개의 직교 신호 대신 오직 4개의 직교 신호가 구현을 위해 필요된다.
도 10은 3개의 행 및 4개의 열을 갖는 또 다른 전송 체계의 간단한 예를 도시한다. 이 예시적인 실시형태에 있어서, 각각의 행 및 열은 신호와 관련되며, 각각의 행 및 열과 관련된 신호는 모든 다른 행 및 열에 있어서 신호에 대해 고유하며 직교한다. 그러나, 예시적인 실시형태에 있어서, 행과 관련된 신호가 열과 관련된 신호와 모두 직교하더라도, 제약 또는 다른 설계 고려 사항은 신호의 전송을 시분할 다중화하는 것이 바람직한 것으로 할 수 있다. 여기서 재차, 신호는 제 1 시분할(T1) 동안 행으로 전송되고 열에서 수신되며, 제 2 시분할(T2) 동안 열로 전송되고 행에서 수신된다. 이러한 실시형태는, 예를 들면 전송에 이용 가능한 주파수의 범위가 제한될 수 있고, 분리가 수신에 대해 중요한 경우에 유용할 수 있다. 따라서, 동시에 전송되는 신호에 대해 알맞은 분리를 허용하는 다음과 같은 지정이 이루어질 수 있다.
행 A: 5.001 ㎒
행 B: 5.003 ㎒
행 C: 5.005 ㎒
열 D: 5.000 ㎒
열 E: 5.002 ㎒
열 F: 5.004 ㎒
열 G: 5.006 ㎒
도 11은 3개의 행 및 8개의 열을 갖는 전송 체계의 간단한 예를 도시한다. 이 예시적인 실시형태에 있어서, 각각의 행은 신호와 관련되고, 각각의 행과 관련된 신호는 모든 다른 행에 있어서 신호에 대해 고유하고 직교하지만, 열은 도시된 바와 같이 행 신호와 중첩되는 고유 직교 신호를 공유한다. 예시적인 실시형태에 있어서, 3번째 시분할은 오직 고유 직교 신호만 동시에 전송되는 것을 보장하도록 사용되므로, 필터 뱅크 또는 다른 신호 처리기는 이 기술에 따라 터치 이벤트의 위치를 알아낼 수 있다.
도 12a는 4개의 행과 8개의 열을 갖는 센서에 있어서 열의 세트 내에 또한 행의 세트 내에 적용되는 시분할 다중화의 예를 도시한다. 이 예에서, 시분할(T1) 동안, 직교 주파수(A, B)는 행의 제 1 세트에 전송되고, 직교 주파수(C, D)는 열의 제 1 세트에 전송된다. 이어지는 시분할(T2) 동안, 직교 주파수(A, B)는 행의 제 2 세트에 전송되고, 직교 주파수(C, D)는 열의 제 2 세트에 전송된다. 이어지는 시분할(T4) 동안, 직교 주파수(C, D)는 열의 제 3 세트에 전송되고, 이어지는 시분할(T4) 동안, 직교 주파수(C, D)는 열의 제 4 세트에 전송된다. 선택적으로, 시분할(T3 및/또는 T4) 동안, 예를 들면 터치 이벤트의 더욱 높은 해상도를 제공하도록 직교 주파수(A, B)는 행의 제 1 또는 제 2 세트에 전송될 수 있다.
도 12b는 4개의 행과 8개의 열을 갖는 또 다른 전송 체계의 간단한 예를 도시한다. 이 예시적인 실시형태에 있어서, 오직 2개의 직교 신호(A, B)가 사용된다. 예시적인 실시형태에 있어서, 2개의 고유 직교 신호가 동시에 전송될 수 있지만, 동시에 한 번에 2개 이상의 전송용 컨덕터에 전송할 수 없는 것을 보장하도록 6개의 시분할이 사용된다. 도시된 바와 같이, A 및 B는 제 1 시분할 동안 행 1 및 2에, 제 2 시분할 동안 열 1 및 2에, 제 3 시분할 동안 열 3 및 4에, 등등 전송된다.
직교 신호 발생 및 전송 체계의 선택에 영향을 미치는 요인으로서는, 예를 들면 센서 내의 행의 갯수 및 열의 갯수, 소망한 센서의 해상도, 행과 열의 재료 및 치수, 이용 가능한 신호 처리 전력, 및 시스템의 최소 허용 가능한 레이턴시를 들 수 있고, 이들에 한정되는 것은 아니다. 본 개시 및 첨부된 청구범위의 범위 및 정신 내에 있는 다양한 다른 변형예가 구성될 수 있다. 예를 들면, 정해진 터치 검출 시스템에 의해 사용되는 고유 직교 신호의 개수와 시분할의 개수 간의 선택시에 다양한 트레이드오프가 이루어질 수 있다는 것은 당업자에게 있어서 명백할 것이지만, 단 이들 다수의 신호가 동일한 시분할 시에 전송되고, 또한 이들 다수의 신호의 각각은 그 시분할 시 전송되는 다른 모든 신호와는 직교한다.
상술한 바와 같이, 특정 열 상의 열 수신기(Rx)는 하나 이상의 행 컨덕터에 전송된 직교 신호를 수신할 수 있고, 이 신호는 터치 이벤트 결합을 하게 되므로 행열 좌표를 생성하는 행 컨덕터를 결정하도록 신호 처리기에 의해 사용된다. 하나 이상의 행에 전송되는 직교 신호에 추가하여, 열 수신기(Rx)는 열 전송기(Tx)로부터 비롯되는 신호를 "알" 수 있고, 그것의 진폭은 매우 클 수 있으므로, 행 및 열의 일부를 횡단하는 낮은 진폭 신호를 처리하는 것을 방해할 수 있다. 일 실시형태에 있어서, 본 개시된 시스템 및 방법은 열 수신기(Rx)에 의해 처리된 신호로부터 열 전송기(Tx) 신호를 제거하는 것을 제공한다. 따라서, 일 실시형태에 있어서, 열 전송기(Tx)에 의해 전송되는 직교 신호는 열 수신기(Rx)에 수신되는 신호로부터 감산될 수 있다. 이러한 감산은 열 전송기(Tx)에 의해 전송되는 신호의 역이 열 수신기(Rx)에 의해 수신되는 신호에 추가되도록 구성되는 인버터를 포함하므로, 수신되는 열 신호로부터 전송되는 열 신호를 감산한다. 이러한 감산 기능은 대안적으로 신호 처리기에 제공될 수 있다(도 7).
가능한 채널의 동적 지정
컴퓨터 시스템 내의 터치 센서의 지각 품질(perceived quality)은 유저 입력 신호가 주변 전자기 노이즈로부터 적절히 포착되는 고 신호대 노이즈 비율에 의존한다. 이러한 전자기 노이즈는 터치 센서가 부품(예를 들면, LCD 정보 디스플레이)인 컴퓨터 시스템 내의 다른 성분, 또는 유저 외부 환경의 인공적이거나 자연적인 신호(예를 들면, 장치의 외부 AC 전력 충전으로부터의 원치않는 신호)로부터 기인할 수 있다. 이 원치않는 전자기 신호는 터치 센서에 의해 유저 입력으로서 잘못 검출됨으로써, 거짓 명령 또는 노이즈 유저 명령을 생성한다.
일 실시형태에 있어서, 시스템 및 방법은 다른 컴퓨터 시스템 성분 또는 원치않는 외부 신호 유래의 전자기 노이즈에 간섭하는 것에 가깝더라도, 터치 센서가 이러한 거짓 또는 노이즈를 판독하는 것을 저감 또는 제거할 수 있고, 또한 고 신호대 노이즈 비율을 유지할 수 있게 한다. 이 방법은 병렬화, 레이턴시, 샘플 레이트, 동적 범위, 감지 입자성(sensing granularity) 등에 대한 센서의 전체 성능을 그대로 최적화하면서, 센서의 총 전력 소비를 낮추기 위해, 정해진 포인트에서 제시간에, 선택된 부분을 관리하는 신호 변조 체계 또는 터치 센서의 전체적인 표면 영역을 동적으로 변경하는데도 사용될 수 있다.
본 시스템 및 방법의 실시형태는 그 성능이 전자기 신호의 정확한 판독에 의존하는 정전용량 터치 센서, 및 특히 스캔 레이트를 증가시키고 컴퓨터 시스템에 보고된 터치 입력 이벤트의 레이턴시를 낮추기 위해 주파수 분할 다중화(FDM)를 사용하는 정전용량 터치 센서에 적용될 때 특히 유리하다. 이 점에서, 본 실시형태는 본 출원인의 발명의 명칭이 "저 레이턴시 터치 감응성 장치"인 2013년 3월 15일에 출원된 미국 특허 출원 제13/841,436호 및 실시형태로서 정전용량 주파수 분할 다중화 터치 센서를 고려하는 발명의 명칭이 "고속 멀티 터치 후처리"인 2013년 11월 1일에 출원된 미국 특허 출원 제14/069,609호에 개시된 것과 같은 센서에 적용될 수 있다.
동적 지정 처리의 실시형태
스텝 1: 터치 신호 및 노이즈를 적절히 식별하기
터치 센서는 어떤 유저도 센서를 터치하고 있지 않다는 것을 알고 있을 때 또는 실제 터치 신호가 적절히 알려져 있으면(즉, 터치 표면의 일부분은 터치되고 있는 반면, 다른 부분은 터치되지 않을 때) 수신하는 모든 신호를 분석할 수 있다.
이러한 터치 센서가 터치되었는지의 여부 및 어느 부분이 터치되었는지의 결정은 센서 자체로부터의 판독, 가속도계와 같은 다른 일반적인 컴퓨터 입력 센서, 컴퓨터 시스템의 전력 상태(예를 들면, 컴퓨터가 "슬립 모드"에 있는 경우 등), 컴퓨터 시스템 상에서 현재 실행되고 있는 소프트웨어 애플리케이션으로부터의 이벤트 스트림 등의 조합을 분석함으로써 이루어지고 또한 강화될 수 있다. 시스템 상태, 시스템 성분의 상태, 또는 유저의 상태에 대한 결론을 도출하기 위한 컴퓨터 시스템에 있어서의 하나를 초과하는 센서 유래의 데이터에 의존하는 이 분석적 처리는 본 기술 분야에서 통상 "센서 융합"이라고 불린다.
그 다음, 가지고 있는 공지의 터치에 대한 분석 판단에 의해, 터치 센서의 수신된 신호 모두는 이들 공지의 터치에 대해 수신된 신호와 비교될 수 있다. 얻어진 센서가 측정한 신호와 측정되어야만 하는 신호(현재 또는 이전 터치 이벤트에 대해 알아야 할 소정의 것) 간의 차이가 노이즈 및 간섭을 경감하는데 사용될 수 있다.
이 방법의 실시형태에 있어서, 이러한 간섭 신호의 측정의 일부는 설계 시간에 발생할 수 있고, 그 간섭의 적어도 일부는 설계 시간에 예측될 수 있다. 이 방법의 또 다른 실시형태에 있어서, 측정의 일부는 제조 또는 테스트 시간에 발생할 수 있다. 또 다른 실시형태에 있어서, 측정의 일부는 유저가 터치 센서를 터치하지 않은 것을 절절히 알고 있을 때인 사용 전 기간 동안 발생할 수 있다. 또 다른 실시형태에 있어서, 측정의 일부는 유저가 공지의 위치에서 센서를 터치했을 때 발생할 수 있다. 또 다른 실시형태에 있어서, 측정의 일부는 유저가 터치 표면을 터치하지 않는 것이 다른 센서에 의해 예측되거나 또는 알고리즘적으로 예측되는 때인 유저 터치 사이의 시간에 발생할 수 있다.
또 다른 실시형태에 있어서, 측정의 일부는 유저 터치의 통계적 패턴 및 우도(likelihood)를 추정할 수 있는 소프트웨어에 의해 통계적으로 발생할 수 있다. 예를 들면, 유저 인터페이스(UI)는 터치 표면 상의 소정 위치에만 위치되는 버튼을 가질 수 있어서, 이들은 유저가 소정의 시간에 터치할 가능성이 있는 유일한 위치이다. 이들 알려진 위치 중 하나에 터치했을 때, 터치/비터치 상태 사이의 차이가 노이즈의 존재에서도 매우 명백할 수 있다. 일 실시형태에 있어서, UI는 버튼을 소정의 규정된 기간(아마도 디스플레이에 의해 표시됨) 동안 반드시 눌려져야만 해서, 노이즈의 존재에서도 터치가 검출될 수 있는 미리 결정된 기간을 산출하도록 설계될 수 있다. 또 다른 실시형태에 있어서, 슬라이더 또는 2차원 "포인터"가 버튼 대신 사용될 수 있는데, 이들 UI 제어는 유저가 사전에 UI에 의해 알려지거나 또는 센서 융합을 통한 장치 상의 다른 센서에 의해 (어느 정도) 동적으로 결정될 수 있는 임의의 경로를 따를 것을 요구한다. 일 실시형태에 있어서, 이러한 UI 슬라이더는 한정되는 것은 아니지만, 아이오에스(iOS), 안드로이드, 다른 리눅스 변형, 또는 윈도우와 같은 터치 친화적 운영 시스템의 "잠금 화면"에서 보통 발견되는 단일 "밀어서 염" 슬라이더 제어일 수 있다. 관련 실시형태에 있어서, 임의의 이러한 잠금 해제 제스처 제어가 사용될 수 있다. 일 실시형태에 있어서, 가상 키보드는 이웃 문자를 보는 것을 통해 단어 중의 문자를 쉽고 정확하게 예측할 수 있기 때문에, 주지의 터치 위치를 제공한다.
일 실시형태에 있어서, 여기에 개시된 이러한 분석 및 터치 처리는 터치 센서의 별개의 터치 제어기 상에서 수행될 수 있다. 또 다른 실시형태에 있어서, 이러한 분석 및 터치 처리는, 이들에 한정되는 것은 아니지만, ASIC, MCU, FPGA, CPU, GPU, SoC, DSP 또는 전용회선과 같은 기타 컴퓨터 시스템 성분 상에서 수행될 수 있다. 여기서 하용되는 바와 같은 용어 "하드웨어 프로세서"란 계산적 기능을 수향하는 상기 장치 또는 임의의 기타 장치 중 어느 하나를 의미한다.
스텝 2: 간섭 회피
노이즈 판독이 스텝 1에서 설명한 바와 같이 주지의 터치 신호 기초하여 및/또는 통계적 추론을 통해 "간섭"으로 일단 식별되면, 이러한 전자기 간섭의 정보는 이러한 노이즈가 터치 센서에 의해 가능한 감지될 수 있거나 감지될 주파수, 시간, 또는 코드 공간의 일부 사이에서의 충돌을 회피하는데 사용될 수 있다. 주지의 터치 신호 및 식별된 전자기 간섭 사이의 충돌은 다양한 기술 또는 기술의 조합을 통해 방지될 수 있지만, 이들에 한정되는 것은 아니다.
간섭이 없거나 또는 약간 있는 신호 주파수가 식별되면, 터치 센서는 기술을 사용하도록 설정되어야 한다. 간섭이 약간 있거나 또는 없는 시간 슬롯이 존재하면, 터치 센서는 기술을 사용하도록 설정되어야 한다. 간섭이 약간 있거나 또는 없는 코드가 존재하면, 터치 센서는 기술을 사용하도록 설정되어야 한다. 간섭이 없거나 또는 약간 있는 주파수, 시간, 및 코드의 조합이 존재하면, 터치 센서는 기술을 사용하도록 구성되어야 한다.
주파수 분할 다중화(FDM)를 사용하는 터치 센서에 있어서, 터치 센서가 사용하는 신호 주파수는 반드시 연속일 필요가 없다. 주파수대의 일부가 간섭에 의해 점유되면, 터치 센서는 그 주파수를 회피하도록 설정될 수 있다. 주파수대의 일부가 소정의 주지의 시간에 간섭에 의해 점유되면, 터치 센서는 그들 주지의 시간에 그 신호 주파수를 사용하는 것을 회피하도록 설정될 수 있다. 주파수대의 일부가 소정의 주지의 시간에 비교적 정적인 간섭에 의해 점유되면, 터치 센서에 의해 전송되는 신호는 복조가 주지의 간섭을 상쇄시키거나 또는 제거하는 방식으로, 그 시간에 변조될 수 있다. 예를 들면, 이 변조 기술의 일 실시형태에 있어서, 간섭이 일부 관심 주파수에서 안정적인 정현파이면, 2진 위상 편이 키잉(binary phase shift keying)(BPSK)이 터치 센서에 의해 방출되는 주파수를 변조하는데 사용되어야만 해서, 역 BPSK가 터치 센서로부터 수신되는 신호와 간섭 신호의 결과적 총합을 복조하는데 사용되는 경우, 간섭되는 동일 부분이 양의 위상으로 곱해지고 동일 부분은 음의 위상으로 곱해지며, 신호가 총 수신 기간에 걸쳐 통합되는 경우에는, 간섭 신호는 무시할 수 있는 어떤 것에 합산된다. 유사한 효과를 갖는 다른 형식의 변조가 가능하다.
FDM을 사용하는 터치 센서가 주파수 분석을 수행하기 위해 고속 푸리에 변환, 또는 주파수 빈(bin)의 수가 알고리즘 또는 알고리즘의 속성에 의해 제한되는 유사한 고속 알고리즘을 채용하면, 센서는 다수의 빈(가령 다음 사이즈로 사이즈 증가)을 갖는 큰 변환을 사용할 수 있어서, 주파수를 추가적으로 수신할 가능성이 있다. 터치 센서는 이 주파수 중 어느 것이라도 전송할 수 있는 능력을 갖도록 제조 전에 구성될 수 있다. 이 방식으로, 주파수 빈 중 일부가 간섭을 포함하면, 이것은 일부 간섭되거나 간섭되지 않는 주파수를 위하여 제외된다.
스텝 3: 원치않는 핫스팟의 회피
전자기 간섭의 일부가 상술한 기술의 사용을 통해 완전히 제거될 수 없는 경우에는, 터치 센서는 이러한 노이즈가 센서의 표면 영역에 걸쳐서 균등하게 확산되는 것을 보장하고, 잔존하는 간섭에 의해 제기되는 임의의 작동적 문제를 최소화하도록 설정될 수 있다.
일 실시형태에 있어서, 터치 센서는 양호한 유저 경험을 보장하는 것에 대해서 보다 많은 노이즈 내성의 UI 요소가 보다 많은 노이즈를 갖는 터치 표면의 일부에 위치되고, 또한 정밀한 제어에 대한 필요성으로 인한 거의 노이즈가 없는 입력 명령이 요구되는 일부 UI가 약간에 간섭 또는 무간섭에 의해 영향을 받는 터치 센서의 표면의 일부와 연관될 것을 보장하도록, 주문 제작 애플리케이션 프로그래밍 인터페이스(application programming interfaces)(APIs)로 설정되고 연결될 수 있다. 다른 실시형태에 있어서, 이 개념은 근본적으로 역으로 이용될 수 있다. 즉, 개발자 애플리케이션 프로그래밍 인터페이스는 터치 표면 상의 고성능 변조 체계의 배치에 영향을 주는 플래그 UI 요소에 사용될 수 있다.
또 다른 실시형태에 있어서, 원치않는 전자기 노이즈는 터치 센서 신호에 할당된 타이밍, 주파수, 및 코드를 리매핑함으로써 경감될 수 있다. 터치 센서의 행과 열에 관련된 이들 신호의 분할은 고정된 관계를 가질 필요가 없고, 필요에 따라 동적으로 리매핑될 수 있다. 예를 들면, 일 실시형태에 있어서, FDM을 채용하는 터치 센서는 주어진 행에 대해 특정 주파수의 정현파를 항상 전송할 수 있거나, 또는 동적으로 전송하는 주파수를 리매핑할 수 있다. 예를 들면, 터치 센서의 전송기 및 수신기가 "n"개의 다른 주파수에서 작동될 수 있다면, 또한 이들 주파수의 "m"개가 충분히 소량의 간섭을 포함하도록 결정되어져 있고, 또한 터치 센서 행의 수(동시에 전송되는 주파수)가 "r"개("n"개는 "r"개보다 크거나 동일한 "m"개보다 크거나 동일하다)이면, 터치 센서는 "m"개의 세트 중 "r"개의 주파수를 선택할 수 있고, 또한 유저 경험에 대한 저하를 최소화하도록 설계되는 방식으로 행에 대해 그것들을 매핑한다. 또 다른 실시형태에 있어서, 센서가 선택한 작동 주파수의 세트는 무작위 또는 의사 무작위 방식으로 모든 프레임에 동적으로 리매핑될 수 있어서, 현저한 시간에 대한 터치 표면의 다른 부분 간의 노이즈 통계의 상관관계는 무시할 수 있다. 보다 구체적으로, 터치 센서는 적어도 노이즈를 갖는다면 가능한 "m"개 중 "r"개의 주파수를 선택할 수 있고, 또는 현저한 시간에 대한 터치 표면의 다른 부분 간의 노이즈 통계의 상관관계를 최소화하도록 설계되는 방식으로 동적이고 또한 무작위로(또는 의사 무작위로) 선택할 수 있다. 유사한 방법이 타임 슬롯, 코드 또는 다른 변조 체계 또는 그 조합에 대해 사용될 수 있다.
또 다른 실시형태에 있어서, 충분히 소량의 간섭을 포함하도록 결정된 "m"개의 주파수가 각각의 센서 행으로 고유 주파수를 동시에 전송하는데 필요로 되는 "r"개의 주파수의 수보다 크거나 동일한 FDM을 주로 사용하는 터치 센서에 있어서는, 터치 센서는 UI 제어의 주지의 레이아웃 및 필요 요소에 기초한 터치 센서의 표면 영역의 특정 부분의 레이턴시 및 샘플 레이트 성능을 최적화하는 동적 FDM 변조 체계를 사용할 수 있다. 여기에서, 고정밀, 저 레이턴시 유저 입력을 요구하는 UI 제어의 제시간에 정해진 포인트에서의 주지의 위치는 신호 변조 체계가 고성능을 위해 제시간에 정해진 포인트에서 최적화되는 터치 센서의 표면 영역의 상응 부분에 매핑된다. 컴퓨터 시스템의 소프트웨어에 의해 정의된 UI 제어의 위치 및 성능 필요 요소와 터치 센서의 표면 영역의 위치 및 성능 필요 요소 사이의 이러한 동적 매핑은 런타임 전에 애플리케이션 개발자에 의해 명백하게 정의되거나, 또는 애플리케이션 프로그래밍 인터페이스(APIs)에 의해 정의되는 애플리케이션, 운영 시스템, 및 터치 표면 사이의 통신으로, UI 제어의 런타임에서의 운영 시스템 논리 및 분석에 의해 정의된다. 이 고성능 영역과 함께 동시에, 동일 표면 영역의 다른 근접 영역은 저성능 주파수, 시간 또는 코드 변조 체계를 채용할 수 있다. 병렬화, 레이턴시, 샘플 레이트, 동적 범위, 감지 입자성, 등의 점에서 고정을 위해 최적화된 변조 체계를 이용하여 터치 센서의 표면 영역 중 선택 영역만 구동하는 것은, 센서의 특정 부분만이 요구하는 성능 레벨에서 작동되고, 표면 영역의 나머지는 성능에 걸쳐 에너지 절약을 최적화하는 변조 체계로 작동할 수 있기 때문에, 유저 입력을 감지하고 처리하기 위해서 터치 센서에 의해 소비되는 총 에너지를 잠재적으로 절감시키는 추가적 이점을 갖는다. 이러한 동적 변조 체계는 센서 입력의 새로운 프레임마다 가능한 빨리 업데이트 및 재최적화될 수 있다.
또 다른 실시형태에 있어서, 최소의 노이즈와 함께 식별되는 "m"개의 가능한 주파수의 세트가 터치 센서의 각각의 행에 고유 주파수를 지정하는데 필요로 되는 "r"개의 고유 센서 신호의 수보다 적은 FDM을 주로 사용하는 터치 센서에 있어서, 센서는 주파수 분할과 시간, 코드 또는 다른 변조 체계를 결합하는 하이브리드 변조 접근법을 채용하도록 설정될 수 있다. 이 방법의 일 실시형태에 있어서, 특정 하이브리드 변조 접근법은 전체 센서의 표면 영역에 걸쳐서 최저 레이턴시 및 최고 터치 이벤트 샘플 레이트로 최적화하도록, 센서 입력의 새로운 프레임 마다 가능한 빠르게 터치 센서에 의해 동적으로 선택되고 재평가될 수 있다. 이 방법의 또 다른 실시형태에 있어서, 특정 하이브리드 변조 접근은 UI 제어의 주지의 레이아웃 및 필요 요소에 기초한 터치 센서의 표면 영역의 특정 부분의 레이턴시 및 샘플 레이트 성능을 최적화하도록, 터치 센서에 의해 동적으로 선택되고 재평가될 수 있다. 여기에서, 고정밀, 저 레이턴시 유저 입력을 요구하는 UI 제어시의 정해진 포인트에서의 주지의 위치는 신호 변조 체계가 병렬화, 레이턴시, 샘플 레이트, 동적 범위, 감지 입자성 등에 점에서 고성능이 제시간에 정해진 포인트에서 최적화되어진 터치 센서의 표면 영역의 상응 부분에 매핑된다. 컴퓨터 시스템의 소프트웨어 정의 UI 제어의 위치 및 성능 필요 요소와 터치 센서의 표면 영역의 위치 및 성능 필요 요소 사이의 이러한 동적 매핑은, 런타임 전에 애플리케이션 개발자에 의해, 또는 애플리케이션, 운영 시스템과 애플리케이션 프로그래밍 인터페이스(APIs)에 의해 정의되는 터치 표면 사이의 통신을 통한 UI 제어의 런타임시의 운영 시스템 논리 및 분석에 의해 명백하게 정의될 수 있다. 이 고성능 영역과 함께 동시에, 동일 표면 영역의 다른 근접 영역은 저성능 주파수, 시간 또는 코드 변조 체계를 채용할 수 있다. 병렬화, 레이턴시, 샘플 레이트, 동적 범위, 감지 입자성, 등의 점에서 고정으로 최적화된 변조 체계를 이용하여 터치 센서의 표면 영역 중 선택 영역만 구동하는 것은, 센서의 특정 부분만이 요구하는 성능 레벨에서 작동되고, 표면 영역의 나머지는 성능에 걸쳐 에너지 절약을 최적화하는 변조 체계로 작동할 수 있기 때문에, 유저 입력을 감지하고 처리하기 위해서 터치 센서에 의해 소비되는 총 에너지를 잠재적으로 절감시키는 추가적 이점을 갖는다. 이러한 동적 변조 체계는 센서 입력의 새로운 프레임마다 가능한 빨리 업데이트 및 재최적화될 수 있다.
또 다른 실시형태에 있어서, 최소의 노이즈와 함께 식별되는 가능한 "m"개의 주파수의 세트가 터치 센서의 각각의 행에 고유 주파수를 지정하는데 필요로 되는 "r"개의 고유 센서 신호의 수보다 적은 FDM을 주로 사용하는 터치 센서에 있어서, 센서는 주어진 시간 주기 동안 시분할 다중화(TDM) 모드를 시작하도록 설정될 수 있고, TDM 접근법에서 일반적인 바와 같이, "m"개 내의 주파수 중 하나를 선택하고 행과 열을 연속적으로 샘플링한다. 주어진 시간 주기 동안 주 FDM 센서를 순전히 TDM 모드로 스위칭하는 것은 센서 판독의 프레임 레이트 및 레이턴시의 희생으로 정확한 입력을 보장한다.
또 다른 실시형태에 있어서, 최소의 노이즈와 함께 식별되는 가능한 "m"개의 주파수의 세트가 터치 센서의 각각의 행에 고유 주파수를 지정하는데 필요로 되는 "r"개의 고유 센서 신호의 수보다 적은 FDM을 주로 사용하는 터치 센서에 있어서, 센서는 주어진 시간 주기 동안 하이브리드 FDM 및 TDM 모드를 시작하도록 설정될 수 있고, "m"개 내의 주파수의 선택 번호를 선택함으로써 다수의 행과 열을 병렬로 연속적으로 샘플링하여, 순전히 연속한 TDM 모드의 성능 한계를 넘어 센서 판독의 프레임 레이트 및 레이턴시를 향상시킬 수 있다. 이러한 하이브리드 FDM 및 TDM 변조 체계는 센서 병렬화 및 성능을 향상시키는 반면, 주변 전자기 노이즈의 실시간 이력 및/또는 통계 분석이 보다 간섭되기 쉽게 여겨지는 "m" 이외의 센서 신호를 이용하는 것으로부터 일어날 수 있는 노이즈 판독의 부정적인 영향을 동시에 경감시킨다.
스텝 4: 센서의 신호 대 노이즈 비율을 증가시키기 위한 감지 복제의 사용
또한, 터치 센서는 터치 센서 내의 간섭의 영향 및 기타 노이즈를 감소시키기 위해 다수의 기술을 이용할 수 있다. 예를 들면, FDM을 사용하는 터치 센서에 대한 일 실시형태에 있어서, 터치 센서는 각각의 행당 다수의 주파수를 사용할 수 있어서, 센서가 어떤 주파수 빈이 간섭을 당하는지 예측할 수 없더라도, 다수의 방식으로 각각의 행(또는 열)을 측정할 수 있고, 또한 최소 노이즈 측정값(또는 측정값의 조합)을 추정할 수 있어서, 그들을 이용할 수 있다.
측정값이 간섭에 의해 영향을 받는지의 여부를 판단하기 어려운 경우, 어떤 측정값을 버릴 것인지, 어떤 측정값을 유지할 것인지, 또한 신호 대 노이즈+간섭 비율을 최대화함으로써 유저 경험을 향상시키기 위해 유지할 것들을 통계적이고 또한 수학적으로 결합하는 최선의 방식을 결정하기 위해, 복수의 측정값을 보팅하는 보팅 체계 또는 유사한 통계적 방법을 채용할 수 있는 터치 센서가 사용된다. 예를 들면, 일 실시형태에 있어서, 간섭되는 FDM 터치 센서는 각각의 행에 3개의 다른 주파수(주파수들은 통계적으로 주파수 사이의 간섭이 일어나지 않도록 충분히 분리되어 있음)를 전송하고 그 결과를 측정할 수 있다. 그 다음, 3개 중 2개를 선별하는(two-out-of-three) 보팅 시스템을 사용하여, 센서는 어떤 주파수가 간섭에 의해 가장 많이 저하되었는지, 최종 측정값으로 고려하는 것에서 그 측정치를 제거하거나 또는 [센서가 간섭 및 노이즈 통계에 관해 선험적으로(a priori) "주지의" 것이 주어졌을 때] 통계적으로 타당한 방식으로 남은 2개를 결합할지, 또는 통계적으로 타당한 방식으로 3개 모두를 포함시켜 결합할지를 결정할 수 있어서, 노이즈 및 간섭에 의한 저하의 통계적 가능성에 의해 각 주파수 측정값의 영향력을 칭량할 수 있다.
이러한 방식으로 터치 센서를 채용할 수 있는 방법으로는 이하를 들 수 있지만, 이들에 제한되지 않는다.
1. 행당 다수의 주파수를 사용한다. 이들 주파수는 동시에 또는 순서대로 채용될 수 있다.
2. 행으로부터 열로 또한 열로부터 행으로 전송한다 (상기에서 더욱 상세히 논의된 바와 같이, 순서대로 또는 동시에). 이것은 상기 다수의 주파수의 사용 또는 변조 체계의 또 다른 조합과 결합될 수도 있다.
3. FDM의 상부 또는 변조 체계의 일부 조합에 CDMA를 사용한다. 여기서, CDMA 신호는 FDM에 의해 통상적으로 채용되는 것들과는 달리 근본적으로 "인위적(unnatural)"이므로, 컴퓨터 시스템의 외부 환경 내에서 자연적으로 발생하는 다양한 신호에 대해 종종 FDM 변조 체계보다 더 영향을 받지 않는다는 것에 유념해야 한다.
유저 식별 기술
일 실시형태에 있어서, 고속 멀티 터치 센서는 동일한 유저 또는 다른 유저, 동일한 유저의 동일한 손, 다른 손으로부터 비롯되는 터치를 식별하는 기능을 구비한다. 일 실시형태에 있어서, 고속 멀티 터치 센서는 그/그녀의 신체의 일부를 이용하여 디스플레이의 또 다른 영역을 동시에 터치하고 있는 유저가 잡고 있는 스타일러스를 통해, 또는 위치 및 배향을 결정하는 것을 지원하기 위한 단일 객체 상의 정전용량 터치 포인트를 통해, 터치 영역에 연계된 객체의 일부로부터 비롯되는 터치를 식별하는 기능을 구비한다.
앞서 상술한 센서의 기본 실시형태에 있어서, 각각의 행은 신호 전송기를 갖는다. 상기 신호는 터치 또는 복수의 터치가 표면에 적용되면 인근의 열에 결합된다. 이들 터치의 위치는 열로부터의 신호를 판독하고 신호가 생성된 행을 인식함으로써 결정된다.
유저가 하나를 초과하는 위치에서 센서 또는 센서가 통합되는 장치와 접촉하거나, 또는 센서의 일정 거리 내에 접근하거나, 그렇지 않으면 터치 이벤트를 발생시킬 때, 신호가 하나의 터치 위치로부터 다른 곳으로 유저의 신체에 의해 전송되므로, 보통 동일한 유저에 의해 이루어지는 교차 터치를 발생할 수 있는 소정량의 결합이 보통 일어날 수 있다. 도 13을 참조하면, 단일 터치 또는 근방 터치가 행(r1)과 열(c1)의 교차점에서 유저의 손가락(1402)에 의해 적용되면, 행(r1)과 열(c1) 사이에서 결합이 일어날 수 있다. 두번째의 동시에 발생하는 터치 또는 근방 터치가 행(r2)과 열(c2)의 교차점에서 유저의 제 2 손가락(1403)에 의해 이루어지면, 행(r2)과 열(c2) 사이에서 결합이 발생할 것이다. 또한, 약한 결합이 행(r1)과 열(c2) 사이에서 뿐만 아니라 행(r2)과 열(c1) 사이에서 발생할 수 있다. 일부 실시형태에 있어서, 약한 결합은 열 사이 및 행 사이에서 발생할 수 있다.
이들 약한 신체 전송 신호는 그렇지 않으면 "노이즈" 또는 "크로스토크"로서 버릴 수 있는 것 대신에, 단일 유저가 둘다의 터치를 했음을 식별하기 위한 추가 "신호"로서 신호 처리기에 의해 사용될 수 있다(도 7). 특히, 상기 예에 이어서, 행(r2)과 열(c1) 사이뿐만 아니라 행(r1)과 열(c2) 사이의 결합은 터치가 행(r1)과 열(c2) 또는 행(r2)과 열(c1)의 교차점에서 잘못 보고되지 않는 것을 보장하도록, 보통 "노이즈"로 여겨져 필터링될 수 있다(또는 그렇지 않으면 무시될 수 있다). 약한 신체 전송 결합은 정확한 터치 위치가 보고되는 것뿐만 아니라, 터치가 동일한 유저로부터 비롯되었음을 시스템이 식별할 수 있도록 해석되는 것을 보장하도록 필터링될 수도 있다. 센서(400)는 위치(1403)에 추가하여 위치(1404, 1405, 또는 1406)를 포함하지만 이들에 제한되지 않고, 유저 손의 임의의 손가락으로부터 전송되는 약한 신체 전송 결합을 검출하도록 설정될 수 있다. 신호 처리기(도 7)는 터치가 동일한 유저 또는 다른 유저, 동일한 유저의 동일한 손, 다른 손으로부터 비롯되는 터치를 식별하기 위해 이러한 검출을 사용하도록 설정될 수 있다.
유저를 식별하는 터치 센서의 다른 실시형태에 있어서, 신호 발생기는 후애용 유닛, 그들의 의자 아래의 패드, 또는 실제로 센서가 통합 장치의 에지 상과 같은 다른 곳에서 유저와 결합될 수 있다. 이러한 발생기는 상술한 것과 유사한 방식으로, 특정 터치를 하는 유저를 식별하도록 사용될 수 있다. 다른 실시형태에 있어서, 신호 발생기는 스타일러스, 펜, 또는 다른 객체에 통합될 수 있다.
다음은 터치가 동일한 손, 동일한 유저 또는 다른 유저로부터 비롯되는 터치를 식별하기 위해 검출 및 사용될 수 있는 약한 결합의 타입의 예이다. 유저의 손가락 중 첫번째 것에 의해 터치되는 행 또는 열과, 유저의 손가락 중 두번째 것에 의해 터치되는 행 또는 열 사이의 결합; 유저의 손가락에 의해 터치되는 행 또는 열과, 유저의 신체의 다른 부분(그의 손바닥과 같은) 에 의해 터치되는 행 또는 열 사이의 결합; 유저 신체의 일부(그의 손가락 또는 그의 손바닥과 같은)에 의해 터치되는 행 또는 열과, 유저의 신체에 작동 가능하게 연결된 신호 발생기 사이의 결합; 유저 신체의 일부(그의 손가락 또는 그의 손바닥과 같은)에 의해 터치되는 행 또는 열과 스타일러스 또는 펜에 통합된 신호 발생기 사이의 결합; 및 스타일러스 또는 다른 탠저블과 같은 도전성 중간 객체를 통해 유저 신체의 일부에 의해 터치되는 행 또는 열 사이의 결합; 스타일러스 또는 다른 탠저블과 같은 도전성 중간 객체를 통해 가능한 유저 신체의 일부에 의해 터치되는 행 또는 열 사이의 결합. 여기에 사용되는 바와 같이, "터치"는 유저와 개시되는 센서 사이의 물리적 접촉에 의한 이벤트 및 물리적 접촉이 아니라 센서 근방에서 발생하고 센서에 의해 감지되는 유저에 의한 액션에 의한 이벤트를 포함한다.
상술한 약한 결합은 터치가 동일한 유저, 또는 다른 유저, 동일한 유저의 동일한 손, 다른 손으로부터 비롯하는지 식별하기 위해 사용될 수 있다. 예를 들면, 상대적으로 강한 약한 결합의 존재는 2개의 터치 이벤트가 동일한 손으로부터, 예를 들면 동일한 손의 두 손가락(예를 들면, 집게 손가락과 엄지 손가락) 또는 동일한 손의 손가락과 손바닥으로부터 비롯되었는지를 식별하기 위해 사용될 수 있다. 또 다른 예로서, 상대적으로 강한 약한(이전 예와 비교해서) 결합의 존재는 2개의 터치 이벤트가 동일한 사람의 다른 손으로부터 또는 동일한 사람의 또 다른 신체의 일부로부터 비롯되었는지를 식별하기 위해 사용될 수 있다. 세번째 경우, 약한 결합의 부재는 2개의 이벤트가 다른 사람으로부터 비롯되었는지를 식별하기 위해 사용될 수 있다. 또한, 유저의 신체에 작동 가능하게 연결된 신호 발생기로부터의 신호의 존재는 터치가 특정 유저로부터 비롯되는지 식별하기 위해 사용될 수 있고, 또한 이러한 신호의 부재는 터치가 특정 유저로부터 비롯되지 않은 것을 식별하기 위해 사용될 수 있다.
고속 멀티 터치 스타일러스
고속 멀티 터치 센서의 소정 실시형태에 있어서, 센서는 스타일러스의 위치, 또한 선택적으로 그것의 경사 각도뿐만 아니라 그것의 종축 둘레로의 회전 각도를 검출하도록 설정된다. 이렇나 실시형태는 앞서 상술한 바와 같이 기본적으로 센서 하드웨어부터 시작하여, 행 또는 열에 전송될 수 있는 직교 신호와 호환 가능(동일한 또는 유사한 변조 체계, 유사한 주파수 등)하지만 직교하는 신호가 전송되는 그것의 팁 근방에 신호 전송기를 갖는 스타일러스를 더 이용한다. 스타일러스의 팁 내의 예를 들면, 근접 검출기 또는 압력 센서를 포함하는 임의의 종류의 스위치일 수 있는 스위치가 전송기가 온 또는 오프일 때 제어를 위해 사용될 수 있다. 스타일러스는 정상 작동 상태 하에서, 스타일러스가 고속 멀티 터치 센서의 표면과 접촉하거나 또는 근방 내에 있을 때, 스위치가 전송기를 켜도록 설정될 수 있다. 대안적인 실시형태에 있어서, 스타일러스는 신호를 지속적으로 전송하고, 스위치의 상태가 그것의 주파수, 진폭 등과 같은 하나 이상의 신호의 특성을 변화시킬 수 있도록 설정된다. 이것은 스타일러스가 터치 감응성 장치의 표면과 접촉할 때뿐만 아니라, 약간 위에 있을 때 "호버" 능력을 제공하는데 사용될 수 있게 한다.
일 실시형태에 있어서, 스타일러스에 의해 전송된 신호는 상술한 바와 같이 행에 전송될 수 있는 직교 신호와 유사하며, 또한 스타일러스는 기본적으로 여분의 행으로서 취급될 수 있다. 스타일러스에 의해 방출된 신호는 근방 열에 결합되고, 열에 수신된 신호는 그것에 대한 펜의 위치를 결정하는데 사용될 수 있다.
2차원으로 스타일러스의 위치를 측정하는 능력을 제공하기 위해서, 수신기는 FMT 센터의 열뿐만 아니라 행에 위치될 수 있다. 행 상의 수신기는 열 상의 것만큼 복잡할 필요는 없다: 열 수신기는 행에 전송되는 임의의 신호 사이를 픽업 및 구별하도록 설정되어야 한다. 그러나, 행 수신기는 스타일러스 또는 일부 실시형태에서는 다수의 스타일러스에 의해 전송되는 임의의 신호 사이를 픽업 및 구별할 수 있을 필요만 있다.
일 실시형태에 있어서, 스타일러스에 의해 전송되는 신호는 행에 전송되는 것들과는 뚜렷이 구별되어, 이들 간에 혼란이 없다. 행 신호가 변조되면, 스타일러스 신호는 다른 수신기와 호환 가능하도록 유사하게 변조되어야 한다. 일 실시형태에 있어서, 이러한 변조는 멀티 터치 센서가 통신 채널을 통해 스타일러스에 제공하도록 설정될 수 있는 시간 기준을 필요로 한다. 이러한 채널은 무선 링크, 광학 링크, 음향 또는 초음파 링크 등일 수 있다. 일 실시형태에 있어서, 스타일러스는 다른 통신 채널을 포함하지 않고, 행 신호를 수신하고, 그것의 변조를 행 신호와 동기화한다.
스타일러스가 자신의 신호를 전송하면, 열 및 행 수신기에 의해 신호가 수신된다. 행 및 열 상의 신호 강도는 행과 열에 대해 2차원으로 스타일러스의 위치를 결정하는데 사용된다. 강한 신호 강도는 스타일러스가 상대적으로 센서와 아주 가까이 있음을 나타내고, 약한 신호 강도는 스타일러스가 아주 멀리 있음을 나타낸다. 보간법은 행과 열의 물리적 입자성보다 훨씬 미세한 해상도까지 스타일러스의 위치를 결정하는데 사용될 수 있다.
스타일러스 경사 및 회전
보다 복잡한 실시형태는 스타일러스의 위치를 측정함과 함께, 유저가 스타일러스를 잡고 있을 때 스타일러스의 경사 및 회전 양자를 우리에게 동시에 측정할 수 있게 한다.
단일 신호를 방출하는 것 대신에, 이 실시형태의 스타일러스는 다수의 신호를 방출할 수 있고, 각각은 그것의 원주 둘레로 확산된 포인트로부터가 아니라 스타일러스의 팁 근처로부터 전송된다. 180° 떨어진 2개의 이러한 신호는 필요로 되는 정보의 일부를 제공할 수 있는 한편, 스타일러스의 경사 및 회전을 명료하게 측정하기 위해서는 적어도 3개의 신호(이상적으로 120° 떨어진)가 필요로 되고, 4개의 신호(이상적으로 90° 떨어진)이면 계산 및 신호 처리를 보다 덜 복잡하게 할 수 있다. 4개 신호의 경우가 아하의 예에 사용된다.
스타일러스 경사 측정
도 14 및 도 15는 그것의 팁(1505)에 전송기(1502)를 갖는 고속 멀티 터치 스타일러스(1501)의 2개의 실시형태를 도시한다. 도 14의 실시형태에 있어서, 전송기(1502)는 팁(1505) 외부에 있는 반면, 도 15의 실시형태에서 전송기(1502)는 팁(1505)의 내부에 있다. 4개의 전송기(1502)는 스타일러스(1501)의 원주 둘레에 배열되고, 고속 멀티 터치 센서(400)의 평평한 표면을 따라 각각 동, 서, 남, 북 을 향해서 배향된다. 펜의 시작 포인트가 z축과 평행하고 센서의 평평한 표면의 x축 및 y축에 수직이라고 가정한다. 스타일러스가 도시된 바와 같이 동쪽을 향해 경사지면, 센서(400)의 평면에 대해 각도 α로 x 또는 y축을 따라 회전하고, 동쪽 대향 전송기(1503)는 북쪽 및 남쪽 전송기에 대한 3차원 공간 내에서 센서(400)의 표면에 가까워지게 이동하며, 또한 서쪽 대향 전송기는 북쪽 및 남쪽 전송기에 대해 센서로부터 멀어지게 이동한다. 이것에 의해 동쪽 전송기에 의해 방출되는 직교 신호가 근방의 행 및 열과 보다 강하게 결합하게 되어서, 고속 멀티 터치 센서 내의 그들의 수신기에 의해 측정될 수 있다. 서쪽 전송기에 의해 방출되는 직교 신호는 근방의 행 및 열과 보다 약하게 결합되어, 그 신호가 그 근방의 행 및 열의 수신기에 낮은 강도로 나타나게 된다. 동쪽 및 서쪽 신호의 상대적인 강도를 비교함으로써, 우리는 스타일러스의 경사 각도 α를 결정할 수 있다. 남북 방향에서의 경사는 남북 직교 신호와 유사한 처리에 의해 결정될 수 있다. 일 실시형태에 있어서, 전송기가 온 또는 오프일 때, 스타일러스(1501)의 팁(1505) 내의 스위치 또는 압력 센서(1504)가 제어를 위해 사용될 수 있다. 스타일러스는 정상 작동 상태 하에서, 스타일러스가 고속 터치 멀티 센서(400)의 표면과 접촉하거나 또는 근접해 있을 때, 스위치(1504)가 전송기를 켜도록 설정될 수 있다.
스타일러스 회전 측정
스타일러스 회전은 유사한 방식으로 감지될 수 있다. 스타일러스의 4개의 전송기(1502) 각각의 x 위치 및 y 위치가 z축과 평행하게 회전되면, 펜 상의 4개의 전송기는 선형으로 터치 표면의 다양한 행 및 열에 가까워지거나 또는 멀어질 것이다. FMT의 다양한 행 및 열에 대한 스타일러스의 전송기의 x 위치와 y 위치 사이의 이러한 다른 선형 거리는 FMT의 수신기에 의해 픽업되는 신호 강도가 달라지게 된다. 스타일러스를 z축과 평행하게 회전함으로써 이들 선형 거리가 변화되고, 따라서 관련된 신호 강도가 변화된다. 스타일러스의 x 회전 각도 및 y 회전 각도는 신호 강도의 이들 차이로부터 추론될 수 있다.
동적 광학 스타일러스
본 발명의 실시형태는 컴퓨터 디스플레이 또는 터치 센서 상의 수기 입력에 사용될 수 있는 고속의 정확한 저 레이턴시 스타일러스 및 센서 시스템을 포함한다. 일 실시형태에 있어서, 스타일러스는 펜 또는 펜슬의 경험을 모방하는 유동적이고 또한 자연스러운 입력을 제공한다. 이러한 관점에서, 시스템의 업데이트율은 ㎑ 이상으로 증가될 수 있고, 스타일러스 이동으로부터 측정된 위치 및 기타 파라미터까지의 레이턴시는 1밀리초 미만으로 낮아질 수 있다. 스타일러스의 위치를 측정하는 것과 함께, 그 경사 각도 및 회전이 측정될 수 있다. 여기에 설명되는 동적 광학 스타일러스는 사실상 모든 설계의 컴퓨터 디스플레이 및 터치 센서와 호환 가능하며, 상술한 고속 멀티 터치 센서와 함께 사용되는 것에 제한되지 않는다는 것에 유념해야 한다.
개시되는 기술은 유도 전반사(Induced Total Internal Reflection)(ITIR)를 사용하는 광학 방법을 포함한다. 상기 기술은 입력 목적으로 복수의 스타일러스가 동시에 사용될 수 있도록 한다. 센서 시스템은 컴퓨터 디스플레이(예를 들면, LCD 또는 OLED 모니터)의 상부에 위치될 수 있고, 시간이 지남에 따른 추론되는 센서 위치 및 다른 파라미터는 컴퓨터 디스플레이 상에 선, 곡선, 텍스트 등을 그리는데 사용된다.
동적 광학 스타일러스의 일 실시형태에 있어서, 스타일러스는 복수의 별개의 패턴으로 센서 표면에 광을 방출한다. 센서 표면은 스타일러스로부터 방출되는 광의 파장에 대해 투명한 또는 반투명한 재료의 얇고 평평한 시트(또는 일부 2차원 매니폴드)이다.
도 16은 전체로서의 센서 시트 및 시스템의 상면도를 나타낸다. 스타일러스(문자 S로 표시함)는 복수의 별개의 패턴으로 센서 시트(문자 A로 표시함)에 광을 비춘다. 투명한 매체 내에 부유하는 입자를 포함할 수 있는 방향 변경 수단을 통해, 시트는 광이 전반사에 의해 모든 수평 방향으로 전파되는 센서 시트 내에 패턴 위치의 광이 트립핑되게 한다. 각도 필터(문자 B로 표시함)는 작은 각도 즉, 필터를 통해 통과하도록 센서 시트 에지와 대략 수직인 제한된 각도의 광만을 허용한다. 선형 광 센서(문자 C로 표시함)는 광이 그들에 충돌하는 길이를 따른 위치를 검출한다. 일 실시형태에 있어서, 단일의 간단한 스타일러스의 X, Y 위치를 검출하기 위해는, 최대량의 광이 충돌하는 선형 센서 상의 위치를 찾는 것만이 필요하다. "V"로 라벨링된 화살표를 따르는 광은 스타일러스의 수직 위치를 제공한다. "H"로 라벨링된 화살표를 따르는 광은 수평 위치를 제공한다. 다른 방향의 광은 필터링되고 무시된다.
도 17은 센서 시트의 측면도를 나타낸다. 일반적으로, 주변 매체보다 높은 굴절률을 갖는 투명한 재료에 입광하는 광은 다른 쪽으로 통과하여 완만한 각도로 반사될 것이다. 산란 매체와 같은 것이 무시할 수 없는 영역의 반투명 매체와 직접 접촉하지 않는 한, 외측으로부터 방출되는 빛이 내부에 트래핑되는 것이 불가능할 수 있다(충족되지 못한 전반사 상황에서 일어날 수 있는 바와 같이). 그러나, 필요되는 무시할 수 없는 접촉 영역은 접촉 매체에 의해 경험되는 드래그 및 경사져도 계속적으로 접촉을 유지할 수 있는 스타일러스를 형성함에 있어서의 어려움 때문에 불량의 스타일러스가 얻어진다. 바람직한 실시형태에서는 투명 재료 내에 방향 변경 수단을 사용한다.
시트의 내부에, 스타일러스에 의해 방출되는 광의 일부는 방향 변경 수단과 상호 작용하여, 일부의 광은 센서 시트 내에 트래핑되고, 그 위치에서 스타일러스가 시트로 방출한 광의 별개의 패턴으로부터 멀리 떨어진 외측으로 전파된다. 전파되는 광은 시트의 에지로 이동하여 각도 필터에 도달한다. 필터(및 시트의 에지)와 수직인 광은 선형 광센서를 통과하게 된다.
도 18은 센서 세트의 측면도를 도시한다. 투명 재료 내의 방향 변경 수단에 의해 스타일러스로부터 방출된 광은 시트 내부에 트래핑된 광으로 되고, 내부 전반사되어 시트 내의 모든 방향으로 전파된다. 시트에 입광하는 광(실선 화살표)은 방향 변경 수단에 입광한다(구름 형상). 광은 다양한 방향으로 방향 변경 수단을 빠져나가고, 그 중 일부는 내부 전반사가 일어날 수 있는 각도 내에 있다(파선 화살표). 일부는 내부 전반사가 일어날 수 있는 각도 밖에 있다(점선). 이 광은 트랩핑될 수 없고 센서 시트를 이탈한다. 방향 변경 수단은 산란 재료로 이루어질 수 있지만, 바람직한 실시형태에 있어서, 스타일러스에 의해 방출되는 광을 흡수하고 다른 파장으로 광을 방출하여 모든 방향으로 외측으로 전파하는 형광성 또는 인광성 재료일 수 있다.
선형 광센서는 그 길이를 따라 그것에 충돌하는 광의 양을 측정하고, 이는 우리에게 스타일러스의 위치를 추론할 수 있도록 한다. 최대량의 광을 수신하는 선형 광센서를 따르는 위치는 그 차원을 따르는 스타일러스 위치의 투영과 상응한다.
상기 시스템은 센서 시트 상의 스타일러스의 위치를 측정할 수 있을 뿐만 아니라, 스타일러스가 하나를 초과하는 광선을 방출한다면 그 경사 및 회전을 추론할 수 있다. 스타일러스가 다수 광선, 또는 가령 원뿔형 또는 다른 형상의 광을 방출하면, 안테나 시트의 측면을 따르는 이 투영은 시스템에 의해 측정될 수 있고, 그 데이터는 동시에 스타일러스의 위치, 경사, 및 회전을 추론하는데 사용된다.
재료의 광 방향 변경 특성
일반적으로, 센서 표면과 같이 얇고 투명한 매체에 입광하는 광은 다른 측으로 방출되고, 그 중 아무것도 내부에 트랩핑되지 않아서 내부 전반사에 의해 전파되지 않을 것이다. 입광광이 트래핑되어 내부로 전파되기 위해서는 그 방향을 변경하는데 일부 수단이 필요하다. 일 실시형태에 있어서, 센서 표면은 다른 방향으로 들어오는 광의 일부를 산란시킨다. 그 방향 중 일부는 내부 전반사가 일어날 수 있는 각도 내에 있다. 산란이 광의 방향을 더 변경하는 것을 방지하는 방법이 없기 때문에 산란은 바람직한 방법이 아니며, 이는 선형 광센서의 의해 수신되는 광의 양을 감소시킬 것이며, 또한 방향의 첫번째 변경이 일어난 후에라도 광이 비선형선 경로로 이동하게 할 것이다. 비선형선 경로는 광이 부정확한 방향으로부터 비롯하여 나타나게 할 수 있어서, 시스템이 잘못된 위치를 판독하게 할 것이다.
바람직한 방향 변경 수단은 형광성 또는 인광성 재료와 같이 일회용(one-time) 파장 변경 수단이다. 파장(W1)에서 스타일러스에 의해 방출되는 광은 이것이 일회용 파장 변경 수단과 상호 작용하는 센서 시트에 입광한다. 상기 수단은 그 광의 일부를 흡수하고 다양한 방향으로 파장(W2)으로 광을 방출한다. 파장(W1)은 전자기 스펙트럼의 자외선 부분일 수 있다. 파장(W2)은 스펙트럼의 가시 또는 적외선 부분 내에 있을 수 있다. 파장(W2)의 광의 일부는 이제 내부 전반사를 통해 센서 시트를 따라 전파되며, 일회용 파장 변경 수단이 파장(W2)에 현저하게 영향을 미치지 않기 때문에 아무것도 방해하지 않는다.
각도 필터
센서 표면을 통해 전파되는 광은 다수의 각도로 에지에 도달한다. 센서 표면 내의 스타일러스의 광 패턴의 위치를 추론하기 위해서는 특정 방향에 대한 선형 광 센서 영역의 시야를 제한하는 것이 필요하다. 일 실시형태에 있어서, 각도 필터는 이 기능을 제공한다. 바람직한 실시형태에 있어서, 2개의 측면 상에 직사각형 센서 및 선형 광센서를 이용하여, 센서 시트의 에지와 수직인 방향으로 광센서의 시야를 제한하는 것이 필요하다. 이것은 컴퓨터 모니터용 프라이버시 스크린이 시야를 모니터의 전방과 직선으로 좁은 각도로 제한하는 방법과 유사한 작은 세트의 "베니션 블라인드"로 달성될 수 있다.
의도되는 시야 외부의 방향으로부터 각도 필터에 충돌하는 광은 바람직하게는 필터에 의해 흡수되거나, 또는 거절될 광이 시스템 내의 임의의 선형 광센서로 입광하거나 또는 임의의 선형 광센서에 의해 감지되는 방식으로 거절되어야 한다.
도 19는 시스템의 상부로부터 본 선형 광센서(문자 C로 표시함)의 전방의 각도 필터(문자 B로 표시함)를 도시한다. 각도 필터는 필터(및 선형 광센서)와 수직인 광이 입광하는 것만을 허용한다. 필터는 다른 각도로 입광하는 광을 차단하는 복수의 수직 블레이드를 갖는 베니션 블레이드와 유사한 방식으로 구현될 수 있다. 이 경우, 화살표(1901)를 따르는 광은 필터에 입광 및 통과하도록 허용된다. 화살표(1902)를 따르는 광은 입광이 허용되지 않고, 필터에 의해 (우선적으로) 흡수되거나 또는 아마도 멀리 반사된다. 선형 광센서는 그 길이를 따라 복수의 포인트에서 이것에 충돌하는 광의 양을 측정할 수 있다. 최대량의 광이 충돌하는 포인트가 아마도 선형 광센서의 방향(f)을 따르는 스타일러스 위치의 투영이다.
선형 광센서
선형 광센서는 그것의 길이를 따라 복수의 위치에서 그것에 충돌하는 광의 양을 측정한다. 선형 광센서는 위치 민감 감지기, 선형 CCD 배열, 선형 CMOS 분광 복사계(imager) 배열, 광전 증폭관(photomultiplier tube)의 배열, 및 개별 광다이오드, 광트랜지스터, 광전지 또는 광을 감지하는 임의의 다른 수단에 의해 구현될 수 있다.
스타일러스
도 20을 참조하면, 스타일러스(2001)는 유저가 이것을 펜 또는 펜슬과 같이 잡고 센서 시트(2002)의 표면에 드로윙할 때, 복수의 별개 패턴으로 센서 시트(2002)로 광을 방출할 수 있는 펜 형상 장치이다. 센서 시트의 에지를 따르는 패턴의 투영은 스타일러스의 위치, 경사, 및 경사를 추론하는데 사용될 수 있다. 다수의 스타일러스를 원한다면, 시분할 다중화 형식으로 한번에 광 하나씩 방출할 수 있다. 이것은 스타일러스 사이에서 일부 형식의 동기화를 필요로 하여, 이것에 제한되지는 안지만 무선 링크, 초음파 또는 광학 신호를 포함한 다양한 간단한 통신 채널에 의해 구현될 수 있다. 광학 신호는 센서 시트 아래의 컴퓨터 디스플레이에 의해 발생될 수 있어서, 추가적인 하드웨어를 거의 사용하지 않고 펜을 동기화시킬 수 있다.
스타일러스가 센서 시트와 접속하고 있는 것을 접촉 스위치 또는 압력 센서가 감지했을 때 발광하는 발광 다이오드와 같은 광원을 사용하여 스타일러스가 구성될 수 있다. 렌즈, 회절 격자, 광도파관, 스플리터 등과 같은 광학 요소가 복수의 광원으로부터 광을 취하고, 센서 시트에 투영될 수 있는 다른 복수의 별개 패턴의 광을 생성할 수 있다. 일 실시형태에 있어서, 스타일러스는 레이저와 같은 비접촉 광원일 수도 있다.
단일 스팟 실시형태
상기 기술의 기본 실시형태에 있어서, 스타일러스는 스타일러스 신체에 대해 공통 축으로 단일 광선 또는 원뿔형 광을 방출한다. 단일 광선은 센서 시트의 측면을 따라 이 패턴의 단순한 점과 같은 투영을 발생시킬 것이어서, 스타일러스의 위치를 추론할 수 있도록 한다. 도 21은 센서 시트의 에지를 따라 간단한 스타일러스에 의해 방출되는 스팟의 기하학적 투영을 도시한다. 그들의 길이를 따라 선형 광센서에 의해 검출되는 최대광은 우리에게 센서 시트 상의 발광 지점의 기하학적 투영을 제공한다. 이것으로부터 우리는 센서 위치를 추론할 수 있다.
스타일러스가 원뿔형 빔을 방출한다면, 센서 시트를 원형(스타일러스가 표면에 수직으로 유지된다면)으로, 또는 타원형(스타일러스가 수직으로부터 멀리 경사져 있다면)으로 교차할 것이다. 이 교차 투영은 다른 형상 및 폭을 가질 것이며, 우리에게 스타일러스가 유지되어 있는 센서 시트 에지에 대한 각도뿐만 아니라 경사 각도를 추론할 수 있도록 한다. 도 22는 센서 시트의 에지를 따라 간단한 스타일러스에 의해 방출되는 지점의 기하학적 투영을 도시한다. 그들의 길이를 따른 선형 광센서의 의해 감지되는 최대광은 우리에게 센서 시트 상의 발광 지점의 기하학적 투영을 제공한다. 이것으로부터 우리는 센서 위치를 추론할 수 있다.
도 23에 도시된 바와 같이, 스타일러스가 광선 대신 원뿔형 광을 방출한다면, 원뿔형이 센서를 교차하는 곳은 타원형으로 될 것이다. 타원형 투영은 다른 경우보다 한 방향으로 다를 수 있어서, 우리에게 스타일러스의 경사를 추론할 수 있도록 한다.
다수의 스팟 실시형태
스타일러스가 센서 시트 상에 다수의 패턴으로 투영되면, 센서 시트의 측면을 따른 이 투영은 스타일러스의 위치, 경사, 및 회전을 추론하는데 사용될 수 있다. 도 24에 도시된 바와 같이, 양 투영이 우리가 센서 세트에 수직으로 유지되는 스타일러스에 대해 예상한 것보다 넓지만 여전히 사이즈에 있어서 거의 동일하면, 스타일러스는 센서 시트의 에지 방향에 대해 45° 각도로 기울어져 있을 것이다. 투영의 폭은 수직으로부터 기울어진 각도를 추론하는데 사용될 수 있다. 투영이 넓을수록 경사가 크다.
도 25를 참조하면, 스타일러스가 그 주변에 다수 패턴의 광을 방출하면, 센서 시트의 에지를 따르는 이 투영은 우리에게 센서 경사 및 그 축 둘레로의 회전과 함께 스타일러스가 센서 시트를 터치하는 위치를 추론할 수 있도록 한다. 스타일러스에 의해 투영되는 패턴의 수 및 배치는 신중하게 선택되어야 한다. 예를 들면, 스타일러스의 다수의 회전 각도가 센서 시트의 에지를 따라 동일한 투영 광 패턴을 갖게 하므로, 패턴은 스타일러스 원주 둘레에 균등하게 이격되면 안된다. 이 경우라 하더라도, 스타일러스의 절대 회전이 항상 측정될 수 없지만, 작은 상대 회전이 측정될 수 있고, 이는 그럼에도 불구하고 유저 인터페이스에 유용한 정보를 제공할 수 있다. 그 방출 패턴의 기하학적 투영으로부터 스타일러스 위치, 경사, 및 회전을 추론하는 가장 간단한 방법은 매우 다양한 스타일러스 위치, 경사, 및 회전에 대한 투영을 측정하고, 이어서 이들 사이에 매핑하거나 또한 개재하여 스타일러스 파라미터를 기반으로 투영으로부터 얻는 것이다. A 및 B로 도시된 2개의 스타일러스 패턴은 스타일러스가 우측 하단으로 더 멀리 이동하고 시계 방향으로 45°회전된 것을 제외하고 동일하다.
솔라 블라인드 UV
태양광은 다양한 파장의 광을 포함하고, 스타일러스 시스템이 태양광 하에서 사용되는 경우 스타일러스 시스템의 작동을 방해할 수 있다. 스타일러스가 지구의 표면에서 경험되는 바와 같이 태양 스펙트럼 중에서 존재성이 없거나 또는 매우 약한 파장으로 방출하는 것이 유리할 수 있다. 한가지 가능성은 스타일러스가 지구의 대기 내의 산소가 그 파장의 대부분 또는 전부를 흡수하는 자외선의 솔라 블라인드 영역의 광을 방출하는 것이다. 자외선 스펙트럼 중 솔라 블라인드 부분에서 방출되는 LED는 시판되어 있다.
유사한 논의가 스타일러스 시스템에 충돌하여 그 사용을 방해할 수 있는 다른 소스(자연적인 또는 인공적인) 유래의 광의 파장에 대해 이루어질 수 있다.
다수의 스타일러스 실시형태
다수의 스타일러스를 동시에 사용하는 것이 바람직하다면, 각각의 신호를 명백하게 구분하기 위한 방법이 사용되어야 한다. 예를 들면, 시분할 다중화가 사용될 수 있고, 이 경우 각 스타일러스는 센서 시트로 턴 방출 패턴(예를 들면, 도 20에 도시됨)을 가져갈 수 있다.
또한, 다수의 스타일러스는 다른 방향 변경 수단을 사용할 수 있고, 각각은 다른 파장으로 방출할 수 있으며, 이 다른 파장은 방향 변경 수단에 이어서 선형 광센서에 의해 구별될 수 있다.
소정의 실시형태에 있어서, 모든 스타일러스는 동일한 파장으로 동시에 방출하고, 스타일러스가 사용될 때 스타일러스의 가능한 또한 예상 궤적의 지식을 사용하여, 소프트웨어 또는 펌웨어로 센서 시트의 측면을 따르는 기하학적 투영에 대한 그들의 공헌도를 명확히 구별한다.
유저 , 손 및 객체의 구별
상기에 본 개시된 직교 센싱 터치 유저, 손 및 객체 구별 시스템 및 방법과 관련하여 사용될 수 있는 정전용량 FDM, CDM 및 FDM/CDM 하이브리드 터치 센서의 다양한 실시형태에 대해서 기재되어 있다. 이러한 센서에 있어서, 터치는 행 유래의 신호가 열에 결합되고 그 열에서 수신되었을 때 감지된다.
도 25를 참조하면, 상술한 바와 같은 직교 센싱 터치 센서에 있어서, 유저가 다수의 손가락을 이용하여 터치하는 경우, 행 유래의 신호가 터치가 발생한 열에 결합할 뿐만 아니라, 동일 유저에 의한 다른 터치의 열에도 결합하기 때문에, 크로스토크가 발생한다. 도 25는 한 손가락으로부터 다른 손가락으로의 유저 신체를 통한 크로스토크의 경로를 도시한다. 도면에 있어서, 화살표는 신호의 경로를 나타내고, 흰색원은 감지된 터치의 위치를 나타내고, 흑색원은 터치들 사이에서의 크로스토크의 위치, 즉 터치스크린 상에서 크로스토크가 감지될 있는 위치를 나타낸다. 이러한 크로스토크 신호는 행으로부터의 신호는 유저의 신체를 거치기 때문에 감쇠되므로 "실제" 신호보다 약하다.
유저의 신체를 지나 결합되는 신호는 신체를 통해 이동하기 때문에 감쇠한다. 이와 같이, 이러한 경로를 이동하여 온 각각의 컬럼에 감지된 신호는 터치 자체로부터 각각의 컬럼에 감지된 신호보다 현저히 약하다. 이러한 차이는 신체에 걸친 이러한 커플링으로 인한 크로스토크 "팬텀"으로부터 트루 터치를 구별하는 것에 도움을 준다. 일반적으로, 단순 임계치의 수신된 신호 레벨에 의해 이들 2개의 신호 강도를 구별할 수 있다.
상기 "유저 식별 기술"이라 명명한 섹션에서 상술한 기본 접근법은 개개의 유저의 손가락 간의 신호 점핑에 의해 야기되는 크로스토크를 찾는 것이다. 크로스토크가 존재하면, 터치들은 동일인으로 비롯된다고 생각된다. 크로스토크가 존재하지 않으면, 터치들은 다수의 사람들로부터 비롯된다고 생각된다. 도 25를 참조하면, 이러한 접근법은 백색 영역에 2개의 터치가 있다고 결정한 후 흑색원 영역에서 크로스토크를 찾는다. 이러한 크로스토크가 존재하면, 2개의 터치는 동일 유저로부터 비롯된 것으로 생각된다. 도 26은 2명의 유저에 의해 행해진 동일한 2개의 터치를 도시하고, 각각의 유저로부터 한 손가락이 터치스크린을 터치한다. 각각의 행으로부터의 신호는 양 열에 결합되지 않기 때문에, 터치 사이에 크로스토크가 있을 수 없으므로, 흑색 원으로 표시되는 영역에는 크로스토크가 존재하지 않을 수 있다. 따라서, 이들 2개의 포인트는 2명의 유저로부터 비롯되는 것으로 인지될 수 있다.
상기 "유저 식별 기술"이라 명명한 섹션에서 상술한 또 다른 기본 접근법은 수신된 신호에 대한 센서를 스위핑하여, "배경 노이즈", "터치" 또는 "크로스토크"로서 신호 레벨을 식별하는 것이다. 2개의 터치 주파수를 포함하는 식별된 크로스토크 신호가 있다면, 2개의 터치가 동일 유저로부터 비롯된다고 생각된다. 이러한 기본 접근법은 터치와 크로스토크 위치를 무시하고, 터치 주파수와 크로스토크 주파수가 정합하도록 식별된 터치와 크로스토크 신호의 트래버싱에 의존한다. 이러한 기본 접근법의 이점은, 상술한 것과 비교했을 때, 이 방법은 도 26에서 묘사한 흑색 면적을 식별할 필요성을 완화시킨다는 것이다. 명확성에 대한 필요가 더욱 증가할 때는 언제든지 크로스토크와 손가락 위치가 고려될 수 있다.
그러나, 크로스토크 포인트가 불명확할 수 있는 일부 터치 구성에서 문제가 발생한다. 간단한 예가 도 27에 도시한 바와 같이 X 또는 Y를 공유하는 두 손가락의 것이다. 이들 2개의 터치는, 포인트 사이에서 발생하는 크로스토크는 터치 그자체에 의해 마스킹되기 때문에, 식별하기 어렵다. 즉, 이러한 구성에 있어서, 이들 터치들이 동일한 사람 또는 다수의 사람으로부터 비롯되었는지를 말할 수 없다. 터치들이 동일한 사람으로부터 비롯되 것이면, 임의의 크로스토크는 반대쪽 터치 포인트에 의해 생성된 것과 동일한 신호를 생성할 것이므로, 따라서 신호가 실제의 터치 이벤트 대신에 크로스토크에 의해 생성되었는지를 직접 결정할 수 없다.
바포 앞에서 설명한 문제의 가능한 해결책은 다수의 주파수에 대한 각각의 터치를 체크하는 것이다. 2개 이상의 주파수가 측정되는 경우에는, 터치는 더욱 큰 크기의 주파수에 의해 식별되고, 터치 신호에 존재하는 크기가 덜 큰 제 2 주파수에 기초하여 다른 터치들과 관련된다.
도 28을 참조하면, 본 개시된 판별 기술의 일 실시형태에 있어서, 터치스크린 및/또는 처리기는 각각의 행과 각각의 열에 직교 신호를 발생시키고, 또한 각각의 행과 각각의 열에의 모든 신호를 감지하기 위해서 변조된다. 행으로부터의 신호를 열에 또는 열로부터의 신호를 행에 결합하는 유저의 손가락을 이용하여 상술한 바와 동일한 방법으로 터치 감지가 발생한다. 그러나, 상기 시스템은 열에 행이 결합하는 크로스토크 및 행에 열이 결합하는 크로스 토크 모두로부터의 터치를 그룹화할 수 있다.
터치 위치를 결정하기 위해서 열에 대한 행 및 행에 대한 열의 결합을 감지한 이후에, 일 실시형태에 있어서 개시된 시스템은 행에 대한 열으 lruf합 및 열에 대한 열의 결합을 갑지할 수 있다. 한 손가락 터치에 있어서의 "유저 식별 기술"이라는 제목 하에 상기 기재된 이전의 시스템 및 방법에 따르면, 다른 행들에 의해 감지되는 행으로부터의 신호가 없다. 마찬가지로, 다른 열에 의해 감지되는 열로부터의 신호가 없다. 각각의 행 및 각각의 열이 발생하는 신호가 존재할 것이고, 또한 매우 "큰(loud)", 예를 들면 강하기 때문에, 각각의 행 및 각각의 열이 발생하는 신호는 무시해야만 한다고 생각된다. 또한, 손가락이 다수의 행을 걸치고 있을 정도로 충분히 크기 때문에 터치가 있을 경우에 행은 그것의 이웃하는 열들을 아마도 볼 수 있다고 생각된다.
유저가 2개 이상의 손가락으로 터치스크린을 터치하면, 그는 행으로부터의 신호를 다른 행들에 결합시키고, 열로부터의 신호를 다른 열들에 결합시킨다. 행 간 및 열 간의 이러한 크로스토크는 행/열 쌍 간의 크로스토크와 유사하여, 다수의 터치가 동일한 유저에 의해 이루어졌음을 결정하는데 사용될 수 있다. 도 29는 이러한 하나의 행으로부터 다른 행으로의 경로의 하나를 도시한다. 이 경우에 있어서, 단일 유저는 디스플레이 상에 2개의 터치를 발생하고, 하나의 행으로부터의 신호는 또 다른 행으로 그들의 신체를 거친다.
도 29에 따르면, 1개의 열 상에 발생한 신호는 유저의 신체를 거쳐서, 또 다른 열에 결합되어 감지된다. 신호가 행과 행 또는 열과 열로부터 결합되는 경우, 2개의 터치가 동일한 유저로부터 비롯된다는 것을 결정할 수 있다. 이 도면은 명료성을 위해 하나의 신호 경로만을 도시하지만, 상술한 행과 열 및 열과 행 결합 이외에 행과 행 크로스토크뿐만 아니라, 반대 방향으로 이동하는 신호를 위해 동일한 경로가 존재할 것이다.
도 30은 도 29의 변이이며, 손과 손 사이보다는 유저 손을 통해서 신호가 결합된다. 도 30에 따르면, 열 상에 발생된 신호는 유저의 신체를 거쳐서 또 다른 열에 결합되고, 감지된다.
도 31은 2명의 다른 유저에 의해 이루어진 2개의 터치를 도시한다. 이 경우에 있어서, 유저 간을 이동하기 위한 신호용 경로가 없기 때문에 행과 행 결합 또는 열과 열 결합이 없다. 결합이 없어서, 이들 2개의 포인트는 2개의 별개의 개개로부터 비롯된다고 생각될 수 있다.
일 실시형태에 있어서, 다수의 포인트가 한 손, 동일한 사람의 두 손, 또는 다수의 사람들로부터의 터치에서 비롯되는지의 여부를 결정하기 위해서 크로스토크의 강도가 처리기, 회로 또는 다른 하드웨어에 의해 사용된다. 신체를 통과한 신호의 감쇠는 사용된 손의 수 및 신호가 이동해야만 하는 거리에 따라 다르다. 경험적으로, 한 손의 손가락으로부터 손가락으로의 감쇠는 동일한 사람의 2개의 다른 손의 손가락으로부터 손가락으로의 감쇠보다 작을 것이고, 한 사람의 손가락으로부터 다른 사람의 손가락으로의 감쇠보다 작을 것이다. 크로스토크의 강도는 상기 처리기, 회로 또는 기타 하드웨어에 의해 사용되어, 예를 들면 두 손 제스처를 한 손 제스처와 구별하고, 2개의 터치 이벤트를 다른 유저에 의해 개시된 것으로 구별하고, 수동적 객체와 손을 구별하고, 유저가 객체를 터치하고 있는지의 여부에 상관없이 수동적 객체를 식별하고, 팜 리젝션(palm rejection)을 개선하고, 또한 우연한 접촉 리젝션(accident-touch rejection)을 개선함으로써, 2개 이상의 터치 이벤트를 구별할 수 있다.
다수의 임계치를 가짐으로써, 예를 들면 2개의 터치가 한 손, 동일한 사람의 두손, 또는 다른 사람들의 손들로부터 비롯하는지를 결정할 수 있다. 일 실시형태에 있어서, 이러한 임계치는 터치 감응성 장치가 사용되는 동안 적절히 설정된다.
터치의 물리적 소스(손, 유저 등)를 결정하는 것은 각각의 입력 프레임에서 발생할 필요는 없음을 주의해야 한다. 사실, 이것은 장치에 대한 특정 터치가 이루어지는 기간 당 한번만큼 드물게 발생할 수 있다. 일부 실시형태에 있어서, 이러한 첵킹을 적당히 한정하는 것이 성능, 파워 또는 다른 관점으로부터 바람직할 수 있다. 예를 들면, 이것은 유저가 최초로 접촉을 한 경우에 한 번만 의도적으로 첵킹함으로써 행해질 수 있다. 또는, 유저 구별 체크가 센서보다 느린 사이클일 수 있다(예를 들면, n 프레임마다 한번 또는 m 밀리초마다 한번). 반대로, 유저 구별은 나머지 감지 프로세스와 함께 오프사이클로 첵킹될 수 있다.
이러한 일 실시형태에 있어서, 시스템의 복잡성은 행 대 열 및 열 대 행으로부터, 및 가능하게는 행 대 행 및 열 대 열까지의 전송 및 수신을 시분할 다중화함으로써 저감된다. 이러한 실시형태에 있어서, 동일한 직교 신호 발생 하드웨어 및 신호 수신 하드웨어는 고속 스위치의 사용을 통해 행에서 발생하고 그 다음에 열에서 발생하고, 또한 열에 수신되고 그 다음에 행에 수신되는 등등을 하도록 시분할 다중화될 수 있다. 이러한 방식으로, 신호 발생기 및 수신기의 필요 개수가 현저히 감소된다.
라벨링
상술한 바와 같이, 동일한 손에서 비롯한 접촉을 식별할 뿐만 아니라, 동유한 유저로부터의 접촉을 식별하는, 이상적으로 유저에 의한 터치 접촉을 '분류'할 수 있는 것이 바람직하다. 당업자에게 있어서 이해될 수 있는 바와 같이, 센서 장치의 스캔 사이클에 걸쳐서의 터치 접촉의 라벨링은 수동으로 행해진다. 본 발명의 실시형태에 있어서, "스캔" 자체는 없지만, 그럼에도 불구하고 어레이가 샘플링되는 매 시간마다 입력 프레임으로서 생각될 수 있는 것이 있고, 디스플레이와의 유저의 연속한 접촉의 불연속화으로서 생각될 수 있는 것이 있다. 이 불연속화란, 하나의 프레임으로부터 다음의 프레임으로 장치는 어떤 접촉이 지속되고 있는지, 및 어떤 것이 새로운 접촉으로 대체되었는지를 반드시 결정해야 하는 것을 의미한다. 다양한 실시형태들에 있어서, 본 개시된 유저, 손 및 객체 판별의 시스템 및 방법은 라벨링의 영역과 적어도 3개의 교차점: 프레임에 걸쳐서 라벨을 제공할 필요성, 종래의 고유의 접촉 라벨링의 개선, 및 유저 식별을 개선하기 위한 종래의 라벨링의 사용을 갖는다.
입력 프레임에 걸친 접촉의 라벨링은 터치(및 비터치) 입력에 대해 구축된 종래의 유저 인터페이스에 매우 중요하다. 예를 들면, 유저가 버튼 누름을 유지하면, 활성화되지 않아야 한다. 2개의 연이은 입력 프레임은 버튼에의 접촉이지만; 이것은 동일한 것인지, 또는 유저가 장치 상에서 손가락을 들어올리고 다시 내려놓은 것인지를 나타낼 수 있다. 전자의 경우, 버튼은 활성화되지 않아야 한다. 후자의 경우, 버튼은 활성화되어야 한다. 이것은 연속한 제스처로도 확대된다.
아이템의 드래깅은 손가락이 이것으로부터 들어올려지면 종료될 수 있고; 드래그 동안 각각의 입력 프레임에 대해서, 시스템은 이전 프레임에 있어서의 것으로부터 수 밀리미터 떨어진 접촉이 프레임 사이에서 이동한 동일한 손가락인지, 또는 유저가 그 소가락을 들어올려서 드래그를 종려하고 새로운 아이템을 가리키고자 하는 것인지를 반드시 결정한다.
접촉의 라벨링에 대한 종래의 기술은 신호를 접촉을 묘사하는 신호 특성(예를 들면 신호 강도)의 조사, 그 형상, 그 배향, 및 이전 접촉에 대한 근접성과 같은 휴리스틱을 수반한다. 본 발명의 실시형태는 이들 종래의 방법들 중 일부 또는 전부를 채용할 수 있지만, 접촉의 라벨링은 여기에 기재된 유저 구별 기술에 의해 더욱 개선될 수 있다: 다른 프레임에서 각각 보여진 2개의 접촉이 다른 유저에 의해 이루어진 것이면, 이 문제는 동일한 접촉인 아닌 것으로 결정된다.
종래의 장치에 있어서 접촉에 대해 지속적인 라벨이 발생되는 것처럼, 본 발명을 채용하는 장치는 프레임들에 걸쳐 동일한 유저에 속한다는 것을 접촉의 라벨링을 통해 개선될 수 있다. 이것은 접촉에 대한 "유저 ID"(UID)라고 불릴 수 있다. UID는 손을 더욱 식별할 수 있고, 본 명세서에 있어서 "UID"는 손들이 구별되는 실시형태와 손들이 구별되지 않는 실시형태를 나타내기 위해 사용된다. 손들이 구별되는 실시형태에 있어서, UID는 통상적으로 유저와 손 모두를 식별할 수 있다. 프레임에 걸쳐서 동일 유저에 속한다는 터치의 라벨링은 통상적으로 항상은 아니지만 종래의 터치 ID에 추가될 수 있다. 본 발명의 대부분의 실시형태에 있어서, 접촉의 UID는 계속적으로 리프레시된다. 그러나, 일부 실시형태에 있어서, UID의 지속을 확보하기 위한 스텝들이 취해진다.
예를 들면, 2명의 유저가 각각 디바이스에 한 손가락을 올려놓고, 2개의 고유의 UID가 이들 접촉에 할당된다. 유저의 손가락을이 디스플레이에 결쳐서 이동되면, 이들 ID는 지속된다. 제 2 손가락이 각각에 유저에 의해 추가되면, 본 발명으 이들 검출된 접촉은 한 쌍이되고, 각각의 유저로부터의 새로운 접촉에 대해 동일한 UID를 적용할 것이다. 그 다음, 한 명의 유저가 그 본래의 손가락을 들어올리면, 새로운 것이 생성되기 보다는 제 2 손가락의 UID가 지속될 것이다. 또한, 추가 접촉이 유저에 의해 디바이스에 대해 이루어졌으면, UID는 지속된다. 일반적으로 목표는 유저 간의 터치를 구별하는 것뿐만 아니라, 유저 내의 터치를 가능한 한 많이 분류하는 것이다.
상술한 바와 같이, 본 개시된 판별 시스템 및 방법의 일부 실시형태에 있어서, 2개의 접촉(또는 근접한 손가락 검출)이 동일한 센싱 부분(행 또는 열)에 대해 이루어지는 경우 '마스킹'이 발생할 수 있어서, 크로스토크의 검출을 억제하고 따라서 유저 ID를 억제한다. 이러한 실시형태에 있어서, 상술한 기술을 이용하여 프레이에 걸쳐 지속되는 각각의 접촉에 적용되는 라벨은 UID를 제공하기 위해 사용될 수 있다. 예를 들면, 2개의 손가락이 디스플레이를 터치하고 그 표면에 걸쳐 슬라이딩하면, 입력의 각각의 프레임은 이 접촉을 감지하고, UID를 생성한다. 상술한 바와 같이, 프레임에 걸친 접촉의 라벨링이 UID에 의해 개선되는 것처럼, 이러한 특별한 경우에 있어서 UID의 생성도 라벨링에 의해 도움을 받는다.
터치가 처음 이루어진 경우, 종래의 입력 장치에서와 같이 접촉은, 예를 들면 상기 기재된 기술을 이용하여 프레임에 걸쳐서 지속되는 방식으로 라벨링된다. 2개의 손가락이 장치에 걸쳐 슬라이딩되면, 2개의 손가락은 동일한 센싱 행/열과 동시에 접촉할 수 있다. 유저가 그 행과 접촉하는 동안 생성된 입력 프레임에 대해서는 UID가 생성될 수 없다(상술한 기술을 채용하지 않는 실시형태). 본 개시된 판별 기술을 활용하는 장치는 UID를 생성할 수 있지만, 접촉이 변경되지 않았다는(즉, 접촉 "1"은 여전히 접촉 "1"이고, 접촉 "2"는 여전히 접촉 "2"로 라벨링되어 있음) 정보가 주어지면, 앞선 프레임으로터 UID를 카피한다.
애플리케이션 영역
모바일 및 정지형 커퓨팅에서의 현재의 멀티 터치 소프트웨어 인터페이스는 다른 유저의 다른 손들인지 또는 동일 유저의 다른 손들 사이를 판별할 수 없다. 그 결과, 단일 유저 및 단일 디스플레이 그룹웨어 애플리케이션은 수신된 유저 입력의 진정한 의도를 해석할 때에, 애플리케이션 디자인, 특징 및 기능성을 불리하게 한정하는 현저한 제스처 모호성을 완화시켜야만 한다. 본 개시된 기술은 촉각 입력을 걸출하기 위해 정전용량 센싱에 의존하는 터치 및 스타일러스 컴퓨팅 시스템에 대한 이러한 제한의 대부분을 제거할 것이다. 다수의 유저가 동일한 터치 입력 표면을 공유하는 단일 디스플레이 그룹웨어 애플리케이션에 있어서, 컴퓨팅 시스템은 감지된 멀티 터치 입력이 동일한 유저 또는 다른 유저로부터 비롯되는 것인지를 신뢰할 수 있게 구별할 수 있을 것이다. 이러한 새로운 레벨의 이해는 2명의 다른 유저로부터의 2개의 별개의 단일 터치 드래그 이벤트 및 동일한 유저의 2개의 손가락에 의해 트리거링된 핀치투줌(pinch-to-zoom) 이벤트 사이를 식별하는 것과 같은 제스처 입력 혼란의 공통 소스를 해결한다. 떨어져 이동하는 임의의 2개의 접촉이 미리 '줌'되어지는 UI 대신에 본 발명을 채용하는 시스템은 2개의 접촉이 다른 유저로부터 비롯된 것으로서 식별되면, 객체를 반으로 '찢거나" 또는 카피를 만들 것이다.
객체
그 유저 손 이외의 객체가 식별될 수 있다. 수동적 객체가 상기 기재된 기술에 의해 식별되는 다수의 터치에 의해 식별될 수 있다. 이들 다수의 터치는 특징적인 상대적 위치에 있을 수 있어, 하나의 객체가 다른 객체로부터 명확해질 수 있다. 일 실시형태에 있어서, 하나의 객체의 터치 포인트의 위치는 비등변 삼각형으로 있을 수 있는 한편, 그외 것들은 비등변 삼감형, 직사각형, 또는 그들의 상대적 위치에 의해 구별될 수 있는 일부 다른 터치 포인트의 세트를 형성한다. 이러한 방식으로, 객체는 서로 구별될 수 있고, 이 터치 표면에 관한 그들의 변환 및 회전이 결정될 수 있다.
일 실시형태에 있어서, 터치 포인트의 간격은 행과 열의 간격의 간단한 비율이 아니어서, 만약 이것이 있다면 객체의 변환 또는 회전을 더욱 정밀하게 측정되게 할 수 있다.
도 32는 센서의 상부에 있는 객체를 도시한다. 일 실시형태에 있어서 객체는 신호 발생기(SG)가 없는 수동적 객체이다. 이러한 객체는 스크린에 터치하는 또는 매우 근접하여 있는 다수의 프롱을 가질 수 있고, 그들 사이는 전기적으로 접속된다. 이것은 유저를 갖는 경우이기 때문에, 이것에 의해 행 대 행 또는 열 대 열의 결합 및 어떤 터치가 동일한 객체에 속하는 것인지를 식별하는 능력이 허용된다. 서로 접속되어 특정 패턴을 형성하는 다수의 프롱(prong)을 식별함으로써 또는 터치 표면에 인식가능한 패턴에 있어서의 터치 간의 전기적 접속으로 스위칭함으로써, 객체의 식별이 달성될 수 있다. 따라서, 신호가 행 대 행 또는 열 대 열의 것으로부터 언제 결합되는지는 2개의 터치가 동일한 객체로부터 비롯되는 것인지를 결정할 수 있다.
일 실시형태에 있어서, 도 32에 도시한 객체는 열, 행 또는 둘 다에서 검출될 수 있는 신호를 방출하는 신호 발생기(SG)에 장착된 능동적 객체이다. 이들 신호는 임의의 접촉을 특정 능동 장치로부터 기원한다고 식별한다.
일 실시형태에 있어서, 능동적 객체는 하나 이상의 스위치에 따라 접속 또는 비접속되는 다수의 접촉 포인트를 가짐으로써 구현될 수 있다. 이들 스위치는 폐쇄시 하나 이상의 터치 포인트를 함께 접속할 수 있다. 스위치 또는 복수의 스위치는 하나의 객체를 다른 객체로부터 명확하게 하기 위해서 특징적인 패턴으로 개방 및 패쇄될 수 있다.
객체들과의 조합
소정의 상황에 있어서, 유저가 잡고 있는 객체를 이용하여 접촉이 이루어진 경우를 식별하는 것이 바람직할 수 있다. 본 발명은 이러한 상황에서 유저 경험에 더욱 개선을 제공한다. 예를 들면, 유저는 조작을 위해 손가락으로 이루어진 입력과는 구분되는, 필기에 사용될 수 있는 스타일러스를 이용하여 스크린을 터치할 수 있다. 본 발명은 적어도 2개의 이점을 제공할 수 있다: 객체의 더욱 용이한 식별 및 동일한 유저 및/또는 객체를 쥐고 있는 손에 의해 이루어진 것이라는 접촉의 라벨링.
여기에 개시된 유저, 손 및 객체 판별 기술을 활용하면, 신호를 생성하는 객체의 라벨링은 현저히 용이해진다. 본 기술을 채용하는 장치에는 고유의 주파수에서, 또는 2개 이상의 장치 또는 터치 표면이 유일하게 인지할 수 있는 신호들에 의해 공유된 주파수에서 신호를 발생하는 신호 발생기가 장착될 수 있다. 일부 실시형태에 있어서, 장치는 그 고유의 주파수에 의해 또는 진폭, 주파수, 또는 공지의 방법의 변조를 이용함으로써 인지될 수 있다. 그렇게 해서, 유저는 시스템으로부터 구별화된 응답을 수신할 수 있다고 확신할 수 있다. 예를 들면, 스크린에 대한 하나의 펜의 터치는 드로잉 애플리케이션에 있어서 청색 잉크, 기타, 적색 잉크, 그들의 손가락, 캔버스의 변환을 생성할 수 있다.
추가적으로, 일단 식별되어진 구별된 객체는 다른 접촉을 행한 동일한 유저가 잡고 있는 것으로 라벨링될 수 있다. 이것은 디지타이저에 의해 픽업된 신호를 발생하는 능동적 장치 또는 상술한 방식으로 검출되는 수동적 장치를 이용하여 가능해진다. 둘 중 하나의 경우에 있어서, 장치를 잡고 있는 손 또는 유저의 신체의 다른 일부에 의해 이루어진 다른 접촉은 상술한 바와 동일한 방식으로 구별될 수 있고, 또한 일부 실시형태에 있어서, 이들 접촉과 동일한 UID로 라벨링될 수 있다. 이것은 유전 경험을 다수의 방버으로 개선시킬 수 있다. 일례로서, 시스템은 장치를 잡고 있는 손으로부터의 터치를 무시하는 것을 선택하도록 설정될 수 있어서, 팜 리젝션을 개선하고, 유저가 쓰는 동안 그 손을 안전하게 스크린 상에 놓아둘 수 있고 유저의 다른 손으로 입력을 할 수 있게 한다.
일부 실시형태에 있어서, 장치는 장치의 인식을 위한 적어도 하나의 신호와, 상술한 바와 같이 유저와 결합되기 위한 적어도 하나의 신호의 2개 이상의 상이한 신호를 방출하도록 설정될 수 있다. 일례로서, 스타일러스는 하나의 신호를 위치 센싱을 위해서 그 팁에서 발생하고, 유저 페어링을 위해서 그 신체 주변에서 다른 하나를 발생할 수 있다. 또 다른 실시형태에 있어서, 객체는 페어링(예를 들면, 여기에 기재된 시계 또는 수동적 스타일러스)을 위해서만 신호를 발생할 수 있다.
일 실시형태에 있어서, 장치는 객체가 유저 구별을 입력 프레임에 걸쳐서 지속하여 할 수 있도록 설정될 수 있다. 예를 들면, 일부 실시형태에 있어서, 유저가 여기에 기재된 타입의 신호를 발생하는 시계를 차고 있거나, 펜을 잡고 있거나, 또는 모바일폰을 가지고 있으면, 그것들의 디바이스에 대한 터치는 그 신호를 전달할 수 있다. 이렇게 하여, 수초, 수분, 수일 또는 수년 후 이루어진 터치가 동일한 유저로부터 비롯되는 것인지를 알 수 있다(또는, 모두 그 장치와 접촉하는 한 명의 유저로부터 비롯된 것인지를 알 수 있다).
완화된 감도에서의 동작
컴퓨터 입력 장치의 소비 전력을 저하시키기 위해서는, 입력 장치가 100% 미만의 시간 사용된다는 사실에 유의해야 한다. 그러므로, 입력 장치가 사용중이 아닌 시간 중에서, 에너지가 덜 소비되거나, 또는 그렇지 않으면 완화된 작동 감도로 작동하는 다른 모드로 변동될 수 있다. 여기에 사용된 바와 같이, "전력" 및 "작동 감도"는, 이들에 한정되는 것은 아니지만, 전력 소비, 이벤트 주파수(즉, 주기 해상도에 강하게 관련되는 업데이트 레이트), 터치 감도, 공간 분해능(예를 들면, 서로 다른 행 또는 매 행마다 처리함), 터치 레이턴시, 신호 대 잡음비(유저 인터페이스 정확도와 강하게 관련되므로, 유저 경험), 컴퓨팅 성능, 프레임 레이트, 유저 경험 및 호버 검출의 가용성을 포함한다.
더욱이, 유저는 입력 장치의 풀레벨의 성능이 필요하지 않는 테스크를 행하기 위해 컴퓨터 시스템을 사용하기 때문에, 컴퓨터 시스템은 입력 장치가 그것의 최고 성능의 레벨에서 작동되는 것이 항상 필요하지 않는다는 것을 유의해야 한다. 그러므로, 이들 기간 동안 컴퓨터 시스템은 입력 장치를 보다 적은 전력을 소모하지만 낮은 성능을 갖질 수 있는 모드로 둘 수 있다.
상기 컴퓨터는 입력 장치를 풀레벨의 성능이 필요하지 않다는 것을 자동적으로 검출함으로써 절전 모드로 둘 수 있고, 또는 애플리케이션 로직이 입력 장치에 낮은 전력, 낮은 성능 레벨에서 동작하도록 명령할 수 있다.
일 실시형태에 있어서, 각각이 동작 성능과 전력 소비 사이에 다른 트레이드오프를 갖는 복수의 모드가 있을 수 있다.
일 실시형태에 있어서, 입력 장치는 터치 센서이다.
일 실시형태에 있어서, 입력 장치는 멀티 터치 센서이다.
일 실시형태에 있어서, 입력 장치는 저 레이턴시 터치 센서이다.
일 실시형태에 있어서, 입력 장치는 2013년 3월 15일에 출원한 발명의 명칭이 "저 레이턴시 터치 감응성 장치"인 미국 특허출원 제13/841,436호, 2013년 11월 1일에 출원한 발명의 명칭이 "고속 멀티 터치 후처리"인 미국 특허출원 제14/069,609호, 및 2013년 7월 12일에 출원한 발명의 명칭이 "고속 멀티 터치 후처리"인 미국 특허출원 제61/845,892호에 개시된 바와 같은 직교 신호에 의존적인 저 레이턴시 터치 센서이다. 이러한 특허출원의 전체 개시를 참조하여 여기에 원용한다.
이것의 하나의 응용은 유저가 입력 장치를 사용하지 않을 때에는 상기 장치는 레이턴시, 저 업테이트 레이트 등과 같은 저하된 성능을 가질 수 있는 저전력 모드로 전환될 수 있다는 것일 것이다. 유저가 입력 장치의 사용을 개시하자마자, 상기 장치는 즉히 고성능 모두, 아마도 최대 성능 모드로 전환된다.
상기 장치는 유저가 입력 장치의 사용을 개시한 후에도 저성능, 저전력 상태로 남아있는 것이, 최종 유저에 의해 감지되지 않거나, 또는 유저의 경험 또는 생산성에 영향을 미칠 것 같지 않은 단시간의 기간 동안 행해질 수 있으면, 가능할 수도 있다.
잉킹, 드로잉, 스크롤링 등과 같은 상이한 유저 액션은 테이핑, 메뉴 픽킹 등과 같은 다른 유저 액션보다 보다 고성능이 요구될 수 있다. 보다 고성능이 요구되는 상황에서는, 입력 장치는 더욱 전력을 소비할 수 있는 고성능 모드로 전환될 수 있다. 많은 성능이 요구되지 않는 상황에서는, 입력 장치는 저성능을 가질 수 있는 저전력 모드로 전환될 수 있다.
일부 실시형태에 있어서, 입력의 특징은 고성능 비율이 요구되는 것을 표시할 수 있다. 예를 들면, 다수의 방향 변환을 갖는 입력 스트로크는 스트로크의 뉘앙스를 포착하기 위해서 높은 프레임 레이트를 요구할 수 있다. 이러한 양상의 검출시, 장치는 고속 모드로 변환될 수 있다. 역으로, 뉘앙스가 없는 스트로크는 낮은 샘플림 레이트가 충분해서, 프레임 레이트가 감소될 수 있다는 것을 나타낼 수 있다.
한 명의 유저와 장치의 상호작용은 손가락 또는 스타일러스를 이용하여 장치에 대한 호버링과 같은 비접촉 모드일 수 있다. 적은 공간 해상도, 적은 시간 해상도, 또는 멀티 터치와는 대족적으로 단일 터치와 같은 적은 입력 정보가 요구될 수 있는 상황에서는, 상기 장치는 여전히 필요한 레벨의 성능(공간, 시간 등)을 제공할 수 있는 저전력 모드로 전환될 수 있다.
일 실시형태에 있어서, 유저가 고레벨의 성능을 머지않아 요구할 것을 컴퓨터가 예측하면, 입력 장치의 성능이 증가될 수 있다. 예를 들면, 상기 장치가 유저의 손가락이 근방을 호버링하지만 터치 입력 장치를 터치하지는 않는 것을 검출하면, 유저의 손가락이 최종적으로 입력 장치를 터치하면, 입력 장치는 이미 우수한 유저 경험에 요구될 수 있는 성능 레벨까지 준비되도록 터치 입력 장치의 성능을 증가시키도록 그 정보를 트리거로서 사용할 수 있다.
일 실시형태에 있어서, 애플리캐이션의 상태는 더욱 높은 프레임 레이트가 요구되는 것을 나타낼 수 있다. 이것은 운용 시스템, 이 시스템 활용도의 특징에 의해, 또는 명백하게는 예를 들면 프로세스 간 통신, 함수 호출, 또는 기타 수단을 통하여 애플리케이션에 의해 추론될 수 있다.
일 실시형태에 있어서, 컴퓨터 시스템은 유저가 다음의 입력을 언제, 어디에 제공할 것인지를 포함하여 유저가 상기 장치를 다음에 어떻게 활용할지의 시간적 및/또는 공간적 예측을 생성하는 알고리즘적 예측 기술을 활용할 수 있다. 구체적으로, 터치 입력 장치에 대해서, 손가락 또는 스타일러스가 디스플레이를 언제 어디에 접촉할지의 이러한 시간적 또는 공간적 예측은 유저 입력 장치를 더욱 적합한 성능/전력 소비 모드 또는 트레이드오프를 가진 모드로 전환하기 위해 사용될 수 있다.
일 실시형태에 있어서, 컴퓨터 시스템에 포함되는 복수의 센서 또는 유저 입력 장치에 대한 예측은 요구되는 성능/전력 소비 트레이드오프의 모드를 알고리즘적으로 예측하기 위해 사용될 수 있도록 센서 융합을 이용할 수 있다. 예를 들면, 일 실시형태에 있어서, 스마트폰에 내장된 가속도계는 터치 스크린의 모드를 변경하기 위해 사용될 수 있다. 스파트폰의 가속의 시간 이력은 유저가 언제 터치 입력 장치를 터치하려고 할지 또는 터치되는 순간을 예측할 수 있으므로, 터치 입력 장치의 성능/전력 소비 모드를 변경할 수 있다. 또 다른 실시형태에 있어서, 하나의 전력/성능 트레이드오프 모드로부터 다른 모드로의 스위칭을 관리하는 임계값 및 로직은 장치의 배터리 레벨뿐만 아니라, 외부 전원의 가용성 또는 상태에 따른 배터리 레벨도 포함한다.
이들 이벤트를 정확하게 검출할 확률의 통계적 지식이 거짓 알람과 정확한 검출 레이트(특징 통계치를 운용하는 수신기)를 트레이드오프함으로써 장치의 전력 소비를 최적화하는데에 사용될 수 있어서, 전력 소비와 유저 경험이 적절히 정렬된다. 최적화는 설계 시점, 제조 시점 중 어느 하나 전에 행해질 수 있고, 또는 이것은 특정 유저의 이력 및 습관에 적응하기 위한 기술의 학습을 이용할 수 있다.
일 실시형태에 있어서, 소정 영역에 걸쳐 터치를 검출할 수 있는 터치 입력 장치는 상기 영역의 다른 부분이 성능/전력 소비 트레이드포트를 갖는 모드로 전환될 수 있다. 예를 들면, 전체 터치 영역은 상기 영역 내에서 유저가 어디를 터치하는지를, 간단히는 상기 영역 중 어느 곳을 터치했는지를 검출할 수 없는 모드로 전환될 수 있다. 마찬가지로, 터치 영역의 일부분이 공간 해상도, 시간 해상도, 레이턴시, 또는 기타 터치 파라미터 간의 특정 트레이드오프를 가진 모드로 전활될 수 있는 반면, 터치 영역의 다른 부분은 이들 파라미터의 상이한 트레이드오프를 갖는다. 일 실시형태에 있어서, 슬라이더 UI 컨트롤을 제어하는 터치 영역의 부분은 누름 버튼을 갖고, 보다 적은 공간 해상도 또는 시간 해상도가 필요하고, 또한 보다 높은 레이턴시를 견딜 수 있는 터치 영역의 부분보다 공간 해상와 시간 해상도가 더욱 높고 레이턴시가 낮은 모드일 수 있다.
일 실시형태에 있어서, 입력 장치의 전력/성능 트레이드오프 모드는 인간 대 컴퓨터 인터페이스, 예를 들면 제어판을 통해 유저에 의해 명확하게 규정될 수 있다.
일 실시형태에 있어서, 복수의 입력 장치가 있다. 이들의 각각은 유저의 경험을 최적화하기 위해 상이한 전력/성능 트레이드오프로 전환될 수 있다. 예를 들면, 단일의 게임콘솔 제어기는 유저의 왼손과 오른손을 위한 2개의 멀티 터치 패드를 각각 가질 수 있고, 2개의 멀티 터치 패드 각각은 게임 플레이시 상이한 시간에 사용 중일 수 있다.
데시메이션 전략
2013년 3월 15일에 출원한 발명의 명칭이 "저 레이턴시 터치 감응성 장치"인 미국 특허출원 제13/841,436호에 기재된 것과 같은, 유저가 입력을 고속 입력 장치에 제공하면, 발생된 많은 수의 입력 이벤트가 입력 스택의 다른 부분을 압도할 수 있다. 이것을 어드레싱하기 위해서, 입력 스택의 다른 부분이 적시에 작용할 있고, 또한 스택에 대한 수에 압도되지 않도록 이벤트 스트림에 있어서의 이벤트의 수를 줄일 수 있는 다수의 기술에 대해서 설명한다.
여기에는 입력 이벤트가 선택적으로 버려지거나, 결합되거나, 필터링되거나, 대체되거나, 또는 그렇지 않으면 입력 장치(또는 층이 데시메이션을 행하는 모든 것)로부터 다른 레벨의 스택으로 선택적으로 보내지는 "지능적 데시메이션"에 대한 시스템 및 방법을 개시한다.
입력 "이벤트"에 대한 임의의 언급은, 이것이 이벤트 구동형 컴퓨팅 모델에 있어서의 별개의 입력 이벤트 또는 유저 제공 입력의 물질적 '이벤트', 및 비입력 구동형 시스템에서의 얻어진 신호에 대해서 설명하여도, 단순히 층 간의 정보의 흐름을 설명하기 위한 것을 의미한다는 것은 이해되어야 한다.
고속 센서에 의해 출력된 이벤트의 수가 운용 시스템/디스플레이 유닛이 제시간에 처리하기에는 너무 많아서 병목 현상이 야기되거나, 또는 파이프라인에서의 이벤트의 수가 많아짐으로 인한 오버플로우까지 되어 처리가 대기되게 되는 경우가 있을 수 있다.
데시메이션은 하나의 입력 스트림을 동일한, 더 적은 또는 더 많은 수의 이벤트를 가진 하나 또는 다수의 별개의 출력 스트림으로 변환시키는 프로세스이다. 이러한 데시메이션은 모델, 올고리즘, 기능, 시스템(예를 들면 입력 디바이스 및 유저 인터페이스를 들 수 있지만, 이들에 한정되지 않음)의 상태에 대한 지식, 또는 특정 주파수 또는 소정의 임계값 내에서의 다수의 이벤트의 컷팅과 같이 간단히 지능적으로 명령될 수 있다.
데시메이션은 필터, 결합, 대체, 또는 그렇지 않으면 유저 입력을 설명하는 정보를 선택적으로 전하는(정확히 또는 모델을 통해) 것이다. "데시메이션"은 문자적으로 10%까지의 선별을 의미하지만, 우리는 일종의 정보 흐름의 양을 설명하기 위해 이 용어를 광범위하게 사용한다. 데시메이션은 유저의 물리적 입력과 스크린 상에 표시되는 결과 간의 정보 처리의 흐름에 있어서 임의의 스텝에서 발생할 수 있다. 본 명세서에 있어서, 한 층에서 일어나는 데시메이션에 대한 임의의 언급은 임의의 다른 층에서도 동등하게 잠재적으로 적용되는 것으로 이해되어야 한다.
도 33a는 지능적 데시미네이션 프로세서의 개요를 도시한다. 도시한 바와 같이, 입력 이벤트 스트림을 취하고, 시스템의 일부를 필터링, 결합, 대체하거나, 또는 그렇지 않으면 입력시 작동하는 시스템의 다른 부분으로 이 데이트를 선택적으로 전한다.
도 33b에 도시한 바와 같이, 지능적 데시메이션은 동일한 또는 상이한 수의 이벤트를 가진 다수의 출력 스트림을 생성할 수 있다.
도 33c에 도시한 바와 같이, 지능적 데시메이션은 다수의 입력 프로세스 스택으로 절달되는 이벤트 스트림을 생성할 수 있고, 다수의 입력 프로세서 스택은 각각 하나 이상의 출력 이벤트 스트림을 수신할 수 있다.
하기 섹션에서는 본 개시된 시스템 및 방법에 포함되는 다수의 데시메이션 전략에 대해서 설명한다. 이 시스템 및 방법은 이들 전략 중 어느 하나를 사용해도 좋고, 기재된 전략의 파생물을 사용해도 좋고, 또는 이들 중 다수를 결합하여 입력 이벤트 스트림을 시스템의 다른 부분으로 보내지는 출력 이벤트 스트림으로 변환해도 좋다.
N 프레임마다
본 실시형태에 있어서, 입력 이벤트 스트림은 출력 스트림이 입력 스트림으로부터의 N번째 입력 이벤트는 포함하고, 다른 N-1 이벤트는 폐기하도록 N 이벤트(여기서 N은 가변 파라미터이고, 가변이란 시스템의 하나 이상의 구성 요소에 의해 임의의 시간에서 변경되는 있다는 것을 의미함) 마다 샘플링된다.
도 34는 "N 프레임 마다"의 지능적 데시메이션의 일례를 도시한다. 이 경우에 있어서, N=4이고, 입력 스트림(상단 행)으로부터 N번째 입력 이벤트는 출력 스트림(하단 행)에 포함된다.
X 마이크로초마다
본 실시형태에 있어서, 입력 이벤트 스트림에 있어서의 각각의 입력 이벤트는 시간, 바람직하게는 이벤트와 관련된 유저 입력이 발생된 시간과 관련된다. 출력 이벤트 스트림이 입력 이벤트 스트림에 있어서 X 마이크로초마다(또는 필요한 임의의 다른 시간 유닛) 발생된 이벤트를 포함하도록 입력 이벤트 스트림은 샘플링되고, 여기서, X는 가변 파라미터이다. 시간값에 정확히 대응하는 이벤트가 없을 경우에는, 본 개시된 시스템 및 방법은 입력 이벤트 스트림, 다음의 이벤트, 이전의 이벤트와 가장 가까운 이벤트를 이용하거나, 페이크 이벤트를 생성하거나, 또는 이벤트가 전혀 없도록 설정될 수 있다.
도 35는 "X 마이크로초마다"에 의한 지능적 데시메이션의 일례를 나타낸다. 입력 이벤트 스트림(상단 행)은 X 마이크로초마다 샘플링되고, 이들 시간에 발생하는 이들 이벤트는 출력 이벤트 스트림(하단 행)에 포함된다.
최초 및 최후 입력 이벤트
입력 이벤트 스트림을 고려할 때, 최초 및 최후 입력 이벤트는 유저측의 의향을 가리키기 때문에 상당히 중요하다. 터치 입력을 고려할 때, 이들 최초 및 최수 입력 이벤트는 유저가 최초에 터치 센서를 활성화시켰을 때에 발생된 이벤트 및 그 손가락이 터치 센서로부터 들어 올려졌을 때에 발생된 최종 이벤트 각각에 대응할 수 있다. 이와 같이, 본 실시형태에 있어서, 입력 이벤트 스트림에 있어서의 최초 및 최후 입력 이벤트는 출력 이벤트 스트림에 포함된다.
예를 들면, 디스플레이 또는 입력이 행해진 디스플레이(3601)의 일부를 포함하는 도 36에 대해 숙고해보자. 이 디스플레이 영역(3601)은 다수의 그래픽 유저 인터페이스 요소(3606)를 포함할 수 있다. 최초 이벤트(3604)에서 시작해서 최종 이벤트(3605)로 확장하여 입력 이벤트 스트림(점선)에 대해 숙고해보자. 본 실시형태에 있어서, 최초 이벤트(3604) 및 최종 이벤트(3605)는 출력 이벤트 스트림에 포함될 수 있다(대안적 체계가 최초 이벤트 또는 최종 이벤트 중 하나에만 제공될 수 있다).
만곡
본 실시형태에 있어서, 입력 이벤트 스트림의 만곡에 있어서 유의미한 변화를 나타내는 이벤트가 출력 이벤트 스트렘에 포함되도록 입력 이벤트 스트림은 샘플링된다. 디스플레이 또는 입력 이벤트 스트림이 최초 이벤트(3604)에서 시작해서 최종 이벤트(3605)로 확장되게 행해지는(점선) 디스플레이(3601)의 일부를 포함하는 도 36에 대해 숙고해보자. 만곡(3602)의 범위 또는 만곡(3603)의 방향 전환의 범위에 대응하는 이벤트가 출력 이벤트 스트림에 포함된다.
관련 실시형태에 있어서, 입력 이벤트 곡선의 다른 특징은 데시메이션 프로세스를 통지할 수 있다. 커브를 설명하는 다양한 수학적 모델이 있고, 또한 임의의 소정의 모델에 대해서는 곡선을 복원하기 위해 필요로 되는 최소 입력 이벤트의 수가 있다. 본 실시형태에 있어서, 입력 이벤트 스트림의 경로를 재구성하기 위해 필요한 입력 이벤트 스트림으로부터의 이벤트만이 출력 이벤트 스트림에 포함된다. 본 실시형태에 있어서, 곡선 재구성에 있어서의 허용 오차는 가변 파라미터이다.
입력 모드
입력 모드는 데시메이션 체계를 명확하게 선택할 수 있다. 예를 들면, UI, 애플리케이션, 또는 명시적 유저 액션은 소정 영역 또는 기간에서는 데시메이션이 적은 것이 바람직하다는 것을 명시할 수 있다. 예를 들면, 캔버스 상에 드로잉할 때, 한 명의 유저 선택성 '브러시'는 더욱 고도로 데시메이션된 입력에 대해 곡선 피팅을 통해 매끄러운 곡선을 제공하는 반면, 또 다른 브러시는 유저의 실제 입력을 보다 충실히 따를 수 있다.
입력 하드웨어 특징
입력 센서는 비균일 센싱 능력을 갖는다고 알려져 있다. 예를 들면, 정전용량 터치 센서는 센스 트레이스(sense-trace)의 위치에 '스냅' 입력하는 경향을 가질 수 있고, 또한 시각 기반 센서는 주위 밝기 및 그 센서의 광학적 특징에 의해 현저히 영향을 받는다. 일부 실시형태에 있어서, 이들 입력 특징이 고려된다. 예를 들면, 공지된 정전용량 센서의 "스냅핑"과 유사한 거동을 나타내는 장치에 있어서, 센스 라인에 스냅핑되지 않은 이벤트가 센스 라인에 스냅핑되는 이벤트 이상으로 선택될 수 있어서, 사실상 유저의 입력을 매끄럽게 한다. 모든 입력 장치는 입력 장치가 기록하는 이벤트에 있어서 바이어스의 일부 종류를 나타내고, 이러한 체계는 이들 효과를 보충하는 범위를 설명한다.
제스처 데시메이션
입력의 특징을 체계의 선택을 스스로 통지할 수 있다. 예를 들면, 2 이상의 차원으로 통상적으로 패닝될 수 있는 UI 요소 내에서 유저가 주로 1차원 제스처를 행하는 즉시 1차원 스크롤링 액션을 "록인(lock-in)"하는 것은 공지되어 있다(예를 들면 애플의 949 특허 인용). 본 개시된 시스템 및 방법의 소정 실시형태에 있어서도 마찬가지로 1차원적 이동시에는 UI의 "록인"을 나타내고 체계를 변화시킬 수 있다. 이 경우에 있어서, 1차 스크로링은 보다 소수의 이벤트를 요구할 수 있어서, 더욱 공격적인 데시메이션 체계가 채용될 수 있다. 마찬가지로, 입력은 '록인'이 발생하지 않을 것이라는 것을 나타내서, 스크롤링은 2 이상의 데시메이션에서 동시에 발생할 수 있다. 이러한 상황 하에서, 일부 실시형태는 데시메이션의 공격성을 저감할 수 있고, 또는 다차원의 이동(예를 들면: 상술한 "만곡" 체계)에 더욱 '친근한' 체계로 스위칭할 수 있다. 일부는 모드가 "제스처"를 나타내도록 입력 체계의 특징 검사를 특징지을 수 있고; 소정 실시형태는 상기 제스처, 또는 시스템의 필요에 기초하여 규정되는 임의의 다른 패턴을 사용할 수 있다.
GUI 요소 경계 이동
일 실시형태에 있어서, 데시메이션 프로세스는 유저가 관심을 갖는 그래픽 유저 인터페이스(GUI)의 레이아웃을 고려한다. GUI에 있어서의 요소는 평면, 또는 1D, 2.5D, 또는 3D, 평면 또는 임의의 다른 형상으로 변환될 수 있는 공간에 존재하는 것으로 고려될 수 있고, GUI가 커서가 터칭되는 위치 및 이 평면에 위치하는 것으로서 입력 이벤트를 결정할 수 있으면, GUI 요소의 경계는 지능적 데시메이션 프로세스를 통지할 수 있는 중요한 정보를 제공한다.
도 37을 참조하면, 다수의 그래픽 요소는 이벤트는 이벤트 "온엔터(onEnter)" 및 "온리브(onLeave)"에 응답하도록 프로그래밍된다. 이들 이벤트는 GUI 요소의 경계선 내로 또는 외로 입력 이벤트가 최초 이동하는 경우에 칭해진다. 이와 같이, 이러한 실시형태에 있어서, 입력 이벤트 스트림(도 37의선)이 GUI 요소(3606)(도 36)의 경계를 건너는 경우, 요소(3705) 외부의 최종 입력 이벤트 및 요소(3706) 내부의 최초 입력 이벤트는 모두 출력 이벤트 스트림에 포함되고, 그 보더에서의 이벤트는 요소(3705) 및 요소(3706)의 대안일 수 있다. 유사한 실시형태에 있어서, 최초, 최종, 보더 이벤트의 임의의 조합이 포함된다.
"내부의 최종 이벤트" 및 "외부의 최초 이벤트"는 실제로 동일한 이벤트일 수 있음을 유의해야 한다. 예를 들면, 도 37에 있어서, 가장 좌측의 UI 요소(3606)는 이것 "내에" 하나의 라벨링된 이벤트(3705) 및 또 다른 라벨링된 이벤트(3706)를 갖는다. 이 이벤트(3705)는 가장 좌측의 UI 요소(3606) 내부의 최종 이벤트이지만, 또한 중간 UI 요소(3606) 외부의 최종 이벤트이기도 하다. 하나의 데시메이션 체계에 있어서, 이러한 단일 이벤트는 복사되어 상기 UI 요소 둘다로 신호가 전송될 수 있다. 또 다른 체계에 있어서, 이들 중 하나 또는 둘다의 하나의 복사본만이 전달될 수 있다.
GUI 요소 경계
일 실시형태에 있어서, 데시메이션 프로세스는 유저가 상호작용하는 그래픽 유저 인터페이스(GUI)의 레이아웃을 고려한다. GUI에 있어서의 요소는 평면, 또는 1D, 2.5D, 또는 3D, 평면 또는 임의의 다른 형상으로 변환될 수 있는 공간에 존재하는 것으로 고려될 수 있고, GUI가 커서가 터칭되는 위치 및 이 평면에 위치하는 것으로서 입력 이벤트를 결정할 수 있으면, GUI 요소의 경계는 지능적 데시메이션 프로세스를 통지할 수 있는 중요한 정보를 제공한다.
일 실시형태에 있어서, 도 38에 도시한 지능적 데시메이션 프로세스는 경계 GUI 요소(3606) 내에 또는 외에 내포한 것에 근거하여 입력 이벤트 스트림(3801, 3802, 3803, 3804)의 상이한 섹션에 대해 상이한 데시메이션 전략을 선택한다. 예를 들면, 특정 GUI 요소(3606)의 경계의 외부에 있는 이들 입력 이벤트(3801, 3804)가 GUI 요소(3606)의 경계의 내부에 포함되는 이들 입력 이벤트(3802, 3803)보다 출력 이벤트 스트림에의 포함에 대해서 더욱 낮은 주파수에서 샘플링될 수 있다. 동일한 실시형태에 있어서, 하나의 GUI 요소(가장 좌측 요소(3606))의 내부의 이들 입력 이벤트(3802)는 또 다른 GUI 요소(중간 요소(3606))의 내부의 것들(3803)보다 상이한 방식으로 데시미네이션될 수 있다.
애플리케이션 소프트웨어 또는 GUI 툴키트 소프트웨어는 GUI 요소의 사이즈/위치/형상에 대해서 터치 센서에 통지할 수 있고, 데시메이션은 이 정보를 이벤트를 전달, 드롭 또는 생성하기 위해 선택할 때에 고려할 수 있다.
데시메이터는 GUI 요소 내부에 있는 제 1 이벤트 및/또는 이전 이벤트가 있었던 GUI 요소 외부에 있는 제 1 이벤트를 선택할 수 있다. 이점에 관해서, 애플리케이션 소프트웨어는 어떤 이벤트가 가장 중요하고 또한 데시메이션 프로세스의 구동을 도울 수 있는지에 관해서 터치 센서에 통지할 수 있다.
멀티 모달 입력
상술한 바와 같이, 지능적 데시메이션 엔진은 본 명세서에 기재된 개별적 데시메이션 기술을 얼마든지 결합할 수 있다. 본 실시형태에 있어서, 시스템은 입력 이벤트를 생성하기 위해서 유저에 의해 사용되고 있는 입력 데이터를 고려한다. 예를 들면, 입력 액션의 임의의 시간에 검출가능한 터치와 펜 입력 모두를 포함하는 시스템에 있어서, 개시된 시스템 및 방법은 터치 입력에 대해서는 한 세트의 개개의 데시메이션 기술 및 파라미터를 이용하는 반면, 펜 입력에 대해서는 가능한 다른 세트의 기술 및 파라미터를 사용할 수 있다. 일 실시형태에 있어서, 개시된 시스템 및 방법은 특정 입력 장치에 의해 실행되고 있는 액션에 따라서 상호작용시 임의의 포인트에서 데시메이션 기술을 스위칭하도록 결정할 수 있다.
멀티 유저 입력
상술한 바와 같이, 지능적 데시메이션 엔진은 본 명세서에 기재된 개개의 데시메이션 기술을 얼마든지 결합할 수 있다. 본 실시형태에 있어서, 시스템은 입력 이벤트를 생성하는 유저를 고려한다. 예를 들면, 수명의 유저를 포함하는 시스템에 있어서, 본 개시된 시스템 및 방법은 최초 유저에 대해서는 한 세트의 개개의 데시메이션 기술 및 파라미터를 사용하는 반면, 제 2 유저에 대해서는 가능하게는 다른 세트의 기술 및 파라미터를 사용할 수 있다. 또한, 유저간 입력을 구별함에 있어서 매추 중요한 이벤트는 상술한 UI 경계에 대한 이벤트와 마찬가지로 데시메이션 프로세스에 추가 가중이 부여될 수 있다.
멀티 포인트 입력
단일의 모달리티에서 유저로부터의 다수의 /포이트/(또는 영역)을 트래킹하는 것, 예를 들면 유저와 센서 간의 접촉의 다수의 포인트를 트래킹하기 위해 다수의 터치 입력이 제공되고, 센서에 근접하여 유저의 신체의 다수의 포인트를 트래킹하기 위해 근접 센서가 제공하는 것은 본 분야에 공지되어 있다. 일부 실시형태에 있어서, 상이한 체계가 객객의 포인트에 적용될 수 있다. 이들 체계는 이들에 한정되지는 않지만 하나 이상의 유저의 입력, 시스템에 의해 인지된 '제스처', 포인트의 위치, 장치와 트랙된 객체(예를 들면 손가락 끝, 펜 끝) 사이의 실제 물리적 접촉의 유무, 유저의 입력 속도 또는 기간 등을 포함한 수 개의 팩터에 기초하여 선택될 수 있다.
통지된 애플리케이션
상술한 바와 같이, 지능적 데시메이션 엔진은 본 명세서에 기재된 개개의 데시메이션 기술을 얼마든지 결합할 수 있다. 본 실시형태에 있어서, 시스템은 장치가 구동하고 있는 애플리케이션을 고려하고, 그것에 맞추어 다수의 데시메이션 기술 및 파라미터 중에서 선택할 수 있다.
통지된 레이턴시
상술한 바와 같이, 지능적 데시메이션 엔진은 입력 이벤트에 기초하여 입력 스택 레이턴시, 터치 속도 및 시스템 레이턴시 또는 임의의 알고리즘에 기초하여 하나 또는 다수의 구성 이벤트를 인식할 수 있어서, 미래의 터치 위치가 어디가 될 것인지를 나타낸다.
모호한 입력
본 실시형태에 있어서, 데시메이션 엔진은 입력 이벤트가 유저 관심사의 관점에서 모호한 경우 입력 이벤트 스트림으로부터의 입력 이벤트가 출력 이벤트 스트림에 포함되기를 기다릴 수 있다. 예로서, 터치 감응성 디스플레이 상에 터치(3901)에 의해 발생되는 입력 이벤트가 있는 도 39에 대해 숙고해보자, 이들 입력 이벤트는 하나의 포인트뿐만 아니라, 그들과 연관된 터치 영역을 갖는다. 2개의 GUI 요소(3606)에 걸쳐있는 입력 이벤트(3901)의 경우에 있어서, 이 실시형태는 이어지는 입력 이벤트가 어떤 GUI 요소(3606)가 유저가 목적으로 하는 것인지를 명확히 보여주거나, 또는 타임아웃이 발생할 때까지 입력 이벤트가 출력 이벤트 스트림에 포함되기를 기다릴 것이다.
기타 전략
입력이 데시메이션되면, 시스템은 스택의 다른 층에 이용가능한 데시메이션되지 않은 입력을 입력 이벤트의 스트림으로서 또는 메모리 데이터 뱅크 중 하나로서 할 수 있다. 이러한 이용 가능성은 실시간의 입력 스트림에 영향을 미치지 않는다.
시스템은 종류가 다른 데시메이션 프로세스를 요구할 수 있고, 및/또는 이전의 데시메이션되지 않은 이벤트를 요구할 수 있다. 또한, 시스템은 데시메이션 프로세스를 어떻게 조정할지도 통지하여, 데시메이션 프로세스에 대해서 입력 장치에 기반한 데시메이션의 발생 정도, 행해지는 액션, 전력 소비, 또는 이용 가능한 처리 전력을 미세 조정하게 할 수 있다. 기타 변수가 데시메이션 프로세서를 미세 조정하기 위해 사용될 수 있다. 시스템은 남아있는 입력 스택, 운용 시스템, 임의의 애플리케이션을 포함하고, 유저에 의해 설정가능하다.
입력이 데시메이션되면, 시스템은 이용가능한 데시메이션의 기술서를 만들 수 있다. 이들 기술서는, 예를 들면 선택된 체계에 대한 메모리에서의 포인터 또는 기타 프로그래매틱 식별자일 수 있다. 이 기술자(descriptor)는 데시메이션의 결과를(아마도, 일례로서는 데시메이션된 또는 데시메이션되지 않은 입력 이벤트를 기술하는 객체의 일부로서) 전할 수 있다.
데시메이션 체계는 급격하게 변경될 수 있다: 1개의 체계가 주어진 맥락에 대해서 선택될 수 있고, 또한 또 다른 맥락에서는 스위칭될 수 있다. 일부 실시형태에 있어서, 2개 이상의 체계가 동시에 사용될 수 있다. 이러한 실시형태에 있어서, 프로세스('메타 데시메이션' 체계라고 할 수 있음)는 복수의 체계의 출력 사이에서 실시간 결정이 이루어질 수 있고, 또는 복수의 체계의 결과가 이러지는 스택의 층에 이용하능하게 만들 수 있다. 이것은 동시에 발생하거나, 또는 1개 이상의 체계가 체인으로 전달될 수 있고, 그외 결과(및 아마도 전송된 것)는 이어진 룩업에 저장된다.
주파수 변환
그 전력 소비 및 생산 비용을 저감시키기 위해서, 정전용량 터치 센서는 보다 낮은 주파수에서 가능한 한 많은 신호 처리를 행해야 한다. 긴단하고 저렴하게 신호 주파수를 보다 낮출 수 있는 기술은 고성능 입력 인식에 최적화된 저 레이턴시의 고 이벤트 프레임 레이트의 정전용량 터치 센서에 대해 특히 중요하다. 이와 같이, 본 출원은 일 실시형태로서 저 레이턴시 고프레임 레이트의 정전용량 터치 센서를 고려하는 2013년 3월 15일에 출원한 발명의 명칭이 "저 레이턴시 터치 감응성 장치"인 미국 특허출원 제13/841,436호, 및 2013년 11월 1일에 출원한 발명의 명칭이 "고속 멀티 터치 수처리"인 미국 특허출원 제14/069,609호를 참조하고, 원용하고, 확대하는 것이다.
이러한 고성능 정전용량 터치 센서를 지원하는데 요구되는 고속 아날로그-디지털(A/D) 변환기는 상당한 전력 및 상당한 실리콘 다이 사이즈를 소비한다. 이들 단점 등은 센서 전력 소비 및 제조 비용을 증가시킬 수 있어서, 터치 센서의 신호 주파수를 낮춤으로써, 느린 A/D 변환기를 사용할 수 있게 하는 기술을 통해 완화될 수 있다.
관심있는 주파수를 저역 변환하는 또 다른 이유는 일 실시형태에서의 터치 센서가 일부 처리 기술을 이용하도록 제작되면, 센서를 작동 또는 잘 작동시키는데 충분히 높은 주파수에서 용이하게(또는 잘) 구현될 수 없거나, 또는 비용 효율이 높은 방식으로 제조될 수 없다는 것이다.
센서의 작동 신호를 변환하는 또 다른 이유는 이들 주파수가 보다 용이한 처리를 할 수 있는 경계에 정렬된다는 것이다. 예를 들면, 푸리에 기술을 이용한 스펙트럼 분석 처리는 관심 주파수 밴드가 통상적으로 DC로부터(또는 DC 근방에서) 시작하여 균등한 간격으로 이간되는 경우 더욱 효과적일 수 있다. "관심 주파수"(즉 센서의 작동 신호)가 보다 높거나 또는 보다 낮게 변환될 수 있는 경우, 주파수 빈을 적당히 정렬시킴으로써 신호 처리를 보다 효과적으로 하는 것이 가능하다. 예를 들면, 일 실시형태에 있어서, 푸리에 변환 등의 기술은 충분한 센서 작동을 확보하기 위해서 터치 센서의 신호를 균등하게 이간되도록 중단하는 주파수빈이 요구된다. 그러므로, 터치 센서가 보다 고가의 고속 A/D 변환기를 이용하여 제작되었는지의 여부에 상관없이, 터치 센서는 그 작동 주파수 또는 신호를 저역 변환 또는 고역 변환시킬 필요가 있을 수 있다.
보다 높은 센서 신호 주파수 프리디지털 변환을 보다 낮은 주파수로 변환하는 하나의 방법은 헤테로다인 기술을 통한 것이다.
헤테로다인 기술
주파수 변환 또는 헤테로다인은 주파수 믹서를 이용하여 행해질 수 있다. 이러한 믹서는 단일 또는 쿼드러처 중 하나일 수 있다.
주파수 분할 다중화(FDM)을 채용하거나, 또는 캐리어 상에서 변조되는 또 다른 다중화 기술을 애용하는 터치 센서에 있어서, 주파수의 밴드를 중심 주파수가 더 높거나 또는 더 낮은 상이한 밴드로 변환하는 것이 바람직할 수 있다. 예를 들면, FDM의 경우에 있어서, 디지털화 처리가 용이하고, 또한 보다 느려서 저렴한 A/D 변환기를 사용하는 것이 가능하게 되도록, 센서의 주파수의 본래 블록(센서의 행 전송기로부터 수신된 신호의 밴드를 나타냄)을 보다 낮은 중심 주파수로 변환하는 것이 바람직할 수 있다. 여기에 개시된 전체 실시형태와 관련하여 사용되는 A/D 변환기는 연속시간 시그마-델타 A/D 변환기와 같은 시그마-델타 A/D 변환기를 포함할 수 있다.
일 실시형태에 있어서, 변환될 신호는 센서의 작동 신호의 밴드 외부의 임의의 이질적 신호 또는 노이즈를 제거하기 위해 필터링된 제 1 밴드패스이다. 밴드패스 필터는 선택적이며, 센서의 작동 밴드 외부의 신호의 존재를 무시할 수 있으면 생략될 수 있다. 그 다음, 필터링된 신호는 주파수 FLO를 갖는 국부 발진기를 구비하는 주파수 믹서에 제공된다. 주파수 믹서는 이것의 입력과 국부 발진기의 총합 및 차분으로 신호를 출력한다. 필터링된 신호의 주파수를 보다 낮게 하는 것이 목적이면, 터치 센서는 믹서 출력의 "총합" 성분을 필터링 제거하고 "차분" 성분만을 잔류하게 하여, 센서의 본래 작동 신호의 저주파수 버젼을 포함하도록 제작될 수 있다. 그 다음, 이들 저주파수 신호는, 저전력, 및 아마도 복잡성이 적고, 따라서 저렴한 A/D 변환기와 같은, 보다 낮은 주파수에서 사용하기에 최적화된 성분을 이용하여 처리가 행해질 수 있는 것을 제외하고는 통상의 방식으로 처리될 수 있다. 여기서 사용된 바와 같이, "국부 발진기"란 신호원을 의미하며, 종래의 발진기를 반드시 포함하는 것은 아니다. 이러한 신호원은, 예를 들면 값의 표에 의해 구동된다.
도 40은 단일 믹서 및 "차분" 신호를 이용하여 저주파수 밴드에 주파수의 세트를 헤테로다인하는 것을 도시한다. 주파수 믹서에 도입하기 전에, 관심 신호는 주파수 FC에서 중심에 있다. 혼합 후, 이들은 주파수 FLO-FC에서 중심에 있다.
일 실시형태에 있어서, 센서의 작동 신호를 저주파수 밴드보다는 고주파수 밴드로 변환하는 것이 바람직할 수 있다. 이렇게 하는 것의 하나의 동기는 센서의 처리 작업의 일부를, 이것에 한정되지는 않지만, 컴퓨터 시스템의 다른 요소에서 일반적으로 발견되는 시판의 기성제품(COTS)인 신호 처리 칩과 같은 이러한 고주파수 신호를 취급하기에 더욱 최적화된 소정의 컴퓨터 시스템 내의 터치 센서 외의 기존의 요소로 시프팅하는 것일 수 있다. 이러한 경우에 있어서, 터치 센서는 주파수 믹서 출력의 "총합" 성분을 선택한 다음, 센서의 작동 밴드 외에 있는 임의의 주파수 요소는 필터링 제거하도록 제작될 수 있다.
일 실시형태에 있어서, 쿼드러처 주파수 믹서는 센서의 작동 신호 주파수를 다른 중심 주파수로 시프팅하기 위해 사용된다. 쿼드러처 주파수 믹서는, 이들 믹서 중 하나는 90도씩 시프팅되는 국부 발진기의 사본을 제공하는 것 이외에는 동일한 국부 발진기로부터 구동되는 2개의 주파수 믹서를 채용한다. 쿼드러처 믹서는 보다 하드웨어를 요구하지만, 관심 신호를 "베이스밴드"까지 시프팅하도록, 즉 DC를 둘러싸도록 또는 이러한 단일 주파수가 할 수 있는 가장 낮은 주파수인 "0 주파수"로 할 수 있다는 이점이 있다.
도 41은 쿼드러처 믹서를 이용하는 베이스 밴드에 주파수의 세트를 헤테로다인하는 것을 도시한다. "차분" 주파수만이 도시되어 있다. DC 근방의 갭은 확대한 다이어그램인 것을 유의한다. 이 갭은 요소의 물리적 한계로 인하여 다수의 하드웨어 구현에서 발생하기 쉽다.
또한, 쿼드러처 믹서는 변환된 신호의 "동상"(I) 및 "쿼드러처"(Q) 성분을 출력하는 이점을 갖는다. 이들 I & Q 성분은 푸리에 변환의 "실제" 및 "가상" 입력에 직접 제공되어, 스펙트럼 분석 처리를 간편화할 수 있다.
도 42는 아마도 디지털화 후에 푸리에 변환의 실제 및 가상 입력(각각)에 제공되는 쿼드러처 믹서의 동상 출력 및 쿼드러처 출력을 도시한다. 푸리에 변환의 출력은 DC로 시프팅된 FLO을 중심으로 한 영역을 갖는 관심 "주파수 성분"의 스펙트럼 정보(예를 들면, 센서의 작동 신호)를 포함한다. 주파수 분할 다중화 또는 분석용 주파수를 포함하는 일부의 다른 변조 체계(예를 들면, 캐리어 주파수의 CDMA)를 채용하는 터치 센서에 있어서, 상술한 것과 같은 구조가 어떤 행 신호가 각각의 열에 존재하는지를 측정하기 위해서 계속될 수 있다.
쿼드러처 주파수 믹서를 사용하여 주파수 범위를 베이스밴드로 변환하는 경우, 변환 후에는 DC 근방에 있게 되고, 주파수 혼합 하드웨어는 DC 근방에서 출력을 생성하지 않기 때문에 사용될 수 없는 주파수 영역이 통상적으로 있다. 그러므로, 쿼드러처 주파수 믹서를 채용하는 터치 센서는 이 범위 내의 임의의 주파수가 적당한 센서 작동을 위해서 반드시 필요한 것이 되지 않도록 제작되어야 한다.
일 실시형태에 있어서, 주파수의 범위를 베이스밴드로 저역 변환하기 위해서 쿼드러처 주파수 믹서를 채용하는 터치 센서는 DC 근방의 사용 불가능한 주파수 갭이 관심 주파수들 사이에 속하게 하는 방식으로 하여, 센서 장치 작동에 대한 영향을 무시할 수 있게 한다.
일 실시형태에 있어서, DC 근방의 사용 불가능한 주파수 갭은 충분히 넓거나, 또는 터치 센서의 작동 신호로서 사용되는 관심 주파수 성분 사이에 갭이 위치될 수 없을 정도로 관심 주파수가 기밀한 경우, 이전 출원된 "저 레이턴시 터치 감응성 장치"(2013년 3월 15일 출원된 13/841,436호) 및 "고속 멀티 터치 후처리"(2013년 11월 1일에 출원된 14/069,609호)에 개시된 바와 같이, 센서 영역의 주어진 구역에 걸쳐서 소정 기간 동안 변조기술로서 FDM을 이용하는 터치 센서가 주파수 커버리지에 우측 주파수 값에 갭이 있도록 주파수를 할당하여 충분한 폭으로 하면, 관심 주파수 범위가 베이스밴드 근방으로 저역 변환되는 즉시, 할당된 갭은 DC 근방의 사용 불가능한 주파수 세트와 일치하여 센서 장치의 정확한 작동을 가능하게 한다.
일 실시형태에 있어서, 주파수 변조는 "관심 주파수"의 주파수를 보다 낮추기 위해서 FDM을 사용하는 터치 센서에 사용된다. 이 경우에, "관심 주파수"는 터치 표면의 행에 전송되는 신호이다. 행에 수신된 신호의 스펙트럼 성분은 유저가 터치 표면에 어디를 터치하는지를 결정하기 위해 처리될 수 있다. 스펙트럼 분석 또는 이 포인트에서 직접 필터링하는 밴드패스 대신에, 신호를 저주파수로 헤테로다인하도록 센서를 제작할 수 있다. 이들 헤테로다인 신호는 (필요에 따라) 밴드패스되고, 단일 또는 쿼드러처 주파수 믹서 중 하나를 이용하여 저주파수로 혼합된다. 거기서, 이들은 재차 (필요에 따라) 밴드패스 필터링되고, (필요에 따라) 증폭된 후, 상기 스펙트럼 분석이 행해질 수 있다. 스펙트럼 분석을 디지털 방식으로 행하면, 신호는 디지털화될 수 있고, 각각의 열의 스펙트럼은 각각의 센서 행으로부터의 어느 및 얼마만큼의 "관심 신호"가 각각의 센서 열에 존재하는지를 결정하기 위해 분석될 수 있다.
본 시스템 및 방법에 대해서 주파수 변환 및 헤테로다인을 위한 방법 및 장치의 블록 다이어그램 및 작동 예시를 참조하여 상기 설명된다. 이것은 블록 다이어그램 또는 작동 예시의 각 블록 및 블록 다이어그램 또는 작동 예시의 블록의 조합이 아날로그 또는 디지털 하드웨어 및 컴퓨터 프로그램 지시에 의해 구현될 수 있다는 것이 이해될 것이다. 이 컴퓨터 프로그램 지시는 범용 컴퓨터, 특수 목적 컴퓨터, ASIC, 또는 다른 프로그램 가능 데이터 처리 장치의 처리기에 제공될 수 있고, 컴퓨터 또는 다른 프로그램 가능 데이터 처리 장치의 처리기를 통해 실행되는 지시는 블록 다이어그램 또는 운영 블록 또는 블록들에 특정된 기능/작용을 구현한다. 일부 대안적인 구현예에서, 블록에 명시된 기능/작용은 운영 예시에 명시된 순서 이외에도 발생할 수 있다. 예를 들면, 연속적으로 도시된 2개의 블록은 실제로 실질적으로 동시에 실행될 수 있거나, 종종 블록은 포함된 기능/작용에 따라 역순으로 실행될 수 있다.
본 발명이 그 바람직한 실시형태를 참조하여 특별하게 나타나고 설명되었지만, 형태 및 상세한 사항에 있어서의 다양한 변경이 본 발명의 사상 및 범위를 벗어나지 않고 이루어질 수 있다는 것이 당업자에 의해 이해될 것이다.

Claims (88)

  1. 행과 열을 포함하는 터치 인터페이스;
    적어도 복수의 상기 행에 복수의 고유의 직교 신호를 각각 발생시키기 위한 신호 발생기;
    복수의 상기 열 중 적어도 하나에 존재하는, 제 1 중심 주파수를 갖는 제 1 터치 신호를 수신하고,
    상기 제 1 터치 신호를 제 2 중심 주파수를 갖는 제 2 신호와 결합시키고, 또한
    상기 제 1 터치 신호의 중심 주파수보다 낮은 중심 주파수를 갖는 저주파수 터치 신호를 출력하는 주파수 변환기;
    상기 저주파수 터치 신호를 처리하고 터치 이벤트 데이터를 출력함으로써 상기 터치 인터페이스 상의 터치를 식별하기 위한 터치 처리기를 포함하는 터치 감응성 장치.
  2. 제 1 항에 있어서,
    상기 주파수 변환기 및 상기 터치 처리기는 동일한 하드웨어 처리기의 일부인 터치 감응성 장치.
  3. 제 1 항에 있어서,
    상기 주파수 변환기 및 상기 터치 처리기는 상이한 하드웨어 처리기인 터치 감응성 장치.
  4. 제 1 항에 있어서,
    상기 직교 신호는 주파수에 있어서 직교인 터치 감응성 장치.
  5. 제 1 항에 있어서,
    상기 직교 신호는 시간에 있어서 직교인 터치 감응성 장치.
  6. 제 1 항에 있어서,
    상기 직교 신호는 코드에 있어서 직교인 터치 감응성 장치.
  7. 제 1 항에 있어서,
    상기 직교 신호는 시간, 주파수 및 코드로 이루어지는 군에서 선택되는 적어도 2개에 대해서 직교인 터치 감응성 장치.
  8. 제 4 항에 있어서,
    상기 저주파수 터치 신호는 상기 주파수 변환기에 의해 정렬된 주파수빈을 가짐으로써, 상기 터치 처리기에 의한 상기 저주파수 터치 신호의 처리를 용이하게 하는 터치 감응성 장치.
  9. 제 7 항에 있어서,
    상기 저주파수 터치 신호는 상기 주파수 변환기에 의해 정렬된 주파수빈을 가짐으로써, 상기 터치 처리기에 의한 상기 저주파수 터치 신호의 처리를 용이하게 하는 터치 감응성 장치.
  10. 제 4 항에 있어서,
    상기 직교 신호는 미리 정해진 주파수의 간격을 갖고, 상기 주파수 변환기는 상기 제 1 터치 신호와 상기 저주파수 터치 신호 사이에 미리 정해진 주파수 오프셋을 제공함으로써, 상기 터치 처리기에 의한 상기 저주파수 터치 신호의 처리를 용이하게 하는 터치 감응성 장치.
  11. 제 7 항에 있어서,
    상기 저주파수 터치 신호는 상기 주파수 변환기에 의해 정렬된 주파수빈을 가짐으로써, 상기 터치 처리기에 의한 상기 저주파수 터치 신호의 처리를 용이하게 하는 터치 감응성 장치.
  12. 제 4 항에 있어서,
    상기 터치 처리기는 스펙트럼 분석을 행하도록 설정된 처리기를 포함하는 터치 감응성 장치.
  13. 제 7 항에 있어서,
    상기 터치 처리기는 스펙트럼 분석을 행하도록 설정된 처리기를 포함하는 터치 감응성 장치.
  14. 제 6 항에 있어서,
    상기 터치 처리기는 푸리에 변환을 이용한 교차 상관관계를 행하도록 설정된 처리기를 포함하는 터치 감응성 장치.
  15. 제 7 항에 있어서,
    상기 터치 처리기는 푸리에 변환을 이용한 교차 상관관계를 행하도록 설정된 처리기를 포함하는 터치 감응성 장치.
  16. 제 12 항에 있어서,
    상기 터치 처리기는 푸리에 변환을 이용한 스펙트럼 분석을 행하도록 설정된 처리기를 포함하는 터치 감응성 장치.
  17. 제 13 항에 있어서,
    상기 터치 처리기는 푸리에 변환을 이용한 스펙트럼 분석을 행하도록 설정된 처리기를 포함하는 터치 감응성 장치.
  18. 제 16 항에 있어서,
    상기 터치 인터페이스의 각각의 행으로부터의 어느 및 얼마만큼의 관심 신호가 상기 터치 인터페이스의 각각의 열에 존재하는지를 결정하기 위해서 각각의 열의 스펙트럼을 분석하도록 상기 스펙트럼 분석을 디지털 방식으로 행하도록 설정된 터치 감응성 장치.
  19. 제 17 항에 있어서,
    상기 터치 인터페이스의 각각의 행으로부터의 어느 및 얼마만큼의 관심 신호가 상기 터치 인터페이스의 각각의 열에 존재하는지를 결정하기 위해서 각각의 열의 스펙트럼을 분석하도록 상기 스펙트럼 분석을 디지털 방식으로 행하도록 설정된 터치 감응성 장치.
  20. 제 14 항에 있어서,
    상기 터치 인터페이스의 각각의 행으로부터의 어느 및 얼마만큼의 관심 신호가 상기 터치 인터페이스의 각각의 열에 존재하는지를 결정하기 위해서 각각의 열의 신호를 분석하도록 상기 교차 상관관계를 디지털 방식으로 행하도록 설정된 터치 감응성 장치.
  21. 제 15 항에 있어서,
    상기 터치 인터페이스의 각각의 행으로부터의 어느 및 얼마만큼의 관심 신호가 상기 터치 인터페이스의 각각의 열에 존재하는지를 결정하기 위해서 각각의 열의 신호를 분석하도록 상기 교차 상관관계를 디지털 방식으로 행하도록 설정된 터치 감응성 장치.
  22. 제 1 항에 있어서,
    상기 터치 처리기는 아날로그-디지털 변환기를 더 포함하는 터치 감응성 장치.
  23. 제 1 항에 있어서,
    상기 터치 처리기에 의한 처리를 위해 상기 저주파수 터치 신호를 디지털 신호로 변환하도록 설정된 아날로그-디지털 변환기를 더 포함하는 터치 감응성 장치.
  24. 제 1 항에 있어서,
    상기 터치 처리기에 의한 처리를 위해 상기 저주파수 터치 신호를 디지털 신호로 변환하도록 설정된 아날로그-디지털 변환기를 더 포함하고, 상기 터치 처리기는 상기 아날로그-디지털 변환기의 전력 소비를 저감시키기 위해서 상기 제 2 중심 주파수에 대해 최적화되는 터치 감응성 장치.
  25. 제 1 항에 있어서,
    상기 터치 처리기에 의한 처리를 위해 상기 저주파수 터치 신호를 디지털 신호로 변환하도록 설정된 아날로그-디지털 변환기를 더 포함하고, 상기 터치 처리기는 상기 아날로그-디지털 변환기의 회로 설계 복잡성을 저감시키기 위해서 상기 제 2 중심 주파수에 대해 최적화되는 터치 감응성 장치.
  26. 제 1 항에 있어서,
    상기 터치 처리기에 의해 처리하기 위해 상기 저주파수 터치 신호를 디지털 신호로 변환하도록 설정된 시그마-델타 아날로그-디지털 변환기를 더 포함하는 터치 감응성 장치.
  27. 제 1 항에 있어서,
    상기 터치 처리기에 의해 처리하기 위해 상기 저주파수 터치 신호를 디지털 신호로 변환하도록 설정된 연속시간 시그마-델타 아날로그-디지털 변환기를 더 포함하는 터치 감응성 장치.
  28. 행과 열을 포함하는 터치 인터페이스;
    적어도 복수의 상기 행에 복수의 고유의 직교 신호를 각각 발생시키기 위한 신호 발생기;
    복수의 상기 열 중 적어도 하나에 존재하는, 제 1 중심 주파수를 갖는 제 1 터치 신호를 수신하고,
    상기 제 1 터치 신호를 제 2 중심 주파수를 갖는 제 2 신호로 변환하고, 또한
    상기 제 2 중심 주파수를 갖는 제 2 신호를 출력하는 주파수 변환기;
    상기 제 2 중심 주파수를 갖는 제 2 신호를 처리하고 터치 이벤트 데이터를 출력함으로써 상기 터치 인터페이스 상의 터치를 식별하기 위한 터치 처리기를 포함하는 터치 감응성 장치.
  29. 제 28 항에 있어서,
    상기 직교 신호는 주파수에 있어서 직교인 터치 감응성 장치.
  30. 제 28 항에 있어서,
    상기 직교 신호는 시간에 있어서 직교인 터치 감응성 장치.
  31. 제 28 항에 있어서,
    상기 직교 신호는 코드에 있어서 직교인 터치 감응성 장치.
  32. 제 28 항에 있어서,
    상기 직교 신호는 시간, 주파수 및 코드로 이루어지는 군에서 선택되는 적어도 2개에 대해서 직교인 터치 감응성 장치.
  33. 제 29 항에 있어서,
    상기 제 2 중심 주파수를 갖는 제 2 신호는 상기 주파수 변환기에 의해 정렬된 주파수빈을 가짐으로써, 상기 터치 처리기에 의한 상기 제 2 신호의 처리를 용이하게 하는 터치 감응성 장치.
  34. 제 32 항에 있어서,
    상기 제 2 중심 주파수를 갖는 제 2 신호는 상기 주파수 변환기에 의해 정렬된 주파수빈을 가짐으로써, 상기 터치 처리기에 의한 상기 제 2 신호의 처리를 용이하게 하는 터치 감응성 장치.
  35. 제 29 항에 있어서,
    상기 직교 신호는 미리 정해진 주파수의 간격을 갖고, 상기 주파수 변환기는 상기 제 1 터치 신호와 상기 제 2 신호 사이에 미리 정해진 주파수 오프셋을 제공함으로써, 상기 터치 처리기에 의한 상기 제 2 신호의 처리를 용이하게 하는 터치 감응성 장치.
  36. 제 32 항에 있어서,
    상기 제 2 중심 주파수를 갖는 제 2 신호는 상기 주파수 변환기에 의해 정렬된 주파수빈을 가짐으로써, 상기 터치 처리기에 의한 상기 제 2 신호의 처리를 용이하게 하는 터치 감응성 장치.
  37. 제 29 항에 있어서,
    상기 터치 처리기는 스펙트럼 분석을 행하도록 설정된 처리기를 포함하는 터치 감응성 장치.
  38. 제 32 항에 있어서,
    상기 터치 처리기는 스펙트럼 분석을 행하도록 설정된 처리기를 포함하는 터치 감응성 장치.
  39. 제 31 항에 있어서,
    상기 터치 처리기는 푸리에 변환을 이용한 교차 상관관계를 행하도록 설정된 처리기를 포함하는 터치 감응성 장치.
  40. 제 32 항에 있어서,
    상기 터치 처리기는 푸리에 변환을 이용한 교차 상관관계를 행하도록 설정된 처리기를 포함하는 터치 감응성 장치.
  41. 제 37 항에 있어서,
    상기 터치 처리기는 푸리에 변환을 이용한 스펙트럼 분석을 행하도록 설정된 처리기를 포함하는 터치 감응성 장치.
  42. 제 38 항에 있어서,
    상기 터치 처리기는 푸리에 변환을 이용한 스펙트럼 분석을 행하도록 설정된 처리기를 포함하는 터치 감응성 장치.
  43. 제 41 항에 있어서,
    상기 터치 인터페이스의 각각의 행으로부터의 어느 및 얼마만큼의 관심 신호가 상기 터치 인터페이스의 각각의 열에 존재하는지를 결정하기 위해서 각각의 열의 스펙트럼을 분석하도록 상기 스펙트럼 분석을 디지털 방식으로 행하도록 설정된 터치 감응성 장치.
  44. 제 42 항에 있어서,
    상기 터치 인터페이스의 각각의 행으로부터의 어느 및 얼마만큼의 관심 신호가 상기 터치 인터페이스의 각각의 열에 존재하는지를 결정하기 위해서 각각의 열의 스펙트럼을 분석하도록 상기 스펙트럼 분석을 디지털 방식으로 행하도록 설정된 터치 감응성 장치.
  45. 제 39 항에 있어서,
    상기 터치 인터페이스의 각각의 행으로부터의 어느 및 얼마만큼의 관심 신호가 상기 터치 인터페이스의 각각의 열에 존재하는지를 결정하기 위해서 각각의 열의 신호를 분석하도록 상기 교차 상관관계를 디지털 방식으로 행하도록 설정된 터치 감응성 장치.
  46. 제 40 항에 있어서,
    상기 터치 인터페이스의 각각의 행으로부터의 어느 및 얼마만큼의 관심 신호가 상기 터치 인터페이스의 각각의 열에 존재하는지를 결정하기 위해서 각각의 열의 신호를 분석하도록 상기 교차 상관관계를 디지털 방식으로 행하도록 설정된 터치 감응성 장치.
  47. 제 28 항에 있어서,
    상기 제 2 중심 주파수는 상기 제 1 중심 주파수보다 낮은 터치 감응성 장치.
  48. 제 28 항에 있어서,
    상기 제 2 중심 주파수는 상기 제 1 중심 주파수보다 높은 터치 감응성 장치.
  49. 제 28 항에 있어서,
    상기 터치 처리기는 아날로그-디지털 변환기를 더 포함하는 터치 감응성 장치.
  50. 제 28 항에 있어서,
    상기 터치 처리기에 의한 처리를 위해 상기 제 2 신호를 디지털 신호로 변환하도록 설정된 아날로그-디지털 변환기를 더 포함하는 터치 감응성 장치.
  51. 제 28 항에 있어서,
    상기 터치 처리기에 의한 처리를 위해 상기 제 2 신호를 디지털 신호로 변환하도록 설정된 아날로그-디지털 변환기를 더 포함하고, 상기 터치 처리기는 상기 아날로그-디지털 변환기의 전력 소비를 저감시키기 위해서 상기 제 2 중심 주파수에 대해 최적화되는 터치 감응성 장치.
  52. 제 28 항에 있어서,
    상기 터치 처리기에 의한 처리를 위해 상기 제 2 신호를 디지털 신호로 변환하도록 설정된 아날로그-디지털 변환기를 더 포함하고, 상기 터치 처리기는 상기 아날로그-디지털 변환기의 회로 설계 복잡성을 저감시키기 위해서 상기 제 2 중심 주파수에 대해 최적화되는 터치 감응성 장치.
  53. 제 28 항에 있어서,
    상기 터치 처리기에 의해 처리하기 위해 상기 제 2 신호를 디지털 신호로 변환하도록 설정된 시그마-델타 아날로그-디지털 변환기를 더 포함하는 터치 감응성 장치.
  54. 제 28 항에 있어서,
    상기 터치 처리기에 의해 처리하기 위해 상기 제 2 신호를 디지털 신호로 변환하도록 설정된 연속시간 시그마-델타 아날로그-디지털 변환기를 더 포함하는 터치 감응성 장치.
  55. 행과 열을 포함하는 터치 인터페이스;
    적어도 복수의 상기 행에 복수의 고유의 직교 신호를 각각 발생시키기 위한 신호 발생기;
    제 2 중심 주파수를 갖는 제 2 신호를 발생하는 국부 발진기;
    제 1 중심 주파수를 갖고, 복수의 상기 열 중 적어도 하나에 존재하는 제 1 터치 신호 및 상기 제 2 신호를 수신하고, 또한 상기 제 1 터치 신호와 상기 제 2 신호에 기초하여, 상기 제 1 터치 신호의 중심 주파수와는 다른 중심 주파수를 갖는 헤테로다인 신호를 출력하도록 설정된 헤테로다인 주파수 믹서;
    상기 헤테로다인 신호를 처리하고 터치 이벤트 데이터를 출력함으로써 상기 터치 인터페이스 상의 터치를 식별하기 위한 터치 처리기를 포함하는 터치 감응성 장치.
  56. 제 55 항에 있어서,
    상기 주파수 믹서는 쿼드러처 주파수 믹서를 포함하는 터치 감응성 장치.
  57. 제 55 항에 있어서,
    상기 쿼드러처 주파수 믹서는 상기 국부 발진기로부터 구동되는 제 1 주파수 믹서와 제 2 주파수 믹서를 채용하고, 상기 제 1 주파수 믹서와 제 2 주파수 믹서 중 하나는 90도씩 시프팅되는 국부 발진기로부터의 신호의 사본을 제공하는 터치 감응성 장치.
  58. 제 55 항에 있어서,
    상기 터치 처리기는 스펙트럼 분석을 행하도록 설정된 터치 감응성 장치.
  59. 제 55 항에 있어서,
    상기 터치 처리기는 푸리에 변환을 이용한 스펙트럼 분석을 행하도록 설정된 터치 감응성 장치.
  60. 제 55 항에 있어서,
    상기 터치 처리기는 교차 상관관계를 행하도록 설정된 터치 감응성 장치.
  61. 제 60 항에 있어서,
    상기 터치 처리기는 교차 상관관계의 스텝으로서 푸리에 변환을 이용한 교차 상관관계를 행하도록 설정된 터치 감응성 장치.
  62. 제 59 항에 있어서,
    상기 주파수 믹서의 동상 출력은 상기 푸리에 변환의 실제 입력에 제공되고, 상기 주파수 믹서의 쿼드러처 출력은 상기 푸리에 변환의 가상 입력에 제공되는 터치 감응성 장치.
  63. 제 61 항에 있어서,
    상기 주파수 믹서의 동상 출력은 상기 푸리에 변환의 실제 입력에 제공되고, 상기 주파수 믹서의 쿼드러처 출력은 상기 푸리에 변환의 가상 입력에 제공되는 터치 감응성 장치.
  64. 제 55 항에 있어서,
    상기 제 1 터치 신호와 상기 제 2 신호를 혼합하기 전에 상기 제 1 터치 신호를 필터링하도록 설정된 밴드패스 필터를 더 포함하는 터치 감응성 장치.
  65. 제 55 항에 있어서,
    상기 믹서의 출력의 총합 성분은 필터링 제거하고 차분 성분은 통과시키도록 설정된 밴드패스 필터를 더 포함하는 터치 감응성 장치.
  66. 제 55 항에 있어서,
    상기 믹서의 출력의 차분 성분은 필터링 제거하고 총합 성분은 통과시키도록 설정된 밴드패스 필터를 더 포함하는 터치 감응성 장치.
  67. 제 55 항에 있어서,
    상기 신호 발생기는 주파수 분할 다중화를 행하도록 설정된 터치 감응성 장치.
  68. 제 67 항에 있어서,
    상기 주파수 발생기는 주파수 커버리지에 갭이 있도록 주파수를 할당하도록 설정되고, 상기 갭은 상기 헤테로다인 신호에 있어서 DC 근방의 이용 불가능한 주파수의 세트와 일치하는 터치 감응성 장치.
  69. 제 55 항에 있어서,
    상기 신호 발생기는 시분할 다중화를 행하도록 설정되는 터치 감응성 장치.
  70. 제 56 항에 있어서,
    상기 쿼드러처 주파수 믹서는 상기 제 1 터치 신호의 중심 주파수를 베이스밴드의 위치로 저하하도록 설정되는 터치 감응성 장치.
  71. 제 55 항에 있어서,
    상기 신호 발생기는 주파수 분할 다중화와 시분할 다중화의 동시 혼합을 행하도록 설정된 터치 감응성 장치.
  72. 제 55 항에 있어서,
    상기 신호 발생기는 코드 분할 다중화를 행하도록 설정된 터치 감응성 장치.
  73. 제 55 항에 있어서,
    상기 신호 발생기는 코드 분할 다중화와 시분할 다중화의 동시 혼합을 행하도록 설정된 터치 감응성 장치.
  74. 제 55 항에 있어서,
    상기 신호 발생기는 코드 분할 다중화와 주파수 분할 다중화의 동시 혼합을 행하도록 설정된 터치 감응성 장치.
  75. 제 55 항에 있어서,
    상기 신호 발생기는 주파수 분할 다중화, 시분할 다중화 및 코드 분할 다중화의 동시 혼합을 행하도록 설정된 터치 감응성 장치.
  76. 제 55 항에 있어서,
    상기 터치 처리기는 스펙트럼 분석을 행하도록 설정된 처리기를 포함하는 터치 감응성 장치.
  77. 제 76 항에 있어서,
    상기 터치 처리기는 푸리에 변환을 이용한 스펙트럼 분석을 행하도록 설정된 처리기를 포함하는 터치 감응성 장치.
  78. 제 55 항에 있어서,
    상기 터치 처리기는 교차 상관관계를 행하도록 설정된 처리기를 포함하는 터치 감응성 장치.
  79. 제 78 항에 있어서,
    상기 터치 처리기는 상기 교차 상관관계의 스텝으로서 푸리에 변환을 이용한 교차 상관관계를 행하도록 설정된 처리기를 포함하는 터치 감응성 장치.
  80. 제 55 항에 있어서,
    상기 밴드패스 필터는 상기 제 1 터치 신호를 헤테로다임을 행하기 이전에 상기 제 1 신호에 적용되는 터치 감응성 장치.
  81. 제 55 항에 있어서,
    상기 밴드패스 필터는 헤테로다인을 행한 후에 상기 제 2 신호에 적용되는 터치 감응성 장치.
  82. 제 55 항에 있어서,
    상기 저역 필터는 헤테로다인을 행한 후에 상기 제 2 신호에 적용되는 터치 감응성 장치.
  83. 제 55 항에 있어서,
    상기 터치 처리기는 아날로그-디지털 변환기를 더 포함하는 터치 감응성 장치.
  84. 제 83 항에 있어서,
    상기 제 2 신호는 아날로그-디지털 변환기에 의해 디지털화하기 전에 증폭되는 터치 감응성 장치.
  85. 제 83 항에 있어서,
    상기 아날로그-디지털 변환기는 시그마-델타 아날로그-디지털 변환기인 터치 감응성 장치.
  86. 제 83 항에 있어서,
    상기 아날로그-디지털 변환기는 연속시간 시그마-델타 아날로그-디지털 변환기인 터치 감응성 장치.
  87. 제 76 항에 있어서,
    상기 터치 인터페이스의 각각의 행으로부터의 어느 및 얼마만큼의 관심 신호가 상기 터치 인터페이스의 각각의 열에 존재하는지를 결정하기 위해서 각각의 열의 스펙트럼을 분석하도록 상기 스펙트럼 분석을 디지털 방식으로 행하도록 설정된 터치 감응성 장치.
  88. 제 78 항에 있어서,
    상기 터치 인터페이스의 각각의 행으로부터의 어느 및 얼마만큼의 관심 신호가 상기 터치 인터페이스의 각각의 열에 존재하는지를 결정하기 위해서 각각의 열의 신호를 분석하도록 상기 교차 상관관계 분석을 디지털 방식으로 행하도록 설정된 터치 감응성 장치.
KR1020167023305A 2014-02-04 2015-02-04 터치 센서에서의 주파수 변환 KR20160135179A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201461935709P 2014-02-04 2014-02-04
US61/935,709 2014-02-04
PCT/US2015/014503 WO2015120081A1 (en) 2014-02-04 2015-02-04 Frequency conversion in a touch sensor

Publications (1)

Publication Number Publication Date
KR20160135179A true KR20160135179A (ko) 2016-11-25

Family

ID=53778414

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167023305A KR20160135179A (ko) 2014-02-04 2015-02-04 터치 센서에서의 주파수 변환

Country Status (11)

Country Link
US (2) US9710116B2 (ko)
EP (1) EP3103000A4 (ko)
JP (2) JP6315354B2 (ko)
KR (1) KR20160135179A (ko)
CN (1) CN106133664B (ko)
AU (1) AU2015214270A1 (ko)
CA (1) CA2938460A1 (ko)
IL (1) IL246976B (ko)
MX (1) MX2016010054A (ko)
SG (1) SG11201606303UA (ko)
WO (1) WO2015120081A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102081809B1 (ko) * 2019-01-11 2020-02-27 주식회사 리딩유아이 정전용량식 터치 시스템 및 이의 구동 방법
US20210199768A1 (en) * 2018-05-25 2021-07-01 Ams Ag Filter for reducing optical cross-talk
KR20210099727A (ko) * 2020-02-05 2021-08-13 주식회사 리딩유아이 스타일러스 펜 및 이의 제어 방법

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106488820B (zh) 2014-05-08 2019-03-29 斯特拉塔西斯公司 通过选择性烧结的三维打印的方法及设备
US11402945B2 (en) * 2014-12-09 2022-08-02 Seung-Hee Han Touch sensing method and touch sensing device based on driving and sensing signals
CN107003755B (zh) * 2014-12-09 2020-04-10 微软技术许可有限责任公司 具有动态传输协议的触控笔
US10310670B2 (en) * 2015-01-16 2019-06-04 Silead Inc. System and method for capacitive sensing
WO2016200164A1 (ko) * 2015-06-09 2016-12-15 한양대학교 산학협력단 촉각 인지 시스템, 및 그 데이터베이스 구축 방법
US9740356B1 (en) * 2016-02-05 2017-08-22 Pixart Imaging Inc. Capacitive touch system using differential sensing and operating method thereof
US10884511B2 (en) 2016-06-21 2021-01-05 Pixart Imaging Inc. Input device with key input and touch input, and operating method thereof
US10775939B2 (en) * 2016-03-10 2020-09-15 Pixart Imaging Inc. Capacitive touch system using frequency division multiplexing and operating method thereof
US10972099B2 (en) * 2016-03-10 2021-04-06 Pixart Imaging Inc. Touch keyboard having low noise interference
CN107219947B (zh) * 2016-03-22 2021-08-10 原相科技股份有限公司 使用分频多工的电容触控系统及其运作方法
US10088947B2 (en) 2016-03-25 2018-10-02 Sensel Inc. System and method for detecting and characterizing force inputs on a surface
EP3838442A1 (en) 2016-04-11 2021-06-23 Stratasys Ltd. Method and apparatus for additive manufacturing with powder material
US10133416B2 (en) * 2016-05-13 2018-11-20 Tactual Labs Co. Signal detection in frequency division modulated touch systems
US10338742B2 (en) 2017-03-02 2019-07-02 Microsoft Technology Licensing, Llc Detection method for a digitizer
US11310002B2 (en) 2017-03-04 2022-04-19 Microsoft Technology Licensing, Llc Interference mitigation for sensor panel
JP7165139B2 (ja) 2017-03-20 2022-11-02 ストラタシス リミテッド 粉末材料を用いた付加製造のための方法及びシステム
DE112018003647T5 (de) 2017-07-17 2020-04-23 Tactual Labs Co. Vorrichtung und Verfahren zur Verbesserung einer Finger-Separierung und Wiedergabe
US10656771B2 (en) 2018-02-27 2020-05-19 Dell Products, Lp Method and apparatus for multi configuration tuning for magnet to electromagnetic resonance panel proximity
US10845897B2 (en) * 2018-04-13 2020-11-24 Tactual Labs Co. Touch surfaces using stylus and touch
TWI660591B (zh) * 2018-05-24 2019-05-21 立積電子股份有限公司 物體位移相位偵測電路及物體位移相位偵測方法
CN108871200A (zh) * 2018-06-01 2018-11-23 广东工业大学 一种基于表面纳米轴向光子结构回音壁微腔的探针式微位移传感系统
US11467678B2 (en) 2018-07-24 2022-10-11 Shapirten Laboratories Llc Power efficient stylus for an electronic device
FR3086079B1 (fr) * 2018-09-17 2021-04-23 Zodiac Aero Electric Dispositif tactile multitouche a detection capacitive
JP2021536640A (ja) * 2018-09-18 2021-12-27 タクチュアル ラブズ シーオー． 生体認証周波数
CN109864706A (zh) * 2019-01-08 2019-06-11 廖旺才 用户状态信息的提示方法、装置、计算机设备和存储介质
US11157099B2 (en) * 2019-08-05 2021-10-26 Adx Research, Inc. Electronic writing device and a method for operating the same
KR20210083909A (ko) * 2019-12-27 2021-07-07 주식회사 실리콘웍스 멀티구동을 위한 터치센싱장치 및 방법
US11449175B2 (en) * 2020-03-31 2022-09-20 Apple Inc. System and method for multi-frequency projection scan for input device detection
US11144161B1 (en) 2020-09-08 2021-10-12 Microsoft Technology Licensing, Llc Rotatably coupled touch screen displays
US11460933B2 (en) 2020-09-24 2022-10-04 Apple Inc. Shield electrode for input device
US11287926B1 (en) 2020-09-25 2022-03-29 Apple Inc. System and machine learning method for detecting input device distance from touch sensitive surfaces
US11526240B1 (en) 2020-09-25 2022-12-13 Apple Inc. Reducing sensitivity to leakage variation for passive stylus
CN112923863B (zh) * 2021-01-26 2023-03-24 哈尔滨工程大学 一种二次变频光纤光栅谐振峰跟踪探测系统
TWI771040B (zh) * 2021-06-04 2022-07-11 敦泰電子股份有限公司 主動筆接收電路及使用主動筆的觸控面板系統
KR20230118720A (ko) * 2022-02-04 2023-08-14 삼성디스플레이 주식회사 표시 장치 및 이를 포함하는 터치 입력 시스템
TWI822174B (zh) * 2022-07-12 2023-11-11 敦泰電子股份有限公司 主動筆接收電路及使用主動筆的觸控面板系統

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1571757B1 (en) * 2004-03-04 2012-05-23 Harman Becker Automotive Systems GmbH FM radio receiver processing system
US8094128B2 (en) * 2007-01-03 2012-01-10 Apple Inc. Channel scan logic
US8378974B2 (en) * 2007-07-02 2013-02-19 Elo Touch Solutions, Inc. Method and system for detecting touch events based on magnitude ratios
US8592697B2 (en) * 2008-09-10 2013-11-26 Apple Inc. Single-chip multi-stimulus sensor controller
US9348451B2 (en) * 2008-09-10 2016-05-24 Apple Inc. Channel scan architecture for multiple stimulus multi-touch sensor panels
US8180586B2 (en) * 2009-02-11 2012-05-15 Tektronix, Inc. Amplitude discrimination using the frequency mask trigger
JP2011013944A (ja) * 2009-07-02 2011-01-20 Wacom Co Ltd ３次元情報検出装置
US9036650B2 (en) * 2009-09-11 2015-05-19 Apple Inc. Automatic low noise frequency selection
US8279587B2 (en) * 2009-10-09 2012-10-02 Tao Wang General-purpose software defined radio platform
US8773366B2 (en) * 2009-11-16 2014-07-08 3M Innovative Properties Company Touch sensitive device using threshold voltage signal
US20120013565A1 (en) * 2010-07-16 2012-01-19 Perceptive Pixel Inc. Techniques for Locally Improving Signal to Noise in a Capacitive Touch Sensor
US8519970B2 (en) * 2010-07-16 2013-08-27 Perceptive Pixel Inc. Capacitive touch sensor having correlation with a receiver
US8605054B2 (en) * 2010-09-02 2013-12-10 Texas Instruments Incorporated Touch-sensitive interface and method using orthogonal signaling
US8823657B2 (en) * 2010-09-07 2014-09-02 Apple Inc. Master/slave control of touch sensing
US8164500B2 (en) * 2010-09-20 2012-04-24 University, Texas A&M Jitter cancellation method for continuous-time sigma-delta modulators
US8743080B2 (en) * 2011-06-27 2014-06-03 Synaptics Incorporated System and method for signaling in sensor devices
JP2013020479A (ja) * 2011-07-12 2013-01-31 Panasonic Corp タッチパネル装置
CN102915138B (zh) * 2011-08-05 2015-09-09 宸鸿光电科技股份有限公司 感测电极阵列控制电路、控制方法及其触控感测系统
US20130106759A1 (en) * 2011-10-27 2013-05-02 Einar Fredriksen Narrow-Band Touch Detection
US9176621B2 (en) * 2011-11-18 2015-11-03 Synaptics Incorporated Flexible timing and multiplexing for a display device comprising an integrated capacitive sensing device
US9001072B2 (en) * 2012-01-09 2015-04-07 Broadcom Corporation Asymmetric multi-row touch panel scanning
KR101338285B1 (ko) * 2012-01-12 2013-12-09 주식회사 하이딥 터치 패널에서 터치를 감지하기 위한 방법, 장치 및 컴퓨터 판독 가능 기록 매체
US8913033B2 (en) * 2012-05-29 2014-12-16 Elo Touch Solutions, Inc. Projected capacitive touch sensor circuit
CN102880347B (zh) * 2012-09-20 2016-11-02 敦泰科技有限公司 一种触摸屏设备及其处理方法
US9678609B2 (en) * 2013-10-21 2017-06-13 Apple Inc. Orthogonal frequency scan scheme in touch system

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210199768A1 (en) * 2018-05-25 2021-07-01 Ams Ag Filter for reducing optical cross-talk
KR102081809B1 (ko) * 2019-01-11 2020-02-27 주식회사 리딩유아이 정전용량식 터치 시스템 및 이의 구동 방법
KR20210099727A (ko) * 2020-02-05 2021-08-13 주식회사 리딩유아이 스타일러스 펜 및 이의 제어 방법

Also Published As

Publication number Publication date
CN106133664B (zh) 2020-01-14
CA2938460A1 (en) 2015-08-13
AU2015214270A1 (en) 2016-08-18
US9710116B2 (en) 2017-07-18
JP2017508206A (ja) 2017-03-23
JP6315354B2 (ja) 2018-04-25
WO2015120081A1 (en) 2015-08-13
CN106133664A (zh) 2016-11-16
SG11201606303UA (en) 2016-08-30
JP2018067339A (ja) 2018-04-26
MX2016010054A (es) 2016-11-15
US9870112B2 (en) 2018-01-16
IL246976A0 (en) 2016-09-29
US20150301651A1 (en) 2015-10-22
US20170262100A1 (en) 2017-09-14
EP3103000A4 (en) 2017-10-25
EP3103000A1 (en) 2016-12-14
IL246976B (en) 2020-02-27

Similar Documents

Publication Publication Date Title
KR20160135179A (ko) 터치 센서에서의 주파수 변환
US20180329542A1 (en) Fast multi-touch noise reduction
JP6688741B2 (ja) 入力事象処理のためのデシメーション戦略
EP3120225B1 (en) Orthogonal signaling touch user, hand and object discrimination systems and methods
KR20170090492A (ko) 투사형 정전용량식 터치 센서에서의 크로스토크의 감소를 위한 차동 전송
US11054945B2 (en) Fast multi-touch sensor with user-identification techniques
US10133400B2 (en) Pressure informed decimation strategies for input event processing
KR20160019400A (ko) 고속 멀티 터치 스타일러스 및 센서
AU2015209272A1 (en) Dynamic assignment of possible channels in a touch sensor
KR20160019401A (ko) 사용자 식별 기술을 갖는 고속 멀티 터치 센서
US10386953B2 (en) Capacitive sensor patterns
US10620746B2 (en) Decimation supplementation strategies for input event processing
KR20160018455A (ko) 동적 광학 스타일러스 및 센서

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application