JP6688741B2 - 入力事象処理のためのデシメーション戦略 - Google Patents
入力事象処理のためのデシメーション戦略 Download PDFInfo
- Publication number
- JP6688741B2 JP6688741B2 JP2016566873A JP2016566873A JP6688741B2 JP 6688741 B2 JP6688741 B2 JP 6688741B2 JP 2016566873 A JP2016566873 A JP 2016566873A JP 2016566873 A JP2016566873 A JP 2016566873A JP 6688741 B2 JP6688741 B2 JP 6688741B2
- Authority
- JP
- Japan
- Prior art keywords
- touch
- signal
- sensor
- row
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 24
- 230000008859 change Effects 0.000 claims description 17
- 238000000034 method Methods 0.000 description 189
- 241001422033 Thestylus Species 0.000 description 82
- 210000003811 finger Anatomy 0.000 description 66
- 230000008569 process Effects 0.000 description 52
- 238000005259 measurement Methods 0.000 description 45
- 239000004020 conductor Substances 0.000 description 25
- 238000010586 diagram Methods 0.000 description 23
- 230000008878 coupling Effects 0.000 description 19
- 238000010168 coupling process Methods 0.000 description 19
- 238000005859 coupling reaction Methods 0.000 description 19
- 230000003287 optical effect Effects 0.000 description 19
- 230000000875 corresponding effect Effects 0.000 description 18
- 238000004458 analytical method Methods 0.000 description 17
- 238000001514 detection method Methods 0.000 description 17
- 238000005516 engineering process Methods 0.000 description 15
- 210000004247 hand Anatomy 0.000 description 15
- 238000013461 design Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 14
- 238000002372 labelling Methods 0.000 description 14
- 230000005540 biological transmission Effects 0.000 description 13
- 230000033001 locomotion Effects 0.000 description 13
- 230000002452 interceptive effect Effects 0.000 description 12
- 239000011159 matrix material Substances 0.000 description 12
- 230000000694 effects Effects 0.000 description 11
- 238000004519 manufacturing process Methods 0.000 description 10
- 238000012805 post-processing Methods 0.000 description 10
- 230000008901 benefit Effects 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 9
- 230000008054 signal transmission Effects 0.000 description 9
- 238000013459 approach Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 8
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 8
- 230000002829 reductive effect Effects 0.000 description 8
- 230000002123 temporal effect Effects 0.000 description 8
- 230000009471 action Effects 0.000 description 7
- 239000000835 fiber Substances 0.000 description 7
- 239000000463 material Substances 0.000 description 7
- 238000001228 spectrum Methods 0.000 description 7
- 230000027455 binding Effects 0.000 description 6
- 238000009739 binding Methods 0.000 description 6
- 230000035945 sensitivity Effects 0.000 description 6
- 230000001133 acceleration Effects 0.000 description 5
- 230000004927 fusion Effects 0.000 description 5
- 230000002441 reversible effect Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 230000007704 transition Effects 0.000 description 5
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 4
- 238000003491 array Methods 0.000 description 4
- 229910003460 diamond Inorganic materials 0.000 description 4
- 239000010432 diamond Substances 0.000 description 4
- 238000004134 energy conservation Methods 0.000 description 4
- 238000013507 mapping Methods 0.000 description 4
- 230000009467 reduction Effects 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 230000000717 retained effect Effects 0.000 description 4
- 230000003068 static effect Effects 0.000 description 4
- 238000007619 statistical method Methods 0.000 description 4
- 238000010897 surface acoustic wave method Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000009413 insulation Methods 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 3
- 230000011664 signaling Effects 0.000 description 3
- 229910052709 silver Inorganic materials 0.000 description 3
- 239000004332 silver Substances 0.000 description 3
- 238000013519 translation Methods 0.000 description 3
- 239000012780 transparent material Substances 0.000 description 3
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 2
- 239000000654 additive Substances 0.000 description 2
- 230000000996 additive effect Effects 0.000 description 2
- 230000002411 adverse Effects 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 2
- 239000003990 capacitor Substances 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 230000005713 exacerbation Effects 0.000 description 2
- 230000036039 immunity Effects 0.000 description 2
- 230000001976 improved effect Effects 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000003278 mimic effect Effects 0.000 description 2
- 230000036961 partial effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- 230000001105 regulatory effect Effects 0.000 description 2
- 230000010076 replication Effects 0.000 description 2
- 239000000126 substance Substances 0.000 description 2
- 230000008093 supporting effect Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- NYPYHUZRZVSYKL-UHFFFAOYSA-N 2-azaniumyl-3-(4-hydroxy-3,5-diiodophenyl)propanoate Chemical compound OC(=O)C(N)CC1=CC(I)=C(O)C(I)=C1 NYPYHUZRZVSYKL-UHFFFAOYSA-N 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 230000016571 aggressive behavior Effects 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 239000002041 carbon nanotube Substances 0.000 description 1
- 229910021393 carbon nanotube Inorganic materials 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005352 clarification Methods 0.000 description 1
- 210000001520 comb Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 230000000994 depressogenic effect Effects 0.000 description 1
- 230000003292 diminished effect Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 210000001513 elbow Anatomy 0.000 description 1
- 238000010291 electrical method Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000010946 fine silver Substances 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 229910021389 graphene Inorganic materials 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- AMGQUBHHOARCQH-UHFFFAOYSA-N indium;oxotin Chemical compound [In].[Sn]=O AMGQUBHHOARCQH-UHFFFAOYSA-N 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000002955 isolation Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 238000000059 patterning Methods 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 210000001525 retina Anatomy 0.000 description 1
- 230000002207 retinal effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009897 systematic effect Effects 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 210000003813 thumb Anatomy 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 230000005641 tunneling Effects 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
- 238000002211 ultraviolet spectrum Methods 0.000 description 1
- 238000001429 visible spectrum Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
- G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03545—Pens or stylus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
- G06F3/04162—Control or interface arrangements specially adapted for digitisers for exchanging data with external devices, e.g. smart pens, via the digitiser sensing hardware
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0428—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
- G06F3/0442—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means using active external devices, e.g. active pens, for transmitting changes in electrical potential to be received by the digitiser
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
- G06F3/0446—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means using a grid-like structure of electrodes in at least two directions, e.g. using row and column electrodes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04842—Selection of displayed objects or displayed text elements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4023—Decimation- or insertion-based scaling, e.g. pixel or line decimation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
- G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
- G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
- G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
Description
開示されたシステム及び方法は、通常はユーザ入力の分野に、特に、高速マルチタッチセンサにおいて減速する更新レートを提供するユーザ入力システムに関する。
一実施形態において、行に送信される直交信号は、未変調のシヌソイドであってもよく、その各々が異なる周波数を有しており、該周波数は、受信器において互いに容易に区別され得るように選択される。一実施形態において、周波数は、受信器において互いに容易に区別され得るように、それらの間に十分な間隔を設けるように選択される。一実施形態において、単純な倍音関係は、選択された周波数の間には存在しない。単純な倍音関係の欠如は、1つの信号に別の信号を模倣させ得る、非線形のアーチファクト(non−linear artifacts)を軽減する場合がある。
一実施形態において、変調されたシヌソイドは、上述のシヌソイドの実施形態の代わりとして、それと組み合わせて、及び/又は、それを改良したものとして(as an enhancement of)、使用され得る。未変調のシヌソイドの使用は、タッチ面付近の他の装置に無線周波干渉を引き起こし、故に、それらを使用する装置は、規定上の試験(例えばFCC、CE)を通過するという問題に遭遇する場合がある。加えて、未変調のシヌソイドの使用は、精密な(deliberate)送信器又は他の干渉装置(恐らく、別の同一のタッチ面)の何れかから、環境における他のシヌソイドからの干渉を受けやすい場合もある。一実施形態において、そのような干渉は、記載の装置において、誤った又は劣化したタッチ測定を引き起こし得る。
シヌソイドの全体のセットの周波数変調は、「それらを不鮮明にする(smearing them out)」ことにより同じ周波数でそれらが現われることを回避する。規定上の試験は通常、固定周波数に関係があるので、変調された周波数である送信されたシヌソイドは低い振幅で現われ、故に、懸念の対象であるようには思われない。受信器への任意のシヌソイド入力を受信器が「不鮮明にしない(un−smear)」ため、等しく且つ対称的な様式で、精密に変調されて送信されたシヌソイドは復調され得、その後、それらが変調前に行われるように実質的に現れる。しかし、環境から進入する(例えば、干渉する)任意の固定周波数のシヌソイドは、「不鮮明にしない」操作によって「不鮮明にされ」、故に、意図した信号に対する効果の減少又は排除が生じることになる。従って、さもなければセンサへと引き起こされ得る干渉は、例えば、一実施形態においてタッチセンサに使用される周波数のコムに対し、周波数変調を使用することにより和らげられる。
一実施形態において、シヌソイドは、送信器と受信器の両方に知らされる、偽似乱数の(又は真に乱数の)スケジュール上で定期的にそれらを反転することにより、復調されてもよい。故に、一実施形態において、各シヌソイドがその対応する行に送信される前に、各シヌソイドは、選択可能なインバータ回路を通過し、その出力は、「反転選択」入力の状態に依存して、+1又は−1を掛けた受信信号である。一実施形態において、これら「反転選択」入力は全て、同じ信号から駆動され、それにより、各行のシヌソイドは全て、同時に+1又は−1を掛けられる。一実施形態において、「反転選択」入力を駆動する信号は、任意の信号から独立した疑似乱数の機能、又は、環境に存在するかもしれない機能であってもよい。シヌソイドの擬似乱数の反転は、周波数においてシヌソイドを拡散して、シヌソイドが接触し得る任意の装置を無視できるほどにしか干渉しないように、ランダムノイズのように現せる。
前述の技術を使用するタッチ面には、他の方法と比較して、シヌソイドの生成及び検出にかかるコストが比較的高い場合がある。以下に、よりコスト効率が良く、及び/又は、大量生産に更に適した、シヌソイドの生成及び検出の方法を議論する。
一実施形態において、シヌソイドは、フーリエ変換検出スキームを備えた完全な無線受信器を使用して、受信器において検出され得る。そのような検出は、高速RF波形をデジタル化し、その後にデジタル信号処理を行なうことを必要とする場合がある。別々のデジタル化及び信号処理は、表面の全ての列について実施されてもよい。これにより、信号プロセッサが、どの行の信号がその列とタッチ状態にあるのかを発見することが可能となる。上述の例において、タッチ面に40の行と40の列を備えさせることで、この信号チェーンの40のコピーが必要とされる。今日、デジタル化とデジタル信号処理は、ハードウェア、コスト、及び電力に関して、比較的高価な動作である。シヌソイドを検出するためのよりコスト効率の良い方法、特に、容易に複製することができ且つ電力をほとんど必要としない方法を利用することが、有用である。
主に、各々の行が1つの信号の生成を必要とする一方で、列の受信器は多くの信号間で検出し且つ区別しなければならないので、低レイテンシタッチセンサにおける送信信号(例えばシヌソイド)の生成は通常、検出よりもあまり複雑ではない。一実施形態において、シヌソイドは、一連の位相ロックループ(PLL)により生成され得、その各々は共通の基準周波数に異なる倍数を掛ける。
タッチ面がコンピュータディスプレイに統合され、それにより個人がコンピュータグラフィックスと画像(imagery)を相互に作用させることが可能になることが、望ましい場合もある。正面投影が不透明なタッチ面に使用され、背面投影が透明のものに使用され得る一方で、現代の平面パネルディスプレイ(LCD、プラズマ、OLED等)は一般的に、タッチ面が透明であることを必要とする。一実施形態において、現在の技術の行及び列(信号がそれらに沿って伝搬することを可能にするもの)は、それらの信号に対して伝導性である必要がある。一実施形態において、現在の技術の行及び列(無線周波数信号がそれらに沿って伝搬することを可能にするもの)は、導電性である必要がある。
記載された高速マルチタッチ技術を実施する無線周波数および電気的な方法が上記で議論されてきたが、他の媒体も同様に使用することができる。例えば、信号は、導波管、又は行と列のための他の手段を持つ、光学信号(即ち、光)であり得る。一実施形態において、光学信号に使用される光は可視領域にあり、赤外線及び/又は紫外線である。
例えば、上述の手順を使用して、各列の各行から信号強度を計算した後、結果として生じる2−Dの「ヒートマップ」を、使用できるタッチ事象に変換するために、後処理が行われる。一実施形態において、そのような後処理は、以下の4つ手順の内の少なくとも幾つかを含む:フィールド平坦化、タッチポイント検出、補間、及び、フレーム間で一致するタッチ点。フィールド平坦化の手順は、行と列の間のクロストークを取り除くためにオフセットレベルを控除し、減衰により特定の行/列の組み合わせの間の振幅の差を補う。タッチ点の検出手順は、平坦化された信号の極大値を見出すことにより、粗いタッチ点を計算する。補間の手順は、粗いタッチ点に関連したデータを放物面に適合させることにより、細かいタッチ点を計算する。フレームマッチングの手順は、フレームにわたり互いに計算されたタッチ点を一致させる。以下、4つの手順の各々を順に説明する。また、各処理工程について、実装、可能な不良モード、及び結果の例も開示される。非常に低いレイテンシを必要とするため、処理工程は最適化され且つ平行処理されねばならない。
一実施形態において、高速マルチタッチ(FMT)センサによる干渉、或いはそれにおける非実在のタッチ(phantom touche)をノイズが生成する特定の条件を解消するための、方法とシステムが提供される。上述のセンサの実施形態において、行はその上に送信された信号を有し、送信された信号は、タッチがセンサの表面又はその付近に適用された場合に、タッチに近接して列に結合される。(幾つかの場合には、タッチは、列における行信号の低減を引き起こし得る。)タッチの位置は、列から信号を読み取り且つそれらが生成された行を判定することにより、判定される。
コンピュータシステムにおけるタッチセンサの知覚品質は、ユーザ入力信号が適切に周囲の電磁ノイズと区別される、高い信号対ノイズ比に依存する。そのような電磁ノイズは、タッチセンサが一部(例えば、LCD情報ディスプレイ)であるコンピュータシステム内の他の構成要素から、又は、ユーザの外部環境における人工か天然の信号(例えば、装置の外部のAC電源充電器からの不要信号)から生じる場合がある。これらの望まれない電磁気信号は、ユーザ入力としてタッチセンサにより偽って検出され、それにより、誤った又はノイズのあるユーザコマンドを生成し得る。
工程1:タッチ信号とノイズを合理的に識別する
ノイズの読み取りが、既存のタッチ信号に基づいて、および/または工程1で詳しく述べられるような統計的推論によって「干渉」であるといったん確認されると、電磁干渉に関するこうした知識を使って、ノイズがタッチセンサによって感知され得るまたは感知される可能性がある周波数空間、時間空間、またはコード空間の特定の衝突を回避することができる。既知のタッチ信号と特定された電磁干渉との間の衝突は、限定されないが以下の様々な技術、または技術の組み合わせによって回避することが可能である:
前述の技術を用いて電磁干渉のいくつかを完全には除去することができない場合、タッチセンサは、こうしたノイズがセンサの表面積全体に均一に広がって、残りの干渉によりもたらされる任意の操作上の問題を確実に最小限に抑えるように構成可能である。
タッチセンサはタッチセンサ中の干渉や他のノイズの影響を減らすために多くの技術を利用することもできる。例えば、FDMを使用するタッチセンサの実施形態では、タッチセンサは行ごとに複数の周波数を使用することができ、その結果、たとえセンサがどの周波数ビンが干渉に晒されることになるかを予言することができなくても、センサは複数の方法で各行(または列)を測定し、ノイズの最も少ない測定値(あるいは測定値の組み合わせ)を測定し、その後、それらを使用することができる。
1.行ごとに複数の周波数を使用する。こうした周波数は同時に、または順に使用することができる。
2.行から列および列から行に(上で詳細に議論されるように、順にまたは同時に)送信すること。これも、上記の複数の周波数の使用、または変調スキームの別の組み合わせと組み合わせ可能である。
3.FDMの上にCDMAを使用するか、あるいは変調スキームのある組み合わせを使用すること。CDMA信号は、FDM技術によって一般に使用されるものとは異なり、基本的には「不自然」なものであり、したがって、コンピュータシステムの外部環境で自然に発生する様々な信号に対して、FDM変調スキームよりも免疫があることに注目すべきである。
一実施形態では、高速マルチタッチセンサには、同じ手、同じユーザの異なる手、同じユーザ、または異なるユーザからのタッチを識別する能力が与えられている。一実施形態では、高速マルチタッチセンサには、タッチ領域に結び付けられるある物体の一部からのタッチを、その位置と方向を決定しやすくする単一の物体上の容量式タッチ先端部を介して、あるいは体の一部と同時にディスプレイの別の領域にもタッチしているユーザの握っているスタイラスを介して、識別する能力を与えられている。
高速マルチタッチセンサの特定の実施形態では、センサは、スタイラスの位置と、随意に、その傾斜角と長手軸まわりの回転角とを同様に検出するように構成される。こうした実施形態は当初上で記載されたように、本質的にはセンサ・ハードウェアから始まり、その先端付近に信号発信機を有するスタイラスをさらに利用する。この信号発生器から信号が送信され、信号は行または列に送信され得る直交信号に対して互換性がある(同じまたは類似の変調スキーム、類似の周波数など)が直交信号にたいして直交する。スイッチはスタイラスの先端の例えば、近接検出装置または圧力検出装置を含む、任意の種類のスイッチであり得るが、これを用いていつ送信機をオンまたはオフにするかを制御することができる。スタイラスは、正常動作条件下において、スタイラスが高速マルチタッチセンサの表面に接触するか、近接しているときに、スイッチが送信機をオンにするように、構成可能である。代替的な実施形態では、スタイラスは、絶えず信号を送信し、スイッチの状態がその周波数、振幅などの信号の1つ以上の特徴を変えることができるように構成される。これにより、スタイラスがタッチ感知デバイスの表面に接触しているときだけではなく、そのわずかに上にいて「ホバーする」能力を与えているときにもスタイラスを使用することができる。
そうでない場合、それらは複数の人々からもたらされると見なされる。図25を参照すると、このアプローチが、白色領域で2つのタッチが有ったことを決定したのち、黒円領域におけるクロストークを発見する。このクロストークが存在するとき、2つのタッチは同一ユーザからもたらされると見なされる。図26は、2人のユーザによってなされた同じタッチを示すものであり、各ユーザが1本の指でタッチスクリーンにタッチしている。各行からの信号が両方の列へ結合されないので、タッチ間にクロストークは無く、したがって、黒円によって表示される領域中にクロストークは存在しない。従って、これら2点は、2人のユーザからもたらされたと認めることができる。
記載したように、ユーザによるタッチ接触を「グループ化する」ことができる、理想的には、同じ手からの接触を識別するだけでなく、同じユーザからの接触を識別することが望ましい。当業者に理解されるように、センサ装置の走査サイクルにわたるタッチ接触のラベル付けは、手動で行われる。本発明の実施形態では、「走査」自体がないが、アレイがサンプリングされる度に入力フレームと考えられ得るものが存在し、これは、ユーザのディスプレイとの連続的な接触の離散化と考えられ得る。この離散化は、1つのフレームから次のフレームまで、どの接触が持続したか及びどの接触が新しい接触に取って代わったかを装置が判定しなければならないことを意味する。様々な実施形態では、ユーザ、手および物体の識別の本明細書に開示されたシステムおよび方法は、ラベル付けの領域との少なくとも3つの交差を有する:フレームにわたってラベルを提供する必要性、接触の従来の特有のラベル付けの改善、およびユーザ識別を改善するための従来のラベル付けの使用。
モバイルおよび定常のコンピューティングにおける現在のマルチタッチソフトウェアインターフェースは、典型的に、異なるユーザまたは同じユーザからのものであろうと、異なる手を区別することができない。結果として、シングルユーザおよびシングルディスプレイのグループウェアアプリケーションは、アプリケーションの設計、特徴および機能性をマイナスに制限する受信したユーザ入力の真意を解釈するときに、著しいジェスチャのあいまい性(gestural ambiguity)を軽減しなければならない。本明細書に開示された技術は、触覚入力を検出するために容量感知に依存するタッおよびスタイラスのコンピューティングシステムに対するこれらの制限の多くを取り除く。複数のユーザが同じタッチ入力面を共有するシングルディスプレイのグループウェアアプリケーションに関して、コンピューティングシステムは、感知したマルチタッチ入力が同じユーザまたは異なるユーザのものであるのかを確実に識別することができる。この新しいレベルの理解は、二人の異なるユーザからの2つの別々のシングルタッチのドラッグ事象と、同じユーザからの2本の指によって引き起こされた1つのピンチズーム事象とを識別するなど、ジェスチャによる入力の混乱の共通ソースを解決する。別々に移動する任意の2つの接触が、予めUIを「ズームした(ZOOMED)」場合、本発明を利用するシステムは、代わりに、2つの接触を異なるユーザからのものとして識別するときに、物体を半分に「分裂させる(tear)」か、またはコピーを作る。
ユーザの手以外の物体は、識別され得る。受動物体は、記載された技術によって識別される多くのタッチによって識別され得る。これらの複数のタッチは、1つの物体を別の物体と明確に区別することができるように、特有の相対位置にあり得る。一実施形態では、1つの物体のタッチ点の位置は、正三角形にあり得、一方でもう1つの物体のタッチ点の位置は、非正三角形、長方形、またはそれらの相対位置によって識別され得るタッチ点の幾つかの他のセットを形成する。このように、物体は、互いに識別され得、タッチ面に対するそれらの並進および回転が決定され得る。
特定の状況では、ユーザによって保持された物体との接触がいつなされるかを識別することが望ましいかもしれない。本発明は、そのような状況においてユーザ体験をさらに向上させる。例えば、ユーザは、操作のために、指でなされた入力とは区別された、筆記に使用される、スタイラスでスクリーンにタッチするかもしれない。本発明は、少なくとも以下の2つの利点を提供することができる:物体のより容易な識別、および物体を保持する同じユーザ及び/又は手によってなされているものとしての接触のラベル付け。
少なくとも1つは装置の認識用の信号、および少なくとも1つは記載されたようにユーザに結合されるための信号。一例として、スタイラスは、位置感知のためにその先端で1つの信号を生成し、ユーザペアリングのためにその身体のまわりに異なる信号を生成するかもしれない。さらに他の実施形態では、物体は、ペアリングの目的のみで信号を生成するかもしれない(本明細書に記載される時計、またはさもなければ受動スタイラスなど)。
コンピュータ入力装置の電力消費を低下させるために、入力装置が100%未満の時間で使用されるという事実に留意する。したがって、入力装置は、使用されていない時間の間、より少ないエネルギーを消費する又はそうでなければ軽減された動作感度で作動する異なるモードに変更され得る。本明細書で使用されるように、「電力」および「動作感度」は、限定されないが、電力消費、事象頻度(即ち、時間分解能に強く関連する更新率)、タッチ感度、空間分解能(例えば、1行おき又はあらゆる行のプロセシング)、タッチレイテンシ、信号対ノイズ比(これは、ユーザインターフェース精度および故にユーザ体験と強く関連する)、計算能力、フレームレート、ホバー検出(hover detection)のユーザ体験および可用性を含む。
コンピュータシステムにおけるタッチセンサの知覚品質は、ユーザ入力信号が適切に周囲の電磁ノイズと区別される、高い信号対ノイズ比に依存する。こうした電磁ノイズは、タッチセンサがその一部であるコンピュータシステム内の他の構成要素(LCD情報表示装置など)、あるいはユーザの外部環境の人工または天然の信号(デバイスの外部AC電源充電器からの望ましくない信号など)から生じることがある。これらの望まれない電磁気信号は、ユーザ入力としてタッチセンサにより誤検出され、それにより、誤った又はノイズのあるユーザコマンドを生成し得る。
工程1:タッチ信号とノイズを合理的に識別する
タッチセンサは、ユーザがセンサにタッチしていないことが分かっている場合、あるいは、実際のタッチ信号が合理的に分かっているとき(すなわち、タッチ面の幾つかの部分がタッチされているが、他の部分はタッチされていないことが分かっているとき)、受信される信号を全て分析することができる。
ノイズのある読み取りが、既存のタッチ信号に基づいて、および/または工程1で詳しく述べられるような統計的推論によって「干渉」であるといったん確認されると、電磁干渉についてのこうした知識を使って、ノイズがタッチセンサによって感知され得るまたは感知される可能性がある周波数空間、時間空間、またはコード空間の特定の衝突を回避することができる。既知のタッチ信号と特定された電磁干渉との間の衝突は、限定されないが以下の様々な技術、または技術の組み合わせによって回避することが可能である:
1:干渉のない、またはほとんどない特定された信号周波数があるとき、タッチセンサはそれらを使用するように構成されなければならない。
2:干渉のない、またはほとんどないタイムスロットがある場合、タッチセンサはそれらを使用するように構成されなければならない。
3:干渉のない、またはほとんどないコードがある場合、タッチセンサはそれらを使用するように構成されなければならない。
4:干渉のない、またはほとんどない周波数、時間、およびコードの組み合わせがある場合、タッチセンサはそれらを使用するように構成されなければならない。
5:FDMを使用するタッチセンサについては、タッチセンサが使用する信号周波数は連続している必要はない。周波数帯域のいくつかの部分が干渉によって占領される場合、タッチセンサはこうした周波数を回避するように構成されなければならない。周波数帯域のいくつかの部分が特定の時間に干渉によって占領される場合、タッチセンサはそのような既知の時間にこうした信号周波数の使用を回避するように構成されなければならない。周波数帯域のいくつかの部分が特定の既知の時間に比較的静的な干渉によって占領される場合、タッチセンサによって送信された信号は、復調が既知の干渉を相殺または除去するようは方法でこうした時間に変調されなければならない。例えば、この変調技術の実施形態において、干渉が所望の周波数で安定したシヌソイドである場合、二相位相変調偏移キーイング(BPSK)は、タッチセンサにより発せられた周波数を変調するために使用されなければならず、その結果、反対側のBPSKを用いて、タッチセンサから受け取られた信号と干渉信号の結果として生じる和を復調するとき、干渉の等しい部分に正相を乗じ、等しい部分に逆相を乗じ、その結果、信号が総受信期間にわたって積分されるとき、干渉信号は加算されて無視できる程度になった。同様の効力を備えた変調の他の形態も可能である。
6.FDMを使用するタッチセンサが、周波数分析を行う高速フーリエ変換、あるいは周波数ビンの数がアルゴリズムまたはアルゴリズムの性質によって制約される同様の高速アルゴリズムを使用する場合、センサは、多くのビンを備えたより大きな変換を用い(おそらく次のものはサイズが大きくなる)、その結果、余分な起こり得る受信周波数ができる。
その後、こうした周波数のいずれかで送信する能力を備えたタッチセンサを製造の前に設計する。このように、周波数ビンのいくつかが干渉を含んでいる場合、干渉のほとんどない、またはまったくない周波数を支持してこうした周波数ビンを回避することができる。
前述の技術を用いて電磁干渉のいくつかを完全には除去することができない場合、タッチセンサは、こうしたノイズがセンサの表面積全体に均一に広がって、残りの干渉によりもたらされる任意の操作上の問題を確実に最小限に抑えるように構成可能である。
タッチセンサはタッチセンサ中の干渉や他のノイズの影響を減らすために多くの技術を利用することもできる。例えば、FDMを使用するタッチセンサの実施形態では、タッチセンサは行ごとに複数の周波数を使用することができ、その結果、たとえセンサがどの周波数ビンが干渉に晒されることになるかを予言することができなくても、センサは複数の方法で各行(または列)を測定し、ノイズの最も少ない測定値(あるいは測定値の組み合わせ)を測定し、その後、それらを使用することができる。
1.行ごとに複数の周波数を使用する。こうした周波数は同時に、または順に使用することができる。
2.行から列および列から行に(順にまたは同時に)送信すること。これも、上記の複数の周波数の使用、または変調スキームの別の組み合わせと組み合わせ可能である。
3.FDMの上にCDMAを使用するか、あるいは変調スキームのある組み合わせを使用すること。CDMA信号は、FDM技術によって一般に使用されるものとは異なり、基本的には「不自然」なものであり、したがって、コンピュータシステムの外部環境で自然に発生する様々な信号に対して、FDM変調スキームよりも免疫があることに注目すべきである。
ユーザが2013年3月15日に出願された「Low−Latency Touch Sensitive Device」という表題の米国特許出願第13/841,436号に記載されるものを含む高速入力装置に入力を提供するとき、生成される多くの入力事象は入力スタックの他の部分を圧倒することがあり得る。これに対処するため、我々は、イベントストリーム中の事象の数を減らすことができる多くの技術を記載しており、その結果、入力スタックの他の部分はタイミング良く作動することができ、入力スタックの非常に多くの事象に圧倒されない。
この実施形態では、入力事象ストリームはN事象ごとにサンプリングされ(Nは調整可能なパラメーターであり、調整可能とはシステムの1つ以上の構成要素によって任意の時間にNを変更可能であることを意味する)、出力ストリームは入力ストリームからの毎N番目の入力事象を含み、それ以外のN−1事象を捨てる。
この実施形態では、入力事象ストリーム中の各入力事象は、時間、好ましくは、発生する事象にユーザ入力が関連している時間に関連している。入力事象ストリームは、出力事象ストリームが入力事象ストリーム中で毎Xマイクロ秒(または要求される他の時間単位)に発生した事象を含むように、サンプリングされ、Xは調整可能なパラメーターである。時間的価値に正確に相当する事象がない場合には、本開示されるシステムと方法は、入力事象ストリーム、次の事象、以前の事象からの最も近接する事象を使用し、偽の事象を作成するか、あるいは事象を全く作成しないように構成可能である。
入力事象ストリームを考慮すると、最初と最後の入力事象は、ユーザ側の意図を示すため、かなり重要である。タッチ入力を考慮すると、最初と最後の入力事象は、ユーザが最初にタッチセンサを起動するときに発生した事象と、ユーザがタッチセンサから指を離したときに発生した最後の事象に相当することになる。そのため、本実施形態では、入力事象ストリームの最初と最後の入力事象は、出力事象ストリームに含まれる。
本実施形態において、入力事象ストリームは、入力事象ストリームの湾曲の意味のある変化を表す事象が出力事象ストリームに含まれているように、サンプリングされる。入力事象ストリームが最初の事象(3604)からスタートし、最後の事象(3605)まで及んで行なわれている(点線)ディスプレイまたはディスプレイ(3601)の一部を含む図36を考慮する。湾曲(3602)の程度または湾曲(3603)の方向の変化に相当する事象は、出力事象ストリームに含まれる。
入力モードはデシメーションスキームを明示的に選択することもある。例えば、UI、アプリケーション、または明確なユーザの行為は、所定の領域または期間にはデシメーションがあまり好ましくないということを明示することもある。例えば、キャンバス上に描くとき、1本のユーザ選択可能な「ブラシ」は、高デシメート処理した入力に曲線を当てはめることでより滑らかな曲線を提供することもあり、別のブラシはユーザの実際の入力に忠実に従うこともある。
入力センサは非均一な感知能力を備えることが知られている。例えば、容量式タッチセンサは、感知の痕跡のある場所へ入力を「スナップする(snap)」傾向を有することもあり、視覚ベースのセンサは周囲の光やセンサの光特性によって著しく影響を受ける。いくつかの実施形態では、こうした入力特性を考慮に入れる。例えば、容量センサの既知の「スナップ入力」に類似する挙動を示すデバイスでは、実際にユーザの入力をスムーズにする事象よりも、感知線に対してスナップされていない事象が選択されることもある。すべての入力デバイスは、報告する事象中のある種のバイアスを示し、このスキームはその効果を説明するとともにある程度までその効果を補う。
入力の特性はそれ自体がスキームの選択を知らせることもある。例えば、いったんユーザが2以上の次元で通常パン撮りされ得るUI要素内でほとんどが1次元のジェスチャをすると、1次元のスクロール動作を「固定する」ことが当該技術分野で知られている。本開示されたシステムと方法のある実施形態は、1次元の動後時のUIの「固定」と変化スキームを同様に明記することもある。この例では、1次元のスクロール動作はより少数の事象を要求するかもしれない。したがって、より攻撃的なデシメーションスキームが使用されるかもしれない。同様に、入力は「固定」が生じないことを示すこともあるため、スクロール動作は2以上の次元で同時に発生することもある。このような状況下では、いくつかの実施形態は、デシメーションの攻撃性は減少させるか、あるいは多次元の動作に使いやすいスキーム(例えば:上に記載された「湾曲」スキーム)へ切り替えることもある。なかには「ジェスチャ」モードを指示する入力スキームの特性の検討を特徴づけるかもしれない実施形態もあり、;ある実施形態は、上に記載されたジェスチャ、あるいはシステムの必要に基づいて定義される他のパターンを使用することもある。
一実施形態において、デシメーションプロセスは、ユーザが相互作用しているグラフィカルユーザーインターフェイス(GUI)のレイアウトを考慮に入れる。GUI中の要素を飛行機、あるいは飛行機または他の形状に変換可能な1D、2.5D、または3Dの空間内に存在するものとみなし、カーソルが触れている場所をGUIに決定させるとき、ならびに、入力事象をこの飛行機内にあるものとしてみなすとき、GUI要素の境界はインテリジェントデシメーションプロセスに通知することができる重要な情報を提供する。
一実施形態では、デシメーションプロセスは、ユーザが相互作用しているグラフィカルユーザーインターフェイス(GUI)のレイアウトを考慮に入れる。GUI中の要素を飛行機、あるいは飛行機または他の形状に変換可能な1D、2.5D、または3Dの空間内に存在するものとみなし、カーソルが触れている場所をGUIに決定させるとき、ならびに、入力事象をこの飛行機内にあるものとしてみなすとき、GUI要素の境界はインテリジェントデシメーションプロセスに通知することができる重要な情報を提供する。
以前に記載されたように、インテリジェントデシメーションエンジンは本書類に記載される任意の数の個々のデシメーション技術を組み合わせることもある。本実施形態では、システムは、入力事象を発生させるためにユーザによって使用されている入力デバイスを考慮に入れる。例えば、入力動作の任意の時間に検出可能なタッチ入力とペン入力を含むシステムにおいて、かいじされるシステムと方法は、入力事象のための個々のデシメーション技術とパラメーターのセットを使用して、ペン入力のための技術とパラメーターの恐らくは異なるセットを使用する。一実施形態では、開示されたシステムと方法は、特定の入力デバイスによって実行されている動作に応じて相互作用の間の任意の時点でデシメーション技術を切り替えることを決定することもある。一実施形態では、所定のモダリティに関して採用されたスキームは、ユーザが別のモダリティで入力を開始するおよび/または終了する時期を変更することもある。
以前に記載されたように、インテリジェントデシメーションエンジンは本書類に記載の任意の数の個々のデシメーション技術を組み合わせてもよい。一実施形態では、システムは入力事象を発生させるユーザを考慮に入れる。例えば、数人のユーザを含むシステムでは、本開示されたシステムと方法は、最初のユーザに関する個々のデシメーション技術とパラメーターの1つのセットを使用し、一方で、別のユーザに関する技術とパラメーターの恐らくは異なるセットを使用することもある。さらに、ユーザ間の入力の区別に必要不可欠な事象は、上に記載されたUI境界上の事象に類似するデシメーションプロセスで与えられる過剰なおもりであることもある。
単一のモダリティでユーザからの複数の「点」(または領域)を追跡することが知られている−例えば、マルチタッチ入力はユーザとセンサとの間の複数の接点の追跡に備え、近接センサはセンサに近接するユーザの身体の複数の点の追跡に備える。いくつかの実施形態では、異なるスキームが個々の点に適用されてもよい。こうしたスキームは、限定されないが、ユーザ入力、システムにより認識される「ジェスチャ」、点の位置、デバイスを備えた追跡された物体(例えば、指先、またはペン先端)間の実際の物理的な接点の存在または不在、ユーザ入力の速度または期間などの1つ以上を含む複数の要因に基づいて選択されることもある。
以前に記載されたように、インテリジェントデシメーションエンジンは本書類に記載される任意の数の個々のデシメーション技術を組み合わせることもある。本実施形態では、システムは、デバイス上で実行されているアプリケーションを考慮に入れて、それに応じて多くのデシメーション技術とパラメーターの中から選択してもよい。
以前に記載されたように、インテリジェントデシメーションエンジンは入力スタックレイテンシを認識しており、および、入力事象、1または複数の構築事象に基づき、タッチ速度とシステムレイテンシ、あるいは将来のタッチ位置がどこになるのかを示す任意の類似アルゴリズムに基づく。
本実施形態では、デシメーションエンジンは、入力事象がユーザの意図の観点から曖昧な場合に、出力事象ストリーム中の入力事象ストリームからの入力事象を含めるのを待つこともある。一例として、タッチに敏感なディスプレイ上のタッチ(3901)によって生成される入力事象を伴う図39を考慮する。こうした入力事象は点だけでなく、入力事象に関連するタッチの領域も有する。2つのGUI要素(3606)にまたがる入力事象(3901)の場合には、本実施形態は、後の入力事象がユーザがどのGUI要素(3606)をターゲットにしているかを明確にするまで、あるいはタイムアウトが発生するまで、出力事象ストリーム中の入力事象に含まれるように待つこともある。
いったん入力がデシメート処理されると、システムは、デシメート処理されていない入力をスタックの他の層に利用できるようにしてもよい。入力事象のストリームとして、またはメモリデータバンクとして。この利用可能性は入力ストリームのリアルタイムに影響を与えない。
Claims (4)
- タッチセンス装置であって、
該タッチセンス装置は:
a.行と列を含むタッチインターフェース;
b.少なくとも複数の行それぞれで複数の信号を発生させるように構成される信号発生器;
c.列に存在するタッチ信号を処理することによってタッチインターフェース上のタッチを識別し、タッチ事象のストリームを出力するように構成されるタッチプロセッサ、
d.
i.タッチ事象のストリームを受信し、
ii.ストリームにおけるタッチ事象の1つ以上を選択的に識別し、および、
iii.タッチセンス装置によって使用されるタッチ事象の修正されたストリームを出力するように構成されるデシメーターであって、タッチ事象の修正されたストリームが選択的に識別されたタッチ事象を含まない、デシメーター、
e.複数のGUI要素を含むグラフィカルユーザーインターフェイスを表示するように構成される、ディスプレイを備え、
デシメーターが、ユーザーが相互作用しているGUIに関して、タッチセンス装置で実行中のソフトウェアからGUI要素境界情報を受け取り、デシメーションスキームを変更するためにGUI要素境界情報を用いるようにさらに構成され、および、
ここで、デシメーターは複数の異なるGUI要素内で発生するタッチ事象に、複数の異なるデシメーションスキームを適用するためにGUI要素境界情報を用いるように構成され、その結果、第1のGUI要素内で発生するタッチ事象が、第2のGUI要素内で発生するタッチ事象とは異なる適用されたデシメーションスキームを有する、タッチセンス装置。 - タッチセンス装置であって、
a.行と列を含むタッチインターフェース、
b.少なくとも複数の行でそれぞれ複数の信号を発生させるように構成される信号発生器、
c.列に存在するタッチ信号を処理することによってタッチインターフェース上のタッチを識別し、タッチ事象のストリームを出力するように構成されるタッチプロセッサ、
d.デシメーターであって、
i.タッチ事象のストリームを受け取り、
ii.タッチセンス装置によって使用されるストリーム中のタッチ事象の1つ以上を選択的に識別し、および、
iii.タッチセンス装置によって使用されるタッチ事象の出力ストリームを出力するように構成されるデシメーターであって、タッチ事象の出力ストリームは選択的に識別される1以上のタッチ事象を含む、デシメーター、
e.複数のGUI要素を含むグラフィカルユーザーインターフェイスを表示するように構成される、ディスプレイを備え、
ここで、デシメーターが、ユーザーが相互作用しているGUIに関して、タッチセンス装置で実行中のソフトウェアからGUI要素境界情報を受け取り、デシメーションスキームを変更するためにGUI要素境界情報を用いるようにさらに構成され、および、
ここで、デシメーターは複数の異なるGUI要素内で発生するタッチ事象に複数の異なるデシメーションスキームを適用するためにGUI要素境界情報を用いるように構成され、その結果、第1のGUI要素内で発生するタッチ事象が、第2のGUI要素内で発生するタッチ事象とは異なる適用されたデシメーションスキームを有する、タッチセンス装置。 - 複数の信号は複数の固有の直交信号を含む、請求項1または2に記載のタッチセンス装置。
- デシメーションスキームはスキームを含み、このスキームに基づいて、デシメーターがタッチ事象を発生させるか否か、および、発生させたタッチ事象をタッチ事象の修正されたストリームに加えるか否かを決定するように構成される、請求項1または2に記載のタッチセンス装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201461932047P | 2014-01-27 | 2014-01-27 | |
US61/932,047 | 2014-01-27 | ||
PCT/US2015/013131 WO2015113061A1 (en) | 2014-01-27 | 2015-01-27 | Decimation strategies for input event processing |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017510010A JP2017510010A (ja) | 2017-04-06 |
JP6688741B2 true JP6688741B2 (ja) | 2020-04-28 |
Family
ID=53682052
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016566873A Expired - Fee Related JP6688741B2 (ja) | 2014-01-27 | 2015-01-27 | 入力事象処理のためのデシメーション戦略 |
Country Status (12)
Country | Link |
---|---|
US (2) | US9846920B2 (ja) |
EP (1) | EP3100145B1 (ja) |
JP (1) | JP6688741B2 (ja) |
KR (1) | KR20160120298A (ja) |
CN (1) | CN106164827B (ja) |
AU (1) | AU2015209027A1 (ja) |
BR (1) | BR112016017474A2 (ja) |
CA (1) | CA2938101A1 (ja) |
IL (1) | IL246953A0 (ja) |
MX (1) | MX2016009800A (ja) |
SG (1) | SG11201606159RA (ja) |
WO (1) | WO2015113061A1 (ja) |
Families Citing this family (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN106030483B (zh) | 2014-02-18 | 2019-12-17 | 剑桥触控科技有限公司 | 使用压感触摸的触摸屏的功率模式的动态切换 |
KR102397964B1 (ko) * | 2014-12-09 | 2022-05-12 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | 동적 전송 프로토콜을 갖는 스타일러스 |
US10739875B2 (en) * | 2015-01-04 | 2020-08-11 | Microsoft Technology Licensing, Llc | Active stylus communication with a digitizer |
US10394392B2 (en) * | 2015-01-14 | 2019-08-27 | Atmel Corporation | Object detection and scan |
US10485056B2 (en) * | 2015-10-13 | 2019-11-19 | Lenovo (Singapore) Pte. Ltd. | Sensor based interface adjustment |
GB2544307B (en) | 2015-11-12 | 2018-02-07 | Cambridge Touch Tech Ltd | Processing signals from a touchscreen panel |
US10275016B2 (en) * | 2015-12-21 | 2019-04-30 | Intel Corporation | Smart power adapters and related systems and methods |
CN105677121B (zh) * | 2016-01-05 | 2018-09-04 | 京东方科技集团股份有限公司 | 触控判定装置及方法和显示装置 |
WO2017136540A1 (en) * | 2016-02-02 | 2017-08-10 | Tactual Labs Co. | Area filtering for low-latency and high-latency input event paths from a single touch sensor |
GB2547031B (en) | 2016-02-05 | 2019-09-25 | Cambridge Touch Tech Ltd | Touchscreen panel signal processing |
US20170302908A1 (en) * | 2016-04-19 | 2017-10-19 | Motorola Mobility Llc | Method and apparatus for user interaction for virtual measurement using a depth camera system |
US20180059819A1 (en) * | 2016-08-25 | 2018-03-01 | Tactual Labs Co. | Touch-sensitive objects |
US10061430B2 (en) * | 2016-09-07 | 2018-08-28 | Synaptics Incorporated | Touch force estimation |
CN108958518B (zh) * | 2017-05-18 | 2021-08-06 | 群创光电股份有限公司 | 触控系统及其控制方法 |
WO2018232695A1 (zh) * | 2017-06-22 | 2018-12-27 | 深圳市汇顶科技股份有限公司 | 触摸屏当前基准值的更新方法、装置、触摸屏及电子终端 |
US10797697B2 (en) * | 2017-08-02 | 2020-10-06 | Tactual Labs Co. | Phase relationship sensing system |
US10642387B2 (en) * | 2018-03-22 | 2020-05-05 | Qualcomm Incorporated | Apparatus and method for digitally driving touchscreen panels with transmit signals based on pulse width modulated (PWM) signals |
US10649532B2 (en) * | 2018-06-15 | 2020-05-12 | Immersion Corporation | Systems and methods for multi-rate control of haptic effects with sensor fusion |
US11157099B2 (en) * | 2019-08-05 | 2021-10-26 | Adx Research, Inc. | Electronic writing device and a method for operating the same |
USD962285S1 (en) * | 2020-11-19 | 2022-08-30 | Samsung Electronics Co., Ltd. | Display screen or portion thereof with icon |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3817281B2 (ja) * | 1995-07-31 | 2006-09-06 | キヤノン株式会社 | 情報処理装置及び方法 |
JP4346814B2 (ja) * | 2000-12-27 | 2009-10-21 | キヤノン株式会社 | 情報処理装置及びその方法、コンピュータ可読メモリ、プログラム |
US8525799B1 (en) * | 2007-04-24 | 2013-09-03 | Cypress Semiconductor Conductor | Detecting multiple simultaneous touches on a touch-sensor device |
US20090112957A1 (en) * | 2007-10-31 | 2009-04-30 | Daniel Yves Abramovitch | System and methods for data sample decimation and display of scanning probe microscope images |
US8711121B2 (en) | 2008-12-12 | 2014-04-29 | Wacom Co., Ltd. | Architecture and method for multi-aspect touchscreen scanning |
US8823749B2 (en) * | 2009-06-10 | 2014-09-02 | Qualcomm Incorporated | User interface methods providing continuous zoom functionality |
US8791907B2 (en) * | 2009-08-19 | 2014-07-29 | U-Pixel Technologies Inc. | Touch sensing apparatus and method using different modulated driving signals |
KR101652828B1 (ko) * | 2010-05-20 | 2016-08-31 | 삼성전자주식회사 | 터치 센싱 시스템에서 적응형 디지털 필터링 방법 및 장치 |
US20130120280A1 (en) * | 2010-05-28 | 2013-05-16 | Tim Kukulski | System and Method for Evaluating Interoperability of Gesture Recognizers |
US8605054B2 (en) * | 2010-09-02 | 2013-12-10 | Texas Instruments Incorporated | Touch-sensitive interface and method using orthogonal signaling |
US8487893B2 (en) * | 2011-05-16 | 2013-07-16 | Pixart Imaging, Inc. | Automatic gain control for capacitive touch panel sensing system |
JP5776448B2 (ja) * | 2011-08-30 | 2015-09-09 | 富士ゼロックス株式会社 | 情報処理装置、撮像装置及びプログラム |
JP5533847B2 (ja) * | 2011-11-24 | 2014-06-25 | コニカミノルタ株式会社 | 入力表示装置およびプログラム |
US8937606B2 (en) * | 2012-01-09 | 2015-01-20 | Broadcom Corporation | Orthogonal multi-row touch panel stimulation |
US20140306987A1 (en) * | 2013-04-11 | 2014-10-16 | Snibbe Interactive, Inc. | Methods and Systems for Visualizing and Ranking Connected Media Content |
US9043850B2 (en) * | 2013-06-17 | 2015-05-26 | Spotify Ab | System and method for switching between media streams while providing a seamless user experience |
US9727166B2 (en) * | 2013-07-05 | 2017-08-08 | Sharp Kabushiki Kaisha | Proximity-dependent adjustable-signal touch panel system |
-
2015
- 2015-01-27 MX MX2016009800A patent/MX2016009800A/es unknown
- 2015-01-27 EP EP15740553.1A patent/EP3100145B1/en not_active Not-in-force
- 2015-01-27 US US14/606,903 patent/US9846920B2/en active Active
- 2015-01-27 AU AU2015209027A patent/AU2015209027A1/en not_active Abandoned
- 2015-01-27 WO PCT/US2015/013131 patent/WO2015113061A1/en active Application Filing
- 2015-01-27 JP JP2016566873A patent/JP6688741B2/ja not_active Expired - Fee Related
- 2015-01-27 CA CA2938101A patent/CA2938101A1/en not_active Abandoned
- 2015-01-27 SG SG11201606159RA patent/SG11201606159RA/en unknown
- 2015-01-27 BR BR112016017474-7A patent/BR112016017474A2/pt not_active Application Discontinuation
- 2015-01-27 KR KR1020167023282A patent/KR20160120298A/ko not_active Application Discontinuation
- 2015-01-27 CN CN201580016037.6A patent/CN106164827B/zh not_active Expired - Fee Related
-
2016
- 2016-07-26 IL IL246953A patent/IL246953A0/en unknown
-
2017
- 2017-11-07 US US15/805,866 patent/US9990696B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US9846920B2 (en) | 2017-12-19 |
US20180061005A1 (en) | 2018-03-01 |
WO2015113061A9 (en) | 2016-09-01 |
CN106164827B (zh) | 2019-07-16 |
EP3100145A1 (en) | 2016-12-07 |
IL246953A0 (en) | 2016-09-29 |
SG11201606159RA (en) | 2016-08-30 |
JP2017510010A (ja) | 2017-04-06 |
WO2015113061A1 (en) | 2015-07-30 |
US20150302554A1 (en) | 2015-10-22 |
CN106164827A (zh) | 2016-11-23 |
MX2016009800A (es) | 2017-01-23 |
BR112016017474A2 (pt) | 2018-05-08 |
EP3100145B1 (en) | 2018-12-19 |
CA2938101A1 (en) | 2015-07-30 |
AU2015209027A1 (en) | 2016-08-18 |
US9990696B2 (en) | 2018-06-05 |
KR20160120298A (ko) | 2016-10-17 |
EP3100145A4 (en) | 2017-08-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6688741B2 (ja) | 入力事象処理のためのデシメーション戦略 | |
US10551985B2 (en) | Fast multi-touch noise reduction | |
US20230176692A1 (en) | Dynamic assignment of possible channels in a touch sensor | |
JP6315354B2 (ja) | タッチセンサにおける周波数変換 | |
JP6487935B2 (ja) | 直交信号伝達のタッチによりユーザ、手、及び物体を識別するシステム及び方法 | |
US20180299994A1 (en) | Fast multi-touch stylus and sensor | |
JP2018502382A (ja) | 投影型容量式タッチセンサにおけるクロストークの低減のための差動伝送 | |
US10261646B2 (en) | Fast multi-touch sensor with user identification techniques | |
US20150301577A1 (en) | Device and method for operating at mitigated sensitivity in a touch sensitive device | |
US10620746B2 (en) | Decimation supplementation strategies for input event processing |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160915 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180112 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190313 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190531 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20191017 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200214 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20200225 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200318 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200406 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6688741 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |