JP6688741B2 - 入力事象処理のためのデシメーション戦略 - Google Patents

入力事象処理のためのデシメーション戦略 Download PDF

Info

Publication number
JP6688741B2
JP6688741B2 JP2016566873A JP2016566873A JP6688741B2 JP 6688741 B2 JP6688741 B2 JP 6688741B2 JP 2016566873 A JP2016566873 A JP 2016566873A JP 2016566873 A JP2016566873 A JP 2016566873A JP 6688741 B2 JP6688741 B2 JP 6688741B2
Authority
JP
Japan
Prior art keywords
touch
signal
sensor
row
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2016566873A
Other languages
English (en)
Other versions
JP2017510010A (ja
Inventor
ホルヘ ホタ コスタ,リカルド
ホルヘ ホタ コスタ,リカルド
フォーラインズ,クリフトン
ウィグダー,ダニエル
レオナルド サンダース,スティーブン
レオナルド サンダース,スティーブン
Original Assignee
タクチュアル ラブズ シーオー.
タクチュアル ラブズ シーオー.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by タクチュアル ラブズ シーオー., タクチュアル ラブズ シーオー. filed Critical タクチュアル ラブズ シーオー.
Publication of JP2017510010A publication Critical patent/JP2017510010A/ja
Application granted granted Critical
Publication of JP6688741B2 publication Critical patent/JP6688741B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/04166Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • G06F3/04162Control or interface arrangements specially adapted for digitisers for exchanging data with external devices, e.g. smart pens, via the digitiser sensing hardware
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0428Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G06F3/0442Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means using active external devices, e.g. active pens, for transmitting changes in electrical potential to be received by the digitiser
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G06F3/0446Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means using a grid-like structure of electrodes in at least two directions, e.g. using row and column electrodes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4023Decimation- or insertion-based scaling, e.g. pixel or line decimation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/041012.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04808Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Description

本出願は、2014年1月27日出願の米国仮特許出願第61/932,047号の非仮特許出願であり、その全体の開示は参照により本明細書に組み込まれる。
<分野>
開示されたシステム及び方法は、通常はユーザ入力の分野に、特に、高速マルチタッチセンサにおいて減速する更新レートを提供するユーザ入力システムに関する。
本開示の前述及び他の物体、特徴、及び利点は、添付図面に示されるような実施形態の、以下のより詳細な記載より明らかとなり、図中、参照文字は様々な視点を通じて同じ部分を指す。図面は、必ずしも正確な縮尺ではなく、その代わりに重点は、開示された実施形態の原理を概説することに置かれている。
低レイテンシのタッチセンサ装置の実施形態を示す、高位のブロック図を提供する。 低レイテンシのタッチセンサ装置の実施形態に使用され得る導電路を渡るためのレイアウトの実施形態を示す。 フィールド平坦化の手順を示すブロック図を示す。 局大値(local maximum)の周囲にある4つの接続された近傍部を示す略図を示す。 局大値の周囲にある8つの接続された近傍部を示す略図を示す。 非対称のタッチ点に対する楕円形の適合を示す幾何学的な図を示す。 ノイズ低減のために構成される低レイテンシのタッチセンサ装置の実施形態を示す、高位のブロック図を提供する。 信号の発生と送信のスキームの単純化された図表の実例である。 信号の発生と送信のスキームの単純化された図表の実例である。 信号の発生と送信のスキームの単純化された図表の実例である。 信号の発生と送信のスキームの単純化された図表の実例である。 信号の発生と送信のスキームの単純化された図表の実例である。 信号の発生と送信のスキームの単純化された図表の実例である。 開示されたシステム及び方法の実施形態に係るユーザ識別技術を示す、側面図を示す。 開示されたシステム及び方法の実施形態に係る、高速マルチタッチスタイラスを示す斜視図を示す。 開示されたシステム及び方法の実施形態に係る、高速マルチタッチスタイラスを示す斜視図を示す。 センサシート及びアクティブ光スタイラスを示す、平面図を示す。 センサシート及びアクティブ光スタイラスを示す、側面図を示す。 開示されたアクティブ光スタイラスの実施形態に係る、センサシートにおける内面反射を示す、側面図を示す。 開示されたアクティブ光スタイラスの実施形態に係る、角度フィルタ(angular filter)の使用を示す、側面図を示す。 アクティブ光スタイラスによりセンサシート上に放射されたパターンを示す、側面図を示す。 センサシートの縁に沿ってアクティブ光スタイラスにより放射されたスポットの幾何学的な投影図を示す。 センサシートの縁に沿ってアクティブ光スタイラスにより放射されたスポットの幾何学的な投影図を示す。 センサシートの縁に沿ってアクティブ光スタイラスにより放射されたスポットの幾何学的な投影図を示す。 センサシート上に投射された複数のパターンを示す平面図を示す。 同一人物の2本の手によりタッチされた場合の、直交信号伝達センサにおけるクロストークを示す概略的な平面図を示す。 異なる人物の2本の手によりタッチされた場合の、直交信号伝達センサにおけるクロストークの不足を示す概略的な平面図を示す。 2つのタッチが行又は列を共有する場合に生じる問題を示す、センサの概略的な平面図を示す。 本明細書に開示されたユーザ、手、及び物体の識別システムの実施形態を示す概略的な平面図であり、ここで、タッチスクリーン及び/又はプロセッサは、全ての行と全ての列に直交信号を生成し、且つ全ての行と全ての列の上で全ての信号を感知するように、修正される。 一人のユーザがディスプレイ上で2つのタッチを行い、1つの行からの信号がユーザの身体を通って別の行に進む例を示す、センサの概略的な平面図を示す。 信号がユーザの手を介して結合される例を示す、センサの概略的な平面図を示す。 2つのタッチが二人の異なるユーザにより行われ、ユーザ間を移動する信号のための経路が存在しないために行と行の結合又は列と列の結合が存在しない例を示す、センサの概略的な平面図を示す。 センサの上部に留まる物体を示す概略的な平面図を示す。 デシメーションプロセスを示す概略図を示す。 デシメーションプロセスを示す概略図を示す。 デシメーションプロセスを示す概略図を示す。 「毎Nのフレーム」によるインテリジェントデシメーションの例を示す概略図を示す。 「毎Xのマイクロ秒」によるインテリジェントデシメーションの例を示す概略図を示す。 入力が行われるディスプレイ、又はその一部の実例を示す。 入力が行われるディスプレイ、又はその一部の実例を示す。 入力が行われるディスプレイ、又はその一部の実例を示す。 入力が行われるディスプレイ、又はその一部の実例を示す。
本出願は、「Hybrid Systems And Methods For Low−Latency User Input Processing And Feedback」と題された2013年10月4日出願の米国特許出願第14/046,819号、「Low−Latency Touch Sensitive Device」と題された2013年3月15日出願の米国特許出願第13/841,436号、「Fast Multi−Touch Stylus」と題された2013年3月15日出願の米国仮特許出願第61/798,948号、「Fast Multi−Touch Sensor With User−Identification Techniques」と題された2013年3月15日出願の米国仮特許出願第61/799,035号、「Fast Multi−Touch Noise Reduction」と題された2013年3月15日出願の米国仮特許出願第61/798,828号、「Active Optical Stylus」と題された2013年3月15日出願の米国仮特許出願第61/798,708号、「Hybrid Systems And Methods For Low−Latency User Input Processing And Feedback」と題された2013年10月5日出願の米国仮特許出願第61/710,256号、「Fast Multi−Touch Post Processing」と題された2013年7月12日出願の米国仮特許出願第61/845,892号、「Reducing Control Response Latency With Defined Cross−Control Behavior」と題された2013年7月12日出願の米国仮特許出願第61/845,879号、「Systems And Methods For Providing Response To User Input Using Information About State Changes And Predicting Future User Input」と題された2013年9月18日出願の米国仮特許出願第61/879,245号、「Systems And Methods For Providing Response To User Input Using Information About State Changes And Predicting Future User Input」と題された2013年9月21日出願の米国仮特許出願第61/880,887号、「Hybrid Systems And Methods For Low−Latency User Input Processing And Feedback」と題された2013年10月4日出願の米国特許出願第14/046,823号、「Fast Multi−Touch Post Processing」と題された2013年11月1日出願の米国特許出願第14/069,609号、「Touch And Stylus Latency Testing Apparatus」と題された2013年10月7日出願の米国仮特許出願第61/887,615号に開示される、高速マルチタッチセンサ及び他のインターフェース等の、ユーザインターフェースに関するものである。それらの出願の全体的な開示は、参照により本明細書に組み込まれる。
様々な実施形態において、本開示は、異なる手、ユーザ又は物体(例えばスタイラス)により生成されたタッチ点を装置が区別することを可能にすることに焦点を当てた、タッチ面上のタッチ点のソースを区別するためのシステム及び方法に関する。開示された技術は、物体、手、又はユーザを識別するためにも使用され得る。
本開示の全体にわたり、用語「タッチ(touch)」、「タッチ(touches)」、「接触(contact)」、「接触(contacts)」、又は他の記述語は、ユーザの指、スタイラス、物体、又は身体部分がセンサにより検出される、事象又は期間について記載するために使用されてもよい。幾つかの実施形態において、これらの検出が、ユーザが、センサ、又はそれが埋め込まれた装置と物理的に接触した場合にのみ、生じる。他の実施形態において、センサは、タッチ表面上の距離をホバリングしているか、又はさもなくばタッチセンス装置から分離されている、「タッチ」又は「接触」の検出を可能にするように調整されてもよい。それ故、感知された物理的接触に対する依存を示唆するこの記載における言語の使用は、記載された技術がそれら実施形態のみを適用し;実際に、本明細書に記載されるもののほぼ全て、そして一部が「タッチ」及び「ホバー」のセンサに等しく適用されることを意味すると、捉えられるべきではない。他のタイプのセンサは、本明細書に開示される実施形態に関連して利用することができ、カメラ、近接センサ、光センサ、折率(turn−rate)センサ、ジャイロスコープ、磁力計、熱センサ、圧力センサ、力覚センサ、容量式タッチセンサ、パワーマネジメント集積回路の読み取り、キーボード、マウス、運動センサなどを含む。
本明細書に開示された直交信号伝達のタッチによりユーザ、手、及び物体を識別するシステム及び方法は、容量式タッチセンサに関連して都合が良く、特に、限定されないが、周波数分割多重化(FDM)、符号分割多重化(CDM)、又はFDMとCDMの両方の方法を組み合わせたハイブリッド変調技術などの、直交信号伝達に基づいた多重化方式を使用する、容量式タッチセンサに都合が良い。本明細書における周波数に対する言及は、他の直交信号のベースも指す場合がある。そのため、本出願は、本出願人の以前の出願である、「Low−Latency Touch Sensitive Device」と題された2013年3月15日出願の米国特許出願第13/841,436号、及び「Fast Multi−Touch Post Processing」と題された2013年11月1日出願の米国特許出願第14/069,609号を、参照により組み込む。「これら出願は、本明細書に開示された直交信号伝達のタッチによりユーザ、手、及び物体を識別するシステム及び方法に関連して使用され得る、容量式のFDM、CDM、又はFDM/CDMのハイブリッドタッチセンサを考慮する。そのようなセンサにおいて、行からの信号が列に結合され、その列の上で受信される場合に、タッチが感知される。
本開示は最初に、デシメーション及び効果の生成のための本件システム及び方法に対する、高速マルチタッチセンサの操作について記載する。可能なチャネルの動的割当のための、本明細書に開示された方法の詳細は後に、以下の見出し「デシメーション戦略」の下で更に記載される。
本明細書で使用されるように、句「タッチ事象」及び単語「タッチ」は、名詞として使用される場合、近くのタッチ、及び近くのタッチ事象、又はセンサを使用して識別され得る他のジェスチャを含む。一実施形態に従い、タッチ事象は、非常に低いレイテンシ(例えば、約10ミリ秒以下、又は約1ミリ秒未満)で、検出され、処理され、及び、ダウンストリームの計算プロセスに供給される場合がある。
一実施形態において、開示された高速マルチタッチセンサは、タッチ事象の高い更新レート及び低レイテンシの測定のために増強された、投影型の(projected)容量方式を利用する。この技術は、上記の利点を得るためにハードウェア及びより高周波数の波形を平行して使用することができる。また、感度が良くてロバストな測定を行なうための方法も開示され、該方法は、透明なディスプレイ表面上で使用されてもよく、且つ、この技術を使用する製品の安価な製造を可能にする場合もある。この点において、本明細書に使用されるような「容量式物体」は、指、人体の他の部分、スタイラス、又は、センサの感度が良い任意の物体であり得る。本明細書に開示されたセンサ及び方法は、静電容量に依存する必要はない。以下に開示される光学センサの実施形態に関して、このような実施形態は、タッチ事象を感知するためにフォトントンネリング及び光漏出を利用し、本明細書に使用されるような「容量式物体」は、そのような感知に適合自在な、スタイラス又は指などの任意の物体を含む。同様に、本明細書に使用されるような「タッチ位置」及び「タッチセンス装置」は、容量式物体と開示されたセンサとの間に実際のタッチ接触を必要としない。
図1は、一実施形態に従った高速マルチタッチセンサ(100)の特定の原理を示す。参照番号(200)では、異なる信号が表面の行の各々に送信される。信号は、「直交」(即ち、互いに分離自在且つ区別自在)となるように設計される。参照番号(300)では、受信器は各列に付けられる。受信器は、送信信号の何れか、又はそれらの恣意的な組み合わせを受信するように、及び、列に存在する直交送信信号の各々の量を個々に測定するように、設計される。センサのタッチ面(400)は、一連の行と列(全て図示されず)を含み、それに沿って直交信号は伝搬することができる。一実施形態において、行と列は、それらがタッチ事象に供されない場合、より少量の又は微小な量の信号がその間で結合され、その一方で、行と列がタッチ事象に供されると、より多量の又は微小でない量の信号がその間で結合されるように、設計される。(一実施形態において、その逆も可能であり、即ち、信号が少なければタッチ事象を表わし、信号が多ければタッチの不足を表わす。)上記で議論されたように、タッチ、又はタッチ事象は、物理的なタッチではなく、むしろ、繋がれた信号のレベルに影響を及ぼす事象を必要とする。
図1を引き続き参照すると、一実施形態において、概略的に、行と列の両方の近接におけるタッチ事象の容量性の結果は、行の上に存在する微小でない量の信号を列に結合する場合もある。更に概略的に、タッチ事象は、列の上で受信信号を生じさせ、及び故にその受信信号に対応する。行の上の信号が直交であるので、多数の行の信号は列に結合され、受信器により区別され得る。同様に、各行の上の信号は多数の列に結合され得る。与えられた行に結合された各列について、その列に見出される信号は、どの行が列と同時にタッチされているかを示す情報を包含している。受信された各信号の量は通常、対応する信号を運ぶ列と行の間の結合の量に関連し、及び故に、表面までのタッチ物体の距離、タッチ及び/又はタッチの圧力により覆われる表面の領域を示す場合がある。
行と列が同時にタッチされると、行の上に存在する信号の幾つかが、対応する列に結合される。(上記で議論したように、用語「タッチ」又は「タッチした」は、実際の物理的な接触ではなく、相対的な接近を要求する。)実際に、タッチ装置の様々な実施において、行及び/又は列との物理的接触は、行及び/又は列と、指又は他のタッチの物体との間に保護バリヤがあるので、起こりそうもない。更に、通常、行と列自体は互いにタッチの状態にあらず、むしろ、微小な量の信号よりも多くがその間に結合されるのを防ぐように近接して配される。一般的に、行と列の結合は、その間での実際の接触によるものでも、指又は他のタッチの物体からの実際の接触によるものではなく、むしろ、指(又は他の物体)を接近させることによる容量性の効果によってもたらされるものであり、容量性の効果をもたらす近接は、タッチとして本明細書で言及される。
行と列の性質は恣意的であり、特定の配向は関連性がない。実際、用語「行」と「列」は、四方格子よりもむしろ、信号が送信される導体のセット(行)、及び、信号が繋がれ得る導体のセット(列)を指すように意図される。行と列が格子の中にある必要は全くない。タッチ事象が「行」の一部及び「列」の一部にタッチする限り、他の形状が可能であり、且つ結合の幾つかの形態を生じさせる。例えば、「行」は同心円にあり、「列」は中心から外に放射するスポーク(spokes)であり得る。更に、信号の伝搬チャネルが2種類のみである必要はない:行と列の代わりに、一実施形態において、チャネル「A」、「B」、及び「C」を設けてもよく、そこでは、「A」に送信された信号は「B」及び「C」で受信され、又は、一実施形態において、「A」及び「B」に送信された信号は「C」で受信され得る。信号の伝搬チャネルが機能を交互に行い、時に送信器を支援し且つ時に受信器を支援し得ることも、可能である。単に「行」及び「列ではなく、3種類以上のアンテナ導体が使用されてもよい。多くの代替的な実施形態が可能であり、これらは本開示を考慮した後に当業者に明白となるであろう。
上述のように、一実施形態において、タッチ面(400)は、一連の行と列とで構成され、信号はそれに沿って伝搬され得る。上記で議論されるように、行と列は、接触させられない場合に、微小な量の信号がその間に結合されるように設計される。更に、異なる信号が行の各々に送信される。一実施形態において、これら異なる信号の各々は、互いに直交している(即ち、分離自在且つ区別自在である)。行と列が同時にタッチされると、行の上にある微小でない量の信号が、対応する列に結合される。列に結合される信号の量は、タッチの圧力又は領域に関係する場合がある。
受信器(300)が各列に付けられる。受信器は、微小でない量の直交信号の何れか、又は直交信号の恣意的な組み合わせを受信するように、且つ、微小でない量の信号を提供する列を識別するように設計される。一実施形態において、受信器は、その列にある直交の送信信号の各々の量を測定する場合もある。このように、各列にタッチした状態にある行の識別に加えて、受信器は、タッチに関する付加的な(例えば、質的な)情報を提供することができる。概して、タッチ事象は、列の上で受信信号に対応する場合もある。各列について、その上で受信された異なる信号は、どの対応する行が、その列と同時にタッチさせられるのかを示す。一実施形態において、受信された各信号の微小でない量は、対応する行と列の間に結合される量に関係し、且つ、タッチによって覆われる表面の領域、タッチの圧力などを示す場合もある。
<単純なシヌソイドの実施形態>
一実施形態において、行に送信される直交信号は、未変調のシヌソイドであってもよく、その各々が異なる周波数を有しており、該周波数は、受信器において互いに容易に区別され得るように選択される。一実施形態において、周波数は、受信器において互いに容易に区別され得るように、それらの間に十分な間隔を設けるように選択される。一実施形態において、単純な倍音関係は、選択された周波数の間には存在しない。単純な倍音関係の欠如は、1つの信号に別の信号を模倣させ得る、非線形のアーチファクト(non−linear artifacts)を軽減する場合がある。
通常、隣接する周波数の間の間隔が一定であり、且つ最も高い周波数が最低の周波数の2倍未満である、周波数の「コム(comb)」は、周波数間の間隔であるΔfが、測定期間τの少なくとも逆数である場合に、これらの基準を満たすことになる。例えば、どの行の信号が1ミリ秒(τ)につき1回存在するかを判定するために、(例えば、列からの)信号の組み合わせを測定することが好ましい場合、その後、周波数間隔(Δf)は1キロヘルツより高くなければならない(即ち、Δf>1/τ)。この計算に従い、わずか10の行しかない例の場合において、以下の周波数を使用することが可能である:
周波数間隔が、ロバストな設計を可能にするためにこの最小よりも実質的に大きい場合があることが、当業者に明白となるであろう。一例として、0.5cmの行/列の間隔を持つ20cm×20cmのタッチ面は、40の行と40の列を必要とし、40の異なる周波数でシヌソイドを必要とする。1ミリ秒につき1の分析速度は1kHzの間隔しか必要としない一方、恣意的に大きな間隔は、より多くのロバストな実施のために利用される。恣意的に大きな間隔は、最高周波数が最低周波数よりも2倍より大きくてはならない(即ち、fmax<2(fmin))という制約に従う。この例において、5MHzで設定される最低周波数を持つ100kHzの周波数間隔が使用されてもよく、これにより、5.0MHz、5.1MHz、5.2MHzなどの、最大8.9MHzまでの周波数リストを得る。
一実施形態において、リスト上のシヌソイドの各々は、信号発生器によって生成され、送信器によって別個の行に送信されてもよい。同時にタッチさせられる行と列を識別するために、受信器は、列に存在する任意の信号を受信し、信号プロセッサは、もしあれば、リスト上にどの周波数が現れるかを判定するために信号を分析する。一実施形態において、識別は、周波数分析技術(例えば、フーリエ変換)により、又はフィルタバンクの使用により支援され得る。
一実施形態において、各列の信号から、受信器は、その列の上の信号に見出される周波数のリストから各周波数の強度を判定することができる。周波数の強度が幾つかの閾値よりも大きい実施形態において、信号プロセッサは、その周波数に対応する列と行との間にタッチ事象が存在することを識別する。一実施形態において、行/列の交差からのタッチの距離、タッチ物体の大きさ、物体が押し下がる圧力、タッチされる行/列の交差の部分等を含む、様々な物理現象に対応し得る信号強度の情報が、タッチ事象の領域を局在化するための支援として使用されてもよい。
一旦、信号の強度が(行に対応する)少なくとも2つの周波数、又は少なくとも2つの列について計算されると、二次元マップが作成され得、信号強度は、その行/列の交差におけるマップの値である。一実施形態において、信号の強度は、各列の上にある各周波数について計算される。一旦、信号強度が計算されると、二次元マップが作成され得る。一実施形態において、信号強度は、その行/列の交差におけるマップの値である。一実施形態において、異なる周波数でのタッチ面における物理的相違により、信号強度は、与えられたタッチのために標準化、或いは較正される必要がある。同様に、一実施形態において、タッチ面に渡る又は交差の間にある物理的相違により、信号の強度は、与えられたタッチのために標準化、或いは較正される必要がある。
一実施形態において、二次元マップのデータは、タッチ事象をより良く識別、判定、又は分離するために閾値処理(thresholded)されてもよい。一実施形態において、二次元マップのデータは、表面をタッチする物体の形状や配向などに関する情報を推測するために使用されてもよい。
行に送信される信号の議論に戻って、シヌソイドは、上述の構成において使用され得る唯一の直交信号ではない。実際に、上記で議論されるように、互いに区別され得る信号の任意のセットが、機能することになる。それにもかかわらず、シヌソイドは、より単純な工学技術、及び、この技術を使用する装置の更にコスト効率の良い製造を可能にし得る、幾つかの都合のより特性を持つ場合がある。例えば、シヌソイドは、(定義により)非常に狭い周波数特性を有しており、DCの付近で低周波数に及ぶ(extend down)必要はない。更に、シヌソイドは、1/fのノイズによる影響を比較的受けず、このノイズは、より低い周波数にまで及ぶ、より広域な信号に影響を及ぼし得る。
一実施形態において、シヌソイドはフィルタバンクにより検出されてもよい。一実施形態において、シヌソイドは周波数分析技術(例えばフーリエ変換)により検出されてもよい。周波数分析技術は比較的効率的な方法で実施されてもよく、及び、優れたダイナミックレンジの特徴を有する傾向があり、それらが大多数の同時のシヌソイド間で検出及び区別することを可能にする。広範囲の信号処理期間において、受信器の複数のシヌソイドの復号化は、周波数分割多重化の形態として考慮されてもよい。一実施形態において、時分割及び符号分割多重化などの他の変調技術も使用され得る。時分割多重化は、優れたダイナミックレンジの特徴を有しているが、典型的には、限定された時間がタッチ面への送信(又は、そこからの受信信号の分析)に費やされることを必要とされる。符号分割多重化は、周波数分割多重化と同様の同時の性質を有しているが、ダイナミックレンジの問題に遭遇する場合もあり、且つ複数の同時信号の間で容易に区別されない場合もある。
<変調されたシヌソイドの実施形態>
一実施形態において、変調されたシヌソイドは、上述のシヌソイドの実施形態の代わりとして、それと組み合わせて、及び/又は、それを改良したものとして(as an enhancement of)、使用され得る。未変調のシヌソイドの使用は、タッチ面付近の他の装置に無線周波干渉を引き起こし、故に、それらを使用する装置は、規定上の試験(例えばFCC、CE)を通過するという問題に遭遇する場合がある。加えて、未変調のシヌソイドの使用は、精密な(deliberate)送信器又は他の干渉装置(恐らく、別の同一のタッチ面)の何れかから、環境における他のシヌソイドからの干渉を受けやすい場合もある。一実施形態において、そのような干渉は、記載の装置において、誤った又は劣化したタッチ測定を引き起こし得る。
一実施形態において、干渉を回避するために、シヌソイドは、信号が受信器に達すると復調され得る(撹拌されない(unstirred))方法で、送信器によって送信される前に変調されるか、又は「撹拌され(stirred)」得る。一実施形態において、可逆的な変換(又は、ほぼ可逆的な変換)が、変換が補われ、且つ信号が受信器に達すると実質的に復元され得るように、信号を変調するために使用されてもよい。当業者にも明白となるように、本明細書に記載されるようなタッチ装置において変調技術を使用して放出又は受信される信号は、他のものとはあまり関連付けられず、故に、環境中に存在する他の信号に類似し、及び/又は他の信号からの干渉に供されると考えられるよりもむしろ、単なるノイズのように作用する。
一実施形態において、利用される変調技術は、送信されたデータに、かなり無作為に又は少なくとも不自然に、装置動作の環境において現われる。2つの変調スキームが以下に議論される:周波数変調及び直接シーケンススペクトラム拡散変調。
<周波数変調>
シヌソイドの全体のセットの周波数変調は、「それらを不鮮明にする(smearing them out)」ことにより同じ周波数でそれらが現われることを回避する。規定上の試験は通常、固定周波数に関係があるので、変調された周波数である送信されたシヌソイドは低い振幅で現われ、故に、懸念の対象であるようには思われない。受信器への任意のシヌソイド入力を受信器が「不鮮明にしない(un−smear)」ため、等しく且つ対称的な様式で、精密に変調されて送信されたシヌソイドは復調され得、その後、それらが変調前に行われるように実質的に現れる。しかし、環境から進入する(例えば、干渉する)任意の固定周波数のシヌソイドは、「不鮮明にしない」操作によって「不鮮明にされ」、故に、意図した信号に対する効果の減少又は排除が生じることになる。従って、さもなければセンサへと引き起こされ得る干渉は、例えば、一実施形態においてタッチセンサに使用される周波数のコムに対し、周波数変調を使用することにより和らげられる。
一実施形態において、シヌソイドの全体のセットは、それ自体が変調される単一基準周波数から全てを生成することにより、変調された周波数であってもよい。例えば、100kHzの間隔を持つ1セットのシヌソイドは、同じ100kHzの基準周波数に異なる整数を掛けることにより生成され得る。一実施形態において、この技術は位相ロックループを使用して遂行することができる。最初の5.0MHzのシヌソイドを生成するために、基準に50を掛けたり、5.1MHzのシヌソイドを生成したりするために、基準に51を掛けるといったことが、可能である。受信器は、検出と復調の機能を行なうために、同じ変調された基準を使用することができる。
<直接シーケンススペクトラム拡散変調>
一実施形態において、シヌソイドは、送信器と受信器の両方に知らされる、偽似乱数の(又は真に乱数の)スケジュール上で定期的にそれらを反転することにより、復調されてもよい。故に、一実施形態において、各シヌソイドがその対応する行に送信される前に、各シヌソイドは、選択可能なインバータ回路を通過し、その出力は、「反転選択」入力の状態に依存して、+1又は−1を掛けた受信信号である。一実施形態において、これら「反転選択」入力は全て、同じ信号から駆動され、それにより、各行のシヌソイドは全て、同時に+1又は−1を掛けられる。一実施形態において、「反転選択」入力を駆動する信号は、任意の信号から独立した疑似乱数の機能、又は、環境に存在するかもしれない機能であってもよい。シヌソイドの擬似乱数の反転は、周波数においてシヌソイドを拡散して、シヌソイドが接触し得る任意の装置を無視できるほどにしか干渉しないように、ランダムノイズのように現せる。
受信器側で、列からの信号は、行の上の信号と同じ擬似乱数の信号によって駆動される、選択可能な反転回路を通過するかもしれない。結果は、たとえ送信信号が周波数において拡散されたとしても、送信信号は+1又は−1を2回掛けられ、それらを未変調状態にし、又はその状態に戻すので、送信信号は受信器の前に逆拡散される(despread)、ことである。直接シーケンススペクトラム拡散変調の適用により、列の上にある任意の妨害信号が拡散され得、それにより、妨害信号はノイズとしてのみ作用し、故意のシヌソイドのセットの何れかを模倣することはない。
一実施形態において、選択自在なインバータは、少数の単純な構成要素から作られ得、及び/又は、VLSIプロセスにおいて送信器中で実施され得る。
多くの変調技術が互いから独立しているので、一実施形態において、複数の変調技術(例えば、周波数変調、及びシヌソイドセットの直接シーケンススペクトラム拡散変調)が同時に利用され得る。潜在的に実施するのはより複雑であるが、そのような複数の変調された実施は、より優れた干渉抵抗性を達成するかもしれない。
環境中で特定の疑似乱数の変調に遭遇することは非常に稀であるので、本明細書に記載されるマルチタッチセンサは、真の乱数の変調スケジュールを必要としない可能性がある。同じ実施を伴う1より多くのタッチ面が、同じ人物によってタッチされているという、1つの例外も存在する場合がある。そのような場合において、非常に複雑な疑似乱数のスケジュールを使用しても、表面が互いに干渉することが、可能な場合もある。故に、一実施形態において、不一致(conflict)が起こりそうにない疑似乱数のスケジュールを設計することに、注意を払う。一実施形態において、真の乱数の中には、変調スケジュールに導入されるものもある。一実施形態において、乱数は、真の乱数のソースから疑似乱数の発生器にシード値を与えること(seeding)により、及び、(繰り返しの前に)乱数が十分に長い出力を持つことを確実にすることにより、導入される。そのような実施形態により、2つのタッチ面が同時にシーケンスの同じ部分を使用することが、あまりなくなる。一実施形態において、乱数は、真の乱数のシーケンスで擬似乱数の配列を排他的論理和する(XOR)ことにより、導入される。XOR機能は、その出力のエントロピーを、それが何れかの入力よりも決して少なくならないように、組み合わせる。
<低コストの実施の実施形態>
前述の技術を使用するタッチ面には、他の方法と比較して、シヌソイドの生成及び検出にかかるコストが比較的高い場合がある。以下に、よりコスト効率が良く、及び/又は、大量生産に更に適した、シヌソイドの生成及び検出の方法を議論する。
<シヌソイド検出>
一実施形態において、シヌソイドは、フーリエ変換検出スキームを備えた完全な無線受信器を使用して、受信器において検出され得る。そのような検出は、高速RF波形をデジタル化し、その後にデジタル信号処理を行なうことを必要とする場合がある。別々のデジタル化及び信号処理は、表面の全ての列について実施されてもよい。これにより、信号プロセッサが、どの行の信号がその列とタッチ状態にあるのかを発見することが可能となる。上述の例において、タッチ面に40の行と40の列を備えさせることで、この信号チェーンの40のコピーが必要とされる。今日、デジタル化とデジタル信号処理は、ハードウェア、コスト、及び電力に関して、比較的高価な動作である。シヌソイドを検出するためのよりコスト効率の良い方法、特に、容易に複製することができ且つ電力をほとんど必要としない方法を利用することが、有用である。
一実施形態において、シヌソイドはフィルタバンクを使用して検出されてもよい。フィルタバンクは、入力信号を取り上げ、それを各フィルタに関連した周波数構成要素に分割することができる、バンドパスフィルタのアレイを含む。離散フーリエ変換(DFT、そのFFTは効率的な実施である)は、周波数分析に共通して使用される、均一に間隔を置いたバンドパスフィルタを備えたフィルタバンクの形態である。DFTはデジタルで実施されてもよいが、デジタル化工程は高価な場合がある。パッシブなLC(インダクタ及びコンデンサ)又はRCアクティブフィルタなどの個々のフィルタから、フィルタバンクを実装することが可能である。インダクタはVLSIプロセス上で十分に実装するのが難しく、個別のインダクタは大きく且つ高価なものであり、そのため、フィルタバンクにおいてインダクタを使用することはコスト効率が良くない場合もある。
より低い周波数(約10MHz、及びそれ未満)で、VLSI上でRCアクティブフィルタのバンクを作ることが可能である。そのようなアクティブフィルタは十分に動作するが、多くのダイ空間(die space)を取り上げ、所望されるよりも多くの電力を必要とする場合もある。
より高い周波数で、表面超音波(SAW)フィルタ技術によりフィルタバンクを作ることが可能である。これにより、ほぼ恣意的なFIRフィルタの形状が可能となる。SAWフィルタ技術は、直線のCMOS VLSIよりも高価な圧電材料を必要とする。更に、SAWフィルタ技術は、単一のパッケージに十分に多くのフィルタを統合し、それにより製造原価を上げるほど十分な同時のタップを可能にしない場合もある。
一実施形態において、シヌソイドは、FFTのような「バタフライ」トポロジー(“butterfly” topology)を利用する標準CMOS VLSIプロセス上で、スイッチドキャパシタ技術により実装されるアナログフィルタバンクを使用して、検出されてもよい。そのような実装に必要なダイ領域は典型的にチャネルの数の二乗の関数であり、これは、同じ技術を使用する64のチャネルのフィルタバンクが、1024のチャネルのバージョンのダイ領域の内、1/256のみを必要とすることを意味する。一実施形態において、低レイテンシタッチセンサのための完全な受信システムは、フィルタバンク及び適切な増幅器、スイッチ、エネルギー検出器等の適切なセットを含む、複数のVLSIのダイの上で実装される。一実施形態において、低レイテンシタッチセンサのための完全な受信システムは、フィルタバンク及び適切な増幅器、スイッチ、エネルギー検出器等の適切なセットを含む、単一のVLSIのダイの上で実装される。一実施形態において、低レイテンシタッチセンサのための完全な受信システムは、n−チャネルのフィルタバンクのn個の例を含み、且つ、適切な増幅器、スイッチ、エネルギー検出器等のための空間を残す、単一のVLSIのダイの上で実装される。
<シヌソイド生成>
主に、各々の行が1つの信号の生成を必要とする一方で、列の受信器は多くの信号間で検出し且つ区別しなければならないので、低レイテンシタッチセンサにおける送信信号(例えばシヌソイド)の生成は通常、検出よりもあまり複雑ではない。一実施形態において、シヌソイドは、一連の位相ロックループ(PLL)により生成され得、その各々は共通の基準周波数に異なる倍数を掛ける。
一実施形態において、低レイテンシタッチセンサの設計は、送信されたシヌソイドが非常に高品質であることを要求しないが、むしろ、より多くの位相ノイズ、周波数変動(時間や温度等にわたる)、高調波歪、及びラジオ回路において通常は可能である又は望ましい他の欠点を持つ、送信されたシヌソイドを収容する。一実施形態において、大多数の周波数はデジタル手段によって生成され、その後、比較的粗いアナログ−デジタル変換プロセスを使用してもよい。上記で議論されるように、一実施形態において、生成された行の周波数は、互いとの単純な調和の関係がなく、記載された生成プロセスにおける任意の非線形性は、セットにおける1つの信号に「エイリアスを生じさせ(alias)」ないか又は別のものを模倣させない。
一実施形態において、周波数コムは、フィルタバンクによってフィルタ処理される連続した狭いパルスを持つことにより生成され、フィルタバンク中の各フィルタは、行への送信のために信号を出力する。周波数「コム」は、受信器によって使用され得るフィルタバンクと同一であるフィルタバンクによって作られる。一例として、一実施形態において、100kHzのレートで反復される10ナノ秒のパルスが、5MHzで開始する周波数構成要素のコムを分離するように設計されるフィルタバンクに通されて、そして100kHzに分離される。定義されるようなパルス列は、100kHzから何十MHzまでの周波数構成要素を有し、故に、送信器において全ての行のための信号を有する。故に、パルス列が同一のフィルタバンクを通って上述したものへと進み、それにより受信した列の信号のシヌソイドを検出する場合、フィルタバンク出力はそれぞれ、その後、行に送信され得る1つのシヌソイドを包含する。
<透明なディスプレイ表面>
タッチ面がコンピュータディスプレイに統合され、それにより個人がコンピュータグラフィックスと画像(imagery)を相互に作用させることが可能になることが、望ましい場合もある。正面投影が不透明なタッチ面に使用され、背面投影が透明のものに使用され得る一方で、現代の平面パネルディスプレイ(LCD、プラズマ、OLED等)は一般的に、タッチ面が透明であることを必要とする。一実施形態において、現在の技術の行及び列(信号がそれらに沿って伝搬することを可能にするもの)は、それらの信号に対して伝導性である必要がある。一実施形態において、現在の技術の行及び列(無線周波数信号がそれらに沿って伝搬することを可能にするもの)は、導電性である必要がある。
行と列の伝導性が不十分な場合、行/列に沿った単位長さ当たりの抵抗性は、低域フィルタを形成するために単位長さ当たりの静電容量と組み合わさり:一端に適用される任意の高周波信号は、不良導体に沿って伝搬するにつれて十分に減じられる。
視覚的に透明な導体は市販で入手可能である(例えばインジウムスズ酸化物又はITO)が、透明度と伝導性の間の釣り合いは、本明細書に記載される低レイテンシタッチセンサの幾つかの実施形態に望ましい場合がある周波数において問題となる。ITOが特定の長さにわたって特定の望ましい周波数を支援するほどの十分な厚みであれば、ITOは、幾つかの用途には不十分に透明な場合もある。一実施形態において、行及び/又は列は、非常に伝導性であり且つ光学的に透明である、グラフェン及び/又はカーボンのナノチューブから、完全に、又は少なくとも部分的に形成されてもよい。
一実施形態において、行及び/又は列は、それらの後ろにある微小な量のディスプレイを遮断する、1以上の細いワイヤから形成されてもよい。一実施形態において、細いワイヤはあまりに細過ぎて確認することができず、又は少なくとも細すぎると、その後ろのディスプレイを見る際に視覚的な妨げを提示することができない。一実施形態において、透明なガラス又はプラスチック上に付けられる(patterned)細い銀のワイヤは、行及び/又は列を作り上げるために使用され得る。そのような細いワイヤは、行/列に沿って優れた導体を作り出すほど十分な断面を有する必要があるが、そのようなワイヤは、十分に細く、且つ、用途に適切であるように僅かな基礎ディスプレイを遮断するほど十分に拡散することが(後部ディスプレイには)望ましい。一実施形態において、細いワイヤの太さは、基礎ディスプレイのピクセルのサイズ及び/又はピッチに基づいて選択される。
一例として、新規のApple Retinaディスプレイは、1インチ当たり約300ピクセルを含み、それは、片側に約80ミクロンのピクセルサイズをもたらす。一実施形態において、約10オームの抵抗性を有している、長さ20センチメートル(iPad(登録商標)ディスプレイの長さ)の20ミクロンの直径の銀のワイヤは、行及び/又は列として、及び/又は、本明細書に記載されるような低レイテンシタッチセンサにおける行及び/又は列の一部として、使用される。しかし、そのような20ミクロンの直径の銀のワイヤは、網膜ディスプレイにわたって引き伸ばされる場合、ピクセルの全体のラインの25%までを遮断する場合がある。従って、一実施形態において、複数の更に細い直径の銀のワイヤは、列又は行として使用されてもよく、それは、適切な抵抗性を維持し、且つ、無線周波数の表皮深さの問題に関して許容可能な応答を提供することができる。そのような複数の更に細い直径の銀のワイヤは、直線ではなく、むしろ幾らか不揃いのパターンで置くことができる。更に細いワイヤの無作為な又は不規則なパターンは恐らく、あまり視覚的に侵入的なものではない。一実施形態において、細いワイヤのメッシュが使用される。メッシュの使用は、製造に対するパターニングの欠陥を含む、ロバスト性を改善させる。一実施形態において、更に細いワイヤが、適正値の抵抗性、及び、無線周波数の表皮深さの問題に対する許容可能な応答を維持するほど十分に伝導性であると仮定して、1つの更に細い直径のワイヤは、列又は行として使用され得る。
図2は、ダイヤモンド形の行/列のメッシュを持つ、行/列のタッチ面の実施形態を示す。このメッシュのパターンは、行と列に最大且つ等しい表面領域を提供する一方で、その間の重複を最小にできるように設計される。
ダイヤモンドの1よりも大きな領域を伴うタッチ事象は、重複した列への低信号の結合を幾つか可能にする、行と列の少なくとも一部をカバーすることになる。一実施形態において、ダイヤモンドは、タッチ器具(指、スタイラス等)よりも小さくなるように大きさを合わせられる。一実施形態において、行と列の間の0.5cmの間隔は、ヒトの指に関して十分に機能する。
一実施形態において、ワイヤの単純なグリッドは行と列として使用される。そのようなグリッドは、行と列に表面領域をあまり提供しないが、無線周波数信号には十分であり、受信器により検出することができる十分な微小できない結合を提供することができる。
一実施形態において、行と列のための「ダイヤモンドパターン」は、図2に示されるように、示された形状の空間を満たす細いワイヤの無作為に接続されたメッシュの使用により、又は、ワイヤーメッシュと、ITOなどの別の透明な導体を組み合わせることにより、作成され得る。一実施形態において、細いワイヤは、例えばスクリーン全体にわたり、長い伸長の伝導性のために使用され、ITOは、ダイヤモンド形の領域などのローカルエリアの伝導性のために使用されてもよい。
<光学的な実施形態>
記載された高速マルチタッチ技術を実施する無線周波数および電気的な方法が上記で議論されてきたが、他の媒体も同様に使用することができる。例えば、信号は、導波管、又は行と列のための他の手段を持つ、光学信号(即ち、光)であり得る。一実施形態において、光学信号に使用される光は可視領域にあり、赤外線及び/又は紫外線である。
一実施形態において、無線周波数信号を運ぶ導電性の行と列の代わりに、行と列は、直交信号を生成し且つ光学カプラにより導波管に繋がれる1以上の光源により供給される、光ファイバなど光導波路を含むことができる。例えば、光の異なる別個の波長が、各列のファイバに導入され得る。ヒトの指が行のファイバにタッチした場合、その中の光の幾つかは、遅滞した(frustrated)全内部反射により、指に漏れる(即ち、結合する)ことになる。その後、指からの光は、相反するプロセスにより、列のファイバの1つを入力し、ファイバの端で検出器に伝搬する場合がある。
一実施形態において、光学信号は、異なる波長のLEDにより、又は光学フィルタの使用により生成されてもよい。一実施形態において、カスタム干渉フィルタが使用される。一実施形態において、ファイバの列にある光の異なる波長は、光学フィルタバンクを使用して検出され得る。一実施形態において、そのような光学フィルタバンクは、カスタム干渉フィルタを使用して実装されてもよい。一実施形態において、可視スペクトルの外部の光(例えば、赤外線及び/又は紫外線)の波長は、ディスプレイに余分な可視光線が加えられるのを回避するために使用されてもよい。
一実施形態において、行と列のファイバは、指がそれらに同時にタッチできるように、一緒に織られてもよい。一実施形態において、織られた構造は、ディスプレイを不明瞭にするのを回避するために必要とされるように、視覚的に透明なものとして作られてもよい。
<高速マルチタッチの後処理>
例えば、上述の手順を使用して、各列の各行から信号強度を計算した後、結果として生じる2−Dの「ヒートマップ」を、使用できるタッチ事象に変換するために、後処理が行われる。一実施形態において、そのような後処理は、以下の4つ手順の内の少なくとも幾つかを含む:フィールド平坦化、タッチポイント検出、補間、及び、フレーム間で一致するタッチ点。フィールド平坦化の手順は、行と列の間のクロストークを取り除くためにオフセットレベルを控除し、減衰により特定の行/列の組み合わせの間の振幅の差を補う。タッチ点の検出手順は、平坦化された信号の極大値を見出すことにより、粗いタッチ点を計算する。補間の手順は、粗いタッチ点に関連したデータを放物面に適合させることにより、細かいタッチ点を計算する。フレームマッチングの手順は、フレームにわたり互いに計算されたタッチ点を一致させる。以下、4つの手順の各々を順に説明する。また、各処理工程について、実装、可能な不良モード、及び結果の例も開示される。非常に低いレイテンシを必要とするため、処理工程は最適化され且つ平行処理されねばならない。
先ず、フィールド平坦化手順について説明する。タッチ面及びセンサ電子機器の設計による系統的な問題は、各列の受信された信号強度においてアーチファクトを引き起こす場合がある。これらのアーチファクトは、以下のように補われ得る。最初に、行と列の間のクロストークのために、各行/列の組み合わせの受信された信号強度は、オフセットレベルを経験することになる。良好な近似値になるまで、このオフセットレベルは一定になり、減算され得る。
次に、与えられた行と列の交差において較正されたタッチにより列で受信された信号の振幅は、大抵は行と列に沿って伝搬するにつれて信号が減衰するため、特定の行と列に依存することになる。信号がより遠くに移動するにつれ、更に減衰されるので、送信器から遠くにある列と受信器から遠くにある行は、それらの相当物よりも、「ヒートマップ」における信号強度が低くなる。行と列のRF減衰が少ない場合、信号強度差は些細なものであり、補償はほとんど又は全く必要とされない。減衰が多い場合、補償が必要とされ、又はタッチ検出の感度或いは品質を改善する場合がある。通常、受信器で測定された信号強度は、列に送信された信号の量と一直線になると予測される。故に、一実施形態において、補償は、ヒートマップにおける各位置を、特定の行/列の組み合わせについて一定である較正に掛けることを含む。一実施形態において、測定又は評価は、ヒートマップの補償テーブルを測定するために使用されてもよく、その表は、乗算により補償を提供するために同様に使用され得る。一実施形態において、較正の動作は、ヒートマップの補償テーブルを作り出すために使用される。本明細書で使用されるように、用語「ヒートマップ」は、熱の実際のマップを必要としないが、むしろ、位置に対応するデータを含む少なくとも二次元の任意のアレイを意味し得る。
典型的な実施形態において、全体的にフィールド平坦化手順は次のとおりである。何も表面にタッチすることなく、最初に各列の受信器における各行の信号に関する信号強度を測定する。タッチが無いので、受信されたほぼ全体の信号はクロストークによるものである。測定された値(例えば、各列で見出される各行の信号の量)は、ヒートマップにおいてその位置から控除する必要のあるオフセットレベルである。その後、一定のオフセットが控除され、各行/列の交差に較正されたタッチ物体を配し、その列の受信器においてその行の信号の信号強度を測定する。信号プロセッサは、タッチ事象をタッチ面上の1つの位置の値へ標準化するように構成されてもよい。(最小の減衰を経験するので)恐らく最も強い信号を持つ位置、即ち、送信器と受信器に最も接近した行/列の交差を恣意的に選択することができる。この位置で較正されたタッチ信号の強度がSであり、各行と列に関する較正されたタッチ信号の強度がSR,Cである場合、そして、ヒートマップにおける各位置を(S/SR,C)で掛けた場合、その後、全てのタッチ値は標準化される。較正されたタッチについて、ヒートマップにおける任意の行/列のために標準化された信号強度は、1に等しくなる。
フィールド平坦化手順は十分に並列処理を行う。一旦、オフセットと標準化のパラメータが測定且つ保存される場合(1回しか行う必要が無い(或いは、メンテナンス間隔で可能なら再度行う))、各信号強度が測定されるとすぐに補正が適用され得る。図3は、フィールド平坦化手順の実施形態を示す。
一実施形態において、各行/列の交差の較正は、規則的又は選択されたメンテナンス間隔で要求される場合がある。一実施形態において、各行/列の交差の較正は、1つの単位につき1回要求される場合がある。一実施形態において、各行/列の交差の較正は、1つの設計につき1回要求される場合がある。一実施形態において、及び特に、例えば行とカラムのRF減衰が少ない場合、各行/列の交差の較正が、全く必要とされない場合もある。更に、行とカラムに沿った信号減衰が十分に予測できない実施形態において、ほんの少数の交差の測定値からの全表面を較正することが出来る場合がある。
タッチ面が多くの減衰を経験すると、フィールド平坦化手順は、少なくともある程度まで、測定値を標準化するが、幾つかの副作用を備える場合がある。例えば、その標準化の定数が大きくなるにつれ、各測定値に対するが増加する。より低い強度及びより多くの減衰について、これは、タッチ点の検出及び補間のプロセスにおいて誤差及び不安定性を生じさせる場合があることは、当業者に明白であろう。従って、一実施形態において、最大の減衰(例えば、最も遠い行/列の交差)に十分な信号強度を提供することに、注意を払いたい。
ここで、タッチ点の検出に移る。一旦、ヒートマップが生成され、フィールド平坦化が行われると、1以上の粗いタッチ点が識別され得る。1以上の粗いタッチ点の識別は、標準化された(即ち、平坦化された)信号強度における極大値を見出すことにより行われる。1以上のタッチ点を見出すための、迅速且つ平衡処理自在な方法は、標準化されたヒートマップの各要素をその近隣と比較する工程を含み、それら全てよりも厳密に大きな場合には、点に極大値を付す(label)。一実施形態において、点は、その近傍全てよりも厳密に大きく、且つ与えられた閾値より上である場合に、極大値であると識別される。
様々な方法で隣接値のセットを画定することは、本開示の範囲内にある。一実施形態において、最も近くの隣接値は、Von Neumannの近傍により画定される。一実施形態において、最も近くの隣接値は、Mooreの近傍により画定される。Von Neumannの近傍は4つの要素から成り、それは、中心において要素と垂直且つ水平に隣接している(即ち、その北、南、東、及び西に隣接した要素)。これは、「4つの接続された」近傍とも称される。より複雑な(即ち、より大きな)Von Neumannの近傍も適用でき、且つ使用されてもよい。Mooreの近傍は、中心において要素と垂直、水平、且つ対角線的に隣接している8つの要素から成る(即ち、その北、南、東、西、北東、北西、南東、及び南西に隣接した要素)。これは、「8つの接続された」近傍とも称される。
選択された近傍は、細かいタッチ点を計算するために使用される補間のスキームに依存することになる。これは、以下で詳細に示される。
与えられた隣接値の比較において、要素の標準化された信号強度が、その隣接値の1以上に等しい、厳密には、ノイズのレベルを可能にする許容範囲内にあるという、特殊なケースが存在する場合がある。一実施形態において、そのような対における点は何れも、閾値より上の値を有していたとしても、タッチ点では無いと考慮される。一実施形態において、そのような対における点は共に、タッチ点であると考慮される。一実施形態において、2以上の近隣の点がほぼ同じ値を持つ領域は、1つのタッチ事象として扱われる。一実施形態において、2以上の近隣の点がほぼ同じ値を持つ領域は、単一の極大値が見出され得る領域からの、異なるタイプのタッチ事象として扱われる(例えば、おそらく誰かの手首がタッチ面に接している)。
ここで、補間の手順に移る。一旦、粗いタッチ点が判定(即ち、識別)されると、細かいタッチ点が補間を使用して計算され得る。一実施形態において、分散したタッチの容量式の接触は、最大値を持つモデル機能に適合される。一実施形態において、モデル機能は、2以上の寸法に二次元の機能である。一実施形態において、二次元の機能は放物面である。一実施形態において、放物面モデルは、指又はスタイラスなどの、タッチ面にタッチするために使用される様々な物体に許容可能な近似である。更に、以下に議論されるように、放物面モデルは計算上、比較的集約的ではない。一実施形態において、より複雑又は計算上より集約的なモデルは、平坦化されたヒートマップからタッチのより正確な評価を提供するために使用されてもよい。下記の議論のために、放物面は実例として使用されるが、より大きく又は小さな複雑性のモデルを含む他のモデルが補間のために使用されてもよいことは、当業者に明白である。
図4は、例示的な極大値の周囲のVon Neumannの近傍を示す。そのような4つの接続された、又はVon Neumannの近傍について、関連する点は示されるものと同様であり、中央要素は極大値であり、サブスクリプトはそれに関連する特定の要素の座標である。5つの要素の位置及び信号強度は、放物面を画定する以下の方程式にそれらを適合させることを可能にする:
xとyが要素の位置である場合、zは要素の信号強度であり、A、C、D、E、及びFは二次元の多項式の係数である。中心点に対して、要素x、yの位置の全ては一定である。z値は、各要素において測定された信号強度であり、故に既知である。一実施形態において、5つの連立方程式が、5つの未知の整式の係数を解決するために使用され得る。各方程式は、中心点及びその4つの隣接値を含む、5つの点の1つを表わす。一実施形態において、Vandermonde様のマトリクスが、以下のように、整式の係数を解決するために使用され得る:
要素の位置について値を置き換えると、以下を得る:
そしてその後、一定のVandermonde様のマトリクスを反転することにより、整式の係数を解決する:
これにより、以下を得る:
一実施形態において、整式の係数は、否及びシングルシフトを含む、信号強度及び単に単純な掛け算の直線的な組み合わせであり、それらを計算することを要求される;従って、それらはFPGA又はASICにおいて効率的に計算され得る。放物面の最大値において、両方の偏導関数は0である:
これは、点x、yにおいて生じ、そこでは、以下の通りである:
故に、近隣データが放物面に適合される実施形態において、放物面が1つの最大値を持つので、その最大値は細かいタッチ点の位置として使用される。4つの接続された近傍を利用する実施形態において、値x及びyは互いに独立しており、xは中央点の左及び右への要素の信号強度にのみ依存し、yはそれよりも上及び下にある要素の信号強度にのみ依存する。
図5は、局大値の周囲にあるMoore又は8つの接続された近傍を示す。そのような8つの接続された、又はMooreの近傍について、関連する点は示されように現れ、中央要素は極大値であり、サブスクリプトはそれに関連する特定の要素の座標である。9の要素の位置及び信号強度は、放物面の方程式に適合され得る。より多くの入力データが以前の例よりもこの例において利用できるので、放物面について幾らかより複雑な方程式が利用され得る:
この方程式は、追加のxy交差項、及び、x又はy以外の方向でモデルが伸長を補うことを可能にする新規のB係数を有する。再度、中心点に関して、要素x、yの位置の全ては一定であり、zの値が知られている。9の連立方程式(1つの要素につき1つ)が、6つの未知の多項式係数を判定(即ち、過剰に判定)するために使用され得る。最小自乗技術が、6つの未知の整式の係数を解決するために使用されてもよい。
Vandermonde様のマトリクスが、多項式に適合するために使用されてもよい。上述の実施形態と異なり、マトリクスは、9の行及び6の列を持つカラムを有する、非正方である。
Vandermonde様のマトリクスにおける全体は全て一定であり、zの値は知られており、そのため、一定値を置き換えると、以下をもたらす。
Vandermonde様のマトリクスが非正方であるため、それは、整式の係数を解決するために反転することができない。しかし、それは、Moore−Penroseの疑似反転を使用し、且つ整式の係数への最小自乗の適合を行なって、解決され得る。一実施形態において、疑似反転は、
として画定され、
を与える。
整式の係数は信号強度の直線的な組み合わせである。乗算は僅かにより複雑なものであるが、被乗数の多くは因数分解することができ、計算の終わりの近くに1つの時間を適用する。この工程の目的は、放物面の最大値を見出すことである。従って、全体的な目盛係数は関連性が無く、焦点は、機能を最大限にする相対的な値と引数に対してのみ必要とされ、動作の多くは相殺され、実装の効率を改善するかもしれない。上記のように、細かいタッチ点は放物面の最大値において推定され、そこでは偏導関数は共に0である:
これは、点x、yにおいて生じ、そこでは、以下の通りである:
8つの接続された近傍について、値xとyは互いに独立していない。その両方は、8つの隣接値全ての信号強度に依存する。故に、この方法により、計算上の負担の増加、及び、信号強度の特定の組み合わせが細かいタッチ点のために特異値を生成する可能性が生じる場合がある。8つのMooreの隣接値に対し最小自乗を使用する実施形態において、そのような実装は、騒々しい信号強度の値に対してよりロバストである。言い換えれば、一実施形態において、1つの信号強度における小さな誤差は、計算に使用されるデータの量の増加、そしてそのデータの自己整合により補われる。
更に、8つの接続された近傍は、ユーザインターフェースの一部として有用であることを証明する、B係数、即ち、上方の余剰部分を提供する。xy交差項のB係数は、AとCの係数に固有のアスペクト比の情報と共に、適合された放物面における非対称を特徴づけるために使用され得、それは、タッチが生じている角度をソフトウェアが判定することを可能にする。
図6は、楕円の断面を備えたタッチ点の例を示し、それは、特定のz値で放物面を切り詰めることにより得ることができる。aとbの値は、多項式のAとCの係数から得ることができ、表面にタッチする物体のアスペクト比に関する情報を提供する。例えば、指又はスタイラスは必ずしも円形に対称ではなく、bに対するaの比率はその形状に関する情報を提供することができる。
角度Φについての知識は、楕円の配向に関する情報を提供することができ、例えば、指又はスタイラスがどの方向を指しているかを示し得る。Φは、以下により与えられた2×2のマトリクスMの固有値及び固有ベクトルから計算され得る:
このマトリクスは、2つの固有値と2つの固有ベクトルを持つ。最大の固有値に関連した固有ベクトルは、楕円の主軸の方向を指す。他の固有ベクトルは短軸の方向を指す。固有値であるλとλは、以下のように計算され得る:
ここで、tr(M)は、ACに等しいマトリクスMのトレースであり、det(M)は、AC−B/4に等しいマトリクスMの決定要素である。
一旦、固有値を得れば、固有ベクトルを計算するためにCayley−Hamiltonの定理を使用することができる。λに関連した固有ベクトルは、マトリクスM−λIの列の何れかであり、λに関連した固有ベクトルは、マトリクスM−λIの列の何れかである。固有値の指数の反転に注意されたい。楕円の主軸が我々の座標系のx軸に対して作る角度Φは、固有ベクトルの傾斜のアークタンジェントである。固有ベクトルの傾斜は単にΔy/Δxである。
上記で議論されるように、補間工程は、例えば、上記で議論された例示的な放物面モデルに限定されないが、平坦化されたヒートマップから獲得したデータを使用して、細かいタッチ点を判定することを必要とする。細かいタッチ点を判定する目的は、ポストプロセッサがタッチ点においてより優れた粒状度を提供すること、具体的には、センサの交差を超過する粒状度を提供することである。別の方法を述べると、モデル化され且つ補間された細かいタッチ点は、行/列の交差に直接、或いは、その交差の間のあらゆる場所にあり得る。モデルの制度と、その計算上の必要条件との間にトレードオフが存在する場合がある。同様に、モデルの精度と、実際のタッチに一致する保管された細かいタッチ点を提供する能力との間に、トレードオフが存在する場合がある。故に、一実施形態において、モデルは、最小の演算負荷を必要とし、その一方で補間されたタッチ点と実際のタッチとの間に十分な一致を提供するために、選択される。一実施形態において、モデルは、補間されたタッチ点と実際のタッチとの間に十分な一致を必要とするために選択され、処理ハードウェアは、モデルの演算負荷を適応させるために選択される。一実施形態において、予め選択したハードウェア及び/又はタッチインダフェースを作動させる他のソフトウェアの計算能力を超過しないモデルが、選択される。
フレームマッチング手順に移ると、経時的にタッチ面を移動する物体を適切に追跡するために、計算したタッチ点をフレーム境界にわたって互いに一致させ、故に、例えば移動するにつれてタッチ面上で移動する物体を追跡することが、重要である。別の方法について述べると、1つのフレームにおいて計算されたタッチ点の各々は、後のフレームにおいて識別され、又は、後のフレームに別の配置を有して(例えば、取り除かれる)いなければならない。このことは、通常の場合において解決できない根本的に難問である一方、一実施形態は、幾何学及び物理学の法則の両方を使用して実装され得る。タッチ面に接している物品が限定されたサイズであり、且つ特定の物理的な原理によって移動するので、特定のケースは、妥当な範囲の外にあるものとして無視され得る。更に、一実施形態において、フレームレートは、合理的な確実性による物体追跡(即ち、フレーム間のタッチ点の追跡)を可能にするのに十分でなければならない。故に、例えば、追跡される物体がタッチ面にわたり最大レートで移動すると知られるか、或いは、追跡が最大レートまで物体のみを追跡するよう行われる場合、妥当な確実性による追跡を可能にするフレームレートが選択され得る。例えば、タッチ面の行又は列にわたる動作の最大レートが例えば1秒につき1000の行又は列である場合、その後、1000Hzのフレームレートは、物体が1つのフレームにつき1以下の行又は列を移動することを「確認する」。一実施形態において、(上記で議論されるような)タッチ点の補間は、タッチ点の位置のより正確な測定を提供することができ、故に、内部の行及び内部の列の場所が、本明細書でより完全に記載されるように容易に識別自在となる。
指とスタイラスは最小のサイズを有しており、曖昧なケースを引き起こすほど互いに密に接近しそうにはない。それらはまた、問題を制限する人の腕及びその一部(例えば、手首、肘、指など)の動作に特徴的な速度で移動する。本明細書に開示されたセンサのタッチ面が、一実施形態において約1キロヘルツ以上である比較的高い更新レートを有するため、表面にタッチする指とスタイラスは、1つのフレームから次のフレームへの更新期間の間、非常に遠く、又は極端な角度で動くことができない。制限された距離及び角度のため、追跡は、本開示に従って幾らか単純化され得る。
一実施形態において、経時的にタッチ面を動く物体の追跡は、1つのフレームを1以上の過去のフレームと比較することにより行われる。一実施形態において、過去のフレームに関するデータ(例えばヒートマップ)が、一時バッファの中で維持されてもよい。一実施形態において、過去のフレームに関する処理されたデータ(例えば、フィールド平坦化したヒートマップ又は平坦化された多項式係数)が、一時バッファの中で維持されてもよい。一実施形態において、一時バッファの中で維持される、過去のフレームに関するデータは、以前のフレームにおける細かいタッチ点の各々に関する補間された細かいタッチ点の座標、及び、そのように存在する程度で、それら細かいタッチ点の動作前に関するベクトルを含むか、或いはそれらから成ってもよい。一時バッファは、1以上の過去のフレームに関するデータを保存し、後の計算にこれ以上関連しない場合にはデータの保存を止める場合もある。
一実施形態において、フレームマッチング処理は最初に、現行フレームiにおける物体のタッチ点が恐らく、幾何学的に最も接近している以前のフレーム(即ち、i−1)におけるタッチ点であると推定する。
一実施形態において、タッチ点の動作に関するデータ(例えば、速度と方向)が、1以上のフレームに関連して判定され且つ保存される。一実施形態において、タッチ点の動作に関するデータが、次のフレームにおけるそのタッチ点の中で、次のフレームにおけるそのタッチ点に適した位置を予測するために使用される。タッチ点の動作に関するデータは、例えば、位置の速度又は変化を含み、及び、1以上の以前のフレームに由来してもよい。一実施形態において、フレームにおいて適した位置の予測は、2つのフレーム間の動作を考慮することにより行われ、フレームごとの配置とその方向をもたらす。一実施形態において、フレームにおいて適した位置の予測は、3以上のフレームにおける動作を考慮することにより行われる。3以上のフレームから細かいタッチ点の位置情報を使用すると、フレームごとの配置と方向に加えて、加速度及び方向の変化を考慮し得るため、より正確な予測がもたらされる場合がある。一実施形態において、より多くの重量が、より古いフレームのデータよりも最近のフレームのデータに割り当てられる。その後、フレームマッチング処理は最初に、現行のフレームiにおける物体のタッチ点が恐らく、現行のフレームにおけるタッチ点に最も接近した、予測された適当な位置に関連する、以前のフレームにおけるタッチ点(即ち、i−1)に相当することを予測する場合がある。
一実施形態において、タッチ点のサイズ(規模)に関するデータ(例えば、放物面のA及びCの係数)が、1以上のフレームに関連して判定され且つ保存される。フレームマッチング処理は最初に、現行のフレームiにおける与えられた物体のサイズが恐らく、以前のフレームにおける物体のサイズ(即ち、i−1)に相当することを予測する場合がある。
一実施形態において、経時的なタッチ点のサイズ(規模)の変化に関するデータが、1以上のフレームに関連して判定され且つ保存される。一実施形態において、(例えば、最後のフレームからの、又は複数のフレーム上の)フレームにおけるタッチ点のサイズの変化に関するデータが、次のフレームにおけるそのタッチ点に適したサイズを予測するために使用される。フレームマッチング処理は最初に、現行のフレームiにおける物体が恐らく、現行のフレームにおけるタッチ点のサイズに最も近い、予測された適当なサイズに関連する、以前のフレームにおけるタッチ点(即ち、i−1)に相当することを予測する場合がある。
一実施形態において、経時的なタッチ点の回転方向(例えば、放物面のB係数)の変化に関するデータが、1以上のフレームに関連して判定され且つ保存される。一実施形態において、(例えば、最後のフレームからの、又は複数のフレーム上の)フレームにおけるタッチ点の回転方向の変化に関するデータが、次のフレームにおけるそのタッチ点に関する回転方向を予測するために使用される。フレームマッチング処理は最初に、現行のフレームiにおける物体が恐らく、現行のフレームにおけるタッチ点の回転方向に最も近い、予測された適当な回転方向に関連する、以前のフレームにおけるタッチ点(即ち、i−1)に相当することを予測する場合がある。一実施形態において、タッチ点の回転方向は、回転の1つのタッチ点制御(例えば、1本の指による制御)を許容することができ、故に例えば、スクリーン上での1本の指の回転は、例えば視界、即ち、従来はタッチ面と接触した2つの回転する点を必要とする機能を回転させるのに、十分な情報を提供することができる。経時的な回転方向を記載するデータを使用すると、回転速度が計算され得る。同様に、回転方向又は回転速度に関するデータは、回転加速度を計算するために使用され得る。故に、回転速度及び回転加速度は共に、回転方向を利用する。回転方向、回転速度、及び/又は回転加速度は、フレームマッチング処理によりタッチ点及び出力について計算され、又はフレームマッチング処理により使用されてもよい。
一実施形態において、フレームマッチングに関するヒューリスティックスは、タッチ点の距離及び速度ベクトルの変化を含む。一実施形態において、フレームマッチングに関するヒューリスティックスは、以下の1以上を含む:
フレームi+1における物体のタッチ点は恐らく、それに幾何学的に最も近いフレームiにおけるタッチ点である。
フレームi+1における物体のタッチ点はおそらく、物体の速度履歴が与えられると予測される点に最も近い、フレームiにおけるタッチ点である。
及び、フレームi+1における物体のタッチ点は、フレームiにおけるそのタッチ点と同様のサイズとなる。
履歴データの他の組み合わせが、本開示の範囲から逸脱することなく使用されてもよい。一実施形態において、以前の位置と速度履歴は共に、ヒューリスティック・フレームマッチング処理において使用されてもよい。一実施形態において、以前の位置、速度履歴、及びサイズ履歴は、ヒューリスティック・フレームマッチング処理において使用されてもよい。一実施形態において、以前の位置と他の履歴情報は、ヒューリスティック・フレームマッチング処理において使用されてもよい。一実施形態において、複数のフレームに関する履歴情報は、ヒューリスティック・フレームマッチング処理において使用される。他の組み合わせは、前述の開示を考慮して当業者に明白となる。
<高速マルチタッチのノイズ低減>
一実施形態において、高速マルチタッチ(FMT)センサによる干渉、或いはそれにおける非実在のタッチ(phantom touche)をノイズが生成する特定の条件を解消するための、方法とシステムが提供される。上述のセンサの実施形態において、行はその上に送信された信号を有し、送信された信号は、タッチがセンサの表面又はその付近に適用された場合に、タッチに近接して列に結合される。(幾つかの場合には、タッチは、列における行信号の低減を引き起こし得る。)タッチの位置は、列から信号を読み取り且つそれらが生成された行を判定することにより、判定される。
上述のようなセンサが特定の条件(例えば電磁ノイズ)の存在下で使用される場合、装置の行の1つにより生成された既知の信号と混同され得る別のソースから1つの信号を、列が受け取ることが可能となる。そのような場合、装置は非実在のタッチを報告して、列において受信された信号が行から来ていることを判定するが、実際にはそうではない。本実施形態は、そのような非実在のタッチの発生を減少又は排除するための方法と装置を提供する。
故に、センサの一実施形態において、装置の行と列の両方は、固有の信号を送信し、且つ、装置の列又は行それぞれから信号を受信するようにも、構成される。一実施形態において、与えられた列における行Nから検出された信号は、その列の送信された信号が行Nにおいて同時に検出された場合に、タッチであると考慮されるかもしれない。言い換えれば、行と列は共に、装置が行と列の交差においてタッチを報告するために、他の送信された信号を受信しなければならない。この方法において一致しない行又は列の何れかにおいて受信される信号は、例えば、外部ソースからのノイズとして拒絶される場合がある。代替的な実施形態において、与えられた列における行Nから検出された信号と、行Nにおいて与えられた列から検出された信号は共に、マッチングが見出されるか否かにかかわらず、タッチであると考慮されるかもしれない。この構成が上述のマッチングの利点を提供しない一方で、感度が増したセンサを提供する場合がある。
一実施形態において、固有の信号は、全ての行及び列に送信されてもよい。一実施形態において、固有の信号は、行の1以上の部分集合における各行に送信されてもよい。一実施形態において、固有の信号は、列の1以上の部分集合における各列に送信されてもよい。一実施形態において、行と列は全て、固有の信号を検出するように構成される。一実施形態において、行の1以上の部分集合における各行は、固有の信号を検出するように構成される。一実施形態において、列の1以上の部分集合における各列は、固有の信号を検出するように構成される。
図7は、タッチセンサの一実施形態に従った高速マルチタッチセンサ(700)の特定の原理を示す。送信器と受信器(702)は各行に付けられ、送信器と受信器(703)は各列に付けられている。(702)で示された送信器は個別のものであり、又は、(703)で示された送信器と同じ要素の一部であってもよい。同様に、(702)で示された受信器は個別のものであり、又は、(703)で示された受信器と同じ要素の一部であってもよい。(702)と(703)における送信器は、それら自体個別の要素であり、又は、単に1つの発生器などの信号のソースへの接続を含み、又は、1つの発生器の一部であってもよい。同様に、(702)と(703)で示された受信器は、個別の要素であり、又は、単に信号プロセッサへの接続を含み、又は、信号プロセッサの一部であってもよい。参照番号(704)は、送信された行信号と受信された行信号の両方を表わし、参照番号(705)が、送信された列信号及び受信された列信号の両方を表わす。送信された行信号の少なくとも1つの部分集合は、直交、即ち、互いに分離自在且つ区別自在となるように設計される。同様に、送信された列信号の少なくとも1つの部分集合は、互いに関して直交になるように設計される。受信器は、送信信号の何れか、或いはそれらの恣意的な組み合わせを受信するように設計され、一方で信号プロセッサは、列又は行に存在する複数の直交信号の少なくとも幾つかの量を個々に測定するように設計される。一実施形態において、行に送信された直交信号の各々は、列のための受信器/信号プロセッサにより受信及び測定され得、列に送信された直交信号の各々は、行のための受信器/信号プロセッサにより受信及び測定され得る。上記で議論されるように、受信器と信号プロセッサの区別は、信号発生器と送信器の区別であるため、読者に都合の良いものとして図面において示される。例えば、行又は列は、信号プロセッサに直接接続されてもよく、故に、信号プロセッサは受信器としても作用し;同様に、行又は列は、信号発生器に接続され手もよく、故に、信号発生器は送信器として作用する。一実施形態において、信号発生器と受信器\信号プロセッサの全ては、同じ混合された信号ASIC内に統合され得る。
通常、本センサにおいて、行と列の間で結合された信号は、タッチ事象に供されている場合に対してそれに供されていない場合に、変化する。一実施形態において、行と列は、それらがタッチ事象に供されていない場合、より少量の又は微小な量の信号がその間で結合され、その一方で、行と列がタッチ事象に供されると、より多量の又は微小でない量の信号がその間で結合されるように、構成される。一実施形態において、行と列は、それらがタッチ事象に供されると、より少量の又は微小な量の信号がその間で結合され、その一方で、行と列がタッチ事象に供されてない場合、より多量の又は微小でない量の信号がその間で結合されるように、構成される。一実施形態において、行と列の間で結合された信号は、タッチ事象に供されている場合に対してそれに供されていない場合に、変化する。上記で議論されるように、単語「タッチ」、又は句「タッチ事象」は、物理的なタッチを要求せず、むしろ、センサに影響を及ぼす事象(例えば、ノイズではない)及び結合した信号のレベルに影響を及ぼすものを要求する。この点で、ホバリングはタッチ事象と考慮される。更に、本明細書で使用されるように信号の「レベル」又は「量」は、別個の予め判定されたレベルだけでなく、信号の相対量、信号の量の範囲、時間間隔を空けて又はタッチ事象の判定が行われる時に動的に判定される信号の量、或いはそれらの任意の組み合わせを含む。故に、一実施形態において、本センサ及び構成は、1以上の行と1以上の列との間で結合された信号の変化から結果として生じる、タッチ事象を識別することができる。
以下に使用されるように、記載の便宜上、用語「送信導体」と「受信動態」が使用される。送信導体は、例えば信号発生器から信号を運ぶ行又は列であってもよい。この点で、本明細書で使用されるように「導体」は、導電体だけでなく、信号が流れる他の経路も含む。受信導体は、タッチ事象が受信導体の近くで生じる場合にタッチ事象の結合から結果として生じる信号を運び、且つ、タッチ事象が受信導体の近くで生じない場合にタッチ事象の結合から結果として生じる信号を運ばない、行又は列であってもよい。一実施形態において、受信器/信号プロセッサは、タッチ事象の結合から信号が結果として生じる、受信導体上で直交の送信信号の各々の量を測定する。量の測定は、タッチ事象の識別を可能にする。受信器/信号プロセッサは、DSP、フィルタバンク、又はそれらの組み合わせを含んでもよい。一実施形態において、受信器/信号プロセッサは、直交信号に対応するバンドを提供するコムフィルタである。
行と列の交差に近接した任意のタッチ事象が、列にある行信号、及び行にある列信号の両方を変化させるので、一実施形態において、対応する行又は列の相対物を持たない列又は行の上の信号が、拒絶される場合がある。一実施形態において、列の受信器/信号プロセッサにおいて受信された行信号は、対応する列信号が対応する行の受信器/信号プロセッサにおいて受信される場合に、タッチ事象を位置付け又は識別する際に使用される。例えば、列Cの行Rから検出された信号は、列Cの送信信号が行Rにおいても検出される場合に、タッチ事象により引き起こされると考慮されるだけである。一実施形態において、列Cと行Rは、他の行と列の信号に直行し、且つ互いに直交する信号を同時に送信する。一実施形態において、列Cと行Rは同時に信号を送信しないが、それぞれ、割り当てた時間区分においてその信号を送信する。そのような実施形態において、信号は、同じ時間区分において送信された他の信号から直交性のみを必要とする。
示されるように、一実施形態において、1つの信号発生器は、行と列の両方に直交信号を生成するために使用され、1つの信号プロセッサは、行と列の両方から受信信号を処理するために使用されてもよい。一実施形態において、1つの信号発生器は行信号の生成に特化し、別個の信号発生器は列信号の生成に特化している。一実施形態において、複数の信号発生器は行信号の生成に特化し、別個の複数信号発生器は列信号の生成に特化している。同様に、一実施形態において、1つの信号プロセッサは行信号の処理に特化し、別個の信号プロセッサは列信号の処理に特化している。一実施形態において、複数の信号プロセッサは行信号の処理に特化し、別個の複数の信号プロセッサは列信号の処理に特化している。
一実施形態において、各受信導体は、その受信器及び信号プロセッサとして作用するフィルタバンクに関連付けられ、該フィルタバンクは複数の直交信号を区別するのに適している。一実施形態において、受信導体の行に関連付けられたフィルタバンクは、受信導体の行に関連付けられたタッチ事象から結果として生じ得る、全ての直交信号を区別するのに適している。同様に、受信導体の列に関連付けられたフィルタバンクは、受信導体の列に関連付けられたタッチ事象から結果として生じ得る、全ての直交信号を区別するのに適している。
一実施形態において、各行と各列は信号に関連付けられ、行又は列それぞれに関連付けられた信号は、全ての他の行又は列の信号に対して独特であり且つ直交である。そのような実施形態において、全ての行と列の信号を同時に「送信する」ことが可能な場合もある。設計又は他の制約が要求され、又は1つの行及び列につき1未満の信号を使用することが望ましい場合、時分割多重化が使用されてもよい。
図8は、3つの行及び4つの列を持つ送信スキームの単純化された例を示す。この示された実施形態において、各行と各列は信号に関連付けられ、行または列それぞれに関連付けられた信号は、全ての他の行又は列の信号に対して独特であり且つ直交である。特に、信号A、B、及びCは行1、2、及び3に関連付けられ、一方で信号D、E、F、及びGは列1、2、3、及び4に関連付けられる。この実施形態において、行と列がそれぞれ送信導体として作動する、全ての行と列の信号を同時に「送信する」こと、及び、行と列をそれぞれ受信導体として作動させることが可能な場合があり、故に、タッチ事象から同時に結果として生じ得る全ての信号を処理することができる。
図9は、3つの行及び4つの列を持つ、別の送信スキームの単純化された例を示す。この示された実施形態において、各行は信号に関連付けられ、各行に関連付けられた信号は、全ての他の行の信号に対して独特であり且つ直交であり、そして、各列は信号に関連付けられ、各列に関連付けられた信号は、全ての他の列の信号に対して独特であり且つ直交である。しかし、示された実施形態において、行に関連付けられた信号は、全てが列に関連付けられた信号に直交しているわけではなく、例えば、信号Aは行と列両方のために使用される。ここで、信号は行に送信され、第1の時間区分T1の間に列の上で受信され、そして、列に送信され、第2の時間区分T2の間に行の上で受信される。この方法において、7つよりむしろ4つのみの直交信号が実装に必要とされる。
図10は、3つの行及び4つの列を持つ、また別の送信スキームの単純化された例を示す。この示された実施形態において、行と列はそれぞれ信号に関連付けられ、行と列それぞれに関連付けられた信号は、全ての他の行と列の信号に対して独特であり且つ直交である。しかし、示された実施形態において、たとえ行に関連付けられた信号が全て、列に関連付けられた信号と直交であったとしても、制約又は他の設計に対する考慮が、信号の送信を時分割多重化することを望ましいものにする場合もある。ここで再度、信号は行に送信され、第1の時間区分T1の間に列の上で受信され、そして、列に送信され、第2の時間区分T2の間に行の上で受信される。そのような実施形態は、例えば、送信に利用可能な周波数の範囲が制限され、且つ分離が受信に重要である場合に、有用な場合がある。従って、以下のように割り当てが行われて、同時に送信された信号のより優れた分離を可能にする:
図11は、3つの行及び8つの列を持つ送信スキームの単純化された例を示す。この示された実施形態において、行と列はそれぞれ信号に関連付けられ、行と列それぞれに関連付けられた信号は、全ての他の行と列の信号に対して独特であり且つ直交であるが、列は、示されるように行信号に重複する固有の直交信号を共有する。示された実施形態において、3つの時間区分が、固有の直交信号のみが同時に送信され、そして故に、フィルタバンク又は他の信号プロセッサが3つの教示に従いタッチ事象を位置付けることができることを確実にするために、利用される。
図12Aは、列のセット内で、且つ、4つの行と8つの列を持つセンサにおける行のセット内で適用される、時分割多重化の例である。この例において、直交の周波数A及びBは、行の第1のセットに送信され、直交の周波数C及びDは、時間区分T1の間に列の第1のセットに送信される。直交の周波数A及びBは、行の第2のセットに送信され、直交の周波数C及びDは、次の時間区分T2の間に列の第2セットに送信される。直交の周波数C及びDは、次の時間区分T3の間に列の第3のセットに送信され、直交の周波数C及びDは、次の時間区分T4の間に列の第4のセットに送信される。随意に、直交の周波数AとBは、例えば時間においてタッチ事象のより大きな分解能を提供するために、時間区分T3及び/又はT4の間に行の第1又は第2のセットに送信されてもよい。
図12Bは、4つの行と8つのカラムを持つ別の送信スキームの単純化された例を示す。この示された実施形態において、ほんの2つの直交信号AとBが使用される。示された実施形態において、2つの固有の直交信号が同時に送信され得る一方で、一度に1より多くの送信導体には送信できないことを確実にするために、6つの時間区分が使用される。示されるように、AとBは、第1の時間区分の間には行1と2に、第2の時間区分の間には列1と2に、第3などの時間区分の間には列3と4に送信される。
直交信号発生及び送信スキームの選択に影響を及ぼす要因は、例えば、限定されないが、センサにおける行の数と列の数、センサの所望の分解能、行と列の材料及び寸法、利用可能な信号処理電力(available signal processing power)、及びシステムの最小の許容可能なレイテンシを含む。多数の他の変形も行われ、それは、本開示及び添付の請求項の範囲と精神の中にあるものである。例えば、しかし、複数の信号が同じ時間区分で送信され、それら複数の信号の各々がその時間区分で送信された他の信号全てから直交していると仮定すると、様々なトレードオフが、固有の直交信号の数と、与えられたタッチ検出システムにより利用される時間区分の数との間での選択において行われ得ることが、当業者に明白になるであろう。
上記で注目されるように、特定の列の上の列受信器Rxは、1以上の行の導体に送信された直交信号を受信し、その信号は、タッチ事象の結合に関与する行の導体を判定し、従って行と列の座標をもたらすために、信号プロセッサにより使用されることになる。1以上の行に送信された直交信号に加えて、列の受信器Rxは、列の送信器Txを起点とする信号を「確認する」場合があり、その振幅はかなり大きく、故に、行と列の一部を横行した低振幅の信号の処理に干渉する場合がある。一実施形態において、本明細書に開示されたシステム及び方法は、列の受信器Rxにより処理された信号からの、列の送信器Txの信号の除去を提供する。故に、一実施形態において、列の送信器Txにより送信された直交信号は、列の受信器Rxで受信された信号から控除される場合がある。そのような控除は、列の送信器Txにより送信された信号の反転が、列の受信器Rxにより受信された信号に加えられ、それにより受信された列信号から送信された列信号を控除するように構成された、インバータを含む回路により電気的に提供されてもよい。そのような控除の特徴は代替的に、信号プロセッサにおいて提供されてもよい(図7)。
<可能なチャネルの動的割当>
コンピュータシステムにおけるタッチセンサの知覚品質は、ユーザ入力信号が適切に周囲の電磁ノイズと区別される、高い信号対ノイズ比に依存する。そのような電磁ノイズは、タッチセンサが一部(例えば、LCD情報ディスプレイ)であるコンピュータシステム内の他の構成要素から、又は、ユーザの外部環境における人工か天然の信号(例えば、装置の外部のAC電源充電器からの不要信号)から生じる場合がある。これらの望まれない電磁気信号は、ユーザ入力としてタッチセンサにより偽って検出され、それにより、誤った又はノイズのあるユーザコマンドを生成し得る。
一実施形態において、システム及び方法は、たとえ他のコンピュータシステム構成要素又は望まれない外部信号からの妨害電磁ノイズに近似する場合であっても、タッチセンサが、そのような誤った又はノイズのある読み取りを減少又は排除し、且つ高い信号対ノイズ比を維持することを可能にする。この方法はまた、センサの総電力消費を減らし、その一方で並列、レイテンシ、サンプルレート、ダイナミックレンジ、感知の細分性等に関したセンサの全体的なパフォーマンスを最適化するために、選択部分を統制する信号変調スキーム、及び与えられた時点でタッチセンサの全表面領域を動的に再構成するために使用され得る。
本システム及び方法の実施形態は特に、容量式タッチセンサに適用された場合に都合が良く、そのパフォーマンスは、電磁信号の正確な読み取りに依存し、特に、スキャンレートを向上させて報告されたコンピュータシステムへのタッチ入力事象のレイテンシを下げるために周波数分割多重化(FDM)を利用する容量式タッチセンサに都合が良い。この点で、本実施形態は、本件出願人による、「Low−Latency Touch Sensitive Device」と題された2013年3月15日出願の米国特許出願第13/841,436号、及び「Fast Multi−Touch Post Processing」と題された2013年11月1日出願の米国特許出願第14/069,609号に開示されるものなどのセンサに適用されてもよく、これらは、一実施形態として容量式の周波数分割多重化のタッチセンサを考慮する。
<動的割当プロセスの実施形態>
工程1:タッチ信号とノイズを合理的に識別する
タッチセンサは、ユーザがセンサに触れていないことが分かっている場合、又は、実際のタッチ信号が合理的に分かっている場合(即ち、タッチ面の幾つかの部分が触れられ、その一方で他の部分が触れられていないことが分かっている場合)に信号を受信すると、信号を全て分析することができる。
タッチセンサが触れられているか否かに関するそのような判定は、センサ自体の読み取り、加速度計のような他の一般的なコンピュータ入力センサ、コンピュータシステムの電力状態(例えば、コンピュータが「スリープモード」に入っているかどうか等)、コンピュータシステム上でソフトウェアアプリケーションを現在行っている事象ストリームなどの組み合わせの分析を介して、形成され且つ強化され得る。システムの状態、システム構成要素の状態、又はユーザの状態に関する結論を導き出すために、コンピュータシステムにおける1より多くのセンサからのデータに依存する、この分析プロセスは、当該技術分野においては通常、「センサフュージョン」と呼ばれる。
手での既知のタッチに関する分析判断により、その後、タッチセンサの受信信号は全て、これら既知のタッチのために受信された信号と比較され得る。センサが測定した信号と、測定されるべきもの(現在又は以前のタッチ事象について知られているもの)との間の、結果として生じる差異は、その後、ノイズと干渉を軽減するために使用され得る。
この方法の実施形態において、妨害信号のこの測定の幾つかは、少なくとも設計時間において予測自在となるその干渉の一部のために、設計時間において発生し得る。この方法の別の実施形態において、測定の幾つかは、製造時又は試験時間に発生し得る。別の実施形態において、測定の幾つかは、ユーザがタッチセンサにタッチしていないことが合理的に分かっている、使用前の時間の間に発生し得る。別の実施形態において、測定の幾つかは、ユーザが既知の場所でセンサにタッチしている場合に発生し得る。別の実施形態において、測定の幾つかは、ユーザがタッチ面にタッチしていないことが他のセンサにより又はアルゴリズム的に予測される時に、ユーザタッチ間の時間に発生し得る。
別の実施形態において、測定の一部は、統計パターン及びユーザのタッチの可能性を測定することができるソフトウェアにより統計的に発生し得る。例えば、ユーザ・インターフェース(UI)はタッチ面上のある位置のみにボタンを置くことができ、その結果、これらはユーザが所定の時間に触れる可能性のあるただ一つの場所である。これらの既知の位置の1つで触れると、タッチ/無タッチ状態間の差はノイズのある状態でも非常に明白になりえる。一実施形態において、ボタンを(恐らくディスプレイにより指示される)一定の定義された時間押し下げなければならず、それによりノイズのある状態でもタッチを検出し得るあらかじめ定義された時間が作られるように、UIは設計可能である。別の実施形態において、ボタンの代わりにスライダまたは二次元の「ポインター」を使用することができる。なぜなら、こうしたUI制御は前もってUIにより知られているか、あるいはセンサフュージョンにより装置上の他のセンサにより動的に(ある程度まで)測定可能である任意の経路に従うことをユーザに要求するからである。一実施形態では、こうしたUIスライダは、限定されないが、iOS、アンドロイド、他のリナックス(登録商標)改良型、またはウインドウズのようなタッチしやすいオペレーティングシステムの「ロック・スクリーン」上で一般に見られる1つの「スライドオープン式(slide−to−open)」スライダ制御でありえる。関連する実施形態では、こうしたロック解除ジェスチャ制御も使用することができる。一実施形態では、ある単語の文字が近くの文字を見ることで容易かつ正確に予言可能であるため、バーチャル・キーボードは既知のタッチ位置を提供する。
一実施形態では、こうした分析はタッチセンサの別のタッチ制御装置上で行うことができる。別の実施形態では、こうした分析は、限定されないが、ASIC、MCU、FPGA、CPU、GPU、またはSoCなどの他のコンピュータシステム構成要素上で行うことができる。
工程2:干渉を回避する
ノイズの読み取りが、既存のタッチ信号に基づいて、および/または工程1で詳しく述べられるような統計的推論によって「干渉」であるといったん確認されると、電磁干渉に関するこうした知識を使って、ノイズがタッチセンサによって感知され得るまたは感知される可能性がある周波数空間、時間空間、またはコード空間の特定の衝突を回避することができる。既知のタッチ信号と特定された電磁干渉との間の衝突は、限定されないが以下の様々な技術、または技術の組み合わせによって回避することが可能である:
干渉のない、またはほとんどない特定された信号周波数があるとき、タッチセンサはそれらを使用するように構成されなければならない。干渉のない、またはほとんどないタイムスロットがある場合、タッチセンサはそれらを使用するように構成されなければならない。干渉のない、またはほとんどないコードがある場合、タッチセンサはそれらを使用するように構成されなければならない。干渉のない、またはほとんどない周波数、時間、およびコードの組み合わせがある場合、タッチセンサはそれらを使用するように構成されなければならない。
周波数分割多重化(FDM)を使用するタッチセンサについては、タッチセンサが使用する信号周波数は連続している必要はない。周波数帯域のいくつかの部分が干渉によって占領される場合、タッチセンサはこうした周波数を回避するように構成することができる。周波数帯域のいくつかの部分が特定の既知の時間帯に干渉によって占領される場合、タッチセンサはこうした既知の時間帯にその信号周波数を使用しないように構成することができる。周波数帯域のいくつかの部分が特定の既知の時間帯に比較的静的な干渉によって占領される場合、タッチセンサによって送信された信号は、復調が既知の干渉を相殺または除去するようなやり方でその時間帯に変調可能である。例えば、この変調技術の実施形態において、干渉が所望の周波数で安定したシヌソイドである場合、二相位相変調偏移キーイング(BPSK)は、タッチセンサにより発せられた周波数を変調するために使用されなければならず、その結果、反対側のBPSKを用いて、タッチセンサから受け取られた信号と干渉信号の結果として生じる和を復調するとき、干渉の等しい部分に正相を乗じ、等しい部分に逆相を乗じ、その結果、信号が総受信期間にわたって積分されるとき、干渉信号は加算されて無視できる程度になった。同様の効力を備えた変調の他の形態も可能である。
FDMを使用するタッチセンサが、周波数分析を行う高速フーリエ変換、あるいは周波数ビンの数がアルゴリズムまたはアルゴリズムの性質によって制約される同様の高速アルゴリズムを使用する場合、センサは、多くのビンを備えたより大きな変換を用いることができ(おそらく次のものはサイズが大きくなる)、その結果、余分な起こり得る受信周波数ができる。タッチセンサはこうした周波数のいずれかで送信する能力を伴って、製造前に構成可能である。このように、周波数ビンのいくつかが干渉を含んでいる場合、干渉のないまたはほとんどない周波数を支持して、こうしたビンを回避することができる。
工程3:望ましくないホットスポットを回避する
前述の技術を用いて電磁干渉のいくつかを完全には除去することができない場合、タッチセンサは、こうしたノイズがセンサの表面積全体に均一に広がって、残りの干渉によりもたらされる任意の操作上の問題を確実に最小限に抑えるように構成可能である。
一実施形態では、優れたユーザ体験の保証に関してよりノイズに強いUI要素がより多くのノイズを有するタッチ面の部分に置かれ、正確な制御が必要となるためほぼノイズのない入力コマンドを要求するUI要素がほとんどないまたはまったくない干渉の影響を受けるタッチセンサの一部に関連するように、タッチセンサを構成し、カスタムアプリケーションプログラミングインタフェース(API)と対にすることができる。他の実施形態では、本質的にこの概念の逆が利用される。すなわち、開発者のAPIを用いて、タッチ面上へのハイパフォーマンス変調スキームの配置を指示するUI要素にフラグを立てることができる。
別の実施形態では、望ましくない電磁ノイズは、タッチセンサ信号に割り当てられたタイミング、周波数、およびコードをリマップすることにより緩和可能である。タッチセンサの行と列に関連するこうした信号の分割は、一定の関係を有する必要がなく、必要に応じて動的にリマップ可能である。例えば、一実施形態では、FDMを使用するタッチセンサは所定の行の特定の周波数のシヌソイドを常に送信することもあれば、動的に送信する周波数をリマップすることもある。例えば、タッチセンサの送信機と受信機が「n」の異なる周波数で動作することができ、およびこうした周波数の「m」が十分に少ない量の干渉を含むと測定され、タッチセンサの行の数(同時に送信される周波数)が、「r」である(「n」は「m」以上であり、「m」は「r」以上である)場合、その後、タッチセンサは、「m」のセットから「r」の周波数を選び、ユーザ体験に対する性能低下を最小限に抑えることを目的としたやり方で行に対してその周波数をマップすることができる。別の実施形態では、センサの選択された動作周波数のセットをフレームごとにランダムまたは疑似ランダムな方法で動的にマッピングすることが可能であり、その結果、かなりの時間にわたってタッチ面の異なる部分のノイズ統計の無視できる程度の相関がある。より具体的には、周波数に最小のノイズしかない場合、タッチセンサは「m」の可能な中から「r」の周波数を選ぶことができるか、あるいは、タッチセンサは、かなりの時間にわたってタッチ面の異なる部分間のノイズ統計の相関を最小限に抑えることを目的とするやり方で周波数の中から動的およびランダムに(または偽ランダムに)周波数を選ぶこともある。同様の方法は、タイムスロット、コード、または他の変調スキームまたは、あるいはこれらの組み合わせに使用することができる。
別の実施形態において、FDMを主に使用するタッチセンサに関して、十分に少量の干渉を含むことが確定していると「m」の周波数が、各センサ行の固有の周波数を同時に送信するように要求される「r」の周波数の数以上である場合、タッチセンサは、UI制御の既存のレイアウトと要件に基づいてタッチセンサの表面積の特定の部分のレイテンシとサンプルレート性能を最適化する動的なFDM変調スキームを使用することができる。本明細書では、高精度な、低レイテンシのユーザ入力を要求するUI制御の所定の時点での既知の場所は、信号変調スキームが高性能のために所定の時点で最適化されたタッチセンサの表面積の対応する部分にマッピングされる。コンピュータシステムのソフトウェアにより定義されたUI制御の場所と性能の要件と、タッチセンサの表面積の場所と性能の要件との間のこうした動的なマッピングは、実行時間の前にアプリケーション開発者によって明示的に定義されるか、あるいは、アプリケーション、オペレーティングシステム、およびアプリケーションプログラミングインタフェース(API)によって定義されるタッチ面との間の通信を用いてUI制御の実行時にオペレーティングシステム論理と分析によって定義され得る。同時にこうした高性能区域と一緒に、同じ表面積の他の隣接する区域は、低性能周波数、時間、またはコード変調スキームを使用することができた。センサの特定区域だけが要求される性能レベルで動作して、表面積の残りが性能を上回るエネルギー保存を最適化する変調スキームで動作することを可能にするため、並列性、レイテンシ、サンプルレート、ダイナミックレンジ、感知粒状度などの点から高性能のために最適化された変調スキームを備えたタッチセンサの表面積の選択領域だけを実行することで、ユーザ入力の感知と処理の両方を行うためにタッチセンサにより消費される総エネルギーを潜在的に削減するという利点が与えられる。こうした動的な変調スキームは、センサ入力のすべての新しいフレームと同じくらい速く更新および最適化することができる。
別の実施形態では、主としてFDMを使用するタッチセンサについて、最小ノイズで確認された「m」の−可能な周波数が、タッチセンサの各行に固有の周波数を割り当てることを要求される「r」の固有のセンサ信号の数よりも低い数である場合、センサは、周波数分割を伴う時間、コード、または他の変調スキームを組み合わせるハイブリッド変調手法を採用するように構成可能である。この方法の実施形態では、特定のハイブリッド変調手法は、センサの表面積全体で最低のレイテンシと最大のタッチ事象サンプルレートを最適化するために、センサ入力のあらゆる新しいフレームと同じくらい速く、タッチセンサにより動的に選択および再評価され得る。この方法の別の実施形態では、特定のハイブリッド変調手法は、UI制御の既知のレイアウトと要件に基づいて、タッチセンサの表面積の特定の部分のレイテンシとサンプルレート性能を最適化するために、タッチセンサによって動的に選択および再評価可能である。本明細書では、高精度な、低レイテンシのユーザ入力を要求するUI制御の所定の時点での既知の場所は、信号変調スキームが並列性、レイテンシ、サンプルレート、ダイナミックレンジ、感知粒状度などの点から高性能のために所定の時点で最適化されたタッチセンサの表面積の対応する部分にマッピングされる。コンピュータシステムのソフトウェアにより定義されたUI制御の場所と性能の要件と、タッチセンサの表面積の場所と性能の要件との間のこうした動的なマッピングは、実行時間の前にアプリケーション開発者によって明示的に定義されるか、あるいは、アプリケーション、オペレーティングシステム、およびアプリケーションプログラミングインタフェース(API)によって定義されるタッチ面との間の通信を用いてUI制御の実行時にオペレーティングシステム論理と分析によって定義され得る。同時にこうした高性能区域と一緒に、同じ表面積の他の隣接する区域は、低性能周波数、時間、またはコード変調スキームを使用することができた。センサの特定区域だけが要求される性能レベルで動作して、表面積の残りが性能を上回るエネルギー保存を最適化する変調スキームで動作することを可能にするため、並列性、レイテンシ、サンプルレート、ダイナミックレンジ、感知粒状度などの点から高性能のために最適化された変調スキームを備えたタッチセンサの表面積の選択領域だけを実行することで、ユーザ入力の感知と処理の両方を行うためにタッチセンサにより消費される総エネルギーを潜在的に削減するという利点が与えられる。こうした動的な変調スキームは、センサ入力のすべての新しいフレームと同じくらい速く更新および最適化することができる。
別の実施形態では、主としてFDMを使用するタッチセンサについて、最小ノイズで確認された「m」の−可能な周波数が、タッチセンサの各行に固有の周波数を割り当てることを要求される「r」の固有のセンサ信号の数よりも低い数である場合、センサは、所定の時間、時分割多重方式(TDM)モードに移行し、「m」の周波数の1つを選択して、TDM手法で一般的なように行と列を連続してサンプリングするように構成可能である。所定の期間にわたってFDMセンサを純粋なTDMモードに切り替えることで、センサ読み取りのフレームレートとレイテンシを犠牲にして、正確な入力が保証される。
別の実施形態では、別の実施形態では、主としてFDMを使用するタッチセンサについて、最小ノイズで確認された「m」の可能な周波数が、タッチセンサの各行に固有の周波数を割り当てることを要求される「r」の固有のセンサ信号の数よりも低い数である場合、センサは、所定の時間、ハイブリッドのFDMとTDMのモードに移行し、「m」の周波数の選択数を選んで、それにより、純粋に連続したTDMモードの性能限界を超えてセンサ読み取りのフレームレートとレイテンシを改善するために複数の行と列を並行して連続してサンプリングするように構成可能である。このようなハイブリッドなFDMとTDMの変調スキームは、センサの並列性と性能を改善し、その一方で、より干渉に弱いとみなされている周囲の電磁ノイズの「m」のそのリアルタイムの、歴史的な、および/または統計的な分析以外のセンサ信号を利用することでさもなければ生じることになるノイズの多い読み取りの悪影響を同時に緩和する。
工程4:センサの信号対ノイズ比を増大させるために感知の複製を使用する
タッチセンサはタッチセンサ中の干渉や他のノイズの影響を減らすために多くの技術を利用することもできる。例えば、FDMを使用するタッチセンサの実施形態では、タッチセンサは行ごとに複数の周波数を使用することができ、その結果、たとえセンサがどの周波数ビンが干渉に晒されることになるかを予言することができなくても、センサは複数の方法で各行(または列)を測定し、ノイズの最も少ない測定値(あるいは測定値の組み合わせ)を測定し、その後、それらを使用することができる。
測定が干渉によって影響されたかどうかを決定することが困難な場合、タッチセンサは、投票(voting)スキームまたは類似する統計学的な方法を採用することができ、それによって投票用の複数の測定を用いることで、どの測定を捨てるべきか、どの測定を保持するべきか、および、信号対ノイズ+干渉比を最大限にし、かつそれによりユーザ体験を向上させるために保持する測定値を統計学的かつ数学的に組み合わせる最良の方法を決定する。例えば、一実施形態では、干渉に晒されるFDMタッチセンサは、各行で3つの異なる周波数を送信し(周波数は十分に分離しているため、周波数間の干渉は統計的にありそうもない)、結果を測定することができる。その後、3つのうちの2つの(two−out−of−three)投票スキームを使用して、センサは、どの周波数が干渉によりもっとも悪化したかを決定し、および、最終測定中の考察からその測定を取り除くか、あるいは統計的にもっともらしい方法で残りの2つを組み合わせるか(センサが干渉とノイズの統計について演繹的に「知っている」ことから考えて)、またはノイズと干渉によるその悪化の統計的可能性による各周波数測定の影響を重んじて、統計的にもっともらしいやり方で3つすべてを含めてこれらを組み合わせる。
タッチセンサがこの方法で採用することができるいくつかの方法は、限定されないが、以下に挙げられる:
1.行ごとに複数の周波数を使用する。こうした周波数は同時に、または順に使用することができる。
2.行から列および列から行に(上で詳細に議論されるように、順にまたは同時に)送信すること。これも、上記の複数の周波数の使用、または変調スキームの別の組み合わせと組み合わせ可能である。
3.FDMの上にCDMAを使用するか、あるいは変調スキームのある組み合わせを使用すること。CDMA信号は、FDM技術によって一般に使用されるものとは異なり、基本的には「不自然」なものであり、したがって、コンピュータシステムの外部環境で自然に発生する様々な信号に対して、FDM変調スキームよりも免疫があることに注目すべきである。
ユーザ識別技術
一実施形態では、高速マルチタッチセンサには、同じ手、同じユーザの異なる手、同じユーザ、または異なるユーザからのタッチを識別する能力が与えられている。一実施形態では、高速マルチタッチセンサには、タッチ領域に結び付けられるある物体の一部からのタッチを、その位置と方向を決定しやすくする単一の物体上の容量式タッチ先端部を介して、あるいは体の一部と同時にディスプレイの別の領域にもタッチしているユーザの握っているスタイラスを介して、識別する能力を与えられている。
最初に上で議論されたセンサの基本的な実施形態では、各行には信号発信機がある。タッチまたは複数のタッチが表面に触れると、信号は近くの列へ結合される。こうしたタッチの場所は、列からの信号を読みとり、信号がどの行で生成されたかを知ることにより、決定される。
1を超える場所で、ユーザがセンサに接触するか、センサが一体化したデバイスに接触するか、あるいはセンサの一定の距離内に近づくか、さもなければタッチ事象を引き起こすとき、信号が1つのタッチ位置から他のタッチ位置までユーザの身体によって信号されるため、通常は同じユーザによるタッチで生じる特定の量の結合がある。図13に関して、行r1と列c1の交差位置で一回のタッチまたは実質的なタッチがユーザの指(1402)によりもたらされるとき、行r1と列c1との間で結合が生じる。行r2と列c2の交差位置で第2の同時のタッチまたは実質的なタッチがユーザの指(1403)によりなされるとき、行r2と列c2との間で結合が生じる。加えて、行r1と列c2および行r2と列c1でも弱い結合が生じることもある。実施形態によっては、行の間で、および列の間で、弱い結合が生じることもある。
こうした脆弱な、身体により送信される信号はさもなければ「ノイズ」または「クロストーク」として軽視されることもあるが、その代わりに、一人のユーザが両方のタッチの原因であることを識別する追加の「信号」として信号処理装置(図7)により使用可能である。とりわけ、上記の例を拡張するために、行r1と列c2および行r2と列c1との間の結合は一般に「ノイズ」とみなされ、行r1と列c2、または行r2と列c1の交差位置でタッチが誤報告されることがないようにするために、ノイズ除去(さもなければ無視)されることがある。脆弱な、身体により送信される結合は、正確なタッチ位置だけが確実に報告されるようにフィルタ処理されることもあるが、タッチが同じユーザからのものであることをシステムに識別させるように解釈されることもある。センサ(400)は、位置(1403)に加えて、限定されないが、位置(1404)、(1405)、または(1406)を含むユーザの手の任意の指から送信される脆弱な身体により送信される結合を検出するように構成されてもよい。信号処理装置(図7)は、同じ手、同じユーザの別の手、同じユーザ、または別のユーザからのタッチを識別するために、こうした検出を使用するように構成されてもよい。
ユーザ識別を備えたタッチセンサの他の実施形態では、信号発生器は、携帯型のユニットで、ユーザの椅子の下のパッド、センサが一体化したデバイスの端などと他の場所でユーザに連結可能である。こうした発生器は、上記の手法に類似する手法で特定のタッチをしているユーザを識別するために使用可能である。他の実施形態では、信号発生器はスタイラス、ペン、または他の物体に一体化されてもよい。
以下は、検出可能で、かつ、同じ手、同じユーザ、または異なるユーザからのタッチを識別するために使用可能な、脆弱は結合タイプの例である:ユーザの指の第1の指によって触れられる行または列と、ユーザの指の第2の指によって触れられる行または列との間の結合;ユーザの指によって触れられる行または列と、ユーザの身体(手のひらなど)の別の部分によって触れられる行または列との間の結合;ユーザの身体(指または手のひらなど)の一部によって触れられる行または列と、ユーザの身体に動作可能に接続された信号発生器との間の結合;および、ユーザの身体(指または手のひらなど)の一部によって触れられる行または列と、スタイラスまたはペンに一体化された信号発生器との間の結合;および、スタイラスまたは他の触知できる物といった導電性の中間物体を介してユーザの身体の一部により触れられる行または列との間の結合、および、スタイラスまたは他の触知できる物といった導電性の中間物体をおそらくは介してユーザの身体の一部により触れられる行または列との間の結合。本明細書に記載されるように、「タッチする(触れる)」は、ユーザと開示されたセンサとの間に物理的な接触がある事象と、物理的な接触はないが、センサの近くで生じてセンサによって検出されるユーザによる行為がある事象も含む。
上に記載された脆弱な結合を用いて、同じ手、同じユーザの別の手、同じユーザ、または別のユーザからのタッチを識別することができる。例えば、比較的強い脆弱な結合の存在を利用して、同じ手の2本の指(例えば、人差し指と親指)、または同じ手の指と手のひらなどといった同じ手からの2つのタッチ事象を識別することができる。別の例として、(先の例に対して)比較的弱い脆弱な結合の存在を利用して、同じ人物の別の手、または同じ人物の手と別の身体部分からの2つのタッチ事象を識別することができる。第3の例として、脆弱な結合がないことを利用して、別の人からの2つのタッチ事象を識別することができる。さらに、ユーザの身体に動作可能に接続された信号発生器からの信号の存在を利用して、特定のユーザからのタッチを識別することができ、こうした信号がないことを利用して、特定のユーザからのタッチを識別することができる。
高速マルチタッチスタイラス
高速マルチタッチセンサの特定の実施形態では、センサは、スタイラスの位置と、随意に、その傾斜角と長手軸まわりの回転角とを同様に検出するように構成される。こうした実施形態は当初上で記載されたように、本質的にはセンサ・ハードウェアから始まり、その先端付近に信号発信機を有するスタイラスをさらに利用する。この信号発生器から信号が送信され、信号は行または列に送信され得る直交信号に対して互換性がある(同じまたは類似の変調スキーム、類似の周波数など)が直交信号にたいして直交する。スイッチはスタイラスの先端の例えば、近接検出装置または圧力検出装置を含む、任意の種類のスイッチであり得るが、これを用いていつ送信機をオンまたはオフにするかを制御することができる。スタイラスは、正常動作条件下において、スタイラスが高速マルチタッチセンサの表面に接触するか、近接しているときに、スイッチが送信機をオンにするように、構成可能である。代替的な実施形態では、スタイラスは、絶えず信号を送信し、スイッチの状態がその周波数、振幅などの信号の1つ以上の特徴を変えることができるように構成される。これにより、スタイラスがタッチ感知デバイスの表面に接触しているときだけではなく、そのわずかに上にいて「ホバーする」能力を与えているときにもスタイラスを使用することができる。
一実施形態では、スタイラスによって送信される信号は、上に議論されるような行に送信されることもある直交信号に類似しており、スタイラスは本質的には余分な行として処置され得る。スタイラスによって発せられる信号は近くの列と結合し、列で受け取られた信号の量を用いて、列に対するペンの位置を決定することができる。
2次元のスタイラスの位置を測定する能力を提供するために、受信機は列と同様にFMTセンサの行に置くことができる。行の上の受信機は、列上の受信機ほど複雑化させる必要はない:列の受信機は、行に送信される信号を拾い上げ、かつ該信号のいずれも区別するように構成されなければならない。しかしながら、行の受信機は、スタイラス、実施形態によっては複数のスタイラスによって送信される任意の信号を拾い上げ、かつ該信号を区別することができるようにさえすればよい。
一実施形態では、スタイラスによって送信される信号は行に送信された信号とは異なり、その結果、こうした信号の間に混同はない。行信号が変調される場合、スタイラス信号は他の受信機と互換性をもつために同様に変調されなければならない。一実施形態では、こうした変調は、マルチタッチセンサが通信チャネルを介してスタイラスに与えるように構成可能な時間基準を要求する。こうしたチャネルは、無線リンク、光リンク、音響リンク、または超音波リンクなどであり得る。一実施形態では、スタイラスは行信号を受け取り、他の通信チャネルを関与させることなく、その変調と行信号を同期させる。
スタイラスがその信号を送信すると、信号は列と行の受信機により受け取られる。行と列の信号強度を利用して、行と列に対する二次元でのスタイラスの位置を決定する。強力な信号強度はスタイラスがセンサに比較的近接していることを示すものであり、脆弱な信号強度はスタイラスが遠く離れていることを示すものである。補間は、行と列の物理的な粒状度よりもはるかに精細な分解能に対するスタイラスの位置を決定するために使用可能である。
スタイラスの傾斜および回転
より複雑な実施形態は、スタイラスの位置の測定と一緒に、ユーザがスタイラスを保持するときのスタイラスの傾斜および回転の両方を同時に測定することを可能にする。
単一信号を発するのに代えて、本実施形態におけるスタイラスは、多重信号を発することができ、各信号は、スタイラスの先端部付近であって、しかし、その周囲に拡がる点から送信される。2つのそのような信号は、180度間隔で、必要とされる情報のうちのいくらかを提供し、少なくとも3つの信号(理想的には120度間隔)がスタイラスの傾斜および回転を明確に測定するために必要とされ、また、4つの信号(理想的には90度間隔)が数値演算および信号処理の煩雑さを低減するであろう。4信号の場合については、下記の実施例で使用される。
スタイラスの傾斜の測定
図14および15は、その先端部(1505)に発信器(1502)を有する高速マルチタッチスタイラス(1501)の2つの実施形態を示す。図14の実施形態において、発信器(1502)は、先端部(1505)の外面部に位置し、他方、図15の実施形態において、発信器(1502)は先端部(1505)に内部に位置する。4つの発信器(1502)はスタイラス(1501)の周面の周りに配置され、高速マルチタッチセンサ(400)の平坦面に沿ってそれぞれ東西南北に方向づけられる。ペンの開始位置がZ軸と平行であり、センサの平坦面のxおよびy軸に垂直であると仮定する。図示するようにスタイラスが東方向へ傾けられ、センサ(400)の平面に対し角度αの角度までx軸またはy軸に沿って回転させると、東に面する発信器(1503)は、北側および南側の発信器と比べて、3次元空間的にセンサ(400)の表面部に対しより近くへ移動し、西に面する発信器は、北側および南側の発信器に比べ、センサからより遠くに離れる。これにより、東側の発信機から発せられる直交信号が、近くの行および列とより強く結合され、この信号は、高速マルチタッチセンサ内の受信機によって測定され得る。西側の発信器から発せられる直角信号は、近くの行および列との結合があまり強くなく、この信号は、それら近くの行および列の受信機における弱い強度として現れる。東側および西側の信号の相対強度を比較することによって、スタイラスの傾斜角度αを決定することができる。南北方向の傾斜は、北側および南側の直交信号を用いて同様の方法によって決定することができる。実施形態において、スタイラス(1501)の先端部(1505)内のスイッチまたは圧力センサ(1504)は、発信器をいつオンまたはオフにするかを制御するのに使用される。スタイラスは、スタイラスが高速マルチタッチセンサ(400)の表面部と接触または接近しているときに、正常運転条件下で、スイッチ(1504)が発信器を作動させるように構成することができる。
スタイラス回転の測定
スタイラスの回転は、同様の方法で検出することができる。スタイラスの4つの発信器(1502)それぞれのxy位置を、Z軸に平行に回転させると、ペン上4つの発信機は、タッチ表面部の様々な行列に対し、直線的に近づいたり遠ざかったりする。FMTの各種行列に対するスタイラスの発信器のxy位置間におけるこれらの異なる直線距離が、FMTの受信機によって取得される異なる信号強度をもたらす。Z軸と平行なスタイラスの回転が、これらの直線距離、したがって関連づけられる信号強度を変化させる。スタイラスのxy回転角は、信号強度におけるこれらの差異から推定することができる。
アクティブ光学的スタイラス
本発明の実施形態は、コンピューターディスプレイまたはタッチセンサ上の手書き入力に使用することができる高速で、正確な、低レイテンシのスタイラスおよびセンサシステムを含む。実施形態において、スタイラスは、流動的かつ自然で、ペンや鉛筆の体験を模倣する入力を提供する。この点で、システムの更新速度は1キロヘルツ以上に高めることができ、レイテンシは、測定位置へのスタイラスの移動および他のパラメータから、1ミリ秒未満に低減することができる。スタイラスの位置測定とともに、その傾斜角と回転とを測定することができる。本明細書で述べるアクティブ光学的スタイラスは、事実上あらゆるデザインのコンピューターディスプレイおよびタッチセンサと適合し、前述の高速マルチタッチセンサへの使用に限定されないことに注目される。
開示される技術は、誘導全内部反射(ITIR)を使用する光学的方法を含む。この技術は、複数のスタイラスが入力目的で同時使用されることを可能にする。センサシステムはコンピューターディスプレイ(たとえばLCDやOLEDモニタなど)上に配置することができ、推定センサ位置と時間に関する他のパラメータが、コンピューターディスプレイ上で、線、曲線、テキストなどを描くのに使用される。
アクティブ光学スタイラスの実施形態において、このスタイラスは、光線を複数の異なるパターンでセンサ表面へ放射する。センサ表面は、スタイラスから放射される光の波長において透明または半透明である材料の薄いフラットなシート(または、ある2次元的マニフォールドmanifold)である。
図16は、センサシートとシステムとを全体的に示す平面図である。スタイラス(符号Sで示す)は、複数の異なるパターンで光をセンサシート(符号Aで示す)へ向かって照射する。透明媒体に懸濁された粒子を含み得る方向変更手段によって、センサシートは、パターン位置の光を、センサシート内に捕捉し、そこで全内部反射により全水平方向へ伝播する。角度フィルタ(符号Bで示す)は、小さい角度、すなわち限定された角度であって、センサシート端縁部に対し垂直付近の角度のみで、光がフィルタを通過するのを許可する。線光センサー(符号Cで示す)は、その光が、このセンサの長さ方向に沿ったセンサ上のどの位置で衝突しているかを検出する。実施形態において、単一の単純なスタイラスのXY位置を検出するためには、光の最大量が衝突している線状センサ上の位置を見出すことだけが必要である。矢印「V」に沿う光は、スタイラスの垂直位置を提供する。矢印「H」に沿う光は、水平位置を提供する。他の方向の光は、フィルタ処理され無視される。
図17は、センサシートの側面図を示す。通常、周囲の媒質より高い屈折率を有する透明物質に入射する光は、反対側面から射出して、より浅い角度で屈折する。散乱媒質のような物質が、無視できない領域の半透明材料と直接接触しているのでない限り、外部から放射された光を内部に捕捉するのは不可能であろう(全内部反射が不十分な状況で起こり得る)。しかしながら、接触する材料によって体験されるドラッグと、傾斜してなお接触を維持することが可能なスタイラスを構築することの困難性とのために、必要とされる無視できない接触領域は、貧弱なスタイラスに役立つ。好ましい実施形態は、透明物質内の方向変更手段を使用する。
シート内部において、スタイラスから放射された光の一部は、方向変更手段と相互作用し、それにより、一部の光が、センサシートの中に捕捉されるようになり、スタイラスがその位置でシート内へ放射した光の個別のパターンから遠ざかるように伝播する。伝播光は、角度フィルタに到達するシートの端部まで進行する。フィルタ(およびシート端縁部)に垂直な光は、線光センサを通過することが可能である。
図18は、センサシートの側面図を示す。透明物質内部の方向変更手段は、スタイラスから発せられた光が、シート内部で捕捉され、全内部反射を経て、シート内の全方向への伝播として終了することを可能にする。シートに入る光(実線矢印)は、方向変更手段(雲形状)に入射する。光は方向変更手段から多数の方向へ射出し、それらの一部は、全内部反射が生じ得る角度内である(破線矢印)。一部は、全内部反射が生じ得る角度外である(点線)。この光は捕捉することができず、センサシートから離れる。方向変更手段は分散から由来し、しかし、好ましい実施形態においては、スタイラスによって発せられた光を吸収し、異なる波長で光を放射し、外部に向かって全方向へ伝播する蛍光性または燐光性の物質である。
線光センサは、その長さ方向に沿ってこれと衝突する光の量を測定し、それにより、スタイラスの位置を推定することを可能にする。光の最大量を受信する線光センサに沿う位置が、その次元に沿うスタイラス位置の投射に相当する。
仮にスタイラスが単一光線より多くを放射するならば、システムは、センサシート上のスタイラスの位置を測定できるだけでなく、スタイラスの傾斜と回転と推定することができる。仮にスタイラスが、多重光を、おそらくは円錐形または他の形状で放射するならば、アンテナシートの側面に沿うこれらの投射は、システムによって測定することが可能であり、そのデータは、スタイラスの位置、傾斜および回転を同時に推定するのに使用される。
物質における光方向変更特性
通常、センサ表面のような、薄い透明媒質に入る光は、反対側面から出で、その内部に捕捉されたり、全内部反射によって伝播したりすることはない。入射光を捕捉し内部で伝播するために、その方向を変更するためのある手段が必要とされる。1つの実施形態において、センサ表面は、入射光の一部を様々な方向へ散乱する。それらの方向の一部は、全内部反射を生させ得る角度内である。散乱は好適な方法ではない。何故ならば、散乱によって光の方向がさらに変更するのを防ぐ方法がなく、これにより、線光センサによって受信される光量が低下し、最初の方向転換後でさえ、光が非直線経路を進行することも引き起こすからである。非直線経路は、光が誤った方向から来たように見せかけて、システムが誤った位置の読取を生じさせることを引き起こす。
好ましい方向変更手段は、蛍光性または燐光性物質のような、1回波長変更手段である。波長W1でスタイラスから発せられた光は、センサシートに入り、そこで、1回波長切替手段と相互作用する。前記手段は、その光の一部を吸収し、多方向へ波長W2で光を放射する。波長W1は電磁スペクトルの紫外線の部分に位置し得る。波長W2はスペクトルの可視か赤外線部分に位置し得る。波長W2の光の一部はここで、全内部反射によりセンサシートに沿って伝播し、1回波長変更手段はほとんど波長W2に影響しないので、外の何もこれを妨害しない。
角度フィルタ
センサ表面を通じて伝播する光は、多数の角度で端部に到達する。センサ表面内部でのスタイラスの光パターンの位置を推定するために、線光センサの視野を特定方向に制限することが望ましい。実施形態において、角度フィルタはこの機能を提供する。好ましい実施形態において、長方形センサシートおよび2つの側面上の線光センサを用いて、光センサの視野をセンサシートの端部に垂直な方向に制限することが望ましい。「ベネチアンブラインド」の小さなセットを用いてこれを遂行することができ、コンピュータ用モニタのためのプライバシースクリーンで、モニタ正面の狭い角度に視界を直接的に制限するという方法も同様である。
意図した視野の外側の方向から角度フィルタに衝突する光は、好ましくはフィルタによって吸収され、または、拒絶された光が、入射しないか、またはシステム内のいずれの線光センサによっても感知されないような方法で反射される。
図19は、線光センサの前の角度フィルタ(符号Bで示す)を示す。符号Cで示すのは、システムを頂部から見たものである。角度フィルタは、フィルタ(および線光センサー)に垂直な光のみの入射を可能にする。フィルタは、他の角度から入る光をブロックする複数の垂直羽根を用いて、ベネチアンブラインドに類似する方法で実施可能であり得る。この場合において、矢印(1901)に沿う光は、フィルタに入り通過することが可能である。矢印(1902)に沿う光は、入ることが許されず、(優先的に)フィルタに吸収されるか、または恐らく単に反射される。線光センサは、その長さ方向に沿う複数地点で、これと衝突する光量を測定することができる。光の最大量が衝突する点は、恐らく線光センサの方向に沿う、スタイラスの位置の投射である。
線光センサ
線光センサは、その長さ方向に沿う複数位置で、これと衝突する光の量を測定する。それらは、位置敏感検出器、線形CCDアレイ、線形CMOS撮像アレイ、光電子増倍管アレイ、および、個別フォトダイオード、フォトトランジスター、フォトセル、または任意の他の光検出手段のアレイによって、実施し得る。
スタイラス
図20を参照すると、スタイラス(2001)は、ユーザがペンまたは鉛筆のようにそれを保持し、センサシート(2002)の表面部上で描くときに、センサシート(2002)へ複数の異なるパターンで光を放射することが可能なペン形の装置である。センサシートの端部に沿う投射のパターンは、スタイラスの位置、傾斜および回転を推定するために使用することができる。複数のスタイラスが所望される場合、それらは、時分割マルチプレキシングの形式で、ひとつずつ光を発することができる。これには、スタイラス間で同期させるある形式が必要であり、これは、限定されないが、無線リンク、超音波または光学信号を含む、様々な単純なコミュニケーションチャンネルによって実施し得る。光学信号は、センサシートの下側のコンピューターディスプレイによって生成することが可能であり、ほとんど追加ハードウェアを使用せずにペンを同期させることを可能にする。
スタイラスは、発光ダイオードのような光源を使用して構築することができ、接触スイッチまたは圧力センサが、スタイラスがセンサシートに接していることを感知したときに、スタイラスを発光させる。レンズ、回折格子、光導波路、スプリッターなどのような光学的要素は、複数の光源から光を取得し、センサシート内へ投射することができた異なる複数の特徴的パターンを生成翅得る。実施形態において、スタイラスは同様にレーザーのような非接触光源であり得る。
単一スポット実施形態
本技術の基礎的な実施形態において、スタイラスは、スタイラス本体に対して恐らくは同軸で、単一の光線または光錐を発する。単一の光線は、センサシートの側面に沿うこのパターンの単純な点状の投射を引起し、スタイラスの位置を推定することを可能にし得る。図21は、センサシートの端部に沿う単純なスタイラスによって放射される点の幾何的投射を示す。線光センサによってその長さ方向に沿って検出された光の最大値は、センサシート上の照射点の幾何的投影を与える。このことから、センサ位置を推定することができる。
スタイラスが円錐形の光線を放射する場合、それは、センサシートとの交差が円形(スタイラスが表面部に対し垂直に保持される場合)、または楕円(スタイラスが垂直に対し傾斜する場合)となる。これら交差の投影は、異なる形状および幅を有し、スタイラスが保持されているセンサシート端縁部に対する角度とともに、傾斜角度の推定を可能にする。図22は、センサシートの端部に沿う単純なスタイラスによって放射された点の幾何的投影を示す。線光センサにより検出されたその長さ方向に沿う光の最大値は、センサシート上の照射点の幾何的投影を与える。ここからセンサ位置を推定することができる。
図23に示されるように、スタイラスが、光線の代りに、円錐光を発する場合、この円錐は、センサシートと交差する位置で楕円をもたらすであろう。楕円の投射は、1つの方向と他の方向と比べると変化し、それによりスタイラスの傾斜を推定することを可能にする。
複数点の実施形態
スタイラスがセンサシートに複数パターンを投影する場合、センサシートの側面に沿うこれらの投射は、スタイラスの位置、傾斜回転角を推定するために使用することができる。図24に示されるように、両側への投射が、センサシートに対し垂直に保持されたスタイラスに対し予想されるよりも広く、しかしサイズにおいてほとんど等しい場合、スタイラスが、センサシート端縁部の方向に対し45度の角度で傾斜している可能性がある。投射の幅は、垂直からの傾斜角を推定するために使用できる。投射が幅広いほど、傾斜は大きい。
図25を参照すると、スタイラスがその周面のまわりに複数パターンの光を発する場合、センサシート端縁部に沿うこれらの投射は、センサの傾斜と同様にその軸周りの回転を、スタイラスがセンサシートに触れている位置とともに、推定することを可能にする。スタイラスによって投影されるパターンの数および配置は、慎重に選ばれなければならない。例えばパターンは、スタイラスの周面まわりで、均等な間隔を置いてはならない。何故ならば、それは、スタイラスの複数の回転角度が、センサシートの端部に沿う同じ投影光パターンを有する可能性があるからである。たとえこのような場合でも、スタイラスの絶対回転は必ずしも測定できるとは限らないが、少ない相対回転は測定可能であるかもしれず、それによって、ユーザインタフェースに有益な情報を提供することもなお可能であろう。その発せられたパターンの幾何的投影から、スタイラス位置、傾斜および回転を推定するための最も単刀直入な方法は、種々様々なスタイラス位置、傾斜および回転に対する投影を測定し、ついで、それらの写像および補完を行って、この投射からスタイラスパラメーターを見いだすことである。AおよびBで示された2つのスタイラスパターンは、スタイラスが右下に離されて、時計回りに45度回転させた以外は、同一である。
ソーラーブラインド紫外線
太陽光は多くの波長の光を含み、そのため、スタイラスシステムを太陽光下で使用するときに、その動作に干渉する可能性がある。スタイラスが、地球表面で経験される太陽光スペクトルにおいて存在しない、または非常に弱い波長で放射することは有利であろう。1つの可能性は、スタイラスが、地球大気圏の酸素が波長の大部分または全部を吸収する、紫外線のソーラーブランド領域の光を放射することである。UVスペクトルのソーラーブラインド部分を放射するLEDは、商業市場で利用可能である。
スタイラスシステムに衝突し、その使用を妨害する可能性のある他の発生源(天然または人工的)からの光の波長に対し、同様の対応策を講じることも可能である。
複数スタイラスの実施形態
複数スタイラスの同時使用が望まれる場合、各々からの信号が不明確にならないようにする方法を使用しなくてはならない。例えば、時分割マルチプレキシングが使用可能であり、その場合、各スタイラスは、センサシート内への、交互の放射パターン(例えば図20に示すように)を採用する。
複数スタイラスは異なる方向変更手段も使用することが可能であり、それによって、各々は異なる波長で放射することができ、これら異なる波長は、方向変更手段の後で線光センサによって識別することが可能となり得る。
ある実施形態において、全てのスタイラスは、同時に同じ波長で放射し、それらが使用されているときのスタイラスの可能性および有望な軌道についての知識を使用して、ソフトウェアまたはファームウェアにおいてセンサシートの側面に沿う幾何的投影に対するそれらの貢献を明確にする。
ユーザ、手および物体の識別
前述は、容量式FDM、CDM、およびFDM/CDMハイブリッドタッチセンサの様々な実施形態であり、ここで開示した直交信号タッチユーザー、手、および物体識別システムおよび方法と関連して使用されてもよい。そのようなセンサにおいて、行からの信号が列に結合され、その列上で受信されたときに、タッチが感知される。
図25を参照すると、前述のような直交信号タッチセンサにおいて、ユーザが複数の指でタッチすると、行からの信号が、タッチが生じた列にだけでなく、同じユーザによる別のタッチをした列にも結合されるので、クロストークが生じる。図25は、ある指から他の指までユーザの身体を通じたクロストークの経路を示す。図において、矢印は信号の経路を示し、白の円は感知されたタッチの位置を示し、黒の円は複数タッチでのクロストーク位置、すなわちタッチスクリーン上のクロストークが感知される位置を示す。このクロストーク信号は「実」信号より弱くなる。何故ならば、行からの信号は、それがユーザの身体を通じて交差するときに低減するからである。
ユーザの身体を横切って結合される信号は、それが身体を通じて進行する際に低減する。そのため、各列上で感知されこの経路を通過する信号は、タッチ自体から各列上で感知される信号よりも相当弱くなる。この違いは、真実のタッチと、身体を横切る結合によるクロストークの「幻影的」タッチとを区別する上で有用である。一般に、単一の閾値と受信信号レベルとにより、2つの信号強度を識別することが可能である。
前述の「ユーザ識別技術」と題されたセクションにおいて述べた基礎的アプローチは、個人ユーザの指の間でジャンプする信号によって引き起こされるクロストークを発見する。クロストークが存在する場合、複数タッチは同一人物からもたらされると見なされる。
そうでない場合、それらは複数の人々からもたらされると見なされる。図25を参照すると、このアプローチが、白色領域で2つのタッチが有ったことを決定したのち、黒円領域におけるクロストークを発見する。このクロストークが存在するとき、2つのタッチは同一ユーザからもたらされると見なされる。図26は、2人のユーザによってなされた同じタッチを示すものであり、各ユーザが1本の指でタッチスクリーンにタッチしている。各行からの信号が両方の列へ結合されないので、タッチ間にクロストークは無く、したがって、黒円によって表示される領域中にクロストークは存在しない。従って、これら2点は、2人のユーザからもたらされたと認めることができる。
前述の「ユーザ識別技術」と題されたセクションで述べた他の基礎的アプローチは、受信した信号のためにセンサをスウィープし、信号レベルを「暗騒音」、「タッチ」または「クロストーク」に同定する。2つのタッチは、両方のタッチ周波数を含む同定されたクロストーク信号が在るならば、同一ユーザからもたらされると見なされる。この基礎的なアプローチは、タッチおよびクロストーク位置を無視し、クロストーク周波数とタッチ周波数とを一致させることへの同定されたタッチ信号およびクロストーク信号の横断に依存する。段落[0224]と比較して、この基礎的アプローチの利点は、この方法は、図26に描かれた黒領域を同定する必要性を緩和することである。さらに明確化の必要性が生じる場合は常に、クロストーク位置と指位置とが考慮され得る。
しかしながら、クロストーク地点が曖昧になり得るいくつかのタッチ構成では、問題が生じる。図27に示されるように、単純な実施例は、XまたはYを共有する2本の指の例である。これらの2つのタッチは、地点間に生じるクロストークがタッチ自体によって隠されるので、同定するのが難しい。すなわち、この構成において、これらのタッチが同一人物または複数の人からもたらされるのかどうかが分からないことである。もしタッチが同一人物からもたらされるとき、どのようなクロストークも、反対のタッチ地点によって生成される信号と同一の信号を生成するであろう。したがって、信号が、実際のタッチ事象の代りに、クロストークによって生成されたことを、直接断定することができない。
上記で述べた問題の可能性のある解決法は、各タッチが複数の周波数を有するかをチェックすることである。2つ以上の周波数が測定されたとき、タッチは、より大きな振幅の周波数によって同定され、タッチ信号内に存在する第2の、あまり強くない周波数に基づいて、他のタッチと関連づけられる。
図28を参照すると、本明細書で開示された識別技術の実施形態において、タッチスクリーン及び/又はプロセッサは、各行および各列上で直交信号を生成し、各行および各列上の全信号を感知するように修正される。タッチ感知は前述したのと同じ方法で生じ、ユーザの指を、行から列へ、または列から行への信号に結合する。しかしながら、システムはここでは、行から列に結合するクロストーク、及び、列から行に結合するクロストークの両方からのタッチをグループ化することができる。
タッチ位置を決定するための行から列および列から行への結合を感知するほかに、実施形態において、開示されるシステムは、行から行への結合および列から列への結合を感知することが可能である。前述の従来のシステムおよび方法によれば、表題「ユーザ識別技術」の下で、1本の指タッチにおいて、他の行によって感知される行からの信号は存在しない。同様に、他の列によって感知される列からの信号は存在しない。各行および各列は、それらが生成する信号を無視しなければならないと考えられる。なぜならば、それが存在し、非常に「うるさく」、例えば強いからである。同様に、タッチがあるとき、指は複数の行にまたがる程度に十分に大きいので、1つの行は恐らくその近隣の行を検査するだろうと考える。
ユーザは、2本以上の指でタッチスクリーンにタッチするときに、信号を1つの行から他の行に及び1つの列から他の列に結合する。行間および列間のこのクロストークは、行/列の対間のクロストークに類似しており、複数のタッチが同じユーザによってもたらされていることを判定ために使用され得る。図29は、1つの行から別の行までの1つのそのような経路を示す。この場合、シングルユーザは、ディスプレイを2回タッチし、1つの行からの信号は、身体を介して別の行へと通る。
図29に従うと、1つの列上で生成された信号は、ユーザの身体を介して別の列に結合され。ここで信号が感知される。信号が、行から行に又は列から列に結合されるときに、2回のタッチが同じユーザからのものであることを判定することができる。この図は、単に明瞭さのために1つの信号経路を示しているが、同じ経路が、前に記載された行間のクロストークおよび列間の結合と同様に、反対方向に移動する信号に対しても存在する。
図30は、図29の変形であり、ここで信号は、手の間ではなくむしろユーザの手を介して結合される。図30に従うと、1つの列上で生成された信号は、ユーザの身体を介して別の列に結合され。ここで信号が感知される。
図31は、2つの異なるユーザによる2回のタッチを示す。この場合、信号がユーザ間を移動する経路がないため、行間の結合または列間の結合はない。結合がないと、これらの2つの点は、2人の別の個人からのものと考えられ得る。
一実施形態では、複数の点が、1つの手、同じ人の両手、または複数の人からのタッチからのものであるのかを判定するために、クロストークの強度が、プロセッサ、回路または他のハードウェアによって使用される。身体を介する信号の減衰は、使用される手の数および信号が移動しなければならない距離によって異なる。発見的に、片方の手における指から指への減衰は、1人の人の指から異なる人の指までの減衰未満である、同じ人の2つの異なる手における指から指までの減衰未満になる。クロストークの強度は、両手のジェスチャと片手のジェスチャを識別すること、2つのタッチ事象を異なるユーザによって始められたこととして識別すること、受動物体と1つの手を識別すること、ユーザが物体にタッチするかどうかにかかわらず受動物体を特定すること、パームリジェクションを改善すること、および偶発的なタッチリジェクションを改善することなどによって、2つ以上のタッチ事象を識別するために、プロセッサ、回路または他のハードウェアによって使用され得る。
複数の閾値を有することで、例えば、2回のタッチが、片方の手、同じ人の両手、または異なる人の両手からのものであるのかを判定することができる。一実施形態では、閾値は、使用されているタッチセンス装置に応じて設定される。
タッチの身体的源(手、ユーザなど)の決定が、入力の各フレーム上に生じる必要がないことに留意されるべきである。実際に、それは、装置上でなされている特定のタッチの期間につき一度くらいの希に生じ得る。幾つかの実施形態では、性能、パワー、または他の視点から、このチェックを適切に制限することが望ましいかもしれない。それは、例えば、ユーザが最初に接触を行うときに、故意に一度だけチェックすることによって行われ得る。代替的に、ユーザ区別のチェックが、センサよりも遅いサイクルで行われ得る(例えば、nフレームごとに一度、またはmミリ秒ごとに一度チェックする)。対照的に、ユーザ区別は、センシングプロセスの残りとともにオフサイクルにチェックされ得る。
1つのそのような実施形態では、システムの複雑性は、行から列および列から行への送受信および恐らく行から行および列から列への送受信を時分割多重化することによって低減される。本実施形態では、同じ直交の信号発生ハードウェアおよび信号受信ハードウェアは、高速スイッチの使用によって、信号を行およびその後列上で生成し、列およびその後行上で受信するなどのために、時分割多重化され得る。このように、必要な信号発生器および受信器の数は、著しく減少される。
ラベル付け
記載したように、ユーザによるタッチ接触を「グループ化する」ことができる、理想的には、同じ手からの接触を識別するだけでなく、同じユーザからの接触を識別することが望ましい。当業者に理解されるように、センサ装置の走査サイクルにわたるタッチ接触のラベル付けは、手動で行われる。本発明の実施形態では、「走査」自体がないが、アレイがサンプリングされる度に入力フレームと考えられ得るものが存在し、これは、ユーザのディスプレイとの連続的な接触の離散化と考えられ得る。この離散化は、1つのフレームから次のフレームまで、どの接触が持続したか及びどの接触が新しい接触に取って代わったかを装置が判定しなければならないことを意味する。様々な実施形態では、ユーザ、手および物体の識別の本明細書に開示されたシステムおよび方法は、ラベル付けの領域との少なくとも3つの交差を有する:フレームにわたってラベルを提供する必要性、接触の従来の特有のラベル付けの改善、およびユーザ識別を改善するための従来のラベル付けの使用。
入力フレームにわたる接触のラベル付けは、タッチ(また非タッチ)入力のために構築された従来のユーザインターフェースに重要である。例えば、ユーザがボタンを押したままである場合、それは起動しないはずである。2つの連続する入力フレームは、ボタン上の接触を示し得るが;それは同じ接触であるのか、それとも、ユーザは指を上げて、装置に指を戻したのか。前者の場合、ボタンは起動しないはずである。後者の場合、ボタンは起動するはずである。これは、連続的なジェスチャにも当てはまり:指がそれから上げられると、項目のドラッギングは終了し得;ドラッグ中の入力の各フレームに対して、システムが判定しなければならないのは:前のフレーム中の接触から数ミリメートル離れた接触であるか、同じ指がフレーム間で移動したのか、またはユーザが指を上げて、ドラッグを終了し、新しい項目を指そうとしているのかである。
接触のラベル付けのための従来の技術は、接触について記述する信号特性(例えば、信号強度)、その形状、その配向、およびその前の接触に対する近接性を考察するなどの、ヒューリスティックスを含む。本発明の実施形態は、これらの従来の方法の幾つか又はすべてを利用し得るが、接触のラベル付けは、本明細書に記載されたユーザ区別の技術によってさらに強化され得、各々が異なるフレーム中に見られる、2つの接触が、異なるユーザによってなされる場合に、これは同じ接触ではないということで、問題は解決される。
持続性のラベルが従来の装置における接触のために生成されるように、本発明を利用する装置は、フレームに沿って同じユーザに属するものとして接触のラベル付けを介して増強されるだろう。これは接触用の「ユーザID」(UID)と呼ばれ得る。UIDが手を識別し得ること、および本書において「UID」が、手が区別される実施形態および識別されない実施形態を指すために用いられることが留意される。手が識別される実施形態では、UIDは、典型的に、ユーザおよび手の両方を区別するだろう。フレームにわたって同じユーザに属するものとしての接触のラベル付けは、典型的に、常にではないが、従来のタッチIDに加えるものある。本発明のほとんどの実施形態では、接触のUIDは、連続的にリフレッシュされる。しかしながら、いくつかの実施形態では、ステップはUIDが固執することを保証するために取られる。
例えば、二人のユーザは各々、デバイス上に指を置く、2つの固有のUIDがそれらの接触に割り当てられる。ユーザの指がディスプレイにそって動かされる間、それらのIDは存続する。別の指が各ユーザによって追加されたときに、本発明はそれらの検出された接触を対にして、各ユーザからの新しい接触に同じUIDを適用する。その後、一人のユーザが最初の指を上げた場合、新たに生成されるのではなくむしろ、別の指のUIDが存続する。さらに、そのユーザによって追加の接触が装置になされた場合、UIDは存続する。一般に、ユーザ間のタッチを区別することだけが目的ではなく、ユーザ内のタッチをできるだけ多くグループ化することも目的である。
上に議論されるように、本明細書に開示された識別のシステムおよび方法の幾つかの実施形態では、「マスキング」は、同じ感知部分(行または列)に対して2つの接触(または近接した指検出)がなされるところに生じ得、これは、クロストークおよび故にユーザIDの検出を妨げる。そのような実施形態では、本明細書に記載される技術を使用してフレームにわたって存続する、各接触に適用されたラベルは、UIDを提供するために用いられる。例えば、2本の指がディスプレイにタッチし、その表面にわたってスライドする場合、入力の各フレームは、接触を感知し、UIDを生成する。フレームに沿った接触のラベル付けが、本明細書に記載されるようにUIDによって増強されるように、この特殊な事例においてラベル付けによって助けられたUIDの生成も増強される。
タッチが最初になされるときに、従来の入力装置でのように、接触は、例えば、上に挙げられた技術を使用して、フレームに沿って存続するようにラベル付けされる。2本の指は、デバイスに沿ってスライドするとともに、同じ感知する行/列と同時に接触するかもしれない。ユーザがその行と接触している間に生成された入力フレームに対しては、UIDは生成され得ない(実施形態では、上に記載される技術を利用していない)。しかしながら、本明細書に開示された識別技術を利用する装置は、接触が変更しなかった(即ち、接触「1」は接触「1」のままであり、接触「2」は接触「2」とラベル付けされたままである)という認識を考慮して、および初期のフレームからUIDをコピーして、UIDを生成することができた。
アプリケーション領域
モバイルおよび定常のコンピューティングにおける現在のマルチタッチソフトウェアインターフェースは、典型的に、異なるユーザまたは同じユーザからのものであろうと、異なる手を区別することができない。結果として、シングルユーザおよびシングルディスプレイのグループウェアアプリケーションは、アプリケーションの設計、特徴および機能性をマイナスに制限する受信したユーザ入力の真意を解釈するときに、著しいジェスチャのあいまい性(gestural ambiguity)を軽減しなければならない。本明細書に開示された技術は、触覚入力を検出するために容量感知に依存するタッおよびスタイラスのコンピューティングシステムに対するこれらの制限の多くを取り除く。複数のユーザが同じタッチ入力面を共有するシングルディスプレイのグループウェアアプリケーションに関して、コンピューティングシステムは、感知したマルチタッチ入力が同じユーザまたは異なるユーザのものであるのかを確実に識別することができる。この新しいレベルの理解は、二人の異なるユーザからの2つの別々のシングルタッチのドラッグ事象と、同じユーザからの2本の指によって引き起こされた1つのピンチズーム事象とを識別するなど、ジェスチャによる入力の混乱の共通ソースを解決する。別々に移動する任意の2つの接触が、予めUIを「ズームした(ZOOMED)」場合、本発明を利用するシステムは、代わりに、2つの接触を異なるユーザからのものとして識別するときに、物体を半分に「分裂させる(tear)」か、またはコピーを作る。
物体
ユーザの手以外の物体は、識別され得る。受動物体は、記載された技術によって識別される多くのタッチによって識別され得る。これらの複数のタッチは、1つの物体を別の物体と明確に区別することができるように、特有の相対位置にあり得る。一実施形態では、1つの物体のタッチ点の位置は、正三角形にあり得、一方でもう1つの物体のタッチ点の位置は、非正三角形、長方形、またはそれらの相対位置によって識別され得るタッチ点の幾つかの他のセットを形成する。このように、物体は、互いに識別され得、タッチ面に対するそれらの並進および回転が決定され得る。
一実施形態では、タッチ点の間隔は、行または列の間隔の単比ではなく、これによって、物体の並進または回転を以前よりも正確に測定することが可能となる。
図32は、センサの上に静止する物体を示す。一実施形態では、物体は、信号発生器SGなしでの受動物体である。そのような物体は、スクリーンをタッチする又はそれに非常に接近している多くのプロングを有することができ、それらの間で電気的に接続される。それがユーザの場合には、これによって、行間または列間の結合およびどのタッチが同じ物体に属するかを識別する能力の発揮が可能となる。物体識別は、ともに接続されて特定パターンを形成する多くのプロングを識別することによって、またはタッチ面に対して認識可能であるパターンでタッチ間の電気接続に切り替えることによって達成され得る。したがって、信号が、行から行または列から列に結合されるときに、2回のタッチが同じ物体からのものであることを判定することができる。
一実施形態では、図32に示される物体は、列、行またはその両方上で検出することができる信号を発する、信号発生器SGを備えた能動物体である。これらの信号は、接触を特定の能動装置から生じたものとして識別する。
一実施形態では、能動物体は、1つ以上のスイッチに従って接続されている又は接続されていない複数の接触点を有することによって実装され得る。これらのスイッチは、閉じられたときにタッチ点の1つ以上を一緒に接続することができる。スイッチは、1つの物体を別の物体と明確に区別するために特有のパターンで開閉され得る。
物体との組み合わせ
特定の状況では、ユーザによって保持された物体との接触がいつなされるかを識別することが望ましいかもしれない。本発明は、そのような状況においてユーザ体験をさらに向上させる。例えば、ユーザは、操作のために、指でなされた入力とは区別された、筆記に使用される、スタイラスでスクリーンにタッチするかもしれない。本発明は、少なくとも以下の2つの利点を提供することができる:物体のより容易な識別、および物体を保持する同じユーザ及び/又は手によってなされているものとしての接触のラベル付け。
本明細書に開示されるユーザ、手および物体の識別技術を利用して、信号を生成する物体のラベル付けは、著しく容易にされる。本発明の技術を利用する装置は、特有の周波数で、あるいは1つを超える装置によって又はそうでなければタッチ面が一意に認識できる信号によって共有される周波数で信号を生成する信号発生器を備え得る。幾つかの実施形態では、装置は、その特有の周波数によって、あるいは振幅、周波数の変調、または他の既知の方法によって認識され得る。その際、ユーザは、装置がシステムから区別された応答を受信することを保証され得る。例えば、1本のペンでスクリーンにタッチすることによって、ブルーインクを生成し得、別のペンでレッドインク、指で作図アプリケーション中のキャンバスの翻訳(translation)を生成し得る。
さらに、区別された物体は、一度識別されると、他の接触を行う同じユーザによって保持されているものとしてラベル付けされ得る。これは、デジタイザーによって拾われた能動装置によって、または上に記載される方法で検出される受動装置によって可能となる。いずれの場合も、装置を保持する手、またはユーザの身体の他の部分によってなされた更なる接触は、前に記載した同じ方法で区別可能であり、幾つかの実施形態では、それらの接触と同じUIDをラベル付けされる。これは、多くの方法でユーザ体験を向上させ得る。一例として、システムは、装置を保持する手からのタッチを無視することを選択するように構成され得、パームリジェクションを向上させ、ユーザは、別の手で入力を行いながら、筆記中にスクリーン上に安全に手を置くことができる。
幾つかの実施形態では、装置は、2つ以上の異なる信号を発するように構成され得る:
少なくとも1つは装置の認識用の信号、および少なくとも1つは記載されたようにユーザに結合されるための信号。一例として、スタイラスは、位置感知のためにその先端で1つの信号を生成し、ユーザペアリングのためにその身体のまわりに異なる信号を生成するかもしれない。さらに他の実施形態では、物体は、ペアリングの目的のみで信号を生成するかもしれない(本明細書に記載される時計、またはさもなければ受動スタイラスなど)。
一実施形態では、装置は、物体によってユーザ区別が入力フレームにわたって存続することが可能となるように形成され得る。例えば、幾つかの実施形態では、ユーザが、本明細書に記載されるタイプの信号を生成した、時計を着用する、ペンを持つ、または携帯電話を持つ場合、装置へのそれらのタッチは、その信号を運ぶだろう。したがって、数秒、数分、数日、または数年の間隔をあけてなされたタッチは、同じユーザからのものとなることが認識され得る(あるいは、両方が装置に接するユーザからのものであったことが認識され得る)。
軽減された感度での作動
コンピュータ入力装置の電力消費を低下させるために、入力装置が100%未満の時間で使用されるという事実に留意する。したがって、入力装置は、使用されていない時間の間、より少ないエネルギーを消費する又はそうでなければ軽減された動作感度で作動する異なるモードに変更され得る。本明細書で使用されるように、「電力」および「動作感度」は、限定されないが、電力消費、事象頻度(即ち、時間分解能に強く関連する更新率)、タッチ感度、空間分解能(例えば、1行おき又はあらゆる行のプロセシング)、タッチレイテンシ、信号対ノイズ比(これは、ユーザインターフェース精度および故にユーザ体験と強く関連する)、計算能力、フレームレート、ホバー検出(hover detection)のユーザ体験および可用性を含む。
さらに、ユーザが、入力装置の十分なレベルの性能を必要としないタスクを実行するシステムを使用するため、入力装置がその最も高い性能レベルで作動することを、コンピュータシステムが必ずしも必要としないことに留意する。したがって、これらの期間に、コンピュータシステムは、入力装置を、より少ない電力を消費するモードにすることができるが、より低い性能を有し得る。
コンピュータは、入力装置を、十分なレベルの性能が必要とされないことを自動的に検出することにより省電力モードにすることができるか、または入力装置は、アプリケーション ロジックによって、より低い電力、より低い性能レベルで作動するように命令され得る。
一実施形態では、複数のモードが存在し得、その各々は、動作性能と電力消費との間の異なるトレードオフを有する。
一実施形態では、入力装置は、タッチセンサである。
一実施形態では、入力装置は、マルチタッチセンサである。
一実施形態では、入力装置は、低レイテンシのタッチセンサである。
一実施形態では、入力装置は、発明の名称「Low−Latency Touch Sensitive Device」の、2013年3月15日に出願された、米国特許出願第13/841,436号、発明の名称「Fast Multi−Touch Post Processing」の、2013年11月1日に出願された、米国特許出願第14/069,609号、および発明の名称「Fast Multi−Touch Post Processing」の、2013年7月12日に出願された、米国特許出願第61/845,892号に開示されるように、直交信号に依存する低レイテンシのタッチセンサである。そのような特許出願の全開示は、引用によって本明細書に組み込まれる。
その1つのアプリケーションは、ユーザが入力装置を使用しない場合のものであり、そこで、装置は、より高いレイテンシ、より低い更新率などの性能を下げ得る低電力モードに入る。ユーザが入力装置を使用し始めるとすぐに、装置は、より高い性能モード、もしかすると完全な性能モードに入れられる。
入力装置のより低い性能が、エンドユーザによって知覚されそうにない或いはユーザ体験または生産性に効果を与えそうにない短期間の間である場合、ユーザが入力装置を使用し始めた後でさえ、装置を、より低い性能、より低い電力状態のままにしておくことも可能であり得る。
インキング、作図、スクロールなどの、異なるユーザクションは、録音、メニュー選択などの他のユーザクションより高い性能を必要とし得る。より高い性能を必要とする状況において、入力装置は、より多くの電力を消費するより高い性能モードに入れられ得る。それほど高い性能を必要としない状況において、入力装置は、より低い性能を有し得るより低い電力モードに入れられ得る。
幾つかの実施形態では、入力の特性は、より高い性能比率が必要とされることを示唆し得る。例えば、多くの方向変更がある入力ストロークは、ストロークの微妙な違いを捕らえるために、より高いフレームレートを必要とし得る。そのような形状の検出によって、装置は、より速いモードに入れられるかもしれない。反対に、微妙な違いのないストロークは、より低いサンプリングレートが十分であるかもしれず、それ故、フレームレートが低下されるかもしれないことを示唆し得る。同様に、指の近傍は、より高いレートでサンプリングされるかもしれない。
装置との1回のユーザインタラクションは、指またはスタイラスによる装置上のホバリングなどの非接触モードであるかもしれない。マルチタッチに対するシングルタッチなどの、空間分解能、時間分解能、または入力情報をそれほど必要としない状況において、装置は、必要レベルの性能(空間、時間など)をそれでも提供する、より低い電力モードに入れられ得る。
一実施形態では、ユーザがより高いレベルの性能をすぐに必要とするとコンピュータが予測する場合に、入力装置の性能は上げられ得る。例えば、装置は、ユーザの指がタッチ入力装置の近くをホバリングしているが、それにタッチしていないことを検出する場合、その情報をタッチ入力装置の性能を上げるトリガーとして使用することができ、その結果、ユーザの指が最終的に入力装置にタッチするときに、入力装置は、良好なユーザ体験に必要となる性能レベルにまで既に強化されている。
一実施形態では、アプリケーションの状態は、より高いフレームレートが必要であることを示唆するかもしれない。これは、オペレーティングシステムによって、システム利用率の特性によって、または明示的にアプリケーションによって、例えば、プロセス間通信、関数呼出し、または他の手段によって推論されるかもしれない。
一実施形態では、コンピュータシステムは、ユーザがいつ及びどこで次に入力を提供するかを含む、次にどのように装置を利用するかの時間的及び/又は空間的予測を作成するために、アルゴリズム的な予測技術を利用することができる。具体的には、タッチ入力装置に関して、指またはスタイラスが、いつ及びどこでディスプレイと接触するかのそのような時間的または空間的予測は、ユーザ入力装置をより適切な性能/消費電力モードまたはトレードオフを有するモードに入れるために使用され得る。
一実施形態では、コンピュータシステムに含まれる複数のセンサまたはユーザ入力装置に関する予測が、必要な性能/電力消費のトレードオフのモードをアルゴリズム的に予測するために使用され得るように、センサフュージョンを使用することができる。例えば、一実施形態では、スマートフォンに組み込まれた加速度計は、タッチスクリーンのモードを変更するために使用され得る。電話の加速の時刻歴は、ユーザがタッチ入力装置にタッチしそうなとき又はタッチしたときを予測することが可能であり得、それ故、タッチ入力装置の性能/消費電力モードを変更することができる。別の実施形態では、1つの電力/性能のトレードオフモードから異なるモードまでのスイッチを管理する閾値およびロジックは、外部電源の可用性または状態に依存して、装置のバッテリーレベルを組み込む。
これらの事象を正確に検出する可能性についての統計的知識は、フォールスアラームおよび正確な検出率をトレードオフすることによって、装置の電力消費を最適化するために使用され得(受信者動作特性の統計)、その結果、電力消費およびユーザ体験は適切に整列される(aligned)。この最適化は、設計時間または製造時間で前もって行われ得るか、特定のユーザの履歴および習慣に適応するために学習技術を使用し得る。
一実施形態では、領域にわたってタッチを検出することができるタッチ入力装置は、領域の異なる部分が異なる性能/電力消費のトレードオフを有するモードに入れられ得る。例えば、全体のタッチ領域は、その領域内でユーザがどこにタッチするか、また単純に領域内のどこかにタッチしていることを検出することができないモードに入れられ得る。同様に、タッチ領域の一部は、空間分解能、時間分解能、レイテンシ、または他のタッチパラメーターの間の特定のトレードオフを有するモードに入れられ得、一方でタッチ領域の他の部分は、これらのパラメーターの異なるトレードオフを有し得る。一実施形態では、スライダUI制御を管理するタッチ領域の一部は、プッシュボタンを有する及び空間分解能または時間分解能をそれほど必要としないタッチ領域の一部より、高い空間分解能および時間分解能およびより低いレイテンシを有するモードであり得、ユーザに満足なユーザ体験を提供しながら、より高いレイテンシのインタラクションに耐えることができる。
一実施形態では、ユーザは、入力装置の電力/性能のトレードオフモードは、人間対コンピュータのインターフェースによって、例えばコントロールパネルを介して、明示的に定義され得る。
一実施形態では、複数の入力装置がある。それらの各々は、ユーザ体験を最適化するために異なる電力/性能のトレードオフモードに入れられ得る。例えば、単一のゲーム機コントローラーは、ユーザの左手および右手それぞれのための2つのマルチタッチパッドが有し得、その各々は、ゲームプレイ間の異なる時間にアクティブユーズになり得る。
動的割当て
コンピュータシステムにおけるタッチセンサの知覚品質は、ユーザ入力信号が適切に周囲の電磁ノイズと区別される、高い信号対ノイズ比に依存する。こうした電磁ノイズは、タッチセンサがその一部であるコンピュータシステム内の他の構成要素(LCD情報表示装置など)、あるいはユーザの外部環境の人工または天然の信号(デバイスの外部AC電源充電器からの望ましくない信号など)から生じることがある。これらの望まれない電磁気信号は、ユーザ入力としてタッチセンサにより誤検出され、それにより、誤った又はノイズのあるユーザコマンドを生成し得る。
タッチセンサがこうした誤ったまたはノイズのある読み取りを減らすかまたは除去することを可能にする新規な方法が本明細書で開示されている。この方法により、高い信号対ノイズ比が他のコンピュータシステム構成要素または望ましくない外部信号からの干渉電磁ノイズに近似していても、タッチセンサはその高い信号対ノイズ比を維持することができる。この方法を用いて、センサの総電力消費を減らすべく、所定の時点でタッチセンサの選択部分または全表面領域を統制する信号変調スキームを動的に再構成することができ、その一方で並列性、レイテンシ、サンプルレート、ダイナミックレンジ、感知粒状度などの点からセンサの全体的な性能を最適化することができる。
この革新は、その性能が電磁気信号の正確な読み取りに依存する容量式タッチセンサ、とりわけ、スキャンレートを増大させ、報告されたタッチ入力事象のコンピュータシステムへのレイテンシを低下させるために周波数分割多重化(FDM)を使用する容量式タッチセンサにとって価値がある。そのため、本出願は、2013年3月15日に出願された「Low−Latency Touch Sensitive Device」という表題の出願人の米国特許出願第13/841,436号と、2013年11月1日に出願された「Fast Multi−Touch Post Processing」という表題の米国特許出願第14/069,609号の開示を参照し、組み込み、さらに詳細に述べる。当該文献は一実施形態として容量式周波数分割多重化タッチセンサを企図している。
<動的割当てプロセスの実施形態>
工程1:タッチ信号とノイズを合理的に識別する
タッチセンサは、ユーザがセンサにタッチしていないことが分かっている場合、あるいは、実際のタッチ信号が合理的に分かっているとき(すなわち、タッチ面の幾つかの部分がタッチされているが、他の部分はタッチされていないことが分かっているとき)、受信される信号を全て分析することができる。
タッチセンサは触れられているか否か、あるいはタッチセンサに触れられている場所に関するこうした判断は、センサ自体からの読み取り、加速度計、ジャイロメーター、磁力計、光センサなどの他の一般的なコンピュータ入力センサ、コンピュータシステムの電源状態(例えば、コンピュータが「スリープモード」に入っているときなど)、コンピュータシステムなど上の現在実行されているソフトウェアアプリケーションからの事象ストリームの組み合わせを分析することにより、形成および強化可能である。システムの状態、システム構成要素の状態、またはユーザの状態に関する結論を導き出すために、コンピュータシステムにおける1より多くのセンサからのデータに依存するこの分析プロセスは、当該技術分野においては一般に「センサフュージョン」と呼ばれる。
手による既知のタッチに関する分析判断により、タッチセンサの受信信号は全て、こうした既知のタッチに関して受信された信号と比較され得る。センサが測定した信号と、(現在または以前のタッチ事象について知られていることを考えれば)測定されるはずだったものとの間の結果として生じる差異を用いて、ノイズと干渉を緩和することができる。
この方法の実施形態において、干渉信号のこの測定のいくつかは、設計時間に予測可能な干渉信号のすくなくとも干渉部分について設計時に発生し得る。
この方法の別の実施形態において、測定の一部は製造時または試験時に発生し得る。
別の実施形態において、測定の一部は、ユーザがタッチセンサにタッチしていないことが合理的に分かっている使用前の期間に発生し得る。別の実施形態において、測定の一部は、ユーザが既知の位置でセンサにタッチしているときに発生し得る。
別の実施形態において、測定の一部は、ユーザがタッチ面にタッチしていないことが他のセンサによりまたはアルゴリズム的に予測されるとき、ユーザタッチ間の時点で発生し得る。
別の実施形態において、測定の一部は、統計パターン、およびユーザのタッチの可能性を測定することができるソフトウェアにより統計的に発生し得る。例えば、ユーザ・インターフェース(UI)はタッチ面上の特定の位置のみにボタンを置くことができ、その結果、ボタンはユーザが所定の時間に触れる可能性のあるただ一つの場所である。こうした既知の位置の1つに触れると、タッチ/無タッチ状態間の差はノイズのある状態でも非常に明白になりえる。一実施形態では、(恐らくディスプレイによって指示される)特定の定義された期間にボタンを押し下げなければならず、そうすることでノイズのある状態でもタッチが検出され得るあらかじめ定義された期間ができるように、UIを設計することができる。別の実施形態において、ボタンの代わりにスライダまたは二次元の「ポインター」を使用することができる。なぜなら、こうしたUI制御は前もってUIにより知られているか、あるいはセンサフュージョンにより装置上の他のセンサにより動的に(ある程度まで)測定可能である任意の経路に従うことをユーザに要求するからである。一実施形態では、こうしたUIスライダは、限定されないが、iOS、アンドロイド、他のリナックス(登録商標)改良型、またはウインドウズのようなタッチしやすいオペレーティングシステムの「ロック・スクリーン」上で一般に見られる1つの「スライドオープン式」スライダ制御であり得る。関連する実施形態では、こうした任意のロック解除ジェスチャ制御も使用することができる。一実施形態では、ある単語の文字が近くの文字を見ることで容易かつ正確に予言可能であるため、バーチャル・キーボードは既知のタッチ位置を提供する。
一実施形態では、こうした分析は、タッチセンサの別のタッチ制御装置上で行うことができる。
別の実施形態では、こうした分析は、限定されないが、ASIC、MCU、FPGA、CPU、GPU、またはSoCなどの他のコンピュータシステム構成要素上で行うことができる。
工程2:干渉を回避する
ノイズのある読み取りが、既存のタッチ信号に基づいて、および/または工程1で詳しく述べられるような統計的推論によって「干渉」であるといったん確認されると、電磁干渉についてのこうした知識を使って、ノイズがタッチセンサによって感知され得るまたは感知される可能性がある周波数空間、時間空間、またはコード空間の特定の衝突を回避することができる。既知のタッチ信号と特定された電磁干渉との間の衝突は、限定されないが以下の様々な技術、または技術の組み合わせによって回避することが可能である:
1:干渉のない、またはほとんどない特定された信号周波数があるとき、タッチセンサはそれらを使用するように構成されなければならない。
2:干渉のない、またはほとんどないタイムスロットがある場合、タッチセンサはそれらを使用するように構成されなければならない。
3:干渉のない、またはほとんどないコードがある場合、タッチセンサはそれらを使用するように構成されなければならない。
4:干渉のない、またはほとんどない周波数、時間、およびコードの組み合わせがある場合、タッチセンサはそれらを使用するように構成されなければならない。
5:FDMを使用するタッチセンサについては、タッチセンサが使用する信号周波数は連続している必要はない。周波数帯域のいくつかの部分が干渉によって占領される場合、タッチセンサはこうした周波数を回避するように構成されなければならない。周波数帯域のいくつかの部分が特定の時間に干渉によって占領される場合、タッチセンサはそのような既知の時間にこうした信号周波数の使用を回避するように構成されなければならない。周波数帯域のいくつかの部分が特定の既知の時間に比較的静的な干渉によって占領される場合、タッチセンサによって送信された信号は、復調が既知の干渉を相殺または除去するようは方法でこうした時間に変調されなければならない。例えば、この変調技術の実施形態において、干渉が所望の周波数で安定したシヌソイドである場合、二相位相変調偏移キーイング(BPSK)は、タッチセンサにより発せられた周波数を変調するために使用されなければならず、その結果、反対側のBPSKを用いて、タッチセンサから受け取られた信号と干渉信号の結果として生じる和を復調するとき、干渉の等しい部分に正相を乗じ、等しい部分に逆相を乗じ、その結果、信号が総受信期間にわたって積分されるとき、干渉信号は加算されて無視できる程度になった。同様の効力を備えた変調の他の形態も可能である。
6.FDMを使用するタッチセンサが、周波数分析を行う高速フーリエ変換、あるいは周波数ビンの数がアルゴリズムまたはアルゴリズムの性質によって制約される同様の高速アルゴリズムを使用する場合、センサは、多くのビンを備えたより大きな変換を用い(おそらく次のものはサイズが大きくなる)、その結果、余分な起こり得る受信周波数ができる。
その後、こうした周波数のいずれかで送信する能力を備えたタッチセンサを製造の前に設計する。このように、周波数ビンのいくつかが干渉を含んでいる場合、干渉のほとんどない、またはまったくない周波数を支持してこうした周波数ビンを回避することができる。
工程3:望ましくないホットスポットを保証しない
前述の技術を用いて電磁干渉のいくつかを完全には除去することができない場合、タッチセンサは、こうしたノイズがセンサの表面積全体に均一に広がって、残りの干渉によりもたらされる任意の操作上の問題を確実に最小限に抑えるように構成可能である。
一実施形態では、優れたユーザ体験の保証に関してよりノイズに強いUI要素がより多くのノイズを有するタッチ面の部分に置かれ、正確な制御が必要となるためほぼノイズのない入力コマンドを要求するUI要素がほとんどないまたはまったくない干渉の影響を受けるタッチセンサの一部に関連するように、タッチセンサを構成し、カスタムアプリケーションプログラミングインタフェース(API)と対にすることができる。
別の実施形態では、望ましくない電磁ノイズは、タッチセンサ信号に割り当てられたタイミング、周波数、およびコードをリマップすることにより緩和可能である。タッチセンサの行と列に関連するこうした信号の分割は、一定の関係を有する必要がなく、必要に応じて動的にリマップ可能である。例えば、一実施形態では、FDMを使用するタッチセンサは所定の行の特定の周波数のシヌソイドを常に送信することもあれば、動的に送信する周波数をリマップすることもある。例えば、タッチセンサの送信機と受信機が「n」の異なる周波数で動作することができ、およびこうした周波数の「m」が十分に少ない量の干渉を含むと測定され、タッチセンサの行の数(同時に送信される周波数)が、「r」である(「n」は「m」以上であり、「m」は「r」以上である)場合、その後、タッチセンサは、「m」のセットから「r」の周波数を選び、ユーザ体験に対する性能低下を最小限に抑えることを目的としたやり方で行に対してその周波数をマップすることができる。別の実施形態では、センサの選択された動作周波数のセットをフレームごとにランダムまたは疑似ランダムな方法で動的にマッピングすることが可能であり、その結果、かなりの時間にわたってタッチ面の異なる部分のノイズ統計の無視できる程度の相関がある。より具体的には、周波数に最小のノイズしかない場合、タッチセンサは「m」の可能な中から「r」の周波数を選ぶことができるか、あるいは、タッチセンサは、かなりの時間にわたってタッチ面の異なる部分間のノイズ統計の相関を最小限に抑えることを目的とするやり方で周波数の中から動的およびランダムに(または偽ランダムに)周波数を選ぶこともある。同様の方法は、タイムスロット、コード、または他の変調スキームまたは、あるいはこれらの組み合わせに使用することができる。
別の実施形態において、FDMを主に使用するタッチセンサに関して、十分に少量の干渉を含むことが確定していると「m」の周波数が、各センサ行の固有の周波数を同時に送信するように要求される「r」の周波数の数以上である場合、タッチセンサは、UI制御の既存のレイアウトと要件に基づいてタッチセンサの表面積の特定の部分のレイテンシとサンプルレート性能を最適化する動的なFDM変調スキームを使用することができる。本明細書では、高精度な、低レイテンシのユーザ入力を要求するUI制御の所定の時点での既知の場所は、信号変調スキームが高性能のために所定の時点で最適化されたタッチセンサの表面積の対応する部分にマッピングされる。コンピュータシステムのソフトウェアにより定義されたUI制御の場所と性能の要件と、タッチセンサの表面積の場所と性能の要件との間のこうした動的なマッピングは、実行時間の前にアプリケーション開発者によって明示的に定義されるか、あるいは、アプリケーション、オペレーティングシステム、およびアプリケーションプログラミングインタフェース(API)によって定義されるタッチ面との間の通信を用いてUI制御の実行時にオペレーティングシステム論理と分析によって定義され得る。同時にこうした高性能区域と一緒に、同じ表面積の他の隣接する区域は、低性能周波数、時間、またはコード変調スキームを使用することができた。センサの特定区域だけが要求される性能レベルで動作して、表面積の残りが性能を上回るエネルギー保存を最適化する変調スキームで動作することを可能にするため、並列性、レイテンシ、サンプルレート、ダイナミックレンジ、感知粒状度などの点から高性能のために最適化された変調スキームを備えたタッチセンサの表面積の選択領域だけを実行することで、ユーザ入力の感知と処理の両方を行うためにタッチセンサにより消費される総エネルギーを潜在的に削減するという利点が与えられる。こうした動的な変調スキームは、センサ入力のすべての新しいフレームと同じくらい速く更新および最適化することができる。
別の実施形態では、主としてFDMを使用するタッチセンサについて、最小ノイズで確認された「m」の−可能な周波数が、タッチセンサの各行に固有の周波数を割り当てることを要求される「r」の固有のセンサ信号の数よりも低い数である場合、センサは、周波数分割を伴う時間、コード、または他の変調スキームを組み合わせるハイブリッド変調手法を採用するように構成可能である。この方法の実施形態では、特定のハイブリッド変調手法は、センサの表面積全体で最低のレイテンシと最大のタッチ事象サンプルレートを最適化するために、センサ入力のあらゆる新しいフレームと同じくらい速く、タッチセンサにより動的に選択および再評価され得る。この方法の別の実施形態では、特定のハイブリッド変調手法は、UI制御の既知のレイアウトと要件に基づいて、タッチセンサの表面積の特定の部分のレイテンシとサンプルレート性能を最適化するために、タッチセンサによって動的に選択および再評価可能である。本明細書では、高精度な、低レイテンシのユーザ入力を要求するUI制御の所定の時点での既知の場所は、信号変調スキームが並列性、レイテンシ、サンプルレート、ダイナミックレンジ、感知粒状度などの点から高性能のために所定の時点で最適化されたタッチセンサの表面積の対応する部分にマッピングされる。コンピュータシステムのソフトウェアにより定義されたUI制御の場所と性能の要件と、タッチセンサの表面積の場所と性能の要件との間のこうした動的なマッピングは、実行時間の前にアプリケーション開発者によって明示的に定義されるか、あるいは、アプリケーション、オペレーティングシステム、およびアプリケーションプログラミングインタフェース(API)によって定義されるタッチ面との間の通信を用いてUI制御の実行時にオペレーティングシステム論理と分析によって定義され得る。同時にこうした高性能区域と一緒に、同じ表面積の他の隣接する区域は、低性能周波数、時間、またはコード変調スキームを使用することができた。センサの特定区域だけが要求される性能レベルで動作して、表面積の残りが性能を上回るエネルギー保存を最適化する変調スキームで動作することを可能にするため、並列性、レイテンシ、サンプルレート、ダイナミックレンジ、感知粒状度などの点から高性能のために最適化された変調スキームを備えたタッチセンサの表面積の選択領域だけを実行することで、ユーザ入力の感知と処理の両方を行うためにタッチセンサにより消費される総エネルギーを潜在的に削減するという利点が与えられる。こうした動的な変調スキームは、センサ入力のすべての新しいフレームと同じくらい速く更新および最適化することができる。
別の実施形態では、主としてFDMを使用するタッチセンサについて、最小ノイズで確認された「m」の−可能な周波数が、タッチセンサの各行に固有の周波数を割り当てることを要求される「r」の固有のセンサ信号の数よりも低い数である場合、センサは、所定の時間、時分割多重方式(TDM)モードに移行し、「m」の周波数の1つを選択して、TDM手法で一般的なように行と列を連続してサンプリングするように構成可能である。所定の期間にわたってFDMセンサを純粋なTDMモードに切り替えることで、センサ読み取りのフレームレートとレイテンシを犠牲にして、正確な入力が保証される。
別の実施形態では、別の実施形態では、主としてFDMを使用するタッチセンサについて、最小ノイズで確認された「m」の可能な周波数が、タッチセンサの各行に固有の周波数を割り当てることを要求される「r」の固有のセンサ信号の数よりも低い数である場合、センサは、所定の時間、ハイブリッドのFDMとTDMのモードに移行し、「m」の周波数の選択数を選んで、それにより、純粋に連続したTDMモードの性能限界を超えてセンサ読み取りのフレームレートとレイテンシを改善するために複数の行と列を並行して連続してサンプリングするように構成可能である。このようなハイブリッドなFDMとTDMの変調スキームは、センサの並列性と性能を改善し、その一方で、より干渉に弱いとみなされている周囲の電磁ノイズの「m」のそのリアルタイムの、歴史的な、および/または統計的な分析以外のセンサ信号を利用することでさもなければ生じることになるノイズの多い読み取りの悪影響を同時に緩和する。
工程4:センサの信号対ノイズ比を増大させるために感知の複製を使用する
タッチセンサはタッチセンサ中の干渉や他のノイズの影響を減らすために多くの技術を利用することもできる。例えば、FDMを使用するタッチセンサの実施形態では、タッチセンサは行ごとに複数の周波数を使用することができ、その結果、たとえセンサがどの周波数ビンが干渉に晒されることになるかを予言することができなくても、センサは複数の方法で各行(または列)を測定し、ノイズの最も少ない測定値(あるいは測定値の組み合わせ)を測定し、その後、それらを使用することができる。
測定が干渉によって影響されたかどうかを決定することが困難な場合、タッチセンサは、投票スキームまたは類似する統計学的な方法を採用することができ、それによって投票用の複数の測定を用いることで、どの測定を捨てるべきか、どの測定を保持するべきか、および、信号対ノイズ+干渉比を最大限にし、かつそれによりユーザ体験を向上させるために保持する測定値を統計学的かつ数学的に組み合わせる最良の方法を決定する。例えば、一実施形態では、干渉に晒されるFDMタッチセンサは、各行で3つの異なる周波数を送信し(周波数は十分に分離しているため、周波数間の干渉は統計的にありそうもない)、結果を測定することができる。その後、3つのうちの2つの(two−out−of−three)投票スキームを使用して、センサは、どの周波数が干渉によりもっとも悪化したかを決定し、および、最終測定中の考察からその測定を取り除くか、あるいは統計的にもっともらしい方法で残りの2つを組み合わせるか(センサが干渉とノイズの統計について演繹的に「知っている」ことから考えて)、またはノイズと干渉によるその悪化の統計的可能性による各周波数測定の影響を重んじて、統計的にもっともらしいやり方で3つすべてを含めてこれらを組み合わせる。
タッチセンサがこの手法で使用することができるいくつかの方法は、限定されないが以下を含む:
1.行ごとに複数の周波数を使用する。こうした周波数は同時に、または順に使用することができる。
2.行から列および列から行に(順にまたは同時に)送信すること。これも、上記の複数の周波数の使用、または変調スキームの別の組み合わせと組み合わせ可能である。
3.FDMの上にCDMAを使用するか、あるいは変調スキームのある組み合わせを使用すること。CDMA信号は、FDM技術によって一般に使用されるものとは異なり、基本的には「不自然」なものであり、したがって、コンピュータシステムの外部環境で自然に発生する様々な信号に対して、FDM変調スキームよりも免疫があることに注目すべきである。
デシメーション戦略
ユーザが2013年3月15日に出願された「Low−Latency Touch Sensitive Device」という表題の米国特許出願第13/841,436号に記載されるものを含む高速入力装置に入力を提供するとき、生成される多くの入力事象は入力スタックの他の部分を圧倒することがあり得る。これに対処するため、我々は、イベントストリーム中の事象の数を減らすことができる多くの技術を記載しており、その結果、入力スタックの他の部分はタイミング良く作動することができ、入力スタックの非常に多くの事象に圧倒されない。
本明細書では「インテリジェントデシメーション」のためのシステムと方法が開示されており、入力の事象は選択的に捨てられ、組み合わされ、フィルタ処理され、交換され、または、さもなければ入力装置(またはデシメーションを行っている層ならなんでも)からスタックの次のレベルまで伝えられる。
入力「事象」に対する任意の言及は、これが事象駆動型のコンピュータモデル中の離散入力事象、あるいは入力を与えるユーザの物理的な事象、および非事象駆動型のシステム中の結果として生じる信号について記載していようがしていまいが、単に層の間の情報の流れについて記載していることを意味するだけであることを理解されたい。
高速センサにより出力される事象の数はオペレーティングシステム/表示装置には多すぎるため、時間内に処理をすることができず障害を生じさせるか、あるいは、パイプライン中の多くの事象によりオーバーフローまでもが生じて処理が滞ることがあるかもしれない。
デシメーションは、1つの入力ストリームを、同じ、より少ない、またはより多い数の事象を伴う1つまたは多くの異なる出力ストリームに転換するプロセスである。このデシメーションは、システム(限定されないが、入力装置とユーザインターフェースを含む)のモデル、アルゴリズム、機能、状態の知識によって、あるいは、特定の周波数または所定の閾値における多くの事象の一部と同じくらいシンプルに、理知的に指示され得る。
デシメーションは、(正確に、またはモデルを介して)ユーザ入力を記載している情報をフィルタ処理する、組み合わせる、交換する、またはさもなければ選択的に伝えることである。「デシメーション」は文字通り10%の選別を意味するが、我々は、情報の流れの量のあらゆる種類の変化を広く示すためにこの用語を使用する。デシメーションは、ユーザの物理的な入力と、スクリーンに表示されている結果との間の情報処理の流れにおけるどんな工程でも起こるかもしれない。本明細書では、1つの層で生じるデシメーションへのどんな言及も、同様に他の層でも潜在的に等しく当てはまると理解されなければならない。
図33aは理インテリジェントデシメーションプロセスの概略を示す。示されているように、理インテリジェントデシメーションは、入力事象ストリームをとらえ、このデータの一部をフィルタ処理し、組み合わせ、交換し、またはさもなければ、入力後に作動するシステムの他の部分にこのデータを伝える。
図33bで示されるように、インテリジェントデシメーションは、同じまたは異なる数の事象を含む多くの出力ストリームを生成することもある。
図33cで示されるように、インテリジェントデシメーションは、複数の入力処理スタックに伝えられる事象ストリームを生成することもあり、その各々は1つ以上の出力事象ストリームを受け取ることもある。
以下の段落は本開示されたシステムと方法に含まれる多くのデシメーション戦略について記載している。システムと方法はこうした戦略のいずれか1つを使用することもあれば、記載された戦略の派生物を使用することもあれば、あるいは、入力事象ストリームをシステムの他の部分に予定されていた出力事象ストリームに転換するために多くの戦略を組み合わせることもあることを理解されたい。
毎Nのフレーム
この実施形態では、入力事象ストリームはN事象ごとにサンプリングされ(Nは調整可能なパラメーターであり、調整可能とはシステムの1つ以上の構成要素によって任意の時間にNを変更可能であることを意味する)、出力ストリームは入力ストリームからの毎N番目の入力事象を含み、それ以外のN−1事象を捨てる。
図34は「Nごとのフレーム」によるインテリジェントデシメーションの例を示す。この場合、N=4であり、入力ストリーム(上の行)からの毎4番目の入力事象は、出力ストリーム(下の行)に含まれる。
毎Xマイクロ秒
この実施形態では、入力事象ストリーム中の各入力事象は、時間、好ましくは、発生する事象にユーザ入力が関連している時間に関連している。入力事象ストリームは、出力事象ストリームが入力事象ストリーム中で毎Xマイクロ秒(または要求される他の時間単位)に発生した事象を含むように、サンプリングされ、Xは調整可能なパラメーターである。時間的価値に正確に相当する事象がない場合には、本開示されるシステムと方法は、入力事象ストリーム、次の事象、以前の事象からの最も近接する事象を使用し、偽の事象を作成するか、あるいは事象を全く作成しないように構成可能である。
図35は、「毎Xマイクロ秒」のインテリジェントデシメーションの例を示す。入力事象ストリーム(上の行)は毎Xマイクロ秒にサンプリングされ、こうした時間に発生する事象は出力事象ストリーム(下の行)に含まれる。
最初と最後の入力事象
入力事象ストリームを考慮すると、最初と最後の入力事象は、ユーザ側の意図を示すため、かなり重要である。タッチ入力を考慮すると、最初と最後の入力事象は、ユーザが最初にタッチセンサを起動するときに発生した事象と、ユーザがタッチセンサから指を離したときに発生した最後の事象に相当することになる。そのため、本実施形態では、入力事象ストリームの最初と最後の入力事象は、出力事象ストリームに含まれる。
例えば、入力が行なわれているディスプレイまたはディスプレイ(3601)の一部を含む図36を考慮する。このディスプレイ領域(3601)は、多くのユーザのインターフェース要素(3606)を含むことがある。最初の事象(3604)からスタートし、最後の事象(3605)まで及ぶ入力事象ストリーム(点線)を考慮する。本実施形態では、最初の(3604)と最後の(3605)の事象は、出力事象ストリームに含まれることになる(代替的なスキームは、最初の事象または最後の事象の1つだけを提供するかもしれない)。
湾曲
本実施形態において、入力事象ストリームは、入力事象ストリームの湾曲の意味のある変化を表す事象が出力事象ストリームに含まれているように、サンプリングされる。入力事象ストリームが最初の事象(3604)からスタートし、最後の事象(3605)まで及んで行なわれている(点線)ディスプレイまたはディスプレイ(3601)の一部を含む図36を考慮する。湾曲(3602)の程度または湾曲(3603)の方向の変化に相当する事象は、出力事象ストリームに含まれる。
関連する実施形態では、入力事象曲線の他の特性はデシメーションプロセスを知らせるものであり得る。曲線を記載する様々な数学的モデルがあり、所定のモデルについては、曲線を再構築する必要がある最小限の入力事象がある。本実施形態において、入力事象ストリームの経路を再構築する必要がある入力事象ストリームからの事象だけが、出力事象ストリームに含まれる。本実施形態では、曲線の再構築の許容誤差は調整可能なパラメーターである。
入力モード
入力モードはデシメーションスキームを明示的に選択することもある。例えば、UI、アプリケーション、または明確なユーザの行為は、所定の領域または期間にはデシメーションがあまり好ましくないということを明示することもある。例えば、キャンバス上に描くとき、1本のユーザ選択可能な「ブラシ」は、高デシメート処理した入力に曲線を当てはめることでより滑らかな曲線を提供することもあり、別のブラシはユーザの実際の入力に忠実に従うこともある。
入力ハードウェア特性
入力センサは非均一な感知能力を備えることが知られている。例えば、容量式タッチセンサは、感知の痕跡のある場所へ入力を「スナップする(snap)」傾向を有することもあり、視覚ベースのセンサは周囲の光やセンサの光特性によって著しく影響を受ける。いくつかの実施形態では、こうした入力特性を考慮に入れる。例えば、容量センサの既知の「スナップ入力」に類似する挙動を示すデバイスでは、実際にユーザの入力をスムーズにする事象よりも、感知線に対してスナップされていない事象が選択されることもある。すべての入力デバイスは、報告する事象中のある種のバイアスを示し、このスキームはその効果を説明するとともにある程度までその効果を補う。
ジェスチャデシメーション
入力の特性はそれ自体がスキームの選択を知らせることもある。例えば、いったんユーザが2以上の次元で通常パン撮りされ得るUI要素内でほとんどが1次元のジェスチャをすると、1次元のスクロール動作を「固定する」ことが当該技術分野で知られている。本開示されたシステムと方法のある実施形態は、1次元の動後時のUIの「固定」と変化スキームを同様に明記することもある。この例では、1次元のスクロール動作はより少数の事象を要求するかもしれない。したがって、より攻撃的なデシメーションスキームが使用されるかもしれない。同様に、入力は「固定」が生じないことを示すこともあるため、スクロール動作は2以上の次元で同時に発生することもある。このような状況下では、いくつかの実施形態は、デシメーションの攻撃性は減少させるか、あるいは多次元の動作に使いやすいスキーム(例えば:上に記載された「湾曲」スキーム)へ切り替えることもある。なかには「ジェスチャ」モードを指示する入力スキームの特性の検討を特徴づけるかもしれない実施形態もあり、;ある実施形態は、上に記載されたジェスチャ、あるいはシステムの必要に基づいて定義される他のパターンを使用することもある。
GUI要素境界遷移
一実施形態において、デシメーションプロセスは、ユーザが相互作用しているグラフィカルユーザーインターフェイス(GUI)のレイアウトを考慮に入れる。GUI中の要素を飛行機、あるいは飛行機または他の形状に変換可能な1D、2.5D、または3Dの空間内に存在するものとみなし、カーソルが触れている場所をGUIに決定させるとき、ならびに、入力事象をこの飛行機内にあるものとしてみなすとき、GUI要素の境界はインテリジェントデシメーションプロセスに通知することができる重要な情報を提供する。
図37に関して、多くのグラフィック要素が、事象「onEnter」と「onLeave」(またはその等価物)に応答するようにプログラムされる。こうした事象は、入力事象がGUI要素の境界へ、または該境界から最初に移動するときに呼び出される。そういうものとして、この実施形態において、入力事象ストリーム(図37、点線)がGUI要素(3606)(図36)の境界を超えると、要素(3705)の外部の最後の入力事象と要素(3706)の内部の最初の入力事象は両方とも出力事象ストリームに含まれ、境界での事象は(3705)と(3706)の代わりになるものであり得る。同様の実施形態において、最初、最後、境界の事象の任意の組み合わせが含まれる。
「内部の最後の事象」と「外部の最初の事象」は実際に同じ事象かもしれないことに留意する。例えば、図37では、左端のUI要素(3606)はその「内部に」(3705)と名付けられる1つの事象と(3706)と名付けられる別の事象を有する。その事象(3705)は左端のUI要素(3606)の内部の最後の事象であるが、同様に中央のUI要素(3606)の外部の最後の事象である。1つのデシメーションスキームでは、この単一の事象は複製され、UI要素の両方に信号を送られることもある。別のスキームでは、これらの1つまたは両方の1つのコピーだけが伝えられることもある。
GUI要素境界
一実施形態では、デシメーションプロセスは、ユーザが相互作用しているグラフィカルユーザーインターフェイス(GUI)のレイアウトを考慮に入れる。GUI中の要素を飛行機、あるいは飛行機または他の形状に変換可能な1D、2.5D、または3Dの空間内に存在するものとみなし、カーソルが触れている場所をGUIに決定させるとき、ならびに、入力事象をこの飛行機内にあるものとしてみなすとき、GUI要素の境界はインテリジェントデシメーションプロセスに通知することができる重要な情報を提供する。
図38に示されるこの実施形態において、インテリジェントデシメーションプロセスは、境界GUI要素(3606)内にまたはその外部に含めることに基づいて、入力事象ストリーム(3801)、(3802)、(3803)、(3804)の様々なセクションについて様々なデシメーション戦略を選ぶ。例えば、特定のGUI要素(3606)の境界の外部でこうした入力事象(3801)(3804)は、GUI要素(3606)の境界の内部に含まれる入力事象(3802)(3803)よりも、出力事象ストリーム中に含まれる低い周波数でサンプリングされることがある。同様の実施形態において、1つのGUI要素(最も左の3606)内部のこうした入力事象(3802)は、別のGUI要素(中央の3606)の内部の(3803)とは異なる手法でデシメート処理されることもある。
アプリケーションソフトウェアまたはGUIツールキットソフトウェアは、GUI要素のサイズ/場所/形状に関し、および、デシメーションは、伝えられる、削除される、または発生する事象を選択するときに、こうした情報を考慮に入れることができるということをタッチセンサに知らせることができる。
デシメーションは、GUI要素の内部にある最初の事象、および/または、以前の事象があったGUI要素の外部にある最初の事象を選ぶこともある。この点において、アプリケーションソフトウェアは、どんな事象がもっとも意味があるのかについてタッチセンサに知らせることができ、デシメーションプロセスの駆動を助けることができる。
マルチモーダル入力
以前に記載されたように、インテリジェントデシメーションエンジンは本書類に記載される任意の数の個々のデシメーション技術を組み合わせることもある。本実施形態では、システムは、入力事象を発生させるためにユーザによって使用されている入力デバイスを考慮に入れる。例えば、入力動作の任意の時間に検出可能なタッチ入力とペン入力を含むシステムにおいて、かいじされるシステムと方法は、入力事象のための個々のデシメーション技術とパラメーターのセットを使用して、ペン入力のための技術とパラメーターの恐らくは異なるセットを使用する。一実施形態では、開示されたシステムと方法は、特定の入力デバイスによって実行されている動作に応じて相互作用の間の任意の時点でデシメーション技術を切り替えることを決定することもある。一実施形態では、所定のモダリティに関して採用されたスキームは、ユーザが別のモダリティで入力を開始するおよび/または終了する時期を変更することもある。
マルチユーザ入力
以前に記載されたように、インテリジェントデシメーションエンジンは本書類に記載の任意の数の個々のデシメーション技術を組み合わせてもよい。一実施形態では、システムは入力事象を発生させるユーザを考慮に入れる。例えば、数人のユーザを含むシステムでは、本開示されたシステムと方法は、最初のユーザに関する個々のデシメーション技術とパラメーターの1つのセットを使用し、一方で、別のユーザに関する技術とパラメーターの恐らくは異なるセットを使用することもある。さらに、ユーザ間の入力の区別に必要不可欠な事象は、上に記載されたUI境界上の事象に類似するデシメーションプロセスで与えられる過剰なおもりであることもある。
マルチポイント入力
単一のモダリティでユーザからの複数の「点」(または領域)を追跡することが知られている−例えば、マルチタッチ入力はユーザとセンサとの間の複数の接点の追跡に備え、近接センサはセンサに近接するユーザの身体の複数の点の追跡に備える。いくつかの実施形態では、異なるスキームが個々の点に適用されてもよい。こうしたスキームは、限定されないが、ユーザ入力、システムにより認識される「ジェスチャ」、点の位置、デバイスを備えた追跡された物体(例えば、指先、またはペン先端)間の実際の物理的な接点の存在または不在、ユーザ入力の速度または期間などの1つ以上を含む複数の要因に基づいて選択されることもある。
アプリケーション通知
以前に記載されたように、インテリジェントデシメーションエンジンは本書類に記載される任意の数の個々のデシメーション技術を組み合わせることもある。本実施形態では、システムは、デバイス上で実行されているアプリケーションを考慮に入れて、それに応じて多くのデシメーション技術とパラメーターの中から選択してもよい。
レイテンシ通知
以前に記載されたように、インテリジェントデシメーションエンジンは入力スタックレイテンシを認識しており、および、入力事象、1または複数の構築事象に基づき、タッチ速度とシステムレイテンシ、あるいは将来のタッチ位置がどこになるのかを示す任意の類似アルゴリズムに基づく。
曖昧な入力
本実施形態では、デシメーションエンジンは、入力事象がユーザの意図の観点から曖昧な場合に、出力事象ストリーム中の入力事象ストリームからの入力事象を含めるのを待つこともある。一例として、タッチに敏感なディスプレイ上のタッチ(3901)によって生成される入力事象を伴う図39を考慮する。こうした入力事象は点だけでなく、入力事象に関連するタッチの領域も有する。2つのGUI要素(3606)にまたがる入力事象(3901)の場合には、本実施形態は、後の入力事象がユーザがどのGUI要素(3606)をターゲットにしているかを明確にするまで、あるいはタイムアウトが発生するまで、出力事象ストリーム中の入力事象に含まれるように待つこともある。
他の戦略
いったん入力がデシメート処理されると、システムは、デシメート処理されていない入力をスタックの他の層に利用できるようにしてもよい。入力事象のストリームとして、またはメモリデータバンクとして。この利用可能性は入力ストリームのリアルタイムに影響を与えない。
システムは、様々な種類のデシメーションプロセスを要求し、および/または以前のデシメート処理されていない事象を要求することもある。システムはデシメーションプロセスの調整方法も通知して、入力装置、実行されている動作、電力消費、または利用可能な処理能力に基づいてどれだけ多くのデシメーションが発生するのかをデシメーションプロセスが微調整することを可能にすることもある。他の変数はデシメーションプロセスを微調整するために使用されることもある。システムは残りの入力スタック、オペレーティングシステム、または任意のアプリケーションを含み、あるいはユーザによって設定可能である。
いったん入力がデシメート処理されると、システムはデシメーションの記載を利用可能なものとすることもある。こうした記載は、たとえば、選択されたスキームに対するメモリ中のポインター、あるいは他のプログラムに基づいた識別子であってもよい。この記述子は、デシメーションの結果と並行して伝えられることもある(おそらく、デシメート処理されたまたはデシメート処理されていない入力事象について記載する物体の一例として、一部として)。
デシメーションスキームは動的に変更されることもあり:1つのスキームは所定のコンテキストのために選択され、別のコンテキスト中で切り替えられることもある。いくつかの実施形態では、1つを超えるスキームが同時に使用されることもある。こうした実施形態では、プロセス(「メタデシメーション」スキームと考えられることもある)は、複数のスキームの出力間のリアルタイムの決定を行うこともあるか、あるいは、複数のスキームの結果はすべてスタックのその後の層に利用可能となることもある。これが同時に生じることもあれば、あるいは、1つ以上のスキームがチェーンに沿って伝えられ、それ以外のもの(恐らく送信されたものも)の結果は後のルックアップのために保存される。
本システムと方法は、高速マルチタッチセンサでのユーザ、手、および、物体の識別のための方法とデバイスのブロック図と操作図を参照して上に記載されている。ブロック図または操作図のそれぞれのブロック、および、ブロック図または操作図のブロックの組み合わせは、アナログハードウェアまたはデジタルハードウェアとコンピュータープログラム命令によって実行されてもよい。これらのコンピュータープログラム命令が汎用コンピュータ、ASIC、または、他のプログラム可能なデータ処理装置のプロセッサに提供され、その結果、コンピュータのプロセッサまたは他のプログラム可能なデータ処理装置によって実行される命令が、ブロック図または操作ブロックで指定される機能/動作を実施する。いくつかの交互の実施では、ブロックに書き留められた機能/行為は、操作図で示された順序を脱して生じることもある。例えば、連続して示された2つのブロックは実際にはほぼ同時に実行されてもよく、あるいは、ブロックは、含まれる機能/動作にしたがって逆の順序でしばしば実行されることもある。
本発明がとりわけ好ましい実施形態に関して示され記載されてきたが、形態や詳細の様々な変化は本発明の精神と範囲から逸脱することなく本明細書でなされることを当業者は理解するであろう。

Claims (4)

  1. タッチセンス装置であって、
    該タッチセンス装置は:
    a.行と列を含むタッチインターフェース;
    b.少なくとも複数の行それぞれで複数の信号を発生させるように構成される信号発生器;
    c.列に存在するタッチ信号を処理することによってタッチインターフェース上のタッチを識別し、タッチ事象のストリームを出力するように構成されるタッチプロセッサ、
    d.
    i.タッチ事象のストリームを受信し、
    ii.ストリームにおけるタッチ事象の1つ以上を選択的に識別し、および、
    iii.タッチセンス装置によって使用されるタッチ事象の修正されたストリームを出力するように構成されるデシメーターであって、タッチ事象の修正されたストリームが選択的に識別されたタッチ事象を含まない、デシメーター、
    e.複数のGUI要素を含むグラフィカルユーザーインターフェイスを表示するように構成される、ディスプレイを備え、
    デシメーターが、ユーザーが相互作用しているGUIに関して、タッチセンス装置で実行中のソフトウェアからGUI要素境界情報を受け取り、デシメーションスキームを変更するためにGUI要素境界情報を用いるようにさらに構成され、および、
    ここで、デシメーターは複数の異なるGUI要素内で発生するタッチ事象に、複数の異なるデシメーションスキームを適用するためにGUI要素境界情報を用いるように構成され、その結果、第1のGUI要素内で発生するタッチ事象が、第2のGUI要素内で発生するタッチ事象とは異なる適用されたデシメーションスキームを有する、タッチセンス装置。
  2. タッチセンス装置であって、
    a.行と列を含むタッチインターフェース、
    b.少なくとも複数の行でそれぞれ複数の信号を発生させるように構成される信号発生器、
    c.列に存在するタッチ信号を処理することによってタッチインターフェース上のタッチを識別し、タッチ事象のストリームを出力するように構成されるタッチプロセッサ、
    d.デシメーターであって、
    i.タッチ事象のストリームを受け取り、
    ii.タッチセンス装置によって使用されるストリーム中のタッチ事象の1つ以上を選択的に識別し、および、
    iii.タッチセンス装置によって使用されるタッチ事象の出力ストリームを出力するように構成されるデシメーターであって、タッチ事象の出力ストリームは選択的に識別される1以上のタッチ事象を含む、デシメーター、
    e.複数のGUI要素を含むグラフィカルユーザーインターフェイスを表示するように構成される、ディスプレイを備え、
    ここで、デシメーターが、ユーザーが相互作用しているGUIに関して、タッチセンス装置で実行中のソフトウェアからGUI要素境界情報を受け取り、デシメーションスキームを変更するためにGUI要素境界情報を用いるようにさらに構成され、および、
    ここで、デシメーターは複数の異なるGUI要素内で発生するタッチ事象に複数の異なるデシメーションスキームを適用するためにGUI要素境界情報を用いるように構成され、その結果、第1のGUI要素内で発生するタッチ事象が、第2のGUI要素内で発生するタッチ事象とは異なる適用されたデシメーションスキームを有する、タッチセンス装置。
  3. 複数の信号は複数の固有の直交信号を含む、請求項1または2に記載のタッチセンス装置。
  4. デシメーションスキームはスキームを含み、このスキームに基づいて、デシメーターがタッチ事象を発生させるか否か、および、発生させたタッチ事象をタッチ事象の修正されたストリームに加えるか否かを決定するように構成される、請求項1または2に記載のタッチセンス装置。
JP2016566873A 2014-01-27 2015-01-27 入力事象処理のためのデシメーション戦略 Expired - Fee Related JP6688741B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201461932047P 2014-01-27 2014-01-27
US61/932,047 2014-01-27
PCT/US2015/013131 WO2015113061A1 (en) 2014-01-27 2015-01-27 Decimation strategies for input event processing

Publications (2)

Publication Number Publication Date
JP2017510010A JP2017510010A (ja) 2017-04-06
JP6688741B2 true JP6688741B2 (ja) 2020-04-28

Family

ID=53682052

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016566873A Expired - Fee Related JP6688741B2 (ja) 2014-01-27 2015-01-27 入力事象処理のためのデシメーション戦略

Country Status (12)

Country Link
US (2) US9846920B2 (ja)
EP (1) EP3100145B1 (ja)
JP (1) JP6688741B2 (ja)
KR (1) KR20160120298A (ja)
CN (1) CN106164827B (ja)
AU (1) AU2015209027A1 (ja)
BR (1) BR112016017474A2 (ja)
CA (1) CA2938101A1 (ja)
IL (1) IL246953A0 (ja)
MX (1) MX2016009800A (ja)
SG (1) SG11201606159RA (ja)
WO (1) WO2015113061A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106030483B (zh) 2014-02-18 2019-12-17 剑桥触控科技有限公司 使用压感触摸的触摸屏的功率模式的动态切换
KR102397964B1 (ko) * 2014-12-09 2022-05-12 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 동적 전송 프로토콜을 갖는 스타일러스
US10739875B2 (en) * 2015-01-04 2020-08-11 Microsoft Technology Licensing, Llc Active stylus communication with a digitizer
US10394392B2 (en) * 2015-01-14 2019-08-27 Atmel Corporation Object detection and scan
US10485056B2 (en) * 2015-10-13 2019-11-19 Lenovo (Singapore) Pte. Ltd. Sensor based interface adjustment
GB2544307B (en) 2015-11-12 2018-02-07 Cambridge Touch Tech Ltd Processing signals from a touchscreen panel
US10275016B2 (en) * 2015-12-21 2019-04-30 Intel Corporation Smart power adapters and related systems and methods
CN105677121B (zh) * 2016-01-05 2018-09-04 京东方科技集团股份有限公司 触控判定装置及方法和显示装置
WO2017136540A1 (en) * 2016-02-02 2017-08-10 Tactual Labs Co. Area filtering for low-latency and high-latency input event paths from a single touch sensor
GB2547031B (en) 2016-02-05 2019-09-25 Cambridge Touch Tech Ltd Touchscreen panel signal processing
US20170302908A1 (en) * 2016-04-19 2017-10-19 Motorola Mobility Llc Method and apparatus for user interaction for virtual measurement using a depth camera system
US20180059819A1 (en) * 2016-08-25 2018-03-01 Tactual Labs Co. Touch-sensitive objects
US10061430B2 (en) * 2016-09-07 2018-08-28 Synaptics Incorporated Touch force estimation
CN108958518B (zh) * 2017-05-18 2021-08-06 群创光电股份有限公司 触控系统及其控制方法
WO2018232695A1 (zh) * 2017-06-22 2018-12-27 深圳市汇顶科技股份有限公司 触摸屏当前基准值的更新方法、装置、触摸屏及电子终端
US10797697B2 (en) * 2017-08-02 2020-10-06 Tactual Labs Co. Phase relationship sensing system
US10642387B2 (en) * 2018-03-22 2020-05-05 Qualcomm Incorporated Apparatus and method for digitally driving touchscreen panels with transmit signals based on pulse width modulated (PWM) signals
US10649532B2 (en) * 2018-06-15 2020-05-12 Immersion Corporation Systems and methods for multi-rate control of haptic effects with sensor fusion
US11157099B2 (en) * 2019-08-05 2021-10-26 Adx Research, Inc. Electronic writing device and a method for operating the same
USD962285S1 (en) * 2020-11-19 2022-08-30 Samsung Electronics Co., Ltd. Display screen or portion thereof with icon

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3817281B2 (ja) * 1995-07-31 2006-09-06 キヤノン株式会社 情報処理装置及び方法
JP4346814B2 (ja) * 2000-12-27 2009-10-21 キヤノン株式会社 情報処理装置及びその方法、コンピュータ可読メモリ、プログラム
US8525799B1 (en) * 2007-04-24 2013-09-03 Cypress Semiconductor Conductor Detecting multiple simultaneous touches on a touch-sensor device
US20090112957A1 (en) * 2007-10-31 2009-04-30 Daniel Yves Abramovitch System and methods for data sample decimation and display of scanning probe microscope images
US8711121B2 (en) 2008-12-12 2014-04-29 Wacom Co., Ltd. Architecture and method for multi-aspect touchscreen scanning
US8823749B2 (en) * 2009-06-10 2014-09-02 Qualcomm Incorporated User interface methods providing continuous zoom functionality
US8791907B2 (en) * 2009-08-19 2014-07-29 U-Pixel Technologies Inc. Touch sensing apparatus and method using different modulated driving signals
KR101652828B1 (ko) * 2010-05-20 2016-08-31 삼성전자주식회사 터치 센싱 시스템에서 적응형 디지털 필터링 방법 및 장치
US20130120280A1 (en) * 2010-05-28 2013-05-16 Tim Kukulski System and Method for Evaluating Interoperability of Gesture Recognizers
US8605054B2 (en) * 2010-09-02 2013-12-10 Texas Instruments Incorporated Touch-sensitive interface and method using orthogonal signaling
US8487893B2 (en) * 2011-05-16 2013-07-16 Pixart Imaging, Inc. Automatic gain control for capacitive touch panel sensing system
JP5776448B2 (ja) * 2011-08-30 2015-09-09 富士ゼロックス株式会社 情報処理装置、撮像装置及びプログラム
JP5533847B2 (ja) * 2011-11-24 2014-06-25 コニカミノルタ株式会社 入力表示装置およびプログラム
US8937606B2 (en) * 2012-01-09 2015-01-20 Broadcom Corporation Orthogonal multi-row touch panel stimulation
US20140306987A1 (en) * 2013-04-11 2014-10-16 Snibbe Interactive, Inc. Methods and Systems for Visualizing and Ranking Connected Media Content
US9043850B2 (en) * 2013-06-17 2015-05-26 Spotify Ab System and method for switching between media streams while providing a seamless user experience
US9727166B2 (en) * 2013-07-05 2017-08-08 Sharp Kabushiki Kaisha Proximity-dependent adjustable-signal touch panel system

Also Published As

Publication number Publication date
US9846920B2 (en) 2017-12-19
US20180061005A1 (en) 2018-03-01
WO2015113061A9 (en) 2016-09-01
CN106164827B (zh) 2019-07-16
EP3100145A1 (en) 2016-12-07
IL246953A0 (en) 2016-09-29
SG11201606159RA (en) 2016-08-30
JP2017510010A (ja) 2017-04-06
WO2015113061A1 (en) 2015-07-30
US20150302554A1 (en) 2015-10-22
CN106164827A (zh) 2016-11-23
MX2016009800A (es) 2017-01-23
BR112016017474A2 (pt) 2018-05-08
EP3100145B1 (en) 2018-12-19
CA2938101A1 (en) 2015-07-30
AU2015209027A1 (en) 2016-08-18
US9990696B2 (en) 2018-06-05
KR20160120298A (ko) 2016-10-17
EP3100145A4 (en) 2017-08-02

Similar Documents

Publication Publication Date Title
JP6688741B2 (ja) 入力事象処理のためのデシメーション戦略
US10551985B2 (en) Fast multi-touch noise reduction
US20230176692A1 (en) Dynamic assignment of possible channels in a touch sensor
JP6315354B2 (ja) タッチセンサにおける周波数変換
JP6487935B2 (ja) 直交信号伝達のタッチによりユーザ、手、及び物体を識別するシステム及び方法
US20180299994A1 (en) Fast multi-touch stylus and sensor
JP2018502382A (ja) 投影型容量式タッチセンサにおけるクロストークの低減のための差動伝送
US10261646B2 (en) Fast multi-touch sensor with user identification techniques
US20150301577A1 (en) Device and method for operating at mitigated sensitivity in a touch sensitive device
US10620746B2 (en) Decimation supplementation strategies for input event processing

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160915

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180112

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190313

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190531

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20191017

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200214

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20200225

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200318

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200406

R150 Certificate of patent or registration of utility model

Ref document number: 6688741

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees