本出願は、高速マルチタッチセンサ、及び、参照により全体の開示が本明細書に組み込まれる、「Orthogonal Signaling Touch User, Hand and Object Discrimination Systems and Methods」と題された2014年8月22日出願の米国特許出願第14/466,624号に開示される他のインターフェースといった、ユーザーインターフェースに関するものである。
様々な実施形態において、本開示は、投影型容量式タッチ感知装置を提供且つ作動させるためのシステムと方法に向けられる。一実施形態において、前記装置は、行導体と列導体とを有するタッチインターフェース、第1の行導体上で第1の行信号を送信するための第1の行信号発生器、第2の行導体上で第2の行信号を送信するための第2の行信号発生器、及び、列導体の少なくとも1つに存在する信号を処理することによりタッチインターフェース上のタッチ事象を特定するためのタッチプロセッサを含んでいる。
本明細書に開示された差動伝送システム及び方法は、容量式タッチセンサに関連して都合が良く、特に、限定されないが、周波数分割多重化(FDM)、符号分割多重化(CDM)、又はFDMとCDM両方の方法を組み合わせたハイブリッド変調技術などの、直交信号伝達に基づいた多重化方式を使用する、投影型容量式タッチセンサに関連して都合が良い。本明細書における周波数に対する言及は、他の直交信号のベースも指す場合がある。そのため、本出願は、本出願人の以前の出願である、「Low−Latency Touch Sensitive Device」と題された2013年3月15日出願の米国特許出願第13/841,436号、及び「Fast Multi−Touch Post Processing」と題された2013年11月1日出願の米国特許出願第14/069,609号を、参照により組み込む。これら出願は、本明細書に開示されたシステム及び方法に関連して使用され得る、容量式のFDM、CDM、又はFDM/CDMのハイブリッドタッチセンサを考慮する。そのようなセンサにおいて、行からの信号が列に結合され、且つその列の上で受信される場合に、タッチが感知される。
本開示は最初に、差動伝送のための本件システム及び方法が適用され得る、高速マルチタッチセンサの作動について記載する。次いで、本明細書に開示された差動伝送のシステム及び方法の詳細は、更に下にある見出し「差動伝送」に記載される。
本明細書で使用されるように、句「タッチ事象」及び単語「タッチ」は、名詞として使用される場合、近くのタッチ、及び近くのタッチ事象、又はセンサを使用して識別され得る他のジェスチャを含む。一実施形態に従い、タッチ事象は、非常に低いレイテンシ(例えば、約10ミリ秒以下、又は約1ミリ秒未満)で、検出され、処理され、及び、ダウンストリームの計算プロセスに供給され得る。本開示の全体にわたり、用語「タッチ(touch)」、「タッチ(touches)」、「接触(contact)」、「接触(contacts)」、又は他の記述語は、ユーザーの指、スタイラス、物体、又は身体部分がセンサにより検出される、事象又は期間について記載するために使用されてもよい。幾つかの実施形態において、ユーザーが、センサ、又はセンサが埋め込まれる装置と物理的に接触した場合にのみ、このような検出が生じる。他の実施形態において、センサは、タッチ表面上の距離をホバリングしている、又はその他にタッチ感知装置から分離されている、「タッチ」又は「接触」の検出を可能にするように調整され得る。それ故、感知された物理的接触に対する依存を示唆する、このような記載における言語の使用は、記載された技術がそのような実施形態のみに適用され、実際には、本明細書に記載されるもののほぼ全て(全てではない)が、「タッチ」及び「ホバー」のセンサに等しく適用されることを意味すると、捉えられるべきではない。他のタイプのセンサは、本明細書に開示される実施形態に関連して利用され得、カメラ、近接センサ、光学センサ、曲率(turn−rate)センサ、ジャイロスコープ、磁力計、熱センサ、圧力センサ、力覚センサ、容量式タッチセンサ、動力管理集積回路の読み取り(power−management integrated circuit reading)、キーボード、マウス、運動センサなどを含む。
一実施形態において、開示された高速マルチタッチセンサは、タッチ事象の高い更新レート及び低レイテンシの測定のために増強された、投影型容量方式を利用する。この技術は、上記の利点を得るために並列ハードウェア及びより高周波数の波形を使用することができる。また、感度が良くてロバストな測定を行なうための方法も開示され、該方法は、透明なディスプレイ表面上で使用され得、且つ、この技術を使用する製品の安価な製造を可能にし得る。この点において、本明細書に使用されるような「容量式物体」は、指、人体の他の部分、スタイラス、又は、センサの感度が良い任意の物体であり得る。本明細書に開示されたセンサ及び方法は、静電容量に依存する必要はない。以下に開示される光学センサの実施形態に関して、このような実施形態は、タッチ事象を感知するために光トンネリング及び光漏出を利用し、本明細書に使用されるような「容量式物体」は、そのような感知に適合自在な、スタイラス又は指などの任意の物体を含む。同様に、本明細書に使用されるような「タッチ位置」及び「タッチ感知装置」は、容量式物体と開示されたセンサとの間に実際のタッチ接触を必要としない。
図1は、一実施形態に従った高速マルチタッチセンサ(100)の特定の原理を図示する。参照符号(200)では、異なる信号が表面の行の各々に送信される。信号は、「直交」(即ち、互いに分離自在且つ区別自在)となるように設計される。参照符号(300)では、受信器が各列に付けられる。受信器は、送信信号の何れか、又はそれらの恣意的な組み合わせを受信するように、及び、列に存在する直交送信信号の各々の量を個々に測定するように、設計される。センサのタッチ面(400)は、一連の行と列(全て図示されず)を含み、それらに沿って直交信号は伝搬することができる。一実施形態において、行と列は、タッチ事象にさらされない場合に、より少量の又は無視できる量の信号がその間で結合され、その一方で、タッチ事象にさらされる場合には、より多量の又は無視できない量の信号がその間で結合されるように、設計される。(一実施形態において、その逆も可能であり、即ち、信号が少なければタッチ事象を表わし、信号が多ければタッチの不足を表わす。)上記で議論されたように、タッチ、又はタッチ事象は、物理的なタッチではなく、むしろ、結合された信号のレベルに影響を及ぼす事象を必要とする。
図1を引き続き参照すると、一実施形態において、概略的に、行と列の両方の近接におけるタッチ事象の容量性の結果は、行の上に存在する無視できない量の信号を列に結合させる場合もある。更に概略的に、タッチ事象は、列の上で受信信号を生じさせ、及び故にその受信信号に対応する。行の上の信号が直交であるので、多数の行信号は列に結合され、受信器により区別され得る。同様に、各行の上の信号は多数の列に結合され得る。与えられた行に結合された各列について、列に見出される信号は、どの行が列と同時にタッチされているかを示す情報を包含している。受信された各信号の量は通常、対応する信号を運ぶ列と行の間の結合の量に関連し、及び故に、表面までのタッチ物体の距離、タッチ及び/又はタッチの圧力により覆われる表面の領域を示す場合がある。
行と列が同時にタッチされると、行に存在する信号の幾つかが、対応する列に結合される。(上記で議論したように、用語「タッチ」又は「タッチした」は、実際の物理的な接触ではなく、相対的な接近を要求する。)実際に、タッチ装置の様々な実施において、行及び/又は列との物理的接触は、行及び/又は列と、指又は他のタッチの物体との間に保護バリヤがあるので、起こりそうもない。更に、通常、行と列自体は互いにタッチの状態にはあらず、むしろ、無視できる量の信号よりも多くがその間に結合されるのを防ぐように近接して配される。通常、行と列の結合は、その間での実際の接触によるものでも、指又は他のタッチの物体からの実際の接触によるものでもなく、むしろ、指(又は他の物体)を接近させることによる容量性の効果によってもたらされるものであり、容量性の効果をもたらす接近は、本明細書でタッチとして言及される。
行と列の性質は恣意的であり、特定の配向は関連性がない。実際、用語「行」と「列」は、正方格子よりもむしろ、信号が送信される導体のセット(行)、及び、信号が結合され得る導体のセット(列)を指すように意図される。行と列が格子の中にある必要は全くない。タッチ事象が「行」の一部及び「列」の一部にタッチし、且つ結合の幾つかの形態を生じさせる限り、他の形状が可能である。例えば、「行」は同心円にあり、「列」は中心から外に放射するスポーク(spokes)であり得る。更に、信号の伝搬チャネルが2種類のみである必要はない。行と列の代わりに、一実施形態において、チャネル「A」、「B」、及び「C」を設けてもよく、そこでは、「A」の上で送信された信号は「B」及び「C」で受信され、又は、一実施形態において、「A」及び「B」の上で送信された信号は「C」で受信され得る。信号の伝搬チャネルが機能を交互に行い、時に送信器を支援し且つ時に受信器を支援し得ることも、可能である。「行」及び「列」ではなく、3種類以上のアンテナ導体が使用されてもよい。多くの代替的な実施形態が可能であるとともに、本開示を考慮した後に当業者に明白となる。
上述のように、一実施形態において、タッチ面(400)は、一連の行と列とで構成され、それらに沿って信号が伝搬され得る。上記で議論されるように、行と列は、タッチさせられない場合に、無視できる量の信号がそれらの間で結合されるように設計される。更に、異なる信号が行の各々に送信される。一実施形態において、これら異なる信号の各々は、互いに直交している(即ち、分離自在且つ区別自在である)。行と列が同時にタッチされると、行の上にある無視できない量の信号が、対応する列に結合される。列に結合される信号の量は、タッチの圧力又は領域に関係し得る。
受信器(300)が各列に付けられる。受信器は、無視できない量の直交信号の何れか、又は直交信号の恣意的な組み合わせを受信するように、且つ、無視できない量の信号を提供する列を識別するように設計される。一実施形態において、受信器は、その列にある直交の送信信号の各々の量を測定し得る。このように、各列にタッチした状態にある行の識別に加えて、受信器は、タッチに関する付加的な(例えば、質的な)情報を提供することができる。概して、タッチ事象は、列の上で受信信号に対応し得る。各列について、その上で受信された異なる信号は、どの対応する行が、その列と同時にタッチさせられるのかを示す。一実施形態において、受信された各信号の無視できない量は、対応する行と列の間での結合の量に関係し、且つ、タッチによって覆われる表面の領域、タッチの圧力などを示す場合もある。
<単純なシヌソイドの実施形態>
一実施形態において、行に送信される直交信号は、未変調のシヌソイドであってもよく、その各々は、受信器において互いに容易に区別され得るように選択される、異なる周波数を有している。一実施形態において、周波数は、受信器において互いに容易に区別され得るように、それらの間に十分な間隔を設けるために選択される。一実施形態において、単純な倍音関係は、選択された周波数の間には存在しない。単純な倍音関係の欠如は、1つの信号に別の信号を模倣させ得る、非線状のアーチファクト(non−linear artifacts)を緩和する場合がある。
通常、隣接する周波数の間の間隔が一定であり、且つ最も高い周波数が最低の周波数の2倍未満である、周波数の「コム(comb)」は、周波数間の間隔であるΔfが、測定期間τの少なくとも逆数である場合に、これらの基準を満たすことになる。例えば、どの行の信号が1ミリ秒(τ)につき1回存在するかを判定するために、(例えば、列からの)信号の組み合わせを測定することが好ましい場合、その後、周波数間隔(Δf)は1キロヘルツより高くなければならない(即ち、Δf>1/τ)。この計算に従い、わずか10の行しかない例の場合において、以下の周波数を使用することが可能である:
周波数間隔が、ロバストな設計を可能にするためにこの最小よりも実質的に大きい場合があることが、当業者に明白となるであろう。一例として、0.5cmの行/列の間隔を持つ20cm×20cmのタッチ面は、40の行と40の列を必要とし、40の異なる周波数でシヌソイドを必要とする。1ミリ秒につき1の分析速度は1kHzの間隔しか必要としない一方、恣意的に大きな間隔は、よりロバストな実装のために利用される。恣意的に大きな間隔は、最高周波数が最低周波数よりも2倍より大きくなってはいけない(即ち、fmax<2(fmin))という制約に従う。この例において、最低周波数が5MHzで設定された100kHzの周波数間隔が使用されてもよく、これにより、5.0MHz、5.1MHz、5.2MHzなどの、最大8.9MHzまでの周波数リストを得る。
一実施形態において、リスト上のシヌソイドの各々は、信号発生器によって生成され、送信器によって別個の行に送信されてもよい。同時にタッチさせられる行と列を識別するために、受信器は、列に存在する任意の信号を受信し、信号プロセッサは、もしあれば、リスト上にどの周波数が現れるかを判定するために信号を分析する。一実施形態において、識別は、周波数分析技術(例えば、フーリエ変換)により、又はフィルタバンクの使用により支援され得る。
一実施形態において、各列の信号から、受信器は、その列の上の信号に見出される周波数のリストから各周波数の強度を判定することができる。周波数の強度が幾つかの閾値よりも大きい実施形態において、信号プロセッサは、その周波数に対応する列と行との間にタッチ事象が存在することを識別する。一実施形態において、行/列の交差からのタッチの距離、タッチ物体の大きさ、物体が押し下がる圧力、タッチされる行/列の交差の部分等を含む、様々な物理現象に対応し得る信号強度の情報が、タッチ事象の領域を局在化するための支援として使用されてもよい。
一旦、信号の強度が(行に対応する)少なくとも2つの周波数、又は少なくとも2つの列について計算されると、二次元マップが作成され得、信号強度は、その行/列の交差におけるマップの値である。一実施形態において、信号の強度は、各列の上にある各周波数について計算される。一旦、信号強度が計算されると、二次元マップが作成され得る。一実施形態において、信号強度は、その行/列の交差におけるマップの値である。一実施形態において、異なる周波数でのタッチ面における物理的相違により、信号強度は、与えられたタッチのために標準化、或いは較正される必要がある。同様に、一実施形態において、タッチ面に渡る又は交差の間にある物理的相違により、信号の強度は、与えられたタッチのために標準化、或いは較正される必要がある。
一実施形態において、二次元マップのデータは、タッチ事象をより良く識別、判定、又は分離するために閾値処理(thresholded)されてもよい。一実施形態において、二次元マップのデータは、表面をタッチする物体の形状や配向などに関する情報を推測するために使用されてもよい。
行の上で送信される信号の議論に戻って、シヌソイドは、上述の構成において使用され得る唯一の直交信号ではない。実際に、上記で議論されるように、互いに区別され得る信号の任意のセットが、機能することになる。それにもかかわらず、シヌソイドは、より単純な工学技術、及び、この技術を使用する装置の更にコスト効率の良い製造を可能にし得る、幾つかの都合の良い特性を持つ場合がある。例えば、シヌソイドは、(定義により)非常に狭い周波数プロファイルを有しており、DCの付近で低周波数に下がる(extend down)必要はない。更に、シヌソイドは、1/fのノイズによる影響を比較的受けず、このノイズは、より低い周波数にまで及ぶ、より広域な信号に影響を及ぼし得る。
一実施形態において、シヌソイドはフィルタバンクにより検出され得る。一実施形態において、シヌソイドは周波数分析技術(例えばフーリエ変換)により検出され得る。周波数分析技術は比較的効率的な方法で実施されてもよく、及び、優れたダイナミックレンジの特徴を有する傾向があり、それらが多数の同時のシヌソイド間で検出及び区別を行うことを可能にする。広範囲の信号処理期間において、受信器の複数のシヌソイドの復号化は、周波数分割多重化の形態として考慮され得る。一実施形態において、時分割及び符号分割多重化などの他の変調技術も使用され得る。時分割多重化は、優れたダイナミックレンジの特徴を有しているが、典型的には、限定された時間をタッチ面への送信(又は、そこからの受信信号の分析)に費やすことを要求する。符号分割多重化は、周波数分割多重化と同じく同時の性質を有しているが、ダイナミックレンジの問題に遭遇する場合もあり、且つ複数の同時信号の間で容易に区別されない場合もある。
<変調されたシヌソイドの実施形態>
一実施形態において、変調されたシヌソイドは、上述のシヌソイドの実施形態の代わりとして、それと組み合わせて、及び/又は、それを改良したものとして(as an enhancement of)、使用され得る。未変調のシヌソイドの使用は、タッチ面付近の他の装置に無線周波干渉を引き起こし、故に、それらを使用する装置は、規定上の試験(例えばFCC、CE)を通過するという問題に遭遇しかねない。加えて、未変調のシヌソイドの使用は、精密な(deliberate)送信器又は他の干渉装置(恐らく、別の同一のタッチ面)の何れかからの環境において、他のシヌソイドからの干渉を受けやすい場合もある。一実施形態において、そのような干渉は、記載の装置において、誤った又は低下したタッチ測定を引き起こし得る。
一実施形態において、干渉を回避するために、シヌソイドは、信号が受信器に達すると復調され得る(かき乱されない(unstirred))方法で、送信器によって送信される前に変調されるか、又は「かき乱され(stirred)」得る。一実施形態において、可逆的な変換(又は、ほぼ可逆的な変換)を使用することで、この変換が補われ且つ信号が受信器に達すると実質的に復元され得るように信号を変調してもよい。当業者にも明白となるように、本明細書に記載されるようなタッチ装置において変調技術を使用して放出又は受信される信号は、他のものとはあまり関連付けられず、故に、環境中に存在する他の信号に類似すると考えられ、及び/又は他の信号からの干渉にさらされるよりもむしろ、単なるノイズのように作用する。
一実施形態において、利用される変調技術は、装置作動の環境において、送信されたデータにかなり無作為に又は少なくとも不自然に生じさせる。2つの変調スキームが以下に議論される:周波数変調及び直接シーケンス拡散スペクトラム変調(Direct Sequence Spread Spectrum Modulation)。
<周波数変調>
シヌソイドの全体のセットの周波数変調は、「それらを不鮮明にする(smearingthem out)」ことにより、同じ周波数でそれらが現われることを回避する。規定上の試験は通常、固定周波数に関係があるので、周波数変調された送信シヌソイドは、低い振幅で現われ、故に、懸念の対象であるようには思われない。受信器がそれ自体へのシヌソイド入力を「不鮮明にしない(un−smear)」ため、等しく且つ対称的な様式で、精密に変調され且つ送信されたシヌソイドは復調され得、その後、それらが変調される前のように実質的に現れる。しかし、環境から進入する(例えば、干渉する)任意の固定周波数のシヌソイドは、「不鮮明にしない」作動によって「鮮明にされ」、故に、意図した信号に対する効果の減少又は排除が生じることになる。従って、その他にセンサへと引き起こされ得る干渉は、例えば、一実施形態においてタッチセンサに使用される周波数のコムに対し、周波数変調を使用することにより和らげられる。
一実施形態において、シヌソイドの全体のセットは、それ自体が変調される単一基準周波数から全てを生成することにより、周波数変調され得る。例えば、100kHzの間隔を持つ1セットのシヌソイドは、同じ100kHzの基準周波数に異なる整数を掛けることにより生成され得る。一実施形態において、この技術は位相ロックループを使用して遂行することができる。最初の5.0MHzのシヌソイドを生成するために、基準に50を掛けたり、5.1MHzのシヌソイドを生成するために、基準に51を掛けるといったことが、可能である。受信器は、検出と復調の機能を行なうために、同じ変調された基準を使用することができる。
<直接シーケンス拡散スペクトラム変調>
一実施形態において、シヌソイドは、送信器と受信器の両方に知らされる、偽似ランダム(又は真にランダム)なスケジュール上でそれらを定期的に逆転することにより、変調され得る。故に、一実施形態において、各シヌソイドがその対応する行に送信される前に、各シヌソイドは、選択可能なインバータ回路を通過し、その出力は、「逆転選択」入力の状態に依存して、+1又は−1を掛けた入力信号である。一実施形態において、これら「逆転選択」入力は全て、同じ信号から動作され、それにより、各行のシヌソイドは全て、同時に+1又は−1を掛けられる。一実施形態において、「逆転選択」入力を動作する信号は、任意の信号から独立した疑似ランダムな機能、又は、環境に存在し得る機能であってもよい。シヌソイドの擬似ランダムな逆転は、周波数においてシヌソイドを拡散して、シヌソイドが接触し得る任意の装置を無視できるほどにしか干渉しないように、ランダムノイズのように生じさせる。
受信器上で、列からの信号は、行の上の信号と同じ擬似ランダムな信号によって動作される、選択可能な逆転回路を通過し得る。その結果、たとえ送信信号が周波数において拡散されたとしても、送信信号は、+1又は−1を2回掛けられ、それらを未変調状態にし、又はその状態に戻すので、受信器の前に逆拡散される(despread)。直接シーケンス拡散スペクトラム変調の適用により、列の上にある任意の妨害信号が拡散され得、それにより、妨害信号はノイズとしてのみ作用し、意図したシヌソイドのセットの何れかを模倣することはない。
一実施形態において、選択可能なインバータは、少数の単純な構成要素から作られ得、及び/又は、VLSIプロセスにおいて送信器中で実施され得る。
多くの変調技術が互いに独立しているので、一実施形態において、複数の変調技術(例えば、シヌソイドセットの周波数変調及び直接シーケンス拡散スペクトラム変調)が同時に利用され得る。潜在的に実施がより複雑となるが、そのような複数の変調された実施は、より優れた干渉抵抗性を達成し得る。
環境中で特定の疑似ランダムな変調に遭遇することは非常に稀であるので、本明細書に記載されるマルチタッチセンサは、真のランダムな変調スケジュールを必要としない可能性がある。同じ実施を伴う1より多くのタッチ面が、同じ人物によってタッチされているという、1つの例外も存在する場合がある。そのような場合において、非常に複雑な疑似ランダムなスケジュールを使用しても、表面が互いに干渉することが、可能な場合もある。故に、一実施形態において、不一致(conflict)が起こりそうにない疑似ランダムなスケジュールを設計することに、注意を払う。一実施形態において、真のランダムの中には、変調スケジュールに導入されるものもある。一実施形態において、ランダムは、真のランダムのソースから疑似ランダムの発生器にシード値を与えること(seeding)により、及び、(繰り返しの前に)ランダムが十分に長い出力を持つことを確実にすることにより、導入される。そのような実施形態により、2つのタッチ面が同時にシーケンスの同じ部分を使用することが、あまりなくなる。一実施形態において、ランダムは、真のランダムのシーケンスで擬似ランダムの配列を排他的論理和する(XOR)ことにより、導入される。XOR機能は、その出力のエントロピーがどの入力よりも決して少なくならないように、その入力のエントロピーを組み合わせる。
<低コストの実施の実施形態>
前述の技術を使用するタッチ面には、他の方法と比較して、シヌソイドの生成及び検出にかかるコストが比較的高い場合がある。以下に、よりコスト効率が良く、及び/又は、大量生産により適した、シヌソイドの生成及び検出の方法を議論する。
<シヌソイド検出>
一実施形態において、シヌソイドは、フーリエ変換検出スキームを備えた完全な無線受信器を使用して、受信器において検出され得る。そのような検出は、高速RF波形をデジタル化し、その後にデジタル信号処理を行なうことを必要とし得る。別々のデジタル化及び信号処理は、表面の全ての列のために実施されてもよく、これにより、信号プロセッサは、どの行の信号がその列とタッチ状態にあるのかを発見することが可能となる。上述の例において、タッチ面に40の行と40の列を備えさせることで、この信号チェーンの40のコピーが必要とされる。今日、デジタル化とデジタル信号処理は、ハードウェア、コスト、及び電力に関して、比較的高価な作動である。シヌソイドを検出するためのよりコスト効率の良い方法、特に、容易に複製することができ且つ電力をほとんど必要としない方法を利用することが、有用である。
一実施形態において、シヌソイドはフィルタバンクを使用して検出され得る。フィルタバンクは、入力信号を取り上げ、それを各フィルタに関連した周波数成分に分割することができる、バンドパスフィルタのアレイを含む。離散フーリエ変換(DFT、そのFFTは効率的な実施である)は、周波数分析に共通して使用される、均一に間隔を置いたバンドパスフィルタを備えたフィルタバンクの形態である。DFTはデジタルで実施されてもよいが、デジタル化工程は高価な場合がある。パッシブLC(インダクタ及びコンデンサ)又はRCアクティブフィルタなどの個々のフィルタから、フィルタバンクを実装することが可能である。インダクタはVLSIプロセス上で十分に実装するのが難しく、個別のインダクタは大きく且つ高価なものであり、そのため、フィルタバンクにおいてインダクタを使用することはコスト効率が良くない場合もある。
より低い周波数(約10MHz、及びそれ未満)で、VLSI上でRCアクティブフィルタのバンクを作ることが可能である。そのようなアクティブフィルタは十分に実行されるが、多くのダイスペース(die space)を取り上げ、所望されるよりも多くの動力を必要とし得る。
より高い周波数で、表面超音波(SAW)フィルタ技術によりフィルタバンクを作ることが可能である。これにより、ほぼ恣意的なFIRフィルタの形状が可能となる。SAWフィルタ技術は、直列(straight)CMOS VLSIよりも高価な圧電材料を必要とする。更に、SAWフィルタ技術は、単一のパッケージに十分に多くのフィルタを統合し、それにより製造原価を上げるほど十分な同時のタップを可能にしない場合もある。
一実施形態において、シヌソイドは、FFTのような「バタフライ」トポロジーを利用する標準CMOS VLSIプロセス上で、スイッチトキャパシタ技術により実装されるアナログフィルタバンクを使用して、検出され得る。そのような実装に必要なダイ領域は典型的にチャネルの数の二乗の関数であり、これは、同じ技術を使用する64のチャネルのフィルタバンクが、1024のチャネルのバージョンのダイ領域の内、1/256のみを必要とすることを意味する。一実施形態において、低レイテンシタッチセンサのための完全な受信システムは、フィルタバンク及び適切な増幅器、スイッチ、エネルギー検出器などの適切なセットを含む、複数のVLSIのダイの上で実装される。一実施形態において、低レイテンシタッチセンサのための完全な受信システムは、フィルタバンク及び適切な増幅器、スイッチ、エネルギー検出器などの適切なセットを含む、単一のVLSIのダイの上で実装される。一実施形態において、低レイテンシタッチセンサのための完全な受信システムは、n−チャネルのフィルタバンクのn個のインスタンスを含み、且つ、適切な増幅器、スイッチ、エネルギー検出器などのための空間を残す、単一のVLSIのダイの上で実装される。
<シヌソイド生成>
主に、各行が1つの信号の生成を必要とする一方で、列の受信器は多くの信号間で検出且つ区別を行なわなければならないので、低レイテンシタッチセンサにおける送信信号(例えばシヌソイド)の生成は通常、検出ほどあまり複雑ではない。一実施形態において、シヌソイドは、一連の位相ロックループ(PLL)により生成され得、その各々は共通の基準周波数に異なる倍数を掛ける。
一実施形態において、低レイテンシタッチセンサの設計は、送信されたシヌソイドが非常に高品質であることを要求しないが、むしろ、無線回路において通常は可能である又は望ましいことより多くの位相ノイズ、周波数変動(時間や温度等にわたる)、高調波歪、及び他の欠陥を持つ、送信されたシヌソイドを収容する。一実施形態において、大多数の周波数はデジタル手段によって生成され、その後、比較的粗いアナログ−デジタル変換プロセスを使用してもよい。上記で議論されるように、一実施形態において、生成された行の周波数は、互いとの単純な調和の関係を有してはならず、記載された生成プロセスにおける任意の非線状性は、そのセットにおける1つの信号に「エイリアスを生じさせ(alias)」ないか、又は別のものを模倣させてはならない。
一実施形態において、周波数コムは、フィルタバンクによってフィルタ処理される連続した狭いパルスを持つことにより生成され、フィルタバンク中の各フィルタは、行の上での送信のために信号を出力する。周波数「コム」は、受信器によって使用され得るフィルタバンクと同一であるフィルタバンクによって作られる。一例として、一実施形態において、100kHzのレートで反復される10ナノ秒のパルスが、5MHzで開始する周波数成分のコムを分離するように設計されるフィルタバンクに通されて、そして100kHzに分離される。定義されるようなパルス列は、100kHzから何十MHzまでの周波数成分を有し、故に、送信器において全ての行のための信号を有する。故に、パルス列が同一のフィルタバンクを通って上述のものへと進み、それにより受信した列信号のシヌソイドを検出する場合、後にフィルタバンク出力はそれぞれ、行に送信され得る1つのシヌソイドを包含する。
<透明なディスプレイ表面>
タッチ面がコンピュータディスプレイに統合され、それにより個人がコンピュータで生成されたグラフィックスと画像(imagery)を相互に作用させることが可能になることが、望ましい場合もある。正面投影が不透明なタッチ面に使用され、背面投影が透明なタッチ面に使用され得る一方で、現代の平面パネルディスプレイ(LCD、プラズマ、OLED等)は通常、タッチ面が透明であることを要求する。一実施形態において、(信号がそれらに沿って伝搬することを可能にする)本件技術の行及び列は、そのような信号に対して伝導性である必要がある。一実施形態において、(無線周波数信号がそれらに沿って伝搬することを可能にする)本件技術の行及び列は、導電性である必要がある。
行と列の伝導性が不十分な場合、行/列に沿った単位長さ当たりの抵抗性は、低域フィルタを形成するために単位長さ当たりの静電容量と組み合わさり、一端に適用される任意の高周波信号は、不良導体に沿って伝搬するにつれて実質的に減じられる。
視覚的に透明な導体は市販で入手可能であるが(例えばインジウムスズ酸化物又はITO)、透明度と伝導性の間のトレードオフは、本明細書に記載される低レイテンシタッチセンサの幾つかの実施形態に望ましい場合がある周波数において問題となる。ITOは、特定の長さにわたって特定の望ましい周波数を支持するほどの十分な厚みであれば、幾つかの用途には不十分な透明度である場合もある。一実施形態において、行及び/又は列は、非常に伝導性であり且つ光学的に透明である、グラフェン及び/又はカーボンのナノチューブから、完全に、又は少なくとも部分的に形成されてもよい。
一実施形態において、行及び/又は列は、それらの後ろにある無視できる量のディスプレイを遮断する、1以上の極めて細いワイヤーから形成され得る。一実施形態において、極めて細いワイヤーは細過ぎるあまりに視認することができず、又は少なくとも細過ぎるあまりに、その後ろにあるディスプレイを見る際に視覚的な障害を提示することができない。一実施形態において、透明なガラス又はプラスチック上に付けられる(patterned)極めて細い銀のワイヤーが、行及び/又は列を作り上げるために使用され得る。そのような極めて細いワイヤーは、行/列に沿って優れた導体を作り出すほど十分な断面を有する必要があるが、そのようなワイヤーは、用途に応じてほとんど基礎ディスプレイを遮断しないほど十分に細く、且つ、十分に拡散していることが(後部ディスプレイには)望ましい。一実施形態において、極めて細いワイヤーの太さは、基礎ディスプレイのピクセルのサイズ及び/又はピッチに基づいて選択される。
一例として、新規のApple Retinaディスプレイは、1インチ当たり約300ピクセルを含み、これは、片側に約80ミクロンのピクセルサイズをもたらす。一実施形態において、約10オームの抵抗性を有している、長さ20センチメートル(iPad(登録商標)ディスプレイの長さ)の20ミクロンの直径の銀のワイヤーが、本明細書に記載されるような低レイテンシタッチセンサにおける行及び/又は列として、及び/又は、行及び/又は列の一部として、使用される。しかし、そのような20ミクロンの直径の銀のワイヤーは、網膜ディスプレイにわたって引き伸ばされる場合、ピクセルの全体のラインの25%までを遮断し得る。従って、一実施形態において、複数の更に細い直径の銀のワイヤーは列又は行として使用され得、これは、適切な抵抗性を維持するとともに、無線周波数のスキン深さの問題に関して許容可能な応答を提供することができる。そのような複数の更に細い直径の銀のワイヤーは、真っ直ぐではなく、むしろ幾分不揃いのパターンで置かれ得る。更に細いワイヤーのランダムな又は不規則なパターンは恐らく、あまり視覚にとって干渉的なものではない。一実施形態において、細いワイヤーのメッシュが使用される。メッシュの使用は、製造に対するパターニングの欠陥を含む、ロバスト性を改善させる。一実施形態において、更に細いワイヤーが、適正値の抵抗性、及び、無線周波数のスキン深さの問題に対する許容可能な応答を維持するほど十分に伝導性であると仮定して、1つの更に細い直径のワイヤーは、列又は行として使用され得る。
図2は、ダイヤモンド形の行/列のメッシュを持つ、行/列のタッチ面の実施形態を示す。このメッシュのパターンは、行と列に最大且つ等しい表面領域を提供する一方で、その間での最小限の重複を可能にするように設計される。
このダイヤモンドの1より大きな領域を伴うタッチ事象は、行と列の少なくとも一部を覆い、重複した列への行信号の結合を幾つか可能にすることになる。一実施形態において、前記ダイヤモンドは、タッチ器具(指、スタイラス等)よりも小さくなるように大きさを合わせられる。一実施形態において、行と列の間の0.5cmの間隔は、ヒトの指に関して十分に機能する。
一実施形態において、ワイヤーの単純グリッドは行及び列として使用される。そのようなグリッドは、行及び列に表面領域をあまり提供しないが、無線周波数信号には十分なものであり、且つ受信器により検出され得る十分な無視できない結合を提供することができる。
一実施形態において、行と列に関する「ダイヤモンドパターン」は、図2に示されるように、示された形状の空間を満たす細いワイヤーのランダムに接続されたメッシュの使用により、又は、ワイヤーメッシュとITOなどの別の透明な導体とを組み合わせることにより、作成され得る。一実施形態において、細いワイヤーは、例えばスクリーン全体にわたり、長く広がる(long stretches)伝導性のために使用され、ITOは、ダイヤモンド形の領域などのローカルエリアの伝導性のために使用され得る。
<光学的な実施形態>
記載された高速マルチタッチ技術を実施する無線周波数及び電気による方法が上記で議論されてきたが、他の媒体も同様に使用することができる。例えば、信号は、導波管、又は行と列のための他の手段を持つ、光学信号(即ち、光)であり得る。一実施形態において、光学信号に使用される光は可視領域にあり、赤外線及び/又は紫外線であり得る。
一実施形態において、無線周波数信号を運ぶ導電性の行及び列の代わりに、行と列は、直交信号を生成し且つ光学カプラにより導波管に結合される1以上の光源により供給される、光ファイバーなどの光導波路を含み得る。例えば、光の異なる別個の波長が、各列のファイバーに導入され得る。ヒトの指が行のファイバーにタッチした場合、その中にある光の幾つかは、遅滞した(frustrated)全内部反射により、指に漏れる(即ち、結合する)ことになる。その後、指からの光は、相反するプロセスにより、列のファイバーの1つを入力し、ファイバーの端部において検出器に伝搬する場合がある。
一実施形態において、光学信号は、異なる波長のLEDにより、又は光学フィルタの使用により生成され得る。一実施形態において、カスタム干渉フィルタが使用される。一実施形態において、ファイバーの列にある光の異なる波長は、光学フィルタバンクを使用して検出され得る。一実施形態において、そのような光学フィルタバンクは、カスタム干渉フィルタを使用して実装されてもよい。一実施形態において、可視スペクトルの外部の光(例えば、赤外線及び/又は紫外線)の波長は、ディスプレイに余分な可視光線が加えられるのを回避するために使用されてもよい。
一実施形態において、行と列のファイバーは、指がそれらを同時にタッチできるように、一緒に織り合わされてもよい。一実施形態において、織り合わされた構築物は、ディスプレイを不明瞭にするのを回避するために必要とされるように、視覚的に透明なものとして作られてもよい。
<高速マルチタッチの後処理>
例えば、上述の手順を使用して、各列の各行から信号強度を計算した後、結果として生じる2−Dの「ヒートマップ」を、使用可能なタッチ事象に変換するために、後処理が行われる。一実施形態において、そのような後処理は、以下の4つ手順の内の少なくとも幾つかを含む:フィールド平坦化、タッチ点検出、補間、及び、フレーム間でのタッチ点のマッチング。フィールド平坦化の手順は、行と列の間のクロストークを取り除くためにオフセットレベルを控除し、減衰により特定の行/列の組み合わせの間の振幅の差を補う。タッチ点の検出手順は、平坦化された信号において極大値を見出すことにより、およそのタッチ点を計算する。補間の手順は、およそのタッチ点に関連したデータを放物面に適合させることにより、細かいタッチ点を計算する。フレームマッチングの手順は、フレームにわたって互いに計算されたタッチ点を一致させる。以下、4つの手順の各々を順に説明する。また、各処理工程について、実装、起こり得る不良モード、及び結果の例も開示される。非常に低いレイテンシを必要とするため、処理工程は最適化され且つ平行処理されねばならない。
先ず、フィールド平坦化手順について説明する。タッチ面及びセンサ電子機器の設計による系統的な問題は、各列の受信信号の強度においてアーチファクトを引き起こす場合がある。このようなアーチファクトは、以下のように補われ得る。最初に、行と列の間のクロストークのために、各行/列の組み合わせの受信信号の強度は、オフセットレベルを経験することになる。良好な近似値になるまで、このオフセットレベルは一定であり、減算され得る。
次に、与えられた行と列の交差において較正されたタッチにより、列で受信された信号の振幅は、大抵は行と列に沿って伝搬するにつれて信号が減衰するため、特定の行と列に依存することになる。信号がより遠くに移動するにつれ、更なる減衰が生じるので、送信器から遠くにある列、及び受信器から遠くにある行は、それらの相当物よりも、「ヒートマップ」における信号強度が低くなる。行と列のRF減衰が少ない場合、信号強度差は些細なものであり、補償はほとんど又は全く必要とされない。減衰が多い場合、補償が必要とされ、又はタッチ検出の感度或いは品質を改善する場合がある。通常、受信器において測定された信号強度は、列に送信された信号の量と線状になると予測される。故に、一実施形態において、補償は、ヒートマップにおける各位置に、特定の行/列の組み合わせについて一定である較正を掛けることを含む。一実施形態において、測定又は評価は、ヒートマップの補償テーブルを判定するために使用されてもよく、この表は、乗算により補償を提供するためにも同様に使用され得る。一実施形態において、較正の作動は、ヒートマップの補償テーブルを作り出すために使用される。本明細書で使用されるように、用語「ヒートマップ」は、熱の実際のマップを必要としないが、むしろ、位置に対応するデータを含む少なくとも二次元の任意のアレイを意味し得る。
典型的な実施形態において、全体的なフィールド平坦化手順は次のとおりである。何も表面にタッチすることなく、最初に各列の受信器における各行信号に関する信号強度を測定する。タッチが無いため、受信されたほぼ全体の信号はクロストークによるものである。測定された値(例えば、各列に見出される各行の信号の量)は、ヒートマップにおいてその位置から控除する必要のあるオフセットレベルである。その後、一定のオフセットが控除され、各行/列の交差に較正されたタッチ物体を配し、その列の受信器においてその行の信号の信号強度を測定する。信号プロセッサは、タッチ事象をタッチ面上の1つの位置の値へと標準化するように構成されてもよい。(最小の減衰を経験するので)恐らく最も強力な信号を持つ位置、即ち、送信器と受信器に最も接近した行/列の交差を恣意的に選択することができる。この位置で較正されたタッチ信号の強度がSNであり、各行と列に関する較正されたタッチ信号の強度がSR,Cである場合、そして、ヒートマップにおける各位置を(SN/SR,C)で掛けた場合、全てのタッチ値が標準化される。較正されたタッチについて、ヒートマップにおける任意の行/列のために標準化された信号強度は、1に等しくなる。
フィールド平坦化手順は十分に並列処理を行う。一旦、オフセットと標準化のパラメーターが測定且つ保存される場合(1回しか行う必要が無いもの(或いは、メンテナンス間隔で可能なら再度行われる))、各信号強度が測定されるや否や、補正が適用され得る。図3は、フィールド平坦化手順の実施形態を示す。
一実施形態において、各行/列の交差の較正は、規則的又は選択されたメンテナンス間隔で要求される場合がある。一実施形態において、各行/列の交差の較正は、1つの単位につき1回要求される場合がある。一実施形態において、各行/列の交差の較正は、1つの設計につき1回要求される場合がある。一実施形態において、及び特に、例えば行とカラムのRF減衰が少ない場合、各行/列の交差の較正が、全く必要とされない場合もある。更に、行と列に沿った信号減衰が十分に予測できない実施形態において、ほんの少数の交差の測定値からの全表面を較正することが可能な場合もある。
タッチ面が多くの減衰を経験すると、フィールド平坦化手順は、少なくともある程度まで、測定値を標準化するが、幾つかの副作用を伴う場合もある。例えば、各測定値に対するノイズは、その標準化の定数が大きくなるにつれて増大する。より低い強度及びより多くの減衰について、このことは、タッチ点の検出及び補間のプロセスにおいて誤差及び不安定性を生じさせ得ることが、当業者に明白であろう。従って、一実施形態において、最大の減衰(例えば、最も遠い行/列の交差)に十分な信号強度を提供することに、注意を払いたい。
ここで、タッチ点の検出に移る。一旦、ヒートマップが生成され、フィールド平坦化が行われると、1以上のおよそのタッチ点が識別され得る。1以上のおよそのタッチ点の識別は、標準化された(即ち、平坦化された)信号強度において極大値を見出すことにより行われる。1以上のタッチ点を見出すための、高速且つ平衡処理可能な方法は、標準化されたヒートマップの各要素をその近傍と比較する工程を含み、点が近傍全てよりも厳密に大きな場合には、点に極大値を付す(label)。一実施形態において、点は、その近傍全てよりも厳密に大きく、且つ与えられた閾値より上である場合に、極大値であると識別される。
様々な方法で近傍のセットを画定することは、本開示の範囲内にある。一実施形態において、最も近くの近傍は、Von Neumannの近傍部により画定される。一実施形態において、最も近くの近傍は、Mooreの近傍部により画定される。Von Neumannの近傍部は4つの要素から成り、これらは、中心において要素に対して垂直且つ水平に隣接している(即ち、その北、南、東、及び西に隣接した要素)。これは、「4つの接続された」近傍部とも称される。より複雑な(即ち、より大きな)Von Neumannの近傍部も適用可能であり、且つ使用される場合がある。Mooreの近傍部は、中心において要素に対して垂直、水平、且つ対角線的に隣接している8つの要素から成る(即ち、その北、南、東、西、北東、北西、南東、及び南西に隣接した要素)。これは、「8つの接続された」近傍部とも称される。
選択された近傍部は、細かいタッチ点を計算するために使用される補間のスキームに依存することになる。これは、以下で詳細に示されることとなる。
与えられた近傍の比較において、要素の標準化された信号強度が、その近傍の1以上に等しい、厳密には、ノイズのレベルを可能にする許容範囲内にあるという、特殊なケースが存在する場合がある。一実施形態において、そのような対における点は何れも、閾値より上の値を有していたとしても、タッチ点ではないと考慮される。一実施形態において、そのような対における点は共に、タッチ点であると考慮される。一実施形態において、2以上の近傍の点がほぼ同じ値を持つ領域は、1つのタッチ事象として扱われる。一実施形態において、2以上の近傍の点がほぼ同じ値を持つ領域は、単一の極大値が見出され得る領域からの、異なるタイプのタッチ事象として扱われる(例えば、おそらく誰かの手首がタッチ面に接している)。
ここで、補間の手順に移る。一旦、およそのタッチ点が判定(即ち、識別)されると、細かいタッチ点が補間を使用して計算され得る。一実施形態において、分散したタッチの容量式接触は、最大値を持つモデル機能に適合される。一実施形態において、モデル機能は、二次元以上における二次機能である。一実施形態において、二次機能は放物面である。一実施形態において、放物面モデルは、指又はスタイラスなどの、タッチ面にタッチするために使用される様々な物体に許容可能な近似である。更に、以下に議論されるように、放物面モデルは計算上、比較的集約的なものではない。一実施形態において、より複雑又は計算上より集約的なモデルが、平坦化されたヒートマップからタッチのより正確な評価を提供するために使用され得る。下記の議論のために、放物面は実例として使用されるが、より大きく又は小さな複雑性のモデルを含む他のモデルが補間のために使用され得ることは、当業者に明白である。
図4は、例示的な極大値の周囲のVon Neumannの近傍部を図示する。そのような4つの接続された、又はVon Neumannの近傍部について、関連する点は示されるものと同様であり、中央要素は極大値であり、サブスクリプトはそれに関連する特定の要素の座標である。5つの要素の位置及び信号強度は、放物面を画定する以下の方程式にそれらを適合させることを可能にする:
xとyが要素の場所である場合、zは要素の信号強度であり、A、C、D、E、及びFは二次多項式の係数である。中心点に対して、要素x、yの場所の全ては一定である。z値は、各要素において測定された信号強度であり、故に既知である。一実施形態において、5つの連立方程式が、5つの未知の多項式の係数を解くために使用され得る。各方程式は、中心点及びその4つの近傍を含む、5つの点のうち1つを表わす。
一実施形態において、Vandermonde様のマトリクスが、以下のように、多項式の係数を解くために使用され得る:
要素の場所について値を置き換えると、以下を得る:
そしてその後、一定のVandermonde様のマトリクスを逆転することにより、多項式の係数を解く:
これにより、以下を得る:
一実施形態において、多項式の係数は、否定及びシングルシフトを含む、信号強度及び単に単純な掛け算の線状的な組み合わせであり、それらを計算することを要求される;従って、それらはFPGA又はASICにおいて効率的に計算され得る。
放物面の最大値において、両方の偏導関数は0である:
これは、点xf、yfにおいて生じ、そこでは、以下の通りである:
故に、近傍部データが放物面に適合される実施形態において、放物面が1つの最大値を持つので、その最大値は細かいタッチ点の位置として使用される。4つの接続された近傍部を利用する実施形態において、値xf及びyfは互いに独立しており、xfは中央点の左及び右に対して要素の信号強度にのみ依存し、yfはその上及び下にある要素の信号強度にのみ依存する。
図5は、局大値の周囲にあるMoore又は8つの接続された近傍部を図示する。そのような8つの接続された、又はMooreの近傍部について、関連する点は示されように現れ、中央要素は極大値であり、サブスクリプトはそれに関連する特定の要素の座標である。9の要素の位置及び信号強度は、放物面の方程式に適合され得る。より多くの入力データが以前の例よりもこの例において利用できるので、放物面について幾分複雑な方程式が利用され得る:
この方程式は、追加のxy交差項、及び、x又はy以外の方向での伸長をモデルが補うことを可能にする新規のB係数を有している。再度、中心点に関して、要素x、yの場所の全ては一定であり、zの値が知られている。9の連立方程式(1つの要素につき1つ)が、6つの未知の多項式係数を判定(即ち、過剰判定)するために使用され得る。最小自乗技術が、6つの未知の多項式係数を解くために使用されてもよい。
Vandermonde様のマトリクスが、多項式に適合するために使用され得る。上述の実施形態と異なり、マトリクスは非正方であり、行は9であり、列は6である。
Vandermonde様のマトリクスにおける全体は全て一定であり、zの値が知られており、そのため、一定値を置き換えると、以下がもたらされる。
Vandermonde様のマトリクスは、非正方であるため、多項式係数を解くために逆転することができない。しかし、それは、Moore−Penroseの疑似逆転を使用し、且つ多項式係数への最小自乗の適合を行なって、解かれ得る。一実施形態において、疑似逆転は、
として画定され、
を与える。多項式の係数は、信号強度の線状的な組み合わせである。乗算は僅かにより複雑なものであるが、被乗数の多くは因数分解することができ、計算の終わりの付近で1つの時間を適用する。この工程の目的は、放物面の最大値を見出すことである。従って、全体的な目盛係数は関連性が無く、焦点は、機能を最大限にする相対的な値及び引数に対してのみ必要とされ、動作の多くは相殺され、実装の効率の改善が可能となり得る。
上記のように、細かいタッチ点が放物面の最大値において推定され、そこでは偏導関数は共に0である:
これは、点xf、yfにおいて生じ、そこでは、以下の通りである:
8つの接続された近傍部について、値xfとyfは互いに独立していない。その両方は、8つの近傍全ての信号強度に依存する。故に、この方法により、計算上の負担の増加、及び、信号強度の特定の組み合わせが細かいタッチ点のために特異値を生成する可能性が生じる場合がある。8つのMooreの近傍の上で最小自乗を使用する実施形態において、そのような実装は、ノイズを含む信号強度の値に対してよりロバストである。言い換えれば、一実施形態において、1つの信号強度における小さな誤差は、計算に使用されるデータの量の増加、そしてそのデータの自己整合により補われる。
更に、8つの接続された近傍部は、ユーザーインターフェースの一部として有用であることを証明する、B係数、即ち、情報の余剰部分を提供する。xy交差項のB係数は、AとCの係数に固有のアスペクト比の情報と共に、適合された放物面における非対称を特徴づけるために使用され得、それは、タッチが生じている角度をソフトウェアが判定することを可能にする。
図6は、特定のz値で放物面をトランケートすることにより得ることができる、楕円の断面を持つタッチ点の例を示す。aとbの値は、多項式のA及びCの係数から得ることができ、これらは表面にタッチする物体のアスペクト比に関する情報を提供する。例えば、指又はスタイラスは必ずしも円形対称ではなく、bに対するaの比率はその形状に関する情報を提供することができる。
角度Φについての理解は、楕円の配向に関する情報を提供することができ、例えば、指又はスタイラスがどの方向を指しているかを示し得る。Φは、以下の式により与えられた2×2のマトリクスMの固有値及び固有ベクトルから計算され得る:
このマトリクスは、2つの固有値と2つの固有ベクトルを持つ。最大の固有値に関連した固有ベクトルは、楕円の主軸の方向を指し示す。他の固有ベクトルは短軸の方向を指し示す。固有値であるλ1とλ2は、以下のように計算され得る:
ここで、tr(M)は、ACに等しいマトリクスMのトレースであり、det(M)は、AC−B2/4に等しいマトリクスMの行列式である。
一旦、固有値を獲得すると、固有ベクトルを計算するためにCayley−Hamiltonの定理を使用することができる。λ1に関連した固有ベクトルは、マトリクスM−λ2Iの列の何れかであり、λ2に関連した固有ベクトルは、マトリクスM−λ1Iの列の何れかである。固有値の指数の反転に注意されたい。楕円の主軸が我々の座標系のx軸に対してなす角度Φは、固有ベクトルの傾斜のアークタンジェントである。固有ベクトルの傾斜は単にΔy/Δxである。
上記で議論されるように、補間工程は、例えば、上記で議論された例示的な放物面モデルに限定されないが、平坦化されたヒートマップから獲得したデータを使用して、細かいタッチ点を判定することを必要とする。細かいタッチ点を判定する目的は、ポストプロセッサがタッチ点においてより優れた粒状度を提供、具体的には、センサの交差を超過する粒状度を提供するのを可能にすることである。別の方法を述べると、モデル化され且つ補間された細かいタッチ点は、行/列の交差に直接、或いは、その交差の間のあらゆる場所にあり得る。モデルの精度と、その計算上の必要条件との間にトレードオフが存在する場合がある。同様に、モデルの精度と、実際のタッチに一致する保管された細かいタッチ点を提供する能力との間にも、トレードオフが存在する場合がある。故に、一実施形態において、モデルは、最小の演算負荷を必要とし、その一方で補間されたタッチ点と実際のタッチとの間に十分な一致を提供するために、選択される。一実施形態において、モデルは、補間されたタッチ点と実際のタッチとの間に十分な一致を必要とするために選択され、処理ハードウェアは、モデルの演算負荷を適応させるために選択される。一実施形態において、予め選択したハードウェア及び/又はタッチインダフェースを作動させる他のソフトウェアの計算能力を超過しないモデルが、選択される。
フレームマッチング手順に移ると、経時的にタッチ面上を移動する物体を適切に追跡するために、計算したタッチ点をフレーム境界にわたって互いに一致させ、故に、例えば移動するにつれてタッチ面上を移動する物体を追跡することが、重要である。別の方法について述べると、1つのフレームにおける計算されたタッチ点の各々は、後のフレームにおいて識別され、又は、後のフレームに別の配置を有して(例えば、取り除かれる)いなければならない。このことは、通常の場合において解決できない根本的に難しい問題である一方、一実施形態は、幾何学及び物理学の法則の両方を使用して実施され得る。タッチ面に接している物品が限定された大きさであり、且つ特定の物理的な原理に従い移動するので、特定の事例は、妥当な範囲の外にあるものとして無視され得る。更に、一実施形態において、フレームレートは、合理的な確実性による物体追跡(即ち、フレーム間のタッチ点の追跡)を可能にするのに十分なものでなければならない。故に、例えば、追跡される物体がタッチ面にわたって最大レートで移動することが分かるか、或いは、追跡が最大レートまで物体のみを追跡するよう行われる場合、妥当な確実性による追跡を可能にするフレームレートが選択され得る。例えば、タッチ面の行又は列にわたる動作の最大レートが例えば1秒につき1000の行又は列である場合、後に1000Hzのフレームレートは、物体が1つのフレームにつき1以下の行又は列を移動することを「確認する」。一実施形態において、(上記で議論されるような)タッチ点の補間は、タッチ点の位置のより正確な測定を提供することができ、故に、内部の行及び内部の列の場所が、本明細書でより完全に記載されるように容易に識別可能となる。
指とスタイラスの大きさは最小であり、曖昧な事例を引き起こすほど互いに密に接近しそうにはない。それらはまた、問題を抑制する人の腕及びその一部(例えば、手首、肘、指など)の動作の特徴的な速度で移動する。本明細書に開示されたセンサのタッチ面が、一実施形態において約1キロヘルツ以上である比較的高い更新レートを有しているため、タッチ面にタッチする指とスタイラスは、1つのフレームから次のフレームへの更新期間中、非常に遠く、又は極端な角度で移動することができない。制限された距離及び角度により、追跡は、本開示に従って幾らか単純化され得る。
一実施形態において、経時的にタッチ面上を移動する物体の追跡は、1つのフレームから1以上の過去のフレームまでのデータを比較することにより行われる。一実施形態において、過去のフレームに関するデータ(例えばヒートマップ)が、一時バッファの中で維持されてもよい。一実施形態において、過去のフレームに関する処理されたデータ(例えば、フィールド平坦化したヒートマップ又は適合された多項式係数)が、一時バッファの中で維持されてもよい。一実施形態において、一時バッファの中で維持される、過去のフレームに関するデータは、以前のフレームにおける細かいタッチ点の各々に関する補間された細かいタッチ点の座標、及び、そのようなものが存在する程度で、それら細かいタッチ点の過去の移動に関するベクトルを含むか、或いはそれらから成り得る。一時バッファは、1以上の過去のフレームに関するデータを保存し、後の計算にこれ以上関連しない場合にはデータの保存を止める場合もある。
一実施形態において、フレームマッチング処理は最初に、現行のフレームiにおける物体のタッチ点が恐らく、幾何学的に最も点に接近している過去のフレーム(即ち、i−1)におけるタッチ点であると推定する。
一実施形態において、タッチ点の移動に関するデータ(例えば、速度と方向)が、1以上のフレームに関連して判定され且つ保存される。一実施形態において、タッチ点の移動に関するデータが、次のフレームにおけるそのタッチ点に適した位置を予測するために使用される。タッチ点の移動に関するデータは、例えば、場所における速度又は変化を含み、及び、1以上の以前のフレームから生じる場合もある。一実施形態において、フレームにおける適した位置の予測は、2つのフレーム間の移動を考慮して、フレームごとの配置とその方向をもたらすことにより行われる。一実施形態において、フレームにおける適した位置の予測は、3以上のフレームにおける移動を考慮することにより行われる。3以上のフレームからの細かいタッチ点の位置情報を使用すると、フレームごとの配置と方向に加えて、加速度及び方向の変化も考慮され得るため、より正確な予測がもたらされる場合がある。一実施形態において、より多くの重量が、より古いフレームデータよりも最近のフレームデータに割り当てられる。その後、フレームマッチング処理は最初に、現行のフレームiにおける物体のタッチ点が恐らく、現行のフレームにおけるタッチ点に最も接近した、予測された適切な位置に関連する、過去のフレーム(即ち、i−1)におけるタッチ点に一致することを予測する場合がある。
一実施形態において、タッチ点の大きさ(規模)に関するデータ(例えば、放物面のA及びCの係数)が、1以上のフレームに関連して判定され且つ保存される。フレームマッチング処理は最初に、現行のフレームiにおける与えられた物体のサイズが恐らく、過去のフレーム(即ち、i−1)における物体のサイズに相当することを予測する場合がある。
一実施形態において、経時的なタッチ点の大きさ(規模)の変化に関するデータが、1以上のフレームに関連して判定され且つ保存される。一実施形態において、(例えば、最後のフレームからの、又は複数のフレームにわたる)フレームにおけるタッチ点の大きさの変化に関するデータが、次のフレームにおけるそのタッチ点に適したサイズを予測するために使用される。フレームマッチング処理は最初に、現行のフレームiにおける物体が恐らく、現行のフレームにおけるタッチ点の大きさに最も近い、予測された適切なサイズに関連する、過去のフレーム(即ち、i−1)におけるタッチ点に一致することを予測する場合がある。
一実施形態において、経時的なタッチ点の回転方向の変化に関するデータ(例えば、放物面のB係数)が、1以上のフレームに関連して判定され且つ保存される。一実施形態において、(例えば、最後のフレームからの、又は複数のフレームにわたる)フレームにおけるタッチ点の回転方向の変化に関するデータが、次のフレームにおけるそのタッチ点に関する回転方向を予測するために使用される。フレームマッチング処理は最初に、現行のフレームiにおける物体が恐らく、現行のフレームにおけるタッチ点の回転方向に最も近い、予測された適当な回転方向に関連する、過去のフレーム(即ち、i−1)におけるタッチ点に一致することを予測する場合がある。一実施形態において、タッチ点の回転方向は、回転の1つのタッチ点制御(例えば、1本の指による制御)を許容することができ、故に例えば、スクリーン上での1本の指の回転は、例えば視界、即ち、タッチ面と接触している2つの回転する点を従来は必要とする機能を回転させるのに、十分な情報を提供することができる。経時的な回転方向を記載するデータを使用して、回転速度を計算することができる。同様に、回転方向又は回転速度に関するデータが、回転加速度を計算するために使用され得る。故に、回転速度及び回転加速度は共に、回転方向を利用する。回転方向、回転速度、及び/又は回転加速度は、フレームマッチング処理によりタッチ点及び出力について計算され、又はフレームマッチング処理により使用されてもよい。
一実施形態において、フレームマッチングに関するヒューリスティックス(heuristics)は、タッチ点の距離及び速度のベクトルの変化を含む。一実施形態において、フレームマッチングに関するヒューリスティックスは、以下の1以上を含む:
フレームi+1における物体のタッチ点は恐らく、幾何学的に最も点に近いフレームiにおけるタッチ点である。
フレームi+1における物体のタッチ点はおそらく、物体の速度履歴が与えられると予測される点に最も近い、フレームiにおけるタッチ点である。
フレームi+1における物体のタッチ点は、フレームiにおけるそのタッチ点と同様の大きさとなる。
履歴データの他の組み合わせが、本開示の範囲から逸脱することなく使用されてもよい。一実施形態において、以前の場所と速度履歴は共に、ヒューリスティック・フレームマッチング処理において使用され得る。一実施形態において、以前の場所、速度履歴、及び大きさの履歴は、ヒューリスティック・フレームマッチング処理において使用され得る。一実施形態において、以前の場所と他の履歴情報は、ヒューリスティック・フレームマッチング処理において使用され得る。一実施形態において、複数のフレームに関する履歴情報は、ヒューリスティック・フレームマッチング処理において使用される。他の組み合わせは、前述の開示を考慮して当業者に明白となる。
<高速マルチタッチのノイズ低減>
一実施形態において、高速マルチタッチ(FMT)センサとの干渉を、または高速マルチタッチ(FMT)センサにおけるファントムタッチ(phantom touches)をノイズが生成する特定の条件を解消するための方法とシステムが提供される。上述のセンサの実施形態において、行はその上に送信された信号を有し、送信された信号は、タッチがセンサの表面またはその付近に適用された場合に、タッチに近接して列に結合される。(場合によっては、タッチは、列における行信号の低減を引き起こし得る。)タッチの位置は、列から信号を読み取り、かつそれらが生成された行を判定することにより、判定される。
上述のようなセンサが特定の条件(例えば電磁ノイズ)の存在下で使用されるとき、装置の行の1つにより生成された既知の信号と混同され得る別のソースからの1つの信号を、列が受け取ることが起こり得る。そうした場合、装置はファントムタッチを報告して、列で受信された信号が行から来ていると判定するが、実際にはそうではない。本実施形態は、こうしたファントムタッチの発生を減少させるまたは排除するための方法と装置を提供する。
ゆえに、センサの一実施形態において、装置の行と列は両方とも固有の信号を送信するように、かつ、装置の列または行それぞれから信号を受信するようにも構成される。一実施形態において、所定の列における行Nからの検出された信号は、その列の送信された信号が行Nで同時に検出された場合に、タッチであるとみなされることがある。言い換えれば、行と列は共に、装置が行と列の交差点でタッチを報告するために、他の送信された信号を受信しなければならない。こうしたやり方では一致しない行または列のいずれかで受信される信号は、例えば、外部ソースからのノイズとして拒絶される場合がある。代替的な実施形態において、所定の列の行Nから検出された信号と、行Nの所定の列から検出された信号は共に、マッチングが見られるか否かにかかわらず、タッチであると各々が見なされることがある。こうした構成は上述のマッチングの利点をもたらさないが、センサの感度を増大させることもある。
一実施形態において、固有の信号は、全ての行および列に送信されてもよい。一実施形態において、固有の信号は、行の1以上の部分集合における各行に送信されてもよい。一実施形態において、固有の信号は、列の1以上の部分集合における各列に送信されてもよい。一実施形態において、行と列は全て、固有の信号を検出するように構成される。一実施形態において、行の1以上の部分集合における各行は、固有の信号を検出するように構成される。一実施形態において、列の1以上の部分集合における各列は、固有の信号を検出するように構成される。
図7は、タッチセンサの一実施形態に係る高速マルチタッチセンサ(700)の特定の原理を示す。送信器と受信器(702)は各行に付けられ、送信器と受信器(703)は各列に付けられている。(702)で示された送信器は、(703)で示された送信器と同じ要素とは別のものであるか、または、その一部であってもよい。同様に、(702)で示された受信器は、(703)で示された受信器と同じ要素とは別のものであるか、または、その一部であってもよい。(702)と(703)の送信器は、それら自体が個別の要素であることもあれば、または、1つの発生器などの信号のソースへの接続を単に含むこともあれば、または、1つの発生器の一部であることもある。同様に、(702)と(703)で示された受信器は、個別の要素であることもあれば、または、信号プロセッサへの接続を単に含むこともあれば、または、信号プロセッサの一部であることもある。参照番号(704)は、送信された行信号と受信された行信号の両方を表し、参照番号(705)は送信された列信号と受信された列信号の両方を表す。送信された行信号の少なくとも1つの部分集合は、直交、すなわち、互いに分離可能かつ区別可能となるように設計される。同様に、送信された列信号の少なくとも1つの部分集合は、互いに関して直交になるように設計される。受信器は、送信信号のいずれか、またはそれらの恣意的な組み合わせを受信するように設計され、一方で信号プロセッサは、列または行に存在する直交信号の少なくともいくつかの量を個々に測定するように設計される。一実施形態において、行で送信された直交信号の各々は、列のための受信器/信号プロセッサにより受信および測定可能であり、列で送信された直交信号の各々は、行のための受信器/信号プロセッサにより受信および測定可能である。上で議論されるように、受信器と信号プロセッサとの区別は、信号発生器と送信器との区別と同じように、読者の都合を考えて図面中に示される。例えば、行または列は、信号プロセッサに直接接続されてもよく、ゆえに、信号プロセッサは受信器としても作用し;同様に、行または列は、信号発生器に接続されてもよく、ゆえに、信号発生器は送信器として作用する。一実施形態において、信号発生器と受信器\信号プロセッサの全ては、同じ混合された信号ASIC内で統合され得る。
通常、本センサにおいて、行と列の間で結合された信号は、行と列がタッチ事象に供されるときと行と列がタッチ事象に供されないときとで変化する。一実施形態において、行と列は、それらがタッチ事象に供されていない場合、少量のまたは無視できるほどの量の信号がその間で結合され、その一方で、行と列がタッチ事象に供されるとき、多量のまたは無視できないほどの量の信号がその間で結合されるように、構成される。一実施形態において、行と列は、それらがタッチ事象に供されるとき、少量のまたは無視できるほどの量の信号がその間で結合され、その一方で、行と列がタッチ事象に供されてないとき、多量のまたは無視できないほどの量の信号がその間で結合されるように、構成される。一実施形態において、行と列の間で結合された信号は、行と列がタッチ事象に供されるときと供されないときとで変化する。上で議論されるように、単語「タッチ」または句「タッチ事象」は、物理的なタッチを要求せず、むしろ、センサに影響を及ぼす事象(例えば、ノイズではない)であって結合した信号のレベルに影響を及ぼすものを要求する。この点で、ホバリングはタッチ事象とみなされる。さらに、本明細書で使用されるように信号の「レベル」または「量」は、別個の予め判定されたレベルだけでなく、信号の相対量、信号の量の範囲、時間間隔を空けてまたはタッチ事象の判定が行われる時に動的に判定される信号の量、またはそれらの任意の組み合わせを含む。ゆえに、一実施形態において、本センサおよび構成は、1以上の行と1以上の列との間で結合された信号の変化の結果として生じるタッチ事象を識別することができる。
以下に使用されるように、記載の便宜上、用語「送信導体」と「受信導体」が使用される。送信導体は、例えば信号発生器から信号を運ぶ行または列であってもよい。この点で、本明細書で使用されるように「導体」は、導電体だけでなく、信号が流れる他の経路も含む。受信導体は、タッチ事象が受信導体の近くで生じる場合にタッチ事象の結合の結果として生じる信号を運び、かつ、タッチ事象が受信導体の近くで生じない場合にタッチ事象の結合の結果として生じる信号を運ばない、行または列であってもよい。一実施形態において、受信器/信号プロセッサは、タッチ事象の結合の結果として信号が生じる受信導体上で直交の送信された信号の各々の量を測定する。量の測定によりタッチ事象の識別が可能となる。受信器/信号プロセッサは、DSP、フィルタバンク、またはそれらの組み合わせを含んでもよい。一実施形態において、受信器/信号プロセッサは、直交信号に対応する帯域を提供するコムフィルタである。
行と列の交差に近接した任意のタッチ事象が、列にある行信号と行にある列信号の両方を変化させることがあるため、一実施形態では、対応する行または列の相対物を持たない列または行の上の信号は拒絶される場合がある。一実施形態において、列の受信器/信号プロセッサにおいて受信された行信号は、対応する列信号が対応する行の受信器/信号プロセッサにおいて受信される場合に、タッチ事象を位置付けまたは識別する際に使用される。例えば、列Cの行Rからの検出信号は、列Cの送信された信号が行Rでも検出される場合に、タッチ事象により引き起こされるものとしか考えられない。一実施形態において、列Cと行Rは、他の行と列の信号に直行し、かつ互いに直交する信号を、同時に送信する。一実施形態において、列Cと行Rは信号を同時に送信せず、むしろ、それぞれが割り当てた時間区分においてその信号を送信する。こうした実施形態において、信号は、同じ時間区分において送信された他の信号から直交性のみを必要とする。
示されるように、一実施形態において、単一信号発生器は、行と列の両方に直交信号を生成するために使用されてもよく、単一信号プロセッサは、行と列の両方からの受信信号を処理するために使用されてもよい。一実施形態において、1つの信号発生器は行信号の生成に特化し、別の信号発生器は列信号の生成に特化している。一実施形態において、複数の信号発生器は同一の行信号の生成に特化し、または別の複数信号発生器は列信号の生成に特化している。同様に、一実施形態において、1つの信号プロセッサは行信号の処理に特化し、別の信号プロセッサは列信号の処理に特化している。一実施形態において、複数の信号プロセッサは同一の行信号の処理に特化し、別の複数の信号プロセッサは列信号の処理に特化している。
一実施形態において、各受信導体は、その受信器および信号プロセッサとして作用するフィルタバンクに関連付けられ、該フィルタバンクは複数の直交信号を区別するのに適している。一実施形態において、受信導体の行に関連付けられるフィルタバンクは、受信導体の行に関連付けられたタッチ事象から結果として生じ得る、全ての直交信号を区別するのに適している。同様に、受信導体の列に関連付けられたフィルタバンクは、受信導体の列に関連付けられたタッチ事象の結果として生じ得る、全ての直交信号を区別するのに適している。
一実施形態において、各行と各列は信号に関連付けられ、行または列それぞれに関連付けられた信号は固有であり、全ての他の行または列の信号に対して直交する。こうした実施形態において、全ての行と列の信号を同時に「送信する」ことが可能な場合もある。設計または他の制約が要求される場合、または1つの行および列につき1未満の信号を使用することが望ましい場合、時分割多重化を使用してもよい。
図8は、3つの行と4つの列を持つ送信スキームの単純化された例を示す。この示された実施形態において、各行と各列は信号に関連付けられ、それぞれの行または列に関連付けられる信号は固有であり、全ての他の行または列の信号に対して直交する。とりわけ、信号A、B、およびCは行1、2、および3に関連付けられ、一方で信号D、E、F、およびGは列1、2、3、および4に関連付けられる。この実施形態において、それぞれ送信導体として作動する行と列の全ての信号を同時に「送信する」こと、および、行と列をそれぞれ受信導体として作動させることが可能なこともあり、ゆえに、タッチ事象の結果として生じ得る全ての信号を同時に処理することができる。
図9は、3つの行と4つの列を持つ、別の送信スキームの単純化された例を示す。この示された実施形態において、各行は信号に関連付けられ、各行に関連付けられた信号は固有であり、全ての他の行の信号に対して直交し、各列は信号に関連付けられ、各列に関連付けられた信号は固有であり、全ての他の列の信号に対して直交する。しかしながら、示された実施形態において、行に関連付けられた信号は全てが列に関連付けられた信号に直交しているわけではなく、例えば、信号Aは行と列の両方で使用される。ここで、信号は行上で送信され、第1の時間区分T1の間に列上で受信され、そして、列上で送信され、第2の時間区分T2の間に行上で受信される。この方法において、7つではなく4つの直交信号しか実行には必要とされない。
図10は、3つの行と4つの列を持つ、また別の送信スキームの単純化された例を示す。この示された実施形態において、行と列はそれぞれ信号に関連付けられ、行と列のそれぞれに関連付けられた信号は固有であり、全ての他の行と列の信号に対して直交する。しかし、示された実施形態において、たとえ行に関連付けられた信号が全て、列に関連付けられた信号に直交しても、制約または他の設計に対する考慮により、信号の送信を時分割多重化することが望ましくなることもある。ここで再度、信号は行上で送信され、第1の時間区分T1の間に列上で受信され、そして、列上で送信され、第2の時間区分T2の間に行上で受信される。こうした実施形態は、例えば、送信に利用可能な周波数の範囲が制限されうる場合に有用なことがあり、分離は受信にとって重要である。従って、以下のように割り当てを行うことができ、同時に送信された信号をより良く分離させることが可能である:
行A:5.001MHz
行B:5.003MHz
行C:5.005MHz
列D:5.000MHz
列E:5.002MHz
列F:5.004MHz
列G:5.006MHz
図11は、3つの行と8つの列を持つ送信スキームの単純化された例を示す。この示された実施形態において、行はそれぞれ信号に関連付けられ、それぞれの行に関連付けられた信号は固有であり、全ての他の行に対して直交するが、列は、示されるような行信号に重複する固有の直交信号を共有する。示された実施形態において、3つの時間区分は、固有の直交信号のみが同時に送信され、したがって、フィルタバンクまたは他の信号プロセッサが3つの教示に従ってタッチ事象を位置付けることができるように、利用される。
図12Aは、4つの行と8つの列を持つセンサ中の列のセット内と行のセット内で適用される、時分割多重化の例である。この例において、直交する周波数AとBは行の第1のセット上で送信され、直交する周波数CとDは時間区分T1の間に列の第1のセット上で送信される。直交する周波数AとBは、行の第2のセット上で送信され、直交する周波数CおよびDは、次の時間区分T2の間に列の第2セットに送信される。直交する周波数CおよびDは、次の時間区分T3の間に列の第3のセットに送信され、直交する周波数CとDは、次の時間区分T4の間に列の第4のセット上で送信される。随意に、直交する周波数AとBは、例えば、タッチ事象のより大きな分解能を時間内に提供するために、時間区分T3および/またはT4の間に行の第1または第2のセット上で送信されてもよい。
図12Bは、4つの行と8つの列を持つ別の送信スキームの単純化された例を示す。この示された実施形態では、2つの直交信号AとBしか使用されない。示された実施形態において、2つの固有な直交信号を同時に送信することができるように、かつ、一度に1より多くの送信導体上でいずれも送信することができないように、6つの時間区分が使用される。示されるように、AとBは、第1の時間区分の間に行1と2上で送信され、第2の時間区分の間に列1と2上で送信され、第3の時間区分の間に列3と4上で送信されるなどする。
直交信号の生成と送信のスキームの選択に影響を及ぼす要因は、例えば、限定されないが、センサにおける行の数と列の数、センサの所望の分解能、行と列の材料および寸法、利用可能な信号処理能力、およびシステムの最小限の許容可能なレイテンシを含む。多くの他の変形も行うことができ、それは、本開示および添付の請求項の範囲と精神の範囲内である。例えば、固有の直交信号の数と、所定のタッチ検出システムにより利用される時間区分の数との間での選択において様々なトレードオフが行われ得ることは当業者に明白となるであろう。ただし、複数の信号は同じ時間区分で送信され、そうした複数の信号の各々はその時間区分で送信された他の信号全てから直交する。
上記のように、特定の列上の列の受信器Rxは、行の導体の1つ以上で送信された直交信号を受信してもよく、その信号は、タッチ事象の結合に関与する行の導体を判定するために信号プロセッサにより使用され、それによって行と列の座標がもたらされる。1以上の行で送信された直交信号に加えて、列の受信器Rxは、列の送信器Txを起点とする信号を「確認する」場合があり、その振幅はかなり大きいため、行と列の一部を超えた低振幅信号の処理に干渉する場合がある。一実施形態において、本明細書に開示されたシステムおよび方法は、列の受信器Rxにより処理された信号からの、列の送信器Txの信号の除去をもたらす。ゆえに、一実施形態において、列の送信器Txにより送信された直交信号は、列の受信器Rxで受信された信号から減算されることがある。こうした減算は、列の送信器Txにより送信された信号の反転が、列の受信器Rxにより受信された信号に加えられ、それにより受信された列信号から送信された列信号を減算するように、構成されたインバータを含む回路により電気的に提供されてもよい。こうした減算の特徴は代替的に信号プロセッサにおいて提供されてもよい(図7)。
<起こり得るチャネルの動的割当>
コンピュータシステムにおけるタッチセンサの知覚品質は、ユーザー入力信号が適切に周囲の電磁ノイズと区別される、高い信号対ノイズ比に依存する。こうした電磁ノイズは、タッチセンサがその一部であるコンピュータシステム内の他の構成要素(例えば、LCD情報ディスプレイ)から、または、ユーザーの外部環境における人工的または天然の信号(例えば、装置の外部のAC電源充電器からの不要信号)から生じる場合がある。こうした望ましくない電磁気信号は、ユーザー入力としてタッチセンサにより誤検出される可能性があり、それにより、誤ったまたはノイズのあるユーザーコマンドが生成されかねない。一実施形態において、たとえ他のコンピュータシステム構成要素または望ましくない外部信号からの妨害電磁ノイズに近似する場合であっても、システムおよび方法により、タッチセンサが、こうした誤ったまたはノイズのある読み取りを減少または排除し、かつ高い信号対ノイズ比を維持することが可能となる。この方法を用いて、センサの総電力消費を減らすべく、所定の時点でタッチセンサの選択部分または全表面領域を統制する信号変調スキームを動的に再構成することができ、その一方で並列性、レイテンシ、サンプルレート、ダイナミックレンジ、感知粒状度などの点からセンサの全体的なパフォーマンスを最適化することができる。
本システムおよび方法の実施形態は特に、そのパフォーマンスが電磁信号の正確な読み取りに依存する容量式タッチセンサに適用された場合に都合が良く、とりわけ、スキャンレートを向上させるとともにコンピュータシステムに対する報告されたタッチ入力事象のレイテンシを下げるために周波数分割多重化(FDM)を利用する容量式タッチセンサに都合が良い。この点で、本実施形態は、本件出願人による、「Low−Latency Touch Sensitive Device」と題された2013年3月15日出願の米国特許出願第13/841,436号、および「Fast Multi−Touch Post Processing」と題された2013年11月1日出願の米国特許出願第14/069,609号に開示されるようなセンサに適用されてもよく、これらは、一実施形態として容量式の周波数分割多重化のタッチセンサを企図している。
<動的割当てプロセスの実施形態>
工程1:タッチ信号とノイズを合理的に識別する
タッチセンサは、ユーザーがセンサに触れていないことが分かっているとき、または、実際のタッチ信号が合理的に分かっているとき(すなわち、タッチ面のいくつかの部分が触れられ、その一方で他の部分が触れられていないことが分かっているとき)に、受信する信号を全て分析することができる。
タッチセンサが触れられているか否かに関するこうした判定は、センサ自体の読み取り、加速度計のような他の一般的なコンピュータ入力センサ、コンピュータシステムの電力状態(例えば、コンピュータが「スリープモード」に入っているかどうか等)、コンピュータシステム上でソフトウェアアプリケーションを現在行っている事象ストリームなどの組み合わせの分析を介して、形成かつ強化可能である。システムの状態、システム構成要素の状態、またはユーザーの状態に関する結論を導き出すために、コンピュータシステムにおける1より多くのセンサからのデータに依存するこの分析プロセスは、当該技術分野においては一般に「センサフュージョン」と呼ばれる。
手による既知のタッチに関する分析判断により、タッチセンサの受信信号は全て、こうした既知のタッチに関して受信された信号と比較され得る。センサが測定した信号と、(現在または以前のタッチ事象について知られていることを考慮して)測定されるべきだったものとの間の結果として生じる差を用いて、ノイズと干渉を緩和することができる。
この方法の実施形態において、干渉信号のこの測定の一部は、設計時に予測可能な干渉信号のすくなくとも一部については、設計時に生じ得る。この方法の別の実施形態において、測定の一部は製造時または試験時に発生し得る。別の実施形態において、測定の一部は、ユーザーがタッチセンサにタッチしていないことが合理的に分かっている使用前の期間に発生し得る。別の実施形態において、測定の一部は、ユーザーが既知の位置でセンサにタッチしているときに発生し得る。別の実施形態において、測定の一部は、ユーザーがタッチ面にタッチしていないことが他のセンサによりまたはアルゴリズム的に予測されるときに、ユーザータッチ間の時点で発生し得る。
別の実施形態において、測定の一部は、統計パターン、およびユーザーのタッチの可能性を測定することができるソフトウェアにより統計的に発生し得る。例えば、ユーザーインターフェース(UI)はタッチ面上のある位置のみにボタンを置くことができ、その結果、これらはユーザーが所定の時間に触れる可能性のある唯一の場所である。こうした既知の位置の1つに触れると、タッチ/無タッチ状態間の差はノイズのある状態でも非常に明白になりえる。一実施形態において、ボタンを(恐らくディスプレイにより指示される)一定の決められた時間押し下げなければならず、それによりノイズのある状態でもタッチを検出し得るあらかじめ決められた時間が作られるように、UIは設計可能である。別の実施形態において、ボタンの代わりにスライダまたは二次元の「ポインター」を使用することができる。なぜなら、こうしたUI制御は前もってUIにより知られているか、あるいはセンサフュージョンにより装置上の他のセンサにより動的に(ある程度まで)測定可能である任意の経路に従うことをユーザーに要求するからである。一実施形態では、こうしたUIスライダは、限定されないが、iOS、アンドロイド、他のリナックス(登録商標)改良型、またはウインドウズのようなタッチしやすいオペレーティングシステムの「ロック・スクリーン」上で一般に見られる1つの「slide−to−open(スライドオープン式)」スライダ制御でありえる。関連する実施形態では、こうした任意のロック解除ジェスチャ制御も使用することができる。一実施形態では、バーチャル・キーボードは既知のタッチ位置を提供する。なぜなら、ある単語の文字はその近くの文字を見れば容易かつ正確に予測可能だからである。
一実施形態では、本明細書に記載されるこうした解析や任意のタッチ処理は、タッチセンサの個別のタッチ制御装置上で実行可能である。別の実施形態では、解析および/またはタッチ処理は、限定されないが、ASIC、MCU、FPGA、CPU、GPU、SoC、DSP、または専用回線などの別のコンピュータシステム構成要素を含むタッチプロセッサによって実行可能である。本明細書で使用されるような用語「ハードウェア・プロセッサ」とは、上記の装置、または計算機能を行う他の装置のいずれかを意味する。
工程2:干渉を回避する
ノイズのある読み取りが、既存のタッチ信号に基づいて、および/または工程1で詳しく述べられるような統計的推論によって、「干渉」であるといったん識別されると、電磁干渉についてのこうした知識を使って、ノイズがタッチセンサによって感知され得るまたは感知される可能性がある周波数、時間、または符号の空間の特定の部分の衝突を回避することができる。既知のタッチ信号と識別された電磁干渉との間の衝突は、限定されないが、以下の様々な技術、または技術の組み合わせによって回避することが可能である:
干渉のないまたはほとんどない識別された信号周波数があるとき、タッチセンサはそれらを使用するように構成されなければならない。干渉のないまたはほとんどないタイムスロットがある場合、タッチセンサはそれらを使用するように構成されなければならない。干渉のないまたはほとんどない符号がある場合、タッチセンサはそれらを使用するように構成されなければならない。干渉のないまたはほとんどない周波数、時間、および符号の組み合わせがある場合、タッチセンサはそれらを使用するように構成されなければならない。
周波数分割多重化(FDM)を使用するタッチセンサについては、タッチセンサが使用する信号周波数は連続している必要はない。周波数帯域のいくつかの部分が干渉によって占領されると、タッチセンサはこうした周波数を回避するように構成され得る。周波数帯域のいくつかの部分が特定の既知の時間帯に干渉によって占領されると、タッチセンサはこうした既知の時間帯の信号周波数を使用しないように構成され得る。周波数帯域のいくつかの部分が特定の既知の時間帯に比較的静的な干渉によって占領されると、タッチセンサによって送信された信号は、復調が既知の干渉を相殺または除去するようなやり方でその時間帯に変調可能である。例えば、この変調技術の実施形態において、干渉が所望の周波数で安定したシヌソイドである場合、二相位相変調偏移キーイング(BPSK)は、タッチセンサにより発せられた周波数を変調するために使用されなければならず、その結果、反対側のBPSKを用いて、タッチセンサから受け取った信号と干渉信号の結果として生じる和を復調するとき、干渉の等しい部分に正相を乗じ、等しい部分に逆相を乗じ、その結果、信号が総受信期間にわたって積分されるとき、干渉信号を無視できる程度加算した。同様の効果を有する変調の他の形態も可能である。
FDMを使用するタッチセンサが、周波数分析を行う高速フーリエ変換、または周波数ビンの数がアルゴリズムまたはアルゴリズムの性質によって制約される同様の高速アルゴリズムを使用する場合、センサは、多くの周波数ビンを備えたより大きな変換を用いることができ(おそらく次のものはサイズが大きくなる)、その結果、余分な起こり得る受信周波数ができる。タッチセンサはこうした周波数のいずれかで送信する能力を伴うように製造前に構成可能である。このように、周波数ビンのいくつかが干渉を含んでいる場合、干渉のないまたはほとんどない周波数を支持して、こうした周波数ビンを回避することができる。
工程3:望ましくないホットスポットを回避する
前述の技術を用いて電磁干渉のいくつかを完全には除去することができない場合、タッチセンサは、こうしたノイズがセンサの表面積全体に均一に広がって、残りの干渉によりもたらされる任意の操作上の問題を確実に最小限に抑えるように構成可能である。
一実施形態では、優れたユーザー体験の保証に関してよりノイズに強いUI要素がより多くのノイズを有するタッチ面の部分に置かれ、正確な制御が必要となるためほぼノイズのない入力コマンドを要求するUI要素の一部が干渉の影響をほとんどまたはまったく受けないタッチセンサの表面の一部に関連するように、タッチセンサを構成するとともにカスタムアプリケーションプログラミングインタフェース(API)と対にすることができる。他の実施形態では、本質的にこの概念の逆が利用される。すなわち、開発者のAPIを用いてUI要素にフラグを立てることができ、このUI要素がタッチ面上へのハイパフォーマンス変調スキームの配置を指示する。
別の実施形態では、望ましくない電磁ノイズは、タッチセンサ信号に割り当てられたタイミング、周波数、および符号を再びマッピングすることにより緩和可能である。タッチセンサの行と列に関連するこうした信号の分割は、一定の関係を有する必要がなく、必要に応じて動的にリマップ可能である。例えば、一実施形態では、FDMを使用するタッチセンサは、所定の行の特定の周波数のシヌソイドを常に送信することもあれば、動的に送信する周波数を再びマッピングすることもある。例えば、タッチセンサの送信器と受信器が「n」の異なる周波数で動作することができ、およびこうした周波数の「m」が十分に少ない量の干渉を含むと判定されている場合、タッチセンサの行の数(同時に送信される周波数)が「r」である(「n」は「m」以上であり、「m」は「r」以上である)場合に、タッチセンサは、「m」のセットから「r」の周波数を選び、ユーザー体験の劣化を最小限に抑えることを目的としたやり方で行に対してその周波数をマップすることができる。別の実施形態では、センサの選択された動作周波数のセットをフレームごとにランダムまたは疑似ランダムな方法で動的にマッピングすることが可能であり、その結果、かなりの時間にわたってタッチ面の異なる部分には無視できる程度のノイズ統計の相関関係しかない。より具体的には、周波数に最小のノイズしかない場合、タッチセンサは「m」の可能な中から「r」の周波数を選ぶことができるか、あるいは、タッチセンサは、かなりの時間にわたってタッチ面の異なる部分間のノイズ統計の相関関係を最小限に抑えることを目的とするやり方で周波数の中から動的およびランダムに(または疑似ランダムに)周波数を選ぶこともある。同様の方法は、タイムスロット、符号、または他の変調スキームまたは、あるいはこれらの組み合わせに使用することができる。
別の実施形態において、FDMを主に使用するタッチセンサに関して、十分に少量の干渉を含むと判定された「m」の周波数が、各センサ行の固有の周波数を同時に送信するように要求される「r」の周波数の数以上である場合、タッチセンサは、UI制御の既存のレイアウトと要件に基づいてタッチセンサの表面積の特定の部分のレイテンシとサンプルレートのパフォーマンスを最適化する動的なFDM変調スキームを使用することができる。本明細書では、高精度な低レイテンシのユーザー入力を要求するUI制御の時間内の所定の時点での既知の場所は、信号変調スキームがハイパフォーマンスのために所定の時点で最適化されたタッチセンサの表面積の対応する部分にマッピングされる。コンピュータシステムのソフトウェアにより定義されたUI制御の場所とパフォーマンスの要件と、タッチセンサの表面積の場所とパフォーマンスの要件との間のこうした動的なマッピングは、実行時間の前にアプリケーション開発者によって明示的に定義可能であるか、あるいは、アプリケーション、オペレーティングシステム、およびアプリケーションプログラミングインタフェース(API)によって定義されるタッチ面との間の通信を用いてUI制御の実行時にオペレーティングシステムの論理と分析によって定義可能である。同時にこうしたハイパフォーマンス領域と一緒に、同じ表面積の他の隣接する領域は、低パフォーマンス周波数、時間、または符号の変調スキームを使用することができた。並列性、レイテンシ、サンプルレート、ダイナミックレンジ、感知粒状度などの点からハイパフォーマンスを求めて最適化された変調スキームを備えたタッチセンサの表面積の選択領域だけを実行することで、ユーザー入力の感知と処理の両方を行うためにタッチセンサにより消費される総エネルギーを削減する可能性があるという利点が与えられる。なぜなら、センサの特定領域のみが、要求水準の高いパフォーマンスレベルで動作し、これにより、表面積の残りがパフォーマンスを上回るエネルギー節約を最適化する変調スキームで動作することを可能となるからである。こうした動的な変調スキームは、センサ入力のすべての新しいフレームと同じくらい速く更新および最適化され得る。
別の実施形態では、主としてFDMを使用するタッチセンサについて、最小ノイズで確認された「m」の−可能な周波数が、タッチセンサの各行に固有の周波数を割り当てることを要求される「r」の固有のセンサ信号の数よりも低い数である場合、センサは、時間、符号、または他の変調スキームを周波数分割と組み合わせるハイブリッド変調手法を採用するように構成可能である。この方法の実施形態では、特定のハイブリッド変調手法は、センサの表面積全体で最低のレイテンシと最大のタッチ事象サンプルレートを最適化するために、センサ入力のあらゆる新しいフレームと同じくらい速く、タッチセンサにより動的に選択および再評価され得る。この方法の別の実施形態では、特定のハイブリッド変調手法は、UI制御の既知のレイアウトと要件に基づいて、タッチセンサの表面積の特定の部分のレイテンシとサンプルレートのパフォーマンスを最適化するために、タッチセンサによって動的に選択および再評価可能である。本明細書では、高精度な低レイテンシのユーザー入力を要求するUI制御の時間内の所定の時点での既知の場所は、信号変調スキームが並列性、レイテンシ、サンプルレート、ダイナミックレンジ、感知粒状度などの点からハイパフォーマンスのために所定の時点で最適化されたタッチセンサの表面積の対応する部分にマッピングされる。コンピュータシステムのソフトウェアにより定義されたUI制御の場所とパフォーマンスの要件と、タッチセンサの表面積の場所とパフォーマンスの要件との間のこうした動的なマッピングは、実行時間の前にアプリケーション開発者によって明示的に定義可能であるか、あるいは、アプリケーション、オペレーティングシステム、およびアプリケーションプログラミングインタフェース(API)によって定義されるタッチ面との間の通信を用いてUI制御の実行時にオペレーティングシステムの論理と分析によって定義可能である。同時にこうしたハイパフォーマンス領域と一緒に、同じ表面積の他の隣接する領域は、低パフォーマンスの周波数、時間、または符号の変調スキームを使用することができる。センサの特定領域だけが要求されるパフォーマンスレベルで動作し、それにより表面積の残りがパフォーマンスを上回るエネルギー保存を最適化する変調スキームで動作することを可能にすることから、並列性、レイテンシ、サンプルレート、ダイナミックレンジ、感知粒状度などの観点からハイパフォーマンスのために最適化された変調スキームを備えたタッチセンサの表面積の選択領域だけを実行することで、ユーザー入力の感知と処理の両方を行うためにタッチセンサにより消費される総エネルギーを潜在的に削減するという利点が与えられる。こうした動的な変調スキームは、センサ入力のすべての新しいフレームと同じくらい速く更新および最適化され得る。
別の実施形態では、主としてFDMを使用するタッチセンサについて、最小ノイズであると識別された「m」の可能な周波数セットが、タッチセンサの各行に固有の周波数を割り当てることを要求される「r」の固有のセンサ信号の数よりも低い数である場合、センサは、所定の時間、時分割多重化(TDM)モードに移行し、「m」の周波数の1つを選択して、TDM手法で一般的なように行と列を連続してサンプリングするように構成可能である。所定の期間にわたって主としてFDMセンサを純粋なTDMモードに切り替えることで、センサ読み取りのフレームレートとレイテンシを犠牲にして、正確な入力が保証される。
別の実施形態では、主としてFDMを使用するタッチセンサについて、最小ノイズであると識別された「m」の可能な周波数セットが、タッチセンサの各行に固有の周波数を割り当てることを要求される「r」の固有のセンサ信号の数よりも低い数である場合、センサは、所定の時間、ハイブリッドのFDMとTDMのモードに移行し、「m」の周波数の選択数を選んで、それにより、純粋に連続したTDMモードのパフォーマンス限界を超えてセンサ読み取りのフレームレートとレイテンシを改善するために複数の行と列を並行して連続してサンプリングするように構成可能である。このようなハイブリッドなFDMとTDMの変調スキームは、センサの並列性とパフォーマンスを改善し、その一方で、より干渉に弱いとみなされている周囲の電磁ノイズの「m」のそのリアルタイムの、歴史的な、および/または統計的な分析を別にしてセンサ信号を利用することでさもなければ生じることになるノイズの多い読み取りの悪影響を同時に緩和する。
工程4:センサの信号対ノイズ比を増大させるために感知の複製を使用する
タッチセンサはタッチセンサ中の干渉や他のノイズの影響を減らすために多くの技術を利用することもできる。例えば、FDMを使用するタッチセンサの実施形態では、タッチセンサは行ごとに複数の周波数を使用することができ、その結果、たとえセンサがどの周波数ビンが干渉に晒されることになるか予測することができなくても、センサは複数の方法で各行(または列)を測定し、ノイズの最も少ない測定値(あるいは測定値の組み合わせ)を測定し、その後、それらを使用することができる。
測定が干渉によって影響されたかどうかを決定することが困難な場合、タッチセンサは、投票方式を用いることでき、それにより、投票用の複数の測定、または類似する統計学的な方法を採用することで、どの測定を捨てるべきか、どの測定を保持するべきか、および、信号対ノイズ+干渉比を最大限にし、かつそれによりユーザー体験を向上させるために保持する測定値を統計学的かつ数学的に組み合わせる最良の方法を決定する。例えば、一実施形態では、干渉に晒されるFDMタッチセンサは、各行で3つの異なる周波数を送信し(周波数は十分に分離しているため、周波数間の干渉は統計的に起こりそうにない)、結果を測定することができる。その後、3つのうちの2つの(two−out−of−three)投票方式を使用して、センサは、どの周波数が干渉によりもっとも悪化したかを決定し、および、最終測定中の考察からその測定を取り除くか、あるいは統計的にもっともらしい方法で残りの2つを組み合わせるか(センサが干渉とノイズの統計について演繹的に「知っている」ことから考えて)、またはノイズと干渉によるその悪化の統計的可能性による各周波数測定の影響を重んじて、統計的にもっともらしいやり方で3つすべてを含めてこれらを組み合わせる。タッチセンサがこの方法で採用することができるいくつかの方法は、限定されないが、以下に挙げられる:
1.行ごとに複数の周波数を使用する。こうした周波数は同時に、または順に使用することができる。
2.行から列および列から行に(上で詳細に議論されるように、順にまたは同時に)送信すること。これも、上記の複数の周波数の使用、または変調スキームの別の組み合わせと組み合わせ可能である。
3.FDMの上でCDMAを使用するか、あるいは変調スキームのいくつかの組み合わせを使用すること。CDMA信号は、FDM技術によって一般に使用されるものとは異なり、基本的には「不自然」なものであり、したがって、コンピュータシステムの外部環境で自然に発生する様々な信号に対して、FDM変調スキームよりもしばしば免疫があることに注意する。
ユーザー識別技術
一実施形態では、高速マルチタッチセンサには、タッチが同じ手、同じユーザーの異なる手、同じユーザー、または異なるユーザーによるものであることを識別する能力が与えられている。一実施形態では、高速マルチタッチセンサには、タッチがタッチ領域にリンクされる物体の一部からのものであることを、その位置と方向を決定しやすくするための単一の物体上の容量式タッチ先端部を介して、または、身体の一部を使ってディスプレイの別の領域にも同時にタッチしているユーザーの握っているスタイラスを介して、識別する能力を与えられている。
最初に上で議論されたセンサの基本的な実施形態では、各行には信号発信機がある。タッチまたは複数のタッチが表面に触れると、信号は近くの列へ結合される。こうしたタッチの場所は、列からの信号を読みとり、どの行で信号が生成されたかを知ることにより、決定される。
ユーザーがセンサに接触するか、センサが一体化したデバイスに接触するか、あるいはセンサの一定の距離内に近づくか、さもなければ1を超える場所でタッチ事象を引き起こすとき、信号が1つのタッチ位置から他のタッチ位置までユーザーの身体によって信号されるため、同じユーザーによるタッチにわたって特定の量の結合が通常生じる。図13に関して、行r1と列c1の交差位置で一回のタッチまたは実質的なタッチがユーザーの指(1402)によりもたらされるとき、行r1と列c1との間で結合が生じる。行r2と列c2の交差位置で第2の同時のタッチまたは実質的なタッチがユーザーの指(1403)によりなされるとき、行r2と列c2との間で結合が生じる。加えて、行r1と列c2および行r2と列c1でも弱い結合が生じることもある。実施形態によっては、行の間でおよび列の間で、弱い結合が生じることもある。
こうした身体により送信される微弱な信号はさもなければ「ノイズ」または「クロストーク」として軽視されることもあるが、その代わりに、一人のユーザーが両方のタッチに関与していることを識別するための追加の「信号」として信号処理装置(図7)により使用可能である。とりわけ、上記の例を拡大するために、行r1と列c2および行r2と列c1との間の結合は一般に「ノイズ」とみなされ、行r1と列c2、または行r2と列c1の交差位置でタッチが誤報告されることがないようにするために、ノイズ除去(さもなければ無視)されることがある。身体により送信される微弱な結合は、正確なタッチ位置だけが確実に報告されるようにフィルタ処理されることもあるが、タッチが同じユーザーからのものであることをシステムに識別させるように解釈されることもある。センサ(400)は、位置(1403)に加えて、限定されないが、位置(1404)、(1405)、または(1406)を含むユーザーの手の任意の指から送信される身体により送信される微弱な結合を検出するように構成されてもよい。信号処理装置(図7)は、タッチが同じ手、同じユーザーの別の手、同じユーザー、または別のユーザーによるものであることを識別するために、こうした検出を使用するように構成されてもよい。
ユーザー識別を伴うタッチセンサの他の実施形態では、信号発生器は、携帯型のユニット内、ユーザーの椅子の下のパッド内、センサが一体化したデバイスの端などの他の場所でユーザーに連結可能である。こうした発生器は、上記の手法に類似する手法で特定のタッチをしているユーザーを識別するために使用可能である。他の実施形態では、信号発生器はスタイラス、ペン、または他の物体に一体化されてもよい。
以下は、検出可能であり、かつ、タッチが同じ手、同じユーザー、または異なるユーザーによるものであることを識別するために使用可能な、微弱な結合タイプの例である:ユーザーの指の第1の指によって触れられる行または列と、ユーザーの指の第2の指によって触れられる行または列との間の結合;ユーザーの指によって触れられる行または列と、ユーザーの身体の別の部分(手のひらなど)によって触れられる行または列との間の結合;ユーザーの身体の一部(指または手のひらなど)によって触れられる行または列と、ユーザーの身体に動作可能に接続された信号発生器との間の結合;および、ユーザーの身体の一部(指または手のひらなど)によって触れられる行または列と、スタイラスまたはペンに一体化された信号発生器との間の結合;および、スタイラスまたは他の触知できる物といった導電性の中間物体を介してユーザーの身体の一部により触れられる行または列との間の結合、および、スタイラスまたは他の触知できる物といった導電性の中間物体をおそらくは介してユーザーの身体の一部により触れられる行または列との間の結合。本明細書に記載されるように、「タッチする」は、ユーザーと開示されたセンサとの間に物理的な接触がある事象と、物理的な接触はないが、センサの近くで生じてセンサによって検出されるユーザーによる行為がある事象も含む。
上に記載された微弱な結合を用いて、タッチが同じ手、同じユーザーの別の手、同じユーザー、または別のユーザーによるものであることを識別することができる。例えば、比較的強い微弱な結合の存在を利用して、2つのタッチ事象が同じ手の2本の指(例えば、人差し指と親指)、または同じ手の指と手のひらなど、同じ手によるものであることを識別することができる。別の例として、(先の例に対して)比較的弱い微弱な結合の存在を利用して、2つのタッチ事象が同じ人物の別の手、または同じ人物の手と別の身体部分によるものであることを識別することができる。第3の例として、微弱な結合がないことを利用して、2つのタッチ事象が別の人によるものであることを識別することができる。さらに、ユーザーの身体に動作可能に接続された信号発生器からの信号の存在を利用して、タッチが特定のユーザーによるものであることを識別することができ、こうした信号がないことを利用して、タッチが特定のユーザーによるものではないことを識別することができる。
高速マルチタッチスタイラス
高速マルチタッチセンサの特定の実施形態では、センサは、スタイラスの位置と、随意に、その傾斜角と長手軸まわりの回転角も検出するように構成される。こうした実施形態は、当初上で記載されたように、本質的にはセンサハードウェアから始まり、その先端付近に信号発信機を有するスタイラスをさらに利用する。この信号発生器から信号が送信され、信号は行または列で送信され得る直交信号に対して互換性はある(同じまたは類似の変調スキーム、類似の周波数など)が、直交信号に直交する。スイッチはスタイラスの先端の例えば、近接検出装置または圧力検出装置を含む、任意の種類のスイッチであり得るが、これを用いて送信器をいつオンまたはオフにするかを制御することができる。スタイラスは、正常動作条件下において、スタイラスが高速マルチタッチセンサの表面に接触するか、近接しているときに、スイッチが送信器をオンにするように、構成可能である。代替的な実施形態では、スタイラスは、絶えず信号を送信し、スイッチの状態がその周波数、振幅などの信号の1つ以上の特徴を変えることができるように構成される。これにより、スタイラスがタッチ感知装置の表面に接触しているときだけではなく、そのわずかに上にあって「ホバーする」能力を与えているときにも、スタイラスを使用することができる。
一実施形態では、スタイラスによって送信される信号は、上に議論されるような行で送信されることもある直交信号に類似しており、スタイラスは本質的には余分な行として処理され得る。スタイラスによって発せられる信号は近くの列に結合し、列で受信される信号の量を用いて、それに対するペンの位置を決定することができる。
2次元でのスタイラスの位置を測定する能力を提供するために、受信器は列上と同様にFMTセンサの行上に設置可能である。行の上の受信器は、列上の受信器ほど複雑化させる必要はない:列の受信器は、行に送信される信号を拾い上げ、かつ該信号のいずれも区別するように構成されなければならない。しかしながら、行の受信器は、スタイラス、実施形態によっては複数のスタイラスによって送信される任意の信号を拾い上げ、かつ該信号を区別することができるようにさえすればよい。
一実施形態では、スタイラスによって送信される信号は行に送信された信号とは異なり、その結果、こうした信号の間に混同はない。行信号が変調される場合、スタイラス信号は他の受信器と互換性をもつために同様に変調されなければならない。一実施形態では、こうした変調は、マルチタッチセンサが通信チャネルを介してスタイラスに与えるように構成可能され得る時間基準を要求する。こうしたチャネルは、無線リンク、光リンク、音響リンク、または超音波リンクなどであり得る。一実施形態では、スタイラスは行信号を受け取り、他の通信チャネルを関与させることなく、その変調と行信号を同期させる。
スタイラスがその信号を送信すると、信号は列と行の受信器に受信される。行と列の信号強度を利用して、行と列に対する二次元でのスタイラスの位置を決定する。強力な信号強度はスタイラスがセンサに比較的近接していることを示すものであり、微弱な信号強度はスタイラスが遠く離れていることを示すものである。補間は、行と列の物理的な粒状度よりもはるかに精細な分解能に対するスタイラスの位置を決定するために使用可能である。
スタイラスの傾斜および回転
より複雑な実施形態は、スタイラスの位置の測定と一緒に、ユーザーがスタイラスを保持するときのスタイラスの傾斜および回転の両方を同時に測定することを可能にする。単一信号を発するのに代えて、本実施形態におけるスタイラスは、多重信号を発することができ、各信号は、スタイラスの先端部付近であって、しかし、その周囲に拡がる点から送信される。2つのそのような信号は、180度間隔で、必要とされる情報のうちのいくらかを提供し、少なくとも3つの信号(理想的には120度間隔)はスタイラスの傾斜および回転を明確に測定するために必要とされ、また、4つの信号(理想的には90度間隔)は数値演算および信号処理の煩雑さを低減することになる。4信号の場合については、下記の実施例で使用される。
スタイラスの傾斜の測定
図14および15は、その先端部(1505)に送信器(1502)を有する高速マルチタッチスタイラス(1501)の2つの実施形態を示す。図14の実施形態において、送信器(1502)は、先端部(1505)の外面部に位置し、他方、図15の実施形態において、送信器(1502)は先端部(1505)に内部に位置する。4つの送信器(1502)はスタイラス(1501)の周面の周りに配置され、高速マルチタッチセンサ(400)の平坦面に沿ってそれぞれ東西南北に方向づけられる。ペンの開始位置がZ軸と平行であり、センサの平坦面のxおよびy軸に垂直であると仮定する。図示するようにスタイラスが東方向へ傾けられ、センサ(400)の平面に対し角度αの角度までx軸またはy軸に沿って回転させると、東に面する送信器(1503)は、北側および南側の送信器と比べて、3次元空間的にセンサ(400)の表面部に近づくように移動し、西に面する送信器は、北側および南側の送信器に比べ、センサからより遠くに離れる。これにより、東側の発信機から発せられる直交信号が、近くの行および列とより強く結び付けられ、この信号は、高速マルチタッチセンサ内の受信器によって測定され得る。西側の送信器から発せられる直交信号は、近くの行および列との結びつきがあまり強くないため、それら近くの行および列の受信器では弱い強度として現れる。東側および西側の信号の相対強度を比較することによって、スタイラスの傾斜角度αを決定することができる。南北方向の傾斜は、北側および南側の直交信号を用いて同様の方法によって決定することができる。実施形態において、スタイラス(1501)の先端部(1505)内のスイッチまたは圧力センサ(1504)は、送信器をいつオンまたはオフにするかを制御するために使用される。スタイラスは、スタイラスが高速マルチタッチセンサ(400)の表面部と接触または接近しているときに、正常運転条件下で、スイッチ1504が送信器を作動させるように構成することができる。
スタイラス回転の測定
スタイラスの回転は、同様の方法で検出することができる。スタイラスの4つの送信器(1502)のそれぞれのxとyの位置がZ軸に平行に回転するため、ペンの4つの送信器はタッチ面の様々な行と列に直線的に近づいたり、または該行と列から離れたりする。FMTの様々な行と列に対するスタイラスの送信器のx位置とy位置との間のこうした様々な直線距離が、FMTの受信器によって拾い上げられた様々な信号強度をもたらす。Z軸と平行なスタイラスの回転が、これらの直線距離、したがって関連づけられる信号強度を変化させる。スタイラスのxy回転角は、信号強度におけるこれらの差異から推定することができる。
光学式アクティブスタイラス
本発明の実施形態は、コンピュータディスプレイまたはタッチセンサ上の手書き入力に使用することができる高速、正確、低レイテンシのスタイラスおよびセンサシステムを含む。実施形態において、スタイラスは、流動的かつ自然で、ペンや鉛筆の体験を模倣する入力を提供する。この点において、システムの更新率を1キロヘルツ以上に高めることができ、レイテンシを、測定位置へのスタイラスの移動および他のパラメーターから、1ミリ秒未満に低減することができる。スタイラスの位置測定に加えて、その傾斜角と回転も測定することができる。本明細書に記載される光学式アクティブスタイラスは、ほぼすべての設計のコンピュータディスプレイやタッチセンサと適合性があり、上記の高速マルチタッチセンサとの使用に限定されないことに留意されたい。
開示される技術は、誘導全内部反射(ITIR)を使用する光学的方法を含む。この技術は、複数のスタイラスが入力目的で同時使用されることを可能にする。センサシステムはコンピュータディスプレイ(たとえばLCDやOLEDモニタなど)上に配置することができ、推定センサ位置と時間に関する他のパラメーターが、コンピュータディスプレイ上で、線、曲線、テキストなどを描くのに使用される。能動的光学スタイラスの実施形態において、このスタイラスは、光線を複数の異なるパターンでセンサ表面へ放射する。センサ表面は、スタイラスから放射される光の波長において透明または半透明である材料の薄いフラットなシート(または、ある2次元的マニフォールド)である。
図16は、センサシートとシステムの全体的に示す平面図である。スタイラス(符号Sで示す)は、複数の異なるパターンで光をセンサシート(符号Aで示す)へ向かって照射する。透明な媒質に懸濁された粒子を含み得る方向変更手段によって、センサシートは、パターン位置の光を、センサシート内に取り込み、そこで光は全内部反射により全水平方向へ伝播する。角度フィルタ(符号Bで示す)は、小さい角度、すなわち限定された角度の光を、センサシート端部に対してほぼ垂直にフィルタを通過させる。線状の光センサ(符号Cで示す)は、その光が、このセンサの長さ方向に沿ったセンサ上のどの位置で衝突しているかどうかを検出する。実施形態では、単一の簡易なスタイラスのX、Y位置を検出するには、最大量の光が衝突している線状のセンサ上の場所を見つけることだけが必要である。矢印「V」に沿う光は、スタイラスの垂直位置を提供する。矢印「H」に沿う光は、水平位置を提供する。他の方向の光は、フィルタ処理され、無視される。
図17は、センサシートの側面図を示す。通常、周囲の媒質よりも高い屈折率を有する透明な材料に入射する光は、反対側面から射出して、より浅い角度で屈折する。散乱媒質のような物質が、無視できない領域の半透明材料と直接接触しているのでない限り(全内部反射が停滞した状況で起こり得る)、外部から放射された光を内部に捕えるのは不可能であろう。しかしながら、接触する材料によって体験されるドラッグと、傾斜してなお接触を維持することが可能なスタイラスを構築することの難しさとを理由として、必要とされる無視できない接触領域は貧弱なスタイラスには役立つ。好ましい実施形態は、透明な材料内部の方向変更手段を使用する。
シート内部において、スタイラスから放射された光の一部は、方向変更手段と相互作用し、それにより、一部の光が、センサシートの中に閉じ込められるようになり、スタイラスがその位置でシート内へ放射した特徴的なパターンの光から遠ざかるように伝播する。伝播光はシートの端部まで進み、そこで角度フィルタに到達する。フィルタ(およびシート端部)に垂直な光は、線状の光センサを通過することが可能である。
図18は、センサシートの側面図を示す。透明材料内部の方向変更手段により、スタイラスから発せられた光は、シート内部で捕捉されると終了し、全内部反射を受けてシート内の全方向へ伝播する。シートに入る光(実線矢印)は、方向変更手段(雲形状)に入射する。光は方向変更手段から多数の方向へ射出し、それらの一部は、全内部反射が生じ得る角度内である(破線矢印)。一部は、全内部反射が生じ得る角度外である(点線)。この光は閉じ込めることはできず、センサシートから離れる。方向変更手段は分散から生じ得るが、好ましい実施形態では、スタイラスによって放射された光を吸収し、あらゆる方向に外へ伝播する異なる波長で光を放射するのは、蛍光性またはリン光性の材料である。
線状の光センサは、その長さ方向に沿ってこれと衝突する光の量を測定し、それにより、スタイラスの位置を推定することを可能にする。最大量の光を受信する線状の光センサに沿った位置は、その次元に沿ったスタイラス位置の投影に相当する。仮にスタイラスが1つを超える光線を放射するならば、システムは、センサシート上のスタイラスの位置を測定することができるだけでなく、スタイラスの傾斜と回転と推定することができる。仮にスタイラスが、多重光線を、おそらくは円錐形または他の形状で放射するならば、アンテナシートの側面に沿うこれらの投影は、システムによって測定することが可能であり、そのデータは、スタイラスの位置、傾斜および回転を同時に推定するのに使用される。
物質における光方向変更特性
通常、センサ表面のような、薄い透明培地に入る光は、反対側面から出で、その内部で捕捉されたり、全内部反射によって伝播したりすることはない。入射光を捕らえて内部で伝播するために、その方向を変更するためのある手段が必要とされる。1つの実施形態において、センサ表面は、入射光の一部を様々な方向へ散乱する。その方向の一部は、全内部反射を生じさせ得る角度内である。散乱は好適な方法ではない。なぜならば、散乱により光の方向がさらに変えられるのを防ぐ方法がなく、これにより、線状の光センサによって受信される光量は低下し、最初の方向変更後でも、光は非直線経路を進んでしまうからである。非直線経路は、光が誤った方向から来たように見せかけて、システムに誤った位置の読取をさせる。
好ましい方向変更手段は、蛍光性またはリン光性材料などの1回波長変更手段である。波長W1でスタイラスから発せられた光は、センサシートに入り、そこで、1回波長変更手段と相互作用する。前記手段は、その光の一部を吸収し、多方向へ波長W2で光を放射する。波長W1は電磁スペクトルの紫外線の部分に位置し得る。波長W2はスペクトルの可視か赤外線部分に位置し得る。波長W2の光の一部はここで、全内部反射によりセンサシートに沿って伝播し、それ以外のものは何もこれを妨害しない。なぜなら、1回波長変更手段は波長W2にはほとんど影響しないからである。
角度フィルタ
センサ表面を通って伝播する光は、多数の角度で端部に到達する。センサ表面内部でスタイラスの光パターンの位置を推定するために、線状の光センサの視野を特定方向に制限することが望ましい。実施形態において、角度フィルタがこの機能を提供する。好ましい実施形態において、長方形のセンサシートと2つの側面上の線状の光センサを用いて、光センサの視野をセンサシートの端部に垂直な方向に制限することが望ましい。「ベネシャンブラインド」の小さなセットを用いてこれを遂行することができ、コンピュータ用モニタのプライバシースクリーンで、モニタ正面の狭い角度に視野を直接的に制限するという方法と同様である。
意図した視野の外側の方向から角度フィルタに衝突する光は、好ましくはフィルタによって吸収されるか、あるいは、拒絶された光が入射しないか、またはシステム内のいずれの線状の光センサによっても感知されないような方法で反射される。
図19は、システムの頂部から見た線状の光センサ(符号文字Cで示す)の正面の角度フィルタ(符号Bで示す)を示す。角度フィルタは、フィルタ(および線状の光センサ)に垂直な光のみの入射を可能にする。フィルタは、他の角度で入る光をブロックする複数の垂直羽根を用いて、ベネシャンブラインドに類似するやり方で実行可能である。この場合、矢印(1901)に沿う光は、フィルタに入り通過することが可能である。矢印(1902)に沿う光は、入ることが許されず、(優先的に)フィルタに吸収されるか、または恐らく単に反射される。線状の光センサは、その長さ方向に沿って複数の地点で、これと衝突する光量を測定することができる。最大量の光が衝突する点は、恐らく線状の光センサの方向に沿った、スタイラスの位置の投影である。
線状の光センサ
線状の光センサは、その長さ方向に沿った複数の位置で、これと衝突する光の量を測定する。該光センサは、位置敏感検出器、線形CCDアレイ、線形CMOS撮像アレイ、光電子増倍管アレイ、および、個別フォトダイオード、フォトトランジスター、フォトセル、または任意の他の光検出手段のアレイによって、実施し得る。
スタイラス
図20を参照すると、スタイラス(2001)は、ユーザーがペンまたは鉛筆のようにそれを保持し、センサシート(2002)の表面部上で描くときに、センサシート(2002)へ複数の異なるパターンで光を放射することが可能なペン形の装置である。センサシートの端部に沿う投影のパターンは、スタイラスの位置、傾斜および回転を推定するために使用することができる。複数のスタイラスが望ましい場合、スタイラスは、時分割多重化の形態で一度に1つの光を発することができる。これには、スタイラス間である形態の同期が必要であり、これは、限定されないが、無線リンク、超音波または光学信号を含む、様々な単純なコミュニケーションチャンネルによって実施され得る。光学信号は、センサシートの下側のコンピュータディスプレイによって生成可能であり、追加のハードウェアをほとんど使用することなくペンを同期させることができる。
発光ダイオード(すなわち、接触スイッチまたは圧力センサが、スタイラスがセンサシートに接していることを感知すると照射する)のような光源を使用してスタイラスを構築することができる。レンズ、回折格子、光導波路、スプリッターなどのような光学的要素は、複数の光源から光を取得し、センサシート内へ投影することができる異なる複数の特徴的パターンを生成し得る。実施形態において、スタイラスは同様にレーザーのような非接触光源であり得る。
単一スポットの実施形態
本技術の基礎的な実施形態において、スタイラスは、スタイラス本体に対して恐らくは同軸で、単一の光線または光錐を発する。単一の光線は、センサシートの側面に沿ったこのパターンの単純な点状の投影を引き起こし、スタイラスの位置を推定することを可能にする。図21は、センサシートの端部に沿った単純なスタイラスによって放射される点の幾何的投影を示す。線状の光センサにより検出されたその長さ方向に沿う光の最大値は、センサシート上の照射点の幾何的投影を与える。これからセンサ位置を推定することができる。
スタイラスが円錐形の光線を放射する場合、光線は、センサシートとの交差が円形(スタイラスが表面部に対し垂直に保持される場合)、または楕円(スタイラスが垂直に対し傾斜する場合)となる。これら交差の投影は異なる形状および幅を有し、スタイラスが保持されているセンサシート端部に対する角度とともに傾斜角度の推定を可能にする。図22は、センサシートの端部に沿う単純なスタイラスによって放射される点の幾何的投影を示す。線状の光センサにより検出されたその長さ方向に沿う光の最大値は、センサシート上の照射点の幾何的投影を与える。これからセンサ位置を推定することができる。
図23に示されるように、スタイラスが光線の代りに円錐光を発する場合、この円錐はセンサシートと交差する位置で楕円をもたらすであろう。楕円の投影は、1つの方向と他の方向とでは変化することもあり、それによりスタイラスの傾斜を推定することが可能となる。
複数点の実施形態
スタイラスがセンサシートに複数パターンを投影する場合、センサシートの側面に沿うこうした投影は、スタイラスの位置、傾斜、および回転角を推定するために使用することができる。図24に示されるように、両側面への投影が、センサシートに対して垂直に保持されたスタイラスについて予想されるよりも広いものの、サイズにおいてほとんど等しい場合には、スタイラスが、センサシート端部の方向に対し45度の角度で傾斜している可能性がある。投影の幅は、垂直からの傾斜角を推定するために使用できる。投影が広いほど、傾斜は大きい。
図25を参照すると、スタイラスがその周面のまわりに複数パターンの光を発する場合、センサシート端部に沿うこうした投影は、スタイラスがセンサシートに触れている位置とともに、センサの傾斜とその軸周りの回転も推定することを可能にする。スタイラスによって投影されたパターンの数と配置は注意深く選択されなければならない。例えば、そのパターンはスタイラスの周面の周りに平等に間隔を置かれて配されてはならない。なぜなら、そうすることで、スタイラスの複数の回転角がセンサシートの端部に沿った同じ投影光パターンを有することがあり得るためである。たとえこのような場合でも、スタイラスの絶対回転を必ずしも測定できるとは限らないが、少量の相対回転ならば測定することができ、それによって、ユーザーインターフェースに有益な情報を提供することもできる。その放射されたパターンの幾何学的な投影からスタイラスの位置、傾斜、および回転を推論する最も直接的な方法は、さまざまなスタイラスの位置、傾斜、および回転について投影を測定し、その後、これらをマッピングして補間することで、投影を再度スタイラスパラメーター上に戻すことである。AおよびBで示された2つのスタイラスパターンは、スタイラスが右下に離されて、時計回りに45度回転させた以外は、同一である。
ソーラーブラインド紫外線
太陽光は多くの波長の光を含み、そのため、スタイラスシステムを太陽光下で使用するときに、その動作が妨害される可能性がある。スタイラスが、地球表面で経験されるような太陽光スペクトルでは存在しないかまたは非常に弱い波長で放射することは有利であろう。1つの可能性は、スタイラスが、地球大気圏の酸素が波長の大部分またはすべてを吸収する、紫外線のソーラーブラインド領域の光を放射することである。UVスペクトルのソーラーブラインド部分を放射するLEDは、商業市場で利用可能である。
スタイラスシステムに衝突してスタイラスの使用を妨害する可能性のある他のソース(天然または人工)からの光の波長について同じような議論をすることができる。
複数スタイラスの実施形態
複数スタイラスの同時使用が望ましい場合、各々のスタイラスからの信号を明確にする方法を使用しなくてはならない。例えば、時分割多重化が使用可能であり、その場合、各スタイラスは、センサシート内へ回転放射パターン(例えば図20に示すように)を採用する。
複数スタイラスは異なる方向変更手段を使用することもでき、それによって、各々のスタイラスが異なる波長で放射することができ、こうした異なる波長を、方向変更手段の後で線状の光センサによって識別することができる。
ある実施形態において、すべてのスタイラスは、同時に同じ波長で放射し、スタイラス使用時の起こり得るおよび有望な軌道に関する知識を駆使して、ソフトウェアまたはファームウェアでセンサシートの側面に沿う幾何的投影に対するその貢献度を明らかにする。
ユーザー、手および物体の識別
本開示された直交信号タッチ式のユーザー、手、および物体識別システムおよび方法と連携して使用され得る容量式FDM、CDM、およびFDM/CDMのハイブリッドタッチセンサの様々な実施形態が上に記載されている。そのようなセンサでは、行からの信号が列に結合され、その列上で受信されたときに、タッチが感知される。
図25を参照すると、上記のような直交信号タッチセンサにおいて、ユーザーが複数の指でタッチすると、行からの信号が、タッチが生じた列にだけでなく、同じユーザーが別にタッチをした列にも結合されるので、クロストークが生じる。図25は、一本の指から別の指までのユーザーの身体を通じたクロストークの経路を示す。図において、矢印は信号の経路を示し、白の円は感知されたタッチの位置を示し、黒の円は複数タッチの中のクロストーク位置、すなわちタッチスクリーン上のクロストークが感知される位置を示す。このクロストーク信号は「実」信号よりも弱くなる。なぜなら、行からの信号は、それがユーザーの身体を横断する際に低減するからである。
ユーザーの身体を横断して結合される信号は、身体を通るにつれて低減する。そのため、この経路を移動する各列上で感知された信号は、タッチ自体から各列上で感知された信号よりも著しく弱い。この違いは、本当のタッチと、身体を横断するこの結合に基づくクロストークの「ファントム」タッチとを区別する際に有用である。一般に、受信した信号レベルに単一の閾値を与えることで、2つの信号強度を識別することができる。
前述の「ユーザー識別技術」と題された段落で説明した基礎的なアプローチは、個人ユーザーの指の間でジャンプする信号によって引き起こされるクロストークを探すものである。クロストークが存在する場合、複数タッチは同一人物からもたらされると見なされる。そうでない場合、タッチは複数の人々からもたらされると見なされる。図25を参照すると、このアプローチは、白色領域で2つのタッチがあると判定した後で黒円領域でクロストークを探す。このクロストークが存在するとき、2つのタッチは同一ユーザーからもたらさたものであると見なされる。図26は、2人のユーザーによってなされた同じ2つのタッチを示すものであり、各ユーザーが1本の指でタッチスクリーンにタッチしている。各行からの信号が両方の列へ結合されないので、タッチ間にクロストークはなく、したがって、黒円によって表示される領域中にクロストークは存在しない。ゆえに、これら2点は、2人のユーザーからもたらされたものであると認められる。
前述の「ユーザー識別技術」と題された段落で説明した他の基礎的なアプローチは、受信した信号がないかセンサを調べ、信号レベルを「暗騒音」、「タッチ」または「クロストーク」と識別する。2つのタッチは、両方のタッチ周波数を含む識別されたクロストーク信号がある場合に、同一ユーザーからもたらされたものであると見なされる。この基礎的なアプローチは、タッチとクロストークの位置を無視し、タッチ周波数をクロストーク周波数にマッチさせることについて、識別されたタッチとクロストーク信号を横断することに頼る。前述したことと比較して、この基礎的アプローチの利点は、この方法が図26に描かれた黒い領域を識別する必要性を緩和することである。さらに明確化の必要性が生じる場合は常に、クロストーク位置と指位置とが考慮され得る。
しかしながら、クロストーク地点が曖昧になり得るいくつかのタッチ構成では問題が生じる。図27に示されるように、単純な実施例は、XまたはYを共有する2本の指の例である。これらの2つのタッチは、その地点間に生じるクロストークがタッチ自体によって隠されるので、識別するのが難しい。すなわち、この構成では、こうしたタッチが同一人物または複数の人からもたらされているのかどうかが分からない。もしタッチが同一人物からもたらされているとき、いかなるクロストークも、反対のタッチ地点によって生成された信号と同一の信号を生成することになり、したがって、信号が実際のタッチ事象の代わりにクロストークによって生成されたと直接的に断定することはできない。
直前に記載された問題の可能性のある解決法は、複数の周波数について各タッチを調べることである。2つ以上の周波数を測定するとき、タッチは、より大きな振幅の周波数によって識別され、タッチ信号内に存在する第2の、あまり強くない周波数に基づいて他のタッチと関連づけられる。
図28に関して、本開示された識別技術の実施形態では、タッチスクリーンおよび/または処理装置は、各行と各列の直交信号を生成し、かつ各行と各列の信号をすべて感知するように改良される。タッチ感知は前述したのと同じ方法で生じ、ユーザーの指は行から列へまたは列から行へ信号に連結する。しかしながら、システムはここでは、行を列に連結するクロストークと列を行に連結するクロストークの両方からのタッチをグループ化することができる。
タッチ場所を判定するために行から列と列から行への連結を感知することを超えて、一実施形態では、本開示のシステムは行から行への連結と列から列への連結とを感知することができる。表題「ユーザー識別技術」の下で上に記載された前述の従来のシステムおよび方法によれば、1本の指タッチでは、他の行によって感知されたある行からの信号は存在しない。同様に、他の列によって感知されたある列からの信号は存在しない。各行および各列は、それらが生成する信号が存在し、非常に「大きく」、例えば、強いことから、そのような信号を無視しなければならないことを考慮する。同様に、指が複数の行にまたがるほど十分に大きいため、タッチがあるときには、1つの行は恐らくその近隣の行を認識することも考慮する。
ユーザーは、2本以上の指でタッチスクリーンにタッチするときに、信号を1つの行から他の行に、および1つの列から他の列に結合する。行間および列間のこのクロストークは、行/列の対の間のクロストークに類似しており、複数のタッチが同じユーザーによってもたらされていることを判定するために使用され得る。図29は、1つの行から別の行までの1つのこうした経路を示す。この場合、シングルユーザーは、ディスプレイを2回タッチし、1つの行からの信号は、身体を通って別の行へ移動する。
図29を参照すると、1つの列上で生成された信号は、ユーザーの身体を介して別の列に結合され、そこで信号は感知される。信号が行から行にまたは列から列に結合されるとき、2回のタッチが同じユーザーからのものであることを判定することができる。この図は単に明瞭さのために1つの信号経路を示しているが、その同じ経路が、前に記載された行間のクロストーク、および行から列と列から行の結合と同様に、反対方向に移動する信号に対しても存在する。
図30は図29の変形であり、ここで信号は、ユーザーの手の間ではなくむしろ手を介して結合される。図30を参照すると、1つの列上で生成された信号は、ユーザーの身体を通って別の列に結合され、そこで信号は感知される。
図31は、2人の異なるユーザーによる2回のタッチを示す。この場合、信号がユーザー間を移動する経路がないため、行間の結合または列間の結合はない。結合がなければ、これらの2つの点は2人の別々の個人によるものであると考えられ得る。
一実施形態では、複数の点が、1つの手、同じ人の両手、または複数の人からのタッチによるものであるかどうかを判定するために、クロストークの強度はプロセッサ、回路または他のハードウェアによって使用される。身体を介する信号の減衰は、使用される手の数および信号が移動しなければならない距離によって異なる。発見的に、片方の手の指から指への減衰は、同じ人の2つの異なる手の指から指までの減衰よりも小さくなり、これは、ある人の指から別の人の指までの減衰よりも小さくなる。クロストークの強度は、両手のジェスチャと片手のジェスチャを識別すること、2つのタッチ事象を異なるユーザーによって始められたこととして識別すること、受動物体と1つの手を識別すること、ユーザーが物体にタッチしているかどうかにかかわらず受動物体を特定すること、パームリジェクションを改善すること、および偶発的なタッチリジェクションを改善することなどによって、2つ以上のタッチ事象を識別するために、プロセッサ、回路または他のハードウェアによって使用され得る。
複数の閾値を有することで、例えば、2回のタッチが、片方の手、同じ人の両手、または異なる人の両手によるものであるかどうかを判定することができる。一実施形態では、閾値は、使用されているタッチ感知装置に応じて設定される。
タッチの身体的ソース(手、ユーザーなど)の決定は、入力の各フレーム上では生じる必要がないことに留意されたい。実際に、その決定は、装置上でなされている特定のタッチの期間につき一度のまれな頻度で生じ得る。いくつかの実施形態では、パフォーマンス、パワー、または他の視点から、このチェックを適切に制限することが望ましいこともある。それは、例えば、ユーザーが最初に接触を行うときに、故意に一度だけチェックすることによって行われ得る。代替的に、ユーザー識別チェックは、センサよりも遅いサイクルで行われ得る(例えば、nフレームごとに一度、またはmミリ秒ごとに一度チェックする)。対照的に、ユーザー識別は、感知プロセスの残りとともにオフサイクルでチェックされ得る。
1つのこうした実施形態では、システムの複雑性は、行から列と列から行への送受信、および恐らく行から行と列から列への送受信を、時分割多重化することによって低減される。本実施形態では、同じ直交信号生成ハードウェアと信号受信ハードウェアは、高速スイッチの使用によって、信号を行およびその後列上で生成し、列およびその後行上で受信するなどするために、時分割多重化され得る。このように、必要な信号発生器と受信器の数を著しく減少させる。
<ラベル付け>
記載したように、ユーザーによるタッチ接触を「グループ化する」ことができる、理想的には、同じ手からの接触を識別するだけでなく、同じユーザーからの接触を識別することが望ましい。当業者に理解されるように、センサ装置の走査サイクルにわたるタッチ接触のラベル付けは、手動で行われる。本発明の実施形態では、「走査」自体がないが、それにもかかわらずアレイがサンプリングされる度に入力フレームと考えられ得るものが存在し、これは、ディスプレイとのユーザーの連続的な接触の離散化と考えられ得る。この離散化は、1つのフレームから次のフレームまで、どの接触が持続したか及びどの接触が新しい接触に取って代わったかを装置が判定しなければならないことを意味する。様々な実施形態では、ユーザー、手および物体の識別についての本明細書に開示されたシステムおよび方法は、ラベル付けの領域との少なくとも3つの交差を有する:フレームにわたってラベルを提供する必要性、接触の従来の特有のラベル付けの改善、およびユーザー識別を改善するための従来のラベル付けの使用。
入力フレームにわたる接触のラベル付けは、タッチ(また非タッチ)入力のために構築された従来のユーザーインターフェースに重要である。例えば、ユーザーがボタンを押したままである場合、それは起動しないはずである。2つの連続する入力フレームは、ボタン上の接触を示し得るが;それは同じ接触であるのか、それとも、ユーザーは指を上げて、装置に指を戻したのか。前者の場合、ボタンは起動しないはずである。後者の場合、ボタンは起動するはずである。これは、連続的なジェスチャにも当てはまり:指がそれから上げられると、項目のドラッギングは終了し得;ドラッグ中の入力の各フレームに対して、システムが判定しなければならないのは:前のフレーム中の接触から数ミリメートル離れた接触であるか、同じ指がフレーム間で移動したのか、またはユーザーが指を上げて、ドラッグを終了し、新しい項目を指そうとしているのかである。
接触のラベル付けのための従来の技術は、接触について記述する信号特性(例えば、信号強度)、その形状、その配向、および前の接触に対するその近接性を考察するなどの、ヒューリスティックスを含む。本発明の実施形態は、これらの従来の方法の幾つか又はすべてを利用し得るが、接触のラベル付けは、本明細書に記載されたユーザー識別の技術によってさらに強化され得、各々が異なるフレーム中に見られる、2つの接触が、異なるユーザーによってなされる場合に、これは同じ接触ではないということで、問題は解決される。
持続性のラベルが従来の装置における接触のために生成されるように、本発明を利用する装置は、フレームに沿って同じユーザーに属するものとして接触のラベル付けを介して増強されるだろう。これは接触用の「ユーザーID」(UID)と呼ばれ得る。UIDが手を識別し得ること、および本書において「UID」が、手が区別される実施形態および識別されない実施形態を指すために用いられることが留意される。手が識別される実施形態では、UIDは、典型的に、ユーザーと手の両方を区別するだろう。フレームにわたって同じユーザーに属するものとしての接触のラベル付けは、典型的に、常にではないが、従来のタッチIDに加えるものある。本発明のほとんどの実施形態では、接触のUIDは、連続的にリフレッシュされる。しかしながら、いくつかの実施形態では、UIDが固執することを保証するためのステップが取られる。
例えば、二人のユーザーは各々、デバイス上に指を置き、2つの固有のUIDがそれらの接触に割り当てられる。ユーザーの指がディスプレイにそって動かされる間、それらのIDは存続する。別の指が各ユーザーによって追加されたときに、本発明はそれらの検出された接触を対にして、各ユーザーからの新しい接触に同じUIDを適用する。その後、一人のユーザーが最初の指を上げた場合、新たに生成されるのではなくむしろ、別の指のUIDが存続する。さらに、そのユーザーによって追加の接触が装置になされた場合、UIDは存続する。一般に、ユーザー間のタッチを区別することだけが目的ではなく、ユーザー内のタッチをできるだけ多くグループ化することも目的である。
上に議論されるように、本明細書に開示された識別のシステムおよび方法の幾つかの実施形態では、「マスキング」は、同じ感知部分(行または列)に対して2つの接触(または近接した指検出)がなされるところに生じ得、これは、クロストークおよび故にユーザーIDの検出を妨げる。そのような実施形態では、本明細書に記載される技術を使用してフレームにわたって存続する、各接触に適用されたラベルは、UIDを提供するために用いられる。例えば、2本の指がディスプレイにタッチし、その表面にわたってスライドする場合、入力の各フレームは、接触を感知し、UIDを生成する。フレームに沿った接触のラベル付けが、本明細書に記載されるようにUIDによって増強されるように、この特殊な事例においてラベル付けによって助けられたUIDの生成も増強される。
タッチが最初になされるときに、従来の入力装置でのように、接触は、例えば、上に挙げられた技術を使用して、フレームに沿って存続するようにラベル付けされる。2本の指は、デバイスに沿ってスライドするとともに、同じ感知する行/列と同時に接触するかもしれない。ユーザーがその行と接触している間に生成された入力フレームに対しては、UIDは生成され得ない(実施形態では、上に記載される技術を利用していない)。しかしながら、本明細書に開示された識別技術を利用する装置は、接触が変更しなかった(即ち、接触「1」は接触「1」のままであり、接触「2」は接触「2」とラベル付けされたままである)という認識を考慮して、および初期のフレームからUIDをコピーして、UIDを生成することができた。
<アプリケーション領域>
モバイルおよび定常のコンピューティングにおける現在のマルチタッチソフトウェアインターフェースは、典型的に、異なるユーザーまたは同じユーザーからのものであろうと、異なる手を区別することができない。結果として、シングルユーザーおよびシングルディスプレイのグループウェアアプリケーションは、アプリケーションの設計、特徴および機能性をマイナスに制限する受信したユーザー入力の真意を解釈するときに、著しいジェスチャのあいまい性(gestural ambiguity)を軽減しなければならない。本明細書に開示された技術は、触覚入力を検出するために容量感知に依存するタッチおよびスタイラスのコンピューティングシステムに対するこれらの制限の多くを取り除く。複数のユーザーが同じタッチ入力面を共有するシングルディスプレイのグループウェアアプリケーションに関して、コンピューティングシステムは、感知したマルチタッチ入力が同じユーザーまたは異なるユーザーからのものであるのかを確実に識別することができる。この新しいレベルの理解は、二人の異なるユーザーからの2つの別々のシングルタッチのドラッグ事象と、同じユーザーからの2本の指によって引き起こされた1つのピンチズーム事象とを識別するなど、ジェスチャによる入力の混乱の共通のソースを解消する。離れて移動する任意の2つの接触が、予めUIを「ズームした(ZOOMED)」場合、本発明を利用するシステムは、代わりに、2つの接触を異なるユーザーからのものとして識別するときに、物体を半分に「分裂させる(tear)」か、またはコピーを作る。
<物体>
ユーザーの手以外の物体が、識別され得る。受動物体は、記載された技術によって識別される多くのタッチによって識別され得る。これらの複数のタッチは、1つの物体を別の物体と明確に区別することができるように、特有の相対位置にあり得る。一実施形態では、1つの物体のタッチ点の位置は、正三角形にあり得、一方でもう1つの物体のタッチ点の位置は、非正三角形、長方形、またはそれらの相対位置によって識別され得るタッチ点の幾つかの他のセットを形成する。このように、物体は、互いに識別され得、タッチ面に対するそれらの並進および回転が決定され得る。
一実施形態では、タッチ点の間隔は、行または列の間隔の単比ではなく、これによって、物体の並進または回転を以前よりも正確に測定することが可能となる。
図32は、センサの上に静止する物体を示す。一実施形態では、物体は、信号発生器SGなしでの受動物体である。そのような物体は、スクリーンをタッチする又はそれに非常に接近している多くのプロングを有することができ、それらの間で電気的に接続される。それがユーザーの場合には、これによって、行から行または列から列の結合およびどのタッチが同じ物体に属するかを識別する能力の発揮が可能となる。物体識別は、ともに接続されて特定パターンを形成する多くのプロングを識別することによって、またはタッチ面に対して認識可能であるパターンでタッチ間の電気接続に切り替えることによって達成され得る。したがって、信号が、行から行または列から列に結合されるときに、2回のタッチが同じ物体からのものであることを判定することができる。
一実施形態では、図32に示される物体は、列、行またはその両方上で検出することができる信号を発する、信号発生器SGを備えた能動物体である。これらの信号は、接触を特定の能動装置から生じたものとして識別する。
一実施形態では、能動物体は、1つ以上のスイッチに従って接続されている又は接続されていない複数の接触点を有することによって実装され得る。これらのスイッチは、閉じられたときにタッチ点の1つ以上を一緒に接続することができる。スイッチは、1つの物体を別の物体と明確に区別するために特有のパターンで開閉され得る。
<物体との組み合わせ>
特定の状況では、ユーザーによって保持された物体との接触がいつなされるかを識別することが望ましいかもしれない。本発明は、そのような状況においてユーザー体験をさらに向上させる。例えば、ユーザーは、操作のために、指でなされた入力とは区別された、筆記に使用される、スタイラスでスクリーンにタッチするかもしれない。本発明は、少なくとも以下の2つの利点を提供することができる:物体のより容易な識別、および物体を保持する同じユーザー及び/又は手によってなされているものとしての接触のラベル付け。
本明細書に開示されるユーザー、手および物体の識別技術を利用して、信号を生成する物体のラベル付けは、著しく容易にされる。本発明の技術を利用する装置は、特有の周波数で、あるいは1つを超える装置によって又はそうでなければタッチ面が一意に認識できる信号によって共有される周波数で信号を生成する信号発生器を備え得る。幾つかの実施形態では、装置は、その特有の周波数によって、あるいは振幅、周波数の変調、または他の既知の方法によって認識され得る。その際、ユーザーは、装置がシステムから区別された応答を受信することを確証され得る。例えば、1本のペンでスクリーンにタッチすることによって、ブルーインクを生成し得、別のペンでレッドインク、指で作図アプリケーション中のキャンバスの翻訳(translation)を生成し得る。
さらに、区別された物体はまた、一度識別されると、他の接触を行う同じユーザーによって保持されているものとしてラベル付けされ得る。これは、デジタイザーによって拾われた信号を生成する能動装置によって、または上に記載される方法で検出される受動装置によって可能となる。いずれの場合も、装置を保持する手、またはユーザーの身体の他の部分によってなされた更なる接触は、前に記載した同じ方法で区別可能であり、幾つかの実施形態では、それらの接触と同じUIDをラベル付けされる。これは、多くの方法でユーザー体験を向上させ得る。一例として、システムは、装置を保持する手からのタッチを無視することを選択するように構成されて、パームリジェクションを向上させ得、ユーザーは、もう片方の手で入力を行いながら、筆記中にスクリーン上に安全に手を置くことができる。
幾つかの実施形態では、装置は、2つ以上の異なる信号を発するように構成され得る:
少なくとも1つは装置の認識用の信号であり、および少なくとももう1つは記載されたようにユーザーにつなげるための信号である。一例として、スタイラスは、位置感知のためにその先端で1つの信号を生成し、ユーザーペアリングのためにその本体まわりに異なる信号を生成するかもしれない。さらに他の実施形態では、物体は、ペアリングの目的のみで信号を生成するかもしれない(本明細書に記載される時計、またはさもなければ受動スタイラスなど)。
一実施形態では、装置は、物体によってユーザー識別が入力フレームにわたって存続することが可能となるように形成され得る。例えば、幾つかの実施形態では、ユーザーが、時計を着用し、ペンを持ち、または携帯電話を携帯して、本明細書に記載されるタイプの信号を生成した場合、装置へのそれらのタッチによって、その信号は運ばれるだろう。したがって、数秒、数分、数日、または数年の間隔を空けてなされたタッチは、同じユーザーからのものとなることが認識され得る(あるいは両方とも装置に接しているユーザーからのものであったことが認識され得る)。
<軽減された感度での作動>
コンピュータ入力装置の電力消費を低下させるために、該入力装置が100%未満の時間で使用されるという事実に留意する。したがって、該入力装置は、使用されていない間、より少ないエネルギーを消費する又はそうでなければ軽減された動作感度で作動する異なるモードに変更され得る。本明細書で使用されるように、「電力」および「動作感度」は、限定されないが、電力消費、事象頻度(即ち、時間分解能に強く関連する更新率)、タッチ感度、空間分解能(例えば、1行おき又はあらゆる行のプロセシング)、タッチレイテンシ、信号対ノイズ比(これは、ユーザーインターフェース精度および故にユーザー体験と強く関連する)、計算能力、フレームレート、ホバー検出(hover detection)のユーザー体験および可用性を含む。
さらに、ユーザーが、入力装置の十分なレベルのパフォーマンスを必要としないタスクを実行するシステムを使用するため、該入力装置がその最も高いパフォーマンスレベルで動作することを、コンピュータシステムが必ずしも必要としないことに留意する。したがって、これらの期間に、コンピュータシステムは、該入力装置を、より少ない電力を消費するが、より低いパフォーマンスを有し得るモードにすることができる。
コンピュータは、該入力装置を、十分なレベルのパフォーマンスが必要とされないことを自動的に検出することにより省電力モードにすることができるか、または該入力装置は、アプリケーションロジックによって、より低い電力、より低いパフォーマンスレベルで作動するように命令され得る。
一実施形態では、複数のモードが存在し得、その各々は、作動性能と電力消費との間の異なるトレードオフを有する。
一実施形態では、該入力装置は、タッチセンサである。
一実施形態では、該入力装置は、マルチタッチセンサである。
一実施形態では、該入力装置は、低レイテンシのタッチセンサである。
一実施形態では、該入力装置は、発明の名称「Low−Latency Touch Sensitive Device」の、2013年3月15日に出願された、米国特許出願第13/841,436号、発明の名称「Fast Multi−Touch Post Processing」の、2013年11月1日に出願された、米国特許出願第14/069,609号、および発明の名称「Fast Multi−Touch Post Processing」の、2013年7月12日に出願された、米国特許出願第61/845,892号に開示されるように、直交信号に依存する低レイテンシのタッチセンサである。そのような特許出願の全開示は、引用によって本明細書に組み込まれる。
この1つの適用は、ユーザーが該入力装置を使用しない場合のものであり、そこで、該入力装置は、より高いレイテンシ、より低い更新率などのパフォーマンスを下げ得る低電力モードに入る。ユーザーが該入力装置を使用し始めるとすぐに、該入力装置は、より高いパフォーマンスモード、もしかすると完全なパフォーマンスモードに入れられる。
該入力装置のより低いパフォーマンスが、エンドユーザーによって認識されそうにない或いはユーザー体験または生産性に効果を与えそうにない短期間の間に実行され得る場合、ユーザーが該入力装置を使用し始めた後でさえ、該入力装置を、より低いパフォーマンス、より低い電力状態のままにしておくことも可能であり得る。
インキング、作図、スクロールなどの、異なるユーザー操作は、録音、メニュー選択などの他のユーザー操作より高いパフォーマンスを必要とし得る。より高いパフォーマンスを必要とする状況において、該入力装置は、より多くの電力を消費するより高いパフォーマンスモードに入れられ得る。それほど高いパフォーマンスを必要としない状況において、該入力装置は、より低いパフォーマンスを有し得るより低い電力モードに入れられ得る。
幾つかの実施形態では、入力の特性は、より高いパフォーマンスレートが必要とされることを示唆し得る。例えば、多くの方向変更がある入力ストロークは、ストロークの微妙な違いを捕らえるために、より高いフレームレートを必要とし得る。そのような形状の検出によって、該入力装置は、より速いモードに入れられるかもしれない。反対に、微妙な違いのないストロークは、より低いサンプリングレートが十分であるかもしれず、それ故フレームレートが低下されるかもしれないことを示唆し得る。同様に、指の近傍は、より高いレートでサンプリングされるかもしれない。
該入力装置との1回のユーザーインタラクションは、指またはスタイラスによる装置上のホバリングなどの非接触モードであるかもしれない。マルチタッチに対するシングルタッチなどの、空間分解能、時間分解能、または入力情報をそれほど必要としない状況において、該入力装置は、より低い電力モードに入れられ得、それでも必要レベルのパフォーマンス(空間、時間など)を提供する。
一実施形態では、ユーザーがより高いレベルのパフォーマンスをすぐに必要とするとコンピュータが予測する場合に、該入力装置のパフォーマンスは向上させられ得る。例えば、入力装置は、ユーザーの指がタッチ入力装置の近くをホバリングしているが、それにタッチしていないことを検出する場合、その情報をタッチ入力装置のパフォーマンスを向上させるトリガーとして使用することができ、その結果、ユーザーの指が最終的に入力装置にタッチするときに、入力装置は、良好なユーザー体験に必要となるパフォーマンスレベルにまで既に強化されている。
一実施形態では、アプリケーションの状態は、より高いフレームレートが必要とされることを示唆し得る。これは、オペレーティングシステムによって、システム利用率の特性によって、または明示的にアプリケーションによって、例えば、プロセス間通信、関数呼出し、または他の手段によって推論されるかもしれない。
一実施形態では、コンピュータシステムは、ユーザーがいつ及びどこで次に入力を提供するのかを含む、次にどのように装置を利用するかの時間的及び/又は空間的予測を作成するために、アルゴリズム的な予測技術を利用することができる。具体的には、タッチ入力装置に関して、指またはスタイラスが、いつ及びどこでディスプレイと接触するのかについてのそのような時間的または空間的予測は、ユーザー入力装置をより適切なパフォーマンス/消費電力モードまたはトレードオフを有するモードに入れるために使用され得る。
一実施形態では、コンピュータシステムに含まれる複数のセンサまたはユーザー入力装置に関する予測が、必要なパフォーマンス/電力消費のトレードオフのモードをアルゴリズム的に予測するために使用され得るように、センサフュージョンを使用することができる。例えば、一実施形態では、スマートフォンに組み込まれた加速度計は、タッチスクリーンのモードを変更するために使用され得る。電話の加速の時刻歴は、ユーザーがタッチ入力装置にタッチしそうなとき又はタッチしたときを予測することが可能であり得、それ故、タッチ入力装置のパフォーマンス/消費電力モードを変更することができる。別の実施形態では、1つの電力/パフォーマンスのトレードオフモードから異なるモードまでのスイッチを管理する閾値およびロジックは、外部電源の可用性または状態に依存して、装置のバッテリーレベルを組み込む。
これらの事象を正確に検出する可能性についての統計的知識は、フォールスアラームおよび正確な検出率をトレードオフすることによって、装置の電力消費を最適化するために使用され得(受信者動作特性の統計)、その結果、電力消費およびユーザー体験は適切に整列される(aligned)。この最適化は、設計時間または製造時間で前もって行われ得るか、特定のユーザーの履歴および習慣に適応させるために学習技術を使用し得る。
一実施形態では、ある領域にわたってタッチを検出することができるタッチ入力装置は、領域の異なる部分が異なるパフォーマンス/電力消費のトレードオフを有するモードに入れられ得る。例えば、全タッチ領域は、その領域内でユーザーがどこにタッチするかを検出することができないが、単純に領域内のどこかにタッチされていることを検出するモードに入れられ得る。同様に、タッチ領域の一部は、空間分解能、時間分解能、レイテンシ、または他のタッチパラメーターの間の特定のトレードオフを有するモードに入れられ得、一方でタッチ領域の他の部分は、これらのパラメーターの異なるトレードオフを有し得る。一実施形態では、スライダUI制御を管理するタッチ領域の一部は、プッシュボタンを有する及び空間分解能または時間分解能をそれほど必要としないタッチ領域の一部より、高い空間分解能および時間分解能および低いレイテンシを有するモードであり得、ユーザーに満足なユーザー体験を提供しながら、より高いレイテンシのインタラクションに耐えることができる。
一実施形態では、入力装置の電力/パフォーマンスのトレードオフモードは、人間対コンピュータのインターフェースによって、例えばコントロールパネルを介して、ユーザーによって明示的に定義され得る。
一実施形態では、複数の入力装置がある。それらの各々は、ユーザー体験を最適化するために異なる電力/パフォーマンスのトレードオフモードに入れられ得る。例えば、単一のゲーム機コントローラーは、ユーザーの左手および右手それぞれのための2つのマルチタッチパッドを有し得、その各々は、ゲームプレイ間の異なる時間にアクティブユーズになり得る。
<デシメーション戦略>
「Low−Latency Touch Sensitive Device」と題された2013年3月15日出願の米国特許出願第13/841,436号に記載されるものなどの高速入力装置に、ユーザーが入力をもたらすと、多数の生成された入力事象は入力スタックの他の部分を圧倒する(overwhelm)ことができる。これに対処するために、我々は、事象のストリーム中の事象の数を減らすことができる多くの技術について記載しており、その結果、入力スタックの他の部分はタイミング良く作動することができ、入力スタック上の非常に多くの事象に圧倒されない。
本明細書には「インテリジェントデシメーション」のためのシステムと方法が開示されており、ここで、入力事象は選択的に捨てられる、組み合わされる、フィルタ処理される、交換される、またはさもなければ入力装置(またはデシメーションを行っている層ならなんでも)からスタックの次のレベルまで伝えられる。
入力「事象」に対する言及は、これが事象駆動型のコンピュータモデル中の離散入力事象、あるいは入力を与えるユーザーの物理的な事象、および非入力駆動型のシステム中の結果として生じる信号について記載していようがしていまいが、単に層の間の情報の流れについて記載していることを意味するだけであることを理解されたい。
高速センサにより出力される事象の数は、オペレーティングシステム/表示装置には多すぎるため、時間内に処理をすることができず、それ故障害を生じさせるか、またはパイプライン中の多くの事象によりオーバーフローさえ生じさせ、処理が滞ることがあるかもしれない。
デシメーションは、1つの入力ストリームを、同じ数、より少ない数、またはより多い数の事象を伴う1つまたは多くの別々の出力ストリームに転換するプロセスである。このデシメーションは、システム(限定されないが、入力装置とユーザーインターフェースを含む)のモデル、アルゴリズム、機能、状態の知識によって、または特定の周波数での多くの事象のカットと同じくらいシンプルに、知的に指示され得るか、あるいは閾値が与えられ得る。
デシメーションは、(正確に又はモデルを介して)ユーザー入力を記載している情報をフィルタ処理する、組み合わせる、交換する、またはさもなければ選択的に伝えることである。「デシメーション」は文字通り10%の選別を意味するが、我々は、情報の流れの量のあらゆる種類の変化を記載するために広義にこの用語を使用する。デシメーションは、ユーザーの物理的な入力とスクリーンに表示されている結果との間の情報処理の流れにおけるあらゆる工程において生じ得る。本明細書では、1つの層で生じるデシメーションへの言及は、同様に他の層でも等しく当てはまる可能性があるものとして理解されるべきである。
図33aは、インテリジェントデシメーションプロセスの概略を示す。示されるように、インテリジェントデシメーションは、入力事象ストリームをとらえ、このデータの一部をフィルタ処理する、組み合わせる、交換する、またはさもなければ入力後に作動するシステムの他の部分にこのデータを選択的に伝える。
図33bで示されるように、インテリジェントデシメーションは、同じまたは異なる数の事象を有する多くの出力ストリームを生成し得る。
図33cで示されるように、インテリジェントデシメーションは、複数の入力処理スタックに伝えられる事象ストリームを生成し得、それら各々は1つ以上の出力事象ストリームを受け得る。
以下のセクションは、本開示のシステムおよび方法に含まれる多くのデシメーション戦略について記載している。システムおよび方法は、入力事象ストリームをシステムの他の部分に向けられた出力事象ストリームに転換するために、これらの戦略のいずれか1つを使用することもあれば、記載された戦略の派生物を使用してもよく、あるいは多くの戦略を組み合わせてもよいことを理解されたい。
<Nフレームごと>
本実施形態では、入力事象ストリームは、N事象ごとにサンプリングされ(ここで、Nは調整可能なパラメーターであり、調整可能とはシステムの1つ以上の構成要素によって任意の時間にNを変更可能であることを意味する)、出力ストリームは、入力ストリームからの毎N番目の入力事象を含み、それ以外のN−1事象を捨てる。
図34は、「Nフレームごと」によるインテリジェントデシメーションの例を示す。この場合、N=4であり、入力ストリーム(上の行)からの毎4番目の入力事象は、出力ストリーム(下の行)に含まれる。
<Xマイクロ秒ごと>
本実施形態では、入力事象ストリーム中の各入力事象は、時間、好ましくは発生する事象にユーザー入力が関連している時間に関係している。入力事象ストリームは、出力事象ストリームが入力事象ストリーム中でXマイクロ秒ごと(または要求される他の時間単位)に発生した事象を含むようにサンプリングされ、Xは調整可能なパラメーターである。時間的価値に正確に相当する事象がない場合には、本開示のシステムおよび方法は、入力事象ストリーム、次の事象、以前の事象からの最も近接する事象を使用する、偽の事象を作成する、または事象をまったく作成しないように構成され得る。
図35は、「Xマイクロ秒ごと」によるインテリジェントデシメーションの例を示す。入力事象ストリーム(上の行)はXマイクロ秒ごとにサンプリングされ、これらの時間に発生する事象は出力事象ストリーム(下の行)に含まれる。
<最初と最後の入力事象>
入力事象ストリームを考慮すると、最初と最後の入力事象は、ユーザー側の意図を示すため、かなり重要である。タッチ入力を考慮すると、最初と最後の入力事象は、ユーザーが最初にタッチセンサを起動するときに発生した事象と、ユーザーがタッチセンサから指を離したときに発生した最後の事象に相当するであろう。そのため、本実施形態では、入力事象ストリーム中の最初と最後の入力事象は、出力事象ストリームに含まれる。
例えば、入力が行なわれるディスプレイまたはディスプレイ(3601)の一部を含む図36を考慮されたい。このディスプレイ領域(3601)は、多くのユーザーインターフェース要素(3606)を含み得る。最初の事象(3604)で開始し、最後の事象(3605)まで及ぶ入力事象ストリーム(点線)を考慮されたい。本実施形態では、最初の事象(3604)と最後の事象(3605)は、出力事象ストリームに含まれるであろう(代替的なスキームは、最初の事象または最後の事象の1つのみを提供するかもしれない)。
<湾曲>
本実施形態において、入力事象ストリームは、入力事象ストリームの湾曲の意味のある変化を表す事象が出力事象ストリームに含まれるようにサンプリングされる。入力事象ストリームが最初の事象(3604)で開始し、最後の事象(3605)まで及んで行なわれる(点線)、ディスプレイまたはディスプレイ(3601)の一部を含む図36を考慮されたい。湾曲(3602)の程度または湾曲(3603)の方向の変化に相当する事象は、出力事象ストリームに含まれる。
関連する実施形態では、入力事象曲線の他の特性によって、デシメーションプロセスを知らせることができる。曲線を記載する様々な数学的モデルがあり、あらゆる与えられたモデルに対して、曲線を再構築する必要がある最小限の入力事象がある。本実施形態において、入力事象ストリームの経路を再構築する必要がある入力事象ストリームからの事象だけが、出力事象ストリームに含まれる。本実施形態では、曲線の再構築の許容誤差は調整可能なパラメーターである。
<入力モード>
入力モードは、デシメーションスキームを明示的に選択するかもしれない。例えば、UI、アプリケーション、または明確なユーザー操作は、与えられた領域または期間においてより少ないデシメーションが好まれるということを明示し得る。例えば、キャンバス上で描くとき、1つのユーザー選択可能な「ブラシ」は、高デシメート処理した入力に曲線を当てはめることでより滑らかな曲線を提供し得る一方で、別のブラシはユーザーの実際の入力に忠実に従い得る。
<入力ハードウェア特性>
入力センサは、不均一な感知能力を有すると知られている。例えば、容量式タッチセンサは、感知トレースの場所に入力を「スナップする(snap)」傾向を有し得、視覚ベースのセンサは、周囲光およびセンサの光特性による影響を著しく受ける。いくつかの実施形態では、これらの入力特性が考慮に入れられる。例えば、容量式センサの既知の「スナップ」に類似する挙動を示す装置では、ユーザーの入力を効果的に滑らかにする際に、センス線にスナップされる事象よりも、スナップされない事象が選択され得る。すべての入力装置は、報告する事象中にある種のバイアスを示し、このスキームはこれらの効果の要因となる及びある程度までこれらの効果を補う。
<ジェスチャのデシメーション>
入力の特性は、それ自体がスキームの選択を知らせることもある。例えば、ユーザーが、2以上の次元で通常パンされ得るUI要素内にほとんどが一次元のジェスチャを作ると、一次元のスクロール動作を「ロックインする(lock−in)」ことが当該技術分野で知られている(例えば、Apple‘s 949の特許を参照)。本開示のシステムおよび方法の特定の実施形態は、一次元の動作後のUIの「ロックイン」を同様に留意し、スキームを変化させ得る。本例では、一次元のスクロール動作は、より少ない事象を必要とするかもしれず、そのため、より攻撃的なデシメーションスキームが利用され得る。同様に、入力は、「ロックイン」が生じないことを示すことがあり、そのため、スクロール動作は2以上の次元で同時に発生することもある。このような状況下において、いくつかの実施形態は、デシメーションの攻撃性を減少させるか、あるいは多次元の動作に対してより使いやすいスキーム(例えば、上に記載された「湾曲」スキーム)へと切り替わり得る。実施形態の中には「ジェスチャ」モードを示す入力スキームの特性の検査を特徴づけるものもあり;特定の実施形態は、上に記載されたジェスチャ、あるいはシステムの必要性に基づいて定義される他のパターンを使用することもある。
<GUI要素境界遷移>
一実施形態では、デシメーションプロセスは、ユーザーが相互作用しているグラフィカルユーザーインターフェース(GUI)のレイアウトを考慮に入れる。GUI中の要素を平面、あるいは1D、2.5D、または3Dで存在するものとして考慮し、平面または他の形状に変換され得る及びカーソルが触れている場所をGUIが判定することを可能にする空間を考慮し、および入力事象をこの平面内に位置するものとして考慮する場合、GUI要素の境界は、インテリジェントデシメーションプロセスに通知することができる重要な情報を提供する。
図37に関して、多くのグラフィック要素が、事象「onEnter」および「onLeave」(またはその等価物)に応答するようにプログラムされる。こうした事象は、入力事象が最初にGUI要素の境界へと又はそこから移動するときに呼び出される。そのため、本実施形態において、入力事象ストリーム(図37、点線)がGUI要素(3606)の境界を超える(図36)と、要素(3705)の外部の最後の入力事象および要素(3706)の内部の最初の入力事象は両方とも出力事象ストリームに含まれ、境界での事象は(3705)および(3706)の代わりとなり得る。同様の実施形態において、最初、最後、境界の事象の任意の組み合わせが含まれる。
「内部の最後の事象」および「外部の最初の事象」は、実際に同じ事象かもしれないことに留意されたい。例えば、図37では、左端のUI要素(3606)は、その「内部に」(3705)と名付けられる1つの事象および(3706)と名付けられる別の事象を有する。その事象(3705)は、左端のUI要素(3606)の内部の最後の事象であるが、中央のUI要素(3606)の外部の最後の事象でもある。1つのデシメーションスキームでは、この単一の事象は複製され、UI要素の両方に信号を送られることもある。別のスキームでは、これらの1つまたは両方の1つのコピーだけが伝えられ得る。
<GUI要素境界>
一実施形態では、デシメーションプロセスは、ユーザーが相互作用しているグラフィカルユーザーインターフェース(GUI)のレイアウトを考慮に入れる。GUI中の要素を平面、あるいは1D、2.5D、または3Dで存在するものとして考慮し、平面または他の形状に変換され得る及びカーソルが触れている場所をGUIが判定することを可能にする空間を考慮し、および入力事象をこの平面内に位置するものとして考慮する場合、GUI要素の境界は、インテリジェントデシメーションプロセスに通知することができる重要な情報を提供する。
図38に示される本実施形態において、インテリジェントデシメーションプロセスは、境界GUI要素(3606)内にまたはその外部に含めることに基づいて、入力事象ストリーム(3801)、(3802)、(3803)、(3804)の様々なセクションについての様々なデシメーション戦略を選ぶ。例えば、特定のGUI要素(3606)の境界の外部にあるこれらの入力事象(3801)(3804)は、GUI要素(3606)の境界の内部に含まれるこれらの入力事象(3802)、(3803)よりも、出力事象ストリーム中に含まれる低い周波数でサンプリングされ得る。同様の実施形態において、1つのGUI要素(最も左の3606)内部のこれらの入力事象(3802)は、別のGUI要素(中央の3606)の内部のこれらの(3803)とは異なる手法でデシメート処理されることもある。
アプリケーションソフトウェアまたはGUIツールキットソフトウェアは、GUI要素のサイズ/位置/形状について、およびデシメーションが、伝える、削除する、または発生させる事象を選択するときに、この情報を考慮に入れることができるということをタッチセンサに知らせることができる。
デシメーションは、GUI要素の内部にある最初の事象、及び/又は以前の事象があったGUI要素の外部にある最初の事象を選んでもよい。この点において、アプリケーションソフトウェアは、どの事象が最も有意であるのかについてタッチセンサに知らせることができ、デシメーションプロセスを促す助けとなることができる。
<マルチモーダル入力>
以前に記載されたように、インテリジェントデシメーションのエンジンは、本書類に記載される任意数の個々のデシメーション技術を組み合わせてもよい。本実施形態では、システムは、入力装置がユーザーによって入力事象を発生させるために使用されることを考慮に入れる。例えば、入力動作のあらゆる時間に検出可能なタッチ入力とペン入力を含むシステムにおいて、開示されたシステムおよび方法は、入力事象のための1セットの個々のデシメーション技術およびパラメーターを使用し、一方でペン入力のための恐らく異なるセットの技術およびパラメーターも使用し得る。一実施形態では、開示されたシステムおよび方法は、特定の入力デバイスによって実行されている動作に応じて、相互作用の間のあらゆる時点でデシメーション技術を切り替えることを決定し得る。一実施形態では、与えられたモダリティに対して利用されるスキームは、ユーザーが別のモダリティで入力を開始する及び/又は終了するときに変わり得る。
<マルチユーザー入力>
以前に記載されたように、インテリジェントデシメーションのエンジンは、本書類に記載される任意数の個々のデシメーション技術を組み合わせてもよい。一実施形態では、システムは、ユーザーが入力事象を発生させることを考慮に入れる。例えば、数人のユーザーを含むシステムでは、本開示のシステムおよび方法は、第1のユーザーのための1セットの個々のデシメーション技術およびパラメーターを使用し、一方で第2のユーザーのための恐らく異なるセットの技術およびパラメーターも使用し得る。さらに、ユーザー間の入力の区別に必要不可欠な事象は、上に記載されたUI境界上の事象に類似して、デシメーションプロセスにおいて追加の重みが与えられ得る。
<マルチポイント入力>
単一のモダリティでユーザーからの複数の「点」(または領域)を追跡することは当該技術分野で知られており、例えば、マルチタッチ入力はユーザーとセンサとの間の複数の接点の追跡をもたらし、近接センサはセンサに近接するユーザーの身体の複数の点の追跡をもたらす。いくつかの実施形態では、異なるスキームが個々の点に適用され得る。これらのスキームは、限定されないが、ユーザー入力、システムにより認識される「ジェスチャ」、点の位置、装置と追跡された物体(例えば、指先、またはペン先端)の間の実際の物理的接点の存在または不在、ユーザー入力の速度または期間などの1つ以上を含む、複数の要因に基づいて選択され得る。
<通知されるアプリケーション>
以前に記載されたように、インテリジェントデシメーションのエンジンは本書類に記載される任意数の個々のデシメーション技術を組み合わせてもよい。本実施形態では、システムは、アプリケーションが装置上で実行されていることを考慮に入れ、それに応じて多くのデシメーション技術およびパラメーターの中から選択し得る。
<通知されるレイテンシ>
以前に記載されたように、インテリジェントデシメーションのエンジンは、入力スタックレイテンシを認識しており、入力事象、1つまたは複数の構築事象に基づき、タッチ速度およびシステムレイテンシ、または任意の類似アルゴリズムに基づいており、これは将来のタッチ位置がどこになるのかを示す。
<曖昧な入力>
本実施形態では、デシメーションエンジンは、入力事象がユーザーの意図の観点から曖昧な場合に、出力事象ストリーム中の入力事象ストリームからの入力事象を含めることを待つこともある。一例として、タッチに敏感なディスプレイ上のタッチ(3901)によって生成される入力事象を伴う図39を考慮されたい。これらの入力事象は、点だけでなく、入力事象に関連するタッチの領域も有する。2つのGUI要素(3606)にまたがる入力事象(3901)の場合には、本実施形態は、ユーザーがどのGUI要素(3606)をターゲットにしているかを後の入力事象が明確にするまで、あるいはタイムアウトが発生するまで、出力事象ストリーム中の入力事象に含めることを待つ。
<他の戦略>
一度入力がデシメート処理されると、システムは、デシメート処理されていない入力をスタックの他の層に利用できるようにし得る。入力事象のストリームとして、またはメモリデータバンクとして。この利用可能性は入力ストリームの実時間に影響を与えない。
システムは、様々な種類のデシメーションプロセスを要求し得る及び/又は以前のデシメート処理されていない事象を要求し得る。システムはまた、デシメーションプロセスの調整方法も通知して、入力装置、実行されている動作、電力消費、または利用可能な処理能力に基づいてどれだけ多くのデシメーションが発生するのかをデシメーションプロセスが微調整することを可能にし得る。デシメーションプロセスを微調整するために、他の変数が使用されてもよい。システムは、残りの入力スタック、オペレーティングシステム、または任意のアプリケーションを含むか、あるいはユーザーによって設定可能である。
一度入力がデシメート処理されると、システムは、デシメーションの記述を利用可能なものとし得る。これらの記述は、例えば、選択されたスキームに対するメモリ中のポインター、あるいは他のプログラム識別子であり得る。この記述子は、デシメーションの結果とともに伝えられ得る(恐らく、一例として、デシメート処理された又はデシメート処理されていない入力事象について記述する物体の一部として)。
デシメーションスキームは動的に変更され得、1つのスキームが与えられたコンテキストのために選択され、別のコンテキスト中で切り替えられ得る。いくつかの実施形態では、1つを超えるスキームが同時に使用され得る。このような実施形態では、プロセス(「メタデシメーション」スキームと考えられることもある)は、複数のスキームの出力間のリアルタイムの決定を行い得るか、あるいは複数のスキームの結果はすべて、その後のスタックの層に利用可能となり得る。これが同じ期間の間生じることもあれば、1つ以上のスキームがチェーンに沿って伝えられ、それ以外のもの(恐らく送信されたものも)の結果は後のルックアップのために保存される。
<周波数変換>
消費電力と生産費を減らすために、容量式タッチセンサは、低周波数で可能な限り多くの信号処理を行わねばならない。単純に且つ低コストで信号の周波数を下げることができる技術は、高パフォーマンスの入力認識のために最適化された、低レイテンシの、高い事象フレーム率の容量式タッチセンサに特に有益である。そのため、本出願の参照は、一実施形態として低レイテンシの、高フレーム率の容量式タッチセンサを熟考する、「Low−Latency Touch Sensitive Device」と題された2013年3月15日出願の米国特許出願第13/841,436号、および「Fast Multi−Touch Post Processing」と題された2013年11月1日出願の米国特許出願第14/069,609号を組み込み、それらをさらに詳しく述べている。
そのような高パフォーマンスの容量式タッチセンサを支持するために必要とされる高速アナログ−デジタル(A/D)変換器は、相当な電力およびシリコンダイ・サイズを消費する。センサの消費電力および生産費を増加させるこれらの不利な点またはその他は、タッチセンサの信号周波数を下げ、それにより、より遅いA/D変換器の使用を可能にする技術を介して、緩和され得る。
対象の周波数をダウンコンバートする別の理由は、一実施形態におけるタッチセンサが、センサが作動する、または十分に作動する、あるいはコスト効率の良い方法で製造されるための十分な高周波数で容易に(または十分に)実施され得ない、アナログ処理などの、幾つかの処理技術を使用するために作り上げられるかどうかにある。
センサの作動信号を変換する別の理由は、より容易な処理に役立つ境界に対してこれら周波数を位置合わせする(align)ことにある。例えば、フーリエの技術を使用する分光分析処理は、対象の周波数帯が均一な間隔で配置され、頻繁にDC(またはその付近)から開始する場合に、より有効であり得る。「対象の周波数」(即ち、センサの作動信号)が、より高く又はより低く変換され得る場合、周波数ビンを適切に位置合わせすることによって信号処理をより効率的にすることが可能となる。例えば、一実施形態において、フーリエ変換及び同様の技術は、タッチセンサの信号が分けられる周波数ビンが効率的なセンサの作動を確実にするように均一に配置されることを必要とする。それ故、タッチセンサは、より高価で高速のA/D変換器でセンサが作り上げられるかどうかにかかわらず、その作動周波数または信号をダウンコンバートまたはアップコンバートする必要があり得る。
より高いセンサ信号の周波数の事前のデジタル変換をより低い周波数に変換する1つの方法は、ヘテロダイン法を介するものである。
<ヘテロダイン法>
周波数変換、またはヘテロダイン処理は、周波数混合器により行われ得る。そのような混合器は、単一または直交のいずれかであり得る。
周波数分割多重化(FDM)を利用する、またはキャリヤ上で変調される別の多重化技術を利用するタッチセンサにおいて、周波数のバンドを、より高い又はより低い中心周波数を有する異なるバンドに変換することが望ましいかもしれない。例えば、FDMの場合、デジタル化プロセスを緩和し、より遅くて、故により安いA/D変換器の使用を可能にするために、(センサの行の送信器から受信される信号のバンドを表わす)周波数のセンサの本来のブロックを、より低い中心周波数に変換することが望ましいかもしれない。本明細書に開示される全ての実施形態に関連して使用されるA/D変換器は、連続時間のシグマ−デルタのA/D変換器などのシグマ−デルタのA/D変換器を含んでもよい。
一実施形態において、変換される信号は、センサの作動信号のバンドの外部の異質な信号またはノイズを除去するために最初にバンドパスフィルタ処理される。バンドパスフィルタは随意であり、センサの作動バンドの外部の信号の存在が無視してよいものである場合には省略されてもよい。その後、フィルタ処理された信号は、周波数FLOを持つ局部発振器が供給された周波数混合器に通される。周波数混合器は、その入力と局部発振器との和および差で信号を出力する。フィルタ処理された信号の周波数を下げることが目的である場合、タッチセンサは、混合器の出力の「和」の成分をフィルタ処理し、低周波数のバージョンのセンサの本来の作動信号を含む「差」の成分のみを残すように作り上げられる。その後、そのような処理が、より低電力、および恐らくはあまり複雑でなく故により安価なA/D変換器などの、低周波数での使用のために最適化された構成要素を用いて行われ得ることを除いて、これらの低周波数の信号は通常の方法で処理され得る。本明細書で使用されるように、「局部発振器」は信号ソースを意味し、必ずしも従来の発振器を含まない。そのような信号ソースは、例えば、値の表によって促され得る。
図40は、単一の混合器および「差」の信号を使用して、低周波数帯に対して1セットの周波数のヘテロダイン効果を生み出すことを示す。周波数混合器に入る前に、対象の信号は周波数FCに集められる。混合後、それらは周波数FLO−FCに集められる。
一実施形態において、センサの作動信号を、より低い周波数帯ではなく、むしろより高い周波数帯に変換することが望ましいかもしれない。そうするための1つの動機は、センサの処理タスクの幾つかを、そのようなより高周波数の信号を取り扱うためにより良く最適化される与えられたコンピュータシステム内のタッチセンサの外部にある既存の構成要素にシフトすることであり、該構成要素としては、限定されないが、コンピュータシステムの他の構成要素に共通して見出される商用オフザシェルフ(COTS)の信号処理チップなどがある。そのような場合、タッチセンサは、周波数混合器の出力の「和」の成分を選択し、センサの作動帯の外部にある周波数成分をフィルタ処理するために作り上げられる。
一実施形態において、センサの作動信号周波数を異なる中心周波数に移すために、直交周波数混合器が使用される。直交周波数混合器は、混合器の1つに90度シフトされた局部発振器のコピーが供給されていることを除いて、同じ局部発振器から駆動される2つの周波数混合器を利用する。直交混合器はより多くのハードウェアを必要とするが、対象の信号を、そのような信号周波数が進み得る最も低い「ベースバンド」までずっとシフトする、即ち、DC又は「ゼロ周波数」を取り囲むことができるという利点を有する。
図41は、直交混合器を使用して、ベースバンドに対して1セットの周波数のヘテロダイン効果を生み出すことを示す。「差」の周波数のみが示される。ズームインした略図においてDC付近に間隙があることに留意されたい。間隙は、構成要素の物理的限界が原因で多くのハードウェア実装において生じる傾向にある。
直交混合器はまた、変換された信号の「同相」(I)および「直交」(Q)の成分を出力するという利点を有する。これらI及びQの成分は、フーリエ変換の「実際の」および「架空の」入力に直接供給されて、分光分析プロセスを単純化し得る。
図42は、恐らくデジタル化後、フーリエ変換の実際および架空の入力(それぞれ)に供給された直交混合器の同相および直交の出力を示す。フーリエ変換の出力は、「対象の周波数容量」の分光情報(例えばセンサの作動信号)を包含し、その領域はDCにシフトされたFLOに集中している。周波数分割多重化、または分析のための周波数を包含する幾つかの他の変調スキーム(搬送周波数のCDMAなど)を利用するタッチセンサにおいて、上記に表わしたような構造が、どの行信号が各列に存在するかを測定するためにセンサにおける全ての列を進むことができた。
周波数範囲をベースバンドに変換するために直交周波数混合器を使用する場合、通常は周波数の領域が存在し、これは、変換後にDC付近で終了し、周波数混合ハードウェアがDC付近の出力を生成しないために使用できない。それ故、直交周波数混合器を利用するタッチセンサは、その範囲における周波数が適切なセンサの作動に必ずしも必要ではないことを確証するために作り上げられるべきである。
一実施形態において、周波数の範囲をベースバンドにダウンコンバートするために直交周波数混合器を利用するタッチセンサは、DC付近の使用できない周波数の間隙が対象の周波数間にある様式で、それを行い、その結果、センサ装置の作動に対する効果はほとんどない。
DC付近の使用できない周波数の間隙が十分に広い、またはタッチセンサの作動信号として利用される対象の周波数容量間に間隙を置くことができないほど対象の周波数が十分に密接して間隔を置かれる、一実施形態において、FDMを、センサの表面積の与えられた領域にわたる与えられた期間の間の変調技術として使用するタッチセンサは、先の出願「Low−Latency Touch Sensitive Device」(13/841,436、 3/15/2013に出願)および「Fast Multi−Touch Post Processing」(14/069,609、 11/1/2013に出願)に記載されるように、 対象の周波数範囲がベースバンドの近くにダウンコンバートされると、割り当ての際の間隙がDC付近の使用できないセットの周波数の一致するように、正しい周波数値で及び十分な幅を有して、周波数適用範囲に間隙が存在するよう周波数に割り当て、センサ装置の正しい動作を可能にする。
一実施形態において、周波数変換は、「対象の信号」の周波数を下げるためにFDMを使用するタッチセンサ上で利用される。この場合、「対象の信号」は、タッチ表面の行の上に送信された信号である。行の上で受信した信号のスペクトル成分は、ユーザーがタッチ表面上でタッチしている場所を判定するために処理され得る。この時点で直接、分光分析またはバンドパスフィルタ処理を行う代わりに、センサは、低周波数に対して信号のヘテロダイン効果を生み出すために作り上げられ得る。これらのヘテロダイン処理された信号は(随意に)バンドパス処理され、低周波数に対して単一または直交の周波数混合器のいずれかと混合される。ここで、それらは再度(随意に)バンドパスフィルタ処理され、(随意に)増幅され、その後、前述の分光分析が行われ得る。分光分析をデジタルで行う場合、信号はデジタル化され、各センサの行からのどの「対象の信号」が各センサの列に存在するのかの及びどれほどの「対象の信号」が各センサの列に存在するのかを判定するために、各列のスペクトルが分析される。
<差動伝送>
上に記載されるような投影型容量式(PCAP)タッチセンサは、感度および信号対妨害比を低下させるいくつかの問題を抱え得る。これらの問題は、結果として、真のタッチ事象が認識されず、誤ったタッチ事象が生じ、他の問題に帰着し得る。これらの問題の1つは、「クロストーク」であり、これはタッチ事象によって引き起こされない、行と列との間の信号の故意でない漏出である。クロストークはノイズフロアを上昇させ、その結果、真のタッチ事象からの信号は、干渉と区別するのがより難しくなる。それ故、クロストークを低減させ、これらの有害な効果を軽減する装置および方法が望まれる。
下に記載されるそのような装置および方法の実施形態は、上に記載された実施形態とは無関係に又はそれらのいずれかと組み合わせて使用され得る。例えば、下に記載される差動技術は、表題「高速マルチタッチのノイズ低減」の下で上に記載されたPCAPセンサの立体的な(stereo)実施形態と組み合わせて特に好適に使用され得る。そのような実施形態において、装置の行と列の両方は、固有の信号を送信し、それぞれ装置の列または行からの信号を受信するように構成される。
差動伝送は、投影型容量式タッチセンサにおいて行と列との間のクロストークを低減させる方法である。PCAPタッチセンサの行と列が互いに交差するため、それらの間に固有の容量結合があり、これは、各行の上に送信される信号のいくつかが、それらの交点でタッチがない状態でさえ列上に結合されることを意味する。PCAPセンサ設計は、接地面(あるいは接地スクリーンまたはリング、または行と列に近い他の導電性領域)を利用する場合、しばしば、行と列との間のこの固有の交差カップリングを増加させるように作用する。
PCAPセンサ中のタッチ事象が、指(あるいはセンサ表面の近くでタッチする又はホバリングする他の導電性物体)の静電容量により行と列との間に結合された容量性信号によって引き起こされるため、行と列との間の固有のクロストークは、意図されたユーザー操作によって引き起こされた有効なタッチ事象と同じ方法でPCAPセンサによって解釈される。したがって、行と列との間のこのクロストークは、結果として、ユーザーが意図したタッチ事象からの信号が、与えられたPCAPセンサ信号で競合しなければならない干渉の低レベルのベースラインにつながる。図43に示されるように、信号は投影型容量式タッチセンサの行に注入される。最初に、各行信号からカラム上への寄与が独立しており付加的であるように、システムが線形になると考える。単行および列のサブセットのみが本発明の原理を例証する目的のために示されるが、本明細書に記載される技術を利用するセンサの実用的な実施形態において、フルセットの列が通常使用されることは当業者によって理解されるだろう。
図43を続けて参照すると、観念的なタッチが、表示された行と列の交点で示される。クロストークがほとんどないタッチ事象に起因する列信号を描写するチャートにおいて、タッチされた列上の故意の信号が、他の列上のクロストークよりはるかに強いことに留意されたい。この干渉のベースラインレベルは、システムの信号対妨害比を低下させ、それによって、より弱いタッチを検出することを防ぎ、誤ったタッチ事象を登録させる可能性を防ぐことができる。それ故、行と列との間に結合された信号のみが、ユーザーが意図したタッチ事象からのものであるように、できるだけ多くの固有のクロストークを除去することに利点がある。本明細書に概説された差動伝送技術によるこの有害なクロストーク干渉を低減することによって、多重化または変調スキームにかかわらず、PCAPセンサの信号対妨害比が改善される。したがって、これらの技術は、時分割多重化(TDM)、符号分割多重化(CDM)、周波数分割多重化(FDM)、及び/又は他の直交変調スキームなどを使用するものを含む、様々なタイプの容量式センサに適用することができる。
行から列へのクロストークの量は、異なる列上で同じ時間に特定の信号およびその負の信号(例えば−1を掛けた信号)を送信することによって大量に減少させることができる。差動的な行グループを形成する、これらの差動的な行信号は、クロストークが原因で列において付加的に組み合わせられ、正反対であるために、各カラム上に存在している、より低いレベルの故意でない信号となる。1対の差動的な行信号のベースケースでは、これは、2つの行(1つが正、もう1つが負)から列上への結合が、多かれ少なかれ行の両方に対して等しいと想定している。図44を参照。これは、幾つかの場合において、どの2行が選ばれても真実となるが、正/負の信号対を隣接した又は近くの行上で送信することに利点があり得、これはカラムへの類似した結合を有する傾向がある。
本開示の目的のために、差動的な行グループは、組み合わせられたときに、互いに相殺する又は互いに少なくとも実質的に緩和する、2つ以上の信号のグループである。完全な相殺が望まれるが具体的な実施時に可能ではないかもしれないことは当業者によって理解されるだろう。例えば、完全な相殺は、ほんの一例として及び限定することなく、インジウム錫オキサイド(ITO)、金属メッシュ、および銀ナノワイヤーから作り上げられた導電体を含む、高抵抗率の導電体を使用する実施時に達成できない傾向にある。同様に、当業者は、差動的な行グループが、周波数領域、符号領域及び/又は時間領域、あるいはそれらの組み合わせにおいて実施され得ると理解するだろう。典型的な実施形態において、差動的な行グループは、合計でゼロまたほぼゼロになる。例えば、周波数領域では、差動的な行グループは、互いに180度(または少なくとも180度近く)位相がずれた2つの信号から構成され得る;または代替的に、差動的な行グループは、互いに120度位相がずれた3つの信号から構成され得るか、または合計360度になる量によって位相がずれた3つを超える信号から構成され得る。
図44に示されるように、クロストーク信号を軽減する1つの方法は、それらを相殺するために相殺的干渉を使用することである。不運にも、直交信号の線形結合が、「相殺する」こと、または各々の振幅が0で始まらない限り、合計でゼロになることが不可能であるため、この方法は、行信号がすべて互いに直交であるという前の仮定に反する。非直交信号を使用することの必要性は、技術的解決法がない状態で、センサがタッチ事象を明確に検出することができないことを意味する。タッチ事象の位置が基本的に予測不能であるため、タッチのある組み合わせが、望まれないクロストークとともに、それがさらに正当なタッチを相殺する行信号の組み合わせを生成することが可能である。信号構造は、そのような事象を生じさせないように構成され得る。
一実施形態では、PCAPセンサが通常有するであろう行の数は増加され、相殺信号は追加の行上に送られる。本実施形態の変形において、行は、列のピッチ未満であるピッチを有するように設計され、その結果、追加の行は、この差動技術を使用しないシステムと同じ領域に適合する。
一実施形態では、行は2つのグループへと組織され、1つのそのようなグループは、原信号を運び、もう1つのグループは、その付加的な逆信号(additive inverse)(つまり、原信号に−1を掛けたもの)を運ぶ。図45に関連して、本実施形態では、PCAPセンサの行は対で利用され、信号およびその逆信号は各対上に送られる。例えば、原信号は「a」行上に送られ、原信号に−1を掛けた信号は「b」行上に送られる。故意のタッチ事象がそのような対にわたって対称的に生じる場合、行信号の寄与は互いに相殺する。タッチが行対にわたって完全に対称的にはなりそうになく、タッチセンサは、正常なタッチが単一の行対を越えて伸びるように設計され得る。あらゆる不均衡によって、相殺されていない信号はカラム上へと送信されるだろう。
この種の差動伝送はまた、真のタッチ事象に影響するだろう。タッチ事象が正/負の行対上で対称的に生じる場合、(我々が故意に誘発することを試みている)行から列に結合された信号の量は、同様に減少または除去される。図46を参照。しかしながら、実際のタッチ事象が正/負の信号対のまわりで非常に対称的に生じることはほとんどありそうもない。それ故、結果として生じる故意の信号結合は減少されるが、タッチ事象が認識され得るような有用な振幅はまだあるであろう。また、タッチされた領域が多くの正/負の行対をカバーする場合、それらがすべて完全に対称的な結合を経験することはほとんどありそうもなく(これは行と列との間のそれらの意図的な信号結合を除去するか又は大幅に減少させるだろう)、そのため、いくつかの意図的な信号が通り、この量は、タッチ事象の検出および特徴づけを可能にするのに十分である傾向にある。
一実施形態では、正/負の対に加えて、他のタイプおよび数の信号が、それらの交差結合された信号の併用効果が合計でおよそゼロとなる、または少なくともクロストークが実質的に軽減される点にまでなる限り使用され得る。一実施形態では、もし行信号構造がシヌソイドから成ると、1つの信号が他の信号とは120度離れて各行上に送信される場合に3行のグループが使用され得る。例えば、3行のうち1行上に0度の位相オフセットを有してシヌソイドが送信され、2つ目の行上に120度の位相オフセットを有してシヌソイドが送信され、および3つ目の行上に240度の位相オフセットを有してシヌソイドが送信されるだろう。3つの異なる信号がおよそ均一な量で行上へと固有に結合される場合、信号は合計でほぼゼロになり、それ故、意図的でないクロストーク信号の大部分が除去される。
一実施形態では、列においてクロストークとして合計でゼロになるように設計されている複数の行信号が送信される。
いくつかの行が他の行よりも列へのより多く結合する場合、それらの固有の交差カップリングの最終結果がほぼゼロとなるように、行上に送信された正または負の信号の振幅を調節することが可能である。一実施形態では、行と列との間の交差カップリングは、タッチがない状態で測定され、それらの交差カップリングの最終結果がほぼゼロとなるように、行上に送信された正および負の信号の振幅を調節するために使用される。
一実施形態では、列は、行に対して異なって結合し、そのため、行から列のすべて上へのクロストークを完全に相殺することが可能となる。そのような場合、行信号は、列信号上のクロストークの機能がある基準に従って最小限にされるように、設計または調節され得る。一実施形態では、該基準は、列信号における総エネルギーである。一実施形態では、該基準は、最も大きなクロストーク信号を有する列のエネルギーである。一実施形態では、該基準は、列上で測定されるように、真のタッチ信号の信号対ノイズ比と信号対妨害比を増大させる性能指数である。
一実施形態では、行グループにおける波形の振幅、位相または他のパラメーター(これは、一実施形態では、ゼロまたはほぼゼロとなる正/負の対または他のグループである)は、列上に存在する固有のクロストークの量を判定することによって動的に調節され、その後、送信された信号のパラメーターは、それを相殺するように調節される。これは、気温変動、湿度変動、タッチ感知装置を保持する効果などの、変動条件下でさえ望まれないクロストークのほぼ最適な相殺を可能にする。 ほとんどの場合、タッチ事象が局在化される一方で、固有のクロストークがタッチ表面全体を大部分カバーするため、タッチ事象が生じている場合でも、クロストークの量を測定することが可能である。
一実施形態では、差動的な行グループを含む1つの行信号がタッチされるとき、タッチプロセッサは、その徴候によってそれを見分ける。これは、信号生成を信号受信手段と同期させることが重要である理由であり、位相または徴候を区別しようとするときに時間遅延およびオフセットが重要であることに留意されたい。
差動的な行グループを含む1つの行信号がタッチされると、差動伝送スキームを無視して、行と列が同時にタッチされるときに、受信した信号強度に対して生じる事に関して幾つかの考えられるケースがある。第1のケースでは、その行信号のためのその列における受信した信号強度は低下する。第2のケースでは、その行信号のためのその列における受信した信号強度は増大する。第3のケースでは、その行信号のためのその列における受信した信号強度が同じままであり、位相シフトなどの幾つかの他の指標が生じる。
これらのケースは、限定されないが、センサ近くの接地面の実施、含まれる特定の周波数、センサの周波数応答において共鳴があるか否かなどの、タッチセンサおよび信号構造の様々なパラメーターに依存する。
差動伝送スキーム下では、行対における信号の固有の相殺が原因で、行信号の一様でない結合は、しばしば、上記の3つのケースのいずれが生じるかにかかわらず、相殺を無効にして、全体の受信した信号強度を増加させる。本発明の差動伝送スキームを使用するタッチ感知装置のタッチプロセッサは、タッチ事象がセンサ上のどこに生じたかを正確に判定するために、どの行が実際に物理的にタッチされたかを見分けるはずである。行AおよびBは差動的な行グループを含み、それ故、行B上の信号が行A上の信号の付加的な逆信号であると想定すると、上記の3つのケースのどれが生じたかによってその結果は異なる。
上記の第1のケースに関して、ユーザーが行Aにタッチする場合、全体の受信した信号に対するその寄与度は低下し、それによって、行Bからの信号は、特定の列上の全体の受信した信号を支配する(dominate)。それ故、タッチプロセッサは、行Aの信号よりも行Bの信号を測定する場合、タッチが実際に行A上で生じたと想定するように構成され得る。
上記の第2のケースに関して、ユーザーが行Aにタッチする場合、全体の受信した信号に対するその寄与度は増大し、それによって、行Aからの信号は、特定の列上の全体の受信した信号を支配する。それ故、タッチプロセッサは、行Bの信号よりも行Aの信号を測定する場合、タッチが実際に行A上で生じたと想定するように構成され得る。
上記の第3のケースに関して、ユーザーが行Aにタッチする場合、全体の受信した信号に対するその寄与度は同じままとなる。しかしながら、AまたはBの1つにその特定の列上の全体の受信した信号を支配させる幾つかの他の指標(位相シフトなど)があるかもしれない。どちらも支配しない場合、これは、センサ上の特定のタッチを検出する特に優れた方法ではないかもしれない。1つが支配する場合、タッチプロセッサは、どの行が実際に物理的にタッチされたかを判定することができるが、それは、タッチが行から列への信号結合にどのように影響するかに依存する。タッチが行Aから結合された信号において位相シフトを引き起こす場合、行Bからの信号は、恐らく特定の列上の全体の受信した信号を支配するだろう。
一実施形態では、送信器のグループ(恐らく正/負の対)は、静的に割り当てられないが、その割り当ては、いくつかの条件に従って変わり得る。これを行う理由は、技術の望ましくない効果(例えば多少対称的なタッチ)をタッチ表面上の特定の場所に局在化しておく代わりに、それらを全表面にわたって広げることを含むかもしれない。また、行グループが時間とともに変わり、行グループがタッチ事象の間に動的に移動される場合にグループの対称的な結合が除去されるため、単一フレーム時間より長い持続時間のタッチが、特定の行グループを中心に対称である場合であっても検出されることが可能となり得る。
一実施形態では、各行グループのメンバーは、タッチ表面上で互いに隣接しておらず、それでも、それらの信号の組み合わせが列において大部分が相殺されるように設計されている。これらの行が単一のタッチ事象の幅より一層離れている場合、単一の故意のタッチ事象は、どんな行グループによっても相殺されない。本実施形態の利点は、単一のタッチ事象が悪影響を受けないということであり、それでも、行と列との間の望まれない固有のクロストークは大幅に低減される。図47を参照。同じ信号を有するが、異なる徴候または位相を有する複数の行があるという事実は、これらの信号がマッチドフィルタまたは他の信号処理技術によってまだ明確にされ得るため、単一のタッチ検出に影響しないだろう。
与えられた差動的な行グループの信号が、インジウム錫オキサイド(ITO)、金属メッシュ、銀ナノワイヤーなどのタッチセンサを作り上げるために典型的に使用される、損なわれた(compromised)導電体上でも完全には相殺されないかもしれないことに留意されたい。それ故、損なわれた導電体から構成されたセンサにおいて本明細書で概説される差動信号技術を利用するときに、行グループのメンバーは、最大量の相殺を可能にすることを確かなものとするために、恣意的に遠く離れて置かれるべきではない。
一実施形態では、各々の差動的な行グループのメンバーは、互いに隣接しておらず、また、各行グループのメンバー間の距離が時間とともに変わるように動的に割り当てられる。このように、複数のタッチは、単一フレーム時間より長い持続時間を有する限り、差動的な行信号のスキームによる影響を受けそうにない。
一実施形態では、各々の差動的な行グループのメンバーまたは行グループ自体は、単一フレーム時間を超える持続時間を有するタッチ事象が、不運な及び望まれない行信号の割り当てによって相殺されないように、タッチ表面にわたってフレームごとに連続的に再びマッピングされる。一実施形態では、各行グループのメンバーまたは行グループ自体は、タッチ事象が差動的な行グループを含む位相外れの信号のすべてからの実質的に等しい寄与によって相殺される確率を統計的に低下させるパターンに従って、連続的に再びマッピングされる。一実施形態では、統計的な測定は、ユーザーが意図したタッチ事象の望まれない相殺が生じるフレームの平均数を最小限にする。一実施形態では、統計的な測定は、望まれない相殺が生じるかもしれない連続的なフレームの最大数を最小限にする。図48を参照。
一実施形態では、各行グループのメンバーは一定間隔で置かれるが、行信号は、特定の行グループの各メンバーの相対位置が変わらないが、タッチセンサの物理配置に対するそれらの位置が変わるように、動的に割り当てられる。
一実施形態では、行信号の動的割当はランダムである。一実施形態では、行信号の動的割当は擬似ランダムである。一実施形態では、行信号の動的割当は、行信号が各フレーム時間のそれらの最後の割り当てから固定数の行を割り当てられるようにマッピングされる。
一実施形態では、考えられ得る行信号のグループの数は、与えられたPCAPセンサ上で行信号が割り当てられ得る物理的な行の数より多い。これは、行信号のサブセットが、特定の割り当てスキームの間に常に存在するとは限らないことを意味するだろう。
図45に関連して、一実施形態では、行信号は、特定の差動的な行グループに割り当てられたPCAPセンサの物理的な行の間に最小の物理的距離があるように割り当てられる。
一実施形態では、行信号は現行セットのタッチに反応する。一実施形態では、行グループの行信号は、ユーザーの手のひらがタッチセンサ上に静止するなどのときに、拡張領域のタッチ事象の検出されたタッチを最小限にするために、拡張領域のタッチ事象に一致するセンサの物理的な行に意図的にマッピングされる。一実施形態では、この技術は、前のフレームに基づいてハードウェアレベルで手のひらを拒絶し、それによって後の計算要件を最小限にするために使用される。一実施形態では、拡張領域のタッチ事象に一致する行グループの行信号は、ユーザーの手のひらを最大限に拒絶してもなお、個々のタッチ事象を「手のひらにマップされた」行上に登録することを可能にするために行グループの行信号の十分な物理的な間隔を可能にするべく手のひらの上にマッピングされる。
一実施形態では、行信号は、タッチが、差動的な行グループとタッチの不運な及び望まれない相対位置によって相殺される可能性が最小限にされるように動的に割り当てられる。一実施形態では、行信号は、タッチが、行グループとタッチの不運な及び望まれない相対位置によって相殺される最大期間が最小限にされるか、または特定の閾値未満まで抑制されるように割り当てられる。
行信号を送信するTDM送信スキームを使用する一実施形態では、互いに集合的に相殺する差動的な行グループの2つ以上の同時の行信号は、与えられたセンサの物理的な行の一部上に送信される。これらの同時の行信号は、典型的なタッチの縦方向の広がりよりも大きく離れた最小距離であるように、センサの物理的な行にわたって間隔を置かれる。行グループのこれらの行信号は、与えられた期間にわたって、センサの物理的な行のすべてにわたって循環するように送信される。センサの物理的な行のすべてにわたるそれらの全サイクルの間に、差動的な行グループの与えられた行信号の物理位置は、定義された連続パターンに従って決定され得る、ランダムに割り当てられ得る、または擬似ランダムに割り当てられ得る。図49を参照。
直交信号の実施形態では、行信号は、センサの物理的な行のすべてにわたって同時に送信される。これらの行信号の2つ以上は、その信号が集合的に互いに相殺する行グループを含む。行グループのメンバーは、最小距離で離れているようにセンサの物理的な行にわたって間隔を置かれ、最小距離は、典型的なタッチの縦方向の広がりより大きい。タッチセンサの物理的な行にわたるこの物理的な最小間隔を維持しながら、行グループの行信号及び/又は行グループは、タッチセンサの物理的な行にわたってフレームごとに連続的に再びマッピングされる。行グループの行信号間の物理的な最小距離の確保と、タッチ表面にわたる行グループ中の行信号または行グループ自体の連続的、物理的な、フレームごとの再マッピングとの組み合わせは、クロストークが最小限にされ、感知されるタッチ事象が最大限にされるシングルタッチおよびマルチタッチの使用シナリオのための強固なPCAP差動感知スキームを集合的に可能にする。図50を参照。
一実施形態では、行信号は真に直交ではないが、少しの非直交性を含んでいる。本実施形態では、ほぼ直交の行信号は、それらの全体的な寄与がカラム上にクロストークを相殺し、それでも、(恐らく真のタッチ事象において遭遇するかもしれないとして)それらのより小さなサブセットの線形結合が行信号の完全な(またはほぼ完全な)相殺を引き起こさないように設計(または調節)され得る。
上に記載された差動技術は、PCAPセンサ(PCAP)において有害なクロストーク干渉を低減することによって、信号対妨害比を改善するために使用され得る。これは、時分割多重化(TDM)、符号分割多重化(CDM)、周波数分割多重化(FDM)、及び/又は他の直交変調スキームを含む、それらの多重化または調節スキームとは無関係である。基本概念は、図44−46に示されるように、1対の差動的な行信号に及ぶ単一のタッチは、物理的なタッチから感知された寄与を相殺し得る。図47に示されるように、差動的な行グループ内の行信号は、隣接する又は近くの差動対によって相殺されている単一のタッチ事象の問題を解決するために、典型的なタッチの縦方向の広がりより大きな最小距離によって物理的に分離され得る。
上に留意されるように、差動伝送スキームを使用するセンサでは、行対における信号の固有の相殺が原因で、行信号の一様でない結合は、上記の3つのケースのいずれが生じるかにかかわらず、相殺を無効にして、全体の受信した信号強度を増加させる。一実施形態では、本明細書に記載されるタッチプロセッサは、タッチ事象がセンサ上のどこに生じたかを正確に判定するために、どの行が実際に物理的にタッチされたかを見分ける。複数の、同時のタッチ事象の確実な検出を確かなものとするために、行グループ中の行信号及び/又は行グループ自体は、ランダムに、擬似ランダムに、またはタッチ事象が差動的な行グループを含む位相外れの信号のすべてからの実質的に等しい寄与によって相殺される確率を統計的に低下させるパターンに従って、フレームごとに連続的に再びマッピングされ得る。一実施形態では、統計的な測定は、不運な相殺が生じるフレームの平均数を最小限にする。一実施形態では、統計的な測定は、望まれない相殺が生じるかもしれない連続的なフレームの最大数を最小限にする。
上に記載されるようなTDMの実施形態では、互いに集合的に相殺する行グループの2つ以上の同時の行信号は、与えられたセンサの物理的な行の一部上に送信される。これらの同時の行信号は、典型的なタッチの縦方向の広がりよりも大きく離れた最小距離であるように、センサの物理的な行にわたって間隔を置かれ得る。行グループのこれらの行信号は、与えられた期間にわたって、センサの物理的な行のすべてにわたって循環するように送信される。センサの物理的な行のすべてにわたるそれらの全サイクルの間に、行グループの与えられた行信号の物理位置は、定義された連続パターンに従って決定され得る、ランダムに割り当てられ得る、または擬似ランダムに割り当てられ得る。
いくつかの実施形態では、上に議論されるような差動的な行グループ内の行信号の最小の物理的な行間隔の使用は、フレームごとのタッチ表面にわたる差動的な行グループ内の行信号及び/又は行グループ自体の連続的な再マッピングと組み合わせられて、クロストークが最小限にされ、感知されるタッチ事象が最大限にされるシングルタッチおよびマルチタッチの使用シナリオのための強固なPCAP差動感知スキームが可能になる。
上に記載されるいくつかの実施形態に従って、拡張領域のタッチ事象に一致する差動的な行グループ内の行信号は、手のひらを最大限に拒絶してもなお、個々のタッチ事象が「手のひらにマップされた」行上に登録されることを可能にするために差動的な行グループの行信号の十分な物理的な間隔を可能にするべくユーザーの手のひらの上にマッピングされる。
上に留意されるように、タッチ事象がない状態では、差動的な行グループのメンバーである隣接していない差動的な行信号は、ITO、金属メッシュ、および銀ナノワイヤーなどの損なわれた導電体上で互いに完全には相殺しないかもしれない。それ故、そのような導電体から構成されたセンサにおいて本明細書で概説される差動信号技術を利用するときに、最大量の相殺を可能にすることを確かなものとするために、行グループのメンバーを恣意的に遠く離して置かないことに利点がる。
本システムおよび方法は、周波数変換とヘテロダイン処理のための方法および装置のブロック図並びに操作上の実例を参照して上に記載される。ブロック図または操作上の実例の各ブロック、およびブロック図または操作上の実例のブロックの組み合せが、アナログまたはデジタルのハードウェアおよびコンピュータプログラム命令によって実施され得ることを理解されたい。これらのコンピュータプログラム命令は、汎用コンピュータのプロセッサ、専用コンピュータ、ASIC、または他のプログラム可能データ処理装置に提供され得、これにより、コンピュータのプロセッサ又は他のプログラム可能データ処理装置によって実行される命令が、ブロック図または操作ブロックで指定された機能/動作を実施する。幾つかの代替的な実施において、ブロック内で留意される機能/動作は、操作上の実例中で留意される順序とは異なる順序で生じ得る。例えば、連続して示される2つのブロックは実際に、関与する機能/動作に応じて、ほぼ同時に実行されるか、または時に逆の順序で実行されてもよい。
本明細書における「一実施形態」または「実施形態」に対する言及は、実施形態に関連して記載される特定の機能、構造、または特徴が、本開示の少なくとも1つの実施形態に含まれることを意味している。本明細書の様々な場所にある句「一実施形態」の出現は、必ずしも全てが同じ実施形態を指しておらず、他の実施形態に相容れない別個の又は代替的な実施形態でもない。さらに、幾つかの実施形態により示されるが他の実施形態によっては示されない、様々な特徴が記載される。同様に、他の実施形態ではなく幾つかの実施形態の必要条件となり得る、様々な必要条件が記載される。本明細書におけるユーザーの指の大きさへの言及は、平均的なユーザーの指の接触面積の大きさを意味するものとする。
本発明はその好ましい実施形態に関連して具体的に示され記載されているが、形態および詳細の様々な変更が、本発明の精神および範囲から逸脱することなくここでなされてもよいことは当業者によって理解される。