JP5782446B2 - 接触面上における1つまたは複数の対象用の接触データの決定 - Google Patents

接触面上における1つまたは複数の対象用の接触データの決定 Download PDF

Info

Publication number
JP5782446B2
JP5782446B2 JP2012535161A JP2012535161A JP5782446B2 JP 5782446 B2 JP5782446 B2 JP 5782446B2 JP 2012535161 A JP2012535161 A JP 2012535161A JP 2012535161 A JP2012535161 A JP 2012535161A JP 5782446 B2 JP5782446 B2 JP 5782446B2
Authority
JP
Japan
Prior art keywords
contact
signal
light
contact surface
panel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012535161A
Other languages
English (en)
Other versions
JP2013508852A5 (ja
JP2013508852A (ja
Inventor
クリスチャンソン,トーマス
クルス,マティアス ブライボーン
クルス,マティアス ブライボーン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
FlatFrog Laboratories AB
Original Assignee
FlatFrog Laboratories AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by FlatFrog Laboratories AB filed Critical FlatFrog Laboratories AB
Publication of JP2013508852A publication Critical patent/JP2013508852A/ja
Publication of JP2013508852A5 publication Critical patent/JP2013508852A5/ja
Application granted granted Critical
Publication of JP5782446B2 publication Critical patent/JP5782446B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04109FTIR in optical digitiser, i.e. touch detection by frustrating the total internal reflection within an optical waveguide due to changes of optical properties or deformation at the touch location

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

関連出願の相互参照
本出願は、2009年10月19日出願のスウェーデン特許出願第0950768−2号および2009年10月19日出願の米国仮出願第61/272,665号の利益を主張し、これら両方の出願が、参照により本明細書に援用されている。
本発明は、タッチセンシティブパネルおよびかかるパネルに関連するデータ処理技術に関する。
コンピュータ、電子測定およびテスト機器、ゲームデバイス等へ入力データを供給するために、タッチセンシティブパネルが、ますます用いられている。パネルには、ユーザが、例えばポインタ、スタイラス、または1つもしくは複数の指を用いて対話するグラフィカルユーザインターフェース(GUI)を設けてもよい。GUIは、固定的または動的であってもよい。固定的なGUIは、例えば、パネルの上、下、または内部に配置された印刷物の形態であってもよい。動的GUIは、パネルと一体化されるかもしくはパネルの下に配置された表示スクリーンによって、またはプロジェクタによってパネル上に投影される画像によって提供することができる。
例えば、パネル上の接触点から散乱された光を捕捉するためにカメラを用いることによって、または抵抗性ワイヤグリッド、容量性センサ、歪みゲージ等をパネルに組み込むことによって、タッチセンシティビティをパネルに提供するための多数の周知の技術が存在する。
米国特許出願公開第2004/0252091号明細書は、減衰全内部反射(FTIR)に基づく代替技術を開示する。光は、パネルに結合され、全内部反射によってパネル内を伝播する。光センサアレイが、パネルの周囲回りに配置されて光を検出する。対象がパネル表面と接触すると、光は、接触点において局所的に減衰される。対象の位置は、光センサアレイにおいて、各光源からの光の減衰に基づいて三角測量によって決定される。
米国特許出願公開第2009/0153519号明細書は、信号を伝導できるパネルを開示する。トモグラフが、パネルに隣接して配置され、信号フローポートが、別々の位置でパネルの境界回りに配列される。信号フローポートにおいて測定された信号は、トモグラフィー的に処理されて、パネルにおける伝導率の二次元表現を生成し、それによってパネル表面上の接触対象を検出することができる。例えば、周知のフィルタ補正逆投影アルゴリズムを用いたトモグラフィー再構成は、処理集約的な作業である。したがって、トモグラフィー再構成は、特に二次元的表現の高解像度が必要な場合に、著しい処理時間を必要とする可能性がある。
本発明の目的は、先行技術の1つまたは複数の極限を少なくとも部分的に克服することである。
これや他の目的は、以下の説明に現れる場合もあるが、独立クレームによる方法、コンピュータプログラムプロダクト、位置を決定するための装置、および接触検出機器によって少なくとも部分的に達成され、それらの実施形態は、従属クレームによって定義される。
本発明の第1の態様は、接触検出機器における方法である。この機器には、接触面および対向面を画定する光透過パネルと、パネル内で光シートを供給するための光源機構であって、各シートが、接触面と対向面との間の内部反射によって、入力結合部位から出力結合部位へ伝播する光を含む光源機構と、が含まれ、前記機器には、さらに、出力結合部位に達する光を検出するための光センサ機構であって、接触面に接触する1つまたは複数の対象が少なくとも2つの光シートの局所的減衰を引き起こすように、接触検出機器が構成された光センサ機構が含まれる。方法には、光の空間分布を示す少なくとも1つの投影信号を前記出力結合部位内で取得するステップと、前記減衰を表す信号プロファイルの識別のために前記少なくとも1つの投影信号を処理するステップと、信号プロファイルに基づいて、接触面上の1つまたは複数の候補接触領域を識別するステップと、前記少なくとも1つの投影信号を処理して、前記1つまたは複数の候補接触領域内における信号値の二次元分布を再構成するステップと、候補接触域内における再構成された信号値を処理することによって、前記または各対象用の接触データを決定するステップと、が含まれる。
一実施形態において、識別ステップには、各信号プロファイル用に、接触面にわたる減衰経路を決定するステップであって、減衰経路が、信号プロファイルに基づいて決定される幅を有するステップと、このように決定された減衰経路のセットの関数として、接触面上の前記1つまたは複数の候補接触領域を識別するステップと、が含まれる。
一実施形態において、識別ステップには、減衰経路を交差させるステップが含まれる。かかる実施形態において、取得ステップには、複数の投影信号を取得するステップであって、各投影信号が、接触面上の不感帯セットに関連付けられ、投影信号が、接触面に接触する対象に無感応であるステップを含んでもよく、かつ識別ステップには、さらに、減衰経路を不感帯と交差させるステップが含まれる。
一実施形態において、取得ステップには、複数の投影信号を取得するステップが含まれ、識別ステップには、各投影信号用に、接触面上の関連減衰経路の位置を表す経路図を生成するステップと、生成された経路図を交差させるステップと、が含まれる。かかる実施形態において、各経路図は、前記光シートの1つに関連付けてもよく、かつ識別ステップには、関連するシートにおける光線間の角度を最小化するように経路図ペアを形成するステップと、前記経路図ペアを交差させるステップと、を含んでもよい。
一実施形態において、取得ステップには、複数の投影信号を取得するステップが含まれ、識別ステップには、投影信号ペア用に、投影信号ペア用に決定された減衰経路の交差を表す経路図を生成するステップと、生成された経路図を交差させるステップと、が含まれる。かかる実施形態において、各投影信号は、前記光シートの1つに関連付けてもよく、かつ識別ステップには、関連するシートにおける光線間の角度を最小化するように前記投影信号ペアを形成するステップを含んでもよい。かかる実施形態において、交差ステップには、経路図を幾何学的に整列させるステップと、経路図に対して論理積演算を実行するステップと、を含んでもよい。各経路図は、さらに、接触面上の不感帯の位置を表してもよく、この場合に投影信号は、接触面に接触する対象に無感応である。
一実施形態において、減衰経路を決定するステップには、信号プロファイルの境界を決定するステップと、信号プロファイルに対応して接触面にわたる光路を識別するステップと、識別された光路に基づいて接触面にわたる境界を再びたどるステップと、が含まれる。かかる実施形態において、境界を再びたどるステップには、光散乱による、入力結合部位までの距離に対する信号プロファイル幅の依存を表す所定の幅関数を適用するステップを含んでもよい。一実施形態において、光散乱は、接触面および対向面の少なくとも1つによって引き起こされる。幅関数は、入力結合部位までの距離の関数として、信号プロファイルの幅を与えられた対象の実際の幅を表し得る。
一実施形態において、減衰経路を決定するステップには、多角形、好ましくは凸多角形によって各減衰経路を表すステップが含まれる。
一実施形態において、光シートは、第1の入力結合部位に沿って第1の光ビームセットを掃引し、それによって、第1のビームセットが、第1の主方向において接触面にわたって掃引されるようにすること、および第2の入力結合部位に沿って第2の光ビームセットを掃引し、それによって、第2のビームセットが、第2の主方向において接触面にわたって掃引されるようにすることによって生成される。
一実施形態において、光シートは、それぞれの入力結合部位から離れる方向で、接触面の平面において拡散するビームの形態で生成される。
一実施形態において、各投影信号は、光シートの1つに関連付けられる。
一実施形態において、投影信号を取得するステップには、出力結合部位内において、光エネルギの空間分布を表すエネルギ信号を取得するステップと、背景信号によってエネルギ信号を正規化するステップであって、背景信号が、接触面に接触する対象なしに出力結合部位内の光エネルギの空間分布を表すステップと、が含まれる。
本発明の第2の態様は、データ処理システム上で実行される場合に、第1の態様の方法を実行するように適合されたコンピュータコードを含むコンピュータプログラムプロダクトである。
本発明の第3の態様は、接触検出機器に含まれる、接触面上の1つまたは複数の対象用の接触データを決定するための装置である。この装置には、出力結合部位内で、光の空間分布を示す少なくとも1つの投影信号を取得するための要素と、減衰を表す信号プロファイルの識別のために前記少なくとも1つの投影信号を処理するための要素と、信号プロファイルに基づいて、接触面上の1つまたは複数の候補接触領域を識別するための要素と、前記1つまたは複数の候補接触領域内で信号値の二次元分布を再構成するために、前記少なくとも1つの投影信号を処理するための要素と、候補接触域内で、再構成された信号値を処理することによって、前記または各対象用の接触データを決定するための要素と、が含まれる。
本発明の第4の態様は、接触検出機器であって、接触面および対向面を画定する光透過パネルと、パネル内で光シートを供給するための光源機構であって、各シートが、接触面と対向面との間の内部反射によって、入力結合部位から出力結合部位へ伝播する光を含む光源機構と、出力結合部位に達する光を検出するための光センサ機構であって、接触面に接触する対象が少なくとも2つの光シートを局所的に減衰させるように接触検出機器が構成される光センサ機構と、第3の態様に従って、接触データを決定するための装置と、を含む接触検出機器である。
第1の態様の実施形態の任意の1つを、第2〜第4の態様と組み合わせることができる。
本発明の第5の態様は、接触検出機器における方法である。この方法には、出力結合部位内で、光の空間分布を示す少なくとも1つの投影信号を取得するステップと、減衰を表す信号プロファイルの識別のために前記少なくとも1つの投影信号を処理するステップと、各信号プロファイル用に、接触面にわたる減衰経路を決定するステップであって、減衰経路が、信号プロファイルに基づいて決定される幅を有するステップと、このように決定された減衰経路セットの関数として、接触面上の1つまたは複数の候補接触領域を識別するステップと、候補接触領域に基づいて1つまたは複数の対象用の接触データを決定するステップと、が含まれる。
本発明のさらに他の目的、特徴、態様および利点は、以下の詳細な説明、添付の特許請求の範囲と同様に図面から明らかになろう。
ここで、本発明の実施形態を、添付の概略図に関連して、より詳細に説明する。
図1Aは、接触検出機器の側面図である。図1Bは、かかる接触検出機器のファンビーム実施形態の上面図である。図1Cは、かかる接触検出機器の走査ビーム実施形態の上面図である。図1Dは、走査ビーム実施形態における投影信号の生成を示す。 図2は、実施形態による接触決定用の方法の流れ図である。 図3Aは、接触シグネチャを備えた投影信号のプロットである。図3Bは、接触シグネチャを備えた投影信号のプロットである。 図4Aは、光線と接触対象との間の相互作用を備えた走査ビーム実施形態を示す。図4Bは、特定のビーム掃引用の照明されていないゾーンを示す。 図5Aは、2つの異なる投影信号用の減衰経路および照明されていないゾーンを示す。図5Bは、2つの異なる投影信号用の減衰経路および照明されていないゾーンを示す。 図6Aは、図4Aにおける走査ビーム実施形態用に得られた多角形セット、多角形交差および解析領域を示す。図6Bは、図4Aにおける走査ビーム実施形態用に得られた多角形セット、多角形交差および解析領域を示す。図6Cは、図4Aにおける走査ビーム実施形態用に得られた多角形セット、多角形交差および解析領域を示す。 図7は、図6の多角形セット、ならびに多角形セットの異なる組み合わせ順序で得られる多角形交差および解析領域を示す。 図8Aは、光線と接触対象との間の相互作用を備えたファンビーム実施形態を示す。図8Bは、対応する多角形セットを示す。 図9は、図8Bにおける多角形セットを組み合わせることによって得られる多角形交差および解析領域を示す。 図10Aは、解析領域を識別するための中心線技術を示す。図10Bは、解析領域を識別するための中心線技術を示す。図10Cは、解析領域を識別するための中心線技術を示す。図10Dは、解析領域を識別するための中心線技術を示す。図10Eは、解析領域を識別するための中心線技術を示す。図10Fは、解析領域を識別するための中心線技術を示す。図10Gは、解析領域を識別するための中心線技術を示す。 図11Aは、完全な再構成にからもたらされる減衰値のプロットを示す。図11Bは、多角形交差によって識別される解析領域のプロットである。図11Bは、局所的な再構成からもたらされる減衰値のプロットである。 図12Aは、接触位置を決定するための例示的な方法の流れ図である。図12Bは、接触位置を決定するための例示的な方法の流れ図である。 図13Aは、接触位置を決定するための装置のブロック図である。図13Bは、接触位置を決定するための装置のブロック図である。 図14Aは、1つの接触対象を備えた状況に対する、出力結合部位内の位置の関数としての投影信号、背景信号および伝播信号のそれぞれのプロットである。図14Bは、1つの接触対象を備えた状況に対する、出力結合部位内の位置の関数としての投影信号、背景信号および伝播信号のそれぞれのプロットである。図14Cは、1つの接触対象を備えた状況に対する、出力結合部位内の位置の関数としての投影信号、背景信号および伝播信号のそれぞれのプロットである。 図15Aは、接触検出機器における散乱によって引き起こされる分散関数のグラフである。図15Bは、接触検出機器における散乱によって引き起こされる分散関数のグラフである。 図16Aは、図15A−15Bにおける分散関数の元(origin)を示す働きをする、光透過パネル内で伝播するビームの上面図である。図16Bは、図15A−15Bにおける分散関数の元を示す働きをする、光透過パネル内で伝播するビームの上面図である。図16Cは、図15A−15Bにおける分散関数の元を示す働きをする、光透過パネル内で伝播するビームの上面図である。図16Dは、図15A−15Bにおける分散関数の元を示す働きをする、光透過パネル内で伝播するビームの上面図である。 図17Aは、減衰経路の生成を示す走査ビーム実施形態の上面図でる。図17Bは、減衰経路の生成を示す走査ビーム実施形態の上面図である。 図18Aは、減衰経路の生成を示すファンビーム実施形態の上面図である。図18Bは、減衰経路の生成を示すファンビーム実施形態の上面図である。 図19は、測定データに基づいた分散関数のグラフである。
本発明は、接触検出機器の接触面における少なくとも1つの対象および典型的には多数の対象の位置を検出するための技術に関する。説明は、光透過パネルの内部を照明するための多数の例示的な機構に関連して、接触決定のための減衰全内部反射(FTIR)の使用を提示することによって開始する。次に、接触決定のための方法が説明され、方法のいくつかのステップが、より詳細に説明される。最後に、光透過パネルにおける散乱によって引き起こされる信号分散の影響と同様に、接触決定方法の改善のために信号分散をどのように使用し得るかが説明される。
説明の全体を通して、同じ参照数字は、対応する要素を識別するために用いられる。
次の表記は、いくつかの信号、信号パラメータ、および信号表現を識別するために用いられる。
:空間伝播信号i
i、j:空間伝播信号iにおけるピークj
i、j、l:空間伝播信号iにおけるピークjの左極限
i、j、r:空間伝播信号iにおけるピークjの右極限
i、j、m:空間伝播信号iのピークjにおける極小の位置
:空間伝播信号i用の多角形セット
i、j:多角形セットiにおける減衰経路j
i、j:多角形セットiにおける不感帯j
i+k:多角形セットAおよびAの交点
照明および検出
図1Aは、接触検出機器における例示的な機構の側面図である。この機構には、光透過パネル1、1つまたは複数の光エミッタ2(1つが示されている)、および1つまたは複数の光センサ3(1つが示されている)が含まれる。パネルは、2つの対向する略平行な面4、5を規定し、かつ平面または曲面であってもよい。放射伝播チャネルが、パネルの2つの境界面間に設けられ、境界面4、5の少なくとも1つによって、伝播光は、接触対象6と相互作用することが可能になる。典型的には、エミッタ2からの光は、放射伝播チャネルにおける全内部反射(TIR)によって伝播し、センサ3は、パネル1の周囲に配置されて、受信光のエネルギを示すそれぞれの出力信号を生成する。
図1Aに示すように、光は、パネル1の上面および底面4、5を接続するエッジ部を介してパネル1の中へ、およびそこから外へ直接結合してもよい。代替として、別個の結合要素(例えばウェッジの形態をした(図示せず))を、エッジ部、またはパネル1の上面もしくは底面4、5に装着して、光をパネル1の中へ、および/またはそこから外へ結合してもよい。対象6が、上面4に十分に接近すると、光の一部は、対象6によって散乱される可能性があり、光の一部は、対象6に吸収される可能性があり、かつ光の一部は、影響されずに伝播し続ける可能性がある。したがって、対象6が、図1Aにおけるパネルの上面4に接触すると、全内部反射は妨げられ、透過光のエネルギは減少する。
接触対象6の位置は、複数の異なる方向からパネル1を通して透過される光のエネルギを測定することによって決定してもよい。これは、例えば、多数の離間されたエミッタ2を動作させて、パネル1内で対応する数の光シートを生成することによって、およびセンサ3を動作させて、各光シートの透過エネルギのエネルギを検出することによって、行ってもよい。接触対象が、少なくとも2つの光シートを減衰させる限り、対象の位置は、決定することができる。図1Aの実施形態において、データ処理装置7は、センサ3からの出力信号を処理して、接触対象6の位置を決定するように構成される。
図1Aに示すように、光は、接触対象6によって遮断されない。したがって、2つの対象が、エミッタ2からセンサ3への光路に沿って前後に配置されることが起きた場合に、光の一部は、両方の対象と相互作用する。光エネルギが十分であれば、光の残りが、センサ3に達し、かつ両方の相互作用(接触点)を識別できるようにする出力信号を生成する。通常、各かかる接触点は、範囲0〜1の、しかし普通は範囲0.7〜0.99の透過率を有する。光路iに沿った総透過率tは、その光路における接触点の個別透過率tの積t=Πtである。したがって、たとえ多数の接触対象が光路に一直線に位置していても、データ処理装置7が、それらの位置を決定することが可能になり得る。
図1Bおよび1Cは、光透過パネル1内で光シートを生成するための例示的な光源機構、および各シートの透過エネルギを検出するための光センサ機構を示す。
図1Bの実施形態において、2つの離間されたエミッタ2からの光は、パネル1に結合され、全内部反射によってパネル1内を伝播する。各エミッタ2は、エミッタ2から離れるように伝播しながらパネル1の平面において拡散する光のビームB1、B2を生成する。かかるビームは、ファンビームと呼ばれ、この種の実施形態は、以下において一般に「ファンビーム実施形態」と呼ばれる。各ファンビームB1、B2は、パネル1上の入力結合部位内の1つもしくは複数のエントリ点または入力結合点から伝播して光シートを形成し、この光シートは、この例において、ほぼパネル1全体を通して分散される。光センサアレイ3は、パネル1の周囲回りに配置され、パネル1上の出力結合部位内における多数の離間された出力結合点においてエミッタ2からの光を受信する。対象の位置は、光センサアレイ3において各エミッタ2からの光の減衰に基づいて三角測量によって決定してもよい。このタイプの接触検出機器は、例えば、参照により本明細書に援用した前述の米国特許出願公開第2004/0252091号明細書から周知である。
図1Cの実施形態において、2つのビームB1、B2は、2つの異なる方向R1、R2でパネルにわたって掃引され、各透過ビームのエネルギが、走行中に測定される。典型的には、各ビームB1、B2は、パネル1の平面において視準される。このタイプの実施形態は、以下において一般に「走査ビーム実施形態」と呼ばれる。視準されたビームB1、B2の掃引によって、光シートが形成される。具体的には、各ビームB1、B2は、入力スキャナ機構8によって生成され、パネル1における入力結合部位内のエントリ点または入力結合点セットに沿って掃引される。図示の例において、エントリ点は、パネル1の左エッジおよび上端エッジに位置する。パネル1上の出力結合部位内の多数の出力結合点における透過エネルギは、出力スキャナ機構9によって測定されるが、この出力スキャナ機構9は、ビームB1、B2がパネル1にわたって掃引されるときに、入力スキャナ機構8と同期されてビームB1、B2を受信する。図示の例において、出力結合点は、エントリ点と反対の、パネル1の右エッジおよび底部エッジに位置する。
各出力スキャナ機構9には、典型的にはビームスキャナおよび1つの光センサ(図示せず)が含まれる。同様に、各入力スキャナ機構8には、典型的には光エミッタおよびビームスキャナ(図示せず)が含まれる。しかしながら、2以上の入力スキャナ機構が、同一の光エミッタを共有すること、および2以上の出力スキャナ機構が、同一の光センサを共有することが考えられる。また、2を超えるビームをパネルにわたって掃引できることを理解されたい。典型的には、ビームは、パネルにわたって平行移動される。すなわち、それらは、パネルの平面においてほぼ不変の角度(走査角)を有する。図1Cには示さなかったが、専用の光学コンポーネントが、入力結合部位および出力結合部位に関連付けられて、それぞれ、入力スキャナ機構8からの入力光を所望の方向(「走査角」)にリダイレクトし、透過光を、出力スキャナ機構9における共通の焦点領域/ポイントの方へリダイレクトする。図1Cの例において、ビームB1、B2は、パネル1のそれぞれのエッジとほぼ平行である。しかしながら、ビームB1、B2の走査角が、パネル1にわたって掃引されるときに変化することが考えられる。図示の実施形態および代替構成が、本出願人の国際公開第2010/006882号および同2010/006885号にさらに開示され、これらの出願は、参照によって本明細書に援用されている。
図1Cにおける実施形態の代替(図示せず)において、各出力スキャナ機構9およびリダイレクト光学コンポーネントは、それぞれの細長いセンサと取り替えられるが、この細長いセンサは、パネルエッジに沿って延び、パネルに光学的に接続される。各かかる細長いセンサは、時間の関数として受信エネルギを測定するように制御され、一方でビームは、パネル上の入力結合部位に沿って掃引される。したがって、図1Cにおける実施形態と同様に、透過エネルギは、パネル上の出力結合部位に関係する多数の出力結合点で測定され、出力結合点は、細長いセンサの出力信号における様々な時点に対応する。変形において、リダイレクト光学コンポーネントは保持されるが、しかし各出力スキャナ機構9は、静止放射線検出器と取り替えられ、この静止放射線検出器は、パネルエッジから離間された前述の共通焦点領域/ポイントに配置される。この変形において、静止放射線検出器は、時間の関数として受信エネルギを測定するように制御され、一方でビームは、パネル上の入力結合部位に沿って掃引される。かかる代替および変形は、本出願人の国際公開第2010/006884号および同2010/006886号にさらに開示され、これらの出願は、参照によって本明細書に援用されている。
図1Cにおける実施形態のさらなる代替(図示せず)において、ビームB1、B2が、それぞれの入力スキャナ機構8へ反射されるように、出力スキャナ機構9は、省略されて再帰反射器と取り替えられる。したがって、入力スキャナ機構8は、透過エネルギを測定するために、ビームを掃引しかつ受信するトランシーバとして構成される。かかる代替は、本出願人の国際公開第2009/048365号にさらに開示され、その出願は、参照によって本明細書に援用されている。
上記の実施形態の全てにおいて、センサ3の出力信号は、パネルにわたって延びる総検出線セットにおける測定されたエネルギを表すが、各検出線は、パネルの平面図で見られるように、入力結合点および出力結合点の一意のペア間に延び、したがって、パネル上の一意の方向および位置を有する。接触決定のための処理を受ける前に、出力信号は、各光シート用の1つの空間伝播信号に集約してもよい。したがって、空間伝播信号は、パネルの周囲回りの異なる位置における受信エネルギを表す。以下でさらに例示するように、空間伝播信号は、任意選択で背景信号によって正規化し、異なる位置における光の真の透過(または同様な意味で減衰)を表すことが可能である。以下の説明において、空間伝播信号はまた、「投影」または「投影信号」と呼ばれる。
本明細書で開示するようなファンビーム実施形態において、各エミッタに対して1つの空間伝播信号が取得され、この場合に空間伝播信号は、システムにおける全ての出力結合点で測定される、かつ特定のエミッタに帰されるエネルギ値の全体に基づいている。本明細書で開示すような走査ビーム実施形態において、各ビーム掃引に対して1つの空間伝播信号が取得され、この場合に空間伝播信号は、特定のビームが、システムにおける(典型的には単一の出力結合部位内における)出力結合点に沿って掃引されている間に測定されるエネルギ値の全体に基づいている。
この態様をさらに例示するために、図1Dは、図1Cにおける右端の出力スキャナ機構9、またはその上記のような代替のいずれかから得られる空間伝播信号Sを示す。図1Dはまた、光ビームB1がパネル1にわたって掃引されている間のビームB1用の対応する検出線セットr1、1、...、r1、Nを概略的に示すが、検出線の密度は、任意であり、とりわけ出力スキャナ機構9のサンプリングレートに依存する。空間伝播信号Sは、例えば、時間の関数として提供することが可能であり、時間は、パネル1の右端エッジに沿った位置と等価である。伝播信号Sは、接触対象(図示せず)から生じる信号プロファイルP1、1を含むように示される。一般に、かかる信号プロファイルP1、1はまた、以下において「接触シグネチャ」と呼ばれる。
接触決定
図2は、図1に関連して上で記載し説明したような接触検出機器において得られる出力信号に基づいた、接触決定のための例示的な方法の流れ図である。以下で方法ステップを簡潔に説明して、方法の概要、ならびに個別ステップおよび/またはステップの組み合わせのいくつかの利点を提示する。
方法は反復的であり、ステップ201−208の各繰り返しは、「検出インスタンス」と呼ばれる。したがって、検出インスタンスは、エミッタが活性化されている間に、センサからの出力信号、典型的には各検出線用の1つのエネルギ値のサンプリングをイネーブルにすることによって、ステップ201で開始される。インプリメンテーションに依存して、エミッタは、同時に(少なくとも部分的に)または順々に活性化してもよい。
次に、ステップ202において、上記のように、空間伝播信号が、出力信号に基づいて生成される。
続いて、ステップ203において、空間伝播信号は、ピーク、すなわち潜在的な接触シグネチャの識別のために処理される。処理の結果は、各ピーク用の極限点ペアであり、極限点は、空間伝播信号におけるピークの範囲および位置を示す。空間伝播信号が、出力結合点に相関されるので、極限点ペアもまた、接触面の周囲に沿った出力結合点ペアにマッピングされる。
ステップ204において、多角形セットが、識別された極限点に基づいて各空間伝播信号用に生成される。多角形セットは、空間伝播信号における識別されたピークから判断して、1つまたは複数の接触対象が位置する可能性がある接触面にわたる経路を表す。多角形セットの生成は、タッチパネルにわたる全ての検出線の方向およびパネルの幾何学的レイアウトなどの周知のシステムパラメータを利用する。基本的に、多角形セットは、各ピークの減衰経路を画定するために、接触面にわたり極限点の関連検出線に沿って、出力結合点から各極限点を再びたどることによって生成される。さらに、各空間伝播信号の「不感帯」、すなわち関連する出力結合部位に達する光によって照明されない接触面上のいずれかのゾーンを説明するために、1つまたは複数の多角形を、減衰経路に追加してもよい。したがって、不感帯における接触対象は、空間伝播信号における接触シグネチャとして現れない。
次に、ステップ205において、解析領域が、典型的には論理積演算において多角形セットを組み合わせることによって識別される。したがって、解析領域は、ステップ202で生成された空間伝播信号の全体に含まれる情報を考慮し、1つまたは複数の接触対象が位置する可能性がある接触面上の領域である。
ステップ206において、空間分布図が、空間伝播信号に基づき、しかし解析領域内でのみ再構成される(「局所的再構成」と呼ばれる)。空間分布図は、接触面にわたるエネルギ関連パラメータ(例えば、エネルギ、減衰または透過)の空間分布を表してもよい。概して言えば、空間分布図の再構成は、逆投影アルゴリズムと、空間伝播信号に基づいて動作する優決定方程式系もしくは統計モデルと、またはそれらの派生物と、の1つまたは複数を典型的に含む処理集約的な動作である。再構成を解析領域のみに制限することによって、再構成用の計算時間および/または必要な処理能力の著しい低減を達成することが可能になる。それはまた、再構成プロセスの計算安定性を向上させるために働き得る。なぜなら、局所的再構成プロセスが、完全な再構成よりも優決定になり得るからである。
ステップ206に対するステップ205の影響をさらに示すために、ワイドスクリーン(16:9)型の40インチタッチパネルを検討する。かかる接触平面の合計領域は、約4400cmである。10の対象がパネルに接触し、各対象が1cmの面積を有すると仮定する。2つのビームが、パネルにわたって直交して走査されている図1Cの構成において、解析領域の最大数は100であり、最大合計解析領域は、約100cmである。したがって、再構成プロセスにおいて解析領域だけを考慮することによって、再構成される面積は、44分の1に低減される。
再構成後に、空間分布図は、全ての真の接触点の識別のためにステップ207において解析される。次に、ステップ208において、接触データが、識別された接触点用に抽出されて出力され、プロセスは、新しい繰り返しのためにステップ201に戻る。限定するわけではないが、接触点のx、y座標、面積、形状および/または圧力を含む任意の利用可能な接触データを抽出してもよい。
以下において、ステップ203−207の実施形態を、より詳細に説明する。以下の説明において、空間伝播信号が、範囲0〜1に入るように正規化された透過光の減衰を表すと仮定される。しかしながら、異なるステップがまた、空間伝播信号の他のフォーマット、例えば上記のエネルギ値または正規化されたエネルギ値に適用可能であることに留意されたい。
ピーク検出および解析(ステップ203)
一実施形態において、空間伝播信号は、特定の閾値を超える減衰を備えたどんなピークも検出するように処理される。閾値は、任意の適切な値に固定し設定してもよいが、一般に0.25未満である。一例において、閾値は、最も弱い接触シグネチャを検出できるように、約0.01〜0.001などの非常に低い値に設定される。一般に、閾値は、空間伝播信号のノイズレベルの上に設定される。したがって、ピーク検出ステップの感度を改善するために、任意の標準フィルタ技術、例えば低域通過フィルタ、メジアンフィルタ、フーリエフィルタ等を用いて、ピーク検出ステップの前に、ノイズ低減用に空間伝播信号を前処理するのが望ましくなり得る。
図3Aに示すように、ピーク検出ステップは、閾値qより強い、信号Sにおける減衰ピークPi、jの極限点bi、j、l、bi、j、rを見つける。後続の再構成および識別ステップ206−207のインプリメンテーションに依存して、ピーク検出ステップはまた、ピークPi、jの中心点ci、j、幅wi、jおよび合計(統合された)減衰(図3Aにおけるハッチング領域)を計算してもよい。中心点ci、jは、例えば、ピークの最大値として、または極限点bi、j、l、bi、j、r間の中間点として識別してもよい。
ピーク検出ステップの精度を改善するために、任意の適切な補間アルゴリズムを用い、補間によって空間伝播信号における信号値の密度を増加させることが可能である。これは、空間伝播信号に関連する出力結合点および検出線の空間密度を増加させることと等価である。
ピーク検出ステップの精度を向上させる別の方法は、基底関数または基底関数セットを各ピークに適合させること、および適合された基底関数に基づいて極限点を決定することである。基底関数は、任意の形状、例えばガウスベル、コーシー−ローレンツ分布、低域通過フィルタリングされたトップハット関数等を有してもよい。
ピーク検出ステップはまた、図3Bに示すように、異なる接触対象から生じる重複ピークPi、j、a、Pi、j、bによって形成された接触シグネチャPi、jを識別するように、かつ重複ピークPi、j、a、Pi、j、bを分離するように適合してもよい。かかる分離は、(図3Bにおいて点線によって示される)基底関数セットを組み合わされたピークPi、jに適合させることによって、および適合された基底関数に基づいてそれぞれのピークの極限点を決定することによって達成してもよい。
例示的なピーク検出ステップにおいて、各空間伝播信号は、下記によって処理される。
1.空間伝播信号の左端からスタートする。
2.左から右へ行きながら空間伝播信号Sにおける信号値を繰り返し処理し、減衰が閾値qより大きくなる位置、および減衰が再び閾値qより小さくなる位置を見つける。これらの位置をピークPi、jの極限点bi、j、l、bi、j、rとして記憶する。また、各ピークPi、jに対して、ピークに境界があるかないか、すなわち極限点の1つが空間伝播信号Sにおける活性領域(以下を参照)の端部と一致するかどうかの情報を記憶する。
3.各ピークPi、jに対して、極限点bi、j、l、bi、j、rを処理して、それらをピークPi、jからわずかに潜在的に移動させる。例えば、各極限点は、信号値が大きさにおいて減少している限り、ピークから離れるように移動してもよい。このステップは、閾値qを超える信号値を有する接触シグネチャの狭い領域だけでなく、弱い接触シグネチャが全体として含まれることを保証するように働き得る。次に、結果としての極限点は、後続の計算において極限点として用いられる。
4.全てのピークPi、jに対して、恐らく、極小値の深さが、所定のまたは予め設定されたノイズ閾値を超えなければならないという追加制約と共に任意の適切なアルゴリズムを用いて、極限点間の極小値を探索する。各ピーク用の極小値bi、j、mに関する情報を記憶する。
5.1つまたは複数の極小値を有する全てのピークに対して、ピークを分割する。分割されたピーク用の極限点は、極小値の位置を極限点として用いることによって、または任意の他の適切な技術によって、上記の基底関数を用いて決定してもよい。
多角形セットの生成(ステップ204)
多角形セットを生成するステップを説明し例示する目的で、図4Aにおける走査ビーム実施形態を検討する。ここで、6つのビームB1−B6が、接触面にわたって掃引され、この場合に第1のビームセットB1、B3、B4が、第1の入力結合部位10から第1の出力結合部位11への伝播のために導入され、同時に第1の主方向R1において掃引され、第2のビームセットB2、B5、B6が、第2の入力結合部位10から第2の出力結合部位11への伝播のために導入され、同時に第2の主方向R2において掃引される。第1および第2の主方向R1、R2は、相互に直交し、パネルのエッジに平行である。第1のビームセットには、第1の入力結合部位10に垂直な1つのビームB1と、2つの非垂直で非平行なビームB3、B4と、が含まれる。第2のビームセットには、第2の入力結合部位10に垂直な1つのビームB2と、2つの非垂直で非平行なビームB5、B6と、が含まれる。
図4Aは、各ビームの中心光線が、接触面上の4つの接触対象6の外側境界とどのように相互作用するかを示す。
図4Bは、ビームB5用の照明されたゾーンを示す。ビームB5が、第1の入力結合部位に非垂直であるので、ビームB5は、ある部分(「不感帯」)を照明なしに(またはほぼなしに)して、タッチパネルのサブセットにわたって掃引されるだけである。矢印IN5が、ビームB5によって掃引される第1の入力結合部位の範囲を示すのに対して、矢印OUT5は、ビームB5によって掃引される第1の出力結合部位の範囲を示す。矢印OUT5はまた、第1の出力結合部位に対してマッピングされているようにビームB5用の空間伝播信号の活性領域を示す。
図5Aは、ビームB5用に得られた空間伝播信号Sの例と同様に、タッチパネルの平面図を示す。さらに、信号SにおけるピークP5、1、P5、2に対応する減衰経路A5、1、A5、2が、ハッチング領域として示されている。同様に、信号Sに関連する不感帯D5、1、D5、2が、ハッチング領域として示される。
図5Bは、ビームB5用に得られたピークP5、1、P5、2を備えた空間伝播信号S、ならびに対応する減衰経路A5、1、A5、2および不感帯D5、1、D5、2の例を示す。ピークP5、1に境界がなく、その減衰経路A5、1が、不感帯D5、1と少なくとも部分的に重複していることに留意されたい。
多角形セットを生成するステップは、空間伝播信号に基づいて、接触対象が位置する可能性がある、タッチパネル上の全ての領域を表す多角形を生成することを含む。不感帯は、空間伝播信号が、これらの不感帯に関する情報を含まないので、多角形セットに含まれる。
したがって、図5Aおよび5Bにおけるハッチング領域A5、1、A5、2、D5、1、D5、2はまた、それぞれの信号S用の多角形セットを表す。図5Bにおける境界のないピークP5、1の不感帯D5、1および減衰経路A5、1は、別個の多角形によってか、または単一の組み合わされた多角形によって表してもよいことに留意されたい。
図4Aにおける走査ビーム実施形態および接触対象セットに戻ると、ビームB1−B6用に生成された、結果としての多角形セットA−Aが、図6A−6Cに示されている。図6と同様に後続の図において、実線は、減衰経路の境界を示し、破線は、不感帯の境界を示す。
したがって、ステップ204は、各空間伝播信号用に生成された1つの多角形セットに帰着し、多角形セットAは、空間伝播信号S用に生成された全ての多角形Ai、pの和集合である。
Figure 0005782446
解析領域の決定(ステップ205)
解析領域を決定するステップには、様々な信号伝播信号S用に生成された多角形セットAの全交差Atotalを推定または計算することが含まれる。
Figure 0005782446
2つの多角形セットの交点は、タッチパネルの座標系内で、2つの多角形セットにおける多角形のペアワイズ一致によって計算してもよい。当業者には周知のように、交点の計算は、論理積演算の実行に対応する。
多角形および特に凸多角形の交点を計算するための多数の効率的なアルゴリズムが、先行技術に存在する。一例が、Chapter 7.6 of the book“Computational Geometry in C”,2nd edition,by Joseph O’Rourkeに示された線形時間アルゴリズムである。この本はまた、多角形交差用の様々な他のテストおよびアルゴリズムを説明している。代替または追加として、交点の計算は、例えば、Chapter 5(pp156−160)of the book“Real Time Collision Detection”by Christer Ericsonに説明されているような分離軸定理(SAT)を用いてもよい。さらに、同じ本の6〜9章に説明されているように、全ての多角形ペアをテストする必要性を回避するために、階層的幾何構造を用いることが有利になり得る。
1つの多角形が、別の多角形内に完全に位置する場合に、これらの2つの多角形の交点が、より小さな多角形に等しいと規定されることに留意されたい。
図6は、多角形セットを交差させるプロセスをさらに示す。上記のように、A−Aは、異なる空間伝播信号S−S用に生成された多角形セットを示す。図6Aの例において、多角形セットAおよびAは、交差されて多角形交差A3+5を生成する。図面の全体を通して、多角形交点に含まれる多角形は、暗い領域によって表される。図6Bの例において、多角形セットAおよびAは、交差されて多角形交差A4+6を生成する。図6Cの例において、多角形交差A3+5は、多角形セットAと交差されて多角形交差A2+3+5を生成し、多角形交差A4+6は、多角形セットAと交差されて多角形交差A1+4+6を生成し、それから多角形交差A2+3+5およびA1+4+6は、交差されと最終交差Atotalを生成する。最終交差Atotalは、接触対象が位置する可能性がある解析領域を識別する。明らかに、接触対象を含む可能性がある合計領域は、接触面の合計領域と比較して、著しく低減された。
この特定の例において、結果としての解析領域が、接触対象(図4Aを参照)とほぼ一致することに注目することができ、したがって、最終交差Atotalから接触点を直接、すなわち再構成ステップ(図2の206)を適用することなしに、識別することが可能になり得る。したがって、特に、識別されることになるあり得る接触点の数が、パネル内で生成される光シートの数に対して少ない場合に、再構成ステップを省略することが可能になり得る。
多角形セットが組み合わされる(交差される)シーケンスが最終結果にとって重要ではないことを示すことができる。異なる多角形セットから多角形を組み合わせる任意の方法を用いてもよい。しかしながら、交差演算の数は、各多角形セット用の検出線の勾配に関する情報を利用することによって低減することが可能である。
図4Aの例に戻ると、同一の主方向R1、R2におけるビーム掃引と関連する多角形セットグループと別々に交差することが有利になり得る。さらに、かかるグループ内の第1の交差が、垂直ビームB1、B2に関連する多角形セットを含むことが有利になり得る。なぜなら、これは、自身に接触を有しない全ての不感帯多角形を除去する傾向があるからである。交差プロセスのかかる実施形態が、図7に例示されており、そこでは、多角形セットA、AおよびA(図4Aにおける掃引方向R2に対応する)は、第1のグループにおいて交差され、多角形セットA、AおよびA(図4Aにおける掃引方向R1に対応する)は、第2のグループにおいて交差される。第1のグループにおいて、多角形セットA(垂直ビームB2によって生成される)は、最初に多角形セットAと交差されて多角形交差A2+5を生成し、次に、多角形交差A2+5は、多角形セットAと交差されて多角形交差A2+5+6を生成する。第2のグループにおいて、多角形セットA(垂直ビームB1によって生成される)は、最初に多角形セットAと交差されて多角形交差A1+4を生成し、次に、多角形交差A1+4は、多角形セットAと交差されて多角形交差A1+4+3を生成する。次に、多角形交差A2+5+6およびA1+4+3は、交差されて最終交差Atotalを生成する。図6を図7と比較することによって、多角形交差における多角形の数が、多角形セットを交差させる順序を最適化することによって著しく低減可能であることが分かる。
多角形セットの生成および交差の上記プロセスがまた、ファンビーム実施形態において実行可能であることを理解されたい。図8Aは、かかるファンビーム実施形態の例を示すが、そこでは、6つのエミッタe1−e6が、タッチパネルの周囲回りにおけるそれぞれの入力結合部位に位置し、各エミッタe1−e6からの透過エネルギが、タッチパネルの全周囲回りに延びる出力結合部位に位置するセンサ(図示せず)によって測定される。したがって、各エミッタe1−e6は、パネルに導入される光ビームを生成して、エミッタから離れてパネルの平面において拡散するそれぞれの光シートを形成する。図8Aはまた、接触面上の4つの接触対象6の外側境界と相互作用するビーム光線を示す。
図8Bは、それぞれのエミッタe1−e6の光シート用に得られた空間伝播信号に基づいて生成された多角形セットA−Aを示す。各多角形セットA−Aには、対応する空間伝播信号(図示せず)におけるピークに対応する減衰経路と同様に空間伝播信号に関連する不感帯が含まれる。不感帯は、それぞれのエミッタのビーム角から実質的に与えられる。図8Bの左部分において、実線は、減衰経路の境界を示し、破線は、不感帯の境界を示す。図8Bの右部分において、多角形セットA−Aにおける多角形は、暗い領域によって表される。
図9は、図8Bにおける多角形セットA−Aを交差させた結果を示す。したがって、多角形セットAおよびAは、交差されて多角形交差A1+4を生成し、多角形セットAおよびAは、交差されて多角形交差A3+6を生成し、多角形セットAおよびAは、交差されて多角形交差A2+5を生成する。次に、多角形交差A1+4およびA3+6は、交差されて多角形交差A1+4+3+6を生成し、次に、多角形交差A1+4+3+6は、多角形交差A2+5と交差されて最終交差Atotalを生成する。
最終交差Atotalは、接触対象を含む可能性がある合計領域を表す。図9は、この領域が、接触面の小さな部分を構成することを示す。図9におけるAtotalを図8Aと比較することにより、この特定の例において、交差ステップが、適切な(真の)接触点に対応しない、いくつかの解析領域を結果としてもたらすことが分かる。これらの解析領域は、後続の再構成および接触識別ステップ(図2のステップ206−207)において除去してもよい。解析領域の数は、パネルを照明する光シートの数を増加させることによって、真の接触点の所与の数に対して低減することが可能である。
多角形を生成し交差させるステップに対して多数の代替が存在することを理解されたい。
例えば、生成および交差ステップは、順番に実行する代わりに、混ぜ合わせてもよい。「中心線交差」と呼ばれるかかる一実施形態において、空間伝播信号はペアで処理され、各ペアからのピークデータは、それぞれの多角形セットを生成するように組み合わされる。かかるピークデータは、各ピークの中心点ci、jおよび幅wi、jであってもよい(図3Aを参照)。次に、結果としての多角形セットは、上記のように交差されて最終交差を生成する。中心線交差技術は、図10においてさらに例示する。図10Aにおいて、3つの中心線(実線)が、空間伝播信号Sにおいて識別されたピークの中心点に基づいて、およびパネルの底部端における出力結合部位から延びる検出線に関する知識を用いて、タッチパネルにわたって再びたどられる。さらに、不感帯が、図10Aの中心線表現に含まれる。図10Bにおいて、3つの中心線(実線)が、空間伝播信号Sにおいて識別されたピークの中心点に基づいて、タッチパネルにわたって再びたどられる。対象の2つが、検出線とほぼ整列され、ピーク識別ステップにおいて互いから分離されないことに注目してもよい。したがって、単一の中心線が、図10Bにおける最も上のピークの中心点から再びたどられる。図10Cは、図10Aおよび10Bにおける中心線表現を交差させた結果を示す。図10Dにおいて、それぞれのピークの幅を横断点へ再びたどることによって、多角形が、中心線の各交点の回りに生成された。さらに、多角形が、同様に不感帯に生成される。したがって、図10Dにおける多角形セットA4+5は、図6−9に関連して上記したような多角形交差にほぼ対応する。図10Eおよび10Fは、多角形セットA1+2およびA3+6を示すが、これらの多角形セットは、空間伝播信号S、SおよびS、Sにそれぞれ基づいて生成される。次に、図10D−10Fにおける多角形セットA4+5、A1+2およびA3+6は、図6−9に関連して説明するように交差されて、図10Gに示す最終交差Atotalを生成する。中心線交差技術は、空間伝播信号をペアリングして初期多角形セットを生成する場合に、検出線間の直交性を最大限にすることから利益を得られる(図10D−10F参照)。これによって、横断点の位置は、空間伝播信号におけるノイズにそれほど影響されなくされ得る。
別の変形において、多角形生成ステップ(ステップ204)は、省略される。代わりに、ステップ205が、接触面のマップ/画像に基づいて解析領域を得るように修正されるが、マップは、解像要素または画素に分割される。マップ上の全ての画素に関して、画素が、関連する検出線に沿ったそれぞれの空間伝播信号にマッチングされた場合に、画素が、ピーク内に入るか否かがチェックされる。画素は、それが全ての検出線に対してピーク内に入る場合に、解析領域の一部と見なされる。アルゴリズムが、各画素に関連する検出線の数のカウントを維持する必要があることが分かる(この数は、画素が1つまたは複数の不感帯内に位置する場合には、より小さい)。
さらに別の変形は、(ステップ204で生成される)上記の多角形セットの使用に基づいており、この場合にステップ205は、論理積演算において全ての多角形セットにおける対応する画素を組み合わせるように修正され、それによって、組み合わされた画素は、組み合わされた画素の全てが減衰経路または不感帯に属する場合にのみ、解析領域の一部であると見なされる。
画素ごとの解析を含む後者の技術は、所与の空間解像度を達成するために、多角形交差技術および中心線交差技術より多くの計算を必要とする可能性がある。
中心線交差技術および画素ごとの解析技術はまた、ファンビーム実施形態において得られた空間伝播信号の処理のために用いてもよいことを理解されたい。
多角形交差を含む全ての実施形態において、解析領域がない場合には早期終了用の機構を実行することが可能である。特に、多角形交差が論理積演算によって生成されるので、いずれの多角形交差(A3+5、A4+6等)も、空集合であると、すなわち多角形がないと分かった場合に、最終交差Atotalもまた空集合になると結論付けることができる。したがって、多角形交差のいずれかが空集合であると分かった場合には常に、プロセスは、ステップ208に直接ジャンプして、座標の空集合を出力し、次に、新しい繰り返しの準備をしてもよい(図2を参照)。かかる早期終了機構はまた、空集合に対していくつかの多角形セットをチェックし、空集合が見つかった場合には終了してもよい。これは、図6Cにおける多角形セットAおよびAなど、不感帯を有しないあらゆる多角形セットに当てはまる。これらの多角形セットのいずれかが空集合である場合に、最終交差Atotalもまた、空集合になる。これは、ピーク検出ステップ(図2のステップ203)が、垂直ビームB1、B2(図4A)用に得られた空間伝播信号S、Sの少なくとも1つにおいていずれのピークも識別できない場合には常に終了することに等しい。一実施形態において、ステップ203は、これらの空間伝播信号S、Sを、他の空間伝播信号の前に処理するように、およびそれがSまたはSにピークを見つけられない場合には常に終了するように構成される。
局所的な再構成(ステップ206)
再構成ステップにおいて、解析領域は、接触点の存在を識別するように処理される。再構成ステップには、典型的には空間分布図を生成することが含まれるが、この空間分布図は、解析領域内におけるエネルギ/減衰/透過率の値の空間分布を示す。かかる空間分布図は、接触面全体にわたる空間分布図を再構成して、局所的に解析領域内だけの空間分布図を生成するために使用できる任意の既存の画像再構成技術を適合させて生成することができる。
一例において、フィルタ補正逆投影法などの標準トモグラフィー法は、解析領域内の局所的な再構成用に適合させてもよい。トモグラフィー再構成の理論は、当該技術分野において周知である。それは、“Mathematical Methods in Image Reconstruction”by Frank Natterer and Frank Wubbeling,および“Principles of Computerized Tomographic Imaging”by Kak and Slaneyなどの教科書で徹底的に説明されている。
フィルタ補正逆投影アルゴリズムと同様に、(走査ビーム実施形態において得られるような)平行検出線を用いたセットアップと、(ファンビーム実施形態において得られるような)分散検出線を用いたセットアップとの間のインプリメンテーションにおける差の完全な説明のために、上で示した教科書を参照する。ここで、局所的な再構成に適合されるようなアルゴリズにおける主なステップの大ざっぱな概要を提供し、かつ解析領域を用いることからどのように利益を得ることができるかを示す。
フィルタ補正逆投影アルゴリズムは、一般に、いわゆる投影に基づいて動作するが、投影は、典型的には(しかし必ずではない)透過または対数透過(以下を参照)に変換された上記の空間伝播信号に対応してもよい。完全な接触面の再構成用に適用されるときに、アルゴリズムは、各投影用に、以下のように動作することになろう。
1.適切なフィルタを投影に適用する。適切なフィルタは、文献で見つけられるが、しかし例えば、Ram−LakまたはShepp−Logan(シェフ−ローガン)とすることができる。フィルタは、フーリエ平面または空間領域において利用することができる。
2.空間分布図における全ての点/画素に対して、再構成された信号値が、全てのフィルタ補正投影との画素の相互作用の和として計算される。これは、逆投影プロセスである。
空間伝播信号セットに基づいたかかる完全な再構成によって生成された空間分布図の例が、図11Aの三次元プロットにおいて提供されており、それは、タッチパネルのXY座標系における再構成された減衰値を示す。
局所的な再構成用に逆投影アルゴリズムを適合させるために、上記のステップ2は、逆投影プロセス中に接触面全体の平面内における画素のためではなく、解析領域内の画素のためだけに和を計算するように修正してもよい。図11Bは、図11Aにおける完全な再構成を生成するために用いられる空間伝播信号のセットに基づいて、多角形生成および交差(ステップ204−205)によって計算された最終交差Atotalを示す。図示のように、最終交差は、5つの解析領域に帰着する。図11Cは、解析領域内の局所的な再構成の結果を示す。図11Aおよび図11Cを比較することによって、局所的な再構成が、タッチパネルの関連部分内で完全な再構成と同じ結果につながることが分かる。また、適切な局所的再構成アルゴリズムを選択することによって、ノイズレベルを低減することが可能であると分かる。フィルタ補正逆投影法において、例えば、投影信号(すなわち空間伝播信号)は、関連ピーク外で減衰を0に(または同様な意味で透過を1に)設定することにより、解析領域に基づいて、再構成の前にノイズ低減用に前処理してもよい。この前処理は、上記のフィルタ(例えば、Ram−LakまたはShepp−Logan(シェフ−ローガン))を適用する前に行ってもよい。さらに、局所的な再構成プロセスは、完全な再構成より優決定である。なぜなら、再構成が解析領域に制限された場合に、多数の未知のものを除去できるからである。当業者は、情報の増加を利用するように再構成プロセスを適切に設計することによって、さらなるノイズ低減が可能であることを理解されよう。
接触決定プロセス中の処理の必要性が、ステップ2、すなわち実際の再構成によって主として引き起こされることを強調すべきである。ほとんどのトモグラフィー再構成技術に関して、処理は、投影数と同様に再構成された画像(すなわち空間分布図)における点(画素)の数に比例する。これの原理は、上で概説したアルゴリズムにおいて見い出すことができる。空間分布図における全ての点(ポイント)用に、全ての投影からの逆投影値を加えることになる。再構成を解析領域に制限する場合には、再構成される空間分布図における点の数が低減される。図2に関連し、本発明の実施形態によって、40インチタッチパネル上の10の接触に対して約44分の1に低減された再構成処理が可能になることが説明された。同じタッチパネル上に4つの接触が存在する場合に、処理は、約275分の1にまで低減でき、パネル上にただ2つだけの接触がある場合に、処理は、少なくとも約1100分の1にまで低減される。
局所的な再構成が、フィルタ補正逆投影アルゴリズムの使用に限定されないことを強調すべきである。限定するわけではないが、CT(コンピュータトモグラフィー)、ART(代数的再構成法)、SIRT(同時逐次再構成法)、SART(代数的再構成法)、直接2D FFT再構成、または例えばベイズ反転に基づいた統計的再構成法を含む任意の既存の画像再構成技術を実質的に用いてもよい。画像再構成用技術の実施形態が、2009年10月19日出願の本出願人による米国仮出願第61/272,667号明細書、および2010年5月3日出願の同第61/282,973号明細書にさらに開示され、これらの出願は、両方とも参照によって本明細書に援用されている。
局所的な再構成の一般的な利点は、それによって、後続の接触識別ステップ207において、解析領域の間で真および偽の接触点を識別することが可能になるということである。したがって、ステップ203において、何かの完全または部分的に重複するピークが識別されず分離されない場合に、かかるピークは、ステップ205において複数の解析領域に帰着し、これらの解析領域は、ステップ206における再構成の後で、真の接触点の識別のためにステップ207において処理される。
接触識別およびデータ抽出(ステップ207−208)
局所的な再構成ステップ206の完了後に、空間分布図内の真の(実際の)接触点を分離するために任意の周知技術を用いてもよい。例えば、通常の塊検出および追跡技術を、実際の接触点を見つけるために用いてもよい。しかしながら、先の局所的な再構成ステップが、接触点を抽出するために必要とされる処理を低減することを理解されたい。
一実施形態において、閾値が、ノイズを除去するために空間分布図に最初に適用される。閾値を超えるどんな領域も、例えば二次元ガウスベル形状を領域内の信号値に適合させることによってか、または領域内の信号値の加重慣性楕円を見つけることによって、中心および形状を見つけるためにさらに処理してもよい。限定するわけではないが、二次元二次多項式、K平均クラスタリング、ラプラシアン・ガウシアン(LoG)および分水嶺アルゴリズムを適合させることを含む、当該技術分野において周知の多数の他の技術がまた存在する。
空間分布図を処理して、任意のタイプの接触データを抽出してもよい。かかる接触データには、接触面の座標系内における各接触対象の座標を含んでもよい。他のタイプの接触データには、各接触対象の領域および/または形状が含まれる。領域が、印加圧力の関数であるので、少なくとも可撓性対象(例えば指先)に関して、対象と接触面との間の接触圧力がまた、各接触対象用に推定可能である。
さらに、ステップ208は、ある対象用の接触データの出力を、例えばそれらの領域および/または形態に基づいて、差し控えてもよい。例えば、手のひら用の接触データは出力しないことが望ましくなり得るのに対して、指先用の接触データは、出力すべきである。
さらなる実施形態において、空間分布図において検出されるどんな接触点も、前の繰り返し(図2における繰り返しを参照)において検出された接触とマッチングされる。多くの用途にとって、接触点が、接触点の時間系列の一部であることを知ることは有用になり得る。これによって、例えば、接触面上の接触ジェスチャの認識等が容易になる可能性がある。
上記のように、局所的な再構成ステップ206は、省略してもよく、接触識別ステップ207は、ステップ205において識別された解析領域に対して直接動作してもよい。かかる変形は、可能な接触点の数が制限され、パネルにおける交差光シートの数より少ない場合には常に、特に適している。例えば、真の接触点は、接触対象の形状および/または領域が、周知であるかまたは予測可能ならば、解析領域の形状および/またはサイズに基づいて、解析領域の間の誤った接触点から区別し得る。
図12Aは、本明細書で説明するような接触検出機器における接触決定用のかかる方法の一実施形態を示す。方法には、1つまたは複数の投影信号を取得することであって、各信号が、接触検出機器の出力結合部位内における光の空間分布を示すこと(ステップ1200)と、1つまたは複数の接触対象によって引き起こされた減衰を表す全ての信号プロファイルの識別のために投影信号を処理すること(ステップ1202)と、が含まれる。方法には、さらに、各信号プロファイルに対して、接触面にわたる減衰経路を決定すること(ステップ1204)と、このように決定された減衰経路セットの関数として、接触面上の1つまたは複数の候補接触領域を識別することであって、各候補接触領域が、接触面のサブセットであること(ステップ1206)と、が含まれる。方法は、候補接触領域に基づいて、各接触対象用の接触データを決定することによって終了される(ステップ1208)。
図12Bは、本明細書で説明するような接触検出機器における接触決定用の方法の別の実施形態を示す。図12Bにおける方法には、1つまたは複数の投影信号を取得すること(ステップ1200)と、投影信号における信号プロファイルを識別すること(ステップ1202)と、が含まれる。方法には、さらに、信号プロファイルに基づいて、接触面上の1つまたは複数の候補接触領域を識別すること(ステップ1206’)と、投影信号を処理して、候補接触領域内における信号値の二次元分布を再構成すること(ステップ1207)と、が含まれる。方法は、候補接触領域に基づいて、各接触対象用の接触データを決定することによって終了される(ステップ1208)。
接触決定プロセスは、接触検出機器における光センサの出力信号を受信するように接続されたデータ処理装置(図1Aの7参照)によって典型的には実行される。図13Aは、図12Bにおけるプロセスを実行するためのかかるデータ処理装置7の例を示す。図示の例において、装置7には、1つまたは複数の投影信号を取得するための要素(または手段)1300と、1つまたは複数の接触対象によって引き起こされた減衰を表す全ての信号プロファイルの識別のために投影信号を処理するための要素(または手段)1302と、が含まれる。また、信号プロファイルに基づいて、接触面上の1つまたは複数の候補接触領域を識別するための要素(または手段)1304と、候補接触領域内における信号値の二次元分布を再構成するために投影信号を処理するための要素(または手段)1306と、が設けられる。装置7には、さらに、候補接触領域に基づいて、各接触対象用の接触データを決定するための要素(または手段)1308が含まれる。
装置7は、1つまたは複数の汎用もしくは特殊用途コンピューティング装置上を走行する特殊用途ソフトウェア(またはファームウェア)によって実現してもよい。この文脈において、かかるコンピューティング装置の各「要素」または「手段」が、方法ステップの概念的な対応物を指すことを理解されたい。要素/手段と、ハードウェアまたはソフトウェアルーチンの特定の断片との間に一対一の対応が必ずしも存在するとは限らない。ハードウェアの一片には、時には異なる手段/要素が含まれる。処理ユニットは、1つの命令を実行する場合に、1つの要素/手段として働くが、しかし別の命令を実行する場合に、別の要素/手段として働く。さらに、1つの要素/手段は、場合によっては1つの命令によって、しかし他の場合によっては複数の命令によって実現してもよい。図13Bに示すように、かかるソフトウェア制御コンピューティング装置7には、1つまたは複数の処理ユニット1320、例えばCPU(「中央処理装置」)、DSP(「デジタル信号プロセッサ」)、ASIC(「特定用途向け集積回路」)、別個のアナログおよび/もしくはデジタルコンポーネント、またはFPGA(「フィールドプログラマブルゲートアレイ)などのある他のプログラム可能論理装置を含んでもよい。コンピューティング装置7には、さらに、システムメモリ1322と、システムメモリ1322を含む様々なシステムコンポーネントを処理ユニット1320に結合するシステムバス1324と、を含んでもよい。システムバス1324は、メモリバスまたはメモリコントローラ、周辺バス、および様々なバスアーキテクチャのいずれかを用いるローカルバスを含むいくつかのタイプのバス構造のいずれかであってもよい。システムメモリ1322は、読み取り専用メモリ(ROM)、ランダムアクセスメモリ(RAM)およびフラッシュメモリなどの揮発性および/または不揮発性メモリの形態をしたコンピュータ記憶媒体を含んでもよい。特殊用途ソフトウェアは、システムメモリにか、または磁気媒体、光学媒体、フラッシュメモリカード、デジタルテープ、ソリッドステートRAM、ソリッドステートROMなど、コンピューティング装置に含まれるか、コンピューティング装置がアクセス可能である他の取り外し可能/取り外し不可能な揮発性/不揮発性コンピュータ記憶媒体上に記憶してもよい。コンピューティング装置7には、シリアルインターフェイス、パラレルインターフェイス、USBインターフェース、無線インターフェース、ネットワークアダプタなどの1つまたは複数の通信インターフェース1326と同様に、A/Dコンバータなどの1つまたは複数のデータ取得装置1328を含んでもよい。特殊用途ソフトウェアは、記録媒体、読み取り専用メモリまたは電気搬送波信号を含む任意の適切なコンピュータ可読媒体で、コンピューティング装置に提供してもよい。
上記の実施形態の全てにおいて、エミッタは、任意の適切な波長領域、例えば赤外線または可視波長領域において動作することができる。全ての光シートは、同一波長で生成することが可能である。代替として、異なる波長領域の光で異なるシートを生成して、波長に基づいたシート間の区別をできるようにすることが可能である。さらに、エミッタは、連続またはパルス放射線を出力することができる。さらに、エミッタは、同時にまたは順次的に活性化してもよい。所望の波長領域における光を放射できる任意のタイプのエミッタ、例えば、ダイオードレーザ、VCSEL(垂直共振器型面発光レーザ)、またはLED(発光ダイオード)、白熱電球、ハロゲンランプ等を用いることが可能である。
透過エネルギは、光を電気信号に変換できる任意のタイプの光センサによって測定してもよい。本明細書の文脈において、「光センサ」が、0次元光検出器を意味することに留意されたい。したがって、光センサ3(図1B)は、光検出器、またはCCDもしくはCMOS検出器上の画素などの単一光検出要素であってもよい。代替として、光センサ3は、ハードウェアまたはソフトウェアにおける個別要素の出力を合計/平均することよって、0次元光検出用に組み合わされた光検出要素のグループによって形成してもよい。
光透過パネル1は、適切な波長領域における十分な光量を透過させて、透過エネルギの実際的な測定を可能にする任意の材料材料で作製してもよい。かかる材料には、ガラス、ポリ(メタクリル酸メチル)(PMMA)およびポリカーボネート(PC)が含まれる。パネル1は、単一材料から作製してもよく、または異なる材料の層によって形成してもよい。接触面における内部反射は、パネル材料と、周囲媒体、典型的には空気との間の屈折率の差に起因する全内部反射(TIR)によって引き起こされる。反対側の境界面における反射は、TIRによってか、または反対側の境界面に施された反射コーティングによって引き起こされる可能性がある。
出力信号の正規化
上記のように、空間伝播信号は、背景信号を用いた正規化を通じて取得してもよい。背景信号は、典型的には、対象がパネルに接触していない状態での透過エネルギを表し、したがってそれぞれの出力結合部位における光の空間分布を示す。背景信号は、各検出器/出力結合部位または各出力信号に対して一意であってもなくてもよい。背景信号は、予め設定しても、別個の較正ステップ中に導き出しても、または恐らくかかる出力信号のセットを平均することによって1つまたは複数の前の繰り返し中に取得された出力信号(どんな対象もパネルに接触していない)から導き出してもよい。
空間伝播信号のかかる計算をさらに例示するために、図14Aは、単一の対象がパネルに接触している状態で得られる非正規化空間伝播信号Sであって、出力結合部位内における位置の関数としての透過エネルギのプロットとして与えられる非正規化空間伝播信号Sを示す。図14Bは、同様に出力結合部位内における位置の関数としての透過エネルギのプロットとして与えられる、対応する背景信号REFを示す。この例において、放射線の分布は、出力結合部位内で非常に不均一である。図14Cは、結果としての正規化空間伝播信号T=S/REFを示すが、この信号は、接触対象によってもたらされたピークP1、1を備えた、約1の(相対的)透過のほぼ均一な信号レベルに帰着する。正規化空間伝播信号への変換によって、関連ピークの識別を非常に容易になることを理解されたい。それによってまた、異なる出力結合部位において、および/または異なるビーム用に得られた信号におけるピークを比較することが可能になる。変形において、空間伝播信号は、透過の代わりに、1−Tによって与えられる減衰を表すように変換される。
上記のように、同じ検出線上に3つ以上の触点が存在する場合に、合計伝播信号は、接触点の個別透過率の積である。これは、ビームの残りが出力結合点(およびセンサ)に達するならば、任意の検出線上の任意の数の対象に対して真である。したがって、正規化空間伝播信号に対する操作によって、空間伝播信号におけるピークへの寄与を個別接触対象から分離することが可能である。
次に検出線に沿った合計透過の対数が、その検出線上の接触点の個別透過の対数の和と等しいので、接触決定は、(任意の底の)対数を実行することによって単純化し得ることが当業者は理解されよう。さらに、対数を実行することにより、正規化は、除算演算ではなく減算演算log(T)=log(S)−log(REF)によって行ってもよい。しかしながら、対数を用いる必要はない。
分散の利用
本出願人は、光散乱効果を考慮するように接触決定プロセスを設計することによって、接触決定を改善し得ることを理解した。
光散乱は、接触面4における、アンチグレア(AG)構造とも呼ばれる拡散面構造によって引き起こし得る。AG構造を用い、接触面において外部照明からのグレアを低減してもよい。さらに、接触対象が、むき出しの指である場合に、指と接触面との間の接触は、通常、接触面上に指紋を残す。完全に平坦な表面において、かかる指紋は、はっきりと見えて、通常望ましくない。AG構造を接触面に加えることによって、指紋の可視性は低減される。さらに指と接触面との間の摩擦は、AG構造が用いられる場合には低減され、したがって、これは、ユーザ経験を改善し得る。AG構造は、光沢度(GU)で規定され、より低いGU値は、より少ないグレアに帰着する。
光ビームが、パネル境界面の1つまたは両方にAG構造を有する光透過パネルにおいて内部反射によって伝播する場合に、かかる散乱境界面に当たる各内部反射は、いくらかの光を、ビームの主方向から離れるようにそらし、かつまた、境界面を通し放射線を漏らす可能性がある。
光散乱は、他の原因、例えば、光透過パネル上の他のタイプのコーティング、層または表面構造、パネルまたは関連する光学コンポーネントにおける欠陥または不完全性、パネルの境界面における汚れ(指紋、ダスト等)、接触検出機器内の回折効果等を有し得る。
出所に関係なく、ビームがパネル上でそのエントリ点から伝播するときに、光散乱が、一般に、パネルの平面でビームを広げることを本出願人は見つけた。この広がりは、空間伝播信号における接触シグネチャの形状を、パネルにおける接触対象の位置、特に接触対象と関連入力結合/エントリ点との間の距離に依存させる。図15Aは、接触対象によって引き起こされた接触シグネチャの幅と、接触対象およびエントリ点間の距離との間の例示的な依存関係を示す。接触対象の実際の幅はWである。接触対象が、エントリ点に接近して位置する場合に、検出される接触シグネチャは、明確であり、実際の幅に似た幅を有する。接触対象がエントリ点から離れるように移動するとともに、検出される接触シグネチャは、徐々に広がる。出力結合点の近くで、接触シグネチャの幅は、再びわずかに小さくなる可能性がある。幅と接触位置との間の実際の関数依存性が、接触検出機器の実際の光学設計に大きく依存すること、および図15Aが、単に例として提供されることを理解されたい。
図15Aにおいて、エントリ点と出力結合点との間で中央に位置する小さな接触対象が、エントリ点により近く位置するより大きな接触対象と同じ接触シグネチャ幅を生じることが分かる。図15Aにおけるデータに基づき、接触対象とエントリ点との間の距離の関数として、ある接触シグネチャ幅を生じる接触対象の実際の幅を決定することが可能である。このタイプの関数依存性は、以下において分散関数と呼ばれる。図15Bは、図15Aにおけるデータ用に決定された分散関数のグラフである。したがって、図15Bは、空間伝播信号において同じ接触シグネチャ幅を生成する異なる位置における実際の対象幅を示す。以下でさらに説明するように、かかる分散関数を用いて、接触決定プロセスを改善することができる。
ここで、分散関数の元を、図1Cの走査ビーム実施形態に関連してさらに説明する。特定の接触検出機器の動作を理解するために、その光学設計を解析することが必要である。エントリ点からの分散光線セットの形状は、多くの異なる要因、例えばパネル厚さ、境界面上への内部入射角、AG構造等に依存する。結果としての接触シグネチャは、分散光線セットとは別に、多くの他の要因、例えば検出器表面積、検出器開口数、導入された光の断面等に依存する。ビームがパネルのエッジと平行に掃引される場合に、検出器特有パラメータは、典型的には、出力結合点に近い接触位置用の接触シグネチャにより多くの影響を及ぼす。反対に、エミッタに特有の特性は、エントリ点に近い接触位置用の接触シグネチャに主として影響する。
上記のように、パネルを通して透過される光ビームは、光散乱現象によって広げられる。図16Aは、ビームB1が、エントリ側で導入され、出力結合側へ伝播するパネル1の平面図である。出力結合側において、ビームB1のエネルギは、制限された領域(3’によって示され、以下において「受信領域」と呼ばれる)内で検出される。受信領域3’の長さは、光センサ機構(例えば、図1Cにおける出力スキャナ機構9)の開口数、すなわち光センサ機構が光を受信できる角度の範囲に依存する。
図16Aに示すように、ビームB1は、それがパネルを通して伝播するときに拡散する。受信領域3’が制限された長さを有するので、それは、出力結合側に達する拡散ビームB1の中央部分を受信するだけである。図16Bは、受信領域3’に達する外側光線を示す。
図16Cは、対象6が、エントリ側、この例では左側の近くでパネル1に接触する場合の状況を示す。簡単にするために、ビームB1に対して移動する接触対象6を検討するが、しかし結論は、静止接触対象および移動ビーム(走査ビーム実施形態におけるような)に等しく適用可能である。接触対象6の4つの異なる位置が、図16Cの左部分に示されている。明らかに、接触対象6は、短い距離でビームB1と相互作用する。図16Cはまた、接触対象6が、ビームB1の大部分と相互作用することを示す。したがって、結果としての接触シグネチャは、狭くて(小さな幅)強い(低透過)。
図16Dは、対象6が、エントリ側からさらに離れてパネル1に接触する状況を示す。明らかに、接触対象6は、より長い距離でビームB1と相互作用する。接触対象6が、ビームB1のより小さな部分と相互作用することがまた分かる。したがって、結果としての接触シグネチャは、より広く、より弱い。
図16の例において、接触シグネチャの幅は、図16Dにおいて接触対象6の右の位置に対しては、わずかに減少する。かかるシグネチャ動作はまた、図15Aのグラフに示されている。受信領域3’の長さが、(例えば図16Aに示すように)出力結合側における拡散ビームの幅より小さい場合に、シグネチャ幅のかかる減少が観察されることに留意されたい。例えば、単一の細長いセンサが、出力スキャナ機構の代わりに出力結合側に配置される上記の変形において、接触シグネチャ幅の減少は、観察されそうもない。
上記で、接触シグネチャの幅および高さが、光散乱の影響ゆえに接触対象の位置と共に変化することが示された。ここで、以下において、結果としての分散関数をどのように用いて、接触決定を改善できるかを説明する。説明のために、分散効果は、以下の開示に伴う図においてわずかに誇張されている。
図17A−17Bは、走査ビーム実施形態を示すが、そこでは、3つの視準された非平行ビームが、パネルにわたって掃引され(平行移動され)、3つの空間伝播信号に帰着する。
図17Aは、3つのビームB1−B3、および結果としての空間伝播信号S−Sを示す。第1のビームB1は、パネル1の上端エッジおよび底部エッジと平行であり、左側で導入され、底部から上端(逆も同様である)に掃引されながらパネル1の右側で検出される。結果としての空間伝播信号Sは、パネル1の右側に示されている。第2のビームB2は、パネル1のエッジに非平行な走査角を備えており、上端で導入され、左から右(逆も同様である)に掃引されながら底部で検出される。結果としての空間伝播信号Sは、底部に示されている。第3のビームB3は、パネル1の左および右エッジと平行であり、底部で導入され、左から右(逆も同様である)に掃引されながら上端で検出される。結果としての空間伝播信号Sは、上端に示されている。各空間伝播信号S−Sには、接触対象6に起因するそれぞれの接触シグネチャP1、1、P2、1、P3、1が含まれる。
図17Bは、各接触シグネチャP1、1、P2、1、P3、1の幅に分散関数を適用することによって得られるような、ビームB1−B3によって生成された空間伝播信号S−Sにおける各接触シグネチャP1、1、P2、1、P3、1の減衰経路を示す。分散関数は、理論計算または測定によって、この走査ビーム実施形態用に決定してもよい。したがって、各減衰経路は、エントリ点からの距離の関数として、検出された接触シグネチャ幅を生じる接触対象6の実際の幅を表す2つの分散線によって境界を定められる。接触対象6が、エントリ点の近くに位置する場合に、実際の幅が、接触シグネチャの幅とほぼ等しいことが分かる。接触対象6が、エントリ点から遠く離れて位置する場合に、その実際の幅は、検出される接触シグネチャP1、1を生成するために、より小さくする必要がある。参考目的で、図17Bはまた、関連する検出線に沿った極限点接触シグネチャP1、1、P2、1、P3、1をたどることによって生成された未訂正の減衰経路(直線の平行線)を示す。
分散関数が、多角形セットにおける訂正された減衰経路を用いることによって、図5−7および10に関連して例示した上記の多角形セットの精度を向上させるために適用可能であること分かる。同様に、中心線交差(図10)において、分散関数は、横断点における実際の幅を決定するために適用してもよい。さらに、全ての実施形態において、分散関数はまた、不感帯の範囲を修正するために適用してもよい。分散接触面を備えた走査ビーム実施形態における分散関数の適用は、より小さな/より少数の解析領域に帰着する可能性があり、したがって接触決定の精度を改善するのと同様に、必要な処理を低減し、かつ/または処理速度を改善することが可能である。
一般に、分散関数は、非線形曲線によって与えられ、したがって、訂正された減衰経路は、一般に多角形によって画定されない。したがって、分散関数を適用する場合およびその他において、上記の多角形セットには、多角形領域だけではなく、任意の形態の数学的に画定された領域を実際に含んでもよい。したがって、一般的な意味で、多角形セットは、「経路図」の単なる一例と見なされることになるが、この経路図は、減衰経路および存在する場合には不感帯を表すために生成される。一般に、減衰経路、不感帯および交点は、円、楕円、スプライン曲線の組み合わせなどの非多角形の幾何学的対象によって表すことが可能である。しかしながら、交差プロセスを容易にするために、多角形、好ましくは凸多角形によって、各減衰経路および不感帯を近似することが有利になり得る。例えば、訂正された減衰経路および不感帯の境界は、直線によって近似してもよい。
分散関数は、ファンビーム実施形態において、訂正された減衰経路を生成するために同様に適用することができる。走査ビーム実施形態と比較した1つの差は、ファンビームが、一般に、より小さな入力結合部位から始まり、かつ光散乱がない状態であってもパネルの平面において拡散するということである。したがって、ファンビーム実施形態において、パネルに光散乱がほぼない場合であっても、接触シグネチャには、エントリ点と接触対象との間の距離に関する情報が含まれる。しかしながら、光散乱の存在によって、ファンビームは、入力結合部位から出力結合部位へ伝播しながら、パネルの平面において広げられる。したがって、分散関数は、特定のファンビーム実施形態用に測定または計算することができる。分散関数を適用するための基本原理は、走査ビーム実施形態におけるのと同じである。これは、図18A−18Bに関連してさらに説明する。
図18A−18Bの例において、パネルは、2つのファンビームによって内部で照明される。図面には示さなかったが、いくつかのセンサが、パネルの2つの側部に配置されて、ファンビームによって形成された光シートの透過エネルギを測定する。
図18Aは、光散乱現象がほぼない接触検出機器を示す。細線は、2つの接触対象6と相互作用する2つの異なるエミッタ(図示せず)からの光円錐の境界を示す。光円錐は、それらが、あたかも特異点(すなわち単一の入力結合点)から生じるかのように描かれているが、実際には、それらは、一般に、解読プロセス用の1を超える入力結合点を含み得る拡張入力結合部位から生じることに留意されたい。図18Aはまた、伝播信号S、Sにおける結果としての接触シグネチャP1、1、P1、2、P2、1、P2、2から得られる減衰経路を示す。
図18Bは、光散乱現象が存在する場合に、例えば境界面の少なくとも1つがAG構造を設けられた場合に、図18Aの接触検出機器において得られる空間伝播信号S、Sを示す。図18Aと比較して、図18Bは、接触シグネチャP1、1、P1、2、P2、1、P2、2が、光散乱の結果として、より広く、かつわずかに弱くなったことを示す。図18Bは、対象6と相互作用する(細線の)光円錐と同様に、(より太い線の)訂正された減衰経路を示すが、それらは、伝播信号S、Sにおける接触シグネチャP1、1、P1、2、P2、1、P2、2に、適切な分散関数を適用することによって得られる。
したがって、ファンビーム実施形態において光散乱が存在する状態で、分散関数が、走査ビーム実施形態におけるのと同じ方法で、接触決定プロセスを改善するために適用可能であることが分かる。
分散関数の取得
上記のように、分散関数は、特定の接触検出機器用の理論計算によってか、または測定によって得ることができる。図19は、図1Cに示すタイプの走査ビーム実施形態から得られた測定データのグラフであるが、この場合に測定データは、直径が37インチの矩形光透過パネル用に得られた。グラフは、エントリ点(例えば、図1Cにおけるパネルの左側に位置する)と接触対象との間の距離の関数として、接触シグネチャの測定された半値幅を示す。したがって、このグラフは、図15Aにおけるグラフに対応する。接触シグネチャ幅は、エントリ点からの距離(およびまた出力結合点までの距離)に明白に依存する。この特定の例において、接触対象が、出力結合点に接近して位置する場合に、接触シグネチャ幅における減少はない。分散関数は、図15Bに示すように関数への再計算後に、実際の測定データによって適切に提供してもよく、または分散関数は、測定データに適合された適切な関数に基づいて導き出してもよい。かかる適合された関数は、線形、多角形、スプライン等であってもよい。
対応する分散関数を、ファンビーム実施形態においてどんな困難もなく測定できることにもまた留意されたい。
主として少数の実施形態に関連して本発明を上記で説明した。しかしながら、当業者によって容易に理解されるように、上記で開示したもの以外の実施形態が、本発明の範囲および趣旨内で等しく可能であり、本発明は、添付の特許請求の範囲によってのみ定義され限定される。
例えば、たとえ接触検出機器が、AG構造などの著しい光散乱現象を含む場合であっても、解析領域の決定において分散を説明する必要はない(ステップ205)。ステップ205において分散を無視することは、一般に、より大きな解析領域に帰着し、したがって局所的な再構成ステップにおける処理の必要性の増加につながる可能性がある。しかしながら、たとえ分散が無視された場合であっても、完全な再構成と比較して、処理における著しい低減が得られる。
さらに、本発明は、本明細書で開示するファンビームおよび走査ビーム実施形態に制限されない。本発明が、接触データの決定のために処理される少なくとも1つの投影信号を生成するあらゆるFTIRベースの接触検出機器に適用可能であることを理解されたい。代替接触検出機器の例が、2010年5月14日出願の本出願人による国際公開第2010/000135号パンフレットで見つかる。ここで、光シートは、細長い入力結合部位においてパネルに導入され、入力結合部位と反対側の細長い出力結合部位を介して集光され、この場合に各光シートは、それぞれの主方向に沿ってパネルの平面においてほぼ視準される。

Claims (14)

  1. 接触検出機器における方法において、前記機器が、接触面(4)および対向面(5)を画定する光透過パネル(1)と、前記パネル(1)内で光シートを供給するための光源機構(2;8)であって、各シートが、前記接触面(4)と前記対向面(5)との間の内部反射によって、入力結合部位(10)から出力結合部位(11)へ伝播する光を含む光源機構(2;8)と、を含み、前記機器が、前記出力結合部位(11)に達する光を検出するための光センサ機構(3;9)であって、前記接触面(4)に接触する1つまたは複数の対象(6)が少なくとも2つの光シートの局所的減衰を引き起こすように前記接触検出機器が構成された光センサ機構(3;9)をさらに含み、前記方法が、
    前記出力結合部位(11)内で、光の空間分布を示す少なくとも1つの投影信号(S)を取得するステップと、
    前記減衰を表す信号プロファイル(Pi、j)の識別のために前記少なくとも1つの投影信号(S)を処理するステップと、
    前記信号プロファイル(Pi、j)に基づいて、前記接触面(4)上の1つまたは複数の候補接触領域を識別するステップと、
    前記1つまたは複数の候補接触領域内で、信号値の二次元分布を再構成するために前記少なくとも1つの投影信号(S)を処理するステップと、
    前記候補接触領域内で、前記再構成された信号値を処理することによって、前記または各対象(6)用の接触データを決定するステップと、
    を含むことを特徴とする方法。
  2. 請求項1に記載の方法において、前記識別ステップが、各信号プロファイル(Pi、j)用に、前記接触面(4)にわたる減衰経路(Ai、j)を決定するステップであって、前記減衰経路が、前記信号プロファイル(Pi、j)に基づいて決定される幅を有するステップと、このように決定された減衰経路(Ai、j)のセットの関数として、前記接触面(4)上の前記1つまたは複数の候補接触領域を識別するステップと、を含むことを特徴とする方法。
  3. 請求項2に記載の方法において、前記識別ステップが、前記減衰経路(Ai、j)を交差させるステップを含むことを特徴とする方法。
  4. 請求項3に記載の方法において、前記取得ステップが、複数の投影信号(S)を取得するステップであって、各投影信号(S)が、前記接触面(4)の不感帯(Di、j)のセットに関連付けられ、前記投影信号(S)が、前記接触面(4)に接触する対象(6)に無感応であるステップを含み、かつ前記識別ステップが、前記減衰経路(Ai、j)を前記不感帯(Di、j)と交差させるステップをさらに含むことを特徴とする方法。
  5. 請求項2に記載の方法において、前記取得ステップが、複数の投影信号(S)を取得するステップを含み、前記識別ステップが、各投影信号(S)用に、前記接触面(4)上の関連する減衰経路(Ai、j)の位置を表す経路図(A)を生成するステップと、前記生成された経路図(A)を交差させるステップと、を含むことを特徴とする方法。
  6. 請求項5に記載の方法において、各経路図(A)が、前記光シートの1つに関連付けられ、かつ前記識別ステップが、前記関連するシートにおける光線間の角度を最小化するように経路図(A)ペアを形成するステップと、前記経路図(A)ペアを交差させるステップと、を含むことを特徴とする方法。
  7. 請求項2に記載の方法において、前記取得ステップが、複数の投影信号(S)を取得するステップを含み、かつ前記識別ステップが、各投影信号(S)ペア用に、前記投影信号(S)ペア用に決定された前記減衰経路(Ai、j)の交差を表す経路図(A)を生成するステップと、前記生成された経路図(A)を交差させるステップと、を含むことを特徴とする方法。
  8. 請求項5〜7のいずれか一項に記載の方法において、前記交差させるステップが、前記経路図(A)を幾何学的に整列させるステップと、前記経路図(A)に対して論理積演算を実行するステップと、を含むことを特徴とする方法。
  9. 請求項5〜8のいずれか一項に記載の方法において、各経路図(A)が、前記接触面(4)上の不感帯(Di、j)の位置をさらに表してもよく、前記投影信号(S)が、前記接触面(4)に接触する対象(6)に無感応であることを特徴とする方法。
  10. 請求項2〜9のいずれか一項に記載の方法において、前記減衰経路を決定する前記ステップが、多角形、好ましくは凸多角形によって各減衰経路(Ai、j)を表すステップを含むことを特徴とする方法。
  11. 請求項1〜10のいずれか一項に記載の方法において、各投影信号(S)が、前記光シートの1つに関連付けられることを特徴とする方法。
  12. 請求項1〜11のいずれか一項に記載の方法において、前記投影信号(S)を取得する前記ステップが、前記出力結合部位内(11)で、光エネルギの空間分布を表すエネルギ信号を取得するステップと、背景信号(REF)によって前記エネルギ信号を正規化するステップであって、前記背景信号(REF)が、前記接触面(4)に対象(6)が接触していない状態で前記出力結合部位(11)内で前記光エネルギ空間分布を表すステップと、を含むことを特徴とする方法。
  13. データ処理システム上で実行される場合に、請求項1〜12のいずれか一項に記載の方法を実行するように適合されたコンピュータコードを含むコンピュータプログラムプロダクト。
  14. 接触検出機器に含まれる、接触面(4)における1つまたは複数の対象(6)用の接触データを決定するための装置において、前記接触検出機器が、前記接触面(4)および対向面(5)を画定する光透過パネル(1)と、前記パネル(1)内で光シートを供給するための光源機構(2;8)であって、各シートが、前記接触面(4)と前記対向面(5)との間の内部反射によって、入力結合部位(10)から出力結合部位(11)へ伝播する光を含む光源機構(2;8)と、前記出力結合部位(11)に達する光を検出するための光センサ機構(3;9)であって、前記接触面(4)に接触する各対象(6)が少なくとも2つの光シートを局所的に減衰させるように、前記接触検出機器が構成される光センサ機構(3;9)と、を含み、前記装置が、
    前記出力結合部位(11)内で光の空間分布を示す少なくとも1つの投影信号(S)を取得するための要素(1300)と、
    前記減衰を表す信号プロファイル(Pi、j)の識別のために前記少なくとも1つの投影信号(S)を処理するための要素(1302)と、
    前記信号プロファイル(Pi、j)に基づいて、前記接触面(4)上の1つまたは複数の候補接触領域を識別するための要素(1304)と、
    前記1つまたは複数の候補接触領域内で信号値の二次元分布を再構成するために、前記少なくとも1つの投影信号(S)を処理するための要素(1306)と、
    前記候補接触域内で、前記再構成された信号値を処理することによって、前記または各対象(6)用の接触データを決定するための要素(1308)と、を含むことを特徴とする装置。
JP2012535161A 2009-10-19 2010-10-13 接触面上における1つまたは複数の対象用の接触データの決定 Expired - Fee Related JP5782446B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US27266509P 2009-10-19 2009-10-19
US61/272,665 2009-10-19
SE0950768 2009-10-19
SE0950768-2 2009-10-19
PCT/SE2010/051107 WO2011049513A1 (en) 2009-10-19 2010-10-13 Determining touch data for one or more objects on a touch surface

Publications (3)

Publication Number Publication Date
JP2013508852A JP2013508852A (ja) 2013-03-07
JP2013508852A5 JP2013508852A5 (ja) 2013-12-05
JP5782446B2 true JP5782446B2 (ja) 2015-09-24

Family

ID=43900542

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012535161A Expired - Fee Related JP5782446B2 (ja) 2009-10-19 2010-10-13 接触面上における1つまたは複数の対象用の接触データの決定

Country Status (10)

Country Link
US (1) US9430079B2 (ja)
EP (1) EP2491481A4 (ja)
JP (1) JP5782446B2 (ja)
KR (1) KR20120083915A (ja)
CN (1) CN102656547A (ja)
AU (1) AU2010308596A1 (ja)
CA (1) CA2778154A1 (ja)
IL (1) IL219189A0 (ja)
RU (1) RU2012118597A (ja)
WO (1) WO2011049513A1 (ja)

Families Citing this family (87)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7148879B2 (en) 2000-07-06 2006-12-12 At&T Corp. Bioacoustic control system, method and apparatus
CN102171637B (zh) 2008-08-07 2015-08-12 拉普特知识产权公司 用于检测光学触摸敏感装置中的多触摸事件的方法和设备
US8531435B2 (en) 2008-08-07 2013-09-10 Rapt Ip Limited Detecting multitouch events in an optical touch-sensitive device by combining beam information
US9092092B2 (en) * 2008-08-07 2015-07-28 Rapt Ip Limited Detecting multitouch events in an optical touch-sensitive device using touch event templates
SE533704C2 (sv) 2008-12-05 2010-12-07 Flatfrog Lab Ab Pekkänslig apparat och förfarande för drivning av densamma
JP5295008B2 (ja) * 2009-06-18 2013-09-18 株式会社ワコム 指示体検出装置
JP5396167B2 (ja) * 2009-06-18 2014-01-22 株式会社ワコム 指示体検出装置及び指示体検出方法
AU2010308594A1 (en) 2009-10-19 2012-04-26 Flatfrog Laboratories Ab Extracting touch data that represents one or more objects on a touch surface
JP5295090B2 (ja) * 2009-12-18 2013-09-18 株式会社ワコム 指示体検出装置
TW201203052A (en) 2010-05-03 2012-01-16 Flatfrog Lab Ab Touch determination by tomographic reconstruction
WO2012002894A1 (en) 2010-07-01 2012-01-05 Flatfrog Laboratories Ab Data processing in relation to a multi-touch sensing apparatus
US8692785B2 (en) * 2010-09-29 2014-04-08 Byd Company Limited Method and system for detecting one or more objects
EP2628068A4 (en) 2010-10-11 2014-02-26 Flatfrog Lab Ab TOUCH DETECTION BY TOMOGRAPHIC RECONSTRUCTION
EP2652582A4 (en) 2010-12-15 2017-06-21 FlatFrog Laboratories AB Touch determination with signal enhancement
EP2466428A3 (en) 2010-12-16 2015-07-29 FlatFrog Laboratories AB Touch apparatus with separated compartments
EP2466429A1 (en) 2010-12-16 2012-06-20 FlatFrog Laboratories AB Scanning ftir systems for touch detection
US9170683B2 (en) 2011-07-22 2015-10-27 Rapt Ip Limited Optical coupler for use in an optical touch sensitive device
TW201329821A (zh) 2011-09-27 2013-07-16 Flatfrog Lab Ab 用於觸控決定的影像重建技術
TW201333787A (zh) 2011-10-11 2013-08-16 Flatfrog Lab Ab 觸控系統中改良的多點觸控偵測
US9658715B2 (en) 2011-10-20 2017-05-23 Microsoft Technology Licensing, Llc Display mapping modes for multi-pointer indirect input devices
US9274642B2 (en) 2011-10-20 2016-03-01 Microsoft Technology Licensing, Llc Acceleration-based interaction for multi-pointer indirect input devices
US8933896B2 (en) 2011-10-25 2015-01-13 Microsoft Corporation Pressure-based interaction for indirect touch input devices
US9367230B2 (en) 2011-11-08 2016-06-14 Microsoft Technology Licensing, Llc Interaction models for indirect interaction devices
WO2013081894A1 (en) 2011-11-28 2013-06-06 Corning Incorporated Optical touch-screen systems and methods using a planar transparent sheet
JP2015503159A (ja) 2011-11-28 2015-01-29 コーニング インコーポレイテッド 堅牢な光学式タッチスクリーンシステム及び、平面透明シートの使用方法
US9389679B2 (en) 2011-11-30 2016-07-12 Microsoft Technology Licensing, Llc Application programming interface for a multi-pointer indirect touch input device
US8908894B2 (en) 2011-12-01 2014-12-09 At&T Intellectual Property I, L.P. Devices and methods for transferring data through a human body
EP2791763B1 (en) * 2011-12-16 2018-10-31 FlatFrog Laboratories AB Tracking objects on a touch surface
CN104081323B (zh) * 2011-12-16 2016-06-22 平蛙实验室股份公司 跟踪触摸表面上的对象
US9927920B2 (en) 2011-12-16 2018-03-27 Flatfrog Laboratories Ab Tracking objects on a touch surface
EP2795437A4 (en) 2011-12-22 2015-07-15 Flatfrog Lab Ab TOUCH DETERMINATION WITH INTERACTION COMPENSATION
JP5882744B2 (ja) * 2012-01-05 2016-03-09 キヤノン株式会社 座標入力装置
US9323322B2 (en) * 2012-02-02 2016-04-26 Smart Technologies Ulc Interactive input system and method of detecting objects
WO2013126005A2 (en) 2012-02-21 2013-08-29 Flatfrog Laboratories Ab Touch determination with improved detection of weak interactions
KR101910607B1 (ko) * 2012-04-30 2018-10-23 랩트 아이피 리미티드 터치 이벤트 템플릿을 이용한 광학 터치-감지 장치에서의 다중 터치 이벤트 검출
EP2845080A4 (en) 2012-05-02 2015-12-16 Flatfrog Lab Ab OBJECT DETECTION IN TOUCH SYSTEMS
US10318041B2 (en) 2012-05-02 2019-06-11 Flatfrog Laboratories Ab Object detection in touch systems
US10168835B2 (en) 2012-05-23 2019-01-01 Flatfrog Laboratories Ab Spatial resolution in touch displays
US9524060B2 (en) 2012-07-13 2016-12-20 Rapt Ip Limited Low power operation of an optical touch-sensitive device for detecting multitouch events
US9405382B2 (en) 2012-07-24 2016-08-02 Rapt Ip Limited Augmented optical waveguide for use in an optical touch sensitive device
EP2706443B1 (en) 2012-09-11 2017-12-27 FlatFrog Laboratories AB Touch force estimation in a projection-type touch-sensing apparatus based on frustrated total internal reflection
WO2014104968A1 (en) * 2012-12-27 2014-07-03 Flatfrog Laboratories Ab A touch-sensing apparatus and a method for enabling control of a touch-sensing apparatus by an external device
US9811178B2 (en) * 2013-03-14 2017-11-07 Apple Inc. Stylus signal detection and demodulation architecture
US10459546B2 (en) * 2013-03-14 2019-10-29 Apple Inc. Channel aggregation for optimal stylus detection
AU2015258278B2 (en) * 2013-03-14 2016-09-15 Apple Inc. Channel aggregation for optimal stylus detection
US10019113B2 (en) 2013-04-11 2018-07-10 Flatfrog Laboratories Ab Tomographic processing for touch detection
US9946366B2 (en) 2013-06-03 2018-04-17 Apple Inc. Display, touch, and stylus synchronization
US9874978B2 (en) 2013-07-12 2018-01-23 Flatfrog Laboratories Ab Partial detect mode
CN104298405B (zh) * 2013-07-19 2017-07-28 中强光电股份有限公司 触控模块、投影系统及其触控方法
US10108984B2 (en) 2013-10-29 2018-10-23 At&T Intellectual Property I, L.P. Detecting body language via bone conduction
US9594433B2 (en) 2013-11-05 2017-03-14 At&T Intellectual Property I, L.P. Gesture-based controls via bone conduction
US9349280B2 (en) 2013-11-18 2016-05-24 At&T Intellectual Property I, L.P. Disrupting bone conduction signals
US10678322B2 (en) 2013-11-18 2020-06-09 At&T Intellectual Property I, L.P. Pressure sensing via bone conduction
US9715774B2 (en) 2013-11-19 2017-07-25 At&T Intellectual Property I, L.P. Authenticating a user on behalf of another user based upon a unique body signature determined through bone conduction signals
WO2015076731A1 (en) * 2013-11-22 2015-05-28 Flatfrog Laboratories Ab A touch sensitive apparatus with improved spatial resolution
US9405892B2 (en) 2013-11-26 2016-08-02 At&T Intellectual Property I, L.P. Preventing spoofing attacks for bone conduction applications
US10126882B2 (en) 2014-01-16 2018-11-13 Flatfrog Laboratories Ab TIR-based optical touch systems of projection-type
US10146376B2 (en) 2014-01-16 2018-12-04 Flatfrog Laboratories Ab Light coupling in TIR-based optical touch systems
US10161886B2 (en) 2014-06-27 2018-12-25 Flatfrog Laboratories Ab Detection of surface contamination
US9589482B2 (en) 2014-09-10 2017-03-07 At&T Intellectual Property I, L.P. Bone conduction tags
US9882992B2 (en) 2014-09-10 2018-01-30 At&T Intellectual Property I, L.P. Data session handoff using bone conduction
US9582071B2 (en) 2014-09-10 2017-02-28 At&T Intellectual Property I, L.P. Device hold determination using bone conduction
US10045732B2 (en) 2014-09-10 2018-08-14 At&T Intellectual Property I, L.P. Measuring muscle exertion using bone conduction
US9600079B2 (en) 2014-10-15 2017-03-21 At&T Intellectual Property I, L.P. Surface determination via bone conduction
CN104317461A (zh) * 2014-11-03 2015-01-28 兰州空间技术物理研究所 高分辨率红外触摸屏触摸响应模型
US11182023B2 (en) 2015-01-28 2021-11-23 Flatfrog Laboratories Ab Dynamic touch quarantine frames
US10318074B2 (en) 2015-01-30 2019-06-11 Flatfrog Laboratories Ab Touch-sensing OLED display with tilted emitters
EP3256936A4 (en) 2015-02-09 2018-10-17 FlatFrog Laboratories AB Optical touch system comprising means for projecting and detecting light beams above and inside a transmissive panel
CN104571731B (zh) * 2015-02-16 2017-06-09 京东方科技集团股份有限公司 触摸面板和显示装置
US10401546B2 (en) 2015-03-02 2019-09-03 Flatfrog Laboratories Ab Optical component for light coupling
WO2017099657A1 (en) 2015-12-09 2017-06-15 Flatfrog Laboratories Ab Improved stylus identification
CN110100226A (zh) 2016-11-24 2019-08-06 平蛙实验室股份公司 触摸信号的自动优化
KR102495467B1 (ko) 2016-12-07 2023-02-06 플라트프로그 라보라토리즈 에이비 개선된 터치 장치
CN116679845A (zh) 2017-02-06 2023-09-01 平蛙实验室股份公司 触摸感测装置
WO2018174786A1 (en) * 2017-03-22 2018-09-27 Flatfrog Laboratories Pen differentiation for touch displays
EP4036697A1 (en) 2017-03-28 2022-08-03 FlatFrog Laboratories AB Optical touch sensing apparatus
KR20240042123A (ko) * 2017-08-30 2024-04-01 바이오액시알 사스 단일 분포 및 딥 러닝에 기초한 초해상도 계측 방법
CN117311543A (zh) 2017-09-01 2023-12-29 平蛙实验室股份公司 触摸感测设备
WO2019172826A1 (en) 2018-03-05 2019-09-12 Flatfrog Laboratories Ab Improved touch-sensing apparatus
CN108710449B (zh) * 2018-05-02 2022-03-22 Oppo广东移动通信有限公司 电子装置
US10831316B2 (en) 2018-07-26 2020-11-10 At&T Intellectual Property I, L.P. Surface interface
WO2020080992A1 (en) 2018-10-20 2020-04-23 Flatfrog Laboratories Ab Frame for a touch-sensitive device and tool therefor
US11943563B2 (en) 2019-01-25 2024-03-26 FlatFrog Laboratories, AB Videoconferencing terminal and method of operating the same
CN112305638A (zh) * 2019-07-26 2021-02-02 西安光启未来技术研究院 一种有效感知范围识别方法及相关设备
CN112347812B (zh) * 2019-08-07 2024-04-19 群创光电股份有限公司 通过电子装置以侦测指纹的方法
WO2021107840A1 (en) 2019-11-25 2021-06-03 Flatfrog Laboratories Ab A touch-sensing apparatus
KR20220131982A (ko) 2020-02-10 2022-09-29 플라트프로그 라보라토리즈 에이비 향상된 터치-감지 장치

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3673327A (en) 1970-11-02 1972-06-27 Atomic Energy Commission Touch actuable data input panel assembly
US4254333A (en) 1978-05-31 1981-03-03 Bergstroem Arne Optoelectronic circuit element
US5105186A (en) * 1990-05-25 1992-04-14 Hewlett-Packard Company Lcd touch screen
JP3827450B2 (ja) * 1998-08-18 2006-09-27 富士通株式会社 光走査型タッチパネル
US6972753B1 (en) 1998-10-02 2005-12-06 Semiconductor Energy Laboratory Co., Ltd. Touch panel, display device provided with touch panel and electronic equipment provided with display device
US6690363B2 (en) * 2000-06-19 2004-02-10 Next Holdings Limited Touch panel display system
JP2003330603A (ja) 2002-05-13 2003-11-21 Ricoh Co Ltd 座標検出装置、座標検出方法、その方法をコンピュータに実行させる座標検出プログラムおよび座標検出プログラムを記録した記録媒体
JP2005004278A (ja) * 2003-06-09 2005-01-06 Ricoh Elemex Corp 座標入力装置
US7432893B2 (en) * 2003-06-14 2008-10-07 Massachusetts Institute Of Technology Input device based on frustrated total internal reflection
WO2005026938A2 (en) 2003-09-12 2005-03-24 O-Pen Aps A system and method of determining a position of a radiation scattering/reflecting element
US8599140B2 (en) 2004-11-17 2013-12-03 International Business Machines Corporation Providing a frustrated total internal reflection touch interface
JP2008533581A (ja) * 2005-03-10 2008-08-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ タッチスクリーン・ディスプレイと相互作用する複数オブジェクトの位置・大きさ・形を検出するためのシステムおよび方法
US8847924B2 (en) 2005-10-03 2014-09-30 Hewlett-Packard Development Company, L.P. Reflecting light
WO2007112742A1 (en) * 2006-03-30 2007-10-11 Flatfrog Laboratories Ab A system and a method of determining a position of a scattering/reflecting element on the surface of a radiation transmissive element
US8094136B2 (en) 2006-07-06 2012-01-10 Flatfrog Laboratories Ab Optical touchpad with three-dimensional position determination
JP5016049B2 (ja) 2006-09-13 2012-09-05 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 対象の方向性の決定
US8094129B2 (en) 2006-11-27 2012-01-10 Microsoft Corporation Touch sensing using shadow and reflective modes
US20110310064A1 (en) 2007-06-25 2011-12-22 Nokia Corporation User Interfaces and Associated Apparatus and Methods
US8716614B2 (en) 2007-10-10 2014-05-06 Flatfrog Laboratories Ab Touch pad and a method of operating the touch pad
AR064377A1 (es) * 2007-12-17 2009-04-01 Rovere Victor Manuel Suarez Dispositivo para sensar multiples areas de contacto contra objetos en forma simultanea
US20090219256A1 (en) * 2008-02-11 2009-09-03 John David Newton Systems and Methods for Resolving Multitouch Scenarios for Optical Touchscreens
WO2010006885A2 (en) 2008-06-23 2010-01-21 Flatfrog Laboratories Ab Detecting the location of an object on a touch surface
TW201013492A (en) 2008-06-23 2010-04-01 Flatfrog Lab Ab Determining the location of one or more objects on a touch surface
TW201005606A (en) 2008-06-23 2010-02-01 Flatfrog Lab Ab Detecting the locations of a plurality of objects on a touch surface
TW201001258A (en) 2008-06-23 2010-01-01 Flatfrog Lab Ab Determining the location of one or more objects on a touch surface
TW201007530A (en) 2008-06-23 2010-02-16 Flatfrog Lab Ab Detecting the location of an object on a touch surface
CN102171637B (zh) * 2008-08-07 2015-08-12 拉普特知识产权公司 用于检测光学触摸敏感装置中的多触摸事件的方法和设备
KR101323045B1 (ko) * 2008-10-21 2013-10-29 엘지디스플레이 주식회사 감지장치와 그 출력 증폭방법
SE533704C2 (sv) 2008-12-05 2010-12-07 Flatfrog Lab Ab Pekkänslig apparat och förfarande för drivning av densamma
US8154529B2 (en) * 2009-05-14 2012-04-10 Atmel Corporation Two-dimensional touch sensors
WO2010134865A1 (en) 2009-05-18 2010-11-25 Flatfrog Laboratories Ab Determining the location of an object on a touch surface
KR101738190B1 (ko) 2009-09-02 2017-05-29 플라트프로그 라보라토리즈 에이비 보상 신호 프로파일을 갖는 터치 표면
AU2010308594A1 (en) 2009-10-19 2012-04-26 Flatfrog Laboratories Ab Extracting touch data that represents one or more objects on a touch surface
WO2011049512A1 (en) 2009-10-19 2011-04-28 Flatfrog Laboratories Ab Touch surface with two-dimensional compensation
WO2011078769A1 (en) 2009-12-21 2011-06-30 Flatfrog Laboratories Ab Touch surface with identification of reduced performance
TW201203052A (en) 2010-05-03 2012-01-16 Flatfrog Lab Ab Touch determination by tomographic reconstruction

Also Published As

Publication number Publication date
IL219189A0 (en) 2012-06-28
RU2012118597A (ru) 2013-11-27
US9430079B2 (en) 2016-08-30
KR20120083915A (ko) 2012-07-26
US20120212441A1 (en) 2012-08-23
CN102656547A (zh) 2012-09-05
WO2011049513A1 (en) 2011-04-28
EP2491481A4 (en) 2014-08-20
JP2013508852A (ja) 2013-03-07
EP2491481A1 (en) 2012-08-29
CA2778154A1 (en) 2011-04-28
AU2010308596A1 (en) 2012-06-07

Similar Documents

Publication Publication Date Title
JP5782446B2 (ja) 接触面上における1つまたは複数の対象用の接触データの決定
US8482547B2 (en) Determining the location of one or more objects on a touch surface
EP2491479B1 (en) Extracting touch data that represents one or more objects on a touch surface
US9626018B2 (en) Object detection in touch systems
US9134854B2 (en) Detecting the locations of a plurality of objects on a touch surface
US20190094990A1 (en) Touch sensing apparatus and method of operating the same
US20170185230A1 (en) Touch determination with interaction compensation
JP2013508851A (ja) 二次元補償を用いるタッチ面
US20110163996A1 (en) Determining the location of one or more objects on a touth surface
TW201411454A (zh) 觸控系統中的物件偵測
EP2433204A1 (en) Determining the location of an object on a touch surface

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131010

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131010

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140723

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140812

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141107

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150310

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150413

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150623

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150717

R150 Certificate of patent or registration of utility model

Ref document number: 5782446

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees