JP7084425B2 - タッチ式入力装置 - Google Patents

タッチ式入力装置 Download PDF

Info

Publication number
JP7084425B2
JP7084425B2 JP2019563877A JP2019563877A JP7084425B2 JP 7084425 B2 JP7084425 B2 JP 7084425B2 JP 2019563877 A JP2019563877 A JP 2019563877A JP 2019563877 A JP2019563877 A JP 2019563877A JP 7084425 B2 JP7084425 B2 JP 7084425B2
Authority
JP
Japan
Prior art keywords
input device
solid object
vibration
light
contact point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019563877A
Other languages
English (en)
Other versions
JP2020521236A5 (ja
JP2020521236A (ja
Inventor
トビアス グルデン ダール,
マグヌス クリスチャン ビャーケン,
アンドレアス フォーグル,
オッド クリステン エスタン ペターセン,
Original Assignee
シンテフ ティーティーオー アクティーゼルスカブ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シンテフ ティーティーオー アクティーゼルスカブ filed Critical シンテフ ティーティーオー アクティーゼルスカブ
Publication of JP2020521236A publication Critical patent/JP2020521236A/ja
Publication of JP2020521236A5 publication Critical patent/JP2020521236A5/ja
Priority to JP2022090121A priority Critical patent/JP7493551B2/ja
Application granted granted Critical
Publication of JP7084425B2 publication Critical patent/JP7084425B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0414Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using force sensing means to determine a position
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01HMEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H9/00Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves by using radiation-sensitive means, e.g. optical means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Position Input By Displaying (AREA)
  • Input From Keyboards Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)
  • Ticket-Dispensing Machines (AREA)

Description

本発明は、タッチ式入力装置に関し、とくには、容易に持ち運ぶことができるが、大きなタッチ入力面を提供するタッチ式入力装置に関する。
ユーザによって操作される電子デバイスであって、ユーザによる入力をデバイスへともたらすための手段を必要とするさまざまな電子デバイスが存在する。そのようなデバイスの例として、コンピュータ、メディアデバイス、仮想現実デバイス、などが挙げられる。いくつかの一般的な入力装置として、キーボード、コンピュータマウス、トラックボール、などの周辺機器が挙げられる。しかしながら、これらの周辺機器のいくつかは、使用または使用の学習が難しく、場所をとり、入力をもたらすための手段としてあまり便利でなく、あるいは直感的でないかもしれない。より最近の入力装置として、例えば特許文献1に開示されているようなタッチ画面またはタッチパッドなどのタッチ式入力装置が挙げられる。しかしながら、このような装置は、典型的には、ユーザに所望の入力の選択肢を提供するために大きなタッチ入力領域を必要とする(例えば、文章および数字の入力を打ち込むためのキーボード配置の文字および数字に対応するタッチ入力領域を提供するなど)。さらに、タッチによって発生する音響信号の検出に依存する装置の場合、検出された信号の間の位相差および/または振幅差を、ノイズフロアを上回って認識できるようにするために、音響信号を検出するセンサの間に充分な分離が存在するように、装置を大きくする必要がある。結果として、このような装置は、典型的には大型であり、したがって持ち運びが容易ではない。より小型のタッチ式入力装置は、例えば複数のユーザの間の共同作業など、いくつかの用途には適していない。
米国特許第7411581号明細書
第1の態様から見ると、本発明は、固体の物体の表面におけるオブジェクトの接触点に関する情報を決定することによって入力を受け取る方法であって、
a)複数の光学振動センサを共通のハウジング内に取り付けて備えている入力装置であって、各々の光学振動センサは、
回折光学要素と、
光の第1の部分が前記回折光学要素を通過し、光の第2の部分が前記回折光学要素から反射されるように、前記回折光学要素を照明するように配置された光源と、
前記光の第1および第2の部分によって生成される干渉パターンを検出するように配置された光検出器と
を備え、
前記光学振動センサは、使用時に、前記光の第1の部分が前記回折光学要素を通過した後に、前記光の第1の部分が反射面から前記光検出器へと反射されるように構成されており、当該入力装置を、前記固体の物体の前記表面に接触させて配置することと、
b)前記オブジェクトを前記固体の物体の前記表面に物理的に接触させることによって、前記固体の物体に振動を生じさせることと、
c)前記光学振動センサのうちの2つ以上を使用して、前記振動を検出することと、
d)前記振動の相対位相を使用して、前記固体の物体の前記表面における前記オブジェクトの接触点に関する情報を決定することと
を含む方法を提供する。
本発明は、複数の光学振動センサを共通のハウジング内に取り付けて備えている入力装置であって、
各々の光学振動センサは、
回折光学要素と、
光の第1の部分が前記回折光学要素を通過し、光の第2の部分が前記回折光学要素から反射されるように、前記回折光学要素を照明するように配置された光源と、
前記光の第1および第2の部分によって生成される干渉パターンを検出するように配置された光検出器と
を備え、
前記光学振動センサは、使用時に、前記光の第1の部分が前記回折光学要素を通過した後に、前記光の第1の部分が反射面から前記光検出器へと反射されるように構成され、
当該入力装置は、固体の物体の表面上に配置され、あるいは固体の物体の表面に取り付けられるように構成され、
当該入力装置は、
前記光学振動センサのうちの2つ以上を使用して、オブジェクトが前記固体の物体の前記表面に物理的に接触することによって引き起こされる振動を検出し、
前記振動の相対位相を使用して、前記固体の物体の前記表面における前記オブジェクトの接触点に関する情報を決定する
ように構成されている、入力装置へと広がる。
したがって、本発明によれば、入力装置を固体の物体(例えば、テーブルの天板、床、壁、など)上に配置し、あるいは固体の物体に取り付けることができ、入力装置が配置され、あるいは取り付けられた固体の物体の表面にオブジェクト(例えば、ユーザの手または指、あるいはスタイラス、ペン、などの入力オブジェクト)がタッチしたときに、タッチの接触点において生じる振動が、固体の物体を通って入力装置内の光学振動センサの位置へと伝播することを、理解できるであろう。振動は光学振動センサによって検出され、その相対位相が、振動の原点を決定することによって接触点に関する情報を決定するために使用される。接触点に関する情報は、これらに限られるわけではないが、接触点の位置、接触点が入力装置に対して位置する方向、接触の持続時間、および/または接触点と入力装置との間の距離を含むことができる。接触点は、ただ1つの不動の点(例えば、表面のタップ)または移動する点(例えば、表面を横切るスワイプ)であってよい。移動する接触点の場合、接触点に関する情報は、これらに限られるわけではないが、点の移動方向、接触点が辿った一連の位置、接触点が辿った一連の位置の開始位置および終了位置、接触点が辿った形状、および/または接触の持続時間を含むことができる。したがって、比較的小さくてよい入力装置を比較的広い固体の物体の表面に配置することにより、たとえ固体の物体が入力がもたらされるべき電子デバイスの一部でなくても、伝播または振動を可能にすることができるあらゆる表面をタッチ入力面として使用することができる。例えば、固体の物体は、テーブルなどの日常の物体であってよく、あるいは壁などの固体の物体の他の表面であってよい。これは、比較的小さい入力装置を或る場所へと容易に持ち運び、その場所においてすでに利用することができるテーブル、壁、などの固体の物体上に設置することで、大きな入力タッチ面を提供することができるという利点をもたらす。
本発明によれば、振動の相対位相が、固体の物体の表面におけるオブジェクトの接触点に関する情報を決定するために使用される。一連の好ましい実施形態によれば、振動の相対振幅も、固体の物体の表面におけるオブジェクトの接触点に関する情報を決定するために使用される。これは、信号の振幅が、その移動距離に、理論的に計算でき、かつ/または経験的に決定できる減衰によって関連する可能性があるため、これらの振幅が、それぞれのセンサに対するオブジェクトの相対距離に関する有用な情報を提供できることを認識している。
入力装置を、使用時に固体の物体に取り付けることができるが、これは必須ではない。本発明による入力装置は、必ずしも固体の物体に固定に取り付けられなくても、光学振動センサによって振動を検出することができるという点で好都合である。入力装置を、使用時に固体の物体上に、固定に取り付けることなく配置することができ、例えば入力装置は、表面に載せられ、重力および/または摩擦によってその場に保持されてよい。固体の物体の表面と光学振動センサとの間の結合を改善するために、入力装置は、入力装置をその場に保持する重力による力を大きくするための追加のマス(mass:質量体)を備えることができる。このような追加の重量を、電池寿命の改善という追加の利点ももたらす大型のバッテリによって好都合にもたらすことができる。
本出願の出願人は、本発明による入力装置が、固体の物体を通って伝播する振動および固体の物体の表面を伝播する振動を検出できることを認識している。これは、1つ以上の入力装置を、接触点が形成される表面の部分とは異なる固体の物体の表面の部分に接触させて配置することを、好都合に可能にする。したがって、接触点および入力装置が固体の物体の表面上に位置すると述べたとき、これが、接触点および入力装置が固体の物体の同じ領域または面に位置することに限られないことを、理解できるであろう。いくつかの実施形態において、入力装置は、固体の物体のうちの接触点が形成される領域または面とは異なる(例えば、反対側の)領域または面に配置される。例えば、入力装置をテーブルの下面に取り付けることができる一方で、接触点はテーブルの上面において形成される。別の例として、入力装置を壁の背面に取り付けることができる一方で、接触点は壁の前面において形成される。これにより、ユーザは、入力装置によって占められる領域を回避する必要なく、固体の側面または面(例えば、前面または上面)のあらゆる場所においてタッチ入力の接触点を形成することができる。そのような配置は、審美的にもより魅力的であり得る。
表面との接触点に関する情報(これらに限られるわけではないが、接触点の位置、スワイプの場所、スワイプの方向、スワイプが辿った一連の位置、タップまたはスワイプの持続時間、など)を、直接振動、すなわち接触点から直接的に入力装置へと伝播する振動から決定することができ、あるいは間接振動、すなわち接触点において発生して表面の境界(例えば、テーブルの縁)または他の不連続から反射された後に入力装置に到達する振動から決定することができる。
一連の実施形態において、表面との接触点に関する情報は、直接および間接振動を含む検出された複合信号(例えば、直接および間接振動の合計)から決定される。そのような一連の実施形態において、直接信号の推定値を複合信号から差し引いて、例えば直接信号を実質的に有さない1つ以上の間接信号で構成される残留信号をもたらすことができる。直接信号を、例えば最大エネルギピークを決定し、さらには/あるいは時間ウィンドウを使用することによって、検出された複合信号から推定することができる。表面との接触点に関する情報を、残留信号から決定することができる。これは、スワイプに関する情報、とりわけ光学振動センサのアレイに垂直なスワイプ(または、光学振動センサのアレイに垂直な成分をかなり有するスワイプ)に関する情報の決定に、とくに有用となり得る。これは、このようなジェスチャの際に、直接経路信号の到来の角度が大きくは変化しないのに対し、例えば表面の縁からの反射に由来する間接信号は、ジェスチャの全体を通して変化する角度で到来する傾向にあるからである。
一連の実施形態において、表面との接触点に関する情報は、1つ以上の推定部分インパルス応答を使用して決定される。推定部分インパルス応答は、対応する予想タッチ入力に関して光学振動センサのアレイによって検出されると予想される複合信号(すなわち、直接および間接の両方の信号を含む)の一部分の推定である。「部分」という用語は、予想されるインパルス応答の一部分のみを推定でき、例えば予想される信号が指定されていない部分(例えば、時間領域)が存在できることを指す。次に、実際の検出信号を、予想されるタッチ入力に関する推定された部分インパルス応答と照合することができ、例えば最良の一致を特定することができ、あるいは他の可能な一致よりも指定されたマージンだけ実際の検出信号に近い一致を特定することができる。最良一致の部分インパルス応答に対応する予想タッチ入力を、検出された振動を発生させた実際のタッチ入力に対応すると識別することができる。
振動の相対位相を使用し、さらに随意により相対振幅を使用して、接触点に関する情報を決定することが、それ自体は技術的に知られたビームフォーミングならびにより単純な位相差計算および/または振幅差計算などの技術を包含することを、理解できるであろう。
振動は固体表面へのオブジェクトの衝突から発生するため、伝播する振動が或る範囲の周波数を含むことを、理解できるであろう。入力装置は、振動に存在する周波数の一部またはすべてを使用して、接触点に関する情報を決定することができる。一連の実施形態において、入力装置は、振動の周波数のうちの或る範囲またはサブセットを優先的または排他的に使用して、接触点についての情報を決定する。
一連の実施形態において、この方法は、固体の物体に関する1つ以上のパラメータを決定することを含む。パラメータは、固体の物体の高さ、幅、奥行き、半径、形状、材料、および/または密度を含むグループから選択される1つ以上を含むことができる。この方法は、接触点の位置を固体の物体のパラメータに関連付ける方程式の過剰決定の組を取得することを含むことができる。入力装置は、方程式の上述の過剰決定の組を取得するための充分なセンサを備えることができ、例えば少なくとも3つ、少なくとも4つ、少なくとも5つ、または少なくとも6つのセンサが存在できる。これに加え、あるいはこれに代えて、この方法は、固体の物体上の入力装置の位置(例えば、固体の物体の境界または他の特徴に対する相対位置)を決定することを含むことができる。
いくつかの実施形態において、光の第1の部分を反射させる反射面は、固体の物体の表面である。そのような実施形態において、入力装置は、1つ以上の開口部または透明窓を備えることができ、開口部または透明窓は、光の第1の部分をそれぞれの回折光学要素から反射面へと伝播させ、次いで反射面からそれぞれの光検出器へと伝播させることができるように配置される。単一の開口部または窓を設けても、あるいはセンサごとに1つずつ、複数の開口部または窓を設けてもよい。そのような実施形態において、固体の物体は、反射性のカバー、例えば反射マットまたはシートを備えてもよい。反射面が固体の物体の表面であってよいと述べるとき、これは、固体の物体が反射性のカバーを備え、反射性のカバーが光の第1の部分を反射する可能性を含むことを、理解できるであろう。
いくつかの実施形態においては、各々の光学振動センサが膜を備える。そのような実施形態において、膜は、好ましくは、第1の部分を反射させる反射面を備える。各々の光学振動センサが、膜と固体の物体の表面との間の機械的な結合を備えることができる。入力装置は、使用時に表面上に配置され、あるいは表面に取り付けられ、その後に取り除かれるように意図されているため、機械的な結合は、固体の物体の表面への固定的な取り付けではないことが好ましい。代わりに、機械的な結合は、膜への固定的な取り付け、あるいは膜との一体的な形成であってよく、入力装置の使用時に固体の物体の表面に物理的に接触するように配置されてよい。機械的な結合は、膜に取り付けられたマス(mass:質量体)を備えることができる。例えば、ボールまたは重りを膜に(例えば、膜のうちの使用時に固体の物体の表面に面する側に)取り付け、入力装置が固体の物体の表面に接触するときにボールまたは重りが表面に物理的に接触するように配置することができる。このようにして、固体の物体の表面の振動を、機械的な結合を介して膜に伝播させることができる。したがって、膜の運動が、固体の物体の表面の振動の位相および振幅に対応する。しかしながら、光学振動センサがそれぞれの膜を備えることは、必須ではない。例えば、反射面が(先の段落で説明したように)固体の物体の表面を含む場合、光の第1の部分は固体の物体の表面から反射されるため、固体の物体の表面の振動の振幅を、膜を介するのではなく、固体の物体の表面から直接決定することができる。
振動の検出が、回折光学要素と反射面との間の距離の変動の結果として達成されることを、理解できるであろう。これは、干渉パターンが光の第1の部分と第2の部分と間の光路差に依存するからである。したがって、振動の検出を、膜または固体の物体の表面が、振動の振幅の尺度において実質的に不動であり得る各々の光学振動センサの回折光学要素に対して振動し、すなわち運動するがゆえに達成できることを、理解できるであろう。そのような実施形態においては、共通のハウジングを、共通のハウジングのうちの光学振動センサに隣接する領域において、共通のハウジングと固体の物体との間に物理的な接触が存在しないように形作ることができる。例えば、共通のハウジングは、共通のハウジングの周辺部においてのみ固体の物体に接触することができる。
しかしながら、必ずしも光学振動センサが静止または実質的に静止している必要はない。例えば、固体の物体の振動は、共通のハウジングを介し、さらには/あるいはそれぞれの膜および機械的な結合を介して、光学振動センサに伝播することができる。とくには、いくつかの実施形態において、共通のハウジングは、共通のハウジングのうちの光学振動センサに隣接する領域において、共通のハウジングと固体の物体との間に物理的な接触が存在するように形作られる。結果として、固体の物体の振動が共通のハウジングに、したがって光学振動センサに伝播することができる。そのような実施形態において、光学振動センサの各々が、固体の物体に機械的に結合していない膜を備えることができる。膜は、膜に取り付けられたマスを備えることができ、マスは使用中に固体の物体に接触しない。そのような実施形態においては、センサハウジングが振動する一方で、膜は膜上のマスの慣性ゆえに実質的に静止したままであり、すなわち各々の振動センサが光学加速度計として機能することができるため、膜と回折光学要素との間の相対運動が発生できる。
本出願の出願人は、各々の光学振動センサにセンサハウジングを設け、光学振動センサを収容した各々のセンサハウジングを共通のハウジング内に取り付ける(すなわち、共通のハウジングが主ハウジングおよび複数のセンサハウジングを含む)ことにより、入力装置の性能を改善できることを認識した。これにより、センサハウジングを主ハウジングとは異なる材料で製作できるという利点がもたらされる。とくには、主ハウジングを、振動の伝播を抑制する材料で製作することができる。これにより、或るセンサハウジングにおける振動が隣接するセンサハウジングへの伝播において減衰させられるため、センサ間のクロストークが低減または排除されるという利点がもたらされる。
本明細書において使用されるとき、クロストークは、或る光学振動センサから別の光学振動センサへと、とくにはセンサハウジング間で、とりわけ隣接するセンサの間で、振動が伝播することを指す。とくには、いくつかの実施形態において、振動が固体の物体から各々のセンサハウジングまたは各々のセンサハウジングに取り付けられたそれぞれの膜へと意図的に伝播させられ、反射面と光学回折要素との間に相対運動を引き起こす。これらの振動が隣接するセンサハウジングに伝わると、隣接する光学振動センサが、その位置における振動の存在を誤って記録する可能性がある。これにより、入力装置が正しく機能できなくなる可能性がある。
いくつかの実施形態においては、各々のセンサハウジングの平均密度が、主ハウジングのうちのセンサを接続する部分の平均密度よりも高い。密度の低い材料は振動をあまり効果的に伝搬させないため、センサ間の部分に密度の低い材料を配置することで、センサハウジング間の振動の伝搬を抑制できることを、理解できるであろう。
これは、それ自体で新規かつ進歩性を有し、したがって第2の態様から見たとき、本発明は、固体の物体の表面に接触しているときに、前記固体の物体における振動を検出する入力装置であって、
主ハウジングと、
前記主ハウジング内に取り付けられた複数のセンサユニットと
を備え、
各々のセンサユニットは、センサハウジングと、前記センサハウジング内に取り付けられた光学振動センサとを備え、
各々の光学振動センサは、
回折光学要素と、
光の第1の部分が前記回折光学要素を通過し、光の第2の部分が前記回折光学要素から反射されるように、前記回折光学要素を照明するように配置された光源と、
前記光の第1および第2の部分によって生成される干渉パターンを検出するように配置された光検出器と
を備え、
前記光学振動センサは、使用時に、前記光の第1の部分が前記回折光学要素を通過した後に、前記光の第1の部分が反射面から前記光検出器へと反射されるように構成され、
各々のセンサハウジングの平均密度は、前記センサを接続する前記主ハウジングの一部分の平均密度よりも高い、入力装置を提供する。
第1の態様の特徴は、第2の態様の特徴でもあり得、逆もまた同様である。
本発明の両方の態様の重要な利点は、密な間隔で配置されたセンサのアレイを使用してタッチ位置を検出することができ、したがって入力装置自体を、例えばタッチを検出すべき表面上の基本的に1つの地点に後付けまたは配置することができるアレイの形態で、コンパクトにできることである。
これは、先行技術の入力装置とは対照的である。先行技術の装置においては、2つ以上のセンサによって検出された振動の間の位相差および/または振幅差の決定に、センサ間の大きな距離が必要である。これは、観測可能な位相差および/または振幅差が存在するために、センサ間に充分な間隔が必要だからである。例えば、まったく同じ場所に配置された2つのセンサは、同じ信号を観測し、したがって位相差はゼロになると考えられる。わずかに離して配置されたセンサの場合、小さな位相差が存在するが、これは典型的にはセンサの自己ノイズに埋もれてしまうため、この手法は先行技術においては使用されていない。実際には、2つの信号の単なる減算ではなく、むしろ2つの信号およびセンサノイズである。例えば、第1のセンサの受信信号をx(信号s1とノイズn1とで構成される)とし、第2のセンサの受信信号をy(信号s1とノイズn1とで構成される)とする。xおよびyは、時間サンプル内の受信信号の高速フーリエ変換に基づいて計算されるため、どちらも複素数である。
x=s1+n1 式1
y=s+n 式2
w=x-y=[s1-s]+[n1-n]式3
センサが近づけて配置されているほど、最初の項の大きさ、すなわち|s1-s|が、小さくなることに注意すべきである。累積誤差の大きさ、すなわち|n1-n|は、センサを互いに近づけても変化しない。したがって、センサを互いに近づけると、フィンガプリントまたは推定器wのSNRが低下し、すなわち
Figure 0007084425000001
が、センサを互いに近づけて配置すると悪化する。上記は、信号差の生の狭帯域またはフーリエ係数、すなわちs1-s2に関するが、同じ推論が信号の位相および大きさにも当てはまる。典型的には、信号の位相の間の差および信号の大きさの間の差は、どちらもセンサ間の距離が短くなるにつれて小さくなるが、これは、一般に、SNRのノイズ部分には当てはまらない。
しかしながら、本出願の出願人は、例えば光学MEMS加速度計など、本発明の文脈において上述したような光学振動センサは、センサノイズが充分に小さく、したがってセンサをコンパクトな入力装置となるように互いにはるかに近づけて配置しつつ、単純な位相差計算およびより高度な(例えば、ビームフォーミング)方法を含む位相差による正確な位置特定のための充分に良好なSNRを依然としてもたらすことができると認識した。さらに、センサの間隔を小さくすると、依然として比較的小さいアレイにさらに多くのセンサを収めることが可能になる。これは、例えばビームフォーミングなどの高度な技術可能にするため、好都合である。
上述の利点は、上述のように比較的低密度の主ハウジング材料を使用することによってセンサ間のクロストークを低減するように構成された実施形態において、さらに高い程度まで達成される。
センサハウジングを、入力装置の使用時に固体の物体の表面に接触するように配置することができる。そのような実施形態において、光学振動センサの各々が、固体の物体に機械的に結合していない膜を備えることができる。膜は、膜に取り付けられたマスを備えることができ、マスは使用中に固体の物体に接触しない。そのような実施形態においては、センサハウジングが振動する一方で、膜は膜上のマスの慣性ゆえに実質的に静止したままであり、すなわち各々の振動センサが光学加速度計として機能することができるため、膜と回折光学要素との間の相対運動が発生できる。
膜に取り付けられたマスおよび/または機械的結合を備える任意の実施形態において、マスおよび/または機械的結合の一部は、膜のうちの格子に面する側にあってよい。したがって、反射面が膜を備えることができると述べたとき、これが、膜がマスおよび/または機械的結合をマスおよび/または機械的結合の一部によって光の第1の部分を反射させることができるように備える可能性を含むことを、理解できるであろう。
一連の実施形態において、各々のセンサハウジングは、可撓サスペンションによって主ハウジング内に取り付けられる。例えば、サスペンションは、センサハウジングと主ハウジングとを接続する弾性部材であってよい。サスペンションを、シリコーン、ゴム、発泡体、または任意の他の適切な材料から製作することができる。これは、各々のセンサハウジングから主ハウジングへの振動の伝播の低減を好都合に手助けし、クロストークをさらに低減する。
センサハウジングを、任意の適切な材料で製作することができ、例えばステンレス鋼またはアルミニウムなどの金属で製作することができる。センサハウジングを、密度が2.5g/cm3を超え、好ましくは5.0g/cm3を超え、より好ましくは7.5g/cm3を超える材料から製作することができる。
主ハウジングのうちのセンサを接続する部分を、任意の適切な材料から製作することができ、好ましくはセンサハウジングの材料と比較して振動の伝播を低減する材料、例えば発泡体またはゴムで製作することができる。好ましくは、主ハウジングのうちのセンサを接続する部分は、密度が0.5g/cm3未満、より好ましくは0.2g/cm3未満、最も好ましくは0.1g/cm3未満の材料から製作される。好ましくは、主ハウジングのうちのセンサを接続する部分は、センサハウジングの材料の密度の20%未満、より好ましくは10%未満、最も好ましくは5%未満の密度の材料から製作される。
上述のように、入力装置は、好ましくは容易に持ち運ぶことができるように充分に小さい。したがって、好ましい実施形態において、入力装置の最大寸法は0.2m未満、より好ましくは0.1m未満、最も好ましくは0.05m未満である。
すでに説明したように、いくつかの実施形態においては、装置を載せた表面との良好な結合をもたらすために、装置が比較的重いと有利かもしれない。例えば、一連の実施形態において、装置は、例えば0.5kgを超えるなど、0.2kgを超える質量を有する。
主ハウジングの材料を振動の伝搬を減らす材料とすることで、光学振動センサを大きなクロストークを生じることなく互いに近づけて設けることができるという利点がもたらされる。いくつかの好ましい実施形態において、隣接するセンサハウジング間の隔たりは、1cm未満であり、より好ましくは0.5cm未満である。隣接する光学振動センサ間の隔たりは、4cm未満、好ましくは2cm未満、より好ましくは1cm未満、例えば0.5cm未満または0.25cm未満であってよい。本明細書において使用されるとき、隣接する光学振動センサ間の隔たりは、或る光学振動センサ上の或る位置(例えば、中心点)と、隣接する光学振動センサ上の同じ位置との間の距離を意味する。
一連の実施形態において、入力装置はプロセッサを備える。プロセッサを、光学振動センサによって検出された振動の相対位相を使用し、随意により相対振幅を使用して、本発明の方法に従って固体の物体の表面におけるオブジェクトの接触点に関する情報を決定するように構成することができる。これに加え、あるいはこれに代えて、入力装置を遠方の処理装置と通信するように構成することができる。相対位相を用い、随意により相対振幅を用いる固体の物体の表面におけるオブジェクトの接触点に関する情報の決定を、部分的または完全に、遠方の処理装置によって実行することができる。
入力装置内の複数の光学振動センサを、アレイに配置することができ、好ましくは二次元アレイに配置することができる。例えば、光学振動センサを、正方格子配置にて配置することができる。これは、デカルト座標系の位置において振動を検出するために使用可能である。光学振動センサを、例えば同心円など、放射状の配置にて配置することができる。これは、極座標系の位置において振動を検出するために使用可能である。
入力装置内のわずか2つの光学振動センサを使用して、或る程度有用なデータを取得できると考えられるが、好ましくは、入力装置は、少なくとも9個、好ましくは少なくとも16個、例えば少なくとも25個の光学振動センサを備える。
表面における接触点に関する情報を決定するための振動の相対位相および/または相対振幅(使用される場合)の使用は、到来方向推定アルゴリズムの使用を含むことができる。例えばMUSICおよびESPRITなど、適切な到来方向推定アルゴリズムが技術的に知られている。
この方法は、接触点において生じる振動の波面の曲率半径を決定することによって入力装置から接触点までの距離を決定することを含むことができる。
この方法は、本発明による2つの入力装置を使用し、各々の入力装置によって接触点からの振動の波面の到来方向を決定し、到来方向の交点を決定することで、表面における接触点の位置を決定することを含むことができる。
回折光学要素は、好ましくは格子であるが、例えば回折レンズなど、任意の他の適切な光学要素であってよい。
膜を備える実施形態においては、膜を任意の適切な材料から製作することができる。いくつかの好ましい実施形態において、膜はケイ素から製作されるが、他の材料、例えばチッ化ケイ素を使用してもよい。膜を、基板上に膜材料を堆積させ、次いで膜へとつながった支持部を周囲に残すように基板のうちの膜材料の下方の部分をエッチングによって除去することによって製造することができる。例えばチッ化ケイ素膜などの膜を備える実施形態において、膜は、平坦な膜と比べて膜の従順性を高めることができる1つ以上の波形を含むことができる。従順性を高めた膜は、所与の圧力に対してより大きな変位を示すため、振動に対してより敏感である。したがって、そのような膜は、入力装置を振動に対してより敏感にすることにより、入力装置の性能を改善することができる。
膜を備える実施形態において、例えばばねなど、別の適切な弾性要素を膜の代わりに使用してもよい。そのような実施形態において、ばねを、上述のようにマスおよび/または機械的結合を支持するために使用することができ、マスおよび/または機械的結合は反射面として機能する。
本発明による1つ以上の入力装置を、仮想現実システムと併せて使用することが可能である。これは、このようなシステムが、標準的なキーボードまたはタッチ画面の使用にまったく適合しないため、粗雑な入力以上のものをもたらすことをユーザにとって可能にするうえで困難を呈するがゆえに、とくに好都合である。本発明による入力装置を、例えば入力装置を部屋内の複数の場所、例えば壁および床あるいは机の上に配置することによって、仮想現実空間を設定するために使用することができる。仮想現実システムは、ユーザが対話することができる入力システム(例えば、ボタン、オブジェクト、または他の機能)の視覚的表現をユーザに提供することができ、視覚的表現は、固体の物体(例えば、壁、机)の入力装置が取り付けられた位置に対応する。
本発明の上述の態様によれば、振動の相対位相が、固体の物体の表面におけるオブジェクトの接触点に関する情報を決定するために使用され、随意により振動の相対振幅も使用される。しかしながら、本出願の出願人は、例えば光学振動センサの低い自己ノイズおよび関連の利点ゆえに、振動の相対位相を使用せずに相対振幅を使用して、表面におけるオブジェクトの接触点に関する情報を決定することも可能であることを認識した。
したがって、第3の態様から見ると、本発明は、固体の物体の表面におけるオブジェクトの接触点に関する情報を決定することによって入力を受け取る方法であって、
a)複数の光学振動センサを共通のハウジング内に取り付けて備えている入力装置であって、各々の光学振動センサは、
回折光学要素と、
光の第1の部分が前記回折光学要素を通過し、光の第2の部分が前記回折光学要素から反射されるように、前記回折光学要素を照明するように配置された光源と、
前記光の第1および第2の部分によって生成される干渉パターンを検出するように配置された光検出器と
を備え、
前記光学振動センサは、使用時に、前記光の第1の部分が前記回折光学要素を通過した後に、前記光の第1の部分が反射面から前記光検出器へと反射されるように構成されている入力装置を、前記固体の物体の前記表面に接触させて配置することと、
b)前記オブジェクトを前記固体の物体の前記表面に物理的に接触させることによって、前記固体の物体に振動を生じさせることと、
c)前記光学振動センサのうちの2つ以上を使用して、前記振動を検出することと、
d)前記振動の相対振幅を使用して、前記固体の物体の前記表面における前記オブジェクトの接触点に関する情報を決定することと
を含む方法を提供する。
本発明のこの態様は、上述の方法を実行するように構成された入力装置にまで及ぶ。本発明の第1および第2の態様の随意による特徴または必須の特徴は、第3の態様の特徴でもあり得る。
ここで、特定の好ましい実施形態を、添付の図面を参照して、あくまでも例として説明する。
本発明の第1の実施形態による入力装置の光学振動センサを示している。 光検出器において記録された光強度と、格子と反射面との間の隔たりとの間の関係を示している。 本発明の一実施形態による入力装置を示している。 本発明の一実施形態による入力装置における光学振動センサのデカルト座標配置を示している。 本発明のさらなる実施形態による光学振動センサの極座標配置を示している。 近接場領域におけるタッチの位置を決定する本発明による方法を示している。 近接場領域におけるタッチの位置を決定する本発明による方法を示している。 遠距離場領域におけるタッチの位置を決定する本発明による方法を示している。 反射振動を使用してタッチ位置および表面パラメータを決定する方法を示している。 本発明の実施形態による光学振動センサの線形アレイにおいて受信された直接音響信号の到来方向のプロットを示している。 本発明の実施形態による光学振動センサの線形アレイにおいて受信されたエコー音響信号の到来方向のプロットを示している。 本発明の実施形態による光学振動センサの線形アレイにおいて受信された複合(直接およびエコー)音響信号の到来方向のプロットを示している。 本発明の実施形態による光学振動センサの線形アレイにおいて受信された直接信号およびエコー信号の時間変化を示すプロットである。 アレイに垂直なスワイプについて、本発明による光学振動センサの線形アレイにおいて受信される直接信号およびエコー信号の到来方向を示している。 表面のタップ入力からの直接信号およびエコー信号を検出する4つのセンサの線形アレイを示している。 図12に示したタップ入力について、推定部分インパルス応答を示している。 図12に示したタップ入力について、推定部分インパルス応答を示している。 本発明の第2の実施形態による入力装置の光学振動センサを示している。 本発明の第3の実施形態による入力装置の光学振動センサを示している。 図14に示した実施形態の変種を示している。
図1が、本発明の第1の実施形態による入力装置4に取り付けられた光学振動センサ2を示している。光学振動センサ2は、標準的な微小電気機械システム(MEMS)技術を使用して製造されている。光学振動センサ2は、センサハウジング6内に取り付けられ、センサハウジング6は、下端に開口部8を有している。光学振動センサ2は、レーザダイオード10、光検出器12、および回折格子14を備え、これらがハウジング6内に取り付けられている。
入力装置4は、外側ハウジング部分18と内側ハウジング部分20とを備える主ハウジング16を備える。内側ハウジング部分20は、振動の伝播を抑制するために発泡体から作られている。センサハウジング6は、ステンレス鋼など、より高い密度の材料で作られている。外側ハウジング部分18は、周辺リム22を備えており、入力装置4は、テーブル表面24に置かれたときに周辺リム22においてテーブル表面24に当接する。反射マット26がテーブル上面24に設けられる。反射マット26は、入力装置と一緒に容易に持ち運ぶことができ、例えば巻いて丸めることができる単一のピースとして用意されても、例えばタイルなどのテーブル上面24に配置することができる複数のより小さなピースとして用意されてもよい。
マットは必須ではなく、装置を適切な表面に直接配置してもよいことを、理解されたい。固定は不要であり、装置の重量(大型の内部バッテリが大きく寄与し得る)が、必要な結合をもたらすことができる。同様に、例えばユーザが触れるように意図された面の反対側の面などの表面に取り付けられてもよい。
使用時に、入力装置4は表面24上に位置し、ユーザは入力装置の近傍(しかしながら、必ずしも密接または直接隣接している必要はない)の領域において表面24に触れる。例えば、入力装置をテーブルの隅に配置することができ、ユーザがテーブルの別の場所をタップすることができる。ユーザの指または入力オブジェクトの接触により、表面24において振動が発生し、入力装置4に向かって光学振動センサ2の下方の反射マット26へと伝播する。
光学振動センサ2を使用して振動を検出するために、レーザダイオード10は、回折格子14に向かってレーザビーム28を投射する。放射の第1の部分30が、格子14から光検出器12へと反射される。第2の部分32が、格子14を透過し、格子14によって回折させられ、反射マット26に衝突し、反射マット26は、第2の部分32を光検出器12へと反射させる。第1および第2の部分30、32は干渉して、光検出器12において干渉パターンを形成する。干渉パターンは、第1および第2の部分30、32の相対位相に依存し、したがって、格子14と反射マット26(上述のように、ユーザのタッチによって表面24とともに振動する)との間の距離に依存する。
振動は、リム22を介して外側ハウジング部分18にも伝播し得るが、振動を抑制する内側ハウジング部分20の材料により、振動はセンサハウジング6には伝播しない。その結果、センサハウジング6およびセンサハウジング6内に取り付けられた格子14は、表面24が振動するときに表面24から実質的に絶縁される。結果として、格子14と反射マット26との間の距離は、振動の振幅に応じて変化する。したがって、以下で説明されるように、光検出器12において検出される干渉パターンも、振動の振幅とともに変化する。
光の第1および第2の部分は、それぞれ格子による反射および透過の際に回折を被り、0次、1次、2次、などに対応するいくつかのピークを有する回折パターンを形成する。光検出器は、光の両方の部分のゼロ次ピークを受光するように配置されるが、一次ピークまたはより高次のピークを受光するように配置されてもよい。いくつかの実施形態においては、各々のセンサに2つの光検出器が設けられ、一方の光検出器はゼロ次ピークを受光し、他方は一次ピークを受こうするように配置される。集光光学系を使用してピークをそれぞれの光検出器へと導くことができ、あるいは、これを回折素子自体によって実現してもよい(例えば、いくつかの実施形態において、回折素子は関連の回折次数のピークを一点に集束させるフレネル回折レンズである)。
干渉パターンから反射面24と格子14との隔たり(したがって、振動の振幅)を導き出すために、干渉回折パターンのゼロ次ピーク(および/または、1次ピーク)の合成振幅が測定される。格子14と反射マット26との間の光路長がレーザー光28の波長λの半分またはその整数倍である場合、0次回折ピークは強め合いの干渉を生じ、1次ピークは弱め合いの干渉を生じる。したがって、ゼロ次ピークを受光する光検出器12において受光される光は、最大になる。1次ピークを受光するための第2の光検出器が設けられる場合、第2の光検出器が受光する光は、最小になる。光路長が(2n+1)λ/4(ここで、nは整数)である場合には、ゼロ次回折ピークがむしろ強め合いの干渉を生じるため、光検出器12において受光される光が最小になる一方で、第2の光検出器(設けられる場合)において受光される光は最大になると考えられる。したがって、2つの光検出器を持つことで、センサのダイナミックレンジが広がる。理解されるとおり、光路長は、格子と表面との間の物理的距離に依存し、例えば光路長と物理的距離とが等しくてよく、あるいは測定または計算できるやり方で関係することができる。
図2は、光検出器12によって記録される光の強度が、格子14と反射マット表面26との間の隔たりにつれてどのように変化するかを示している。実線34が1次強度に対応する。破線36が、第2の光検出器が設けられる場合に第2の光検出器において記録される2次強度に対応する。
振動センサの感度は、反射面の変位の所与の変化に対する出力信号の変化によって決まる。したがって、図4から、線34、36が最大の勾配を有する動作ゾーン38において最大感度が生じることが分かる。さらに、これは、勾配がほぼ線形なゾーンでもあり、膜14と反射マット表面26との間のおおむね(2n+1)λ/8(ここで、nは整数)の隔たりに相当する。他の場所、すなわち隔たりがおおむねnλ/8(ここで、nは整数)である場所に、低感度の領域40が存在する。したがって、光学振動センサ2は、入力装置において、入力装置4の使用時に格子と反射面との間の距離が動作範囲ゾーン38のうちの1つの中心または中心付近にあるように構成および配置される。
ただ1つの光検出器で振動を測定することが可能であるが、ゼロ次および1次の回折次数をそれぞれ測定する2つの光検出器を有すると、広いダイナミックレンジを好都合に提供することができる。
上述のやり方で光検出器12において検出される光強度の変化を記録することにより、振動センサ2の真下の地点における振動の位相および振幅を決定することができる。以下でさらに説明されるように、入力装置4は複数の光学振動センサ2を備え、したがって、反射マット26上の複数の地点における振動を、このやり方で検出することができる。
図3が、本発明の実施形態による入力装置4を示している。入力装置4は、外側ハウジング部分18と内側ハウジング部分20とを備える主ハウジング16を備える。内側ハウジング部分20には、それぞれがそれぞれのセンサハウジング6に取り付けられた複数の光学振動センサ2が取り付けられている。内側ハウジング部分20は、光学振動センサ2の間の振動の伝播を低減または防止し、したがってセンサ2の間のクロストークを軽減または排除するために、発泡体から作られている。本実施形態における光学振動センサ2は、図1を参照して上述したとおりであるが、例えば図8~図10を参照して以下で説明される実施形態のうちのいずれかなど、本発明による他の光学振動センサを使用してもよい。入力装置は、プロセッサ44を備える制御基板42をさらに備える。制御基板42は、例えば入力装置4の作動時に光学振動センサ2をオンにするなど、光学振動センサ2の動作を制御するために使用される。入力装置4は、入力装置を入力装置からの入力を受信する電子デバイスへと接続するために使用することができる外部ポート46をさらに備える。電子デバイスを、例えば光学センサを起動し、あるいは入力装置4を別の入力装置と連動して動作するように設定するなど、入力装置および光学振動センサを遠隔制御するために使用することも可能である。また、データを、基板上のプロセッサ44において処理するよりもむしろ、電子デバイスへと伝送して電子デバイスにおいて処理してもよい。これに加え、あるいはこれに代えて、いくつかの実施形態においては、入力装置の遠隔制御および/または入力データの遠方への提供を可能にするために、無線トランシーバを設けることができる。
図4および図5は、入力装置4における光学振動センサ2の2つの可能な配置を示している。図4においては、光学振動センサ2が正方格子配列にて配置されているため、入力装置4はデカルト座標系における各点において振動を検出する。図5においては、光学振動センサ2が同心円に配置されているため、入力装置4は極座標系における各点において振動を検出する。
図6aおよび図6bが、本発明による入力装置を使用して表面上の接触点の位置を決定するための典型的な方法を示している。図6aにおいては、光学振動センサ2の二次元正方格子アレイを備える入力装置4が、表面24上に置かれている。ユーザが接触点48において表面24に触れ、この接触によって表面24に振動が生じる。振動は、接触点48から半径方向外向きに伝播し、図6aにおいて、振動の伝播する波面を表している同心リング(または、その一部)50として示されている。伝播する振動波面50が入力装置の光学振動センサ2の直下の表面に到達すると、光学振動センサ2が振動を検出する。
各々の光学振動センサ2は、特定の位相および振幅を有する振動を検出する。検出器のアレイに到達する(とくには、平面波の)波面の位相および振幅を使用し、例えばMUSICおよびESPRITなどといった到来方向推定(DOA)アルゴリズムなどの既知の方法を使用して、波面の到来方向を計算することができる。このような方法を使用して、検出器のアレイにおいて検出された入射波の位相および振幅から、平面波の伝播方向を判断することができる。
図6aに示される実施形態において、接触点48は、入力装置4の近接場領域内にある。本明細書において使用されるとき、近接場は、接触点が光学振動センサのアレイの幅のおおむね10倍未満であることを意味する。遠距離場(すなわち、接触点がアレイの幅の10倍を超える距離にある)においては、波面が入力装置に到達するとき、曲率半径が充分に大きくなり、振動を平面波として取り扱うことができる。しかしながら、近距離場においては、波面50が入力装置4への到達時に依然として或る程度の曲率を有する。
到達する波面の曲率半径を、光学振動センサ2のアレイの幅全体のさまざまな地点での到来方向を計算することによって決定することができる。例えば、光学振動センサの第1のグループ52において、到来方向が第1の方向54である一方で、光学振動センサの第2のグループ56において、到来方向は異なる方向58である。したがって、曲率半径は接触点からの距離に依存するため、到来方向推定アルゴリズムを使用して振動波面の曲率を決定し、したがって振動の起源を決定することができる。接触点が遠い場合、波面の湾曲が少なくなる一方で、接触点が入力装置4に近づくにつれ、図6bに示されるように振動波面の湾曲が強くなる。波面の曲率を、到来する振動の相対的な位相を使用し、到来する振動の相対的な振幅を使用し、あるいはその両方を使用して決定することができる。例えば、図6bから見て取ることができるとおり、センサ2aはセンサ2bと比べて表面上の接触点により近いため、センサ2のアレイに衝突する各々の振動波面は、いくつかのセンサ2aに他のセンサ2bに到達するよりも前に到達する。この距離の短さゆえに、センサ2aおよび2bに到達する振動は、異なる位相および異なる振幅を有する(なぜならば、上述のように、振動の振幅は、典型的には、振動の移動距離Rにつれて、例えば振動の種類に応じて1/Rまたは1/√Rなどと減少するからである)。したがって、相対的な位相および振幅の一方または両方を使用して、入力装置4と接触点との間の距離を決定することができる。
図7が、表面24上の接触点62の位置を決定するための代案の方法を示している。この方法は、例えば2つの入力装置4a、4bなど、2つ以上の入力装置を使用する。この方法は、遠距離場領域に位置する接触点62の位置の決定に適し、すなわち接触点と入力装置の間の距離が入力装置における光学振動センサのアレイの幅のおおむね10倍を超える場合に適する。接触点62が遠距離場領域にある場合、接触点62において発生する振動の波面64は、入力装置に到達するときにほぼ平行である。したがって、波面の到来方向を決定することは可能であるが、波面が実質的に平面であるため、波面の曲率から接触点62までの距離を決定することは不可能である。
代わりに、接触点62の位置は、表面24上の異なる位置に配置された2つの入力装置4a、4bを使用して決定される。各々の入力装置4a、4bは、それぞれの到来方向66、68を決定する。したがって、接触点62の位置を、線66および68の交点として計算することができる。2つの入力装置4a、4bを大きく(例えば、センサ2のアレイの幅と比べて大きく)離すことがとくに有利であるが、この方法は、接触点68の位置の決定の精度は下がるかもしれないが、入力装置が互いに近く配置される場合でも有効である。
到来方向を、各々の入力装置4a、4bによって、例えば各々の装置の基板上のプロセッサによって計算することができる。入力装置4a、4bは、発生地点62を計算するために、直接または遠方のデバイスを介して互いに通信することができる。あるいは、入力装置4a、4bからのデータを遠方のデバイスへと伝送し、発生地点の計算を遠方のデバイスで行ってもよい。
上述の原理とまったく同じ原理を使用し、図3~図5に示したセンサなどの単一のハウジング内のセンサのアレイを使用して、(例えば、さらなる遠距離場の指の接触からの)平面波または準平面波の到来方向を決定できることを、当業者であれば理解すべきである。これらは、典型的には、図7に示した実施形態よりも互いに近く位置するが、固有の低い自己ノイズは、これを達成するための充分な解像度を利用できることを意味する。
図6bを参照して説明したやり方と同様のやり方で、接触点62と入力装置4a、4bとの間のそれぞれの距離を、振動の相対位相および相対振幅の一方または両方を使用して決定することができる。後者の場合、2つの物理的に分かれた装置を有することが、所与の地点からそれらに到達する(したがって、異なる距離を経る)信号の振幅により大きな差をもたらすうえで有益となり得る。しかしながら、これも、上述のようにセンサの自己ノイズが低いため、必須ではなく、したがって振幅のみの手法を、単一のハウジング内の(2つ以上のセンサの)アレイにおいても同様に使用することができる。
間接的に届く振動を使用して接触点の位置を決定することも可能である。これを、例えば表面特性に関する関連パラメータを決定することによるセンサの訓練についての検討を含めて、図8を参照して以下で説明する。
本発明によるセンサアレイ100が、表面102に接触させて配置される。指101が表面102上の或る地点に触れて(あるいは、或る地点を横切って)、振動を発生させる。振動の音響エネルギは、センサアレイ100へとまっすぐに向かう方向を含むすべての方向に移動します。これが、波面103および104として示されている。異なる波動モードが材料において生じ、それらの波動モードは、異なる速度を有する可能性があり、したがって異なる時刻にアレイ100に到達する可能性がある。例えば、表面をタップすると、主に曲げ波が発生する。表面を横切って物体または指を引きずると、レイリー(表面)波およびせん断波が生じる。これが、図8において波面103および104の間の分離によって表されており、すなわち、波面103および104は、同じ方向に異なる速度で移動する異なる波を表している。
さらに、アレイ100に衝突する間接波が存在し、表面102の一辺からの振動の反射から生じる波面105、106、および表面102のもう一辺からの反射から生じる波面107、108として示されている。やはり、異なる波動モードが異なる速度を有し、したがって異なる時刻にアレイ100に到達する可能性があり、したがって、図において波面105、106および107、108が離れている。
表面の境界からの1つ以上の反射の結果として、アレイ100に衝突する多数のさらなる波面が存在すると考えられるが、それらが分かりやすくするために図から省略されていることを、理解できるであろう。一般に、信号の振幅は、典型的には振動の移動距離Rにつれて減衰(例えば、振動の種類に応じて1/Rまたは1/√Rなど)するため、後から到着する信号は、最初の直接信号および1次エコーよりも弱くなる傾向にある。
波面の到来の方向および相対的なタイミングは、伝播する媒体の形状、サイズ、および性質に依存する。いくつかの状況において、これらの側面を、例えば3次元のサイズ(奥行き、幅、高さ)、表面上のアレイの相対的な位置および向き、ならびに最も重要な波動モードの波の速度などのいくつかの重要なパラメータをカバーするようにパラメータ化することができる。初期推定値に鑑みて、これらのパラメータをタップ動作またはスライド動作のプロセスから推定、推測、または観察することができる。
アレイハウジングに、一式の可能なパラメータ(例えば、一式のパラメータ範囲)を表すソフトウェアおよびデータを備えることもでき、これらを、後に、実際に得られた現実のタップ動作またはスライド動作のデータから推定することができる。
タップ動作/スライド動作は、重要パラメータの「正しい」推定につながる予め定められた位置(「訓練位置」)において生じてよい。あるいは、タップ動作/スライド動作は、「ブラインド」にて生じてよく、すなわちセンサがタップまたはスライドを検出するが、タップ動作の正確な位置または大まかな位置はセンサにとって未知である。代わりに、以下で説明されるように、複数のセンサを使用することによって位置およびパラメータを決定することが可能である。平均化による解像度の向上およびノイズ特性の改善に加えて、複数のセンサを使用すると、タッチ/スライド位置を推定するための方程式の過剰決定の組を生成することができる。対照的に、センサを2つまたは3つだけ使用すると、位置の推定にはちょうど充分であり得るが、パラメータの推定には充分でない。この過剰決定を使用して重要なパラメータを決定することができ、なぜならば、これらのパラメータが正しく推定されないと、方程式システムは、典型的には、そのような位置推定につながり得る観察された「生の加速度計」データと指の推定位置との間の良好でないマッチングをもたらすと考えられるからである。
具体的に、タップ動作音が複数のセンサによって観察され得る或る種のインパルスであると考えられるタップ動作の例を、以下で検討する。表面形状ベクトルs=[x、y、z]が、表面(有限の平面スラブであると考えられる)の寸法に当てはまるとする。p=[px、py]をセンサアレイの中心の位置とし、θを平面内のセンサアレイの向きとする。cをタップ動作時の表面の支配的な波動モード(1つ存在すると仮定)の波の速度とし、y1(t)、y2(t)、y3(t)、・・・、y_N(t)をT0、T0+1、・・・、T1+(M-1)からの或る時間区間tにおいてN個の加速度計が受信する信号の時系列とする。xをテーブルをタップする指の(未知の)位置とする。
ここで、明らかにyiはtの関数であるが、他のすべてのパラメータの関数でもあり、
Figure 0007084425000002
ここで、qiは、中心(これは、典型的には固定パラメータであり、すなわち推定する必要のあるパラメータではない)に対するアレイ内のi番目のセンサの相対位置を示す。ここで、信号ファミリ{yi(t)}が与えられると、特定の方向からの衝突信号のエッジを検出することができる指向性エッジ検出器を構築することができる。そのような手法の1つは、しきい値関数を備えた整合フィルタを使用することである。具体的には、一式のフィルタf φ(t)を構築して適用し(信号と畳み込み)、それらを合計して
Figure 0007084425000003
を得ることができる。
典型的には、フィルタ(または、信号)f φ(t)は、センサi=1、・・・、Nによって観察されると予想される予想波面を含み、すなわち到来の角度φおよび相対的なセンサ位置に応じて相対的な時間遅延が存在する。次いで、角度φおよび時刻Tにおいて直接経路またはエコーで、例えば
zφ(T)≧しきい値 式7
である場合に、信号が検出される。
次に、この統計を使用して、信号エコー行列E∈RQ,Mを生成することができ、ここで、Qは、角度を持って衝突する信号の試験に使用される異なる角度φの数であり、Mは、対象の時間ウィンドウ内の時間サンプル(すなわち、上述のT0、T0+1、・・・、T0+(M-1))の数である。Eの要素は、
Figure 0007084425000004
として定義される。ここで、φは、角度サンプリング格子において使用されるi番目の角度を指す。この場合、行列は2値行列であるが、検出された衝突角度信号の「程度」を測定する連続行列も使用可能である。
これが、位置xにおける「仮説的なタッチ」が正しく推定されている場合に、パラメータs,p,θ,x,c,qによって、推定信号エコー行列
Figure 0007084425000005
を与えていることを思い出されたい。
Figure 0007084425000006
推定信号エコー行列を、いくつかの異なるやり方で得ることができる。例えば、媒体が既知または部分的に既知の材料のスラブであるならば、光線追跡技術を使用して特定の位置から生じる音響エネルギの伝播をシミュレートすることができる。このような手法のための単純なモデルは、室内インパルス応答モデルであり、スラブと(空の)部屋との間の非公式の類推を行う。そのような手法のために公然と利用することができるソフトウェアパッケージが存在し、例えばErlangenのInternational Audio LaboratoriesのRIR Generatorが参照される。波動の伝播および加速度計によって得られる信号の測定値を推定するための他のより複雑な手法を、例えば有限要素モデリングによって行うことができる。COMSOLが、市販のツールボックスの1つである。
すべてのパラメータが正しく推定され、すなわち表面の正しいサイズ、センサアレイの相対位置、波の速度、およびセンサアレイの向きが知られている場合、何らかの適切な距離関数
Figure 0007084425000007
が、パラメータ推定値のすべての可能な値に対して最小値を達成すべきである。距離関数は、行列の差のL1、L2、またはLPノルムなど、任意の適切な尺度に基づくことができる。また、2値行列間の正確なフィットからのわずかな偏差を可能にするための行列の予備的な平滑化など、行列Eおよび
Figure 0007084425000008
の適切なフィルタ処理後の距離測定に基づくこともできる。また、行列Eおよび
Figure 0007084425000009
の最近傍間の最小距離の合計、または他の任意の適切な尺度に基づくこともできる。次に、汎用アルゴリズムを使用して、対象の表面およびセンサアレイの相対位置、すなわちパラメータs,p,θ,cを定義する重要なパラメータを検索することができる。とくにこの点に関して、指の位置xが局外パラメータであり、qiが個々のセンサ要素の固定の(推定する必要がない)相対位置である。本発明の典型的な実施形態において、これらのパラメータに対して初期範囲または法定値、すなわちs∈S,p∈P,θ∈[0,2π],c∈Cを設定することができる。関数d(.)の最小値の範囲の探索を、例えばシンプレックスアルゴリズムを使用して達成することができる。最急降下検索または共役勾配法などの他のアルゴリズムも、同様に使用することができる。そのような手法は、より良好な一致が次第に得られるように、推定信号エコー行列の小さなサブセットを入力として使用し、それらを観察されたエコー信号行列と比較し、パラメータベクトルの最良の方向変化について1つ以上の適切な推定を行うことができる。アルゴリズムを初期化するための複数の開始点を使用することができる。
さらに、同じプロセスが純粋なエッジフィルタよりも高度なフィルタを使用することも可能である。フィルタを、おそらくは重み付きフィルタの形式で、すなわち一種の時間ドメインビームフォーミングを使用して、或る方向からのエネルギを検出しつつ、他の方向のエネルギを抑制するように設計することができる。
また、フィルタは、必ずしもエッジフィルタに限定されず、特定の方向からの純粋な音響エネルギ、すなわち特定の方向からの高レベルの持続エネルギを検出するフィルタであってもよい。これは、指からの信号がタップではなく、信号の急激な立ち上がりがあまり存在しないと思われるスワイプ運動である場合に、有用となり得る。
指のタップ:モデルの推定値を取得するために使用された上述の手法を、新たなタッチイベントの位置を特定するために後に使用することもできる。基本的な手法またはより洗練されたビームフォーミングのような手法の両方を採用することができる。この場合、推定されたパラメータs,p,θ,cを単純に「ロック」し、その後に仮想信号エコー行列のはるかに高速な構築を行い、それらを観測データと照合してタッチの位置を推定することができる。
指のスライド:これらは、ピンチでのズームなどのイベントに関係するため、とくに重要かつ意味がある。しかしながら、この場合、典型的には、音が後のエコーによって追跡されるインパルス信号の形でセンサアレイに現れることがない。代わりに、表面における指の動きおよび結果として生じる音響エネルギに続く信号の連続受信が存在する。これは、行列
Figure 0007084425000010
が、同じ種類の時間分解能を有さない別の行列(または、実際にはベクトル)によって置き換えられることを或る程度意味する。
反射信号を使用した(例えば、図8の実施形態による)タップまたはスワイプの位置の決定は、到着する複数の音波の到来方向を同時に決定することを必要とすると考えられる。これは、典型的には、以下で説明される理由のために達成困難であるが、図9a~図9cを参照して以下で説明される本発明の実施形態に従って達成することが可能である。
図9aは、本発明の実施形態による光学振動センサの線形アレイを使用して検出された広帯域音響信号の到来方向「スコアプロット」200を示している。スコアプロット200は、遅延和ビームフォーミングを使用して決定された角度-α~αの範囲の到来角度の関数として音響信号からの検出された入力エネルギ(すべての周波数にわたって集計)を示している。図9aは、直接信号、すなわち表面の境界などからのエコーを伴わずに検出される信号のみを示している。
たとえ音響波のエネルギが(直接信号の)1つの角度から到来しても、エネルギはさまざまな角度から検出されることを見て取ることができる。これは、遅延和ビームフォーミング技術が、広帯域信号に適用されたときに、近接した角度応答を区別するための充分な分解能を提供しないからである。これにより、狭いピークが観察されるのではなく、信号の空間的(すなわち、指向性)スミアが生じる。しかしながら、到来方向が信号のピーク202に対応するとの仮定に基づいて、到来方向の妥当に正確な決定を行うことができる。
図9bは、図9aのプロットを生じさせている直接信号のエコー204から検出されたエネルギを(図9aのスコアプロット200に重ねて)示している。この例において、エコーは、表面のタップまたはスワイプによって発生した音波が表面の境界(例えば、テーブルの縁)から反射されることによってもたらされる。
エコーは、境界において反射して伝播するときに、直接信号200とは異なる方向からセンサに到達する。エコーは、直接信号について上述した理由と同じ理由で、空間的/指向性スミアを示す。しかしながら、エコー信号ピーク206が、全体としての到来方向の違いに対応して、直接信号ピーク202とは異なる角度にあることを見て取ることができる。
しかしながら、これらの2つの成分200、204(直接信号およびエコー)を個別に観測することはできない。代わりに、図9cに示されるように、2つの信号の組み合わせのエネルギが観測される。図9cは、直接信号200およびエコー204を示し、実際に検出される組み合わせの信号を実線208で示している。実際には、表面の物理的パラメータに応じて、さらに多くのエコーが典型的には見られることを、理解できるであろう。
直接信号200およびエコー204の2つの構成信号を、互いに容易には区別できないことを見て取ることができる。さらに、2つのピーク210、212を認めることができるが、これらのピーク210、212の位置は、矢印214、216によって表されるように、構成信号のピーク202、206に対してずれている。エコー信号のピークのずれを表す矢印216がより大きく、エコー204のピークが直接信号200のピークと比べてより大きくずれるという事実を表している。しかしながら、直接信号200がエコー204よりもはるかに強い場合でも、直接信号200に対応するピーク210の角度位置は、小さい矢印214で表されるように、依然としてエコー信号204による影響を受ける。
組み合わせの信号208から直接信号200およびエコー204のピークを決定することは、困難であり得る。ESPRITおよびMUSICなどの方法、ならびに圧縮センシングおよびL1などの手法を使用する方法などのスナップショットに基づく方法を、使用することができる。しかしながら、本出願の出願人は、この問題を解決するための手法であって、これらの方法の改善を提供するきわめて好都合な手法を考え出し、この手法が以下で説明される。
この手法は、直接信号がどのエコーよりもはるかに強いため、エコー信号の互いの影響よりも大きくエコー信号の形状に影響を与えるという出願人の認識に基づく。エコー信号の寄与を無視することにより、直接信号の到来方向を決定することができる。次いで、直接信号(理論計算または経験的観測によって推定される形状を有する)を、観測された(すなわち、組み合わせの)信号から差し引き、エコーに対応する残留信号を残すことができる。次いで、エコーで構成される残留信号を分析して、表面のスワイプまたはタップの位置を決定することができる。この技術を、光学振動センサの線形アレイに垂直な(あるいは、光学振動センサの線形アレイに垂直な成分を多く有する)表面のスワイプにとくに好都合に使用することができる。この例が図10に示されている。
図10は、センサの線形アレイに垂直に表面をスワイプしたときに、センサの線形アレイにおいて検出される信号が時間とともにどのように変化するかを示している。線300~306は、信号の到来方向の関数としての検出されたエネルギのピークに対応する。中央の線300は、検出されたエネルギの中心ピークに対応し、センサのアレイによって検出された直接信号を表す。スワイプは線形アレイに対して垂直であり、したがって表面との接触点は線形アレイに向かって移動し、かつ/または線形アレイから離れるように移動するだけであるため、到来方向の時間変化は大きくない。したがって、中央の線は、実質的に直線であり、時間の経過に伴う角度の変化をほとんど示さない。表面との接触点の位置について、中央の(直接信号の)線から決定できることはほとんどない。これは、線形アレイに実質的に平行なスワイプとは対照的である。線形アレイに実質的に平行なスワイプの場合には、接触点が左右に移動するため、直接信号の到来方向が変化する。
他の線302~316は、中心ピーク400を差し引いた後に見えるようになるエコーを表すピークに対応する。エコーの到来方向が時間とともに変化することを見て取ることができる。これは、到来する音響信号が、表面の境界(例えば、テーブルの縁)からの反射を介して伝わるためである。エコーの反射の角度(すなわち、到来方向)は、表面における接触点がアレイにどれだけ近いかに依存するため、スワイプの位置および方向を、残留エコーを使用して決定することができる。これが、図11を参照して以下でさらに説明される。
図11は、テーブル表面402上の光学振動センサ400の線形アレイを示しているが、すでに述べたように、テーブルの下方において表面の裏面に設けることも同様に可能である。テーブルは、前縁404、後縁406、左縁408、および右縁410を有する。表面上でのスワイプが、矢印412によって表されている。スワイプは、開始位置414で始まり、終了位置416で終了する。音響振動は、スワイプの接触点が開始位置414から終了位置416へと移動するときに、スワイプの接触点から伝わる。開始位置において発生する音響振動が、直接信号についての第1の破線418およびエコーについての第2の破線420によって示されている。終了位置において発生する音響振動が、直接信号についての第1の点線422およびエコーについての第2の点線424によって示されている。直接信号が、音響振動センサ402の線形アレイへと直接伝播する一方で、エコーは、テーブルの左縁408からの反射を介して間接的にセンサ402へと伝播する。
開始および終了位置414、416からの直接信号418、422が、どちらもセンサのアレイへと垂直に伝わる一方で、エコー信号420、424が、開始位置414におけるα1から終了位置416におけるα2へと変化する角度で到達することを、見て取ることができる。したがって、アレイへと向かうスワイプの動きおよびアレイから遠ざかるスワイプの動きに関する情報を、エコー420、424から、各々のエコーの到来方向に基づいて識別することができる。スワイプの最中の接触点の正確な位置の決定を、表面に関連するパラメータ(例えば、境界の位置)ならびに/あるいは1つ以上の他の検出されたエコーおよびそれの到来方向を使用して計算することができる。例えば、スワイプの最中の接触点の位置を、検出された複合信号を一連の予想角度プロファイルおよび/またはエコーの位置と照合することによって正確に決定することができる。
本出願の出願人は、各々のエコーを個別に検出/特定する必要がないことも認識している。また、接触位置の所与の地点に関してすべてのエコーの合計がどのように見えるかを仮説化し、その後に、仮説の合計信号を観測された時間データと照合することも可能である。これは、「整合空間フィルタ」に相当する。例えば、スワイプ運動の場合に、指の連続的な動きが、ほぼ静止した(または、半静止の)波が生成される。この仮定の下で、一組の受信信号に対してフーリエ変換を使用することができる。
これを、指が位置xiをスワイプしており、この動きによってi個の直接経路信号/エコーが生じ、エコーの相対強度は表面(例えば、テーブル)の形状から既知であると仮定して、以下でさらに説明する。以下の説明において、信号は、直接経路エコー信号が単位エネルギを有するように正規化される。対象の特定の周波数ωについて、ベクトルY(ω)が、センサデータのフーリエ変換された出力を指す。Y(ω)の1つの係数が、1つのセンサ出力に対応する。次に、アレイの位置xiにおけるタッチ/スワイプからの仮説的な角度応答を、
Figure 0007084425000011
と表すことができ、ここで、γi1=1であり、他の係数は1未満である。仮説的なアレイ応答の大きな組を使用することができ、その後に、観測されたアレイ応答を、推定されたアレイ応答の組と照合することができ、すなわち
Figure 0007084425000012
であり、これは整合フィルタである。係数{γij}および対応する予想方向ベクトル{Fij(ω)}が、推定位置およびテーブル/表面のモデルに基づいて計算される。
本発明の実施形態に従って使用することができるさらなる手法が、図12、図13a、および図13bを参照して説明される。
図12は、ハウジング502に収容された音響振動センサ500の線形アレイを有するテーブル表面を示している。この例(ただし、この例に限られない)においては、4つのセンサが存在する。ハウジングはテーブル表面504に載せられている。予想されるタッチ/スワイプ地点の位置506が示されている。対応する直接経路508およびエコー経路510も示されている。
図13aは、4つの音響センサの推定部分アレイ応答を示している。応答は、4つのセンサの各々において予想される検出信号にそれぞれ対応する4つの曲線600、602、604、606を含む。各々の曲線600、602、604、606は、予想される接触点506に関してそれぞれのセンサにおいて予想される直接信号およびエコー信号に対応する2つのパルス600a、600b、602a、602b、604a、604b、606a、606bを含む。パルス間では、曲線は点線600c、602c、604c、606cとして示されている。点線は、その領域において何が予想されるかがわからないことを示している。例えば、テーブルの左縁408からのさらなるエコーが図12に示した直接信号とエコーとの間に受信されることはないと予想できるが、別の境界(例えば、テーブルの右縁410)からのエコーがその間に検出される可能性がある。この可能性が図13bに示される。何も検出されない可能性が、実質的に直線の点線600d、602d、604d、606dに対応する。しかしながら、この時間内に、例えばテーブル表面の別の境界からのエコーなど、さらなるパルス600e、602e、604e、606eが各々のセンサによって検出される可能性もある。
これの重要性は、点線で示された領域において何が検出されるかは問題でないということである。これは、訓練を使用して「指紋」のデータベースを構築し、すなわち特定の指定された訓練用タップ/スワイプにおいて検出された完全な音響応答を記録し、次いでこれらを後に検出される入力タップ/スワイプと照合して入力タップ/スワイプの位置を決定する先行技術の方法とは対照的である。そのような手法では、生じ得る各々のタップ/スワイプのインパルス応答を完全に決定する必要がある。これには、センサデバイスを表面に設置するたびに、時間のかかる不便な訓練手順が使用前に必要である。
図12、図13a、および図13bを参照して説明した方法は、所与のタップ/スワイプ位置についての完全なインパルス応答を完全に決定する必要がないため、センサアレイを訓練する必要がない。代わりに、可能な部分インパルス応答の組から想定される部分インパルス応答への最適な一致を見つけることだけが必要であり、すなわち完全に一致する必要はない。好ましくは、誤判定のタッチ検出を防止するために、最適な一致は、特定のしきい値を上回らなければならない。
この手法の例を、以下で詳しく説明する。
タッチ面上にN個の仮想地点p、p・・・pが存在すると仮定する。次いで、指が表面に触れ、あるいは表面をスワイプすることにより、タッチまたはスワイプのイベントが表面において生じ、これが、何らかのサンプリング周波数fを仮定して時間間隔t、t+1、・・・、t+L-1でそれぞれのセンサ1、2、・・・、Qにおいて信号y(t)、y(t),…y(t)として記録され、ここでLはサンプリングウィンドウの長さである。
さらに、各地点p、p・・・pをセンサ1、2、・・・、Qにおける推定信号に関連付けることができることが、直接経路信号およびエコーをトレースすることによって前もって推定または計算されている。これらの推定信号を、信号xij(t)として表すことができ、ここで、iは地点のインデックス(すなわち、地点p、p・・・pを指す)であり、jはセンサのインデックス(すなわち、センサ1、2、・・・、Qを指す)であり、やはり信号は間隔t、t+1、・・・、t+L-1でサンプリングされている。
信号は主に直接経路信号およびいくつかの特定の波動モードの反射に基づいて構築されているため、この信号のすべての部分を正確に計算することはできないかもしれない。換言すると、表面の材料、そのサイズ、および潜在的な環境パラメータのさらに詳細な知識がないと複雑すぎてモデル化または近似ができない他の波動モードが存在し得る。したがって、重みはwij(t)が各々のxij(t)に関連付けられ、各々のwij(t)は、典型的には範囲[0,1]にあり、信号の正確さの「確信」のレベル、すなわち信号が正しいことの確実性のレベルを反映する。
次に、衝突している指の位置を推定するために、スコアsiが計算され、ここで
Figure 0007084425000013
であり、これは、基本的に、受信信号ベクトルy(t)、y(t),…y(t)を位置pに関連付けられた重み付き推定インパルス応答と照合する。したがって、例えば、すべてのsにおける最大値を計算し、その位置を推定された指の位置として選択することができる。
また、例えば、偶発的なタッチまたはスワイプの検出を避けるために、sが特定のしきい値を上回ることを要件とすることもでき、あるいは選択されたsが他の非選択のスコアによって与えられる分布に対して特定のしきい値を上回ること、すなわちsが「明確な勝者」であると検出されることを、要件とすることもできる。例えば、スコアの平均値よりも数倍高くてよい。
これは、正確な予想「一致エネルギレベル」を設定することが、典型的には既知でないタッチ/スワイプまたはタップ動作の「力」に関係するがゆえに困難であるため、有用となり得る。この場合、各々の信号xij(t)をモデル化することができる。
上記の照合は、明らかに、信号についてフーリエ変換を行い、次いで周波数ドメインで相関/照合を行うことにより、周波数ドメインにおいて実行することも可能である。また、分数次フーリエドメインなどの任意の他の適切なドメインにおいて行うことも可能であり、あるいはウェーブレットまたは他の適切な基底表現手法を使用して行うことも可能である。
状況によっては、エコーの存在がわかっており、あるいは想定される場所であっても、信号xij(t)の正確な「形状」を正確に推定または測定することが困難な場合がある。これは、特定の周波数の減衰および拡大、あるいは特定の小さな位相差の結果であり得る。この場合、代わりに、xij(t)が特定の基底信号の線形結合の結果として見られると仮定することができる。xijが信号のベクトル化/サンプリングされたバージョンを示し、すなわちxij=[xij(t),xij(t+1),…,xij(t+L-1)]であるとすると、式xij=Bijαijを使用することが可能であり、ここで、Bijは、その列として、線形結合が位置pに関連付けられた実際の(および、後に重み付けされた)インパルス応答信号になり得るベクトルを含む。次いで、上記スコアsを、別のレベルの「最大」操作で、すなわち今回は可能性のあるベクトルαijの組について、些細な規模から無限への解(trivial scale-to-infinity solution)を回避するための何らかの制約のもとで、追加レベルの最大化で、再計算することができる。1つの例は制約
Figure 0007084425000014
であると考えられる。
実際の信号に対する仮想信号の(相関/照合の代わりの)デコンボリューションなど、より高度な手法を使用することができる。
上述の手法は、例えば一連の既知のタップおよび/またはスワイプを実行することによって、後の入力タップ/スワイプの分析に使用される特定のパラメータの計算をセンサアレイにとって可能にすることにより、センサのアレイの訓練の必要性をなくすがゆえに、きわめて好都合である。推定部分インパルス応答を使用することで、指定されたタッチ入力に対する完全なインパルス応答のデータベースを構築する必要がなくなる。
図1は、上述のように、本発明による入力装置における光学振動センサの1つの可能な構造を示している。別の構造を有する変種および他の実施形態が可能であることを、理解できるであろう。図14~図16が、本発明に従って使用することができる光学振動センサの代替構造の3つの例を示している。
図14は、入力装置4’内の光学振動センサ2’の第2の実施形態を示している。光学振動センサ2’は、ハウジング6内に取り付けられ、図1の実施形態における対応する構成要素と同様のやり方で構成されたレーザダイオード10、光検出器12、および膜14を備える。光学振動センサ2’は、センサハウジング6の開口部8を横切って配置された膜70を備えるという点で、図1の光学振動センサ2から相違する。反応マス72が、膜70の中心に取り付けられている。
入力装置4’は、外側ハウジング部分18と内側ハウジング部分20とを備える主ハウジング16を備える。主ハウジング16は、使用時に表面24に接触するリム22など、図1の実施形態の主ハウジング16と同じ構造を有する。内側ハウジング部分20は、やはり振動の伝播を抑制するために発泡体で作られている。この実施形態において、表面24に反射マットは設けられていない。反応マス72は、使用時に入力装置4が表面24上に置かれたときに反応マス72が表面24と接触するような形状および配置を有する。
ユーザが表面24に触れると、接触によって引き起こされた振動が表面24を介して反応マス72へと伝播し、反応マス72が表面24とともに振動する。第1の実施形態と同様に、センサハウジング6は表面24に接触しておらず、内側ハウジング部分20が、外側ハウジング部分18からセンサハウジング6への振動の伝播を防止する。結果として、ハウジング6が実質的に静止したままである一方で、反応マスおよび膜は、表面24の振動によって振動する。
図1を参照して説明したやり方と同等のやり方で、レーザダイオード10がレーザビーム28を生成し、レーザビーム28の第1の部分30が、格子14によって反射させられ、光検出器12に衝突し、レーザビーム28の第2の部分32が、格子を透過し、格子によって回折させられ、次いで反応マス72の表面から光検出器12へと反射される。反応マス72の振動が、格子14と反応マス72との間の距離を変化させ、その結果、第1および第2の部分30、32によって光検出器12において生成される干渉パターンが、振動とともに変化する。
図15は、入力装置4’’内の光学振動センサ2’’の第3の実施形態を示している。光学振動センサ2’’は、図1および図14の実施形態とは対照的に、入力装置4’’が表面24上に配置されたときに表面24と接触するような形状および配置を有するハウジング6’’内に取り付けられる。光学振動センサ2’’は、ハウジング6’’内に取り付けられ、図1および14における対応する構成要素と同等のやり方で配置されたレーザダイオード10、光検出器12、および格子14を備える。光学振動センサ2’’も膜70’’を備える。図14の膜70とは対照的に、膜70’’は、センサハウジング6’’の開口部8から離してセンサハウジング6’’の内部に配置される。この実施形態においては、センサハウジングの開口部8を覆うカバー74が設けられている。カバー74は、センサハウジング6’’内の構成要素の保護に好都合に役立ち、例えばそれらを機械的損傷、塵埃、などから保護する。膜70には反応マス72’’が設けられている。図14の実施形態とは対照的に、反応マスは、入力装置4’’の使用時に表面24に接触しない。
入力装置4’’は、外側ハウジング部分18’’と内側ハウジング部分20とを備える主ハウジング16’’を備える。図1および図14の実施形態とは対照的に、外側ハウジング部分18’’は、入力装置4’’の使用時に表面24に接触しない。代わりに、入力装置4’’は、使用時に、センサハウジング6’’が表面24に当接することによって支持される。
光学振動センサ2’’は、図14を参照して上述したやり方と同じやり方で、すなわち格子および反応マスからそれぞれ反射された光の第1および第2の部分30、32によって生成される干渉パターンを使用することによって、振動を検出する。しかしながら、格子14と反応マス72’’との間の相対運動は、図15の実施形態においては異なるやり方で生成される。センサハウジング6’’が表面24に接触しているため、表面24の振動がセンサハウジング6’’に伝播する。反応マス72’’は表面24に接触しておらず、可撓な膜70’’によってのみ支持されているため、センサハウジング6’’の振動は反応マス72’’に伝播しない。代わりに、反応マス72’’の慣性により、センサハウジング6’’が反応マス72’’に対して運動する。結果として、センサハウジング6’’の振動が、反応マスと格子との相対運動をもたらし、したがって光検出器12において検出される干渉パターンが、振動の振幅につれて変化する。
図1、図14、および図15の各々においては、光学振動センサが1つだけ示されているが、入力装置4、4’、4’’の各々が複数の光学振動センサ2、2’、2’’を備えることを、理解できるであろう。外側ハウジング部分18から光学振動センサ2、2’、2’’への振動の伝播を防止する内側ハウジング部分20は、各々のセンサハウジング6、6’’からの振動の伝播も防止して、入力光学振動センサの間のクロストークを軽減または排除する。
図16は、センサハウジング6が弾性サスペンション76によって内側ハウジング部分20に取り付けられている図14の実施形態の変種を示している。弾性サスペンション76は、隣接するセンサハウジング6および/または外側ハウジング18からのセンサハウジング6への振動の伝播をさらに低減または防止する役割を果たす。図4に示される弾性サスペンション76を、図1および図15に示した実施形態に取り入れることも可能である。
上述の実施形態は単なる例であり、本発明の範囲内で変形が可能であることを、理解できるであろう。

Claims (15)

  1. 固体の物体の表面におけるオブジェクトの接触点に関する情報を決定することによって入力を受け取る方法であって、
    a)複数の光学振動センサを共通のハウジング内に取り付けて備えている入力装置であって、
    各々の前記光学振動センサは、
    回折光学要素と、
    光の第1の部分が前記回折光学要素を通過し、光の第2の部分が前記回折光学要素から反射されるように、前記回折光学要素を照明するように配置された光源と、
    前記光の第1および第2の部分によって生成される干渉パターンを検出するように配置された光検出器と
    を備え、
    前記光学振動センサは、使用時に、前記光の第1の部分が前記回折光学要素を通過した後に、前記光の第1の部分が反射面から前記光検出器へと反射されるように構成されている
    当該入力装置を、前記固体の物体の前記表面に接触させて配置することと、
    b)前記オブジェクトを前記固体の物体の前記表面に物理的に接触させることによって、前記固体の物体に振動を生じさせることと、
    c)前記光学振動センサのうちの2つ以上を使用して、前記振動を検出することと、
    d)前記振動の相対位相を使用して、前記固体の物体の前記表面における前記オブジェクトの接触点に関する情報を決定することと
    を含む方法。
  2. 前記振動の相対振幅を使用して、前記固体の物体の前記表面における前記オブジェクトの接触点に関する情報を決定すること
    をさらに含む、請求項1に記載の方法。
  3. 前記方法において、前記振動の相対位相および/または振幅を使用して前記表面における接触点に関する情報を決定することは、到来方向推定アルゴリズムを使用することを含むことと、
    前記方法が、前記接触点において生じる振動の波面の曲率半径を決定することによって、前記入力装置から前記接触点までの距離を決定することをさらに含むことと
    のうちの少なくとも1つを含む、請求項1または2に記載の方法。
  4. 2つの前記入力装置を使用し、各々の前記入力装置によって前記接触点からの振動の波面のそれぞれの到来方向を決定することと、
    前記到来方向の交点を決定することで、前記表面における前記接触点に関する情報を決定することと
    を含む、請求項1~3のいずれか一項に記載の方法。
  5. 直接および間接振動を含む検出された複合信号から、前記表面との接触点に関する情報を決定することを含
    前記複合信号から直接信号の推定値を差し引くことによって得られる残留信号から、前記表面との接触点に関する情報を決定することを任意選択的にさらに含む、請求項1~4のいずれか一項に記載の方法。
  6. 1つ以上の推定部分インパルス応答を使用して、前記表面との接触点に関する情報を決定すること
    を含み、
    前記推定部分インパルス応答は、対応する予想タッチ入力に関して光学振動センサのアレイによって検出されると予想される複合信号の一部分の推定である、請求項1~5のいずれか一項に記載の方法。
  7. 前記方法において、前記入力装置は、振動の周波数のうちの或る範囲またはサブセットを優先的または排他的に使用して、前記接触点についての情報を決定することと
    前記方法が、前記固体の物体および/または前記固体の物体上の前記入力装置の位置に関する1つ以上のパラメータを決定することをさらに含むことと
    のうちの少なくとも1つを含む、請求項1~6のいずれか一項に記載の方法。
  8. 前記入力装置は、前記固体の物体のうちの前記接触点が位置する領域または面とは異なる領域または面に配置される、請求項1~7のいずれか一項に記載の方法。
  9. 前記光の第1の部分を反射させる前記反射面は、前記固体の物体の前記表面であることと
    各々の前記光学振動センサは、膜を備え、前記膜は、前記光の第1の部分を反射させる前記反射面を備えることと
    のうちの少なくとも1つを含む、請求項1~8のいずれか一項に記載の方法。
  10. 各々の前記光学振動センサは、膜と、前記膜と前記固体の物体の表面との間の機械的な結合とを備え、
    任意選択的に、前記機械的な結合が、前記膜に取り付けられたマスを備える、請求項1~9のいずれか一項に記載の方法。
  11. 前記共通のハウジングは、前記共通のハウジングの周辺部においてのみ前記固体の物体に接触する、または、
    前記共通のハウジングの前記光学振動センサに隣接する領域において、前記共通のハウジングと前記固体の物体との間の物理的な接触が存在する、請求項1~10のいずれか一項に記載の方法。
  12. 前記入力装置は、0.2m未満の最大寸法を有することと
    隣接するセンサハウジング間の隔たりが、1cm未満であることと、
    隣接する前記光学振動センサ間の隔たりが、4cm未満であることと
    のうちの少なくとも1つを含む、請求項1~11のいずれか一項に記載の方法。
  13. 複数の光学振動センサを共通のハウジング内に取り付けて備えている入力装置であって、
    各々の前記光学振動センサは、
    回折光学要素と、
    光の第1の部分が前記回折光学要素を通過し、光の第2の部分が前記回折光学要素から反射されるように、前記回折光学要素を照明するように配置された光源と、
    前記光の第1および第2の部分によって生成される干渉パターンを検出するように配置された光検出器と
    を備え、
    前記光学振動センサは、使用時に、前記光の第1の部分が前記回折光学要素を通過した後に、前記光の第1の部分が反射面から前記光検出器へと反射されるように構成され、
    当該入力装置は、固体の物体の表面上に配置され、あるいは前記固体の物体の表面に取り付けられるように構成され、
    当該入力装置は、
    前記光学振動センサのうちの2つ以上を使用して、オブジェクトが前記固体の物体の前記表面に物理的に接触することによって引き起こされる振動を検出し、
    前記振動の相対位相を使用して、前記固体の物体の前記表面における前記オブジェクトの接触点に関する情報を決定する
    ように構成されている、入力装置。
  14. 固体の物体の表面におけるオブジェクトの接触点に関する情報を決定することによって入力を受け取る方法であって、
    a)複数の光学振動センサを共通のハウジング内に取り付けて備えている入力装置であって、
    各々の前記光学振動センサは、
    回折光学要素と、
    光の第1の部分が前記回折光学要素を通過し、光の第2の部分が前記回折光学要素から反射されるように、前記回折光学要素を照明するように配置された光源と、
    前記光の第1および第2の部分によって生成される干渉パターンを検出するように配置された光検出器と
    を備え、
    前記光学振動センサは、使用時に、前記光の第1の部分が前記回折光学要素を通過した後に、前記光の第1の部分が反射面から前記光検出器へと反射されるように構成されている
    当該入力装置を、前記固体の物体の前記表面に接触させて配置することと、
    b)前記オブジェクトを前記固体の物体の前記表面に物理的に接触させることによって、前記固体の物体に振動を生じさせることと、
    c)前記光学振動センサのうちの2つ以上を使用して、前記振動を検出することと、
    d)前記振動の相対振幅を使用して、前記固体の物体の前記表面における前記オブジェクトの接触点に関する情報を決定することと
    を含む方法。
  15. 前記接触点に関する情報は、前記固体の物体の前記表面における前記オブジェクトの前記接触点の位置を含む、請求項1~12および14のいずれか一項に記載の方法。
JP2019563877A 2017-05-19 2018-05-17 タッチ式入力装置 Active JP7084425B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022090121A JP7493551B2 (ja) 2017-05-19 2022-06-02 入力装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GBGB1708100.1A GB201708100D0 (en) 2017-05-19 2017-05-19 Input device
GB1708100.1 2017-05-19
PCT/GB2018/051342 WO2018211281A1 (en) 2017-05-19 2018-05-17 Touch-based input device

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022090121A Division JP7493551B2 (ja) 2017-05-19 2022-06-02 入力装置

Publications (3)

Publication Number Publication Date
JP2020521236A JP2020521236A (ja) 2020-07-16
JP2020521236A5 JP2020521236A5 (ja) 2021-07-26
JP7084425B2 true JP7084425B2 (ja) 2022-06-14

Family

ID=59220635

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2019563877A Active JP7084425B2 (ja) 2017-05-19 2018-05-17 タッチ式入力装置
JP2022090121A Active JP7493551B2 (ja) 2017-05-19 2022-06-02 入力装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022090121A Active JP7493551B2 (ja) 2017-05-19 2022-06-02 入力装置

Country Status (8)

Country Link
US (3) US11287917B2 (ja)
EP (2) EP3625656B1 (ja)
JP (2) JP7084425B2 (ja)
CN (1) CN111095180B (ja)
AU (1) AU2018268363B2 (ja)
CA (1) CA3063819A1 (ja)
GB (1) GB201708100D0 (ja)
WO (1) WO2018211281A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201708100D0 (en) 2017-05-19 2017-07-05 Sintef Input device
EP3755007A1 (en) 2019-06-19 2020-12-23 Infineon Technologies AG Device for sensing a motion of a deflective surface
CN114063762A (zh) * 2020-07-31 2022-02-18 华为技术有限公司 按键设备、控制方法、装置、设备及介质
US20220391170A1 (en) * 2021-06-04 2022-12-08 Samsung Electronics Co., Ltd. Apparatus and method for signal processing
WO2024004446A1 (ja) * 2022-06-30 2024-01-04 パナソニックIpマネジメント株式会社 音声信号再生装置、音声信号再生装置の制御方法、および音声信号再生装置の制御プログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006323823A (ja) 2005-02-25 2006-11-30 Hewlett-Packard Development Co Lp 音ベースの仮想キーボード、装置、及び方法
JP2008113431A (ja) 2006-10-19 2008-05-15 Polycom Inc 超音波カメラトラッキングシステム及びそれに関連する方法
JP2009110229A (ja) 2007-10-30 2009-05-21 Pentel Corp 手書き筆跡入力システム
JP2009199158A (ja) 2008-02-19 2009-09-03 Hitachi Ltd 音響ポインティングデバイス、音源位置のポインティング方法及びコンピュータシステム
JP2012247300A (ja) 2011-05-27 2012-12-13 Handotai Rikougaku Kenkyu Center:Kk 位置測定システム
WO2016162701A1 (en) 2015-04-09 2016-10-13 Sintef Tto As Speech recognition
JP2017049185A (ja) 2015-09-03 2017-03-09 株式会社小野測器 レーザドップラ振動計

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR0016706A (pt) * 1999-12-23 2002-09-24 New Transducers Ltd Dispositivo sensìvel a contato
NO315397B1 (no) * 2001-11-13 2003-08-25 Sinvent As Optisk forskyvnings-sensor
DE60335424D1 (de) 2002-02-06 2011-01-27 Soundtouch Ltd Verfahren für ein Touch pad
FR2841022B1 (fr) * 2002-06-12 2004-08-27 Centre Nat Rech Scient Procede pour localiser un impact sur une surface et dispositif pour la mise en oeuvre de ce procede
US7355720B1 (en) * 2005-12-20 2008-04-08 Sandia Corporation Optical displacement sensor
EP2160577B1 (en) * 2007-07-12 2018-04-18 Defence Research And Development Organisation Method and apparatus for the simultaneous generation and detection of optical diffraction interference pattern on a detector
DE102009027537A1 (de) * 2008-07-18 2010-02-04 Samsung Corning Precision Glass Co., Ltd., Gumi Berührungseingabe detektierendes Anzeigefilter und Anzeigevorrichtung mit demselben
US8820167B2 (en) * 2011-02-10 2014-09-02 Siemens Energy, Inc. Vibration sensor
US20120306823A1 (en) * 2011-06-06 2012-12-06 Apple Inc. Audio sensors
DE102012217800A1 (de) * 2012-09-28 2014-04-03 Carl Zeiss Smt Gmbh Diffraktives optisches Element sowie Messverfahren
CA2890298A1 (en) * 2012-10-11 2014-04-17 Silicon Audio Seismic, LLC Closed loop control techniques for displacement sensors with optical readout
NO20130884A1 (no) * 2013-06-21 2014-12-22 Sinvent As Sensorelement med optisk forskyvning
US20150108334A1 (en) * 2013-10-21 2015-04-23 Mao-Jen Wu Optical Sensor Module
US9510074B2 (en) * 2014-07-07 2016-11-29 Apple Inc. Grating only optical microphone
GB2550817B (en) * 2015-02-13 2022-06-22 Swan Solutions Inc System and method for controlling a terminal device
US10108247B2 (en) * 2015-03-11 2018-10-23 Swan Solutions, Inc. Method for regulating a system for controlling a terminal device
CN105043525A (zh) * 2015-04-30 2015-11-11 杭州电子科技大学 一种基于激光散斑行为的振动信息检测方法
US11036318B2 (en) * 2015-09-30 2021-06-15 Apple Inc. Capacitive touch or proximity detection for crown
GB201708100D0 (en) 2017-05-19 2017-07-05 Sintef Input device

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006323823A (ja) 2005-02-25 2006-11-30 Hewlett-Packard Development Co Lp 音ベースの仮想キーボード、装置、及び方法
JP2008113431A (ja) 2006-10-19 2008-05-15 Polycom Inc 超音波カメラトラッキングシステム及びそれに関連する方法
JP2009110229A (ja) 2007-10-30 2009-05-21 Pentel Corp 手書き筆跡入力システム
JP2009199158A (ja) 2008-02-19 2009-09-03 Hitachi Ltd 音響ポインティングデバイス、音源位置のポインティング方法及びコンピュータシステム
JP2012247300A (ja) 2011-05-27 2012-12-13 Handotai Rikougaku Kenkyu Center:Kk 位置測定システム
WO2016162701A1 (en) 2015-04-09 2016-10-13 Sintef Tto As Speech recognition
JP2017049185A (ja) 2015-09-03 2017-03-09 株式会社小野測器 レーザドップラ振動計

Also Published As

Publication number Publication date
WO2018211281A1 (en) 2018-11-22
US20210271338A1 (en) 2021-09-02
AU2018268363B2 (en) 2022-09-22
AU2018268363A1 (en) 2020-01-16
CN111095180B (zh) 2023-12-15
JP7493551B2 (ja) 2024-05-31
JP2020521236A (ja) 2020-07-16
US20220171491A1 (en) 2022-06-02
EP4280039A1 (en) 2023-11-22
US11287917B2 (en) 2022-03-29
US11809654B2 (en) 2023-11-07
JP2022116280A (ja) 2022-08-09
EP3625656B1 (en) 2023-09-13
EP3625656A1 (en) 2020-03-25
CN111095180A (zh) 2020-05-01
EP4280039B1 (en) 2024-10-09
CA3063819A1 (en) 2018-11-22
US20230085902A1 (en) 2023-03-23
GB201708100D0 (en) 2017-07-05
US11550419B2 (en) 2023-01-10

Similar Documents

Publication Publication Date Title
JP7084425B2 (ja) タッチ式入力装置
JP5124071B2 (ja) 接触検知装置
JP4180508B2 (ja) 接触検知装置
US7157649B2 (en) Contact sensitive device
CN103443649B (zh) 用于使用可听声音和超声进行源定位的系统、方法、设备和计算机可读媒体
KR101121891B1 (ko) 접촉 감응 장치
Pham et al. A novel human-computer interface based on passive acoustic localisation
KR100933042B1 (ko) 터치 좌표인식 방법 및 이를 수행하기 위한 터치스크린장치
WO2008135846A1 (en) Method for locating and tracking elastic sources within thin media
Fabiani Development of a tangible human-machine interface exploiting in-solid vibrational signals acquired by multiple sensors
Ji Development of tangible acoustic interfaces for human computer interaction
Thompson et al. Active Acoustic Sensing for Determining Touch Location on an Elastic Surface

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210514

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210514

TRDD Decision of grant or rejection written
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220428

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220510

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220602

R150 Certificate of patent or registration of utility model

Ref document number: 7084425

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150