JP5547294B2 - タッチの衝撃強度を決定するためのマイクロフォンを有するタッチインタフェース - Google Patents

タッチの衝撃強度を決定するためのマイクロフォンを有するタッチインタフェース Download PDF

Info

Publication number
JP5547294B2
JP5547294B2 JP2012534185A JP2012534185A JP5547294B2 JP 5547294 B2 JP5547294 B2 JP 5547294B2 JP 2012534185 A JP2012534185 A JP 2012534185A JP 2012534185 A JP2012534185 A JP 2012534185A JP 5547294 B2 JP5547294 B2 JP 5547294B2
Authority
JP
Japan
Prior art keywords
user
impact strength
input area
touch input
touch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012534185A
Other languages
English (en)
Other versions
JP2013508808A (ja
Inventor
ザレウスキー、ゲイリー、エム.
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc, Sony Computer Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of JP2013508808A publication Critical patent/JP2013508808A/ja
Application granted granted Critical
Publication of JP5547294B2 publication Critical patent/JP5547294B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/043Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means using propagating acoustic waves
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、一般に、タッチインタフェースに関し、とくに、タッチインタフェースにタッチするユーザのタッチ入力の強度を検出することに関する。
ユーザが現代的な計算装置と相互作用することを可能とするために、多数の異なる入力装置が利用される。携帯装置においてよく利用される入力装置の一つに、タッチパッド(又はタッチスクリーン)がある。タッチパッドは、ユーザの指の動き及び位置を追跡し、動き及び位置をディスプレー上の相対位置に変換するユーザインタフェース装置である。タッチパッドは、カーソルの移動及びディスプレー上のアイテムの選択などの機能を実行するために使用することができる。
タッチパッドは、異なる複数の検知技術を用いて実現することができる。最も一般的な検知技術は、指の容量を検知する。しかし、容量の検知を利用するタッチパッドは、ユーザのタッチ(タップを含む)の衝撃強度を区別することができない。容量センサタッチパッドは、例えば、強いタップも弱いタップも、単にタップとして登録する。
計算装置とともに用いることが可能な別の入力装置として、仮想キーボードプロジェクタがある。仮想キーボードプロジェクタは、表面(一般には平面)上に仮想キーボードを投影するプロジェクタを含む。仮想キーボードプロジェクタは、更に、ユーザが投影されたキーの上に指を移動させたときに、ユーザの指を追跡するカメラを含む。仮想キーボードにおける一つの問題は、カメラは、仮想キーボードが投影された表面にいつ指が実際に触れたのかを検出することができないことである。したがって、例えば、同一のキーを繰り返して選択したことを検出することは困難である。
本発明は、添付の図面に関連した下記の説明を参照することにより、最も良く理解されうる。
図1Aは、本発明の一つの実施の形態にしたがって、タッチパッド及びマイクロフォンを含むラップトップコンピュータを示す図である。 図1Bは、本発明の一つの実施の形態にしたがって、タッチスクリーン及びマイクロフォンを含む携帯装置を示す図である。 図1Cは、本発明の一つの実施の形態にしたがって、タッチ入力領域を提供するプロジェクタ/カメラを含むデスクトップコンピュータを示す図である。 図2Aは、本発明の一つの実施の形態にしたがって、ユーザのタッチの衝撃強度を決定するためにホスト計算装置により利用可能な電子装置の例を示す図である。 図2Bは、本発明の一つの実施の形態にしたがって、音声分析部の構成要素を示すブロック図を示す図である。 図3Aは、本発明の一つの実施の形態にしたがって、グリッドに分割されたタッチ入力領域の例を示す図である。 図3Bは、本発明の一つの実施の形態にしたがって、2つの時点における、図3Aに示したタッチ入力領域の例を示す図である。 図3Cは、本発明の一つの実施の形態にしたがって、高い衝撃強度を有するユーザのタッチ及び低い衝撃強度を有するユーザのタッチについて、タッチが最初に検出されたときと完全に検出されたときとの間の期間の例を示す図である。 図4Aは、本発明の一つの実施の形態にしたがって、ユーザがタッチ入力領域を高い衝撃強度でタップするときに生成される音響波を示す図である。 図4Bは、本発明の一つの実施の形態にしたがって、ユーザがタッチ入力領域を中間の衝撃強度でタップするときに生成される音響波を示す図である。 図4Cは、本発明の一つの実施の形態にしたがって、ユーザがタッチ入力領域を低い衝撃強度でタップするときに生成される音響波を示す図である。 図5は、タッチ入力領域におけるユーザのタップを検出する方法の一つの実施の形態のフロー図を示す図である。 図6は、タッチ入力領域におけるユーザのタップを検出する方法の別の実施の形態のフロー図を示す図である。 図7は、タッチ入力領域におけるユーザのタップを検出する方法の更に別の実施の形態のフロー図を示す図である。 図8Aは、音声分析部及び/又は音声センサの工場較正を実行する方法の一つの実施の形態のフロー図を示す。 図8Bは、本発明の一つの実施の形態にしたがって、減衰ゾーンを含む、図3Aに示したタッチ入力領域の例を示す図である。 図9は、ユーザ較正を実行する方法の一つの実施の形態のフロー図を示す図である。 図10は、ユーザ較正を実行する方法の別の実施の形態のフロー図を示す図である。 図11は、カメラ/プロジェクタのタッチ入力領域とともに使用する音声分析部及び/又は音声センサを較正する方法の一つの実施の形態のフロー図を示す図である。 図12は、本明細書で説明した任意の1以上の方法をマシンに実行させるためのコンピュータシステムの例示的な形式でマシンの概略的表現を示す図である。
本明細書では、ユーザがタッチ入力領域に触れたときに、ユーザのタッチの衝撃強度を決定するための方法及び装置について説明する。一つの実施の形態において、電子装置は、ユーザがタッチ入力領域にタッチしたときに、タッチ入力領域の位置座標を決定する。タッチ入力領域は、タッチパッド、タッチスクリーン、投影されたキーボード、又は他のタッチ入力領域であってもよい。電子装置は、ユーザがタッチ入力領域にタッチしたときに、音声センサから音声信号を更に取得する。電子装置は、ユーザのタッチの衝撃強度を決定するために音声信号を用いる。例えば、静かな音声信号は、低い衝撃強度(弱いタップ)に関連付けられてもよく、より大きな音声信号は、高い衝撃強度(強いタップ)に関連付けられてもよい。電子装置は、決定された衝撃強度に関連付けられたコマンドを生成する。ホスト計算装置は、コマンドに基づいて1以上のアクションを実行してもよい。例えば、弱いタップにより、アイコンを選択し、強いタップにより、アイコンに関連付けられたアプリケーションを実行してもよい。
下記の説明においては、特定の数値的な詳細が示される。しかしながら、本発明が、これらの特定の詳細なしに実施されることが可能であることは、当業者には明らかである。いくつかの例において、本発明を不明瞭にするのを避けるために、詳細よりもむしろ、既知の構造及び装置がブロック図の形で示される。
下記の詳細な説明のいくつかの部分は、コンピュータメモリ内のデータビット上の演算のアルゴリズム及び記号表現の観点から示される。これらのアルゴリズムの記述及び表現は、その成果を最も効果的に他の当業者に伝えるために、データ処理の分野の当業者により用いられる手段である。アルゴリズムは、本明細書において、及び一般的に、所望の結果を達成する自己矛盾のない一連のステップであると理解されている。ステップは、物理量の必要な物理操作である。通常、必然的ではないが、これらの量は、格納され、送信され、結合され、比較され、及びその他の操作を受けることが可能な電気的又は磁気的信号の形式をとる。これらの信号を、ビット、値、要素、記号、文字、項、数などと呼ぶことが、主に共通の使用のために、時に便利であることが立証されている。しかし、これら及び類似の全ての語は、適切な物理量に関連付けられ、単にこれらの量に適用される便利なラベルに過ぎないことに留意されるべきである。
本発明は、また、本明細書の手順を実行するための装置に関する。この装置は、要求される目的のために特別に構築されてもよいし、コンピュータに格納されたコンピュータプログラムにより選択的に作動された又は再構成された汎用コンピュータを備えてもよい。一つの実施の形態において、本明細書の手順を実行するための装置は、携帯型ゲームコンソール(例えば、ソニープレイステーションポータブル(登録商標)、ニンテンドーDS(登録商標)など)を含む。または、装置は、ラップトップコンピュータ、キーボードプロジェクタ、携帯電話、PDA(personal digital assistant)、タッチパッドが設けられたキーボード、タッチスクリーンモニタなどであってもよい。さらに、装置は、ホスト計算装置の構成要素である、又はホスト計算装置に接続された電子装置であってもよい。ホスト計算装置は、携帯型ゲームコンソール、ラップトップコンピュータ、PDA、携帯電話、携帯型音楽プレイヤーなどであってもよい。
図1A−1Cは、本発明の実施の形態に係る、様々なタッチ入力を含む3つの計算装置を示す。図1Aは、タッチパッド110及びマイクロフォン115を含むラップトップコンピュータ105を示す。タッチパッド110は、検出された指の動きを、ディスプレー120に表示されたカーソルの制御入力に変換してもよい。一つの実施の形態において、マイクロフォン115は、ユーザがタップ又は他の方法でタッチパッド110に接触したときに生成される音響波を検出する。ラップトップコンピュータ105は、検出された音響波に基づいて、ユーザのタッチの強度を決定してもよいし、タッチの強度及び/又はディスプレー120内のポインタの位置に基づいて、1以上のアクションを実行してもよい。例えば、ポインタがディスプレー120に表示されたアイコンの上に位置しているときに、弱いタップが検出されると、アイコンが選択されてもよい。他方、ポインタがアイコンの上に位置しているときに、強いタップが検出されると、アイコンに関連付けられたアプリケーションが実行されてもよい。
図1Bは、タッチスクリーン130及びマイクロフォン135を含む携帯装置125を示す。携帯装置125は、携帯型ゲームコンソール、携帯電話、PDA、タブレットコンピュータなどであってもよい。タッチスクリーン130は、スクリーン上の指又は他のオブジェクト(例えばスタイラス)の位置及び動きを検出可能な表示装置である。タッチパッドと異なり、タッチスクリーン130は、画面に表示された画像にユーザが直接相互作用することを可能とする。マイクロフォン135は、タッチスクリーン130に対するユーザのタップの衝撃強度を検出することができる。携帯装置125は、検出されたユーザのタップの衝撃強度及び/又は位置を、1以上のアクションを実行するために用いてもよい。
一つの実施の形態において、携帯装置215は、両側にタッチスクリーンを備える。したがって、携帯装置125の裏側(図示せず)は、追加のタッチ入力領域を含んでもよい。裏側のタッチ入力領域に対するユーザのタッチの、検出された衝撃強度に基づいて、追加のアクションが実行されてもよい。
図1Cは、タッチ入力領域145を提供するプロジェクタ/カメラ142を含むデスクトップコンピュータ140を示す。プロジェクタ/カメラ142は、平面上のタッチ入力領域145内に仮想キーボードを投影することができる。プロジェクタ/カメラ142は、ユーザの指が仮想キーの上に移動されたとき、適切なキーの押下を検出し、登録することができる。プロジェクタ/カメラ142は、デスクトップコンピュータ140のディスプレー155上のカーソルを制御するためにユーザが指を移動させる矩形のタッチ領域を更に投影してもよい。
従来の仮想キーボードプロジェクタにおける一つの問題は、指の位置しか検出できないことである。このような従来の仮想キーボードプロジェクタは、仮想キーボードが投影されている平面に指が実際に触れている瞬間を検出することができない。したがって、一つの実施の形態において、マイクロフォン150がプロジェクタ/カメラ142に物理的に取り付けられ、又は含まれる。または、マイクロフォン150は、プロジェクタ/カメラ142及びデスクトップコンピュータ140から分離され、タッチ入力領域145の近傍に配置されてもよい。一つの実施の形態において、マイクロフォンは、プロジェクタ/カメラ142に、例えば、ブルートゥース(登録商標)、ワイファイ(WiFi)、ジグビー(Zigbee(登録商標))などを介して無線接続される。別の実施の形態において、マイクロフォン150は、例えば、ユニバーサルシリアルバス(USB)接続、ファイアワイア(IEEE 1394)接続、又は他の有線接続を介して接続される。または、マイクロフォン150は、デスクトップコンピュータ140に有線又は無線接続を介して接続されてもよい。
タッチ入力領域145が投影された平面に指が触れたとき、音響波が生成される。マイクロフォン150は、この音響波を検出し、キー押下に対応するタップイベントが検出されたことをプロジェクタ/カメラ142又はデスクトップコンピュータ140に通知する。例えば、ユーザが投影されたキーの上に指を置き、投影されたキーの位置でタッチ入力領域145をタップするまで、キーコマンドは登録されなくてもよい。
一つの実施の形態において、マイクロフォン150により検出された音響波の強度は、ユーザがタッチ入力領域145をタップした強度を決定するために用いられる。強度の異なるタップは、異なるコマンドに関連付けられてもよい。例えば、投影されたキーの位置における強いタップは、デスクトップコンピュータにより小文字のキーと認識されてもよく、他方、投影されたキーの位置における強いタップは、デスクトップコンピュータ140により大文字と認識されてもよい。
マイクロフォン150がタッチ入力領域145に対してどこに配置されるかは、マイクロフォン150により取得される音声入力信号に影響を与えうる。したがって、一つの実施の形態において、ユーザは、タッチ入力領域145の内部又は近傍の特定の位置にマイクロフォン150を配置するよう要求される。例えば、図示するように、ユーザは、タッチ入力領域の左下隅にマイクロフォン150を配置するよう要求されてもよい。それに代えて、又はそれに加えて、ユーザは、マイクロフォン150(又はマイクロフォンから取得した信号を分析する音声分析部)を較正するための簡単なキャリブレーションを実行するよう要求されてもよい。マイクロフォン150(又は音声分析部)の較正は、タッチ入力領域145内の要求された位置において1回のタップを実行することを含んでもよい。または、ユーザは、タッチ入力領域145内の複数の位置においてタップを実行するよう要求されてもよい。マイクロフォン(又は音声分析部)の較正については、図11を参照して、後で詳述する。
図2Aは、本発明の一つの実施の形態にしたがって、音声センサ(例えば、マイクロフォン)により実行された測定に基づいて、ユーザのタップの強度を決定するために、ホスト計算装置により利用可能な電子装置205の例を示す。電子装置205が接続可能なホスト計算装置の例は、携帯装置105、ラップトップコンピュータ120、及びデスクトップコンピュータ140を含む。電子装置205の機能を実行する代替の電子装置が、ユーザのタッチの強度を検出するための様々な計算装置において実装されてもよい。
電子装置205は、位置センサ202から位置座標を示す位置入力信号を取得する位置識別部210を含む。一つの実施の形態において、位置センサ202は、タッチパッド又はタッチスクリーンなどのタッチパネルである。一つの実施の形態におけるタッチパネルは、容量を測定することによりオブジェクト(例えば、指)を検出する。または、タッチパネルは、抵抗、赤外線、弾性表面波、電磁的、近接場イメージング、その他の技術など、別の検出原理により動作するよう構成されてもよい。別の実施の形態において、位置センサ202は、例えば、仮想キーボードの位置を光学的に追跡するカメラを含む。他の接触に基づく入力機構が用いられてもよい。
位置識別部210は、ユーザが指又は他のオブジェクトを位置センサ202の接触感知入力領域内に置いたときに、入力信号を取得する。位置識別部210は、位置座標を決定するために、位置入力信号を解釈する。位置座標は、制御部220及び/又は音声分析部215に送られる。位置座標は、例えば、ホスト計算装置によりユーザインタフェースを操作するために用いられてもよい。
図3Aは、本発明の一つの実施の形態にしたがって、グリッドに分割されたタッチ入力領域300の例を示す。タッチ入力領域300は、図2Aの位置センサ202に対応してもよい。一つの実施の形態において、グリッドは、容量性のタッチパッドにおいて、容量センサ要素の配列の行(例えば、行1〜11)及び列(例えば、列A〜K)を示す。容量センサにより検出される容量は、センサに対する伝導性オブジェクト(例えば、指)の近さの関数として変化する。伝導性オブジェクトの近さ又は動きに起因して、センサ配列のそれぞれのセンサにより検出される容量の変化が測定されうる。容量センサ要素は、例えば、弛張発振器、電流電圧位相シフト比較、抵抗器−コンデンサ充電タイミング、容量ブリッジ分割、電荷移動、シグマ−デルタ変調、電荷蓄積回路など、様々な技術を用いて容量をっそくていするように構成されてもよい。
センサ配列のうちの、どの行及びどの列のセンサ要素が伝導性オブジェクトを検出したかを特定することにより、検出されたオブジェクト315(例えば、指)のほぼ正確な位置を決定することができる。この情報は、位置座標を決定するために用いられてもよい。
図2Aに戻り、一つの実施の形態において、位置識別部210は、ユーザのタッチの衝撃強度を算出するように構成されてもよい。位置センサ202は、タッチ入力領域に接触するオブジェクトの大きさを測定することができる。ユーザが指でタッチ入力領域をタップするとき、短期間に異なる複数のオブジェクトの大きさが検出されうる。ユーザの指が最初にタッチ入力領域に当たったとき、指の先が検出されるが、これはかなり小さな円として登録されうる。その後、指がタッチ入力領域に対して完全に押下されると、ユーザのタッチは、より大きな円又は楕円として登録されうる。
一つの実施の形態において、位置識別部210は、下側(より低い)接触しきい値及び上側(より高い)接触しきい値を含む。下側接触しきい値は、ユーザの指の先の形状及び/又は大きさを有するオブジェクトが検出されたときに満足されてもよい。上側接触しきい値は、タッチ入力領域に対して完全に押下されたときのユーザの指の大きさ及び/又は形状を有するオブジェクトが検出されたときに満足されてもよい。位置識別部210は、下側接触しきい値が満足されたとき及び上側接触しきい値が満足されたときの回数を記録してもよい。位置識別部210は、下側接触しきい値が満足されたときと上側接触しきい値が満足されたときとの間の経過時間に基づいて、ユーザのタッチの衝撃強度を決定してもよい。例えば、高い強度のタッチ、中間の強度のタッチ、及び低い強度のタッチの間で区別するために、経過時間のしきい値が用いられてもよい。位置識別部210は、制御部220に衝撃強度を通知してもよい。
図3Bは、2つの時点における、図3Aに示したタッチ入力領域305の例を示す。第1の時点である時刻T1において、ユーザがタッチ入力領域305にタッチした瞬間に、ユーザの指の先335が検出される。第2の時点である時刻T2において、タッチ入力領域305に対して完全に押下されたユーザの指350が検出される。一つの実施の形態において、時刻T1と時刻T2との間に経過した時間が、タッチの衝撃強度を決定するために用いられる。
図3Cは、高い衝撃強度を有するユーザのタッチ及び低い衝撃強度を有するユーザのタッチについて、タッチが最初に検出されたとき(T1)と完全に検出されたとき(T2)との間の期間の例を示す。図示されるように、より短い期間(例えば、1マイクロ秒)は、高い衝撃強度を示唆し、より長い期間(例えば、2マイクロ秒)は、低い衝撃強度を示唆する。
図2Aに戻り、電子装置205は、音声センサ208(例えば、マイクロフォン)から音声入力信号を取得して分析する音声分析部215を含む。音声分析部215は、取得した音声信号が、ユーザのタップの音声プロファイルに合致するか否かを判定する。一つの実施の形態において、音声分析部215は、ユーザのタップにより生成される音声信号と他の音声信号とを区別するように構成される。更なる実施の形態において、音声分析部215は、異なる衝撃強度を有するユーザのタップを区別するように構成される。
図4A〜4Cを参照して、これらの図は、本発明の実施の形態にしたがって、ユーザがタッチ入力領域をタップすることにより生成される音響波を示す。図4A〜4Cのそれぞれは、圧力の時間変化のグラフである。音響波は、音声センサ208によりピックアップされ、音響波を示す電気音声信号に変換される。
図4Aは、ユーザがタッチ入力領域を高い衝撃強度でタップしたときに生成される音響波を示す。図4Bは、ユーザがタッチ入力領域を中間の衝撃強度でタップしたときに生成される音響波を示す。図4Cは、ユーザがタッチ入力領域を低い衝撃強度でタップしたときに生成される音響波を示す。図示されるように、ユーザが強くタッチ入力領域をタップするほど、音響波の振幅は大きくなる。さらに、強いタップほど、長時間持続する音響波を生成する。
図2Aに戻り、音声分析部215は、タップを識別するため、及び、タップの衝撃強度を識別するために用いられる1以上の衝撃強度しきい値を含んでもよい。2つの衝撃強度のみが用いられる場合、音声分析部215は、2つの衝撃強度しきい値を含んでもよい。低い方のしきい値よりも低い音声信号は、タップジェスチャーではないと識別されてもよい。低い方のしきい値よりも高く、高い方のしきい値よりも低い音声信号は、低い衝撃強度のタップであると識別されてもよい。高い方のしきい値よりも高い音声信号は、高い衝撃強度のタップであると識別されてもよい。3つの衝撃強度が用いられる場合、タップではないジェスチャーと低い強度のタップを分離する低いしきい値と、低い強度のタップと中間の強度のタップを分離する中間のしきい値と、中間の強度のタップと高い強度のタップを分離する高いしきい値の3つのしきい値があってもよい。
一つの実施の形態において、音声分析部215は、図4Aに示された音響波を、強い(高い衝撃の)タップにより生成されたと識別することができる。音声分析部は、さらに、図4Bに示された音響波を、中間の強度(中間の衝撃)のタップにより生成されたと識別し、図4Cに示された音響波を、弱い強度(低い衝撃)のタップにより生成されたと識別することができる。または、音声分析部215は、図4A〜4Cのそれぞれに示された音響波を、衝撃強度を識別せずに、基本的なユーザのタップとして識別してもよい。
特定の衝撃強度を有するユーザのタッチは、タッチ入力領域のどこでタッチが行われたかに依存して、異なる音声信号を生成しうる。例えば、音声センサ208から離れた位置における強いタップにより生成された音声信号は、音声センサ208に近い位置における弱いタップにより生成された音声信号に類似しうる。したがって、一つの実施の形態において、音声分析部215は、位置識別部210から位置座標情報を取得する。音声分析部215は、取得した位置座標に基づいて、音声入力信号を減衰、増幅、又はその他の方法で変更してもよい。
図2Bは、本発明の一つの実施の形態にしたがって、音声分析部215の構成要素を示すブロック図を示す。一つの実施の形態において、音声分析部215は、音声入力信号を変更するための正規化ルックアップテーブルを含む。ルックアップテーブル270のそれぞれのエントリーは、単一の位置座標又は複数の位置座標及び音声入力変更値を含んでもよい。変更値は、音声信号の特定の増幅、音声信号の減衰を提供してもよいし、より複雑な音声信号の操作(例えば、音声信号の一部のみを増幅及び/又は減衰するなど)を実行してもよい。
別の実施の形態において、音声分析部215は、音声信号正規化モデル275を含む。正規化モデル275は、入力として位置座標を取得し、出力として増幅値を生成するアルゴリズム又は式を含んでもよい。音声分析部215は、決定された増幅値に基づいて音声入力信号を変更するために、正規化モデル275を用いてもよい。正規化モデル275は、例えば、増幅値又は他の変更値に基づいて、信号の形状を変更及び/又は信号を減衰することにより音声入力信号を変更するために用いられてもよい。
一つの実施の形態において、正規化モデル275及び/又は正規化ルックアップテーブル270は、音声分析部275の工場較正を実行するときに生成される。音声分析部275の工場較正は、音声センサ208の較正を含んでもよい。このような較正については、図11を参照して、後に詳述する。
一つの実施の形態において、音声分析部215は、ユーザのタップの識別のために、取得した全ての音声入力信号を分析する。別の実施の形態において、音声分析部215は、位置センサ202がユーザのタッチを検出した旨の通知を位置識別部210から受けたときに、音声入力信号を分析する。一つの実施の形態において、位置識別部は、音声分析部215に位置座標情報を通知する。
一つの実施の形態において、音声分析部215は、音声入力信号をキャッシュする入力バッファ255を含む。したがって、位置識別部210が音声分析部215にユーザのタッチを通知する前に、音声分析部215によりユーザのタップに関連付けられた音声入力信号が取得された場合でも、音声入力信号は破棄されない。更なる実施の形態において、音声分析部215は、入力バッファ255に格納されたときの時刻を、取得した音声入力信号のそれぞれに記録する。位置識別部210が音声分析部215にユーザのタッチが検出された旨を通知するとき、ユーザのタッチが検出された時刻を更に通知してもよい。音声分析部215は、通知された時刻と合致するタイムスタンプに関連付けられた音声入力信号を入力バッファ255から取得してもよい。
音声センサ208は、位置センサ202によりユーザのタッチが検出されたのと同時に生成された背景ノイズを取得してもよい。一つの実施の形態において、音声分析部215は、音声分析部215が音声入力信号を分析する前に背景ノイズを除去する1以上の信号フィルタ260を含む。一つの実施の形態において、1以上のフィルタは、ユーザのタップにより生成された波形を有する音声入力信号を通過させる帯域フィルタである。一つの実施の形態において、少なくとも1つのフィルタ260は、ブラインド信号源分離又は準ブラインド信号源分離を実行する。ブラインド信号源分離は、重畳している信号の集合を、それぞれの信号の正則性を最大化し、信号間の正則性を最小化するように、別個の信号に分離する。このように、ブラインド信号源分離を実現するフィルタは、ユーザのタップにより生成された特定の波形を通過させ、他の波形をブロックすることができる。
音声分析部215は、音声入力信号をフィルタにかける前及び/又はフィルタにかけた後に、音声入力信号を増幅する1以上の信号増幅部265を含んでもよい。音声分析部215がハードウェアにより実装される場合、増幅部は、例えば、演算増幅器(オペアンプ)であってもよい。音声分析部215がソフトウェアにより実装される場合、増幅部は、増幅アルゴリズムであってもよい。
図2Aに戻り、音声分析部215は、識別されたユーザのタップ及び/又は衝撃強度を制御部220に通知する。制御部220は、取得した位置座標及び取得した衝撃強度及び/又はユーザのタップの情報に基づいて、ユーザのコマンドを識別する。音声分析部215からユーザのタップを識別するデータを取得しない場合(例えば、しきい値よりも低い衝撃強度と判定された場合)、制御部220は、カーソルを移動させるための位置コマンドを生成してもよい。音声分析部によりタップが識別された場合(例えば、しきい値よりも高い衝撃強度と判定された場合)、制御部220は、1以上の実行、選択、又は他のコマンドを生成してもよい。
異なる衝撃強度は、異なるコマンドに関連付けられてもよい。例えば、低い衝撃強度は、第1のコマンドに関連付けられ、中間の衝撃強度は、第2のコマンドに関連付けられ、高い衝撃強度は、第3のコマンドに関連付けられてもよい。一つの実施の形態において、ユーザのタップに関連付けられた衝撃の強度は、どのコマンドを生成すべきかを判定するために用いられる。制御部220が、位置識別部210と音声分析部215の双方から衝撃強度の情報を取得する一つの実施の形態において、制御部220は、コマンドを生成する前に、2つの通知された衝撃強度の間の不一致を解決する。これについては、図7を参照して、後で詳述する。
制御部220は、生成されたコマンドを含む出力信号を生成し、出力信号をホスト計算装置に送ってもよい。ホスト計算装置は、取得したコマンドに基づいて、1以上のアクションを実行してもよい。
電子装置205は、様々な方法によってホスト計算装置と接続してもよい。一つの例示的な実施の形態において、電子装置205は、標準的なPS/2インタフェースを介してホスト計算装置に接続される。別の例示的な実施の形態において、電子装置205は、ユニバーサルシリアルバス(USB)インタフェースを介してホスト計算装置に接続される。または、電子装置205は、他の工業的な標準インタフェース、例えば、アイ・スクエアド・シー(inter-integrated circuit:I2C)バス、システムパケットインタフェース(SPI)、RS−232シリアル、又はブルートゥース(登録商標)などを介してホスト計算装置に接続されてもよい。
位置識別部210、音声分析部215、及び制御部220は、別個のコンポーネント(例えば、集積回路)又はソフトウェアコンポーネント(例えば、ソフトウェアモジュール)であってもよい。または、位置識別部210、音声分析部215、及び制御部220は、単一のハードウェア又はソフトウェア装置のコンポーネントであってもよい。一つの実施の形態において、位置識別部210、音声分析部215、及び制御部220のそれぞれは、別個のアクティブな電子部品である。または、位置識別部210、音声分析部215、及び/又は制御部220は、含まれるそれぞれのロジックの機能を実行することが可能な単一のアクティブな電子部品(例えば、集積回路又はマルチチップモジュール)の一部であるロジックであってもよい。アクティブな電子部品は、マイクロプロセッサ又は中央演算ユニット、コントローラ、専用プロセッサ、汎用プロセッサ、ディジタル信号プロセッサ(DSP)、ASIC(application specific integrated circuit)、FPGA(field programmable gate array)などであってもよい。ロジックは、ハードウェアロジック又はソフトウェアロジックであってもよい。
図1A〜2Aを参照して、単一の音声センサ(例えば、マイクロフォン)について説明したが、計算装置及び/又は電子装置は、複数の音声センサを含んでもよい。複数の音声センサが用いられる場合、電子装置205は、異なる音声センサから取得した音声信号に基づいてタッチの衝撃強度を別個に計算する複数の音声分析部を含んでもよい。または、音声分析部215は、複数の音声センサから取得した音声信号に基づいてタッチの衝撃強度を決定してもよい。
図5は、タッチ入力領域におけるユーザのタップを検出する方法500の一つの実施の形態のフロー図を示す。方法は、ハードウェア(例えば、回路、専用ロジック、プログラマブルロジック、マイクロコードなど)、ソフトウェア(例えば、処理装置上で実行される命令)、ファームウェア、又はそれらの組み合わせを含む処理ロジックにより実行されてもよい。一つの実施の形態において、方法500は、図2Aの電子装置205により実行される。
図5を参照して、方法500のブロック505において、導電性オブジェクトの最初の存在が検出される。タッチ入力領域の位置座標は、ユーザがタッチ入力領域にタッチしたときに判定される。ブロック510において、音声信号が音声センサから取得される。
ブロック512において、処理ロジックは、音声信号を正規化するか否かを決定する。一つの実施の形態において、音声信号は、位置座標に基づいて、正規化モデル又はルックアップテーブルを用いて正規化される。取得した位置座標が、正規化すべき音声信号を生成する位置に対応する場合、方法はブロック514に進む。取得した位置座標が、そのような位置に対応しない場合、又は、処理ロジックが正規化を実行するように構成されていない場合、方法はブロック515に進む。
ブロック515において、処理ロジックは、音声信号に基づいて、ユーザのタッチの衝撃強度を決定する。音声信号が正規化されていた場合、ユーザのタッチの衝撃強度は、正規化された音声信号に基づいて決定される。ブロック520において、処理ロジックは、決定された衝撃強度に関連付けられた単数又は複数のコマンドを生成する。これで方法は終了する。
図6は、タッチ入力領域におけるユーザのタップを検出する方法600の別の実施の形態のフロー図を示す。方法は、ハードウェア(例えば、回路、専用ロジック、プログラマブルロジック、マイクロコードなど)、ソフトウェア(例えば、処理装置上で実行される命令)、ファームウェア、又はそれらの組み合わせを含む処理ロジックにより実行されてもよい。一つの実施の形態において、方法600は、図2Aの電子装置205により実行される。
図6を参照して、方法600のブロック605において、時刻T1にユーザが最初にタッチ入力領域にタッチしたときに、タッチ入力領域の位置座標が決定される。ユーザの最初のタッチは、ユーザの指の先端からであり、タッチ入力領域において小さな円として出現する。一つの実施の形態において、第1の位置座標は、第1(低い方)の接触しきい値を満たす。一つの実施の形態において、第1の接触しきい値は、ユーザの指の先の大きさ及び/又は形状に対応する第1の大きさ及び/又は形状を有するオブジェクトが検出されたときに満足される。
ブロック610において、時刻T2に指がタッチ入力領域に完全に押下されたときに、タッチ入力領域の第2の位置座標が取得される。ユーザの完全なタッチは、先端のみよりも大きな指の部分からであり、より大きな円又は卵形として出現する。一つの実施の形態において、第2の位置座標は、第2(高い方)の接触しきい値を満たす。一つの実施の形態において、第2の接触しきい値は、ユーザがタッチ入力領域に指を完全に押下したときの大きさ及び/又は形状に対応する第2の大きさ及び/又は形状を有するオブジェクトが検出されたときに満足される。
ブロック615において、処理ロジックは、時刻T1から時刻T2までの間に経過した時間を決定する。一つの実施の形態において、経過時間は、秒の小数点以下の規模である。例えば、T1とT2の間のデルタは、マイクロ秒のオーダーであってもよい。
ブロック620において、処理ロジックは、経過時間に基づいて、ユーザのタッチ(又はタップ)の衝撃強度を決定する。より短い経過時間はより高い衝撃強度を示し、より長い経過時間はより低い衝撃強度を示す。
図7は、タッチ入力領域におけるユーザのタップを検出する方法700の更に別の実施の形態のフロー図を示す。方法は、ハードウェア(例えば、回路、専用ロジック、プログラマブルロジック、マイクロコードなど)、ソフトウェア(例えば、処理装置上で実行される命令)、ファームウェア、又はそれらの組み合わせを含む処理ロジックにより実行されてもよい。一つの実施の形態において、方法700は、図2Aの電子装置205により実行される。
図7を参照して、方法700のブロック705において、第1の接触しきい値を満たす位置座標と第2の接触しきい値を満たす位置座標との間の経過時間に基づいて、ユーザのタッチの衝撃強度が決定される。一つの実施の形態において、方法600は、このような決定を行うために実行される。決定された時間差が衝撃強度しきい値を下回った場合、第1の衝撃強度が決定され、時間さがしきい値を上回った場合、第2の衝撃強度が決定されてもよい。
ブロック710において、タッチ入力領域がタッチされたときに発生される音響波に対応する音声信号に基づいて、ユーザのタッチの衝撃強度が決定される。一つの実施の形態において、方法500は、このような決定を行うために実行される。音声信号が衝撃強度しきい値を上回った場合、第1の衝撃強度が決定され、音声信号がしきい値を下回った場合、第2の衝撃強度が決定されてもよい。
ブロック715において、ブロック705において決定された衝撃強度と、ブロック710において決定された衝撃強度が比較される。両者は同一のタッチを測定しているので、理想的には、2つの衝撃強度は同じになるはずである。しかし、構成要素間の較正をしていなければ、決定された衝撃強度が異なる値をとる原因となりうる。
ブロック720において、処理ロジックは、異なる衝撃強度が検出されたか否かを判定する。異なる衝撃強度が検出された場合、方法はブロック725に進む。同一の衝撃強度が検出された場合、方法はブロック730に進む。
ブロック725において、処理ロジックは、決定された衝撃強度の間の不一致を解決する。不一致は、様々な方法で解決されうる。一つの実施の形態において、ブロック705において決定された衝撃強度を用いることにより不一致が解決される。または、ブロック710において決定された衝撃強度を用いることにより不一致が解決されてもよい。別の実施の形態において、衝撃強度を決定する根拠となった信号が再検討される。
一つの実施の形態において、衝撃強度しきい値に最も近いタッチの衝撃強度を破棄することにより不一致が解決される。例えば、ブロック705において決定された時間差が、衝撃強度しきい値に含まれる時間差を大きく超えており、ブロック710において取得された音声信号が、衝撃強度しきい値に含まれる音声信号にかなり近接していると仮定する。このような状況下においては、ブロック705において決定された衝撃強度が用いられてもよい。
一つの実施の形態において、それぞれの衝撃強度の算出について信頼度が生成される。最も高い信頼度(最も小さい誤差)を有する衝撃強度が正確な衝撃強度であると決定されてもよい。
ブロック730において、衝撃強度に関連付けられたコマンドが生成される。コマンドはホスト計算装置に送られ、ホスト計算装置は、コマンドを解釈して1以上のアクションを実行してもよい。どの単数又は複数のアクションが実行されるかは、コマンドを取得したときにカーソルが位置していた、またはその他の要因によってアクティブであったアプリケーションに依存してもよい。
タップにより生成された音声信号は、タップがタッチ入力領域のどこでなされたかに依存して変化しうる。この変化は、マイクロフォンがタッチ入力領域に対してどこに配置されているか、タッチ入力領域及びマイクロフォンのシャシーへの連結、装置に用いられている材質、反響などに依存しうる。したがって、矛盾のない結果を保証するために、タッチ入力領域を含む電子装置を較正するのが有益である。
図8Aは、音声分析部及び/又は音声センサの工場較正を実行する方法800の一つの実施の形態のフロー図を示す。方法は、ハードウェア(例えば、回路、専用ロジック、プログラマブルロジック、マイクロコードなど)、ソフトウェア(例えば、処理装置上で実行される命令)、ファームウェア、又はそれらの組み合わせを含む処理ロジックにより実行されてもよい。一つの実施の形態において、方法800は、図2Aの電子装置205により実行される。方法800は、装置が顧客に輸送される前に、装置の製造者により実行されてもよい。
図8Aを参照して、方法800のブロック805において、タッチ入力領域の複数の位置座標において、タップが実行される。それぞれのタップは、同じタッチ強度を有することが好ましい。一つの実施の形態において、タップは機械により実行される。これにより、それぞれのタップにおいて同じタップ強度が用いられ、タッチ入力領域の特定の領域がタップされることを保証することができる。ブロック810において、それぞれのタップについて音声信号が測定される。同じ強度を有するタップが用いられているので、音声信号は、それぞれの位置が音声入力信号にどのような影響を与えるかを識別するために利用することができる。例えば、音声信号は、タッチ入力領域にわたる減衰パターンを識別するために利用されてもよい。
ブロック815において、それぞれの位置座標について、正規化値又は係数が決定される。一つの実施の形態において、位置座標は、減衰ゾーンに分割される。特定の位置座標においてタップにより生成された音声信号は、関連付けられた減衰ゾーンに基づいて正規化することができる。または、それぞれの位置座標は、独立した正規化値を割り当てられる。それぞれの正規化値は、関連付けられた位置座標から生じた音声信号が、減衰を補正するためにどのように変更されるべきかを特定する。正規化値は、位置に応じて、音声入力信号を減衰又は増幅のいずれかをさせるために用いられてもよい。
図8Bは、減衰ゾーン825〜829を含む、図3Aに示したタッチ入力領域822の例を示す。同じ衝撃強度を有するユーザのタップは、ユーザのタップがタッチ入力領域822のどこで行われたかに依存して、異なる音声信号を生成しうる。例えば、座標B4における高い衝撃のユーザのタップは、座標E10における同じ高さの衝撃のユーザのタップとは異なる音声入力信号を生じうる。したがって、一つの実施の形態において、タッチ入力領域822は、異なる減衰ゾーン825〜829に分割される。音声入力信号は、ユーザのタッチ824が検出された減衰ゾーンに基づいて、増幅され、減衰され、又は他の方法で変更されてもよい。例えば、減衰ゾーン825においてユーザのタップにより生成された音声信号は、変更されずに維持されてもよく、減衰ゾーン826においてユーザのタップにより生成された音声信号は、わずかに増幅されてもよい。一つの実施の形態において、マイクロフォン850から遠い減衰ゾーンほど、音声信号が強く増幅される。例えば、座標4Iにおいて検出されたタッチ824に関連付けられた音声信号は、中程度に増幅されてもよい。
ユーザがタッチ入力領域とどのように相互作用するかは、ユーザによって異なりうる。例えば、あるユーザの弱いタップは、別のユーザの強いタップに対応するかもしれない。したがって、個々のユーザについて、タッチ入力領域を較正することが有益である。このユーザ較正は、図8Aを参照して説明した工場較正に加えて実行されてもよい。
図9は、音声分析部及び/又は音声センサをユーザのために較正する(ユーザ較正を実行する)方法900の一つの実施の形態のフロー図を示す。方法は、ハードウェア(例えば、回路、専用ロジック、プログラマブルロジック、マイクロコードなど)、ソフトウェア(例えば、処理装置上で実行される命令)、ファームウェア、又はそれらの組み合わせを含む処理ロジックにより実行されてもよい。一つの実施の形態において、方法900は、図2Aの電子装置205により実行される。
図9を参照して、方法900のブロック905において、ユーザは、タッチ入力領域において弱いタップを実行するように要求される。ユーザは、所定の回数の弱いタップ(例えば、少なくとも5回の弱いタップ)を実行するように要求されてもよい。ユーザが実行する弱いタップの回数が多いほど、弱いタップのデータの統計上の重要性が高まりうる。一つの実施の形態において、ユーザは、タッチ入力領域の任意の部分をタップするよう要求される。別の実施の形態において、ユーザは、タッチ入力領域の1以上の特定の位置をタップするよう要求される。ブロック910において、弱いタップについて音声信号が測定される。
ブロック915において、ユーザは、タッチ入力領域において強いタップを実行するように要求される。ブロック920において、強いタップについて音声信号が測定される。
ブロック925において、弱いタップ及び強いタップは、測定された音声信号に基づいて較正される。一つの実施の形態において、ブロック930に示されるように、ユーザの弱いタップと強いタップとを区別するために用いられるしきい値が較正中に設定される。しきい値は、音声信号のしきい値、又は、タッチの最初と完全なタッチの間の時間のしきい値であってもよい。このように、ユーザがしきい値を下回る音声信号を生成するためにタッチ入力領域をタップすると、弱いタップが認識されてもよく、ユーザがしきい値を上回る音声信号を生成するためにタッチ入力領域をタップすると、強いタップが認識されてもよい。
方法900は、中間の衝撃強度など、他の衝撃強度を較正するためにも用いることができる。このような実施の形態において、ユーザは、中間の衝撃強度のタップを実行するよう要求されてもよい。処理ロジックは、低い衝撃強度と中間の衝撃強度を分離するしきい値と、中間の衝撃強度と高い衝撃強度を分離する別のしきい値の、2つのしきい値を決定してもよい。
図10は、音声分析部及び/又は音声センサをユーザのために較正する(ユーザ較正を実行する)方法1000の別の実施の形態のフロー図を示す。方法は、ハードウェア(例えば、回路、専用ロジック、プログラマブルロジック、マイクロコードなど)、ソフトウェア(例えば、処理装置上で実行される命令)、ファームウェア、又はそれらの組み合わせを含む処理ロジックにより実行されてもよい。一つの実施の形態において、方法1000は、図2Aの電子装置205により実行される。
図10を参照して、方法1000のブロック1005において、ユーザは、タッチ入力領域においてタップを実行するように要求される。ユーザは、様々な強度のタップ、例えば、弱いタップ、中間のタップ、及び強いタップを実行するよう要求されてもよい。ブロック1010において、タップについて音声信号が測定される。
ブロック1015において、ユーザは、タッチ入力領域においてタップではないジェスチャーを実行するように要求される。タップではないジェスチャーは、指をタッチ入力領域においてスライドさせること、タッチ入力領域を軽くタッチすること、タッチ入力領域の周囲に触れること、タッチ入力領域を指で静かに突いて戻すことなどを含んでもよい。ブロック1020において、処理ロジックは、タップではないジェスチャーについて生成された音声信号を測定する。
ブロック1025において、処理ロジックは、測定された音声信号に基づいて、タップ及びタップではないジェスチャーを較正する。一つの実施の形態において、ブロック1030に示されるように、これは、タップとタップではないジェスチャーとを区別するために用いられるしきい値を設定することを含む。いったんしきい値が設定されると、ユーザのタッチが検出されたときに、タッチに関連付けられた音声信号がしきい値を下回った場合は、それはタップとは認識されない。これにより、ユーザがタッチ入力領域をタップするつもりではないときに、誤ってタップが識別されることを防ぐことができる。例えば、較正後は、偶発的な指のピックアップ及びリプレイスは、タッチ入力領域における意図的なタップと区別されうる。
図11は、カメラ/プロジェクタのタッチ入力領域とともに使用する音声分析部及び/又は音声センサを較正する方法1100の一つの実施の形態のフロー図を示す。方法は、ハードウェア(例えば、回路、専用ロジック、プログラマブルロジック、マイクロコードなど)、ソフトウェア(例えば、処理装置上で実行される命令)、ファームウェア、又はそれらの組み合わせを含む処理ロジックにより実行されてもよい。一つの実施の形態において、方法1100は、図2Aの電子装置205により実行される。
図11を参照して、方法1100のブロック1102において、ユーザは、タッチ入力領域の近傍に音声センサ(例えば、マイクロフォン)を配置するように要求される。ブロック1105において、ユーザは、タッチ入力領域において1以上のタップを実行するよう要求される。ユーザは、タッチ入力領域の特定の単数又は複数の位置においてタップを実行するよう要求されてもよい。ユーザは、様々な強度のタップ、例えば、弱いタップ、中程度のタップ、及び強いタップを実行するよう要求されてもよい。ブロック1110において、タップについて音声信号が測定される。
ブロック1115において、処理ロジックは、タッチ入力領域の異なる位置におけるユーザのタップについて用いられる正規化値を調整する。一つの実施の形態において、ブロック1120において、処理ロジックは、正規化ルックアップテーブルにおいて減衰ゾーンに関連付けられた及び/又は個々の位置座標に関連付けられた正規化値を調整する。一つの実施の形態において、ブロック1130において、処理ロジックは、測定された音声信号及びタップの位置に基づいて、正規化モデルを調整する。いったん正規化値が調整されると、タッチがタッチ入力領域のどこで行われたかにかかわらず、同じ衝撃強度が所与のユーザのタッチと決定される。
図12は、本明細書で説明した任意の1以上の方法をマシンに実行させるための命令のセットを実行可能なコンピュータシステム1200の例示的な形式でマシンの概略的表現を示す。別の実施の形態において、マシンは、LAN(Local Area Network)、イントラネット、エクストラネット、又はインターネットに接続(例えば、ネットワーク接続)されてもよい。マシンは、クライアント−サーバネットワーク環境におけるサーバ又はクライアントマシンとして、又はピアツーピア(又は分散)ネットワーク環境におけるピアマシンとして動作してもよい。マシンは、パーソナルコンピュータ(PC)、タブレットPC、セットトップボックス(STB)、携帯型ゲームコンソール、PDA(Personal Digital Assistant)、携帯電話、ウェブアプライアンス、サーバ、ネットワークルータ、スイッチ又はブリッジ、又はそのマシンでとるべきアクションを特定する命令のセットを(連続して又はその他の方法で)実行可能な任意のマシンであってもよい。さらに、単一のマシンのみが図示されているが、「マシン」の語は、本明細書で説明した方法の任意の1以上を実行するための命令のセット(又は複数のセット)を個別に又は共同して実行するマシン(例えば、コンピュータ)の任意の集合を含むように解されてもよい。
例示したコンピュータシステム1200は、プロセッサ1202、メインメモリ1204(例えば、読み取り専用メモリ(ROM)、フラッシュメモリ、SDRAM(synchronous DRAM)又はRDRAM(Rambus DRAM)などのDRAM(dynamic random access memory)など)、静的メモリ1206(例えば、フラッシュメモリ、SRAM(static random access memory)など)、及びセカンダリメモリ1218(例えば、データ記録装置)を含み、それらはバス1230を介して互いに通信する。
プロセッサ1202は、1以上の汎用処理装置、例えば、マイクロプロセッサ、中央演算ユニットなどを表す。とくに、プロセッサ1202は、CISC(complex instruction set computing)マイクロプロセッサ、RISC(reduced instruction set computing)マイクロプロセッサ、超長命令語(VLIW:very long instruction word)マイクロプロセッサ、他の命令セットを実装したプロセッサ、又は複数の命令セットの組み合わせを実装したプロセッサであってもよい。プロセッサ1202は、1以上の専用処理装置、例えば、ASIC(application specific integrated circuit)、FPGA(field programmable gate array)、ディジタル信号プロセッサ(DSP)、ネットワークプロセッサなどであってもよい。プロセッサ1202は、本明細書で説明した動作及びステップを実行するための処理ロジック1226を実行するように構成される。
コンピュータシステム1200は、インタフェース装置1208を更に含んでもよい。インタフェース装置1208は、無線インタフェース装置又は有線インタフェース装置であってもよい。コンピュータシステム1200は、更に、ビデオディスプレーユニット1210(例えば、液晶ディスプレー(LCD)又は陰極線管(CRT))、タッチ入力装置1212(例えば、タッチパッド、タッチスクリーン、投影キーボードなど)、音声入力装置1214(例えば、マイクロフォン)、及び信号生成装置1216(例えば、スピーカ)を含んでもよい。
セカンダリメモリ1218は、本明細書で説明した任意の1以上の方法論又は機能を具現化する1以上の命令のセット(例えば、ソフトウェア1222)が格納されたマシン読み取り可能な記録媒体1231(又は、とくにコンピュータ読み取り可能な記録媒体)を含んでもよい。ソフトウェア1222は、完全に又は少なくとも部分的に、コンピュータシステム1200により実行されている間、メインメモリ1204及び/又は処理装置1202の内部に存在してもよい。メインメモリ1204及びプロセッサ1202も、マシン読み取り可能な記録媒体を構成する。
マシン読み取り可能な記録媒体1231は、位置識別部210、音声分析部215、及び/又は制御部220(図2Aを参照して説明された)、及び/又は、位置識別部210、音声分析部215、及び/又は制御部を呼び出す方法を含むソフトウェアライブラリを格納するために用いられてもよい。マシン読み取り可能な記録媒体1231は、例示的な実施の形態において、単一の媒体であるように示されるが、「マシン読み取り可能な記録媒体」の語は、1以上の命令のセットを格納する単一の媒体又は複数の媒体(例えば、集中型又は分散型データベース、及び/又は関連付けられたキャッシュ及びサーバ)を含むように解されるべきである。「マシン読み取り可能な記録媒体」の語は、更に、マシンにより実行され、本発明の任意の1以上の方法をマシンに実行させる命令のセットを格納又はエンコード可能な任意の媒体を含むように解されるべきである。「マシン読み取り可能な記録媒体」の語は、このように、ソリッドステートメモリ、及び光学的及び磁気的媒体を含むように解釈されるべきであるが、これらに限定されない。
ソフトウェアにより実装されるとき、位置識別部210、音声分析部215、及び/又は制御部220(図2Aを参照して説明された)は、コンピュータ読み取り可能な記録媒体、例えば、フロッピー(登録商標)ディスク、光学ディスク(例えば、CD−ROM、DVD、ブルーレイ(登録商標)ディスクなど)、及び磁気光学ディスクを含む任意の種類のディスク、ROM、RAM、EPROM、EEPROM、磁気的又は光学的カード、又は電子的命令を格納するために適当な任意の種類の媒体に格納されてもよいが、これらに限定されない。
上述の説明は、例示を意図しており、制限を意図していないことが理解されるべきである。上述の説明を読み、理解した当業者には、多数の別の実施の形態が明らかとなろう。本発明が、いくつかの特定の実施の形態に関して説明されたが、本発明は説明された実施の形態に限られず、添付された特許請求の範囲の精神及び範囲内で変更及び代替が可能であることは、当業者に認識されるところである。したがって、詳細な説明及び図面は、限定ではなく例示であるとみなされるべきである。本発明の範囲は、特許請求の範囲に与えられる全ての範囲の均等物とともに、特許請求の範囲を参照して決定されるべきである。

Claims (15)

  1. コンピュータにより実行される、ユーザの入力に基づいてタッチに応答する方法であって、
    ユーザがタッチ入力領域にタッチしたときに、前記タッチ入力領域の位置座標を決定し、前記タッチ入力領域の位置座標が第1の接触しきい値を満足したときから、前記タッチ入力領域の位置座標が第2の接触しきい値を満足したときまでの経過時間に基づいて、ユーザのタッチの第1の衝撃強度を決定するステップと、
    前記ユーザが前記タッチ入力領域にタッチしたときに、マイクロフォンから音声信号を取得するステップと、
    前記音声信号に基づいて、ユーザの前記タッチの第2の衝撃強度を決定するステップと、
    前記第1の衝撃強度及び前記第2の衝撃強度からユーザの前記タッチの衝撃強度を決定し、決定された衝撃強度が第1のしきい値を超えた場合、決定された衝撃強度に関連付けられた第1のコマンドを生成し、決定された衝撃強度が第2のしきい値を超えた場合、決定された衝撃強度に関連付けられた、前記第1のコマンドとは異なる第2のコマンドを生成するステップと、を備え、
    ホスト計算装置は、生成された前記第1のコマンドに基づいて第1のアクションを実行し、生成された前記第2のコマンドに基づいて第2のアクションを実行する
    ことを特徴とする方法。
  2. 低い衝撃強度は、前記タッチ入力領域の周囲のハンドリングに関連付けられ、高い衝撃強度は、意図的なユーザのタップに関連付けられることを特徴とする請求項1に記載の方法。
  3. 前記位置座標に基づいて、前記音声信号を正規化するステップを更に備えることを特徴とする請求項1又は2に記載の方法。
  4. 前記タッチ入力領域のそれぞれ異なる位置座標において、ほぼ等しい衝撃強度を有する複数のタップを実行することにより、前記マイクロフォンを較正するステップと、
    前記複数のタップのそれぞれについて前記音声信号を測定するステップと、
    前記複数のタップについて測定された音声信号を、それぞれがほぼ同一の読み取り値を有するように正規化するステップと、
    を更に備えることを特徴とする請求項1から3のいずれかに記載の方法
  5. 前記タッチ入力領域において1以上の弱いタップを実行するようユーザに要求するステップと、
    前記1以上の弱いタップについて音声信号を測定するステップと、
    前記タッチ入力領域において1以上の強いタップを実行するよう前記ユーザに要求するステップと、
    前記1以上の強いタップについて音声信号を測定するステップと、
    前記強いタップについて測定された音声信号と、前記弱いタップについて測定された音声信号とに基づいて、前記強いタップと前記弱いタップとを区別するための前記第1及び第2のしきい値を設定するステップと、
    を更に備えることを特徴とする請求項1から4のいずれかに記載の方法。
  6. 前記タッチ入力領域において1以上のタップではないジェスチャーを実行するよう前記ユーザに要求するステップと、
    前記1以上のタップではないジェスチャーの実行中に取得される前記音声信号を測定するステップと、
    意図的なユーザのタップとタップではないジェスチャーとを区別するための前記第1のしきい値を設定するステップと、
    を更に備えることを特徴とする請求項1から5のいずれかに記載の方法。
  7. ユーザによりタッチされるタッチ入力領域の、位置センサにより検知される位置に対応する位置座標を識別し、前記タッチ入力領域の位置座標が第1の接触しきい値を満足したときから、前記タッチ入力領域の位置座標が第2の接触しきい値を満足したときまでの経過時間に基づいて、ユーザのタッチの第1の衝撃強度を決定する位置識別部と、
    前記ユーザにより前記タッチ入力領域がタッチされたときに、音声センサにより生成される音声信号を取得し、前記音声信号に基づいて前記ユーザの前記タッチの第2の衝撃強度を決定する音声分析部と、
    前記位置識別部から前記位置座標及び前記第1の衝撃強度を取得し、前記音声分析部から前記第2の衝撃強度を取得し、前記第1の衝撃強度及び前記第2の衝撃強度からユーザの前記タッチの衝撃強度を決定し、決定された衝撃強度が第1のしきい値を超えた場合、決定された衝撃強度に関連付けられた第1のコマンドを生成し、決定された衝撃強度が第2のしきい値を超えた場合、決定された衝撃強度に関連付けられた、前記第1のコマンドとは異なる第2のコマンドを生成する制御部と、を備え、
    ホスト計算装置は、生成された前記第1のコマンドに基づいて第1のアクションを実行し、生成された前記第2のコマンドに基づいて第2のアクションを実行する
    ことを特徴とする電子装置。
  8. 前記タッチ入力領域を含む少なくとも一つのタッチパッド又はタッチスクリーンを更に備え、
    前記少なくとも一つのタッチパッド又はタッチスクリーンは、前記ユーザが前記タッチ入力領域にタッチしたときに、前記位置識別部に位置信号を送ることを特徴とする請求項7に記載の電子装置。
  9. 前記タッチ入力領域の内部の映像追跡を実行するように構成されたカメラを更に備え、
    前記カメラは、前記ユーザが前記タッチ入力領域にタッチしたときに、前記位置識別部に位置信号を送ることを特徴とする請求項7に記載の電子装置。
  10. 前記音声センサを更に備え、
    前記音声センサは、前記ホスト計算装置及び前記電子装置の無線インタフェースのうち少なくとも一つに無線接続されることを特徴とする請求項7から9のいずれかに記載の電子装置。
  11. 低い衝撃強度は、前記タッチ入力領域の周囲のハンドリングに関連付けられ、高い衝撃強度は、意図的なユーザのタップに関連付けられることを特徴とする請求項7から10のいずれかに記載の電子装置。
  12. 前記タッチ入力領域において1以上の弱いタップを実行することをユーザに要求する第1の要求と、前記タッチ入力領域において1以上の強いタップを実行することを前記ユーザに要求する第2の要求とを表示するためのディスプレーを更に備え、
    前記音声分析部は、前記1以上の弱いタップ及び前記1以上の強いタップについての音声信号を取得し、取得した前記強いタップについての音声信号と、取得した前記弱いタップについての音声信号とに基づいて、前記強いタップと前記弱いタップとを区別するための前記第1及び第2のしきい値を設定することを特徴とする請求項7から11のいずれかに記載の電子装置。
  13. 前記音声分析部は、前記タッチ入力領域におけるタップではないジェスチャーにより生じたことが分かっている第1の音声信号を取得し、前記タッチ入力領域における意図的なユーザのタップにより生じたことが分かっている第2の音声信号を取得し、意図的なユーザのタップとタップではないジェスチャーとを区別するための前記第1のしきい値を設定することを特徴とする請求項7から12のいずれかに記載の電子装置。
  14. 前記音声分析部は、正規化値とそれぞれの位置座標の集合とを関連付けたルックアップテーブルを保持し、
    前記音声分析部は、前記位置識別部から前記位置座標を取得し、取得した位置座標に関連付けられた前記正規化値に基づいて、取得した音声信号を変更することを特徴とする請求項7から13のいずれかに記載の電子装置。
  15. 前記音声分析部は、前記位置座標を入力として用い、増幅値を出力として生成する正規化モデルを含み、
    前記音声分析部は、前記位置識別部から前記位置座標を取得し、前記モデルを用いて前記増幅値を決定し、前記増幅値に基づいて取得した音声信号を変更することを特徴とする請求項7から13のいずれかに記載の電子装置。
JP2012534185A 2009-10-14 2010-06-04 タッチの衝撃強度を決定するためのマイクロフォンを有するタッチインタフェース Active JP5547294B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/579,362 US8411050B2 (en) 2009-10-14 2009-10-14 Touch interface having microphone to determine touch impact strength
US12/579,362 2009-10-14
PCT/US2010/037420 WO2011046638A1 (en) 2009-10-14 2010-06-04 Touch interface having microphone to determine touch impact strength

Publications (2)

Publication Number Publication Date
JP2013508808A JP2013508808A (ja) 2013-03-07
JP5547294B2 true JP5547294B2 (ja) 2014-07-09

Family

ID=43854458

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012534185A Active JP5547294B2 (ja) 2009-10-14 2010-06-04 タッチの衝撃強度を決定するためのマイクロフォンを有するタッチインタフェース

Country Status (4)

Country Link
US (1) US8411050B2 (ja)
EP (1) EP2488932B1 (ja)
JP (1) JP5547294B2 (ja)
WO (1) WO2011046638A1 (ja)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8930846B2 (en) 2010-10-01 2015-01-06 Z124 Repositioning applications in a stack
US9213365B2 (en) 2010-10-01 2015-12-15 Z124 Method and system for viewing stacked screen displays using gestures
JP5010714B2 (ja) 2010-05-21 2012-08-29 株式会社東芝 電子機器、入力制御プログラム、及び入力制御方法
US9946459B2 (en) * 2010-05-28 2018-04-17 Lenovo (Singapore) Pte. Ltd. Systems and methods for determining intentional touch screen contact
CN102279693A (zh) * 2010-06-11 2011-12-14 深圳富泰宏精密工业有限公司 触控式键盘
US8959013B2 (en) * 2010-09-27 2015-02-17 Apple Inc. Virtual keyboard for a non-tactile three dimensional user interface
US8319746B1 (en) 2011-07-22 2012-11-27 Google Inc. Systems and methods for removing electrical noise from a touchpad signal
US8878794B2 (en) 2011-09-27 2014-11-04 Z124 State of screen info: easel
JP5204286B2 (ja) * 2011-11-02 2013-06-05 株式会社東芝 電子機器および入力方法
WO2013165346A1 (en) * 2012-04-30 2013-11-07 Hewlett-Packard Development Company Notification based on an event identified from vibration data
GB2518050A (en) * 2012-04-30 2015-03-11 Hewlett Packard Development Co Control Signal Based On a Command Tapped By A User
US20130346085A1 (en) * 2012-06-23 2013-12-26 Zoltan Stekkelpak Mouth click sound based computer-human interaction method, system and apparatus
US10437392B2 (en) * 2012-07-05 2019-10-08 Samsung Electronics Co., Ltd. Apparatus and method for detecting hard and soft touch by using acoustic sensors
US20140055633A1 (en) 2012-08-27 2014-02-27 Richard E. MARLIN Device and method for photo and video capture
US9063563B1 (en) 2012-09-25 2015-06-23 Amazon Technologies, Inc. Gesture actions for interface elements
US9717459B2 (en) 2013-03-04 2017-08-01 Anne Bibiana Sereno Touch sensitive system and method for cognitive and behavioral testing and evaluation
CN104049933B (zh) * 2013-03-11 2019-07-26 联想(北京)有限公司 一种信息处理的方法及电子设备
US9282244B2 (en) 2013-03-14 2016-03-08 Microsoft Technology Licensing, Llc Camera non-touch switch
US9066007B2 (en) 2013-04-26 2015-06-23 Skype Camera tap switch
KR101500130B1 (ko) * 2013-09-02 2015-03-06 현대자동차주식회사 스티어링 휠에 설치된 차량용 제어장치
KR20150046997A (ko) * 2013-10-23 2015-05-04 현대자동차주식회사 사용자 단말의 터치 인식 장치 및 방법
KR20150061336A (ko) * 2013-11-27 2015-06-04 엘지전자 주식회사 이동단말기 및 그 제어방법
EP2887233A1 (en) * 2013-12-20 2015-06-24 Thomson Licensing Method and system of audio retrieval and source separation
US10452099B2 (en) 2014-03-26 2019-10-22 Intel Corporation Handling-noise based gesture control for electronic devices
US20160048372A1 (en) * 2014-08-14 2016-02-18 Nokia Corporation User Interaction With an Apparatus Using a Location Sensor and Microphone Signal(s)
KR101625304B1 (ko) * 2014-11-18 2016-05-27 경희대학교 산학협력단 음향 정보에 기초한 사용자 다수 행위 인식 방법
KR101749933B1 (ko) * 2015-11-12 2017-06-22 엘지전자 주식회사 이동 단말기 및 그 제어방법
KR102434104B1 (ko) * 2016-05-03 2022-08-19 엘지전자 주식회사 전자 장치 및 그 제어 방법
US11320391B2 (en) * 2018-02-24 2022-05-03 Bora Fadil Aykin System and method for auto-ranging/auto-calibrating universal ion-selective probe mobile technology interface
TWI689864B (zh) * 2018-04-26 2020-04-01 宏達國際電子股份有限公司 手持裝置、其顯示模式的控制方法與電腦可讀取記錄媒體
JP2019207451A (ja) * 2018-05-28 2019-12-05 マクセル株式会社 映像表示装置、映像表示方法
JP7139743B2 (ja) 2018-07-17 2022-09-21 コニカミノルタ株式会社 画像形成装置、指示受付方法およびコンピュータプログラム
KR102656636B1 (ko) * 2018-11-30 2024-04-12 주식회사 씨케이머티리얼즈랩 패턴 데이터 생성 장치 및 방법, 패턴 데이터 재생 장치 및 방법
KR20210001335A (ko) * 2019-06-27 2021-01-06 현대자동차주식회사 차량용 스피커를 이용한 충격 감지 장치 및 방법

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5764218A (en) * 1995-01-31 1998-06-09 Apple Computer, Inc. Method and apparatus for contacting a touch-sensitive cursor-controlling input device to generate button values
US7663607B2 (en) * 2004-05-06 2010-02-16 Apple Inc. Multipoint touchscreen
US20020018051A1 (en) * 1998-09-15 2002-02-14 Mona Singh Apparatus and method for moving objects on a touchscreen display
US20030132950A1 (en) * 2001-11-27 2003-07-17 Fahri Surucu Detecting, classifying, and interpreting input events based on stimuli in multiple sensory domains
JP2001306254A (ja) * 2000-02-17 2001-11-02 Seiko Epson Corp 打音検出による入力機能
JP4055388B2 (ja) * 2001-10-12 2008-03-05 ソニー株式会社 情報処理装置、情報処理システム、及びプログラム
US7046230B2 (en) * 2001-10-22 2006-05-16 Apple Computer, Inc. Touch pad handheld device
WO2003065192A1 (en) * 2002-01-31 2003-08-07 Nokia Corporation Method, system and device for distinguishing pointing means
US7333092B2 (en) * 2002-02-25 2008-02-19 Apple Computer, Inc. Touch pad for handheld device
GB0312465D0 (en) * 2003-05-30 2003-07-09 Therefore Ltd A data input method for a computing device
JP2006085687A (ja) * 2004-08-19 2006-03-30 Toshiba Corp 入力装置、コンピュータ装置、情報処理方法及び情報処理プログラム
US7619616B2 (en) * 2004-12-21 2009-11-17 Microsoft Corporation Pressure sensitive controls
CN101133385B (zh) * 2005-03-04 2014-05-07 苹果公司 手持电子设备、手持设备及其操作方法
US20070137462A1 (en) * 2005-12-16 2007-06-21 Motorola, Inc. Wireless communications device with audio-visual effect generator
US8564544B2 (en) * 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
US20090122024A1 (en) * 2007-10-30 2009-05-14 Takashi Nakamura Display Device Provided With Optical Input Function
JP5411425B2 (ja) * 2007-12-25 2014-02-12 任天堂株式会社 ゲームプログラム、ゲーム装置、ゲームシステム、およびゲーム処理方法
US20090237373A1 (en) * 2008-03-19 2009-09-24 Sony Ericsson Mobile Communications Ab Two way touch-sensitive display
KR101032632B1 (ko) * 2008-04-01 2011-05-06 한국표준과학연구원 작용힘에 따른 사용자 인터페이스의 제공방법 및 기록매체

Also Published As

Publication number Publication date
EP2488932A4 (en) 2014-08-27
EP2488932A1 (en) 2012-08-22
EP2488932B1 (en) 2015-11-25
WO2011046638A1 (en) 2011-04-21
US20110084914A1 (en) 2011-04-14
US8411050B2 (en) 2013-04-02
JP2013508808A (ja) 2013-03-07

Similar Documents

Publication Publication Date Title
JP5547294B2 (ja) タッチの衝撃強度を決定するためのマイクロフォンを有するタッチインタフェース
US11829555B2 (en) Controlling audio volume using touch input force
US10877581B2 (en) Detecting touch input force
US9785281B2 (en) Acoustic touch sensitive testing
US20030063073A1 (en) Touch panel system and method for distinguishing multiple touch inputs
US11907464B2 (en) Identifying a contact type
TWI480790B (zh) 觸控裝置及其驅動方法
TWI605364B (zh) 觸控裝置及其觸控模式切換方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130704

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130716

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130917

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20131126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140226

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20140305

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140514

R150 Certificate of patent or registration of utility model

Ref document number: 5547294

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250