JP5118749B2 - タッチセンス式装置上の指の向きを検出 - Google Patents

Description

タッチセンス式装置は、光学的、抵抗性、および容量性機構を含むがこれに限定されない、いくつかの異なる機構を介して接触を検出することができる。タッチセンス式入力を利用する多くの装置において、例えば、装置上にテキストまたは画像を表示する向きを決定するため、マルチユーザー装置のユーザーを識別するため、および／またはユーザーが指を画像の上で回転させることによりタッチセンス式表示器上の画像の回転を制御することを可能にするために、指の向きを決定することは有用でありうる。

タッチセンス式装置上の指の向きを決定するために、種々の方法が使用されうる。例えば、１つのアプローチは、理論的な指に合致するものを探すために、指先から離れた位置を示す指の本体の画像を、テンプレートアルゴリズムを利用して照合する試みを伴う。 しかし、そのようなアプローチは実施が困難である可能性があり、テンプレートマッチングにエラーが発生すると、不正確な結果、ならびに決定された向きの突然の変化につながるおそれがある。

したがって、タッチセンス式装置に接触している指の向きを決定することが、以下の詳細な説明の中で説明される。開示される一実施形態において、コンピューティング装置は、ユーザーに画像を表示するように構成された表示スクリーンと、表示スクリーンに接触している１つまたは複数の物体を検出するように構成された強度感知型タッチセンシング入力機構とを含む。その装置はまた、接触データの第１の組の中心と接触データの第２の組の中心との間の方向からスクリーンに接触している指の向きを決定し、決定された指の向きに応答して表示スクリーン上の画像を調節するように構成された制御器を含む。

この要約は、以下の詳細な説明の中でより詳しく説明される選ばれた概念を、簡潔な形で紹介するために提供される。この要約は、特許請求の範囲の主題の主要な特性または本質的な特性を特定することは意図されておらず、また特許請求の範囲の主題の範囲を限定するために使用されることも意図されていない。さらに、特許請求の範囲の主題は、本開示の任意の部分において言及した、いずれかまたはすべての不利益を解決する実施に限定されるものではない。

タッチセンス式対話型表示装置の一実施形態を示す図である。 図１の実施形態の概略図である。 タッチセンス式装置上の指の向きを決定する方法の一実施形態を表すプロセスの流れ図である。 しきい値強度の水準で除された強度水準の領域を表示する、強度データの配列の一実施形態を示す図である。 図３の実施形態により決定された各指の向きを示す図である。 決定された指の向きに応答して画像に対してなされる調節を概略的に示す図である。 抵抗性タッチセンス式装置の一実施形態を概略的に示す図である。 容量性タッチセンス式表示器の一実施形態を概略的に示す図である。

タッチセンス式装置における指の向きの決定の説明に先だって、適当な使用環境の例が、簡単に説明される。図１は、マルチユーザータッチセンス式表示装置１００の一実施形態を示す。タッチセンス式表示装置１００は、テーブルの様な構成を有し、以下の図２を参照してより詳細に説明されるタッチセンス式入力を有する、水平に置かれた表示表面１０２を備える。タッチセンス式表示装置１００は、装置を用いて対話する一人または複数の人々１０４の接触を検出するように構成されうる。表示装置１００は、写真データ、ビデオデータ、図表データ、文書、スプレッドシート、プレゼンテーション、などを含むがこれらに限定されない、任意の適当な種類の内容物１０６またはデータを表示するために使用されうる。

図１の実施形態は、水平に置かれたタッチセンス式表示器の表面を有するマルチユーザーのコンピューティング装置を備えるが、以下で論じられる実施形態および本明細書の中で全体的に開示される概念は、接触データの２次元配列に対する強度水準を決定することができる任意の適当な、タッチ可能な表示装置上で実施されうることが理解されよう。そのような装置の例は、ラップトップおよびデスクトップコンピュータ、手持型機器、携帯電話、携帯型メディアプレーヤー、携帯端末、カメラ、ビデオカメラ、ならびに光学的、容量性、抵抗性、または他の適当なタッチセンス式入力を有する、他のプログラム可能な民生用および商業用の電子機器および電気器具など、コンピューティング装置を含むが、これらに限定されない。本明細書で使用されるように、用語「コンピューティング装置」は、１つまたは複数のプログラムを電子的に実行する任意の装置を含むことができる。本明細書の中で説明される実施形態は、例えば、コンピュータが読み取り可能な記憶媒体上に記憶され、コンピューティング装置により実行されるプログラムなど、コンピュータが実行可能な命令またはコードを介してそのような装置上で実施されうる。一般に、プログラムは、特定のタスクを実施するか、または特定の抽象データ型を実施する、ルーチン、オブジェクト、コンポーネント、データ構造、などを含む。本明細書の中で使用される用語「プログラム」は、単一のプログラムまたは同時に作動する複数のプログラムを言外に含むことができ、用途、サービス、あるいは、任意の他の種類または部類のプログラムを表示するために使用されうる。

図２は、タッチセンス式表示装置１００の概略的描写を示す。タッチセンス式表示装置１００は、画像源２０２、ならびに光路長および投影表示の画像寸法を増加させるための、任意選択で１つまたは複数の鏡２０４を有する投影表示システムと、画像が投影される表示スクリーン２０６とを含む。

画像源２０２は、図示のランプ、ＬＥＤアレイ、または他の適当な光源など、光源（optical or light source）２０８を含む。画像源２０２はまた、図示のＬＣＤ（液晶表示器）、ＬＣＯＳ（シリコン上液晶）表示器、ＤＬＰ（ディジタル光処理）表示器、または任意の他の適当な画像処理要素など、画像生成要素２１０を含む。表示スクリーン２０６は、ガラス板などの澄んだ、透明な部分２１２と、澄んだ、透明な部分２１２の上面に配置された拡散スクリーン層２１４とを含む。いくつかの実施形態において、追加の透明層（図示せず）が、表示表面に対する滑らかな外観および手触りを提供するために、拡散スクリーン層２１４の上に配置されてよい。他の実施形態において、拡散スクリーン層２１４は、省略されてよい。

図２について継続すると、装置１００は、メモリー２１８およびマイクロプロセッサー２２０を備える電子制御器２１６をさらに含む。表示スクリーン２０６の上への接触を検出するために、装置１００は、表示スクリーン２０６の背面全体の像を取り込み、像の中に現れる指または物体を検出するために制御器２１６に画像を提供するように構成された画像キャプチャー装置２２４を含む。拡散スクリーン層２１４は、表示スクリーン２０６と接触していない、または数ミリメートル以内に位置する物体の画像取り込みを避けることを助け、それにより表示スクリーン２０６と接触している物体のみが、画像キャプチャー装置２２４により検出されることを確実にするのを助ける。装置１００は、１つの画像キャプチャー装置２２４だけを有するように示されているが、２つ以上の画像キャプチャー装置２２４が、表示スクリーン２０６の画像を取り込むために使用されてよいことが、理解されよう。

画像キャプチャー装置２２４は、任意の適当な画像センシング機構を含むことができる。適当な画像センシング機構の例は、ＣＣＤおよびＣＭＯＳ画像センサーを含むが、これらに限定されない。さらに、画像センシング機構は、表示スクリーン２０６全体にわたる物体の動きを検出するために、十分な頻度で、表示スクリーン２０６の画像を取り込むことができる。表示スクリーン２０６は、スクリーン２０６を制御器２１６と接続する点線で示すように、任意選択で容量性、抵抗性または他の適当なタッチセンシング機構を、代替として、またはさらに含むことができる。

画像キャプチャー装置２２４は、赤外または可視の波長を含むがこれらに限定されない、任意の適当な波長の、反射されたまたは放射されたエネルギーを検出するように構成されうる。表示スクリーン２０６上の接触を検出することを助けるために、画像キャプチャー装置２２４は、赤外光または可視光を発生する様に構成された、１つまたは複数の発光ダイオード（ＬＥＤ）２２６などの光源を、さらに含むことができる。ＬＥＤ２２６からの光は、表示スクリーン２０６に接触している指により反射され、それにより、画像キャプチャー装置２２４により検出されうる。可視ＬＥＤとは対照的に、赤外ＬＥＤの使用は、表示スクリーン２０６上に投影された画像の外観が不鮮明になるのを避けることを助けることができる。

ＬＥＤ２２６は、対話型表示装置２００の中の任意の適当な場所に配置されうる。図示の実施形態において、複数のＬＥＤ２２６が、表示スクリーン２０６の片側に沿って配置される。この場所において、ＬＥＤからの光は、内面反射を介して表示スクリーン２０６を通って伝わることができ、一方、いくらかの光は表示スクリーン２０６上の物体により反射されるために、表示スクリーン２０６から漏れ出す可能性がある。代替の実施形態において、１つまたは複数のＬＥＤが、放出された光を表示スクリーン２０６を通過させるように、表示スクリーン２０６の下に配置されうる。

複数のユーザーが同時に表示装置２００を使用する可能性があるので、ユーザーに対して表示装置２００上に提供される画像の適当な向きは、どのユーザーが画像を見るかまたは画像と対話しているかに依存する。それ故、表示装置２００は、表示器に接触している１つまたは複数の指の向きを検出し、決定された指の向きに基づいて、装置上に表示される画像を表示または調節するように構成されうる。

図３は、タッチセンス式装置上の指の向きを識別する方法３００を表すプロセスの流れを示す。方法３００は、光学的、容量性および抵抗性タッチセンス式装置を含むがこれらに限定されない、接触強度データの２次元配列を生成することができる任意の適当なタッチセンス式装置の上で、実施されうる。方法３００は、最初に、３０２で、接触データを取得するステップを含む。例えば、光学的タッチセンス式システムにおいて、接触データを取得するステップは、表示スクリーン上の各ピクセルにおける強度データを取得するために、画像キャプチャー装置または他の光検出器を使用するステップを含むことができる。光学的接触データを取得するステップはまた、各ピクセルにおける周囲の（外部）光に対して強度データを補正するステップを含むことができる。同様に、容量性または抵抗性タッチセンス式装置において、接触データを取得するステップは、接触強度の測定値に比例する電気的応答を検出するステップを含むことができる。

図４を先に簡単に参照すると、この図は、等しい強度値の線によりそれぞれ画定される「輪郭線」４０２ａから４０２ｄにより示される、強度水準の領域を表示する接触強度データの配列４００の一例を示し、輪郭線は、検出された接触の中心から離れて進むにつれて減少する強度の領域を画定する。図４において、３本の指および親指の接触からの強度データが見られる。スクリーンと接触する指の領域は、スクリーンに対して平坦に押され、それ故、全体的にむらのない明るさを有する。この領域から外に移動するにつれて、指先の端部および側部は、強度が急速に弱まり、指の残りの部分は、これらの方向における輪郭線の輪の間のより大きな間隔により示されるように、強度がよりゆっくりと弱まる。図４において、強度水準が接触領域から外に向かって減少するにつれて、各輪郭線領域の中心は、前の輪の中心より、指先からより離れるように移動する。

図３を再び参照すると、方法３００は、次に、接触データの第１の領域を決定するステップを含み、第１の領域の中の実質的にすべての接触データは、しきい値接触強度を超える強度を有する。本明細書の中で使用される用語「決定すること」は、全体を通して、領域の境界を画定することを意味し、「実質的にすべての」は本明細書において、第１の領域の外側の境界の内部にある個別のまたは小さな領域のピクセルが、様々な理由により、その強度より低い値を有するが、いくつかの実施形態においては、やはり第１の領域の一部とみなすことを意味するために使用される。一例として、人差し指に対する接触データの第１の領域を、図５の５０２に示す。

接触データの第１の領域が、任意の適当な方法で画定されうる。例えば、図３の３０６に示すように、強度データの第１の領域は、第１の領域を画定するしきい値強度の値を最初に決定することにより画定されうる。いくつかの実施形態において、しきい値強度の値が、画像毎に、あるいはｎ枚の画像毎の周期ベースで画定される。しきい値強度の値を周期ベースでまたは画像毎に決定することは、変化する周囲水準、ユーザーの接触強度、および／または他のそのような要因に適応することを容易にすることができる。その代わりに、３０８で示すように、固定された強度のしきい値は、他の実施形態において、接触データの第１の領域を決定するために使用されうる。

接触データの第１の領域を画定する強度のしきい値が、周期的にまたは画像毎に計算される場合、任意の適当な方法が、しきい値を決定するために使用されうる。例えば、一実施形態において、しきい値強度が、一画像または一画像の一部（例えば、検出された接触の周りの一部）の強度の加重平均として設定可能であり、各ピクセルに関連する重みは、画像のその部分における強度の変化の割合（勾配）である。強度の変化の割合は、例えば、下記の通り、一ピクセルにおける水平と垂直の割合の勾配を組み合わせるゾーベルフィルター（Sobel filter）を使用することにより決定されうる：

次いで、しきい値が、下記の通り、強度データｖ（ｘ，ｙ）およびゾーベル値ｓ（ｘ，ｙ）から決定されうる：

強度のしきい値を決定するためのこの方法は、例示を目的として説明されており、いかなる方法によっても限定されることを意図されていないことが理解されよう。

図３を継続すると、方法３００は、次いで、３１０で、接触データの第２の領域を決定するステップを含む。接触データの第２の領域は、接触強度が、接触データの第１の領域よりも低い、接触データの第１の領域を全体的に取り囲む領域に相当する。接触データの第１および第２の領域が、何らかの状況のもとで、それらのそれぞれの周囲の部分に対して共通の境界を共有することがあるとしても、接触データの第２の領域は全体として、接触データの第１の領域を取り囲む。

接触データの第２の領域は、接触データの第１の領域と同様に、任意の適当な方法で画定されうる。例えば、３１２で示すように、接触データの第２の領域は、第１の領域のしきい値より低いしきい値により画定されうる。これは、図５の５０４で概略的に示される。代わりに、３１４で示すように、接触データの第２の領域は事前に選択された値を有してよく、第１の領域を画定する第１の強度のしきい値からの一定のオフセットである強度のしきい値に相当してよく、第１の領域に対する一定割合のピクセルに相当してよく、および／または、第１の領域の周りの所定の形状および／または寸法の領域に相当してよい。例えば、第２の領域は、第１の領域の中心周りに描かれた、一定の寸法の矩形、楕円形、涙滴形、などの領域に相当することができる。矩形の第２の領域の一例を、図５の５０６に示す。全体として、第２の領域は、１本の指の周りの第２の領域の外側の境界が、他の近くの指からの強度データを包含することを避けるように画定される。第２のしきい値に関係なく第２の領域を画定することは、第２のしきい値の使用に比べて、ノイズの低減を意図することができる。

再び図３に戻ると、接触データの第１および第２の領域を画定するステップの後で、第１の領域の中心が３１６で計算され、第２の領域の中心が３１８で計算される。本明細書で使用される用語「中心」は、（平均のｘ値および平均のｙ値により「中心」が与えられるように）各方向に沿ったピクセルインデックスの平均を表すことができ、重みを付けられた強度の中心、または他の同様な値を表すことができる。

ｘ、ｙ値の平均が第１および第２の領域の中心を決定するために使用される一実施形態において、第１および第２の領域の中心は、下記の通り計算されうる：

他の実施形態において、第１および第２の領域の「中心」は、重みを付けられた強度の中心に相当し、下記の通り計算され、ここで用語ｘおよびｙはピクセルインデックスであり、ｖは、インデックス付きピクセルにおける強度に等しいか、比例するか、またはその強度の関数である、重み係数である。

上式において、第１の領域の中のピクセルは、しきい値を超える強度を有するように画定され、一方、第２の領域の中のピクセルは、しきい値以下の強度を有するように画定される。しかし、第１の領域が、しきい値強度以上のピクセルを含んでよく、また第２の領域が、しきい値より低いピクセルを有してよいことが理解されよう。それ故、本明細書で使用される用語「しきい値より上の」、「しきい値を超える」などは、「より大きい」または「より大きいかまたは等しい」のいずれかを意味することができる。

第１および第２の領域の中心を決定するステップの後で、中心間の方向が、３２０で、計算を介して決定されうる：
方向＝ユニット（中心（領域１）―中心（領域２））、ここで：

タッチセンス式装置上の指の方向を決定するステップの後で、装置上に表示される画像は、３２２で示すように、決定された方向に基づく方法で表示または調整されうる。そのような調整の例の図を図６に示しており、そこにおいて、第１のユーザーに向いている写真が接触され、図１の装置周りに第１のユーザーから９０度の位置に座っている第２のユーザーの方にドラッグされる。最初、６００で示すように、写真は第１のユーザーに向いている。接触され、第２のユーザーの方にドラッグされると同時に、６０２で示す、第２のユーザーの指の向きが検出され、写真は、６０２’で示すように、検出された方向に基づいて第２のユーザーに向かうように回転される。このことにより、第２のユーザーは、回転を生じさせるための接触の仕方を習う必要なく、単一動作で直感的に写真を動かし、見ることができる。

上述の通り、本明細書で開示される実施形態はまた、光学的タッチセンス式機構以外のタッチセンス式機構と共に使用されうる。最初に、図７は、抵抗性タッチセンス式表示器７００の簡単な概略図を示す。抵抗性タッチセンス式表示器７００は、１枚または複数枚のスペーサー（図示せず）により分離された配置で保持される２層７０２、７０４を含む。各層は、他方の層に面する導電性の被覆を含み、層のうちの少なくとも１層は、抵抗性の被覆を含む。電圧Ｖ１が層７０２に印加され、電圧Ｖ２が層７０４に印加される。接触されると、層７０２および７０４は共に圧縮され、それにより層７０２および７０４の間で回路が作られる。接触位置（ｘ，ｙ）および接触強度の測定値が、接触された層により生成される信号の特性を解析することにより、制御器７０６によって決定されうる。

次に、図８は、容量性タッチセンス式表示器８００の簡単な概略図を示す。容量性タッチセンス式表示器８００は、インジウムスズ酸化物などの透明な導体の行と列を含む、容量性の層８０２を含む。スクリーンが接触されると、物体が導電性である限り、いくらかの電荷が接触する物体に伝達される。蓄積される電荷の減少が、スクリーンの各コーナーにおける電圧の測定値により検出され、接触位置（ｘ，ｙ）および接触圧力の強度が、これらの電圧測定値から、制御器８０４により決定されうる。

これらのシステムのそれぞれが、接触強度データを出力するように構成可能であり、それ故、本明細書で開示されるように、指の向きを決定するために使用されうるが、データ点の密度は、光学的タッチセンシング機構で達成可能な密度よりも低い可能性がある。さらに、本明細書で開示される構成および／またはアプローチは、事実上例示的であること、ならびに、これらの具体的な実施形態または例は、多数の変形が可能であるため、限定的な意味であるとみなされるべきでないことが、理解されよう。本明細書で説明された具体的な手順または方法は、任意の数の処理戦略のうちの１つまたは複数の戦略を代表することができる。そのように、例示された種々の動作は、例示されたシーケンスにおいて、他のシーケンスにおいて、併行して、あるいはいくつかの場合には省略されて、実施されうる。同様に、上述のプロセスのうちの任意のプロセスの順序は、本明細書で説明される実施形態の特性および／または結果を達成するために、必ずしも必要とされないが、例示および説明を容易にするために提供される。

本開示の主題は、種々のプロセス、システムおよび構成、ならびに他の特性、機能、動作、および／または本明細書で開示された特性、ならびにありとあらゆるそれらの同等物の、新しい、また明らかでない組合せおよび部分的組合せのすべてを含む。

Claims (20)

1. ユーザーに対して画像を表示するように構成された表示スクリーンと、
   接触強度データの配列を取得し、接触強度データの前記配列から前記表示スクリーンに接触している１つまたは複数の物体を検出するように構成された強度感知型タッチセンシング入力機構と、
   より高い強度の接触データの第１の領域の中心とより低い強度の接触データの第２の領域の中心との間の方向から前記表示スクリーンに接触している指の向きを決定し、前記表示スクリーンに接触している前記指の決定された向きに応答して前記表示スクリーン上の画像を調節するために、プロセッサーと、前記プロセッサーにより実行可能な命令を含むメモリーとを備える制御器とを含む、コンピューティング装置。
2. 前記命令が、しきい値強度の値を超える接触データであるように、接触データの第１の領域を画定するために実行可能である、請求項１に記載の装置。
3. 前記しきい値強度の値が、接触強度データの組の重みを付けられた平均強度を含む、請求項２に記載の装置。
4. 前記重みを付けられた平均強度の中の各強度の値が、前記強度の値の勾配を含む重み係数によって重みを付けられる、請求項３に記載の装置。
5. 前記命令が、接触データの第１の領域の周りの事前に選択された形状を有するように、接触データの第２の領域を決定するために実行可能である、請求項１に記載の装置。
6. 前記命令が、第１のしきい値強度を超えるデータであるような接触データの前記第１の領域と、前記第１のしきい値強度より低い第２のしきい値強度を超えるデータであるような接触データの前記第２の領域とを決定するために実行可能である、請求項１に記載の装置。
7. 表示スクリーンと、
   接触強度データの配列を取得し、前記接触強度データから前記表示スクリーンに接触している１本または複数本の指を検出するように構成されたタッチセンス式入力と、
   実質的にすべてのピクセルがしきい値強度を超える強度を有する接触データの第１の領域を検出すること、接触データの前記第１の領域を取り囲む接触データの第２の領域を検出すること、接触データの前記第１の領域の中心を計算すること、接触データの前記第２の領域の中心を計算すること、および接触データの前記第１の領域の前記中心と接触データの前記第２の領域の前記中心との間の方向を決定することにより、前記スクリーン上で検出される各指の向きを決定するために、プロセッサーと、前記プロセッサーにより実行可能な命令を含むメモリーとを備える制御器とを備える、コンピューティング装置。
8. 前記タッチセンス式入力が、光学的タッチセンシング機構を含む、請求項７に記載の装置。
9. 前記タッチセンス式入力が、容量性タッチセンシング機構および抵抗性タッチセンシング機構のうちの一方または両方を備える、請求項７に記載の装置。
10. 前記命令が、重み係数として各ピクセルにおける強度を使用することにより、重みを付けられた強度の中心として、ピクセルの第１および第２の領域の前記中心を計算するために実行可能である、請求項７に記載の装置。
11. 前記命令が、前記第１の領域の外部の境界より低い事前に選択された量の強度を有するように、前記第２の領域の外部の境界を画定するために実行可能である、請求項７に記載の装置。
12. 前記命令が、事前に選択された形状を有するように、前記第２の領域の外部の境界を画定するために実行可能である、請求項７に記載の装置。
13. 前記命令が、前記接触データの重みを付けられた平均強度から前記しきい値強度を決定するために実行可能であり、各ピクセルにおける勾配が、そのピクセルにおける前記強度のための重み係数として使用される、請求項７に記載の装置。
14. タッチセンス式入力を備えるコンピューティング装置において、前記タッチセンス式入力に接触している指の向きを決定する方法であって、
    前記入力装置から接触データの２次元配列を取得するステップと、
    実質的に各ピクセルの強度がしきい値強度を超える強度を有する、前記配列の中の接触データの第１の領域を決定するステップと、
    接触データの前記第１の領域を少なくとも部分的に取り囲む、接触データの第２の領域を決定するステップと、
    接触データの前記第１の領域の、重みを付けられた強度の中心を計算するステップと、
    接触データの前記第２の領域の、重みを付けられた強度の中心を計算するステップと、
    接触データの前記第２の領域の前記重みを付けられた強度の中心と、接触データの前記第１の領域の前記重みを付けられた強度の中心との間の方向を決定するステップと、
    前記方向に基づいて前記タッチセンス式装置上に画像を表示するステップとを含む方法。
15. 各ピクセルにおける前記強度が、接触データの前記第１および前記第２の領域における前記重みを付けられた強度の中心を決定するステップにおいて、重み係数として使用される、請求項１４に記載の方法。
16. 前記第２の領域の外部の境界が、前記第１の領域の外部の境界から、事前に選択された距離だけ延びる、請求項１４に記載の方法。
17. 前記第２の領域が、前記第１の領域の外部の境界の周りに、事前に選択された形状を有する、請求項１４に記載の方法。
18. 前記しきい値強度が第１のしきい値強度であり、前記第２の領域が第２のしきい値強度を超える強度の値を含む、請求項１４に記載の方法。
19. 前記しきい値強度が、各ピクセルにおける勾配により重みを付けられた前記接触データの重みを付けられた平均強度から決定される、請求項１４に記載の方法。
20. 各ピクセルにおける前記勾配が、ゾーベルフィルターを介して決定される、請求項１９に記載の方法。

Images