JP5346081B2

JP5346081B2 - ペントラッキングを組み込んだマルチタッチ式タッチスクリーン

Info

Publication number: JP5346081B2
Application number: JP2011517256A
Authority: JP
Inventors: ドゥレイ、バーナード; トゥー、ポール; ハーラー、ミヒェル; パウエル、ジェームス、ロバート; ブランデル、ペーター; レイトナー、ヤコブ; セイフリード、トーマス、ヨーゼフ; マー、モーゼス、タオ−リン
Original assignee: Nortel Networks Ltd
Current assignee: Nortel Networks Ltd
Priority date: 2008-07-07
Filing date: 2009-06-11
Publication date: 2013-11-20
Anticipated expiration: 2029-06-11
Also published as: BRPI0915656A2; WO2010004384A8; US9268413B2; WO2010004384A1; KR20110038121A; CN102144208B; JP2012529680A; CN102144208A; EP2310933A4; US20100001962A1; EP2310933A1

Description

本発明は、マルチタッチ式タッチスクリーンに関し、特に、ペントラッキングとマルチタッチ式タッチスクリーンシステムとの組み込みに関する。

タッチスクリーンは、一般に表示パネルがタッチされた時および表示パネル内のタッチの位置を検出できる特別に構成されたディスプレイデバイスである。このタッチは、スタイラス（Ｓｔｙｌｕｓ）、人間の指などによって行われ得る。タッチスクリーンは、販売時点情報管理装置、ハンドヘルド電子装置、対話式ディスプレイ、ワークステーション、パーソナルコンピュータ、現金自動支払機など幅広い電子機器のために、キーパッド、キーボード、マウスに対する更なるまたは代わりの入力デバイスを提供する。従来、これらタッチスクリーンシステムでは、タッチの位置を感知するために様々なタイプの技術が用いられてきたが、任意の時点でシングルタッチの位置しか検出できないという制約があった。

近年、同時に複数のタッチを感知できるマルチタッチ式タッチスクリーンが、開発されている。タッチスクリーンが複数のタッチを検出およびトラッキングできることは、インタフェース技術における革新的な前進をもたらす。このような技術が、グラフィックデザイナ、司会者、写真家、建築家のような専門分野のユーザ、および一般のコンピュータのユーザに与えることができることを、誰もが自由に容易に想像できる。マルチタッチ式タッチスクリーンを用いて、１人または複数のユーザは、複数の指を使用して、同時に、表示された対象を選択、操作およびドラッグすることができる。特に、マルチタッチ式タッチスクリーンのサイズが増大するにつれて、このような応用例の可能性は広い。

今日まで商業的に最も有名なマルチタッチ式タッチスクリーンは、アップル（登録商標）のｉＰｈｏｎｅに搭載されている主要なインタフェースおよびディスプレイである。ｉＰｈｏｎｅは、ユーザが、２本の指を同時に使って、タッチスクリーンを介して様々な機能を実行することを可能にするものであり、タッチスクリーンの表面に沿ってそれぞれ指を離すようにスライドさせる、または互いに向かって指をスライドさせることによって表示されている対象を拡大または縮小することが含まれる。ｉＰｈｏｎｅのタッチスクリーンは、様々なタッチの座標および動きを検出する静電容量式グリッドに依拠するが、静電容量式グリッドの使用は、タッチスクリーンが、スタイラスのタッチまたは非導電性グローブを介しての人間によるタッチを検出できないことを意味する。さらに、静電容量式グリッドを使用することにより、タッチスクリーンのスケーラビリティ、および任意の時点でトラッキングできるタッチ数が実質的に制限される。ｉＰｈｏｎｅについては、一般的に、任意の時点で２タッチのみが使用される。したがって、比較的小さいディスプレイが、ｉＰｈｏｎｅのタッチスクリーン技術を組み込むことができるにすぎない。多くの他の現行のタッチスクリーン技術にも、同じ操作上およびサイズの制限がある。

有望な新しいマルチタッチ技術が、ＰｅｒｃｅｐｔｉｖｅＰｉｘｅｌ社（ｗｗｗ．ｐｅｒｃｅｐｔｉｖｅｐｉｘｅｌ．ｃｏｍ）およびＭｉｃｒｏｓｏｆｔ社（ｗｗｗ．ｍｉｃｒｏｓｏｆｔ．ｃｏｍ／ｓｕｒｆａｃｅ）などの企業によって大型表示パネル向けに開発されつつある。これら技術は、リアプロジェクション技術を用いて、表示内容を表示パネルの前から見ることができるように大型表示パネルの裏に表示内容を投影する。タッチ検出は、表示パネルの正面がタッチされることに応じて、表示パネルの裏から生じまたは反射する赤外（ＩＲ）光を感知することに依拠する。このＩＲ光は、一般に、タッチされているスポットから生じるだけであり、ＩＲセンサは、強度、位置、およびタッチに関連した任意の動きを検出できる。関連したプロセッサは、ＩＲセンサから対応するタッチ情報を受け取り、タッチ情報をユーザ入力として処理する。このプロセッサは、タッチされている表示パネルから導出されるユーザ入力に基づいて表示内容を制御するように構成される。

これら技術は、優れたマルチタッチ対話性を実現するが、この技術は、人間によるタッチに本質的に限定され、一般に、ペンタイプの道具などのスタイラスのような、もっと小さい、人間以外の物体の接触および動きをトラッキングできない。表示パネルおよびＩＲセンサの実効タッチ感度は、比較的低いものであり、したがって、ユーザが操作できる分解能は、ユーザの指のサイズに制限される。よって、マルチタッチを使用するアプリケーションは、比較的高度の選択、動きおよびアウトライン機能に制限される。より高い分解能で操作することを必要とする小さな手書き、描画、選択などは、現在実施可能ではない。さらに、複数のユーザが、表示パネルと対話するときは、これらの技術では、表示パネルをタッチしている異なるユーザを区別することができない。

また、これら技術のさらなる欠点は、表示パネルの後部から生じまたは反射するＩＲ光の検出に周りの光が与える影響である。周りの光はしばしば、白色光または自然光であり、この光は、比較的高いＩＲ光成分を有する。周りのＩＲ光は、タッチに応じて、表示パネルの後部から生じるまたは反射するＩＲ光に干渉し、表示パネルがいつ、どのようにタッチされているかを検出するためのＩＲセンサの能力を事実上低下させる。例えば、タッチに関連した相対的な強度または力を測定する能力は、一般に、周りのＩＲ光の量に反比例し、周りの光が変化しているときには発揮しにくい。

したがって、スタイラスおよび人間以外の他の物体からのタッチおよびタッチに関連した動きを検出できる大規模マルチタッチ式タッチスクリーンシステムが必要とされている。異なるユーザのタッチを区別することができるマルチタッチスクリーンシステムがさらに必要とされている。周りの白色光および自然光の中で、より効率的なやり方で操作できるマルチタッチスクリーンシステムが加えてさらに必要とされている。

本発明は、マルチタッチ式ヒューマン入力とデジタルペンからの入力のいずれにも対応するマルチタッチディスプレイシステムに関する。このディスプレイシステムは、前面部に沿った、人間によるタッチの検出およびトラッキングを可能にするように構成される表示パネルを有する。これら人間によるタッチは、ディスプレイシステム全体への入力として使用される。表示パネルは、好ましくは表示パネルを見ることが可能な領域を覆う配置パターンも備える。この配置パターンは、特定の位置に関連している表示パターンの一部を分析することによって配置パターン内の任意の位置を検出することを可能にするように構成される。デジタルペンは、表示パネルに「書き込む」ために使用され、このような書込み機能は、書込みが発生している位置を検出すること、および書き込まれているものを反映するように表示パネルに表示される表示内容を制御することを含む。このような書込みを容易にするために、任意の時点でデジタルペンが書き込んでいる配置パターンの一部が、書込みが表示パネルに発生している場所を決定するために分析される。表示内容は、書込みが書き込まれた通りに書込みが書き込まれた位置で書込みを含むように操作されてもよい。したがって、表示内容は、デジタルペンによって表示パネルに書き込まれているものを反映する。

一の実施形態では、配置パターンは、Ａｎｏｔｏ社によって開発されたアノトパターンである。アノトパターンのような配置パターンは、ドット、マーク、または他のグラフィックスを使用し、配置パターンの各固有部分が、配置パターンのこの部分の位置を識別するのに十分な情報をもたらす、連続的に変化するパターンを生み出す。配置パターンは、配置パターンが設けられている特定の表示パネルを識別するために符号化することもできる。したがって、異なる表示パネルを、配置パターンから識別することができる。

デジタルペンは、任意のタイプのデジタル書込みデバイスを表し、様々な形態をとり得る。一般に、デジタルペンは、配置パターンを検出し、対応する情報を有線通信または好ましくは無線通信を通じてディスプレイシステム用の中央処理システムに与えることができる。表示パネルは、ディスプレイ技術が、ＬＣＤディスプレイまたはプラズマベースのディスプレイに用いられるものなど、パネルの中に組み込まれる、集積表示パネルであってもよい。好ましい実施形態では、ディスプレイシステムは、リアプロジェクション技術を用い、プロジェクタは、表示パネルの後部に表示内容のイメージを投影するために使用され、このイメージは、表示パネルの正面から見ることができる。人間によるタッチを感知するためのマルチタッチ技術は、使用されるディスプレイ技術に適合する任意の公知技術を含んでいてもよい。しかし、本発明の好ましい実施形態は、リアプロジェクションディスプレイ技術およびマルチタッチ技術を用いており、マルチタッチ技術は、人間によるタッチに対応する赤外反射の感知に依拠する。

当業者は、添付図面の各図に関連して好ましい実施形態の以下の詳細な説明を読んだ後に本発明の範囲を理解し、本発明の更なる態様に気付くであろう。

本明細書に組み込まれると共に本明細書の一部を構成する添付図面の各図は、本発明の原理を説明する役割を果たす説明と共に、本発明のいくつかの態様を例示する。

従来技術によるマルチタッチディスプレイシステムのブロック図である。従来技術の表示パネルにおける全反射の説明図である。従来技術による表示パネルにおける漏れ全反射の説明図である。本発明の一の実施形態によるマルチタッチディスプレイシステムのブロック図である。本発明の一の実施形態によるデジタルペンの説明図である。本発明のある実施形態に用いられるアノトパターンの説明図である。本発明のある実施形態に用いられるアノトパターンの説明図である。本発明の一の実施形態による表示パネルにおける全反射の説明図である。本発明の一の実施形態による表示パネルにおける漏れ全反射の説明図である。従来技術と本発明の一の実施形態との間のエバネッセント場の力の差異の説明図である。従来技術と本発明の一の実施形態との間のエバネッセント場の力の差異の説明図である。本発明の一の実施形態によるバッフリングのためのフレームの使用の説明図である。本発明の第１の実施形態による表示パネルの構成の説明図である。本発明の第２の実施形態による表示パネルの構成の説明図である。本発明の第３の実施形態による表示パネルの構成の説明図である。

下記の実施形態は、当業者による本発明の実施を可能にするために必要な情報を表しており、本発明の実施に関する最良の形態を示す。添付の各図面を踏まえて以下の説明を読むと、当業者は、本発明の概念を理解し、本明細書中では特には扱われていないこれら概念の適用例を認識するであろう。これら概念および適用例は、開示および添付の特許請求の範囲の範囲内に含まれる。

本発明の詳細に入る前に、ＰｅｒｃｅｐｔｉｖｅＰｉｘｅｌ社のＪｅｆｆＨａｎによって開発されたより大型の表示パネル向けの有望なマルチタッチ式タッチスクリーン技術の概説を行う。更なる情報は、ｐｅｒｃｅｐｔｉｖｅｐｉｘｅｌ．ｃｏｍで得ることができる。本発明の実施形態は、ＰｅｒｃｅｐｔｉｖｅＰｉｘｅｌ技術に関連して用いることができるが、本発明は、ＰｅｒｃｅｐｔｉｖｅＰｉｘｅｌ技術に関連して実施されることに限定されない。図１を詳細に参照すると、ＪｅｆｆＨａｎなどによって開発されたマルチタッチディスプレイシステム１０は、リアプロジェクションスクリーン及びマルチタッチ式タッチスクリーンパネルのいずれの機能も有する、特別に構成された表示パネル１２の中心に位置する。表示パネル１２の後部から投影されるイメージは、表示パネル１２の正面から見ることができ、表示パネル１２の正面は、入力をマルチタッチディスプレイシステム１０に与えるときにユーザがタッチするための触覚表面またはタッチ表面を形成する。

マルチタッチディスプレイシステム１０は、いつ、どこで、どのように表示パネル１２がタッチされているかを検出するために全反射（ＴｏｔａｌＩｎｔｅｒｎａｌＲｅｆｌｅｃｔｉｏｎ（ＴＩＲ））および漏れ全反射（ＦｒｕｓｔｒａｔｅｄＴｏｔａｌＩｎｔｅｒｎａｌＲｅｆｌｅｃｔｉｏｎ（ＦＴＩＲ））の光学現象に依拠する。マルチタッチディスプレイシステム１０の様々な構成要素を概説した後に、これら現象をより詳細に説明する。一般に、表示パネル１２の内側で進む光線が、表示パネル１２内に維持され、事実上光線の一部たりとも表示パネル１２の外側へ逃れ進まないときにＴＩＲ状態が発生する。マルチタッチディスプレイシステム１０については、表示パネル１２の少なくとも一部が、ＩＲ発光ダイオード（ＬＥＤ）１４のアレイによって表示パネル１２の中に導入される赤外（ＩＲ）光のための導波路として働く。ＩＲＬＥＤ１４は、表示パネル１２の周縁に沿って間隔をおいて配置され、表示パネル１２がタッチされていないときにＩＲ光が通常、表示パネル１２中に維持されてＴＩＲの状態を助けるように、ＩＲ光を表示パネル１２の中に放射するように配置される。

ＦＴＩＲの状態は、ＴＩＲの状態が、乱されまたは阻害されるときに発生する。このような乱れは、表示パネル１２がタッチされることによって引き起こされ得る。表示パネル１２がタッチされる箇所は、タッチポイント１６と呼ばれる。表示パネル１２の前面部のタッチポイント１６がタッチされると、ＴＩＲの状態が乱される。その結果、一部のＩＲ光（それ以外のＩＲ光は表示パネル１２内に維持される）は散乱し、表示パネル１２の後部からＦＴＩＲ１８として放射される。

複数のＦＴＩＲセンサ２０が、表示パネル１２の背後に配置され、表示パネル１２の後部から伝わるＦＴＩＲ１８の相対的な位置および強度を検出および監視するように構成される。表示パネル１２からの光は、ＩＲ光であるので、ＦＴＩＲセンサ２０は、ＩＲ光検出器である。ここでは、ＩＲ光について述べたが、他のタイプの可視光または非可視光が、用いられてもよい。ＦＴＩＲセンサ２０は、ＦＴＩＲ１８に関連したメトリクスを決定し、対応するＦＴＩＲ情報を、パーソナルコンピュータ、サーバ、制御システムなどの形態をとり得るプロセッサ２２に与える。プロセッサは、ＦＴＩＲ情報を処理し、どのように表示パネル１２がタッチされているかを決定することができる。このシステムを用いると、任意の時点で複数のタッチを検出およびトラッキングすることができる。タッチは、単純なタッチから複雑なタッチおよびドラッグの動きまで多岐にわたり得るものであり、タッチの正確な経路が監視される。一般に、ＦＴＩＲ１８の強度は各タッチに関連した圧力にほぼ比例するので、タッチの強度も、監視されてもよい。したがって、表示パネル１２の複数のタッチの様々な態様は、任意の時点でプロセッサ２２によってトラッキングできる。タッチおよびタッチの性質は、マルチタッチディスプレイシステム１０へのタッチ入力として処理される。タッチ入力は、マルチタッチディスプレイシステム１０の動作を制御するために使用される。

マルチタッチディスプレイシステム１０は、静止画または動画の内容を表示パネル１２の後部に投影できるプロジェクタ２４も備える。上述の通り、表示パネル１２は、従来のリアプロジェクション方式で、表示パネルの後部に投影されるイメージが、表示パネル１２の正面から見ることができるように構成される。投影される内容は、マルチタッチディスプレイシステム１０向けの表示内容である。この表示内容は、全部または一部がプロセッサ２２によって生成されてもよく、プロジェクタ２４に与えられ、プロジェクタ２４は、表示内容を表示パネル１２の後部に投影することになる。プロセッサ２２は、全部または一部の表示内容にアクセスまたは表示内容を引き出すことを可能にするための任意の個数のメディア装置または再生装置を含んでもよく、またはこれらに関連していてもよい。少なくとも一部において、プロセッサ２２は、タッチ入力に応じてプロジェクタ２４に伝えられる、したがってプロジェクタ２４によって投影される表示内容を制御して、対話型システムを実現する。特に、マルチタッチディスプレイシステム１０全体は、単一の筺体内に設けられてもよく、少なくとも表示パネル１２は、表示パネル１２が、水平方向と垂直方向の間で回転することを可能にする連結部材に結合される。

以下、前述の表示パネル１２に関連してＴＩＲおよびＦＴＩＲの概念の概説を行う。図２を参照すると、表示パネル１２が示されており、電源２６が、表示パネル１２の周縁の周りのＩＲＬＥＤ１４を駆動している。明確化のため、ここでは多数あるＩＲＬＥＤ１４のうちの１個のＩＲＬＥＤ１４を示す。表示パネル１２は、導波路パネル２８と、表層構造３０とを含み、表層構造３０は、導波路パネル２８の上面に存在し、１以上の層を含んでもよいことが示される。導波路パネル２８は、一般に、クリアアクリルまたはポリマーのようなものである。表層構造３０は表示パネル１２の正面を表し、タッチされる表面を形成する。表層構造３０は、柔軟であることが好ましく、半透明表面を形成し、導波路２８が透明素材から形成されるので、表示内容は、この半透明表面に投影される。導波路パネル２８の底面は、プロジェクタ２４に面する表示パネル１２の後部を表す。

導波路パネル２８の上面と表層構造３０の底面との間には、境界が形成される。ここで、導波路パネル２８のアクリルは、表層構造３０の底層とは異なる屈折率を有する。一般に、導波路パネル２８中を進むＩＲ光線が、境界を横切り、表層構造３０に入るとき、ＩＲ光線は、一部屈折し、一部反射する。屈折したＩＲ光線は、境界で向きを変え、表層構造３０の中に、表層構造３０中を進む。反射したＩＲ光線は、第１の材料の中に戻るように反射し、導波路パネル２８中を進み続ける。大筋は、導波路パネル２８の底面と空気の間に形成される境界の場合と同じである。

ＴＩＲの状態は、導波路パネル２８中を進むＩＲ光線の実質的に全てが、境界に到達した後に導波路パネル２８の中に戻るように完全に反射するときに得られ、したがって、事実上、いずれのＩＲ光線も、表層構造３０、または導波路パネル２８のいずれの側の空気中にも屈折しない。したがって、ＩＲ光線は、導波路パネル２８内に留まる。導波路パネル２８内に留まるこうしたＩＲ光線は、内部反射３２と呼ばれる。一般に、ＴＩＲには、ある条件が必要とされる。まず、導波路パネル２８の屈折率は、表層構造３０の底層の屈折率および導波路パネル２８の他方の側の空気の屈折率より大きくなければならない。次に、ＩＲ光線の入射角は、導波路パネル２８の関連する臨界角より大きくなければならない。入射角は、導波路パネル２８の上面または底面に対して直角または垂直な線に対して光線が進む角度の尺度である。臨界角は、一般には導波路パネル２８の構成に依存し、導波路パネル２８内で生じるＴＩＲを超える入射角に対応する。

図３を参照すると、ＴＩＲの状態が乱されるときに例示的なＦＴＩＲ状態が発生し、通常第１の材料の中に戻るように反射するＩＲ光線は、散乱し、ＦＴＩＲ１８として導波路パネル２８の外側へ進む。図示されるように、人が表層構造３０をタッチポイント１６でタッチすることにより、ＦＴＩＲ１８が生じ得る。このようなタッチにより、柔軟表層構造３０は圧縮し、これによって境界に沿って乱れが生じ、ＩＲ光線は、ＴＩＲの状態に関連した臨界角未満である入射角を有するように導波路パネル２８の中に戻るように反射する。したがって、こうしたＩＲ光線は、ＦＴＩＲ１８として導波路パネル２８の底面から放射され、ＦＴＩＲセンサ２０によって検出可能になる。ＦＴＩＲ１８は、タッチポイント１６のほぼ反対の箇所で導波路パネル２８の底面から放射される。さらに、一般には、タッチポイント１６でのタッチ力により、ＦＴＩＲ１８の強度を制御する。周りの光の量によって、ＦＴＩＲセンサ２０は、持続期間、位置、およびタッチの相対的強度を測定し、タッチポイント１６の任意の続く動きをトラッキングすることができる。任意の個数のタッチが、トラッキングされ、プロセッサ２２への入力として使用することができる。ある実施形態では、任意の時点で１０個以上のタッチが、トラッキングできる。

上述の通り、これらマルチタッチ式タッチスクリーン技術は、優れたマルチタッチ対話性を実現する。しかし、この技術は、人間によるタッチに本質的に限定され、一般に、ペンタイプの道具などのスタイラスなど、もっと小さい、人間以外の物体の接触および動きをトラッキングできない。従来技術の表示パネル１２およびＩＲセンサ２０の実効タッチ感度は、比較的低いものであり、したがって、ユーザが操作できる分解能は、ユーザの指のサイズに制限される。よって、マルチタッチアプリケーションは、比較的高度の選択、動きおよびアウトライン機能に制限される。より高い分解能で操作することを必要とする小さな手書き、描画、選択などは、実施可能ではない。さらに、これら技術は、表示パネル１２をタッチしている異なるユーザを区別することができない。

本発明は、スタイラスのタッチおよびこの関連した強度を検出し、表示パネル１２を横切るスタイラスの続く動きをトラッキングするためのこれらマルチタッチ式タッチスクリーン技術の機能を提供する。説明の都合上、スタイラスは、表示パネル１２との対話のために使用されるペンデバイスなどの人間以外の道具の一部であるとする。

本発明の一の実施形態によれば、上記のマルチタッチディスプレイシステム１０は、図４に示すように変更される。詳細には、ワイヤレスアクセスポイント３６は、プロセッサ２２に関連して設けられ、デジタルペン３８とのワイヤレス通信に対応するように構成される。さらに以下に詳細に説明するように、デジタルペン３８は、いつデジタルペン３８が表示パネル１２に「書き込む」ために使用されているか、何が表示パネル１２に書き込まれているか、表示パネル１２上でどこに書き込まれているかを決定するのに十分な書込み情報を集めることができる。さらに、書込み情報は、表示パネル１２に対するそれぞれのペンのストローク中におけるデジタルペン３８の位置を特定する。用語「書き込む（ｗｒｉｔｅ）」、「書込み中（ｗｒｉｔｉｎｇ）」、および「書き込まれた（ｗｒｉｔｔｅｎ）」は、テキスト（数字、文字および記号を含む）、描画オブジェクト、記号、落書きなどに関連するように定義される。したがって、これら用語は、単にテキストに限定されない。デジタルペン３８は、書込み情報を処理してペンデータを生成し、ペンデータをワイヤレスアクセスポイント３６にワイヤレスで伝送することができる。これに代えて、書込み情報は、ほとんどまたは全く処理しないでペンデータとしてデジタルペン３８からワイヤレスアクセスポイント３６に送られてもよい。特に、デジタルペン３８は、インクカートリッジを有していても有していなくてもよい。インクカートリッジの存在に関らず、デジタルペン３８は、表示パネル１２にインクを付けることなく表示パネル１２上の書込みを可能にするように構成される。表示パネル１２上にある任意の書込みは、プロセッサ２２によって表示内容として描画される。

ペンデータは、プロセッサ２２に送られ、ユーザ入力として処理される。ユーザ入力は、表示パネル１２上に投影される表示内容を制御するためにＦＴＩＲセンサ２０から与えられる他のタッチ情報と共に使用できる。好ましくは、実際の、または処理済の書込み情報は、ワイヤレスアクセスポイント３６を介してプロセッサ２２にリアルタイムに与えられる。プロセッサ２２は、即座にペンデータを処理して、どのような内容が書き込まれたのか、および表示パネル１２上のどこに内容が書き込まれたのかを決定する。プロセッサ２２は、書込み内容をこの内容が書き込まれた通りに表示内容に含むように表示内容を処理することもできる。好ましくは、表示内容は、内容が表示パネル１２に書き込まれるとき、書込み内容の実質的な複製を用いてリアルタイムで連続的に更新される。したがって、リアルタイムで、手書きは実際の手書きのように見え、スケッチは実際のスケッチのように見える。リアルタイムで書込み内容をとらえ、表示することに加えて、ペンのストロークまたは対話のようなものが、選択、ドラッグなどするための任意の他のタッチ入力として使用できる。これら制御対話（ｃｏｎｔｒｏｌｉｎｔｅｒａｃｔｉｏｎ）は、ペンデータとして処理済または未処理の形態でプロセッサ２２に転送することできる。

好ましくは、各デジタルペン３８は、固有の識別情報を有することになり、識別情報は、ペンデータと共に伝送される。プロセッサ２２は、任意の所与の書込み内容が生成された特定のデジタルペン３８を識別し、次いで書込み内容を処理することができる。表示パネル１２に同時に書き込むためには、複数のデジタルペン３８が使用されてもよい。プロセッサ２２は、支援アプリケーションに応じて、複数のデジタルペン３８のうちの異なるデジタルペン３８からの書込み情報を同時におよび同じまたは異なるやり方で処理してもよい。したがって、複数の人間によるタッチ、および複数のデジタルペンの対話を同時に処理できる大規模のマルチタッチディスプレイシステム１０が、提供される。さらに、異なるデジタルペン３８からの対話は、互いに見分けることができ、異なるユーザからの入力が、区別できるようになっている。

図５を参照すると、例示的なデジタルペン３８が、表示パネル１２の表面と接触している状態が示されている。この実施形態では、表示パネル１２は、導波路パネル２８と、この導波路パネル２８上に存在する表層４０とを含む。詳細には、表層４０は、導波路パネル２８の屈折率より小さい屈折率を有する柔軟層４２を含む。好ましくは、柔軟層４２は、比較的透明であり、導波路パネル２８を通過する投影したイメージが、柔軟層４２を覆って存在する投影層４４に呈示されることを可能にすることになる。好ましくは、投影層４４は、投影した表示内容を表示するスクリーンを事実上形成する。また、投影された表示内容は、表示パネル１２の正面または上部から見ることができる。

図示されるように、配置パターン４６は、表層４０上または表層４０中、および好ましくは投影層４４上に印刷される。好ましくは、配置パターン４６は、表示パネル１２を見ることができる領域全体にわたって固有のパターンを形成する。デジタルペン３８は、配置パターン４６に基づいて書込み情報を集め、配置パターン４６を処理してデジタルペン３８の正確な位置を決定することができ、もしくはペンデータとして位置情報をプロセッサ２２に転送してもよく、プロセッサ２２が、配置パターン４６を処理してデジタルペン３８の位置を決定してもよい。一般に、位置情報は、連続的に更新され、表示パネル１２に情報を書き込むためにデジタルペン３８を使用することに関連した動き、したがって、ペンのストロークをトラッキングするために使用される。

好ましくは、配置パターン４６は、表示パネル１２の表面領域全体にわたる任意の位置パターンが固有であり、配置パターン４６のごく一部を分析することによって正確な位置を検出することを可能にするように構成される。したがって、任意の個数のデジタルペン３８について、書込みが発生している位置は、任意の時点でトラッキングおよび処理することができる。好ましい実施形態では、配置パターン４６は、アノトパターンと同一または類似である。このアノトパターンは、Ａｎｏｔｏ社による紙上に印刷されたアノトパターンを有する紙上のアノトパターンを読み取ることができるデジタルペンに関連して開発された。アノトパターンに関するさらなる情報は、Ａｎｏｔｏ．ｃｏｍで得ることができる。アノトパターンは、０．３ｍｍの公称間隔を有する多数の非常に小さいドットを含む。これらドットは、０．３ｍｍの公称間隔を有するが、これらドットは、表示パネル１２の表面上の任意の位置を固有に識別するパターンを生成する。拡大したアノトパターンの例示的な部分を図６Ａに示し、０．３ｍｍのグリッドから連続的に変化するドットの偏りを図６Ｂに示す。表示パネル１２上の任意の位置を固有に識別できることに加えて、異なる表示パネル１２が固有の特徴を有するように、アノトパターンは、表示パネル１２を一意に識別するように構成することもできる。デジタルペン３８は、互いのワイヤレス通信の範囲内にある任意の個数のマルチタッチディスプレイシステム１０と対話できてもよく、デジタルペン３８またはプロセッサ２２は、既に書き込まれている特定の表示パネル１２を識別することができることになる。

図５に戻ると、デジタルペン３８は一般に、スタイラス５０が取り付けられる本体４８を備える。スタイラス５０は、ペン先、したがってデジタルペン３８と表示パネル１２との接点を表す。制御システム５２は、デジタルペン３８の心臓部であり、制御システム５２は、圧力センサ５４、ＩＲ発光ダイオード（ＬＥＤ）などのＩＲ光源（ＬＳ）５６、イメージセンサ（ＩＳ）５８、送受信機回路６０、およびメモリ６２に接続している。好ましくは、これら構成要素は、電池６４によって図示していない適当な電源回路を通じて電力が供給される。特に、送受信機回路６０は、制御システム５２、およびワイヤレスアクセスポイント３６との双方向ワイヤレス通信を促進する１以上のアンテナ６６に接続している。これら通信は、ＩＥＥＥの８０２．１１ワイヤレスローカルエリアネットワーク規格などの任意のワイヤレス通信規格、およびＢｌｕｅｔｏｏｔｈまたはワイヤレスユニバーサルシリアルバス（ＵＳＢ）などのパーソナルエリアネットワーク規格に基づいていてもよい。本明細書中において、ワイヤレス構成を図示および説明したが、デジタルペン３８は、図示していない有線インタフェースを通じてプロセッサ２２と通信してもよい。

圧力センサ５４は、スタイラス５０に結合され、いつスタイラス５０が表示パネル１２に押し付けられるかを検出し、好ましくは、接触による相対的な力を監視するように構成される。したがって、圧力センサ５４は、関連した力の情報を、記憶、処理またはこれらの組合せのために制御システム５２に送信することができる。この力の情報は、書込み情報とみなされ、いつデジタルペン３８がデジタルパネル１２に書き込むために使用されているかを決定するために使用することができ、おそらくは、強度は、このような書込みに関連している。したがって、書込み内容は、最終的に、表示パネル１２上の内容の書込みに関連した有効重力を示すやり方で表示内容中に表示することとしてもよい。最低でも、圧力センサ５４により、制御システム５２は、いつ書込みが行われているかを決定することができる。

書込みの検出自体は、ＩＲ光源５６と、イメージセンサ５８とにより行われる。好ましくは、配置パターン４６および投影層４４は、配置パターン４６のドットまたは他のパターンマークが、ＩＲ光源５６から放出されるＩＲ光を吸収し、配置パターン４６によって吸収されない光を反射してイメージセンサ５８に戻すように構成される。イメージセンサ５８および制御システム５２は、互いに協働してＩＲカメラを効果的に実施する。ＩＲカメラは、スタイラス５０が、表示パネル１２と接触しているときに、毎秒たくさんの配置パターン４６の画像を撮ることができる。配置パターン４６によって吸収されず、表示パネル１２上の箇所に近接しているまたは付近にある反射したＩＲ光を、各画像はとらえる。表示パネル１２とスタイラス５０とは、接触している。この画像情報は、書込み情報とみなすことができ、制御システム５２によって処理され、または処理のためにプロセッサ２２に渡される。処理の位置に関らず、各イメージは、イメージがとらえられた時間およびイメージがとらえられる時のスタイラス５０の位置を識別するように処理される。この位置は、座標などとして識別されてもよい。一連のイメージが処理されるときに、デジタルペン３８の所与のストロークによる任意の動きの位置、向き、および距離が、計算されてもよい。ストロークが検出されると、書込み内容が、決定され得る。したがって、デジタルペン３８は、表示パネル１２に対するデジタルペン３８の正確な位置および各ストロークの性質の検出を容易にすることができる。

ここで図７を参照すると、表示パネル１２の横断面が、例示されており、デジタルペン３８は、投影層４４と接触している。特に、ＴＩＲの効果は、表層４０と接触しているデジタルペン３８のスタイラス５０によって影響を受けないことが好ましい。典型的には、スタイラス５０の、人間の指と比べて比較的小さいサイズの箇所は、スタイラス５０による表面の乱れ（ｓｕｒｆａｃｅｄｉｓｔｕｒｂａｎｃｅ）が、ＦＴＩＲの効果を引き起こすには十分でない。これに代えて、デジタルペン３８の位置が知られているので、プロセッサ２２が、デジタルペン３８によって引き起こされる任意のＦＴＩＲ１８の入力を取り去ってもよい。

図７に示すように、導波路パネル２８の周縁（左側）は、図２および図３の従来技術の実施形態に示したように表示パネル１２の面に垂直である代わりに、傾斜している。出願人は、傾斜の付いた周縁を形成し、ＩＲＬＥＤ１４が周縁の傾斜面に垂直であるようにＩＲＬＥＤ１４を結合することにより、マルチタッチの性能を大いに高めることを発見していた。導波路パネル２８の上面または底面からの傾斜が約３０〜約６０度、好ましくは約４５度である場合、ＴＩＲおよびＦＴＩＲの効果は高められ、人間によるタッチに対するより大きい感度を与える。デジタルペン３８が、表示パネル１２と接触しているとき、ＴＩＲの効果は、それでも維持されるが、図８に示すように、人間によるタッチに応じて、図２および図３に示された従来技術の実施形態と比較してかなり強いＦＴＩＲ１８が、与えられる。さらに、傾斜した周縁の使用により、人間によるタッチに対する感度、および人間によるタッチの異なる強度を区別する能力をかなり増大させる。

主に導波路パネル２８の表面の外側に形成されるエバネッセント場の著しい増加により、性能が向上する。エバネッセント場は、ＴＩＲの状態中、導波路パネル２８の表面を超えて延在する光場である。エバネッセント場が乱されると、ＦＴＩＲの効果が引き起こされ得る。エバネッセント場が大きくなるほど、エバネッセント場の乱れに対する感度が大きくなり、結果として生じるＦＴＩＲ１８の強度が大きくなる。垂直な周縁および傾斜した周縁に関連した相対的なエバネッセント場の力の比較を図９Ａおよび図９Ｂに示す。はっきりと実証されているように、エバネッセント場の力は、導波路パネル２８の表面でかなり高く、導波路パネル２８の外側のあらゆる距離でかなり高いままである。図１０に示すように、表示パネル１２用のフレームの一部であり得るバッフリング６７は、表示パネル１２の使用可能部分に到達するまで、導波路パネル２８に閉じ込められるＩＲ光を保持するために用いられてもよい。より大きいエバネッセント場の力のさらなる利点は、周りの照明、詳細には、高いＩＲ成分（ＩＲｃｏｎｔｅｎｔ）を有する周りの照明の影響に対する耐性の増大である。以下にさらに説明するように、本発明の他の実施形態は、いっそうさらなる周りの照明耐性を与える。

図１１〜図１３を参照すると、本発明の３つの異なる実施形態が、示されている。これら実施形態では、固有の構成が、表示パネル１２に与えられる。これら３つの実施形態のそれぞれについて、様々な層が識別され、層ごとの例示的な材料を説明する。図１１を詳細に参照すると、表示パネル１２は、導波路パネル２８と、この導波路パネル２８の上側の柔軟層４２と、この柔軟層４２の上側の投影層４４と、この投影層４４の上側の保護層６８とを含む。更なる層が、これら識別された層と層の間、またはこれら識別された層の中に形成されてもよい。特に、柔軟層４２、投影層４４、および保護層６８は、表層４０の一部であるとみなされる。配置パターン４６が、デジタルペン３８の操作を容易にするよう表示パネル１２上に印刷できるように表示パネル１２を構成することは有益である。表示パネル１２は、リアプロジェクションに適しているものであるべきであり、配置パターン４６は、投影したイメージを見ることが大きく邪魔されないように表示パネル１２上に印刷されるべきである。最後に、表示パネル１２は、許容できるＦＴＩＲの効果を有するべきであり、好ましくは、周りの照明中で有効に機能可能でき、非常に敏感なＦＴＩＲの効果をもたらすものとすべきである。

図１１の実施形態については、アノトパターンなどの配置パターン４６が、投影層４４上に印刷される。好ましくは、投影層４４は、投影したイメージが映って見ることができる半透明スクリーン、およびデジタルペン３８のための反射背景を与える。詳細には、配置パターン４６に関連したドットまたは他のパターンマークを含まない領域については、ＩＲ光源５６から放出されるＩＲ光は、デジタルペン３８のイメージセンサ５８に向かって戻るように反射さするべきである。さらに、投影層４４は、投影層４４が柔軟層４２に付着しないように構成されるべきである。白いＲｏｓｃｏのスクリーン、または同様のリアプロジェクションスクリーンは、投影層４４用に必要な条件を満たす。投影層４４のための他の材料には、ＨＰのバックライトＵＶ層またはバックライト硬質ＰＶＣ層が含まれてもよい。柔軟層４２は、シリコーンまたは他の適当な柔軟材料で形成されることが好ましい。好ましいシリコーンには、ＳＯＲＴＡ−Ｃｌｅａｒ（商標）４０、およびＥｌａｓｔｏｃｉｌ（登録商標）ＲＴ６０１が含まれる。柔軟層４２のための他の材料には、Ｓｕｐａｔｅｘまたは他の適したラテックスの薄層が含まれてもよい。導波路パネル２８は、アクリル、またはＬｅｘａｎ（登録商標）９０３０などのポリカーボネート板のようなものであることが好ましい。導波路パネル２８向けの他の材料は、Ｐｌｅｘｉｇｌａｓを含む。保護層６８は、透明な、好ましくは非常に薄いプラスチック箔から形成されてもよく、単に投影層４４の損傷、摩耗、磨滅を低減するように設けられる。保護層６８は、窓、バス停留所、または陳列棚に用いられるものなどの透明な抗スクラッチ箔で形成されてもよい。特に、投影層４４の上側に設けられる層の数はいくつであってもよいが、層を追加することは、最終的に、投影したイメージを歪めると共に、配置パターン４６を読み取るデジタルペン３８の能力の潜在的な支障になる。

図１２を参照すると、表示パネル１２の全体構成は、図１１に示されるものと同様である。ただし、投影層４４が、スクリーン層７０およびパターン層７２を含む２つの別個の層から形成される点が、図１１の構成と異なっている。この場合は、パターン層７２は、透明なプラスチック層であり、このプラスチック層上には、配置パターン４６が印刷される。特に、パターン層７２は、デジタルペン３８の動作のために必要に応じてＩＲ光を反射しない。しかし、スクリーン層７０は、ＩＲ光のための反射背景を与え、デジタルペン３８が上記のように機能することを可能にすることになる。スクリーン層７０は、パターン層７２のためのつや消しＩＲ光反射背景を与えることに加えて、投影したイメージを見ることができる媒体を与えることにもなる。また、白いＲｏｓｃｏのスクリーンなどが、スクリーン層７０の必要条件の全てを満たす。保護層６８、柔軟層４２、および導波路パネル２８は、上記のように構成され得る。

次に図１３を参照すると、表示パネル１２の第３の実施形態が示されている。本実施形態は、高いＩＲ成分を有する周りの光に対する一番の耐性を与える。本実施形態は、フィルタ層７４が、投影層４４と柔軟層４２の間に設けられることを除いては、図１２の実施形態と同じであるように示される。さらに、フィルタ層７４は、２つの層に分かれ、この２つの層は、ＩＲフィルタリング層７６および抗付着層７８を含む。好ましくは、ＩＲフィルタリング層７６は、薄い箔であり、これは、周りの光をフィルタ処理することができ、特に、周りの光のＩＲ成分をフィルタ処理することができる。ＩＲフィルタリング層７６向けの材料には、透明な紫外線防止箔、および熱反射箔が含まれ得る。したがって、ＩＲフィルタリング層７６は、柔軟層４２および導波路パネル２８に到達する周りの光からＩＲ成分の量を少なくとも減少させる。抗付着層７８は、タッチイベント後にＩＲフィルタリング層７６が柔軟層４２に付着するのを防ぐために設けられる。抗付着層７８がない状態で人が保護層６８上で押すと、ＩＲフィルタリング層７６の箔が、柔軟層４２のシリコーンに付着する傾向がある。このような付着は、タッチイベントが除かれた後、連続的ないつまでも消えないＦＴＩＲの効果を引き起こし得る。好ましくは、抗付着層７８は、透明である。トレーシングペーパは、この層向けに適した材料であることが分かっている。抗付着層７８向けの他の材料には、Ｔｅｆｌｏｎスプレーまたは透明コートの薄層が含まれてもよい。

当業者は、本発明の好ましい実施形態に対する改良形態および変更形態を認識されよう。このような改良形態および変更形態の全ては、本明細書および添付の特許請求の範囲に開示された概念の範囲内と考えられる。

Claims

人間によるタッチを受けるための前面部と、前記前面部に関連して設けられ、前記前面部からデジタルペンによって判読可能な、前記前面部に対して固有の位置マークを与える配置パターンとを備える表示パネルであって、前記配置パターン内の固有の位置は、前記固有の位置マークの対応する部分から識別可能である、表示パネルと、
前記表示パネルの前記前面部で前記人間によるタッチを検出し、対応するタッチ入力を与えるように適合されたタッチセンシング回路と、
前記デジタルペンが書込みのために使用されている前記固有の位置マークの対応する部分のイメージをとらえる前記デジタルペンに対応して得られる書込み情報に関係があるペンデータを受け取るように適合された通信インタフェースと、
前記タッチセンシング回路および前記通信インタフェースに関連し、前記タッチ入力および前記ペンデータに応じて前記表示パネルに表示される表示内容を制御するように適合された処理回路と
を備えるマルチタッチディスプレイシステム。
前記配置パターンの前記位置マークは、前記位置マークが、前記配置パターン内の任意の箇所で固有であるように前記表示パネルの前面部全体にわたって連続的に変化する、請求項１に記載のマルチタッチディスプレイシステム。
前記位置マークは複数のドットを含む、請求項１に記載のマルチタッチディスプレイシステム。
前記配置パターンはアノトパターンである、請求項１に記載のマルチタッチディスプレイシステム。
前記配置パターン内の任意の箇所での前記位置マークは、前記表示パネルの前記前面部に関連した前記箇所についての固有の位置座標に対応する、請求項１に記載のマルチタッチディスプレイシステム。
前記表示パネルの固有の識別子は、前記配置パターンに符号化される、請求項１に記載のマルチタッチディスプレイシステム。
前記処理回路は、前記デジタルペンによって前記表示パネルで書き込まれているものに実質的に直接対応する書込みを含むことによって前記表示内容を制御するように適合された、請求項１に記載のマルチタッチディスプレイシステム。
前記表示パネルは、後面部を備え、前記後面部は、前記処理回路に関連していると共に前記処理回路の制御下で前記表示パネルの前記後面部に向かって前記表示内容を投影するように構成されるプロジェクタをさらに備え、前記表示パネルは、前記後面部に向かって投影される前記表示内容を前記前面部で視聴することができることを可能にするように構成される、請求項１に記載のマルチタッチディスプレイシステム。
前記表示パネルの前記前面部で前記人間によるタッチを検出するために、前記タッチセンシング回路は、前記人間によるタッチに応じて前記表示パネルの後面部から反射する反射光を検出するように適合された、請求項１に記載のマルチタッチディスプレイシステム。
前期反射光は赤外光である、請求項９に記載のマルチタッチディスプレイシステム。
前記表示パネルは、導波路パネルと、光を前記導波路パネルの中に導入するように適合された光源とを備え、前記表示パネルの前記前面部が人間によってタッチされていないときに全反射の状態が前記導波路パネル内で達成され、前記表示パネルの前記前面部が前記人間によるタッチを受けるときに漏れ全反射が起こるようになっており、一部の前記漏れ全反射は、前記タッチセンシング回路によって検出可能である反射光である、請求項９に記載のマルチタッチディスプレイシステム。
前記導波路パネルは、前記光源が取り付けられる略平坦なエッジ面を有する傾斜した周縁を備え、前記光源は、前記光を前記略平坦なエッジ面を通じて前記導波路パネルの中に導入する、請求項１１に記載のマルチタッチディスプレイシステム。
前記光源は、前記傾斜した周縁の前記略平坦なエッジ面に沿って取り付けられる複数の発光ダイオードを備える、請求項１２に記載のマルチタッチディスプレイシステム。
前記通信インタフェースは、ワイヤレス通信を介して前記ペンデータを受け取るように適合されたワイヤレス通信インタフェースである、請求項１に記載のマルチタッチディスプレイシステム。
前記ワイヤレス通信インタフェースは、前記デジタルペンと直接通信するように適合された、請求項１４に記載のマルチタッチディスプレイシステム。
前記通信インタフェースは、前記デジタルペンと通信できるデバイスまたはシステムと通信するように適合された、請求項１に記載のマルチタッチディスプレイシステム。
前記表示パネルは、導波路パネルと、前記導波路パネルに隣接した柔軟層と、前記柔軟層を覆った投影層とを備え、前記投影層は、前記配置パターンを備え、前記表示内容のイメージが投影される投影面を有する、請求項１に記載のマルチタッチディスプレイシステム。
前記投影層は、半透明スクリーン層と、前記半透明スクリーン層の上側のパターン層とを備え、前記半透明スクリーン層は前記投影面を形成し、前記パターン層は前記配置パターンを備える、請求項１７に記載のマルチタッチディスプレイシステム。
前記表示パネルは、環境光の少なくともある波長をフィルタ処理するように適合されたフィルタ層をさらに備える、請求項１７に記載のマルチタッチディスプレイシステム。
前記フィルタ層は、前記柔軟層と前記投影層の間に設けられる、請求項１９に記載のマルチタッチディスプレイシステム。
前記フィルタ層は、
環境光の前記少なくともある波長をフィルタ処理するためのフィルタリング層と、
前記リングフィルタ層と前記柔軟層の間にあり、前記人間によるタッチに応じて前記フィルタリング層が前記柔軟層に接着するのを防ぐように構成される抗付着層と
を備える、請求項２０に記載のマルチタッチディスプレイシステム。
前記導波路パネルは、光源が取り付けられる略平坦なエッジ面を有する傾斜した周縁を備え、前記光源は、光を前記略平坦なエッジ面を通じて前記導波路パネルの中に導入する、請求項１１または請求項１７に記載のマルチタッチディスプレイシステム。
前記略平坦なエッジ面と前記前面部の間のなす角は、約３０度〜約６０度である、請求項２２に記載のマルチタッチディスプレイシステム。
前記略平坦なエッジ面と前記前面部の間の前記間のなす角は、およそ約４５度である、請求項２３に記載のマルチタッチディスプレイシステム。
前記投影層は、反射面をさらに有し、前記デジタルペンの光源から与えられると共に前記配置パターンによって吸収されない光が、前記反射面から前記デジタルペンの光センサに向かって戻るように反射する、請求項１７に記載のマルチタッチディスプレイシステム。
前記タッチセンシング回路は、漏れ全反射を検出するように適合された、請求項１に記載のマルチタッチディスプレイシステム。
本体と、前記本体の一端にあるスタイラスと、前記スタイラスに関連した圧力センサと、イメージセンサと、光源と、前記圧力センサおよび前記イメージセンサに関連したプロセッサとを含む前記デジタルペンをさらに備え、前記プロセッサは、前記スタイラスが前記表示パネルの前記前面部と接触していることを示す前記圧力センサに応じて、前記デジタルペンが書込みに使用されている一連の前記固有の位置マーク部分のイメージをとらえるように適合された、前記光源は、前記固有位置マーク部分を照明してイメージの取り込みを容易にする、請求項１に記載のマルチタッチディスプレイシステム。