JP4955684B2 - 対話式ディスプレイ面の入力方法 - Google Patents

Description

より良いユーザインターフェースを提供することによってコンピュータシステムの有用性を高めることができる。パーソナルコンピュータ（ＰＣ）が最初に広く入手可能となって以来、コンピュータシステム用のユーザインターフェースは著しく進化した。初期のＰＣでは、シリアルマウスなどのかなり原始的なユーザ入力装置が使用された。しかし、マイクロプロセッサ、利用可能なメモリ、およびプログラミング機能の非常な改善がすべて、ユーザインターフェース設計の進歩と、ユーザフレンドリなグラフィックオペレーティングシステムおよびハードウェアの進歩に寄与した。ユーザインターフェース技術の進歩の１つの特定の領域は、近接検出（ｐｒｏｘｉｍｉｔｙ ｄｅｔｅｃｔｉｏｎ）と呼ばれることもある、ユーザインターフェース付近のオブジェクトの検出に関する。一般に、ユーザインターフェースに適用されるとき、近接検出は、ユーザインターフェースまたは表面に近接するときの、非アニメーションオブジェクトおよび／またはユーザの手または指を含むオブジェクトの検出にそのように関係する。

キャパシタンスベースのシステム、および様々な光学ベースの検出システムを含む、ユーザインターフェースに関連する近接検出のために使用することのできるいくつかの検出技術が存在する。以下の議論では、光学ベースの近接検出の使用に焦点を当てる。ユーザインターフェース面全体を光で照明し、デジタルビデオカメラを利用して、オブジェクトから反射された光に基づいてグラフィックディスプレイ面に接触または近接するオブジェクトを認識する、光学ベースの近接検出技法が開発されている。そのようなシステムは、デジタルカメラの視野内のオブジェクトを区別する目的で、周囲照明を克服するためにシステムによるユーザインターフェース面の十分な照明を必要とする。そのようなシステムでのオブジェクトの検出時の周囲光の望ましくない効果を低減する方法は、照明源の数を増加させること、照明源の出力を増大させること、オブジェクトを検出するのに使用される光源によって放射される照明光を偏光させること、波長識別のためのフィルタ、および様々な変調技法を含む。こうした技法のそれぞれは、望ましい均等な照明を達成するのに欠点を有する。

コンピュータシステム用のユーザインターフェースに関する別の最近の進展は、対話式ディスプレイの出現を含む。対話式ディスプレイは、テーブルの上面などの平坦な表面上でユーザに対してグラフィックイメージを提示する。ＰＣが対話式ディスプレイに結合されて、より洗練されたコマンドおよびインターフェース機能を提供するリッチなユーザ対話体験と、システムに入力を与える際のずっと自然な対話体験が提供される。対話式ディスプレイの初期の実施形態は、ディスプレイ面とのユーザ対話に応答するために近接検出を利用するが、他の光学ベースのオブジェクト近接検出システムに共通する上述の問題のうちのいくつかに遭遇した。したがって、周囲光の影響が少ない、より堅牢な光学オブジェクト近接検出方式を提供することがより重要となっている。

対話式ディスプレイのいくつかの実装を以下で詳細に説明する。説明するこうした実装の一態様は、対話式ディスプレイ面上にあるかまたは対話式ディスプレイ面に隣接するオブジェクトまたはオブジェクトと共に与えられたユーザ入力を、走査光源を使用することによって検出する方法に関する。記載の方法は、走査光源で対話式ディスプレイ面を照明するステップを含む。所定の波長の光を放射し、所定の波長の光で対話式ディスプレイ面の少なくとも一部を走査するように走査光源を構成することができ、その結果、対話式ディスプレイ面のその少なくとも一部が、経時的に完全に走査される。走査光源がオブジェクトを照明中に、対話式ディスプレイ面上にあるかまたは対話式ディスプレイ面に隣接するオブジェクトから反射される所定の波長の光がそのように検出される。

以下でさらに詳しく論じられる別の実装は、オブジェクトまたはオブジェクトと共に与えられたユーザ入力を検出するように構成された対話式ディスプレイシステムに関する。グラフィックイメージが表示される対話式ディスプレイ面を有する対話式ディスプレイシステムが説明される。対話式ディスプレイシステムは１つまたは複数の走査光源を含むことができ、その１つまたは複数の走査光源は、対話式ディスプレイ面の少なくとも一部が経時的に完全に走査されるように対話式ディスプレイ面を走査するように構成することができる。対話式ディスプレイシステムはさらに、対話式ディスプレイ面に隣接または接触するオブジェクトから反射させる光を検出するように構成することのできる光検出器を含むものとして説明される。コンピューティングシステムが走査光源および光検出器と通信する。コンピューティングシステムは、プロセッサと機械語命令とを有するメモリを含むことができ、機械語命令は、対話式ディスプレイ面を走査光源で照明すること、対話式ディスプレイ面上にあるかまたは対話式ディスプレイ面に隣接するオブジェクトから反射される走査光源に関連する光を検出することなどの複数の対話式ディスプレイ機能をプロセッサに実施させることができる。走査光源が対話式ディスプレイ面の少なくとも一部を照明中に、反射光が光検出器で検出される。メモリは、対話式ディスプレイ面上にあるかまたは対話式ディスプレイ面に隣接するオブジェクトから反射する検出光に基づいて出力信号を生成する機械語命令を格納する。

以下で詳細に議論するさらに別の実装は、対話式ディスプレイ面上の、または対話式ディスプレイ面に隣接するオブジェクトを検出するように構成される対話式ディスプレイシステムに対するユーザ入力を受け取る方法に関する。この方法は、複数の走査光源のそれぞれを対話式ディスプレイ面の複数の異なる表面領域部分のうちの１つまたは複数と関連付ける。このステップによれば、異なる表面領域部分の組合せは実質上、ユーザ入力を受け取るのに使用することのできる対話式ディスプレイ面に対応する。この方法はまた、所定の時間間隔内に対話式ディスプレイ面の異なる表面領域部分のそれぞれを複数の走査光源のうちの少なくとも１つで照明し、次いで、異なる表面領域部分のうちの少なくとも１つの上にあるかまたはそれに隣接する１つまたは複数のオブジェクトから反射する光を検出するステップを含む。以下でより詳しく議論するように、走査光源のうちの少なくとも１つは、走査光源が照明を供給中に反射される光の光源を供給する。この方法は、複数の異なる表面領域部分のそれぞれの上にあるかまたはそれに隣接する１つまたは複数のオブジェクトから反射された光を検出したことに応答して、複数のオブジェクト検出信号を生成するステップをさらに含む。最後に、この方法は、複数のオブジェクト検出信号を処理して、対話式ディスプレイ面上にあるかまたは対話式ディスプレイ面に隣接する１つまたは複数のオブジェクトから反射した光に関連するユーザ入力を求めるステップを含む。

この概要は、以下の説明でさらに詳細に説明される単純化した形のいくつかの概念を導入するために与えたものである。しかし、この概要は、特許請求された主題の主要な特徴または不可欠な特徴を特定するためのものではなく、特許請求された主題の範囲を決定する際の助けとして使用するためのものでもない。

１つまたは複数の例示的実施形態およびその修正形態の様々な態様および付随する利点は、添付の図面に関連して行われる以下の詳細な説明を参照することによってより良く理解するときに、より容易に理解するであろう。

図および開示の実施形態は限定的なものではない
例示的実施形態が図面の各参照図で示される。本明細書で開示される実施形態および図は限定的なものではなく、例示的なものとみなすべきであるものとする。さらに、以下の特許請求の範囲では代替使用法のリストが「の少なくとも１つ（ａｔ ｌｅａｓｔ ｏｎｅ ｏｆ）」または「の１つ（ｏｎｅ ｏｆ）」に続いて接続詞「および（ａｎｄ）」を使用するとき、「および」の所期の意味は接続詞「または（ｏｒ）」に対応する。

例示的コンピューティングシステム
図１は、対話式ディスプレイテーブルや類似のコンピューティングシステムなどの接続されたクライアントのコンピューティング装置にデジタルメディアをサービスする例示的コンピューティングシステムおよび／またはコンピュータサーバの機能ブロック図である。

以下の議論は、いくつかの方法を実装することのできる適切なコンピューティング環境の簡潔で一般的な説明を与えるものである。さらに、以下の議論は、コンピューティングシステムでプログラムモジュールなどのコンピュータ実行可能命令を実装するための状況を示す。一般に、プログラムモジュールは、特定のタスクを実行し、または特定の抽象データタイプを実装する、ルーチン、プログラム、コンポーネント、データ構造などを含む。マルチプロセッサシステム、メインフレームコンピュータ、パーソナルコンピュータ、プロセッサ制御の消費者向け電子機器、携帯情報端末（ＰＤＡ）（デジタルメディアコンテンツのサーバとして使用されるときはそうである可能性は低い）などを含むその他のコンピューティングシステム構成を適用できることを当業者は理解されよう。一実装は、通信ネットワークを介してリンクされたリモート処理装置によってタスクが実施される分散コンピューティング環境を含む。分散コンピューティング環境では、プログラムモジュールはローカルメモリ記憶装置とリモートメモリ記憶装置のどちらにも位置することができる。

図１を参照すると、様々な方法を実装するのに適した例示的システムが示されている。このシステムは、処理装置２１、システムメモリ２２、およびシステムバス２３を備える、従来型ＰＣ２０の形態の汎用コンピューティング装置を含む。システムバスは、システムメモリを含む様々なシステム構成要素を処理装置２１に結合し、メモリバスまたはメモリコントローラと、周辺バスと、様々なバスアーキテクチャのいずれかを用いるローカルバスとを含むいくつかのタイプのバス構造のいずれでもよい。システムメモリは、読取り専用メモリ（ＲＯＭ）２４およびランダムアクセスメモリ（ＲＡＭ）２５を含む。

システムスタートアップ中などにＰＣ２０内の要素間で情報を転送することを可能にする基本ルーチンを含む基本入出力システム（ＢＩＯＳ）２６が、ＲＯＭ２４内に格納される。ＰＣ２０は、ハードディスク（図示せず）を読み書きするためのハードディスクドライブ２７と、取外し可能磁気ディスク２９を読み書きするための磁気ディスクドライブ２８と、コンパクトディスク読取り専用メモリ（ＣＤ−ＲＯＭ）や他の光媒体などの取外し可能光ディスク３１を読み書きするための光ディスクドライブ３０とをさらに含む。ハードディスクドライブ２７、磁気ディスクドライブ２８、および光ディスクドライブ３０は、それぞれハードディスクドライブインターフェース３２、磁気ディスクドライブインターフェース３３、および光ディスクドライブインターフェース３４によってシステムバス２３に接続される。ドライブと、それに関連するコンピュータ可読媒体とにより、ＰＣ２０に対して、コンピュータ可読機械語命令、データ構造、プログラムモジュール、および他のデータの不揮発性記憶が提供される。記載の例示的環境では、ハードディスク２７、取外し可能磁気ディスク２９、および取外し可能光ディスク３１を使用するが、磁気カセット、フラッシュメモリカード、デジタルビデオディスク（ＤＶＤ）、ベルヌーイカートリッジ、ＲＡＭ、ＲＯＭなどの、コンピュータでアクセス可能なデータおよび機械語命令を格納することのできる他のタイプのコンピュータ可読媒体も使用できることを当業者は理解されよう。

オペレーティングシステム３５、１つまたは複数のアプリケーションプログラム３６、他のプログラムモジュール３７、およびプログラムデータ３８を含む１つまたは複数のプログラムモジュールを、ハードディスク２７、磁気ディスク２９、光ディスク３１、ＲＯＭ２４、またはＲＡＭ２５上にいくつかのプログラムモジュールを格納することができる。ユーザは、キーボード４０やポインティングデバイス４２などの入力装置を介してＰＣ２０にコマンドおよび情報を入力することができる。ポインティングデバイス４２は、マウス、スタイラス、ワイヤレスリモートコントロール、または他のポインタを含むことができるが、現在説明している実施形態に関連して、ユーザは入力および制御のために対話式ディスプレイシステムを利用することができるので、そのような従来型ポインティングデバイスを省略することができる。以下の説明では、「マウス」という用語は、画面上のカーソルの位置を制御するのに有用である任意のポインティングデバイスを包含するものとする。他の入力装置（図示せず）は、マイクロフォン、ジョイスティック、触覚ジョイスティック、ヨーク（ｙｏｋｅ）、フットペダル、ゲームパッド、サテライトディッシュ、スキャナなどを含むことができる。さらに、ＰＣ２０は、プリンタ、以下で詳細に説明する対話式ディスプレイテーブルなどの他のインターフェース装置と通信するためのＢｌｕｅｔｏｏｔｈ無線または他のワイヤレスインターフェースを含むことができる。システムバス２３に結合されるＩ／Ｏインターフェース４６を介して、処理装置２１に上記およびその他の入力／出力（Ｉ／Ｏ）装置を接続することができる。「Ｉ／Ｏインターフェース」という語句は、具体的にはシリアルポート、パラレルポート、ゲームポート、キーボードポート、および／またはユニバーサルシリアルバス（ＵＳＢ）のために使用される各インターフェースを包含するものとする。システムバス２３は、カメラインターフェース（図示せず）にも接続することができ、以下でより詳細に議論するように、カメラインターフェースは、対話式ディスプレイ６０内に含まれるデジタルビデオカメラから信号を受信するために対話式ディスプレイ６０に結合される。その代わりに、デジタルビデオカメラをＵＳＢポートなどの適切なシリアルＩ／Ｏポートに結合することもできる。以下でより詳細に議論するように、光源に制御信号を供給するために、Ｉ／Ｏインターフェース４６または別のインターフェースを介してシステムバス２３を対話式ディスプレイ内の光源に接続することもできる。さらに、ユーザ入力を受信するために、Ｉ／Ｏインターフェース４６または別のインターフェースを介してシステムバス２３を対話式ディスプレイ内の光検出器に接続することもできる。任意選択で、ビデオアダプタ４８などの適切なインターフェースを介してモニタ４７をシステムバス２３に接続することができる。しかし、以下で説明する対話式ディスプレイシステムは、よりリッチな表示を提供することができ、情報の入力およびソフトウェアアプリケーションの制御ためにユーザとも対話し、したがって、好ましくはビデオアダプタに結合される。一般には、ＰＣをスピーカ（図示していないサウンドカードまたは他のオーディオインターフェースを介して）やプリンタなどの他の周辺出力装置（図示せず）にも結合することができる。

以下で詳細に説明するいくつかの方法を単一マシン上で実施することができるが、ＰＣ２０は、リモートコンピュータ４９などの１つまたは複数のリモートコンピュータへの論理接続を使用するネットワーク環境でも動作することができる。リモートコンピュータ４９は別のＰＣ、サーバ（ＰＣ２０とほぼ同様に構成することができる）、ルータ、ネットワークＰＣ、ピア装置、あるいはサテライトまたは他の共通ネットワークノード（すべて図示せず）でよく、通常はＰＣ２０に関連して上記で説明した要素の多くまたはすべてを含むが、図１には外部メモリ記憶装置５０だけを図示してある。図１に示す論理接続は、ローカルエリアネットワーク（ＬＡＮ）５１および広域ネットワーク（ＷＡＮ）５２を含む。そのようなネットワーキング環境は、オフィス、企業全体のコンピュータネットワーク、イントラネット、およびインターネットで一般的なものである。

ＬＡＮネットワーキング環境で使用するとき、ＰＣ２０は、ネットワークインターフェースまたはアダプタ５３を介してＬＡＮ５１に接続される。ＷＡＮネットワーキング環境で使用するとき、ＰＣ２０は通常、インターネットなどのＷＡＮ５２を介して通信を確立するための、モデム５４、またはケーブルモデム、デジタル加入者線（ＤＳＬ）インターフェース、統合サービスデジタル網（ＩＳＤＮ）インターフェースなどの他の手段を含む。モデム５４は内蔵でも外付けでもよく、Ｉ／Ｏデバイスインターフェース４６すなわちシリアルポートを介してシステムバス２３に接続され、またはバスに結合される。ネットワーク環境では、ＰＣ２０によって使用されるプログラムモジュールまたはその一部を、リモートメモリ記憶装置内に格納することができる。図示するネットワーク接続は例示的なものであって、ワイヤレス通信や広帯域ネットワークリンクなどのコンピュータ間の通信リンクを確立する他の手段も使用できることを理解されよう。

例示的な対話面（Ｉｎｔｅｒａｃｔｉｖｅ Ｓｕｒｆａｃｅ）
図２では、フレーム６２内のＰＣ２０を含み、コンピュータ用の光学式入力装置およびビデオディスプレイ装置の両方として働く例示的対話式ディスプレイテーブル６０が示されている。図示されている実施形態は、対話式ディスプレイテーブル６０の一実装の破断図である。図２に示される実施形態では、テキストおよびグラフィックイメージを表示するのに使用される光線８２ａ〜８２ｃが点線を用いて示されており、対話式ディスプレイテーブル６０の対話式ディスプレイ面６４上または対話式ディスプレイ面６４のすぐ上のオブジェクトを感知するのに使用される赤外線（ＩＲ）光線が破線を用いて示されている。テーブル面の周囲は、ユーザの腕、または対話式ディスプレイ面６４上に表示されているグラフィックイメージまたは仮想環境と対話するのに使用することのできるオブジェクトを含む他のオブジェクトを支持するのに有用である。

走査光源６６は、２つの直交する次元、すなわちＸ方向とＹ方向に走査するように駆動される発光ダイオード（ＬＥＤ）、レーザダイオード、その他の適切な走査光源などの様々な発光デバイスのいずれも含むことができる。走査光源６６、および以下で議論する他の各走査光源に対して使用される走査機構は、光ビームで表面のラスタ走査を生成するのに一般的に使用される回転鏡、検流計ミラー、または他の周知の走査機構でよい。一般には、走査光源６６は、赤外線（ＩＲ）スペクトルの波長を有し、したがって人間の目には見えない光を放射するように構成される。しかし、対話式ディスプレイ面６４上に提供される可視イメージの表示との干渉を避けるように、人間の目に見えない任意の波長の光を使用することができる。使用される特定の光源に応じて、走査光源６６をフレーム６２の内側の任意の位置に取り付けることができる。走査光源６６によって生成される光は、破線７８ａ、７８ｂ、および７８ｃで示されるように、対話式ディスプレイ面６４の下側に向かって上方に向けられる。走査光源６６から放射された光は、ベラムまたは光拡散特性を有する他の適切な半透明材料のシートを含むテーブルの半透明層６４ａを通過した後に、対話式ディスプレイ面６４上にあるかまたは対話式ディスプレイ面６４に隣接する任意のオブジェクトから反射する。

以下の説明および特許請求の範囲では、「に隣接する（ｐｒｏｘｉｍａｔｅ ｔｏ）」という用語は、この語句が対話式ディスプレイ面に触れており、またはオブジェクトの反射率などの要素に応じて対話式ディスプレイ面から短距離、例えば最大３センチメートルまたはそれ以上分離されるオブジェクトの両方を包含するという意図で使用される。１つの走査光源６６だけが図示されているが、複数の光源をフレーム６２の内側の周りの間隔を置いた位置に取り付けて、対話式ディスプレイ面の均等な照明を実現できることを理解されよう。走査光源６６で生成される光は、破線７８ａで示されるように、オブジェクトを照明することなくテーブル面から退出することができ、破線７８ｂで示されるように、テーブル面上のオブジェクトを照明することができ、かつ／または破線７８ｃで示されるように、対話式ディスプレイ面から短距離だけ上にあるが対話式ディスプレイ面には接触していないオブジェクトを照明することができる。

対話式ディスプレイ面６４の上のオブジェクトは、ディスプレイ面「上」に置かれ、またはディスプレイ面に少なくとも部分的に接触する「接触」オブジェクト７６ａと、対話式ディスプレイ面に近接するが実際には対話式ディスプレイ面とは接触していない「浮遊」オブジェクト７６ｂとを含む。したがって、「隣接する」という用語が以下の説明で使用されるとき、接触オブジェクトと浮遊オブジェクト（ｈｏｖｅｒ ｏｂｊｅｃｔ）はどちらもディスプレイ面に「隣接する」。対話式ディスプレイ面の下で半透明層６４ａを使用して対話式ディスプレイ面を通過する光を拡散させる結果として、オブジェクトが対話式ディスプレイ面６４の上面に接近するにつれて、オブジェクトがディスプレイ面と実際に接触するときに、オブジェクトによって反射されるＩＲ光の量が最大レベルに増大する。

図２に示されるように、光検出器６８が、対話式ディスプレイ面６４の下で、対話式ディスプレイ面の上に（または対話式ディスプレイ面に隣接して）配設された「接触」オブジェクトまたは「浮遊」オブジェクトから反射するＩＲ光を検出するのに適切な位置で、フレーム６２に取り付けられる。一般には、光検出器６８は、対話式ディスプレイ面６４上の、または対話式ディスプレイ面６４に隣接するオブジェクトから反射する光を検出するのに適した任意の光検出装置でよい。例えば、光検出器６８は、エリアＣＭＯＳセンサまたはエリア電荷結合デバイス（ＣＣＤ）センサでよい。図２に示される実装では１つの光検出器６８が示されているが、対話式ディスプレイ６０内で複数の光検出器６８を使用することができる。光検出器６８は、ＩＲ光のみを透過し、周辺可視光が点線８４ａに沿って対話式ディスプレイ面６４を通過するのをブロックするＩＲ通過フィルタ８６ａを備えることができる。この実装では、光検出器６８が対話式ディスプレイ面６４に隣接するオブジェクトから反射されたＩＲ光のみに応答して出力信号を生成することが好ましいので、走査光源６６から直接放射されるＩＲ光が光検出器６８に進入するのを防止するために、バフル７９が走査光源６６と光検出器６８の間に配設される。点線８４ａで示される経路に沿って移動する周辺ＩＲ光を含む、上部から対話式ディスプレイの内部に対話式ディスプレイ面６４を通過する周辺光に含まれる任意のＩＲ光にも光検出器６８が応答することは明らかであろう。

テーブル面上またはテーブル面の上のオブジェクトから反射するＩＲ光は、（ａ）破線８０ａおよび８０ｂで示されるように、半透明層６４ａ、ＩＲ通過フィルタ８６ａを介して光検出器６８に戻る可能性があるか、または（ｂ）破線８０ｃで示されるように、光検出器６８に進入することなく、対話式ディスプレイ６０内の他の内面で反射または吸収される可能性がある。

半透明層６４ａは、入射ＩＲ光と反射ＩＲ光をどちらも拡散する。したがって、上述のように、対話式ディスプレイ面６４により近い浮遊オブジェクト７６ｂなどの「浮遊オブジェクト」は、ディスプレイ面から遠くに離れた同一の反射率のオブジェクトよりも多くのＩＲ光を光検出器６８に反射する。光検出器６８は、その動作フィールド内の「接触」オブジェクトおよび「浮遊」オブジェクトから反射したＩＲ光を感知し、受けた反射ＩＲ光に対応する検出信号を生成する。この検出信号が処理のためにＰＣ２０に入力され、そのような各オブジェクトの位置と、任意選択でオブジェクトのサイズ、向き、形状、軌跡などの他のパラメータが求められる。ユーザの前腕などのオブジェクトの一部がテーブルの上にあると共に、ユーザの指などの別の部分がディスプレイ面と接触している可能性があることに留意されたい。さらに、オブジェクトに関連する他のパラメータを検出することができる。例えば、オブジェクトは、その底面に、そのオブジェクトに特有の、またはそのオブジェクトがメンバである関連オブジェクトのクラスに特有の、バーコードなどのＩＲ光反射パターンまたは符号化識別子を含むことができる。したがって、オブジェクトまたは反射パターンから反射したＩＲ光に応答して、１つまたは複数の光検出器６８からの検出信号を使用して、そのような特定のオブジェクトを検出することもでき、オブジェクトの他のパラメータまたはオブジェクトに関連する他のパラメータを求めることもできる。

したがって、実施形態は、オブジェクトからの反射ＩＲ光を使用して識別特性を検出することにより、対話式ディスプレイ面６４に対するオブジェクトおよび／またはその位置ならびに他の情報を認識するように動作可能である。オブジェクト、その向き、および他のパラメータをそのように検出および識別するように実施される論理ステップの詳細が、２００４年３月３１日に共に出願された、「Identification Of Object On Interactive Display Surface By Identifying Coded Pattern」という名称の出願番号第１０／８１４，５７７号と、「Determining Connectedness And Offset Of 3D Objects Relative To An Interactive Surface」という名称の出願番号第１０／８１４，７６１号とを含む、本願の譲受人に譲渡された特許出願において説明されている。これら２つの特許出願の開示および図面が、参照により本明細書に（背景情報として）具体的に組み込まれるが、以下で特許請求される新規な手法を使用可能にするのに不可欠なものとは考えられない。

ＰＣ２０は、図２の実施形態で示されるように対話式ディスプレイテーブル６０と一体でよく、あるいはその代わりに、図３の実施形態に示されるように対話式ディスプレイテーブルの外部でもよい。図３では、対話式ディスプレイテーブル６０’がデータケーブル６３を介して外部ＰＣ２０（外部ＰＣ２０は上述のように任意選択モニタ４７を含む）に接続される。あるいは、ワイヤレスリンク（すなわちＷｉＦｉまたは他の適切な無線信号リンク）を介して外部ＰＣ２０を対話式ディスプレイテーブル６０’に接続することもできる。この図でさらに示されるように、１組の直交するＸ軸とＹ軸が、対話式ディスプレイ面６４ならびに「０」で示される原点と関連付けられる。別個に図示していないが、各直交軸に沿った複数の座標位置を使用して、対話式ディスプレイ面６４上の任意の位置を指定できることを理解されよう。

対話式ディスプレイテーブル６０’が外部ＰＣ２０に（図３のように）接続される場合、またはセットトップボックス、ビデオゲーム、ラップトップコンピュータ、メディアコンピュータ（図示せず）などの何らかの他のタイプの外部コンピューティング装置に接続される場合、対話式ディスプレイテーブル６０’は入力／出力装置を備える。対話式ディスプレイテーブル６０’に対する電力が、電力リード線６１を通じて供給され、電力リード線６１は従来型交流（ＡＣ）電源（図示せず）に結合される。対話式ディスプレイテーブル６０’に接続されるデータケーブル６３を、ＰＣ２０上のＵＳＢ２．０ポート、米国電気電子学会（ＩＥＥＥ）１３９４（またはＦｉｒｅｗｉｒｅ）ポート、またはイーサネット（登録商標）ポートに接続することができる。ワイヤレス接続の速度が引き続き向上するときに、対話式ディスプレイテーブル６０’をそのような高速ワイヤレス接続を介して、または他の適切な有線またはワイヤレスデータ通信リンクを介してＰＣ２０などのコンピューティング装置に接続できることも企図される。対話式ディスプレイシステムの一体部分として内部に含まれとしても、外部であるとしても、ＰＣ２０は、デジタルビデオカメラ６８からのデジタルイメージを処理するアルゴリズムを実行し、対話式ディスプレイテーブルのより直感的なユーザインターフェース機能を有利に使用するように設計されるソフトウェアアプリケーションを実行し、かつそのような機能を利用するように具体的には設計されていない他のソフトウェアアプリケーションを実行するが、なお対話式ディスプレイテーブルの入力および出力機能をうまく利用することができる。さらに別の代替実施形態として、対話式ディスプレイシステムを外部コンピューティング装置に結合することができるが、イメージ処理およびその他のタスクを行う内部コンピューティング装置を含み、その場合、イメージ処理およびその他のタスクは外部ＰＣでは行われない。

対話式ディスプレイテーブル６０または６０’（すなわち上記で議論した対話式ディスプレイテーブルの実施形態のいずれか）の重要かつ強力な機能は、オブジェクト７６ａなどのディスプレイ面の上面に置かれているオブジェクト（またはその特徴）、あるいはオブジェクト７６ｂなどのディスプレイ面のすぐ上に浮遊しているオブジェクト（またはその特徴）を識別することにより、グラフィックイメージあるいはゲームまたは他のソフトウェアアプリケーション用の仮想環境を表示し、対話式ディスプレイ面６４上に見えるグラフィックイメージまたは仮想環境とのユーザ対話を可能にする能力である。

図２を再び参照すると、対話式ディスプレイテーブル６０は、対話式ディスプレイ面６４上にグラフィックイメージ、仮想環境、またはテキスト情報を表示するのに使用されるビデオプロジェクタ７０を含むことができる。ビデオプロジェクタは、例えば少なくとも６４０×４８０ピクセルの解像度を有する、液晶ディスプレイ（ＬＣＤ）またはデジタル光プロセッサ（ＤＬＰ）型、ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｏｎ ｓｉｌｉｃｏｎ（ＬＣｏＳ）ディスプレイ型でよい。ＩＲ光が対話式ディスプレイ面６４上の、または対話式ディスプレイ面６４の上のオブジェクトから反射したＩＲ光と干渉する可能性がある場合、ＩＲカットフィルタ８６ｂをビデオプロジェクタ７０のプロジェクタレンズの正面に取り付けて、ビデオプロジェクタによって放射されたＩＲ光が対話式ディスプレイテーブルハウジングの内部に進入するのを防止することができる。ビデオプロジェクタ７０は、点線の経路８２ａに沿って光を第１ミラーアセンブリ７２ａに向けて投射する。第１ミラーアセンブリ７２ａは、ビデオプロジェクタ７０から受けた点線の経路８２ａからの投射光を、点線の経路８２ｂに沿ってフレーム６２透明な開口９０ａを通じて反射し、その結果、反射投射光が第２ミラーアセンブリ７２ｂに入射する。第２ミラーアセンブリ７２ｂは、点線の経路８２ｂからの光を、点線の経路８２ｃに沿って、プロジェクタレンズの焦点にある半透明層６４ａ上に反射し、その結果、投射イメージが可視となり、閲覧用の対話式ディスプレイ面６４上に焦点が合う。

位置合せ装置７４ａおよび７４ｂが設けられ、それらは、第１および第２ミラーアセンブリの角度を調節して、ディスプレイ面上に投射されるイメージがディスプレイ面に位置合せされることを保証するためのねじ山付きロッドおよび回転可能調節ナットを含む。投射イメージを所望の方向に向けることに加えて、こうした２つのミラーアセンブリの使用により、プロジェクタ７０と半透明層６４ａとの間の経路を長くすることが実現され、より長い焦点距離の（および低コストの）プロジェクタレンズをプロジェクタと共に使用することが可能となる。以下でより詳細に説明するある代替実装では、ビデオプロジェクタの代わりにＬＣＤパネルまたは有機ＥＬディスプレイ（ＯＬＥＤ）パネルを利用することができる。

上記および以下の議論では、対話式ディスプレイテーブル６０および６０’の形態の対話式ディスプレイ装置を説明する。それでも、対話式ディスプレイ面は概して水平なテーブルトップの形態である必要はないことを理解されたい。適切には、この説明で述べる原理は、水平以外の向きで取り付けられる様々な形状および曲率のディスプレイ面も含み、かつそれに適用される。したがって、以下の説明では、物理的オブジェクトを対話式ディスプレイ面「上に」配置することに言及するが、物理的オブジェクトをディスプレイ面と接触させて配置し、あるいはディスプレイ面に隣接して配置することにより、物理的オブジェクトを対話式ディスプレイ面に隣接して配置することができる。

次に図４Ａを参照すると、走査光源４６６および光検出器４６８を含む対話式ディスプレイ面４６０の単純化した概略断面図が与えられている。浮遊オブジェクト４７６ａがディスプレイ面４６４の上に示されており、接触オブジェクト４７６ｂがディスプレイ面４６４と接触するように示されている。走査光源４６６および光検出器４６８を制御するようにＰＣ２０が構成される。図４Ｂに示される一実装では、光検出器４６８および走査光源４６６が、一体型走査光源および走査光検出器（ｉｎｔｅｇｒａｌ ｓｃａｎｎｉｎｇ ｌｉｇｈｔ ｓｏｕｒｃｅ ａｎｄ ｓｃａｎｎｉｎｇ ｌｉｇｈｔ ｄｅｔｅｃｔｏｒ）４９０で置き換えられ、その結果同一の走査機構（図示せず）が、走査光源および走査光検出器を駆動して、対話式ディスプレイ面の同一の部分を同時に走査する。従来技術の「フルエリア照明」に勝るこの解決策の利点は、必要な全システム照明電力が少ないことである。照明ビームは空間的に断面サイズが小さいが、ずっと明るく、その結果、照明ビームが、対話式ディスプレイ面の部分にわたって走査される小さいエリアに集中する。

動作の際に、対話式ディスプレイ面４６４を走査光源４６６で照明し、それによって光源が所定の波長の光を放射し、対話式ディスプレイ面の一部を所定の波長の光で走査するように対話式ディスプレイシステム４６０（図４Ａ）を構成することができる。対話式ディスプレイ面は、望ましい時間間隔にわたって完全に走査される。対話式ディスプレイ面上にあるかまたは対話式ディスプレイ面に隣接するオブジェクトから反射する所定の波長の光を検出するが、対話式ディスプレイ面にわたって光検出器を走査することなく対話式ディスプレイシステム４６０を構成することもできる。以下で説明するように、非走査光検出器を使用して所定の波長の光で走査光源がオブジェクトを照明しているとき、反射した光が検出される。

走査光源４６６は一般に、対話式ディスプレイ面４６４の少なくとも指定の表面領域部分にわたって赤外線または近赤外線スペクトルの光を漸進的に走査するように構成され、指定の表面領域部分は、対話式ディスプレイ面全体でよく、または対話式ディスプレイ面の異なる部分を走査するのに複数の走査光源４６６が使用される場合は、対話式ディスプレイ面の一部でよい。

ある例示的実装では、走査光源４６６は、オブジェクト特徴サイズを照明する平行ビーム直径が４ｍｍまで低下したラスタ走査エミッタ光源である。この例示的実装では、走査光源４６６は、約１５２×１１４ピクセルのサイズの対話式ディスプレイ面４６４の一部を、例えば毎秒約６０回のレートで瞬間的に照明することができる。対話式ディスプレイ面を走査しなければならないレート、走査光の必要な強度、他の考慮すべき点などの応用例の特定の要件に応じて、ほとんど任意の照明ビームサイズについて走査光源４６６を構成できることを当業者は理解されよう。

走査光源４６６は一般に、浮遊オブジェクト４７６ａおよび接触オブジェクト４７６ｂをそれぞれ照明する照明ビーム４７８ａおよび４７８ｂで示されているように、ディスプレイ面４６４に隣接するオブジェクトを照明するように構成される。一例として（図３の対話式ディスプレイ面６４を参照する）、走査光源４６６が、ｘ軸に沿って３１ｋＨｚで、かつｙ軸に沿って６０Ｈｚで対話式ディスプレイ面を走査するように構成される。ナロービーム照明で対話式ディスプレイ面を照明すると、対話式ディスプレイ面での走査光ビームの輝度が向上すると共に、光源出力要件が低減され、オブジェクト検出のために使用される光の波長の信号対雑音比が著しく向上する。明らかに、そのようなシステムは、対話式ディスプレイ面の連続的（すなわち非走査）照明を提供するシステムよりも周辺光の干渉の影響をかなり受けにくい。

光検出器４６８は、線形検出器、点検出器、および／またはエリア光検出器などの、対話式ディスプレイ面４６４上の、または対話式ディスプレイ面４６４に隣接するオブジェクトから反射した光を検出するように構成された任意の光検出装置でよい。一実装では、図４Ｂに示される実施形態に対応して、一体型走査光源および検出器４９０は、一体型走査光源によって生成される走査光ビームの現在の配置と概して一致する対話式ディスプレイ面上の領域から光を検出するように構成されたカンチレバー式振動検出器（ｃａｎｔｉｌｅｖｅｒｅｄ ｖｉｂｒａｔｉｎｇ ｄｅｔｅｃｔｏｒ）を含む。この実装が、一体型走査光源および検出器４９０の走査光検出器が対話式ディスプレイ面に隣接するオブジェクトから破線４８０ａおよび４８０ｂで示される経路に沿って反射する光を受けていることを示すことによって具体的に示されている。例示的一実装では、一体型走査光源および検出器４９０の走査光検出器は７００ｋＨｚ以上の動作帯域幅を有する。一体型走査光源および検出器４９０は一般に、照明を走査し、かつ光検出を走査するのに同一の走査光学系および結像光学系を使用する。対話式ディスプレイシステムでの使用に適した走査光源および走査光検出器は当業者に周知であり、本明細書で詳細に説明する必要はない。

動作の際に、一体型走査光源および検出器４９０は、ディスプレイ面４６４の一部を照明すると同時に、対話式ディスプレイ面のほぼ照明部分内のディスプレイ面４６４上の、またはディスプレイ表面４６４に隣接するオブジェクトから反射した光を検出する（すなわち、ディスプレイ表面４６４上の検出オブジェクト、またはディスプレイ表面４６４の上に浮遊するオブジェクトを検出する）。一例として（図示せず）、複数の一体型走査光源および検出器４９０装置がそれぞれ、対話式ディスプレイ面４６４の異なる部分を走査するように構成される。このようにして、複数の走査光源で対話式ディスプレイ面４６４全体を迅速に走査することができ、高解像度のオブジェクト検出が可能となる。一実装では、対話式ディスプレイ面を複数の異なる隣接する表面部分に分割することができ、そのそれぞれが、異なる一体型走査光源および検出器４９０で走査される。より具体的には、１つの例示的実装は、対話式ディスプレイ面４６４の全使用可能表面積の１／９に対応する異なる照明領域にそれぞれ割り当てられる９個の一体型走査光源および検出器４９０装置（別々には図示せず）を含む。

一体型走査光源および検出器４９０で検出された光に基づいて対話式ディスプレイ面に近接するオブジェクトの特徴を検出および／または決定するようにＰＣ２０を構成することができ、複数の一体型走査光源および検出器４９０装置が使用される場合、ＰＣは、複数の走査光検出器のそれぞれからの信号を組み合わせ、照明領域うちの複数に近接する可能性のあるオブジェクトに関してこの機能を実施することができる。したがって、対話式ディスプレイテーブル４６０は、対話式ディスプレイ面の１つまたは複数の走査領域を１つまたは複数の一体型走査光源および検出器４９０装置で走査することによって与えられた、オブジェクトから反射する光のパラメータに基づいて、サイズ、形状、向き、軌跡、あるいはオブジェクトに関連する１つまたは複数の特徴を決定することができる。

次に図５Ａを参照すると、走査光源５６６および感光性光表面（ｐｈｏｔｏｓｅｎｓｉｔｉｖｅ ｌｉｇｈｔ ｓｕｒｆａｃｅ）５６８を含む対話式ディスプレイ５６０の概略断面図が示されている。図５Ａに示される実施形態は、対話式ディスプレイ面５６４上のオブジェクト（例えば接触オブジェクト５７６ｂ）または対話式ディスプレイ面５６４に隣接するオブジェクト（例えば浮遊オブジェクト５７６ａ）から反射する光を検出するように実装することのできる代替光検出システムを示す。走査光源５６６は、光５７８ａおよび５７８ｂのビームを放射し、次いでそれらがそれぞれオブジェクト５７６ａおよび５７６ｂから（例えば反射ビーム５８０ａおよび５８０ｂ）感光性光表面５６８上に反射する。例示的対話式ディスプレイ面５６４は、ＬＣＤまたはＯＬＥＤアレイディスプレイなどのフラットパネルディスプレイを含むことができる。この例では、感光性光表面５６８が走査光源５６６によって放射された光を透過するが、対話式ディスプレイ面５６４に隣接するオブジェクトから反射した入射光を検出する。感光性光表面５６８は一般に、ディスプレイ面５６４に隣接して配置される。図５Ａに示される例で示すように、感光性光表面５６８は、対話式ディスプレイ面５６４の下に貼り付けられた光検出層でもよく、ディスプレイ面と一体的に形成することができる。

感光性光検出器５６８は一般に、例えばフォトトランジスタアレイまたはフォトダイオードアレイを備えるプレーナアレイ検出器である。ある実装では、感光性光検出器５６８は、ディスプレイの製造中にフラットパネルディスプレイ装置と一体形成される。一体型ディスプレイ／検出器装置は、下面に入射する赤外線範囲の光を容易に透過することができるが、ディスプレイの上から反射した同一波長範囲の光を、可視波長範囲で表示されるイメージの品質に影響を及ぼすことなく検出することができる。このようにして、走査光源５６６からのＩＲ光が、対話式ディスプレイ面５６４に近接する任意のオブジェクトを照明するために光検出器５６８を通過することが可能となる。動作の際に、走査光源５６６から放射され、対話式ディスプレイ面５６４に近接するオブジェクトから反射される光が光検出器５６８に入射し、ＰＣ２０に入力される検出信号が生成される。他の実装では、対話式ディスプレイ面５６４を照明し、対話式ディスプレイ面に近接するオブジェクトから反射した光を検出するために走査光源５６６を制御するようにＰＣ２０を構成することができる。図４Ａを参照しながら上記で論じたように、１つの走査光源、または照明リフレッシュ速度および検出応答解像度を最大にするために、所定の時間間隔にわたって対話式ディスプレイ面５６４の異なる部分を照明するようにそれぞれ構成される複数の走査光源を使用して走査光源５６６を実装することができる。

図５Ｂに、４つの走査光源５６６ａ〜５６６ｄが対話式ディスプレイ面５６４の４つの異なる部分、すなわち部分５５５、５５６、５５７、および５５８を照明するように構成される一実施形態を示す。対話式ディスプレイ面の各部分が、光線５７８ａ〜５７８ｄで示されるように、走査光源５６６ａ〜５６６ｄのうちの相異なる走査光源でそれぞれ照明される。走査光源は、ディスプレイ面５６４に近接し、走査光源が照明している特定の部分内にある任意のオブジェクトを照明する。例えば、「接触」オブジェクト５７６ｂが部分５５７に接触しており、走査光源５６６ｃによって照明される。浮遊オブジェクト５７６ａが対話式ディスプレイ面５６４の部分５５８近傍に示されており、さらに、走査照明光を光検出器５６８に（例えば光線５８０ａとして）反射するように示されている。走査光源５６６ａ〜５６６ｄのそれぞれを、オブジェクトおよびユーザ入力検出のために対話式ディスプレイ面５６４の対応する部分（例えば部分５５５、５５６、５５７、および５５８のいずれか）を照明するように構成することができると共に、イメージ（例えばイメージ５９９）が対話式ディスプレイ面上でユーザに同時に表示されることを業者は理解されよう。

図５Ｂに示される例は、一体型フラットパネルディスプレイおよび感光性アレイ光検出器５６８を含み、表面または層として形成される一体型フラットパネルディスプレイおよび感光性アレイ光検出器５６８が、図５Ｃにより詳細に示されている。そのような装置のアレイに典型的なディスプレイ要素５４０（例えばピクセル）が、一体型フラットパネルディスプレイおよび感光性アレイ光検出器５６８の構成要素として図５Ｃに示されている。アレイ中のそのような装置にやはり典型的な光検出器要素５４２が、図５Ｃに略図で示されている。ディスプレイ要素５４０がＬＣＤまたはＯＬＥＤパネルのピクセル、またはピクセルのクラスタでよいことを理解されよう。光検出器要素５４２は、例えば単一デバイスあるいはフォトトランジスタまたはフォトダイオードのクラスタでよい。図５Ａ〜５Ｃは一体型フラットパネルディスプレイおよび感光性アレイ光検出器５６８を示すが、図２、３、４Ａ、４Ｂを参照しながら議論した代替のディスプレイタイプおよび検出器タイプを、図５Ｂに示されるディスプレイ面の特定の部分を照明するように構成された複数の走査光源と共に使用することもできることを理解されたい。この場合、走査光検出器は、対話式ディスプレイ面の様々な部分とも関連付けられ、その部分と関連付けられた走査光源でその部分を走査する。

図６は、対話式ディスプレイ面上の、または対話式ディスプレイ面に隣接するオブジェクトを検出する例示的方法６００を示す流れ図である。方法６００は、図１〜５を参照しながら議論した構成要素、装置、および技法で、いくつかの実施形態として実装することができる。ある実装では、方法６００の１つまたは複数のステップが、コンピュータ実行可能コードまたは機械語命令を含むコンピュータ可読媒体上に具体化され、それによって、コンピュータ可読コードがプロセッサで実行されるときに一連のステップが実施される。以下の説明では、方法６００の様々なステップを、方法ステップを実施する１つまたは複数のコンピューティングシステムプロセッサに関して説明する。ある実装では、方法６００の目的から逸脱することなく、または異なる結果を生成することなく、方法６００のいくつかのステップを組み合わせることができ、同時に実施することができ、または異なる順序で実施することができる。方法６００はステップ６１０で開始する。

ステップ６１０では、少なくとも１つの走査光源が対話式ディスプレイ面を走査するとき、対話式ディスプレイ面の一部がその少なくとも１つの走査光源で照明される。走査光源は、対話式ディスプレイ面が可視グラフィックおよび／またはテキストイメージをアクティブに表示しているかどうかとは無関係に対話式ディスプレイ面の部分を照明することができる。一実装では、複数の走査光源のそれぞれが、対話式ディスプレイ面の特定の異なる部分を照明するように構成され、それによって対話式ディスプレイ面全体が、複数の走査光源によって所定の時間間隔にわたって照明される。

ステップ６２０では、走査光源が対話式ディスプレイ面の部分を照明中に、対話式ディスプレイ面に近接するオブジェクトから反射する、走査光源からの光が光検出器で検出される。走査光源が対話式ディスプレイ面の部分を照明している間に光を検出することができる。一実装では、走査光源で走査するように構成された走査光検出器で光が検出され、その結果、走査光源によって走査されている対話式ディスプレイ面の部分が、走査光検出器でも同期式に走査される。走査光源と走査光検出器は、それらが一緒に走査するように一体型とすることができ、または対話式ディスプレイ面の同一の一般領域を走査するように同期することができる。別の実装では、光検出器は走査光検出器ではなく、対話式ディスプレイ面に接触し、または対話式ディスプレイ面の上に浮遊しているオブジェクトから反射された光を単に検出するエリア光検出器である。

ステップ６３０では、対話式ディスプレイ面上にあるかまたは対話式ディスプレイ面に隣接するオブジェクトから反射し、光検出器で受領される検出光に応答して、出力信号が光検出器によって生成される。一実装では、出力信号が、光検出器に結合されたコンピューティングシステムで処理され、対話式ディスプレイ面に近接する１つまたは複数のオブジェクトの特徴を検出または決定するように印加することができる。一例として、オブジェクトの配置に基づいて、または対話式ディスプレイ面に近接して検出される１つまたは複数のオブジェクトの特徴に基づいてユーザ入力を決定するように出力信号を印加することができる。

図７は、対話式ディスプレイ面に近接するオブジェクトを検出するように構成される対話式ディスプレイシステムに対するユーザ入力を受け取る例示的方法の論理ステップを示す別の流れ図である。図１〜５を参照しながら議論した構成要素、装置、および技法で、いくつかの実施形態として方法７００を実装することができる。ある実装では、方法７００の１つまたは複数のステップを、コンピュータ実行可能コードまたは機械語命令を含むコンピュータ可読媒体上に具体化することができ、それによって、コンピュータ可読コードがプロセッサで実行されるときに一連のステップが実施される。以下の説明では、方法６００の様々なステップを、方法ステップを実施する１つまたは複数のコンピューティングシステムプロセッサに関して説明する。ある実装では、方法７００の目的から逸脱することなく、または異なる結果を生成することなく、方法７００のいくつかのステップを組み合わせることができ、同時に実施することができ、または異なる順序で実施することができる。方法７００はステップ７１０で開始する。

ステップ７１０では、複数の走査光源のそれぞれが、対話式ディスプレイ面の複数の異なる表面領域部分のうちの１つまたは複数と関連付けられる。一実装では、一緒に取られる異なる表面領域部分の組合せが、ユーザ入力に対して使用される対話式ディスプレイ面の全面積にほぼ等しい。複数の走査光源のそれぞれが、走査光源が照明する対話式ディスプレイ面の異なる特定の部分と関連付けられる。

ステップ７２０では、対話式ディスプレイ面の異なる表面領域部分のそれぞれが、所定の時間間隔内に複数の走査光源のうちの少なくとも１つで照明される。一実装では、対話式ディスプレイ面全体を照明するのに必要な時間を最小限に抑えるために、所定の時間間隔が、表面領域部分の合計数および走査光源の合計数に基づいて決定される。

ステップ７３０では、異なる表面領域部分のうちの少なくとも１つの上にあるかまたはそれに隣接する１つまたは複数のオブジェクトから反射する光が検出される。一実装では、複数の走査光源のうちの少なくとも１つが、走査光源が照明を与えているときに反射される光に関する光源を提供する。一実装では、オブジェクトから反射される光が走査光検出器で検出される。別の実装では、光が、走査されていない光検出器、例えば対話式ディスプレイ面に隣接して配置される光検出器のアレイで検出される。

ステップ７４０では、ステップ７３０で検出される１つまたは複数のオブジェクトから反射する光に基づいて複数のオブジェクト検出信号が生成される。別の実装では、生成される複数の光検出信号が、光検出器と通信しているコンピューティングシステムに入力される。

ステップ７５０では、複数のオブジェクト検出信号が処理され、ユーザ入力が確定される。一実装では、ユーザ入力が、対話式ディスプレイ面に近接する１つまたは複数のオブジェクトから反射する光と関連付けられる。例えば、オブジェクトは、ユーザ入力として解釈することのできる特定の光反射特性を有することができ、またはオブジェクトは、ユーザによって対話式ディスプレイ面に近接して配置されたときに、ユーザ入力を与える光学式バーコードなどの光反射／吸収コードをその表面上に有することができる。

別の実装は、方法７００のステップのうちの少なくとも１つを実施中に対話式ディスプレイ面上のイメージを表示するステップと、次いで、表示されるイメージと対話するようにユーザ入力を適用するステップとを含む。

本発明を実施する好ましい形態およびそれに対する修正形態に関連して本発明を説明したが、以下の特許請求の範囲内で、本発明に対して多くの他の多くの修正形態を作成できることを当業者は理解されよう。したがって、本発明の範囲は上記の説明に決して限定されず、以下の特許請求の範囲の参照によって完全に決定されるものとする。

本発明を実施する際に対話式ディスプレイ面と共に使用するのに適した一般的には従来型のコンピューティング装置またはＰＣの機能ブロック図である。 一体型ＰＣを含む対話式ディスプレイテーブルの形態の対話式ディスプレイ面の内部構成要素を示す断面図である。 対話式ディスプレイテーブルが外部ＰＣと接続される一実施形態の等角投影図である。 走査している対話式ディスプレイ面の一部からの反射光を一般に検出する別々の走査光源およびエリア検出器を含む対話式ディスプレイ面の概略断面図である。 一緒に走査する一体型走査光源および走査検出器を含む対話式ディスプレイ面の概略断面図である。 走査光源と対話式ディスプレイ面に隣接する感光性検出器のアレイとを含む対話式ディスプレイ面の概略断面図である。 対話面の特定の部分を照明するように構成された複数の走査光源と、対話式ディスプレイ面に隣接して（または対話式ディスプレイ面と一体に）配置された感光性検出器のアレイと含む対話式ディスプレイシステムの概略部分等角投影図である。 図５Ｂに示される例による感光性検出器のアレイを含むフラットパネルディスプレイの概略部分図である。 対話式ディスプレイ面上の、または対話式ディスプレイ面に隣接するオブジェクトを検出する例示的方法のステップを示す流れ図である。 対話式ディスプレイ面上の、または対話式ディスプレイ面に隣接するオブジェクトを検出するように構成される対話式ディスプレイシステムに対するユーザ入力を受け取る例示的方法のステップを示す流れ図である。

Claims (20)

1. オブジェクトまたはオブジェクトと共に与えられたユーザ入力を走査光源を使用して検出する方法であって、前記オブジェクトは対話式ディスプレイ面上にあるかまたは対話式ディスプレイ面に隣接する場合において、
   （ａ）少なくとも１つの走査光源で前記対話式ディスプレイ面を照明するステップと、
   ここで、前記少なくとも１つの走査光源は、所定の波長の光を放射し、前記所定の波長の光で前記対話式ディスプレイ面の少なくとも一部を走査するように構成され、その結果、前記対話式ディスプレイ面の少なくとも前記一部が経時的に完全に走査され、
   （ｂ）前記対話式ディスプレイ面上にあるかまたは前記対話式ディスプレイ面に隣接するオブジェクトから反射される前記所定の波長の光を検出するステップと、
   ここで、前記走査光源が前記オブジェクトを前記所定の波長の光で照明中に、反射される光が検出され、
   とを具え、
   前記検出するステップは、前記対話式ディスプレイ面に隣接し、または前記対話式ディスプレイ面と接触する前記オブジェクトから反射する光を検出するために、前記対話式ディスプレイ面に隣接して配置された感光性層を使用し、
   前記感光性層は、前記走査光源によって放射された光を透過し、かつ、前記対話式ディスプレイ面上にあるかまたは前記対話式ディスプレイ面に隣接するオブジェクトから反射される前記所定の波長の光を検出することを特徴とする方法。
2. 前記走査光源が、前記所定の波長の光放射を赤外線スペクトルで放射するように構成されることを特徴とする請求項１記載の方法。
3. 検出する前記ステップは、前記走査光源とほぼ同期して対話式ディスプレイ面を走査して、前記対話式ディスプレイ面上にあるかまたは前記対話式ディスプレイ面に隣接する前記オブジェクトから反射する光を検出するステップを含むことを特徴とする請求項１記載の方法。
4. 検出する前記ステップは、所定の波長の光で照明されるエリアが、オブジェクトから反射される光が検出される検出のエリアと一致するように、対話式光表面の走査を前記走査光源と結合するステップを含むことを特徴とする請求項３記載の方法。
5. （ａ）前記対話式ディスプレイ面を複数の異なる領域に分割するステップと、
   （ｂ）前記複数の領域のいずれかに隣接または接触するオブジェクトから反射する光を検出中に、異なる走査光源を使用して、各領域について、前記照明するステップ（ａ）および前記検出するステップ（ｂ）と
   を繰り返すステップと
   をさらに具えたことを特徴とする請求項１記載の方法。
6. 前記複数の領域のそれぞれで反射する光を検出する前記ステップからの出力を組み合わせ、その結果、前記対話式ディスプレイ面全体についての複合出力が供給されるステップをさらに具えたことを特徴とする請求項５記載の方法。
7. 前記検出するステップは、
   （ａ）オブジェクトによって反射される光から求められるオブジェクトの特徴に基づく前記対話式ディスプレイ面に隣接または接触する特定のオブジェクトと、
   （ｂ）前記オブジェクトのサイズと、
   （ｃ）前記オブジェクトの形状と、
   （ｄ）経時的な前記オブジェクトの軌跡と、
   （ｅ）前記オブジェクトの向きと、
   （ｆ）前記オブジェクトから反射した光のパラメータに基づく前記オブジェクトに関連する特徴のうちの少なくとも１つを検出するステップと
   を含むことを特徴とする請求項１記載の方法。
8. ユーザインターフェース表面上の、またはユーザインターフェース表面に隣接するオブジェクトを検出する対話式ディスプレイシステムであって、
   （ａ）グラフィックイメージが表示される対話式ディスプレイ面と、
   （ｂ）前記対話式ディスプレイ面の少なくとも一部が経時的に完全に走査されるように前記対話式ディスプレイ面の前記少なくとも一部を走査するように構成された少なくとも１つの走査光源（５６６）と、
   （ｃ）前記対話式ディスプレイ面に隣接または接触するオブジェクトから反射させる光を検出するように構成された光検出器と、
   前記光検出器は、前記検出する前記ステップは、前記対話式ディスプレイ面に隣接し、または前記対話式ディスプレイ面と接触する前記オブジェクトから反射する光を検出するために、前記対話式ディスプレイ面に隣接して配置された感光性層（５６８）を有し、
   （ｄ）前記走査光源および前記光検出器と通信するコンピューティングシステムであって、プロセッサと、前記プロセッサと通信するメモリとを含み、前記メモリは、複数の対話式ディスプレイ機能をプロセッサに実施させる機械語命令を格納し、前記複数の対話式ディスプレイ機能は、
   （ｉ）前記対話式ディスプレイ面の少なくとも一部を前記少なくとも１つの走査光源で照明すること、
   （ｉｉ）前記走査光源が前記対話式ディスプレイ面の前記部分を照明中に、前記対話式ディスプレイ面上にあるかまたは前記対話式ディスプレイ面に隣接するオブジェクトから反射される前記走査光源に関連する光を前記光検出器の前記感光性層で検出すること、
   前記感光性層は、前記走査光源によって放射された光を透過し、かつ、前記対話式ディスプレイ面上にあるかまたは前記対話式ディスプレイ面に隣接するオブジェクトから反射される前記所定の波長の光を検出し、
   （ｉｉｉ）前記対話式ディスプレイ面上にあるかまたは前記対話式ディスプレイ面に隣接するオブジェクトから反射する検出光に基づいて出力信号を生成すること
   を含むコンピューティングシステムと
   を具えたことを特徴とする対話式ディスプレイシステム。
9. 前記光検出器は、
   （ａ）エリア光検出器、
   （ｂ）線形光検出器、および
   （ｄ）ポイント光検出器
   のうちの１つであることを特徴とする請求項８記載の対話式ディスプレイシステム。
10. 前記光検出器と前記走査光源が一緒に走査するように前記光検出器が前記走査光源と一体化されることを特徴とする請求項９記載の対話式ディスプレイシステム。
11. 前記光検出器は、前記走査光源によって放射される照明光ビームと一致して走査される走査光検出器であることを特徴とする請求項１０記載の対話式ディスプレイシステム。
12. 前記感光性層は、フォトトランジスタアレイであることを特徴とする請求項８記載の対話式ディスプレイシステム。
13. 前記走査光源が、赤外線スペクトルの波長の光放射を放射するように構成されることを特徴とする請求項８記載の対話式ディスプレイシステム。
14. 前記対話式ディスプレイ面は光拡散層をさらに具えたことを特徴とする請求項８記載の対話式ディスプレイシステム。
15. 前記グラフィックイメージが、前記対話式ディスプレイ面上に、
    （ａ）プロジェクタ、
    （ｂ）液晶ディスプレイパネル、および
    （ｃ）有機ＥＬディスプレイパネル
    のうちの１つで形成されることを特徴とする請求項８記載の対話式ディスプレイシステム。
16. 前記走査光源は、平行光ビームを有するレーザであることを特徴とする請求項８記載の対話式ディスプレイシステム。
17. 前記対話式ディスプレイ面上の、または前記対話式ディスプレイ面に隣接するオブジェクトを検出するように構成される対話式ディスプレイに対するユーザ入力を受け取るステップをさらに具え、
    該受け取るステップは、
    （ａ）複数の走査光源のそれぞれを、前記対話式ディスプレイ面の複数の異なる表面領域部分のうちの１つまたは複数と関連付けるステップと、
    ここで、前記異なる表面領域部分の組合せは、実質的にユーザ入力を受け取るのに使用可能な前記対話式ディスプレイ面の一部を記述するものであり、
    （ｂ）所定の時間間隔内に前記複数の走査光源のうちの少なくとも１つで前記対話式ディスプレイ面の異なる表面領域部分のそれぞれを照明するステップと、
    （ｃ）前記異なる表面領域部分のうちの少なくとも１つの上にあるかまたはそれに隣接する１つまたは複数のオブジェクトから反射する光を検出するステップと、
    ここで、前記複数の走査光源のうちの少なくとも１つが、前記走査光源が照明を与えているときに反射する光の光源を提供し、
    （ｄ）前記複数の異なる表面領域部分のそれぞれの上にあるかまたは隣接する１つまたは複数のオブジェクトから光を検出する前記ステップに基づいて、複数のオブジェクト検出信号を生成するステップと、
    ここで、前記複数のオブジェクト検出信号は、前記１つまたは複数のオブジェクトから反射する光を記述するものであり、
    （ｅ）前記複数のオブジェクト検出信号を処理して前記ユーザ入力を受け取るステップと、
    ここで、前記ユーザ入力は、前記対話式ディスプレイ面上にあるかまたは前記対話式ディスプレイ面に隣接する１つまたは複数のオブジェクトから反射する光と関連付けられたものであり、
    を具えたことを特徴とする請求項１記載の方法。
18. （ａ）請求項１７のステップ（ａ）〜（ｅ）のうちの少なくとも１つを実施中に対話式ディスプレイ面上にイメージを表示すること、および
    （ｂ）表示されるイメージと対話するようにユーザ入力を適用すること
    をさらに具えたことを特徴とする請求項１７記載の方法。
19. コンピュータにより、請求項１ないし８、１７、１８のいずれかに記載の方法を実行することが可能な命令を有するコンピュータプログラム。
20. 請求項１９記載のコンピュータプログラムを有するコンピュータ読取り可能な記録媒体。

Images