JP5069374B2 - タンジブル・ユーザ・インタフェース上への画像の投影 - Google Patents

Description

本発明は、タンジブル・ユーザ・インタフェース上への画像の投影に関する。

グラフィカル・ユーザ・インターフェースの表示とともにユーザ入力のために使用される表面を備える、サーフェス・コンピューティング装置が開発されてきた。サーフェス・コンピューティング装置は、表面上のユーザの指を検出し、またはユーザが操作する実際の触れることができる対象物を検出し、これは、「タンジブル・ユーザ・インタフェース」（ＴＵＩ）と呼ばれている。一例として、対象物は、ユーザが動かすことのできるゲームの駒でもよく、その動きをサーフェス・コンピューティング装置によって検出することができる。サーフェス・コンピューティング装置は、単一のユーザが使用するように設計してもよく、マルチ・ユーザ装置でもよい。

たとえば、カメラを使用して、表面の上から対象物を撮像する（「トップダウン」構成）、または、下から表面を照明するための光源およびカメラを使用して、表面と接触している対象物が反射した光を検出する（「ボトムアップ」構成）といった、表面上の対象物を追跡または検出するために開発されてきたいくつかの技法がある。別の技法では、ＦＴＩＲ（Ｆｒｕｓｔｒａｔｅｄ ｔｏｔａｌ ｉｎｔｅｒｎａｌ ｒｅｆｌｅｃｔｉｏｎ）を利用して、指先が表面に接触しているときに光の散乱を引き起こし、この散乱光を表面の下にあるカメラで検出する。

本発明は、既知のサーフェス・コンピューティング装置の不利な点を改善することにある。

以下に説明する実施形態は、既知のサーフェス・コンピューティング装置の不利な点の任意またはすべてを解決する実装形態には限定されない。

以下の説明では、本開示の簡略化された要約を提示して、基本的な理解を読者に提供する。この要約は、本開示の広範囲な概要ではなく、また本発明の鍵となる／重要な要素を特定するものでも、また本発明の範囲を明確にするものでもない。その唯一の目的は、後に提示されるより詳細な説明への導入部として、簡略化された形態で、本明細書において開示するいくつかの概念を提示することである。

透明状態と拡散状態との間で切替えることができる表面を有するサーフェス・コンピューティング装置を説明する。表面がその拡散状態にあるときは、画像をその表面上に投影することができ、表面がその透明状態にあるときには、画像を、その表面を通して対象物上に投影することができる。一実施形態では、対象物上に投影された画像を、対象物の異なる面上に向きを変えて、さらなる表示面を設けるか、または対象物の外観を拡大する。別の実施形態では、画像を別の対象物上に向きを変えてもよい。

付随的な特徴の多くは、添付図面とともに考察する以下の詳細な説明を参照することによって、それらがよりよく理解されるにつれて、より容易に理解されよう。

本説明は、添付図面に照らして以下の詳細な説明を読めば、よりよく理解されよう。
サーフェス・コンピューティング装置の概略図である。 サーフェス・コンピューティング装置を動作させる方法の一例の流れ図である。 サーフェス・コンピューティング装置とともに使用することができる様々な受動対象物の概略図である。 サーフェス・コンピューティング装置とともに使用することができる様々な受動対象物の概略図である。 能動対象物およびサーフェス・コンピューティング装置の概略図である。 ユーザ入力を検出するのに使用することができるサーフェス・コンピューティング・システムの概略図である。 ユーザ入力を検出するのに使用することができるサーフェス・コンピューティング・システムの概略図である。 ユーザ入力を検出するのに使用することができるサーフェス・コンピューティング・システムの概略図である。 別のサーフェス・コンピューティング装置の概略図である。 ひずみを補正するための光学的な構成の概略図である。 サーフェス・コンピューティング装置を動作させる方法の別の例の流れ図である。 本明細書に記載の方法の実施形態を実装することができる、例示的なコンピュータベースの装置を示す図である。同じ参照番号は、添付図面での同じ部品を指すのに使用される。

添付図面とともに以下に示す詳細な説明は、これらの例を説明するものであって、本例を構成または利用してもよい唯一の形態を表すものではない。本説明は、本例の機能、および、本例を構築し動作させるためのステップのシーケンスを説明する。しかし、それらのまたは同等な機能およびシーケンスを、異なる例で遂行してもよい。

図１は、プロジェクタ１０１を備えるサーフェス・コンピューティング装置１００の概略図であり、プロジェクタ１０１は、切替え可能な表面１０２の後ろに配置される。すなわち、プロジェクタ１０１は、ユーザ（図１では図示せず）に対して切替え可能な表面の反対側にある。切替え可能な表面１０２は、２つの動作モードを有する。すなわち、（可視光に対して）表面が実質的に拡散し、背面投影された任意の画像または他のグラフィカル・データが表面上に表示される「表示モード」、および、（可視光に対して）表面が実質的に透明であり、背面投影された任意の画像（または他のグラフィカル・データ）が表面を通して投影される「投影モード」である。対象物１０３などの対象物が表面１０２の上（またはその近く）に配置される場合、装置が投影モードのときは、画像を対象物の底面１０４に投影してもよい。

もっぱら説明するために、本明細書における説明では、表面を通した、および／または表面上へのグラフィカル・データの投影（たとえば、プロジェクタ１０１による）に言及する。このグラフィカル・データは、デジタル・データもしくはアナログ・データを含む任意の形式の画像またはデータを含んでもよい。当然のことながら、このプロジェクタにより、如何なる形式のグラフィカル・データも表面を通して投影することができ、選択は用途に依存してもよい。例によっては、テキストまたはＧＵＩ（ｇｒａｐｈｉｃａｌ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）（テキストおよび／または画像を含んでもよい）を投影してもよく、例によっては、静止しているかまたは動いている画像を投影してもよく、またさらなる例によっては、単一色または他の光パターン（たとえば、構造光パターン）を投影してもよい。

図２には、サーフェス・コンピューティング装置１００を動作させる方法の一例の流れ図が示してある。この例では、切替え可能な表面１０２が、初めは表示モードであり、サーフェス・コンピューティング装置用のグラフィカル・ユーザ・インターフェースまたは他の任意のグラフィカル・データを、表面上に投影する（ブロック２０１）。次いで、表面を投影モードに切替えて（ブロック２０２）、すなわち、可視光に対して実質的に拡散の状態から実質的に透明の状態に切替えて、グラフィカル・データをこの表面を通して対象物上に投影する（ブロック２０３）。次いで、切替え可能な表面を切替えて、表示モードに戻してもよく（ブロック２０４）、この方法を繰り返してもよい。

（ブロック２０２および２０４での）表面の切替えは、如何なる速度で実行してもよい。一例として、この表面を、フリッカ知覚の閾値を超える速度（たとえば、６０Ｈｚ）で切替えてもよい。このような速度では、ユーザは、この表面上のＧＵＩ（または他のグラフィカル・データ）を見るとともに、対象物上に投影された（別のＧＵＩでもよい）グラフィカル・データを見ることになる。したがって、このような装置および方法により、グラフィカル・データ、ＧＵＩまたは他の形態のデータのうちの２つの異なる要素を、実質的に同時に表示することが可能になる。これら２つの要素は、全く無関係でもよく、独立して制御してもよい。他の例では、それらグラフィカル・データを、表面上に投影してもよく、表面を通して投影してもよい（たとえば、切替え可能な表面に加えて、第２の表示面上に投影すること）。

異なるグラフィカル・データを、表面上に、および表面を通して表示するために、グラフィカル・データの各要素間（たとえば、各画像間）において、十分高速な速度で切替えることのできるプロジェクタを使用してもよく、またこのプロジェクタを、（たとえば、ブロック２０２および２０４において）表面の切替えと同期してもよい。あるいは、本システムは、第２のプロジェクタ１０６を備えてもよく、各プロジェクタ１０１、１０６の前に、切替え可能なシャッタ（またはフィルタ）１０７、１０８を設けてもよい。このような一実施形態では、シャッタ１０７、１０８を、切替え可能な表面１０２と同期して切替えてもよく、プロジェクタ１０１、１０６は、連続して投影してもよい（また、低速で切替えてもよい）。あるいは、プロジェクタ１０１を、表面を通してグラフィカル・データを投影するように設けてもよいが、さらにＬＣＤ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）パネルなどの代替表示手段を表示モードで使用して、表示モードで表面上にグラフィカル・データを投影してもよい。このような一例では、プロジェクタ１０１は、ＬＣＤパネル用のバックライトの役割を果たしてもよく、または別々のバックライトを設けてもよい。もっぱら以下に説明するために、プロジェクタを使用して表示モードでグラフィカル・データを提供することになるが、当然のことながら、他の例では、通過して投影することのできる任意の表示手段を使用してもよい。

サーフェス・コンピューティング装置１００の２つの投影機能を使用して、興味深い層状化効果およびマジック・レンズ効果を生み出すことができる。全く無関係の２つの画像を投影する代わりに、表面を通して投影されるグラフィカル・データを、表面上に投影されているグラフィカル・データに視覚的に結合してもよい。たとえば、表面上に投影されるグラフィカル・データを、表面を通して投影されている自動車の内部構造を明らかにする関連画像を含むグラフィカル・データを伴う、自動車の画像とすることもできる。このシナリオの例では、ユーザが、半透明の材料（または他の対象物）を自動車の上に差し渡すと、普通なら隠れているこの情報が明らかになり、２層状化効果を生み出す。様々な形態および形状の、半透明の異なる対象物を使用して、この機能を利用することができ、それぞれが効果的に物理的なマジック・レンズの働きをする。この対象物は、表面上に乗っている必要はなく、または表面と接触している必要すらない。対象物は、表面から持ち上げることができ、表面を通して投影されるグラフィカル・データは維持される。この対象物は、６つの自由度で操作することができる。さらなる例を以下で説明する。

プロジェクタ１０１、１０６は如何なる種類のプロジェクタでもよく、例には、それだけには限らないが、ＬＣＤ、ＬＣＯＳ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｏｎ ｓｉｌｉｃｏｎ）、ＤＬＰ（Ｄｉｇｉｔａｌ Ｌｉｇｈｔ Ｐｒｏｃｅｓｓｉｎｇ「商標」）、およびレーザ・プロジェクタが含まれる。プロジェクタは、固定してもよく、動くようにしてもよい。切替え可能なシャッタ１０７、１０８（またはフィルタ／ミラー）は、如何なる種類の切替え可能なシャッタでもよく、一例として強誘電性ＬＣＤシャッタがある。

切替え可能な表面１０２は、１枚のＰＳＣＴ（Ｐｏｌｙｍｅｒ Ｓｔａｂｉｌｉｚｅｄ Ｃｈｏｌｅｓｔｅｒｉｃ Ｔｅｘｔｕｒｅｄ）液晶またはＰＤＬＣ（Ｐｏｌｙｍｅｒ Ｄｉｓｐｅｒｓｅｄ Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ）を備えてもよい。これらの材料は、電圧を印加することにより、実質的に拡散の状態と透明の状態との間で電気的に切替えることができる。ＰＳＣＴは通常、ＰＤＬＣよりも高い速度で切替えることができ、ＰＳＣＴは、フリッカ知覚の閾値を超える速度で切替えることができる（たとえば、約６０Ｈｚで切替えてもよい）。

ＰＳＣＴを使用する実装形態の一例では、表面は６０Ｈｚで切替えてもよく、各サイクルは、表面を透明にするためにスクリーンに１５０Ｖを印加するときの約８．３ｍｓと、それに続く、電圧を印加しないときの８．３ｍｓとから構成され、このポイントで、表面はその自然な拡散状態に戻る。各状態の時間の正確な比率（すなわちデューティ・サイクル）は、システム設計の具体的な必要性によって変更することができる。たとえば、透明の期間を犠牲にして拡散の期間を増やすと、通過して投影する際の明るさが低減することを犠牲にして、表面上の表示の明るさが増大することになる。それにより、表面を通して撮像するためのカメラに利用可能な光が低減することにもなる。この例では、交互のサイクルで１５０Ｖの極性を反転してもよく、またＨブリッジ・アーキテクチャに基づく駆動回路を使用してもよく、１つの半ブリッジに接続された切替え可能な表面の各側部は、０Ｖと＋１５０Ｖとの間で切替えることができる。したがって、左半ブリッジも右半ブリッジも（それぞれ）使用可能でないかどうかに応じて、０Ｖ、＋１５０Ｖまたは−１５０Ｖの電位をＰＳＣＴ−ＬＣの両端に印加してもよい。各半ブリッジを、ＮＰＮおよびＰＮＰのパワー・オーディオ・トランジスタから作製される相補型エミッタ・フォロワとして実装してもよい。これらのトランジスタは、事実上約６μＦの非線形キャパシタである表面を、十分急速に切替えるのに必要とされる高電流（約４Ａ）を供給することができる。さらなる電流利得段を介して、電力出力段を駆動してもよい。高電圧回路とシステムの残りとの間の電気的な絶縁は、光学結合したレベル・シフタを使用して実現してもよい。当然のことながら、これは実現可能な一実装形態に過ぎず、ほんの一例として説明している。

あるいは、切替え可能な表面は、たとえば、光学的に拡散性のガスまたは光学的に透明なガスで選択的に充填することができるガス入りキャビティ、または、表面の平面内に、また平面から外に分散素子を切替えることができる（たとえば、ベネチアン・ブラインドに類似した方式で）機械装置など、他の任意の技術または構成を使用して、２つの動作モードを実現してもよい。これらすべての例において、表面を２つのモードの間で電気的に切替えることができ、一方のモードでは表面が可視光に対して実質的に拡散し、もう一方のモードでは表面が可視光に対して実質的に透明である。例によっては、切替え可能な表面を、異なる拡散角度を有する中間モードに切替えることもできる。

例によっては、表面１０２の全体を各モード間で切替えてもよく（ブロック２０２および２０４において）、例によっては、スクリーンの一部分のみを各状態間で切替えてもよい。切替えられる領域の制御の細かさに応じて、例によっては、透明な窓を表面内で（たとえば、表面上に配置された対象物の後ろで）開口してもよいが、表面の残りの部分は、その実質的に拡散の状態にとどまる。表面の各部分の切替えは、グラフィカル・データ（画像またはグラフィカル・ユーザ・インターフェースなど）を表面の一部分の上に表示することができるように、表面の切替え速度がフリッカの閾値を下回る場合に有用になることがあるが、さらに投影は表面の異なる部分を通して対象物上に生じる。

他の例では、表面を各モード間で切替えなくてもよいが、動作モードは、表面上に入射する光の性質に依存してもよい。たとえば、表面は、偏光のある方向に対しては拡散装置の役割を果たしてもよく、別の偏光に対しては透明でもよい。別の例では、表面の光学特性、したがって動作モードは、入射光の入射角に依存してもよい。

図１では平坦な表面が示してあるが、他の例では、切替え可能な表面１０２は、湾曲していてもよく、平坦でなくてもよい。表面は、硬くても、柔軟でもよい。さらに、サーフェス・コンピューティング装置１００は、図１には示していない取込み装置など、さらなる要素を備えてもよい。

前述の通り、システムが投影モードにあるとき、グラフィカル・データを、表面を通して対象物１０３上に投影してもよい（ブロック２０３）。この対象物は、表面と接触していても、表面の近くにあっても、また表面から離れていてもよい。グラフィカル・データが投影される対象物を（たとえば、反射／屈折を用いて）光の向きを変えるように設計して、グラフィカル・データを対象物の面上に投影してもよい。グラフィカル・データが投影される面は、切替え可能な表面と平行でもよく、またその表面と平行でなくてもよい。別の例では、投影される光は、光が表面を通して投影される角度とは異なる角度で光が対象物から放出されるように、対象物によって向きを変えてもよく、これにより、さらなる対象物上への投影を可能にすることができる。対象物は、受動的でも能動的（すなわち、電子回路を含む）でもよく、例を以下に説明する。

表面を通した投影は、（表示モードで）表面上に投影されるグラフィカル・データとは異なるグラフィカル・データでもよいが、それを使用して、検知するために（たとえば、対象物上へのタッチ検出、もしくはビーム・ブレイク・センサ用）または他の目的のために、代わりの表示面を実現してもよく（たとえば、非公開の表示を提供すること）、対象物の外観を拡大してもよい（たとえば、一枚の紙の上に画像を投影すること、またはゲームの駒の上にアニメの顔を投影すること）。対象物は、サーフェス・コンピューティング装置用のタンジブル・ユーザ・インタフェース（ＵＩ）制御を設けてもよく、または、サーフェス・コンピューティング装置にユーザ入力を設けてもよい。様々な対象物およびそれらの使用法の例を以下に説明する。

図３には、対象物のある面に入射する光を、この対象物の別の面にその向きを変える様々な受動対象物の概略図が示してある。この光は、投影モードで、切替え可能な表面を通して投影されている。図３に示すように、受動対象物３０１の第１の例は、直角二等辺プリズムを備え、底面３０２に入射する光が９０°で反射する。これは、プリズムの内部全反射（ＴＩＲ）特性を利用するが、別法として、鏡面を有する対象物を使用してもよい。対象物の垂直面３０３が、つや消しであるか、または拡散層もしくは散乱層を設ける場合、プリズムの底面３０２上に投影される如何なるグラフィカル・データも、垂直面３０３上に表示されることになる。したがって、特にサーフェス・コンピューティング装置がマルチ・ユーザ装置である場合には、このような対象物３０１を使用して、ユーザにとって非公開の表示を実現してもよい（たとえば、ゲームの駒または秘密情報を表示すること）。

受動対象物３１１の第２の例は、プリズム３０８の狭いセクションＡＢＣを含み、これを、ポイントＣを中心に３６０°弧を描くように動かしたものである。平坦な底面３１２（ＥＯ、ＯＧ）に入射する光線は、やはり（面ＤＯ、ＯＦ上で）内部全反射することになり、外部湾曲面３１３（ＤＥ、ＦＧ）から出てくる。２次元（２Ｄ）画像（または、他のグラフィカル・データ）を対象物の平坦な底面３１２上に投影する場合、画像は、対象物の湾曲側部を通して反射して出てくることになるが、適切な拡散材料を湾曲面に取り付けると（または、拡散表面処理を施すと）、出てくる光は、湾曲面上に画像を形成することになり、人間の目に見える。

図４には、対象物３１１の変形形態の概略図が示してあり、ここでは、底面に入射する光が向きを変えられて、２つ以上の面上へと進み、結果としてグラフィカル・データが対象物の２つ以上の面上に表示される。第１の変形形態４０１は、平行な上面と底面４１０、４１１を有する外部円筒部を備える。下からこの円筒領域内に投影される如何なる光も、対象物の上面から出ることになり、上面に拡散装置を配置すること（または、拡散表面処理を施すこと）により、外部湾曲面４１２および上面４１０上のリングの両方の上にグラフィカル・データを同時に形成することができる。グラフィカル・データの（表面４１２、４１０上に）投影される２つの要素は、（対象物の底面４１１、４１３に）入射するグラフィカル・データの互いに異なる領域から得られるので、グラフィカル・データの投影される要素を、独立して制御してもよい。

第２の変形形態４０２もまた、上面４２０および湾曲外部面４２１の両方への投影を可能にするが、この変形形態は、（前の変形形態４０１で示した外部リングの代わりに）上面の中央領域への投影を可能にする。対象物の中心部は、底面４２３に平行な表面４２２を有する。グラフィカル・データを、拡散層４２４を加えることにより、あるいは、平坦な中心面４２２に拡散層（もしくは表面）仕上げを加えることにより、上面に見えるようにしてもよい。さらなる変形形態は、図４には示していないが、前述の２つの変形形態４０１、４０２の組合せである。これにより、湾曲外部面、上面の上の外部リング、および上面の中央部分の３つの異なる投影領域が提供され、前述の通り、各領域への投影を独立して制御してもよい。

さらなる変形形態４０３も図４に示してあるが、これは、対象物の中央部に凹レンズ４３０などのレンズを備える。下からこの領域上に投影されるグラフィカル・データは、拡大されて、対象物の上面４３１の全体（または大半）を満たし、前述の通り、拡散層４３２を設けてもよい。このような例では、投影されるグラフィカル・データのサイズは、投影されるグラフィカル・データの解像度とトレード・オフである。すなわち、レンズにより、上面に投影されるグラフィカル・データのサイズは増大するが、投影される解像度は同じままであり、したがって、上面でのグラフィカル・データの実効解像度は、湾曲側部４３３上に投影されるグラフィカル・データの解像度を下回ることになる。レンズには歪みの生じることがあるが、これは、投影されるグラフィカル・データに対して補正することができる。図４には凹レンズが示してあるが、他の例では、複合レンズまたは凸レンズなど、他のレンズを使用してもよい。

当然のことながら、前述の例は多くの異なる例示的な対象物のうちのいくつかに過ぎず、これらは、切替え可能な表面層とともに使用して、表面を通して投影される光を導き、対象物の互いに異なる表面上、および場合によっては複数の表面上に投影してもよい。対象物の設計および投影されるグラフィカル・データに応じて、グラフィカル・データを、対象物の表面全体（または各表面）にわたって投影してもよい。示した例は、平坦な上面を有するが、これはほんの一例としてのものであり、他の対象物は、湾曲上面を備えてもよい。さらなる例では、対象物は、実質的に半球でもよい。

対象物は、切替え可能な表面と接触してもよいが、他の例では、対象物は、表面から離れていてもよい。たとえば、図４に示した対象物は、切替え可能な表面と対象物の間隔を空けるための脚または他の部材を有してもよい。投影装置（たとえば、２つ以上のプロジェクタおよび切替え可能なフィルタを備えてもよい）および表面を、フリッカ閾値を超える速度で切替えることができる場合、これにより、異なるグラフィカル・データを対象物の上下に投影することができる。

表面を通して投影されるグラフィカル・データは、このグラフィカル・データが投影される対象物の検出位置に応じて変更することができる。この検出位置は、切替え可能な表面（たとえば、ｘ−ｙ位置）、対象物と表面との間の分離（たとえば、ｚ位置）および／または対象物の方向（たとえば、傾きまたは回転）に実質的に平行な平面内の位置でよい。第１の例では、第１の色を、拡散対象物が表面と接触しているときに、拡散対象物上に投影してもよく、第２の色を、対象物が表面と接触していないときに、対象物上に投影してもよい。第２の例では、対象物が表面に向けてまたは表面から離れるように移動するときに、投影されるグラフィカル・データにズーム効果を加えてもよく、その結果、対象物は拡大鏡と同様になる。第３の例では、異なるグラフィカル・データを、対象物の位置に応じてその対象物上に投影してもよい（前述のマジック・レンズの例と同様に）。

拡散対象物と表面との間の接触は、任意の方式で検出してよい（たとえば、タッチ検出法を使用して）。拡散対象物をこの表面から持ち上げると、タッチ検出あるいは深度検出（ｄｅｐｔｈ ｄｅｔｅｃｔｉｏｎ）を使用して（たとえば、飛行時間カメラ、または対象物上に投影される構造光パターンの検出を使用して）、このことを検出することもできる。対象物と表面の分離の変化を検出すると、たとえば、異なる色または異なるグラフィカル・データになるよう、投影された光を変化させてもよい。一例として、投影されるグラフィカル・データを、焦点が合っている状態を維持するか、または対象物上で同じサイズを維持するなどのように調整することができる。これにより、３Ｄベースの対話および３Ｄ表示が実現する。

切替え可能な表面とともに使用される対象物は、表面に対するその位置を追跡できるようにする集積化された機能または埋込型の電子装置を有してもよい。例には、受動タグ（逆反射）または能動タグ（給電されたＬＥＤ）の使用が含まれ、これらのタグは、可視光もしくは赤外（ＩＲ）光、または別の波長の光を使用してもよい。他の例には、無線通信（たとえば、ＲＦＩＤタグ）の使用が含まれる。さらなる例を、以下でより詳細に説明する。

図５に示す例では、対象物５０１は、その中に（たとえば、隅部に）埋め込まれたＬＥＤ５０２または他の光源を有してもよく、投影モードにあるとき、切替え可能な表面を通してＬＥＤの位置を検出することにより、対象物の位置を追跡することができる。これを達成するためには、カメラ５０３、画像取込み装置、または他の画像装置を切替え可能な表面１０２の後ろに配置してもよい。表面に近接して２つ以上の対象物が存在する場合、異なる対象物は、それらを区別する助けとするため、異なるフラッシング・パターン（ｆｌａｓｈｉｎｇ ｐａｔｔｅｒｎｓ）（または、異なる変調方式）を使用してもよい。別の例では、対象物内のＬＥＤは、受信信号（たとえば、無線信号）に応答してオン／オフを切替えてもよく、これを使用して、対象物を区別してもよい。さらなる例では、対象物は、投影モードで、切替え可能な表面を通して投影される光の少なくとも一部分を反射する反射素子を（たとえば、アクティブＬＥＤの代わりに）備えてもよい。これらの素子から反射する光を、カメラまたは他の画像装置によって検出して、対象物の位置を追跡できるようにしてもよい。

対象物は、ＬＥＤもしくは他の光源に加えて、またはそれらの代わりに、他の能動電子装置を備えてもよい。たとえば、対象物は、コンパス、加速度計、チルト・スイッチなど、対象物の位置および／または方向を決定する助けとするための、埋込型の電子装置またはデバイスを備えてもよく、この対象物は、無線通信技術（たとえば、ＩｒＤＡ、Ｂｌｕｅｔｏｏｔｈ「商標」、ＷｉＦｉなど）を使用して、これらのセンサからサーフェス・コンピューティング装置にデータを伝達してもよい。このような装置は、対象物が放出する光もしくは対象物で反射する光を検出することに代えて、またはそれに加えて使用してもよい。対象物の位置および／または方向を、切替え可能な表面に対して、または別の対象物もしくは向きに対して（たとえば、重力に対して）検出してもよい。対象物の隅部で光が放出／反射される場合、さらなるデータを使用して、不完全な視覚データ（たとえば、画像取込み装置が、４つの隅部のうちの３つだけを取り込んだ場合）に起因することがある曖昧性を解決することができ、または、より良好な位置／追跡データを提供することができる。別の例では、対象物は、カメラまたは他の画像取込み装置を備えてもよく、取り込まれた画像を示すデータをサーフェス・コンピューティング装置に伝達してもよい。受信データと、切替え可能な表面上に表示される、またはその表面を通して投影される任意のグラフィカル・データとの相関をとることにより、サーフェス・コンピューティング装置は、表面に対する対象物の相対位置を決定することができる。

対象物を追跡する、または他の方法でその位置を決定する場合、対象物上に投影されるグラフィカル・データを、対象物の位置によって修正してもよい。一例として、グラフィカル・データを調整して、（たとえば、以下でより詳細に説明するように）位置に依存することがある歪みを補正してもよく、または、（たとえば、仮想の拡大鏡を実現するため、表示モードで、切替え可能な表面上に表示されるグラフィカル・データの一部分を拡大した表示を提供するために）投影されるグラフィカル・データは、対象物の位置によっては異なることがある。これにより、３Ｄ表示が実現し、ユーザによる３Ｄ対話が可能になる（たとえば、ユーザが、切替え可能な表面に対して対象物を動かしている場合）。

切替え可能な表面とともに使用される対象物により、表面上でのそれらの位置を検出することによって（たとえば、前述の対象物追跡を使用して）、および／または対象物とのユーザ対話を検出することによって、サーフェス・コンピューティング装置へのユーザ入力を可能にすることができる。対象物とのユーザ対話の検出を可能にする２つの例示的な構成６０１、６０２が、図６に示してある。第１の例６０１では、表面１０２上に配置された２つのプリズム６１０、６１１を使用して、ビーム・ブレイク・センサを実現することができる。投影モードで、表面を通して、プリズム６１０のうちの１つのベースに投影される光は、反射され、プリズム間のギャップ６１２を通過する。カメラまたは他の画像装置を使用して、第２のプリズム６１１により（投影モードで）表面を通して反射して戻る光を検出することができる。ビーム・ブレイク・センサは、可視光を使用してもよく、赤外（ＩＲ）放射など、別の波長の光を使用してもよい。

図６には、表面１０２の上（または近く）にある対象物６２０にユーザがタッチしたことを検出することにより、ユーザ入力を可能にする第２の構成６０２が示してある。このタッチ検出は、対象物のベースに（たとえば、光源６２２から切替え可能な表面１０２を通して）光を当て、次いで、この光が角度のついた表面で向きを変えることにより実現できる（前述の通り）。ユーザが対象物にタッチしているとき、その指６２１に入射する光は、反射し、画像装置６２３によって検出することができる。一例として、ＩＲ光を使用してもよく、したがって、光源６２２はＩＲ源であり、画像装置は、ＩＲ感知カメラなどのＩＲ画像装置である。光の投影および検出は、表面１０２が投影モードにあるときに実施することができ、あるいは、ＩＲ光を使用する場合には、表面は、表示モードにおいてＩＲ光に対して少なくとも部分的に透明でもよく、それにより、表示モードで投影および検出が実施できるようになる。ユーザ入力を実現するために可視光を使用することに加えて、投影モードで、表面を通して可視光を投影して、対象物上にグラフィカル・データを投影してもよい。

さらなる例では、能動対象物（すなわち、電子回路を備える対象物）を切替え可能な表面とともに使用して、ユーザ入力を実現してもよい。たとえば、図６の構成６０１、６０２は、光（たとえば、ＩＲ光）が対象物内に投影されている様子を示しているが、他の例では、対象物は能動対象物でもよく、光源（たとえば、ＩＲ ＬＥＤ）を備えてもよい。

一例として、能動対象物は、タッチスクリーンを備えてもよい。このタッチスクリーンは、図７に示し以下に説明するように、抵抗技術もしくは容量技術、またはＦＴＩＲ（ｆｒｕｓｔｒａｔｅｄ ｔｏｔａｌ ｉｎｔｅｒｎａｌ ｒｅｆｌｅｃｔｉｏｎ）など、任意の適切なタッチスクリーン技術を使用してもよい。一例として、タッチスクリーンは、切替え可能な表面を備えてもよい。

一例７００では、図７に示すように、対象物７０１は、光が対象物内でＴＩＲを受けるように光を対象物内に結合する光源７０２を備えてもよい。ユーザが対象物に触れると、ＴＩＲが妨げられ、対象物７０３から光が散乱する。この散乱光７０３は、画像装置７０４で検出することができ、この画像装置７０４は、切替え可能な表面１０２のもう一方の側に配置してもよい。散乱光の検出を使用して、サーフェス・コンピューティング装置へのユーザ入力を実現してもよく、このユーザ入力はまた、検出された散乱光の位置に依存してもよい。使用する光は、可視光でもよく、ＩＲ光でもよい。この装置は、投影モードで、対象物７０１上にグラフィカル・データを投影するように構成されたプロジェクタ１０１をさらに備えてもよい。さらなる例７１０では、対象物は受動体でもよく、ＦＴＩＲに基づくタッチ検出に使用される光を、表面を通して投影し、鏡面またはプリズム要素を使用して対象物内に結合させてもよい。対象物７０１、７１０はまた、ＴＩＲを妨げるように表面が粗く処理された（または、他の方法で処理された）領域を含んでもよい。こうした領域で散乱した光を、画像装置（たとえば、装置７０４）で検出することができ、切替え可能な表面１０２に対する対象物の位置を追跡するのに使用することができる。

図７に示した第１の２つの構成７００、７１０により、対象物の前面（すなわち、切替え可能な表面から離れている表面）に接触している指の追跡が可能になる。図７に示した第３の構成７２０により、対象物のもう一方の側（すなわち、背面または底面と称してもよい、切替え可能な表面にもっとも近い対象物の表面上）にある指の追跡が可能になる。対象物７２１は、ＴＩＲが発生する層７２２を備え、そこでは、ＩＲ光を、（構成７００と同様に）対象物内でＬＥＤによって提供してもよく、または（構成７１０と同様に）対象物上に投影し、その中に結合させてもよい。対象物７２１はまた、ＩＲ反射面７２３を備える。ユーザが、（たとえば、指先７２５を使用して）対象物の背面７２４に触れるとき、ＴＩＲが妨げられ、散乱ＩＲ光が反射面７２３で反射され、ＩＲ画像装置７０４を使用して検出される。

さらなる例では、投影モードで切替え可能な表面を通して光が投影される対象物を、曲げるまたは変形させることにより、ユーザ入力を実現してもよい。対象物または対象物の各部分（たとえば、隅部および／または縁部）の位置を追跡することにより、対象物の曲げを検出することができ、これは、前述の技法のうちの１つを使用して実現することができる。別の例では、図８に示すように、対象物の光学特性の変化を検出することにより、たとえば、偏光した光学的ひずみを使用して、この曲げを検出することができる。プロジェクタ１０１（または別の光源）および偏光子８０３を備えてもよい偏光源を使用して、対象物８０１上に偏光を投影してもよく、この対象物は、たとえば、ポリカーボネートまたはアクリルのシートでもよい。光は、対象物を通過すると、前面（すなわち、ユーザにもっとも近く、切替え可能な表面１０２から離れている表面）にある反射コーティング８０２で反射し、偏光子８０３を通って戻って、（たとえば、カメラ・システム８０４を使用して）検出される。対象物を通過するときの光の偏光への影響が、材料における応力の量に関係している場合、任意の適切な対象物を使用してもよい。ユーザにより対象物に力が加えられるとき、シートの光学的な偏光特性が変化し、その結果、対象物の任意の部分を通過する光の偏光の回転量は変形度合いに依存する（すなわち、シートの異なる部分が、異なる変形を受け、それにより、シートを通過する光の偏光に異なる変化が生じる）。その結果、検出された画像は、シート上の変形のマップを提供し、それを解釈して、変形の原因となったユーザの行動（または結果として生じる力）を決定することができる。

一例として、サーフェス・コンピューティング装置とともにタッチスクリーンを使用して、ユーザにはタッチ・センシティブであるように見える文書を作成することができる。このような例では、透明な（または、切替え可能な表面を備える）タッチスクリーンは、その上部に配置された印刷済みの文書を有してもよい。タッチスクリーンは、ユーザが文書に触れるのを検出することができ、サーフェス・コンピューティング装置内のプロジェクタは、たとえば、タッチスクリーンを介して検出されたユーザ入力に応答して、文書に追加情報を投影することができる。

前述の例では、切替え可能な表面を通して投影されるグラフィカル・データは、表面の上または近くにあり、光の向きを変える対象物上に表示される。他の例では、対象物は、壁、天井、または投影スクリーンなど、別の投影面に向けて光の向きを変えてもよい。例によっては、図９に示すように、サーフェス・コンピューティング装置の周りの拡大投影スペースとして使用するために、投影スクリーンを適切に配置してもよい。代替の投影面９００上に投影することができるように、プロジェクタのうちの１つを、軸を外した状態で配向してもよい。図９のシステムはまた、表示モードで、表面上にグラフィカル・データを投影するための、別々のプロジェクタ１０１を備えてもよい。

図９には、プリズム対象物９０２が示してあるが、この対象物は、別法として、鏡面を備えてもよく、また任意の他の方法で光の向きを変えてもよい。一例として、光を、（たとえば、切替え可能な表面の上の天井に取り付けられた）鏡面上に投影し、対象物上に（たとえば、対象物の上面に、および／または光学的に透明ではない対象物上に）反射してもよい。鏡面は、動くようになっていてもよく、（前述の通り、追跡することができる）対象物の任意の動きを追跡するように動かしてもよい。さらなる例では、３６０°の投影を実現する対象物（たとえば、外部を銀メッキされた半球または外部を鏡面化した円錐）を使用してもよい。

例によっては、代替投影面上に光の向きを変えるために使用される対象物の位置を追跡して、投影されるグラフィカル・データを補償することができるようにしてもよい。切替え可能な表面に対する対象物の角度を追跡することにより、投影されるグラフィカル・データが一定の方向、サイズまたは形状（たとえば、異なる平行四辺形の形状または台形ではなく長方形）を維持するように、その投影されるグラフィカル・データを修正することができる。このような例での一変形形態では、仮想的な方式でこれを実装してもよい。（以前の通り）投影モードで、表面を通して、グラフィカル・データを対象物上に投影することができ、対象物は、ユーザが操作するときに追跡することができる。次いで、別のプロジェクタを使用して、グラフィカル・データを代替投影面上に直接投影することができ（すなわち、対象物によって向きを変えられることなく）、ここで、直接投影されるグラフィカル・データの位置は、サーフェス・コンピューティング装置に対する対象物の位置に依存してもよい。これらの例の両方で、ユーザの感じ方は同じであろう。

さらなる例では、切替え可能な表面の周りのユーザの位置を追跡することができ、投影されるグラフィカル・データを修正して、グラフィカル・データをユーザの顔に投影することを回避する。これは、投影されるグラフィカル・データに黒の領域を加えることによって実装することができ、このグラフィカル・データは、ユーザの顔の追跡位置に従って位置決めされ、調整される。このユーザ追跡は、画像装置９０４を使用して実装することができる。

前述の対象物によっては、埋込型の電子装置、またはＬＥＤなど他の能動装置を備えてもよい。これらの装置用の電力は、対象物内に配置された電池で供給してもよい。あるいは、またはそれに加えて、サーフェス・コンピューティング装置により、電力を無線で供給してもよい。一例として、対象物は、光電池、または入射する光エネルギーを電気エネルギーに変換することのできる他の要素を備えてもよい。投影モードで、切替え可能な表面を通して、入射する光エネルギーを投影してもよく、たとえば、結果として生じる電気エネルギーを使用して、ＬＥＤまたは他の光源に電力供給してもよい。代替構成では、電力は、サーフェス・コンピューティング装置から対象物に誘導結合してもよく、または他の無線電力供給技法を使用してもよい。例によっては、（たとえば、誘導的に、または光電気変換を用いて）サーフェス・コンピューティング装置が供給する電力を使用して、装置内の電池を再充電してもよい。能動装置の電力消費を低減させるため、一部の時間だけ能動素子に電力供給してもよい。一例として、切替え可能な表面が投影モードにあるとき、能動素子に電力供給してもよい。

例によっては、背面投影されるグラフィカル・データが発散することにより、投影されるグラフィカル・データが歪むことがある。対象物が、投影されるグラフィカル・データの光軸上の切替え可能な表面上に配置されるとき、対象物に入射する光線は、対象物の上面／底面とほぼ垂直になる。しかし、図１０の第１の構成１０００に示すように、対象物１００１が、光軸１００２から外れて切替え可能な表面１０２上に配置されているとき、対象物１００１に入射する光は、底面とは垂直ではなく、図１０に示すように、これにより、入射光は、プリズムに入射することなく対象物を通過する。これに対するソリューションは、光軸上に中心を合わされ、切替え可能な表面の投影領域の実質的に全体をカバーするフレネル・レンズ１０１１を備えることである。このフレネル・レンズを、その焦点距離が、プロジェクタと切替え可能な表面との間の距離と等しくなるように選択してもよい。その結果、図１０の第２の構成１０１０に示すように、プロジェクタ１０１からの発散光は、集束して平行光線になり、これが表面と垂直に出てくる。

図１０に示したようなフレネル・レンズ１０１１は、薄い形状ファクタのレンズを提供するが、他の例では代替レンズ（たとえば、コリメート・レンズまたは浅面ＧＲＩＮレンズ）を使用してもよい。さらなる例１０２０では、図１０に示すように、放物面鏡１０２１を使用して、投影モードで、切替え可能な表面を通して平行投影画像を提供することができ、あるいは、個々のミラー素子のアレイを使用して、同じ光学効果を実現することができる。図１０に示す例では、画像装置は、必要とされる場合には、放物面鏡の前（たとえば、位置１０２２）、放物面鏡１０２３内の開口部の後ろ、放物面鏡１０２１に向けられたプロジェクタ１０１のそば、または他の場所に配置してもよい。あるいは、他の光学技法を使用して、平行投影ビームを実現してもよい。

レンズの使用についての代替ソリューションでは、（前述の通り）グラフィカル・データを追跡することができ、投影されるグラフィカル・データを、対象物の検出位置に基づいて調整して、任意の歪みを補正することができる。さらなる代替ソリューションでは、表面を通して対象物上に投影するプロジェクタを、移動可能な取付台の上（たとえば、ｘ−ｙステージ上）に配置してもよく、プロジェクタの位置を変更して、投影する対象物の位置を追跡することができる。さらなる例では、複数のプロジェクタを設けてもよく、１つのプロジェクタを選択して、対象物の追跡位置に従ってグラフィカル・データを投影してもよい（たとえば、対象物の位置にもっとも近い光軸を有するプロジェクタを使用してもよい）。

前述の例での対象物は、モノリシックの対象物であるが、他の例では、対象物は機械式ジョイントを備えてもよい。一例として、対象物は、マウス置換え装置を備えてもよく、スクロール・ホイールを備えてもよく、（前述の通り）その位置を追跡して、サーフェス・コンピューティング装置にユーザ入力を提供してもよい。さらなる例では、対象物は、生きている対象物（たとえば人間）でもよく、固体でなくてもよく（たとえば、霧でもよく）、またホログラフィック装置でもよい。対象物は、硬くても、柔らかくてもよい（たとえば、フレキシブル・ファイバ・ガイド）。

サーフェス・コンピューティング装置は、各図に示し、前述した要素に対して、さらなる要素を備えてもよい。たとえば、サーフェス・コンピューティング装置は、投影モードでの表面を通しての結像および／または表示モード（表面が実質的に拡散状態のとき）での結像を実施するように構成された、画像取込み装置または他の画像装置を備えてもよい。この結像には、可視光またはＩＲ放射など、任意の波長を使用してもよい。

図１１は、本明細書に記載された、図１および図５〜１０に示す装置のうちの任意の装置など、サーフェス・コンピューティング装置を動作させる方法の一例を示す流れ図であり、この装置は、本明細書に記載された、図１および図３〜１０に示す対象物のうちの任意の対象物など、対象物とともに動作することができる。投影モードと呼ばれる透明状態（ブロック１１０１で切替えられる）にある表面の場合、グラフィカル・データを、表面を通して対象物上に投影する（ブロック１１０２）。この対象物は、表面と接触していても、表面の近くにあっても、または表面から離れていてもよい。投影モードで、表面を通してグラフィカル・データを投影することに加えて、グラフィカル・データを、表面を通して取り込んでもよい（ブロック１１０３）。（ブロック１１０３での）この画像取込みには、表面を照明することが含まれ得る（図１１には示さず）。装置が電子回路を備える場合には、表面が透明状態にあるとき、この電子回路をオンにしてもよい（ブロック１１０４）。（ブロック１１０３からの）取り込まれた画像を、表面を通して対象物の位置を検出する際に使用してもよく（ブロック１１０５）、あるいは、この位置を、対象物内の電子装置から受け取った情報に基づいて（ブロック１１０５で）決定してもよい。（ブロック１１０５からの）検出位置に基づいて、投影されるグラフィカル・データを変更してもよい（ブロック１１０６）。（ブロック１１０３からの）取り込まれた画像および／または（ブロック１１０５からの）対象物の検出位置を使用して、ユーザ入力を識別することができ（ブロック１１０９）、次いでこれを使用して、サーフェス・コンピューティング装置上で実行しているプログラム（たとえば、アプリケーション）を制御することができる（ブロック１１１０）。表示モードと呼ばれる拡散状態（ブロック１１０７で切替えられる）にある表面の場合、グラフィカル・データを、表面上に投影する（ブロック１１０８）。

表面（または、その一部分）を各モード間で（すなわち、拡散状態と透明状態との間で）、任意の速度で切替えながら、このプロセスを繰り返してもよい。例によっては、フリッカ知覚の閾値を超える速度で、表面を切替えてもよい。他の例では、表面のみを通した投影が周期的に生じる場合、投影が必要になるまで、この表面を表示モードに（すなわち、その拡散状態に）維持してもよく、次いで、表面を投影モードに切替えてもよい（すなわち、その透明状態に切替える）。

図１２には、任意の形態のコンピューティング装置および／または電子装置として実装してもよく、本明細書に記載の（たとえば、図２および１１に示した）方法の実施形態を実装してもよい、例示的なサーフェス・コンピュータベースの装置１２００の様々な構成要素が示してある。

コンピュータベースの装置１２００は、１つまたは複数のプロセッサ１２０１を備え、このプロセッサは、コンピュータ実行可能命令を処理して、前述の通り（たとえば、図２または１１に示したように）動作するように装置の動作を制御するための、マイクロプロセッサ、コントローラ、または他の任意の適切なタイプのプロセッサでもよい。オペレーティング・システム１２０２または他の任意の適切なプラットフォーム・ソフトウェアを含むプラットフォーム・ソフトウェアを、コンピュータベースの装置に設けて、アプリケーション・ソフトウェア１２０３〜１２０８が装置上で実行できるようにする。

アプリケーション・ソフトウェアは、以下のうちの１つまたは複数を含んでもよい。すなわち、
−プロジェクタ１０１、１０６（および、潜在的には、プロジェクタおよびＦＴＩＲ光源に関連する任意のシャッタ１０７、１０８、ならびに視野内での対象物との無線通信）を制御するように構成された表示モジュール１２０４、
−切替え可能な表面１０２が、各モード間で（すなわち、実質的に透明の状態と拡散の状態との間で）切替わるように構成された表面モジュール１２０５、
−画像取込み装置１２１０を制御するように構成された画像取込みモジュール１２０６、
−表面１０２に対する対象物の位置を決定し、場合によってはさらに追跡するように構成された対象物検出／追跡モジュール１２０７、および
−（たとえば、図６または図７を参照して前述した通り）タッチ事象を検出するように構成されたタッチ検出モジュール１２０８である。
各モジュールを、切替え可能な表面コンピュータが、上記の例のうちの任意の１つまたは複数の例で説明した通りに動作するように構成する。

メモリ１２０９など、任意のコンピュータ読取り可能媒体を使用して、オペレーティング・システム１２０２およびアプリケーション・ソフトウェア１２０３〜１２０８など、コンピュータ実行可能命令を提供することができる。メモリは、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、磁気記憶装置もしくは光記憶装置など任意のタイプのディスク記憶装置、ハード・ディスク・ドライブ、または、ＣＤ、ＤＶＤもしくは他のディスク・ドライブなど、任意の適切なタイプのものである。フラッシュ・メモリ、ＥＰＲＯＭ、またはＥＥＰＲＯＭも使用することができる。メモリはまた、取り込んだ画像および／または表示するためのデジタル・データなどを格納するのに使用することができる、データ・ストア１２１１を備えてもよい。

コンピュータベースの装置１２００はまた、切替え可能な表面１０２、１つまたは複数のプロジェクタ１０１、１０６、および、例によっては、１つまたは複数の画像取込み装置１２１０を備える。この装置はさらに、１つまたは複数のさらなるプロジェクタ、ＦＴＩＲサブシステム、（たとえば、対象物と通信するための）無線サブシステム、切替え可能なシャッタ、光源などを備えてもよい。コンピュータベースの装置１２００はさらに、（たとえば、メディア・コンテンツ、ＩＰ（Ｉｎｔｅｒｎｅｔ Ｐｒｏｔｏｃｏｌ）入力などを受信するための任意の適切なタイプの）１つまたは複数の入力、通信インターフェース、およびオーディオ出力など１つまたは複数の出力を備えてもよい。

本例は、サーフェス・コンピューティング・システム内で実装されるものとして、本明細書において説明し図示しているが、説明したシステムは、一例として示したものであり、限定するものではない。当業者には理解されるように、本例は、様々な異なるタイプのコンピューティング・システムでの用途に適している。

上記の例は、切替え可能な表面とともに、受動対象物または能動対象物を使用することについて述べている。当然のことながら、受動対象物と能動対象物を組み合わせてもよく、また対象物は、（この対象物内の電子回路により）、受動的に動作する部分および能動的に動作する部分を有してもよい。さらに、第１の対象物を通して投影されるグラフィカル・データがまた、第２の対象物上に（また、例によっては、それを通して）投影されるように、対象物を積み重ねてもよく、これら対象物のそれぞれは受動的でも能動的でもよい。

上記の例は、切替え可能な表面が水平に配向されている様子を示しており、対象物の位置が表面の上／下または前／後にあるものとして説明している。当然のことながら、この方向は、ほんの一例として示し、説明するものであり、表面は、任意の方向に配置してもよい。さらに、前述の通り、この表面は平面でなくてもよく、湾曲していても、かつ／または柔軟性を有していてもよい。一例として、サーフェス・コンピューティング装置は、切替え可能な表面が垂直になるように取り付けてもよく、グラフィカル・データが（投影モードで）投影される対象物は、ユーザの手であってもよい。

用語「コンピュータ」は、本明細書においては、命令を実行することのできるような処理能力を有する、任意の装置を指すものとして使用されている。このような処理能力は多くの様々な装置に組み込まれ、したがって、用語「コンピュータ」には、ＰＣ、サーバー、携帯電話、携帯型情報端末、および他の多くの装置が含まれることが、当業者には理解されよう。

本明細書に記載の方法は、手に触れることのできる記憶媒体上の機械読取り可能な形態のソフトウェアによって実施することができる。ソフトウェアは、方法ステップを、任意の適切な順序で、または同時に実行できるように、パラレル・プロセッサまたはシリアル・プロセッサ上で実行するのに適切なものとすることができる。

ソフトウェアは、貴重な、別々に売り物になる商品とすることができることが、これで分かる。「ダム・ハードウェア」または標準ハードウェア上で実行し、またはそれを制御して、所望の機能を実行するソフトウェアを含むものである。シリコン・チップを設計して、または汎用プログラム可能チップを構成して、所望の機能を実行するために使用される、ＨＤＬ（ｈａｒｄｗａｒｅ ｄｅｓｃｒｉｐｔｉｏｎ ｌａｎｇｕａｇｅ）ソフトウェアなど、ハードウェアの構成を「記述」または定義するソフトウェアをも含むものである。

プログラム命令を格納するのに利用される記憶装置は、ネットワークを介して分散できることが、当業者には理解されよう。たとえば、遠隔コンピュータは、ソフトウェアとして記述したプロセスの例を格納することができる。ローカル・コンピュータまたは端末コンピュータは、遠隔コンピュータにアクセスし、プログラムを実行するソフトウェアの一部または全部をダウンロードすることができる。あるいは、ローカル・コンピュータは、必要に応じてソフトウェアの各部分をダウンロードすることができ、または、場合によってはローカル端末において、場合によっては遠隔コンピュータ（もしくはコンピュータ・ネットワーク）において、ソフトウェア命令を実行することができる。当業者に知られている従来の技法を利用することにより、ＤＳＰ、プログラマブル・ロジック・アレイなどの専用回路により、ソフトウェア命令のすべてまたは一部分を実行することができることも当業者には理解されよう。

当業者には明らかになるように、本明細書において与えられたいかなる範囲または装置の値も、求める効果を失うことなく、拡張または変更することができる。

当然のことながら、前述の利益および利点は、１つの実施形態に関することもあり、またいくつかの実施形態に関することもある。実施形態は、述べてきた問題のうちの任意もしくはすべての問題を解決する実施形態、または述べてきた利益および利点のうちの任意もしくはすべてを有する実施形態に限定はされない。さらに当然のことながら、「１つの」がつくアイテムは、それらアイテムのうちの１つまたは複数を指すものである。

本明細書に記載の方法のステップは、適切ないかなる順序でも、または必要に応じて同時に実行することができる。さらに、個々のブロックは、本明細書に記載の主題の精神および範囲から逸脱することなく、方法のうちの任意のものから削除してもよい。前述の例のうちのいずれかの態様を、説明した他の例のうちのいずれかの態様と組み合わせて、求める効果を失うことなく、さらなる例を形成してもよい。

用語「含む」は、本明細書においては、識別された方法のブロックまたは要素を含むことを意味するが、このようなブロックまたは要素は排他的なリストを含まないことを意味し、方法または装置は、さらなるブロックまたは要素を含んでもよいことを意味するように使用されている。

当然のことながら、好ましい実施形態の上記説明は、ほんの一例として示すものであり、当業者により、様々な修正を加えてもよい。前述の仕様、例、およびデータは、本発明の例示的な実施形態の構造および使用法を完全に説明する。ある程度の具体性とともに、または１つまたは複数の個々の実施形態を参照しながら、これまで本発明の様々な実施形態を説明してきたが、当業者であれば、本発明の精神または範囲から逸脱することなく、開示した実施形態に対して、数多くの改変を加えることもできる。

Claims (16)

1. サーフェス・コンピューティング装置であって、
   少なくとも２つの動作モードを有する表面層であって、第１の動作モードでは、前記表面層は可視光に対して実質的に拡散し、第２の動作モードでは、前記表面層は可視光に対して実質的に透明である表面層と、
   前記第１の動作モードで、前記表面層上に、前記サーフェス・コンピューティング装置のグラフィカル・ユーザ・インターフェースを含むグラフィカル・データを投影し、前記第２の動作モードで、前記表面層を通して対象物上に異なるグラフィカル・データを投影するように動作可能である投影装置と、
   前記表面層に対する前記対象物の位置および方向のうちの少なくとも１つを検出するように構成された対象物検出装置と
   を備えることを特徴とするサーフェス・コンピューティング装置。
2. 前記第２の動作モードで、前記表面層を通して前記対象物上に投影される前記グラフィカル・データは、前記対象物の位置および方向のうちの前記検出される少なくとも１つに依存することを特徴とする請求項１に記載のサーフェス・コンピューティング装置。
3. 前記第２の動作モードで、前記表面層を通して画像を取り込むように構成された画像装置をさらに備えることを特徴とする請求項１に記載のサーフェス・コンピューティング装置。
4. プロセッサと、
   前記プロセッサが、前記画像を処理してユーザ入力を識別し、前記ユーザ入力に従って前記サーフェス・コンピューティング装置上で実行しているプログラムに入力を提供するようにするための、実行可能命令を格納するように構成されたメモリと
   をさらに備えることを特徴とする請求項３に記載のサーフェス・コンピューティング装置。
5. 前記投影装置は、前記第１の動作モードで、前記表面層上にグラフィカル・データを投影するように動作可能な表示装置と、前記第２の動作モードで、前記表面層を通して前記対象物上にグラフィカル・データを投影するように動作可能なプロジェクタとを備えることを特徴とする請求項１に記載のサーフェス・コンピューティング装置。
6. サーフェス・コンピューティング装置を動作させる方法であって、
   実質的に拡散の状態と実質的に透明の状態との間で表面層を切替えるステップと、
   前記実質的に拡散の状態では、前記表面層上に、前記サーフェス・コンピューティング装置のグラフィカル・ユーザ・インターフェースを含むグラフィカル・データを投影するステップと、
   前記実質的に透明の状態では、前記表面層を通して対象物上に異なるグラフィカル・データを投影するステップと、
   前記表面層に対する前記対象物の位置および方向のうちの少なくとも１つを検出するステップと
   を含むことを特徴とする方法。
7. 前記検出位置に従って、前記表面層を通して前記対象物上に投影される前記グラフィカル・データを変更するステップをさらに含むことを特徴とする請求項６に記載の方法。
8. 前記実質的に透明の状態では、前記表面層を通して画像を取り込むステップをさらに含むことを特徴とする請求項６に記載の方法。
9. 前記画像を処理してユーザ入力を識別するステップと、
   前記ユーザ入力に従って、前記サーフェス・コンピューティング装置上で実行しているプログラムを制御するステップと
   をさらに含むことを特徴とする請求項８に記載の方法。
10. サーフェス・コンピューティング・システムであって、
    可視光に対して実質的に拡散する第１の状態と、可視光に対して実質的に透明な第２の状態との間で電気的に切替えることができる層と、
    少なくとも１つのプロジェクタを含み、前記第１の状態で、前記層上に、前記コンピューティング・システムのグラフィカル・ユーザ・インターフェースを含むグラフィカル・データを投影し、前記第２の状態で、前記層を通して対象物上に異なるグラフィカル・データを投影するように構成された投影装置と、
    前記対象物の位置および方向のうちの少なくとも１つを検出するように構成された対象物検出装置と
    を備えることを特徴とするサーフェス・コンピューティング・システム。
11. 前記対象物をさらに備え、前記対象物は、前記対象物上に投影される前記グラフィカル・データの向きを変えるように動作可能であることを特徴とする請求項１０に記載のサーフェス・コンピューティング・システム。
12. 前記対象物は表示面を備え、前記対象物は、前記表示面上に前記グラフィカル・データの向きを変えるように動作可能であることを特徴とする請求項１１に記載のサーフェス・コンピューティング・システム。
13. 前記対象物は複数の表示面を備え、前記第２の状態で前記層を通して投影される前記グラフィカル・データは、前記複数の表示面のうちの少なくとも１つの表示面上に表示するためのグラフィカル・データを含むことを特徴とする請求項１２に記載のサーフェス・コンピューティング・システム。
14. 前記投影装置は、前記対象物の位置および方向のうちの前記検出される少なくとも１つに依存して、前記対象物上に異なるグラフィカル・データを投影するようにさらに構成されることを特徴とする請求項１０に記載のサーフェス・コンピューティング・システム。
15. 前記対象物検出装置は、画像取込み装置を備えることを特徴とする請求項１０に記載のサーフェス・コンピューティング・システム。
16. ユーザが前記対象物に触れることを検出し、ユーザが前記対象物に触れる前記検出に応答して、前記サーフェス・コンピューティング装置上で実行しているプログラムを制御するように構成されたタッチ検出装置をさらに備えることを特徴とする請求項１０に記載のサーフェス・コンピューティング・システム。

Images