JP5693972B2

JP5693972B2 - 切替え可能なディフューザを備える対話型サーフェイスコンピュータ

Info

Publication number: JP5693972B2
Application number: JP2010548665A
Authority: JP
Inventors: イサディシャハラン; エー．ローゼンフェルドダニエル; イー．ホッジスステファン; テイラースチュアート; アレクサンダーバトラーデイビッド; ヒリゲスオトマール; バクストンウィリアム
Original assignee: Microsoft Corp
Current assignee: Microsoft Corp
Priority date: 2008-02-29
Filing date: 2008-12-31
Publication date: 2015-04-01
Anticipated expiration: 2028-12-31
Also published as: CN101971123B; JP2011513828A; EP2260368A1; MX2010009519A; KR20100123878A; CA2716403A1; US20090219253A1; TWI470507B; IL207284A0; EP2260368A4; WO2009110951A1; TW200941318A; CN101971123A

Description

従来、コンピュータとのユーザインタラクションは、キーボードおよびマウスによるものであった。スタイラスペンを使用してユーザ入力を可能にするタブレットＰＣが開発され、また、タッチセンサー式スクリーンでも、ユーザが（例えば、ソフトボタンを押して）スクリーンに触れることにより、より直接的にインタラクションすることを可能にした。しかし、スタイラスペンまたはタッチスクリーンの使用では、一般に、一度に１つの接触点を検出することに限定されている。

近年、ユーザが、複数の指を使用して、コンピュータ上に表示されるデジタルコンテンツと直接インタラクションすることを可能にするサーフェイスコンピュータが開発されている。コンピュータのディスプレイへのそのようなマルチタッチ入力では、直観的なユーザインターフェースがユーザに与えられるが、複数の接触事象を検出することは困難である。マルチタッチ検出へのアプローチでは、ディスプレイ表面より上または下にカメラを使用し、コンピュータビジョンアルゴリズムを使用してキャプチャした映像を処理する。ディスプレイ表面より上にカメラを使用することにより、表面上の手または他の物体を撮像することが可能になるが、表面近くにある物体と、実際に表面に接触している物体の区別が難しい。加えて、そのような「トップダウン」構造においては、オクルージョンが問題になり得る。代替の「ボトムアップ」構造においては、カメラが、ディスプレイ表面より下に、ディスプレイ表面上へ表示する画像の投影に使用されるプロジェクタと共に置かれ、ディスプレイ表面には拡散表面物質が含まれる。そのような「ボトムアップ」システムでは、接触事象をより容易に検出できるが、任意の物体の撮像が難しい。

以下に記載される実施形態は、任意のまたは全ての既知のサーフェイスコンピュータデバイスに関する不都合を解決する実現に限定されない。

以下に、基本的な理解を読者に提供するために開示の簡素化された要約を示す。この要約は、開示の広範囲な概要ではなく、かつ、本発明の重要および／または決定的な要素を特定することまたは本発明の範囲を明確にすること、を意図していない。その唯一の目的は、後に示されるさらに詳細な記載の前置きとして、本明細書に開示されるいくつかの概念を簡素化された形式で示すことである。

切替え可能なディフューザ層を備える対話型サーフェイスコンピュータについて説明する。切替え可能層は２つの状態を有する。透明状態と拡散状態である。該層が拡散状態にある時ときはデジタル画像を表示し、該層が透明状態にある時は該層を通して画像をキャプチャすることが可能である。一実施形態において、プロジェクタを使用して、デジタル画像を拡散状態にある層上に投影し、光センサを使用して接触検出を行う。

以下の発明を実施するための形態を、添付の図面との関連において考察して参照することにより、より良く理解すれば、多くの付随する特徴はさらに容易に理解されるであろう。

本発明は、以下の発明を実施するための形態を添付の図面に照らして読むことにより、より良く理解されるであろう。

サーフェイスコンピュータデバイスの概略図である。サーフェイスコンピュータデバイスの例示の動作方法のフロー図である。別のサーフェイスコンピュータデバイスの概略図である。サーフェイスコンピュータデバイスの別の例示の動作方法のフロー図である。キャプチャされた画像の二進表現の２つの例を示す図である。さらなるサーフェイスコンピュータデバイスの概略図である。さらなるサーフェイスコンピュータデバイスの概略図である。さらなるサーフェイスコンピュータデバイスの概略図である。赤外線ソースおよび赤外線センサのアレイの概略図である。さらなるサーフェイスコンピュータデバイスの概略図である。さらなるサーフェイスコンピュータデバイスの概略図である。さらなるサーフェイスコンピュータデバイスの概略図である。さらなるサーフェイスコンピュータデバイスの概略図である。さらなるサーフェイスコンピュータデバイスの概略図である。さらなるサーフェイスコンピュータデバイスの例示の動作方法のフロー図である。別のサーフェイスコンピュータデバイスの概略図である。同様の参照番号を使用して、添付の図面中の同様の構成部分を示す。

添付の図面との関連において以下に提供される発明を実施するための形態は、本例の説明として意図されるものであり、本例が構築または利用され得る形式のみを表すことを意図していない。記載では、例が有する機能および例を構築および動作するステップの順序が説明される。しかし、同一または同等の機能および順序を、異なる例により達成することができる。

図１は、サーフェイスコンピュータデバイスの概略図であり、サーフェイスコンピュータデバイスには、実質的に拡散である（Ｄｉｆｆｕｓｅ）状態と、実質的に透明な状態との間で切替え可能な表面１０１と、本例においてはプロジェクタ１０２を含む表示手段と、カメラまたは他の光学センサ（またはセンサのアレイ）の画像キャプチャデバイス１０３と、が含まれる。表面は、例えば、卓に水平に埋め込むことができる。図１に示す例において、プロジェクタ１０２および画像キャプチャデバイス１０３は、両方とも表面の下に置かれる。他の構成が可能であり、多数の他の構成が以下に記載される。

用語「サーフェイスコンピュータデバイス」は、本明細書で使用されるとき、グラフィカルユーザインターフェースを表示することおよびコンピュータデバイスへの入力を検出すること、に使用される表面を含むコンピュータデバイスに言及する。表面は、平面でも平面でなくとも良く（例えば、曲面または球面）、剛性のものでも可塑性のものでも良い。コンピュータデバイスへの入力は、例えば、ユーザが表面に触れることにより、または物体を使用して（例えば、物体検出またはスタイラス入力）行うことができる。使用される任意の接触検出または物体検出の技術により、単一の接触点の検出が可能とされ、またはマルチタッチ入力が可能とされる。

以下の記載は、「拡散状態」および「透明状態」に言及し、これらは、実質的に拡散（Ｄｉｆｆｕｓｉｎｇ）である表面および実質的に透明な表面であって、表面の拡散率が透明状態より拡散状態において実質的に高い、表面について言及する。透明状態において、表面は全体が透明なわけではなく、拡散状態において、表面は全体が拡散（Ｄｉｆｆｕｓｅ）であるわけでなないことを理解されたい。さらに、上述のように、いくつかの例において、表面のある領域のみが切替わる（または切替え可能である）こともある。

サーフェイスコンピュータデバイスの動作の例は、図２に示すフロー図およびタイミングチャート２１から２３を参照して説明することができる。タイミングチャート２１から２３は、それぞれ、切替え可能表面１０１（タイミングチャート２１）、プロジェクタ１０２（タイミングチャート２２）、および画像キャプチャデバイス（タイミングチャート２３）の動作を示す。表面１０１が拡散状態２１１にあると（ブロック２０１）、プロジェクタ１０２は、デジタル画像を表面上へ投影する（ブロック２０２）。このデジタル画像には、サーフェイスコンピュータデバイス用のＧＵＩ（ｇｒａｐｈｉｃａｌｕｓｅｒｉｎｔｅｒｆａｃｅ：グラフィカルユーザインターフェース、以下ＧＵＩ）または任意の他のデジタル画像が含むことができる。表面が透明状態２１２に切替わると（ブロック２０３）、画像を、画像キャプチャデバイス（ブロック２０４）により該表面を通してキャプチャすることができる。キャプチャされた画像は、以下に詳述するように、物体の検出に使用することができる。処理は繰り返すことができる。

本明細書に記載されるサーフェイスコンピュータデバイスは、２つのモードを有する。表面が拡散状態にある時の「投影モード」、および、表面が透明モードにある時の「画像キャプチャモード」である。表面１０１が、フリッカ知覚の閾値を超える速度の状態間で切替わると、サーフェイスコンピュータデバイスを見ている者は、表面に投影される安定したデジタル画像を見ることができる。

図１に示すような、切替え可能なディフューザ層（例えば、表面１０１）を備えるサーフェイスコンピュータデバイスは、ボトムアップ構造およびトップダウン構造の両方の機能性、例えば、接触事象を見分ける能力を提供する、可視スペクトルでの撮像をサポートする、および、表面から大きく離れた物体の撮像および／または感知を可能にする、といった機能性を提供することができる。検出および／または撮像することができる物体には、ユーザの手もしくは指、または無生物の物体が含まれる。

表面１０１には、ＰＳＣＴ（ＰｏｌｙｍｅｒＳｔａｂｉｌｉｓｅｄＣｈｏｌｅｓｔｅｒｉｃＴｅｘｔｕｒｅｄ：高分子安定化コレステリックテクスチャ、以下ＰＳＣＴ）液晶のシートが含まれ、そのようなシートは、電圧を印加することにより拡散状態と透明状態を電気的に切替えることができる。ＰＳＣＴは、フリッカ知覚の閾値を超える速度で切替わることが可能である。一例において、表面は、１２０Ｈｚ程度で切替わる。別の例において、表面１０１には、ＰＤＬＣ（ＰｏｌｙｍｅｒＤｉｓｐｅｒｓｅｄＬｉｑｕｉｄＣｒｙｓｔａｌ：高分子分散型液晶、以下ＰＤＬＣ）のシートが含まれる。しかし、ＰＤＬＣを使用して達成できる切替え速度は、一般にＰＳＣＴによるものより遅い。拡散状態と透明状態を切替え可能な表面の他の例には、拡散ガスまたは透明ガスで選択的に充満させることができるガス充満キャビティ、および、表面の平面の内外で分散素子を切替えることが可能で（例えば、ベネチアンブラインドに類似した方法で）機械的デバイス、が含まれる。これらの全ての例において、表面は、拡散状態と透明状態を電気的に切替え可能である。表面を提供する技術に依存して、表面１０１は２つの状態のみを有すること、またはより多くの状態を有することができ、例えば、拡散率を制御して、異なる拡散率を持つ多くの状態を提供することが可能である。

いくつかの例において、表面１０１全体を、実質的に透明な状態と、実質的に拡散な状態に切替えることができる。他の例においては、スクリーンの一部分でのみ状態を切替えることができる。いくつかの例において、切替えられる領域の制御の粒度に依存して、透明の窓が表面（例えば、表面に置かれた物体の下）に開かれ、一方、表面の残りの部分は実質的に拡散状態にある。表面の一部分を切替えることは、表面の切替え速度がフリッカの閾値より下回る場合、画像またはＧＵＩを表面の一部分に表示させる一方、表面の別の部分を通して撮像を行うため、有用である。

他の例においては、表面は、拡散状態と透明状態の間で切替えておらず、表面に入射する光の性質により、拡散動作モードおよび透明動作モードを有することができる。例えば、表面は、偏光の一方向についてのディフューザとして作動し、別の偏光については透過的であることができる。別の例において、表面の光学的特性、および、従って動作のモードは、入射光の波長（例えば、可視光については拡散性であり、赤外線については透過性である）、または入射光の入射角に依存し得る。図１３および１４に関しては、例が以下に記載される。

図１に示すサーフェイスコンピュータデバイスの表示手段には、デジタル画像を表面１０１の背面に投影するプロジェクタ１０２が含まれる（すなわち、プロジェクタは、見る者に対して表面の反対側にある）。これにより、適切な表示手段の一例が提供されるのみであり、他の例には、図７に示すようなフロントプロジェクタ（すなわち、見る者と表面の同じ側にあって、表面の前面に投影するプロジェクタ）、または、図１０に示すようなＬＣＤ（ｌｉｑｕｉｄｃｒｙｓｔａｌｄｉｓｐｌａｙ：液晶ディスプレイ、以下ＬＣＤ）が含まれる。プロジェクタ１０２は、任意のタイプのプロジェクタ、例えば、ＬＣＤ、ＬＣＯＳ（ｌｉｑｕｉｄｃｒｙｓｔａｌｏｎｓｉｌｉｃｏｎ：反射型液晶、以下ＬＣＯＳ）、ＤＬＰ（ＤｉｇｉｔａｌＬｉｇｈｔＰｒｏｃｅｓｓｉｎｇ：デジタル光処理方式、以下ＤＬＰ）（登録商標）、またはレーザプロジェクタ、とすることができる。プロジェクタは、固定または、可動とすることができる。サーフェイスコンピュータデバイスには、以下に詳述するように、複数のプロジェクタを含むことができる。別の例においては、ステレオプロジェクタを使用することができる。サーフェイスコンピュータデバイスに、複数のプロジェクタ（または複数の表示手段）が含まれる場合、プロジェクタは、同じタイプでも異なるタイプのものでも良い。例えば、サーフェイスコンピュータデバイスには、異なる焦点距離、異なる動作波長、異なる解像度、異なる指向方向等、を備えるプロジェクタを含むことができる。

プロジェクタ１０２は、表面が拡散（Ｄｉｆｆｕｓｅ）であるかまたは透明であるかに関わらず画像を投影することができ、あるいは、プロジェクタの動作を、表面の切替えと同期させて、画像が、表面が一方の状態にある時（例えば、拡散状態にある時）に投影されるようにすることができる。プロジェクタを、表面と同じ速度で切替えることが可能である場合、プロジェクタは、表面と同期して直接切替えられる。しかし、他の例においては、切替え可能なシャッタ（または、鏡またはフィルタ）１０４をプロジェクタの前に配置し、シャッタを表面に同期させて切り替えることができる。切替え可能なシャッタの例には、強誘電ＬＣＤシャッタがある。

プロジェクタ１０２、任意の他の表示手段、または別の光源等の、サーフェイスコンピュータデバイス内の任意の光源は、表面が透明のときは以下の内の１つまたは複数に対して使用することができる。
・物体の照明（例えば、画像の撮像を可能にする）
・深さの判定、例えば、構造化された光のパターンを物体に投影することによる
・データ送信、例えば、ＩｒＤＡを使用する
光源が表示手段でもある場合、デジタル画像を表面上へ投影すること以外にこのようなことも行う（例えば、図１のように）。あるいは、複数の光源をサーフェイスコンピュータデバイスに設けることができ、異なる光源を異なる目的に使用することができる。さらなる例が以下に記載される。

画像キャプチャデバイス１０３には、スチルカメラまたはビデオカメラを含むことができ、キャプチャされた画像は、サーフェイスコンピュータデバイスに近接した物体の検出、接触検出、および／または、サーフェイスコンピュータデバイスから離れた物体の検出に、使用することができる。画像キャプチャデバイス１０３には、波長選択型および／または偏光選択型のフィルタ１０５をさらに含むことができる。画像は、表面１０１が透明状態にある時に「画像キャプチャモード」（ブロック２０４）でキャプチャされると説明したが、画像は、表面が拡散状態にある時に（例えば、ブロック２０２と並行して）、このまたは別の画像キャプチャデバイスによりキャプチャすることもできる。サーフェイスコンピュータデバイスには、１つまたは複数の画像キャプチャデバイスを含むことができ、さらなる例が以下に記載される。

画像のキャプチャは、表面の切替えと同期させることができる。画像キャプチャデバイス１０３を十分に迅速に切替えることが可能である場合、画像キャプチャデバイスは、直接切替えられる。あるいは、強誘電ＬＣＤシャッタ等の切替え可能シャッタ１０６を、画像キャプチャデバイス１０３の前に配置することができ、シャッタを表面と同期させて切替えることができる。

サーフェイスコンピュータデバイス内の、画像キャプチャデバイス１０３等の画像キャプチャデバイス（または他の光学センサ）はまた、表面が透明のときは以下の内の１つまたは複数に対して使用することができる。
・物体の撮像、例えば、文書のスキャニング、指紋検出等
・高解像度撮像
・ジェスチャ認識
・深さの判定、例えば、物体に投影される構造化された光パターンを撮像することによる
・ユーザの識別
・データの受信、例えば、ＩｒＤＡを使用する
接触検出で画像キャプチャデバイスを使用すること以外に、このようなことも行うことができ、これについては以下で詳述する。あるいは、他のセンサを接触検出に使用することができる。さらなる例がまた、以下に記載される。

接触検出は、動作モードの一方または両方でキャプチャされる画像の分析を介して実行することができる。これらの画像は、画像キャプチャデバイス１０３および／または別の画像キャプチャデバイスを使用してキャプチャされてきた。他の実施形態においては、接触感知は、容量性感知、誘導性感知、または、抵抗性感知等の他の技術を使用して実現することができる。光学センサを使用する接触感知のための多くの例示の配置が、以下に記載される。

用語「接触検出」は、コンピュータデバイスに接触する物体の検出の言及に使用される。検出される物体は、無生物の物体とすることができ、または、ユーザの体の一部とすることができる（例えば、手または指）。

図３は、別のサーフェイスコンピュータデバイスの概略図を示し、図４は、サーフェイスコンピュータデバイスの別の例示の動作方法を示す。サーフェイスコンピュータデバイスには、表面１０１、プロジェクタ１０２、カメラ３０１および赤外線バンドパスフィルタ３０２が含まれる。接触検出は、表面１０１に接触する物体３０３、３０４により投じられる影の検出によって（「シャドウモード」として知られる）、および／または、物体により反射される光を検出することにより（「反射モード」として知られる）、実行することができる。反射モードにおいて、光源（または発光体）は、スクリーンに接触する物体に光をあてるために必要である。指は、赤外線に対して２０％反射するため、赤外線系のマーカまたは赤外線反射物体の影のように、赤外線はユーザの指から反射され、検出される。説明目的のみのため、反射モードが記載され、図３には複数の赤外線光源３０５が示される（代わりに他の波長を使用することも可能である）。他の例ではシャドウモードを使用することができ、従って赤外線光源３０５が含まれなくても良いことは理解されるであろう。光源３０５には、高出力赤外線ＬＥＤ（ｌｉｇｈｔｅｍｉｔｔｉｎｇｄｉｏｄｅ：発光ダイオード、以下ＬＥＤ）が含まれる。図３に示すサーフェイスコンピュータデバイスにはまた、プロジェクタ１０２により投影される光を反射する鏡３０６が含まれる。鏡により、光学縦列が折り畳まれデバイスはより小さくなるが、他の例に、鏡を含めなくとも良い。

反射モードでの接触検出は、表面１０１に光を当てること（ブロック４０１、４０３）、反射光をキャプチャすること（ブロック４０２、２０４）、および、キャプチャされた画像を分析すること（フロック４０４）、により実行することができる。上述したように、接触検出は、投影（拡散）モードおよび画像キャプチャ（透明）モードの一方または両方（図４では両方を示す）でキャプチャされた画像に基づくことができる。拡散状態にある表面１０１を通過する光は、透明状態にある表面１０１を通過する光より減衰される。カメラ１０３は、グレースケールの赤外線深さ画像をキャプチャし、減衰が進んだ結果、表面が拡散（Ｄｉｆｆｕｓｅ）であるときは反射光においてシャープカットオフになり（点線３０７で示すように）、物体は、物体が表面に近づくとキャプチャされた画像に現れるのみであり、物体が表面に近づくように移動すると、反射光の強度が高まる。表面が透明のときは、表面からより離れた物体からの反射光を、検出することが可能であり、赤外線カメラは、シャープカットオフがより少ないより詳細な深さ画像をキャプチャする。減衰の差による結果、表面に近接する物体が変わらない場合でも２つのモードのそれぞれで異なる画像をキャプチャすることができ、かつ、分析において両方の画像を使用することにより（ブロック４０４）、物体に関する追加の情報を取得することができる。この追加の情報により、例えば、物体の（例えば、赤外線に対する）反射率を測定可能にすることができる。そのような例において、透明モードのスクリーンを通してキャプチャされた画像が、反射率が既知である（例えば、肌は赤外線に２０％の反射率を有する）肌の色または別の物体（または物体のタイプ）を検出することができる。

図５は、キャプチャされた画像５０１、５０２の２つの例示の二進表現を示し、また、２つの表現が重なりあったもの５０３を示す。二進表現は、（ブロック４０４の分析において）強度の閾値を使用して生成され、閾値を超える強度を有する検出画像の領域が白で示され、閾値を超えない領域が黒で示される。第１の例５０１は、表面が拡散（Ｄｉｆｆｕｓｅ）であるときに（ブロック４０２にて）キャプチャされた画像を代表するものであり、第２の例５０２は、表面が透明のときに（フロック２０４にて）キャプチャされた画像を代表するものである。拡散表面により減衰が進んだ結果、（およびその結果得られるカットオフ３０７の結果）、第１の例５０１は、表面に接触する５本の指先に対応する５つの白い領域５０４を示し、一方、第２の例５０２は、２つの手５０５の位置を示す。例５０３に示すように、これら２つの例５０１、５０２からデータを組み合わせることにより、追加の情報が得られ、この特定の例においては、表面に接触している５本の指が２つの異なる手からものである、と判定することが可能である。

図６は、接触検出のためにＦＴＩＲ（ｆｒｕｓｔｒａｔｅｄｔｏｔａｌｉｎｔｅｒｎａｌｒｅｆｌｅｃｔｉｏｎ：妨害された全反射、以下ＦＴＩＲ）という現象を利用する、別のサーフェイスコンピュータデバイスの概略図を示す。発光ダイオード（ＬＥＤ）６０１（または、複数のＬＥＤ）を使用して、アクリル板６０２に光を照らし、この光はアクリル板６０２内でＴＩＲ（ｔｏｔａｌｉｎｔｅｒｎａｌｒｅｆｌｅｃｔｉｏｎ：全反射、以下ＴＩＲ）が起こる。指６０３が、アクリル板６０２の上面に対して押圧されると、光を散乱させる。散乱した光は、アクリル板の背面を通り、アクリル板６０２の背後に置かれたカメラ１０３により検出することができる。切替え可能表面１０１は、アクリル板６０２の背後におくことができ、プロジェクタ１０２を使用して、画像を拡散状態にある切替え可能表面１０１の背面に投影することができる。サーフェイスコンピュータデバイスは、シリコンゴムの層等の薄い可塑性層６０４をアクリル板６０２の上部にさらに備えて、ＴＩＲ妨害する際に補助することができる。

図６において、ＴＩＲが、アクリル板６０２内に示される。これは例示のみのためであり、ＴＩＲは、異なる材料でできた層においても起こり得る。別の例において、ＴＩＲは、透明状態のときの切替え可能表面自体の中、または、切替え可能表面内の層の中で起こる。多くの例において、切替え可能表面には、ガラス、アクリル、または他の材料とすることができる２つの透明シートの間に、液晶または他の材料を含むことができる。そのような例において、ＴＩＲは、切替え可能表面内の透明シートうちの１つの内部で起こり得る。

周囲の赤外線放射の接触検出への影響を減少または除去するために、赤外線フィルタ６０５を、ＴＩＲが起こる平面の上に含めることができる。このフィルタ６０５は、全ての赤外線波長を遮断することができ、または、別の例においては、ノッチフィルタを使用して、ＴＩＲに実際に使用される波長のみを遮断することができる。これにより、（以下に詳述するように）必要であれば、表面を通した撮像のために赤外線を使用することが可能にされる。

図６に示すように、表面に接近しているが接触していない物体を検出するために、接触検出のためのＦＴＩＲの使用を、（透き通った状態にある）切替え可能表面を通した撮像と組み合わせることができる。撮像には、接触事象の検出に使用されるものと同じカメラ１０３を使用することができ、または、別の撮像デバイス６０６を設けても良い。加えて、または、代わりに、透き通った状態にある表面を通して光を投影しても良い。これらの態様は、以下で詳述される。デバイスにはまた、以下に記載する要素６０７を含むことができる。

図７および８は、赤外線ソースのアレイ７０１および接触検出用の赤外線センサを使用する２つの例示のサーフェイスコンピュータデバイスの概略図を示す。図９は、アレイ７０１の一部をより詳細に示す。アレイ内の赤外線ソース９０１は、切替え可能表面１０１を通過する赤外線９０３を出射する。切替え可能表面１０１の上または近くにある物体は、赤外線を反射し、反射された赤外線９０４が１つまたは複数の赤外線センサ９０２により検出される。フィルタ９０５が、各赤外線センサ９０２より上に配置されて、感知に使用されない波長をフィルタで除去することができる（例えば、可視光をフィルタで除去する）。上述したように、赤外線が表面を通過することに伴う減衰は、表面が拡散状態にあるか透明状態にあるかに依存し、これが赤外線センサ９０２の検出範囲に影響する。

図７に示すサーフェイスコンピュータデバイスでは、前面投影が使用され、一方、図８に示すサーフェイスコンピュータデバイスでは、ＣａｍＦＰＤ社により開発されたウェッジ（登録商標）等のくさび型光学部材８０１が使用され、よりコンパクトなデバイスを製造する。図７において、プロジェクタ１０２は、デジタル画像を切替え可能表面１０２の前面に投影し、これが、表面が拡散状態にある時に、見る者に見える。プロジェクタ１０２は、画像を連続的に投影することができ、または、投影は表面の切替えと同期させることができる（上述の通り）。図８において、くさび型光学部材は、一端８０２において入力される投影された画像を広げ、投影された画像は、表示面８０３から入力光に対して９０度の角度で出る。光学部材は、端から投入された光の入射角を表示面に沿ってある距離まで変換する。この配置で、画像は、切替え可能表面の背面に投影される。

図１０は、赤外線ソース１００１および接触検出用のセンサ１００２を使用するサーフェイスコンピュータデバイスの別の例を示す。サーフェイスコンピュータデバイスには、固定のディフューザ層の代わりに切替え可能表面１０１を含むＬＣＤパネル１００３がさらに含まれる。ＬＣＤパネル１００３は、表示手段を提供する（上述したとおり）。図１、３および７から９に示すコンピュータデバイスで示すように、切替え可能表面１０１が拡散状態にある時は、赤外線センサ１００２は、拡散表面の減衰のため、接触表面１００４に非常に近い物体のみを検出し、切替え可能表面１０１が透明状態にある時は、接触表面１００４から非常に離れた物体を検出することが可能である。図１、３および７から９に示すデバイスにおいて、接触表面は、切替え可能表面１０１の前面表面であり、一方、図１０に示すデバイスにおいては（図６に示すデバイスにおいても）、接触表面１００４は切替え可能表面１０１の前にある（すなわち、切替え可能表面よりも見る者に近い）。

接触検出において、表面の上または近くにある物体により（例えば、上述したように、ＦＴＩＲまたは反射モードを使用して）偏向された光（例えば、赤外線光）の検出を使用する場合、光源を変調して、周囲の赤外線または別のソースからの散乱された赤外線による影響を軽減することができる。そのような例において、検出された信号は、成分を変調周波数にて考慮するのみのためフィルタリングされることや、ある範囲の周波数を除去するためにフィルタリングされることがある（例えば、閾値より低い周波数）。他のフィルタリングの形態を使用することもできる。

別の例において、切替え可能表面１０１の上に配置されるステレオカメラを、接触検出に使用することができる。トップダウンのアプローチで接触検出にステレオカメラを使用することは、ＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＨｏｒｉｚｏｎｔａｌＩｎｔｅｒａｃｔｉｖｅＨｕｍａｎ−ＣｏｍｐｕｔｅｒＳｙｓｔｅｍｓ，Ｔａｂｌｅｔｏｐ２００７（水平で人間とコンピュータ対話型システムに関するＩＥＥＥ国際会議、テーブルトップ２００７）発行の、Ｓ．Ｉｚａｄｉらの「Ｃ−Ｓｌａｔｅ：ＡＭｕｌｔｉ−ＴｏｕｃｈａｎｄＯｂｊｅｃｔＲｅｃｏｇｎｉｔｉｏｎＳｙｓｔｅｍｆｏｒＲｅｍｏｔｅＣｏｌｌａｂｏｒａｔｉｏｎｕｓｉｎｇＨｏｒｉｚｏｎｔａｌＳｕｒｆａｃｅｓ」（Ｃ−Ｓｌａｔｅ：水平表面を使用するリモートコラボレーションのためのマルチタッチおよび物体認識システム）と題する論文に記載されている。ステレオカメラは、ボトムアップ構造での方法と同様に使用することができ、ステレオカメラは切替え可能表面より下に配置され、撮像は、切替え可能表面が透明状態にある時に実行される。上述したように、撮像は、表面の切替えと同期させることができる（例えば、切替え可能シャッタを使用して）。

サーフェイスコンピュータデバイス内の光学センサは、接触検出に使用する以外にまたはそれに代えて、撮像に使用することができる（例えば、接触検出が代替の技術を使用して達成される場合）。さらに、カメラ等の光学センサを設けて、可視的撮像および／または高解像度撮像を提供することができる。撮像は、切替え可能表面１０１が透明状態にある時に実行することができる。いくつかの例において、撮像は、表面が拡散状態にある時に実行することもでき、物体の２つのキャプチャされた画像を組み合わせることにより、追加の情報が得られる。

表面を通して物体を撮像するとき、撮像は、（図４に示すように）物体に光を照らすことにより支援される。この照明は、プロジェクタ１０２または任意の他の光源により提供される。

一例において、図６に示すサーフェイスコンピュータデバイスには、切替え可能表面が透明状態にある時に切替え可能表面を通して撮像するために使用することができる、第２の撮像デバイス６０６が含まれる。画像のキャプチャは、例えば、画像キャプチャデバイスを直接切替えるおよび／または起動させることにより、または切替え可能シャッタの使用を介して、切替え可能表面１０１の切替えと同期させることができる。

サーフェイスコンピュータデバイスの表面を通して撮像する、多くの異なる用途があり、用途によって、異なる画像キャプチャデバイスが必要とされる。サーフェイスコンピュータデバイスには、１つまたは複数の画像キャプチャデバイスを含むことができ、これらの画像キャプチャデバイスは、同じタイプでも異なるタイプのものでも良い。図６および１１は、複数の画像キャプチャデバイスを含むサーフェイスコンピュータデバイスの例を示す。種々の例が以下に記載される。

可視波長で動作する高解像度画像キャプチャデバイスを使用して、サーフェイスコンピュータデバイス上に置かれた文書等の物体を撮像またはスキャンすることができる。高解像度画像キャプチャは、表面全体または表面の一部に作用する。一例において、切替え可能表面が拡散状態にある時に、赤外線カメラ（例えば、カメラ１０３をフィルタ１０５と組み合わせて）により、または、赤外線センサ（例えば、センサ９０２、１００２）により、キャプチャされた画像を使用して、高解像度画像キャプチャが必要な画像の一部を決定することができる。例えば、赤外線画像（拡散表面を通してキャプチャされた）は、表面上の物体（例えば、物体３０３）の存在を検出することができる。そして、物体の領域が、切替え可能表面１０１が透明状態にある時に同じまたは異なる画像キャプチャデバイスを使用して、高解像度画像キャプチャに対して識別される。上述したように、プロジェクタまたは他の光源を使用して、撮像またはスキャンする物体を照らすことができる。

画像キャプチャデバイス（これは高解像度画像キャプチャデバイスであり得る）によりキャプチャされた画像は、続いて処理されて、ＯＣＲ（ｏｐｔｉｃａｌｃｈａｒａｃｔｅｒｒｅｃｏｇｎｉｔｉｏｎ：光学式文字認識）または手書き文字認識等の追加の機能性を提供することができる。

さらなる例において、ビデオカメラ等の画像キャプチャデバイスを使用して、顔および／または物体のクラスを認識することができる。一例において、外観および形状の手掛かりを使用するランダムフォレストベースの機械学習法を使用して、特定のクラスの物体の存在を検出することができる。

切替え可能表面１０１の背後に配置されたビデオカメラを使用して、透明状態にある切替え可能表面を通してビデオクリップをキャプチャすることができる。これには、赤外線、可視または他の波長を使用することができる。キャプチャされた映像の分析により、表面から離れた地点でのジェスチャ（例えば、手のジェスチャ）を介するサーフェイスコンピュータデバイスとのユーザインタラクションを可能にすることができる。別の例において、ビデオクリップの代わりに、静止画のシーケンスを使用することができる。データ（すなわち、映像または画像のシーケンス）を分析して、検出した接触点をユーザに対してマッピングすることも可能にできる。例えば、接触点は、手に対してマッピングすることができ（例えば、映像の分析、または図５を参照して上述した方法を使用して）、手および腕を、対にしてマッピングして（例えば、それらの位置、または服の色および／またはパターン等のそれらの視覚的特徴、に基づき）、ユーザの人数、および、どの接触点が異なるユーザの動作に対応するか、を識別することを可能にできる。同様の技術を使用して、手が一時的に視界から消えてまた戻る場合でも、手をトラッキングすることができる。これらの技術は、複数のユーザが同時に使用することが可能なサーフェイスコンピュータデバイスについては、特に適切である。接触点のグループを特定のユーザに対してマッピングする能力がないと、マルチユーザ環境においては接触点が間違って解釈されることがある（例えば、誤ったユーザインタラクションに対してマッピングされる）。

拡散状態にある切替え可能表面を通した撮像により、物体のトラッキングならびに粗いバーコードおよび他の識別マークの認識を可能にする。しかし、切替え可能なディフューザを使用することで、透明状態にある表面を通した撮像により、より詳細なバーコードの認識を可能にする。これにより、より広い範囲の物体の（例えば、より複雑なバーコードを使用した）一意的な識別を可能とし、および／または、バーコードをより小さくすることを可能とする。一例において、物体の位置は、接触検出技術（光学的または他の技術でも良い）を使用して、または、（どちらかの状態にある）切替え可能表面を通して撮像することにより、トラッキングすることができ、高解像度画像を周期的にキャプチャして、物体上の任意のバーコードの検出を可能にする。高解像度撮像デバイスは、赤外線、紫外線または可視波長で、動作することができる。

高解像度撮像デバイスを、指紋認識に使用することもできる。これにより、ユーザの識別、接触事象の分類、ユーザ認証等を可能とする。用途によっては、全指紋検出を行う必要はなく、指紋の特定の特徴に簡素化された分析を施すこともある。撮像デバイスは、手のひらまたは顔認識等の他のタイプの生体認証に使用することもできる。

一例において、白黒画像キャプチャデバイス（例えば、白黒カメラ）を使用して、および、撮像中の物体を順次、赤、緑、青の光で照らすことにより、カラー撮像を行うことができる。

図１１は、軸外画像キャプチャデバイス１１０１を含むサーフェイスコンピュータデバイスの概略図を示す。軸外画像キャプチャデバイスは、例えば、静止画カメラまたはビデオカメラを含むことができ、ディスプレイの周囲の物体および人の撮像に使用することができる。これにより、ユーザの顔をキャプチャすることを可能にする。続いて、顔認識を使用して、ユーザを識別すること、または、ユーザの人数、および／または、ユーザが表面上の何を見ているか（すなわち、表面のどの部分をユーザが見ているか）、を判定することができる。これは、視線認識、視線トラッキング、認証等に使用することができる。別の例において、コンピュータデバイスが表面の回りの人の位置に反応する（例えば、ユーザインターフェースを変更すること、オーディオに使用するスピーカを変更することなどにより）ことを可能にする。図１１に示すサーフェイスコンピュータデバイスには、高解像度画像キャプチャデバイス１１０５を含むこともできる。

上記の記載は、表面を通して物体を直接撮像することに関する。しかし、表面より上に配置される鏡を使用すると、他の表面を撮像することができる。一例において、サーフェイスコンピュータデバイスより上に鏡が組み込まれる場合（例えば、天井に組み込む、特別な装備に組み込むなどして）、表面に置かれた文書の両面を撮像することができる。使用する鏡は、固定されること（すなわち、常に鏡である）、または鏡の状態と非鏡の状態を切替えることが可能である。

上述したように、表面全体、または表面の一部のみをモード間で切替えることができる。一例において、物体が置かれる場所は、接触検出を介して、または、キャプチャされた画像を分析することにより、検出することができる。そして、表面は、物体の領域において切替えられて、透明の窓を開き、その窓を通して撮像、例えば、高解像度撮像を行うことができ、一方、表面の残りの部分は拡散状態にあり、画像を表示することができる。例えば、手のひら認識または指紋認識が実行される場合、表面に接触する手のひらまたは指の存在を、（例えば、上述したような）接触検出法を使用して検出することができる。透明の窓は、手のひらおよび／または指先が置かれた領域内の切替え可能表面（開いていないときは拡散状態である）で開かれ、撮像がこれらの窓を通して実行されて、手のひらおよび／または指紋認識を可能にすることができる。

上述のいずれかのようなサーフェイスコンピュータデバイスは、表面に接触していない物体に関する深さの情報をキャプチャすることもできる。図１１に示す例示のサーフェイスコンピュータデバイスには、深さの情報をキャプチャするための要素１１０２（本明細書においては、「深さキャプチャ要素」と称する）が含まれる。この深さの情報を取得するために使用される多数の異なる技術があり、多数の例を以下に記載する。

第１の例においては、深さキャプチャ要素１１０２には、ステレオカメラまたは対のカメラが含むことができる。別の例において、要素１１０２には、例えば、３ＤＶＳｙｓｔｅｍｓ社により開発されたような三次元ＴＯＦ方式（ｔｉｍｅｏｆｆｌｉｇｈｔ：飛行時間計測式、以下ＴＯＦ方式）カメラを含むことができる。ＴＯＦ方式カメラは、任意の適切な技術を使用することができ、この技術には、音響、超音波、無線、または光信号を使用することが含まれるが、これに限定されない。

別の例において、深さキャプチャ要素１１０２は、画像キャプチャデバイスとすることができる。正則グリッドのような構造化された光のパターンは、例えば、プロジェクタ１０２により、または、第２のプロジェクタ１１０３により、（透明状態にある）表面１０１を通して投影され、物体に投影されるパターンは、画像キャプチャデバイスによりキャプチャされ、かつ、分析される。構造化された光のパターンは、可視光または赤外線光を使用することができる。拡散表面への画像の投影に使用するプロジェクタ（例えば、プロジェクタ１０２）、および、構造化された光のパターンの投影使用するプロジェクタ（例えば、プロジェクタ１１０３）が別々である場合、デバイスは直接切替えられるか、あるいは、切替え可能シャッタ１０４、１１０４をプロジェクタ１０２、１１０３の前に配置して切替え可能表面１０１に同期させて切替えることが可能である。

図８に示すサーフェイスコンピュータデバイスは、ＣａｍＦＰＤ社により開発されたウェッジ（登録商標）等のくさび型光学部材８０１を備え、プロジェクタ１０２を使用して、構造化された光のパターンを透明状態にある表面１０１を通して投影することができる。

投影される構造化された光のパターンは、変調され、周囲の赤外線または他のソースからの散乱した赤外線の影響を軽減することができるようにする。そのような例において、キャプチャされた画像は、フィルタリングされて、変調の周波数から離れた成分が除去され、または別のフィルタリングスキームを使用することできる。

図６に示すサーフェイスコンピュータデバイスは、接触検出のためにＦＴＩＲを使用するが、ＴＯＦ方式の技術を使用することにより、または、赤外線を使用して構造化された光のパターンを投影することにより、深さの検出に赤外線を使用することもできる。要素６０７には、ＴＯＦ方式のデバイスまたは構造化された光のパターンを投影するプロジェクタを含むことができる。接触検出および深さ感知を切り離すために、異なる波長を使用することができる。例えば、ＴＩＲは、８００ｎｍで動作し、一方、深さの検出は、９００ｎｍで動作する。フィルタ６０５には、８００ｎｍを遮断し、よって、深さ感知に影響せずに、周囲の赤外線が接触検出に干渉することを防ぐ、ノッチフィルタが含まれる。

ＦＴＩＲの例においてフィルタを使用することに加えて、またはその代わりに、赤外線ソースの一方または両方を変調することができ、両方を変調する場合は、異なる周波数で変調し、検出される光（例えば、接触検出用および／または深さ検出用）はフィルタリングされて、不要の周波数を除去することができる。

フィールドの深さが、表面の拡散の程度に反比例するため、すなわち、表面１０１に対するカットオフ３０７（図３に示すような）の位置が、表面１０１の拡散率に依存するため、深さ検出は、切替え可能表面１０１の拡散率を変化させることによって行うことができる。画像をキャプチャし、または反射光を検出し、そしてその結果得られるデータを分析して、物体がどこで可視なのか否か、および、物体に焦点が合っているのか否かを判定することができる。別の例において、拡散率の値を変化させてキャプチャされたグレースケール画像を、分析することができる。

図１２は、別のサーフェイスコンピュータデバイス概略図を示す。デバイスは、図１に示す（および、上述した）ものと同様であるが、追加の表面１２０１および追加のプロジェクタ１２０２を備える。上述したように、プロジェクタ１２０２は、切替え可能表面１０１と同期させて切替えることができ、または、切替え可能シャッタ１２０３を使用することができる。追加の表面１２０１には、第２の切替え可能表面またはホログラフィックの背面投射型スクリーン等の半拡散表面を含むことができる。追加の表面１２０１が切替え可能表面である場合、表面１２０１は、逆位相で第１の切替え可能表面１０１に切替えられ、第１の表面１０１が透明である時に、追加の表面１２０２が拡散（Ｄｉｆｆｕｓｅ）であり、逆の場合も同様である。そのようなサーフェイスコンピュータデバイスでは、２層ディスプレイが提供され、これを使用して、深さを有する外観を見る者に与えることができる（例えば、文字を追加の表面１２０１に、背景を第１の表面１０１に投影することにより）。別の例において、あまり使用されない窓および／またはアプリケーションを後方の表面に投影し、主要な窓および／またはアプリケーションを前方の表面に投影することができる。

さらに追加の表面を設けることも考えられるが（例えば、２つの切替え可能表面および１つの半拡散表面、または３つの切替え可能表面）、使用する切替え可能表面の数を増やす場合、見る者には、投影された画像にフリッカが少しも見えないようにするのであれば、表面の切替え速度およびプロジェクタまたはシャッタを増やす必要がある。マルチ表面の使用は背面投影に関して上述したが、記載した技術は、前面投影で実現することもできる。

上述した多くのサーフェイスコンピュータデバイスには、赤外線センサ（例えば、センサ９０２、１００２）または赤外線カメラ（例えば、カメラ３０１）が含まれる。接触事象の検出および／または撮像することに加えて、赤外線センサおよび／またはカメラを、近くの物体からデータを受け取るように配置することもできる。同様に、サーフェイスコンピュータデバイスの任意の赤外線ソース（例えば、ソース３０５、９０１、１００１）を、近くの物体にデータを伝送するように配置することができる。通信は、一方向性（一方の方向）でも、双方向性でも良い。近くの物体は、接触表面に近いまたは接触しており、または、他の例においては、近くの物体は、タッチスクリーンから近距離（例えば、数キロメートルではなく数メートルまたは数十メートルの程度）にあるものとすることできる。

データは、切替え可能表面１０１が透明状態にある時に、サーフェイスコンピュータにより伝送され、または受け取られる。通信には、標準のテレビのリモートコントロールプロトコルまたはＩｒＤＡ等の、任意の適切なプロトコルを使用することができる。通信は、切替え可能表面１０１の切替えに同期させることができ、または、切替え可能表面１０１が拡散状態にある時の減衰によるデータの損失を最小限にするために、短いデータパケットを使用することができる。

例えば、受け取られる任意のデータを使用して、例えば、ポインタを提供したりユーザ入力として（例えば、ゲーム用途）、サーフェイスコンピュータデバイスを制御することができる。

図１０に示すように、固定拡散層の代わりに、切替え可能表面１０１を、ＬＣＤパネル１００３内に使用することができる。画像が浮くことを防ぎ、バックライトシステム（図１０には図示しない）内の任意の非線形性を除去するために、ＬＣＤパネル内にはディフューザが必要である。接近センサ１００２が、ＬＣＤパネルの背後に配置される場合、図１０に示すように、拡散層から切替える能力（すなわち、切替え可能層を透き通った状態に切替えることにより）により、接近センサの範囲が広がる。一例において、範囲は、１桁分拡大される（例えば、１５ｍｍ程度から１５ｃｍ程度まで）。

拡散状態と透明状態との間で層を切替える能力は、視覚的効果を（例えば、テキストを浮遊させる、画像を固定させることにより）与えるような他の用途を有する。別の例において、切替え可能表面の層の背後に赤、緑、青のＬＥＤを配置して、モノクロのＬＣＤを使用することができる。切替え可能の層は、拡散状態においては、カラーディスプレイを提供するために色が順次照らされると（例えば、各色のＬＥＤがうまく広がっている場合）スクリーン全体に広がるように使用することができる。

上述の例においては、電気的に切替え可能な層１０１を示したが、他の例においては、表面は、表面に入射する光の性質に依存して、拡散動作モードおよび透明動作モードを有することができる（上述の通り）。図１３は、動作のモードが光の入射角に依存する表面１０１を備える例示のサーフェイスコンピュータデバイスの概略図を示す。サーフェイスコンピュータデバイスには、表面に対して角度を成して、表面１０１の背面への画像の投影を可能にする、プロジェクタ１３０１が含まれる（すなわち、表面は拡散モードで動作する）。コンピュータデバイスには、スクリーンを通過する光（矢印１３０３で示すような）をキャプチャするよう配置される画像キャプチャデバイス１３０２を含むこともできる。図１４は、動作のモードが波長および／または偏光による場合の、表面１０１を備える例示のサーフェイスコンピュータデバイスの概略図を示す。

表面１０１の切替え可能の性質により、外部からデバイスへの表面を通した撮像も、可能にする。一例において、画像キャプチャデバイス（カメラを備える携帯電話等）を含むデバイスが、表面に置かれる場合、画像キャプチャデバイスは、透明状態にある表面を通して撮像することができる。図１２に示すようなマルチ表面の例では、画像キャプチャデバイスを含むデバイスは、最上部の表面１２０１上に置かれる場合、表面１２０１が拡散状態にある時に表面１２０１を撮像し、最上部の表面が透明状態にあり、かつ、下部の表面が拡散状態にある時に、表面１０１を、撮像することができる。上部の表面の任意のキャプチャされた画像は、焦点から外れており、一方、下部の表面のキャプチャされた画像は、焦点が合っている（２つの表面の間隔およびデバイスの焦点機構による）。この一用途は、サーフェイスコンピュータデバイスに置かれたデバイスを一意的に識別することであり、これについては以下にさらに詳細に記載する。

サーフェイスコンピュータデバイスの表面上にデバイスが置かれると、サーフェイスコンピュータデバイスは、２つの表面のうちの下部の表面１０１に光のパターン等の光学指標を表示する。サーフェイスコンピュータデバイスは次に、発見プロトコルを行って、範囲内の無線デバイスを識別し、各識別されたデバイスにメッセージを送信してデバイスに任意の光センサを使用させ信号を検出させる。一例において、光センサは、カメラであり、検出された信号は、カメラによりキャプチャされた画像である。各デバイスは次に、何が検出されたのかを識別するデータ（例えば、キャプチャされた画像、または、キャプチャされた画像を代表するデータ）をサーフェイスコンピュータデバイスに送り返す。このデータを分析することにより、サーフェイスコンピュータデバイスは、表示した指標をどの他のデバイスが検出したのかを判定することが可能であり、従って、特定のデバイスが、表面上にあるデバイスであるかどうかを判定することが可能である。これは、表面上のデバイスが一意的に識別されるまで繰り返され、次に、対形成、同期または任意の他のインタラクションを、識別されたデバイスとサーフェイスコンピュータデバイスとの間の無線リンクに渡って生じさせることが可能である。下部の表面を使用して光学指標を表示することにより、カメラ等の光センサがこの下部の表面に焦点を合わせやすいため、詳細なパターンおよび／またはアイコンを使用することが可能である。

図１５は、本明細書記載され、図１、３、６から１４、および１６に示す任意のデバイス等のサーフェイスコンピュータデバイスの例示の動作方法を示すフロー図である。表面が拡散状態にある時に（ブロック２０１から）、デジタル画像が表面に投影される（ブロック２０２）。表面が拡散状態にある時に、表面の上または近くにある物体の検出も、実行することができる（ブロック１５０１）。この検出には、表面を照らすこと（図４のブロック４０１のように）、および反射光をキャプチャすること（図４のブロック４０２のように）、が含まれ、または代替の方法を使用することができる。

表面が透明状態にある時に（ブロック２０３にて切替えられるため）、画像は、表面を通してキャプチャされる（ブロック２０４）。この画像キャプチャ（ブロック２０４における）には、表面を照らすことが含まれる（例えば、図４のブロック４０３に示すように）。キャプチャされた画像（ブロック２０４から）は、深さの情報を取得すること（ブロック１５０２）、および／または、表面を通して物体の検出すること（ブロック１５０３）、に使用することができ、あるいは、キャプチャされた画像（ブロック２０４から）を使用することなく、深さの情報を取得し（ブロック１５０２）、または物体を検出する（ブロック１５０３）ことができる。キャプチャされた画像（ブロック２０４から）は、ジェスチャ認識（ブロック１５０４）に使用することができる。表面は透明状態にある時に、データが送信および／または受信（ブロック１５０５）される。

処理は繰り返され、その間、表面（またはその一部）が拡散状態と透明状態の間を任意の速度で切替えられる。いくつかの例において、表面は、フリッカ知覚の閾値を超える速度で切替えることができる。他の例において、画像のキャプチャが周期的に起こるのみである場合、表面は、画像キャプチャが要求されるまで拡散状態のまま保持され、要求されると表面が透明状態に切替えられる。

図１６は、種々の例示のサーフェイスコンピュータ系デバイス１６００の構成要素を例示し、サーフェイスコンピュータ系デバイス１６００は、任意の形式のコンピュータデバイスおよび／または電子デバイスとして実現することができ、それにおいて、本明細書に記載される方法の実施形態（例えば、図２、４および１５に示すように）を実現することができる。

コンピュータ系デバイス１６００には、１つまたは複数のプロセッサ１６０１が含まれ、プロセッサ１６０１は、マイクロプロセッサ、コントローラ、または、上述のように（例えば、図１５に示すように）動作させるためにデバイスの動作を制御する、コンピュータ実行可能命令を処理するための任意の他の適切なタイプのプロセッサ、とすることができる。オペレーティングシステム１６０２を備えるプラットフォームソフトウェア、または任意の他の適切なプラットフォームソフトウェアが、コンピュータ系デバイスに設けられて、アプリケーションソフトウェア１６０３から１６１１がデバイス上で実行されることを可能にする。

アプリケーションソフトウェアには、以下のうちの１つまたは複数を含むことができる。
・１つまたは複数の画像キャプチャデバイス１０３、１６１４を制御するよう配置される画像キャプチャモジュール１６０４。
・切替え可能表面１０１に透明状態と拡散状態との間で切替えさせるよう配置される表面モジュール１６０５。
・表示手段１６１５を制御するよう配置される表示モジュール１６０６。
・表面に近接する物体を検出するよう配置される物体検出モジュール１６０７。
・接触事象を検出するよう配置される接触検出モジュール１６０８（例えば、物体検出および接触検出に異なる技術が使用される場合）。
・データを受信および／または送信するよう配置されるデータ送信および／または受信モジュール１６０９（上述の通り）。
・画像キャプチャモジュール１６０４からデータを受け取り、そのデータを分析してジェスチャを認識するよう配置されるジェスチャ認識モジュール１６１０。
・例えば、画像キャプチャモジュール１６０４から受け取ったデータを分析することにより、表面に近接する物体の深さの情報を取得するよう配置される深さモジュール１６１１。
各モジュールは、切替え可能表面式コンピュータに、上記の例のうちの任意の１つまたは複数において記載される通りに動作させるよう、配置される。

オペレーティングシステム１６０２およびアプリケーションソフトウェア１６０３から１６１１等のコンピュータ実行可能命令は、メモリ１６１２等の任意のコンピュータ可読媒体を使用して提供される。メモリは、ＲＡＭ（ｒａｎｄｏｍａｃｃｅｓｓｍｅｍｏｒｙ：ランダムアクセスメモリ）、磁気記憶装置もしくは光記憶装置等の任意のタイプのディスク記憶装置、ハードディスクドライブ、または、ＣＤ、ＤＶＤもしくは他のディスクドライブ、等の任意の適切なタイプのものである。フラッシュメモリ、ＥＰＲＯＭまたはＥＥＰＲＯＭも、使用することができる。メモリには、キャプチャされた画像、キャプチャされた深さのデータ等を記憶するために使用されるデータストア１６１３を含むこともできる。

コンピュータ系デバイス１６００には、切替え可能表面１０１、表示手段１６１５および画像キャプチャデバイス１０３を含むこともできる。デバイスは、１つまたは複数の追加の画像キャプチャデバイス１６１４および／またはプロジェクタまたは他の光源１６１６をさらに含むことができる。

コンピュータ系デバイス１６００には、１つまたは複数の入力（例えば、メディアコンテンツを受け取るのに適切な任意のタイプの入力、ＩＰ（ＩｎｔｅｒｎｔＰｒｏｔｏｃｏｌ：インターネットプロトコル）入力等）、通信インターフェース、およびオーディオ出力等の１つまたは複数の出力をさらに含むことができる。

図１、３、６から１４および１６は、上記において、サーフェイスコンピュータデバイスの種々の異なる例を示す。任意のこれらの例の態様は、他の例の態様と組み合わせることができる。例えば、ＦＴＩＲ（図６に示すような）は、前面投影（図７に示すような）と、または、ウェッジ（登録商標）（図８に示すような）の使用と、の組み合わせにおいて使用することができる。別の例において、軸外撮像（図１１に示すような）の使用は、赤外線（図３に示すような）を使用して接触を感知するＦＴＩＲ（図６に示すような）と組み合わせて使用することができる。さらなる例において、鏡（図３に示すような）は、任意の他の例において光学縦列を折り畳むことに使用することができる。記載されない他の組み合わせも、本発明の精神および範囲内で可能である。

上記の記載では、表面が水平であるような方向に置かれるサーフェイスコンピュータデバイスに言及しているが（他の要素は、その表面より上または下にあるものとして記載される）、サーフェイスコンピュータデバイスは、任意の方法で置かれる。例えば、コンピュータデバイスは、切替え可能表面が垂直になるように壁に掛けることができる。

本明細書に記載されるサーフェイスコンピュータデバイスには多くの異なる用途がある。一例において、サーフェイスコンピュータデバイスは、家庭または職場環境おいて使用することができ、および／または、ゲームに使用することができる。更なる例には、ＡＴＭ（ａｕｔｏｍａｔｅｄｔｅｌｌｅｒｍａｃｈｉｎｅ：現金自動預け払い機、以下ＡＴＭ）内で（または現金自動預け払い機として）の使用が含まれ、表面を通した撮像は、カードを撮像するため、および／または、ＡＴＭのユーザを認証する生体認証技術を使用するため、に使用することができる。別の例において、サーフェイスコンピュータデバイスを使用して、例えば、高度なセキュリティが必要な空港や銀行等の場所に、隠しＣＣＴＶ（ｃｌｏｓｅｃｉｒｃｕｉｔｔｅｌｅｖｉｓｉｏｎ：閉回路テレビ）を設けることができる。ユーザは、表面上に表示された情報（例えば、空港のフライト情報）を読み、接触感知能力を使用して表面でやりとりすることができ、一方、同時に、表面が透明モードにある時に表面を通して、画像をキャプチャすることが可能である。

本例は、サーフェイスコンピュータシステムにおいて実現されるものとして本明細書に記載され例示されるが、記載されるシステムは、一例として提供されるものであり限定するものではない。当業者は理解するであろうが、本例は、様々な異なるタイプのコンピュータシステムにおける用途に適応する。

用語「コンピュータ」は、本明細書で使用されるとき、命令を実行することが可能な処理能力を有する任意のデバイスに言及する。当業者は、そのような処理能力が多くの異なるデバイスに組み込まれ、従って、用語「コンピュータ」には、ＰＣ、サーバ、携帯電話、携帯端末、および多くの他のデバイス、が含まれることを理解するであろう。

本明細書に記載される方法は、有形の記憶媒体上の機械可読形式のソフトウェアにより実行することができる。ソフトウェアは、パラレルプロセッサまたはシリアルプロセッサ上での実行に適応することが可能であり、方法のステップが任意の適切な順番で、または同時に実行され得る。

これにより、ソフトウェアが、有益で個別に交換可能な品であるものである、ということが認識される。「データ処理能力の無い」または標準のハードウェア上で稼働する、またはそれを制御して、所望の機能を実行するソフトウェアが、包含されることが意図される。また、ハードウェアの構成を「記載する」または定義する、ＨＤＬ（ｈａｒｄｗａｒｅｄｅｓｃｒｉｐｔｉｏｎｌａｎｇｕａｇｅ：ハードウェア記述言語）ソフトウェア等の、シリコンチップの設計、または、ユニバーサルプログラマブルチップを構成に使用されるような、所望の機能を実行するソフトウェアが、包含されることも意図される。

当業者は、理解するであろうが、プログラム命令を記憶するのに利用される記憶装置は、ネットワークを介して分散させることが可能である。例えば、リモートコンピュータは、ソフトウェアとして記載される処理の例を記憶することができる。ローカルまたは端末のコンピュータは、リモートコンピュータにアクセスし、プログラムを実行するソフトウェアの一部または全てをダウンロードすることができる。あるいは、ローカルコンピュータは、必要であればいくつかのソフトウェアをダウンロードし、または、いくつかのソフトウェア命令をローカル端末で実行し、いくつかをリモートコンピュータ（またはコンピュータネットワーク）で実行することができる。当業者はまた、理解するであろうが、当業者には既知の従来の技術を利用することにより、全てまたは一部のソフトウェア命令は、ＤＳＰ、プログラマブル論理アレイ、等の専用の回路により実行することができる。

本明細書に与えられる任意の範囲またはデバイスの値は、当業者には理解されるように、求められた効果を失うことなく拡大または変更することができる。

上述の利益および利点が、一実施形態に関連する、またはいくつかの実施形態に関連するということは理解されるであろう。実施形態は、述べられた問題点の任意または全てのものを解決するもの、または、述べられた利益および利点の任意または全てのものを有するもの、に限定されない。さらに、一項目への言及が、１つまたは複数の項目への言及となることは、理解されるであろう。

本明細書に記載される方法のステップは、必要に応じて、任意の適切な順番でまたは同時に、実行することができる。加えて、個々のブロックは、本明細書に記載される主題の精神および範囲から逸脱することなく、任意の方法から削除することができる。上述したものの任意の例の態様は、上記の任意の他の例の態様と組み合わせて、求められた効果を失うことなくさらなる例を形成することができる。

用語「含む（備える）」は、本明細書で使用されるとき、識別される方法のブロックまたは要素を含むが、そのようなブロックまたは要素には、排他的に網羅されるものは含まれない、ことを意味し、方法または装置には、追加のブロックまたは要素を包含することができる。

好ましい実施形態についての上記の記載は、単に例として与えられ、当業者により種々の修正を行うことができることは、理解されるであろう。上記の仕様、例、およびデータにより、本発明の例示の実施形態の構造および使用について完結した記載が提供される。本発明の種々の実施形態は、ある程度の特殊性を持って、かつ、１つまたは複数の個々の実施形態を参照して記載されたが、当業者は、本発明の精神または範囲から逸脱することなく、開示される実施形態に対して多数の変形をなすことが可能である。

Claims

少なくとも２つの動作モードを有する表面層であって、第１の動作モードでは前記表面層が実質的に拡散状態であり、第２の動作モードでは前記表面層が実質的に透明状態である、表面層と、
前記第１の動作モードにおける前記表面層上にデジタル画像を表示するよう配置される表示手段と、
前記第２の動作モードにおける前記表面層を通して光を投影するよう配置される第１の光源と、
前記第１の動作モード及び前記第２の動作モードにおいて前記表面層上の物体の画像をキャプチャするよう配置される画像キャプチャデバイスであって、前記第１の動作モードにおいてキャプチャされた画像と前記第２の動作モードにおいてキャプチャされた画像とを分析してユーザのジェスチャを識別する、画像キャプチャデバイスと
を備え、前記画像キャプチャデバイスは、前記第１の動作モードにおいてキャプチャされた画像と前記第２の動作モードにおいてキャプチャされた画像とを組み合わせて、前記物体に関する追加の情報を得て、前記ユーザのジェスチャを識別するように構成される、サーフェイスコンピュータデバイス。
前記表面層が、少なくとも前記２つの動作モード間で、フリッカ知覚の閾値を超える速度で切替えられる、請求項１に記載のサーフェイスコンピュータデバイス。
前記表示手段が、プロジェクタおよびＬＣＤパネルのうちの１つを備える、請求項１又は２に記載のサーフェイスコンピュータデバイス。
前記表面層を照らすよう配置される第２の光源と、
前記第２の光源により出射され、前記表面層に近接する前記物体により偏向される光を検出するよう配置される光センサと
をさらに備える、請求項１乃至３のいずれかに記載のサーフェイスコンピュータデバイス。
前記画像キャプチャデバイスが、高解像度画像キャプチャデバイスを備える、請求項１乃至４のいずれかに記載のサーフェイスコンピュータデバイス。
前記表面層は第１の表面層であり、第２の表面層をさらに備える、請求項１乃至５のいずれかに記載のサーフェイスコンピュータデバイス。
前記表面層のモード間の切替えを制御する手段と、
前記表面層の切替えと前記表示手段を同期させる手段と
をさらに備える、請求項１乃至６のいずれかに記載のサーフェイスコンピュータデバイス。
表面層を、実質的に拡散状態である第１の動作モードと実質的に透明状態な第２の動作モードとの間で切替えるステップと、
前記第１の動作モードにおいて、
前記表面層上にデジタル画像を表示するステップと、
前記表面層を通して第１の光を投影するステップと、
物体からの前記第１の光の反射であって、前記表面層を通過する前記第１の光の反射を検出するステップと、
前記第１の光の反射の検出に基づいて、前記表面層に接触する前記物体を検出し、前記物体の画像をキャプチャするステップと、
前記第２の動作モードにおいて、
前記表面層上の前記物体の画像をキャプチャするステップであって、前記画像を分析してユーザのジェスチャを識別する、ステップと
を含み、前記画像を分析してユーザのジェスチャを識別することは、前記第１の動作モードにおいてキャプチャされた画像と、前記第２の動作モードにおいてキャプチャされた画像とを組み合わせて、前記物体に関する追加の情報を得て、前記ユーザのジェスチャを識別することを含む、方法。
デジタル画像を表示するステップが、デジタル画像を前記表面層上に投影するステップを備える、請求項８に記載の方法。
前記第２の動作モードにおいて、前記表面層を通して光を投影するステップをさらに備える、請求項８又は９に記載の方法。
前記表面層を通して物体を検出するステップをさらに備える、請求項８乃至１０のいずれかに記載の方法。
前記第２の動作モードにおいて、前記表面層を通してデータの送信及び受信の一方を実行するステップをさらに備える、請求項８乃至１１のいずれかに記載の方法。