JP6730985B2 - 投影される対話型仮想デスクトップ - Google Patents

Description

本発明は、一般に、コンピュータの分野に関し、より具体的には、プロジェクタに関する。

プロジェクタ又は画像プロジェクタは、画像（又は、動画）を、投影画面などの表面（surface）に投影する光学デバイスである。現在、プロジェクタは、手持ち式プロジェクタ（ポケット・プロジェクタ、モバイル・プロジェクタ、ピコ・プロジェクタ、又はミニ・ビーマーとしても知られる）として利用可能である。手持ち式プロジェクタは、スマートフォンに埋め込むことさえ可能である。手持ち式プロジェクタは、携帯電話、携帯情報端末及びデジタルカメラなどの手持ち式デバイスにおける画像プロジェクタの使用に適用される技術である。

無境界の投影される対話型仮想デスクトップを生成するための方法、コンピュータ・システム及びコンピュータ・プログラムを提供する。

一実施形態によると、無境界の投影される対話型仮想デスクトップ（boundlessprojected interactive virtual desktop）を生成するための方法であって、無境界の投影される対話型仮想デスクトップは、デバイスの少なくとも１つのデスクトップと関連付けられた領域の投影部分の調整可能な画像を含む、方法が提供される。方法は、デバイスに組み込まれたモーション・センサから、デバイスと関連する位置、位置の変化、又は向きの変化のうちの少なくとも１つをキャプチャすることを含むことができる。方法は、デバイスのキャプチャされた位置の変化、又はキャプチャされた向きの変化に基づいて、撮影面に対する投影画像を計算することを含むことができる。方法はまた、デバイスに組み込まれたプロジェクタのキャプチャされた位置及び向きに基づいて、デバイス内で実行されている少なくとも１つのアプリケーションにわたって、計算された投影画像を調整することをさらに含むことができ、投影画像は投影面と関連付けられる。方法は、調整される投影画像と関連する領域部分のビューを投影することをさらに含むことができ、投影されるビューは、アプリケーション画像を含む複数の要素を含む対話型仮想デスクトップから成る。方法は、基準に基づいて、投影されるビューを調整することをさらに含むことができる。

別の実施形態によると、無境界の投影される対話型仮想デスクトップを生成するためのコンピュータ・システムであって、無境界の投影される対話型仮想デスクトップは、デバイスの少なくとも１つのデスクトップと関連付けられた領域の投影部分の調整可能な画像を含む、コンピュータ・システムが提供される。コンピュータ・システムは、複数のプロセッサ及びプログラム命令を記憶するストレージを備え、プロセッサがプログラム命令を実行することによりコンピュータ・システムは方法を実施することができる。方法は、デバイスに組み込まれたモーション・センサから、デバイスと関連する位置、位置の変化、又は向きの変化のうちの少なくとも１つをキャプチャすることを含むことができる。方法は、デバイスのキャプチャされた位置の変化の変化、又はキャプチャされた向きの変化に基づいて、投影面に対する投影画像を計算することを含むことができる。方法は、デバイスに組み込まれたプロジェクタのキャプチャされた位置及び向きに基づいて、デバイス内で実行されている少なくとも１つのアプリケーションにわたって、計算された投影画像を調整することをさらに含むことができ、投影画像は投影面と関連付けられる。方法はまた、調整される投影画像と関連する領域部分のビューを投影することを含むこともでき、投影されるビューは、アプリケーション画像を含む複数の要素を含む対話型仮想デスクトップから成る。方法はさらに、基準に基づいて、投影されるビューを調整することを含むことができる。

さらに別の実施形態によると、無境界の投影される対話型仮想デスクトップを生成するためのコンピュータ・プログラムであって、無境界の投影される対話型仮想デスクトップは、コンピューティング・デバイスの少なくとも１つのデスクトップと関連付けられた領域の投影部分の調整可能な画像を含む、コンピュータ・プログラムが提供される。コンピュータ・プログラムは、ストレージ・デバイスに格納され、プロセッサにより実行可能なプログラム命令を含む。

コンピュータ・プログラムはまた、デバイスに組み込まれたモーション・センサから、デバイスと関連する位置の変化、又は向きの変化のうちの少なくとも１つをキャプチャするためのプログラム命令を含むことができる。コンピュータ・プログラムは、デバイスのキャプチャされた位置の変化、又はキャプチャされた向きの変化に基づいて、投影面に対する投影画像を計算するためのプログラム命令を含むことができる。コンピュータ・プログラムは、デバイスに組み込まれたプロジェクタのキャプチャされた位置及び向きに基づいて、デバイス内で実行されている少なくとも１つのアプリケーションにわたって、計算された投影画像を調整するためのプログラム命令をさらに含むことができ、投影画像は投影面と関連付けられる。コンピュータ・プログラムはまた、調整される投影画像と関連する領域部分のビューを投影するためのプログラム命令を含むこともでき、投影されるビューは、アプリケーション画像を含む複数の要素を含む対話型仮想デスクトップから成る。コンピュータ・プログラムは、基準に基づいて、投影されるビューを調整するためのプログラム命令をさらに含むことができる。

ここで、添付図面を参照して、本発明の実施形態が説明される。

一実施形態によるネットワーク化コンピュータ環境を示す。 少なくとも１つの実施形態による、無境界の対話型仮想デスクトップを投影するためのプログラムにより実行されるステップを示す動作フローチャートである。 少なくとも１つの実施形態による、投影されるデスクトップ画像の例示的な図である。 少なくとも１つの実施形態による、投影されるデスクトップ画像を調整するデバイスの移動の例示的な図である。 少なくとも１つの実施形態による、投影されるデスクトップ画像の異なるサブセクションと対話する複数のデバイスの調整の例示的な図である。 少なくとも１つの実施形態による、図１に示されるコンピュータ及びサーバの内部及び外部コンポーネントのブロック図である。

特許請求される構造及び方法の詳細な実施形態が、本明細書で開示されるが、開示される実施形態は、様々な形態で具体化することができる特許請求される構造及び方法を単に例示するに過ぎないことが理解されるであろう。本発明は、多くの異なる形態で具体化することができ、本明細書で説明される例示的な実施形態に限定されると解釈すべきではない。むしろ、これらの例示的な実施形態は、本開示が綿密かつ完全であり、本発明の範囲を当業者に十分に伝えるように提供されている。説明においては、よく知られている特徴及び技術の詳細は、提示される実施形態を不必要に曖昧にしないように省略されることがある。

本発明の実施形態は、一般に、コンピュータの分野に関し、より詳細には、プロジェクタに関する。以下の説明される例示的な実施形態は、とりわけ、無境界の投影される対話型仮想デスクトップを提供するためのシステム、方法及びプログラム製品を提供する。さらに、本実施形態は、デスクトップの境界のない表面（unbounded surface）のデスクトップ画像をある表面に投影することを可能にすることによって、画像処理の技術分野を改善するための機能を有する。さらに、本実施形態は、リソースを節約する可能性を有する。従って、照明全体の調整及びレンズ調整の組み合わせにより、バッテリ電源が節約され、投影サイズを犠牲にして輝度が保持される。

既述のように、プロジェクタは、今や手持ち式プロジェクタ又はピコ・プロジェクタとして利用可能であり、スマートフォンに埋め込むことさえ可能であるが、スマートフォンは、提示材料を処理するための十分なストレージ容量はあるものの、取り付けられる表示画面を収容するための空間がほとんどない。手持ち式プロジェクタは、デジタル画像をいずれかの近くの表示面に投影できる小型化されたハードウェア及びソフトウェアを含む。しかしながら、そうした手持ち式プロジェクタは、幅広いユーザ・インターフェースを使用することができず、投影面への画面のミラーリングを提供できるに過ぎない。さらに、現在の手持ち式プロジェクタは、エネルギー使用量が大きく、従って、バッテリの頻繁な充電を必要とすることがある。

さらにプロジェクタ又は標準的画面の使用に関して頻繁に遭遇する問題がある。こうしたデバイスのユーザは、マルチタスク、コピー又はペースト機能、又は他の対話に苦労することがあり、これらは複数のアプリケーションにわたってコーディネイト（Coordinate;調整などと呼ばれる）されることを必要とし得る。例えば、多数の文書のファイリングなどの複雑な組織化は困難であり、ユーザが、多くのダイアログの間でナビゲートし、小さい画面上のリストを選択することが必要になることがある。従って、とりわけ、デバイスのプロジェクタの位置及び向きに従って、パンし、拡大縮小し、回転させることができる画像投影方法を実施することは有利であり得る。

少なくとも１つの実装によると、本実施形態は、モーション・センサを含むプロジェクタ・デバイスと、デバイス内のモーション・センサを用いて、デバイスのプロジェクタの位置及び向きに従って、無境界の対話型仮想デスクトップ（すなわち、境界のない対話型仮想デスクトップ）として、投影画像をパンし、拡大縮小し、回転させることができるソフトウェアとを含むことができる。従って、境界のない対話型仮想デスクトップは作業空間（workspace）であり、その少なくとも部分はデバイスのメモリ内にのみ存在するが、プロジェクタを通じて、境界のある領域（bounded area）又は境界のある領域の一部を視覚化することができ、そこで、要素を任意の方向に無限に移動させることができる。より具体的には、境界のない仮想デスクトップは、それ自体の少なくとも部分がメモリ内にだけに存在する、すなわちその少なくとも一部がメモリ内に存在する容量を有するデスクトップであり、有形媒体上に又は有形媒体を介して表示又は投影されることも又はされないこともある。例えば、本実施形態の少なくとも１つの実装によると、各要素の位置は、デスクトップの中心位置に対して格納され、デスクトップの部分の表示が、壁又はデスクトップのような表面上に、境界のある画像又は境界のない領域の部分として投影され、描写される。さらに、デスクトップの投影部分は、プロジェクタ・デバイスと関連する移動の検出に基づいて変化し得る。従って、プロジェクタ・デバイスと関連するデスクトップの検出される移動の変化は、プロジェクタ・デバイスと関連するデスクトップのこれまで示されていない部分を示すことによって、対話型デスクトップの投影部分の表面に対応する。例えば、投影デバイスを右に移動させることにより、デスクトップと関連するこれまで投影されている画像又は示されていない画像を示すことができる。一実施形態において、右への移動は、コンピュータ画面又はモバイル機器の画面のデスクトップにリンクされた「スワイプ（swipe）」機能に似たものであり得る。さらに、本明細書の種々の実施形態によると、デスクトップの投影部分は、プロジェクタ・デバイスと関連するデスクトップの投影部分とすることができ、又は、プロジェクタ・デバイスに接続されたコンピューティング・デバイスと関連するデスクトップの投影部分とすることができる。

付加的に、２つ又はそれより多いプロジェクタ・デバイスを互いに併用して、対話型仮想デスクトップの連続する大きな投影部分を描写することができる。例えば、プロジェクタ・デバイスの組み合わせられたデスクトップの描画及び投影部分は、各プロジェクタ・デバイスが単独で動作しているときよりも、デスクトップの各々のより大きい領域を描写することが可能である。

さらに、ユーザは、ジェスチャ、オン・スクリーン・ディスプレイ（on screen display）、デバイス上のボタンを用いて、仮想デスクトップと対話することもできる。例えば、ユーザがモーション・センサを含むプロジェクタ・デバイスを移動させる場合、投影される無境界デスクトップの部分を調整することができる。例えば、右への移動により、投影されるデスクトップの異なる部分を描写することができ、又はこうした移動は、投影されるデスクトップの新しい部分の描写に加えて、移動前のデスクトップの描写部分を含むことができる。さらに、デスクトップは、文書、画像、フォルダ、ビデオ、ウェブ・ブラウザ・タブ、アプリケーション・ウィンドウ又はアプリケーションのような多数の「要素」を表示することが可能である。

少なくとも１つの実装によると、デスクトップ全体を、画面又は壁のような大きないずれかの表示面に表示することができる。さらに、デバイスを投影面から離れるように保持することにより、プロジェクタが照明する領域を増大させることができるが、投影強度が、場合によっては見えない程度まで低下することがある。従って、少なくとも１つの実装によると、無境界の仮想表面は、デバイスに埋め込むことができる小型の比較的低出力のプロジェクタのみを用いて生成することができ、有効強度を犠牲にすることなく、利用可能なバッテリ寿命に基づいて、投影強度を調整することができる。例えば、ユーザは、デバイスを表面にさらに近づけることができ、その際、照明面積は小さくなるが、こうした状況において、より少ない電力消費で同じ程度の明るさが可能になる。さらに、少なくとも１つの実装によると、複数のユーザが同時に要素と対話することが可能になる。また、投影領域の相対的サイズはデバイスの高さによって異なり得るが、要素の位置は、デバイスではなく、投影面に対して保持することができる。

本明細書の種々の実施形態は、投影される画像忠実度を維持するだけでなく、投影面に対する投影される要素の位置を保持することができる。さらに、低出力プロジェクタを利用して、投影画像のリアルタイム調整、モーション・センサに基づく投影画像のリアルタイム調整、投影される仮想デスクトップの異なるサブセクションと対話する複数のデバイスの調整、及び照明全体の調整及びレンズ調整の組み合わせによるバッテリ電力の節約を提供しながら、より大きい拡張現実（augmented reality）のサブセクションを照明することができ、投影サイズを犠牲にして輝度が保持される。さらに、投影デバイス自体によりなされるジェスチャにより、選択、ドラッグ及びドロップ、並びに他の操作を可能にしながら、投影面上の相対的位置を保持することが可能になる。

本発明は、システム、方法、及び／又はコンピュータ・プログラム製品とすることができる。コンピュータ・プログラム製品は、プロセッサに本発明の態様を実施させるためのコンピュータ可読プログラム命令をその上に有するコンピュータ可読ストレージ媒体（単数又は複数）を含むことができる。

コンピュータ可読ストレージ媒体は、命令実行デバイスにより使用される命令を保持及び格納することができる有形デバイスとすることができる。コンピュータ可読ストレージ媒体は、例えば、これらに限定されるものではないが、電子ストレージ・デバイス、磁気ストレージ・デバイス、光学ストレージ・デバイス、電磁ストレージ・デバイス、半導体ストレージ・デバイス、又は上記のいずれかの適切な組み合わせとすることができる。コンピュータ可読ストレージ媒体のより具体的な例の非網羅的なリストとして、以下のもの：即ち、ポータブル・コンピュータ・ディスケット、ハード・ディスク、ランダム・アクセス・メモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能なプログラム可能読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュ・メモリ）、スタティック・ランダム・アクセス・メモリ（ＳＲＡＭ）、ポータブル・コンパクト・ディスク読み出し専用メモリ（ＣＤ−ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリ・スティック、フロッピー・ディスク、パンチカード又は命令が記録された溝内の隆起構造のような機械的にエンコードされたデバイス、及び上記のいずれかの適切な組み合わせが挙げられる。本明細書で使用される場合、コンピュータ可読ストレージ媒体は、電波、又は他の自由に伝搬する電磁波、導波管若しくは他の伝送媒体を通じて伝搬する電磁波（例えば、光ファイバ・ケーブルを通る光パルス）、又はワイヤを通って伝搬される電気信号などの、一時的信号自体として解釈されるべきではない。

本明細書で説明されるコンピュータ可読プログラム命令は、コンピュータ可読ストレージ媒体からそれぞれのコンピューティング／処理デバイスに、又は、例えばインターネット、ローカル・エリア・ネットワーク、広域ネットワーク及び／又は無線ネットワークなどのネットワークを介して、外部コンピュータ又は外部ストレージ・デバイスにダウンロードすることができる。ネットワークは、銅伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、及び／又はエッジ・サーバを含むことができる。各コンピューティング／処理デバイスにおけるネットワーク・アダプタ・カード又はネットワーク・インターフェースは、ネットワークからコンピュータ可読プログラム命令を受け取り、コンピュータ可読プログラム命令を転送して、それぞれのコンピューティング／処理デバイス内のコンピュータ可読ストレージ媒体内に格納する。

本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セット・アーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、又は、Ｓｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、又は、「Ｃ」プログラミング言語若しくは類似のプログラミング言語などの通常の手続き型プログラミング言語を含む１つ又は複数のプログラミング言語の任意の組み合わせで記述することができる。コンピュータ可読プログラム命令は、完全にユーザのコンピュータ上で実行される場合もあり、一部がユーザのコンピュータ上で、独立型ソフトウェア・パッケージとして実行される場合もあり、一部がユーザのコンピュータ上で実行され、一部が遠隔コンピュータ上で実行される場合もあり、又は完全に遠隔コンピュータ若しくはサーバ上で実行される場合もある。最後のシナリオにおいては、遠隔コンピュータは、ローカル・エリア・ネットワーク（ＬＡＮ）若しくは広域ネットワーク（ＷＡＮ）を含むいずれかのタイプのネットワークを通じてユーザのコンピュータに接続される場合もあり、又は外部コンピュータへの接続がなされる場合もある（例えば、インターネット・サービス・プロバイダを用いたインターネットを通じて）。幾つかの実施形態において、例えば、プログラム可能論理回路、フィールド・プログラマブル・ゲート・アレイ（ＦＰＧＡ）、又はプログラム可能論理アレイ（ＰＬＡ）を含む電子回路は、コンピュータ可読プログラム命令の状態情報を用いて、電子回路を個人化することによりコンピュータ可読プログラム命令を実行し、本発明の態様を実施することができる。

本発明の態様は、本発明の実施形態による方法、装置（システム）及びコンピュータ・プログラム製品のフローチャート図及び／又はブロック図を参照して説明される。フローチャート図及び／又はブロック図の各ブロック、並びにフローチャート図及び／又はブロック図内のブロックの組み合わせは、コンピュータ可読プログラム命令によって実装できることが理解されるであろう。

これらのコンピュータ可読プログラム命令を、汎用コンピュータ、専用コンピュータ、又は他のプログラム可能データ処理装置のプロセッサに与えてマシンを製造し、それにより、コンピュータ又は他のプログラム可能データ処理装置のプロセッサによって実行される命令が、フローチャート及び／又はブロック図の１つ又は複数のブロック内で指定された機能／動作を実装するための手段を作り出すようにすることができる。これらのコンピュータ・プログラム命令を、コンピュータ、他のプログラム可能データ処理装置、又は他のデバイスを特定の方式で機能させるように指示することができるコンピュータ可読媒体内に格納し、それにより、そのコンピュータ可読媒体内に格納された命令が、フローチャート及び／又はブロック図の１つ又は複数のブロックにおいて指定された機能／動作を実装する命令を含む製品を製造するようにすることもできる。

コンピュータ・プログラム命令を、コンピュータ、他のプログラム可能データ処理装置、又は他のデバイス上にロードして、一連の動作ステップをコンピュータ、他のプログラム可能データ処理装置、又は他のデバイス上で行わせてコンピュータ実施のプロセスを生成し、それにより、コンピュータ又は他のプログラム可能装置上で実行される命令が、フローチャート及び／又はブロック図の１つ又は複数のブロックにおいて指定された機能／動作を実行するためのプロセスを提供するようにすることもできる。

図面内のフローチャート及びブロック図は、本発明の種々の実施形態による、システム、方法、及びコンピュータ・プログラム製品の可能な実装の、アーキテクチャ、機能及び動作を示す。この点に関して、フローチャート内の各ブロックは、指定された論理機能を実装するための１つ又は複数の実行可能命令を含む、モジュール、セグメント、又はコードの一部を表すことができる。幾つかの代替的な実装において、ブロック内に示される機能は、図に示される順序とは異なる順序で生じることがある。例えば、連続して示される２つのブロックは、関与する機能に応じて、実際には実質的に同時に実行されることもあり、又はこれらのブロックはときとして逆順で実行されることもある。ブロック図及び／又はフローチャート図の各ブロック、及びブロック図及び／又はフローチャート図内のブロックの組み合わせは、指定された機能又は動作を実行する、又は専用のハードウェアとコンピュータ命令との組み合わせを実行する、専用ハードウェア・ベースのシステムによって実装できることにも留意されたい。

以下の説明される例示的な実施形態は、無境界の投影される対話型仮想デスクトップを提供するための、システム、方法及びプログラム製品を提供する。本発明の実施形態は、全てがマーカーに対して絶対的又は相対的である多数の変数を考慮に入れて、投影を算出することができる。例えば、デバイスの位置は、３次元で算出することができる。従って、表示領域をパンし、投影をズームすることができる。また、デバイスの向きを３次元で算出することができ、あたかもデバイスが平坦であるかのように、表示領域の画像を引き伸ばすこと（stretch）、変形させること（distort）ができる。さらに、表面上のオブジェクトの配置を算出することもできる。従って、主デバイスに内蔵された又はそれに追加されたカメラ又はカメラ・アレイにより、表面上に配置されたオブジェクトを検出することができる。次に、オブジェクトが表面とデバイスとの間に配置されると、デバイスに近づけることにより画像が拡大されないように、画像を補正することができる。さらに、精度をさらに高めるために、デバイスは、テーブルに装着されたカメラ、又は３次元でデバイスの位置及び配置を正確に特定できる他のセンサ（赤外線（ＩＲ）デバイスのアレイなど）と併用することができる。

本実施の実施はまた、ユーザとの対話（userinteraction）を可能にすることもできる。例えば、デバイス自体により一連のジェスチャを行って、テーブルトップ上の要素を選択し、これと対話することができる。主な対話の幾つかは、アイテムのピックアップ及びドロップ、デバイスと対話するためのデバイス画面及びジェスチャの使用を含む。特に、ユーザは、デバイスを前方にフリックして、アイテムを置き（それにより、スタックを生成することができる）、デバイスを上方にフリックしてテーブルトップからアイテムをピックアップし、又はデバイスを側方にフリックして、スタックをシャッフルすることができる。デバイスが移動されると、デバイス内のモーション・センサを通じて、この移動を追跡することができる。こうしたモーション・センサは、近傍の表面を検出することができ、又はこうしたモーション・センサは、表面上又は表面付近でデバイスと対話することができる。少なくとも１つの実装によると、投影画像は、表面のその部分に対応する画像の領域を表すように算出し直すことができ、表面に対するデバイスの角度を構成するように、既存の技術を用いて潜在的に斜めにし、引き伸ばすことができる。さらに、ユーザはまた、書籍又は文書など単一の複数ページ要素をピックアップし、次に側方へのフリックを用いて、文書のページをめくることもできる。

本明細書の種々の実施形態は、オブジェクト・ピンニング（object pinning）を可能にすることもできる。従って、仮想オブジェクトを物理オブジェクトにピンニングして、ハイブリッド・スタックを生成することができる。例えば、実テーブルトップ上のコースタの「上に」置かれた仮想要素は、コースタが移動されると、移動することができる。要素は、実際の紙の上に置かれた文書、写真、又はビデオのように、あたかもそれが紙のスタック内にあるかのように、実際の紙と共に移動することができる。従って、カメラの視野内にあるとき又は視野外にあるとき、スタックを移動させることができる。少なくとも１つの実装によると、物理アイテムがカメラの視野外にある場合、デバイスは、物理オブジェクトが新しい位置において最初に観察されたとき、まずその新しい位置を認識し、記録することができる。しかしながら、新しい位置が特定される前にカメラが古い位置を表示する場合には、スタックを一時的に仮想「ゴミ箱」に置いてから、位置の再割り当てを行うことができる。次に、ユーザは、スタック及びゴミ箱のビューにおける物理的位置に関係なく、そのデバイスのゴミ箱及びスタックを調べ、このビューを使用して、文書がテーブルトップの位置から離れたとしても文書をさらに組織化することができる。従って、テーブルトップを保存し、新しい位置に再現することができる。これを容易にするために、ユーザは、ゴミ箱（すなわち、その物理的ピン又は対応物がまだ見つかっていないあらゆるスタック）を利用し、これを新しい位置のテーブル上に置くことができる。

少なくとも１つの実装において、本実施形態は、画面上での対話（on screen interaction）を可能にすることができる。従って、デバイスがテーブル上の要素を指し示すが、要素が「手元に（in hand）」ないか又はまだピックアップされていない場合、指し示される要素、又は特定のアイコンのようなその要素の表示を、デバイス上に表示することができる。次に、ユーザは、画面上で要素と対話することができる。例えば、ユーザは、要素を編集し、読み取り、又はその要素内でナビゲートすることによって、要素と対話することができる。ユーザが要素をピックアップすると、要素は、ユーザがその要素を置くまで、又は他の画面上のナビゲーションを用いて画面から遠ざかるように移動させるまで、画面に「ロックされる」。さらに、デバイス画面上のディスプレイは、要素、スタック、及びスタック内にはない要素を列挙し、要素及びスタックにおける操作を可能にすることによって、要素及びスタックとのさらなる対話が可能になる。さらに、オン・スクリーン・ディスプレイは、デバイスが要素を指し示さないとき、又はデバイス上でボタンが押されたとき、又は特別なジェスチャがなされたときに現れることができる。本実施形態は、ジェスチャ又はオン・スクリーン・ディスプレイを用いて、スタックを、フォルダ、オンライン文書若しくはコンテンツ管理システム若しくはファイル・システム内の集合若しくはセットに変換すること又は付加することを可能にする。例えば、単一のアクションにより、テーブル全体をライブラリ又はフォルダのセットに変換し、コンテンツ管理システム又はファイル・システム内のテーブルトップ組織をミラーリングすることができる。スタックをフォルダに付加することができ、その結果、スタック内の更に別のアイテムがフォルダに自動的に付加され、スタックをフォルダにリンクすることができるので、自動的にフォルダ内のアイテムをスタックに入手することができる。ジェスチャにより、オン・スクリーン・ディスプレイ上での全てのアクションを得ることができ、デバイスは、ジェスチャをアクションに割り当てる、新しいジェスチャをプログラミングするといった、カスタマイズを可能にすることができる。

本実施形態によると、デバイス自体は、手持ち式、ウェアラブル、又は埋め込み型にすることができ、プロジェクタ、モーション・センサ、オン・スクリーン・ディスプレイ、及び専門ソフトウェアを含むことができる。種々の実装において、これらは、物理的に協働する異なるモジュールに分けることができる。さらに、本実施形態は、輝度調整を可能にすることができる。従って、プロジェクタはレンズを含むこともでき、このレンズを用いて、投影の合焦だけでなく、輝度を保持しながら、投影領域を縮小又は拡大することができる。この機構を用いて、輝度を低下させることなく、デバイスからの照明強度全体を低減させることによって、照明領域を減らすことができる。この輝度調整を用いて、デバイスを接近させるとき又はデバイスを遠ざけるとき、バッテリ寿命を保存し又は輝度を一定に維持することができる。

さらに、それぞれ本実施形態を使用している複数のユーザの全てが同時に仮想テーブルトップ上で要素と対話することができる。要素が修正されると、その修正は、近距離無線通信、サーバ若しくはクラウド・サービス、又はデバイス間のネットワーク通信を通じて、通信され得る。従って、複数のデバイスは、無線アンテナ若しくは他の測位センサのいずれかと対話して、互いに対するその位置及び向きを改善することができる。投影領域が近づいて重なり合うと、デバイス上のカメラを使用し、メモリ内のテーブルトップの表示に対する他のデバイスによる投影画像を監視することによって、デバイスの位置及び向きの検出精度を高めることができる。さらに、人間の可視スペクトラムの外の可視トークン又は要素を投影に埋め込み、複数のデバイスがそれらの投影と調整するのを助けることができる。

ここで図１を参照すると、一実施形態による、例示的なネットワーク化コンピュータ環境１００が示される。コンピュータ環境１００は、プロセッサ１０４Ａと、無境界の投影される対話型仮想デスクトップ・プログラム１０８Ａを実行することが可能なデータ・ストレージ・デバイス１０６Ａとを有するコンピュータ１０２Ａ、１０２Ｂを含むことができる。本実施形態の少なくとも１つの実装によると、コンピュータ１０２Ａ、１０２Ｂはまた、モーション・センサ１１６及びプロジェクタ１１２も含むことができる。モーション・センサ１１６は、デバイスの相対運動をキャプチャするためのいずれかの機構を含むことができる。付加的に、本実施形態の少なくとも１つの実装によると、モーション・センサ１１６は、ある時点のデバイス１０２Ａ、１０２Ｂの位置、次いで後の時点のデバイス１０２Ａ、１０２Ｂの位置を検出することができる。さらに、代替的な実装によると、表面に対するデバイスの移動を助けることができるモーション・センサ１１６に加えて、デバイス１０２Ａ、１０２Ｂは、能動的又は受動的な自動焦点検出システム（コントラスト又は位相検波などの）を用いる技術を用いて、デバイスに対する投影面の平面の相対角度を検出することができる。従って、最適な焦点のために複数のポイントをサンプリングし、投影平面における複数のポイントまでの距離を得ることができ、従って、複数のポイントまでの距離の計算及びデバイスのメモリ内の平面の幾何学的形状の再現を可能にすることができる。

ネットワーク化コンピュータ環境１００はまた、通信ネットワーク１１０と、プロセッサ１０４Ｂ及び無境界の投影される対話型仮想デスクトップ・プログラム１０８Ｂを実行することが可能なデータ・ストレージ・デバイス１０６Ｂを有するサーバ１１４とを含むこともできる。ネットワーク化コンピュータ環境１００は、複数のコンピュータ１０２Ａ、１０２Ｂ、及びサーバ１１４を含むことができ、その１つだけが示されている。通信ネットワークは、広域ネットワーク（ＷＡＮ）、ローカル・エリア・ネットワーク（ＬＡＮ）、電気通信ネットワーク、無線ネットワーク、公衆交換網、及び／又は衛星ネットワークなどの、種々のタイプの通信ネットワークを含むことができる。図１は、１つの実施の例証のみを提供しており、異なる実施形態を実施できる環境に関するいずれの限定も意味していないことを認識されたい。

図６を参照して説明されるように、クライアント・コンピュータ１０２Ａ、１０２Ｂ及びサーバ１１４は、それぞれ内部コンポーネント８００及び外部コンポーネント９００を含むことができる。クライアント・コンピュータ１０２Ａ、１０２Ｂは、例えば、モバイル機器、電話、携帯情報端末、ネットブック、ラップトップ・コンピュータ、タブレット・コンピュータ、デスクトップ・コンピュータ、サーバ・コンピュータ、又は無境界の投影される対話型仮想デスクトップ・プログラム１０８Ａのようなプログラムを実行することができる任意のタイプのコンピューティング・デバイスとすることができる。

無境界の投影される対話型仮想デスクトップ・プログラム１０８Ａ、１０８Ｂのようなプログラムは、クライアント・コンピュータ１０２Ａ、１０２Ｂ又はサーバ・コンピュータ１１４上で実行することができる。既述のように、無境界の投影される対話システムは、無境界の投影される対話型仮想デスクトップ・プログラム１０８Ａのようなソフトウェアを含む、クライアント・コンピュータ１０２Ａ、１０２Ｂなどのモバイル機器に組み込まれたプロジェクタ１１２及びモーション・センサ１１６を含むことができる。無境界の投影される対話型仮想デスクトップ・プログラム１０８Ａ、１０８Ｂは、デバイス１０２Ａ、１０２Ｂ内のモーション・センサ１１６を使用し、デバイスのプロジェクタの位置及び向きに従って、無境界の仮想デスクトップとして投影画像をパンし、拡大縮小し、回転させることができる。さらに、ユーザは、ジェスチャ、オン・スクリーン・ディスプレイ、デバイス１０２Ａ、１０２Ｂ上のボタンを用いることにより、投影される仮想デスクトップと対話することができる。例えば、ユーザは、モーション・センサ１１６を含むプロジェクタ・デバイス１０２、１０２Ｂを移動させることができるので、投影される無境界のデストップの部分を調整することができる。さらに、デスクトップは、文書、画像、フォルダ、ビデオ、ウェブ・ブラウザ・タブ、アプリケーション・ウィンドウ、又はアプリケーションのような多数の「要素」を表示することができる。無境界の投影される対話型仮想デスクトップの方法は、図２に関連してさらに詳細に説明される。

ここで図２を参照すると、少なくとも１つの実施形態による無境界対話型仮想デスクトップを投影するためのプログラムにより実行されるステップを示す動作フローチャート２００が示される。２０２において、プロジェクタ及びモーション・センサが、モバイル機器に組み込まれる。無境界の投影される対話型仮想デスクトップ・プログラム１０８Ａ、１０８Ｂ（図１）は、クライアント・コンピュータ１０２Ａ、１０２Ｂ（図１）上で実行されるものとして実装することができる。既述のように、無境界の投影される対話型仮想デスクトップ・システムは、これらに限定されるものではないが、エンド・ユーザのモバイル機器１０２Ｂ（図１）、コンピュータ１０２Ａ（図１）、スマートフォン、又はモーション・センサ１１６（図１）を含むタブレットなどのデバイスに組み込まれた、プロジェクタ１１２（図１）及びモーション・センサ１１６（図１）を含むことができる。無境界の投影される対話型仮想デスクトップ・システムはまた、デバイス内のモーション・センサ１１６（図１）を用いて、デバイスのプロジェクタ１１２（図１）の位置及び向きに従って、無境界の仮想デスクトップとして、投影画像をパンし、拡大縮小し、回転させることができる、無境界の投影される対話型仮想デスクトップ・プログラム１０８Ａ、１０８Ｂ（図１）のようなソフトウェアを含むこともできる。例えば、ユーザは、モーション・センサ１１６（図１）を含むプロジェクタ・デバイス１０２Ａ、１０２Ｂ（図１）を移動させるとき、投影される無境界のデストップの部分を調整することができる。

次に、２０４において、モーション・センサから、位置、方向、又は向きの変化をキャプチャすることを含むデバイスの位置がキャプチャされる。従って、無境界の投影される対話型仮想デスクトップ・プログラム１０８Ａ、１０８Ｂ（図１）は、デバイスに組み込まれたモーション・センサに基づいて、デバイスの位置を判断することができる。しかしながら、代替的な実装によると、モーション・センサは、プロジェクタ・デバイスに組み込まれたハードウェアの物理的部品として実装されるモーション・センサとは対照的に、プロジェクタ・デバイスに取り付けられたカメラからキャプチャされた画像を解釈するソフトウェアとして実装することもできる。付加的に、代替的な実装によると、投影面上の赤外線波のポイントを使用することもできる。従って、投影面上に赤外線波のポイントを実装できるので、プロジェクタ・デバイスは、カメラ又は赤外線センサにより、赤外線波のポイントにより示す定点に対して、プロジェクタ・デバイスがどこに位置するかを判断することができる。さらに、モーション・センサは、埋め込まれた加速度計、ジャイロスコープ、測位システム、及び埋め込まれた若しくは外部の電磁若しくは超音波モーション・センサから成るグループから選択することができる。

次に２０６において、投影面に対するデバイスの位置に基づいて、投影画像が計算される（すなわち、算出される）。１つの実装に関して既述したように、画像の投影は、無境界の投影される対話型仮想デスクトップ・プログラム１０８Ａ、１０８Ｂ（図１）によって、投影面などの、マーカーに対して絶対的又は相対的である多数の変数を考慮に入れて算出することができる。例えば、変数は、３次元でのデバイスの位置、３次元でのデバイスの向き、及び表面におけるオブジェクトの配置を含むことができる。基本的な３次元の幾何学的形状を用いて、プロジェクタから表面までの円錐又はピラミッドを延長することにより、投影画像の寸法を計算することができる。投影の外寸を算出し、無境界のデスクトップの対応する部分を投影するように、投影画像が調整される。

従って、こうした変数に基づいて、無境界の投影される対話型仮想デスクトップ・プログラム１０８Ａ、１０８Ｂ（図１）により、表示領域をパンし、投影をズームすることができる。また、あたかもデバイスが平坦であるかのように、表示領域の画像を引き伸ばすこと及び変形させることができる。さらに、表面上に置かれたオブジェクトを検出することができ、次に、オブジェクトが表面とデバイスとの間に配置されるとき、デバイスに近づけることにより画像が拡大されないように、画像を補正することができる。さらに、精度をさらに高めるために、デバイス１０２Ａ、１０２Ｂ（図１）は、テーブルに装着されたカメラ、又は３次元でデバイスの位置及び配置を正確に特定することができる他のセンサ（赤外線（ＩＲ）デバイスのアレイなど）と併用することができる。

次に２０８において、プロジェクタの位置及び向きに基づいて、境界のない投影画像が、モバイル機器内で実行されている複数のアプリケーションにわたってコーディネイトされる。従って、デスクトップ上の各ウィンドウ又は要素は、中心基準点に関して位置決めされる。本実施形態の１つの実装によると、モバイル機器内で実行されている少なくとも１つのアプリケーションにわたる境界のない投影画像の調整は、キャプチャされたプロジェクタの位置及び向きに基づくことができる。付加的に、画像投影と関連する強度は、投影面までのプロジェクタの距離に基づくことができる。

次に２１０において、境界のない領域の部分の境界のあるビューが投影される。投影される境界のあるビューは、仮想デスクトップを表すアプリケーション画像を含む複数の要素から成ることができる。少なくとも１つの実装によると、境界のあるビューは、境界のあるビューの計算を調整することによって、投影面に対する境界のある投影内の位置及びサイズを保持することができる。さらに、要素は、文書、画像、フォルダ、ビデオ、ウェブ・ブラウザ・タブ、アプリケーション・ウィンドウ、及びアプリケーション・アイコンを含むグループから選択することができる。

次に２１２において、基準に基づいて、境界のあるビューが調整される。本実施形態の１つの実装によると、境界のあるビューを調整するために用いることができる基準が、規則のセットを含むことができる。規則は、これらに限定されるものではないが、電力消費、投影面までの距離、動作、画像忠実度、外光又は周囲光、表面に対するデバイスの傾斜若しくは角度、及び少なくとも１つの他のデバイスから受け取った情報のような要素に基づくことができる。主なビューの調整により、デバイスの移動及び投影デバイスのいかなる移動にもかかわらず、投影画像内の要素は、投影面に対して一定の位置、向き及び奥行きに維持される。電力消費及び残りの電力を監視し、画像を、後述するようなルーメン出力及び投影ズームの調整に対応するように調整し、表面に対する要素の位置を維持しながら、表示領域のサイズの増減のためにランプ出力及びズームを調整する。

付加的に、本実施形態は、ユーザ・インターフェース（ＵＩ）を提供することができ、それによって、ユーザ・インターフェース（ＵＩ）は、１又は複数のユーザが、少なくとも２つの別個のデバイスを使用し、独立して要素に作用することを可能にする。例えば、ユーザ・インターフェース（ＵＩ）は、各ユーザがそれぞれ別個のデバイスを使用している間、少なくとも２人のユーザが、独立して要素に作用することを可能にする。また、無境界の投影される対話型仮想デスクトップと関連するユーザ・インターフェース（ＵＩ）は、ジェスチャのグループから選択されるジェスチャをサポートすることができる。このグループは、ドラッグ、ピックアップ、ドロップ、ピンニング、及びナビゲート等のようなジェスチャから成ることができる。例えば、ユーザがモーション・センサを含むプロジェクタ・デバイスを移動させるとき、投影される無境界のデスクトップの部分を調整することができる。既述のように、ユーザは、デバイスを前方にフリックして、アイテムを置き（それにより、スタックを生成することができる）、デバイスを上方にフリックして、テーブルトップからアイテムをピックアップし、又はデバイスを側方にフリックして、スタックをシャッフルすることができる。デバイスが移動されると、デバイス内のモーション・センサを通じて、この移動を追跡することができる。少なくとも１つの実装において、基準に基づいて境界のあるビューを調整した後、方法は、既述されるステップ２０４へのループ・バックを続行して、モーション・センサからデバイスの位置をキャプチャし、ステップ２０６〜２１２に関して説明されるプロセスを繰り返す。

図２は、１つの実装の例証を与えるものに過ぎず、異なる実施形態をどのように実装できるかに関していずれの限定も意味するものではないことを認識されたい。設計及び実装要件に基づいて、示される環境への多くの修正をなすことができる。例えば、代替的な実装に関して既述のように、モーション・センサは、モーション・センサは、プロジェクタ・デバイスに組み込まれたハードウェアの物理的部品として実装されるモーション・センサとは対照的に、プロジェクタ・デバイスに取り付けられたカメラからキャプチャされる画像を解釈するソフトウェアとして実装することができる。付加的に、代替的な実装によると、投影面上に赤外線波のポイントを使用することができる。また、既述のように、表面に対するデバイスの移動を助けることができるモーション・センサ１１６（図１）に加えて、デバイス１０２Ａ、１０２Ｂ（図１）は、能動的又は受動的な自動焦点検出システム（コントラスト又は位相検波などの）を用いる技術を使用して、デバイスに対する投影面の平面の相対角度を検出することができる。従って、最適な焦点のために複数のポイントをサンプリングすることができ、投影平面における複数のポイントまでの距離を得ることができ、従って、複数のポイントまでの距離の計算及びデバイスのメモリ内の平面の幾何学的形状の再現を可能にすることができる。

ここで図３を参照すると、本実施形態の少なくとも１つの実装による、投影されるデスクトップ画像の例示的な図３００が示される。既述のように、ユーザは、モーション・センサ１１６（図１）、プロジェクタ１１２（図１）、及びデバイス３０２内のモーション・センサ１１６（図１）を使用し、デバイス３０２のプロジェクタ１１２（図１）の位置及び向きに従って生成される仮想デスクトップ３０４全体の境界のあるビュー（すなわち、部分）として、投影画像をパンし、拡大縮小し、回転させることができるソフトウェア１０８Ａ、１０８Ｂ（図１）を含むプロジェクタ・デバイス３０２を使用することができる。例えば、本実施形態の少なくとも１つの実装によると、コンピュータ画面の「スナップショット」を、壁又はデスクトップのような表面上に、画像３０４として投影し、描写することができる。全体として、投影される領域全体が仮想デスクトップ３０４を形成する。仮想デスクトップ３０４は、文書、画像、フォルダ、ビデオ、ウェブ・ブラウザ・タブ、アプリケーション・ウィンドウ、又はアプリケーションを含むことができる多数の「要素」３０６〜３１２を表示することができる。単に説明のために、投影領域３０４は、円として示されるが、これは矩形又は正方形などの別の形状として描写することができる。

プロジェクタ・デバイス３０２を使用するユーザは、ジェスチャ、オン・スクリーン・ディスプレイ、デバイス３０２上のボタンを使用することにより、投影される仮想デスクトップ３０４と対話することができる。例えば、ユーザがモーション・センサを含むプロジェクタ・デバイス３０２を移動させたとき、投影されるデスクトップ３０４の部分を調整することができる。例えば、右に移動することにより、投影されるデスクトップ３０４の異なる部分を描写することができ、又は、こうした移動は、投影されるデスクトップ３０４の新しい部分を描写することに加えて、移動前のデスクトップ３０４の描写部分を含むことができる。

説明のために、仮想デスクトップ３０４の外の領域３１４は、現在投影されていないためにユーザには見えないディスプレイの領域を示すことができる。しかしながら、この領域３１４は、プロジェクタ・デバイス３０２内に表示することができ、プロジェクタ・デバイス３０２を移動することにより、示すことができる。付加的に、プロジェクタ・デバイス３０２の上部に描写されるドット３１６は、説明のためにデバイス上のプロジェクタの位置を表す。

ここで図４を参照すると、少なくとも１つの実施形態による投影されるデスクトップ画像を調整するデバイスの移動の例示的な図４００が示される。既述のように、ユーザがプロジェクタ・デバイス３０２を移動させると、投影されるデスクトップ３０４の部分が調整される。例えば、プロジェクタ・デバイス３０２を右へ移動すると、投影されるデスクトップ３０４の異なる部分を描写することができ、又はこうした移動は、投影されるデスクトップ３０４の新しい部分の描写に加えて、移動前のデスクトップ３０４の描写部分も含むことができる。従って、プロジェクタ・デバイス３０２の移動により、文書、画像、フォルダ、ビデオ、ウェブ・ブラウザ・タブ、アプリケーション・ウィンドウ、又はアプリケーションのようなこれまでに表示されている「要素」３０６〜３１２の位置が、デスクトップ３０４の描写部分に対して調整され、新しい「要素」４０２〜４０４を表示できるようになる。さらに、図４に描写されるように、プロジェクタ・デバイス３０２の移動により、投影されるデスクトップ画像が表示されている表面３１４に対する投影されるデスクトップの描写部分の配置を調整することができる。

さらに、本実施形態は、デバイス３０２に埋め込むことができる小型で相対的に低出力のプロジェクタのみを用いて、仮想表面３１４を生成することもでき、有効強度を犠牲にすることなく、利用可能なバッテリ寿命に基づいて投影強度を調整することができる。例えば、ユーザは、デバイスを表面に近づけることができ、その際、照明面積は小さくなるが、こうした状況において、より少ない電力消費で同じ程度の明るさが可能になる。従って、照明全体の調整及びレンズ調整の組み合わせにより、バッテリ電力を節約し、投影サイズを犠牲にして輝度が保持される。

付加的に、少なくとも１つの実装によると、プロジェクタ１１２（図１）がプロジェクタ１１２（図１）の全面積を使用すると仮定すると、表面３１４までのデバイス３０２内のプロジェクタ１１２（図１）の距離を二倍にすると、投影画像３０４の表面積３１４は四倍になる（各寸法を二倍にすることにより）。プロジェクタ１１２（図１）からのルーメン出力が一定であると仮定すると、それぞれ距離を二倍にすると、投影画像のルクス（１平方メートル当たりのルーメン）は１／４になる。現在のバッテリ充電の投影寿命、ユーザ設定又は現在の使用により決定されるような、十分に蓄えられた電力が利用可能である限り、本実施形態は、一定のルクスの維持を意図して、プロジェクタ表面３１４からデバイス３０２を移動させることに応答して、プロジェクタ１１２（図１）の光源からのルーメン出力を増大させることができる。例えば、異なる調光比における異なる組成の出力波長の結果もたらされる、プロジェクタ１１２（図１）を通る可変透過光を無視して、プロジェクタ１１２（図１）は、表面３１４までのデバイス３０２の距離が二倍になると、ルーメン出力を四倍になり得る。

さらに、デバイス３０２は、投影の表面積３１４を低減させることにより一定のルクスを維持しながら、また、表面３１４に対する投影画像３０４内の要素３０６〜３１２のサイズを維持しながら、電力消費を低減させることができ、高度のバッテリ節約時のより高い光条件においてさえ、デスクトップを容易に見ることを可能にする。１つの実施形態において、光源又はランプが発するルーメンが、光源を合焦させて表面３１４に対する一定の投影サイズを達成するために使用されるレンズ・アレイと共に変化する場合、液晶オンシリコン（liquid crystal on silicon、ＬＣｏＳ）型ピコ・プロジェクタが使用される。節電が必要とされるとき、本実施形態は、投影面のサイズを自動的に小さくすること、又は、光源の調光を調整させながら、光学素子により光源を合焦させ、より小さい投影領域３０４の上に光源の全ルーメンを合焦させることができる。例えば、デジタル光処理（ＤＬＰ）又は液晶オンシリコン（ＬＣｏＳ）に動力供給するためにＬＥＤを光源として用いる場合、既存のＬＥＤ調光技術を用いて、光源への入力電力を調光することができる。ルーメン出力を低下させることにより、投影領域３０４の低減を調整し、投影画像上に一定のルクスを達成する。通常、これだけで、単により小さい画像が表面に投影される。例えば、投影面３１４上に示される文書は、各々の投影画像３０４のサイズの低減時に半分のサイズに見える。本実施形態は、投影される画像を算出し直し、プロジェクタの画像生成要素に対するデスクトップのマッピングを調整し、投影画像のサイズの低減に関連して、より小さい面積のオリジナルの画像を直接有効に投影し、投影されるオブジェクトと表面３１４との関係全体を保持する。その結果、エンド・ユーザにとっては、バッテリ節約がより重要であると判断されたとき、より小さい画像又は薄暗い画像を見る代わりに、単により小さい投影されるデスクトップ３０４を見るだけである。

ここで図５を参照すると、少なくとも１つの実施形態による、投影されるデスクトップ画像の異なるサブセクションと対話する複数のデバイスの調整の例示的な図５００が示される。少なくとも１つの実装によると、本実施形態は、少なくとも１のユーザが、仮想デスクトップ５１８の要素と対話するために、異なるプロジェクタ・デバイス５０２、５０４を同時に使用すること、例えば、複数のユーザが異なるプロジェクタ・デバイス５０２、５０４を用いて仮想デスクトップ５１８の要素と同時に対話することを可能にする。従って、要素５０６〜５１６が修正されると、この修正は、近距離無線通信を通じて、サーバ１１４（図１）などのサーバ、クラウド・サービスを通じて、又はデバイス５０２、５０４間のネットワーク通信１１０（図１）を通じて、通信され得る。従って、複数のデバイス５０２、５０４は、無線アンテナ若しくは他の位置決めセンサのいずれかと対話して、互いに対するその位置及び向きを改善することができる。投影領域が近づいて重なり合うと、デバイス５０２、５０４上のカメラを使用し、メモリ内のテーブルトップの表示に対する他のデバイス５０２、５０４による投影画像を監視することによって、デバイスの位置及び向きの検出精度を高めることができる。さらに人間の可視スペクトルの外の可視トークン又は要求を投影に埋め込み、複数のデバイス５０２、５０４がそれらの投影を調整するのを支援することができる。

投影領域（又は、デバイス５０２、５０４の位置、向き、及び投影領域を算出できるプロジェクタ構成）の範囲は、ＲＦＩＤ、Ｂｌｕｅｔｏｏｔｈを含む近距離無線通信上で通信されるか、又はコンピュータ・ネットワークを通じて通信される。代替的に、各々のデバイス５０２、５０４は、カメラ又は人間の視野外の検出器を含む、カメラを使用して、他のデバイス５０２、５０４の投影画像５１８を独立して検出することができる。ひとたびいずれかのデバイス５０２、５０４により、複数のデバイス５０２、５０４からの投影画像５１８の重複が検出されると、幾つかの電力制御及び調整機構が使用される。デバイス５０２、５０４の投影画像が、別のデバイス５０２、５０４からの投影と著しい重複を有する場合、単一のデバイス５０２、５０４は、そのプロジェクタの光源からの出力を、独立して低減させること又は排除することができる。デバイス５０２、５０４は、上に列挙した全ての通信方法を介して、他のデバイス５０２、５０４とこの出力の低減を調整し、メッセージを送り、場合によっては確認を可能にすることができる。デバイス５０２、５０４は、電力使用量及び残りの電力統計値を送って、投影に関与する他のデバイス５０２、５０４が電力低減戦略を確認することを可能にし、又は、コマンドをデバイス５０２、５０４に発するサーバ１１４（図１）などのネットワーク化デバイス５０２、５０４に、全てのデータを送ることができる。レーザビームステアリング（ＬＢＳ）方式のプロジェクタの場合、それらのピクセルに合焦したときに止めることによって、又はそれらの領域の周りに向けることによって、重複する投影領域におけるピクセルをスキップするように、レーザを向けることができる。投影全体に対する一定の周波数又はリフレッシュ速度を維持するために、レーザが重複領域の周りに向けられた場合、レーザを投影の特定のピクセル又は領域の周りに向けることによって、サイクル内の低減した時間に対応する時間だけ止めることができる。液晶オンシリコン（ＬＣｏＳ）又はデジタル光処理（ＤＬＰ）のようなランプベースの解決法においては、投影領域の重複があった場合、デバイスは、プロジェクタのランプを低減させること又は消すことができる。これらの技術を利用する前に必要とされる重複についての閾値を構成することができ、この閾値は、関与するデバイスの残りの電力及び電力使用量に応じたものにすることができる。

図６は、本発明の例証となる実施形態による、図１に示されるコンピュータの内部コンポーネント及び外部コンポーネントのブロック図６００である。図６は、１つの実装の例証のみを与えるものであり、異なる実施形態を実装できる環境に関するいずれの限定も意味しないことを認識されたい。設計及び実施要件に基づいて、示される環境への多くの修正をなすことができる。

データ処理システム８００、９００は、マシン可読プログラム命令を実行することができに任意の電子デバイスを表す。データ処理システム８００、９００は、スマートフォンコンピュータ・システム、ＰＤＡ、又は他の電子デバイスを表すことができる。データ処理システム８００、９００により表すことができるコンピュータ・システム、環境及び／又は構成の例として、これらに限定されるものではないが、パーソナル・コンピュータ・システム、サーバ・コンピュータ・システム、シン・クライアント、シック・クライアント、手持ち式又はラップトップ・デバイス、マイクロプロセッサ・システム、マイクロプロセッサ・ベースのシステム、ネットワークＰＣ、ミニコンピュータ・システム、及び上記のシステム若しくはデバイスのいずれかを含む分散型クラウド・コンピューティング環境が挙げられる。

ユーザ・クライアント・コンピュータ１０２Ａ、１０２Ｂ（図１）及びネットワーク・サーバ１１４（図１）は、図６に示される内部コンポーネント８００ａ、ｂ、ｃ及び外部コンポーネント９００ａ、ｂ、ｃのそれぞれのセットを含むことができる。内部コンポーネント８００のセットの各々は、１つ又は複数のバス８２６上の、１つ又は複数のプロセッサ８２０、１つ又は複数のコンピュータ可読ＲＡＭ８２２及び１つ又は複数のコンピュータ可読ＲＯＭ８２４、並びに、１つ又は複数のオペレーティング・システム８２８及び１つ又は複数のコンピュータ可読有形ストレージ・デバイス８３０を含む。クライアント・コンピュータ１０２Ａ、１０２Ｂ（図１）及びネットワーク・サーバ１１４（図１）内の１つ又は複数のオペレーティング・システム８２８及び無境界の投影される対話型仮想デスクトップ・プログラム１０８Ａ、１０８Ｂ（図１）は、それぞれのＲＡＭ８２２（一般的に、キャッシュ・メモリを含む）の１つ又は複数を介してそれぞれのプロセッサ８２０の１つ又は複数により実行するために、それぞれのコンピュータ可読有形ストレージ・デバイス８３０の１つ又は複数に格納される。図６に示される実施形態において、コンピュータ可読有形ストレージ・デバイス８３０の各々は、内部ハードドライブの磁気ディスク・ストレージ・デバイスである。代替的に、コンピュータ可読有形ストレージ・デバイス８３０の各々は、ＲＯＭ８２４、ＥＰＲＯＭ、フラッシュ・メモリ、又はコンピュータ・プログラム及びデジタル情報を格納することができる他のいずれかのコンピュータ可読有形ストレージ・デバイスなどの、半導体ストレージ・デバイスである。

内部コンポーネント８００ａ、ｂ、ｃの各セットはまた、ＣＤ−ＲＯＭ、ＤＶＤ、メモリ・スティック、磁気テープ、磁気ディスク、光ディスク、又は半導体ストレージ・デバイスのような１つ又は複数の携帯型コンピュータ可読有形ストレージ・デバイス９３６との間で読み取り及び書き込みを行うためのＲ／Ｗドライブ又はインターフェース８３２も含む。無境界の投影される対話型仮想デスクトップ・プログラム１０８Ａ、１０８Ｂ（図１）のようなソフトウェア・プログラムは、それぞれの携帯型コンピュータ可読有形ストレージ・デバイス９３６の１つ又は複数上に格納し、それぞれのＲ／Ｗドライブ又はインターフェース８３２を介して読み取り、かつそれぞれのハードドライブ８３０にロードすることができる。

内部コンポーネント８００ａ、ｂ、ｃの各セットはまた、ＴＣＰ／ＩＰアダプタ・カード、無線Ｗｉ−Ｆｉインターフェース・カード、又は３Ｇ若しくは４Ｇ無線インターフェース・カード、又は他の有線若しくは無線通信リンクのような、ネットワーク・アダプタ又はインターフェース８３６も含む。クライアント・コンピュータ１０２Ａ、１０２Ｂ（図１）及びネットワーク・サーバ１１４（図１）内の無境界の投影される対話型仮想デスクトップ・プログラム１０８Ａ、１０８Ｂ（図１）は、ネットワーク（例えば、インターネット、ローカル・エリア・ネットワーク、又は他の広域ネットワーク）及びそれぞれのネットワーク・アダプタ又はインターフェース８３６を介して、外部コンピュータから、クライアント・コンピュータ１０２Ａ、１０２Ｂ（図１）及びネットワーク・サーバ１１４（図１）にダウンロードすることができる。ネットワーク・アダプタ又はインターフェース８３６から、クライアント・コンピュータ１０２Ａ、１０２Ｂ（図１）及びネットワーク・サーバ１１４（図１）内の無境界の投影される対話型仮想デスクトップ・プログラム１０８Ａ、１０８Ｂ（図１）は、それぞれのハードドライブ８３０にロードされる。ネットワークは、銅線、光ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイ・コンピュータ、及び／又はエッジ・サーバを含むことができる。

外部コンポーネント９００ａ、ｂ、ｃのセットの各々は、コンピュータ・ディスプレイ・モニタ９２０、キーボード９３０及びコンピュータ・マウス９３４を含むことができる。外部コンポーネント９００ａ、ｂ、ｃはまた、タッチ・スクリーン、仮想キーボード、タッチ・パッド、ポインティング・デバイス、及び他のヒューマン・インターフェース・デバイスを含むこともできる。内部コンポーネント８００ａ、ｂ、ｃのセットの各々はまた、コンピュータ・ディスプレイ・モニタ９２０、キーボード９３０、及びコンピュータ・マウス９３４にインターフェース接続するためのデバイス・ドライバ８４０も含む。デバイス・ドライバ８４０、Ｒ／Ｗドライブ又はインターフェース８３２、及びネットワーク・アダプタ又はインターフェース８３６は、ハードウェア及びソフトウェア（ストレージ・デバイス８３０及び／又はＲＯＭ８２４内に格納される）を含む。

本発明の種々の実施形態の説明は、例証を目的として提示されたものであり、網羅的であること又は開示された実施形態に限定することを意図したものではない。本発明の範囲及び趣旨から逸脱しない多くの修正及び変形が当業者には明らかとなるであろう。本明細書で使用される用語は、本実施形態の原理、実際の用途、又は市場で見出される技術に優る技術的改善を最も良く説明するために、又は、当業者が、本明細書に開示される実施形態を理解できるように、選択された。

１００：コンピュータ環境
１０２Ａ、１０２Ｂ：コンピュータ
１０４Ａ、１０４Ｂ、８２０：プロセッサ
１０８Ａ、１０８Ｂ：無境界の投影される対話型仮想デスクトップ・プログラム
１１０：通信ネットワーク
１１２：プロジェクタ
１１４：サーバ
１１６：モーション・センサ
３０２、５０２、５０４：プロジェクタ・デバイス
３０４、５１８：仮想デスクトップ、投影領域
３０６〜３１２、４０２〜４０４、５０６〜５１６、：要素
３１４：表面
８００：内部コンポーネント
８２８：オペレーティング・システム
８３０：コンピュータ可読有形ストレージ・デバイス
９００：外部コンポーネント

Claims (10)

1. 投影面に投影される対話型仮想デスクトップを生成するための方法であって、
   デバイスに組み込まれたモーション・センサから、前記デバイスと関連する位置、位置の変化、又は向きの変化のうちの少なくとも１つをキャプチャすることと、
   前記デバイスの前記キャプチャされた位置の変化、又は前記キャプチャされた向きの変化に基づいて、投影面に対する投影画像を計算することと、
   前記デバイスに組み込まれたプロジェクタの前記キャプチャされた位置及び向きに基づいて、前記デバイス内で実行されている少なくとも１つのアプリケーションにわたって、前記計算された投影画像を、前記投影面と関連付けて調整することと、
   アプリケーション画像を含む複数の要素を含んだ前記調整された投影画像を、前記投影面に投影することと、
   他のデバイスによって前記投影面に投影された他の投影画像と、前記複数の要素を含む投影画像とから形成される対話型仮想デスクトップを共同のワークスペースとして、複数のユーザが前記複数の要素と対話することを可能にすることと、
   を含む、方法。
2. 前記他のデバイスが前記他の投影画像を調整できるように、前記複数の要素を含む投影画像に可視スペクトルではないトークンを埋め込む、請求項１に記載の方法。
3. 前記複数の要素は、文書、画像、フォルダ、ビデオ、ウェブ・ブラウザ・タブ、アプリケーション・ウィンドウ、及びアプリケーション・アイコンの少なくとも１つから成るグループから選択される、請求項１に記載の方法。
4. 前記投影面までの前記プロジェクタの距離に基づいて、前記複数の要素を含む投影画像の投影強度を調整することをさらに含む、請求項１に記載の方法。
5. 前記モーション・センサは、埋め込まれた加速度計、ジャイロスコープ、自動焦点シス
   テムを含む位置決めシステム、及び埋め込まれた又は外部の電磁若しくは超音波モーション・センサの少なくとも１つから成るグループから選択される、請求項１に記載の方法。
6. 前記複数の要素を含む投影画像に関連する計算の修正を行うことにより、前記複数の要素内の少なくとも１つの要素の位置及びサイズを保存する、請求項１に記載の方法。
7. 前記対話型仮想デスクトップは、ドラッグ、ピックアップ、ドロップ、ピンニング、及びナビゲートの少なくとも１つから成る群から選択される少なくとも１つのジェスチャをサポートする、請求項１に記載の方法。
8. 前記複数の要素を含む投影画像は、前記デバイスと関連する検出された動きの変化に基づき、これまで示されていない前記投影画像の部分が表示される、請求項１に記載の方法。
9. 投影面に投影される対話型仮想デスクトップを生成するためのコンピュータ・システムであって、前記コンピュータ・システムは、
   プロセッサ及びプログラム命令を記憶するストレージを備え、前記プロセッサが前記プログラム命令を実行することにより前記コンピュータ・システムは方法を実施することができ、前記方法は、
   デバイスに組み込まれたモーション・センサから、前記デバイスと関連する位置、位置の変化、又は向きの変化のうちの少なくとも１つをキャプチャすることと、
   前記デバイスの前記キャプチャされた位置の変化、又は前記キャプチャされた向きの変化に基づいて、投影面に対する投影画像を計算することと、
   前記デバイスに組み込まれたプロジェクタの前記キャプチャされた位置及び向きに基づいて、前記デバイス内で実行されている少なくとも１つのアプリケーションにわたって、前記計算された投影画像を、前記投影面と関連付けて調整することと、
   アプリケーション画像を含む複数の要素を含んだ前記調整された投影画像を、前記投影面に投影することと、
   他のデバイスによって前記投影面に投影された他の投影画像と、前記複数の要素を含む投影画像とから形成される対話型仮想デスクトップを共同のワークスペースとして、複数のユーザが前記複数の要素と対話することを可能にすることと、
   を含む、コンピュータ・システム。
10. 投影面に投影される対話型仮想デスクトップを生成するためのコンピュータ・プログラムであって、前記コンピュータ・プログラムは、
    ストレージ・デバイスに格納され、請求項１から請求項８までの方法を実施するためにプロセッサにより実行可能なプログラム命令を含む、コンピュータ・プログラム。
    

Images