JP4980368B2 - 向き変更可能なユーザインターフェース - Google Patents

Description

本発明は、ユーザインターフェースの向きを変更する方法と、向き付け可能なユーザインターフェースを制御するディスプレイシステムとに関する。

コンピュータシステムのユーティリティは、よりよいユーザインターフェースを提供することによって高めることができる。コンピュータシステムのユーザインターフェースは、パーソナルコンピュータ（ＰＣ）が初めて広範に入手可能になって以降、大幅に進化してきた。初期のＰＣは、シリアルマウスなど、どちらかといえば原始的なユーザ入力デバイスを使用し、モノクロームディスプレイだけを提供した。しかし、マイクロプロセッサ、使用可能なメモリ、およびプログラミング機能性の膨大な改善のすべてが、ユーザインターフェース設計の進歩ならびにユーザフレンドリなグラフィックオペレーティングシステムおよびハードウェアの開発に寄与した。

ユーザインターフェーステクノロジにおける進歩の一特定の領域は、対話型ディスプレイシステムに関する。そのようなシステムは、通常、エンクロージャ、ディスプレイ表面、様々なイメージプロジェクションおよびユーザ入力検出機器、ならびにコンピュータを含む。対話型ディスプレイシステムは、汎用コンピューティングデバイスを含むか、これに結合されるものとすることができる。対話型ディスプレイシステムの大きい利点は、ディスプレイ表面との直接のユーザ対話を可能にすることである。ユーザは、１つまたは複数の指を用いて対話型ディスプレイ表面に直接に触れることによって、または対話型ディスプレイ表面のすぐ上でジェスチャを行うことによって、このタイプのシステムに入力を供給することができる。

しかし、対話型ディスプレイシステムは、従来のパーソナルコンピュータ（ＰＣ）で実行されるように設計されたアプリケーションにおいて使用されるものと同様のグラフィカルユーザインターフェース（ＧＵＩ）を実施するよう制約された場合に、ある種の制限および不利益をこうむる可能性がある。例えば、対話型ディスプレイシステムのユーザは、どの側からも水平のディスプレイ表面と対話することができる。その性質によって、水平対話型ディスプレイ表面は、「上」および「下」を有し、従来のディスプレイの前に坐っている人によって見られることを意図された、従来の垂直ディスプレイには似ていない。従来の垂直に向き付けされたディスプレイとは異なって、対話型ディスプレイの両側に配置されたユーザは、明らかに、類似するユーザ経験を有するために、ユーザに対して向き付けされたグラフィカルユーザインターフェースを好む。したがって、水平対話型ディスプレイ表面の一方の側にいるユーザに合わせて向き付けされたグラフィカルユーザインターフェースは、その対話型ディスプレイ表面の他方の側にいるユーザには反対に見え、逆も同様である。したがって、現在、全般的に水平の対話型ディスプレイ表面のユーザによる享受を妨げる、上記および他の従来技術の制限に対する解決策を開発する動機づけがある。対話型ディスプレイシステム上で実行されるアプリケーションと共に使用される、動的に向きを変更可能な（ｏｒｉｅｎｔａｔｉｏｎ ｆｒｅｅ）ユーザインターフェースを提供することが、明らかに好ましい。

米国特許出願第１０／８１４，５７７号明細書 米国特許出願第１０／８１４，７６１号明細書

動的に向き付け可能な（ｏｒｉｅｎｔａｂｌｅ）ユーザ入力コントロール部を有するユーザインターフェースの生成および表示を可能にする様々な実施態様を下で述べる。具体的に言うと、ユーザインターフェースを、コンピュータ実施される方法を介して対話型ディスプレイに表示することができ、その結果、ユーザインターフェースは、対話型ディスプレイの周辺付近の異なる位置に配置されたユーザによって見られるように適当に向き付けされる。例示的実施態様のさらなる詳細を、下で提示する。この実施態様は、主グラフィカルユーザインターフェース（ＧＵＩ）の部分を選択するステップを含む。次に、独立の動的に向き付け可能なＧＵＩが、選択された部分の中に生成される。この実施態様では、動的に向き付け可能なＧＵＩは、１つまたは複数のユーザ入力コントロール部を提供することができ、これらのコントロールは、ユーザによって提供される入力に基づいて、向き付け可能ＧＵＩの選択された部分内で向き付けされることを可能にされる。このユーザ入力は、対話型ディスプレイ上で提供される向き付け可能ＧＵＩとのユーザ対話によって提供することができる。

この「課題を解決するための手段」は、下の「発明を実施するための最良の形態」で詳細にさらに説明される少数の概念を単純化された形で紹介するために提供された。しかし、この「課題を解決するための手段」は、請求される主題の主要なまたは本質的な特徴を識別することを意図されたものでも、請求される主題の範囲を判定する際の助けとして使用されることを意図されたものでもない。

１つまたは複数の例示的実施形態およびその修正形態の様々な態様および付随する利益は、添付図面と共に解釈されるときに、後続の詳細な説明を参照することによってよりよく理解されるようになるので、よりたやすく了解されるようになる。

図面および開示される実施形態は限定的ではない
例示的実施形態を、図面の参照される図に示す。本明細書で開示される実施形態および図面は、制限的であるのではなく、例示的であると考えられなければならないことが意図されている。さらに、添付の特許請求の範囲では、代替案のリストが、句「〜の少なくとも１つ」または句「〜の１つ」の前に連接語「および」、「と」、または「ならびに」が使用されている場合、これら「および」、「と」、または「ならびに」の単語の意図された意味は、接続語「もしくは」、「または」、または「あるいは」に対応する。

例示的コンピューティングシステム
図１は、対話型ディスプレイテーブルまたは類似するコンピューティングシステムなど、接続されたクライアントのコンピューティングデバイスにデジタルメディアを供給する、例示的なコンピューティングシステムおよび／またはコンピュータサーバの機能ブロック図である。

後続の議論は、ある方法を実施できる適切なコンピューティング環境の短い全般的な説明を提供することを意図されたものである。さらに、後続の議論は、コンピューティングシステムと共にプログラムモジュールなどのコンピュータ実行可能命令を実施することに関する文脈を示す。一般に、プログラムモジュールは、特定のタスクを実行するか特定の抽象データ型を実施するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。当業者は、マルチプロセッサシステム、メインフレームコンピュータ、パーソナルコンピュータ、プロセッサ制御式消費者エレクトロニクス、携帯情報端末（ＰＤＡ）（おそらくはデジタルメディアコンテンツのサーバとして使用されるときではなく）、および類似物を含む他のコンピューティングシステム構成を適用できることを認めるであろう。他の実施態様は、通信ネットワークを介してリンクされたリモート処理デバイスによってタスクが実行される分散コンピューティング環境を含む。分散コンピューティング環境では、プログラムモジュールを、ローカルとリモートとの両方のメモリストレージデバイスに配置することができる。

図１を参照すると、様々な方法を実施するのに適する例示的システムが示されている。このシステムは、処理ユニット２１、システムメモリ２２、およびシステムバス２３を設けられた、従来のパーソナルコンピュータ（ＰＣ）２０の形の汎用コンピューティングデバイスを含む。システムバスは、システムメモリを含む様々なシステムコンポーネントを処理ユニット２１に結合し、メモリバスまたはメモリコントローラ、周辺バス、および様々なバスアーキテクチャのいずれかを使用するローカルバスを含む、複数のタイプのバス構造のうちのいずれかとすることができる。システムメモリは、読取専用メモリ（ＲＯＭ）２４およびランダムアクセスメモリ（ＲＡＭ）２５を含む。

システムスタートアップ中などにＰＣ ２０内の要素の間での情報の転送を可能にする基本ルーチンを含む基本入出力システム２６（ＢＩＯＳ）が、ＲＯＭ ２４に格納される。ＰＣ ２０は、さらに、ハードディスク（図示せず）から読み取り、これに書き込むハードディスクドライブ２７、取り外し可能磁気ディスク２９から読み取り、またはこれに書き込む磁気ディスクドライブ２８、およびコンパクトディスク読取専用メモリ（ＣＤ−ＲＯＭ）または他の光媒体などの取り外し可能光ディスク３１から読み取り、またはこれに書き込む光ディスクドライブ３０を含む。ハードディスクドライブ２７、磁気ディスクドライブ２８、および光ディスクドライブ３０は、それぞれハードディスクドライブインターフェース３２、磁気ディスクドライブインターフェース３３、および光ディスクドライブインターフェース３４によってシステムバス２３に接続される。これらのドライブおよびそれに関連するコンピュータ可読媒体は、ＰＣ ２０のコンピュータ可読機械命令、データ構造、プログラムモジュール、および他のデータの不揮発性ストレージを提供する。説明される例示的環境は、ハードディスク２７、取り外し可能磁気ディスク２９、および取り外し可能光ディスク３１を使用するが、磁気カセット、フラッシュメモリカード、デジタルビデオディスク（ＤＶＤ）、ベルヌーイカートリッジ、ＲＡＭ、ＲＯＭ、および類似物など、コンピュータによってアクセス可能なデータおよび機械命令を格納できる他のタイプのコンピュータ可読媒体をも使用できることを、当業者は認めるであろう。

オペレーティングシステム３５、１つまたは複数のアプリケーションプログラム３６、他のプログラムモジュール３７、およびプログラムデータ３８を含む複数のプログラムモジュールを、ハードディスク２７、磁気ディスク２９、光ディスク３１、ＲＯＭ ２４、またはＲＡＭ ２５に格納することができる。ユーザは、キーボード４０およびポインティングデバイス４２などの入力デバイスを介して、ＰＣ ２０内でコマンドおよび情報を入力し、制御入力を提供することができる。ポインティングデバイス４２は、マウス、スタイラス、無線リモートコントロール、または他のポインタを含むことができるが、現在説明している実施形態に関連して、そのような従来のポインティングデバイスを省略することができる。というのは、ユーザが、対話型ディスプレイシステムを入力および制御に使用することができるからである。この説明で使用されるときに、用語「マウス」は、画面上のカーソルの位置を制御するのに有用なすべてのポインティングデバイスを包含することが意図されている。他の入力デバイス（図示せず）には、マイクロホン、ジョイスティック、触覚ジョイスティック、ヨーク、フットペダル、ゲームパッド、衛星パラボラアンテナ、スキャナ、または類似物を含めることができる。また、ＰＣ ２０は、プリンタなどの他のインターフェースデバイスまたは下で詳細に説明する対話型ディスプレイテーブルとの通信のために、Ｂｌｕｅｔｏｏｔｈ無線インターフェースまたは他の無線インターフェースを含むことができる。上記および他の入出力（Ｉ／Ｏ）デバイスは、システムバス２３に結合されたＩ／Ｏインターフェース４６を介して処理ユニット２１に接続することができる。句「Ｉ／Ｏインターフェース」は、特にシリアルポート、パラレルポート、ゲームポート、キーボードポート、および／またはｕｎｉｖｅｒｓａｌ ｓｅｒｉａｌ ｂｕｓ（ＵＳＢ）に使用される各インターフェースを包含することが意図されている。システムバス２３を、カメラインターフェース（図示せず）にも接続することができ、このカメラインターフェースは、下でより詳細に述べるように、対話型ディスプレイ６０内に含まれるデジタルビデオカメラから信号を受け取るために対話型ディスプレイ６０に結合される。デジタルビデオカメラを、その代わりに、ＵＳＢポートなどの適当なシリアルＩ／Ｏポートに結合することができる。システムバス２３を、下でより詳細に述べるように、光源に制御信号を供給するために、Ｉ／Ｏインターフェース４６または別のインターフェースを介して対話型ディスプレイ内の光源に接続することもできる。さらに、システムバス２３を、ユーザ入力を受け取るために、Ｉ／Ｏインターフェース４６または別のインターフェースを介して、対話型ディスプレイシステム内の光検出器に接続することもできる。場合によっては、モニタ４７を、ビデオアダプタ４８などの適当なインターフェースを介してシステムバス２３に接続することができるが、モニタは割愛される可能性が高い。というのは、下で説明する対話型ディスプレイシステムが、より豊かな表示を提供することができ、情報の入力およびソフトウェアアプリケーションの制御のためにユーザと対話することもでき、したがって、好ましくはビデオアダプタに結合されるからである。一般に、ＰＣを、スピーカ（サウンドカードまたは他のオーディオインターフェース（図示せず）を介して）およびプリンタなど、他の周辺出力デバイス（図示せず）に結合することもできる。

下で詳細に説明するある種の方法は、単一のマシンで実践することができるが、ＰＣ ２０は、リモートコンピュータ４９などの１つまたは複数のリモートコンピュータへの論理接続を使用してネットワーク化された環境で動作することもできる。リモートコンピュータ４９は、もう１つのＰＣ、サーバ（ＰＣ ２０によく似た構成とすることができる）、ルータ、ネットワークＰＣ、ピアデバイス、または衛星もしくは他の一般的なネットワークノード（いずれも図示せず）とすることができ、通常は、ＰＣ ２０に関連して上で説明した要素の多くまたはすべてを含むが、図１には外部メモリストレージデバイス５０だけを図示した。図１に示された論理接続は、ローカルエリアネットワーク（ＬＡＮ）５１および広域ネットワーク（ＷＡＮ）５２を含む。そのようなネットワーキング環境は、オフィス、企業全体のコンピュータネットワーク、イントラネット、およびインターネットで一般的である。

ＬＡＮネットワーキング環境で使用されるときに、ＰＣ ２０は、ネットワークインターフェースまたはネットワークアダプタ５３を介してＬＡＮ ５１に接続される。ＷＡＮネットワーキング環境で使用されるときに、ＰＣ ２０は、通常、インターネットなどのＷＡＮ ５２を介する通信を確立するための、モデム５４あるいは、ケーブルモデム、デジタル加入者回線（ＤＳＬ）インターフェース、またはサービス総合デジタル網（ＩＳＤＮ）インターフェースなどの他の手段を含む。モデム５４は、内蔵または外付けとすることができるが、システムバス２３に接続されるか、またはＩ／Ｏデバイスインターフェース４６すなわちシリアルポートを介してバスに結合される。ネットワーク化された環境では、ＰＣ ２０によって使用されるプログラムモジュールまたはその諸部分を、リモートメモリストレージデバイスに格納することができる。図示のネットワーク接続が、例示的であり、無線通信および広帯域ネットワークリンクなど、コンピュータの間の通信リンクを確立する他の手段を使用できることを了解されたい。

例示的な対話型表面
図２には、フレーム６２にＰＣ ２０を含み、コンピュータ用の光入力とビデオディスプレイデバイスとの両方として働く、例示的な対話型ディスプレイテーブル６０が示されている。図示の実施形態は、対話型ディスプレイテーブル６０の一実施態様の切断図である。図２に示された実施形態では、テキストおよびグラフィックイメージの表示に使用される光線８２ａ〜８２ｃは、点線を使用して示され、対話型ディスプレイテーブル６０の対話型ディスプレイ表面６４に接するかそのすぐ上の物体を感知するのに使用される赤外（ＩＲ）光線は、破線を使用して示される。テーブル表面の周辺部は、ユーザの腕、あるいは、対話型ディスプレイ表面６４に表示されているグラフィックイメージもしくは仮想環境と対話するのに使用できる物体を含む他の物体を支持するのに有用である。

光源６６は、２つの直交次元すなわちＸ方向およびＹ方向でスキャンするために駆動できる、発光ダイオード（ＬＥＤ）、レーザダイオード、および他の適切な光源など、様々な発光デバイスのいずれかを含むことができる。回転ミラー、ガルバノミラー、または光ビームを用いて表面のラスタスキャンを作るのに一般に使用される他の周知のスキャニング機構などのスキャニング機構を、光源６６と共に、下で述べる他の光源のそれぞれについて使用することができる。一般に、光源６６は、赤外（ＩＲ）スペクトルの波長を有する光を発するように構成され、したがって、人間の目に可視ではない。しかし、対話型ディスプレイ表面６４で提供される可視イメージの表示との干渉を避けるために、人間の目に不可視である任意の波長の光を使用することができる。光源６６は、使用される特定の光源に応じて、フレーム６２の内側の任意の位置に取り付けることができる。光源６６によって作られる光は、破線７８ａ、７８ｂ、および７８ｃによって示されるように、対話型ディスプレイ表面６４の下側に向かって上に向けられる。光源６６から放たれる光は、光を拡散する特性を有するベラムまたは他の適切な半透明材料のシートを含む、テーブルの半透明層６４ａを通過した後に、対話型ディスプレイ表面６４に接するかこれに隣接する任意の物体から反射される。

この説明および添付の特許請求の範囲で使用されるときに、用語「〜のすぐ近くの」は、この句が、物体の反射率などの要因に応じて、対話型ディスプレイ表面に接触するか対話型ディスプレイ表面から短い距離、例えば３ｃｍまでまたはそれを超えて離されるかのいずれかである物体の両方を含む意図を伴って使用される。１つの光源６６だけが示されているが、複数のそのような光源を、フレーム６２の内側の離隔された位置に取り付けて、対話型ディスプレイ表面の均一な照明をもたらすことができることを了解されたい。光源６６によって作られる光は、破線７８ａによって示されるように物体をまったく照らさずにテーブル表面を通って出、破線７８ｂによって示されるようにテーブル表面に接する物体を照らす、かつ／または破線７８ｃによって示されるように対話型ディスプレイ表面の上の短い距離（すなわち、そのすぐ近く）であるがこれに接触はしない物体を照らす、のいずれかになることができる。

対話型ディスプレイ表面６４の上の物体は、ディスプレイ表面に「接する」か少なくとも部分的に触れる「タッチ」物体７６ａと、対話型ディスプレイ表面に近いがこれに実際に接触してはいない「ホバー」物体７６ｂとを含む。したがって、タッチ物体とホバー物体との両方が、用語「近接」が後続の説明で使用されるとき、ディスプレイ表面に「近接する」ものとすることができる。対話型ディスプレイ表面を通過する光を拡散するための対話型ディスプレイ表面の下の半透明層６４ａの使用の結果として、物体が対話型ディスプレイ表面６４の最上部に接近するときに、その物体によって反射されるＩＲ光の量は、その物体が実際にディスプレイ表面に接触しているときの最大レベルまで増加する。

図２に示されているように、光検出器６８が、対話型ディスプレイ表面６４の下の、対話型ディスプレイ表面の上に配置された（すなわち、これに近接する）「タッチ」物体または「ホバー」物体から反射されたＩＲ光を検出するのに適当な位置で、フレーム６２に取り付けられる。一般に、光検出器６８は、対話型ディスプレイ表面６４に接するかこれに近接する物体から反射された光を検出するのに適切な任意の光検出デバイスとすることができる。例えば、光検出器６８は、エリアＣＭＯＳ（ａｒｅａ ＣＭＯＳ）センサまたはエリア電荷結合素子（ＣＣＤ）センサとすることができる。図２に示された実施態様は、１つの光検出器６８を示すが、複数の光検出器６８を対話型ディスプレイ６０内で使用することができる。光検出器６８に、ＩＲ光だけを透過させ、点線８４ａに沿って対話型ディスプレイ表面６４を通って進む環境可視光をブロックするＩＲ通過フィルタ８６ａを装備することができる。この実施態様では、バッフル７９が、スキャンする光源６６と光検出器６８との間に配置されて、スキャンする光源６６から直接に放たれたＩＲ光が光検出器６８に入るのを防ぐ。というのは、光検出器６８が、対話型ディスプレイ表面６４に近接する物体から反射されたＩＲ光だけに反応する出力信号を作ることが好ましいからである。光検出器６８が、やはり点線８４ａによって示される経路に沿って進む環境ＩＲ光を含む、上から対話型ディスプレイの内部へ対話型ディスプレイ表面６４を通過する環境光に含まれるすべてのＩＲ光にも反応することは明白である。

テーブル表面に接するかその上にある物体から反射されたＩＲ光は、（ａ）破線８０ａおよび８０ｂによって示されるように、半透明層６４ａを通り、ＩＲ通過フィルタ８６ａを通り、光検出器６８に戻って反射される場合があり、あるいは、（ｂ）破線８０ｃによって示されるように、光検出器６８に入らずに、対話型ディスプレイ６０内の他の内側表面によって反射されるか吸収される場合がある。

半透明層６４ａは、入射ＩＲ光と反射ＩＲ光との両方を拡散させる。したがって、上で説明したように、対話型ディスプレイ表面６４により近いホバー物体７６ｂなどの「ホバー」物体は、ディスプレイ表面からより遠い同一反射率の物体より多くのＩＲ光を光検出器６８に戻して反射する。光検出器６８は、その動作フィールド（ｏｐｅｒａｔｉｎｇ ｆｉｅｌｄ）内の「タッチ」物体および「ホバー」物体から反射されたＩＲ光を感知し、光検出器６８が受け取る反射ＩＲ光に対応する検出信号を作る。この検出信号は、処理によって各そのような物体の位置を判定し、場合によっては、その物体のサイズ、向き、形状、および軌跡などの他のパラメータを判定するために、ＰＣ ２０に入力される。ユーザの前腕など、物体の一部がテーブルの上にあるのと同時に、ユーザの指など、別の部分がディスプレイ表面と接触している場合があることに留意されたい。さらに、物体に関連する他のパラメータを検出することができる。例えば、物体は、その底面に、その物体に固有のまたはその物体がメンバである関連する物体のクラスに固有の、ＩＲ光の反射パターンまたはバーコードなどのコード化された識別子を含むことができる。したがって、１つまたは複数の光検出器６８からの検出信号を、物体からおよび／または反射パターンから反射されたＩＲ光に応じて、各そのような特定の物体を検出するためならびに物体のまたは物体に関連する他のパラメータを判定するためにも使用することができる。

したがって、諸実施形態は、物体から反射されたＩＲ光を使用して物体の識別できる特性を検出することによって、物体および／または対話型ディスプレイ表面６４に対する相対的な物体の位置ならびに他の情報を認識するように動作する。物体、その向き、および他のパラメータをそのように検出し、識別するために実施される論理ステップの詳細は、どちらも２００４年３月３１日に出願された特許文献１、名称「Identification Of Object On Interactive Display Surface By Identifying Coded Pattern」、および特許文献２、名称「Determining Connectedness And Offset Of 3D Objects Relative To An Interactive Surface」を含む、本願と同一の譲受人に譲渡された特許出願書で説明されている。この２つの特許出願書の開示および図面は、参照によって（背景情報として）本明細書に特に組み込まれるが、本願で請求される新規の手法を使用可能にするために必須とは考えられない。

ＰＣ ２０は、図２の実施形態に示されているように、対話型ディスプレイテーブル６０と一体とすることができ、あるいは、図３の実施形態に示されているように、対話型ディスプレイテーブルの外部とすることができる。図３では、対話型ディスプレイテーブル６０’は、データケーブル６３を介して外部のＰＣ ２０（上で述べたようにオプションのモニタ４７を含む）に接続される。代替案では、ＰＣ ２０を、無線リンク（すなわち、ＷｉＦｉまたは他の適当な無線信号リンク）を介して対話型ディスプレイテーブル６０’に接続することができる。やはりこの図に示されているように、直交のＸ軸およびＹ軸のセットならびに「０」によって示される原点が、対話型ディスプレイ表面６４に関連する。例示的な投影されたイメージ３９０も、ディスプレイ表面６４上の単語「イメージ」として図示されている。別個に図示されてはいないが、各直交軸に沿った複数の座標位置を使用して、対話型ディスプレイ表面６４上の任意の位置を指定できることを了解されたい。

対話型ディスプレイテーブル６０’が、外部ＰＣ ２０（図３のように）またはセットトップボックス、ビデオゲーム、ラップトップコンピュータ、もしくはメディアコンピュータ（図示せず）など、ある他のタイプの外部コンピューティングデバイスに接続される場合に、対話型ディスプレイテーブル６０’は、入出力デバイスを含む。対話型ディスプレイテーブル６０’の電力は、電源リード６１を介して供給され、電源リード６１は、従来の交流（ＡＣ）源（図示せず）に結合される。データケーブル６３は、対話型ディスプレイテーブル６０’に接続されるが、ＰＣ ２０上のＵＳＢ ２．０ポート、米国電気電子技術者協会（ＩＥＥＥ）１３９４（またはＦｉｒｅｗｉｒｅ）ポート、またはイーサネット（登録商標）ポートに結合することができる。無線接続の速度が改善され続けるにつれて、対話型ディスプレイテーブル６０’を、そのような高速無線接続を介して、またはある他の適当な有線もしくは無線のデータ通信リンクを介して、ＰＣ ２０などのコンピューティングデバイスに接続することもできることも企図されている。対話型ディスプレイシステムの一体化された部分として内部に含まれる場合であれ、外部であれ、ＰＣ ２０は、デジタルビデオカメラ６８からのデジタルイメージを処理するアルゴリズムを実行し、対話型ディスプレイテーブルのより直観的なユーザインターフェース機能性を非常に有利に使用するように設計されたソフトウェアアプリケーションを実行すると同時に、そのような機能性を利用するように特に設計されてはいないがそれでも対話型ディスプレイテーブルの入出力機能性をよく利用できる他のソフトウェアアプリケーションを実行する。さらなる代替案として、対話型ディスプレイシステムは、外部コンピューティングデバイスに結合され得るが、外部ＰＣによって行われないはずのイメージ処理および他のタスクを行うために内部コンピューティングデバイスを含むことができる。

対話型ディスプレイテーブル６０または６０’（すなわち、上で述べた対話型ディスプレイテーブルの実施形態のいずれかの）の重要で強力な特徴は、物体７６ａなどのディスプレイ表面の上に乗っている物体または物体７６ｂなどのディスプレイ表面のすぐ上に浮いている物体（またはその特性）を識別することによって、ゲームまたは他のソフトウェアアプリケーションのグラフィックイメージまたは仮想環境を表示し、対話型ディスプレイ表面６４上で可視のグラフィックイメージまたは仮想環境とのユーザ対話を可能にする能力である。

もう一度図２を参照すると、対話型ディスプレイテーブル６０は、グラフィックイメージ、仮想環境またはテキスト情報を対話型ディスプレイ表面６４に表示するのに使用されるビデオプロジェクタ７０を含むことができる。このビデオプロジェクタは、例えば少なくとも６４０×４８０ピクセルの解像度を有する、液晶ディスプレイ（ＬＣＤ）もしくはデジタルライトプロセッサ（ＤＬＰ）タイプまたはｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｏｎ ｓｉｌｉｃｏｎ（ＬＣｏＳ）ディスプレイタイプとすることができる。ＩＲカットフィルタ８６ｂを、ビデオプロジェクタ７０のプロジェクタレンズの前に取り付けて、ＩＲ光が対話型ディスプレイ表面６４に接するかその上にある物体（１つまたは複数）から反射されたＩＲ光と干渉する可能性がある対話型ディスプレイテーブルハウジングの内側に、ビデオプロジェクタによって放たれるＩＲ光が入るのを防ぐことができる。ビデオプロジェクタ７０は、第１ミラーアセンブリ７２ａに向かって点線経路８２ａに沿って光を投影する。第１ミラーアセンブリ７２ａは、ビデオプロジェクタ７０から受け取られる点線経路８２ａからの投影された光を、フレーム６２内の透明開口部９０ａを通る点線経路８２ｂに沿って反射し、その結果、反射された投影された光は、第２ミラーアセンブリ７２ｂに入射するようになる。第２ミラーアセンブリ７２ｂは、点線経路８２ｂからの光を点線経路８２ｃに沿って半透明層６４ａに反射し、半透明層６４ａは、プロジェクタレンズの焦点にあり、その結果、投影されたイメージは、見るために対話型ディスプレイ表面６４上で可視になり、焦点が合うようになる。

位置合わせデバイス７４ａおよび７４ｂが、設けられ、ディスプレイ表面に投影されるイメージがディスプレイ表面に位置合わせされることを保証するために、第１および第２のミラーアセンブリの角度を調整するねじ付きロッドおよび回転可能調整ナット７４ｃを含む。投影されたイメージを所望の方向に向けることに加えて、これらの２つのミラーアセンブリの使用は、より長い焦点距離の（およびより低コストの）プロジェクタレンズをプロジェクタと共に使用することを可能にするために、プロジェクタ７０と半透明層６４ａとの間のより長い経路を実現する。いくつかの代替実施態様では、ＬＣＤパネルまたは有機発光ディスプレイ（ＯＬＥＤ）パネルを、グラフィカルユーザインターフェースを含むテキストおよびイメージを表示するために、ビデオプロジェクタの代わりに使用することができる。同様に、対話型ディスプレイ表面に接触するかそのすぐ近くの物体を感知するために、他の技法を使用することができる。

前述の議論および後続の議論は、対話型ディスプレイテーブル６０および６０’の形の対話型ディスプレイデバイスを説明するものである。それでも、対話型ディスプレイ表面が、全般に水平のテーブルトップの形である必要がないことを理解されたい。この説明で説明される原理は、水平以外の向きで取り付けられた異なる形状および曲率のディスプレイ表面をも適切に含み、これに適用される。したがって、後続の説明では、対話型ディスプレイ表面「に接して」物理的物体を配置することに言及するが、物理的物体をディスプレイ表面に接触してまたは他の形でディスプレイ表面に近接して配置することによって、物理的物体を対話型ディスプレイ表面に近接して配置することができる。

向き付け可能ＧＵＩを実施する例示的方法
図４および５のそれぞれは、下で詳細に説明するように、それぞれ、動的に向き付け可能なユーザ入力コントロール部を有するユーザインターフェースを構成する例示的方法４００および５００のステップを示す流れ図である。方法４００および５００は、いくつかの実施形態で、図１〜３を参照して上で述べたコンポーネントおよび技法を用いて実施することができる。いくつかの実施態様で、方法４００および５００の１つまたは複数のステップは、コンピュータ可読コードを含むコンピュータ可読媒体上で実施され、その結果、コンピュータ可読コードがＰＣ ２０内に含まれるプロセッサなどのコンピューティングデバイス上で実行されるときに、一連のステップが、実施されるようになる。後続の説明では、方法４００および５００の様々なステップを、ある方法ステップを実行できる、対話型ディスプレイシステムに関連するコンピューティングデバイスのプロセッサに関して説明する。しかし、対話型ディスプレイシステムは、やはりある方法ステップを実行できる別のコンピューティングデバイスと通信する（適当に）ものとすることもできる。いくつかの実施態様で、方法の目的から逸脱せず、または異なる結果を作ることなく、方法４００および５００のあるステップを、組み合わせるか、同時に実行するか、異なる順序で実行することができる。

方法４００は、グラフィカルユーザインターフェース（ＧＵＩ）の一部が選択されるときに、ステップ４１０で開始される。その部分は、コンピュータプロセッサが、様々な機能を実行するのに使用される実行可能ソフトウェアモジュール内に含めることができるものなど、コンピュータ実行可能命令を実施することを可能にされた後のどのときにも選択することができる。１つの例示的な実施態様では、主グラフィカルインターフェースの部分を、最適機能性のために動的に向き付け可能なユーザインターフェースを必要とするアプリケーションの呼び出し時に選択することができる（例えば、対話型ディスプレイテーブルの異なる側に配置されたユーザによる対話をより効果的に可能にするために）。一実施態様で、主ＧＵＩの選択された部分は、ＧＵＩの第２部分が存在し得るディスプレイフィールドまたはディスプレイ領域を定義する。いくつかの実施態様で、選択された部分は、全体的にまたは部分的に、ＧＵＩの主部分を境界線で囲む。他の実施態様では、選択された部分は、ＧＵＩの主部分の周辺部の回りで連続的とすることができる。しかし、ＧＵＩの選択された部分は、向き付け可能ＧＵＩを選択された部分内で実施できるように、ＧＵＩの任意の所望のサブセットとすることができる。したがって、選択された部分は、ＧＵＩの主部分の周辺部に沿っていることが必要であるのではなく、ＧＵＩの主部分の中心のより近くに配置することができ、向き付け可能ＧＵＩを使用可能にする任意の適切な形状を有するものとすることができる。

ステップ４２０で、向き付け可能ＧＵＩを、ＧＵＩの主部分の選択された部分内で生成する。いくつかの実施態様で、向き付け可能ＧＵＩは、ＧＵＩの主部分と独立であり、主ＧＵＩの周辺部の回りで動的に向き付け可能である（例えば、回転される）。他の実施態様では、動的に向き付け可能なＧＵＩは、向き付け可能ＧＵＩが生成される選択された部分内で自由に回転することを可能にされることができる１つまたは複数のユーザ入力コントロール部を提供する。さらに別の実施態様では、ユーザコントロール部を、選択された部分の軸に沿って回転可能とすることができる。いくつかのアプリケーションで、ユーザ入力コントロール部の向きは、向き付け可能ＧＵＩへのユーザ入力に基づくものとすることができる。本明細書で使用されるときに、用語「向き付け可能ＧＵＩ」は、ＧＵＩの固定された主部分に対して相対的に向き付けされる（例えば、回転され、またはその向きを変更するために他の形で移動される）ことができる、表示されるイメージである。したがって、異なる特定のユーザが、向き付け可能ＧＵＩの少なくとも一部をより簡単に視認し接触することができるように、または、向き付け可能なＧＵＩの少なくとも一部が、対話型ディスプレイテーブルの周囲の異なるユーザ位置に対して読みやすく接触しやすいよう適当に表示されるように、向き付け可能ＧＵＩを、動的に向き付けすることができる。向き付け可能なＧＵＩの特定の例を、図６Ａ〜Ｂおよび７Ａ〜Ｂに示し、これらを下で述べる。

方法４００の一実施態様は、ユーザ入力がいつ、動的に向き付け可能なＧＵＩから受け取られるかを識別するステップなど、追加ステップを含む。この実施態様では、ユーザ入力コントロール部の現在位置が、まず識別される。現在位置は、向き付け可能ＧＵＩがインスタンス化されるときに割り当てることができる、原点などのディスプレイの選択された部分内の所定の位置に対して相対的に判定される。一例で、ユーザ入力コントロール部は、例えば、対話型ディスプレイ表面上のボタン位置のすぐ近くに位置決めされた指または物体を用いてユーザによってアクティブ化できるボタンとすることができる。本実施態様のもう１つのステップは、ユーザ入力が前のステップで判定されたコントロールの現在位置に対して相対的にユーザ入力コントロール部を再向き付けまたは回転するための呼び出しを示すかどうかを判定することを含むことができる。このユーザ入力に基づいて、向き付け可能ＧＵＩが存在する対話型ディスプレイの選択された部分内でのユーザコントロール部の回転または再向き付けを実施するために、向き付け可能ＧＵＩを動的に描画することができる。

もう１つの実施態様で、いつユーザ入力が向き付け可能ＧＵＩによって受け取られるかを識別するステップは、さらに、向き付け可能ＧＵＩがその中に表示される対話型ディスプレイの選択された部分のすぐ近くに配置されている物体を検出するステップを含む。

もう１つの実施態様は、ユーザの指またはユーザによって制御される物体の動きの物理的現象に対応する入力パラメータの判定などのステップを含むことができる。この実施態様では、パラメータに、ユーザ入力の速さおよび方向を含めることができる。判定は、ユーザの指、手、またはユーザが保持する物体によって提供される入力など、向き付け可能ＧＵＩに向けられたユーザ入力に基づくものとすることができる。次のステップでは、判定された入力パラメータを適用して、向き付け可能ＧＵＩがもう一度描画されるときのユーザコントロール部の向きの変化の速さおよび方向を動的に制御することができる。一般に、動きの物理的現象に関連するパラメータは、まず、ユーザ入力に基づいて計算され、次に、向き付け可能ＧＵＩ内のユーザコントロール部の表示を制御するために描画フェーズ中に使用される。しかし、他の実施態様では、向き付け可能ＧＵＩフィールド全体を、動きの物理的現象に従って、判定されたパラメータに基づいて、ディスプレイへのＧＵＩの描画中に再向き付けすることができる。

もう１つの実施態様は、ブレーキングパラメータ（ｂｒａｋｉｎｇ ｐａｒａｍｅｔｅｒ）を判定するステップを含むことができる。いくつかの実施態様で、ブレーキングパラメータは、判定された速さに比例するものとすることができる。一般に、ブレーキングパラメータは、向き付け可能ＧＵＩが動的に描画されつつあるときにユーザコントロール部の再向き付け（例えば、回転）の速さ減衰の割合を定義する。いくつかの実施態様で、ブレーキングパラメータは、ユーザインターフェースに受け取られるユーザ入力に基づくものとすることができる。一例で、ブレーキングパラメータは、向き付け可能ＧＵＩが表示される対話型ディスプレイの領域のすぐ近くでのユーザの手または指の検出に基づくものとすることができる。

もう１つの実施態様は、いつユーザ入力がユーザコントロール部の呼び出しを示すかを判定し、これに応答して、そのユーザコントロール部に関連する所定の機能を実施するステップを含むことができる。所定の機能は、例えば、アプリケーションの呼び出し、アプリケーションへのユーザ入力機能性の提供、およびアプリケーションの終了を含むことができる。

ここで図５に移ると、ユーザ入力に応答して動的に向き付け可能なＧＵＩを有する対話型ディスプレイのユーザインターフェースを構成する方法５００が示されている。方法５００は、コンピューティングデバイスによる実施に特に適し、少なくとも１つの実施態様で、コンピュータ可読媒体に格納されたコンピュータ可読命令として実施される。方法５００は、向き付け可能ＧＵＩが選択的に呼び出されるときに、ステップ５１０で開始される。いくつかの実施態様で、向き付け可能ＧＵＩは、ユーザ入力などのパラメータに基づいて、独立に制御可能であり、動的に向き付け可能である。一般に、対話型ディスプレイは、イメージおよびユーザインターフェース要素を表示できる、ユーザによる対話のための主ディスプレイフィールドを含む。いくつかの実施態様で、向き付け可能ＧＵＩを、主ディスプレイフィールドの周辺のすぐ近くの副ディスプレイフィールド内に描画することができる。向き付け可能ＧＵＩは、対話型ディスプレイアプリケーションがアクティブであるどのときにも、選択的に呼び出すことができる。

ステップ５２０で、向き付け可能ＧＵＩを、呼び出しに応答して生成する。いくつかの実施態様で、向き付け可能ＧＵＩは、ユーザの指、手、またはユーザによって制御される物体がコントロールに接触するかそのすぐ近くに持ってこられることによってアクティブ化することのできるユーザ入力コントロール部など、複数のユーザ入力フィールドを提供する。他の実施形態では、向き付け可能ＧＵＩを、向き付け可能ＧＵＩへのユーザ入力に応答する副フィールド内の経路に沿った向き付け可能ＧＵＩの動的変更を可能にするように構成することができる。この機能性の図示については、下で述べる図６Ａ〜Ｂを特に参照することができる。さらに別の実施態様では、向きの変化を、特定のユーザが向き付け可能ＧＵＩのコントロールまたは他の部分によりたやすくアクセスし対話することを可能にするために、アプリケーションが向き付け可能ＧＵＩを選択的に再向き付けすることに応答するものとすることができる。

ステップ５３０は、いつユーザ入力が向き付け可能ＧＵＩから受け取られるかを識別することと、それに応答してそのユーザ入力を分析することとを含む。ユーザ入力の識別は、向き付け可能ＧＵＩが生成された後のどのときにも行うことができる。一実施態様で、ユーザ入力は、向き付け可能ＧＵＩから受け取られる。もう１つの実施形態で、ユーザ入力は、その入力を提供する物体の速さおよび／または方向（または動きの物理的現象に関連する他のパラメータ）などの入力パラメータについて分析される。

ステップ５４０で、向き付け可能ＧＵＩを、１つまたは複数の所定のパラメータに基づいて動的に描画する。一実施形態で、ユーザ入力が受け取られるときに、分析されたユーザ入力をも使用して、向き付け可能ＧＵＩの向きを動的に制御することができる。一実施形態で、向き付け可能ＧＵＩは、遅延または他の視覚的問題なしで対話型ディスプレイ表面に移動するイメージを表示するのに十分なレートで継続的に動的に描画される。動作時に、向き付け可能ＧＵＩを、毎秒何回も対話型ディスプレイに動的に描画することができ、向き付け可能ＧＵＩおよびユーザ入力コントロール部の向きが変化するときの向き付け可能ＧＵＩおよびユーザ入力コントロール部のなめらかな動きの外見が可能になる。

もう１つの実施態様は、対話型ディスプレイ上の所定の位置に対する相対的な向き付け可能ＧＵＩの現在位置を識別するステップを含む。この実施態様では、所定の位置を、アンカ位置、現在識別されている位置、または向き付け可能ＧＵＩが呼び出されるか生成されるか最後に描画されたか最初に描画されたときに割り当てられる初期位置とすることができる。この実施態様は、ユーザ入力が、前のステップで識別された現在位置に対して相対的に向き付け可能ＧＵＩを変位するためのユーザ呼び出しを示すかどうかを判定するステップなどの追加ステップを含むことができる。次に、現在位置に対する相対的な向き付け可能ＧＵＩの位置変位（例えば、再向き付け）を、ユーザ入力に基づいて判定することができる。この実施態様の最後のステップは、新しい向きで向き付け可能ＧＵＩを動的に描画するために、判定された位置変位を適用することを含むことができる。

もう１つの実施態様は、ユーザの指、手、またはユーザによって制御される物体による入力など、向き付け可能ＧＵＩで受け取られるユーザ入力に基づいて、動きの物理的現象に関する入力パラメータを判定するステップを含むことができる。やはり、この実施態様では、判定された入力パラメータを適用して、向き付け可能ＧＵＩが描画されるときの向き付け可能ＧＵＩの位置変位の速さおよび変位方向を動的に制御することができる。向き付け可能ＧＵＩへのユーザ入力に基づいて他のパラメータを判定することができ、そのパラメータをＧＵＩ描画プロセス中に使用できることが、当業者には明白であろう。例えば、判定できるもう１つのパラメータが、ブレーキングパラメータである。ブレーキングパラメータは、向き付け可能ＧＵＩが、動的に描画されつつある間に回転しているか他の形で移動しているときの向き付け可能ＧＵＩの位置変位に関する速さ減衰の割合を定義することができる。したがって、ブレーキングパラメータは、向き付け可能ＧＵＩが最終的に所望の新しい変位された位置で新しい向きで完全な「停止」状態になるにつれ、向き付け可能ＧＵＩの視認される回転の割合を経時的に低速化させる。このブレーキングパラメータは、物理法則または、向き付け可能ＧＵＩを表示している対話型ディスプレイの領域のすぐ近くで検出されるときのユーザの手または指などのユーザ入力に基づく所定のモデルに基づくものとすることができる。

もう１つの実施態様は、向き付け可能ＧＵＩが対話型ディスプレイ表面に表示されるときの向き付け可能ＧＵＩ内のユーザ入力フィールドのうちの１つまたは複数のすぐ近くの物体を検出するステップを含むことができる。この実施態様は、ユーザ入力がユーザコントロール部の呼び出しを示すかどうかを判定するさらなるステップを含むことができ、そうである場合には、そのユーザコントロール部に関連する所定の機能を実施することができる。一実施態様では、この所定の機能は、対話型コントロールシステムによって新しいアプリケーションの実行を開始するステップなど、向き付け可能ＧＵＩコントロールプロセスと独立のプロセスを呼び出すステップを含むことができる。もう１つの実施態様で、この所定の機能は、向き付け可能ＧＵＩコントロールプロセスと独立の現在稼動中のプロセスにユーザコントロール部を提供することを含むことができる。

向き付け可能ＧＵＩコントロールプロセスと独立のプロセスの例が、ユーザが指を使用して対話型ディスプレイ表面で「ペイントする」ことができるペイントプログラムである。もう１つの実施態様では、所定の機能は、向き付け可能ＧＵＩコントロールプロセスのユーザコントロール部を提供することを含むことができる。この実施態様では、向き付け可能ＧＵＩコントロールプロセス自体にユーザコントロール部を提供することは、向き付け可能ＧＵＩへの直接ユーザ入力に基づく向き付け可能ＧＵＩの外見、回転の割合、回転方向、または他のパラメータの制御を可能にすることを含むことができる。もう１つの実施態様では、所定の機能は、プロセスを終了することを含むことができる。

対話型ディスプレイ表面に表示される例示的な向き付け可能ＧＵＩ
図６Ａおよび６Ｂは、図１〜５を参照して説明したシステムおよび技法の一実施態様を示す。図６Ａと６Ｂとの両方は、対話型ディスプレイ表面６４の上面図を示すが、この対話型ディスプレイ表面６４は、ユーザ６４０が見、対話するのに適当なＧＵＩを向き付けるために制御されている動的に向き付け可能な（例えば、回転可能な）ＧＵＩ ６１０を含む。図６Ａに示されているように、対話型ディスプレイ表面６４は、側面６０２、側面６０３、側面６０４、および側面６０５を含む周辺部６０１を有する。エプロン６０１は、全体的に対話型ディスプレイ表面を囲むが、ユーザの手および肢ならびに対話型ディスプレイシステムによって実行されるゲームなどのアプリケーションと対話するのに使用できる物体を支持するのに有用である。対話型ディスプレイ表面６４が、４つの側面を有するものとして図示されているが、対話型ディスプレイ表面は、実際には４つより多数またはより少数の側面を有することができ、あるいは円または楕円とすることができることを理解されたい。この例では、ＧＵＩ ６１０は、対話型ディスプレイ表面６４の「アクティブ」表示領域の周辺部の回りに延びる長方形バンドとして図示されている。この「アクティブ」表示領域は、対話型ディスプレイ表面６４のうちで、向き付け可能ＧＵＩ ６１０と他のイメージを表示するのに使用できるユーザインターフェースディスプレイの主部分６２０との両方を含むフィールドである。ＧＵＩ ６１０は、任意の適切な形状を有することができ、対話型ディスプレイ表面の主部分の周辺に沿ったバンドに限定されないことに留意されたい。例示的なイメージ６９０は、ユーザインターフェースディスプレイの主部分６２０の中央付近に現れた単語「イメージ」によって示されている。例示的なイメージ６９０を、例えば、別のユーザインターフェースとするか、ＧＵＩ ６１０と独立に稼動するアプリケーションの一部として表示するか、ピクチャとするか、グラフとするか、対話型ディスプレイ表面６４に表示できるほとんどすべての他のタイプのイメージとすることができることに留意されたい。

この例では、ＧＵＩ ６１０は、一般に、ＧＵＩ ６１０のフィールド内のユーザコントロール部がＧＵＩ ６１０を構成するバンドの中心に沿って走る線６５０に沿って時計回りまたは反時計回りの方向で移動するように、主ユーザインターフェースディスプレイ６２０の周辺部に沿って「回転する」ことによって向き付けられるように構成される。それぞれ「Ａ」、「Ｂ」、および「Ｃ」というラベルを付けられた３つのユーザコントロール部６２１、６２２、および６２３が、現在は側面６０４に沿った行に配置されて、ＧＵＩ ６１０内で図示されている。それぞれ「１」、「２」、および「３」というラベルを付けられた３つのユーザコントロール部６２４、６２５、および６２６が、現在は側面６０３に沿った行に配置されて、ＧＵＩ ６１０内で図示されている。さらに、ユーザコントロール部６３０（例えば、ボタン）が、ユーザ６４０によって呼び出されて（または作動されて）図示されている。さらに、ユーザの手は、反時計回りに移動してもおり、ＧＵＩ ６１０をコントロール６３０のユーザ呼び出しと同時に反時計回りの方向に回転させている。

動作時に、ユーザの指が、対話型ディスプレイ表面に表れるときの位置のユーザコントロール部に置かれる（すなわち、図６Ａに示されているように）ときに、そのユーザコントロール部またはボタンが、呼び出される。さらに、ユーザの指は、その後、呼び出されたユーザコントロール部を、ＧＵＩ ６１０内の残りのコントロールと一緒に、線６５０に沿って「ドラッグする」ことができる。ユーザの指が、対話型ディスプレイ表面６４から外されるときに、そのユーザの指によってドラッグされたユーザコントロール部は、ユーザインターフェースディスプレイの主部分６２０の周辺部付近の新しい位置に落ち着く。線６５０に沿ったユーザ入力ボタンの回転は、ユーザの指が外されるときに停止することができ、あるいは、ユーザの指が外された後に継続することができる。ＧＵＩ ６１０の継続される回転は、対話型ディスプレイテーブル内に配置されるかこれに結合されるコンピューティングデバイスによって決定されるものであり、ユーザの指が対話型ディスプレイ表面の上で動くときのその指の測定された速さおよび方向などのパラメータを使用する、物理法則に基づくものとすることができる。この形で、ユーザが、特定の速度（速さおよび方向）を有するスイープする動きを用いてユーザ入力コントロール部を「すばやく動かす」ことが可能であり、これによって、コントロールを呼び出すこととＧＵＩ ６１０の再向き付け（または回転）を開始することとの両方を行うことが可能である。

図６Ｂに、図６Ａに関して上で説明した例のさらなる態様を示すが、ＧＵＩ ６１０は、図６Ａに示された位置に関して変位された位置すなわち新しい向きで示されている。ＧＵＩ ６１０の位置または向きは、ユーザがこのＧＵＩを再向き付けさせた後のこのＧＵＩの新しい位置に対する相対的な現在位置または初期位置と考えることができる。図６Ｂに示された変位は、ＧＵＩ ６１０の回転機能性を示すために、ユーザの指の動きを感知することによって提供されるユーザ入力に基づく。図６Ｂに見ることができるように、ユーザ入力コントロール部６２１、６２２、および６２３（すなわち、ボタン）は、約９０°反時計回りに回転され、現在は側面６０３に沿って位置決めされている。同様に、ユーザ入力コントロール部６２４、６２５、および６２６（すなわち、ボタン）は、周辺部の周囲で約９０°反時計回りに回転され、現在は対話型ディスプレイ表面６４の側面６０２に沿って位置決めされている。

図示の例示的実施形態は、対話型ディスプレイ表面６４が４つの側面を有し、複数のユーザが対話型ディスプレイテーブルの周囲の異なる側面の彼らのめいめいの位置から対話型ディスプレイ表面と対話することを望む場合に有用とすることができる。一例で、ゲームは、主ユーザインターフェース６２０内に表示されるゲームボードにアクセスする４人のユーザによってプレイされることができ、ゲームの異なるコントロールは、ＧＵＩ ６１０内の対話型ディスプレイ６４の４つの側面に沿って表示される。ゲームアプリケーションは、ユーザによってアクティブ化されるコントロールがそのユーザの前に位置決めされるようにＧＵＩを再向き付けすることによって、いずれかのユーザがコントロールの特定のセットにさらに便利にアクセスすることを可能にするための必要に応じてユーザコントロール部を動的に向き付けることができる。この例では、プレイヤーが対話型ディスプレイ６４の異なる側面からプレイする近接するプレイヤーにコントロールを「渡す」ことができるように、またはプレイヤーが配置されている側面と異なる対話型ディスプレイテーブルの側面に現在配置されている所望のコントロールをアクティブ化することを望むプレイヤーが、所望のコントロールがそのプレイヤーの前に配置されるまで、所望のコントロールを対話型ディスプレイ表面の周辺付近で回転させることができるように、ＧＵＩ ６１０内のユーザ入力コントロール部に回転機能性を提供することが有用である可能性がある。

図７Ａおよび７Ｂに、図１〜５を参照して説明したシステムおよび手法のもう１つの例示的実施態様を示す。図７Ａおよび７Ｂは、やはり、ユーザによって操作される向き付け可能ユーザインターフェースを表示する、対話型ディスプレイ表面６４の概略上面図を示す。図７Ａに示されているように、対話型ディスプレイ表面６４は、やはり、エプロン７０１を有し、側面７０２、側面７０３、側面７０４、および側面７０５を含む。向き付け可能ＧＵＩ ７１０は、やはり、主ディスプレイ領域７２０の周辺部付近に延びるバンドに似た形状を有するものとして図示されている。例示的なイメージ７９０が、やはり、ユーザインターフェースディスプレイの主部分７２０の中央付近に配置された単語「イメージ」によって示されている。

向き付け可能ＧＵＩ ７１０は、一般に、向き付け可能ＧＵＩ ７１０のフィールドが時計回りまたは反時計回りのいずれかの方向で移動するように、主ユーザインターフェースディスプレイ７２０の周辺部付近で回転可能になるように構成される。この形でのＧＵＩ ７１０の再向き付けは、「回転盆」トレイの機能に類似する。というのは、回転盆の回転が、回転盆トレイの回りに配置されたユーザによる簡単なアクセスのために、回転盆に置かれた物体を回転盆の中点の回りで回転させるからである。このアナロジによれば、ユーザ入力コントロール部またはボタンは、回転盆トレイに置かれた物体に類似し、向き付け可能ＧＵＩ ７１０は、トレイフレームに類似する。というのは、向き付け可能ＧＵＩが、ユーザ入力コントロール部を支持し、これによって、ユーザインターフェースディスプレイの主部分７２０の回りで回転するときのＧＵＩの動的再向き付けを可能にするからである。やはり、動的に向き付け可能なＧＵＩが、主ディスプレイ領域の周辺部付近に配置される必要はなく、対話型ディスプレイ表面のほぼどこにでも配置できることに留意されたい。したがって、動的に向き付け可能なＧＵＩは、例えば、このＧＵＩでワードゲームの回転ホイールをシミュレートできるアプリケーションにおいて使用することもできる。そのようなアプリケーションでは、動的に向き付け可能なＧＵＩを、対話型ディスプレイ表面の望む場所に配置することができる。

それぞれ「Ａ」、「Ｂ」、および「Ｃ」というラベルを付けられた３つのユーザコントロール部７２１、７２２、および７２３が、現在は側面７０３に沿った連続する行に配置されて、ＧＵＩ ７１０内で図示されている。それぞれ「１」、「２」、および「３」というラベルを付けられた第２の組のユーザコントロール部６２４、６２５、および６２６が、側面７０５に沿った連続する行に配置されて、ＧＵＩ ７１０内で図示されている。ユーザの指７４０が、側面７０４に沿ったＧＵＩ ７１０内のある点に触れているところが図示されている。本実施態様は、ユーザの指がＧＵＩ ７１０内の点に図示されているが、ユーザコントロール部７２１などのユーザ入力コントロール部に触れておらず、これをアクティブ化していないという事実によって、図６Ａおよび６Ｂに示された実施形態から区別される。図７Ａでは、ユーザの指は、向き付け可能ＧＵＩ ７１０を反時計回りの方向に回転させて図示されている。図示されているように、ユーザの指は、ＧＵＩ ７１０に置かれ、その後、ＧＵＩ ７２０およびその中に含まれるユーザ入力コントロール部のすべてを、主ディスプレイ領域７２０の周辺付近で「ドラッグする」。ユーザの指が対話型ディスプレイ表面６４から外されるときに、ＧＵＩ ７１０の位置は、主ユーザインターフェースディスプレイ７２０の周辺部付近の新しい位置で落ち着く。ＧＵＩ ７１０の回転は、ユーザの指が外されたときに即座に停止することができ、あるいはその代わりに、上で説明したように、ユーザの指が外された後も速さおよび方向などのパラメータを適用することによって物理法則に基づいて、回転し続けることができる。同様に、ユーザは、ＧＵＩ ７１０が動いているときに、まだ回転している向き付け可能ＧＵＩの一部に単純に指を置くことによって、ＧＵＩ ７１０の回転を止めることができる。

この形で、ユーザが、向き付け可能ＧＵＩ ７１０の回転を開始するために一振りする動き（sweep）を用いて向き付け可能ＧＵＩ ７１０の一部を「はじく(flick)」ことにより、ユーザ入力の速さに基づく減衰の割合でまたは所定の減衰の割合で経時的に回転を低速化することも可能である。図７Ｂは、向き付け可能ＧＵＩ ７１０が図７Ａに示されたものに関して変位された位置で示されていることを除いて、図７Ａを複製した図である。この変位は、ユーザの指から提供されるユーザ入力（図７Ａに示されているように）によって引き起こすことができる。図７Ｂに見ることができるように、ユーザ入力コントロール部７２１、７２２、および７２３は、対話型ディスプレイ表面の周辺付近で約１８０°反時計回りに移動され、現在は側面７０５に沿って位置決めされている。同様に、ユーザ入力コントロール部７２４、７２５、および７２６は、対話型ディスプレイ表面６４の周辺付近で約１８０°反時計回りに移動され、現在は対話型ディスプレイ表面の側面７０３に沿って位置決めされている。

しかし、図７Ｂに示された変位は、連続的に可変にすることができ、９０°の倍数に制限される必要はなく、対話型ディスプレイ６４の側面に対応する必要がないことに留意されたい。向き付け可能ＧＵＩを任意に位置決めするこの機能は、ユーザ入力コントロール部が対話型ディスプレイ表面６４の特定の側面に位置するユーザに固有でない場合、または対話型ディスプレイ表面６４が丸い場合に、望ましい可能性がある。一例で、「ペイント」アプリケーションが、対話型ディスプレイ表面６４の周囲に複数のユーザを有する可能性があり、ユーザは、様々な「色」、サウンド、および他の効果を選択するためにユーザ入力コントロール部にたやすくアクセスできなければならない。この例では、ユーザは、対話型ディスプレイ表面の一「側面」に対する相対的なユーザの位置にかかわりなく、特定の所望のアプリケーション機能にアクセスするために（例えば、異なる色範囲などを選択するために）コントロールを対話型ディスプレイ表面の回りで回転させることを望んでもよい。この形で、たやすく向き付け可能なＧＵＩは、所望の機能性へのユーザのアクセスを容易にする。

様々な実施態様を、新規と考えられるものを実践するための好ましい形態およびその修正形態に関して説明したが、当業者は、多数の他の変更を、添付の特許請求の範囲内でこれらの実施態様に対して行うことができることを理解するであろう。したがって、本願によって新規と認められるものの範囲は、いかなる形でも上の説明によって限定されるのではなく、添付の特許請求の範囲を参照することのみによって決定される。

排他的権利が請求される新規の諸態様は、添付の特許請求の範囲によって定義される。

対話型ディスプレイ表面に提示されたユーザインターフェースを動的に向き付ける本技法を実践する際に対話型ディスプレイ表面と共に使用するのに適した、一般的に従来のコンピューティングデバイスまたはパーソナルコンピュータ（ＰＣ）を示す機能ブロック図である。 一体型ＰＣを含む対話型ディスプレイテーブルの最上部の対話型ディスプレイ表面を有する、１つの例示的実施形態の内部コンポーネントを示す断面図である。 対話型ディスプレイテーブルが外部ＰＣに接続される例示的実施形態を示す等角図である。 動的に向き付け可能なユーザ入力コントロール部を有するユーザインターフェースを構成する例示的方法のステップを示す流れ図である。 ユーザ入力に応答して動的に向き付け可能なユーザ入力コントロール部を有するユーザインターフェースを構成する例示的方法のステップを示す流れ図である。 動的に向き付け可能なユーザインターフェースを含む対話型ディスプレイ表面を示す概略上面図である。 図６Ａに示されたユーザインターフェースが対話型ディスプレイ表面の異なる側にいるユーザによる対話のためにどのように再向き付けされたかを示す、動的に向き付け可能なユーザインターフェースを含む対話型ディスプレイ表面を示す概略上面図である。 動的に向き付け可能なユーザインターフェースを含む対話型ディスプレイ表面を示す概略上面図である。 ユーザインターフェースが再向き付けされた後の、図７Ａの動的に向き付け可能なユーザインターフェースを示す対話型ディスプレイ表面を示す概略上面図である。

Claims (15)

1. コンピュータによって実施される、動的に向き付け可能なユーザ入力コントロール部を有する対話型ディスプレイのユーザインターフェースを制御する方法であって、
   （ａ）たやすく向き付け可能になるように、対話型ディスプレイテーブルの主グラフィカルユーザインターフェース（ＧＵＩ）の部分を選択するステップであって、前記主ＧＵＩは前記対話型ディスプレイテーブルの周辺部に沿って配置される、ステップと、
   （ｂ）前記選択された部分内で向き付け可能ＧＵＩを生成するステップであって、前記向き付け可能ＧＵＩはユーザ入力コントロール部を少なくとも１つ含み、該ユーザ入力コントロール部は、前記向き付け可能ＧＵＩへのユーザ入力に基づいて前記選択された部分の中で動的に再向き付けされ得、前記向き付け可能ＧＵＩは、前記対話型ディスプレイテーブルの周辺部に沿って回転されることによって向き付けられる、ステップと、
   （ｃ）前記向き付け可能ＧＵＩで、前記対話型ディスプレイテーブルにわたるユーザの指のスライドを含むユーザ入力を受け取り、これに応答して、前記少なくとも１つのユーザ入力コントロール部の、前記選択された部分内の所定の位置に対する相対的な現在位置を識別するステップと、
   （ｄ）前記現在位置に対して相対的に前記少なくとも１つのユーザ入力コントロール部を回転するというユーザ呼び出しを、前記ユーザ入力が示すかどうかを判定するステップと、
   （ｅ）前記選択された部分内における前記少なくとも１つのユーザコントロール部の前記所定の位置に対する相対的な再向き付けを実施するために、前記向き付け可能ＧＵＩを動的に描画するステップであって、
   （i）ユーザの指が前記対話型ディスプレイテーブルにわたってスライドする速さおよび方向を判定するステップと、
   （ii）前記向き付け可能ＧＵＩが動的に描画される際、前記少なくとも１つのユーザコントロール部に適用すべき回転の速さおよび方向を計算するステップであって、前記計算される速さは、前記ユーザの指が前記対話型ディスプレイテーブルにわたってスライドする際の前記判定された速さに等しい、ステップと、
   （iii）前記向き付け可能ＧＵＩが動的に描画される際、前記少なくとも１つのユーザコントロール部の回転の前記速さおよび方向を動的に制御するために、前記少なくとも１つのユーザコントロール部に計算された回転の速さおよび方向を適用するステップであって、前記計算された回転の速さおよび方向を適用することにより、前記少なくとも１つのユーザコントロール部は、前記計算された速さで、前記計算された方向に回転を開始し、前記ユーザ入力を受信した後、前記少なくとも１つのユーザコントロール部を回転するというユーザ呼び出しを示す他のいずれの入力も受信しない場合であっても、前記計算された速さで前記計算された方向に回転し続ける、ステップと、
   （iv）前記ユーザ入力の判定された速さに比例するブレーキングパラメータを計算するステップであって、前記ブレーキングパラメータは、前記少なくとも１つのユーザコントロール部の回転の前記計算された速さの減衰の割合を定義し、前記少なくとも１つのユーザコントロール部の回転の前記計算された速さに前記ブレーキングパラメータを適用することにより、前記回転は減衰の前記割合に従って前記ブレーキングパラメータにより減速する、ステップと
   を含む、ステップと
   を含むことを特徴とする方法。
2. 前記ユーザ入力がいつ、前記向き付け可能ＧＵＩで受け取られたかを識別する前記ステップは、前記選択された部分の少なくともすぐ近くの物体を検出するステップをさらに含むことを特徴とする請求項１に記載の方法。
3. 前記少なくとも１つのユーザコントロール部の呼び出しを前記ユーザ入力が示すかどうかを判定し、示す場合に、前記少なくとも１つのユーザコントロール部に関連する所定の機能を実施するステップをさらに含むことを特徴とする請求項１に記載の方法。
4. 前記選択された部分は、少なくとも部分的に前記主ＧＵＩの付近に延びることを特徴とする請求項１に記載の方法。
5. 前記少なくとも１つのユーザコントロール部は、前記選択された部分内において延びる経路に沿って移動可能であることを特徴とする請求項４に記載の方法。
6. 前記選択された部分は、前記主ＧＵＩの周辺の付近で連続的であることを特徴とする請求項４に記載の方法。
7. （ａ）対話型ディスプレイテーブルの主ディスプレイフィールド内の副ディスプレイフィールドとしての向き付け可能グラフィカルインターフェース（ＧＵＩ）を選択的に呼び出すステップであって、前記主ディスプレイフィールドは前記対話型ディスプレイテーブルの周辺部に沿って配置される、ステップと、
   （ｂ）前記呼び出しに応答して前記向き付け可能ＧＵＩを生成するステップであって、前記向き付け可能ＧＵＩは前記主ディスプレイフィールド内の前記対話型ディスプレイテーブルの周辺部の周りに延び、前記向き付け可能ＧＵＩは、前記対話型ディスプレイテーブルに沿って配置される複数のユーザ入力フィールドを含み、前記向き付け可能ＧＵＩへのユーザ入力に応答して、前記向き付け可能ＧＵＩの少なくとも一部分の動的再向き付けを可能にするように構成され、前記向き付け可能ＧＵＩは、前記対話型ディスプレイテーブルの周辺部に沿って回転されることによって向き付けられる、生成するステップと、
   （ｃ）前記向き付け可能ＧＵＩでユーザ入力を受信するとき、前記複数のユーザ入力フィールドのうちの１つを選択するために、前記向き付け可能ＧＵＩの前記複数のユーザ入力フィールドのうちの１つ上の前記対話型ディスプレイテーブルの部分に触れるユーザ入力を識別するステップであって、前記ユーザ入力は前記対話型ディスプレイテーブルにわたるユーザの指のスライドを含み、これに応答して、前記複数のユーザ入力フィールドを回転するというユーザ呼び出しを、前記ユーザ入力が示すかどうかを判定する、ステップと、
   （ｄ）前記ユーザ入力に応答して、前記複数のユーザ入力フィールドを回転するために、前記向き付け可能ＧＵＩを動的に描画するステップであって、
   （i）ユーザの指が前記対話型ディスプレイテーブルにわたってスライドする速さおよび方向を判定するステップと、
   （ii）前記向き付け可能ＧＵＩが動的に描画される際、前記複数のユーザ入力フィールドに適用すべき回転の速さおよび方向を計算するステップであって、前記計算される速さは、前記ユーザの指が前記対話型ディスプレイテーブルにわたってスライドする際の前記判定された速さに等しい、ステップと、
   （iii）前記向き付け可能ＧＵＩが動的に描画される際、前記複数のユーザ入力フィールドの回転の前記速さおよび方向を動的に制御するために、前記複数のユーザ入力フィールドに計算された回転の速さおよび方向を適用するステップであって、前記計算された回転の速さおよび方向を適用することにより、前記複数のユーザ入力フィールドは、前記計算された速さで、前記計算された方向に回転を開始し、前記ユーザ入力を受信した後、前記複数のユーザ入力フィールドを回転するというユーザ呼び出しを示すユーザ入力がやんだ後も、前記計算された速さで前記計算された方向に回転し続ける、ステップと、
   （iv）前記ユーザ入力の判定された速さに比例するブレーキングパラメータを計算するステップであって、前記ブレーキングパラメータは、前記複数のユーザ入力フィールドの回転の前記計算された速さの減衰の割合を定義し、前記複数のユーザ入力フィールドの回転の前記速さに前記ブレーキングパラメータを適用することにより、前記回転は減衰の前記割合に従って前記ブレーキングパラメータにより停止する、ステップと
   を含む、ステップと
   を含む、複数の機能を実行するコンピュータ実行可能命令を格納されたことを特徴とするコンピュータ可読記録媒体。
8. 前記機能は、前記向き付け可能ＧＵＩの、前記主ディスプレイフィールドの周辺の付近の所定の位置に対する相対的な現在の配置を識別するステップをさらに含むことを特徴とする請求項７に記載のコンピュータ可読記録媒体。
9. 前記複数のユーザ入力フィールドは、前記所定の位置に対して相対的に回転することを特徴とする請求項８に記載のコンピュータ可読記録媒体。
10. 前記機能は、前記向き付け可能ＧＵＩが対話型ディスプレイ表面に表示されるときに、前記向き付け可能ＧＵＩ内の前記複数のユーザ入力フィールドのうちの少なくとも１つの、すぐ近くの物体を検出するステップをさらに含むことを特徴とする請求項７に記載のコンピュータ可読記録媒体。
11. 前記機能は、前記ユーザ入力が前記複数のユーザ入力フィールドのうちの１つの呼び出しを示すかどうかを判定し、示す場合には、前記呼び出されたユーザ入力フィールドに関連する所定の機能を実施するステップをさらに含むことを特徴とする請求項７に記載のコンピュータ可読記録媒体。
12. 前記所定の機能は、
    （ａ）前記向き付け可能ＧＵＩを制御するのに使用されるプロセスとは独立のプロセスを呼び出すステップと、
    （ｂ）前記向き付け可能ＧＵＩを制御するのに使用される前記プロセスとは独立のプロセスにユーザコントロール部を提供するステップと、
    （ｃ）前記向き付け可能ＧＵＩを制御している前記プロセスにユーザコントロール部を提供するステップと、
    （ｄ）プロセスを終了するステップと
    のうちの少なくとも１つを含むことを特徴とする請求項１１に記載のコンピュータ可読記録媒体。
13. 動的に向き付け可能なユーザインターフェースを制御する対話型ディスプレイシステムであって、
    （ａ）グラフィックイメージをその上に表示可能である対話型ディスプレイ表面と、
    （ｂ）前記対話型ディスプレイ表面に前記グラフィックイメージを投影し、前記対話型ディスプレイ表面へのユーザ入力を検出する光学系と、
    （ｃ）前記光学系と通信するコンピューティングシステムであって、前記コンピューティングシステムは、プロセッサおよび前記プロセッサと通信するメモリを含み、前記メモリは、
    （i）向き付け可能ＧＵＩを生成し、前記対話型ディスプレイ表面の選択された部分に表示するステップであって、前記向き付け可能ＧＵＩは、少なくとも１つのユーザ入力コントロール部を含み、前記対話型ディスプレイ表面に表示される他のグラフィックイメージとは独立であり、さらに、前記向き付け可能ＧＵＩへのユーザ入力に応答して前記選択された部分内で動的に再向き付けされ得、前記向き付け可能ＧＵＩは、前記対話型ディスプレイテーブルの周辺部に沿って回転されることによって向き付けられる、ステップと、
    （ii）前記向き付け可能ＧＵＩを表示している前記対話型ディスプレイテーブルの部部へのユーザ入力を検出し、これに応答して、前記ユーザ入力を分析するステップであって、前記ユーザ入力は、前記対話型ディスプレイテーブルにわたるユーザの指のスライドを含む、ステップと、
    （iii）分析された前記ユーザ入力に基づいて、異なる向きでの表示をするための前記向き付け可能ＧＵＩを動的に描画するステップであって、
    （1）ユーザの指が前記対話型ディスプレイテーブルにわたってスライドする速さおよび方向を判定するステップと、
    （2）前記向き付け可能ＧＵＩが動的に描画される際、前記少なくとも１つのユーザコントロール部に適用すべき回転の速さおよび方向を計算するステップであって、前記計算される速さは、前記ユーザの指が前記対話型ディスプレイテーブルにわたってスライドする際の前記判定された速さに等しい、ステップと、
    （3）前記向き付け可能ＧＵＩが動的に描画される際、前記少なくとも１つのユーザコントロール部の回転の前記速さおよび方向を動的に制御するために、前記少なくとも１つのユーザコントロール部に計算された回転の速さおよび方向を適用するステップであって、前記計算された回転の速さおよび方向を適用することにより、前記少なくとも１つのユーザコントロール部は、前記計算された速さで、前記計算された方向に回転を開始し、前記ユーザ入力を受信した後、前記少なくとも１つのユーザコントロール部を回転するというユーザ呼び出しを示すユーザ入力がやんだ後も、前記計算された速さで前記計算された方向に回転し続ける、ステップと、
    （4）前記ユーザ入力の判定された速さに比例するブレーキングパラメータを計算するステップであって、前記ブレーキングパラメータは、前記少なくとも１つのユーザコントロール部の回転の前記計算された速さの減衰の割合を定義し、前記少なくとも１つのユーザコントロール部の回転の前記計算された速さに前記ブレーキングパラメータを適用することにより、前記回転は減衰の前記割合に従って前記ブレーキングパラメータにより停止する、ステップと
    を含む、ステップと
    を含む複数の対話型ディスプレイ機能を前記プロセッサに実行させる機械命令を格納する、コンピューティングシステムと
    を含むことを特徴とするシステム。
14. 前記回転は、前記ブレーキングパラメータによって停止することを特徴とする請求項１に記載の方法。
15. 前記向き付け可能ＧＵＩでさらなるユーザ入力を受信するステップであって、前記さらなるユーザ入力に応答して、前記少なくとも１つのユーザコントロール部の前記回転を停止することを特徴とする請求項１に記載の方法。

Images