JP4980368B2 - 向き変更可能なユーザインターフェース - Google Patents

向き変更可能なユーザインターフェース Download PDF

Info

Publication number
JP4980368B2
JP4980368B2 JP2008548519A JP2008548519A JP4980368B2 JP 4980368 B2 JP4980368 B2 JP 4980368B2 JP 2008548519 A JP2008548519 A JP 2008548519A JP 2008548519 A JP2008548519 A JP 2008548519A JP 4980368 B2 JP4980368 B2 JP 4980368B2
Authority
JP
Japan
Prior art keywords
user
user input
interactive display
gui
orientable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008548519A
Other languages
English (en)
Other versions
JP2009522640A (ja
Inventor
アール.ビロー チャールズ
リクター デ メディロス グレッチェン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Corp
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of JP2009522640A publication Critical patent/JP2009522640A/ja
Application granted granted Critical
Publication of JP4980368B2 publication Critical patent/JP4980368B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、ユーザインターフェースの向きを変更する方法と、向き付け可能なユーザインターフェースを制御するディスプレイシステムとに関する。
コンピュータシステムのユーティリティは、よりよいユーザインターフェースを提供することによって高めることができる。コンピュータシステムのユーザインターフェースは、パーソナルコンピュータ(PC)が初めて広範に入手可能になって以降、大幅に進化してきた。初期のPCは、シリアルマウスなど、どちらかといえば原始的なユーザ入力デバイスを使用し、モノクロームディスプレイだけを提供した。しかし、マイクロプロセッサ、使用可能なメモリ、およびプログラミング機能性の膨大な改善のすべてが、ユーザインターフェース設計の進歩ならびにユーザフレンドリなグラフィックオペレーティングシステムおよびハードウェアの開発に寄与した。
ユーザインターフェーステクノロジにおける進歩の一特定の領域は、対話型ディスプレイシステムに関する。そのようなシステムは、通常、エンクロージャ、ディスプレイ表面、様々なイメージプロジェクションおよびユーザ入力検出機器、ならびにコンピュータを含む。対話型ディスプレイシステムは、汎用コンピューティングデバイスを含むか、これに結合されるものとすることができる。対話型ディスプレイシステムの大きい利点は、ディスプレイ表面との直接のユーザ対話を可能にすることである。ユーザは、1つまたは複数の指を用いて対話型ディスプレイ表面に直接に触れることによって、または対話型ディスプレイ表面のすぐ上でジェスチャを行うことによって、このタイプのシステムに入力を供給することができる。
しかし、対話型ディスプレイシステムは、従来のパーソナルコンピュータ(PC)で実行されるように設計されたアプリケーションにおいて使用されるものと同様のグラフィカルユーザインターフェース(GUI)を実施するよう制約された場合に、ある種の制限および不利益をこうむる可能性がある。例えば、対話型ディスプレイシステムのユーザは、どの側からも水平のディスプレイ表面と対話することができる。その性質によって、水平対話型ディスプレイ表面は、「上」および「下」を有し、従来のディスプレイの前に坐っている人によって見られることを意図された、従来の垂直ディスプレイには似ていない。従来の垂直に向き付けされたディスプレイとは異なって、対話型ディスプレイの両側に配置されたユーザは、明らかに、類似するユーザ経験を有するために、ユーザに対して向き付けされたグラフィカルユーザインターフェースを好む。したがって、水平対話型ディスプレイ表面の一方の側にいるユーザに合わせて向き付けされたグラフィカルユーザインターフェースは、その対話型ディスプレイ表面の他方の側にいるユーザには反対に見え、逆も同様である。したがって、現在、全般的に水平の対話型ディスプレイ表面のユーザによる享受を妨げる、上記および他の従来技術の制限に対する解決策を開発する動機づけがある。対話型ディスプレイシステム上で実行されるアプリケーションと共に使用される、動的に向きを変更可能な(orientation free)ユーザインターフェースを提供することが、明らかに好ましい。
米国特許出願第10/814,577号明細書 米国特許出願第10/814,761号明細書
動的に向き付け可能な(orientable)ユーザ入力コントロール部を有するユーザインターフェースの生成および表示を可能にする様々な実施態様を下で述べる。具体的に言うと、ユーザインターフェースを、コンピュータ実施される方法を介して対話型ディスプレイに表示することができ、その結果、ユーザインターフェースは、対話型ディスプレイの周辺付近の異なる位置に配置されたユーザによって見られるように適当に向き付けされる。例示的実施態様のさらなる詳細を、下で提示する。この実施態様は、主グラフィカルユーザインターフェース(GUI)の部分を選択するステップを含む。次に、独立の動的に向き付け可能なGUIが、選択された部分の中に生成される。この実施態様では、動的に向き付け可能なGUIは、1つまたは複数のユーザ入力コントロール部を提供することができ、これらのコントロールは、ユーザによって提供される入力に基づいて、向き付け可能GUIの選択された部分内で向き付けされることを可能にされる。このユーザ入力は、対話型ディスプレイ上で提供される向き付け可能GUIとのユーザ対話によって提供することができる。
この「課題を解決するための手段」は、下の「発明を実施するための最良の形態」で詳細にさらに説明される少数の概念を単純化された形で紹介するために提供された。しかし、この「課題を解決するための手段」は、請求される主題の主要なまたは本質的な特徴を識別することを意図されたものでも、請求される主題の範囲を判定する際の助けとして使用されることを意図されたものでもない。
1つまたは複数の例示的実施形態およびその修正形態の様々な態様および付随する利益は、添付図面と共に解釈されるときに、後続の詳細な説明を参照することによってよりよく理解されるようになるので、よりたやすく了解されるようになる。
図面および開示される実施形態は限定的ではない
例示的実施形態を、図面の参照される図に示す。本明細書で開示される実施形態および図面は、制限的であるのではなく、例示的であると考えられなければならないことが意図されている。さらに、添付の特許請求の範囲では、代替案のリストが、句「〜の少なくとも1つ」または句「〜の1つ」の前に連接語「および」、「と」、または「ならびに」が使用されている場合、これら「および」、「と」、または「ならびに」の単語の意図された意味は、接続語「もしくは」、「または」、または「あるいは」に対応する。
例示的コンピューティングシステム
図1は、対話型ディスプレイテーブルまたは類似するコンピューティングシステムなど、接続されたクライアントのコンピューティングデバイスにデジタルメディアを供給する、例示的なコンピューティングシステムおよび/またはコンピュータサーバの機能ブロック図である。
後続の議論は、ある方法を実施できる適切なコンピューティング環境の短い全般的な説明を提供することを意図されたものである。さらに、後続の議論は、コンピューティングシステムと共にプログラムモジュールなどのコンピュータ実行可能命令を実施することに関する文脈を示す。一般に、プログラムモジュールは、特定のタスクを実行するか特定の抽象データ型を実施するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。当業者は、マルチプロセッサシステム、メインフレームコンピュータ、パーソナルコンピュータ、プロセッサ制御式消費者エレクトロニクス、携帯情報端末(PDA)(おそらくはデジタルメディアコンテンツのサーバとして使用されるときではなく)、および類似物を含む他のコンピューティングシステム構成を適用できることを認めるであろう。他の実施態様は、通信ネットワークを介してリンクされたリモート処理デバイスによってタスクが実行される分散コンピューティング環境を含む。分散コンピューティング環境では、プログラムモジュールを、ローカルとリモートとの両方のメモリストレージデバイスに配置することができる。
図1を参照すると、様々な方法を実施するのに適する例示的システムが示されている。このシステムは、処理ユニット21、システムメモリ22、およびシステムバス23を設けられた、従来のパーソナルコンピュータ(PC)20の形の汎用コンピューティングデバイスを含む。システムバスは、システムメモリを含む様々なシステムコンポーネントを処理ユニット21に結合し、メモリバスまたはメモリコントローラ、周辺バス、および様々なバスアーキテクチャのいずれかを使用するローカルバスを含む、複数のタイプのバス構造のうちのいずれかとすることができる。システムメモリは、読取専用メモリ(ROM)24およびランダムアクセスメモリ(RAM)25を含む。
システムスタートアップ中などにPC 20内の要素の間での情報の転送を可能にする基本ルーチンを含む基本入出力システム26(BIOS)が、ROM 24に格納される。PC 20は、さらに、ハードディスク(図示せず)から読み取り、これに書き込むハードディスクドライブ27、取り外し可能磁気ディスク29から読み取り、またはこれに書き込む磁気ディスクドライブ28、およびコンパクトディスク読取専用メモリ(CD−ROM)または他の光媒体などの取り外し可能光ディスク31から読み取り、またはこれに書き込む光ディスクドライブ30を含む。ハードディスクドライブ27、磁気ディスクドライブ28、および光ディスクドライブ30は、それぞれハードディスクドライブインターフェース32、磁気ディスクドライブインターフェース33、および光ディスクドライブインターフェース34によってシステムバス23に接続される。これらのドライブおよびそれに関連するコンピュータ可読媒体は、PC 20のコンピュータ可読機械命令、データ構造、プログラムモジュール、および他のデータの不揮発性ストレージを提供する。説明される例示的環境は、ハードディスク27、取り外し可能磁気ディスク29、および取り外し可能光ディスク31を使用するが、磁気カセット、フラッシュメモリカード、デジタルビデオディスク(DVD)、ベルヌーイカートリッジ、RAM、ROM、および類似物など、コンピュータによってアクセス可能なデータおよび機械命令を格納できる他のタイプのコンピュータ可読媒体をも使用できることを、当業者は認めるであろう。
オペレーティングシステム35、1つまたは複数のアプリケーションプログラム36、他のプログラムモジュール37、およびプログラムデータ38を含む複数のプログラムモジュールを、ハードディスク27、磁気ディスク29、光ディスク31、ROM 24、またはRAM 25に格納することができる。ユーザは、キーボード40およびポインティングデバイス42などの入力デバイスを介して、PC 20内でコマンドおよび情報を入力し、制御入力を提供することができる。ポインティングデバイス42は、マウス、スタイラス、無線リモートコントロール、または他のポインタを含むことができるが、現在説明している実施形態に関連して、そのような従来のポインティングデバイスを省略することができる。というのは、ユーザが、対話型ディスプレイシステムを入力および制御に使用することができるからである。この説明で使用されるときに、用語「マウス」は、画面上のカーソルの位置を制御するのに有用なすべてのポインティングデバイスを包含することが意図されている。他の入力デバイス(図示せず)には、マイクロホン、ジョイスティック、触覚ジョイスティック、ヨーク、フットペダル、ゲームパッド、衛星パラボラアンテナ、スキャナ、または類似物を含めることができる。また、PC 20は、プリンタなどの他のインターフェースデバイスまたは下で詳細に説明する対話型ディスプレイテーブルとの通信のために、Bluetooth無線インターフェースまたは他の無線インターフェースを含むことができる。上記および他の入出力(I/O)デバイスは、システムバス23に結合されたI/Oインターフェース46を介して処理ユニット21に接続することができる。句「I/Oインターフェース」は、特にシリアルポート、パラレルポート、ゲームポート、キーボードポート、および/またはuniversal serial bus(USB)に使用される各インターフェースを包含することが意図されている。システムバス23を、カメラインターフェース(図示せず)にも接続することができ、このカメラインターフェースは、下でより詳細に述べるように、対話型ディスプレイ60内に含まれるデジタルビデオカメラから信号を受け取るために対話型ディスプレイ60に結合される。デジタルビデオカメラを、その代わりに、USBポートなどの適当なシリアルI/Oポートに結合することができる。システムバス23を、下でより詳細に述べるように、光源に制御信号を供給するために、I/Oインターフェース46または別のインターフェースを介して対話型ディスプレイ内の光源に接続することもできる。さらに、システムバス23を、ユーザ入力を受け取るために、I/Oインターフェース46または別のインターフェースを介して、対話型ディスプレイシステム内の光検出器に接続することもできる。場合によっては、モニタ47を、ビデオアダプタ48などの適当なインターフェースを介してシステムバス23に接続することができるが、モニタは割愛される可能性が高い。というのは、下で説明する対話型ディスプレイシステムが、より豊かな表示を提供することができ、情報の入力およびソフトウェアアプリケーションの制御のためにユーザと対話することもでき、したがって、好ましくはビデオアダプタに結合されるからである。一般に、PCを、スピーカ(サウンドカードまたは他のオーディオインターフェース(図示せず)を介して)およびプリンタなど、他の周辺出力デバイス(図示せず)に結合することもできる。
下で詳細に説明するある種の方法は、単一のマシンで実践することができるが、PC 20は、リモートコンピュータ49などの1つまたは複数のリモートコンピュータへの論理接続を使用してネットワーク化された環境で動作することもできる。リモートコンピュータ49は、もう1つのPC、サーバ(PC 20によく似た構成とすることができる)、ルータ、ネットワークPC、ピアデバイス、または衛星もしくは他の一般的なネットワークノード(いずれも図示せず)とすることができ、通常は、PC 20に関連して上で説明した要素の多くまたはすべてを含むが、図1には外部メモリストレージデバイス50だけを図示した。図1に示された論理接続は、ローカルエリアネットワーク(LAN)51および広域ネットワーク(WAN)52を含む。そのようなネットワーキング環境は、オフィス、企業全体のコンピュータネットワーク、イントラネット、およびインターネットで一般的である。
LANネットワーキング環境で使用されるときに、PC 20は、ネットワークインターフェースまたはネットワークアダプタ53を介してLAN 51に接続される。WANネットワーキング環境で使用されるときに、PC 20は、通常、インターネットなどのWAN 52を介する通信を確立するための、モデム54あるいは、ケーブルモデム、デジタル加入者回線(DSL)インターフェース、またはサービス総合デジタル網(ISDN)インターフェースなどの他の手段を含む。モデム54は、内蔵または外付けとすることができるが、システムバス23に接続されるか、またはI/Oデバイスインターフェース46すなわちシリアルポートを介してバスに結合される。ネットワーク化された環境では、PC 20によって使用されるプログラムモジュールまたはその諸部分を、リモートメモリストレージデバイスに格納することができる。図示のネットワーク接続が、例示的であり、無線通信および広帯域ネットワークリンクなど、コンピュータの間の通信リンクを確立する他の手段を使用できることを了解されたい。
例示的な対話型表面
図2には、フレーム62にPC 20を含み、コンピュータ用の光入力とビデオディスプレイデバイスとの両方として働く、例示的な対話型ディスプレイテーブル60が示されている。図示の実施形態は、対話型ディスプレイテーブル60の一実施態様の切断図である。図2に示された実施形態では、テキストおよびグラフィックイメージの表示に使用される光線82a〜82cは、点線を使用して示され、対話型ディスプレイテーブル60の対話型ディスプレイ表面64に接するかそのすぐ上の物体を感知するのに使用される赤外(IR)光線は、破線を使用して示される。テーブル表面の周辺部は、ユーザの腕、あるいは、対話型ディスプレイ表面64に表示されているグラフィックイメージもしくは仮想環境と対話するのに使用できる物体を含む他の物体を支持するのに有用である。
光源66は、2つの直交次元すなわちX方向およびY方向でスキャンするために駆動できる、発光ダイオード(LED)、レーザダイオード、および他の適切な光源など、様々な発光デバイスのいずれかを含むことができる。回転ミラー、ガルバノミラー、または光ビームを用いて表面のラスタスキャンを作るのに一般に使用される他の周知のスキャニング機構などのスキャニング機構を、光源66と共に、下で述べる他の光源のそれぞれについて使用することができる。一般に、光源66は、赤外(IR)スペクトルの波長を有する光を発するように構成され、したがって、人間の目に可視ではない。しかし、対話型ディスプレイ表面64で提供される可視イメージの表示との干渉を避けるために、人間の目に不可視である任意の波長の光を使用することができる。光源66は、使用される特定の光源に応じて、フレーム62の内側の任意の位置に取り付けることができる。光源66によって作られる光は、破線78a、78b、および78cによって示されるように、対話型ディスプレイ表面64の下側に向かって上に向けられる。光源66から放たれる光は、光を拡散する特性を有するベラムまたは他の適切な半透明材料のシートを含む、テーブルの半透明層64aを通過した後に、対話型ディスプレイ表面64に接するかこれに隣接する任意の物体から反射される。
この説明および添付の特許請求の範囲で使用されるときに、用語「〜のすぐ近くの」は、この句が、物体の反射率などの要因に応じて、対話型ディスプレイ表面に接触するか対話型ディスプレイ表面から短い距離、例えば3cmまでまたはそれを超えて離されるかのいずれかである物体の両方を含む意図を伴って使用される。1つの光源66だけが示されているが、複数のそのような光源を、フレーム62の内側の離隔された位置に取り付けて、対話型ディスプレイ表面の均一な照明をもたらすことができることを了解されたい。光源66によって作られる光は、破線78aによって示されるように物体をまったく照らさずにテーブル表面を通って出、破線78bによって示されるようにテーブル表面に接する物体を照らす、かつ/または破線78cによって示されるように対話型ディスプレイ表面の上の短い距離(すなわち、そのすぐ近く)であるがこれに接触はしない物体を照らす、のいずれかになることができる。
対話型ディスプレイ表面64の上の物体は、ディスプレイ表面に「接する」か少なくとも部分的に触れる「タッチ」物体76aと、対話型ディスプレイ表面に近いがこれに実際に接触してはいない「ホバー」物体76bとを含む。したがって、タッチ物体とホバー物体との両方が、用語「近接」が後続の説明で使用されるとき、ディスプレイ表面に「近接する」ものとすることができる。対話型ディスプレイ表面を通過する光を拡散するための対話型ディスプレイ表面の下の半透明層64aの使用の結果として、物体が対話型ディスプレイ表面64の最上部に接近するときに、その物体によって反射されるIR光の量は、その物体が実際にディスプレイ表面に接触しているときの最大レベルまで増加する。
図2に示されているように、光検出器68が、対話型ディスプレイ表面64の下の、対話型ディスプレイ表面の上に配置された(すなわち、これに近接する)「タッチ」物体または「ホバー」物体から反射されたIR光を検出するのに適当な位置で、フレーム62に取り付けられる。一般に、光検出器68は、対話型ディスプレイ表面64に接するかこれに近接する物体から反射された光を検出するのに適切な任意の光検出デバイスとすることができる。例えば、光検出器68は、エリアCMOS(area CMOS)センサまたはエリア電荷結合素子(CCD)センサとすることができる。図2に示された実施態様は、1つの光検出器68を示すが、複数の光検出器68を対話型ディスプレイ60内で使用することができる。光検出器68に、IR光だけを透過させ、点線84aに沿って対話型ディスプレイ表面64を通って進む環境可視光をブロックするIR通過フィルタ86aを装備することができる。この実施態様では、バッフル79が、スキャンする光源66と光検出器68との間に配置されて、スキャンする光源66から直接に放たれたIR光が光検出器68に入るのを防ぐ。というのは、光検出器68が、対話型ディスプレイ表面64に近接する物体から反射されたIR光だけに反応する出力信号を作ることが好ましいからである。光検出器68が、やはり点線84aによって示される経路に沿って進む環境IR光を含む、上から対話型ディスプレイの内部へ対話型ディスプレイ表面64を通過する環境光に含まれるすべてのIR光にも反応することは明白である。
テーブル表面に接するかその上にある物体から反射されたIR光は、(a)破線80aおよび80bによって示されるように、半透明層64aを通り、IR通過フィルタ86aを通り、光検出器68に戻って反射される場合があり、あるいは、(b)破線80cによって示されるように、光検出器68に入らずに、対話型ディスプレイ60内の他の内側表面によって反射されるか吸収される場合がある。
半透明層64aは、入射IR光と反射IR光との両方を拡散させる。したがって、上で説明したように、対話型ディスプレイ表面64により近いホバー物体76bなどの「ホバー」物体は、ディスプレイ表面からより遠い同一反射率の物体より多くのIR光を光検出器68に戻して反射する。光検出器68は、その動作フィールド(operating field)内の「タッチ」物体および「ホバー」物体から反射されたIR光を感知し、光検出器68が受け取る反射IR光に対応する検出信号を作る。この検出信号は、処理によって各そのような物体の位置を判定し、場合によっては、その物体のサイズ、向き、形状、および軌跡などの他のパラメータを判定するために、PC 20に入力される。ユーザの前腕など、物体の一部がテーブルの上にあるのと同時に、ユーザの指など、別の部分がディスプレイ表面と接触している場合があることに留意されたい。さらに、物体に関連する他のパラメータを検出することができる。例えば、物体は、その底面に、その物体に固有のまたはその物体がメンバである関連する物体のクラスに固有の、IR光の反射パターンまたはバーコードなどのコード化された識別子を含むことができる。したがって、1つまたは複数の光検出器68からの検出信号を、物体からおよび/または反射パターンから反射されたIR光に応じて、各そのような特定の物体を検出するためならびに物体のまたは物体に関連する他のパラメータを判定するためにも使用することができる。
したがって、諸実施形態は、物体から反射されたIR光を使用して物体の識別できる特性を検出することによって、物体および/または対話型ディスプレイ表面64に対する相対的な物体の位置ならびに他の情報を認識するように動作する。物体、その向き、および他のパラメータをそのように検出し、識別するために実施される論理ステップの詳細は、どちらも2004年3月31日に出願された特許文献1、名称「Identification Of Object On Interactive Display Surface By Identifying Coded Pattern」、および特許文献2、名称「Determining Connectedness And Offset Of 3D Objects Relative To An Interactive Surface」を含む、本願と同一の譲受人に譲渡された特許出願書で説明されている。この2つの特許出願書の開示および図面は、参照によって(背景情報として)本明細書に特に組み込まれるが、本願で請求される新規の手法を使用可能にするために必須とは考えられない。
PC 20は、図2の実施形態に示されているように、対話型ディスプレイテーブル60と一体とすることができ、あるいは、図3の実施形態に示されているように、対話型ディスプレイテーブルの外部とすることができる。図3では、対話型ディスプレイテーブル60’は、データケーブル63を介して外部のPC 20(上で述べたようにオプションのモニタ47を含む)に接続される。代替案では、PC 20を、無線リンク(すなわち、WiFiまたは他の適当な無線信号リンク)を介して対話型ディスプレイテーブル60’に接続することができる。やはりこの図に示されているように、直交のX軸およびY軸のセットならびに「0」によって示される原点が、対話型ディスプレイ表面64に関連する。例示的な投影されたイメージ390も、ディスプレイ表面64上の単語「イメージ」として図示されている。別個に図示されてはいないが、各直交軸に沿った複数の座標位置を使用して、対話型ディスプレイ表面64上の任意の位置を指定できることを了解されたい。
対話型ディスプレイテーブル60’が、外部PC 20(図3のように)またはセットトップボックス、ビデオゲーム、ラップトップコンピュータ、もしくはメディアコンピュータ(図示せず)など、ある他のタイプの外部コンピューティングデバイスに接続される場合に、対話型ディスプレイテーブル60’は、入出力デバイスを含む。対話型ディスプレイテーブル60’の電力は、電源リード61を介して供給され、電源リード61は、従来の交流(AC)源(図示せず)に結合される。データケーブル63は、対話型ディスプレイテーブル60’に接続されるが、PC 20上のUSB 2.0ポート、米国電気電子技術者協会(IEEE)1394(またはFirewire)ポート、またはイーサネット(登録商標)ポートに結合することができる。無線接続の速度が改善され続けるにつれて、対話型ディスプレイテーブル60’を、そのような高速無線接続を介して、またはある他の適当な有線もしくは無線のデータ通信リンクを介して、PC 20などのコンピューティングデバイスに接続することもできることも企図されている。対話型ディスプレイシステムの一体化された部分として内部に含まれる場合であれ、外部であれ、PC 20は、デジタルビデオカメラ68からのデジタルイメージを処理するアルゴリズムを実行し、対話型ディスプレイテーブルのより直観的なユーザインターフェース機能性を非常に有利に使用するように設計されたソフトウェアアプリケーションを実行すると同時に、そのような機能性を利用するように特に設計されてはいないがそれでも対話型ディスプレイテーブルの入出力機能性をよく利用できる他のソフトウェアアプリケーションを実行する。さらなる代替案として、対話型ディスプレイシステムは、外部コンピューティングデバイスに結合され得るが、外部PCによって行われないはずのイメージ処理および他のタスクを行うために内部コンピューティングデバイスを含むことができる。
対話型ディスプレイテーブル60または60’(すなわち、上で述べた対話型ディスプレイテーブルの実施形態のいずれかの)の重要で強力な特徴は、物体76aなどのディスプレイ表面の上に乗っている物体または物体76bなどのディスプレイ表面のすぐ上に浮いている物体(またはその特性)を識別することによって、ゲームまたは他のソフトウェアアプリケーションのグラフィックイメージまたは仮想環境を表示し、対話型ディスプレイ表面64上で可視のグラフィックイメージまたは仮想環境とのユーザ対話を可能にする能力である。
もう一度図2を参照すると、対話型ディスプレイテーブル60は、グラフィックイメージ、仮想環境またはテキスト情報を対話型ディスプレイ表面64に表示するのに使用されるビデオプロジェクタ70を含むことができる。このビデオプロジェクタは、例えば少なくとも640×480ピクセルの解像度を有する、液晶ディスプレイ(LCD)もしくはデジタルライトプロセッサ(DLP)タイプまたはliquid crystal on silicon(LCoS)ディスプレイタイプとすることができる。IRカットフィルタ86bを、ビデオプロジェクタ70のプロジェクタレンズの前に取り付けて、IR光が対話型ディスプレイ表面64に接するかその上にある物体(1つまたは複数)から反射されたIR光と干渉する可能性がある対話型ディスプレイテーブルハウジングの内側に、ビデオプロジェクタによって放たれるIR光が入るのを防ぐことができる。ビデオプロジェクタ70は、第1ミラーアセンブリ72aに向かって点線経路82aに沿って光を投影する。第1ミラーアセンブリ72aは、ビデオプロジェクタ70から受け取られる点線経路82aからの投影された光を、フレーム62内の透明開口部90aを通る点線経路82bに沿って反射し、その結果、反射された投影された光は、第2ミラーアセンブリ72bに入射するようになる。第2ミラーアセンブリ72bは、点線経路82bからの光を点線経路82cに沿って半透明層64aに反射し、半透明層64aは、プロジェクタレンズの焦点にあり、その結果、投影されたイメージは、見るために対話型ディスプレイ表面64上で可視になり、焦点が合うようになる。
位置合わせデバイス74aおよび74bが、設けられ、ディスプレイ表面に投影されるイメージがディスプレイ表面に位置合わせされることを保証するために、第1および第2のミラーアセンブリの角度を調整するねじ付きロッドおよび回転可能調整ナット74cを含む。投影されたイメージを所望の方向に向けることに加えて、これらの2つのミラーアセンブリの使用は、より長い焦点距離の(およびより低コストの)プロジェクタレンズをプロジェクタと共に使用することを可能にするために、プロジェクタ70と半透明層64aとの間のより長い経路を実現する。いくつかの代替実施態様では、LCDパネルまたは有機発光ディスプレイ(OLED)パネルを、グラフィカルユーザインターフェースを含むテキストおよびイメージを表示するために、ビデオプロジェクタの代わりに使用することができる。同様に、対話型ディスプレイ表面に接触するかそのすぐ近くの物体を感知するために、他の技法を使用することができる。
前述の議論および後続の議論は、対話型ディスプレイテーブル60および60’の形の対話型ディスプレイデバイスを説明するものである。それでも、対話型ディスプレイ表面が、全般に水平のテーブルトップの形である必要がないことを理解されたい。この説明で説明される原理は、水平以外の向きで取り付けられた異なる形状および曲率のディスプレイ表面をも適切に含み、これに適用される。したがって、後続の説明では、対話型ディスプレイ表面「に接して」物理的物体を配置することに言及するが、物理的物体をディスプレイ表面に接触してまたは他の形でディスプレイ表面に近接して配置することによって、物理的物体を対話型ディスプレイ表面に近接して配置することができる。
向き付け可能GUIを実施する例示的方法
図4および5のそれぞれは、下で詳細に説明するように、それぞれ、動的に向き付け可能なユーザ入力コントロール部を有するユーザインターフェースを構成する例示的方法400および500のステップを示す流れ図である。方法400および500は、いくつかの実施形態で、図1〜3を参照して上で述べたコンポーネントおよび技法を用いて実施することができる。いくつかの実施態様で、方法400および500の1つまたは複数のステップは、コンピュータ可読コードを含むコンピュータ可読媒体上で実施され、その結果、コンピュータ可読コードがPC 20内に含まれるプロセッサなどのコンピューティングデバイス上で実行されるときに、一連のステップが、実施されるようになる。後続の説明では、方法400および500の様々なステップを、ある方法ステップを実行できる、対話型ディスプレイシステムに関連するコンピューティングデバイスのプロセッサに関して説明する。しかし、対話型ディスプレイシステムは、やはりある方法ステップを実行できる別のコンピューティングデバイスと通信する(適当に)ものとすることもできる。いくつかの実施態様で、方法の目的から逸脱せず、または異なる結果を作ることなく、方法400および500のあるステップを、組み合わせるか、同時に実行するか、異なる順序で実行することができる。
方法400は、グラフィカルユーザインターフェース(GUI)の一部が選択されるときに、ステップ410で開始される。その部分は、コンピュータプロセッサが、様々な機能を実行するのに使用される実行可能ソフトウェアモジュール内に含めることができるものなど、コンピュータ実行可能命令を実施することを可能にされた後のどのときにも選択することができる。1つの例示的な実施態様では、主グラフィカルインターフェースの部分を、最適機能性のために動的に向き付け可能なユーザインターフェースを必要とするアプリケーションの呼び出し時に選択することができる(例えば、対話型ディスプレイテーブルの異なる側に配置されたユーザによる対話をより効果的に可能にするために)。一実施態様で、主GUIの選択された部分は、GUIの第2部分が存在し得るディスプレイフィールドまたはディスプレイ領域を定義する。いくつかの実施態様で、選択された部分は、全体的にまたは部分的に、GUIの主部分を境界線で囲む。他の実施態様では、選択された部分は、GUIの主部分の周辺部の回りで連続的とすることができる。しかし、GUIの選択された部分は、向き付け可能GUIを選択された部分内で実施できるように、GUIの任意の所望のサブセットとすることができる。したがって、選択された部分は、GUIの主部分の周辺部に沿っていることが必要であるのではなく、GUIの主部分の中心のより近くに配置することができ、向き付け可能GUIを使用可能にする任意の適切な形状を有するものとすることができる。
ステップ420で、向き付け可能GUIを、GUIの主部分の選択された部分内で生成する。いくつかの実施態様で、向き付け可能GUIは、GUIの主部分と独立であり、主GUIの周辺部の回りで動的に向き付け可能である(例えば、回転される)。他の実施態様では、動的に向き付け可能なGUIは、向き付け可能GUIが生成される選択された部分内で自由に回転することを可能にされることができる1つまたは複数のユーザ入力コントロール部を提供する。さらに別の実施態様では、ユーザコントロール部を、選択された部分の軸に沿って回転可能とすることができる。いくつかのアプリケーションで、ユーザ入力コントロール部の向きは、向き付け可能GUIへのユーザ入力に基づくものとすることができる。本明細書で使用されるときに、用語「向き付け可能GUI」は、GUIの固定された主部分に対して相対的に向き付けされる(例えば、回転され、またはその向きを変更するために他の形で移動される)ことができる、表示されるイメージである。したがって、異なる特定のユーザが、向き付け可能GUIの少なくとも一部をより簡単に視認し接触することができるように、または、向き付け可能なGUIの少なくとも一部が、対話型ディスプレイテーブルの周囲の異なるユーザ位置に対して読みやすく接触しやすいよう適当に表示されるように、向き付け可能GUIを、動的に向き付けすることができる。向き付け可能なGUIの特定の例を、図6A〜Bおよび7A〜Bに示し、これらを下で述べる。
方法400の一実施態様は、ユーザ入力がいつ、動的に向き付け可能なGUIから受け取られるかを識別するステップなど、追加ステップを含む。この実施態様では、ユーザ入力コントロール部の現在位置が、まず識別される。現在位置は、向き付け可能GUIがインスタンス化されるときに割り当てることができる、原点などのディスプレイの選択された部分内の所定の位置に対して相対的に判定される。一例で、ユーザ入力コントロール部は、例えば、対話型ディスプレイ表面上のボタン位置のすぐ近くに位置決めされた指または物体を用いてユーザによってアクティブ化できるボタンとすることができる。本実施態様のもう1つのステップは、ユーザ入力が前のステップで判定されたコントロールの現在位置に対して相対的にユーザ入力コントロール部を再向き付けまたは回転するための呼び出しを示すかどうかを判定することを含むことができる。このユーザ入力に基づいて、向き付け可能GUIが存在する対話型ディスプレイの選択された部分内でのユーザコントロール部の回転または再向き付けを実施するために、向き付け可能GUIを動的に描画することができる。
もう1つの実施態様で、いつユーザ入力が向き付け可能GUIによって受け取られるかを識別するステップは、さらに、向き付け可能GUIがその中に表示される対話型ディスプレイの選択された部分のすぐ近くに配置されている物体を検出するステップを含む。
もう1つの実施態様は、ユーザの指またはユーザによって制御される物体の動きの物理的現象に対応する入力パラメータの判定などのステップを含むことができる。この実施態様では、パラメータに、ユーザ入力の速さおよび方向を含めることができる。判定は、ユーザの指、手、またはユーザが保持する物体によって提供される入力など、向き付け可能GUIに向けられたユーザ入力に基づくものとすることができる。次のステップでは、判定された入力パラメータを適用して、向き付け可能GUIがもう一度描画されるときのユーザコントロール部の向きの変化の速さおよび方向を動的に制御することができる。一般に、動きの物理的現象に関連するパラメータは、まず、ユーザ入力に基づいて計算され、次に、向き付け可能GUI内のユーザコントロール部の表示を制御するために描画フェーズ中に使用される。しかし、他の実施態様では、向き付け可能GUIフィールド全体を、動きの物理的現象に従って、判定されたパラメータに基づいて、ディスプレイへのGUIの描画中に再向き付けすることができる。
もう1つの実施態様は、ブレーキングパラメータ(braking parameter)を判定するステップを含むことができる。いくつかの実施態様で、ブレーキングパラメータは、判定された速さに比例するものとすることができる。一般に、ブレーキングパラメータは、向き付け可能GUIが動的に描画されつつあるときにユーザコントロール部の再向き付け(例えば、回転)の速さ減衰の割合を定義する。いくつかの実施態様で、ブレーキングパラメータは、ユーザインターフェースに受け取られるユーザ入力に基づくものとすることができる。一例で、ブレーキングパラメータは、向き付け可能GUIが表示される対話型ディスプレイの領域のすぐ近くでのユーザの手または指の検出に基づくものとすることができる。
もう1つの実施態様は、いつユーザ入力がユーザコントロール部の呼び出しを示すかを判定し、これに応答して、そのユーザコントロール部に関連する所定の機能を実施するステップを含むことができる。所定の機能は、例えば、アプリケーションの呼び出し、アプリケーションへのユーザ入力機能性の提供、およびアプリケーションの終了を含むことができる。
ここで図5に移ると、ユーザ入力に応答して動的に向き付け可能なGUIを有する対話型ディスプレイのユーザインターフェースを構成する方法500が示されている。方法500は、コンピューティングデバイスによる実施に特に適し、少なくとも1つの実施態様で、コンピュータ可読媒体に格納されたコンピュータ可読命令として実施される。方法500は、向き付け可能GUIが選択的に呼び出されるときに、ステップ510で開始される。いくつかの実施態様で、向き付け可能GUIは、ユーザ入力などのパラメータに基づいて、独立に制御可能であり、動的に向き付け可能である。一般に、対話型ディスプレイは、イメージおよびユーザインターフェース要素を表示できる、ユーザによる対話のための主ディスプレイフィールドを含む。いくつかの実施態様で、向き付け可能GUIを、主ディスプレイフィールドの周辺のすぐ近くの副ディスプレイフィールド内に描画することができる。向き付け可能GUIは、対話型ディスプレイアプリケーションがアクティブであるどのときにも、選択的に呼び出すことができる。
ステップ520で、向き付け可能GUIを、呼び出しに応答して生成する。いくつかの実施態様で、向き付け可能GUIは、ユーザの指、手、またはユーザによって制御される物体がコントロールに接触するかそのすぐ近くに持ってこられることによってアクティブ化することのできるユーザ入力コントロール部など、複数のユーザ入力フィールドを提供する。他の実施形態では、向き付け可能GUIを、向き付け可能GUIへのユーザ入力に応答する副フィールド内の経路に沿った向き付け可能GUIの動的変更を可能にするように構成することができる。この機能性の図示については、下で述べる図6A〜Bを特に参照することができる。さらに別の実施態様では、向きの変化を、特定のユーザが向き付け可能GUIのコントロールまたは他の部分によりたやすくアクセスし対話することを可能にするために、アプリケーションが向き付け可能GUIを選択的に再向き付けすることに応答するものとすることができる。
ステップ530は、いつユーザ入力が向き付け可能GUIから受け取られるかを識別することと、それに応答してそのユーザ入力を分析することとを含む。ユーザ入力の識別は、向き付け可能GUIが生成された後のどのときにも行うことができる。一実施態様で、ユーザ入力は、向き付け可能GUIから受け取られる。もう1つの実施形態で、ユーザ入力は、その入力を提供する物体の速さおよび/または方向(または動きの物理的現象に関連する他のパラメータ)などの入力パラメータについて分析される。
ステップ540で、向き付け可能GUIを、1つまたは複数の所定のパラメータに基づいて動的に描画する。一実施形態で、ユーザ入力が受け取られるときに、分析されたユーザ入力をも使用して、向き付け可能GUIの向きを動的に制御することができる。一実施形態で、向き付け可能GUIは、遅延または他の視覚的問題なしで対話型ディスプレイ表面に移動するイメージを表示するのに十分なレートで継続的に動的に描画される。動作時に、向き付け可能GUIを、毎秒何回も対話型ディスプレイに動的に描画することができ、向き付け可能GUIおよびユーザ入力コントロール部の向きが変化するときの向き付け可能GUIおよびユーザ入力コントロール部のなめらかな動きの外見が可能になる。
もう1つの実施態様は、対話型ディスプレイ上の所定の位置に対する相対的な向き付け可能GUIの現在位置を識別するステップを含む。この実施態様では、所定の位置を、アンカ位置、現在識別されている位置、または向き付け可能GUIが呼び出されるか生成されるか最後に描画されたか最初に描画されたときに割り当てられる初期位置とすることができる。この実施態様は、ユーザ入力が、前のステップで識別された現在位置に対して相対的に向き付け可能GUIを変位するためのユーザ呼び出しを示すかどうかを判定するステップなどの追加ステップを含むことができる。次に、現在位置に対する相対的な向き付け可能GUIの位置変位(例えば、再向き付け)を、ユーザ入力に基づいて判定することができる。この実施態様の最後のステップは、新しい向きで向き付け可能GUIを動的に描画するために、判定された位置変位を適用することを含むことができる。
もう1つの実施態様は、ユーザの指、手、またはユーザによって制御される物体による入力など、向き付け可能GUIで受け取られるユーザ入力に基づいて、動きの物理的現象に関する入力パラメータを判定するステップを含むことができる。やはり、この実施態様では、判定された入力パラメータを適用して、向き付け可能GUIが描画されるときの向き付け可能GUIの位置変位の速さおよび変位方向を動的に制御することができる。向き付け可能GUIへのユーザ入力に基づいて他のパラメータを判定することができ、そのパラメータをGUI描画プロセス中に使用できることが、当業者には明白であろう。例えば、判定できるもう1つのパラメータが、ブレーキングパラメータである。ブレーキングパラメータは、向き付け可能GUIが、動的に描画されつつある間に回転しているか他の形で移動しているときの向き付け可能GUIの位置変位に関する速さ減衰の割合を定義することができる。したがって、ブレーキングパラメータは、向き付け可能GUIが最終的に所望の新しい変位された位置で新しい向きで完全な「停止」状態になるにつれ、向き付け可能GUIの視認される回転の割合を経時的に低速化させる。このブレーキングパラメータは、物理法則または、向き付け可能GUIを表示している対話型ディスプレイの領域のすぐ近くで検出されるときのユーザの手または指などのユーザ入力に基づく所定のモデルに基づくものとすることができる。
もう1つの実施態様は、向き付け可能GUIが対話型ディスプレイ表面に表示されるときの向き付け可能GUI内のユーザ入力フィールドのうちの1つまたは複数のすぐ近くの物体を検出するステップを含むことができる。この実施態様は、ユーザ入力がユーザコントロール部の呼び出しを示すかどうかを判定するさらなるステップを含むことができ、そうである場合には、そのユーザコントロール部に関連する所定の機能を実施することができる。一実施態様では、この所定の機能は、対話型コントロールシステムによって新しいアプリケーションの実行を開始するステップなど、向き付け可能GUIコントロールプロセスと独立のプロセスを呼び出すステップを含むことができる。もう1つの実施態様で、この所定の機能は、向き付け可能GUIコントロールプロセスと独立の現在稼動中のプロセスにユーザコントロール部を提供することを含むことができる。
向き付け可能GUIコントロールプロセスと独立のプロセスの例が、ユーザが指を使用して対話型ディスプレイ表面で「ペイントする」ことができるペイントプログラムである。もう1つの実施態様では、所定の機能は、向き付け可能GUIコントロールプロセスのユーザコントロール部を提供することを含むことができる。この実施態様では、向き付け可能GUIコントロールプロセス自体にユーザコントロール部を提供することは、向き付け可能GUIへの直接ユーザ入力に基づく向き付け可能GUIの外見、回転の割合、回転方向、または他のパラメータの制御を可能にすることを含むことができる。もう1つの実施態様では、所定の機能は、プロセスを終了することを含むことができる。
対話型ディスプレイ表面に表示される例示的な向き付け可能GUI
図6Aおよび6Bは、図1〜5を参照して説明したシステムおよび技法の一実施態様を示す。図6Aと6Bとの両方は、対話型ディスプレイ表面64の上面図を示すが、この対話型ディスプレイ表面64は、ユーザ640が見、対話するのに適当なGUIを向き付けるために制御されている動的に向き付け可能な(例えば、回転可能な)GUI 610を含む。図6Aに示されているように、対話型ディスプレイ表面64は、側面602、側面603、側面604、および側面605を含む周辺部601を有する。エプロン601は、全体的に対話型ディスプレイ表面を囲むが、ユーザの手および肢ならびに対話型ディスプレイシステムによって実行されるゲームなどのアプリケーションと対話するのに使用できる物体を支持するのに有用である。対話型ディスプレイ表面64が、4つの側面を有するものとして図示されているが、対話型ディスプレイ表面は、実際には4つより多数またはより少数の側面を有することができ、あるいは円または楕円とすることができることを理解されたい。この例では、GUI 610は、対話型ディスプレイ表面64の「アクティブ」表示領域の周辺部の回りに延びる長方形バンドとして図示されている。この「アクティブ」表示領域は、対話型ディスプレイ表面64のうちで、向き付け可能GUI 610と他のイメージを表示するのに使用できるユーザインターフェースディスプレイの主部分620との両方を含むフィールドである。GUI 610は、任意の適切な形状を有することができ、対話型ディスプレイ表面の主部分の周辺に沿ったバンドに限定されないことに留意されたい。例示的なイメージ690は、ユーザインターフェースディスプレイの主部分620の中央付近に現れた単語「イメージ」によって示されている。例示的なイメージ690を、例えば、別のユーザインターフェースとするか、GUI 610と独立に稼動するアプリケーションの一部として表示するか、ピクチャとするか、グラフとするか、対話型ディスプレイ表面64に表示できるほとんどすべての他のタイプのイメージとすることができることに留意されたい。
この例では、GUI 610は、一般に、GUI 610のフィールド内のユーザコントロール部がGUI 610を構成するバンドの中心に沿って走る線650に沿って時計回りまたは反時計回りの方向で移動するように、主ユーザインターフェースディスプレイ620の周辺部に沿って「回転する」ことによって向き付けられるように構成される。それぞれ「A」、「B」、および「C」というラベルを付けられた3つのユーザコントロール部621、622、および623が、現在は側面604に沿った行に配置されて、GUI 610内で図示されている。それぞれ「1」、「2」、および「3」というラベルを付けられた3つのユーザコントロール部624、625、および626が、現在は側面603に沿った行に配置されて、GUI 610内で図示されている。さらに、ユーザコントロール部630(例えば、ボタン)が、ユーザ640によって呼び出されて(または作動されて)図示されている。さらに、ユーザの手は、反時計回りに移動してもおり、GUI 610をコントロール630のユーザ呼び出しと同時に反時計回りの方向に回転させている。
動作時に、ユーザの指が、対話型ディスプレイ表面に表れるときの位置のユーザコントロール部に置かれる(すなわち、図6Aに示されているように)ときに、そのユーザコントロール部またはボタンが、呼び出される。さらに、ユーザの指は、その後、呼び出されたユーザコントロール部を、GUI 610内の残りのコントロールと一緒に、線650に沿って「ドラッグする」ことができる。ユーザの指が、対話型ディスプレイ表面64から外されるときに、そのユーザの指によってドラッグされたユーザコントロール部は、ユーザインターフェースディスプレイの主部分620の周辺部付近の新しい位置に落ち着く。線650に沿ったユーザ入力ボタンの回転は、ユーザの指が外されるときに停止することができ、あるいは、ユーザの指が外された後に継続することができる。GUI 610の継続される回転は、対話型ディスプレイテーブル内に配置されるかこれに結合されるコンピューティングデバイスによって決定されるものであり、ユーザの指が対話型ディスプレイ表面の上で動くときのその指の測定された速さおよび方向などのパラメータを使用する、物理法則に基づくものとすることができる。この形で、ユーザが、特定の速度(速さおよび方向)を有するスイープする動きを用いてユーザ入力コントロール部を「すばやく動かす」ことが可能であり、これによって、コントロールを呼び出すこととGUI 610の再向き付け(または回転)を開始することとの両方を行うことが可能である。
図6Bに、図6Aに関して上で説明した例のさらなる態様を示すが、GUI 610は、図6Aに示された位置に関して変位された位置すなわち新しい向きで示されている。GUI 610の位置または向きは、ユーザがこのGUIを再向き付けさせた後のこのGUIの新しい位置に対する相対的な現在位置または初期位置と考えることができる。図6Bに示された変位は、GUI 610の回転機能性を示すために、ユーザの指の動きを感知することによって提供されるユーザ入力に基づく。図6Bに見ることができるように、ユーザ入力コントロール部621、622、および623(すなわち、ボタン)は、約90°反時計回りに回転され、現在は側面603に沿って位置決めされている。同様に、ユーザ入力コントロール部624、625、および626(すなわち、ボタン)は、周辺部の周囲で約90°反時計回りに回転され、現在は対話型ディスプレイ表面64の側面602に沿って位置決めされている。
図示の例示的実施形態は、対話型ディスプレイ表面64が4つの側面を有し、複数のユーザが対話型ディスプレイテーブルの周囲の異なる側面の彼らのめいめいの位置から対話型ディスプレイ表面と対話することを望む場合に有用とすることができる。一例で、ゲームは、主ユーザインターフェース620内に表示されるゲームボードにアクセスする4人のユーザによってプレイされることができ、ゲームの異なるコントロールは、GUI 610内の対話型ディスプレイ64の4つの側面に沿って表示される。ゲームアプリケーションは、ユーザによってアクティブ化されるコントロールがそのユーザの前に位置決めされるようにGUIを再向き付けすることによって、いずれかのユーザがコントロールの特定のセットにさらに便利にアクセスすることを可能にするための必要に応じてユーザコントロール部を動的に向き付けることができる。この例では、プレイヤーが対話型ディスプレイ64の異なる側面からプレイする近接するプレイヤーにコントロールを「渡す」ことができるように、またはプレイヤーが配置されている側面と異なる対話型ディスプレイテーブルの側面に現在配置されている所望のコントロールをアクティブ化することを望むプレイヤーが、所望のコントロールがそのプレイヤーの前に配置されるまで、所望のコントロールを対話型ディスプレイ表面の周辺付近で回転させることができるように、GUI 610内のユーザ入力コントロール部に回転機能性を提供することが有用である可能性がある。
図7Aおよび7Bに、図1〜5を参照して説明したシステムおよび手法のもう1つの例示的実施態様を示す。図7Aおよび7Bは、やはり、ユーザによって操作される向き付け可能ユーザインターフェースを表示する、対話型ディスプレイ表面64の概略上面図を示す。図7Aに示されているように、対話型ディスプレイ表面64は、やはり、エプロン701を有し、側面702、側面703、側面704、および側面705を含む。向き付け可能GUI 710は、やはり、主ディスプレイ領域720の周辺部付近に延びるバンドに似た形状を有するものとして図示されている。例示的なイメージ790が、やはり、ユーザインターフェースディスプレイの主部分720の中央付近に配置された単語「イメージ」によって示されている。
向き付け可能GUI 710は、一般に、向き付け可能GUI 710のフィールドが時計回りまたは反時計回りのいずれかの方向で移動するように、主ユーザインターフェースディスプレイ720の周辺部付近で回転可能になるように構成される。この形でのGUI 710の再向き付けは、「回転盆」トレイの機能に類似する。というのは、回転盆の回転が、回転盆トレイの回りに配置されたユーザによる簡単なアクセスのために、回転盆に置かれた物体を回転盆の中点の回りで回転させるからである。このアナロジによれば、ユーザ入力コントロール部またはボタンは、回転盆トレイに置かれた物体に類似し、向き付け可能GUI 710は、トレイフレームに類似する。というのは、向き付け可能GUIが、ユーザ入力コントロール部を支持し、これによって、ユーザインターフェースディスプレイの主部分720の回りで回転するときのGUIの動的再向き付けを可能にするからである。やはり、動的に向き付け可能なGUIが、主ディスプレイ領域の周辺部付近に配置される必要はなく、対話型ディスプレイ表面のほぼどこにでも配置できることに留意されたい。したがって、動的に向き付け可能なGUIは、例えば、このGUIでワードゲームの回転ホイールをシミュレートできるアプリケーションにおいて使用することもできる。そのようなアプリケーションでは、動的に向き付け可能なGUIを、対話型ディスプレイ表面の望む場所に配置することができる。
それぞれ「A」、「B」、および「C」というラベルを付けられた3つのユーザコントロール部721、722、および723が、現在は側面703に沿った連続する行に配置されて、GUI 710内で図示されている。それぞれ「1」、「2」、および「3」というラベルを付けられた第2の組のユーザコントロール部624、625、および626が、側面705に沿った連続する行に配置されて、GUI 710内で図示されている。ユーザの指740が、側面704に沿ったGUI 710内のある点に触れているところが図示されている。本実施態様は、ユーザの指がGUI 710内の点に図示されているが、ユーザコントロール部721などのユーザ入力コントロール部に触れておらず、これをアクティブ化していないという事実によって、図6Aおよび6Bに示された実施形態から区別される。図7Aでは、ユーザの指は、向き付け可能GUI 710を反時計回りの方向に回転させて図示されている。図示されているように、ユーザの指は、GUI 710に置かれ、その後、GUI 720およびその中に含まれるユーザ入力コントロール部のすべてを、主ディスプレイ領域720の周辺付近で「ドラッグする」。ユーザの指が対話型ディスプレイ表面64から外されるときに、GUI 710の位置は、主ユーザインターフェースディスプレイ720の周辺部付近の新しい位置で落ち着く。GUI 710の回転は、ユーザの指が外されたときに即座に停止することができ、あるいはその代わりに、上で説明したように、ユーザの指が外された後も速さおよび方向などのパラメータを適用することによって物理法則に基づいて、回転し続けることができる。同様に、ユーザは、GUI 710が動いているときに、まだ回転している向き付け可能GUIの一部に単純に指を置くことによって、GUI 710の回転を止めることができる。
この形で、ユーザが、向き付け可能GUI 710の回転を開始するために一振りする動き(sweep)を用いて向き付け可能GUI 710の一部を「はじく(flick)」ことにより、ユーザ入力の速さに基づく減衰の割合でまたは所定の減衰の割合で経時的に回転を低速化することも可能である。図7Bは、向き付け可能GUI 710が図7Aに示されたものに関して変位された位置で示されていることを除いて、図7Aを複製した図である。この変位は、ユーザの指から提供されるユーザ入力(図7Aに示されているように)によって引き起こすことができる。図7Bに見ることができるように、ユーザ入力コントロール部721、722、および723は、対話型ディスプレイ表面の周辺付近で約180°反時計回りに移動され、現在は側面705に沿って位置決めされている。同様に、ユーザ入力コントロール部724、725、および726は、対話型ディスプレイ表面64の周辺付近で約180°反時計回りに移動され、現在は対話型ディスプレイ表面の側面703に沿って位置決めされている。
しかし、図7Bに示された変位は、連続的に可変にすることができ、90°の倍数に制限される必要はなく、対話型ディスプレイ64の側面に対応する必要がないことに留意されたい。向き付け可能GUIを任意に位置決めするこの機能は、ユーザ入力コントロール部が対話型ディスプレイ表面64の特定の側面に位置するユーザに固有でない場合、または対話型ディスプレイ表面64が丸い場合に、望ましい可能性がある。一例で、「ペイント」アプリケーションが、対話型ディスプレイ表面64の周囲に複数のユーザを有する可能性があり、ユーザは、様々な「色」、サウンド、および他の効果を選択するためにユーザ入力コントロール部にたやすくアクセスできなければならない。この例では、ユーザは、対話型ディスプレイ表面の一「側面」に対する相対的なユーザの位置にかかわりなく、特定の所望のアプリケーション機能にアクセスするために(例えば、異なる色範囲などを選択するために)コントロールを対話型ディスプレイ表面の回りで回転させることを望んでもよい。この形で、たやすく向き付け可能なGUIは、所望の機能性へのユーザのアクセスを容易にする。
様々な実施態様を、新規と考えられるものを実践するための好ましい形態およびその修正形態に関して説明したが、当業者は、多数の他の変更を、添付の特許請求の範囲内でこれらの実施態様に対して行うことができることを理解するであろう。したがって、本願によって新規と認められるものの範囲は、いかなる形でも上の説明によって限定されるのではなく、添付の特許請求の範囲を参照することのみによって決定される。
排他的権利が請求される新規の諸態様は、添付の特許請求の範囲によって定義される。
対話型ディスプレイ表面に提示されたユーザインターフェースを動的に向き付ける本技法を実践する際に対話型ディスプレイ表面と共に使用するのに適した、一般的に従来のコンピューティングデバイスまたはパーソナルコンピュータ(PC)を示す機能ブロック図である。 一体型PCを含む対話型ディスプレイテーブルの最上部の対話型ディスプレイ表面を有する、1つの例示的実施形態の内部コンポーネントを示す断面図である。 対話型ディスプレイテーブルが外部PCに接続される例示的実施形態を示す等角図である。 動的に向き付け可能なユーザ入力コントロール部を有するユーザインターフェースを構成する例示的方法のステップを示す流れ図である。 ユーザ入力に応答して動的に向き付け可能なユーザ入力コントロール部を有するユーザインターフェースを構成する例示的方法のステップを示す流れ図である。 動的に向き付け可能なユーザインターフェースを含む対話型ディスプレイ表面を示す概略上面図である。 図6Aに示されたユーザインターフェースが対話型ディスプレイ表面の異なる側にいるユーザによる対話のためにどのように再向き付けされたかを示す、動的に向き付け可能なユーザインターフェースを含む対話型ディスプレイ表面を示す概略上面図である。 動的に向き付け可能なユーザインターフェースを含む対話型ディスプレイ表面を示す概略上面図である。 ユーザインターフェースが再向き付けされた後の、図7Aの動的に向き付け可能なユーザインターフェースを示す対話型ディスプレイ表面を示す概略上面図である。

Claims (15)

  1. コンピュータによって実施される、動的に向き付け可能なユーザ入力コントロール部を有する対話型ディスプレイのユーザインターフェースを制御する方法であって、
    (a)たやすく向き付け可能になるように、対話型ディスプレイテーブルの主グラフィカルユーザインターフェース(GUI)の部分を選択するステップであって、前記主GUIは前記対話型ディスプレイテーブルの周辺部に沿って配置される、ステップと、
    (b)前記選択された部分内で向き付け可能GUIを生成するステップであって、前記向き付け可能GUIはユーザ入力コントロール部を少なくとも1つ含み、該ユーザ入力コントロール部は、前記向き付け可能GUIへのユーザ入力に基づいて前記選択された部分の中で動的に再向き付けされ得、前記向き付け可能GUIは、前記対話型ディスプレイテーブルの周辺部に沿って回転されることによって向き付けられる、ステップと
    (c)前記向き付け可能GUIで、前記対話型ディスプレイテーブルにわたるユーザの指のスライドを含むユーザ入力を受け取り、これに応答して、前記少なくとも1つのユーザ入力コントロール部の、前記選択された部分内の所定の位置に対する相対的な現在位置を識別するステップと、
    (d)前記現在位置に対して相対的に前記少なくとも1つのユーザ入力コントロール部を回転するというユーザ呼び出しを、前記ユーザ入力が示すかどうかを判定するステップと、
    (e)前記選択された部分内における前記少なくとも1つのユーザコントロール部の前記所定の位置に対する相対的な再向き付けを実施するために、前記向き付け可能GUIを動的に描画するステップであって、
    (i)ユーザの指が前記対話型ディスプレイテーブルにわたってスライドする速さおよび方向を判定するステップと、
    (ii)前記向き付け可能GUIが動的に描画される際、前記少なくとも1つのユーザコントロール部に適用すべき回転の速さおよび方向を計算するステップであって、前記計算される速さは、前記ユーザの指が前記対話型ディスプレイテーブルにわたってスライドする際の前記判定された速さに等しい、ステップと、
    (iii)前記向き付け可能GUIが動的に描画される際、前記少なくとも1つのユーザコントロール部の回転の前記速さおよび方向を動的に制御するために、前記少なくとも1つのユーザコントロール部に計算された回転の速さおよび方向を適用するステップであって、前記計算された回転の速さおよび方向を適用することにより、前記少なくとも1つのユーザコントロール部は、前記計算された速さで、前記計算された方向に回転を開始し、前記ユーザ入力を受信した後、前記少なくとも1つのユーザコントロール部を回転するというユーザ呼び出しを示す他のいずれの入力も受信しない場合であっても、前記計算された速さで前記計算された方向に回転し続ける、ステップと、
    (iv)前記ユーザ入力の判定された速さに比例するブレーキングパラメータを計算するステップであって、前記ブレーキングパラメータは、前記少なくとも1つのユーザコントロール部の回転の前記計算された速さの減衰の割合を定義し、前記少なくとも1つのユーザコントロール部の回転の前記計算された速さに前記ブレーキングパラメータを適用することにより、前記回転は減衰の前記割合に従って前記ブレーキングパラメータにより減速する、ステップと
    を含む、ステップと
    を含むことを特徴とする方法。
  2. 前記ユーザ入力がいつ、前記向き付け可能GUIで受け取られたかを識別する前記ステップは、前記選択された部分の少なくともすぐ近くの物体を検出するステップをさらに含むことを特徴とする請求項に記載の方法。
  3. 前記少なくとも1つのユーザコントロール部の呼び出しを前記ユーザ入力が示すかどうかを判定し、示す場合に、前記少なくとも1つのユーザコントロール部に関連する所定の機能を実施するステップをさらに含むことを特徴とする請求項1に記載の方法。
  4. 前記選択された部分は、少なくとも部分的に前記主GUIの付近に延びることを特徴とする請求項1に記載の方法。
  5. 前記少なくとも1つのユーザコントロール部は、前記選択された部分内において延びる経路に沿って移動可能であることを特徴とする請求項に記載の方法。
  6. 前記選択された部分は、前記主GUIの周辺の付近で連続的であることを特徴とする請求項に記載の方法。
  7. (a)対話型ディスプレイテーブルの主ディスプレイフィールド内の副ディスプレイフィールドとしての向き付け可能グラフィカルインターフェース(GUI)を選択的に呼び出すステップであって、前記主ディスプレイフィールドは前記対話型ディスプレイテーブルの周辺部に沿って配置される、ステップと、
    (b)前記呼び出しに応答して前記向き付け可能GUIを生成するステップであって、前記向き付け可能GUIは前記主ディスプレイフィールド内の前記対話型ディスプレイテーブルの周辺部の周りに延び、前記向き付け可能GUIは、前記対話型ディスプレイテーブルに沿って配置される複数のユーザ入力フィールドを含み、前記向き付け可能GUIへのユーザ入力に応答して、前記向き付け可能GUIの少なくとも一部分の動的再向き付けを可能にするように構成され、前記向き付け可能GUIは、前記対話型ディスプレイテーブルの周辺部に沿って回転されることによって向き付けられる、生成するステップと、
    (c)前記向き付け可能GUIでユーザ入力を受信するとき、前記複数のユーザ入力フィールドのうちの1つを選択するために、前記向き付け可能GUIの前記複数のユーザ入力フィールドのうちの1つ上の前記対話型ディスプレイテーブルの部分に触れるユーザ入力を識別するステップであって、前記ユーザ入力は前記対話型ディスプレイテーブルにわたるユーザの指のスライドを含み、これに応答して、前記複数のユーザ入力フィールドを回転するというユーザ呼び出しを、前記ユーザ入力が示すかどうかを判定する、ステップと、
    (d)前記ユーザ入力に応答して、前記複数のユーザ入力フィールドを回転するために、前記向き付け可能GUIを動的に描画するステップであって、
    (i)ユーザの指が前記対話型ディスプレイテーブルにわたってスライドする速さおよび方向を判定するステップと、
    (ii)前記向き付け可能GUIが動的に描画される際、前記複数のユーザ入力フィールドに適用すべき回転の速さおよび方向を計算するステップであって、前記計算される速さは、前記ユーザの指が前記対話型ディスプレイテーブルにわたってスライドする際の前記判定された速さに等しい、ステップと、
    (iii)前記向き付け可能GUIが動的に描画される際、前記複数のユーザ入力フィールドの回転の前記速さおよび方向を動的に制御するために、前記複数のユーザ入力フィールドに計算された回転の速さおよび方向を適用するステップであって、前記計算された回転の速さおよび方向を適用することにより、前記複数のユーザ入力フィールドは、前記計算された速さで、前記計算された方向に回転を開始し、前記ユーザ入力を受信した後、前記複数のユーザ入力フィールドを回転するというユーザ呼び出しを示すユーザ入力がやんだ後も、前記計算された速さで前記計算された方向に回転し続ける、ステップと、
    (iv)前記ユーザ入力の判定された速さに比例するブレーキングパラメータを計算するステップであって、前記ブレーキングパラメータは、前記複数のユーザ入力フィールドの回転の前記計算された速さの減衰の割合を定義し、前記複数のユーザ入力フィールドの回転の前記速さに前記ブレーキングパラメータを適用することにより、前記回転は減衰の前記割合に従って前記ブレーキングパラメータにより停止する、ステップと
    を含む、ステップと
    を含む、複数の機能を実行するコンピュータ実行可能命令を格納されたことを特徴とするコンピュータ可読記録媒体。
  8. 前記機能は、前記向き付け可能GUIの、前記主ディスプレイフィールドの周辺の付近の所定の位置に対する相対的な現在の配置を識別するステップをさらに含むことを特徴とする請求項に記載のコンピュータ可読記録媒体。
  9. 前記複数のユーザ入力フィールドは、前記所定の位置に対して相対的に回転することを特徴とする請求項に記載のコンピュータ可読記録媒体。
  10. 前記機能は、前記向き付け可能GUIが対話型ディスプレイ表面に表示されるときに、前記向き付け可能GUI内の前記複数のユーザ入力フィールドのうちの少なくとも1つの、すぐ近くの物体を検出するステップをさらに含むことを特徴とする請求項に記載のコンピュータ可読記録媒体。
  11. 前記機能は、前記ユーザ入力が前記複数のユーザ入力フィールドのうちの1つの呼び出しを示すかどうかを判定し、示す場合には、前記呼び出されたユーザ入力フィールドに関連する所定の機能を実施するステップをさらに含むことを特徴とする請求項に記載のコンピュータ可読記録媒体。
  12. 前記所定の機能は、
    (a)前記向き付け可能GUIを制御するのに使用されるプロセスとは独立のプロセスを呼び出すステップと、
    (b)前記向き付け可能GUIを制御するのに使用される前記プロセスとは独立のプロセスにユーザコントロール部を提供するステップと、
    (c)前記向き付け可能GUIを制御している前記プロセスにユーザコントロール部を提供するステップと、
    (d)プロセスを終了するステップと
    のうちの少なくとも1つを含むことを特徴とする請求項11に記載のコンピュータ可読記録媒体。
  13. 動的に向き付け可能なユーザインターフェースを制御する対話型ディスプレイシステムであって、
    (a)グラフィックイメージをその上に表示可能である対話型ディスプレイ表面と、
    (b)前記対話型ディスプレイ表面に前記グラフィックイメージを投影し、前記対話型ディスプレイ表面へのユーザ入力を検出する光学系と、
    (c)前記光学系と通信するコンピューティングシステムであって、前記コンピューティングシステムは、プロセッサおよび前記プロセッサと通信するメモリを含み、前記メモリは、
    (i)向き付け可能GUIを生成し、前記対話型ディスプレイ表面の選択された部分に表示するステップであって、前記向き付け可能GUIは、少なくとも1つのユーザ入力コントロール部を含み、前記対話型ディスプレイ表面に表示される他のグラフィックイメージとは独立であり、さらに、前記向き付け可能GUIへのユーザ入力に応答して前記選択された部分内で動的に再向き付けされ得、前記向き付け可能GUIは、前記対話型ディスプレイテーブルの周辺部に沿って回転されることによって向き付けられる、ステップと
    (ii)前記向き付け可能GUIを表示している前記対話型ディスプレイテーブルの部部へのユーザ入力を検出し、これに応答して、前記ユーザ入力を分析するステップであって、前記ユーザ入力は、前記対話型ディスプレイテーブルにわたるユーザの指のスライドを含む、ステップと、
    (iii)分析された前記ユーザ入力に基づいて、異なる向きでの表示をするための前記向き付け可能GUIを動的に描画するステップであって、
    (1)ユーザの指が前記対話型ディスプレイテーブルにわたってスライドする速さおよび方向を判定するステップと、
    (2)前記向き付け可能GUIが動的に描画される際、前記少なくとも1つのユーザコントロール部に適用すべき回転の速さおよび方向を計算するステップであって、前記計算される速さは、前記ユーザの指が前記対話型ディスプレイテーブルにわたってスライドする際の前記判定された速さに等しい、ステップと、
    (3)前記向き付け可能GUIが動的に描画される際、前記少なくとも1つのユーザコントロール部の回転の前記速さおよび方向を動的に制御するために、前記少なくとも1つのユーザコントロール部に計算された回転の速さおよび方向を適用するステップであって、前記計算された回転の速さおよび方向を適用することにより、前記少なくとも1つのユーザコントロール部は、前記計算された速さで、前記計算された方向に回転を開始し、前記ユーザ入力を受信した後、前記少なくとも1つのユーザコントロール部を回転するというユーザ呼び出しを示すユーザ入力がやんだ後も、前記計算された速さで前記計算された方向に回転し続ける、ステップと、
    (4)前記ユーザ入力の判定された速さに比例するブレーキングパラメータを計算するステップであって、前記ブレーキングパラメータは、前記少なくとも1つのユーザコントロール部の回転の前記計算された速さの減衰の割合を定義し、前記少なくとも1つのユーザコントロール部の回転の前記計算された速さに前記ブレーキングパラメータを適用することにより、前記回転は減衰の前記割合に従って前記ブレーキングパラメータにより停止する、ステップと
    を含む、ステップと
    を含む複数の対話型ディスプレイ機能を前記プロセッサに実行させる機械命令を格納する、コンピューティングシステムと
    を含むことを特徴とするシステム。
  14. 前記回転は、前記ブレーキングパラメータによって停止することを特徴とする請求項1に記載の方法。
  15. 前記向き付け可能GUIでさらなるユーザ入力を受信するステップであって、前記さらなるユーザ入力に応答して、前記少なくとも1つのユーザコントロール部の前記回転を停止することを特徴とする請求項1に記載の方法。
JP2008548519A 2005-12-29 2006-11-22 向き変更可能なユーザインターフェース Expired - Fee Related JP4980368B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/321,551 US8060840B2 (en) 2005-12-29 2005-12-29 Orientation free user interface
US11/321,551 2005-12-29
PCT/US2006/045368 WO2007078462A1 (en) 2005-12-29 2006-11-22 Orientation free user interface

Publications (2)

Publication Number Publication Date
JP2009522640A JP2009522640A (ja) 2009-06-11
JP4980368B2 true JP4980368B2 (ja) 2012-07-18

Family

ID=38226107

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008548519A Expired - Fee Related JP4980368B2 (ja) 2005-12-29 2006-11-22 向き変更可能なユーザインターフェース

Country Status (8)

Country Link
US (2) US8060840B2 (ja)
EP (1) EP1969451A1 (ja)
JP (1) JP4980368B2 (ja)
KR (1) KR20080078699A (ja)
CN (1) CN101351766B (ja)
CA (1) CA2631384A1 (ja)
IL (1) IL191817A0 (ja)
WO (1) WO2007078462A1 (ja)

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050227217A1 (en) * 2004-03-31 2005-10-13 Wilson Andrew D Template matching on interactive surface
US7394459B2 (en) 2004-04-29 2008-07-01 Microsoft Corporation Interaction between objects and a virtual environment display
US7787706B2 (en) * 2004-06-14 2010-08-31 Microsoft Corporation Method for controlling an intensity of an infrared source used to detect objects adjacent to an interactive display surface
US7593593B2 (en) * 2004-06-16 2009-09-22 Microsoft Corporation Method and system for reducing effects of undesired signals in an infrared imaging system
US7519223B2 (en) * 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
US7576725B2 (en) * 2004-10-19 2009-08-18 Microsoft Corporation Using clear-coded, see-through objects to manipulate virtual objects
US7499027B2 (en) 2005-04-29 2009-03-03 Microsoft Corporation Using a light pointer for input on an interactive display surface
US7525538B2 (en) * 2005-06-28 2009-04-28 Microsoft Corporation Using same optics to image, illuminate, and project
US7911444B2 (en) 2005-08-31 2011-03-22 Microsoft Corporation Input method for surface of interactive display
US7721208B2 (en) * 2005-10-07 2010-05-18 Apple Inc. Multi-media center for computing systems
US7966577B2 (en) 2005-10-11 2011-06-21 Apple Inc. Multimedia control center
US7515143B2 (en) 2006-02-28 2009-04-07 Microsoft Corporation Uniform illumination of interactive display panel
US8832575B2 (en) * 2006-09-26 2014-09-09 Core Wireless Licensing S.A.R.L Speed dependent displaying of information items in a graphical user interface
US8212857B2 (en) 2007-01-26 2012-07-03 Microsoft Corporation Alternating light sources to reduce specular reflection
US8185839B2 (en) 2007-06-09 2012-05-22 Apple Inc. Browsing or searching user interfaces and other aspects
US8201096B2 (en) 2007-06-09 2012-06-12 Apple Inc. Browsing or searching user interfaces and other aspects
US8667413B2 (en) * 2008-02-14 2014-03-04 Creative Technology Ltd Apparatus and method for information input in an electronic device with display
US7930642B1 (en) 2008-03-20 2011-04-19 Intuit Inc. System and method for interacting with hard copy documents
US8584029B1 (en) 2008-05-23 2013-11-12 Intuit Inc. Surface computer system and method for integrating display of user interface with physical objects
US8219062B2 (en) * 2008-07-23 2012-07-10 International Business Machines Corporation Ambient information for usage of wireless communication devices
US20100095250A1 (en) * 2008-10-15 2010-04-15 Raytheon Company Facilitating Interaction With An Application
JP4816713B2 (ja) * 2008-11-25 2011-11-16 ソニー株式会社 情報処理装置、情報処理方法および情報処理用プログラム
KR100978492B1 (ko) * 2008-12-16 2010-08-30 주식회사 셀런 온스크린 키보드 생성 방법
EP2270640A1 (fr) 2009-06-26 2011-01-05 France Telecom Procédé de gestion de l'affichage d'une fenêtre d'une application sur un écran, un programme et un terminal l'utilisant
US8817048B2 (en) 2009-07-17 2014-08-26 Apple Inc. Selective rotation of a user interface
US20110113368A1 (en) * 2009-11-06 2011-05-12 Santiago Carvajal Audio/Visual Device Graphical User Interface
US9354726B2 (en) 2009-11-06 2016-05-31 Bose Corporation Audio/visual device graphical user interface submenu
US8601394B2 (en) * 2009-11-06 2013-12-03 Bose Corporation Graphical user interface user customization
EP2524281A1 (en) * 2010-01-13 2012-11-21 Yoram Ghassabian Information input keyboard and keyboard locator associated therewith
US20110234493A1 (en) * 2010-03-26 2011-09-29 Disney Enterprises, Inc. System and method for interacting with display floor using multi-touch sensitive surround surfaces
CN102314294A (zh) * 2010-06-29 2012-01-11 宏碁股份有限公司 执行应用程序的方法
KR101780020B1 (ko) * 2010-09-02 2017-09-19 삼성전자주식회사 인터페이스 방법 및 장치
US20120086643A1 (en) * 2010-10-07 2012-04-12 Microsoft Corporation Keyboard device with optically enhanced display output
JP5766083B2 (ja) * 2011-09-28 2015-08-19 京セラ株式会社 携帯電子機器
JP5189197B1 (ja) * 2011-10-27 2013-04-24 シャープ株式会社 携帯情報端末
US9367233B2 (en) 2011-10-31 2016-06-14 Samsung Electronics Co., Ltd. Display apparatus and method thereof
DE102012110278A1 (de) * 2011-11-02 2013-05-02 Beijing Lenovo Software Ltd. Verfahren und Vorrichtungen zur Fensterdarstellung und Verfahren und Vorrichtungen zur Berührungsbedienung von Anwendungen
US9690396B1 (en) * 2011-12-15 2017-06-27 Brian R. Kubica Paperless blueprint drafting table system
US8943411B1 (en) * 2012-03-06 2015-01-27 Amdocs Software Systems Limited System, method, and computer program for displaying controls to a user
US20130290867A1 (en) * 2012-04-27 2013-10-31 Litera Technologies, LLC Systems and Methods For Providing Dynamic and Interactive Viewing and Control of Applications
CN103838489A (zh) * 2012-11-27 2014-06-04 联想(北京)有限公司 一种显示方法及电子设备
US20140298246A1 (en) * 2013-03-29 2014-10-02 Lenovo (Singapore) Pte, Ltd. Automatic display partitioning based on user number and orientation
WO2015038101A1 (en) * 2013-09-10 2015-03-19 Hewlett-Packard Development Company, L.P. Orient a user interface to a side
US9483087B2 (en) * 2013-11-29 2016-11-01 At&T Intellectual Property I, L.P. Multi-orientation mobile device, computer-readable storage unit therefor, and methods for using the same
US10932103B1 (en) * 2014-03-21 2021-02-23 Amazon Technologies, Inc. Determining position of a user relative to a tote
KR102302353B1 (ko) 2014-07-31 2021-09-15 삼성전자 주식회사 전자 장치 및 이의 ui 표시 방법
GB201513371D0 (en) * 2015-07-29 2015-09-09 Videojet Technologies Inc A machine and method for its operation
WO2017151136A1 (en) * 2016-03-03 2017-09-08 Hewlett-Packard Development Company, L.P. Input axis rotations
TWI653563B (zh) * 2016-05-24 2019-03-11 仁寶電腦工業股份有限公司 投影觸控的圖像選取方法
JP6195646B1 (ja) * 2016-06-17 2017-09-13 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、入力方法、及びプログラム

Family Cites Families (114)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2692863B2 (ja) 1988-06-24 1997-12-17 株式会社東芝 無線電話装置
US4992650A (en) 1990-03-29 1991-02-12 International Business Machines Corporation Method and apparatus for barcode recognition in a digital image
US5483261A (en) 1992-02-14 1996-01-09 Itu Research, Inc. Graphical input controller and method with rear screen image detection
US5319214A (en) * 1992-04-06 1994-06-07 The United States Of America As Represented By The Secretary Of The Army Infrared image projector utilizing a deformable mirror device spatial light modulator
US6262784B1 (en) * 1993-06-01 2001-07-17 Samsung Electronics Co., Ltd Active matrix display devices having improved opening and contrast ratios and methods of forming same and a storage electrode line
US5821930A (en) * 1992-08-23 1998-10-13 U S West, Inc. Method and system for generating a working window in a computer system
US7084859B1 (en) 1992-09-18 2006-08-01 Pryor Timothy R Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics
US5436639A (en) 1993-03-16 1995-07-25 Hitachi, Ltd. Information processing system
US5526177A (en) 1994-02-14 1996-06-11 Mobi Corporation Dual-view, immersible periscope
US5528263A (en) 1994-06-15 1996-06-18 Daniel M. Platzker Interactive projected video image display system
JP3416268B2 (ja) 1994-06-30 2003-06-16 キヤノン株式会社 画像認識装置及びその方法
US5835692A (en) * 1994-11-21 1998-11-10 International Business Machines Corporation System and method for providing mapping notation in interactive video displays
US5900863A (en) 1995-03-16 1999-05-04 Kabushiki Kaisha Toshiba Method and apparatus for controlling computer without touching input device
US5831601A (en) * 1995-06-07 1998-11-03 Nview Corporation Stylus position sensing and digital camera with a digital micromirror device
EP0872758A4 (en) 1995-10-12 1999-08-04 Ibm Japan TRANSPARENT MATERIAL, PLANAR LIGHT SOURCE AND LIQUID CRYSTAL DISPLAY DEVICE
US5920688A (en) * 1995-11-13 1999-07-06 International Business Machines Corporation Method and operating system for manipulating the orientation of an output image of a data processing system
US6750877B2 (en) * 1995-12-13 2004-06-15 Immersion Corporation Controlling haptic feedback for enhancing navigation in a graphical environment
IL119498A (en) 1996-10-27 2003-02-12 Advanced Recognition Tech Application launching system
GB9622556D0 (en) * 1996-10-30 1997-01-08 Philips Electronics Nv Cursor control with user feedback mechanism
DE69626208T2 (de) 1996-12-20 2003-11-13 Hitachi Europ Ltd Verfahren und System zur Erkennung von Handgesten
US6266061B1 (en) 1997-01-22 2001-07-24 Kabushiki Kaisha Toshiba User interface apparatus and operation range presenting method
FR2765607B1 (fr) 1997-07-04 1999-09-10 Manuf Stephanoise De Transform Dispositif connecteur d'arceaux de tente
JP3968477B2 (ja) 1997-07-07 2007-08-29 ソニー株式会社 情報入力装置及び情報入力方法
US6720949B1 (en) 1997-08-22 2004-04-13 Timothy R. Pryor Man machine interfaces and applications
US6088019A (en) * 1998-06-23 2000-07-11 Immersion Corporation Low cost force feedback device with actuator for non-primary axis
US6613100B2 (en) * 1997-11-26 2003-09-02 Intel Corporation Method and apparatus for displaying miniaturized graphical representations of documents for alternative viewing selection
US5940076A (en) * 1997-12-01 1999-08-17 Motorola, Inc. Graphical user interface for an electronic device and method therefor
US6181343B1 (en) 1997-12-23 2001-01-30 Philips Electronics North America Corp. System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs
JP2938420B2 (ja) * 1998-01-30 1999-08-23 インターナショナル・ビジネス・マシーンズ・コーポレイション ファンクション選択方法及び装置、ファンクションを選択するための制御プログラムを格納した記憶媒体、オブジェクトの操作方法及び装置、オブジェクトを操作するための制御プログラムを格納した記憶媒体、複合アイコンを格納した記憶媒体
US5973315A (en) 1998-02-18 1999-10-26 Litton Systems, Inc. Multi-functional day/night observation, ranging, and sighting device with active optical target acquisition and method of its operation
US6154214A (en) * 1998-03-20 2000-11-28 Nuvomedia, Inc. Display orientation features for hand-held content display device
US6448987B1 (en) * 1998-04-03 2002-09-10 Intertainer, Inc. Graphic user interface for a digital content delivery system using circular menus
US6269172B1 (en) 1998-04-13 2001-07-31 Compaq Computer Corporation Method for tracking the motion of a 3-D figure
US6111565A (en) * 1998-05-14 2000-08-29 Virtual Ink Corp. Stylus for use with transcription system
US7268774B2 (en) * 1998-08-18 2007-09-11 Candledragon, Inc. Tracking motion of a writing instrument
US6088482A (en) * 1998-10-22 2000-07-11 Symbol Technologies, Inc. Techniques for reading two dimensional code, including maxicode
DE19917660A1 (de) 1999-04-19 2000-11-02 Deutsch Zentr Luft & Raumfahrt Verfahren und Eingabeeinrichtung zum Steuern der Lage eines in einer virtuellen Realität graphisch darzustellenden Objekts
US6614422B1 (en) 1999-11-04 2003-09-02 Canesta, Inc. Method and apparatus for entering data using a virtual input device
US6522395B1 (en) 1999-04-30 2003-02-18 Canesta, Inc. Noise reduction techniques suitable for three-dimensional information acquirable with CMOS-compatible image sensor ICS
US6433907B1 (en) 1999-08-05 2002-08-13 Microvision, Inc. Scanned display with plurality of scanning assemblies
GB9920327D0 (en) * 1999-08-28 1999-11-03 Koninkl Philips Electronics Nv Menu display for a graphical user interface
US6529183B1 (en) 1999-09-13 2003-03-04 Interval Research Corp. Manual interface combining continuous and discrete capabilities
US6710770B2 (en) 2000-02-11 2004-03-23 Canesta, Inc. Quasi-three-dimensional method and apparatus to detect and localize interaction of user-object and virtual transfer device
JP2001183994A (ja) 1999-12-27 2001-07-06 Sony Corp 画像表示装置
JP2001282445A (ja) * 2000-03-31 2001-10-12 Ricoh Co Ltd 座標入力/検出装置および情報表示入力装置
US6690363B2 (en) 2000-06-19 2004-02-10 Next Holdings Limited Touch panel display system
US6812907B1 (en) 2000-07-19 2004-11-02 Hewlett-Packard Development Company, L.P. Segmented electronic display
US7161578B1 (en) 2000-08-02 2007-01-09 Logitech Europe S.A. Universal presentation device
US6714221B1 (en) * 2000-08-03 2004-03-30 Apple Computer, Inc. Depicting and setting scroll amount
US6791530B2 (en) * 2000-08-29 2004-09-14 Mitsubishi Electric Research Laboratories, Inc. Circular graphical user interfaces
US7327376B2 (en) * 2000-08-29 2008-02-05 Mitsubishi Electric Research Laboratories, Inc. Multi-user collaborative graphical user interfaces
US6788813B2 (en) 2000-10-27 2004-09-07 Sony Corporation System and method for effectively performing a white balance operation
US7095401B2 (en) 2000-11-02 2006-08-22 Siemens Corporate Research, Inc. System and method for gesture interface
US6781069B2 (en) 2000-12-27 2004-08-24 Hewlett-Packard Development Company, L.P. Method and apparatus for virtual interaction with physical documents
US6600475B2 (en) 2001-01-22 2003-07-29 Koninklijke Philips Electronics N.V. Single camera system for gesture-based input and target indication
US6925611B2 (en) * 2001-01-31 2005-08-02 Microsoft Corporation Navigational interface for mobile and wearable computers
US6520648B2 (en) 2001-02-06 2003-02-18 Infocus Corporation Lamp power pulse modulation in color sequential projection displays
US6895104B2 (en) * 2001-02-16 2005-05-17 Sac Technologies, Inc. Image identification system
US6888960B2 (en) 2001-03-28 2005-05-03 Nec Corporation Fast optimal linear approximation of the images of variably illuminated solid objects for recognition
US6804396B2 (en) 2001-03-28 2004-10-12 Honda Giken Kogyo Kabushiki Kaisha Gesture recognition system
US6959102B2 (en) 2001-05-29 2005-10-25 International Business Machines Corporation Method for increasing the signal-to-noise in IR-based eye gaze trackers
US6478432B1 (en) * 2001-07-13 2002-11-12 Chad D. Dyner Dynamically generated interactive real imaging device
US7007236B2 (en) * 2001-09-14 2006-02-28 Accenture Global Services Gmbh Lab window collaboration
US6663244B1 (en) * 2001-12-14 2003-12-16 Infocus Corporation Illumination field blending for use in subtitle projection systems
US20040005920A1 (en) 2002-02-05 2004-01-08 Mindplay Llc Method, apparatus, and article for reading identifying information from, for example, stacks of chips
US7340077B2 (en) 2002-02-15 2008-03-04 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US7305115B2 (en) 2002-02-22 2007-12-04 Siemens Energy And Automation, Inc. Method and system for improving ability of a machine vision system to discriminate features of a target
JP2003258189A (ja) 2002-03-01 2003-09-12 Toshiba Corp 半導体装置及びその製造方法
US20050122308A1 (en) 2002-05-28 2005-06-09 Matthew Bell Self-contained interactive video display system
JP2004259247A (ja) * 2002-06-21 2004-09-16 Mitsubishi Electric Research Laboratories Inc マルチユーザコラボラティブ円形グラフィカルユーザインタフェース
US20040001113A1 (en) 2002-06-28 2004-01-01 John Zipperer Method and apparatus for spline-based trajectory classification, gesture detection and localization
AU2003262746A1 (en) 2002-08-20 2004-03-11 Fusionarc, Inc. Method of multiple algorithm processing of biometric data
US7120280B2 (en) 2002-09-27 2006-10-10 Symbol Technologies, Inc. Fingerprint template generation, verification and identification system
US20060034492A1 (en) 2002-10-30 2006-02-16 Roy Siegel Hand recognition system
US7390092B2 (en) 2002-11-08 2008-06-24 Belliveau Richard S Image projection lighting devices with visible and infrared imaging
US6840627B2 (en) 2003-01-21 2005-01-11 Hewlett-Packard Development Company, L.P. Interactive display device
JP4369922B2 (ja) 2003-03-07 2009-11-25 日本電信電話株式会社 生体画像照合装置およびその照合方法
US7665041B2 (en) 2003-03-25 2010-02-16 Microsoft Corporation Architecture for controlling a computer using hand gestures
JP2004304718A (ja) 2003-04-01 2004-10-28 Nara Institute Of Science & Technology 近接領域画像抽出装置及び近接領域画像抽出方法
JP2004319364A (ja) 2003-04-18 2004-11-11 Alps Electric Co Ltd 照明装置および液晶表示装置
WO2004107266A1 (en) 2003-05-29 2004-12-09 Honda Motor Co., Ltd. Visual tracking using depth data
JP4517601B2 (ja) 2003-07-09 2010-08-04 ソニー株式会社 投射型画像表示装置
EP1510911A3 (en) * 2003-08-28 2006-03-22 Sony Corporation Information processing apparatus, information processing method, information processing program and storage medium containing information processing program
US20050122306A1 (en) 2003-10-29 2005-06-09 E Ink Corporation Electro-optic displays with single edge addressing and removable driver circuitry
KR100588042B1 (ko) * 2004-01-14 2006-06-09 한국과학기술연구원 인터액티브 프레젠테이션 시스템
US20050255434A1 (en) * 2004-02-27 2005-11-17 University Of Florida Research Foundation, Inc. Interactive virtual characters for training including medical diagnosis training
US20050212753A1 (en) * 2004-03-23 2005-09-29 Marvit David L Motion controlled remote controller
US7204428B2 (en) 2004-03-31 2007-04-17 Microsoft Corporation Identification of object on interactive display surface by identifying coded pattern
US7379562B2 (en) 2004-03-31 2008-05-27 Microsoft Corporation Determining connectedness and offset of 3D objects relative to an interactive surface
US20050227217A1 (en) 2004-03-31 2005-10-13 Wilson Andrew D Template matching on interactive surface
US20050229102A1 (en) * 2004-04-12 2005-10-13 Microsoft Corporation System and method for providing an interactive display
US7379563B2 (en) * 2004-04-15 2008-05-27 Gesturetek, Inc. Tracking bimanual movements
EP2408192A3 (en) 2004-04-16 2014-01-01 James A. Aman Multiple view compositing and object tracking system
US7310085B2 (en) 2004-04-22 2007-12-18 International Business Machines Corporation User interactive computer controlled display system enabling a user remote from a display screen to make interactive selections on the display screen with a laser beam projected onto the display screen
US7394459B2 (en) 2004-04-29 2008-07-01 Microsoft Corporation Interaction between objects and a virtual environment display
US7397464B1 (en) * 2004-04-30 2008-07-08 Microsoft Corporation Associating application states with a physical object
US7467380B2 (en) * 2004-05-05 2008-12-16 Microsoft Corporation Invoking applications with virtual objects on an interactive display
US7404146B2 (en) * 2004-05-27 2008-07-22 Agere Systems Inc. Input device for portable handset
US7787706B2 (en) 2004-06-14 2010-08-31 Microsoft Corporation Method for controlling an intensity of an infrared source used to detect objects adjacent to an interactive display surface
US7593593B2 (en) 2004-06-16 2009-09-22 Microsoft Corporation Method and system for reducing effects of undesired signals in an infrared imaging system
US7168813B2 (en) * 2004-06-17 2007-01-30 Microsoft Corporation Mediacube
US7519223B2 (en) 2004-06-28 2009-04-14 Microsoft Corporation Recognizing gestures and using gestures for interacting with software applications
JP2006031941A (ja) 2004-07-12 2006-02-02 Sharp Corp 面状光源ユニット
US8560972B2 (en) * 2004-08-10 2013-10-15 Microsoft Corporation Surface UI for gesture-based interaction
US7576725B2 (en) 2004-10-19 2009-08-18 Microsoft Corporation Using clear-coded, see-through objects to manipulate virtual objects
US8137195B2 (en) * 2004-11-23 2012-03-20 Hillcrest Laboratories, Inc. Semantic gaming and application transformation
US7813597B2 (en) 2005-03-18 2010-10-12 The Invention Science Fund I, Llc Information encoded in an expression
US7499027B2 (en) 2005-04-29 2009-03-03 Microsoft Corporation Using a light pointer for input on an interactive display surface
US7911444B2 (en) 2005-08-31 2011-03-22 Microsoft Corporation Input method for surface of interactive display
US7828527B2 (en) * 2005-09-13 2010-11-09 Illinois Tool Works Inc. Paint circulating system and method
US20070063981A1 (en) 2005-09-16 2007-03-22 Galyean Tinsley A Iii System and method for providing an interactive interface
US7907117B2 (en) * 2006-08-08 2011-03-15 Microsoft Corporation Virtual controller for visual displays
JP4356717B2 (ja) * 2006-08-11 2009-11-04 セイコーエプソン株式会社 液体収容容器
US9171454B2 (en) * 2007-11-14 2015-10-27 Microsoft Technology Licensing, Llc Magic wand

Also Published As

Publication number Publication date
KR20080078699A (ko) 2008-08-27
US20120023423A1 (en) 2012-01-26
CN101351766A (zh) 2009-01-21
JP2009522640A (ja) 2009-06-11
IL191817A0 (en) 2009-02-11
EP1969451A1 (en) 2008-09-17
WO2007078462A1 (en) 2007-07-12
CA2631384A1 (en) 2007-07-12
US8060840B2 (en) 2011-11-15
US20070157095A1 (en) 2007-07-05
CN101351766B (zh) 2011-08-03

Similar Documents

Publication Publication Date Title
JP4980368B2 (ja) 向き変更可能なユーザインターフェース
US7535463B2 (en) Optical flow-based manipulation of graphical objects
US7168813B2 (en) Mediacube
US7576725B2 (en) Using clear-coded, see-through objects to manipulate virtual objects
US7911444B2 (en) Input method for surface of interactive display
US7535481B2 (en) Orienting information presented to users located at different sides of a display surface
US7379562B2 (en) Determining connectedness and offset of 3D objects relative to an interactive surface
US7519223B2 (en) Recognizing gestures and using gestures for interacting with software applications
US7787706B2 (en) Method for controlling an intensity of an infrared source used to detect objects adjacent to an interactive display surface
US7676767B2 (en) Peel back user interface to show hidden functions
US7552402B2 (en) Interface orientation using shadows
US7612786B2 (en) Variable orientation input mode
US7743348B2 (en) Using physical objects to adjust attributes of an interactive display application
US8416206B2 (en) Method for manipulating a graphic widget in a three-dimensional environment displayed on a touch panel of an interactive input system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20091022

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111213

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120309

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120413

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120418

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150427

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees