JP4284855B2 - 情報入出力システム及び情報入出力方法、並びにプログラム記憶媒体 - Google Patents
情報入出力システム及び情報入出力方法、並びにプログラム記憶媒体 Download PDFInfo
- Publication number
- JP4284855B2 JP4284855B2 JP2000325223A JP2000325223A JP4284855B2 JP 4284855 B2 JP4284855 B2 JP 4284855B2 JP 2000325223 A JP2000325223 A JP 2000325223A JP 2000325223 A JP2000325223 A JP 2000325223A JP 4284855 B2 JP4284855 B2 JP 4284855B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- tile
- physical interface
- interface
- operation surface
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/046—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by electromagnetic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/0486—Drag-and-drop
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/048—Indexing scheme relating to G06F3/048
- G06F2203/04809—Textured surface identifying touch areas, e.g. overlay structure for a virtual keyboard
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Strategic Management (AREA)
- Entrepreneurship & Innovation (AREA)
- Operations Research (AREA)
- Electromagnetism (AREA)
- Economics (AREA)
- Marketing (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
- Input From Keyboards Or The Like (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、コンピュータに対してオブジェクトの操作やコマンド等の入力を行うためのユーザ・インターフェース環境の提案に係り、特に、コンピュータに対してユーザが直感的で分かり易くオブジェクト操作やコマンド入力を行うことができるユーザ・インターフェース環境の提案に関する。
【０００２】
更に詳しくは、本発明は、実空間上に存在する物理インターフェースとコンピュータの論理空間を表示するディスプレイなどの視覚的インターフェースを融合させることによって、直感的で分かり易く表現することができるユーザ・インターフェース環境の提案に係る。特に、各機器間での情報交換など、複数の機器を連携させるための操作を簡単に行なうユーザ・インターフェース環境の提案に関する。
【０００３】
【従来の技術】
昨今の技術革新に伴い、ワークステーションやパーソナル・コンピュータ（ＰＣ）と呼ばれる、比較的小型且つ低価格で、高付加価値化・高機能化された汎用タイプのコンピュータ・システムが開発・市販され、大学その他の研究機関や企業その他のオフィス、さらには一般家庭内の日常生活にも深く浸透している。
【０００４】
コンピュータ・システムは、一般に、ユーザ入力コマンドに応答して駆動し、処理結果をディスプレイ・スクリーン上に表示することによって、「インタラクティブ」、すなわち対話的な処理環境を提供している。最近では、ＤＯＳ（Disk Operating System）シェル画面を代表とする旧来のキーボードを介したキャラクタ・ベースのユーザ入力環境すなわち「ＣＵＩ（Character User Interface）」から、グラフィック・ベースのユーザ入力を実現した「ＧＵＩ（Graphical User Interface）」への移行が挙げられる。ＧＵＩ環境下では、コンピュータ・システムがシミュレートされたデスクトップと無数のアイコンがディスプレイ・スクリーンに用意される。
【０００５】
ＧＵＩが提供されたデスクトップ上では、ファイル等のコンピュータ・システム上で取り扱われる全ての資源オブジェクトはアイコンとして表現される。ユーザは、ディスプレイ・スクリーン上のプログラム、データ、フォルダ、デバイスなどを象徴するアイコンに対してマウスなどを用いて画面上の表示オブジェクトに対して直接操作を印加する（例えば、クリックやドラッグ・アンド・ドロップ）ことで、直感的にコンピュータ操作を行うことができる。また、デスクトップ上には、メニュー・バーやツール・ボックスなど、各種の機能すなわちコンピュータ処理を瞬時に呼び出すためのボタンが用意されており、コマンド入力の様式はますます直感的で分かり易いものとなってきている。
【０００６】
ＧＵＩ環境の導入により、もはやユーザは、特定のコマンドの名称やコマンド操作方法等を特に習得したり、煩雑なキー入力を行わなくとも、コンピュータを充分に操作することができる。
【０００７】
かかるＧＵＩ環境下において利用可能なユーザ入力装置として、例えば、マウスや、トラックポイント、ジョイスティック、タブレット又はタッチパッドなどの座標指示装置が代表的である。このうち、マウスは、コンピュータ業界に深く定着しており、ほとんどのユーザは、ドラッグ・アンド・ドロップを基調とするマウス操作に慣れ親しんでいる。オフィスや家庭などの日常生活の各場面においてコンピュータを新規導入するに際して、マウス操作を特にトレーニングする必要は全くないと言っても過言ではない。マウス操作を基調とするＧＵＩは、既に多くのユーザ間で定着しており、複数の汎用的な機能を提供している。
【０００８】
さらに最近では、コンピュータやその他の情報処理システムへの対話的入出力手法として、実物体を介したインターフェースの研究も盛んになってきている[1,2,3,4]。
【０００９】
このような実物体を用いたインターフェースによれば、ディスプレイ出力を介した画面情報とマウスのような汎用的な入力デバイスに基づく基本的なＧＵＩ操作技法に比し、人間が本来有している現実の事物を取り扱うための洗練された能力を引き出すことができるので、コンピュータ処理に活用することができる可能性がある。
【００１０】
例えば、両手を使って複数の現実物を迅速に操作することができる。また、現実物からの強いアフォーダンス[5]によって、より理解し易く、親しみのあるインターフェースを構成することが可能である。
【００１１】
しかしながら、ユーザ・インターフェースの手段として現実物を導入することによって、ＧＵＩが提供してきた汎用性や可変性が損なわれてしまう。特定目的に適合してデザインされた現実物すなわち物理オブジェクトを、コンピュータ処理など他の目的に転用することは比較的難しい。従来提案されてきたこの種のシステムは、ある特定の用途に特化したものが多く、ＧＵＩのような汎用性のあるプラットフォームとして設計されているものはほとんどない。
【００１２】
また、近年、コンピュータや情報ネットワークへの対話手段が、パーソナル・コンピュータ（ＰＣ）から情報アプライアンスヘと移行する傾向が顕著になってきている。すなわち、ユーザは、単一のコンピュータ・デスクトップ上ですべての仕事を行うのではなく、コンピュータ家電や、携帯機器など多様な機器を利用する頻度が高まってきている。これらの機器の多くは、ＧＵＩを採用する汎用的なコンピュータよりも機能が絞り込まれており、その結果、より簡単なインターフェースが利用可能になっている。したがって、家庭やオフィスにおける多数のコンピュータ（情報アプライアンス）の連携を支援する簡易なインターフェースを設計することが急務であると思料される。
【００１３】
他方、ネットワークの普及などによりコンピューティングが多数の機器に分散すると、各機器間での情報交換など、複数の機器を連携させるための操作がより重要となってくる。
【００１４】
例えば、リビング・ルームでテレビに映っている映像などの情報コンテンツを、携帯電話を使って友人にメールするという操作や、オフィスでホワイト・ボードに書いたメモリを任意の画面と共有したり、プロジェクトに投影したり、といった情報交換のための操作を簡単に行なえるようにするインターフェースが必要である。このような機器の組み合わせや情報の移動形態を事前にすべて予測することは不可能なので、エンドユーザ・レベルで簡単に機能をくみ上げることができるシステム構成が好ましい。
【００１５】
【発明が解決しようとする課題】
本発明の目的は、実空間上に存在する物理インターフェースとコンピュータの論理空間を表示するディスプレイなどの視覚的インターフェースを融合させることによって、直感的で分かり易く表現することができる、優れたユーザ・インターフェース環境を提供することにある。
【００１６】
本発明の更なる目的は、家庭やオフィスにおける多数のコンピュータ（情報アプライアンス）の連携を支援する簡易なユーザ・インターフェース環境を提供することにある。
【００１７】
本発明の更なる目的は、各機器間での情報交換など、複数の機器を連携させるための操作を簡単に行なうことができる、優れたユーザ・インターフェース環境を提供することにある。
【００１８】
【課題を解決するための手段及び作用】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、物理インターフェースの設置を受容する略平面状の操作面と該操作面上に情報を表示する表示機能を備えた視覚的インターフェースと、
前記操作面に設置された物理インターフェースを識別する識別手段と、
前記識別手段による識別結果に応じた情報処理を実行するとともに処理結果を視覚的インタフェース上に表示出力する情報処理手段と、
を具備することを特徴とする情報入出力システムである。
【００１９】
但し、ここで言う「システム」とは、複数の装置（又は特定の機能を実現する機能モジュール）が論理的に集合した物のことを言い、各装置や機能モジュールが単一の筐体内にあるか否かは特に問わない。
【００２０】
前記物理インターフェースは、より好ましくは、略平坦な透明構造体で構成され、前記透明構造体の裏面側における表示情報を表面側に透過可能な透明領域と、裏面又は表面の一部に配設されて物理インターフェースの属性情報を表示する属性情報表示領域と、前記透明構造体に埋設されて固有の識別情報を担持する識別情報格納手段とを含んでいる。後述する本発明の実施形態では、物理インターフェースは平面状の操作面上に置かれる「タイル」と呼ばれる。
【００２１】
識別情報格納手段は、例えば、「無線タグ」として構成され、所定周波数の電波を受信したことに応答して、固有の識別情報に相当する変調処理を施した変調電波（例えばＡＭ変調など）を返すことができる。このような場合、情報入出力システム側の識別手段は、いわゆる電磁授受方式により物理インターフェースすなわちタイルの固有情報を識別することができる。
【００２２】
また、視覚的インターフェースは、液晶表示ディスプレイなどの平面ディスプレイで構成される。視覚的インターフェースは、より好ましくは、その操作面上並びに該操作面上に設置された物理インターフェースを介したペン入力を読み取るデジタイザが一体となった平面ディスプレイで構成される。
【００２３】
このような場合、前記情報処理手段は、該操作面上に設置された物理インターフェースが持つ識別情報と該物理インターフェースに印加されたペン操作の組み合わせに応じた情報処理を実行することができる。
【００２４】
また、前記視覚的インターフェースの操作面上には複数の物理インターフェースを設置可能であり、前記情報処理手段は、該操作面上に設置された２以上の物理インターフェースが持つ識別情報の組み合わせに応じた情報処理を実行するようにしてもよい。
【００２５】
また、前記情報処理手段は、該操作面上に設置された２以上の物理インターフェースが持つ識別情報と該物理インターフェースに印加されたペン操作の組み合わせに応じた情報処理を実行するようにしてもよい。
【００２６】
また、前記情報処理手段は、前記視覚的インターフェースの操作面上に設置された物理インターフェースから所定の識別情報が検出されたことに応答して、該識別情報に割り付けられた処理を実行するとともに、処理結果を該物理インターフェースが設置された位置に表示出力して視覚的フィードバックを与えるようにしてもよい。
【００２７】
また、前記情報処理手段は、前記視覚的インターフェースの操作面上に設置された物理インターフェースから所定の識別情報が検出されたことに応答して、該識別情報に割り付けられたアプリケーションを実行するとともに、該アプリケーションの実行結果を該物理インターフェースが設置された位置に表示出力して視覚的フィードバックを与えるようにしてもよい。
【００２８】
また、情報入出力システムは、外部の情報資源にアクセスするための通信手段をさらに含んでいてもよい。このような場合、前記情報処理手段は、前記視覚的インターフェースの操作面上に設置された物理インターフェースから所定の識別情報が検出されたことに応答して、該識別情報に割り付けられた情報資源へのアクセスを実行するとともに、取得した情報を該物理インターフェースが設置された位置に表示出力して視覚的フィードバックを与えることができる。
【００２９】
また、前記情報処理手段は、前記視覚的インターフェースの操作面上に設置された物理インターフェースから所定の識別情報が検出されたことに応答して、該識別情報に割り付けられた実世界上の物理オブジェクトへの接続を実行するとともに、該物理オブジェクトに関する情報を該物理インターフェースが設置された位置に表示出力して視覚的フィードバックを与えるようにしてもよい。例えば、プリンタのような実世界上の物理オブジェクトに割り付けられた物理インターフェース上に、他の物理インターフェースから情報を投入することによって、プリント要求を発行することができる。
【００３０】
また、前記情報処理手段は、前記視覚的インターフェースの操作面上に設置された物理インターフェースから所定の識別情報が検出されたことに応答して、該物理インターフェースに隣接配置された他の物理インターフェースが担持する情報を該物理インターフェースに割り付けるとともに、該割り付けられた情報を該物理インターフェースが設置された位置に表示出力して視覚的フィードバックを与えるようにしてもよい。このように、他の物理インターフェースから情報を承継して、コンテナのように持ち運ぶことができる。
【００３１】
また、前記情報処理手段は、前記視覚的インターフェースの操作面上に設置された物理インターフェースから所定の識別情報が検出されたことに応答して、該物理インターフェースに隣接配置された他の物理インターフェースが担持する情報を該物理インターフェースに関連付けられた遠隔の物理インターフェースに割り付けるとともに、該割り付けられた情報を該遠隔の物理インターフェースが設置された位置に表示出力するようにしてもよい。例えば、転送元の物理インターフェースを「マスタ」とするとともに、転送先の物理インターフェースを「スレーブ」とみなして取り扱い、他の物理インターフェースからマスタに情報を投入することによって、瞬時に且つ直感的にスレーブの物理インターフェース側に情報を転送することができる。
【００３２】
また、前記情報処理手段は、該操作面上に隣接して設置された２以上の物理インターフェースにまたがるペン操作が印加されたことに応答して、一方の物理インターフェースに格納された情報を他方の物理インターフェースに割り付けるようにしてもよい。さらに、該割り付けられた情報を該他方の物理インターフェースが設置された位置に表示出力して、視覚的フィードバックを与えるようにしてもよい。
【００３３】
すなわち、本発明に係る情報入出力システムによれば、無線タグのような識別情報格納手段を埋め込んだ透明なタイルをインターフェースの単位とし、平面状に設置されたディスプレイ又はタブレット上にタイルを配置することを基本操作とする官位で分かりやすい対話技法を構築することができる。情報入出力システム側では、タイルすなわち物理インターフェースが設置されたことに応答して、無線タグに含まれる識別情報を読み出し、これに該当する処理を起動する。例えば、タイルに関連付けられた情報資源にアクセスしたり、対応する機能やアプリケーションを起動する。また、複数のタイルの物理的に位置関係により、各タイルが単体で提供する基本能力を組み合わせることができる。
【００３４】
また、本発明の第２の側面は、物理インターフェースの設置を受容する略平面状の操作面と該操作面上に情報を表示する表示機能を備えた視覚的インターフェース上における物理インターフェースの操作を介した対話技法を提供する情報入出力方法であって、
前記操作面に設置された物理インターフェースを識別する識別ステップと、
前記識別ステップによる識別結果に応じた情報処理を実行するとともに処理結果を視覚的インタフェース上に表示出力する情報処理ステップと、
を具備することを特徴とする情報入出力方法である。
【００３５】
本発明の第２の側面に係る情報入出力方法は、前記視覚的インターフェースの操作面上並びに該操作面上に設置された物理インターフェースを介したペン入力を読み取るデジタイズ・ステップをさらに備えていてもよい。
【００３６】
このような場合、前記情報処理ステップでは、該操作面上に設置された物理インターフェースが持つ識別情報と該物理インターフェースに印加されたペン操作の組み合わせに応じた情報処理を実行することができる。
【００３７】
また、前記情報処理ステップでは、該操作面上に設置された２以上の物理インターフェースが持つ識別情報の組み合わせに応じた情報処理を実行するようにしてもよいし、あるいは、前記情報処理ステップでは、該操作面上に設置された２以上の物理インターフェースが持つ識別情報と該物理インターフェースに印加されたペン操作の組み合わせに応じた情報処理を実行するようにしてもよい。
【００３８】
また、前記情報処理ステップでは、前記視覚的インターフェースの操作面上に設置された物理インターフェースから所定の識別情報が検出されたことに応答して、該識別情報に割り付けられた処理を実行するとともに、処理結果を該物理インターフェースが設置された位置に表示出力して視覚的フィードバックを与えるようにしてもよい。識別情報に割り付けられた処理とは、例えば、アプリケーション、情報資源へのアクセス、実世界上の物理オブジェクトへの接続などである。
【００３９】
また、前記情報処理ステップでは、前記視覚的インターフェースの操作面上に設置された物理インターフェースから所定の識別情報が検出されたことに応答して、該物理インターフェースに隣接配置された他の物理インターフェースが担持する情報を該物理インターフェースに割り付けるとともに、該割り付けられた情報を該物理インターフェースが設置された位置に表示出力して視覚的フィードバックを与えるようにしてもよい。
【００４０】
また、前記情報処理ステップでは、前記視覚的インターフェースの操作面上に設置された物理インターフェースから所定の識別情報が検出されたことに応答して、該物理インターフェースに隣接配置された他の物理インターフェースが担持する情報を該物理インターフェースに関連付けられた遠隔の物理インターフェースに割り付けるとともに、該割り付けられた情報を該遠隔の物理インターフェースが設置された位置に表示出力して視覚的フィードバックを与えるようにしてもよい。
【００４１】
また、前記情報処理ステップでは、該操作面上に隣接して設置された２以上の物理インターフェースにまたがるペン操作が印加されたことに応答して、一方の物理インターフェースに格納された情報を他方の物理インターフェースに割り付けるようにしてもよい。さらに、該割り付けられた情報を該他方の物理インターフェースが設置された位置に表示出力して、視覚的フィードバックを与えるようにしてもよい。
【００４２】
また、本発明の第３の側面は、物理インターフェースの設置を受容する略平面状の操作面と該操作面上に情報を表示する表示機能を備えた視覚的インターフェース上における物理インターフェースの操作を介した対話技法を提供する情報入出力処理をコンピュータ・システム上で実行するように記述されたコンピュータ・ソフトウェアをコンピュータ可読形式で物理的に格納した記憶媒体であって、前記コンピュータ・ソフトウェアは、
前記操作面に設置された物理インターフェースを識別する識別ステップと、
前記識別ステップによる識別結果に応じた情報処理を実行するとともに処理結果を視覚的インタフェース上に表示出力する情報処理ステップと、
を具備することを特徴とする記憶媒体である。
【００４３】
本発明の第３の側面に係るコンピュータ可読記憶媒体は、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ・プログラムをコンピュータ可読な形式で提供する媒体である。このような媒体は、例えば、ＣＤ（Compact Disc）やＦＤ（Floppy Disc）、ＭＯ（Magneto-Optical disc）などの着脱自在で可搬性の記憶媒体である。あるいは、ネットワーク（ネットワークは無線、有線の区別を問わない）などの伝送媒体などを経由してコンピュータ・プログラムを特定のコンピュータ・システムに提供することも技術的に可能である。
【００４４】
このようなプログラム記憶媒体は、コンピュータ・システム上で所定のコンピュータ・プログラムの機能を実現するための、コンピュータ・プログラムと記憶媒体との構造上又は機能上の協働的関係を定義したものである。換言すれば、本発明の第３の側面に係るプログラム記憶媒体を介して所定のコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第１及び第２の各側面に係る情報入出力システム及び情報入出力方法と同様の作用効果を得ることができる。
【００４５】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【００４６】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施例を詳解する。
【００４７】
Ａ．ＤａｔａＴｉｌｅｓの全体構成
本発明の１つの実施形態、すなわち、実世界上の物理インターフェースをコンピュータ空間が提供する視覚的インターフェースと融合するためのインターフェース・プラットフォーム・システムとして、ここでは"ＤａｔａＴｉｌｅｓ"を提案する。ＤａｔａＴｉｌｅｓシステムでは、無線で識別情報を通知することができるＩＤタグ（以下では、「無線タグ」又は「ＲＦ−ＩＤ」と呼ぶ）付きの透明なオブジェクト（以下では、「タイル」と呼ぶ）を、平面ディスプレイ上に配置することでインターフェースを構成するようになっている。
【００４８】
Ａ−１．ＤＩｇｉｔａｌＴＩｌｅｓシステムの基本構成
図１には、ＤａｔａＴｉｌｅｓシステムの外観構成を示している。平面ディスプレイ上には、設置されたタイルからＩＤ情報を読み取るための読み取り機構部が略等間隔で格子状に配設されている。読み取り機構部の詳細については後述に譲る。
【００４９】
ユーザが平面ディスプレイ上にタイルを設置されると、システム側ではＩＤ情報を読み取り、これに該当する（あるいはＩＤ情報に割り付けられた）処理を起動するようになっている。ここで言う処理には、例えばタイルに関連付けられた情報資源へのアクセス（この場合、ＩＤ情報は例えば特定のＵＲＬ（Uniform Resource Locator）と関連付けられていてもよい）や、機能やアプリケーションであってもよい。タイルに関連付けられた処理とは、実際には、平面ディスプレイをローカル接続する計算機システム上で実行される（あるいはネットワーク上の計算機システムとの協働的作用による）情報処理に相当する。
【００５０】
タイルはアクリルなどの透明な素材で構成されるので、タイルを平面ディスプレイ上に設置しても、その表示内容を遮ることはない。したがって、システム側では、設置されたタイルの設置位置並びにその外枠に相当するウィンドウ・フレームを持つ表示ウィンドウを、タイルの透明領域を介して平面ディスプレイ上で提供することができる。
【００５１】
すなわち、あるタイルを平面ディスプレイ上のある場所に置くと、タイルが持つ識別情報と設置位置が認識され、この結果、タイルの設置領域が活性化されて、タイルの識別情報に割り付けられた処理内容が設置領域内に表示される、というインタラクションが実現される。透明オブジェクトであるタイル自体が持つ情報は静的なものであるが、これに割り付けられた情報がタイル下方のディスプレイから表示されることにより、視覚情報が強化されたインターフェースを構成することができる。タイルという実空間上の物理インターフェースと、平面ディスプレイ上の表示というコンピュータ空間上の視覚的インターフェースとを、直感的に分かり易い形態で融合させることができる。
【００５２】
図示のＤａｔａＴｉｌｅｓシステムによれば、物理的ではあるが静的な実物体と、仮想的ではあるが動的な表示情報を融合してさまざまな用途に利用することができる。この利用形態の詳細については後述に譲る。
【００５３】
また、平面ディスプレイが、ペン入力を受容するタブレットを兼ねている場合、タイル表面上でペン操作を行うことによって、物理オブジェクトによる実世界上の操作と、ＧＵＩ風の画面操作を併用することができる。
【００５４】
さらに、複数のタイルを平面ディスプレイ上に配置することで、個々のタイルに割り付けられた機能を動的に組み合わせて、複雑なシステム状態や命令を形成することができる。但し、複数のタイルの組み合わせの詳細に関しては後述に譲る。
【００５５】
例えば、この平面ディスプレイを囲むように複数のユーザが集って、各自が所望のタイルを操るようにしてもよい。この場合、平面ディスプレイは、電子的に強化された机すなわち作業空間となる。
【００５６】
Ａ−２．既存のインターフェース・システムとの比較
透明な物体を通じてコンピュータと対話するという着想自体は、ＧＵＩの対話手法であるＴｏｏｌＧｌａｓｓとＭａｇｉｃＬｅｎｓｅ[6]に例があり、また、物理オブジェクトをインターフェースに用いる実世界指向インターフェースとしてはＮａｖｉＣａｍ[7]などの例がある。また、透明な実物体を使ったシステムとしては、ｔｒａｎｓｐａｒｅｎｔ ｐｒｏｐｓ[8]などの例がある。しかしながら、これらはいずれも、図１に示すような、透明物体の物理的な配置によってインターフェースを構成するものではない。
【００５７】
また、実物体を用いたユーザ・インターフェースに関する提案の多く（例えば、文献［１］〜［４］）は、特定の用途に特化したものであり、言い換えれば、本発明のように、ＧＵＩが提供するような汎用的な表現能力と実物体の親しみ易さとをバランスさせるものではない。
【００５８】
IntelligentPad[9]は、視覚的プログラミング環境下で、「パッド」とよばれる矩形状のオブジェクトを画面上で貼り合わせることにより機能を合成するものであり、この点で、タイルの組み合わせにより機能を合成するという本発明に係るＤａｔａＴｉｌｅｓに類似する。しかしながら、IntelligentPadは、透明オブジェクトを介した表示出力に基づく視覚情報が強化されたインターフェースを構成するものではない。
【００５９】
また、ＡｌｇｏＢｌｏｃｋ[2]は、マイクロプロセッサやスイッチなどを内蔵したキューブを接続することでプログラミングを行う教育用システムであり、所定の実物体を単位として扱う点で本発明に係るＤｉｇｉｔａｌＴＩｌｅｓに類似する。しかしながら、このシステムでは、モジュールそのものからの出力は発光ダイオードの点滅などの単純なものであり、簡単なフィードバック以上の情報を伝達することができない。出力装置として通常のディスプレイを利用する場合は、入力すなわち実物体の操作と表示との対応が間接的になってしまい、理解が容易でなくなる。また、入力手段も、ボタンやスイッチなど比較的単純なものに限定されており、ＧＵＩが提供しているような多様な対話手段や拡張性をサポートしていない。また、電子部品をキューブ内に組み込んでいるため、その価格やサイズの自由度に制限があり、キューブに対して電源や通信路を供給するための工夫が必要となる。
【００６０】
これに対し、本発明に係るＤｉｇｉｔａｌＴｉｌｅｓシステムでは、透明な物体の裏面側（すなわちディスプレイの設置面側）から情報を表示するという方式を採用することによって、これらの問題を解決することができる。この結果、入力と出力に直接な対応関係を形成することができ、ペンなどによる豊富な対話手段を利用することが可能である。また、タイルは、無線タグを取り付けている以外は特殊なハードウェア・コンポーネントを必要としないので（後述）、安価に製造することができる。
【００６１】
また、机を電子的に強化したシステムは、多くの場合、プロジェクタからの映像を机面上に投影するものである[1,10,11,12,13]。これらのシステムは、現実の物体を視覚的に認識して机など所定の投影面上に映像を投影することによって、「視覚情報が強化された実物体」を実現するものである。しかしながら、これらのシステムは、机上にプロジェクタや視覚認識用のカメラを設置する必要があり、システム規模が肥大化する傾向にある。
【００６２】
これに対し、本発明に係るＤａｔａＴｉｌｅｓシステムによれば、タイルに埋設されたタグを読み取るためのセンサを液晶表示ディスプレイなどの平面ディスプレイ表面に一体的に取り付ける構成によって実現することができる。すなわち、すべての構成要素を水平型のトレイ内に格納して、システムの安定性や可搬性を高めることができる。
【００６３】
Ｂ．ＤａｔａＴｉｌｅｓの基本構成要素
本発明に係るＤａｔａＴｉｌｅｓシステムは、ユーザが直接手に持って操作する物理インターフェースとしての複数枚のタイル５０と、ユーザに視覚的フィードバックを与える視覚的インターフェースとしての平面ディスプレイ１１と、これらインターフェースによるユーザ入出力操作を演算処理する計算機システム１００とで構成される。
【００６４】
Ｂ−１．タイル
まず、物理インターフェースとして使用されるタイル５０の構造について説明する。
【００６５】
図２には、基本構造を持つタイル５０の上面図と斜視図を示している。タイルは、例えばアクリル板のような矩形の透明の素材を利用して形成され、本発明に係るＤａｔａＴｉｌｅｓシステムにおけるインターフェースの基本要素の１つを構成する。同図からも分かるように、タイル５０は、透明領域５１と、タイトルバー５２と、ＲＦ−ＩＤを含んだ無線タグ５３で構成される。
【００６６】
透明領域５１は、タイル５０を平面ディスプレイ１１上に設置したときに、活性化された表示領域から出力される表示内容を、上面に向かって透過させる領域である。
【００６７】
タイトルバー５２は、タイル５０に与えられた名前又は割り付けられた処理内容などを視認するための領域である。例えば、一般的な印刷技術を用いてタイトルバー５２をタイル５０の裏面又は表面に形成することができる。あるいは、刻印や印刷媒体の貼設によってタイトルバー５２を形成してもよい。
【００６８】
透明領域５１は、時々刻々変動する可変情報など、計算機システム１００上で演算処理され平面ディスプレイ１１上で表示出力された内容を供給するために利用される。これに対し、タイトルバー５２は、タイル５０上で固定された情報を供給するために利用される。
【００６９】
無線タグ５３は、タイル５０に固有の識別情報を含んだデバイスであり、特定周波数の電波を受信したことに応答して識別情報に相当する変調周波数の電波（ＲＦ−ＩＤ）を発振するようになっている。
【００７０】
本実施例では、無線タグ５３は、タイル５０の一端面に穿設された無線タグ挿入孔に埋設されるようになっている。無線タグ５３は、不透明であることから、図示のように、透明領域５１ではなくタイトルバー５２に重ねて配設することが好ましい。
【００７１】
無線タグ５３から発振されるＲＦ−ＩＤは、後述するように、平面ディスプレイ１１上で受信され、計算機システム上でデコードされて、タイル５０に割り付けられた固有の機能が起動され、タイル５０の透明領域５１を利用して平面ディスプレイ１１上に処理結果が表示されるようになっている。
【００７２】
例えば、天気図に割り付けられたタイルを平面ディスプレイ上に設置すると、平面ディスプレイ１１上でタイルの存在が検出される。さらに、計算機システム上での演算処理により、インターネットなどのネットワーク経由で外部サーバ（ＷＷＷサーバなど図示しない）から天気予報情報や衛星写真などのコンテンツが取得され、タイルの下に表示出力される。
【００７３】
幾つかのタイルは、割り付けられた機能を示す、あるいは平面ディスプレイ１１上での表示内容と融合又は有機的に結合する視覚情報があらかじめ印刷又は画像形成されている。例えば、天気図に割り付けられた"Weather"タイルに関しては、画面出力される天気予報情報や衛星写真と融合して用いられる地図情報（白地図）が、タイルの裏面に印刷されていてもよい（図３を参照のこと）。
【００７４】
あるいは、ビル構内のフロアの平面図や見取り図をあらかじめ印刷した"Map"タイル（図４を参照のこと）を平面ディスプレイ上に設置すると、このタイルの下から所望の情報（例えばフロアの温度分布や、プリンタ／コピー機の設置場所など）を表示することにより、タイルの印刷情報と合成される。
【００７５】
また、タイルの表面上にペン入力時におけるペン先の操作をガイドするための溝を刻設しておいてもよい。例えば、タイルの下に表示されるウィンドウのスクロール・バーに相当する位置に直線状の溝を刻み込んでおくことにより（図５を参照のこと）、スクロール操作のガイドとして作用する。例えば、このような"Scroll"タイルを平面ディスプレイ１１上にスクロール・バーのノブなどの動的な情報を表示して、溝と合成するようにしてもよい。"Scroll"タイルを用いてペン操作する場合、ペンがガイドに沿って動いているという物理的な感触を画面上の対話部品としてのウィジェット（widget）に与えることができる。本発明者等はこれを"grooved widget"（溝付きウィジェット）と呼んでいる。
【００７６】
Grooved widgetによれば、従来のウィジェットの操作感を向上させる様々な技法を適用することができる。例えば、スクロール・バーの溝の壁面に微妙な凹凸形状を形設することで（図６を参照のこと）、スクロール操作中に所定の間隔でクリック感をペン先に印加することができる。このようなクリック感は、従来のマウス・ベースのＧＵＩ操作では付与することが困難であった。さらに、溝の壁面の物理的なテクスチャ（ザラザラ、滑らか、あるいはゴムや布などの質感）を形成することによって、さまざまの異なった操作感を提供することが可能である。
【００７７】
また、図７に示すように、タイル５０の表面にリング状の溝を刻設することによって、ジョグ・ダイヤルのような回転操作が可能なウィジェットを提供することができる。
【００７８】
Ｂ−２．平面ディスプレイ
次いで、視覚的インターフェースとして使用される平面ディスプレイ１１の構造について説明する。
【００７９】
図８には、平面ディスプレイ１１の一例を上面から斜視した様子を示している。
【００８０】
平面ディスプレイ１１は、計算機システム１００上での演算結果を提示する情報表示装置であると同時に、上述したタイル５０を設置するための台として作用する。平面ディスプレイ１１は、液晶表示ディスプレイを用いて構成することができるが、ペン入力を受容するために、例えば電磁誘導方式（周知）のタブレットと一体化されていることがより好ましい。このような場合、ユーザは、ペンを使ってトレイに表示された情報を直接操作することができるが、この点に関しては後述に譲る。
【００８１】
図示の例では、平面ディスプレイ１１の上面は、タイル５０を設置する領域ごとに仕切られた格子が形成される。また、各格子内では、タイル５０を設置したときに無線タグ５３と当接する部位には、電波送受信用のＲＦアンテナを兼ねたポッチ１２Ａ，Ｂ，…が凸設されている。図８に示す例では、平面ディスプレイ１１は、タイル５０を設置する１２個の領域を有し、領域毎に各１基のポッチ１２が設けられている。
【００８２】
ポッチ１２は、設置されたタイル５０の無線タグ５３と当接するので、ポッチ１２に内蔵されたＲＦアンテナによって、タイル５０側から発振される変調電波ＲＦ−ＩＤを受信することができる。
【００８３】
図９には、平面ディスプレイ１１の断面構成例を模式的に示している。同図に示すように、平面ディスプレイ１１は、表示駆動用の液晶層１５と、液晶層１５における描画内容を平面ディスプレイ１１の表面方向に向かって照らし出すためのバックライト層１６と、電磁誘導式のペン入力を受容するためのデジタイザ用アンテナ層１７と、液晶層１５の表面を外界から保護するためのカバー１８とが積層された構造体である。
【００８４】
また、上述したように、ＲＦアンテナ１９を内蔵したポッチ１２が、平面ディスプレイ１１の表面に突設されている。ＲＦアンテナ１９に接続される、送受信用のリード線は、カバー１８と液晶層１５の間に挿入されている。
【００８５】
ＲＦアンテナ群と、ＲＦアンテナによる受信波を読み取るＲＦ−ＩＤリーダは、例えば、アンテナ多重化回路（図示しない）によって接続されている。多重化回路は、ＦＥＴステッチによって複数のアンテナを電子的に切り替える装置で構成され、ある瞬間ＲＦ−ＩＤリーダと接続しているアンテナは１基である。アンテナの切り替えや読み取ったＲＦ−ＩＤ番号は、計算機システム１００によって行われる。多重化回路を導入することによって、同時認識可能なＲＦ−ＩＤ数に比しハードウェア構成を簡素化することができる。
【００８６】
図１０には、タイル５０に内蔵された無線タグ５３からＲＦ−ＩＤを読み取る動作を説明するための機能ブロック図を示している。図示の例では、無線送受信のために電磁授受方式が採用されている。
【００８７】
平面ディスプレイ１１側のＲＦ−ＩＤ読み取り部では、発振器により発振された特定周波数（図示の例では１３５ｋＨｚ）の電波を増幅して、ＲＦ送受信アンテナ１９を介して外部出力する。
【００８８】
他方、タイル５０を平面ディスプレイ１１上の所定位置に設置した結果として、その無線タグ５３は、ＲＦ送受信アンテナ１９に近接するので、電波を受信することができる。そして、無線タグ５３内のコイル・アンテナは受信電波と共振し、共振エネルギが貯えられる。
【００８９】
変調器は、蓄積された共振エネルギを変換して得た電気エネルギによって駆動して、受信電波を変調処理（例えばＡＭ変調）て、タイル５０に割り当てられたＩＤに相当する変調周波数を生成して、コイル・アンテナを介して出力する。
【００９０】
ＲＦ送受信アンテナ１９は、無線タグ５３からの変調周波数を持つ電波を受信する。そして、デコーダは、この変調周波数に割り当てられた識別情報（ＲＦ−ＩＤ）をデコードして、その識別結果を計算機システム１００に転送する。
【００９１】
計算機システム１００は、ＲＦ−ＩＤを受信すると、設置されたタイル５０に定義された固有の機能／アプリケーションを起動して、平面ディスプレイ１１の液晶を駆動して、タイル５０の裏側からその処理結果を表示する。
【００９２】
図１１には、ＩＤタグ付きのタイル５０を平面ディスプレイ上に配置することで、インターフェースが構成される様子を示している。
【００９３】
図示の通り、タイル５０のような透明な物理オブジェクトの下方から可変な視覚情報が映し出され、タイル５０上の固定的な画像情報と融合することにより、視覚情報が強化されたインターフェースを構成することができる。すなわち、物理的ではあるが静的な実物体と、仮想的ではあるが動的な表示情報を融合して利用することができる。
【００９４】
また、タイル５０の表面上でのペン操作によって、タイルという物理オブジェクトの操作と、カーソル移動やクリックを基調とするＧＵＩ風の画面操作を併用することができる。タイル５０の表面には、ペン操作を導くための溝（grooved widget）が形設されていてもよい（前述）。
【００９５】
さらに、複数のタイルを平面ディスプレイ１１表面上に配置することで、個々のタイルの機能を組み合わせて、複雑な状態や命令を表現することができる（後述）。
【００９６】
図１２には、平面ディスプレイ１１の断面構成の他の例を模式的に示している。同図に示すように、図示の例の平面ディスプレイ１１は、表示駆動用の液晶層と、液晶層における描画内容を平面ディスプレイの表面方向に向かって照らし出すためのバックライト層１６と、電磁授受方式のペン１２による入力を受容するためのデジタイザ用アンテナ層と、液晶層１５の表面を外界から保護するためのカバー１８とが積層された構造体である。
【００９７】
図１２に示す例では、タイル５０側の無線タグから発振されるＲＦ−ＩＤを受信するためのＲＦアンテナ１９は、ポッチ１２として平面ディスプレイ１１表面上に出現するのではなく、バックライト層１６の下層に埋設されている。
【００９８】
図９に示す場合、ポッチ１２に内蔵されたＲＦアンテナ１９のコイルの巻線方向は平面ディスプレイ１１の面方向となり、受信方向もその面方向となる。これに対し、図１２に示す例では、ＲＦアンテナ１９のコイル巻線方向を平面ディスプレイ１１表面の法線方向に設定することにより、受信感度を向上させることができる。また、平面ディスプレイ１１の表面にポッチ１２のような突起を設ける必要がないので、美観がよく、タイル５０のような物理オブジェクトを使用しない場合には通常のディスプレイ・ユニット又はテーブルとして活用し易い。
【００９９】
Ｂ−３．計算機システム
次いで、タイル５０という物理インタフェースと平面ディスプレイ１１という視覚的インターフェースを併用したユーザ入出力操作を演算処理する計算機システム１００の構成について説明する。
【０１００】
図１３には、計算機システム１００のハードウェア構成を模式的に示している。以下、各部について説明する。
【０１０１】
システム１００のメイン・コントローラであるＣＰＵ（Central Processing Unit）１０１は、オペレーティング・システム（ＯＳ）の制御下で、各種のアプリケーションを実行するようになっている。ＯＳは、より好ましくはＧＵＩ（Graphical User Interface）環境を提供するが、例えば、ＵＮＩＸ、又は、米Ｍｉｃｒｏｓｏｆｔ社のＷｉｎｄｏｗｓ９８／ＮＴでよい。
【０１０２】
図示の通り、ＣＰＵ１０１は、バス１０７によって他の機器類（後述）と相互接続されている。バス１０７上の各機器にはそれぞれ固有のメモリ・アドレス又はＩ／Ｏアドレスが付与されており、ＣＰＵ１０１はこれらアドレスによって特定の機器へのアクセスが可能となっている。バス１０７は、データ・バス、アドレス・バス、コントロール・バスを含んだ共通信号伝送路であるが、その一例はＰＣＩ（Peripheral Component Interconnect）バスである。
【０１０３】
メモリ１０２は、プロセッサ１０１において実行されるプログラム・コードを格納したり、実行中の作業データを一時保管するために使用される記憶装置である。同図に示すメモリ１０２は、不揮発及び揮発メモリ双方を含むものと理解されたい。
【０１０４】
ディスプレイ・コントローラ１０３は、ＣＰＵ１０１が発行する描画命令を実際に処理するための専用コントローラであり、例えばＳＶＧＡ（Super Video Graphic Array）又はＸＧＡ（eXtended Graphic Array）相当のビットマップ描画機能をサポートする。ディスプレイ・コントローラ１０３において処理された描画データは、例えばフレーム・バッファ（図示しない）に一旦書き込まれた後、平面ディスプレイ１１の液晶層１５によって画面出力される。
【０１０５】
本実施例に係る平面ディスプレイ１１は、タブレット一体型のディスプレイ・ユニットであり、図９や図１２を参照しながら既に説明したように、表示駆動する液晶層１５と電磁誘導方式のペン入力を行うデジタイザ用アンテナ層１７とが積層された構造体である。
【０１０６】
入力機器インターフェース１０４は、キーボード１１２やマウス１１３、並びに平面ディスプレイ１１と一体化されたタブレットなどのユーザ入力機器を計算機システム１００に接続するための装置である。入力機器インターフェース１０４は、キーボード１１２によるキー入力、マウス１１３を介した座標指示入力、デジタイザ用アンテナ層１７を介したペン操作に応答して、ＣＰＵ１０１に対して割り込みを発生する。
【０１０７】
ネットワーク・インターフェース１０５は、Ｅｔｈｅｒｎｅｔなどの所定の通信プロトコルに従って、システム１００をＬＡＮ（Local Area Network）などの局所的ネットワーク、さらにはインターネットのような広域ネットワークに接続することができる。ネットワーク・インターフェース１０５は、一般に、ＬＡＮアダプタ・カードの形態で提供され、マザーボード（図示しない）上のＰＣＩバス・スロットの装着して用いられる。
【０１０８】
ネットワーク上では、複数のホスト・コンピュータ（図示しない）がトランスペアレントな状態で接続され、分散コンピューティング環境が構築されている。ネットワーク上では、ソフトウェア・プログラムやデータ・コンテンツなどの配信が行うことができる。例えば、物理的インターフェースと視覚的インターフェースの融合を行うアプリケーション・プログラムを、ネットワーク経由でダウンロードすることができる。また、平面ディスプレイ１１上に設置されたタイル５０に割り付けられた機能に該当するアプリケーション・プログラムを、ネットワーク経由でダウンロードすることができる。また、平面ディスプレイ１１上に設置されたタイル５０に割り付けられた情報資源に対してネットワーク経由でアクセスすることができる。
【０１０９】
外部機器インターフェース１０６は、ハード・ディスク・ドライブ（ＨＤＤ）１１４やメディア・ドライブ１１５などの外部装置をシステム１００に接続するための装置である。外部機器インターフェース１０６は、例えば、ＩＤＥ（Integrated Drive Electronics）やＳＣＳＩ（Small Computer System Interface）などのインターフェース規格に準拠する。
【０１１０】
ＨＤＤ１１４は、記憶担体としての磁気ディスクを固定的に搭載した外部記憶装置であり（周知）、記憶容量やデータ転送速度などの点で他の外部記憶装置よりも優れている。ソフトウェア・プログラムを実行可能な状態でＨＤＤ１１６上に置くことをプログラムのシステムへの「インストール」と呼ぶ。通常、ＨＤＤ１１４には、ＣＰＵ１０１が実行すべきオペレーティング・システムのプログラム・コードや、アプリケーション・プログラム、デバイス・ドライバなどが不揮発的に格納されている。
【０１１１】
例えば、物理的インターフェースと視覚的インターフェースの融合を行うアプリケーション・プログラムを、ＨＤＤ１１４上にインストールすることができる。また、平面ディスプレイ１１上に設置されたタイル５０に割り付けられた機能に該当するアプリケーション・プログラムを、ＨＤＤ１１４上にインストールすることができる。また、平面ディスプレイ１１上に設置されたタイル５０に割り付けられた情報資源を、ネットワーク経由でＨＤＤ１１４上にダウンロードすることができる。
【０１１２】
また、メディア・ドライブ１１５は、ＣＤ（Compact Disc）やＭＯ（Magneto-Optical disc）、ＤＶＤ（Digital Versatile Disc）などの可搬型メディアを装填して、そのデータ記録面にアクセスするための装置である。
【０１１３】
可搬型メディアは、主として、ソフトウェア・プログラムやデータ・ファイルなどをコンピュータ可読形式のデータとしてバックアップすることや、これらをシステム間で移動（すなわち販売・流通・配布を含む）する目的で使用される。例えば、物理的インターフェースと視覚的インターフェースの融合を行うアプリケーション・プログラムや、平面ディスプレイ１１上に設置されたタイル５０に割り付けられた機能に該当するアプリケーション・プログラム、平面ディスプレイ１１上に設置されたタイル５０に割り付けられた情報資源などを、これら可搬型メディアを利用して機器間で物理的に流通・配布することができる。
【０１１４】
なお、図１３に示すような計算機システム１００の一例は、米ＩＢＭ社のパーソナル・コンピュータ"ＰＣ／ＡＴ（Personal Computer/Advanced Technology）"の互換機又は後継機である。勿論、他のアーキテクチャを備えたコンピュータを、本実施形態に係る計算機システム１００として適用することも可能である。
【０１１５】
ＤａｔａＴｉｌｅｓシステムによる物理インターフェースと視覚的インターフェースの融合は、実際には、この計算機システム１００上で物理的インターフェースと視覚的インターフェースの融合を行うアプリケーション・プログラムを起動するという形態で実現される。
【０１１６】
ＤａｔａＴｉｌｅｓのアプリケーション・ソフトウェアは、例えばＪａｖａのようなプログラミング言語を用いて構築することができる。
【０１１７】
ユーザがタイル５０を平面ディスプレイ１１上に置くと、ＤａｔａＴｉｌｅｓシステムはタイル５０から識別情報ＲＦ−ＩＤを読み取り、ＲＦ−ＩＤをもとにデータベースを検索して、必要であれば、ＲＦ−ＩＤに対応するクラス・ファイルや、タイル５０の各インスタンス固有の情報（メモ・パッドのメモ・データなど）を動的に読み込む。
【０１１８】
各タイルは、それぞれ固有のスレッドを持つので、タイル毎のアニメーションや動画再生などを並列処理することができる。
【０１１９】
２つ以上のタイルが隣接して置かれた場合、それぞれのタイルは相手側が処理可能な操作群を動的に調べ、結合タイプを決定する。この処理は、実行時にオブジェクト・クラスやインターフェース・タイプを調べるＪａｖａの言語機能（ｉｎｓｔａｎｃｅｏｆオペレータ）を用いて実現することができる。
【０１２０】
Ｃ．ＤａｔａＴｉｌｅｓシステム上でのタイル操作
本発明に係るＤａｔａＴｉｌｅｓシステムによれば、タイル５０のタイトルバー５２が持つ固定的な印刷情報と、透明領域５２を介して映し出される動的な画面表示を融合して、計算機システム１００が提供する視覚情報を強化することができる。また、タイル表面上に溝やその他のペン操作時に触感を変化させる加工を施すことにより、ウィジェット（画面上の対話部品）が持つ操作感を向上させる様々な技法を採り入れることができる。
【０１２１】
ここでは、上述したようなＤａｔａＴｉｌｅｓの基本機能を使って、種々のタイルをユーザ・インターフェースのモジュールとして構築した例について説明する。
【０１２２】
Ｃ−１．アプリケーション・タイル
特定の機能（アプリケーション）があらかじめ固定的に割り振られたタイルのことを、本明細書では「アプリケーション・タイル」と呼ぶ。
【０１２３】
例えば、メモパッドが割り付けられたアプリケーション・タイルを平面ディスプレイ１１上に設置すると、計算機システム１００上で手書きメモパッド・アプリケーションが起動するとともに、タイルの透明領域を利用してメモパッドの編集ウィンドウが表示される。ユーザは、このタイルの上にペンでメモを書き加えることができる（図１４を参照のこと）。
【０１２４】
タイル上で書き加えられた情報は、該当するメモパッド・タイルと関連付けて計算機システム１００上で保管するようにしてもよい。このような場合、メモパッド・タイルを平面ディスプレイ１１上から一旦取り去った後、再度平面ディスプレイ１１上に設置することによって前回のメモの内容をタイル上で自動的に復元するようにしてもよい。
【０１２５】
また、天気図に割り付けられた"Weather"タイル（図３を参照のこと）を平面ディスプレイ１１上に置くと、計算機システム１００上では、例えばインターネット上の天気予報情報を提供する情報提供サーバにアクセスして天気予報情報や衛星写真などの気象情報に関するコンテンツを自動的にダウンロードするとともに、これら気象情報を画面出力する。この結果、"Weather"タイルに印刷又は画像形成された白地図のような固定情報と、平面ディスプレイ１１上に表示される天気予報や衛星写真などの動的な表示情報が融合して、天気図に関する視覚情報が強化される（図１５を参照のこと）。
【０１２６】
同様にして、さまざまなアプリケーションや情報サービスを、タイルという形式で具現化しモジュール化することができる。情報サービスは、スタンドアロンの計算機システム１００内に蓄積されたものであっても、インターネットなどの通信媒体を介して外部から取得するものであってもよい。
【０１２７】
ここで、Ｗｅａｔｈｅｒタイルを例にとって、アプリケーション・タイルを平面ディスプレイ１１上で操作したときのオペレーションについて、図３５に示すフローチャートを参照しながら説明する。
【０１２８】
アプリケーション・タイルを平面ディスプレイ１１に置くと（ステップＳ１）、システム側ではタイルが持つ識別情報すなわちＲＦ−ＩＤが電磁授受方式により読み取られる（ステップＳ２）。
【０１２９】
ＤａｔａＴｉｌｅｓシステムは、これに応答して、対応するＩＤをキーにして処理内容を検索する（ステップＳ３）。
【０１３０】
そして、検索された処理が実行される（ステップＳ４）。図１５に示すＷｅａｔｈｅｒタイルの場合には、該当する処理は、天気予報サイトへのアクセスとなる。処理の実行結果は、平面ディスプレイ１１上でタイルが設置された場所に表示され、タイルの透明領域を介してユーザに提示することができる。
【０１３１】
後述するように、アプリケーション・タイルは、他のタイルと連携することで、さらに高次な操作を行うことができる。
【０１３２】
Ｃ−２．ポータル・タイル
実世界上の事物（もの、人、場所など）に対応付けられたタイルのことを、本明細書では「ポータル・タイル」と呼ぶ。
【０１３３】
例えば、ポータル・タイルの一例であるプリンタ・タイルは、プリンタという実世界上の事物をタイルとして表現したものである。平面ディスプレイ１１上にプリンタ・タイルを置くと、これに応答して、計算機システム１００は対応するプリンタにアクセスして現在の状態を取得し、タイルの透明領域を利用してプリンタの状態が表示される。対応するプリンタの印刷画像と、その現在の状態という動的な表示情報が融合して、視覚情報が強化される（図１６を参照のこと）。
【０１３４】
さらに、他の（隣接する）タイルから得た情報をプリンタに出力する機能を提供することができる。隣接するタイルからの情報の転送には、例えば、ペンを用いたタイル間でのドラッグ・アンド・ドロップのような、ＧＵＩ環境で定着している対話技法を利用することができるが、詳細は後述に譲る。
【０１３５】
ポータル・タイルは、対応する実世界対象物の映像と接続させることもできる。例えば、プリンタ・タイルを平面ディスプレイ１１上に置くことに応答して、計算機システム１００は、現実のプリンタを撮影しているカメラからのリアル映像をネットワーク経由で取得し、ポータル・タイルの透明領域を利用して実物の映像を表示するようにしてもよい（図１７を参照のこと）。このような場合、ユーザは、プリンタ・タイルを介して実際のプリント出力の様子を観察することができる。すなわち、ポータル・タイルは、その字義通り、実世界への「窓口」としての機能を提供する。
【０１３６】
ここで、プリンタ・タイルを例にとって、ポータル・タイルを平面ディスプレイ１１上で操作したときのオペレーションについて、図３６に示すフローチャートを参照しながら説明する。
【０１３７】
まず、情報を担持したタイルＡを平面ディスプレイ１１上に置く（ステップＳ１１）。情報を担持したタイルとは、例えば、描画データ・ファイルを含んだアプリケーション・タイル（ペイント・タイル）や、写真などの静止画情報を含んだ写真タイルなどである。
【０１３８】
タイルＡを平面ディスプレイ１１に置くと（ステップＳ１）、システム側ではタイルが持つ識別情報すなわちＲＦ−ＩＤが電磁授受方式により読み取られる。この結果、ＤａｔａＴｉｌｅｓシステムは、対応するＩＤをキーにして処理内容を検索して、検索された処理が実行される。平面ディスプレイ１１上では、タイルＡの透明領域を利用して処理結果が表示される（ステップＳ１２）。
【０１３９】
次いで、タイルＡに隣接して、ポータル・タイルの一例であるプリンタ・タイルを置く（ステップＳ１３）。システム側ではタイルが持つ識別情報すなわちＲＦ−ＩＤが電磁授受方式により読み取られる。この結果、ＤａｔａＴｉｌｅｓシステムは、該当する物理オブジェクトを実世界上で探索して、プリンタの実像をポータル・タイルの透明領域を利用して表示する。
【０１４０】
さらに、タイルＡからプリンタ・タイルへと横切るようなペン・ジェスチャをタイル上で印加する（ステップＳ１４）。
【０１４１】
このようなペン・ジェスチャは、電磁誘導方式によりデジタイザによって検出され、システム側で認識される。タイルＡの表示内容をポータル・タイルに対応するプリンタ上で印刷実行する（ステップＳ１５）。ＤａｔａＴｉｌｅｓシステム上では、該当する物理オブジェクト間でデータの転送を行う。
【０１４２】
Ｃ−３．パラメータ・タイル
他のタイルの機能や属性（プロパティ）を調整するためのタイルのことを、本明細書では「パラメータ・タイル」と呼ぶ。パラメータ・タイルは、一種のプロパティ・シートとして作用する。
【０１４３】
パラメータ・タイルとしては、例えば図５や図７に示したような、表面にユーザのペン操作をガイドするような溝が形設されたものを利用することができる。
【０１４４】
例えば、図５に示すような直線状の複数本の溝が刻設されたタイルを、クエリ・タイルとして利用することができる。隣接するタイル（アプリケーション・タイルやポータル・タイルなど）から情報を動的に検索するために、クエリ・タイルを用いることができる。検索パラメータの名前や値は、隣接するタイルによって変化し、平面ディスプレイ１１上で映し出される表示映像と合成される。
【０１４５】
また、図７に示すような円形の溝が刻設されたタイルを、回転角に応じた時間情報を調節するための時間軸（TimeMachine）タイル、あるいは、ジョグダイヤル・タイルとして利用することができる。
【０１４６】
図１８には、プリンタを表現したポータル・タイルにクエリ・タイルを隣接して設置した場合の動作例を示している。
【０１４７】
同図に示すように、平面ディスプレイ１１上には、クエリ・タイルの各溝の位置に合わせて、プリンタ属性（例えば明度や彩度、色の指定など）を調節するための画面が表示される。この結果、ペン操作をガイドする溝とプリンタ属性の表示映像とが合成され、視覚情報が強化されたインターフェースを提供することができる。
【０１４８】
また、ユーザは、所定の溝にペン先を指し込んで溝に沿って動かすことによって、該当するプリンタ属性値を変化させることができる。
【０１４９】
図１９には、図１８に示したものと同じクエリ・タイルを、図４に示すようなＭａｐタイルに隣接して設置した場合の動作例を示している。
【０１５０】
同図に示すように、平面ディスプレイ１１上には、クエリ・タイルの各溝の位置に合わせて、Ｍａｐタイルに表示されたフロア内の環境（照明や室温、湿度など）を調節するための画面が表示される。この結果、ペン操作をガイドする溝とフロア環境の表示映像とが合成され、視覚情報が強化されたインターフェースを提供することができる。また、同じクエリ・タイルを用いても、隣接するタイルの相違により、別のプロパティ・シートを提供することができる。
【０１５１】
また、ユーザは、所定の溝にペン先を指し込んで溝に沿って動かすことによって、該当するフロア環境値を変化させることができる。
【０１５２】
Ｃ−４．コンテナ・タイル
データやコンテンツなどの情報を格納するためのタイルのことを、本明細書では「コンテナ・タイル」と呼ぶ。
【０１５３】
コンテナ・タイルは、例えば、何らかの情報を担持することができる他のタイルに隣接して設置して、タイル間でのドラッグ・アンド・ドロップのようなペン・ジェスチャーによって情報を移動・交換・コピーすることができる。コンテナ・タイルは、例えば、タイルで象徴される事物に対して指定された情報を関連付けた形式で計算機システム１００が保管することによって実現される。
【０１５４】
例えば、図２０〜図２１には、コンテナ・タイルと、これに隣接したペイント・タイルとの間で描画データを移動する様子を図解している。
【０１５５】
まず、ペイント・タイルを平面ディスプレイ１１上に設置すると、その無線タグが持つＲＦ−ＩＤが認識され、計算機システム１００は該当するペイント・アプリケーションを起動する。そして、ペイント・タイルの透明領域を利用して、平面ディスプレイ１１上に描画領域が映し出される。ユーザは、ペイント・タイル上でペン操作を行うことによって所望の絵を描くことができる。
【０１５６】
ペイント・タイル上で描画作業が完了すると、次いで、ペイント・タイルからコンテナ・タイルに向かってオブジェクトをドラッグするようなペン・ジェスチャをタイル上で印加する。この結果、ペイント・タイル上での描画内容がコンテナ・タイルに移動又はコピーされる。このとき、図２１に示すように、コンテナ・タイルの透明領域を利用して、隣接するペイント・タイルと同じ描画情報を映し出すという、視覚的なフィードバックがユーザに与えられる。
【０１５７】
計算機システム１００内では、ペイント・アプリケーション上で編集された描画情報を、コンテナ・タイル（又はそのＲＦ−ＩＤ）と関連付けた形式で計算機システム１００が保管することによって実現される。以後、コンテナ・タイルという実世界上の物理オブジェクトを媒介として、関連付けられた描画情報を持ち運ぶことができる。また、コンテナ・タイルを平面ディスプレイ上に置くだけで、蓄積された描画情報を呼び出すことができる。
【０１５８】
また、図２２〜図２３には、コンテナ・タイルとこれに隣接したポータル・タイルとの間でデータを移動する様子を図解している。図示の例では、コンテナ・タイルには上述の処理によって描画データが担持されているものとする。また、ポータル・タイルとしてプリンタ・タイルを適用する。コンテナ・タイルからプリンタ・タイルにデータが移動することに応答して、ポータル・タイルに割り付けられた実世界上のプリンタでは、移動データのプリント実行が行われる。
【０１５９】
まず、描画データをあらかじめ担持したコンテナ・タイルを平面ディスプレイ１１上に設置すると、その無線タグが持つＲＦ−ＩＤが認識される。そして、計算機システム１００はコンテナ・タイルに割り付けられた描画データを読み出して、コンテナ・タイルの透明領域を利用して、平面ディスプレイ１１上に該当する描画データが映し出される。
【０１６０】
次いで、コンテナ・タイルから、隣接するプリンタ・タイルに向かってオブジェクトをドラッグするようなペン・ジェスチャをタイル上で印加する。この結果、コンテナ・タイルからプリンタ・タイルに描画データが移動して、プリンタ・タイルに割り付けられた実世界上のプリンタ上では、移動データのプリント実行が行われる。
【０１６１】
このとき、計算機システム１００は、現実のプリンタを撮影しているカメラからのリアル映像をネットワーク経由で取得し、プリンタ・タイルの透明領域を利用して、実物の映像、すなわち実際のプリント出力の様子を表示するようにしてもよい。
【０１６２】
コンテナ・タイルを利用することで、Ｐｉｃｋ＆Ｄｒｏｐ[14]やｍｅｄｉａＢｌｏｃｋ[15]の用に、情報をコンピュータ間で移動するようとでも利用可能である。例えば、静止画や動画（Movie）などの画像データをコンテナ・タイルに格納しておき（すなわち、コンテナ・タイルに割り付けておき）、他のタイル上で情報を再現することができる。
【０１６３】
ここで、Ｐｉｃｋ＆Ｄｒｏｐは、「ドラッグ・アンド・ドロップ」というＧＵＩ操作を実空間に拡張したものであり、複数のコンピュータ間でのデータ・オブジェクトの移動を実世界での直感的な動作にマッピングした対話技法である。ペンなどをユーザ入力装置とするコンピュータのデスクトップ上で、あるオブジェクトのドラッグ操作を継続して、そのポインタが画面を越えてしまった場合には、隣接する他のコンピュータのデスクトップ上までドラッグ操作が継承され、該オブジェクトをドラッグしたままのポインタが出現する。
【０１６４】
一方のコンピュータ・デスクトップ上では、ポインタが画面の端に到達した時点で、オブジェクトをドラッグしたままポインタは消滅するが、この処理をオブジェクトの"Ｐｉｃｋ"（デジタル・オブジェクトの拾い上げ）と呼ぶ。また、他方のコンピュータ・デスクトップ上において、該オブジェクトのドラッグ状態を継承したポインタが出現する処理のことを、オブジェクトの"Ｄｒｏｐ"と呼ぶ。Ｐｉｃｋ＆Ｄｒｏｐを実行するコンピュータのバックグラウンドではオブジェクトのエンティティ（例えばデータ・ファイルなど）がネットワーク転送される。図２４には、隣接するノートブック・コンピュータ間でデジタル・オブジェクトをＰｉｃｋ−ａｎｄ−Ｄｒｏｐする様子を描写している。Ｐｉｃｋ＆Ｄｒｏｐ操作に関しては、本出願人に既に譲渡されている特開平１１−５３２３６号公報にも開示されている。
【０１６５】
コンテナ・タイルは、複数のタイルがそれぞれ持つデータを結合して、格納することができる。例えば、図２５に示すように、横方向に動画像（Ｍｏｖｉｅ）タイルを横方向に一列に並べておき、さらにこれらのタイル上をドラッグするペン・ジェスチャを印加して、コンテナ・タイルをドラッグの終点とすることによって、各動画像（例えば、ビデオ・クリップなど）を結合して、コンテナ・タイルに格納することができる。
【０１６６】
ここで、複数のタイルが担持するデータ・コンテンツを一括してコンテナ・タイルに格納するためのオペレーションについて、図３７に示すフローチャートを参照しながら説明する。但し、データ・コンテンツを担持するデータとして、動画像コンテンツを含んだムービー・タイルを用いることにする。
【０１６７】
まず、複数のムービー・タイルを、図２５に示すように、平面ディスプレイ１１上に横方向に連結して並べる（ステップＳ２１）。
【０１６８】
システム側では、各ムービー・タイルが持つ識別情報すなわちＲＦ−ＩＤが電磁授受方式により読み取られる。この結果、ＤａｔａＴｉｌｅｓシステムは、対応するＩＤをキーに処理内容を検索して、検索された動画像又はそのキーフレームを各タイルの透明領域を利用して表示する。
【０１６９】
さらに、ムービー・タイルの手前側（紙面下側）に、コンテナ・タイルを置く（ステップＳ２２）。システム側では、各ムービー・タイルが持つ識別情報すなわちＲＦ−ＩＤが電磁授受方式により読み取られて、コンテナ・タイルの存在が認識される。
【０１７０】
さらに、図２５中で矢印で示すように、各ムービー・タイル上を横切るようなペン・ジェスチャを印加する（ステップＳ２３）。
【０１７１】
このようなペン・ジェスチャは、電磁誘導方式によりデジタイザで検出され、システム側で認識される。そして、横方向に並べられたムービー・タイルをペン操作方向に沿って連結した形式で、コンテナ・タイルにムービーが格納される（ステップＳ２４）。
【０１７２】
ＤａｔａＴｉｌｅｓシステム上では、各ムービーを連結して構成されるデータ・コンテンツが、コンテナ・タイルのＩＤと関連付けて保管されるので、コンテナ・タイルを平面ディスプレイ１１上で操作することにより、連結されたムービーを再び呼び出す（すなわち表示する）ことができる。
【０１７３】
コンテナ・タイルの変形例として、「マクロ・タイル」を挙げることができる。マクロ・タイルとは、隣接したタイル上で行われたペン操作を記録して、後で再生する機能を有している。
【０１７４】
また、コンテナ・タイルは、タイル上にドラッグされたデータやコンテンツを単に担持するものであるが、タイルにデータを格納することに「購入する」というメタファを与えることもできる。このようなコンテナ・タイルの応用例のことを、ここでは、"Commerce"タイルと呼ぶ。
【０１７５】
"Commerce"タイルによってＤａｔａＴｉｌｅｓシステム上でデータ・コンテンツを購入するためのオペレーションについて、図３８に示すフローチャートを参照しながら説明する。但し、ここでは、音楽データを担持した音楽タイルを媒介にして音楽データを購入するものとする。
【０１７６】
まず、音楽タイルを平面ディスプレイ１１上に置く（ステップＳ３１）。
【０１７７】
システム側では、各ムービー・タイルが持つ識別情報すなわちＲＦ−ＩＤが電磁授受方式により読み取られる。この結果、ＤａｔａＴｉｌｅｓシステムは、対応するＩＤをキーに処理内容を検索して、検索された音楽データ又はそのサンプルを再生する（ステップＳ３２）。
【０１７８】
さらに、音楽タイルに隣接して、"Commerce"タイルを平面ディスプレイ１１上に置く（ステップＳ３３）。システム側では、タイルが持つ識別情報すなわちＲＦ−ＩＤが電磁授受方式により読み取られて、"Commerce"タイルの存在が認識される。
【０１７９】
図３９には、"Commerce"タイルが音楽タイルに隣接して配置された様子を示している。Commerceタイルは、タイルの識別子であるＲＦ−ＩＤだけでなく、購入者個人の識別情報やユーザ認証情報を含んでいてもよい。また、音楽タイルに担持されたサンプルを視聴した後、実際に購入するか否かを指示入力するための"Buy"ボタンを含んでいてもよい。
【０１８０】
ユーザ、すなわちCommerceタイルの所有者は、サンプルを気に入り、音楽データの購入を決定した場合には、Commerceタイル上のBuyボタン上をペンで指示すればよい（ステップＳ３４）。このようなペン操作は、電磁誘導方式によりデジタイザで検出され、システム側で認識されて、所定の購入手続が起動する。
【０１８１】
購入手続としてオンライン購入方式を採用することができる。また、購入手続には課金処理を含む。ＤａｔａＴｉｌｅｓシステムは、現金決済、プリペイドによる支払い、クレジット・カードを用いた信用決済、デビット・カードを用いた即時決済、電子マネーなどを利用することができる。但し、データ・コンテンツの購入手続自体は本発明の要旨ではないので、ここではこれ以上説明しない。
【０１８２】
上記では、音楽データを担持する音楽タイルを例に取り上げたが、勿論、映画や画像、現実の物品など、オンラインで購入できる他の物品やサービスであっても、Commerceタイルを媒介とした購入手続に適用することが可能である。
【０１８３】
さらに、Commerceタイルの変形例として、ＲＦ−ＩＤが組み込まれたタイル以外の認証機器（例えば携帯電話）をタイルに隣接して置くことも可能である。この場合も、機器の壁面にＢｕｙボタンに相当するボタンを液晶表示ディスプレイ上に用意しておけばよい。
【０１８４】
Ｃ−５．リモート・タイル
複数の平面ディスプレイ、すなわち複数の作業環境を接続するためのタイルのことを、本明細書では「リモート・タイル」と呼ぶ。
【０１８５】
リモート・タイルは、転送元となる「マスタ」と転送先となる「スレーブ」で構成される。マスタ・タイルを平面ディスプレイ１１上のあるタイルに隣接して置くとともに、スレーブ・タイルを他の平面ディスプレイ上に置くことによって、これら２つのタイル間で接続が確立して、マスタが受け取ったデータがスレーブに転送される。
【０１８６】
計算機システム１００上では、マスタ・タイルに隣接するタイル上で扱われるデータやコンテンツをマスタ・タイルに割り付け、さらに、スレーブ・タイルが設置された平面ディスプレイを制御する他の計算機システムとネットワーク通信を確立して、マスタ・タイルとして格納されたデータを転送する。他の計算機システムは、スレーブ・タイルの透明領域を利用して、平面ディスプレイ上で受信データを表示してデータ転送されたことを視覚的にフィードバックする。また、画像表示だけでなく、マスタ・タイル上で印加されるペン操作も、スレーブ・タイル側に転送される。
【０１８７】
図２６には、リモート・タイルの動作例を図解している。
【０１８８】
同図に示す例では、アプリケーション・タイルの一例であるペイント・タイル（前述）に隣接するように、マスタ・タイルが設置される。マスタ・タイルの無線タグが持つＲＦ−ＩＤが認識され、計算機システム１００は、ペイント・タイル上で編集された描画データをコンテナ・タイルに移動又はコピーする。このとき、コンテナ・タイルの透明領域を利用して、隣接するペイント・タイルと同じ描画情報を映し出すという視覚的なフィードバックがユーザに与えられる。
【０１８９】
次いで、他の平面ディスプレイ上に、スレーブ・タイルを設置する。スレーブ・タイルの無線タグが持つＲＦ−ＩＤが読み取られ、他の計算機システムはマスタ・タイルを認識中の計算機システムとのネットワーク通信の確立を試みる。そして、マスタ・タイルに格納された描画データを受信すると、スレーブ・タイルの透明領域を利用してこれを表示出力する。また、マスタ・タイル上で印加されたペン操作は、ネットワーク経由でスレーブ側に通知され、平面ディスプレイの表示駆動によって視覚的なフィードバックをユーザに与える。
【０１９０】
Ｄ．タイルの組み合わせによる機能合成
上述したように、各タイルにはそれぞれの機能が割り付けられており、ユーザは、物理インターフェースとしてのタイルを視覚的インターフェースとしての平面ディスプレイ上に置くという簡単な操作で、該当する機能を実行することができる。
【０１９１】
さらに、複数のタイルを組み合わせて置くことで、各機能を合成して、より高次の機能を表現することができる。以下では、タイルの隣接配置に基づく機能合成を例示する。
【０１９２】
（１）マップ・タイルをポータル・タイルに隣接して置く：
マップ・タイルをポータル・タイルに隣接して置くことで、ポータル・タイルと対応している実世界の事物の位置を調べたり、ポータル・タイルと実物との対応関係を変更することができる。
【０１９３】
例えば、ポータル・タイルに隣接する場所にマップ・タイルを置くことで、ポータル・タイルに割り付けられた実世界上の事物の所在を、マップ・タイル上で表示することができる（図２７を参照のこと）。
【０１９４】
また、逆に、マップ・タイルに印刷された地図（又は見取り図）上の所定の場所をペンで指示すると、その場所に該当する実世界上の事物がポータル・タイルに新たに割り付けられる。この結果、計算機システムは、新たに割り付けられた事物を撮影中のカメラからその撮影画像を取得して、ポータル・タイルの透明領域を利用して、新たに割り付けられた事物の撮影画像を表示する（又は、画像表示が古い事物から新しい事物へ切り替える）（図２８を参照のこと）。
【０１９５】
（２）コンテナ・タイルをポータル・タイルに隣接して置く：
コンテナ・タイルをポータル・タイルに隣接しておき、タイルをまたがってドラッグのようなペン・ジェスチャを印加することによって、ポータル・タイルに表示された画面（すなわち割り付けられた事物のリアル画像）のスナップショットをコンテナ・タイルに格納することができる（図２９を参照のこと）。
【０１９６】
このような場合、計算機システム１００上では、ポータル・タイルに割り付けられた実世界上の事物を捕捉するカメラによる撮影画像のスナップショットを取得するとともに、これをコンテナ・タイルに対応付けて保管する。
【０１９７】
（３）時間軸タイルをポータル・タイルに隣接して置く：
図７に示すような、表面に円形の溝が刻設されたパラメータ・タイルを時間軸での時刻のために利用することができる。このような時間軸タイルをメモパッド・タイルに隣接して置くことで、時間軸タイル上で指示した時刻まで遡って過去の編集内容をメモパッド・タイル上に表示させることができる（図３０を参照のこと）。
【０１９８】
さらに、メモパッド・タイルの横に、実世界上のプリンタに割り付けられたポータル・タイルを設置して、プリント実行を連動させてもよい。この場合、メモパッド・タイル上の描画データをプリンタ・タイルにドラッグするようなペン・ジェスチャをタイル上に印加することで、プリント・ジョブが発行される。
【０１９９】
このとき、計算機システム１００は、現実のプリンタを撮影しているカメラからのリアル映像をネットワーク経由で取得し、プリンタ・タイルの透明領域を利用して、実際のプリント出力の様子を表示するようにしてもよい。
【０２００】
個々のタイルが持つ単独の機能は単純であっても、上述したように複数のタイル間で機能の組み合わせを許容することによって、柔軟に且つ強力な機能を構築していくことができる。
【０２０１】
同一のタイルが、状況によって異なった機能を発揮することもある。例えば、上述した時間軸タイルは、時間の概念を持つタイル上のナビゲーション用と一般に用いることができるので、動画像の表示アプリケーションに割り付けられたビデオ・タイルに隣接して配置することにより、ジョグダイヤルとして機能する。他方、メモパッド・タイルに隣接した配置した場合には、上述したように、過去の編集内容を呼び出すための「タイムマシン・タイル」として機能する。
【０２０２】
隣接したタイルどうしは、合致する対応関係が認められれば、「結合」して互いの機能が合成される。結合の形態には、ユーザのペン・ジェスチャなど明示的な指示に応答してタイル間でデータが移動する離散的なものや、タイルどうしが隣接関係にあるというだけで自動的且つ連続的にデータが移動するタイプがある。
【０２０３】
前者の離散的なタイプの例として、例えば、コンテナ・タイルと他のタイルとの結合関係を挙げることができる（例えば、図２０〜図２１、図２２〜図２３を参照のこと）。また、後者の連続的な例として、ビデオ・タイルをリモート・タイル（マスタ側）に連結して、スレーブ側のリモート・タイルにストリーミングを行うことが挙げられる。
【０２０４】
図３２〜図３４には、離散的なデータ移動をトリガするペン・ジェスチャの例を挙げている。図３２に示す例では、タイルを横切るドラッグ操作によって、データ移動のトリガを与えている。また、図３３に示す例では、タイル間の境界をなぞることによって、データ移動のトリガを与えている。また、図３４に示す例では、離間して配置された２つのタイルを接続するようなペン・ジェスチャで、データ移動のトリガを与えている。
【０２０５】
《注釈》
[1] Pierre Wellner. "The DigitalDesk calculator": Tangible manipulation on a desk top. In Proceedings of USIT'91, ACM Symposyium on User Interface Software and Technology, pp.27-34, November 1991.
[2] H. Suzuki and H. Kato. "AlgoBlock": a tangible programming language, a tool for collaborative learning. In proceedings of 4th European Logo Conference, pp.297-303, August 1993.
[3] George W. Fitsmaurice, Hiroshi Ishii, and William Buxton. "Bricks": laying the foundations for graspable user interface. In CHI'95 Conference, pp.442-449, 1995.
[4] Hiroshi Ishii and Brygg Ullmer, "Tangible Bits": Towards seamless interfaces between people, bits and atoms. In CHI'97 Proceedings, pp.234-241, 1997.
[5] J.J. Gibson. "The ecological approach to visual perception": Houghton Mifflin Company, 1979.
[6] Eric A. Bier, Maureen C. Stone, Ken Pier, William Buxton, and Tony DeRose. "Toolglass and Magic Lense": The see-through interface. In James T. Kajiya, sditor, Computer Graphics (SIGGRAPH'93 Proceedings), Vol.27, pp.73-80, August 1993.
[7] Jun Rekimoto and Katashi Nagao. "The world through the computer": Computer augmented interaction with real world environments. In proceedings of the ACM symposium on User Interface Software and Technology (USIT'95), pp.29-36, November 1995.
[8] Dieter Schmalsteig, Miguel Encarnacao, and Zsolt Szalavari. "Using transparent props for interaction with the virtual table": In Proc. Of Interactive 3D graphics (I3DG'99), 1999.
[9] Y. Tanaka and T. Imataki. "A hypermedia system allowing functional composition of active media objects through direct manipulations": In Proceedings of the IFIP 11th World Computer Congress, pp.541-546, 1998.
[10] Itiro Siio. "InfoBinder": a pointing device for a virtual desktop sytem. In 6th International Conference on Human-Computer Interaction (HCI International '95), pp.261-264, July 1995.
[11] John Underkoffler and Hiroshi Ishii. "Illuminating Light": An optical design tool with a luminoustangible interface. In CHI'98 Proceedings, pp.542-549, 1998.
[12] Jun Rekimoto and Masanori Saitoh. "Augmented Surfaces": A spacially continuous workspace for hybrid computing environments. In Proceedings of ACM CHI'99, pp.378-385, May 1999.
[13] Hideaki Koike, Yoichi Sato, Yashinori Kobayashi, Hiroaki Tobita, and Motoki Kobayashi. "Interactive textbook and interactive venn diagram": Natural and intutive interfaces on augmented desk system. In CHI'2000 Proceedings, pp.121-128, 2000.
[14] J.Rekimoto. Pick-and-Drop: A Direct Manipulation Technique for Multiple Computer Environments. In UIST '97, pp.31-39, October 1997.
【０２０６】
［追補］
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【０２０７】
【発明の効果】
以上詳記したように、本発明によれば、実空間上に存在する物理インターフェースとコンピュータの論理空間を表示するディスプレイなどの視覚的インターフェースを融合させることによって、直感的で分かり易く表現することができる、優れたユーザ・インターフェース環境を提供することができる。
【０２０８】
また、本発明によれば、家庭やオフィスにおける多数のコンピュータ（情報アプライアンス）の連携を支援する簡易なユーザ・インターフェース環境を提供することができる。
【０２０９】
また、本発明によれば、各機器間での情報交換など、複数の機器を連携させるための操作を簡単に行なうことができる、優れたユーザ・インターフェース環境を提供することができる。
【０２１０】
本発明によれば、視覚的インターフェースとしてペン入力タイプの表示タブレットを利用することで、タブレット上での物理インターフェースの操作に対するアクションを視覚的にフィードバックするとともに、ペンを用いたユーザの直接的な入力を受容できるようにすることよって、豊富な対話技法を利用可能にするとともに、直感的で分かり易く表現することができるユーザ・インターフェース環境を提供することができる。
【０２１１】
本発明によれば、タイルのような透明実物体に平面ディスプレイからの映像を合成することで、タイルの表面でのペン操作機能を提供することができる。したがって、現実の物を操作するという感覚を維持しながら、ＧＵＩで開拓された豊富な対話技法を利用することができる。
【０２１２】
本発明に係るＤａｔａＴｉｌｅｓを、例えば家庭やオフィスでの情報アプライアンスを制御するための「デジタル・ダッシュボード」に適用することができる。その他の応用分野として、映像編集や教育ツール、電子玩具（メディア・トイ）、プログラミング・ツールなどに適用することが考えられる。
【０２１３】
例えば、映像編集ツールでは、動画や音声などの素材（クリップ）をタイルとして表現し、それらをレイアウトすることで映像編集を行うことが可能である。種々の映像エフェクトも、タイルやパラメータ・タイルとして表現すればよい。メディアの再生には時間軸タイルを用い、編集結果を持ち運ぶためにコンテナタイルを利用することができる。また、同様の手法により、音楽編集などにＤａｔａＴｉｌｅｓを利用することができる。
【０２１４】
教育ツールや電子玩具としては、ＡｌｇｏＢｌｏｃｋ[2]で示されているような、複数のブロックを組み合わせることによるプログラミングが可能である。本発明に係るＤａｔＴｉｌｅｓによれば、各モジュールの状態をタイル表面に表示することができるので、プログラムの内部状態をより直感的に理解できるように提示することができる。また、ペン操作によってプログラムの実行を制御したり、対話的な処理を行うことも可能である。
【０２１５】
本発明に係るＤａｔａＴｉｌｅｓシステムの適用範囲を拡張する上で、タイル形状の種々のバリエーション（サイズや厚さ、平面ディスプレイ上に同時に配置できる個数など）を検討することが肝要である。さらに、現状のシステム構成に対する種々の拡張も、興味深い課題である。例えば、物理的なスイッチや簡単な電子回路を組み込んだタイルを、上述した無線タグのみの受動的なタイルと混在させて、同じ平面ディスプレイ上で利用することも可能である。ボイス・メモを記録する機能をタイルとして構成し、それとコンテナ・タイルやメール送信タイルと組み合わせることも考えられる。
【０２１６】
また、ＲＦ−ＩＤを組み込んだ携帯電話やＰＤＡ（Personal Diogital Assistant）などの携帯型機器を特殊なタイルとみなすこともできる。これらの機器を平面ディスプレイに搭載することで、他のタイルとの間で情報交換を行うことができる。
【０２１７】
平面ディスプレイ以外の装置、例えばタイルを保管するための「ラック」にＲＦ−ＩＤ読み取り装置を組み込むようにしてもよい。電子メールを着信すると、ラックに格納されたメール・タイルが点滅してユーザに通知するようにしてもよい。
【図面の簡単な説明】
【図１】ＤａｔａＴｉｌｅｓシステムの外観構成を示した図である。
【図２】基本構造を持つタイル５０の上面図と斜視図である。
【図３】天気図に割り付けられたタイルの裏面に画面出力される天気予報情報や衛星写真と融合する地図情報が形成されている様子を示した図である。
【図４】ビル構内のフロアの平面図や見取り図をあらかじめ印刷した"Map"タイルを示した図である。
【図５】スクロール操作時のガイドとなる直線状の溝を刻み込んだ"Scroll"タイルを示した図である。
【図６】ウィジェットの操作感を向上させるためにスクロール・バーの溝の壁面に微妙な凹凸形状を形設した様子を示した図である。
【図７】ジョグ・ダイヤルのような回転操作が可能なウィジェットを提供するためにタイル５０の表面にリング状の溝を刻設した様子を示した図である。
【図８】平面ディスプレイ１１の一例を上面から斜視した様子を示した図である。
【図９】平面ディスプレイ１１の断面構成を模式的に示した図である。
【図１０】タイル５０に内蔵された無線タグ５３からＲＦ−ＩＤを読み取る動作を説明するための機能ブロック図を示した図である。
【図１１】ＩＤタグ付きのタイル５０を平面ディスプレイ上に配置することでインターフェースが構成される様子を示した図である。
【図１２】平面ディスプレイ１１の断面構成の他の例を模式的に示した図である。
【図１３】計算機システム１００のハードウェア構成を模式的に示した図である。
【図１４】メモパッドが割り付けられたアプリケーション・タイルを平面ディスプレイ上に設置し、該当するアプリケーションが起動した様子、並びに、タイル上でメモを書き加える様子を示した図である。
【図１５】天気予報に割り付けられたアプリケーション・タイルを平面ディスプレイ上に設置し、天気予報や衛星写真などの動的な表示画像とタイルに印刷された白地図のような固定情報が融合して、天気図に関する視覚情報が強化される様子を示した図である。
【図１６】特定のプリンタに割り付けられたプリンタ・タイルを平面ディスプレイ１１上に置くことに応答して、プリンタの状態に関する動的な表示情報とタイルに印刷されたプリンタの絵柄が融合して、プリンタに関する視覚情報が強化される様子を示した図である。
【図１７】特定のプリンタに割り付けられたプリンタ・タイルを平面ディスプレイ１１上に置くことに応答して、プリンタを撮影しているカメラからのリアル映像がタイルの透明領域を利用して表示される様子を示した図である。
【図１８】プリンタを表現したポータル・タイルにクエリ・タイルを隣接して設置した場合の動作例を示した図である。
【図１９】図１８と同じクエリ・タイルを、図４に示すようなＭａｐタイルに隣接して設置した場合の動作例を示した図である。
【図２０】コンテナ・タイルとこれに隣接するタイルとの間で、ドラッグ・アンド・ドロップのようなペン・ジェスチャーによって情報を移動・交換・コピーする様子を示した図であり、より具体的には、コンテナ・タイルと、これに隣接したペイント・タイルとの間で描画データを移動する様子を示した図である。
【図２１】コンテナ・タイルと、これに隣接したペイント・タイルとの間で描画データを移動する様子を示した図である。
【図２２】コンテナ・タイルとこれに隣接するタイルとの間で、ドラッグ・アンド・ドロップのようなペン・ジェスチャーによって情報を移動・交換・コピーする様子を示した図であり、より具体的には、コンテナ・タイル上のデータをプリンタ・タイルに移動する様子を示した図である。
【図２３】コンテナ・タイル上のデータをプリンタ・タイルに移動する様子を示した図である。
【図２４】Ｐｉｃｋ−ａｎｄ−Ｄｒｏｐ操作を説明するための図であり、より具体的には、隣接するノートブック・コンピュータのディスプレイ・スクリーンの間でＧＵＩ操作が継承され、一方のディスプレイ上のデジタル・オブジェクトが実空間を越えて他方のディスプレイ上にドロップされる様子を描写した図である。
【図２５】横方向に動画像（Ｍｏｖｉｅ）タイルを一列に並べておき、さらにこれらのタイル上をドラッグするペン・ジェスチャを印加して、コンテナ・タイルをドラッグの終点とする様子を示した図である。
【図２６】リモート・タイルの動作例を示した図であり、より具体的には、マスタ・タイル上でのペン操作や画面情報がネットワーク通信によりスレーブ・タイルに電鉄される様子を示した図である。
【図２７】マップ・タイルとポータル・タイルによる協働的動作を示した図であり、より具体的には、ポータル・タイルに隣接する場所にマップ・タイルを置くことで、ポータル・タイルに割り付けられた実世界上の事物の所在をマップ・タイル上で表示する様子を示した図である。
【図２８】マップ・タイルとポータル・タイルによる協働的動作を示した図であり、より具体的には、ポータル・タイルに隣接する場所にマップ・タイルを置くとともに、マップ・タイル上の所定の場所をペンで指示することによって、ポータル・タイルに割り付けるべき実世界上の事物を指定するする様子を示した図である。
【図２９】コンテナ・タイルとポータル・タイルによる協働的動作を示した図であり、より具体的には、タイル間のペン・ジェスチャに応答して、ポータル・タイルに表示される画面のスナップショットをコンテナ・タイルに格納する様子を示した図である。
【図３０】パラメータ・タイルとアプリケーション・タイルによる協働的動作を示した図であり、より具体的には、時間軸タイルをメモパッド・タイルに隣接して置き、時間軸タイル上で指示した過去の編集内容をメモパッド・タイル上に表示する様子を示した図である。
【図３１】パラメータ・タイルとアプリケーション・タイルによる協働的動作を示した図であり、より具体的には、時間軸タイル上で指定された時刻における描画データを、ポータル・タイルを利用してプリント実行する様子を示した図である。
【図３２】離散的なデータ移動をトリガするペン・ジェスチャの例を示した図であり、より具体的には、タイルを横切るドラッグ操作によってデータ移動のトリガを与えている様子を示した図である。
【図３３】離散的なデータ移動をトリガするペン・ジェスチャの例を示した図であり、より具体的には、タイル間の境界をなぞることによってデータ移動のトリガを与えている様子を示した図である。
【図３４】離散的なデータ移動をトリガするペン・ジェスチャの例を示した図であり、より具体的には、離間して配置された２つのタイルを接続するようなペン・ジェスチャでデータ移動のトリガを与えている様子を示した図である。
【図３５】Ｗｅａｔｈｅｒタイルを平面ディスプレイ１１上で操作したときのオペレーションを示したフローチャートである。
【図３６】プリンタ・タイルを平面ディスプレイ１１上で操作したときのオペレーションを示したフローチャートである。
【図３７】複数のタイルが担持するデータ・コンテンツを一括してコンテナ・タイルに格納するオペレーションを示したフローチャートである。
【図３８】 "Commerce"タイルによってＤａｔａＴｉｌｅｓシステム上でデータ・コンテンツを購入するためのオペレーションを示したフローチャートである。
【図３９】 "Commerce"タイルが音楽タイルに隣接して配置された様子を示した図である。
【符号の説明】
１０…ＤａｔａＴｉｌｅｓシステム
１１…平面ディスプレイ，１２…ポッチ
１５…液晶層，１６…バックライト層
１７…デジタイザ用アンテナ層，１８…カバー
１９…ＲＦアンテナ
５０…タイル，５１…透明領域
５２…タイトルバー，５３…無線タグ
１００…計算機システム
１０１…ＣＰＵ，１０２…メモリ
１０３…ディスプレイ・コントローラ
１０４…入力機器インターフェース
１０５…外部機器インターフェース
１０６…ネットワーク・インターフェース，１０７…バス
１１２…キーボード，１１３…マウス
１１４…ハード・ディスク装置，１１５…メディア・ドライブ
【発明の属する技術分野】
本発明は、コンピュータに対してオブジェクトの操作やコマンド等の入力を行うためのユーザ・インターフェース環境の提案に係り、特に、コンピュータに対してユーザが直感的で分かり易くオブジェクト操作やコマンド入力を行うことができるユーザ・インターフェース環境の提案に関する。
【０００２】
更に詳しくは、本発明は、実空間上に存在する物理インターフェースとコンピュータの論理空間を表示するディスプレイなどの視覚的インターフェースを融合させることによって、直感的で分かり易く表現することができるユーザ・インターフェース環境の提案に係る。特に、各機器間での情報交換など、複数の機器を連携させるための操作を簡単に行なうユーザ・インターフェース環境の提案に関する。
【０００３】
【従来の技術】
昨今の技術革新に伴い、ワークステーションやパーソナル・コンピュータ（ＰＣ）と呼ばれる、比較的小型且つ低価格で、高付加価値化・高機能化された汎用タイプのコンピュータ・システムが開発・市販され、大学その他の研究機関や企業その他のオフィス、さらには一般家庭内の日常生活にも深く浸透している。
【０００４】
コンピュータ・システムは、一般に、ユーザ入力コマンドに応答して駆動し、処理結果をディスプレイ・スクリーン上に表示することによって、「インタラクティブ」、すなわち対話的な処理環境を提供している。最近では、ＤＯＳ（Disk Operating System）シェル画面を代表とする旧来のキーボードを介したキャラクタ・ベースのユーザ入力環境すなわち「ＣＵＩ（Character User Interface）」から、グラフィック・ベースのユーザ入力を実現した「ＧＵＩ（Graphical User Interface）」への移行が挙げられる。ＧＵＩ環境下では、コンピュータ・システムがシミュレートされたデスクトップと無数のアイコンがディスプレイ・スクリーンに用意される。
【０００５】
ＧＵＩが提供されたデスクトップ上では、ファイル等のコンピュータ・システム上で取り扱われる全ての資源オブジェクトはアイコンとして表現される。ユーザは、ディスプレイ・スクリーン上のプログラム、データ、フォルダ、デバイスなどを象徴するアイコンに対してマウスなどを用いて画面上の表示オブジェクトに対して直接操作を印加する（例えば、クリックやドラッグ・アンド・ドロップ）ことで、直感的にコンピュータ操作を行うことができる。また、デスクトップ上には、メニュー・バーやツール・ボックスなど、各種の機能すなわちコンピュータ処理を瞬時に呼び出すためのボタンが用意されており、コマンド入力の様式はますます直感的で分かり易いものとなってきている。
【０００６】
ＧＵＩ環境の導入により、もはやユーザは、特定のコマンドの名称やコマンド操作方法等を特に習得したり、煩雑なキー入力を行わなくとも、コンピュータを充分に操作することができる。
【０００７】
かかるＧＵＩ環境下において利用可能なユーザ入力装置として、例えば、マウスや、トラックポイント、ジョイスティック、タブレット又はタッチパッドなどの座標指示装置が代表的である。このうち、マウスは、コンピュータ業界に深く定着しており、ほとんどのユーザは、ドラッグ・アンド・ドロップを基調とするマウス操作に慣れ親しんでいる。オフィスや家庭などの日常生活の各場面においてコンピュータを新規導入するに際して、マウス操作を特にトレーニングする必要は全くないと言っても過言ではない。マウス操作を基調とするＧＵＩは、既に多くのユーザ間で定着しており、複数の汎用的な機能を提供している。
【０００８】
さらに最近では、コンピュータやその他の情報処理システムへの対話的入出力手法として、実物体を介したインターフェースの研究も盛んになってきている[1,2,3,4]。
【０００９】
このような実物体を用いたインターフェースによれば、ディスプレイ出力を介した画面情報とマウスのような汎用的な入力デバイスに基づく基本的なＧＵＩ操作技法に比し、人間が本来有している現実の事物を取り扱うための洗練された能力を引き出すことができるので、コンピュータ処理に活用することができる可能性がある。
【００１０】
例えば、両手を使って複数の現実物を迅速に操作することができる。また、現実物からの強いアフォーダンス[5]によって、より理解し易く、親しみのあるインターフェースを構成することが可能である。
【００１１】
しかしながら、ユーザ・インターフェースの手段として現実物を導入することによって、ＧＵＩが提供してきた汎用性や可変性が損なわれてしまう。特定目的に適合してデザインされた現実物すなわち物理オブジェクトを、コンピュータ処理など他の目的に転用することは比較的難しい。従来提案されてきたこの種のシステムは、ある特定の用途に特化したものが多く、ＧＵＩのような汎用性のあるプラットフォームとして設計されているものはほとんどない。
【００１２】
また、近年、コンピュータや情報ネットワークへの対話手段が、パーソナル・コンピュータ（ＰＣ）から情報アプライアンスヘと移行する傾向が顕著になってきている。すなわち、ユーザは、単一のコンピュータ・デスクトップ上ですべての仕事を行うのではなく、コンピュータ家電や、携帯機器など多様な機器を利用する頻度が高まってきている。これらの機器の多くは、ＧＵＩを採用する汎用的なコンピュータよりも機能が絞り込まれており、その結果、より簡単なインターフェースが利用可能になっている。したがって、家庭やオフィスにおける多数のコンピュータ（情報アプライアンス）の連携を支援する簡易なインターフェースを設計することが急務であると思料される。
【００１３】
他方、ネットワークの普及などによりコンピューティングが多数の機器に分散すると、各機器間での情報交換など、複数の機器を連携させるための操作がより重要となってくる。
【００１４】
例えば、リビング・ルームでテレビに映っている映像などの情報コンテンツを、携帯電話を使って友人にメールするという操作や、オフィスでホワイト・ボードに書いたメモリを任意の画面と共有したり、プロジェクトに投影したり、といった情報交換のための操作を簡単に行なえるようにするインターフェースが必要である。このような機器の組み合わせや情報の移動形態を事前にすべて予測することは不可能なので、エンドユーザ・レベルで簡単に機能をくみ上げることができるシステム構成が好ましい。
【００１５】
【発明が解決しようとする課題】
本発明の目的は、実空間上に存在する物理インターフェースとコンピュータの論理空間を表示するディスプレイなどの視覚的インターフェースを融合させることによって、直感的で分かり易く表現することができる、優れたユーザ・インターフェース環境を提供することにある。
【００１６】
本発明の更なる目的は、家庭やオフィスにおける多数のコンピュータ（情報アプライアンス）の連携を支援する簡易なユーザ・インターフェース環境を提供することにある。
【００１７】
本発明の更なる目的は、各機器間での情報交換など、複数の機器を連携させるための操作を簡単に行なうことができる、優れたユーザ・インターフェース環境を提供することにある。
【００１８】
【課題を解決するための手段及び作用】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、物理インターフェースの設置を受容する略平面状の操作面と該操作面上に情報を表示する表示機能を備えた視覚的インターフェースと、
前記操作面に設置された物理インターフェースを識別する識別手段と、
前記識別手段による識別結果に応じた情報処理を実行するとともに処理結果を視覚的インタフェース上に表示出力する情報処理手段と、
を具備することを特徴とする情報入出力システムである。
【００１９】
但し、ここで言う「システム」とは、複数の装置（又は特定の機能を実現する機能モジュール）が論理的に集合した物のことを言い、各装置や機能モジュールが単一の筐体内にあるか否かは特に問わない。
【００２０】
前記物理インターフェースは、より好ましくは、略平坦な透明構造体で構成され、前記透明構造体の裏面側における表示情報を表面側に透過可能な透明領域と、裏面又は表面の一部に配設されて物理インターフェースの属性情報を表示する属性情報表示領域と、前記透明構造体に埋設されて固有の識別情報を担持する識別情報格納手段とを含んでいる。後述する本発明の実施形態では、物理インターフェースは平面状の操作面上に置かれる「タイル」と呼ばれる。
【００２１】
識別情報格納手段は、例えば、「無線タグ」として構成され、所定周波数の電波を受信したことに応答して、固有の識別情報に相当する変調処理を施した変調電波（例えばＡＭ変調など）を返すことができる。このような場合、情報入出力システム側の識別手段は、いわゆる電磁授受方式により物理インターフェースすなわちタイルの固有情報を識別することができる。
【００２２】
また、視覚的インターフェースは、液晶表示ディスプレイなどの平面ディスプレイで構成される。視覚的インターフェースは、より好ましくは、その操作面上並びに該操作面上に設置された物理インターフェースを介したペン入力を読み取るデジタイザが一体となった平面ディスプレイで構成される。
【００２３】
このような場合、前記情報処理手段は、該操作面上に設置された物理インターフェースが持つ識別情報と該物理インターフェースに印加されたペン操作の組み合わせに応じた情報処理を実行することができる。
【００２４】
また、前記視覚的インターフェースの操作面上には複数の物理インターフェースを設置可能であり、前記情報処理手段は、該操作面上に設置された２以上の物理インターフェースが持つ識別情報の組み合わせに応じた情報処理を実行するようにしてもよい。
【００２５】
また、前記情報処理手段は、該操作面上に設置された２以上の物理インターフェースが持つ識別情報と該物理インターフェースに印加されたペン操作の組み合わせに応じた情報処理を実行するようにしてもよい。
【００２６】
また、前記情報処理手段は、前記視覚的インターフェースの操作面上に設置された物理インターフェースから所定の識別情報が検出されたことに応答して、該識別情報に割り付けられた処理を実行するとともに、処理結果を該物理インターフェースが設置された位置に表示出力して視覚的フィードバックを与えるようにしてもよい。
【００２７】
また、前記情報処理手段は、前記視覚的インターフェースの操作面上に設置された物理インターフェースから所定の識別情報が検出されたことに応答して、該識別情報に割り付けられたアプリケーションを実行するとともに、該アプリケーションの実行結果を該物理インターフェースが設置された位置に表示出力して視覚的フィードバックを与えるようにしてもよい。
【００２８】
また、情報入出力システムは、外部の情報資源にアクセスするための通信手段をさらに含んでいてもよい。このような場合、前記情報処理手段は、前記視覚的インターフェースの操作面上に設置された物理インターフェースから所定の識別情報が検出されたことに応答して、該識別情報に割り付けられた情報資源へのアクセスを実行するとともに、取得した情報を該物理インターフェースが設置された位置に表示出力して視覚的フィードバックを与えることができる。
【００２９】
また、前記情報処理手段は、前記視覚的インターフェースの操作面上に設置された物理インターフェースから所定の識別情報が検出されたことに応答して、該識別情報に割り付けられた実世界上の物理オブジェクトへの接続を実行するとともに、該物理オブジェクトに関する情報を該物理インターフェースが設置された位置に表示出力して視覚的フィードバックを与えるようにしてもよい。例えば、プリンタのような実世界上の物理オブジェクトに割り付けられた物理インターフェース上に、他の物理インターフェースから情報を投入することによって、プリント要求を発行することができる。
【００３０】
また、前記情報処理手段は、前記視覚的インターフェースの操作面上に設置された物理インターフェースから所定の識別情報が検出されたことに応答して、該物理インターフェースに隣接配置された他の物理インターフェースが担持する情報を該物理インターフェースに割り付けるとともに、該割り付けられた情報を該物理インターフェースが設置された位置に表示出力して視覚的フィードバックを与えるようにしてもよい。このように、他の物理インターフェースから情報を承継して、コンテナのように持ち運ぶことができる。
【００３１】
また、前記情報処理手段は、前記視覚的インターフェースの操作面上に設置された物理インターフェースから所定の識別情報が検出されたことに応答して、該物理インターフェースに隣接配置された他の物理インターフェースが担持する情報を該物理インターフェースに関連付けられた遠隔の物理インターフェースに割り付けるとともに、該割り付けられた情報を該遠隔の物理インターフェースが設置された位置に表示出力するようにしてもよい。例えば、転送元の物理インターフェースを「マスタ」とするとともに、転送先の物理インターフェースを「スレーブ」とみなして取り扱い、他の物理インターフェースからマスタに情報を投入することによって、瞬時に且つ直感的にスレーブの物理インターフェース側に情報を転送することができる。
【００３２】
また、前記情報処理手段は、該操作面上に隣接して設置された２以上の物理インターフェースにまたがるペン操作が印加されたことに応答して、一方の物理インターフェースに格納された情報を他方の物理インターフェースに割り付けるようにしてもよい。さらに、該割り付けられた情報を該他方の物理インターフェースが設置された位置に表示出力して、視覚的フィードバックを与えるようにしてもよい。
【００３３】
すなわち、本発明に係る情報入出力システムによれば、無線タグのような識別情報格納手段を埋め込んだ透明なタイルをインターフェースの単位とし、平面状に設置されたディスプレイ又はタブレット上にタイルを配置することを基本操作とする官位で分かりやすい対話技法を構築することができる。情報入出力システム側では、タイルすなわち物理インターフェースが設置されたことに応答して、無線タグに含まれる識別情報を読み出し、これに該当する処理を起動する。例えば、タイルに関連付けられた情報資源にアクセスしたり、対応する機能やアプリケーションを起動する。また、複数のタイルの物理的に位置関係により、各タイルが単体で提供する基本能力を組み合わせることができる。
【００３４】
また、本発明の第２の側面は、物理インターフェースの設置を受容する略平面状の操作面と該操作面上に情報を表示する表示機能を備えた視覚的インターフェース上における物理インターフェースの操作を介した対話技法を提供する情報入出力方法であって、
前記操作面に設置された物理インターフェースを識別する識別ステップと、
前記識別ステップによる識別結果に応じた情報処理を実行するとともに処理結果を視覚的インタフェース上に表示出力する情報処理ステップと、
を具備することを特徴とする情報入出力方法である。
【００３５】
本発明の第２の側面に係る情報入出力方法は、前記視覚的インターフェースの操作面上並びに該操作面上に設置された物理インターフェースを介したペン入力を読み取るデジタイズ・ステップをさらに備えていてもよい。
【００３６】
このような場合、前記情報処理ステップでは、該操作面上に設置された物理インターフェースが持つ識別情報と該物理インターフェースに印加されたペン操作の組み合わせに応じた情報処理を実行することができる。
【００３７】
また、前記情報処理ステップでは、該操作面上に設置された２以上の物理インターフェースが持つ識別情報の組み合わせに応じた情報処理を実行するようにしてもよいし、あるいは、前記情報処理ステップでは、該操作面上に設置された２以上の物理インターフェースが持つ識別情報と該物理インターフェースに印加されたペン操作の組み合わせに応じた情報処理を実行するようにしてもよい。
【００３８】
また、前記情報処理ステップでは、前記視覚的インターフェースの操作面上に設置された物理インターフェースから所定の識別情報が検出されたことに応答して、該識別情報に割り付けられた処理を実行するとともに、処理結果を該物理インターフェースが設置された位置に表示出力して視覚的フィードバックを与えるようにしてもよい。識別情報に割り付けられた処理とは、例えば、アプリケーション、情報資源へのアクセス、実世界上の物理オブジェクトへの接続などである。
【００３９】
また、前記情報処理ステップでは、前記視覚的インターフェースの操作面上に設置された物理インターフェースから所定の識別情報が検出されたことに応答して、該物理インターフェースに隣接配置された他の物理インターフェースが担持する情報を該物理インターフェースに割り付けるとともに、該割り付けられた情報を該物理インターフェースが設置された位置に表示出力して視覚的フィードバックを与えるようにしてもよい。
【００４０】
また、前記情報処理ステップでは、前記視覚的インターフェースの操作面上に設置された物理インターフェースから所定の識別情報が検出されたことに応答して、該物理インターフェースに隣接配置された他の物理インターフェースが担持する情報を該物理インターフェースに関連付けられた遠隔の物理インターフェースに割り付けるとともに、該割り付けられた情報を該遠隔の物理インターフェースが設置された位置に表示出力して視覚的フィードバックを与えるようにしてもよい。
【００４１】
また、前記情報処理ステップでは、該操作面上に隣接して設置された２以上の物理インターフェースにまたがるペン操作が印加されたことに応答して、一方の物理インターフェースに格納された情報を他方の物理インターフェースに割り付けるようにしてもよい。さらに、該割り付けられた情報を該他方の物理インターフェースが設置された位置に表示出力して、視覚的フィードバックを与えるようにしてもよい。
【００４２】
また、本発明の第３の側面は、物理インターフェースの設置を受容する略平面状の操作面と該操作面上に情報を表示する表示機能を備えた視覚的インターフェース上における物理インターフェースの操作を介した対話技法を提供する情報入出力処理をコンピュータ・システム上で実行するように記述されたコンピュータ・ソフトウェアをコンピュータ可読形式で物理的に格納した記憶媒体であって、前記コンピュータ・ソフトウェアは、
前記操作面に設置された物理インターフェースを識別する識別ステップと、
前記識別ステップによる識別結果に応じた情報処理を実行するとともに処理結果を視覚的インタフェース上に表示出力する情報処理ステップと、
を具備することを特徴とする記憶媒体である。
【００４３】
本発明の第３の側面に係るコンピュータ可読記憶媒体は、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ・プログラムをコンピュータ可読な形式で提供する媒体である。このような媒体は、例えば、ＣＤ（Compact Disc）やＦＤ（Floppy Disc）、ＭＯ（Magneto-Optical disc）などの着脱自在で可搬性の記憶媒体である。あるいは、ネットワーク（ネットワークは無線、有線の区別を問わない）などの伝送媒体などを経由してコンピュータ・プログラムを特定のコンピュータ・システムに提供することも技術的に可能である。
【００４４】
このようなプログラム記憶媒体は、コンピュータ・システム上で所定のコンピュータ・プログラムの機能を実現するための、コンピュータ・プログラムと記憶媒体との構造上又は機能上の協働的関係を定義したものである。換言すれば、本発明の第３の側面に係るプログラム記憶媒体を介して所定のコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第１及び第２の各側面に係る情報入出力システム及び情報入出力方法と同様の作用効果を得ることができる。
【００４５】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【００４６】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施例を詳解する。
【００４７】
Ａ．ＤａｔａＴｉｌｅｓの全体構成
本発明の１つの実施形態、すなわち、実世界上の物理インターフェースをコンピュータ空間が提供する視覚的インターフェースと融合するためのインターフェース・プラットフォーム・システムとして、ここでは"ＤａｔａＴｉｌｅｓ"を提案する。ＤａｔａＴｉｌｅｓシステムでは、無線で識別情報を通知することができるＩＤタグ（以下では、「無線タグ」又は「ＲＦ−ＩＤ」と呼ぶ）付きの透明なオブジェクト（以下では、「タイル」と呼ぶ）を、平面ディスプレイ上に配置することでインターフェースを構成するようになっている。
【００４８】
Ａ−１．ＤＩｇｉｔａｌＴＩｌｅｓシステムの基本構成
図１には、ＤａｔａＴｉｌｅｓシステムの外観構成を示している。平面ディスプレイ上には、設置されたタイルからＩＤ情報を読み取るための読み取り機構部が略等間隔で格子状に配設されている。読み取り機構部の詳細については後述に譲る。
【００４９】
ユーザが平面ディスプレイ上にタイルを設置されると、システム側ではＩＤ情報を読み取り、これに該当する（あるいはＩＤ情報に割り付けられた）処理を起動するようになっている。ここで言う処理には、例えばタイルに関連付けられた情報資源へのアクセス（この場合、ＩＤ情報は例えば特定のＵＲＬ（Uniform Resource Locator）と関連付けられていてもよい）や、機能やアプリケーションであってもよい。タイルに関連付けられた処理とは、実際には、平面ディスプレイをローカル接続する計算機システム上で実行される（あるいはネットワーク上の計算機システムとの協働的作用による）情報処理に相当する。
【００５０】
タイルはアクリルなどの透明な素材で構成されるので、タイルを平面ディスプレイ上に設置しても、その表示内容を遮ることはない。したがって、システム側では、設置されたタイルの設置位置並びにその外枠に相当するウィンドウ・フレームを持つ表示ウィンドウを、タイルの透明領域を介して平面ディスプレイ上で提供することができる。
【００５１】
すなわち、あるタイルを平面ディスプレイ上のある場所に置くと、タイルが持つ識別情報と設置位置が認識され、この結果、タイルの設置領域が活性化されて、タイルの識別情報に割り付けられた処理内容が設置領域内に表示される、というインタラクションが実現される。透明オブジェクトであるタイル自体が持つ情報は静的なものであるが、これに割り付けられた情報がタイル下方のディスプレイから表示されることにより、視覚情報が強化されたインターフェースを構成することができる。タイルという実空間上の物理インターフェースと、平面ディスプレイ上の表示というコンピュータ空間上の視覚的インターフェースとを、直感的に分かり易い形態で融合させることができる。
【００５２】
図示のＤａｔａＴｉｌｅｓシステムによれば、物理的ではあるが静的な実物体と、仮想的ではあるが動的な表示情報を融合してさまざまな用途に利用することができる。この利用形態の詳細については後述に譲る。
【００５３】
また、平面ディスプレイが、ペン入力を受容するタブレットを兼ねている場合、タイル表面上でペン操作を行うことによって、物理オブジェクトによる実世界上の操作と、ＧＵＩ風の画面操作を併用することができる。
【００５４】
さらに、複数のタイルを平面ディスプレイ上に配置することで、個々のタイルに割り付けられた機能を動的に組み合わせて、複雑なシステム状態や命令を形成することができる。但し、複数のタイルの組み合わせの詳細に関しては後述に譲る。
【００５５】
例えば、この平面ディスプレイを囲むように複数のユーザが集って、各自が所望のタイルを操るようにしてもよい。この場合、平面ディスプレイは、電子的に強化された机すなわち作業空間となる。
【００５６】
Ａ−２．既存のインターフェース・システムとの比較
透明な物体を通じてコンピュータと対話するという着想自体は、ＧＵＩの対話手法であるＴｏｏｌＧｌａｓｓとＭａｇｉｃＬｅｎｓｅ[6]に例があり、また、物理オブジェクトをインターフェースに用いる実世界指向インターフェースとしてはＮａｖｉＣａｍ[7]などの例がある。また、透明な実物体を使ったシステムとしては、ｔｒａｎｓｐａｒｅｎｔ ｐｒｏｐｓ[8]などの例がある。しかしながら、これらはいずれも、図１に示すような、透明物体の物理的な配置によってインターフェースを構成するものではない。
【００５７】
また、実物体を用いたユーザ・インターフェースに関する提案の多く（例えば、文献［１］〜［４］）は、特定の用途に特化したものであり、言い換えれば、本発明のように、ＧＵＩが提供するような汎用的な表現能力と実物体の親しみ易さとをバランスさせるものではない。
【００５８】
IntelligentPad[9]は、視覚的プログラミング環境下で、「パッド」とよばれる矩形状のオブジェクトを画面上で貼り合わせることにより機能を合成するものであり、この点で、タイルの組み合わせにより機能を合成するという本発明に係るＤａｔａＴｉｌｅｓに類似する。しかしながら、IntelligentPadは、透明オブジェクトを介した表示出力に基づく視覚情報が強化されたインターフェースを構成するものではない。
【００５９】
また、ＡｌｇｏＢｌｏｃｋ[2]は、マイクロプロセッサやスイッチなどを内蔵したキューブを接続することでプログラミングを行う教育用システムであり、所定の実物体を単位として扱う点で本発明に係るＤｉｇｉｔａｌＴＩｌｅｓに類似する。しかしながら、このシステムでは、モジュールそのものからの出力は発光ダイオードの点滅などの単純なものであり、簡単なフィードバック以上の情報を伝達することができない。出力装置として通常のディスプレイを利用する場合は、入力すなわち実物体の操作と表示との対応が間接的になってしまい、理解が容易でなくなる。また、入力手段も、ボタンやスイッチなど比較的単純なものに限定されており、ＧＵＩが提供しているような多様な対話手段や拡張性をサポートしていない。また、電子部品をキューブ内に組み込んでいるため、その価格やサイズの自由度に制限があり、キューブに対して電源や通信路を供給するための工夫が必要となる。
【００６０】
これに対し、本発明に係るＤｉｇｉｔａｌＴｉｌｅｓシステムでは、透明な物体の裏面側（すなわちディスプレイの設置面側）から情報を表示するという方式を採用することによって、これらの問題を解決することができる。この結果、入力と出力に直接な対応関係を形成することができ、ペンなどによる豊富な対話手段を利用することが可能である。また、タイルは、無線タグを取り付けている以外は特殊なハードウェア・コンポーネントを必要としないので（後述）、安価に製造することができる。
【００６１】
また、机を電子的に強化したシステムは、多くの場合、プロジェクタからの映像を机面上に投影するものである[1,10,11,12,13]。これらのシステムは、現実の物体を視覚的に認識して机など所定の投影面上に映像を投影することによって、「視覚情報が強化された実物体」を実現するものである。しかしながら、これらのシステムは、机上にプロジェクタや視覚認識用のカメラを設置する必要があり、システム規模が肥大化する傾向にある。
【００６２】
これに対し、本発明に係るＤａｔａＴｉｌｅｓシステムによれば、タイルに埋設されたタグを読み取るためのセンサを液晶表示ディスプレイなどの平面ディスプレイ表面に一体的に取り付ける構成によって実現することができる。すなわち、すべての構成要素を水平型のトレイ内に格納して、システムの安定性や可搬性を高めることができる。
【００６３】
Ｂ．ＤａｔａＴｉｌｅｓの基本構成要素
本発明に係るＤａｔａＴｉｌｅｓシステムは、ユーザが直接手に持って操作する物理インターフェースとしての複数枚のタイル５０と、ユーザに視覚的フィードバックを与える視覚的インターフェースとしての平面ディスプレイ１１と、これらインターフェースによるユーザ入出力操作を演算処理する計算機システム１００とで構成される。
【００６４】
Ｂ−１．タイル
まず、物理インターフェースとして使用されるタイル５０の構造について説明する。
【００６５】
図２には、基本構造を持つタイル５０の上面図と斜視図を示している。タイルは、例えばアクリル板のような矩形の透明の素材を利用して形成され、本発明に係るＤａｔａＴｉｌｅｓシステムにおけるインターフェースの基本要素の１つを構成する。同図からも分かるように、タイル５０は、透明領域５１と、タイトルバー５２と、ＲＦ−ＩＤを含んだ無線タグ５３で構成される。
【００６６】
透明領域５１は、タイル５０を平面ディスプレイ１１上に設置したときに、活性化された表示領域から出力される表示内容を、上面に向かって透過させる領域である。
【００６７】
タイトルバー５２は、タイル５０に与えられた名前又は割り付けられた処理内容などを視認するための領域である。例えば、一般的な印刷技術を用いてタイトルバー５２をタイル５０の裏面又は表面に形成することができる。あるいは、刻印や印刷媒体の貼設によってタイトルバー５２を形成してもよい。
【００６８】
透明領域５１は、時々刻々変動する可変情報など、計算機システム１００上で演算処理され平面ディスプレイ１１上で表示出力された内容を供給するために利用される。これに対し、タイトルバー５２は、タイル５０上で固定された情報を供給するために利用される。
【００６９】
無線タグ５３は、タイル５０に固有の識別情報を含んだデバイスであり、特定周波数の電波を受信したことに応答して識別情報に相当する変調周波数の電波（ＲＦ−ＩＤ）を発振するようになっている。
【００７０】
本実施例では、無線タグ５３は、タイル５０の一端面に穿設された無線タグ挿入孔に埋設されるようになっている。無線タグ５３は、不透明であることから、図示のように、透明領域５１ではなくタイトルバー５２に重ねて配設することが好ましい。
【００７１】
無線タグ５３から発振されるＲＦ−ＩＤは、後述するように、平面ディスプレイ１１上で受信され、計算機システム上でデコードされて、タイル５０に割り付けられた固有の機能が起動され、タイル５０の透明領域５１を利用して平面ディスプレイ１１上に処理結果が表示されるようになっている。
【００７２】
例えば、天気図に割り付けられたタイルを平面ディスプレイ上に設置すると、平面ディスプレイ１１上でタイルの存在が検出される。さらに、計算機システム上での演算処理により、インターネットなどのネットワーク経由で外部サーバ（ＷＷＷサーバなど図示しない）から天気予報情報や衛星写真などのコンテンツが取得され、タイルの下に表示出力される。
【００７３】
幾つかのタイルは、割り付けられた機能を示す、あるいは平面ディスプレイ１１上での表示内容と融合又は有機的に結合する視覚情報があらかじめ印刷又は画像形成されている。例えば、天気図に割り付けられた"Weather"タイルに関しては、画面出力される天気予報情報や衛星写真と融合して用いられる地図情報（白地図）が、タイルの裏面に印刷されていてもよい（図３を参照のこと）。
【００７４】
あるいは、ビル構内のフロアの平面図や見取り図をあらかじめ印刷した"Map"タイル（図４を参照のこと）を平面ディスプレイ上に設置すると、このタイルの下から所望の情報（例えばフロアの温度分布や、プリンタ／コピー機の設置場所など）を表示することにより、タイルの印刷情報と合成される。
【００７５】
また、タイルの表面上にペン入力時におけるペン先の操作をガイドするための溝を刻設しておいてもよい。例えば、タイルの下に表示されるウィンドウのスクロール・バーに相当する位置に直線状の溝を刻み込んでおくことにより（図５を参照のこと）、スクロール操作のガイドとして作用する。例えば、このような"Scroll"タイルを平面ディスプレイ１１上にスクロール・バーのノブなどの動的な情報を表示して、溝と合成するようにしてもよい。"Scroll"タイルを用いてペン操作する場合、ペンがガイドに沿って動いているという物理的な感触を画面上の対話部品としてのウィジェット（widget）に与えることができる。本発明者等はこれを"grooved widget"（溝付きウィジェット）と呼んでいる。
【００７６】
Grooved widgetによれば、従来のウィジェットの操作感を向上させる様々な技法を適用することができる。例えば、スクロール・バーの溝の壁面に微妙な凹凸形状を形設することで（図６を参照のこと）、スクロール操作中に所定の間隔でクリック感をペン先に印加することができる。このようなクリック感は、従来のマウス・ベースのＧＵＩ操作では付与することが困難であった。さらに、溝の壁面の物理的なテクスチャ（ザラザラ、滑らか、あるいはゴムや布などの質感）を形成することによって、さまざまの異なった操作感を提供することが可能である。
【００７７】
また、図７に示すように、タイル５０の表面にリング状の溝を刻設することによって、ジョグ・ダイヤルのような回転操作が可能なウィジェットを提供することができる。
【００７８】
Ｂ−２．平面ディスプレイ
次いで、視覚的インターフェースとして使用される平面ディスプレイ１１の構造について説明する。
【００７９】
図８には、平面ディスプレイ１１の一例を上面から斜視した様子を示している。
【００８０】
平面ディスプレイ１１は、計算機システム１００上での演算結果を提示する情報表示装置であると同時に、上述したタイル５０を設置するための台として作用する。平面ディスプレイ１１は、液晶表示ディスプレイを用いて構成することができるが、ペン入力を受容するために、例えば電磁誘導方式（周知）のタブレットと一体化されていることがより好ましい。このような場合、ユーザは、ペンを使ってトレイに表示された情報を直接操作することができるが、この点に関しては後述に譲る。
【００８１】
図示の例では、平面ディスプレイ１１の上面は、タイル５０を設置する領域ごとに仕切られた格子が形成される。また、各格子内では、タイル５０を設置したときに無線タグ５３と当接する部位には、電波送受信用のＲＦアンテナを兼ねたポッチ１２Ａ，Ｂ，…が凸設されている。図８に示す例では、平面ディスプレイ１１は、タイル５０を設置する１２個の領域を有し、領域毎に各１基のポッチ１２が設けられている。
【００８２】
ポッチ１２は、設置されたタイル５０の無線タグ５３と当接するので、ポッチ１２に内蔵されたＲＦアンテナによって、タイル５０側から発振される変調電波ＲＦ−ＩＤを受信することができる。
【００８３】
図９には、平面ディスプレイ１１の断面構成例を模式的に示している。同図に示すように、平面ディスプレイ１１は、表示駆動用の液晶層１５と、液晶層１５における描画内容を平面ディスプレイ１１の表面方向に向かって照らし出すためのバックライト層１６と、電磁誘導式のペン入力を受容するためのデジタイザ用アンテナ層１７と、液晶層１５の表面を外界から保護するためのカバー１８とが積層された構造体である。
【００８４】
また、上述したように、ＲＦアンテナ１９を内蔵したポッチ１２が、平面ディスプレイ１１の表面に突設されている。ＲＦアンテナ１９に接続される、送受信用のリード線は、カバー１８と液晶層１５の間に挿入されている。
【００８５】
ＲＦアンテナ群と、ＲＦアンテナによる受信波を読み取るＲＦ−ＩＤリーダは、例えば、アンテナ多重化回路（図示しない）によって接続されている。多重化回路は、ＦＥＴステッチによって複数のアンテナを電子的に切り替える装置で構成され、ある瞬間ＲＦ−ＩＤリーダと接続しているアンテナは１基である。アンテナの切り替えや読み取ったＲＦ−ＩＤ番号は、計算機システム１００によって行われる。多重化回路を導入することによって、同時認識可能なＲＦ−ＩＤ数に比しハードウェア構成を簡素化することができる。
【００８６】
図１０には、タイル５０に内蔵された無線タグ５３からＲＦ−ＩＤを読み取る動作を説明するための機能ブロック図を示している。図示の例では、無線送受信のために電磁授受方式が採用されている。
【００８７】
平面ディスプレイ１１側のＲＦ−ＩＤ読み取り部では、発振器により発振された特定周波数（図示の例では１３５ｋＨｚ）の電波を増幅して、ＲＦ送受信アンテナ１９を介して外部出力する。
【００８８】
他方、タイル５０を平面ディスプレイ１１上の所定位置に設置した結果として、その無線タグ５３は、ＲＦ送受信アンテナ１９に近接するので、電波を受信することができる。そして、無線タグ５３内のコイル・アンテナは受信電波と共振し、共振エネルギが貯えられる。
【００８９】
変調器は、蓄積された共振エネルギを変換して得た電気エネルギによって駆動して、受信電波を変調処理（例えばＡＭ変調）て、タイル５０に割り当てられたＩＤに相当する変調周波数を生成して、コイル・アンテナを介して出力する。
【００９０】
ＲＦ送受信アンテナ１９は、無線タグ５３からの変調周波数を持つ電波を受信する。そして、デコーダは、この変調周波数に割り当てられた識別情報（ＲＦ−ＩＤ）をデコードして、その識別結果を計算機システム１００に転送する。
【００９１】
計算機システム１００は、ＲＦ−ＩＤを受信すると、設置されたタイル５０に定義された固有の機能／アプリケーションを起動して、平面ディスプレイ１１の液晶を駆動して、タイル５０の裏側からその処理結果を表示する。
【００９２】
図１１には、ＩＤタグ付きのタイル５０を平面ディスプレイ上に配置することで、インターフェースが構成される様子を示している。
【００９３】
図示の通り、タイル５０のような透明な物理オブジェクトの下方から可変な視覚情報が映し出され、タイル５０上の固定的な画像情報と融合することにより、視覚情報が強化されたインターフェースを構成することができる。すなわち、物理的ではあるが静的な実物体と、仮想的ではあるが動的な表示情報を融合して利用することができる。
【００９４】
また、タイル５０の表面上でのペン操作によって、タイルという物理オブジェクトの操作と、カーソル移動やクリックを基調とするＧＵＩ風の画面操作を併用することができる。タイル５０の表面には、ペン操作を導くための溝（grooved widget）が形設されていてもよい（前述）。
【００９５】
さらに、複数のタイルを平面ディスプレイ１１表面上に配置することで、個々のタイルの機能を組み合わせて、複雑な状態や命令を表現することができる（後述）。
【００９６】
図１２には、平面ディスプレイ１１の断面構成の他の例を模式的に示している。同図に示すように、図示の例の平面ディスプレイ１１は、表示駆動用の液晶層と、液晶層における描画内容を平面ディスプレイの表面方向に向かって照らし出すためのバックライト層１６と、電磁授受方式のペン１２による入力を受容するためのデジタイザ用アンテナ層と、液晶層１５の表面を外界から保護するためのカバー１８とが積層された構造体である。
【００９７】
図１２に示す例では、タイル５０側の無線タグから発振されるＲＦ−ＩＤを受信するためのＲＦアンテナ１９は、ポッチ１２として平面ディスプレイ１１表面上に出現するのではなく、バックライト層１６の下層に埋設されている。
【００９８】
図９に示す場合、ポッチ１２に内蔵されたＲＦアンテナ１９のコイルの巻線方向は平面ディスプレイ１１の面方向となり、受信方向もその面方向となる。これに対し、図１２に示す例では、ＲＦアンテナ１９のコイル巻線方向を平面ディスプレイ１１表面の法線方向に設定することにより、受信感度を向上させることができる。また、平面ディスプレイ１１の表面にポッチ１２のような突起を設ける必要がないので、美観がよく、タイル５０のような物理オブジェクトを使用しない場合には通常のディスプレイ・ユニット又はテーブルとして活用し易い。
【００９９】
Ｂ−３．計算機システム
次いで、タイル５０という物理インタフェースと平面ディスプレイ１１という視覚的インターフェースを併用したユーザ入出力操作を演算処理する計算機システム１００の構成について説明する。
【０１００】
図１３には、計算機システム１００のハードウェア構成を模式的に示している。以下、各部について説明する。
【０１０１】
システム１００のメイン・コントローラであるＣＰＵ（Central Processing Unit）１０１は、オペレーティング・システム（ＯＳ）の制御下で、各種のアプリケーションを実行するようになっている。ＯＳは、より好ましくはＧＵＩ（Graphical User Interface）環境を提供するが、例えば、ＵＮＩＸ、又は、米Ｍｉｃｒｏｓｏｆｔ社のＷｉｎｄｏｗｓ９８／ＮＴでよい。
【０１０２】
図示の通り、ＣＰＵ１０１は、バス１０７によって他の機器類（後述）と相互接続されている。バス１０７上の各機器にはそれぞれ固有のメモリ・アドレス又はＩ／Ｏアドレスが付与されており、ＣＰＵ１０１はこれらアドレスによって特定の機器へのアクセスが可能となっている。バス１０７は、データ・バス、アドレス・バス、コントロール・バスを含んだ共通信号伝送路であるが、その一例はＰＣＩ（Peripheral Component Interconnect）バスである。
【０１０３】
メモリ１０２は、プロセッサ１０１において実行されるプログラム・コードを格納したり、実行中の作業データを一時保管するために使用される記憶装置である。同図に示すメモリ１０２は、不揮発及び揮発メモリ双方を含むものと理解されたい。
【０１０４】
ディスプレイ・コントローラ１０３は、ＣＰＵ１０１が発行する描画命令を実際に処理するための専用コントローラであり、例えばＳＶＧＡ（Super Video Graphic Array）又はＸＧＡ（eXtended Graphic Array）相当のビットマップ描画機能をサポートする。ディスプレイ・コントローラ１０３において処理された描画データは、例えばフレーム・バッファ（図示しない）に一旦書き込まれた後、平面ディスプレイ１１の液晶層１５によって画面出力される。
【０１０５】
本実施例に係る平面ディスプレイ１１は、タブレット一体型のディスプレイ・ユニットであり、図９や図１２を参照しながら既に説明したように、表示駆動する液晶層１５と電磁誘導方式のペン入力を行うデジタイザ用アンテナ層１７とが積層された構造体である。
【０１０６】
入力機器インターフェース１０４は、キーボード１１２やマウス１１３、並びに平面ディスプレイ１１と一体化されたタブレットなどのユーザ入力機器を計算機システム１００に接続するための装置である。入力機器インターフェース１０４は、キーボード１１２によるキー入力、マウス１１３を介した座標指示入力、デジタイザ用アンテナ層１７を介したペン操作に応答して、ＣＰＵ１０１に対して割り込みを発生する。
【０１０７】
ネットワーク・インターフェース１０５は、Ｅｔｈｅｒｎｅｔなどの所定の通信プロトコルに従って、システム１００をＬＡＮ（Local Area Network）などの局所的ネットワーク、さらにはインターネットのような広域ネットワークに接続することができる。ネットワーク・インターフェース１０５は、一般に、ＬＡＮアダプタ・カードの形態で提供され、マザーボード（図示しない）上のＰＣＩバス・スロットの装着して用いられる。
【０１０８】
ネットワーク上では、複数のホスト・コンピュータ（図示しない）がトランスペアレントな状態で接続され、分散コンピューティング環境が構築されている。ネットワーク上では、ソフトウェア・プログラムやデータ・コンテンツなどの配信が行うことができる。例えば、物理的インターフェースと視覚的インターフェースの融合を行うアプリケーション・プログラムを、ネットワーク経由でダウンロードすることができる。また、平面ディスプレイ１１上に設置されたタイル５０に割り付けられた機能に該当するアプリケーション・プログラムを、ネットワーク経由でダウンロードすることができる。また、平面ディスプレイ１１上に設置されたタイル５０に割り付けられた情報資源に対してネットワーク経由でアクセスすることができる。
【０１０９】
外部機器インターフェース１０６は、ハード・ディスク・ドライブ（ＨＤＤ）１１４やメディア・ドライブ１１５などの外部装置をシステム１００に接続するための装置である。外部機器インターフェース１０６は、例えば、ＩＤＥ（Integrated Drive Electronics）やＳＣＳＩ（Small Computer System Interface）などのインターフェース規格に準拠する。
【０１１０】
ＨＤＤ１１４は、記憶担体としての磁気ディスクを固定的に搭載した外部記憶装置であり（周知）、記憶容量やデータ転送速度などの点で他の外部記憶装置よりも優れている。ソフトウェア・プログラムを実行可能な状態でＨＤＤ１１６上に置くことをプログラムのシステムへの「インストール」と呼ぶ。通常、ＨＤＤ１１４には、ＣＰＵ１０１が実行すべきオペレーティング・システムのプログラム・コードや、アプリケーション・プログラム、デバイス・ドライバなどが不揮発的に格納されている。
【０１１１】
例えば、物理的インターフェースと視覚的インターフェースの融合を行うアプリケーション・プログラムを、ＨＤＤ１１４上にインストールすることができる。また、平面ディスプレイ１１上に設置されたタイル５０に割り付けられた機能に該当するアプリケーション・プログラムを、ＨＤＤ１１４上にインストールすることができる。また、平面ディスプレイ１１上に設置されたタイル５０に割り付けられた情報資源を、ネットワーク経由でＨＤＤ１１４上にダウンロードすることができる。
【０１１２】
また、メディア・ドライブ１１５は、ＣＤ（Compact Disc）やＭＯ（Magneto-Optical disc）、ＤＶＤ（Digital Versatile Disc）などの可搬型メディアを装填して、そのデータ記録面にアクセスするための装置である。
【０１１３】
可搬型メディアは、主として、ソフトウェア・プログラムやデータ・ファイルなどをコンピュータ可読形式のデータとしてバックアップすることや、これらをシステム間で移動（すなわち販売・流通・配布を含む）する目的で使用される。例えば、物理的インターフェースと視覚的インターフェースの融合を行うアプリケーション・プログラムや、平面ディスプレイ１１上に設置されたタイル５０に割り付けられた機能に該当するアプリケーション・プログラム、平面ディスプレイ１１上に設置されたタイル５０に割り付けられた情報資源などを、これら可搬型メディアを利用して機器間で物理的に流通・配布することができる。
【０１１４】
なお、図１３に示すような計算機システム１００の一例は、米ＩＢＭ社のパーソナル・コンピュータ"ＰＣ／ＡＴ（Personal Computer/Advanced Technology）"の互換機又は後継機である。勿論、他のアーキテクチャを備えたコンピュータを、本実施形態に係る計算機システム１００として適用することも可能である。
【０１１５】
ＤａｔａＴｉｌｅｓシステムによる物理インターフェースと視覚的インターフェースの融合は、実際には、この計算機システム１００上で物理的インターフェースと視覚的インターフェースの融合を行うアプリケーション・プログラムを起動するという形態で実現される。
【０１１６】
ＤａｔａＴｉｌｅｓのアプリケーション・ソフトウェアは、例えばＪａｖａのようなプログラミング言語を用いて構築することができる。
【０１１７】
ユーザがタイル５０を平面ディスプレイ１１上に置くと、ＤａｔａＴｉｌｅｓシステムはタイル５０から識別情報ＲＦ−ＩＤを読み取り、ＲＦ−ＩＤをもとにデータベースを検索して、必要であれば、ＲＦ−ＩＤに対応するクラス・ファイルや、タイル５０の各インスタンス固有の情報（メモ・パッドのメモ・データなど）を動的に読み込む。
【０１１８】
各タイルは、それぞれ固有のスレッドを持つので、タイル毎のアニメーションや動画再生などを並列処理することができる。
【０１１９】
２つ以上のタイルが隣接して置かれた場合、それぞれのタイルは相手側が処理可能な操作群を動的に調べ、結合タイプを決定する。この処理は、実行時にオブジェクト・クラスやインターフェース・タイプを調べるＪａｖａの言語機能（ｉｎｓｔａｎｃｅｏｆオペレータ）を用いて実現することができる。
【０１２０】
Ｃ．ＤａｔａＴｉｌｅｓシステム上でのタイル操作
本発明に係るＤａｔａＴｉｌｅｓシステムによれば、タイル５０のタイトルバー５２が持つ固定的な印刷情報と、透明領域５２を介して映し出される動的な画面表示を融合して、計算機システム１００が提供する視覚情報を強化することができる。また、タイル表面上に溝やその他のペン操作時に触感を変化させる加工を施すことにより、ウィジェット（画面上の対話部品）が持つ操作感を向上させる様々な技法を採り入れることができる。
【０１２１】
ここでは、上述したようなＤａｔａＴｉｌｅｓの基本機能を使って、種々のタイルをユーザ・インターフェースのモジュールとして構築した例について説明する。
【０１２２】
Ｃ−１．アプリケーション・タイル
特定の機能（アプリケーション）があらかじめ固定的に割り振られたタイルのことを、本明細書では「アプリケーション・タイル」と呼ぶ。
【０１２３】
例えば、メモパッドが割り付けられたアプリケーション・タイルを平面ディスプレイ１１上に設置すると、計算機システム１００上で手書きメモパッド・アプリケーションが起動するとともに、タイルの透明領域を利用してメモパッドの編集ウィンドウが表示される。ユーザは、このタイルの上にペンでメモを書き加えることができる（図１４を参照のこと）。
【０１２４】
タイル上で書き加えられた情報は、該当するメモパッド・タイルと関連付けて計算機システム１００上で保管するようにしてもよい。このような場合、メモパッド・タイルを平面ディスプレイ１１上から一旦取り去った後、再度平面ディスプレイ１１上に設置することによって前回のメモの内容をタイル上で自動的に復元するようにしてもよい。
【０１２５】
また、天気図に割り付けられた"Weather"タイル（図３を参照のこと）を平面ディスプレイ１１上に置くと、計算機システム１００上では、例えばインターネット上の天気予報情報を提供する情報提供サーバにアクセスして天気予報情報や衛星写真などの気象情報に関するコンテンツを自動的にダウンロードするとともに、これら気象情報を画面出力する。この結果、"Weather"タイルに印刷又は画像形成された白地図のような固定情報と、平面ディスプレイ１１上に表示される天気予報や衛星写真などの動的な表示情報が融合して、天気図に関する視覚情報が強化される（図１５を参照のこと）。
【０１２６】
同様にして、さまざまなアプリケーションや情報サービスを、タイルという形式で具現化しモジュール化することができる。情報サービスは、スタンドアロンの計算機システム１００内に蓄積されたものであっても、インターネットなどの通信媒体を介して外部から取得するものであってもよい。
【０１２７】
ここで、Ｗｅａｔｈｅｒタイルを例にとって、アプリケーション・タイルを平面ディスプレイ１１上で操作したときのオペレーションについて、図３５に示すフローチャートを参照しながら説明する。
【０１２８】
アプリケーション・タイルを平面ディスプレイ１１に置くと（ステップＳ１）、システム側ではタイルが持つ識別情報すなわちＲＦ−ＩＤが電磁授受方式により読み取られる（ステップＳ２）。
【０１２９】
ＤａｔａＴｉｌｅｓシステムは、これに応答して、対応するＩＤをキーにして処理内容を検索する（ステップＳ３）。
【０１３０】
そして、検索された処理が実行される（ステップＳ４）。図１５に示すＷｅａｔｈｅｒタイルの場合には、該当する処理は、天気予報サイトへのアクセスとなる。処理の実行結果は、平面ディスプレイ１１上でタイルが設置された場所に表示され、タイルの透明領域を介してユーザに提示することができる。
【０１３１】
後述するように、アプリケーション・タイルは、他のタイルと連携することで、さらに高次な操作を行うことができる。
【０１３２】
Ｃ−２．ポータル・タイル
実世界上の事物（もの、人、場所など）に対応付けられたタイルのことを、本明細書では「ポータル・タイル」と呼ぶ。
【０１３３】
例えば、ポータル・タイルの一例であるプリンタ・タイルは、プリンタという実世界上の事物をタイルとして表現したものである。平面ディスプレイ１１上にプリンタ・タイルを置くと、これに応答して、計算機システム１００は対応するプリンタにアクセスして現在の状態を取得し、タイルの透明領域を利用してプリンタの状態が表示される。対応するプリンタの印刷画像と、その現在の状態という動的な表示情報が融合して、視覚情報が強化される（図１６を参照のこと）。
【０１３４】
さらに、他の（隣接する）タイルから得た情報をプリンタに出力する機能を提供することができる。隣接するタイルからの情報の転送には、例えば、ペンを用いたタイル間でのドラッグ・アンド・ドロップのような、ＧＵＩ環境で定着している対話技法を利用することができるが、詳細は後述に譲る。
【０１３５】
ポータル・タイルは、対応する実世界対象物の映像と接続させることもできる。例えば、プリンタ・タイルを平面ディスプレイ１１上に置くことに応答して、計算機システム１００は、現実のプリンタを撮影しているカメラからのリアル映像をネットワーク経由で取得し、ポータル・タイルの透明領域を利用して実物の映像を表示するようにしてもよい（図１７を参照のこと）。このような場合、ユーザは、プリンタ・タイルを介して実際のプリント出力の様子を観察することができる。すなわち、ポータル・タイルは、その字義通り、実世界への「窓口」としての機能を提供する。
【０１３６】
ここで、プリンタ・タイルを例にとって、ポータル・タイルを平面ディスプレイ１１上で操作したときのオペレーションについて、図３６に示すフローチャートを参照しながら説明する。
【０１３７】
まず、情報を担持したタイルＡを平面ディスプレイ１１上に置く（ステップＳ１１）。情報を担持したタイルとは、例えば、描画データ・ファイルを含んだアプリケーション・タイル（ペイント・タイル）や、写真などの静止画情報を含んだ写真タイルなどである。
【０１３８】
タイルＡを平面ディスプレイ１１に置くと（ステップＳ１）、システム側ではタイルが持つ識別情報すなわちＲＦ−ＩＤが電磁授受方式により読み取られる。この結果、ＤａｔａＴｉｌｅｓシステムは、対応するＩＤをキーにして処理内容を検索して、検索された処理が実行される。平面ディスプレイ１１上では、タイルＡの透明領域を利用して処理結果が表示される（ステップＳ１２）。
【０１３９】
次いで、タイルＡに隣接して、ポータル・タイルの一例であるプリンタ・タイルを置く（ステップＳ１３）。システム側ではタイルが持つ識別情報すなわちＲＦ−ＩＤが電磁授受方式により読み取られる。この結果、ＤａｔａＴｉｌｅｓシステムは、該当する物理オブジェクトを実世界上で探索して、プリンタの実像をポータル・タイルの透明領域を利用して表示する。
【０１４０】
さらに、タイルＡからプリンタ・タイルへと横切るようなペン・ジェスチャをタイル上で印加する（ステップＳ１４）。
【０１４１】
このようなペン・ジェスチャは、電磁誘導方式によりデジタイザによって検出され、システム側で認識される。タイルＡの表示内容をポータル・タイルに対応するプリンタ上で印刷実行する（ステップＳ１５）。ＤａｔａＴｉｌｅｓシステム上では、該当する物理オブジェクト間でデータの転送を行う。
【０１４２】
Ｃ−３．パラメータ・タイル
他のタイルの機能や属性（プロパティ）を調整するためのタイルのことを、本明細書では「パラメータ・タイル」と呼ぶ。パラメータ・タイルは、一種のプロパティ・シートとして作用する。
【０１４３】
パラメータ・タイルとしては、例えば図５や図７に示したような、表面にユーザのペン操作をガイドするような溝が形設されたものを利用することができる。
【０１４４】
例えば、図５に示すような直線状の複数本の溝が刻設されたタイルを、クエリ・タイルとして利用することができる。隣接するタイル（アプリケーション・タイルやポータル・タイルなど）から情報を動的に検索するために、クエリ・タイルを用いることができる。検索パラメータの名前や値は、隣接するタイルによって変化し、平面ディスプレイ１１上で映し出される表示映像と合成される。
【０１４５】
また、図７に示すような円形の溝が刻設されたタイルを、回転角に応じた時間情報を調節するための時間軸（TimeMachine）タイル、あるいは、ジョグダイヤル・タイルとして利用することができる。
【０１４６】
図１８には、プリンタを表現したポータル・タイルにクエリ・タイルを隣接して設置した場合の動作例を示している。
【０１４７】
同図に示すように、平面ディスプレイ１１上には、クエリ・タイルの各溝の位置に合わせて、プリンタ属性（例えば明度や彩度、色の指定など）を調節するための画面が表示される。この結果、ペン操作をガイドする溝とプリンタ属性の表示映像とが合成され、視覚情報が強化されたインターフェースを提供することができる。
【０１４８】
また、ユーザは、所定の溝にペン先を指し込んで溝に沿って動かすことによって、該当するプリンタ属性値を変化させることができる。
【０１４９】
図１９には、図１８に示したものと同じクエリ・タイルを、図４に示すようなＭａｐタイルに隣接して設置した場合の動作例を示している。
【０１５０】
同図に示すように、平面ディスプレイ１１上には、クエリ・タイルの各溝の位置に合わせて、Ｍａｐタイルに表示されたフロア内の環境（照明や室温、湿度など）を調節するための画面が表示される。この結果、ペン操作をガイドする溝とフロア環境の表示映像とが合成され、視覚情報が強化されたインターフェースを提供することができる。また、同じクエリ・タイルを用いても、隣接するタイルの相違により、別のプロパティ・シートを提供することができる。
【０１５１】
また、ユーザは、所定の溝にペン先を指し込んで溝に沿って動かすことによって、該当するフロア環境値を変化させることができる。
【０１５２】
Ｃ−４．コンテナ・タイル
データやコンテンツなどの情報を格納するためのタイルのことを、本明細書では「コンテナ・タイル」と呼ぶ。
【０１５３】
コンテナ・タイルは、例えば、何らかの情報を担持することができる他のタイルに隣接して設置して、タイル間でのドラッグ・アンド・ドロップのようなペン・ジェスチャーによって情報を移動・交換・コピーすることができる。コンテナ・タイルは、例えば、タイルで象徴される事物に対して指定された情報を関連付けた形式で計算機システム１００が保管することによって実現される。
【０１５４】
例えば、図２０〜図２１には、コンテナ・タイルと、これに隣接したペイント・タイルとの間で描画データを移動する様子を図解している。
【０１５５】
まず、ペイント・タイルを平面ディスプレイ１１上に設置すると、その無線タグが持つＲＦ−ＩＤが認識され、計算機システム１００は該当するペイント・アプリケーションを起動する。そして、ペイント・タイルの透明領域を利用して、平面ディスプレイ１１上に描画領域が映し出される。ユーザは、ペイント・タイル上でペン操作を行うことによって所望の絵を描くことができる。
【０１５６】
ペイント・タイル上で描画作業が完了すると、次いで、ペイント・タイルからコンテナ・タイルに向かってオブジェクトをドラッグするようなペン・ジェスチャをタイル上で印加する。この結果、ペイント・タイル上での描画内容がコンテナ・タイルに移動又はコピーされる。このとき、図２１に示すように、コンテナ・タイルの透明領域を利用して、隣接するペイント・タイルと同じ描画情報を映し出すという、視覚的なフィードバックがユーザに与えられる。
【０１５７】
計算機システム１００内では、ペイント・アプリケーション上で編集された描画情報を、コンテナ・タイル（又はそのＲＦ−ＩＤ）と関連付けた形式で計算機システム１００が保管することによって実現される。以後、コンテナ・タイルという実世界上の物理オブジェクトを媒介として、関連付けられた描画情報を持ち運ぶことができる。また、コンテナ・タイルを平面ディスプレイ上に置くだけで、蓄積された描画情報を呼び出すことができる。
【０１５８】
また、図２２〜図２３には、コンテナ・タイルとこれに隣接したポータル・タイルとの間でデータを移動する様子を図解している。図示の例では、コンテナ・タイルには上述の処理によって描画データが担持されているものとする。また、ポータル・タイルとしてプリンタ・タイルを適用する。コンテナ・タイルからプリンタ・タイルにデータが移動することに応答して、ポータル・タイルに割り付けられた実世界上のプリンタでは、移動データのプリント実行が行われる。
【０１５９】
まず、描画データをあらかじめ担持したコンテナ・タイルを平面ディスプレイ１１上に設置すると、その無線タグが持つＲＦ−ＩＤが認識される。そして、計算機システム１００はコンテナ・タイルに割り付けられた描画データを読み出して、コンテナ・タイルの透明領域を利用して、平面ディスプレイ１１上に該当する描画データが映し出される。
【０１６０】
次いで、コンテナ・タイルから、隣接するプリンタ・タイルに向かってオブジェクトをドラッグするようなペン・ジェスチャをタイル上で印加する。この結果、コンテナ・タイルからプリンタ・タイルに描画データが移動して、プリンタ・タイルに割り付けられた実世界上のプリンタ上では、移動データのプリント実行が行われる。
【０１６１】
このとき、計算機システム１００は、現実のプリンタを撮影しているカメラからのリアル映像をネットワーク経由で取得し、プリンタ・タイルの透明領域を利用して、実物の映像、すなわち実際のプリント出力の様子を表示するようにしてもよい。
【０１６２】
コンテナ・タイルを利用することで、Ｐｉｃｋ＆Ｄｒｏｐ[14]やｍｅｄｉａＢｌｏｃｋ[15]の用に、情報をコンピュータ間で移動するようとでも利用可能である。例えば、静止画や動画（Movie）などの画像データをコンテナ・タイルに格納しておき（すなわち、コンテナ・タイルに割り付けておき）、他のタイル上で情報を再現することができる。
【０１６３】
ここで、Ｐｉｃｋ＆Ｄｒｏｐは、「ドラッグ・アンド・ドロップ」というＧＵＩ操作を実空間に拡張したものであり、複数のコンピュータ間でのデータ・オブジェクトの移動を実世界での直感的な動作にマッピングした対話技法である。ペンなどをユーザ入力装置とするコンピュータのデスクトップ上で、あるオブジェクトのドラッグ操作を継続して、そのポインタが画面を越えてしまった場合には、隣接する他のコンピュータのデスクトップ上までドラッグ操作が継承され、該オブジェクトをドラッグしたままのポインタが出現する。
【０１６４】
一方のコンピュータ・デスクトップ上では、ポインタが画面の端に到達した時点で、オブジェクトをドラッグしたままポインタは消滅するが、この処理をオブジェクトの"Ｐｉｃｋ"（デジタル・オブジェクトの拾い上げ）と呼ぶ。また、他方のコンピュータ・デスクトップ上において、該オブジェクトのドラッグ状態を継承したポインタが出現する処理のことを、オブジェクトの"Ｄｒｏｐ"と呼ぶ。Ｐｉｃｋ＆Ｄｒｏｐを実行するコンピュータのバックグラウンドではオブジェクトのエンティティ（例えばデータ・ファイルなど）がネットワーク転送される。図２４には、隣接するノートブック・コンピュータ間でデジタル・オブジェクトをＰｉｃｋ−ａｎｄ−Ｄｒｏｐする様子を描写している。Ｐｉｃｋ＆Ｄｒｏｐ操作に関しては、本出願人に既に譲渡されている特開平１１−５３２３６号公報にも開示されている。
【０１６５】
コンテナ・タイルは、複数のタイルがそれぞれ持つデータを結合して、格納することができる。例えば、図２５に示すように、横方向に動画像（Ｍｏｖｉｅ）タイルを横方向に一列に並べておき、さらにこれらのタイル上をドラッグするペン・ジェスチャを印加して、コンテナ・タイルをドラッグの終点とすることによって、各動画像（例えば、ビデオ・クリップなど）を結合して、コンテナ・タイルに格納することができる。
【０１６６】
ここで、複数のタイルが担持するデータ・コンテンツを一括してコンテナ・タイルに格納するためのオペレーションについて、図３７に示すフローチャートを参照しながら説明する。但し、データ・コンテンツを担持するデータとして、動画像コンテンツを含んだムービー・タイルを用いることにする。
【０１６７】
まず、複数のムービー・タイルを、図２５に示すように、平面ディスプレイ１１上に横方向に連結して並べる（ステップＳ２１）。
【０１６８】
システム側では、各ムービー・タイルが持つ識別情報すなわちＲＦ−ＩＤが電磁授受方式により読み取られる。この結果、ＤａｔａＴｉｌｅｓシステムは、対応するＩＤをキーに処理内容を検索して、検索された動画像又はそのキーフレームを各タイルの透明領域を利用して表示する。
【０１６９】
さらに、ムービー・タイルの手前側（紙面下側）に、コンテナ・タイルを置く（ステップＳ２２）。システム側では、各ムービー・タイルが持つ識別情報すなわちＲＦ−ＩＤが電磁授受方式により読み取られて、コンテナ・タイルの存在が認識される。
【０１７０】
さらに、図２５中で矢印で示すように、各ムービー・タイル上を横切るようなペン・ジェスチャを印加する（ステップＳ２３）。
【０１７１】
このようなペン・ジェスチャは、電磁誘導方式によりデジタイザで検出され、システム側で認識される。そして、横方向に並べられたムービー・タイルをペン操作方向に沿って連結した形式で、コンテナ・タイルにムービーが格納される（ステップＳ２４）。
【０１７２】
ＤａｔａＴｉｌｅｓシステム上では、各ムービーを連結して構成されるデータ・コンテンツが、コンテナ・タイルのＩＤと関連付けて保管されるので、コンテナ・タイルを平面ディスプレイ１１上で操作することにより、連結されたムービーを再び呼び出す（すなわち表示する）ことができる。
【０１７３】
コンテナ・タイルの変形例として、「マクロ・タイル」を挙げることができる。マクロ・タイルとは、隣接したタイル上で行われたペン操作を記録して、後で再生する機能を有している。
【０１７４】
また、コンテナ・タイルは、タイル上にドラッグされたデータやコンテンツを単に担持するものであるが、タイルにデータを格納することに「購入する」というメタファを与えることもできる。このようなコンテナ・タイルの応用例のことを、ここでは、"Commerce"タイルと呼ぶ。
【０１７５】
"Commerce"タイルによってＤａｔａＴｉｌｅｓシステム上でデータ・コンテンツを購入するためのオペレーションについて、図３８に示すフローチャートを参照しながら説明する。但し、ここでは、音楽データを担持した音楽タイルを媒介にして音楽データを購入するものとする。
【０１７６】
まず、音楽タイルを平面ディスプレイ１１上に置く（ステップＳ３１）。
【０１７７】
システム側では、各ムービー・タイルが持つ識別情報すなわちＲＦ−ＩＤが電磁授受方式により読み取られる。この結果、ＤａｔａＴｉｌｅｓシステムは、対応するＩＤをキーに処理内容を検索して、検索された音楽データ又はそのサンプルを再生する（ステップＳ３２）。
【０１７８】
さらに、音楽タイルに隣接して、"Commerce"タイルを平面ディスプレイ１１上に置く（ステップＳ３３）。システム側では、タイルが持つ識別情報すなわちＲＦ−ＩＤが電磁授受方式により読み取られて、"Commerce"タイルの存在が認識される。
【０１７９】
図３９には、"Commerce"タイルが音楽タイルに隣接して配置された様子を示している。Commerceタイルは、タイルの識別子であるＲＦ−ＩＤだけでなく、購入者個人の識別情報やユーザ認証情報を含んでいてもよい。また、音楽タイルに担持されたサンプルを視聴した後、実際に購入するか否かを指示入力するための"Buy"ボタンを含んでいてもよい。
【０１８０】
ユーザ、すなわちCommerceタイルの所有者は、サンプルを気に入り、音楽データの購入を決定した場合には、Commerceタイル上のBuyボタン上をペンで指示すればよい（ステップＳ３４）。このようなペン操作は、電磁誘導方式によりデジタイザで検出され、システム側で認識されて、所定の購入手続が起動する。
【０１８１】
購入手続としてオンライン購入方式を採用することができる。また、購入手続には課金処理を含む。ＤａｔａＴｉｌｅｓシステムは、現金決済、プリペイドによる支払い、クレジット・カードを用いた信用決済、デビット・カードを用いた即時決済、電子マネーなどを利用することができる。但し、データ・コンテンツの購入手続自体は本発明の要旨ではないので、ここではこれ以上説明しない。
【０１８２】
上記では、音楽データを担持する音楽タイルを例に取り上げたが、勿論、映画や画像、現実の物品など、オンラインで購入できる他の物品やサービスであっても、Commerceタイルを媒介とした購入手続に適用することが可能である。
【０１８３】
さらに、Commerceタイルの変形例として、ＲＦ−ＩＤが組み込まれたタイル以外の認証機器（例えば携帯電話）をタイルに隣接して置くことも可能である。この場合も、機器の壁面にＢｕｙボタンに相当するボタンを液晶表示ディスプレイ上に用意しておけばよい。
【０１８４】
Ｃ−５．リモート・タイル
複数の平面ディスプレイ、すなわち複数の作業環境を接続するためのタイルのことを、本明細書では「リモート・タイル」と呼ぶ。
【０１８５】
リモート・タイルは、転送元となる「マスタ」と転送先となる「スレーブ」で構成される。マスタ・タイルを平面ディスプレイ１１上のあるタイルに隣接して置くとともに、スレーブ・タイルを他の平面ディスプレイ上に置くことによって、これら２つのタイル間で接続が確立して、マスタが受け取ったデータがスレーブに転送される。
【０１８６】
計算機システム１００上では、マスタ・タイルに隣接するタイル上で扱われるデータやコンテンツをマスタ・タイルに割り付け、さらに、スレーブ・タイルが設置された平面ディスプレイを制御する他の計算機システムとネットワーク通信を確立して、マスタ・タイルとして格納されたデータを転送する。他の計算機システムは、スレーブ・タイルの透明領域を利用して、平面ディスプレイ上で受信データを表示してデータ転送されたことを視覚的にフィードバックする。また、画像表示だけでなく、マスタ・タイル上で印加されるペン操作も、スレーブ・タイル側に転送される。
【０１８７】
図２６には、リモート・タイルの動作例を図解している。
【０１８８】
同図に示す例では、アプリケーション・タイルの一例であるペイント・タイル（前述）に隣接するように、マスタ・タイルが設置される。マスタ・タイルの無線タグが持つＲＦ−ＩＤが認識され、計算機システム１００は、ペイント・タイル上で編集された描画データをコンテナ・タイルに移動又はコピーする。このとき、コンテナ・タイルの透明領域を利用して、隣接するペイント・タイルと同じ描画情報を映し出すという視覚的なフィードバックがユーザに与えられる。
【０１８９】
次いで、他の平面ディスプレイ上に、スレーブ・タイルを設置する。スレーブ・タイルの無線タグが持つＲＦ−ＩＤが読み取られ、他の計算機システムはマスタ・タイルを認識中の計算機システムとのネットワーク通信の確立を試みる。そして、マスタ・タイルに格納された描画データを受信すると、スレーブ・タイルの透明領域を利用してこれを表示出力する。また、マスタ・タイル上で印加されたペン操作は、ネットワーク経由でスレーブ側に通知され、平面ディスプレイの表示駆動によって視覚的なフィードバックをユーザに与える。
【０１９０】
Ｄ．タイルの組み合わせによる機能合成
上述したように、各タイルにはそれぞれの機能が割り付けられており、ユーザは、物理インターフェースとしてのタイルを視覚的インターフェースとしての平面ディスプレイ上に置くという簡単な操作で、該当する機能を実行することができる。
【０１９１】
さらに、複数のタイルを組み合わせて置くことで、各機能を合成して、より高次の機能を表現することができる。以下では、タイルの隣接配置に基づく機能合成を例示する。
【０１９２】
（１）マップ・タイルをポータル・タイルに隣接して置く：
マップ・タイルをポータル・タイルに隣接して置くことで、ポータル・タイルと対応している実世界の事物の位置を調べたり、ポータル・タイルと実物との対応関係を変更することができる。
【０１９３】
例えば、ポータル・タイルに隣接する場所にマップ・タイルを置くことで、ポータル・タイルに割り付けられた実世界上の事物の所在を、マップ・タイル上で表示することができる（図２７を参照のこと）。
【０１９４】
また、逆に、マップ・タイルに印刷された地図（又は見取り図）上の所定の場所をペンで指示すると、その場所に該当する実世界上の事物がポータル・タイルに新たに割り付けられる。この結果、計算機システムは、新たに割り付けられた事物を撮影中のカメラからその撮影画像を取得して、ポータル・タイルの透明領域を利用して、新たに割り付けられた事物の撮影画像を表示する（又は、画像表示が古い事物から新しい事物へ切り替える）（図２８を参照のこと）。
【０１９５】
（２）コンテナ・タイルをポータル・タイルに隣接して置く：
コンテナ・タイルをポータル・タイルに隣接しておき、タイルをまたがってドラッグのようなペン・ジェスチャを印加することによって、ポータル・タイルに表示された画面（すなわち割り付けられた事物のリアル画像）のスナップショットをコンテナ・タイルに格納することができる（図２９を参照のこと）。
【０１９６】
このような場合、計算機システム１００上では、ポータル・タイルに割り付けられた実世界上の事物を捕捉するカメラによる撮影画像のスナップショットを取得するとともに、これをコンテナ・タイルに対応付けて保管する。
【０１９７】
（３）時間軸タイルをポータル・タイルに隣接して置く：
図７に示すような、表面に円形の溝が刻設されたパラメータ・タイルを時間軸での時刻のために利用することができる。このような時間軸タイルをメモパッド・タイルに隣接して置くことで、時間軸タイル上で指示した時刻まで遡って過去の編集内容をメモパッド・タイル上に表示させることができる（図３０を参照のこと）。
【０１９８】
さらに、メモパッド・タイルの横に、実世界上のプリンタに割り付けられたポータル・タイルを設置して、プリント実行を連動させてもよい。この場合、メモパッド・タイル上の描画データをプリンタ・タイルにドラッグするようなペン・ジェスチャをタイル上に印加することで、プリント・ジョブが発行される。
【０１９９】
このとき、計算機システム１００は、現実のプリンタを撮影しているカメラからのリアル映像をネットワーク経由で取得し、プリンタ・タイルの透明領域を利用して、実際のプリント出力の様子を表示するようにしてもよい。
【０２００】
個々のタイルが持つ単独の機能は単純であっても、上述したように複数のタイル間で機能の組み合わせを許容することによって、柔軟に且つ強力な機能を構築していくことができる。
【０２０１】
同一のタイルが、状況によって異なった機能を発揮することもある。例えば、上述した時間軸タイルは、時間の概念を持つタイル上のナビゲーション用と一般に用いることができるので、動画像の表示アプリケーションに割り付けられたビデオ・タイルに隣接して配置することにより、ジョグダイヤルとして機能する。他方、メモパッド・タイルに隣接した配置した場合には、上述したように、過去の編集内容を呼び出すための「タイムマシン・タイル」として機能する。
【０２０２】
隣接したタイルどうしは、合致する対応関係が認められれば、「結合」して互いの機能が合成される。結合の形態には、ユーザのペン・ジェスチャなど明示的な指示に応答してタイル間でデータが移動する離散的なものや、タイルどうしが隣接関係にあるというだけで自動的且つ連続的にデータが移動するタイプがある。
【０２０３】
前者の離散的なタイプの例として、例えば、コンテナ・タイルと他のタイルとの結合関係を挙げることができる（例えば、図２０〜図２１、図２２〜図２３を参照のこと）。また、後者の連続的な例として、ビデオ・タイルをリモート・タイル（マスタ側）に連結して、スレーブ側のリモート・タイルにストリーミングを行うことが挙げられる。
【０２０４】
図３２〜図３４には、離散的なデータ移動をトリガするペン・ジェスチャの例を挙げている。図３２に示す例では、タイルを横切るドラッグ操作によって、データ移動のトリガを与えている。また、図３３に示す例では、タイル間の境界をなぞることによって、データ移動のトリガを与えている。また、図３４に示す例では、離間して配置された２つのタイルを接続するようなペン・ジェスチャで、データ移動のトリガを与えている。
【０２０５】
《注釈》
[1] Pierre Wellner. "The DigitalDesk calculator": Tangible manipulation on a desk top. In Proceedings of USIT'91, ACM Symposyium on User Interface Software and Technology, pp.27-34, November 1991.
[2] H. Suzuki and H. Kato. "AlgoBlock": a tangible programming language, a tool for collaborative learning. In proceedings of 4th European Logo Conference, pp.297-303, August 1993.
[3] George W. Fitsmaurice, Hiroshi Ishii, and William Buxton. "Bricks": laying the foundations for graspable user interface. In CHI'95 Conference, pp.442-449, 1995.
[4] Hiroshi Ishii and Brygg Ullmer, "Tangible Bits": Towards seamless interfaces between people, bits and atoms. In CHI'97 Proceedings, pp.234-241, 1997.
[5] J.J. Gibson. "The ecological approach to visual perception": Houghton Mifflin Company, 1979.
[6] Eric A. Bier, Maureen C. Stone, Ken Pier, William Buxton, and Tony DeRose. "Toolglass and Magic Lense": The see-through interface. In James T. Kajiya, sditor, Computer Graphics (SIGGRAPH'93 Proceedings), Vol.27, pp.73-80, August 1993.
[7] Jun Rekimoto and Katashi Nagao. "The world through the computer": Computer augmented interaction with real world environments. In proceedings of the ACM symposium on User Interface Software and Technology (USIT'95), pp.29-36, November 1995.
[8] Dieter Schmalsteig, Miguel Encarnacao, and Zsolt Szalavari. "Using transparent props for interaction with the virtual table": In Proc. Of Interactive 3D graphics (I3DG'99), 1999.
[9] Y. Tanaka and T. Imataki. "A hypermedia system allowing functional composition of active media objects through direct manipulations": In Proceedings of the IFIP 11th World Computer Congress, pp.541-546, 1998.
[10] Itiro Siio. "InfoBinder": a pointing device for a virtual desktop sytem. In 6th International Conference on Human-Computer Interaction (HCI International '95), pp.261-264, July 1995.
[11] John Underkoffler and Hiroshi Ishii. "Illuminating Light": An optical design tool with a luminoustangible interface. In CHI'98 Proceedings, pp.542-549, 1998.
[12] Jun Rekimoto and Masanori Saitoh. "Augmented Surfaces": A spacially continuous workspace for hybrid computing environments. In Proceedings of ACM CHI'99, pp.378-385, May 1999.
[13] Hideaki Koike, Yoichi Sato, Yashinori Kobayashi, Hiroaki Tobita, and Motoki Kobayashi. "Interactive textbook and interactive venn diagram": Natural and intutive interfaces on augmented desk system. In CHI'2000 Proceedings, pp.121-128, 2000.
[14] J.Rekimoto. Pick-and-Drop: A Direct Manipulation Technique for Multiple Computer Environments. In UIST '97, pp.31-39, October 1997.
【０２０６】
［追補］
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【０２０７】
【発明の効果】
以上詳記したように、本発明によれば、実空間上に存在する物理インターフェースとコンピュータの論理空間を表示するディスプレイなどの視覚的インターフェースを融合させることによって、直感的で分かり易く表現することができる、優れたユーザ・インターフェース環境を提供することができる。
【０２０８】
また、本発明によれば、家庭やオフィスにおける多数のコンピュータ（情報アプライアンス）の連携を支援する簡易なユーザ・インターフェース環境を提供することができる。
【０２０９】
また、本発明によれば、各機器間での情報交換など、複数の機器を連携させるための操作を簡単に行なうことができる、優れたユーザ・インターフェース環境を提供することができる。
【０２１０】
本発明によれば、視覚的インターフェースとしてペン入力タイプの表示タブレットを利用することで、タブレット上での物理インターフェースの操作に対するアクションを視覚的にフィードバックするとともに、ペンを用いたユーザの直接的な入力を受容できるようにすることよって、豊富な対話技法を利用可能にするとともに、直感的で分かり易く表現することができるユーザ・インターフェース環境を提供することができる。
【０２１１】
本発明によれば、タイルのような透明実物体に平面ディスプレイからの映像を合成することで、タイルの表面でのペン操作機能を提供することができる。したがって、現実の物を操作するという感覚を維持しながら、ＧＵＩで開拓された豊富な対話技法を利用することができる。
【０２１２】
本発明に係るＤａｔａＴｉｌｅｓを、例えば家庭やオフィスでの情報アプライアンスを制御するための「デジタル・ダッシュボード」に適用することができる。その他の応用分野として、映像編集や教育ツール、電子玩具（メディア・トイ）、プログラミング・ツールなどに適用することが考えられる。
【０２１３】
例えば、映像編集ツールでは、動画や音声などの素材（クリップ）をタイルとして表現し、それらをレイアウトすることで映像編集を行うことが可能である。種々の映像エフェクトも、タイルやパラメータ・タイルとして表現すればよい。メディアの再生には時間軸タイルを用い、編集結果を持ち運ぶためにコンテナタイルを利用することができる。また、同様の手法により、音楽編集などにＤａｔａＴｉｌｅｓを利用することができる。
【０２１４】
教育ツールや電子玩具としては、ＡｌｇｏＢｌｏｃｋ[2]で示されているような、複数のブロックを組み合わせることによるプログラミングが可能である。本発明に係るＤａｔＴｉｌｅｓによれば、各モジュールの状態をタイル表面に表示することができるので、プログラムの内部状態をより直感的に理解できるように提示することができる。また、ペン操作によってプログラムの実行を制御したり、対話的な処理を行うことも可能である。
【０２１５】
本発明に係るＤａｔａＴｉｌｅｓシステムの適用範囲を拡張する上で、タイル形状の種々のバリエーション（サイズや厚さ、平面ディスプレイ上に同時に配置できる個数など）を検討することが肝要である。さらに、現状のシステム構成に対する種々の拡張も、興味深い課題である。例えば、物理的なスイッチや簡単な電子回路を組み込んだタイルを、上述した無線タグのみの受動的なタイルと混在させて、同じ平面ディスプレイ上で利用することも可能である。ボイス・メモを記録する機能をタイルとして構成し、それとコンテナ・タイルやメール送信タイルと組み合わせることも考えられる。
【０２１６】
また、ＲＦ−ＩＤを組み込んだ携帯電話やＰＤＡ（Personal Diogital Assistant）などの携帯型機器を特殊なタイルとみなすこともできる。これらの機器を平面ディスプレイに搭載することで、他のタイルとの間で情報交換を行うことができる。
【０２１７】
平面ディスプレイ以外の装置、例えばタイルを保管するための「ラック」にＲＦ−ＩＤ読み取り装置を組み込むようにしてもよい。電子メールを着信すると、ラックに格納されたメール・タイルが点滅してユーザに通知するようにしてもよい。
【図面の簡単な説明】
【図１】ＤａｔａＴｉｌｅｓシステムの外観構成を示した図である。
【図２】基本構造を持つタイル５０の上面図と斜視図である。
【図３】天気図に割り付けられたタイルの裏面に画面出力される天気予報情報や衛星写真と融合する地図情報が形成されている様子を示した図である。
【図４】ビル構内のフロアの平面図や見取り図をあらかじめ印刷した"Map"タイルを示した図である。
【図５】スクロール操作時のガイドとなる直線状の溝を刻み込んだ"Scroll"タイルを示した図である。
【図６】ウィジェットの操作感を向上させるためにスクロール・バーの溝の壁面に微妙な凹凸形状を形設した様子を示した図である。
【図７】ジョグ・ダイヤルのような回転操作が可能なウィジェットを提供するためにタイル５０の表面にリング状の溝を刻設した様子を示した図である。
【図８】平面ディスプレイ１１の一例を上面から斜視した様子を示した図である。
【図９】平面ディスプレイ１１の断面構成を模式的に示した図である。
【図１０】タイル５０に内蔵された無線タグ５３からＲＦ−ＩＤを読み取る動作を説明するための機能ブロック図を示した図である。
【図１１】ＩＤタグ付きのタイル５０を平面ディスプレイ上に配置することでインターフェースが構成される様子を示した図である。
【図１２】平面ディスプレイ１１の断面構成の他の例を模式的に示した図である。
【図１３】計算機システム１００のハードウェア構成を模式的に示した図である。
【図１４】メモパッドが割り付けられたアプリケーション・タイルを平面ディスプレイ上に設置し、該当するアプリケーションが起動した様子、並びに、タイル上でメモを書き加える様子を示した図である。
【図１５】天気予報に割り付けられたアプリケーション・タイルを平面ディスプレイ上に設置し、天気予報や衛星写真などの動的な表示画像とタイルに印刷された白地図のような固定情報が融合して、天気図に関する視覚情報が強化される様子を示した図である。
【図１６】特定のプリンタに割り付けられたプリンタ・タイルを平面ディスプレイ１１上に置くことに応答して、プリンタの状態に関する動的な表示情報とタイルに印刷されたプリンタの絵柄が融合して、プリンタに関する視覚情報が強化される様子を示した図である。
【図１７】特定のプリンタに割り付けられたプリンタ・タイルを平面ディスプレイ１１上に置くことに応答して、プリンタを撮影しているカメラからのリアル映像がタイルの透明領域を利用して表示される様子を示した図である。
【図１８】プリンタを表現したポータル・タイルにクエリ・タイルを隣接して設置した場合の動作例を示した図である。
【図１９】図１８と同じクエリ・タイルを、図４に示すようなＭａｐタイルに隣接して設置した場合の動作例を示した図である。
【図２０】コンテナ・タイルとこれに隣接するタイルとの間で、ドラッグ・アンド・ドロップのようなペン・ジェスチャーによって情報を移動・交換・コピーする様子を示した図であり、より具体的には、コンテナ・タイルと、これに隣接したペイント・タイルとの間で描画データを移動する様子を示した図である。
【図２１】コンテナ・タイルと、これに隣接したペイント・タイルとの間で描画データを移動する様子を示した図である。
【図２２】コンテナ・タイルとこれに隣接するタイルとの間で、ドラッグ・アンド・ドロップのようなペン・ジェスチャーによって情報を移動・交換・コピーする様子を示した図であり、より具体的には、コンテナ・タイル上のデータをプリンタ・タイルに移動する様子を示した図である。
【図２３】コンテナ・タイル上のデータをプリンタ・タイルに移動する様子を示した図である。
【図２４】Ｐｉｃｋ−ａｎｄ−Ｄｒｏｐ操作を説明するための図であり、より具体的には、隣接するノートブック・コンピュータのディスプレイ・スクリーンの間でＧＵＩ操作が継承され、一方のディスプレイ上のデジタル・オブジェクトが実空間を越えて他方のディスプレイ上にドロップされる様子を描写した図である。
【図２５】横方向に動画像（Ｍｏｖｉｅ）タイルを一列に並べておき、さらにこれらのタイル上をドラッグするペン・ジェスチャを印加して、コンテナ・タイルをドラッグの終点とする様子を示した図である。
【図２６】リモート・タイルの動作例を示した図であり、より具体的には、マスタ・タイル上でのペン操作や画面情報がネットワーク通信によりスレーブ・タイルに電鉄される様子を示した図である。
【図２７】マップ・タイルとポータル・タイルによる協働的動作を示した図であり、より具体的には、ポータル・タイルに隣接する場所にマップ・タイルを置くことで、ポータル・タイルに割り付けられた実世界上の事物の所在をマップ・タイル上で表示する様子を示した図である。
【図２８】マップ・タイルとポータル・タイルによる協働的動作を示した図であり、より具体的には、ポータル・タイルに隣接する場所にマップ・タイルを置くとともに、マップ・タイル上の所定の場所をペンで指示することによって、ポータル・タイルに割り付けるべき実世界上の事物を指定するする様子を示した図である。
【図２９】コンテナ・タイルとポータル・タイルによる協働的動作を示した図であり、より具体的には、タイル間のペン・ジェスチャに応答して、ポータル・タイルに表示される画面のスナップショットをコンテナ・タイルに格納する様子を示した図である。
【図３０】パラメータ・タイルとアプリケーション・タイルによる協働的動作を示した図であり、より具体的には、時間軸タイルをメモパッド・タイルに隣接して置き、時間軸タイル上で指示した過去の編集内容をメモパッド・タイル上に表示する様子を示した図である。
【図３１】パラメータ・タイルとアプリケーション・タイルによる協働的動作を示した図であり、より具体的には、時間軸タイル上で指定された時刻における描画データを、ポータル・タイルを利用してプリント実行する様子を示した図である。
【図３２】離散的なデータ移動をトリガするペン・ジェスチャの例を示した図であり、より具体的には、タイルを横切るドラッグ操作によってデータ移動のトリガを与えている様子を示した図である。
【図３３】離散的なデータ移動をトリガするペン・ジェスチャの例を示した図であり、より具体的には、タイル間の境界をなぞることによってデータ移動のトリガを与えている様子を示した図である。
【図３４】離散的なデータ移動をトリガするペン・ジェスチャの例を示した図であり、より具体的には、離間して配置された２つのタイルを接続するようなペン・ジェスチャでデータ移動のトリガを与えている様子を示した図である。
【図３５】Ｗｅａｔｈｅｒタイルを平面ディスプレイ１１上で操作したときのオペレーションを示したフローチャートである。
【図３６】プリンタ・タイルを平面ディスプレイ１１上で操作したときのオペレーションを示したフローチャートである。
【図３７】複数のタイルが担持するデータ・コンテンツを一括してコンテナ・タイルに格納するオペレーションを示したフローチャートである。
【図３８】 "Commerce"タイルによってＤａｔａＴｉｌｅｓシステム上でデータ・コンテンツを購入するためのオペレーションを示したフローチャートである。
【図３９】 "Commerce"タイルが音楽タイルに隣接して配置された様子を示した図である。
【符号の説明】
１０…ＤａｔａＴｉｌｅｓシステム
１１…平面ディスプレイ，１２…ポッチ
１５…液晶層，１６…バックライト層
１７…デジタイザ用アンテナ層，１８…カバー
１９…ＲＦアンテナ
５０…タイル，５１…透明領域
５２…タイトルバー，５３…無線タグ
１００…計算機システム
１０１…ＣＰＵ，１０２…メモリ
１０３…ディスプレイ・コントローラ
１０４…入力機器インターフェース
１０５…外部機器インターフェース
１０６…ネットワーク・インターフェース，１０７…バス
１１２…キーボード，１１３…マウス
１１４…ハード・ディスク装置，１１５…メディア・ドライブ
Claims (16)
- 略平坦な透明構造体で構成され、前記透明構造体の裏面側における表示情報を表面側に透過可能な透明領域と、裏面又は表面の一部に配設されて物理インターフェースの属性情報を表示する属性情報表示領域と、前記透明構造体に埋設されて固有の識別情報を担持する識別情報格納手段を有する、１以上の物理インターフェースと、
１以上の物理インターフェースの設置を受容する略平面状の操作面と該操作面上に情報を表示する表示機能を備えた視覚的インターフェースと、
前記操作面にいずれかの物理インターフェースが設置されたことに応答して、当該物理インターフェースの識別情報格納手段に担持されている識別情報を識別する識別手段と、
前記識別手段が識別した物理インターフェースの識別情報に応じた情報処理を実行するとともに処理結果を前記視覚的インターフェース上の当該物理インターフェースが設置されている領域に表示出力する情報処理手段と、
を具備することを特徴とする情報入出力システム。 - 前記識別手段は電磁授受方式により物理インターフェースの固有情報を識別する、
ことを特徴とする請求項１に記載の情報入出力システム。 - 前記視覚的インターフェースの操作面上並びに該操作面上に設置された物理インターフェースを介したペン入力を読み取るデジタイザをさらに備える、
ことを特徴とする請求項１に記載の情報入出力システム。 - 前記視覚的インターフェースの操作面上並びに該操作面上に設置された物理インターフェースを介したペン入力を読み取るデジタイザをさらに備え、
前記情報処理手段は、該操作面上に設置された物理インターフェースが持つ識別情報と該物理インターフェースに印加されたペン操作の組み合わせに応じた情報処理を実行する、
ことを特徴とする請求項１に記載の情報入出力システム。 - 前記視覚的インターフェースの操作面上には複数の物理インターフェースを設置可能であり、
前記情報処理手段は、該操作面上に設置された２以上の物理インターフェースが持つ識別情報の組み合わせに応じた情報処理を実行する、
ことを特徴とする請求項１に記載の情報入出力システム。 - 前記視覚的インターフェースの操作面上並びに該操作面上に設置された物理インターフェースを介したペン入力を読み取るデジタイザをさらに備え、
前記視覚的インターフェースの操作面上には複数の物理インターフェースを設置可能であり、
前記情報処理手段は、該操作面上に設置された２以上の物理インターフェースが持つ識別情報と該物理インターフェースに印加されたペン操作の組み合わせに応じた情報処理を実行する、
ことを特徴とする請求項１に記載の情報入出力システム。 - 前記情報処理手段は、前記視覚的インターフェースの操作面上に設置された物理インターフェースから所定の識別情報が検出されたことに応答して、該識別情報に割り付けられた処理を実行するとともに、処理結果を該物理インターフェースが設置された位置に表示出力する、
ことを特徴とする請求項１に記載の情報入出力システム。 - 前記情報処理手段は、前記視覚的インターフェースの操作面上に設置された物理インターフェースから所定の識別情報が検出されたことに応答して、該識別情報に割り付けられたアプリケーションを実行するとともに、該アプリケーションの実行結果を該物理インターフェースが設置された位置に表示出力する、
ことを特徴とする請求項１に記載の情報入出力システム。 - 外部の情報資源にアクセスするための通信手段をさらに含み、
前記情報処理手段は、前記視覚的インターフェースの操作面上に設置された物理インターフェースから所定の識別情報が検出されたことに応答して、該識別情報に割り付けられた情報資源へのアクセスを実行するとともに、取得した情報を該物理インターフェースが設置された位置に表示出力する、
ことを特徴とする請求項１に記載の情報入出力システム。 - 前記情報処理手段は、前記視覚的インターフェースの操作面上に設置された物理インターフェースから所定の識別情報が検出されたことに応答して、該識別情報に割り付けられた実世界上の物理オブジェクトへの接続を実行するとともに、該物理オブジェクトに関する情報を該物理インターフェースが設置された位置に表示出力する、
ことを特徴とする請求項１に記載の情報入出力システム。 - 前記情報処理手段は、前記視覚的インターフェースの操作面上に設置された物理インターフェースから所定の識別情報が検出されたことに応答して、該物理インターフェースに隣接配置された他の物理インターフェースが担持する情報を該物理インターフェースに割り付けるとともに、該割り付けられた情報を該物理インターフェースが設置された位置に表示出力する、
ことを特徴とする請求項１に記載の情報入出力システム。 - 前記情報処理手段は、前記視覚的インターフェースの操作面上に設置された物理インターフェースから所定の識別情報が検出されたことに応答して、該物理インターフェースに隣接配置された他の物理インターフェースが担持する情報を該物理インターフェースに関連付けられた遠隔の物理インターフェースに割り付けるとともに、該割り付けられた情報を該遠隔の物理インターフェースが設置された位置に表示出力する、
ことを特徴とする請求項１に記載の情報入出力システム。 - 前記視覚的インターフェースの操作面上並びに該操作面上に設置された物理インターフェースを介したペン入力を読み取るデジタイザをさらに備え、
前記情報処理手段は、該操作面上に隣接して設置された２以上の物理インターフェースにまたがるペン操作が印加されたことに応答して、一方の物理インターフェースに格納された情報を他方の物理インターフェースに割り付ける、
ことを特徴とする請求項１に記載の情報入出力システム。 - 前記視覚的インターフェースの操作面上並びに該操作面上に設置された物理インターフェースを介したペン入力を読み取るデジタイザをさらに備え、
前記情報処理手段は、該操作面上に隣接して設置された２以上の物理インターフェースにまたがるペン操作が印加されたことに応答して、一方の物理インターフェースに格納された情報を他方の物理インターフェースに割り付けるとともに、該割り付けられた情報を該他方の物理インターフェースが設置された位置に表示出力する、
ことを特徴とする請求項１に記載の情報入出力システム。 - 略平坦な透明構造体で構成され、前記透明構造体の裏面側における表示情報を表面側に透過可能な透明領域と、裏面又は表面の一部に配設されて物理インターフェースの属性情報を表示する属性情報表示領域と、前記透明構造体に埋設されて固有の識別情報を担持する識別情報格納手段を有する物理インターフェースの設置を受容する略平面状の操作面と該操作面上に情報を表示する表示機能を備えた視覚的インターフェース上における物理インターフェースの操作を介した対話技法を提供する情報入出力方法であって、
前記操作面に設置された物理インターフェースの識別情報格納手段に担持されている識別情報を識別する識別ステップと、
前記識別ステップによって識別した物理インターフェースの識別情報に応じた情報処理を実行するとともに処理結果を前記視覚的インターフェース上の当該物理インターフェースが設置されている領域に表示出力する情報処理ステップと、
を有することを特徴とする情報入出力方法。 - 略平坦な透明構造体で構成され、前記透明構造体の裏面側における表示情報を表面側に透過可能な透明領域と、裏面又は表面の一部に配設されて物理インターフェースの属性情報を表示する属性情報表示領域と、前記透明構造体に埋設されて固有の識別情報を担持する識別情報格納手段を有する物理インターフェースの設置を受容する略平面状の操作面と該操作面上に情報を表示する表示機能を備えた視覚的インターフェース上における物理インターフェースの操作を介した対話技法を提供する情報入出力処理をコンピュータ上で実行するように記述されたコンピュータ・ソフトウェアをコンピュータ可読形式で物理的に格納した記憶媒体であって、前記コンピュータ・ソフトウェアは前記コンピュータを、
前記操作面にいずれかの物理インターフェースが設置されたことに応答して、当該物理インターフェースの識別情報格納手段に担持されている識別情報を識別する識別手段、
前記識別手段が識別した物理インターフェースの識別情報に応じた情報処理を実行するとともに処理結果を前記視覚的インターフェース上の当該物理インターフェースが設置されている領域に表示出力する情報処理手段、
として機能させるための記憶媒体。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000325223A JP4284855B2 (ja) | 2000-10-25 | 2000-10-25 | 情報入出力システム及び情報入出力方法、並びにプログラム記憶媒体 |
| US10/039,310 US6795060B2 (en) | 2000-10-25 | 2001-10-24 | Data input/output system, data input/output method, and program recording medium |
| EP01309056A EP1202156B1 (en) | 2000-10-25 | 2001-10-25 | Data input/output system, data input/output method and program recording medium |
| DE60142611T DE60142611D1 (de) | 2000-10-25 | 2001-10-25 | Datenein-/ausgabesystem, Datenein-/ausgabeverfahren und Programmaufzeichnungsmedium |
| US10/882,862 US7027040B2 (en) | 2000-10-25 | 2004-07-01 | Data input/output system, data input/output method, and program recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000325223A JP4284855B2 (ja) | 2000-10-25 | 2000-10-25 | 情報入出力システム及び情報入出力方法、並びにプログラム記憶媒体 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2002132446A JP2002132446A (ja) | 2002-05-10 |
| JP2002132446A5 JP2002132446A5 (ja) | 2007-04-12 |
| JP4284855B2 true JP4284855B2 (ja) | 2009-06-24 |
Family
ID=18802618
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000325223A Expired - Fee Related JP4284855B2 (ja) | 2000-10-25 | 2000-10-25 | 情報入出力システム及び情報入出力方法、並びにプログラム記憶媒体 |
Country Status (4)
| Country | Link |
|---|---|
| US (2) | US6795060B2 (ja) |
| EP (1) | EP1202156B1 (ja) |
| JP (1) | JP4284855B2 (ja) |
| DE (1) | DE60142611D1 (ja) |
Families Citing this family (115)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9513744B2 (en) | 1994-08-15 | 2016-12-06 | Apple Inc. | Control systems employing novel physical controls and touch screens |
| US8482534B2 (en) | 1995-06-29 | 2013-07-09 | Timothy R. Pryor | Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics |
| US8228305B2 (en) | 1995-06-29 | 2012-07-24 | Apple Inc. | Method for providing human input to a computer |
| US7614008B2 (en) | 2004-07-30 | 2009-11-03 | Apple Inc. | Operation of a computer with touch screen interface |
| US9292111B2 (en) | 1998-01-26 | 2016-03-22 | Apple Inc. | Gesturing with a multipoint sensing device |
| US8479122B2 (en) | 2004-07-30 | 2013-07-02 | Apple Inc. | Gestures for touch sensitive input devices |
| US9239673B2 (en) | 1998-01-26 | 2016-01-19 | Apple Inc. | Gesturing with a multipoint sensing device |
| US8482535B2 (en) | 1999-11-08 | 2013-07-09 | Apple Inc. | Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics |
| US8576199B1 (en) | 2000-02-22 | 2013-11-05 | Apple Inc. | Computer control systems |
| JP4284855B2 (ja) * | 2000-10-25 | 2009-06-24 | ソニー株式会社 | 情報入出力システム及び情報入出力方法、並びにプログラム記憶媒体 |
| US6710754B2 (en) * | 2001-11-29 | 2004-03-23 | Palm, Inc. | Moveable output device |
| WO2003073368A2 (de) * | 2002-02-28 | 2003-09-04 | Micro-Sensys Gmbh | Bildschirmtast-und transponderlesestift |
| US7167586B2 (en) * | 2002-09-30 | 2007-01-23 | Pitney Bowes Inc. | Method and system for remote form completion |
| US7417773B2 (en) * | 2002-09-30 | 2008-08-26 | Pitney Bowes Inc. | Method and system for creating and sending a facsimile using a digital pen |
| US7343042B2 (en) * | 2002-09-30 | 2008-03-11 | Pitney Bowes Inc. | Method and system for identifying a paper form using a digital pen |
| US7397468B2 (en) * | 2002-09-30 | 2008-07-08 | Pitney Bowes Inc. | Method and system for creating a document having metadata |
| FR2846439B1 (fr) * | 2002-10-23 | 2005-02-25 | Inst Nat Rech Inf Automat | Dispositif et installation perfectionnes de traitement de donnees manuscrites pour une sauvegarde electronique certifiee avec liens |
| JP4306250B2 (ja) * | 2003-01-08 | 2009-07-29 | ソニー株式会社 | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム |
| JP2005010863A (ja) * | 2003-06-16 | 2005-01-13 | Toho Business Kanri Center:Kk | 端末装置、表示システム、表示方法、プログラム、及び記録媒体 |
| JP4584556B2 (ja) * | 2003-09-08 | 2010-11-24 | 株式会社エヌ・ティ・ティ・ドコモ | プログラム制御装置及びプログラム制御方法 |
| GB0322697D0 (en) * | 2003-09-27 | 2003-10-29 | Hewlett Packard Development Co | Method of transferring data from a memory tag to another device and apparatus for reading data from memory tags |
| US8453065B2 (en) | 2004-06-25 | 2013-05-28 | Apple Inc. | Preview and installation of user interface elements in a display environment |
| US7490295B2 (en) | 2004-06-25 | 2009-02-10 | Apple Inc. | Layer for accessing user interface elements |
| JP4667782B2 (ja) * | 2004-07-21 | 2011-04-13 | パナソニック株式会社 | タッチセンサ |
| US8381135B2 (en) | 2004-07-30 | 2013-02-19 | Apple Inc. | Proximity detector in handheld device |
| WO2006025468A1 (ja) * | 2004-08-31 | 2006-03-09 | Uchida Yoko Co., Ltd. | プレゼンテーションシステム |
| JP4686176B2 (ja) * | 2004-11-22 | 2011-05-18 | オリンパス株式会社 | 画像再生装置 |
| WO2006056939A2 (en) * | 2004-11-24 | 2006-06-01 | Koninklijke Philips Electronics N.V. | Privacy overlay for interactive display tables |
| JP4598496B2 (ja) * | 2004-11-29 | 2010-12-15 | オリンパスイメージング株式会社 | 画像表示装置 |
| US7898505B2 (en) * | 2004-12-02 | 2011-03-01 | Hewlett-Packard Development Company, L.P. | Display system |
| WO2006085314A2 (en) * | 2005-02-11 | 2006-08-17 | Flash Networks Ltd | Method and system for improving user experience while browsing |
| US8819569B2 (en) | 2005-02-18 | 2014-08-26 | Zumobi, Inc | Single-handed approach for navigation of application tiles using panning and zooming |
| ATE540350T1 (de) * | 2005-03-23 | 2012-01-15 | Epos Dev Ltd | Verfahren und system für eine digitale stiftbaugruppe |
| US20060267952A1 (en) * | 2005-05-26 | 2006-11-30 | Steve Alcorn | Interactive display table top |
| JP4661387B2 (ja) * | 2005-06-20 | 2011-03-30 | 富士ゼロックス株式会社 | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム |
| WO2007009154A1 (en) * | 2005-07-15 | 2007-01-25 | Aceinc Pty Limited | Methods and apparatus for computer interface |
| JP4742361B2 (ja) * | 2005-07-15 | 2011-08-10 | 独立行政法人産業技術総合研究所 | 情報入出力システム |
| US7933632B2 (en) * | 2005-09-16 | 2011-04-26 | Microsoft Corporation | Tile space user interface for mobile devices |
| US20070067726A1 (en) * | 2005-09-16 | 2007-03-22 | Microsoft Corporation | Content sharing user interface for mobile devices |
| US7873356B2 (en) * | 2005-09-16 | 2011-01-18 | Microsoft Corporation | Search interface for mobile devices |
| US7743336B2 (en) | 2005-10-27 | 2010-06-22 | Apple Inc. | Widget security |
| US8543824B2 (en) | 2005-10-27 | 2013-09-24 | Apple Inc. | Safe distribution and use of content |
| US9104294B2 (en) | 2005-10-27 | 2015-08-11 | Apple Inc. | Linked widgets |
| US7752556B2 (en) | 2005-10-27 | 2010-07-06 | Apple Inc. | Workflow widgets |
| US7839391B2 (en) | 2005-11-04 | 2010-11-23 | Electronic Theatre Controls, Inc. | Segmented touch screen console with module docking |
| US7707514B2 (en) | 2005-11-18 | 2010-04-27 | Apple Inc. | Management of user interface elements in a display environment |
| KR100758288B1 (ko) * | 2006-02-10 | 2007-09-13 | 한국과학기술연구원 | 손 동작 기반의 입출력 장치, 시스템 및 방법 |
| US7905606B2 (en) * | 2006-07-11 | 2011-03-15 | Xerox Corporation | System and method for automatically modifying an image prior to projection |
| US7843469B2 (en) * | 2006-07-21 | 2010-11-30 | The Boeing Company | Overlaying information onto a view for electronic display |
| US8291042B2 (en) * | 2006-07-31 | 2012-10-16 | Lenovo (Singapore) Pte. Ltd. | On-demand groupware computing |
| US8869027B2 (en) | 2006-08-04 | 2014-10-21 | Apple Inc. | Management and generation of dashboards |
| WO2008023817A1 (fr) * | 2006-08-25 | 2008-02-28 | Brother Kogyo Kabushiki Kaisha | Dispositif de traitement d'opération |
| JP2008123163A (ja) * | 2006-11-10 | 2008-05-29 | Sony Corp | 表示装置および表示方法、並びにプログラム |
| US8290642B2 (en) * | 2007-03-02 | 2012-10-16 | The Boeing Company | Electronic flight bag having filter system and method |
| US8914786B2 (en) | 2007-03-23 | 2014-12-16 | Zumobi, Inc. | Systems and methods for controlling application updates across a wireless interface |
| US20090009480A1 (en) * | 2007-07-06 | 2009-01-08 | Sony Ericsson Mobile Communications Ab | Keypad with tactile touch glass |
| US8954871B2 (en) | 2007-07-18 | 2015-02-10 | Apple Inc. | User-centric widgets and dashboards |
| US20090021486A1 (en) * | 2007-07-19 | 2009-01-22 | Apple Inc. | Dashboard Surfaces |
| JP4986766B2 (ja) * | 2007-08-09 | 2012-07-25 | パナソニック株式会社 | 携帯端末用制御装置 |
| TW200917171A (en) * | 2007-10-08 | 2009-04-16 | G Time Electronic Co Ltd | Sensing type learning card and learning system thereof |
| US8686854B2 (en) * | 2008-03-31 | 2014-04-01 | The Boeing Company | System and method for forming optimized perimeter surveillance |
| US8370111B2 (en) * | 2008-03-31 | 2013-02-05 | The Boeing Company | System and method for forming optimized perimeter surveillance |
| JP4691136B2 (ja) * | 2008-06-09 | 2011-06-01 | 株式会社エヌ・ティ・ティ・ドコモ | モバイルデバイスとスクリーンとの間でインタラクションを行う方法及び装置 |
| JP5238398B2 (ja) * | 2008-08-01 | 2013-07-17 | 株式会社コンピュータシステム研究所 | レイアウト設計支援システム |
| JP2010079529A (ja) * | 2008-09-25 | 2010-04-08 | Ricoh Co Ltd | 情報処理装置、情報処理方法、そのプログラム及および記録媒体 |
| US8427424B2 (en) | 2008-09-30 | 2013-04-23 | Microsoft Corporation | Using physical objects in conjunction with an interactive surface |
| US8143523B2 (en) * | 2008-10-21 | 2012-03-27 | Baker Hughes Incorporated | Downhole cable with thermally conductive polymer composites |
| US8306522B1 (en) * | 2008-12-23 | 2012-11-06 | Sprint Communications Company L.P. | Dynamic interface for mobile devices |
| US8264455B2 (en) * | 2009-02-03 | 2012-09-11 | Microsoft Corporation | Mapping of physical controls for surface computing |
| JP5136486B2 (ja) * | 2009-03-24 | 2013-02-06 | 富士ゼロックス株式会社 | 情報処理装置及びカード情報入出力プログラム |
| US20100269069A1 (en) * | 2009-04-17 | 2010-10-21 | Nokia Corporation | Method and apparatus of associating and maintaining state information for applications |
| US9933914B2 (en) * | 2009-07-06 | 2018-04-03 | Nokia Technologies Oy | Method and apparatus of associating application state information with content and actions |
| JP5232731B2 (ja) * | 2009-07-15 | 2013-07-10 | シャープ株式会社 | 表示装置および表示方法 |
| US20110029904A1 (en) * | 2009-07-30 | 2011-02-03 | Adam Miles Smith | Behavior and Appearance of Touch-Optimized User Interface Elements for Controlling Computer Function |
| US8717317B2 (en) * | 2010-02-22 | 2014-05-06 | Canon Kabushiki Kaisha | Display control device and method for controlling display on touch panel, and storage medium |
| US8730309B2 (en) | 2010-02-23 | 2014-05-20 | Microsoft Corporation | Projectors and depth cameras for deviceless augmented reality and interaction |
| US20120005632A1 (en) * | 2010-06-30 | 2012-01-05 | Broyles Iii Paul J | Execute a command |
| US8554897B2 (en) * | 2011-01-24 | 2013-10-08 | Lg Electronics Inc. | Data sharing between smart devices |
| US9329469B2 (en) | 2011-02-17 | 2016-05-03 | Microsoft Technology Licensing, Llc | Providing an interactive experience using a 3D depth camera and a 3D projector |
| US9480907B2 (en) | 2011-03-02 | 2016-11-01 | Microsoft Technology Licensing, Llc | Immersive display with peripheral illusions |
| US9597587B2 (en) | 2011-06-08 | 2017-03-21 | Microsoft Technology Licensing, Llc | Locational node device |
| TW201307661A (zh) * | 2011-08-08 | 2013-02-16 | Lattice Energy Technology Corp | 多重保護觸控鎖具 |
| DE102011086859A1 (de) * | 2011-11-22 | 2013-05-23 | Robert Bosch Gmbh | Berührungsempfindlicher Bildschirm, Verfahren zur Herstellung |
| US9323334B2 (en) * | 2012-03-07 | 2016-04-26 | Samsung Electronics Co., Ltd. | Control system with ridge interface and method of operation thereof |
| JP5953984B2 (ja) | 2012-06-29 | 2016-07-20 | ソニー株式会社 | 通信制御装置、通信制御方法、プログラム、及び通信制御システム |
| KR102084041B1 (ko) * | 2012-08-24 | 2020-03-04 | 삼성전자 주식회사 | 펜 기능 운용 방법 및 시스템 |
| EP2701033B1 (en) * | 2012-08-24 | 2018-11-28 | BlackBerry Limited | Temporary keyboard having some individual keys that provide varying levels of capacitive coupling to a touch-sensitive display |
| US9285837B2 (en) | 2012-08-24 | 2016-03-15 | Blackberry Limited | Temporary keyboard having some individual keys that provide varying levels of capacitive coupling to a touch-sensitive display |
| WO2014073137A1 (ja) * | 2012-11-06 | 2014-05-15 | パナソニック株式会社 | 情報処理端末装置 |
| CN104303133A (zh) * | 2013-03-12 | 2015-01-21 | 施政 | 互动板的系统及方法 |
| US9189034B2 (en) * | 2013-03-25 | 2015-11-17 | Panasonic intellectual property Management co., Ltd | Electronic device |
| USD749102S1 (en) * | 2013-05-10 | 2016-02-09 | Samsung Electronics Co., Ltd. | Display screen or portion thereof with graphical user interface |
| US20150012831A1 (en) * | 2013-07-08 | 2015-01-08 | Jacoh, Llc | Systems and methods for sharing graphical user interfaces between multiple computers |
| JP5677623B1 (ja) * | 2013-08-21 | 2015-02-25 | 三菱電機株式会社 | プログラム編集用プログラム |
| KR20150024247A (ko) * | 2013-08-26 | 2015-03-06 | 삼성전자주식회사 | 터치 스크린 디바이스에서 다수의 입력기구를 이용하는 애플리케이션을 실행하는 방법 및 터치 스크린 디바이스 |
| WO2015159550A1 (ja) * | 2014-04-18 | 2015-10-22 | 日本電気株式会社 | 情報処理システム、制御方法、及びプログラム記録媒体 |
| US9975054B2 (en) * | 2014-06-12 | 2018-05-22 | Melvin Schindler | Building block kit |
| JP6475050B2 (ja) * | 2015-03-23 | 2019-02-27 | Ｎｅｃプラットフォームズ株式会社 | 情報入出力システム及び情報処理システム |
| KR102365730B1 (ko) * | 2015-06-15 | 2022-02-22 | 한국전자통신연구원 | 인터랙티브 콘텐츠 제어 장치 및 방법 |
| WO2017098974A1 (ja) * | 2015-12-08 | 2017-06-15 | ソニー株式会社 | 情報処理システム、情報処理装置および情報処理方法 |
| AT518250B1 (de) * | 2016-03-17 | 2017-09-15 | Bernecker + Rainer Industrie-Elektronik Ges M B H | Touchscreen |
| CN109564479A (zh) * | 2016-08-22 | 2019-04-02 | 株式会社和冠 | 电子笔、位置检测装置及信息处理装置 |
| JP6261153B1 (ja) | 2016-08-22 | 2018-01-17 | 株式会社ワコム | 電子ペン、位置検出装置及び情報処理装置 |
| US10409470B2 (en) * | 2016-09-14 | 2019-09-10 | Microsoft Technology Licensing, Llc | Touch-display accessory with relayed display plane |
| CH713688A1 (de) * | 2017-04-12 | 2018-10-15 | Trihow Ag | Gerät mit einer Elektronikeinrichtung, Set umfassend ein solches Gerät, damit verbundene Verwendung und Verfahren zur Nutzung eines solchen Sets. |
| US11347367B2 (en) | 2019-01-18 | 2022-05-31 | Dell Products L.P. | Information handling system see do user interface management |
| US11009907B2 (en) | 2019-01-18 | 2021-05-18 | Dell Products L.P. | Portable information handling system user interface selection based on keyboard configuration |
| US20210027224A1 (en) * | 2019-07-23 | 2021-01-28 | Sourcewater, Inc. | Routing of fluid pipelines |
| US11429957B1 (en) | 2020-10-26 | 2022-08-30 | Wells Fargo Bank, N.A. | Smart table assisted financial health |
| US11457730B1 (en) | 2020-10-26 | 2022-10-04 | Wells Fargo Bank, N.A. | Tactile input device for a touch screen |
| US11740853B1 (en) | 2020-10-26 | 2023-08-29 | Wells Fargo Bank, N.A. | Smart table system utilizing extended reality |
| US11741517B1 (en) | 2020-10-26 | 2023-08-29 | Wells Fargo Bank, N.A. | Smart table system for document management |
| US11397956B1 (en) | 2020-10-26 | 2022-07-26 | Wells Fargo Bank, N.A. | Two way screen mirroring using a smart table |
| US11727483B1 (en) | 2020-10-26 | 2023-08-15 | Wells Fargo Bank, N.A. | Smart table assisted financial health |
| US11572733B1 (en) | 2020-10-26 | 2023-02-07 | Wells Fargo Bank, N.A. | Smart table with built-in lockers |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1989003085A1 (en) * | 1987-09-28 | 1989-04-06 | Fox James C | Automatic program selector |
| DE69318746T2 (de) * | 1992-02-18 | 1999-02-18 | Ncr Int Inc | Datenverarbeitungsgerät mit Rückmeldung der Benutzereingabe |
| JP3277645B2 (ja) * | 1993-11-01 | 2002-04-22 | 株式会社日立製作所 | ペン入力式情報処理装置 |
| KR100324989B1 (ko) * | 1993-11-08 | 2002-06-24 | 마츠시타 덴끼 산교 가부시키가이샤 | 입력표시일체형정보처리장치 |
| JP3900605B2 (ja) * | 1997-07-30 | 2007-04-04 | ソニー株式会社 | データ送信／受信／送受信装置、データ伝送システム、及び、データ送信／受信／送受信／伝送方法 |
| JP4149574B2 (ja) * | 1997-08-29 | 2008-09-10 | ゼロックス コーポレイション | ユーザインターフェースサポートデバイス、及び情報入力方法 |
| US6340957B1 (en) * | 1997-08-29 | 2002-01-22 | Xerox Corporation | Dynamically relocatable tileable displays |
| US5931537A (en) * | 1997-09-30 | 1999-08-03 | Gollin & Co., Inc. | Adjustable chair arm assembly |
| US6160540A (en) * | 1998-01-12 | 2000-12-12 | Xerox Company | Zoomorphic computer user interface |
| US6326946B1 (en) * | 1998-09-17 | 2001-12-04 | Xerox Corporation | Operator icons for information collages |
| JP2001183994A (ja) * | 1999-12-27 | 2001-07-06 | Sony Corp | 画像表示装置 |
| US6545660B1 (en) * | 2000-08-29 | 2003-04-08 | Mitsubishi Electric Research Laboratory, Inc. | Multi-user interactive picture presentation system and method |
| US6618040B1 (en) * | 2000-09-15 | 2003-09-09 | Targus Communications Corp. | Apparatus and method for indexing into an electronic document to locate a page or a graphical image |
| JP4868195B2 (ja) * | 2000-10-24 | 2012-02-01 | ソニー株式会社 | 電子機器および情報処理装置 |
| JP4284855B2 (ja) * | 2000-10-25 | 2009-06-24 | ソニー株式会社 | 情報入出力システム及び情報入出力方法、並びにプログラム記憶媒体 |
| US20020140682A1 (en) * | 2001-03-29 | 2002-10-03 | Brown Frank T. | Optical drawing tablet |
-
2000
- 2000-10-25 JP JP2000325223A patent/JP4284855B2/ja not_active Expired - Fee Related
-
2001
- 2001-10-24 US US10/039,310 patent/US6795060B2/en not_active Expired - Fee Related
- 2001-10-25 EP EP01309056A patent/EP1202156B1/en not_active Expired - Lifetime
- 2001-10-25 DE DE60142611T patent/DE60142611D1/de not_active Expired - Lifetime
-
2004
- 2004-07-01 US US10/882,862 patent/US7027040B2/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| EP1202156A3 (en) | 2007-03-07 |
| US6795060B2 (en) | 2004-09-21 |
| EP1202156A2 (en) | 2002-05-02 |
| EP1202156B1 (en) | 2010-07-21 |
| US7027040B2 (en) | 2006-04-11 |
| US20040233216A1 (en) | 2004-11-25 |
| DE60142611D1 (de) | 2010-09-02 |
| US20020113778A1 (en) | 2002-08-22 |
| JP2002132446A (ja) | 2002-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4284855B2 (ja) | 情報入出力システム及び情報入出力方法、並びにプログラム記憶媒体 | |
| US10754517B2 (en) | System and methods for interacting with a control environment | |
| JP4332964B2 (ja) | 情報入出力システム及び情報入出力方法 | |
| CN101730874B (zh) | 基于免接触的手势的输入 | |
| US9015584B2 (en) | Mobile device and method for controlling the same | |
| TWI502503B (zh) | 應用程式物件之多觸控操縱 | |
| JP2001265523A (ja) | 情報入出力システム及び情報入出力方法、並びにプログラム記憶媒体 | |
| Broll et al. | Design and evaluation of techniques for mobile interaction with dynamic NFC-displays | |
| CN103229141A (zh) | 管理用户界面中的工作空间 | |
| CN104024983B (zh) | 用于间接交互设备的交互模型 | |
| JP2001136504A (ja) | 情報入出力システム及び情報入出力方法 | |
| CN105247463B (zh) | 增强的画布环境 | |
| KR101419871B1 (ko) | 자막 편집 장치 및 자막 편집 방법 | |
| TWI628636B (zh) | 轉移多裝置工作區資料方法及系統 | |
| JP2003177864A (ja) | 情報端末システム | |
| JP2013125552A (ja) | 情報処理装置、画像表示プログラム | |
| JP5165661B2 (ja) | 制御装置、制御方法、制御プログラム、及び記録媒体 | |
| Cardoso et al. | Interaction tasks and controls for public display applications | |
| JP2018133108A (ja) | 電子端末、及びその制御方法とプログラム | |
| JP6341171B2 (ja) | 電子端末、及びその制御方法とプログラム | |
| JP6344355B2 (ja) | 電子端末、及びその制御方法とプログラム | |
| Cardoso et al. | Research Article Interaction Tasks and Controls for Public Display Applications | |
| Fukuchi | Concurrent Manipulation of Multiple Components on Graphical User Interface | |
| Grabs | Hybrid interaction on interactive surfaces | |
| CN115993894A (zh) | 一种触控响应方法、装置、交互平板及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070227 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070227 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081224 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090205 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090303 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090316 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120403 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120403 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120403 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130403 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |