JP4925148B2 - 情報入出力システム - Google Patents

Description

本発明は、利用者が両手を有効に利用しながら直感的にわかりやすくコンピュータを操作したり、コンピュータを介して遠隔地の人とコミュニケーションしたりすることができるユーザ・インタフェース環境を提供する情報入出力システムに関するものである。

現在のコンピュータは、一般にＷＩＭＰ（Ｗｉｎｄｏｗ，Ｉｃｏｎ，Ｍｅｎｕ，Ｐｏｉｎｔｅｒ）に基づくＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）環境を用いて操作されている。ＧＵＩ環境下では、マウスやタッチパッドなどの汎用的なポインティングデバイスによりマウスカーソル（ポインターカーソル）を動かし、クリックやドラッグ・アンド・ドロップに代表されるマウスのボタン操作による汎用性な操作方法を用いて、コンピュータを操作する。

一方、マウスのような汎用的なデバイスではない実物体を利用し、その実物体の位置、動き、形の変化などと、コンピュータ内部の状態や操作コマンドなどとを結び付け、より直感的な操作を実現しようとするタンジブル・ユーザ・インタフェース（ＴＵＩ）の研究・開発が１９９０年代から盛んに行われている（非特許文献１、２など）。ＴＵＩ環境では、ＧＵＩ環境におけるマウスのように１つの物体に集中したり、また１つのマウスカーソルで様々な操作を順に行っていく操作技法と比べ、複数の実物体を両手で同時に扱えたり、実物体のもつアフォーダンスが自然と操作技法を導いたりといった直接的で直感的なユーザ・インタフェース環境を実現できる。

しかしながら、実物体はその大きさや機能を変更することが困難なため、特定のアプリケーション用に設計してしまうと異なるアプリケーションに転用しにくく汎用性に欠けているという問題点がある。これは、実物体によるアフォーダンスを強化しようとすればするほど問題になる点でもある。

ＴＵＩにある程度の汎用性を持たせた例としてＤａｔａＴｉｌｅｓ（特許文献１、非特許文献３)、特許文献２の“コマンド入力方法、画像表示方法及び画像表示装置”などが存在する。

特開２００２−１３２４４６号公報 特開２００５−１６５８６４号公報

H.Ishii and B.Ullmer. TangibleBits:Towards seamless interfaces between people, bits and atoms. In Proc.ACM CHI’97,pages234-241,1997. 藤門千明，安藤真，山下淳，吉田和弘，葛岡英明，廣瀬通孝：タンジブルアバタを利用したVR空間ナビゲーションインタフェースの構築と評価、日本バーチャルリアリティ学会第８回大会,2003 J.Rekimoto,B.Ullmer, and H.Oba.DataTiles:A modular platform for mixed physical and graphical interactions.In Proc.ACM CHI2001, pages 269-276,2001. B. Bell,S.Feiner,and T.Hoellerer,View Management for Virtual and Augmented Reality,In Proc.UIST '01,Orlando,FL,November 11-14 2001. pp. 101-110 西田佳史,相澤洋志,堀俊夫,柿倉正義:超音波３次元タグを用いた人の日常活動の頑健な計測〜冗長なセンサ情報に基づくロバスト位置推定〜.第２０回日本ロボット学会創立２０周年記念学術講演会予稿集,3C18(1)-(4),2002. 松下伸行，日原大輔，後輝行，吉村真一，暦本純一:ID Cam:シーンとIDを同時に取得可能なイメージセンサ．インタラクション2002 pp.9-16

ＤａｔａＴｉｌｅｓでは、ＲＦＩＤタグを読み取るセンサを一定間隔に並べて配置し、電磁授受作用方式の入力タブレットを備えた液晶ディスプレイなどの平面ディスプレイ表面に、アクリルなどの透明な矩形上の素材にＲＦＩＦを組み込んだ“タイル”を複数配置して操作する。この場合、複数のタイルの設置の位置関係やタイル上でのペン操作などを入力とし、透明なタイルを通して見る平面ディスプレイの表示を出力とすることで、ユーザ・インタフェースの入出力を直接的に対応付けることに成功している。また、入力に関しては、タイル上へのペン入力、複数タイルの設置位置関係を用いた複雑な操作が可能であり、出力は、液晶ディスプレイをタイル越しに見ることにより得られる。このため、ＧＵＩと同等に近い表現力や汎用性が得られる。

しかしながら、タイルの大きさは固定であるため、ＧＵＩに当てはめて考えると、ウィンドウのサイズが変更できないことに相当し、その点での汎用性に欠ける。また、ＲＦＩＤタグはＲＦＩＤタグを読み取るセンサを配置した位置周辺でしか認識されないため、ＲＦＩＤタグ・センサを位置決め手段として捉えた場合、空間的に離散的な位置決めしかできないことになる。ペンを用いた入力についても、両手でタイルを把持し設置などするためには、ペンの持ち替え動作が発生するため、ペンが操作の簡便性を損ねる場合が発生する。さらに、移動中のタイルの位置や平面ディスプレイから離れてしまったタイルの位置は得られないため、そのような状態のタイルに対する出力は提供できないという制限もある。

特許文献２のコマンド入力方法では、背面投影ディスプレイのスクリーン上に複数の実物体を置き、それら実物体の位置関係や移動、回転、ならびにスクリーン上への水性ペンやマーカを用いた描画を組み合わせて、コンピュータを操作することができる。実物体や描画の認識には、プロジェクタと同様、スクリーンの背面に設置されたカメラによって実施される。認識精度を向上させる手段としては、実物体がスクリーンに触れる面に識別コードを付加し、カメラによりその種類と向きを認識する。また、実物体を操作した結果はディスプレイに即座に反映されるため、この場合もＤａｔａＴｉｌｅｓと同様に入出力を直接的に対応付けることができており、入出力とも比較的汎用性がある。

しかしながら、特許文献２で用いられる背面投影ディスプレイはその原理上、平面ディスプレイと比較してシステムが大型化してしまい低コスト化、可搬性などに問題がある。また、スクリーンを離れた実物体はカメラでの撮影が困難なため、ＤａｔａＴｉｌｅｓ同様、ディスプレイから離れてしまった実物体の状況（位置、移動、向き）を入力に用いることができない。さらに、描画はタッチパネルを用いた仮想的なものではなく、水性ペンやマーカを用いた実際の描画をするので、一度描画したものを削除したり変更したりすることも困難である。

本発明は、上記事情に鑑みてなされたものであり、ＴＵＩでありながら入出力の直接的な対応付けを実現しつつ入出力に汎用性を持たせ、さらに、複数の実物体を表示装置から離した状態でもそれらの識別情報、位置・移動情報を得ることで、より直感的な操作技法を利用者に提供し、さらにその結果を用いた実物体の持ち上げや移動といった操作と、表示装置上への描画とを両手で迅速に行えるようにすることを目的としている。

具体的には、本発明の目的は、利用者が両手を有効に利用しながら直感的にわかりやすくコンピュータを操作したり、コンピュータを介して遠隔地の人とコミュニケーションしたりすることができるユーザ・インタフェース環境を提供する情報入出力システムを提供することにある。

上記のような目的を達成するため、本発明による情報入出力システムは、基本的な構成として、複数の物理タグと、前記物理タグを載置した状態であっても入力操作が可能なタッチパネルを備えた表示装置と、前記表示装置の表面上に載置された状態の前記物理タグまたは利用者により把持され前記表示装置の表面を離れた状態の前記物理タグの識別情報及び三次元位置情報を取得し、前記物理タグの移動軌跡情報及び停止位置情報を取得する物理タグ計測装置と、前記物理タグの移動軌跡、複数の物理タグの位置関係、タッチパネルからの入力操作による入力データ、またはそれらの組み合わせに応じて指示される情報処理を実行する情報処理手段と、前記情報処理手段による処理結果を前記表示装置に表示する表示処理手段とを具備する。

１つの態様として、この情報入出力システムにおいて、前記表示装置に備えられるタッチパネルは、タッチパネル表面が物体で接触され、タッチパネル表面を伝播する超音波を吸収する前記物体での接触により位置情報が入力される超音波表面弾性波方式のタッチパネルであり、前記複数の物理タグは、当該物理タグがタッチパネル表面上に載置されても、当該表面を伝播する超音波をあまり吸収せず、当該タッチパネルへの入力操作に悪影響を与えない材質の外部筺体で覆われるように構成される。このような構成により、物理タグは軽量であり、その外形がプラスチックや金属などの素材により作製されるので、このため、タッチパネルへの複数の物理タグの載置と当該タッチパネルへの入力が両立できることになる。

また、この場合に、タッチパネル表面に接触は、布素材またはゴム素材の指キャップで覆われた指先により行われる。このような構成により、天然繊維や化学繊維、またはゴムなどの素材で指先を覆う指キャップが、前記タッチパネルへの指先による入力を長時間実施しても、当該指先の皮膚の磨耗を防ぐことになる。

また、別の態様として、情報入出力システムにおいて、前記表示装置に備えられるタッチパネルは、コイルとコンデンサによるＬＣ共振回路を備えた指キャップを装着した指先をタッチパネル表面に接触させて位置情報を入力する電磁授受作用方式のタッチパネルであるように構成される。このような構成とすると、複数の物理タグは、共振回路を備えていないため、複数の物理タグをタッチパネル表面上に載置してもタッチパネルへの入力に悪影響を与えない。このため、タッチパネルへの複数の物理タグの載置と当該タッチパネルへの入力を両立できることになる。

また、別の態様として、情報入出力システムにおいて、前記物理タグは、自己を識別する識別コードにより制御されて超音波信号を発信する超音波発信器を備え、前記物理タグ計測装置は、所定時間毎に当該物理タグ計測装置から無線で送信される識別コードにより前記それぞれの物理タグの超音波の発信を制御し、その識別コードに対応する物理タグから発信される超音波を、当該物理タグ計測装置に設けられた複数の受信器により受信して、該当の物理タグの三次元位置を計測し、それぞれの物理タグの識別情報とその三次元位置を獲得するように構成される。

更に別の態様として、情報入出力システムにおいて、前記物理タグは、自己を識別する識別コードにより制御されて発光する発光ダイオードを備え、前記物理タグ計測装置は、所定時間毎に前記物理タグ計測装置から無線で送信される識別コードによりそれぞれの物理タグが制御し、その識別コードに対応する物理タグの発光ダイオードを発光させ、当該物理タグ計測装置に設けられた複数の受光器により当該発光ダイオードの発光を観測して三次元位置を計測し、それぞれの物理タグの識別情報と三次元位置を獲得するように構成される。

また、その他の別の態様として、情報入出力システムにおいて、前記物理タグは、自己を識別する識別コードの点滅パターンに従い発光する発光ダイオードを備え、前記物理タグ計測装置は、前記物理タグの発光ダイオードが発光する点滅パターンの発光を、当該物理タグ計測装置に設けられた複数の受光器により受光して、前記物理タグの三次元位置を計測し、それぞれの物理タグの識別情報と三次元位置を獲得するように構成される。

また、この場合に、前記物理タグにはバイブレータが備えられ、前記物理タグが、前記表示装置上または周辺に載置された状態、または利用者が把持した状態のときにバイブレータを振動させて、当該物理タグの存在または当該物理タグに対応する情報の状態が変化したことを通知するように構成されても良い。

また、別の態様として、前記物理タグには下部にスイッチが備えられて、前記物理タグが、前記表示装置上または周辺に載置された状態で前記スイッチにより電源オフ状態または省電力モードとするように構成されても良い。このような構成により、電源がオンになるまでの間は物理タグの位置を更新しないので、物理タグの電力消費を削減し、なおかつ当該物理タグと前記物理タグ計測装置との間に遮蔽物が侵入しても当該物理タグの位置情報が乱されない。

また、別の態様として、情報入出力システムにおいて、前記物理タグには下部に太陽電池が備えられ、前記物理タグが、前記表示装置上に載置された状態で当該表示装置の発光により得られる光エネルギーを太陽電池により電気に変換して利用または当該物理タグに設けられた二次電池に充電するように構成されても良い。

また、この場合に、前記表示装置は、当該表示装置上に載置された物理タグの計測位置とその周辺の表示領域の輝度を高くし、物理タグに設けられた太陽電池による発電量を増加させるように構成されても良い。

また、ユーザ・インタフェースの入出力操作に関係して、本発明による情報入出力システムにおいては、前記表示装置の表示画面上にウィンドウ、ダイアログボックス、クリップボード、コントロールパネルなどのＧＵＩオブジェクトが表示された場合に、前記情報処理手段により、前記物理タグは前記ＧＵＩオブジェクトと対応付けられ、物理タグと対応づけられた前記ＧＵＩオブジェクトは、当該物理タグの載置位置に近接して前記表示装置の表示画面上に表示されるように構成される。

この場合に、前記ＧＵＩオブジェクトと前記物理タグとの対応付けは、物理タグに対応付けられていないＧＵＩオブジェクトを前記タッチパネルの操作により押さえた状態で、更にＧＵＩオブジェクトに対応付けられていない物理タグを当該ＧＵＩオブジェクトの上に載置する操作により、対応付けを行い、その対応を登録するように構成される。

また、この場合に、前記ＧＵＩオブジェクトと前記物理タグとの対応付けの解除は、対応付けを解除するＧＵＩオブジェクトを前記タッチパネルの操作により押さえた状態で、更に当該ＧＵＩオブジェクトに対応付けられている物理タグを把持し持ち上げる操作により、当該対応付けを解除し、その対応の登録を解除するように構成される。

また、表示の態様については、ＧＵＩオブジェクトに対応付けられている物理タグの複数個が近接して、当該各物理タグに対応付けられたＧＵＩオブジェクト同士が重なり合って見づらくなる状態となった場合に、当該各ＧＵＩオブジェクトの表示位置を再配置し、各ＧＵＩオブジェクトが重ならない状態で表示するように構成される。

別の表示の態様としては、ＧＵＩオブジェクトに対応付けられている物理タグの複数個が近接して、当該各物理タグに対応付けられたＧＵＩオブジェクト同士が重なり合って見づらくなる状態となった場合に、当該各ＧＵＩオブジェクトの表示位置を再配置し、各ＧＵＩオブジェクトが重ならない状態で表示すると共に、表示された各ＧＵＩオブジェクトと対応付けられている物理タグの関係を、表示画面上において当該物理タグの載置位置の表示と対応するＧＵＩオブジェクトとを直線または曲線により結んで表示するように構成される。

更に別の表示の態様としては、前記表示装置の表示画面上で複数の物理タグに対応付けられたＧＵＩオブジェクトが重なり合っている状態で表示されている場合、最上位に表示したいＧＵＩオブジェクトに対応付けられた物理タグを持ち上げる操作により、当該物理タグに対応付けられているＧＵＩオブジェクトが最上位に表示するように構成される。

上記のような構成による本発明の情報入出力システムによれば、実物体の物理タグによってＴＵＩ環境を実現しながら、入出力の直接的な対応付けを実現して、入出力インタフェースに汎用性を持たせることができる。更には、複数の実物体の物理タグを表示装置から離した状態でも、それらの識別情報、位置・移動情報を得て、より直感的な操作を実現することができ、物理タグ（実物体）の把持・移動といった操作と表示装置上への描画とを両手で迅速に行うことができる。直感的な操作の例としては、例えば、
（１）両手で複数の物理タグを一箇所に集める、
（２）それらを好きな位置に再載置することでＧＵＩオブジェクトを再配置する、
（３）利き手で描画しながらもう一方の手で物理タグを把持する、
（４）物理タグを把持し持ち上げて動かしながら得られる移動軌跡を後述のタグジェスチャとして用いることができる、
（５）複数あるウィンドウがそれらに対応する物理ダグのアフォーダンスによって存在感が増す、
などの操作により情報処理システムに対する入出力操作が手軽に行える効果が得られる。

本発明による情報入出力システムの典型的な実施形態を説明する入出力操作部を中心とした概略図である。 電磁授受作用方式のタッチパネルを用いる場合のコイルとコンデンサによるＬＣ共振回路を備えた指キャップを説明する図である。 物理タグ計測装置７１と物理タグ２３の組み合わせ、及び物理タグ計測装置７２と物理タグ２２の組み合わせの一例を示す図である。 物理タグ計測装置７３と物理タグ２５の組み合わせの一例を示す図である。 表示装置との載置面（下部）にプッシュ式のスイッチを備えた物理タグ２６、および下部に太陽電池を備えた物理タグ２７の一例を示す図である。 ＧＵＩオブジェクトと物理タグとの対応付けを行う対応登録機能を説明する図である。 ＧＵＩオブジェクトと物理タグとの対応付けを解除する対応解除機能を説明する図である。 ＧＵＩオブジェクトピックアップ機能を説明する図である。 各ＧＵＩオブジェクトが重なり合って見づらくなる状態を回避するためのビューマネージメント機能を説明する図である。 コンピュータ操作における基本的な操作の１つであるデータのコピーのためのタグジェスチャを説明する図である。 コンピュータ操作における基本的な操作の１つであるデータのペーストのためのタグジェスチャを説明する図である。 コピーを連続して実行している例を説明する図である。 ペーストを連続して実行している例を説明する図である。 グループコピー機能を説明する図である。 グループペースト機能を説明する図である。

以下、図を参照しながら本発明による情報入出力システムの実施例について説明する。図１は、本発明による情報入出力システムの典型的な実施形態を説明する入出力操作部を中心とした概略図である。図１において、１０は物理タグに対応づけられているＧＵＩオブジェクト、１１は物理タグが移動中であるため小さく表示されたＧＵＩオブジェクト、１２は物理タグに対応づけられていないＧＵＩオブジェクト、１８は表示装置に表示されたＧＵＩオブジェクト、２０は表示内容に対応づけられている物理タグ、２１は把持されて表示装置の表面を離れた物理タグ、２２はＧＵＩオブジェクトに対応づけられていない物理タグ、２８はＧＵＩオブジェクトに対応づけられた物理タグ、３０は指キャップ、４０はＧＵＩオブジェクトに描画したスケッチ、５０は物理タグを把持し持ち上げた利用者の左手、５１はタッチパネルでスケッチを描画している利用者の右手、６０はタッチパネルを備えた表示装置、７０は物理タグ計測装置、８０は計算機システムである。

情報入出力システムは、ＴＵＩ環境を提供するための実物体の複数の物理タグ２０，２１，２２，２８と、この物理タグ２０，２１，２２，２８の３次元位置情報を計測する物理タグ計測装置７０と、タッチパネル６１を備えた表示装置６０と、利用者の手操作により移動させられる物理タグ２０，２１，２２，２８の移動軌跡データを解析してＧＵＩ環境およびＴＵＩ環境による入出力処理を行う計算機システム８０から構成される。計算機システム８０は、ここでの入出力処理を行うシステム要素として、情報処理手段８１、表示処理手段８２を備える。その他、図示されない情報処理のためのシステム要素が備えられる。

タッチパネル６１を備える表示装置６０は、当該タッチパネル６１上に物理タグ２０，２２，２８を載置した状態であっても、その影響を受けずにタッチパネル６１における入力操作が可能であるものが用いられる。物理タグ計測装置７０は、表示装置６０の表面上に載置された状態の物理タグ２０，２８または利用者により把持され表示装置６０の表面を離れた状態の物理タグ２１の識別情報及び三次元位置情報を取得し、これらの物理タグの移動軌跡のデータ、停止位置のデータを取得する。

計算機システム８０の情報処理手段８１は、物理タグの移動軌跡、複数の物理タグの位置関係、タッチパネルからの入力操作による入力データ、またはそれらの組み合わせに応じて指示される情報処理を実行する。情報処理システム８０の表示処理手段８２は、情報処理手段８１による処理結果を前記表示装置に表示する。

後述するように、ＧＵＩオブジェクト１０，１１，１２，１８に対して複数の物理タグ２０，２１，２２，２８のいずれかが対応づけられ、また、対応付けが解除される。ＧＵＩオブジェクトに対応づけられた複数の物理タグを用いて、利用者による複数の物理タグ２０，２１，２２，２８の移動の操作によって、表示装置６０の表示画面に表示されるＧＵＩオブジェクト１０，１１，１２，１８が制御されて、ＧＵＩ環境およびＴＵＩ環境による入出力処理が行われる。

このように、情報入出力システムの構成では、複数の物理タグ２０，２１，２２，２８と、当該複数の物理タグを載置したまま入力ができるタッチパネル６１を備えた表示装置６０と、当該表示装置の表面上に載置されたかもしくは利用者により把持され表面を離れた当該物理タグの識別情報及び三次元位置情報を取得する物理タグ計測装置７０と、当該物理タグの三次元的な移動軌跡、または当該複数の物理タグの位置関係、またはタッチパネル６１からの入力、またはそれらの組み合わせに応じた情報処理を実行する情報処理手段８１と、当該処理結果を表示装置に表示する表示処理手段８２を具備する。なお、ここで、物理タグ２０，２１，２２，２８は、把持しやすく表示装置６０に載置しても、表示装置６０の表示の見やすさをあまり損なわない大きさの実物体である。

タッチパネル６１は、例えば、超音波表面弾性波方式のタッチパネルを用いることができる。この場合、素手の指先や布やゴムなどの素材で覆われた指先などタッチパネル表面を伝播する超音波を吸収する物体で接触することにより、位置情報の入力ができる。複数の物理タグ２０，２１，２２，２８は、例えば、軽量であるか、または、その外形がプラスチックや金属などの素材でできているため、物理タグをタッチパネル表面上に載置しても、タッチパネル表面を伝播する超音波をあまり吸収せず、タッチパネルへの入力に悪影響を与えない。このように、複数の物理タグを載置と当該タッチパネルへの入力が両立できるものを利用する。

利用者の指先には、例えば、天然繊維や化学繊維、またはゴムなどの素材の指キャップ３０を装着する。これにより、タッチパネル６１への指先による入力を利用者が長時間行っても、指先の皮膚の磨耗を防ぐことができる。もちろん、指先だけではなく同様の素材で作られた手袋を装着してもよい。

タッチパネル６１としては、図２に示すように、電磁授受作用方式のタッチパネル６２を用いるようにしても良い。この場合は、利用者の手５２の入力操作を行う指先には、コイルとコンデンサによるＬＣ共振回路３２を備えた指キャップ３１を装着する。またはＬＣ共振回路３２を備えた手袋を装着する。これにより、タッチパネル６２への入力が可能になる。このようなタッチパネル６２を用いる場合には、複数の物理タグ（２０，２１，２２，２８）は、そのようなＬＣ共振回路を備えていないため、物理タグがタッチパネル６２の表面上に載置されても当該タッチパネルへの入力に悪影響を与えない。このよう該複数の物理タグの載置と当該タッチパネルへの入力が両立できるタッチパネル６２を利用する。

物理タグ計測装置７０としては、超音波位置計測方式の物理タグ計測装置を用いることができる。図３（ａ）に示すように、超音波位置計測方式の物理タグ計測装置７１は、物理タグ計測装置７１から無線で送信される識別コードを物理タグ２３が受信し、その識別コードに対応する物理タグ２３のみが超音波を発信し、当該超音波を物理タグ計測装置７１における３個以上の受信器により受信する。これにより、超音波位置計測方式の物理タグ計測装置７１は、物理タグ２３の三次元位置を計測し、各物理タグの識別情報と三次元位置を獲得する。

また、物理タグ計測装置７０の別の例としては、ステレオカメラ方式の物理タグ計測装置７２を用いることができる。図３（ｂ）に示すように、ステレオカメラ方式の物理タグ計測装置７２は、物理タグ計測装置７２から無線で送信される識別コードを物理タグ２４が受信し、その識別コードに対応する物理タグ２４のみが自己の物理タグ２４が備えるＬＥＤ（発光ダイオード）を点灯させて、物理タグ計測装置７２の２つのカメラ（ステレオカメラ）により物理タグ２４のＬＥＤの発光を観測する。これにより、ステレオカメラ方式の物理タグ計測装置７２は、その三次元位置を計測し、各物理タグの識別情報と三次元位置を獲得する。

また、物理タグ計測装置７０としては、別の例のステレオカメラ方式の物理タグ計測装置７３を用いることができる。図４に示すように、ステレオカメラ方式の物理タグ計測装置７３においては、例えば、物理タグ２５が発光ダイオード（ＬＥＤ）を備えるが、物理タグ２５は、自己が備える発光ダイオードは発光する場合に、発光の点滅を識別コードに合わせて行う。このため発光の点滅パターンは識別コードに対応したものとなる。物理タグ２５から発信される発光の点滅パターンを、物理タグ計測装置７３が受光し、当該ＬＥＤの点滅パターンを観測することにより、当該物理タグの識別情報と三次元位置を獲得する。

ところで、物理タグ２０，２１，２２，２８は、バイブレータを備えることで、表示装置６０上または周辺に載置された状態、または利用者が把持した状態で当該物理タグが振動し、当該物理タグの存在感を強調することができる。または当該物理タグに対応する情報の状態が変化したことを通知することができるものとすることができる。

ここでの物理タグ２０，２１，２２，２８は、物理タグ計測装置７０により３次元位置を計測するために超音波を発信し、または発光ダイオードを点灯させるため、内蔵電池により駆動される。このため、図５（ａ）に示すように、物理タグ２６の下部に、例えば、プッシュ式や接触感知式、赤外線感応方式などのスイッチを備えて、物理タグ２６を表示装置上または周辺に載置すると、電源がオフになるか、または省電力モードになるように構成することができる。これにより、物理タグの電力消費を削減することができる。また、電源がオンになるまでの間は物理タグ２６の位置を更新しないので、当該物理タグ２６と前記物理タグ計測装置との間に遮蔽物が侵入しても載置された当該物理タグ２６の位置情報は乱されることがなくなる。

また、同じく、図５（ｂ）に示すように、物理タグ２７は下部に太陽電池を備えることもできる。そのような物理タグ２７を表示装置６０上に載置している間は、表示装置６０の表示画面の発光により得られる光エネルギーを電気に変換して利用し、または当該物理タグの二次電池に充電することができる。さらに、太陽電池を備えた物理タグ２７を用いる場合には、表示装置６０は、物理タグ２７に近接してＧＵＩオブジェクト１７を表示する場合、表示装置の表示画面のタッチパネル上に載置された物理タグ２７の計測位置とその周辺の表示領域３００の輝度を高くし、当該太陽電池による発電量を増加させることができる。

また、物理タグ２０，２１，２２，２８は、表示装置６０の表示画面上に表示されるウィンドウやダイアログボックス、クリップボード、コントロールパネルなどのＧＵＩオブジェクトと対応付けることにより、当該物理タグ２０，２１，２２，２８に近接して、対応づけたＧＵＩオブジェクトを表示装置６０の表示画面に表示することができる。これにより、従来のＧＵＩ環境を実現とすると共に、ＧＵＩと同様のインタフェース設計を利用するＴＵＩを実現することができる。

ところで、図１を参照すると、図１には本発明による情報入出力システムの典型的な利用形態が示されている。この例では、タッチパネル６１を備えた表示装置６０は、水平に近い状態で使用している。これは物理タグ２０，２１，２２，２８を載置した状態を保つためであるが、もし、摩擦力、粘着力、磁力などにより表示装置６０が水平から傾いていても、物理タグ２０，２１，２２，２８が重力により移動することがなければその限りではない。その表示装置６０による入出力インタフェースとして、従来型のＧＵＩを利用してその表示を行っても良いし、アプリケーションごとに設計し直したＧＵＩを利用してそのような表示を行っても良い。

物理タグ２０，２１，２２，２８については、物理タグ２０，２１，２８のように、ＧＵＩオブジェクトに対応付けられているもの、物理タグ２２のように対応付けられていないものがある。ＧＵＩオブジェクト１０，１１，１２，１８についても、ＧＵＩオブジェクト１０，１１，１８のように、物理タグに対応付けられているものと、ＧＵＩオブジェクト１２のように対応付けられていないものがある。これらの対応付けや対応付けの解除の詳細については後述する。

利用者がＧＵＩオブジェクト１０，１１，１８に対応付けられている物理タグ２０，２１，２８を移動する操作を行うと、この物理タグに対応付けられたＧＵＩオブジェクト１０，１１、１８も追従して移動する。これにより、物を手でつかんで動かすという非常に自然な操作方法によりＧＵＩの中のウィンドウを動かすことができる。また、物理タグの３次元的な動きを含む移動軌跡を解析するタグジェスチャにより、コピーやペーストといったコンピュータの様々な操作を行うこともできる。

物理タグ計測装置７０と物理タグ２０，２１，２２，２８の組み合わせとしては、例えば、図３（ａ）により説明したように、物理タグ計測装置７１と物理タグ２３のような超音波三次元位置計測方式が採用することができる（非特許文献５）。この三次元位置計測方式では、まず、識別コードを物理タグ計測装置７１から電波を用いて無線で送信して複数の物理タグ２３それぞれが受信する。次に、その識別コードに対応する物理タグ２３のみが超音波を発信し、その超音波を物理タグ計測装置７１が３個以上の受信器により受信してその受信器の３次元位置から物理タグ２３の三次元位置を計測する。これを物理タグの個数分繰り返すことで、各物理タグの識別情報と三次元位置を獲得して、その移動軌跡のデータを物理タグに対応づけて記憶する。

また、図３（ｂ）により説明したように、物理タグ計測装置７２と物理タグ２４のようなステレオカメラ方式の３次元位置計測方式を用いるようにしても良い。この場合には、前記の方式と同様に、まず、識別コードを物理タグ計測装置７２から無線で送信して複数の物理タグ２４のそれぞれが受信する。次に、その識別コードに対応する物理タグ２４のみが物理タグ２４が備える発光ダイオード（ＬＥＤ）を点灯させ、物理タグ計測装置７２のステレオカメラがそのＬＥＤの発光を観測して三次元位置を計測する。これを物理タグの個数分繰り返すことで、各物理タグの識別情報と三次元位置を獲得する。識別情報と三次元位置を獲得することにより、その移動軌跡のデータをそれぞれの物理タグに対応づけて記憶する。

また、図４により説明したように、物理タグ計測装置７３と物理タグ２５のような方式を用いるようにしても良い（非特許文献６）。この場合には、図３（ｂ）の物理タグ２４と同様に、物理タグ２５は発光ダイオード（ＬＥＤ）を備えており、そのＬＥＤを発光させるが、発光を識別コードに応じて点滅させる。つまり、物理タグ２５はＬＥＤの点滅パターンによって識別コードを発信する。物理タグ計測装置７３としては、例えば、高速撮影により物理タグ２５のＬＥＤの点滅パターンを観測できるＣＭＯＳカメラを用いる。３次元位置計測についてはステレオカメラ方式により行う。これにより、物理タグの識別情報と三次元位置を獲得することができる。

表示装置６０が具備するタッチパネル６１としては、例えば、超音波表面弾性波方式のタッチパネルを用いる。この場合には、素手の指先で入力することができる。しかし、長時間、素手の指先での入力を繰り返すと皮膚が磨耗してしまうという問題が出てくる。このように問題に対しては、指先には、例えば、天然繊維や化学繊維、またはゴムなど、タッチパネル表面を伝播する超音波を吸収する素材の指キャップ３０を装着して指先を保護するようにする。もちろん、指先だけではなく同様の素材で作られた手袋を装着してもよい。

なお、超音波表面弾性波方式のタッチパネルを用いる場合、物理タグ２０，２１，２２，２８が、軽量であるか、または、その外形がプラスチックや金属などの素材でできているか、またはその両方であれば、超音波表面弾性波方式のタッチパネルの表面上に載置しても、当該表面を伝播する超音波をあまり吸収しないので、タッチパネルへの入力に悪影響を与えない。そのため、複数の物理タグを載置とタッチパネルへの入力を両立することができる。

これに変えて、図２により説明したように、例えば、タッチパネル６１としては、電磁授受作用方式のタッチパネル６２を採用することもできる。この場合には、利用者は、コイルとコンデンサによるＬＣ共振回路３２を備えた指キャップ３１または手袋を装着することによりでタッチパネル６２への入力を行う。この場合は、物理タグ２０，２１，２２，２８が、共振回路を備えていないため、タッチパネル表面上に物理タグを載置してもタッチパネルへの入力に悪影響を与えない。そのため、上記と同様、複数の物理タグの載置とタッチパネルへの入力が両立できる。

このように、物理タグの操作とタッチパネル操作が両立できると、後述するように、タグジェスチャとタッチパネルの両方を用いた操作技法、つまり、片手でタッチパネルの入力をしつつ、もう片方の手で物理タグを動かすことにより、コンピュータを操作するといったことが実現できる。

さらに、例えば、字や絵を書く際の利用者の利き手が右手であった場合、図１を参照すると、物理タグ２１を把持し持ち上げた左手５０と、スケッチ４０を描画している右手５１のように、左右の非対称な両手操作を自然と導出することができる。描画のためのペンの持ち替えもないため、両手で物理タグを操作する状況と、片手で物理タグを操作しもう片手でタッチパネルを入力する状況との切り替えも迅速に行うことができる。

ここで、図１に示されるＧＵＩオブジェクト１１は（または後述する図１０および図１１に示すウィンドウ２００，２０１などＧＵＩオブジェクトは）、それに対応付けられた物理タグが移動中であるため、表示装置６０の表示画面上においてはそれらＧＵＩオブジェクト１１は小さく表示されている。これは、ビューマネージメント機能の１つとも言える。把持して移動することで他のＧＵＩオブジェクトを隠してしまう可能性を低減している。ＧＵＩオブジェクトを小さく表示するためには、例えば、アイコン化する、サムネイル化するなどの処理を行うようにしてもよい。もちろん、ＧＵＩオブジェクト自体を小さく表示するだけではなく、大きさを変えずに半透明化することにより他のオブジェクトを隠さないようにすることもできる。また、このような表示形態の変化は、システムが物理タグの移動を認識していることを利用者に伝えることができるため、視覚的フィードバック機能としても働く。

また、物理タグ２０，２１，２２，２８はバイブレータを備えることもできる。そのような物理タグは、例えば、電波を用いた無線通信により、物理タグ自体の識別コードだけではなく、バイブレータのオン・オフや振動パターン情報を受信し、バイブレータの制御を行うことができる。そのような物理タグを、表示装置上または周辺に載置された状態でバイブレータにより振動させると、その物理タグの存在感を増強することができる。または、利用者が把持した状態で物理タグを振動させることで、物理タグに対応する情報の状態が変化したことを、ユーザに通知することができる。例えば、上記のように、把持して持ち上げた状態がシステムにより認識されたことを、ＧＵＩオブジェクトを小さく表示することで表現するだけ、振動もさせることで、利用者は視覚的フィードバックと触覚的フィードバックを同時に得て、よりシステム状態を把握しやすいユーザ・インタフェースを提供することができる。

図５（ａ）により説明したように、物理タグ２６は、表示装置との設置面（下部）に、プッシュ式のスイッチを備えたものとすることができる。ここに設けられた物理タグのスイッチは、もちろん、接触感知式、赤外線感応方式などでも構わない。物理タグ２０，２１，２２，２８は、識別コードを受信または送信したり、超音波や光を発生したりするために内部に電池を備え、常にその電力を消費している。スイッチを設けた物理タグ２６を表示装置上または周辺に載置すると、スイッチが反応するため、物理タグ２６の電源をオフにしたり、省電力モードにしたりすることができる。これにより、物理タグ２６の電力消費を削減することができる。

物理タグ２６が表示装置６０上に載置されている間は、利用者の手や別の物理タグなどが、その載置された物理タグと物理タグ計測装置の間に遮蔽物として侵入し、計測が正確に行えなくなる場合がある。しかし、上記のように、電源をオフにした状態や省電力モードにした状態では、物理タグ計測装置７０や計算機システム８０側では、物理タグ２６の位置を更新しないようにすることができる。これにより、表示装置の上に載置されている物理タグ２６の位置情報が乱されることがなくなる。もちろん、再び物理タグ２６を把持して動かせば、電源がオンとされた状態となり、この物理タグ２６の３次元位置計測が行われる。

また、図５（ｂ）により説明したように、物理タグ２７は、下部に太陽電池が備えられるように構成されても良い。物理タグ２７は、内部に駆動用の電池としてニッケル水素電池やリチウムイオン電池などの二次電池を有するが、このような二次電池と太陽電池とを組み合わせたものとされる。物理タグ２７を表示装置の表示画面上に載置すると、表示装置の表示画面上の発光により得られる光エネルギーを太陽電池により電気エネルギーに変換して二次電池に充電する。もちろん、太陽電池により発電した電気は、超音波発信やＬＥＤ点灯などで直接消費してもよい。

この場合において、物理タグ２７の太陽電池による発電量を増加させるため、例えば、図５（ｃ）に示すように、表示装置の表示画面においては、物理タグ２７が載置される位置の計測値とその周辺の輝度を高くして、高輝度領域３００として表示される。１つの物理タグに、物理タグ２６が備えているスイッチと物理タグ２７が備えている太陽電池の両方を備えることも可能である。その場合、その物理タグを表示装置上に載置し太陽電池で充電している間は、その物理タグの位置情報を更新しないという処理も可能となる。

前述したように、各物理タグ２０，２１，２２，２８は、ウィンドウやダイアログボックス、クリップボード、コントロールパネルなどのＧＵＩオブジェクト１０，１１，１２，１８と対応付けることができ、対応付けられたＧＵＩオブジェクトを物理タグに近接した状態で表示装置に表示することができる。このため、従来のＧＵＩと同様のインタフェース設計に倣ったタンジブル・ユーザ・インタフェース（ＴＵＩ）を実現することができるものとなる。これにより、利用者はこれまでのＧＵＩの知識を活用することができ、さらに両手による自然な操作や、実物体のアフォーダンスなどのＴＵＩの利点をそこに付加することができる。

図６は、ＧＵＩオブジェクトと物理タグとの対応付けを行う対応登録機能を説明する図である。この例では、物理タグに対応付けられていないＧＵＩオブジェクト１０１をタッチパネル上で利用者の右手５３の指先で押さえた状態（図左）である。この状態で、ＧＵＩオブジェクト１０１に対応付けられていない物理タグ１２１を利用者の左手５４により把持してＧＵＩオブジェクト１０１の上に載置する（図中）。これにより、この物理タグ１２１とＧＵＩオブジェクト１０１を対応付けて、この対応付けをシステムに登録する。この結果、この物理タグ１２１とＧＵＩオブジェクト１０１を対応付けられたものとなる（図右）。これは、タッチスクリーンとタグジェスチャの両方を用いた両手操作の一例でもある。

図７は、ＧＵＩオブジェクトと物理タグとの対応付けを解除する対応解除機能を説明する図である。図７の操作例は、図６の操作とは逆の操作であるＧＵＩオブジェクトと物理タグとの対応付けを解除する対応解除機能の一実施例を示している。この例では、まず、物理タグ１２２と対応づけられているＧＵＩオブジェクト１０２をタッチパネル上で利用者の右手５３の指先で押さえ（図左）、利用者の左手５４の指先で物理タグ１２２を把持し持ち上げる（図中）ことで対応付けを解除する。これにより、物理タグ１２２とＧＵＩオブジェクト１０２を対応付けは解除されたものとなる（図右）。この場合に、物理タグ１２２をどの程度持ち上げるかは利用者の嗜好に応じて設定することができる。例えば、約２０ｃｍ以上、上に１秒以上持ち上げた場合に対応付けを解除するように設定する。

図６及び図７により説明した操作例は、紙を壁に貼り付けたり壁から剥がすために、その紙をしっかり押さえて、ピンを刺したり抜いたりする動作をメタファとした操作方法となっており、非常に直感的な操作感が得られる。また、ＧＵＩオブジェクトの個数は、物理的な制約は特になく、オペレーションシステムや計算機システムの能力に依存するだけであるが、物理タグの個数は、無限に増やすわけにはいかない。しかし、このような対応登録・解除機能を用いることで、同じタグを違うＧＵＩオブジェクトを操作するときに再利用することができる。

図８は、ＧＵＩオブジェクトピックアップ機能を説明する図である。図８により、ＧＵＩオブジェクトピックアップ機能を説明すると、図の左に示すように、複数の物理タグ１２３，１２４に対応付けられたＧＵＩオブジェクト１０３，１０４が重なり合っている状態においては、利用者は、最上位に表示したいと希望するＧＵＩオブジェクト１０３に対応付けられた物理タグ１２３を持ち上げる（図中）ことで、そのＧＵＩオブジェクト１０３を最上位に表示することができる（図右）。引っ張りあげる動作のメタファを用いており、やはり、直感的に理解しやすい操作技法である。

このように、物理タグの三次元位置の移動軌跡のデータを解析して、物理タグが実際どの程度、表示装置表面を離れたら、システム中で離れたと認識するかについては、利用者の嗜好に応じて変更することができる。例えば、表面から８−１０ｃｍ程度離れた状態が１秒以上続いたら、システムはその物理タグが表示装置表面から持ち上げられたと認識して、上記のような対応登録、対応解除、ＧＵＩオブジェクトピックアップなどの各機能などを実行するように構成する。

図９は、各ＧＵＩオブジェクトが重なり合って見づらくなる状態を回避するためのビューマネージメント機能を説明する図である。複数の物理タグが近接した状態でいかなる処置も施さない場合、各物理タグに対応付けられたＧＵＩオブジェクト同士が重なり合って見づらい状態となる。図９（ａ）は、このような状態を示している。３つの物理タグが近接した状態で、その対応の３つのウィンドウ２１１、ウィンドウ２１２、およびウィンドウ２１３が重なり合った状態となって、隠れた部分が生じている状態となっている。このような問題を解決するために、図９の（ｂ），（ｃ），（ｄ）に示されるような３種類のつビューマネージメント機能が提供される。これにより、各ＧＵＩオブジェクトのウィンドウ２１１〜２１３は、重なり合って見づらくなる状態が回避される。

図９の（ｂ）に示すように、第１のビューマネージメント機能（図右上）を用いると、各ＧＵＩオブジェクトのウィンドウ２１１〜２１３が重なり合わないように再配置され、なおかつ、各ＧＵＩオブジェクトが対応付けられている物理タグに近接している状態を保って配置されるものとなる。この第１のビューマネージメント機能のＧＵＩオブジェクトの再配置方法は、例えば、全物理タグの計測位置の重心に弾性のある紐やバネで各ＧＵＩオブジェクトが繋がれていると仮定し、各ＧＵＩオブジェクトが同極の磁石のように振舞って反発するようにシミュレーションすることで実現することができる。

また、図９の（ｃ）に示すように、第２のビューマネージメント機能（図右下）を用いることができる。この第２のビューマネージメント機能は、例えば、各ＧＵＩオブジェクトのサイズ、ＧＵＩオブジェクトの数、表示装置の表示範囲の制約から、第１のビューマネージメント機能を用いても、適切に各ＧＵＩオブジェクトを配置できない場合に、物理タグとＧＵＩオブジェクトの関係を直線又は曲線の表示により示して再配置する。第２のビューマネージメント機能では、各ＧＵＩオブジェクトが重なり合わないようにし、なおかつ各ＧＵＩオブジェクトとそれらに対応付けられている物理タグとの間の対応関係を線や円などの図形によりに表示する。また、利用者は、図９の（ｄ）に示すように、第３のビューマネージメント機能（図左下）を用いることができる。第３のビューマネージメント機能は、それぞれのＧＵＩオブジェクトが重なり合わないようにする再配置が不可能な場合に、それぞれのＧＵＩオブジェクトの描画の透明度を変化させて、それぞれのＧＵＩオブジェクトのウィンドウ２１１〜２１３の内容を表示する。これにより、利用者は重なり合っていても、かくＧＵＩオブジェクトの内容を確認できる。

図１０は、コンピュータ操作における基本的な操作の１つであるデータのコピーのためのタグジェスチャを説明する図である。ＴＵＩの一実施形態を示している。この例では、まず、クリップボード２００に対応付けられた物理タグを把持する（図左）。次に、その物理タグをあまり持ち上げずに水平に動かし、ウィンドウ２０１に対応付けられた物理タグに近づけ、十分に近づいた状態になったとき、ウィンドウ２０１の内容をクリップボード２００にコピーする処理を実行する（図中）。この場合において、ウィンドウ２０１の内容をすべてコピーする処理を実行してもよいし、ウィンドウ２０１に表示された内容の一部をタッチパネル上で囲い範囲指定をして部分的にコピーする処理を実行するようにしても良い。

図１１は、これもコンピュータ操作における基本的な操作の１つであるデータのペーストのためのタグジェスチャを説明する図である。ＴＵＩの一実施形態を示している。この例では、まず、クリップボード２００に対応付けられた物理タグを把持する。次に、その物理タグを持ち上げてウィンドウ２０１に対応付けられた物理タグに近づけるように動かす（図左）。そして、十分に近づいた状態になったとき、ウィンドウ２０１にクリップボード２００の内容をペーストする処理を実行する（図中）。この際、クリップボード２００の内容をすべてペーストする処理を実行してもよいし、クリップボード２００に蓄えられている内容の一部をタッチパネル上で選択し部分的にペーストする処理を実行するようにしてもよい。例えば、図１のＧＵＩオブジェクト１０がこのクリップボード２００である場合、利用者は左手５０と右手５１の両手の操作によりクリップボードの内容にスケッチを追加してから他のＧＵＩオブジェクトにペーストするといった操作技法も容易に発想することができる。

ここで、コピーとペーストの違いは持ち上げ方にあるが、どの程度持ち上げたらペーストになるかは利用者の嗜好に応じて設定できるようにしてある。例えば、表示装置６０の表示画面の表面から８−１０ｃｍ程度以上持ち上げながら物理タグを動かしている状態が１秒以上続いたら、ペーストをする状態に移行するということにしてもよい。このようなＧＵＩオブジェクトに対応づけられた物理タグを動かすことによるコピーの操作またペーストの操作は、連続して行うこともできる。また、複数の物理タグを集めておき、これらに対して操作することにより、複数のＧＵＩオブジェクトに対する操作を同時に行うことができる。これらについて説明する。

図１２は、コピーを連続して実行している例を説明する図であり、図１３は、ペーストを連続して実行している例を説明する図である。また、図１４は、グループコピー機能を説明する図であり、図１５は、グループペースト機能を説明する図である。このように、コピーやペーストを連続して実行することができ、迅速にコピーやペーストを行うことができる。

図１４および図１５に示すように、グループコピー、グループペースト機能では、複数のコピー元、またはペースト先のウィンドウ（ＧＵＩオブジェクト）を片手または両手で一箇所に集めて載置し、それらに対して、図１０のコピー操作および図１１のペースト操作と同様に、コピー・ペーストのタグジェスチャを施すことで、複数のウィンドウに対するコピー、およびペーストを実現している。

図１４を参照して説明する。グループコピー機能を実行する場合、まず、ＧＵＩオブジェクトのウィンドウ２１１〜２１３に対応づけられている物理タグを１箇所に集める（図左）。次に、クリップボードウィンドウ２００に対応づけられている物理タグを持ち上げて高さをあまり変えずに、１箇所に集められた複数の物理タグに近づける（図中）。クリップボードウィンドウ２００に対応づけられて物理タグとウィンドウ２１１〜２１３に対応づけられた物理タグが十分接近すると、クリップボードウィンドウ２００に、ウィンドウ２１１〜２１３の内容が同時にコピーされる（図右）。

図１５を参照して説明する。グループペースト機能を実行する場合には、まず、ＧＵＩオブジェクトのウィンドウ２１１〜２１３に対応づけられている物理タグを１箇所に集め（図左）、次に、クリップボードウィンドウ２００に対応づけられている物理タグを持ち上げて、１箇所に集められた複数の物理タグに近づける（図中）。クリップボードウィンドウ２００に対応づけられて物理タグとウィンドウ２１１〜２１３に対応づけられた物理タグが十分接近すると、クリップボードウィンドウ２００の内容が、ウィンドウ２１１〜２１３に同時にペーストされる（図右）。

このように本発明による情報入出力システムを用いることにより、例えば、一人または少数の熟練指示者と多数の現場作業者との間の遠隔作業支援や、一人または少数の指導者と多数の生徒との間の遠隔教育支援などといった遠隔協調作業支援のための直接的で直感的なユーザ・インタフェース環境を提供することができる。具体的には、一人の熟練指示者が、本発明の情報入出力システムを用いると、複数の実物体を複数の現場作業者に見立てたり、現場の地図や作業マニュアルなどのツールを別の実物体に対応させたりすることができる。さらに、現場の移動経路の指示を地図上への描画により表現したり、現場から送られてくる映像に描画を付加して送り返したりすることでわかりやすい指示を実現することができる。

また、本発明による情報入出力システムは、従来のＧＵＩにＴＵＩの要素を付加することができるため、利用者はこれまでのＧＵＩの知識を活用することができ、さらに両手による自然な操作や、実物体のアフォーダンスなどのＴＵＩの利点をそこに付加することができる。つまり、本発明の情報入出力システムを用いれば、ＧＵＩを用いたさまざまなアプリケーションをより直感的で直接的に操作することができるように改良することができる。

Claims (3)

1. 複数の物理タグと、
   前記物理タグを載置した状態であっても入力操作が可能なタッチパネルを備えた表示装置と、
   前記表示装置の表面上に載置された状態の前記物理タグまたは利用者により把持され前記表示装置の表面を離れた状態の前記物理タグの識別情報及び三次元位置情報を取得し、前記物理タグの移動軌跡情報及び停止位置情報を取得する物理タグ計測装置と、
   前記物理タグの移動軌跡、複数の物理タグの位置関係、タッチパネルからの入力操作による入力データ、またはそれらの組み合わせに応じて指示される情報処理を実行する情報処理手段と、
   前記情報処理手段による処理結果を前記表示装置に表示する表示処理手段と
   を具備する情報入出力システムであり、
   前記表示装置の表示画面上にウィンドウ、ダイアログボックス、クリップボード、コントロールパネルなどのＧＵＩオブジェクトが表示された場合に、
   前記情報処理手段により、前記物理タグは前記ＧＵＩオブジェクトと対応付けられ、物理タグと対応づけられた前記ＧＵＩオブジェクトは、当該物理タグの載置位置に近接して前記表示装置の表示画面上に表示され、
   前記ＧＵＩオブジェクトと前記物理タグとの対応付けは、物理タグに対応付けられていないＧＵＩオブジェクトを前記タッチパネルの操作により押さえた状態で、更にＧＵＩオブジェクトに対応付けられていない物理タグを当該ＧＵＩオブジェクトの上に載置する操作により、対応付けを行い、その対応を登録し、
   前記ＧＵＩオブジェクトと前記物理タグとの対応付けの解除は、対応付けを解除するＧＵＩオブジェクトを前記タッチパネルの操作により押さえた状態で、更に当該ＧＵＩオブジェクトに対応付けられている物理タグを把持し持ち上げる操作により、当該対応付けを解除し、その対応の登録を解除し、
   前記物理タグには下部にスイッチが備えられ、
   前記物理タグが、前記表示装置上または周辺に載置された状態で前記スイッチにより電源オフ状態または省電力モードとする
   ことを特徴とする情報入出力システム。
2. 複数の物理タグと、
   前記物理タグを載置した状態であっても入力操作が可能なタッチパネルを備えた表示装置と、
   前記表示装置の表面上に載置された状態の前記物理タグまたは利用者により把持され前記表示装置の表面を離れた状態の前記物理タグの識別情報及び三次元位置情報を取得し、前記物理タグの移動軌跡情報及び停止位置情報を取得する物理タグ計測装置と、
   前記物理タグの移動軌跡、複数の物理タグの位置関係、タッチパネルからの入力操作による入力データ、またはそれらの組み合わせに応じて指示される情報処理を実行する情報処理手段と、
   前記情報処理手段による処理結果を前記表示装置に表示する表示処理手段と
   を具備する情報入出力システムであり、
   前記表示装置の表示画面上にウィンドウ、ダイアログボックス、クリップボード、コントロールパネルなどのＧＵＩオブジェクトが表示された場合に、
   前記情報処理手段により、前記物理タグは前記ＧＵＩオブジェクトと対応付けられ、物理タグと対応づけられた前記ＧＵＩオブジェクトは、当該物理タグの載置位置に近接して前記表示装置の表示画面上に表示され、
   前記ＧＵＩオブジェクトと前記物理タグとの対応付けは、物理タグに対応付けられていないＧＵＩオブジェクトを前記タッチパネルの操作により押さえた状態で、更にＧＵＩオブジェクトに対応付けられていない物理タグを当該ＧＵＩオブジェクトの上に載置する操作により、対応付けを行い、その対応を登録し、
   前記ＧＵＩオブジェクトと前記物理タグとの対応付けの解除は、対応付けを解除するＧＵＩオブジェクトを前記タッチパネルの操作により押さえた状態で、更に当該ＧＵＩオブジェクトに対応付けられている物理タグを把持し持ち上げる操作により、当該対応付けを解除し、その対応の登録を解除し、
   前記物理タグには下部に太陽電池が備えられ、
   前記物理タグが、前記表示装置上に載置された状態で当該表示装置の発光により得られる光エネルギーを太陽電池により電気に変換して利用または当該物理タグに設けられた二次電池に充電する
   ことを特徴とする情報入出力システム。
3. 請求項２に記載の情報入出力システムにおいて、
   前記表示装置は、当該表示装置上に載置された物理タグの計測位置とその周辺の表示領域の輝度を高くし、物理タグに設けられた太陽電池による発電量を増加させる
   ことを特徴とする情報入出力システム。