JP4332964B2 - 情報入出力システム及び情報入出力方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、コンピュータに対してオブジェクトの操作やコマンド等の入力を行うためのユーザ・インターフェース環境の提案に係り、特に、コンピュータに対してユーザが直感的で分かり易くオブジェクト操作やコマンド入力を行うことができるユーザ・インターフェース環境の提案に関する。
【０００２】
更に詳しくは、本発明は、複数のコンピュータ間の連携的な作業を直感的で分かり易く表現することができるユーザ・インターフェース環境の提案に係り、特に、それぞれのコンピュータ上のデジタル空間と物理的な実世界とが深く融合し、コンピュータにネイティブな各デスクトップ画面が実世界にまで拡張された情報空間上において、各ユーザの個別作業やユーザ間の連携作業を直感的で分かり易く表現することができるユーザ・インターフェース環境の提案に関する。
【０００３】
【従来の技術】
昨今の技術革新に伴い、ワークステーションやパーソナル・コンピュータ（ＰＣ）と呼ばれる、比較的小型且つ低価格で、高付加価値化・高機能化された汎用コンピュータ・システムが開発・市販され、大学その他の研究機関や企業その他のオフィス、さらには一般家庭内の日常生活にも深く浸透している。
【０００４】
コンピュータ技術における最近の傾向の１つは、小型化である。特に最近では、半導体技術の向上に伴なうＬＳＩ（ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）チップの小型化や、プロセッサの処理能力の目覚しい向上などとも相俟って、小型且つ軽量で可搬性に富むポータブル（携帯型）・コンピュータ（若しくはモバイル・コンピュータ）が広汎に普及してきている。
【０００５】
携帯型コンピュータの一例は、いわゆる「ノートブック・コンピュータ」であり、他の例は「ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｃｅ）」と呼ばれるさらに小型でほとんど掌（パームトップ）サイズのコンピュータである。例えば、ノートブック・コンピュータは、キーボードを上面に持つシステム本体と、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）スクリーンを内面に持つ蓋体とが回動自在に連結されてなる、いわゆる「クラム・シェル」構造を有する。
【０００６】
これら携帯型のコンピュータは、モバイル環境、すなわち屋外や移動先での携行的・可搬的なシステム稼動が可能である。このような携行性に優れたコンピュータの出現により、コンピュータ・ユーザの日常生活の各場面においてコンピュータが登場し、業務の遂行を支援する機会がますます増えてきている。例えば、会議室やプレゼンテーション・ルームなどに参加者がノートブック・コンピュータやＰＤＡを持ち込むことは日常的な光景になってきている。
【０００７】
最近のノートブック・コンピュータの計算機資源（ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）の演算能力やハード・ディスク容量など）は目覚しく向上し、デスクトップ・コンピュータのそれに匹敵する強力なものである。例えば、ノートブック・コンピュータは、個人が所有する大量の文書データなどのファイルを保持するに充分なハード・ディスク容量があり（数ＧＢ〜数十ＧＢ：例えば過去に行った全てのプレゼンテーション資料を格納することも可能である）、会議の進行次第で自由に情報をローカル・ディスクから引き出して、他の参加者との間で情報を共有・交換・配布することができる。このような場合、ローカル・ディスクからフロッピー・ディスクへデータをコピーしたり、さらに、フロッピー・ディスクから移動先のローカル・ディスクにコピーするという手間が省ける。
【０００８】
コンピュータ・システムは、一般に、ユーザ入力コマンドに応答して駆動し、処理結果をディスプレイ・スクリーン上に表示することによって、「インタラクティブ」、すなわち対話的な処理環境を提供している。最近では、ＤＯＳ（Ｄｉｓｋ Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）シェル画面を代表とする旧来のキャラクタ・ベースのユーザ入力環境すなわち「ＣＵＩ（Ｃｈａｒａｃｔｅｒ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）」から、グラフィック・ベースのユーザ入力を実現した「ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）」への移行が挙げられる。ＧＵＩ環境下では、コンピュータ・システムがシミュレートされたデスクトップと無数のアイコンがディスプレイ・スクリーンに用意される。
【０００９】
ＧＵＩが提供されたデスクトップ上では、ファイル等のコンピュータ・システム上で取り扱われる全ての資源オブジェクトはアイコンとして表現される。また、ユーザは、ディスプレイ・スクリーン上のプログラム、データ、フォルダ、デバイスなどを象徴するアイコンに対してマウスなどを介して直接操作を印加する（例えば、クリックやドラッグ・アンド・ドロップ）ことで、直感的なコマンド入力を行うことができる。もはやユーザは、特定のコマンドの名称やコマンド操作方法等を特に習得したり、煩雑なキー入力を行わなくとも、コンピュータを充分に操作することができる。
【００１０】
また、コンピュータ技術における他の傾向は相互接続である。コンピュータ間の相互接続は、例えば、シリアル・ポートやパラレル・ポートなどのローカルなインターフェース経由で行う以外に、ネットワーク・インターフェース・カード（ＮＩＣ）経由でネットワーク接続することで実現する。ネットワークは、単一の構内に限定的に敷設されたＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）や、ＬＡＮ同士を専用線等で相互接続してなるＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ネットワーク同士が相互接続を繰り返し世界規模の巨大ネットワークに成長したインターネットなどさまざまである。
【００１１】
コンピュータ同士を相互接続する意義は、お互いが持つコンピュータ資源の共有、情報の共有や流通・配布の効率化、複数のコンピュータにまたがった協働的な作業の実現などにある。例えば、あるデジタル・オブジェクトに対する処理を、複数のコンピュータ間での連携的若しくは協調的な動作によって、効率的に実行することもできよう。
【００１２】
特に最近では、Ｅｔｈｅｒｎｅｔを無線化した無線ＬＡＮやＢｌｕｅＴｏｏｔｈ^[1]などの近接通信システムの登場により、ユーザは比較的容易にコンピュータをネットワーク接続できるようになってきた。建物内に備え付けられた種々のコンピュータやその周辺機器類（プリンタなど）のほとんどは、当然の如くネットワーク接続され、複数のユーザ間で共用される。また、各ユーザは自分の携帯型コンピュータを携行し、行く先々の場所で気軽にネットワーク接続することも可能になってきている。
【００１３】
分散コンピューティング環境においては、ネットワーク接続された各コンピュータはトランスペアレントな状態であり、アプリケーションからはローカル・ディスクとリモート・ディスクを区別せずにコンピュータ操作を行うことができる。すなわち、ユーザはプログラムやデータ等の資源オブジェクトの所在を意識する必要はなくなり、コンピュータ間でシームレスにデータ交換などのやりとりを行うことができる。
【００１４】
ユーザは、コンピュータをネットワーク接続するまではあまり意識せず（すなわち簡易に）に行うことができる。ところが、ネットワーク上でデータ転送先となるコンピュータや周辺機器（すなわちターゲット）を指定しようとすると、すぐ目の前にある相手であっても、その名前（若しくはＩＤやアドレスなど）を知る必要がある。言い換えれば、トランスペアレントな分散コンピューティング環境下であっても、ユーザ操作に関して言えば、間接的な形式でしかコンピュータ間の連携がなされておらず、直感性にやや欠ける。
【００１５】
例えば、隣り合った２以上のコンピュータ間でオブジェクトを移動させたい場合、現状のＧＵＩ環境下では、ネットワーク接続された機器の一覧をエクスプローラ画面上（周知）で表示し、該当するコンピュータを模したアイコンを探し出してから「ドラッグ・アンド・ドロップ」操作を行うなどの手間を要する。
【００１６】
このようなユーザ入力作業上の問題を解決するための１つの手法として、実世界指向のユーザ・インターフェースが挙げられる。これは、本来はコンピュータのディスプレイ・スクリーン上に体現される「デジタル空間」に限定されていたユーザ操作範囲としての情報空間を、実世界の空間にまで連続的に拡張する技術のことを意味する。実世界指向インターフェースによれば、コンピュータ・スクリーンだけでなく、コンピュータが設置されたテーブル表面や、部屋の壁面なども拡張されたディスプレイとして機能する。情報空間は、スタンドアロン・コンピュータのデジタル空間という垣根を越えて、コンピュータが設置された部屋全体に拡張され、デジタル・オブジェクトと実世界上の物理オブジェクトとを統合的に取り扱うことができる。
【００１７】
例えば、Ｐｉｃｋ−ａｎｄ−Ｄｒｏｐ^[2]は、ＧＵＩ環境下で定着しているユーザ操作「ドラッグ・アンド・ドロップ」を拡張したものであり、複数のコンピュータ間におけるデータ等のオブジェクトの移動を実世界での直感的な動作にマッピングした、先進的なインタラクション・テクニックである。
【００１８】
Ｐｉｃｋ−ａｎｄ−Ｄｒｏｐは、２以上のコンピュータの各々が持つネイティブなデスクトップ間で連携を図り、オブジェクトについてのシームレスなドラッグ・アンド・ドロップ操作を提供することができる。例えば、トラックボールやスティックなどをユーザ入力装置とするコンピュータのデスクトップ上において、あるオブジェクトのドラッグ操作した結果、ポインタが画面の端に到達し、さらに画面を越えてしまった場合には、隣接する他のコンピュータのデスクトップ上までドラッグ操作が継承され、該オブジェクトをドラッグしたままのポインタが出現する。
【００１９】
一方のコンピュータ・デスクトップ上では、ポインタが画面の端に到達した時点で、オブジェクトをドラッグしたままポインタは消滅するが、この処理をオブジェクトの”Ｐｉｃｋ”（デジタル・オブジェクトの拾い上げ）と呼ぶ。また、他方のコンピュータ・デスクトップ上において、該オブジェクトのドラッグ状態を継承したポインタが出現する処理のことを、オブジェクトの”Ｄｒｏｐ”と呼ぶ。Ｐｉｃｋ−ａｎｄ−Ｄｒｏｐを実行する両コンピュータ間では、バックグラウンドにおいてオブジェクトのエンティティ（例えばデータ・ファイルなど）がネットワーク転送されるので、ドラッグ操作の継承はオブジェクトの実体の移動を伴なう。図５１には、隣接するノートブック・コンピュータ間でデジタル・オブジェクトをＰｉｃｋ−ａｎｄ−Ｄｒｏｐする様子を描写している。
【００２０】
なお、Ｐｉｃｋ−ａｎｄ−Ｄｒｏｐ操作に関しては、本出願人に既に譲渡されている特開平１１−５３２３６号公報にも開示されている。より詳しくは、同明細書の［００５２］〜［００５９］、及び、同出願に添付された図６〜図９を参照されたい。
【００２１】
また、本出願人に既に譲渡されている特願平１１−３１６４６１号明細書に記載される情報入出力システムは、ＧＵＩに代表されるコンピュータの作業空間すなわちデスクトップを実世界に拡張するとともに、コンピュータに対してユーザが直感的で分かり易くコマンドを入力することができる実世界指向のユーザ・インターフェースを提供するものである。
【００２２】
同明細書に記載の情報入出力システムは、実空間に設置されたテーブル型や壁面型などの環境型コンピュータ群と、各ユーザが持ち運ぶ携帯型コンピュータ群との組合せによって動的に構成される情報空間すなわち作業環境を提供することができる。
【００２３】
該情報入出力システムには、例えばカメラ・ベースのオブジェクト認識システムが導入される。コンピュータ・ディスプレイ画面を、投影機によってテーブルや壁面などの表面に投影する。さらに、投影画像すなわちコンピュータの論理空間上のオブジェクトと、実世界（すなわちテーブル上などに実在する）オブジェクトの双方を、カメラの撮像画像を基に認識し、且つ、これらオブジェクトの動きを追跡することができる。
【００２４】
このような情報環境下では、会議室やプレゼンテーション・ルームなどにおけるテーブルや壁面がコンピュータライズされ、携帯型コンピュータを空間的に拡張する作業環境（すなわち「拡張デスクトップ」）として機能する。また、実世界のオブジェクト（紙文書、カード、ビデオ・テープなど）を、マーカー認識などによって特定し、それらの間での自由な情報交換が可能となる。
【００２５】
また、ユーザは、自分が持ち運んだ携帯型コンピュータを、既に幾つかのコンピュータがインストールされている情報空間の中に、容易に統合して、他のコンピュータとの連携的な作業を行うことができる。
【００２６】
ユーザは、単一のコンピュータという閉じた作業空間の境界を超えて機能する直接操作技法によって、個々の機器や物体のアドレスやＩＤを意識することなく、実世界における各オブジェクトの空間的な位置関係を利用して情報を操作することができる。
【００２７】
同明細書で開示される情報空間上では、あるユーザのコンピュータ・ディスプレイすなわちデジタル空間上におけるオブジェクトのドラッグ操作をそのまま実世界上の空間に継承する「ハイパードラッグ」（Ｈｙｐｅｒｄｒａｇｇｉｎｇ）^[3]操作が可能となる。すなわち、あるユーザのコンピュータ上におけるマウス・カーソルのドラッグ操作を、そのまま、そのコンピュータが設置されている平面（例えばテーブル表面）で継承し（図５２を参照のこと）、さらには、ドラッグ可能な平面若しくは空間をその作業場の壁へと拡張させることができる（図５３を参照のこと）。言い換えれば、コンピュータが設置された作業場空間を、あたかもコンピュータ上のデスクトップの一部であるかのように、オブジェクトの操作を行うことができる。
【００２８】
ハイパードラッグによれば、実世界上におけるオブジェクトの物理的な位置関係（例えば「あるオブジェクトがコンピュータの傍にある」など）の直感的な知識のみを以って、ユーザはオブジェクトに対する対話操作を実現することができる。また、フロントエンドにおけるオブジェクトの対話操作のバックグラウンドでは、関連するコンピュータ同士における演算処理（例えばネットワーク転送など）によって、文書ファイルなどデジタル・オブジェクトのエンティティの移動が実行される。
【００２９】
また、ハイパードラッグによれば、通常のマウス操作（ドラッグ・アンド・ドロップ）を習得することと、ターゲット機器の物理的な場所（例えばテーブル上に載置された位置）を知るだけで、実世界上で情報を移動させることができる。すなわち、隣り合う携帯型コンピュータ間でデジタル・オブジェクトを移動・交換するような場合、ハイパードラッグを用いれば（例えば図５４を参照のこと）、ユーザはネットワークの設定や接続等の作業や、ターゲット機器のアドレスを知る必要など全くない。
【００３０】
さらに、同明細書に記載の情報入出力システムによれば、物理的な実空間とコンピュータ上の論理空間（デジタル空間）との連携が行われる。したがって、コンピュータ・データと物理的オブジェクトとを関連付けることができる。例えば、任意の文書フォルダを、テーブル上に置かれたＶＣＲテープ・カートリッジなどの物理オブジェクトに添付することができる（例えば、同明細書に添付された図１２〜図１４を参照のこと）。
【００３１】
また、プリンタやディスプレイ、スキャナなどのコンピュータ周辺機器もハイパードラッグ機能をサポートすることができる。例えば、情報空間にインストールされたプリンタ上にデジタル・オブジェクトをハイパードラッグ及びドロップすることにより、当該オブジェクトのプリント出力が開始される。
【００３２】
物理的な実空間とコンピュータ上のデジタル空間との融合をさらに深めることによって、マウスやキーボードなどのコンピュータにネイティブのユーザ入力装置だけでなく、実世界上に散在する各種の物理オブジェクトを介してユーザ・コマンドをコンピュータに入力したり、あるいは、物理オブジェクトを介してデジタル・オブジェクトを引き出すことが可能になるであろう。この結果、コンピュータ操作はさらに直感的で理解容易なものとなり、且つ、ユーザにとって魅力的になることが期待される。
【００３３】
【発明が解決しようとする課題】
本発明の目的は、コンピュータの作業空間を実世界に拡張するとともに、コンピュータに対してユーザが直感的で分かり易くコマンドを入力することができる、優れたユーザ・インターフェース環境を提供することにある。
【００３４】
本発明の更なる目的は、物理的な実空間とコンピュータ上の論理空間（デジタル空間）とが効果的に連携された、優れたユーザ・インターフェース環境を提供することにある。
【００３５】
本発明の更なる目的は、物理的な実空間とコンピュータ上の論理空間（デジタル空間）とが親密に連携され、実世界上の物理オブジェクトを介してデジタル・オブジェクトの操作を行うことができる、優れたユーザ・インターフェース環境を提供することにある。
【００３６】
本発明の更なる目的は、物理的な実空間とコンピュータ上のデジタル空間との融合をさらに深めることによって、マウスやキーボードなどのコンピュータにネイティブのユーザ入力装置だけでなく、実世界上に散在する各種の物理オブジェクトを介してユーザ・コマンドをコンピュータに入力したり、あるいは、物理オブジェクトを介してデジタル・オブジェクトを引き出すことができる、優れたユーザ・インターフェース環境を提供することにある。
【００３７】
【課題を解決するための手段】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、コンピュータのデジタル空間が実世界に拡張されてなる情報空間上でオブジェクトに関するユーザ操作を行うための情報入出力システムであって、
前記情報空間に配設された１以上の作業面と、
前記作業面上に画像を表示する表示手段と、
前記作業面上を撮像する撮像手段と、
前記情報空間に固定的に設置された環境型コンピュータと、
前記作業面上に載置され視覚的に識別可能なビジュアル・マーカーを表面に含んだ１以上の物理オブジェクトと、
を備え、
前記環境型コンピュータは、前記撮像手段による撮像画像に基づいて、
ビジュアル・マーカーから各物理オブジェクトの識別情報及び位置情報を認識する処理と、
物理オブジェクト表面上の任意の部位にデジタル・オブジェクトにドロップされたことを認識する処理と、
該物理オブジェクト表面上のデジタル・オブジェクトがドロップされた場所に該デジタル・オブジェクトへのリンク情報を形成する処理とを実行する、
ことを特徴とする情報入出力システムである。
【００３８】
前記物理オブジェクトのうち少なくとも１つは、前記情報空間内を移動可能で且つ他のコンピュータとの間でデジタル・オブジェクトを交換可能な携帯型コンピュータであってもよい。
【００３９】
環境型コンピュータは、携帯型コンピュータに貼設されたビジュアル・マーカーを基に、その識別情報や位置情報を認識することによって、携帯型コンピュータを情報空間にインストールすることができる。
【００４０】
また、環境型コンピュータは、インストール後の携帯型コンピュータ上におけるマウス・カーソル操作を前記作業面上に拡張することができる。この結果、情報空間内では、物理的な実世界とコンピュータ上のデジタル空間とが深く融合することになる。
【００４１】
また、前記撮像手段は、所定波長光の照射による特定の位置を指示する光学ポインタの指示位置を識別可能であってもよい。光学ポインタの一例は、特定波長領域の赤色スポット光を照射するレーザ・ポインタである。このような場合には、ユーザは、自分の携帯型コンピュータ上のマウス・カーソル操作だけでなく、該光学ポインタを用いて情報空間内の任意の場所を座標指示することができる。例えば、情報空間内のテーブル表面や壁面に拡張された広大なデスクトップ上を、光学ポインタを用いて直接的に指示することができるので、オブジェクトの操作性が向上するとともに、その操作は直感的に理解容易となる。
【００４２】
また、前記環境型コンピュータは、前記撮像手段による撮像画像に基づいて、
物理オブジェクト表面上でリンク情報が形成された部位においてユーザ操作が適用されたことに応答して、リンクされたデジタル・オブジェクトを呼び出したり、あるいは、デジタル・オブジェクトをユーザに提示する処理を実行するようにしてもよい。ここで言うユーザ操作は、例えば、マウス・カーソルや光学ポインタを用いて、オブジェクト表面上の所定の部位に操作を印加することを指す。ユーザは、Ｗｅｂページ画面上でアンカーからリンク先のページを引き出す場合と同じような操作感で、物理オブジェクト上の所定の部位からデジタル・オブジェクトを参照することができる。
【００４３】
また、本発明の第２の側面は、コンピュータのデジタル空間が実世界に拡張されてなる情報空間上でオブジェクトに関するユーザ操作を行うための情報入出力システムであって、
前記情報空間に配設された１以上の作業面と、
前記作業面上に画像を表示する表示手段と、
前記作業面上を撮像する撮像手段と、
前記情報空間に固定的に設置された環境型コンピュータと、
前記作業面上に載置され視覚的に識別可能なビジュアル・マーカーを表面に含んだ１以上の物理オブジェクトと、
前記物理オブジェクト表面上のビジュアル・マーカーを認識・識別する携行型のＩＤ認識装置と、
を具備することを特徴とする情報入出力システムである。
【００４４】
前記環境型コンピュータは、
前記ＩＤ認識装置からソース・オブジェクト及びデスティネーション・オブジェクトの各々の識別情報を受信する処理と、
ソース・オブジェクト及びデスティネーション・オブジェクトのタイプの組み合わせによって特定されるアクションを適用する処理と、
を実行するようにしてもよい。
【００４５】
例えば、ソース・オブジェクトとして所望のドキュメントの識別情報と、デスティネーション・オブジェクトとしてドキュメントのプリント先であるプリンタの識別情報とをそれぞれＩＤ認識装置で読み込んで、環境型コンピュータに送信することができる。このような場合、環境型コンピュータは、ソース・オブジェクトとしてのドキュメントをデスティネーション・ドキュメントとしてのプリンタにおいて出力するという特定のアクションを実行することができる。
【００４６】
また、本発明の第３の側面は、コンピュータのデジタル空間が実世界に拡張されてなる情報空間上でオブジェクトに関するユーザ操作を行うための情報入出力システムであって、
前記情報空間に配設された１以上の作業面と、
前記作業面上に画像を表示する表示手段と、
前記作業面上を撮像する撮像手段と、
前記情報空間に固定的に設置された環境型コンピュータと、
前記作業面上に載置され視覚的に識別可能なビジュアル・マーカーを表面に含んだ１以上の物理オブジェクトと、
を備え、前記物理オブジェクトのうち少なくとも１つはビジュアル・マーカーが持つ位置情報によって指定される仮想の撮像方向を有する仮想カメラである、
ことを特徴とする情報入出力システムである。
【００４７】
前記環境型コンピュータは、前記撮像手段による撮像画像に基づいて、
前記仮想カメラを認識・識別するとともに、その位置情報及び仮想の撮像方向を特定する処理と、
該位置情報及び仮想の撮像方向に従って仮想の撮像画像を生成する処理と、
該仮想の撮像画像をユーザに提示する処理と、
を実行することができる。
【００４８】
ここで言う「仮想の撮像画像」は、例えば、撮像領域内にある各物理オブジェクトの描画情報を基にして、３次元コンピュータ・グラフィックス処理を適用することによって自動生成することができる。仮想の撮像画像とは、要するに、仮想カメラによって撮像される風景又は３次元シーンのことである。さらに、仮想カメラの設置場所を変更することによって、撮像される３次元シーンを切り替えることができる。
【００４９】
また、本発明の第４の側面は、コンピュータのデジタル空間が実世界に拡張されてなる情報空間上でオブジェクトに関するユーザ操作を行うための情報入出力システムであって、
前記情報空間に配設された１以上の作業面と、
前記作業面上に画像を表示する表示手段と、
前記作業面上を撮像する撮像手段と、
前記情報空間に固定的に設置された環境型コンピュータと、
前記作業面上に載置され視覚的に識別可能なビジュアル・マーカーを表面に含んだ１以上の物理オブジェクトと、
所定波長光の照射による特定の位置を指示する光学ポインタと、
を備え、
前記撮像手段は、前記光学ポインタの指示位置を識別可能である、
ことを特徴とする情報入出力システムである。ここで言う光学ポインタの一例は、特定波長領域の赤色スポット光を照射するレーザ・ポインタである。
【００５０】
このような場合、前記環境型コンピュータは、前記撮像手段による撮像画像に基づいて、
前記作業面上における前記光学ポインタを用いたユーザ操作を認識する処理と、
該認識結果に従って前記表示手段によるデジタル・オブジェクトの表示を制御する処理とを実行することができる。
【００５１】
また、本発明の第５の側面は、コンピュータのデジタル空間が実世界に拡張されてなる情報空間上でオブジェクトに関するユーザ操作を行うための情報入出力システムであって、
前記情報空間に配設された１以上の作業面と、
前記作業面上に画像を表示する表示手段と、
前記作業面上を撮像する撮像手段と、
前記情報空間に固定的に設置された環境型コンピュータと、
前記情報空間内を移動可能で且つ他のコンピュータとの間でデジタル・オブジェクトを交換可能な１以上の携帯型コンピュータとを備え、
前記携帯型コンピュータ上では３次元モデルの検索及び／又は３次元モデルの生成が可能であり、
前記環境型コンピュータは、前記携帯型コンピュータ上の３次元モデルを前記作業面上に取り出すユーザ操作が適用されたことに応答して、該３次元モデルの描画情報に基づいて前記作業面上への投影画像を生成する処理と、前記表示手段による該生成された投影画像の表示を制御する処理とを実行する、
ことを特徴とする情報入出力システムである。
【００５２】
本発明の第５の側面によれば、本来はコンピュータ上のデジタル空間にのみ存在する３次元オブジェクトを実世界上に取り出して表示することができる。したがって、ユーザは、実世界に拡張された拡張デスクトップ上で、よりリアリティに富んだ情報を相手に提示することができる。
【００５３】
また、本発明の第６の側面は、コンピュータのデジタル空間が実世界に拡張されてなる情報空間上でオブジェクトに関するユーザ操作を行うための情報入出力システムであって、
前記情報空間に配設された１以上の作業面と、
前記作業面上に画像を表示する表示手段と、
前記作業面上を撮像する撮像手段と、
前記情報空間に固定的に設置された環境型コンピュータと、
前記情報空間内を移動可能で且つ他のコンピュータとの間でデジタル・オブジェクトを交換可能な１以上の携帯型コンピュータと、
前記作業面上に載置され視覚的に識別可能なビジュアル・マーカーを表面に含んだ１以上の物理オブジェクトと、
前記物理オブジェクト表面上のビジュアル・マーカーを認識するとともに認識した識別情報の保留及び解放操作が可能な携行型のＩＤ認識装置と、
を具備することを特徴とする情報入出力システムである。
【００５４】
このような場合、前記環境型コンピュータは、
前記ＩＤ認識装置の保留操作に応答して、該保留された識別情報に対応するデジタル・オブジェクトを取得する処理と、
該ＩＤ認識装置の解除操作に応答して、該保留された識別情報に対応するデジタル・オブジェクトを付近の物理オブジェクトに転送する処理とを実行することができる。すなわち、本発明の第６の側面に係る情報空間内では、本来はコンピュータ上のデジタル空間にのみ存在するデジタル・オブジェクトを、物理的な実世界を介して受け渡し作業することができる訳である。
【００５５】
また、本発明の第７の側面は、コンピュータのデジタル空間が実世界に拡張されてなる情報空間上でオブジェクトに関するユーザ操作を行うための情報入出力システムであって、
前記情報空間に配設された１以上の作業面と、
前記作業面上に画像を表示する表示手段と、
前記作業面上を撮像する撮像手段と、
前記情報空間に固定的に設置された環境型コンピュータと、
前記情報空間内を移動可能で且つ他のコンピュータとの間でデジタル・オブジェクトを交換可能な１以上の携帯型コンピュータと、
前記作業面上に載置され視覚的に識別可能なビジュアル・マーカーを表面に含んだ１以上の物理オブジェクトと、
を備え、前記環境型コンピュータは、前記携帯型コンピュータ上におけるマウス・カーソル操作を前作業面上に拡張することを許容するとともに、前記作業面上における該マウス・カーソルによる範囲指定に従って視覚的フィードバックとしてのラバーバンドを前記表示手段によって表示する、
ことを特徴とする情報入出力システムである。
【００５６】
本発明の第７の側面に係る情報空間上では、ユーザには、「ラバーバンド」という視覚的にフィードバックが与えられる。この結果、オブジェクトに対する操作性が向上するとともに、実世界とデジタル空間との間をより効率的に連携させることができる。
【００５７】
また、前記環境型コンピュータは、ラバーバンドによる指定領域を前記撮像手段によって撮像するとともに、該撮像画像をデジタル・オブジェクトとして前記情報空間に取り込むようにしてもよい。例えば、情報空間内のテーブル上に置かれた印刷物（例えば、ドキュメントや名刺など）の撮像画像を、そのままデジタル・オブジェクトとして、コンピュータのデジタル空間に取り込むことができる。当然、かかるデジタル・オブジェクトを他のコンピュータに向けて転送することもできる。
【００５８】
また、前記作業面上において、ラバーバンドされた元のデジタル・オブジェクトが別のオブジェクト上にドロップされたことに応答して、元のデジタル・オブジェクトに対して該別のオブジェクトが有する処理又はメソッドを適用するようにしてもよい。
【００５９】
ここで言う別のオブジェクトとは、例えば、ドキュメントをプリントする処理又はメソッドを有する物理オブジェクトである。この物理オブジェクト上に、ドキュメントを象徴するデジタル・オブジェクトをドロップすることによって、プリント・ジョブを発行するという、直接的な対話技法が実現される。
【００６０】
また、別のオブジェクトは、例えば、名刺であり、その宛名に相当するメール・アドレスに対してドキュメントをメール送信する処理又はメソッドを有してもよい。この物理オブジェクト上に、ドキュメントを象徴するデジタル・オブジェクトをドロップすることによって、当該ドキュメントを送信文書とするメールを送信処理するという、直接的な対話技法が実現する。
【００６１】
また、本発明の第８の側面は、コンピュータのデジタル空間が実世界に拡張されてなる情報空間上でオブジェクトに関するユーザ操作を行うための情報入出力方法であって、前記情報空間は、１以上の作業面と、前記作業面上に画像を表示する表示手段と、前記作業面上を撮像する撮像手段と、前記情報空間に固定的に設置された環境型コンピュータと、前記作業面上に載置され視覚的に識別可能なビジュアル・マーカーを表面に含んだ１以上の物理オブジェクトとを備え、
（ａ）ビジュアル・マーカーから各物理オブジェクトの識別情報及び位置情報を認識するステップと、
（ｂ）物理オブジェクト表面上の任意の部位にデジタル・オブジェクトにドロップされたことを認識するステップと、
（ｃ）該物理オブジェクト表面上のデジタル・オブジェクトがドロップされた場所に該デジタル・オブジェクトへのリンク情報を形成するステップと、
を具備することを特徴とする情報入出力方法である。
【００６２】
ここで、前記物理オブジェクトのうち少なくとも１つは、前記情報空間内を移動可能で且つ他のコンピュータとの間でデジタル・オブジェクトを交換可能な携帯型コンピュータであり、
前記ステップ（ｂ）では、前記携帯型コンピュータ上におけるマウス・カーソル操作を前記作業面上に拡張することが許容されていてもよい。
【００６３】
また、前記撮像手段は、所定波長光の照射による特定の位置を指示する光学ポインタの指示位置を識別可能であり、
前記ステップ（ｂ）では、前記情報空間内における該光学ポインタによる座標指示が許容されていてもよい。
【００６４】
また、
（ｄ）物理オブジェクト表面上でリンク情報が形成された部位においてユーザ操作が適用されたことに応答して、リンクされたデジタル・オブジェクトを呼び出す及び／又はユーザにデジタル・オブジェクトを提示するステップ、
をさらに備えていてもよい。
【００６５】
また、本発明の第９の側面は、コンピュータのデジタル空間が実世界に拡張されてなる情報空間上でオブジェクトに関するユーザ操作を行うための情報入出力方法であって、前記情報空間は、１以上の作業面と、前記作業面上に画像を表示する表示手段と、前記作業面上を撮像する撮像手段と、前記情報空間に固定的に設置された環境型コンピュータと、前記作業面上に載置され視覚的に識別可能なビジュアル・マーカーを表面に含んだ１以上の物理オブジェクトと、前記物理オブジェクト表面上のビジュアル・マーカーを認識・識別する携行型のＩＤ認識装置とを備え、
（ａ）前記ＩＤ認識装置からソース・オブジェクト及びデスティネーション・オブジェクトの各々の識別情報を受信するステップと、
（ｂ）ソース・オブジェクト及びデスティネーション・オブジェクトのタイプの組み合わせによって特定されるアクションを該ソース・オブジェクトに適用するステップと、
を具備することを特徴とする情報入出力方法である。
【００６６】
また、本発明の第１０の側面は、コンピュータのデジタル空間が実世界に拡張されてなる情報空間上でオブジェクトに関するユーザ操作を行うための情報入出力方法であって、前記情報空間は、１以上の作業面と、前記作業面上に画像を表示する表示手段と、前記作業面上を撮像する撮像手段と、前記情報空間に固定的に設置された環境型コンピュータと、前記作業面上に載置され視覚的に識別可能なビジュアル・マーカーを表面に含んだ１以上の物理オブジェクトとを備え、前記物理オブジェクトのうち少なくとも１つはビジュアル・マーカーが持つ位置情報によって指定される仮想の撮像方向を有する仮想カメラであり、
（ａ）前記仮想カメラを認識・識別するとともに、その位置情報及び仮想の撮像方向を特定するステップと、
（ｂ）該位置情報及び仮想の撮像方向に従って仮想の撮像画像を生成するステップと、
（ｃ）該仮想の撮像画像をユーザに提示するステップと、
を具備することを特徴とする情報入出力方法である。
【００６７】
また、本発明の第１１の側面は、コンピュータのデジタル空間が実世界に拡張されてなる情報空間上でオブジェクトに関するユーザ操作を行うための情報入出力方法であって、前記情報空間は、１以上の作業面と、前記作業面上に画像を表示する表示手段と、前記作業面上を撮像する撮像手段と、前記情報空間に固定的に設置された環境型コンピュータと、前記作業面上に載置され視覚的に識別可能なビジュアル・マーカーを表面に含んだ１以上の物理オブジェクトと、所定波長光の照射による特定の位置を指示する光学ポインタとを備え、前記撮像手段は前記光学ポインタの指示位置を識別可能であり、
（ａ）前記作業面上における前記光学ポインタを用いたユーザ操作を認識するステップと、
（ｂ）該認識結果に従って前記表示手段によるデジタル・オブジェクトの表示を制御するステップと、
を具備することを特徴とする情報入出力方法である。
【００６８】
また、本発明の第１２の側面は、コンピュータのデジタル空間が実世界に拡張されてなる情報空間上でオブジェクトに関するユーザ操作を行うための情報入出力方法であって、前記情報空間は、１以上の作業面と、前記作業面上に画像を表示する表示手段と、前記作業面上を撮像する撮像手段と、前記情報空間に固定的に設置された環境型コンピュータと、前記情報空間内を移動可能で且つ他のコンピュータとの間でデジタル・オブジェクトを交換可能な１以上の携帯型コンピュータとを備え、前記携帯型コンピュータ上では３次元モデルの検索及び／又は３次元モデルの生成が可能であり、
（ａ）前記携帯型コンピュータ上の３次元モデルを前記作業面上に取り出すユーザ操作が適用されたことに応答して、該３次元モデルの描画情報に基づいて前記作業面上への投影画像を生成するステップと、
（ｂ）前記表示手段による該生成された投影画像の表示を制御するステップと、を具備することを特徴とする情報入出力方法である。
【００６９】
また、本発明の第１３の側面は、コンピュータのデジタル空間が実世界に拡張されてなる情報空間上でオブジェクトに関するユーザ操作を行うための情報入出力方法であって、前記情報空間は、１以上の作業面と、前記作業面上に画像を表示する表示手段と、前記作業面上を撮像する撮像手段と、前記情報空間に固定的に設置された環境型コンピュータと、前記情報空間内を移動可能で且つ他のコンピュータとの間でデジタル・オブジェクトを交換可能な１以上の携帯型コンピュータと、前記作業面上に載置され視覚的に識別可能なビジュアル・マーカーを表面に含んだ１以上の物理オブジェクトと、前記物理オブジェクト表面上のビジュアル・マーカーを認識するとともに認識した識別情報の保留及び解放操作が可能な携行型のＩＤ認識装置とを備え、
（ａ）前記ＩＤ認識装置の保留操作に応答して、該保留された識別情報に対応するデジタル・オブジェクトを取得するステップと、
（ｂ）該ＩＤ認識装置の解除操作に応答して、該保留された識別情報に対応するデジタル・オブジェクトを付近の物理オブジェクトに転送するステップと、
を具備することを特徴とする情報入出力方法である。
【００７０】
また、本発明の第１４の側面は、コンピュータのデジタル空間が実世界に拡張されてなる情報空間上でオブジェクトに関するユーザ操作を行うための情報入出力方法であって、前記情報空間は、１以上の作業面と、前記作業面上に画像を表示する表示手段と、 前記作業面上を撮像する撮像手段と、前記情報空間に固定的に設置された環境型コンピュータと、前記情報空間内を移動可能で且つ他のコンピュータとの間でデジタル・オブジェクトを交換可能な１以上の携帯型コンピュータと、前記作業面上に載置され視覚的に識別可能なビジュアル・マーカーを表面に含んだ１以上の物理オブジェクトとを備え、
（ａ）前記携帯型コンピュータ上におけるマウス・カーソル操作を前作業面上に拡張することを許容するステップと、
（ｂ）前記作業面上における該マウス・カーソルによる範囲指定に従って視覚的フィードバックとしてのラバーバンドを前記表示手段によって表示するステップと、
を具備することを特徴とする情報入出力方法である。
【００７１】
本発明の第１４の側面に係る情報入出力方法は、さらに、
（ｃ）ラバーバンドによる指定領域を前記撮像手段によって撮像するとともに、デジタル・オブジェクトとして前記情報空間に取り込むステップ、
を備えていてもよい。
【００７２】
また、本発明の第１４の側面に係る情報入出力方法は、
（ｄ）前記作業面上において、ラバーバンドされた元のデジタル・オブジェクトが別のオブジェクト上にドロップされたことに応答して、元のデジタル・オブジェクトに対して該別のオブジェクトが有する処理又はメソッドを適用するステップ、
をさらに備えていてもよい。
【００７３】
ここで言う別のオブジェクトとは、例えば、ドキュメントをプリントする処理又はメソッドを有する物理オブジェクトである。この物理オブジェクト上に、ドキュメントを象徴するデジタル・オブジェクトをドロップすることによって、プリント・ジョブを発行するという、直接的な対話技法が実現される。
【００７４】
また、別のオブジェクトは、例えば、名刺であり、その宛名に相当するメール・アドレスに対してドキュメントをメール送信する処理又はメソッドを有してもよい。この物理オブジェクト上に、ドキュメントを象徴するデジタル・オブジェクトをドロップすることによって、当該ドキュメントを送信文書とするメールを送信処理するという、直接的な対話技法が実現する。
【００７５】
【作用】
本発明によれば、実空間に設置されたテーブル型や壁面型などの環境型コンピュータ群と、各ユーザが持ち運ぶ携帯型コンピュータ群との組合せによって動的に構成される情報入出力操作のための好適な環境を提供することができる。
【００７６】
本発明に係る情報空間では、例えばカメラ・ベースのオブジェクト認識システムが導入される。コンピュータ・ディスプレイ画面を、投影機によってテーブルや壁面などの表面に投影する。さらに、投影画像すなわちコンピュータの論理空間上のオブジェクトと、実世界（すなわちテーブル上などに実在する）オブジェクトの双方を、カメラの撮像画像を基に認識し、且つ、これらオブジェクトの動きを追跡する。
【００７７】
本発明によれば、会議室やプレゼンテーション・ルームなどにおけるテーブルや壁面がコンピュータライズされ、携帯型コンピュータを空間的に拡張する作業環境（すなわち「拡張デスクトップ」）として機能する。また、実世界の様々なオブジェクト（名刺やパンフレットなどの印刷物、ＶＣＲテープ・カートリッジなど）を、マーカー認識などによって特定し、それらの間での自由な情報交換を可能にする。
【００７８】
また、ユーザは、自分が持ち運んだ携帯型コンピュータを、既に幾つかのコンピュータがインストールされている情報空間の中に、容易に統合させることができる。
【００７９】
ユーザは、単一のコンピュータという閉じた作業空間の境界を超えて機能する直接操作技法によって、実世界における各オブジェクトの空間的な位置関係を利用して情報を操作することができる。本発明に係る直接的な対話技法によれば、個々の機器や物体のアドレスやＩＤをユーザが意識する必要は全くない。
【００８０】
例えば、あるユーザのコンピュータ・ディスプレイ上におけるオブジェクトのドラッグ操作を、そのままコンピュータが設置された平面（テーブルや壁面）に継承する「ハイパードラッグ」操作が可能となる。
【００８１】
ハイパードラッグによれば、実世界上におけるオブジェクトの物理的な位置関係（例えば「あるオブジェクトがコンピュータの傍にある」など）の直感的な知識だけで、ユーザはオブジェクトに対する操作を実現することができる。また、フロントエンドにおけるオブジェクトの操作のバックグラウンドでは、関連するコンピュータ同士の演算処理（例えばネットワーク転送など）によって、ドキュメントなどのオブジェクトのエンティティが、コンピュータ間を自動的に移動する。
【００８２】
また、本発明によれば、物理的な実空間とコンピュータ上のデジタル空間との融合関係がさらに深まり、両者を統合的に取り扱うことができる。この結果、マウスやキーボードなどのコンピュータにネイティブのユーザ入力装置だけでなく、実世界上に散在する各種の物理オブジェクトを介してユーザ・コマンドをコンピュータに入力したり、あるいは、物理オブジェクトを介してデジタル・オブジェクトを引き出すことが可能になる。この結果、コンピュータ操作はさらに直感的で理解容易なものとなり、且つ、ユーザにとって魅力的になる。
【００８３】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【００８４】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施例を詳解する。
【００８５】
本発明は、実空間に設置されたテーブル型や壁面型などのコンピュータ群と、各ユーザが持ち運ぶ携帯型コンピュータ群との組合せによって「情報空間」を動的に構成するものである。かかる情報環境下では、会議室やプレゼンテーション・ルームなどにおけるテーブルや壁面が、各コンピュータのデジタル空間を実世界上で空間的に拡張した作業環境（すなわち「拡張デスクトップ」）として機能する。本発明が適用される実空間の一例は、１以上のユーザが個別の作業や共同作業を行う会議室などである。
【００８６】
１．システム環境
本発明によって提供される情報空間は、テーブルや壁面、あるいはテーブル上に置かれた物品などで構成される物理空間と、コンピュータ上で論理的に構成されるデジタル空間との間で連携的関係が構成された情報環境を提供するものである。
【００８７】
図１には、本発明に係る情報空間１の構成例を模式的に示している。同図に示すように、テーブル１１や壁面１２の各々にデジタル・データを表示するための１以上のＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）プロジェクタ１３及び１４が配設されている（但し、ＬＣＤプロジェクタ１３の出力画像は反射面１３Ａを介してテーブル１１上に投影される）。各ＬＣＤプロジェクタ１３及び１４の投影画像は、情報空間１におけるユーザ出力装置すなわち「拡張ディスプレイ」を構成する。
【００８８】
各ＬＣＤプロジェクタ１３及び１４が表示する内容は、ネットワーク１５によって相互接続されたコンピュータ・システム１６及び１７の協働的動作によって制御される。各コンピュータ・システムは、例えば米ＩＢＭ社のＰＣ／ＡＴ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ／Ａｄｖａｎｃｅｄ Ｔｅｃｈｎｏｌｏｇｙ）互換機又はその後継機でよく、ＯＡＤＧ（Ｏｐｅｎ Ａｒｃｈｉｔｅｃｔｕｒｅ Ｄｅｖｅｌｏｐｅｒｓ Ｇｒｏｕｐ）仕様に準拠する。各コンピュータ１６及び１７同士は、ＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）経由でネットワーク１５に相互接続されている。あるいは、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などその他の手段によって接続されていてもよい。
【００８９】
また、テーブル１１や壁面１２におけるデジタル・データの表示内容や、テーブル１１上に載置された携帯型コンピュータその他の物理的オブジェクトを捕捉するために、固定カメラ１８及びパン／チルト・カメラ１９が設置されている。カメラ１８及び１９は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：電荷結合素子）カメラでよい。
【００９０】
各カメラ１８及び１９は、情報空間１におけるユーザ入力装置を構成する。画像処理サーバ２０は、これらの撮像画像を画像処理し、さらに、テーブル１１や壁面１２上に表示されたデジタル・オブジェクトや載置された物理オブジェクトの位置、各オブジェクトに対して適用されるユーザ操作などを画像認識する。
【００９１】
また、自然光を撮像するカメラ１８及び１９の他に、１以上の赤色フィルタ付きカメラ４１Ａ，４１Ｂ…が情報空間１内に配設されている。カメラ４１において用いられる赤色フィルタは、例えば、プレゼンテーションなどで用いられる「レーザ・ポインタ」の出力光付近の波長のみを透過するように設定されている。画像処理サーバ２０は、赤色フィルタ付きカメラ４１の撮像画像を画像処理することにより、レーザ・ポインタによる指示位置を検出することができる。この結果、例えば、テーブル１１や壁面１２などの実空間上に拡張されたデスクトップ上において、ユーザは、遠方の部位をレーザ・ポインタを用いて直接的に座標指示操作することが可能となる。
【００９２】
画像処理サーバ２０は、ＬＣＤプロジェクタ１３及び１４の表示を駆動制御する各コンピュータ・システム１６及び１７とはネットワーク１５経由で相互接続されている。したがって、画像処理サーバ２０において画像認識された情報空間１におけるユーザ操作が投影画像に反映され、拡張ディスプレイを介したインタラクティブな情報環境が実現する。
【００９３】
画像処理サーバ２０やコンピュータ・システム１６及び１７は、情報空間１の環境すなわち情報環境に予め導入（ｐｒｅ−ｉｎｓｔａｌｌ）された「環境型コンピュータ」（ｅｎｖｉｒｏｎｍｅｎｔａｌ ｃｏｍｐｕｔｅｒ）である。なお、図１に示した例では、環境型コンピュータは複数台のネットワーク接続されたコンピュータ・システム１６，１７，及び２０で構成されるが、演算能力が強化された１台のコンピュータとして構成されても、勿論構わない。
【００９４】
また、情報空間１上には、物理オブジェクトやデジタル・オブジェクト、及び、オブジェクト間に形成されたリンク関係を登録・管理するためのデータベース・サーバ（図示しない）が存在するものとする。データベース・サーバの実体は、ネットワーク１５に接続された専用のサーバ・マシンであっても、あるいは、他の環境型コンピュータのいずれかの上で稼動するサーバ・アプリケーションであってもよい。
【００９５】
このような情報空間１では、ユーザは各自の携帯型コンピュータ…（図示）を持参して、個別の作業や、ユーザ間の連携的な共同作業を行う。
【００９６】
情報空間１は、１以上のコンピュータの連携によって構成される複合的なデジタル空間である。テーブル１１及び壁面１２の各々には、デジタル空間上に存在するデジタル・オブジェクトが表示され、この結果、情報空間１内には物理オブジェクトとデジタル・オブジェクトが混在する。さらに、テーブル１１及び壁面１２の表面上でデジタル・オブジェクトに対する各種のユーザ操作（後述）が可能となり、コンピュータ・スクリーン上の作業空間（デスクトップ）を拡張した「拡張ディスプレイ」を構成する。本発明者等は、拡張ディスプレイとしてのテーブル１１及び壁面１２のことを、それぞれ”ＩｎｆｏＴａｂｌｅ”及び”ＩｎｆｏＷａｌｌ”とも呼ぶ
【００９７】
本発明に係る情報空間を実現するためには、幾つかの前提条件が必要である。
【００９８】
まず第一に、各携帯型コンピュータやその他の物理オブジェクトの表面には、サイバーコード^[6]のように視覚的に識別・特定することができるビジュアル・マーカー３１，３２が貼設されているものとする。したがって、予め導入された環境型コンピュータは、カメラ１８及び１９の撮像画像を通してビジュアル・マーカーを認識・識別することができる。
【００９９】
また、第２に、動的に導入される各携帯型コンピュータ２１…は、無線（又は有線）ＬＡＮなどの通信手段によって相互接続されていることである。すなわち、携帯型コンピュータ同士、あるいは携帯型及び環境型コンピュータとの間では、デジタル・オブジェクトのエンティティ（文書ファイルやデジタル・コンテンツなど）を、拡張ディスプレイ上の対話操作のバックグラウンドで転送することができる。
【０１００】
次いで、カメラ１８及び１９を用いて情報空間１における物理オブジェクト（及びオブジェクトに対する操作）を認識・識別する仕組みについて説明する。
【０１０１】
オブジェクトの認識センサとして用いられるカメラ１８及び１９は、一般に、解像度と視野とのトレードオフ関係を持つ。物理オブジェクトに貼設されたビジュアル・マーカーの極小パターンを識別するためには、カメラ１８及び１９は充分高解像度でなければならない。高解像度の撮像イメージは、テーブル１１の記録を作成する上でも有用である。
【０１０２】
しかしながら、現在市販されているビデオ・カメラのほとんどは必要とされる解像度と、テーブル１１の表面全体を撮像する視野角の双方を満足するような仕様を備えていない。”ＤｉｇｉｔａｌＤｅｓｋ”^[4]は、２台目のカメラを設置することでこの問題を解決することを試みたものである。この場合の２台目のカメラは、１台目のカメラよりも高解像度で机上の特定部分のみを撮像するために使用される。ユーザは、２台目のカメラの視野内にドキュメントを置くように指示されている。
【０１０３】
これに対し、本発明者等は、２台のカメラの組み合わせによって上記のトレードオフ問題を解決することとした。第１のカメラ１９は、モータ制御型のビデオ・カメラ（例えばソニー（株）製のＥＶＩ−Ｄ３０）であり、外部コンピュータ・システムからのコマンドに従って、パン、チルト、ズームなどを遠隔操作することができる。この第１のカメラ１９によれば、テーブル１１全体を撮像できるだけでなく、ズームすることによって一部の領域のみを高解像度（最大１２０ｄｐｉ）で撮像することができる。通常は、パン／チルト・カメラ１９のヘッドの向きや方向を周期的に変更することによって、テーブル１１表面全体をスキャンする。例えば、テーブル１１表面を６×６のブロックに分割して、パン／チルト・カメラ１９が３６個全ての領域を規則正しく訪れる（すなわち撮像する）ように制御する。本発明者等は、このようなカメラ動作のことを、Ｌａｎｄｓａｔ（ｌａｎｄ−ｓａｔｅｌｌｉｔｅ）に喩えて”Ｄｅｓｋｓａｔ”と呼ぶ。全ての領域を訪れる所要時間は、カメラ制御やイメージ処理時間を含んで３０秒程度である。
【０１０４】
他方、第２のカメラ１８は、テーブル１１表面全体を常時見渡すための固定カメラである。このカメラ１８による現在及び過去の撮像画像間の差分によってテーブル１１上の変化を解析する。次いで、３６個のブロックのうちどのブロックに変化が起こったかを判断して、「領域変化」（ａｒｅａ ｃｈａｎｇｅｄ）というイベントをパン／チルト・カメラ１９に送信する（図２を参照のこと）。パン／チルト・カメラ１９側では、このようなイベント情報を用いて、変化が起こった領域を瞬時に再探索して、撮像画像を更新することができる。
【０１０５】
なお、固定カメラ１８による検出が投影イメージの変動の影響を受けないようにするために、差分検出には所定の閾値を設定する必要がある。
【０１０６】
また、本実施例では、変化領域を探索する順序を決定するために、多少の経験則を活かしている。人間は、通常、テーブルを外側から内側に向かって使用する習性があるので、テーブル１１の内側の方にオブジェクトの変化が起こり易いと言える。したがって、外側の領域よりも内側の方に優先順位を与えることができる。例えば、固定カメラ１８が複数のブロックでの変化を同時に捉えた場合には、パン／チルト・カメラ１９は内側から外側に向かって変化ブロックを探索するようにする。
【０１０７】
このような２台のカメラにより構成されるオブジェクト認識技術によれば、ユーザがテーブル１１上にオブジェクトを置いたり、移動したり（さらに再移動したり）すると、このようなイベントは環境型コンピュータ２０によって数秒のうちに認識することができる。このような応答時間は、”Ｉｌｌｕｍｉｎａｔｉｎｇ Ｌｉｇｈｔ”^[5]などのような継続的且つ実時間のオブジェクト追跡には必ずしも充分とは言えないが、間欠的に動作するような情報環境下では適合するであろう。
【０１０８】
次いで、カメラの撮像画像を基に環境型コンピュータがビジュアル・マーカーを認識する仕組みについて説明する。
【０１０９】
携帯型コンピュータその他、情報空間１にインストールすべき全ての物理オブジェクトには、視覚的に識別可能なビジュアル・マーカーが貼設されている。このビジュアル・マーカーの一例は、サイバー・コード^[6]であり、印刷されたパターンの配列の組み合わせによって２²⁴個のオブジェクトを識別することができる（但し、本実施例では文献［６］に記載された配列コード体系とは若干異なるバージョンを利用している）。上述したＤｅｓｋｓａｔアーキテクチャによれば、テーブル１１上に置かれた２ｃｍ×２ｃｍサイズの小さな２次元マーカーを、パン／チルト・カメラ１９によって認識することができる。
【０１１０】
サイバーコードは、２次元バーコードの一種であり、図３に示すように、サイバーコードの所在を表すための「ガイド・バー表示領域」と、２次元状のコード・パターンを表示する「コード・パターン表示領域」とで構成される。コード・パターン表示領域内は、ｎ×ｍマトリックス（同図では７×７）に配列されたセルで構成され、各セルを白又は黒の２値表現することで識別情報を付与することができる。但し、コード・パターン表示領域の４隅のコーナー・セルは、識別情報としてではなく位置合わせ（ｒｅｇｉｓｔｒａｔｉｏｎ）パターンとして常に黒パターンとなっている。
【０１１１】
サイバーコードの認識手順は、
（１）撮像画像を２値化するステップ
（２）２値画像中からガイド・バーの候補を発見するステップ
（３）ガイド・バーの位置や方向に基づいてコーナー・セルを探索するステップ（４）ガイド・バー及びコーナー・セルを検出したことに応答して画像ビットマップ・パターンを復号化するステップ
とで構成される。さらに、エラービットの検査を行うことで、撮像画像中に正しいサイバー・コードが含まれていることを確認して、該コードの識別情報や位置・方向情報を導出することができる。また、コーナー・セルの位置に基づいて、カメラやオブジェクトの傾きによって生じる歪みを算出して補償することができる。
【０１１２】
サイバー・コードを始めとするビジュアル・マーカーは、物理オブジェクトの識別情報の取得だけでなく、マーカーが貼設された物理オブジェクトの位置や向きを認識するために利用される。例えば、ユーザが情報空間１内でハイパードラッグ操作（後述）をしている間、携帯型コンピュータ上に貼設されたビジュアル・マーカーの現在位置や向きに基づいて、テーブル１１上のカーソルの位置が計算され、ＬＣＤプロジェクタ１３による投影画像に反映される。
【０１１３】
また、パンフレット用紙などの所定の表面積のある物理オブジェクトにビジュアル・マーカーが貼設されている場合、ビジュアル・マーカーを基準にして用紙表面上の座標系を定めることもできる。例えば、ビジュアル・マーカーを原点とした用紙上の座標位置（ｘ，ｙ）に対して物理オブジェクトやその他のリンク情報を埋め込むことも可能である（この点については後に詳解する）。
【０１１４】
ビジュアル・マーカーは印刷物として提供されるので、実質上コストは発生しない。また、他の識別システムでは達成できない幾つかの使用形態がある。例えば、ビジュアル・マーカーを含んだＰｏｓｔ−ｉｔを使用することができる。ビジュアル・マーカーが示す識別情報に添付されたデジタル・オブジェクト（例えばボイス・ノートや写真画像など）が、Ｐｏｓｔ−ｉｔの移動に伴なって転送される。
【０１１５】
次いで、情報空間１におけるオブジェクトすなわち情報の転送について説明しておく。
【０１１６】
本実施例に係る情報空間１では、ハイパードラッグを始めとする実世界上でのオブジェクトの対話操作を実行するときには、そのバックグラウンドにおいて、適当な機器（コンピュータ）間で、オブジェクトのエンティティであるデータ／ファイルの転送が行われる。
【０１１７】
本実施例では、情報空間１内に設置される各物理オブジェクトには識別情報を含んだビジュアル・マーカーが貼設されているので、カメラ１８／１９による撮像画像を基に、各物理オブジェクトを識別するとともに、オブジェクト間の位置情報を認識することができる。
【０１１８】
また、動作システムはＪａｖａで記述されており（”Ｊａｖａ”は米サン・マイクロシステムズ社が開発したオブジェクト指向プログラミング言語である）、Ｊａｖａのオブジェクト移動機能、オブジェクト整列化プロトコル、及び遠隔メソッド呼び出し（Ｒｅｍｏｔｅ Ｍｅｔｈｏｄ Ｉｎｖｏｃａｔｉｏｎ：ＲＭＩ）などを利用することで、オブジェクト転送を実現している。
【０１１９】
本実施例に係る情報空間１において移動可能なオブジェクトとして、テキスト、イメージ、ＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）、サウンド、動画などが挙げられる。
【０１２０】
２．情報環境
次に、本実施例に係る情報空間１において提供される情報環境の特徴について説明する。
【０１２１】
２−１．環境型コンピュータと携帯型コンピュータとの連携
図１に示すような情報空間において提供される情報環境下では、会議室などの実空間に固定的に設置された「環境型コンピュータ」と、会議の参加者などの各ユーザが持ち運ぶ１以上の「携帯型コンピュータ」との間で連携が実現する。
【０１２２】
ユーザ各自が持つ携帯型コンピュータは、それ自身で完結したユーザ・インターフェースを備えている。したがって、環境型コンピュータと連携した場合には、従来のユーザ・インターフェースを全く置き換えてしまうのではなく、携帯型コンピュータ固有のユーザ・インターフェースを自然に延長する形態で、環境型コンピュータや情報空間１におけるユーザ・インターフェースすなわち対話操作が機能することが望ましい。
【０１２３】
例えば、テーブル上に携帯型コンピュータを置くだけで、テーブル１１表面や壁面１２が、携帯型コンピュータのための仮想的な拡張ディスプレイすなわちデスクトップとして利用できるようになる。
【０１２４】
さらに、複数のユーザが同じテーブル１１上でそれぞれの携帯型コンピュータを置いた場合でも、テーブル１１表面をユーザ・グループのための共有作業空間として利用できるようになる。
【０１２５】
図４〜図６には、各ユーザの携帯型コンピュータが環境型コンピュータによって拡張されていく過程を図解している。
【０１２６】
（ａ）ユーザは、各自の携帯型コンピュータ上で作業を行う（図４を参照のこと）。この場合、ユーザは、携帯型コンピュータというスタンドアロン環境で用意される従来のＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）画面上で、マウス・カーソルを用いたオブジェクトのドラッグ・アンド・ドロップ操作が可能である。
【０１２７】
（ｂ）情報空間のテーブル１１上に携帯型コンピュータを置くと、テーブルや壁の表面が携帯型コンピュータのデスクトップの空間的な延長として利用可能になる。
より具体的には、ユーザがテーブル１１に着いて自分の携帯型コンピュータをその上に置くと、カメラ１８がこれを撮像する。画像処理サーバ２０は、撮像画像を基に、携帯型コンピュータに貼設されたビジュアル・マーカー３１を認識して、該携帯型コンピュータの所有者ユーザを特定する。また、画像処理サーバ２０は、該携帯型コンピュータの設置位置や向きも認識する。
例えば、文書ファイルやフォルダなどの情報アイテムを象徴するデジタル・オブジェクトを、携帯型コンピュータのディスプレイ・スクリーンからハイパードラッグして、テーブル１１や壁面１１の上に置く（実際には、ＬＣＤプロジェクタ１３又は１４で投影する）ことができる（図５を参照のこと）。
また、頻繁に利用するデジタル・オブジェクトを自分の携帯型コンピュータの周辺に配置しておくことで、必要な情報に迅速にアクセスすることができる。
テーブル１１や壁面１２に投影されたデジタル・オブジェクトは、各ユーザ・コンピュータ上のマウス・カーソルの他に、レーザ・ポインタを用いて操作してもよいが、この点については後述に譲る。
【０１２８】
（ｃ）同一のテーブル１１に複数のユーザが着いた場合、各ユーザは携帯型コンピュータを置きながら作業を行うこともできる。また、テーブル１１や壁面１２が、ユーザ・グループ間で共有することができる作業空間にもなる。例えば、デジタル・オブジェクトを、テーブル１１表面や壁面１２などからなる拡張ディスプレイ経由で、自由に転送したり、閲覧、交換、配布したりすることができる（図６を参照のこと）。
【０１２９】
要言すれば、ユーザは、コンピュータ上で扱われるデジタル・オブジェクトやアプリケーション・ウィンドウなどをテーブル１１や壁面１２上に構成された拡張ディスプレイ上に移動させることができる。また、自分が持ち込んだ携帯型コンピュータの周辺に、より広い論理的な作業空間を形成することができる。
【０１３０】
本実施例に係る情報空間では、ＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）向けに開発された対話技法すなわち直接操作（ｄｉｒｅｃｔ ｍａｎｉｐｕｌａｔｉｏｎ）の概念を、実世界に展開された拡張ディスプレイ上に導入することができる。すなわち、テーブル１１や壁面１２などからなる拡張ディスプレイ上では、例えば、トラックボールやタッチパッド、キーボードのような携帯型コンピュータに装備されたユーザ入力装置を用いて、ポイント、ドラッグ、メニュー選択などの通常のＧＵＩ形式の操作に従ってデジタル・オブジェクトを操作することができる。
【０１３１】
図７には、情報空間１で用意される拡張ディスプレイ上で行われるユーザ操作の様子を図解している。
【０１３２】
（ａ）ユーザは、コンピュータ・ディスプレイ上のデジタル・オブジェクトを、ポインティング・デバイスを用いて通常のＧＵＩ操作に従ってドラッグする。
【０１３３】
（ｂ）カーソルがディスプレイ・スクリーンの周縁に到達し、さらにドラッグし続けると、カーソルはスクリーンからテーブル１１の上にジャンプする（実際には、プロジェクタによってテーブル１１上にオブジェクトが投影される）。このとき、デジタル・オブジェクトのエンティティ（例えば該当する文書ファイルやフォルダ）が、携帯型コンピュータから環境型コンピュータに転送される。
【０１３４】
（ｃ）ユーザは、さらにドラッグ操作を継続して、デジタル・オブジェクトをテーブル１１以外の表面、例えば壁面１２まで移動させることができる。
壁面１２にカレンダなどの情報担体が存在する場合には、オブジェクトを其処まで移動させてカレンダに添付することができる（実際には、カレンダとオブジェクトが持つ情報とのリンクが形成される）。
【０１３５】
（ｄ）また、ユーザは、ＶＣＲテープ・カートリッジのようなテーブル１１上に置かれた現実の物理オブジェクトの上に、デジタル・オブジェクトをドロップすることもできる。この物理オブジェクトへのドロップの効果は、現実のオブジェクトとデジタルすなわち仮想のオブジェクトとのリンク形成である。
【０１３６】
図７で示したようなオブジェクト操作を行う際、ユーザは、各々のコンピュータやその他の物理的なオブジェクトなど、各オブジェクト間の物理的な配置のみを注意しておくだけで充分である。本実施例に係る情報環境よれば、情報を操作するための統合的な空間的なメタファが提供される。
【０１３７】
したがって、携帯型コンピュータ内に格納されたデジタル・オブジェクト、テーブル１１や壁面１２などの拡張ディスプレイ上に出現したデジタル・オブジェクト、あるいはテーブル１１上の物理オブジェクトにリンク形成されたデジタル・オブジェクトなどを、相互間で、直感的且つシームレスに取り扱うことができる。
【０１３８】
図７を参照しながら説明したように、ユーザが携帯型コンピュータ内に格納されたデータをテーブル１１等の拡張ディスプレイ上に転送したい場合には、該当するデジタル・オブジェクトを、コンピュータ・スクリーンからテーブル上に、すなわち、コンピュータという垣根を越えてドラッグ操作を行うだけでよい。マウス・カーソルがコンピュータ・スクリーンの端縁に到達すると、カーソルはコンピュータ・スクリーンからテーブルへと自動的に移動する。勿論、テーブル上の物理オブジェクト上にデジタル・オブジェクトをドラッグ・アンド・ドロップ操作するだけで、物理オブジェクトにデジタル・オブジェクトを添付すなわちリンク形成することができる。
【０１３９】
本実施例において、ハンド・ジェスチャ認識のような対話技法ではなく、ＧＵＩ向けに開発された対話技法を採用したのは、ノートブック・コンピュータは豊富なアプリケーションを既に備えた対話装置を既に統合的に装備する、という理由に依拠する。一般的なコンピュータに標準装備された対話装置を用いれば、コンピュータ・ユーザは、既に定着し慣れ親しんでいるユーザ・インタフェース様式のままで、テーブル１１や壁面１２上でデジタル・オブジェクトを対話的に操作することができるという訳である。
【０１４０】
最近では、ノートブック・コンピュータはオーディオ入出力装置を装備することが多くなったので、拡張ディスプレイ上での作業中に音声を生成するという対話方式を使用することも可能である。
【０１４１】
さらに、携帯型コンピュータに装備されたマイクやカメラなどの入力装置を、会議中のボイスメモなどを作成する手段として活用することもできる。
【０１４２】
２−２．情報操作の空間的連続性
また、図１に示すような情報空間１において提供される情報環境下では、情報操作の空間的な連続性が実現する。
【０１４３】
コンピュータを含む多種多様な情報機器が動的に追加されるような環境を想定すると、それぞれの機器のネットワーク・アドレスや機器名を正確に把握することは、ユーザにとって過大な負担であり煩わしくさえある。一方で、会議室などの閉じた作業空間では、一般的な遠隔通信とは状況が異なり、たいていの機器はユーザから見える範囲に存在する。したがって、操作の対象となっているオブジェクトを実空間上で把握し、アドレスなどの間接的・記号的な概念を使用することなく、情報を直接的に操作することが可能なはずである。
【０１４４】
本実施例に係る情報空間１では、例えば、「コンピュータＡＢＣからコンピュータＤＥＦにファイルを転送する」、「プロジェクタＣにスライド・データを送る」などの間接的な指定方法ではなく、「右のコンピュータから左のコンピュータ」、「左側のスクリーン」などのような実世界上の空間的な位置関係によって、直感的且つ直接的に、機器を指定することができる。
【０１４５】
本実施例に係る情報空間１上では、「テーブルにコンピュータを置く」や、「ＰＤＡを黒板に近づける」といったユーザが行う物理的な操作は、ネットワーク接続で反映され、該当するデジタル・オブジェクトの機器間転送が必要に応じて適宜行われるようになっている。
【０１４６】
２−３．実世界上の物理オブジェクトとの連携
日常生活で扱われるオブジェクトのほとんどは、コンピュータの論理空間上にのみ存在するデジタル・オブジェクトではなく、非電子的・非デジタルな実世界上の物理オブジェクト（例えば、実文書の印刷物やＶＣＲテープ・テープカートリッジなど）である。このような物理オブジェクトを情報環境の一部として取り込めることが好ましい。
【０１４７】
図１に示すような情報空間１において提供される情報環境下では、上述した「空間的連続性」の原則を守ることで、物理的な実空間とコンピュータ上のデジタル空間とが親密に融合し合い、実世界上の物理オブジェクトとデジタル・オブジェクトとの効果的な連携すなわちリンク関係が実現する。この結果、オブジェクト操作に伴なうユーザの負荷を軽減することができる。
【０１４８】
例えば、パンフレット上に印刷された写真などの媒体から３次元モデルを選んで、それをデジタイズしてテーブル１１（すなわち拡張デスクトップ）や携帯型コンピュータの中に取り込んだり、関連するスライド・データを他の会議資料と一緒に持ち運んだり、ということが簡易且つ円滑に行えることができる。
【０１４９】
また、パンフレット上に印刷されている個々のアイテムに対して、デジタル・オブジェクトへのリンク情報を登録することができる。印刷物が家具を紹介するパンフレットであれば、該紙面上に印刷された家具の写真（若しくは商品型番を表記する文字列）に対して、該当する商品の３次元モデルへのリンク情報を埋め込んでおくことができる。さらに、一般的なＧＵＩ環境下で慣れ親しんでいるマウス・カーソル操作をパンフレット上で行うだけで、パンフレット上の特定のアイテムからリンクされているデジタル・オブジェクトを引き出すことができる。例えば、パンフレット上に印刷された写真や文字に対してドラッグ・アンド・ドロップ操作を適用することで、該当する商品の３次元モデルを付近のテーブル１１など拡張ディスプレイ上に表示すなわち投影させることができる。
【０１５０】
このように印刷されたパンフレットからドラッグ・アンド・ドロップでデジタル・オブジェクトを取り出せるような直接的なユーザ・インターフェース環境においては、パンフレットとデジタル・コンテンツとの結合関係（マッピング）をユーザは特に意識する必要がなくなる。
【０１５１】
本実施例では、デジタル・オブジェクトと実世界上の物理オブジェクトとの連携は、前述したようなカメラ・ベースのオブジェクト認識技術によって実現される。
【０１５２】
例えば、実世界上の各物理オブジェクトには視覚的に認識・識別することが容易なビジュアル・マーカーが貼着されている。ビジュアル・マーカーの一例は「サイバー・コード」（図３を参照のこと）である。カメラ認識システムは、このビジュアル・マーカーを撮像し解析することで、物理オブジェクトやその位置・向きを識別・特定し、さらには、物理オブジェクトとリンク形成されたデジタル・オブジェクトを引き出すことができる。また、物理オブジェクト上にデジタル・オブジェクトをドラッグ・アンド・ドロップすることで、新たに物理オブジェクト及びデジタル・オブジェクト間でリンクを形成することができる。
【０１５３】
実世界オブジェクトとデジタル・コンテンツなどの電子情報を連携させる研究としては、ＩｎｆｏＢｉｎｄｅｒ^[7]、ｍｅｄｉａＢｌｏｃｋｓ^[8]、Ｐａｓｓａｇｅ^[9]などが挙げられる。しかしながら、これらの論文で提案されている事例は、デジタル・オブジェクトの移動のために物理的に体現されたアイコンを用いているだけであり、かかる物理的なアイコンに対して実世界上での役割や用途を付与するものではない。
【０１５４】
これに対し本発明に係る情報空間１では、デジタル・オブジェクトと実世界上の特定の役割・用途を持った事物とのリンク関係を形成することが可能である。すなわち、文書フォルダ、書類、カード、ＶＣＲテープ・カートリッジなどの物理的なオブジェクト自体も、電子情報と結合したオブジェクトとなり得る。例えば、ＶＣＲテープ・カートリッジにその内容に関するデジタル写真を仮想的に添付して持ち歩いたり、あるいは編集上のインストラクションをデジタル・ボイス・ノートとして添付したりすることができる。また、会議に関連するスライド・データを文書フォルダに添付したりする用途も可能である。
【０１５５】
物理オブジェクトに対するデジタル・オブジェクトのリンク形成や、物理オブジェクト上のリンク情報の参照に関する処理手順については、後に詳解する。
【０１５６】
３．オブジェクト操作
次に、本実施例に係る情報空間１において提供されるオブジェクト操作の処理手順について説明する。
【０１５７】
３−１．情報空間への物理オブジェクトのインストール
実世界上の物理オブジェクトがコンピュータ上のデジタル空間に深く融合し、デジタル・オブジェクトとの親密な連携を実現する前提として、物理オブジェクトを情報空間１にインストールしなければならない。
【０１５８】
ユーザが情報空間１内に入って、物理オブジェクトをテーブル１１上に置くと、物理オブジェクトは情報空間１の中にインストールされる。ここで言う物理オブジェクトには、ユーザ自身の携帯型コンピュータの他に、パンフレットなどの印刷物、ＶＣＲテープ・カートリッジ、カメラ模型など様々である。このインストール・オペレーションは、実際には以下のような処理手順が含まれる。
【０１５９】
（１）カメラ１８及び１９が物理オブジェクトを撮像する。
（２）画像処理サーバ２０は、カメラ１８及び１９による撮像画像を基に、当該物理オブジェクトに貼設されたビジュアル・マーカー３１を認識して、物理オブジェクトを識別・特定する。物理オブジェクトが携帯型コンピュータのように、それ自身がデジタル・オブジェクトを蓄積する装置である場合には、その所有者ユーザを特定するとともに、ネットワーク接続など環境型コンピュータとのデータ転送路を確立する。
（３）また、画像処理サーバ２０は、物理オブジェクトが載置されているテーブル１１上の位置や向きの情報も認識する。
（４）さらに、ビジュアル・マーカーが持つ位置・向き情報を基にして、物理オブジェクト表面上に座標系を設定することができる。例えば、物理オブジェクトがパンフレットのような表面積を持つ印刷物であれば、ビジュアル・マーカーを基準位置として、パンフレット用紙上の各印刷アイテムに対して座標位置を設定することができる。
【０１６０】
情報空間１へのインストールの有無を視覚的にフィードバックするために、図８に示すように、物理オブジェクト（同図に示す例ではＶＣＲテープ・カートリッジ）に対してオブジェクト・オーラを投影表示させてもよい。オブジェクト・オーラとは、対象となるオブジェクトを取り囲むような楕円表示のことであり、オブジェクト・オーラは該当する物理オブジェクトが持つデータ空間を定義する。したがって、ユーザは、テーブル１１上にあるデジタル・オブジェクトをハイパードラッグし（図９を参照のこと）、オブジェクト・オーラ内にドロップすることによって（図１０を参照のこと）、該デジタル・オブジェクトを物理オブジェクトに添付すなわちリンク形成することができる。
【０１６１】
３−２．物理オブジェクトに対するリンクの形成とリンク参照
情報空間１にインストールされた物理オブジェクト表面の各アイテムに対してリンク情報を登録することができること、及び、各アイテムからリンク情報を取り出すことができることは、既に言及した。ここでは、リンク情報の登録処理及びリンク情報の参照処理手順について詳解する。
【０１６２】
図１１には、物理オブジェクトの表面上にリンク情報を登録する処理手順をフローチャートの形式で図解している。但し、この場合の物理オブジェクトはパンフレットのような冊子とし、該パンフレットの所定のページ上にリンク情報を形成するものとする。以下、このフローチャートの各ステップについて説明する。
【０１６３】
まず、パンフレットの所望のページを開いてテーブル１１上に置く（ステップＳ１１）。
【０１６４】
パンフレットの各ページ上には、ページ識別子若しくはページ番号に相当するビジュアル・マーカーが添付されているものとする。したがって、テーブル１１の上空に配設されたカメラ１８／１９が開かれたページを撮像して（ステップＳ１２）、このビジュアル・マーカーを認識することで、ページ番号を識別することができる（ステップＳ１３）。
【０１６５】
ページ番号を認識した帰結として、当該ページは情報空間１にインストールされたことになる。したがって、このページを取り囲むようなオブジェクト・オーラが投影表示される。
【０１６６】
また、ビジュアル・マーカーは、識別情報だけでなく位置や向きに関する情報も与えることができるので、ビジュアル・マーカーを基準点にしてページ上に座標系を設定して、ページ上の各部位に対して座標位置（ｘ，ｙ）を付与することができる（図１２を参照のこと）。
【０１６７】
次いで、ユーザは、ハイパードラッグ操作を適用することで、テーブル１１や壁面１２上に散在するデジタル・オブジェクト（あるいは、未だコンピュータ・ディスプレイ上に存在するデジタル・オブジェクト）を、ページ上にドラッグ・アンド・ドロップする（ステップＳ１３）（図１３を参照のこと）。
【０１６８】
デジタル・オブジェクトがドロップされたページ上の場所は、ビジュアル・マーカーを基準位置として設定された座標系上の座標位置（ｘｄｒｏｐ，ｙｄｒｏｐ）として計測することができる。
【０１６９】
環境型コンピュータは、ドロップしたデジタル・オブジェクトの名前（例えばオブジェクト識別子）を、ページ識別子（若しくはページ番号）とドロップ先の座標位置（ｘｄｒｏｐ，ｙｄｒｏｐ）と関連付けて、データベース登録する（ステップＳ１５）。
【０１７０】
ページ上にドロップしたデジタル・オブジェクトをデータベース登録した帰結として、当該ページ上のドロップ先（ｘｄｒｏｐ，ｙｄｒｏｐ）にはリンクが形成されたことになる。以後、ページを情報空間１にインストールすると、該ページ上でリンク情報が埋め込まれた各場所には、視覚的なフィードバックとしてのオブジェクト・オーラが投影表示される（図１４を参照のこと）。また、リンク形成時には、テーブル上でのユーザ操作のバックグラウンドにおいて、デジタル・オブジェクトのエンティティであるデータ／ファイルの転送が適宜行われる。
【０１７１】
例えば、パンフレットの特定の記事に関連する情報を記述したデジタル・オブジェクトを、ページ上の該記事が印刷された部位に埋め込むことによって、後でパンフレットを閲覧するときに、より豊富な情報に容易且つ迅速にアクセスすることができる。例えば、商品の型番や写真などを印刷した場所に、その商品の３次元モデルをリンク情報として埋め込むこともできる。
【０１７２】
図１５には、物理オブジェクトの表面上に埋め込まれたリンク情報を実世界上に取り出す（すなわち実世界上でリンク参照する）ための処理手順をフローチャートの形式で図解している。但し、上述した場合と同様に、物理オブジェクトはパンフレットのような冊子とし、パンフレットの所定のページ上にリンク情報があらかじめ形成されているものとする。以下、このフローチャートの各ステップについて説明する。
【０１７３】
まず、パンフレットの所望のページを開いてテーブル１１上に置く（ステップＳ２１）。
【０１７４】
パンフレットの各ページ上には、ページ識別子若しくはページ番号に相当するビジュアル・マーカーが添付されているものとする。したがって、テーブル１１の上空に配設されたカメラ１８／１９が開かれたページを撮像して（ステップＳ２２）、ビジュアル・マーカーを認識することで、ページ番号を識別することができる（ステップＳ２３）。
【０１７５】
ページ番号を認識した帰結として、当該ページは情報空間１にインストールされたことになる。したがって、このページを取り囲むようなオブジェクト・オーラが投影表示される。
【０１７６】
当該ページには、リンク情報、すなわち、リンクされたデジタル・オブジェクトの名前（例えばオブジェクト識別子）と、ページ識別子（若しくはページ番号）と、リンク情報が埋め込まれた座標位置とからなるデータ・エントリが、既に幾つかデータベース登録されているものとする。このような場合には、ページが情報空間１にインストールされたことに応答して、該ページ上でリンク情報が埋め込まれた各場所には、視覚的なフィードバックとしてのオブジェクト・オーラが投影表示される（ステップＳ２４）（図１４を参照のこと）。
【０１７７】
ユーザは、ページ上の所望のオブジェクト・オーラに対してドラッグ・アンド・ドロップ操作を適用することによって、リンク情報としてのデジタル・オブジェクトをテーブル１１上に取り出して（すなわちＬＣＤプロジェクタ１３で投影表示して）、リンク情報を閲覧に供することができる（ステップＳ２５）（図１６を参照のこと）。リンク参照時には、テーブル上でのユーザ操作のバックグラウンドにおいて、デジタル・オブジェクトのエンティティであるデータ／ファイルの転送が適宜行われる。
【０１７８】
例えば、パンフレットの特定の記事に関連する情報を記述したデジタル・オブジェクトが、ページ上の該記事が印刷された部位にあらかじめ埋め込まれていれば、より豊富な情報に容易且つ迅速にアクセスすることができる。例えば、商品の型番や写真などを印刷した場所に、その商品の３次元モデルをリンク情報として埋め込まれていれば、ページ上に印刷されている商品の写真などを直接ドラッグ・アンド・ドロップ操作するという直感的な操作によって、該商品のリアリスティックな３次元グラフィックスをテーブル１１や壁面１２などの拡張デスクトップ上に投影表示させることができる。すなわち、ユーザは、Ｗｅｂページ画面上でアンカーからリンク先のページを引き出す場合と同じような操作感で、物理オブジェクト上の所定の部位からデジタル・オブジェクトを参照することができる訳である。
【０１７９】
紙パンフレットのような物理オブジェクトの表面にデジタル・オブジェクトへのリンク情報を埋め込むことによって、物理オブジェクトを一種のハイパーメディアとして取り扱うこともできる。すなわち、ユーザからは、ページ上の所定位置に情報が埋め込まれているように扱い、其処から随時情報を取り出すことができる。
【０１８０】
３−３．デジタル・オブジェクトの実世界ドラッグ・アンド・ドロップ
本実施例に係る情報空間１では、実世界がコンピュータ上のデジタル世界と深く融合した結果として、デジタル・オブジェクトを実世界上でドラッグ・アンド・ドロップ操作することができる。
【０１８１】
実世界ドラッグ・アンド・ドロップの一例は、「ハイパードラッグ」^[3]（前述）である。
【０１８２】
本明細書では、さらに、実世界ドラッグ・アンド・ドロップの他の例について紹介する。該例では、実世界上の特定のオブジェクト（ソース・オブジェクト）を指示して、これを所望のオブジェクト（デスティネーション・オブジェクト）に投入することによって、デスティネーション・オブジェクトが暗示する処理をソース・オブジェクトに対して適用することができる。
【０１８３】
例えば、まず、物理的なドキュメントで構成されるソース・オブジェクトを指示し、次いで、これをプリンタで構成されるデスティネーション・オブジェクトに投入することによって、ドキュメントのプリント動作が開始する。通常のコンピュータ・デスクトップ画面上では、文書ファイル・アイコンをプリンタ・アイコン上にドラッグ・アンド・ドロップして文書ファイルのプリント・ジョブを発行することができる。このようなＧＵＩ操作と同様のメタファを実世界上に提供することができる訳である。
【０１８４】
また、ＶＣＲテープ・カートリッジのように動画像を保存した物理オブジェクトをソース・オブジェクトとして指示し、これをテレビ・モニタのように動画像を再生する機器で構成されるデスティネーション・オブジェクトに投入することによって、デスティネーション・オブジェクト上での動画像再生が実行される。通常のコンピュータ・デスクトップ画面上では、動画像ファイル・アイコンをビューワ・アイコン上にドラッグ・アンド・ドロップして動画像を再生処理することができる。このようなＧＵＩ操作と同様のメタファを実世界上に提供することができる。
【０１８５】
実世界上に散在するオブジェクトを指示するために、図１７に示すようなハンディ・タイプのＩＤ（ビジュアル・マーカー）認識装置５０が導入される。
【０１８６】
ＩＤ認識装置５０は、ペン型デバイスのように、ユーザが片手で持って操作することができる程度の小型・軽量に構成されていることが好ましい。ＩＤ認識装置５０のＩＤ認識装置５０の先端部には、ビジュアル・マーカーなどの視覚的な識別情報を読み取るための読取部５１が配設されている。また、上面には、ユーザが認識内容の記録動作を付勢するための操作ボタン５２が配設されている。このボタン５２は、マウスの左ボタンに類似するものと理解されたい。また、ＩＤ認識装置５０の後端部には、電波や赤外線などの無線データ送信部５３が配設されている。
【０１８７】
このＩＤ認識装置５０における認識機構は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ：電荷結合素子）カメラ、バーコード・リーダ、ＲＦＴＡＧリーダなど、特に限定されない。また、ＩＤ認識装置５０は、無線ＬＡＮ若しくはその他の通信手段によって環境型コンピュータと接続されており、認識結果やユーザ操作内容を環境型コンピュータに転送するようになっている。
【０１８８】
図１８には、ＩＤ認識装置５０を用いた場合の、実世界上におけるオブジェクトのドラッグ・アンド・ドロップの処理手順をフローチャートの形式で示している。以下、このフローチャートの各ステップについて説明する。
【０１８９】
まず、ユーザは、ＩＤ認識装置５０の読取部５１をソース・オブジェクトのビジュアル・マーカー付近に向けながら、操作ボタン５２を押下する（ステップＳ３１）。
【０１９０】
ＩＤ認識装置５０は、ソース・オブジェクトのビジュアル・マーカーを撮像して、ソース・オブジェクトの識別情報を認識・識別するとともに、その識別情報を保存しておく（ステップＳ３２）。図４９には、ＩＤ認識装置５０によって、ソース・オブジェクトとしてのドキュメントに貼設されたビジュアル・マーカーを読み取る様子を描写している。
【０１９１】
次いで、操作ボタン５２を押下したままの状態で、今度は読取部５１をデスティネーション・オブジェクトのビジュアル・マーカー付近に向ける（ステップＳ３３）。
【０１９２】
ＩＤ認識装置５０は、デスティネーション・オブジェクトのビジュアル・マーカーを撮像して、デスティネーション・オブジェクトの識別情報を認識・識別するとともに、その識別情報を保存しておく（ステップＳ３４）。図５０には、ＩＤ認識装置５０によって、デスティネーション・オブジェクトとしてのプリンタに貼設されたビジュアル・マーカーを読み取る様子を描写している。
【０１９３】
その後、操作ボタン５２を解放すると（ステップＳ３５）、ＩＤ認識装置５０は、蓄積しておいたソース・オブジェクト及びデスティネーション・オブジェクト双方の識別情報を、情報空間１内に設置された環境型コンピュータに対して転送する（ステップＳ３６）。
【０１９４】
環境型コンピュータは、受信した各ＩＤを基にユーザが意図する処理を適切に判別するために、以下に示すようなオブジェクト−タイプ対応表と、命令表とを備えている。
【０１９５】
【表１】

【０１９６】
［表１］に示すように、オブジェクト−タイプ対応表は、各オブジェクトが持つタイプ若しくは種別を記述したテーブルであり、左欄にはオブジェクトの識別情報が、右欄には対応するタイプが書き込まれる。同表に示す例では、オブジェクト識別子が１０１及び１０２のオブジェクトはいずれもドキュメント・タイプであり、オブジェクト識別子が１２０のオブジェクトはプリンタとなっている。
【０１９７】
【表２】

【０１９８】
［表２］に示すように、命令表は、ソース・オブジェクト及びデスティネーション・オブジェクトそれぞれのタイプの組み合わせに対してとるべきアクション（すなわちデスティネーション・オブジェクト）に対する命令を記述したテーブルである。同表に示す例では、ソース・オブジェクト及びデスティネーション・オブジェクトのタイプがそれぞれドキュメント及びプリンタである場合には、対応するアクションは、「ソース・オブジェクトをデスティネーション・オブジェクトからプリント出力せよ（ＰＲＩＮＴ ＳＯＵＲＣＥ ＦＲＯＭ ＤＥＳＴ）」となっている。
【０１９９】
したがって、環境型コンピュータは、受信したソース・オブジェクト及びデスティネーション・オブジェクトそれぞれのＩＤを、オブジェクト−タイプ対応表で検索して、各々のタイプを特定する。さらに、命令表を検索して、タイプの組み合わせに対応するアクションの定義を取得することができる（ステップＳ３７）。
【０２００】
そして、環境型コンピュータは、対応するアクションを実行せしめる（ステップＳ３８）。
【０２０１】
要するに、図１８に示す処理手順に従えば、実世界上に拡張された仮想的なドラッグ・アンド・ドロップ操作を、現実の物理オブジェクトに対して適用することによって、物理オブジェクトに対して処理を適用することができる訳である。上述した処理手順は、コンピュータ・デスクトップ画面上における直感的なＧＵＩ操作のメタファを実世界に対して与えるものである。
【０２０２】
３−４．仮想カメラ
実世界上における「カメラ」は、実在する物理オブジェクトの撮像画像を生成し提供する装置である。
【０２０３】
本実施例に係る情報空間１では、実在する物理オブジェクトと、仮想的な（すなわち実体はコンピュータのデジタル空間上にしか存在しない）デジタル・オブジェクトとが、実世界上に混在する。実世界上のカメラは、物理オブジェクトを撮像することはできるが、デジタル・オブジェクトを撮像することはできない。
【０２０４】
そこで、本実施例では、ハイパードラッグなどの直接対話技法により実世界上に飛び出してきたデジタル・オブジェクトを実世界上で撮像することができる「仮想カメラ」なる概念を導入している。仮想カメラは、例えば、テーブル１１上にレイアウトされたデジタル・オブジェクトを任意の位置及び方向で「撮像」して、該位置及び方向から撮像された風景すなわち３次元シーンを提供することができる。
【０２０５】
仮想カメラは、現実の撮像能力を持つカメラである必要は全くなく、仮想カメラとして情報空間１内にインストールされる物理オブジェクトであれば充分である。図１９には、仮想カメラ６０の一例について外観を示している。同例では、撮像するというメタファを視覚的に与えるために、現実のカメラに類似した形状を有する「カメラ模型」である。このカメラ模型６０は、情報空間１に円滑にインストールされるべく、その上面にビジュアル・マーカーが貼設されている。また、カメラ模型６０の前面には、カメラ・レンズを模した円筒状突起が配設されている。ビジュアル・マーカーは識別情報の他に位置・向きに関する情報を与えるので（前述）、環境型コンピュータは、カメラ模型６０をインストールするときに、カメラ・レンズすなわち撮像方向を特定することができる。
【０２０６】
図２０には、カメラ模型６０がテーブル１１上にレイアウトされたデジタル・オブジェクトをある所定の位置及び方向で「撮像」する様子を描写している。
【０２０７】
同図に示す例では、カメラ模型６０が設置されたテーブル１１上には、円柱、直方体、円錐など各立体形状を持つデジタル・オブジェクトが散在している。ＬＣＤプロジェクタ１３（図２０では図示しない）は、これらデジタル・オブジェクトの上面図をテーブル１１上に投影表示している。
【０２０８】
カメラ模型６０をテーブル１１上に設置すると、カメラ１８／１９がこれを撮像する。環境型コンピュータは、カメラ模型６０に貼設されたビジュアル・マーカーを基にして、設置された物理オブジェクトがカメラ模型６０であることを認識する（すなわち、カメラ模型６０が情報空間１にインストールされる）。さらに、ビジュアル・マーカーが持つ位置及び向き情報を基にして、カメラ模型６０の撮像方向が矢印Ｄに示す方向であることを特定する。
【０２０９】
環境型コンピュータは、情報空間１内に配設されたすべてのオブジェクトの情報を把握している。すなわち、環境型コンピュータは、現在テーブル１１上に存在している各デジタル・オブジェクトについての、表示位置情報や３次元図形情報（描画情報）を管理している。
【０２１０】
環境型コンピュータは、カメラ模型６０の設置位置と撮像方向Ｄを認識すると、これらを視点情報として用いることによって、テーブル１１上の各デジタル・オブジェクトをその位置及び方向から撮像したときに得られる画像を、３次元コンピュータ・グラフィックス処理によって生成する。図２０に示す場合であれば、図２１に示ような立体画像が得られることになる。
【０２１１】
得られた３次元シーンは、例えばＬＣＤプロジェクタ１４を用いて、テーブル１１や壁面１２上の所望の場所に投影表示することができる。あるいは、ネットワーク１５経由で他のコンピュータ（例えばユーザ・コンピュータ）に画像情報を転送して、そのコンピュータ・スクリーン上に３次元シーンを表示するようにしてもよい。
【０２１２】
さらに、カメラ模型６０の設置位置を図２０の破線で示す位置に移動すると、カメラ１８／１９がこれを撮像し、カメラ模型６０は移動先の場所にて情報空間１に再インストールされる。また、環境型コンピュータは、カメラ模型６０が移動先の場所での撮像方向Ｄ'を認識して、これらを視点情報として用いることで、図２２に示すような新しい３次元シーンを再生成する。生成された３次元シーンは、テーブル１１や壁面１２の所望の場所に投影表示したり、あるいはユーザ・コンピュータのディスプレイ上に表示する。
【０２１３】
図２３には、仮想カメラによる撮像画像を処理する手順をフローチャートの形式で示している。以下、このフローチャートの各ステップについて説明する。
【０２１４】
まず、カメラ模型６０をテーブル１１上の任意の場所に設置すると（ステップＳ４１）、カメラ１８／１９がこれを撮像する（ステップＳ４２）。
【０２１５】
環境型コンピュータは、カメラ模型６０に貼設されたビジュアル・マーカーを基にして、設置された物理オブジェクトがカメラ模型６０であることを認識する（すなわち、カメラ模型６０が情報空間１にインストールされる）（ステップＳ４３）。さらに、ビジュアル・マーカーが持つ位置及び向き情報を基にして、カメラ模型６０の撮像方向が矢印Ｄに示す方向であることを特定する。
【０２１６】
次いで、環境型コンピュータは、カメラ模型６０の設置位置と撮像方向Ｄを視点情報として、テーブル１１上の各デジタル・オブジェクトをその位置及び方向から撮像したときに得られる画像を、３次元コンピュータ・グラフィックス処理によって生成する（ステップＳ４４）。
【０２１７】
得られた３次元シーンは、例えばＬＣＤプロジェクタ１４を用いて、テーブル１１や壁面１２の所望の場所に投影表示することができる（ステップＳ４４）。あるいは、ネットワーク１５経由で他のコンピュータ（例えばユーザ・コンピュータ）に画像情報を転送して、そのコンピュータ・スクリーン上に３次元シーンを表示するようにしてもよい。
【０２１８】
３−５．レーザ・ポインタを用いたデジタル・オブジェクトの移動
「ハイパードラッグ」、すなわち、デジタル・オブジェクトを実世界上で操作するための座標指示手段として、各ユーザ・コンピュータのマウス・カーソルを用いることができる（前述）。「マウス」というユーザ入力装置は、コンピュータ業界に深く浸透しており、既に多くのユーザがその操作方法を習熟している優れた座標指示装置である。但し、マウスは本来、コンピュータにネイティブのディスプレイ・スクリーン上のオブジェクトを操ることを想定してデザインされたものであり、実世界上に拡張された広い作業空間をカーソル移動させたり、遠方のオブジェクトを指示するには、必ずしも適当ではない場面もあろう。
【０２１９】
そこで、本実施例では、実世界上のオブジェクト操作用のデバイスとして、レーザ・ポインタを使用することにした。レーザ・ポインタは、そもそも、プレゼンテーションなどの場面において、発表者が比較的距離のある対象物を容易に指し示すことができるようにデザインされた指示装置である。
【０２２０】
本発明者等は、レーザ・ポインタを用いて実世界上のオブジェクトをドラッグ・アンド・ドロップ操作する対話技法のことを、特に”Ｐｉｃｋ−ａｎｄ−Ｂｅａｍ”と呼んでいる。Ｐｉｃｋ−ａｎｄ−Ｂｅａｍにおけるクリック操作は、例えばレーザ・ビームの点滅操作によって表現することができる。
【０２２１】
例えば、ユーザは、テーブル１１上に投影表示されたデジタル・オブジェクトをレーザ・ポインタでクリックし（図２４を参照のこと）、次いで、壁面１２上をレーザ・ポインタで指示することによって、所望のデジタル・オブジェクトをテーブル１１から壁面１２へ移動させることができる（図２５を参照のこと）。図示しないが、勿論、壁面１２からテーブル１１へオブジェクトを移動させることも可能である。
【０２２２】
すなわち、レーザ・ポインタというデバイスを介して、デジタル・オブジェクトをテーブル１１上から「拾い上げ」（ｐｉｃｋ）、さらに壁面１２上をビーム（ｂｅａｍ）するような感覚を、ユーザに与えることができる。
【０２２３】
前述したＰｉｃｋ−ａｎｄ−Ｄｒｏｐ^[2]は、ユーザの手の届く範囲に限りペンによって情報すなわちオブジェクトを移動させる対話操作であった。これに対し、Ｐｉｃｋ−ａｎｄ−Ｂｅａｍは、ユーザから離れた場所にオブジェクトを容易に移動させることができる。
【０２２４】
Ｐｉｃｋ−ａｎｄ−Ｂｅａｍ操作では、実世界上に存在する物理オブジェクトやデジタル・オブジェクトの他に、レーザ・ポインタが出力するビーム・スポットを認識する必要がある。このため、本実施例に係る情報空間１では、通常の可視光を検出する固定カメラ１８及びチルト／パン・カメラ１９に加えて、さらに、１以上の赤色フィルタ付きカメラ４１Ａ，４１Ｂ…を導入している（前述）。ここで用いられる「赤色フィルタ」は、レーザ・ポインタの出力光の波長付近のみを透過する光学フィルタで構成される。
【０２２５】
図２６には、レーザ・ポインタを用いて実世界上のオブジェクトをドラッグ・アンド・ドロップ操作する対話技法すなわちＰｉｃｋ−ａｎｄ−Ｂｅａｍのうち、オブジェクトをＰｉｃｋする処理手順をフローチャートの形式で示している。以下、このフローチャートの各ステップについて説明する。
【０２２６】
まず、実世界上に存在するデジタル・オブジェクト、すなわちテーブル１１又は壁面１２に投影表示されているデジタル・オブジェクトに、レーザ・ポインタのビーム光を当てて、点滅させる（ステップＳ５１）。
【０２２７】
環境型コンピュータは、赤色フィルタ付きカメラ４１による撮像画像を基に、テーブル１１又は壁面１２上でのレーザ・ビーム光の点滅を認識する（ステップＳ５２）（図２４を参照のこと）。
【０２２８】
環境型コンピュータは、レーザ・ビーム光の点滅を、デジタル・オブジェクトに対するクリック操作として解釈する。そして、デジタル・オブジェクトを記録しておく（ステップＳ５３）。デジタル・オブジェクトの記録の際、必要であれば、コンピュータ間でデジタル・オブジェクトのエンティティであるデータ／ファイルの転送が行われる。
【０２２９】
また、図２７には、レーザ・ポインタを用いて実世界上のオブジェクトをドラッグ・アンド・ドロップ操作する対話技法すなわちＰｉｃｋ−ａｎｄ−Ｂｅａｍのうち、オブジェクトをＢｅａｍする処理手順をフローチャートの形式で示している。以下、このフローチャートの各ステップについて説明する。
【０２３０】
まず、実世界上でデジタル・オブジェクトが存在しない場所、すなわち壁面１２又はテーブル１１上でデジタル・オブジェクトが投影表示されていない場所に、レーザ・ポインタのビーム光を照射する（ステップＳ６１）。
【０２３１】
赤色フィルタ付きカメラ４１は、テーブル１１又は壁面１２上でのレーザ・ビーム光の点灯位置を認識する（ステップＳ６２）。
【０２３２】
環境型コンピュータは、デジタル・オブジェクトが存在しない場所におけるレーザ・ビーム光の点灯操作を、デジタル・オブジェクトの移動又はドロップ操作として解釈する。そして、Ｐｉｃｋ操作のときにあらかじめ記録されたデジタル・オブジェクト（ステップＳ５３）を、ＬＣＤプロジェクタ１３又は１４を表示制御するコンピュータ・システム１６又は１７に対してネットワーク転送する（ステップＳ６３）。
【０２３３】
デジタル・オブジェクトを受信したコンピュータ・システム１６又は１７は、レーザ・ビーム光の点灯位置に、デジタル・オブジェクトを投影表示する（ステップＳ６４）（図２５を参照のこと）。
【０２３４】
図２８には、実世界上でレーザ・ポインタによって指示される位置すなわちレーザ・ビーム光の点灯位置を認識する処理手順をフローチャートの形式で示している。以下、このフローチャートの各ステップについて説明する。
【０２３５】
赤色フィルタ付きカメラ４１は、テーブル１１や壁面１２などの実世界を撮影している（ステップＳ７１）。赤色フィルタ付きカメラ４１は、レーザ・ポインタの出力光の波長付近のみの入射光で構成される撮像画像を供給する。
【０２３６】
赤色フィルタ付きカメラ４１の撮像画像中で、最も高輝度の点における輝度値が所定の閾値を超えているか否かを判別する（ステップＳ７２）。
【０２３７】
もし所定の閾値を超えている点があれば、その点をレーザ・ビーム光の点灯位置として認識する（ステップＳ７３）。そして、ステップＳ７１に復帰して、次にレーザ・ビーム光が点灯するまで待機する。
【０２３８】
また、赤色フィルタ付きカメラ４１の撮像画像中に所定の閾値を超える点がない場合には、レーザ・ポインタは何も指示していないものとして、ステップＳ７１に復帰して、上述と同様の処理を繰り返す。
【０２３９】
３−６．実世界上におけるデジタル・オブジェクト対するその他の操作
上述したように、本発明に係る情報空間１上では、物理的な実空間とコンピュータ上のデジタル空間とが深く融合し合うことによって、デジタル・オブジェクトを実世界上で操作することができる。また、実世界上でのオブジェクト操作には、コンピュータすなわちデジタル空間のＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）向けに開発された直接的な対話技法（ｄｉｒｅｃｔ ｍａｎｉｐｕｌａｔｉｏｎ）の概念が導入される。
【０２４０】
この項では、直接的な対話技法に従った実世界上でのオブジェクト操作手法に関する上記以外の例について紹介する。
【０２４１】
（１）レーザ・ポインタを用いた実世界上でのリンク参照
印刷されたパンフレットなどを始めとする物理オブジェクトの表面上にデジタル・オブジェクトへのリンク情報を形成したり（図１２〜図１４を参照のこと）、リンク情報を実世界上で参照する（図１６を参照のこと）ことができることは、既に述べた通りである。
【０２４２】
既述した例では、実世界上でのリンク参照、すなわち物理オブジェクト表面からデジタル・オブジェクトを取り出す操作は、コンピュータに標準装備されたマウスなどの座標指示装置を用いてハイパードラッグすることによって行われる。他方、実世界上におけるデジタル・オブジェクトの操作は、レーザ・ポインタを用いて行うことができる（図２４及び図２５を参照のこと）。
【０２４３】
そこで、ここでは、レーザ・ポインタを用いたリンク参照という対話技法について紹介する。図２９には、レーザ・ポインタを用いてリンク参照するための処理手順をフローチャートの形式で示している。
【０２４４】
まず、パンフレットの所望のページを開いてテーブル１１上に置く（ステップＳ８１）。
【０２４５】
パンフレットの各ページ上には、ページ識別子若しくはページ番号に相当するビジュアル・マーカーが添付されているものとする。したがって、テーブル１１の上空に配設されたカメラ１８／１９が現在開かれているページを撮像して（ステップＳ８２）、ビジュアル・マーカーを認識することで、ページ番号を識別することができる（ステップＳ８３）。
【０２４６】
ページ番号を認識した帰結として、当該ページは情報空間１にインストールされたことになる。したがって、このページを取り囲むようなオブジェクト・オーラが投影表示される（図１２を参照のこと）。
【０２４７】
当該ページには、リンク情報、すなわち、リンクされたデジタル・オブジェクトの名前（例えばオブジェクト識別子）と、ページ識別子（若しくはページ番号）と、リンク情報が埋め込まれた座標位置とからなるデータ・エントリが、既に幾つかデータベース登録されているものとする。このような場合には、ページが情報空間１にインストールされたことに応答して、該ページ上でリンク情報が埋め込まれた各場所には、視覚的なフィードバックとしてのオブジェクト・オーラが投影表示される（ステップＳ８４）（図１４を参照のこと）。
【０２４８】
ユーザは、ページ上の所望のリンク情報に該当するオブジェクト・オーラを、レーザ・ポインタの出力ビーム光で照射したまま、テーブル１１上までドラッグする（ステップＳ８５）（図３０を参照のこと）。
【０２４９】
環境型コンピュータは、赤色フィルタ付きカメラ４１による撮像画像を基に、パンフレットのページからテーブル１１上に跨って行われたレーザ・ビーム光のドラッグを認識する（ステップＳ８６）。
【０２５０】
そして、環境型コンピュータは、ドラッグされたリンク情報に相当するデジタル・オブジェクトを、ＬＣＤプロジェクタ１３を表示制御するコンピュータ・システム１６にネットワーク転送する（ステップＳ８７）。
【０２５１】
デジタル・オブジェクトを受信したコンピュータ・システム１６は、テーブル１１上でレーザ・ビーム光をドロップした場所に、リンク情報としてのデジタル・オブジェクトを投影表示する（ステップＳ８８）（図３１を参照のこと）。
【０２５２】
この結果、ユーザは、ページ上の所望のオブジェクト・オーラに対してレーザ・ポインタを用いてドラッグ・アンド・ドロップ操作を適用することによって、リンク情報としてのデジタル・オブジェクトをテーブル１１上に取り出して（すなわちＬＣＤプロジェクタ１３で投影表示して）、リンク情報を参照することができる訳である。
【０２５３】
パンフレットの特定の記事に関連する情報を記述したデジタル・オブジェクトが、ページ上の該記事が印刷された部位にあらかじめ埋め込まれていれば、より豊富な情報に容易且つ迅速にアクセスすることができる。例えば、商品の型番や写真などを印刷した場所に、その商品の３次元モデルをリンク情報として埋め込まれていれば、ページ上に印刷されている商品の写真などを直接ドラッグ・アンド・ドロップ操作するという直感的な操作によって、該商品のリアリスティックな３次元グラフィックスをテーブル１１や壁面１２などの拡張デスクトップ上に投影表示させることができる。すなわち、ユーザは、Ｗｅｂページ画面上でアンカーからリンク先のページを引き出す場合と同じような操作感で、物理オブジェクト上の所定の部位からデジタル・オブジェクトを参照することができる訳である。
【０２５４】
（２）デジタル空間からの３次元モデルの取り出し
既に述べたように、実世界上の空間とデジタル空間とが深く融合した情報空間１においては、デジタル空間上のＧＵＩ向けに開発された直接的な対話技法が実空間上にも拡張される。例えば、コンピュータ・ディスプレイ上で行うドラッグ・アンド・ドロップ操作を実世界上に継承するハイパードラッグ操作（図７を参照のこと）が可能である。
【０２５５】
ハイパードラッグの操作対象は、アプリケーションやファイルなどを象徴するいわゆる「アイコン」のような２次元的な表示オブジェクトに限定されない。例えば、ユーザ・コンピュータ上に保存された３次元モデル（あるいは、コンピュータ上で３次元グラフィックス処理により自動生成された３次元モデル）であっても、ハイパードラッグの操作対象となり得る。
【０２５６】
図３２には、ユーザ・コンピュータ上に存在する３次元モデルを実世界上に取り出すための処理手順をフローチャートの形式で示している。以下、このフローチャートの各ステップについて説明する。
【０２５７】
まず、ユーザは、自分の携帯型コンピュータテーブル１１上に置く（ステップＳ９１）。
【０２５８】
携帯型コンピュータの表面には、識別情報を表示するビジュアル・マーカーが添付されている。したがって、テーブル１１の上空に配設されたカメラ１８／１９が携帯型コンピュータを撮像して（ステップＳ９２）、このビジュアル・マーカーを認識することで、携帯型コンピュータを識別することができる（ステップＳ９３）。
【０２５９】
ビジュアル・マーカーが持つ識別情報を認識した帰結として、当該携帯型コンピュータは情報空間１にインストールされたことになる。これに応答して、当該携帯型コンピュータを取り囲むようなオブジェクト・オーラを投影表示してもよい。
【０２６０】
また、ビジュアル・マーカーは、識別情報だけでなく位置や向きに関する情報も与えることができるので、ビジュアル・マーカーを基準点にして座標系を設定することができる。
【０２６１】
次いで、ユーザは、自分の携帯型コンピュータ上で、所望の３次元モデルを検索する（ステップＳ９４）。あるいは、所望の３次元モデルをコンピュータ・グラフィックス処理により自動生成してもよい。
【０２６２】
さらに、ユーザは、ハイパードラッグのような直接的な対話技法を用いて、見つけ出された３次元モデルをテーブル１１上にドラッグ・アンド・ドロップする（ステップＳ９５）。
【０２６３】
テーブル１１上へのドロップ操作に応答して、そのバックグラウンドでは、携帯型コンピュータから環境型コンピュータへ、３次元モデルに関する描画情報がデータ転送される（ステップＳ９６）。
【０２６４】
描画情報を受信した環境型コンピュータは、ＬＣＤプロジェクタ１３を駆動制御して、テーブル上のドロップされた場所に３次元モデルを投影表示する（ステップＳ９７）。
【０２６５】
図３３には、携帯型コンピュータ上に保存された（又は、携帯型コンピュータ上で生成した）３次元モデルを、コンピュータ・デスクトップから取り出してテーブル１１上に投影表示する様子を描写している。このような３次元モデルのデジタル空間から実世界への取り出しは、例えば、「ハイパードラッグ」のような直接的な対話技法に従って行うことができる。３次元モデルを取り出すためのユーザ操作を以下に簡単に説明しておく。
【０２６６】
（ａ）ユーザは、所望の３次元モデルを、コンピュータ・スクリーン上で検索し選択する。そして、見つけ出した３次元オブジェクトをマウス・カーソルで選択し、該スクリーンの周縁に向かってドラッグする。
（ｂ）カーソルがコンピュータ・スクリーンの周縁に到達すると、マウス・カーソルはコンピュータ・スクリーンから飛び出して、コンピュータが載置されているテーブル１１へと移動する。
（ｃ）この間、マウス・カーソルがオブジェクトを把持したままの状態であれば、ドラッグ操作そのものがテーブル１１上に継承され（すなわち、「ハイパードラッグ」され）、３次元モデルがテーブル１１上に投影表示される。
（ｄ）テーブル１１上にハイパードラッグされた３次元モデルと元の携帯型コンピュータとの間に、「アンカー・カーソル」を表示して、３次元モデルの源を視覚的にフィードバックするようにしてもよい。
【０２６７】
（３）ビジュアル・マーカーからのデジタル・オブジェクトの取り出し
本実施例に係る情報空間１では、全てのデジタル・オブジェクトは、環境型コンピュータ上に蓄積されているか、又は、ネットワーク１５経由のデータ転送により環境型コンピュータが取得することができる。
【０２６８】
また、本実施例に係る情報空間１上では、各オブジェクト上に貼設されたビジュアル・マーカー（より具体的にはビジュアル・マーカーが持つ識別情報）によって、オブジェクトを一意に特定することができる。
【０２６９】
これらの応用技術として、例えば図１７に示すようなＩＤ認識装置５０で読み取られたビジュアル・マーカーに対応するデジタル・オブジェクトをデジタル空間上に取り出す（又は、デジタル空間上にハイパードラッグする）、という直接的な対話技法が考案される。
【０２７０】
図３４及び図３５には、ビジュアル・マーカーによって特定されるデジタル・オブジェクトをデジタル空間上にハイパードラッグする様子を描写している。
【０２７１】
まず、図３４に示すように、ユーザは、ペン型のＩＤ認識装置５０を手に持ち、操作ボタン５２を押下しながら、先端部（すなわち読取部５１）を所望の物理オブジェクト上に貼設されたビジュアル・マーカーに向けて、読取動作を行う。図３４に示す例では、物理オブジェクトはＩＣカードであるが、特にこれに限定されない。
【０２７２】
ＩＤ認識装置５０内では、ビジュアル・マーカーを撮像して、ソース・オブジェクトの識別情報を認識・識別処理が行われる。識別情報は、操作ボタン５２を押下している間、ＩＤ認識装置５０内に保存される。
【０２７３】
次いで、ユーザは、操作ボタン５２を押下したまま、ＩＤ認識装置５０の先端部を自分の携帯型コンピュータのディスプレイ・スクリーンに向ける。さらに、ユーザが操作ボタン５２を解放すると、図３５に示すように、ビジュアル・マーカー（又は、元の物理オブジェクトであるＩＣカード）に対応するデジタル・オブジェクトが、ディスプレイ・スクリーン上にハイパードラッグされる。図３５に示す例では、ＩＣカードに対応するデジタル・オブジェクトは、ＩＣカードの正面画像オブジェクトであるが、特にこれに限定されない（例えば、ＩＣカードに関連するＩＣカードの所有者プロファイルなどの属性情報であってもよい）。
【０２７４】
図３６には、ビジュアル・マーカーによって特定されるデジタル・オブジェクトをデジタル空間上にハイパードラッグするための処理手順をフローチャートの形式で示している。以下、このフローチャートの各ステップについて説明する。
【０２７５】
まず、ユーザは、ＩＤ認識装置５０の先端部（読取部５１）を物理オブジェクト（図３４の例では、ユーザが所有するＩＣカード）のビジュアル・マーカー付近に向けながら、操作ボタン５２を押下する（ステップＳ１０１）。
【０２７６】
ＩＤ認識装置５０は、ソース・オブジェクトのビジュアル・マーカーを撮像して、物理オブジェクト（ＩＣカード）の識別情報（ＩＤ）を認識・識別するとともに、その識別情報を保存しておく（ステップＳ１０２）。
【０２７７】
次いで、ユーザは、操作ボタン５２を押下したままの状態で、ＩＤ認識装置５０の先端部（読取部５１）を、ユーザの携帯型コンピュータのディスプレイ・スクリーン表面付近に向ける（ステップＳ１０３）。但し、ユーザの携帯型コンピュータ自体は、所定の処理手順に従って、既に情報空間１内にインストールされているものとする。
【０２７８】
ユーザが操作ボタン５２を解放すると（ステップＳ１０４）、ＩＤ認識装置５０は、蓄積しておいた物理オブジェクト（すなわちＩＣカード）の識別情報を、情報空間１内に設置された環境型コンピュータに対して転送する（ステップＳ１０５）。
【０２７９】
環境型コンピュータは、受信した識別情報を基に、ユーザが指定したデジタル・オブジェクトを特定して、これをユーザの携帯型コンピュータに転送する（ステップＳ１０６）。
【０２８０】
そして、携帯型コンピュータのディスプレイ・スクリーン上では、転送されてきたデジタル・オブジェクト（図３５に示す例では、物理オブジェクトとしてのＩＣカードの正面画像）が表示される（ステップＳ１０７）。
【０２８１】
上述したような処理手順に従えば、物理オブジェクトからデジタル空間へ、所望のデジタル・オブジェクトをハイパードラッグする、という直接的な対話技法が実現される。
【０２８２】
（４）実世界上のオブジェクトのデジタル空間への取り込み
コンピュータ・デスクトップ上のＧＵＩ操作向けに開発された対話技法の１つとして、いわゆる範囲指定が挙げられる。すなわち、ＧＵＩ画面上において、マウス・カーソルをドラッグすることによって矩形領域を描いて、該領域中のデータ又はオブジェクトをコピー又は切り取りの対象として指定することができる。
【０２８３】
実世界とデジタル空間とが深く融合した情報空間１においては、テーブル１１表面や壁面１２など実空間上に展開された拡張ディスプレイ上においても、このようなオブジェクトの「範囲指定」操作を行うことができる。さらに、範囲指定された領域をカメラ１８／１９で撮像して、範囲指定された領域の画像を、ハイパードラッグなどの直接的対話技法を用いてデジタル・オブジェクトとしてデジタル空間内に取り込むことができる。
【０２８４】
図３７〜図３９には、実世界上のオブジェクトをデジタル空間へ取り込む様子を描写している。
【０２８５】
図３７に示すように、ユーザがテーブル１１上に自分の携帯型コンピュータを設置すると、カメラ１８／１９がこれを撮像し、環境型コンピュータは貼設されたビジュアル・マーカーを識別して携帯型コンピュータを情報空間１内にインストールする。また、携帯型コンピュータを取り囲むようなオブジェクト・オーラが投影表示される。
【０２８６】
ユーザは、ハイパードラッグ操作により、マウス・カーソルをディスプレイ・スクリーンを飛び越えて、テーブル上まで移動させることができる。さらに、テーブル上に置かれた所定の物理オブジェクト（図３７に示す例では「名刺」）を取り囲むようにカーソルをドラッグさせる。
【０２８７】
一連のドラッグ操作はカメラ１８／１９が撮像しているので、環境型コンピュータは、ハイパードラッグによって指定された領域を認識することができる。環境型コンピュータは、認識した指定領域を取り囲むような「ラバーバンド」を投影表示させることによって、ユーザに対して視覚的なフィードバックを与えることができる。
【０２８８】
ラバーバンドで囲まれた領域の撮像画像は、デジタル・オブジェクトとして情報空間１内に取り込まれている。したがって、ユーザは、ラバーバンド領域内の画像をハイパードラッグすることができる（図３８を参照のこと）。
【０２８９】
さらに、ラバーバンドで囲まれた画像をハイパードラッグして、携帯型コンピュータのディスプレイ・スクリーン上にドロップすることによって、このデジタル・オブジェクトを携帯型コンピュータ内に取り込むことができる。この結果、デジタル・オブジェクトがディスプレイ・スクリーン上に表示される（図３９を参照のこと）。また、このような対話的操作のバックグラウンドでは、オブジェクト・エンティティ（この場合は、名刺のイメージや名刺に関連するその他情報など）が、環境型コンピュータから携帯型コンピュータに向かってネットワーク転送される。
【０２９０】
図４０には、実世界上のオブジェクトをデジタル空間へ取り込むための処理手順をフローチャートの形式で示している。以下、このフローチャートの各ステップについて説明する。
【０２９１】
まず、ユーザは、自分の携帯型コンピュータをテーブル１１上に置く（ステップＳ１１１）。
【０２９２】
携帯型コンピュータの表面には、識別情報を表示するビジュアル・マーカーが添付されている。したがって、テーブル１１の上空に配設されたカメラ１８／１９が携帯型コンピュータを撮像して（ステップＳ１１２）、このビジュアル・マーカーを認識することで、携帯型コンピュータを認識・識別することができる（ステップＳ１１３）。
【０２９３】
ビジュアル・マーカーが持つ識別情報を認識した帰結として、当該携帯型コンピュータは情報空間１にインストールされたことになる。これに応答して、当該携帯型コンピュータを取り囲むようなオブジェクト・オーラをテーブル１１上に投影表示してもよい。
【０２９４】
また、ビジュアル・マーカーは、識別情報だけでなく位置や向きに関する情報も与えることができるので、ビジュアル・マーカーを基準点にして座標系を設定することができる。
【０２９５】
情報空間１にインストールされた携帯型コンピュータ上では、直接的な対話技法であるＧＵＩ操作を実世界の拡張ディスプレイ上でも行うことができる。すなわち、マウス・カーソルは、ディスプレイ・スクリーン上から飛び出して、テーブル１１上などの実世界に移動することができる。携帯型コンピュータと実世界上のマウス・カーソルとの間にはアンカー・カーソルが投影表示されて、ユーザには視覚的にフィードバックが与えられる。
【０２９６】
ここで、ユーザは、アンカー・カーソルを用いて、所望の物理オブジェクト（図３７に示す例では「名刺」）を範囲指定することができる（ステップＳ１１４）。
【０２９７】
テーブル１１上でのユーザ操作はカメラ１８／１９によって追跡されており、環境型コンピュータは、アンカー・カーソルによって領域指定操作を認識することができる。そして、環境型コンピュータは、テーブル１１上で範囲指定された領域（図３７に示す例では「名刺」）を、ラバーバンドで囲んで、ユーザに対して視覚的なフィードバックを与える（ステップＳ１１５）。
【０２９８】
ラバーバンドで囲まれた領域の撮像画像は、デジタル・オブジェクトとして情報空間１内に取り込まれている。したがって、ユーザは、ラバーバンド領域内の画像、すなわちデジタル・オブジェクトをハイパードラッグすることができる（ステップＳ１１６）（図３８を参照のこと）。このようなユーザ操作は、カメラ１８／１９が撮像しているので、環境型コンピュータが認識することができる。
【０２９９】
さらに、ラバーバンドで囲まれた画像をハイパードラッグして、携帯型コンピュータのディスプレイ・スクリーン上にドロップする（Ｓ１１７）。
【０３００】
環境型コンピュータは、カメラ１８／１９の撮像画像を通して、このようなドロップ操作を認識すると、該当するデジタル・オブジェクトのエンティティ（この場合は、名刺のイメージや名刺に関連するその他情報など）を、携帯型コンピュータに向けて、ネットワーク１５経由でデータ転送する（ステップＳ１１８）。
【０３０１】
デジタル・オブジェクトを受け取った携帯型コンピュータでは、ディスプレイ・スクリーン上にデジタル・オブジェクトを表示して、視覚的なフィードバックを与えることができる（ステップＳ１１９）（図４０を参照のこと）。
【０３０２】
（５）プリント・アウト
コンピュータ・デスクトップ上における代表的なＧＵＩ操作の１つとして、オブジェクト・アイコン上にデータ・アイコンをドロップすることによって、データに対してオブジェクトが持つ処理若しくはメソッドを適用するという対話技法が広く知られている。
【０３０３】
例えば、デスクトップ上で、プリンタ・アイコン上にドキュメント・アイコンをドロップすることによって、当該ドキュメントのプリントジョブを発行することができる。また、ゴミ箱（又は「シュレッダ」）アイコン上にドキュメント・アイコンをドロップすることによって、ドキュメントを、ローカル・ディスクから廃棄又は消去してしまうことができる。
【０３０４】
実世界とデジタル空間とが深く融合した情報空間１では、本来はＧＵＩ向けに開発された直接的な対話技法を、実世界上に導入することができる。
【０３０５】
例えば、図４１に示すように、テーブル１１上には、ユーザの携帯型コンピュータの他、プリンタやゴミ箱、各種ドキュメントに相当する印刷用紙などが、物理オブジェクトとして散在している。各々の物理オブジェクトにはビジュアル・マーカーが添付されているので、テーブル１１上空に設置されたカメラ１８／１９の撮像画像を通して環境型コンピュータによって認識・識別され、情報空間１内にインストールすることができる。
【０３０６】
図４１上では図面の錯綜防止のため描いていないが、プリンタやゴミ箱に相当する用紙上には、ビジュアル・マーカーの他、プリンタやゴミ箱の写真や絵を印刷しておき、視覚的なフィードバックを与えるようにしてもよい。また、ドキュメントに相当する各用紙上には、ビジュアル・マーカーが貼設されているだけであっても、あるいはドキュメント本体（又はその表紙）が印刷されていてもよい。「プリンタ」や「ゴミ箱」などの印刷用紙は、処理又はメソッドを象徴する物理オブジェクトである。これに対し、各ドキュメントの印刷用紙は、処理対象となるデータを象徴する物理オブジェクトである。
【０３０７】
上述したように、携帯型コンピュータのユーザは、実世界上で、ハイパードラッグという直接的な対話技法を用いることで、所望のドキュメントを範囲指定することができる。図４２に示す例では、テーブル上に散在するドキュメントのうち、ドキュメント＃１をユーザが範囲指定している。この結果、ドキュメント＃１の周囲にはラバーバンドが投影表示され、ユーザに視覚的なフィードバックが与えられる。
【０３０８】
ユーザは、さらに、ラバーバンドされたデジタル・オブジェクトを所望の処理又はメソッドを象徴する物理オブジェクト上にハイパードラッグすることによって、該当する処理又はメソッドを呼び出すことができる。例えば、図４３に示すように、ドキュメント＃１に係るデジタル・オブジェクトをハイパードラッグして、プリンタを象徴する物理オブジェクト上にドロップすることによって、ドキュメント＃１のプリント・アウトという処理を呼び出すことができる。同様に、ドキュメントに係るデジタル・オブジェクトをハイパードラッグして、ゴミ箱を象徴する物理オブジェクト上にドロップすることによって、該デジタル・オブジェクトをデジタル空間上から抹消することができる。
【０３０９】
図４４には、実世界上でデジタル・オブジェクトに処理又はメソッドを適用するための処理手順をフローチャートの形式で示している。以下、このフローチャートの各ステップについて説明する。
【０３１０】
まず、ユーザは、自分の携帯型コンピュータを始め、各種の物理オブジェクトをテーブル１１上に置く（ステップＳ１２１）。
【０３１１】
ここで言う物理オブジェクトには、プリンタやゴミ箱、各種ドキュメントに相当する印刷用紙である（図４１を参照のこと）。プリンタやゴミ箱に相当する用紙は、処理又はメソッドを象徴する物理オブジェクトであり、プリンタやゴミ箱の写真や絵を印刷しておき、視覚的なフィードバックを与えるようにしてもよい。また、ドキュメントに相当する各用紙上は、処理対象となるデータを象徴する物理オブジェクトであり、ドキュメント本体（又はその表紙）が印刷されていてもよい。あるいは、ドキュメントは、物理オブジェクトではなく、携帯型コンピュータからハイパードラッグにより取り出された、ユーザの編集文書すなわちデジタル・オブジェクトであってもよい。
【０３１２】
物理オブジェクトの表面には、識別情報を表示するビジュアル・マーカーが添付されている。したがって、テーブル１１の上空に配設されたカメラ１８／１９が携帯型コンピュータを撮像して（ステップＳ１２２）、このビジュアル・マーカーを認識することで、各物理オブジェクトを認識・識別することができる（ステップＳ１２３）。
【０３１３】
ビジュアル・マーカーが持つ識別情報を認識した帰結として、当該携帯型コンピュータは情報空間１にインストールされたことになる。また、ビジュアル・マーカーは、識別情報だけでなく位置や向きに関する情報も与えることができるので、ビジュアル・マーカーを基準点にして座標系を設定することができる。
【０３１４】
情報空間１にインストールされた携帯型コンピュータでは、直接的な対話技法であるＧＵＩ操作を実世界の拡張ディスプレイ上でも行うことができる。すなわち、マウス・カーソルは、ディスプレイ・スクリーン上から飛び出して、テーブル１１上などの実世界に移動することができる。携帯型コンピュータと実世界上のマウス・カーソルとの間にはアンカー・カーソルが投影表示されて、ユーザには視覚的にフィードバックが与えられる。
【０３１５】
ここで、ユーザは、アンカー・カーソルを用いて、所望の物理オブジェクト（図４２に示す例では「ドキュメント＃１」）を範囲指定することができる（ステップＳ１２４）。
【０３１６】
テーブル１１上でのユーザ操作はカメラ１８／１９によって追跡されており、環境型コンピュータは、アンカー・カーソルによって領域指定操作を認識することができる。そして、環境型コンピュータは、テーブル１１上で範囲指定された領域（図４２に示す例では「ドキュメント＃１」）を、ラバーバンドで囲んで、ユーザに対して視覚的なフィードバックを与える（ステップＳ１２５）。
【０３１７】
ラバーバンドで囲まれた領域の撮像画像は、デジタル・オブジェクトとして情報空間１内に取り込まれている。したがって、ユーザは、ラバーバンド領域内の画像、すなわちデジタル・オブジェクトをテーブル１１上などの実世界上でハイパードラッグすることができる（ステップＳ１２６）。このようなユーザ操作は、カメラ１８／１９が撮像しているので、環境型コンピュータが認識することができる。
【０３１８】
さらに、ラバーバンドで囲まれた画像をテーブル１１上でハイパードラッグして、印刷用紙「プリンタ」の物理オブジェクト上にドロップする（Ｓ１２７）（図４３を参照のこと）。
【０３１９】
前述したように、プリンタは、「ドキュメントのプリント」という処理又はメソッドを象徴する物理オブジェクトである。したがって、プリンタを象徴する物理オブジェクト上にドロップすることによって、ドキュメント＃１のプリント・アウトという処理を呼び出すことができる（ステップＳ１２８）。
【０３２０】
また、このような対話的なユーザ操作のバックグラウンドでは、プリンタなどの指定された物理オブジェクトの実体である装置に対して、環境型コンピュータからデータ転送が行われる。
【０３２１】
（６）メール送信
実世界とデジタル空間とが深く融合した情報空間１では、本来はＧＵＩ向けに開発された直接的な対話技法を実世界上に導入することができる、という点は上述した通りである。
【０３２２】
実世界上での直接的な対話技法を導入した他の例として、「メール送信」が挙げられる。
【０３２３】
例えば、図４５に示すように、テーブル１１上には、ユーザの携帯型コンピュータの他、メール送信先に相当する１以上の「名刺」や、送信文書の本体となり得るドキュメントに関するオブジェクトなどが散在している。
【０３２４】
各々の物理オブジェクトにはビジュアル・マーカーが添付されているので、テーブル１１上空に設置されたカメラ１８／１９の撮像画像を通して環境型コンピュータによって認識・識別され、情報空間１内にインストールすることができる。また、ドキュメントのオブジェクトは、印刷用紙などの物理オブジェクトであっても、携帯型コンピュータからテーブル１１上にハイパードラッグされたデジタル・オブジェクト（例えば、ユーザの編集文書）のいずれであってもよい。
【０３２５】
上述したように、携帯型コンピュータのユーザは、実世界上で、ハイパードラッグという直接的な対話技法を用いることで、所望のドキュメントを範囲指定することができる。図４６に示す例では、テーブル上に散在するドキュメントのうち、ドキュメント＃１をユーザが範囲指定している。この結果、送信文書となるドキュメント＃１の周囲にはラバーバンドが投影表示され、ユーザに視覚的なフィードバックが与えられる。
【０３２６】
ユーザは、さらに、ラバーバンドされたデジタル・オブジェクトを所望の処理又はメソッドを象徴する物理オブジェクト上にハイパードラッグすることによって、該当する処理又はメソッドを呼び出すことができる。例えば、図４７に示すように、ドキュメント＃１に係るデジタル・オブジェクトをハイパードラッグして、メール送信先に該当する「名刺＃１」の上にドロップする。この結果、名刺の宛名に対応するメール・アドレスに対してドキュメント＃１からなる送信文書をメール送信するという処理を呼び出すことができる。
【０３２７】
図４８には、実世界上で所望のドキュメントのメール送信処理を実行するための処理手順をフローチャートの形式で示している。以下、このフローチャートの各ステップについて説明する。
【０３２８】
まず、ユーザは、自分の携帯型コンピュータを始め、各種の物理オブジェクトをテーブル１１上に置く（ステップＳ１３１）。
【０３２９】
ここで言う物理オブジェクトには、メール送信先に相当する名刺や、送信文書本体となるドキュメントに相当する各種の印刷用紙などである（図４５を参照のこと）。名刺は、名刺の宛名に対応するメールアドレスへの送信処理又はメソッドを象徴する物理オブジェクトであると理解されたい。また、ドキュメントに相当する各用紙上は、処理対象となるデータを象徴する物理オブジェクトであり、ドキュメント本体（又はその表紙）が印刷されていてもよい。あるいは、ドキュメントは、携帯型コンピュータからハイパードラッグにより取り出された、ユーザの編集文書すなわちデジタル・オブジェクトであってもよい。
【０３３０】
各物理オブジェクトの表面には、識別情報を表示するビジュアル・マーカーが添付されている。したがって、テーブル１１の上空に配設されたカメラ１８／１９が携帯型コンピュータを撮像して（ステップＳ１３２）、このビジュアル・マーカーを認識することで、各物理オブジェクトを認識・識別することができる（ステップＳ１３３）。
【０３３１】
ビジュアル・マーカーが持つ識別情報を認識した帰結として、当該携帯型コンピュータは情報空間１にインストールされたことになる。また、ビジュアル・マーカーは、識別情報だけでなく位置や向きに関する情報も与えることができるので、ビジュアル・マーカーを基準点にして座標系を設定することができる。
【０３３２】
また、環境型コンピュータは、各名刺の識別情報とそのメール・アドレスとの組からなるデータ・エントリとして蓄積したデータベースをあらかじめ蓄積しているものとする。
【０３３３】
情報空間１にインストールされた携帯型コンピュータでは、直接的な対話技法であるＧＵＩ操作を実世界の拡張ディスプレイ上でも行うことができる。すなわち、マウス・カーソルは、ディスプレイ・スクリーン上から飛び出して、テーブル１１上などの実世界に移動することができる。携帯型コンピュータと実世界上のマウス・カーソルとの間にはアンカー・カーソルが投影表示されて、ユーザには視覚的にフィードバックが与えられる。
【０３３４】
ここで、ユーザは、アンカー・カーソルを用いて、所望の物理オブジェクト（図４６に示す例では「ドキュメント＃１」）を範囲指定することができる（ステップＳ１３４）。
【０３３５】
テーブル１１上でのユーザ操作はカメラ１８／１９によって追跡されており、環境型コンピュータは、アンカー・カーソルによって領域指定操作を認識することができる。そして、環境型コンピュータは、テーブル１１上で範囲指定された領域（図４６に示す例では「ドキュメント＃１」）を、ラバーバンドで囲んで、ユーザに対して視覚的なフィードバックを与える（ステップＳ１３５）。
【０３３６】
ラバーバンドで囲まれた領域の撮像画像は、デジタル・オブジェクトとして情報空間１内に取り込まれている。したがって、ユーザは、ラバーバンド領域内の画像、すなわちデジタル・オブジェクトをテーブル１１などの実世界上で自在にハイパードラッグすることができる（ステップＳ１３６）。このようなユーザ操作は、カメラ１８／１９が撮像しているので、環境型コンピュータが認識することができる。
【０３３７】
さらに、ラバーバンドで囲まれた画像をテーブル１１上でハイパードラッグして、所望の宛先に相当する「名刺」上にドロップする（Ｓ１３７）（図４７を参照のこと）。
【０３３８】
このような対話的なユーザ操作のバックグラウンドでは、デジタル・オブジェクトのエンティティであるドキュメント＃１が、携帯型コンピュータからネットワーク１５経由で環境型コンピュータへデータ転送される。
【０３３９】
また、環境型コンピュータは、各名刺の識別情報とそのメール・アドレスとの組からなるデータ・エントリとして蓄積したデータベースを蓄積している。デジタル・オブジェクトが名刺上にドロップされたことを認識すると、環境型コンピュータは、このデータベースを検索して、名刺に該当するメール・アドレスを取得する。そして、ドロップされたデジタル・オブジェクトすなわちドキュメントを送信文書とした送信メールを生成して、該当するメール・アドレスに向かって送信処理する（ステップＳ１３８）。
【０３４０】
《参考文献》
［１］：ｈｔｔｐ：／／ｗｗｗ．ｂｌｕｅｔｏｏｔｈ．ｃｏｍ
［２］：Ｊ．Ｒｅｋｉｍｏｔｏ． Ｐｉｃｋ−ａｎｄ−Ｄｒｏｐ： Ａ Ｄｉｒｅｃｔ Ｍａｎｉｐｕｌａｔｉｏｎ Ｔｅｃｈｎｉｑｕｅ ｆｏｒ Ｍｕｌｔｉｐｌｅ Ｃｏｍｐｕｔｅｒ Ｅｎｖｉｒｏｎｍｅｎｔｓ． Ｉｎ ＵＩＳＴ ’９７， ｐｐ．３１−３９， Ｏｃｔｏｂｅｒ １９９７．
［３］：Ｊ．Ｒｅｋｉｍｏｔｏ ａｎｄ Ｍ． Ｓａｉｔｏｈ． Ａｕｇｍｅｎｔｅｄ Ｓｕｒｆａｃｅ： Ａ Ｓｐａｔｉａｌｌｙ Ｃｏｎｔｉｎｕｏｕｓ Ｗｏｒｋｓｐａｃｅ ｆｏｒ Ｈｙｂｒｉｄ Ｃｏｍｐｕｔｉｎｇ Ｅｎｖｉｒｏｎｍｅｎｔｓ． Ｉｎ Ｐｒｏｃｅｓｓｉｎｇ ｏｆ ＣＨＩ ’９９ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｈｕｍａｎ ｆａｃｔｏｒｓ ｉｎ Ｃｏｍｐｕｔｉｎｇ Ｓｙｓｔｅｍｓ， ｐｐ．３７８−３８５． ＡＣＭ， Ｍａｙ １９９９．
［４］：Ｐｉｅｒｒｅ Ｗｅｌｌｎｅｒ． Ｉｎｔｅｒａｃｔｉｎｇ ｗｉｔｈｐａｐｅｒ ｏｎ ｔｈｅ ＤｉｇｉｔａｌＤｅｓｋ． Ｃｏｍｍｕｎｉｃａｉｏｎ ｏｆ ｔｈｅ ＡＣＭ， Ｖｏｌ．３６， Ｎｏ．７， ｐｐ．８７−９６， Ａｕｇｕｓｔ １９９３．
［５］：Ｊｏｈｎ Ｕｎｄｅｒｋｏｆｆｌｅｒ ａｎｄ Ｈｉｒｏｓｈｉ Ｉｓｈｉｉ． Ｉｌｌｕｍｉｎａｔｉｎｇ Ｌｉｇｈｔ： Ａｎ ｏｐｔｉｃａｌ ｄｅｓｉｇｎ ｔｏｏｌ ｗｉｔｈ ａ ｌｕｍｉｎｏｕｓ−ｔａｎｇｉｂｌｅｉｎｔｅｒｆａｃｅ． Ｉｎ ＣＨＩ’９８ Ｐｒｏｃｅｅｄｉｎｇｓ ， ｐｐ．５４２−５４９， １９９８．
［６］：Ｊｕｎ Ｒｅｋｉｍｏｔｏ． Ｍａｔｒｉｘ： Ａ ｒｅａｌｔｉｍｅｏｂｊｅｃｔ ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ａｎｄ ｒｅｇｉｓｔｒａｔｉｏｎ ｍｅｔｈｏｄ ｆｏｒ ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ． ＩｎＰｒｏｃ． Ｏｆ Ａｓｉａ Ｐａｃｉｆｉｃ Ｃｏｍｐｕｔｅｒ Ｈｕｍａｎ Ｉｎｔｅｒａｃｔｉｏｎ （ＡＰＣＨＩ’９８）， Ｊｕｌｙ １９９８．（サイバーコードの詳細については、例えば、本出願人に既に譲渡されている特願平１０−１８４３５０号明細書（「画像処理装置および方法、並びに提供媒体」）にも開示されている。）
［７］：Ｉｔｉｒｏ Ｓｉｉｏ． ＩｎｆｏＢｉｎｄｅｒ： ａ ｐｏｉｎｔｉｎｇ ｄｅｖｉｃｅ ｆｏｒ ａ ｖｉｒｔｕａｌｄｅｓｋｔｏｐ ｓｙｓｔｅｍ． Ｉｎ ６ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｈｕｍａｎ−Ｃｏｍｐｕｔｅｒ Ｉｎｔｅｒａｃｔｉｕｏｎ （ＨＣＩ Ｉｎｔｅｒｎａｔｉｏｎａｌ ’９５）， ｐｐ． ２６１−２６４， Ｊｕｌｙ
１９９５．
［８］：Ｂｒｙｇｇ Ｕｌｌｍｅｒ， Ｈｉｒｏｓｈｉ Ｉｓｈｉｉ， ａｎｄＤｙｌａｎ Ｇｌａｓ． ＭｅｄｉａＢｌｏｃｋｓ： Ｐｈｙｓｉｃａｌ ｃｏｎｔａｉｎｅｒｓ， ｔｒａｎｓｐｏｒｔｓ， ａｎｄ ｃｏｎｔｒｏｌｓ ｆｏｒ ｏｎｌｉｎｅ ｍｅｄｉａ． Ｉｎ ＳＩＧＧＲＡＰＨ ’９８ Ｐｒｏｃｅｅｄｉｎｇｓ， ｐｐ． ３７９−３８６， １９９８．
［９］：Ｔｏｒｓｔｅｎ Ｈｏｌｍｅｒ Ｎｏｒｂｅｒｔ Ａ． Ｓｔｒｅｉｔｚ， Ｊｏｒｇ Ｇｅｉｓｌｅｒ． Ｒｏｏｍｗａｒｅ ｆｏｒ ｃｏｏｐｅｒａｔｉｖｅ ｂｕｉｌｄｉｎｇｓ： Ｉｎｔｅｇｒａｔｅｄ ｄｅｓｉｇｎ ｏｆ ａｒｃｈｉｔｅｃｔｕｒａｌ ｓｐａｃｅｓ ａｎｄ ｉｎｆｏｒｍａｔｉｏｎ ｓｐａｃｅｓ． Ｉｎ Ｎｏｒｂｅｒｔｓ Ａ． Ｓｔｒｅｉｔｚ ａｎｄ Ｓｈｉｎ’ｉｃｈｉ Ｋｏｎｏｍｉ， ｅｄｉｔｏｒｓ， Ｃｏｏｐｅｒａｔｉｖｅ Ｂｕｉｌｄｉｎｇｓ − Ｉｎｔｅｇｒａｔｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ， Ｏｒｇａｎｉｚａｔｉｏｎ， ａｎｄ Ａｒｃｈｉｔｅｃｔｕｒｅ， １９９８．
【０３４１】
［追補］
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【０３４２】
【発明の効果】
以上詳記したように、本発明によれば、コンピュータの作業空間を実世界に拡張するとともに、コンピュータに対してユーザが直感的で分かり易くコマンドを入力することができる、優れたユーザ・インターフェース環境を提供することができる。
【０３４３】
また、本発明によれば、物理的な実空間とコンピュータ上の論理空間（デジタル空間）とが効果的に連携された、優れたユーザ・インターフェース環境を提供することができる。
【０３４４】
また、本発明によれば、物理的な実空間とコンピュータ上の論理空間（デジタル空間）とが親密に連携され、実世界上の物理オブジェクトを介してデジタル・オブジェクトの操作を行うことができる、優れたユーザ・インターフェース環境を提供することができる。
【０３４５】
本発明によれば、物理的な実空間とコンピュータ上のデジタル空間との融合をさらに深めることによって、マウスやキーボードなどのコンピュータにネイティブのユーザ入力装置だけでなく、実世界上に散在する各種の物理オブジェクトを介してユーザ・コマンドをコンピュータに入力したり、あるいは、物理オブジェクトを介してデジタル・オブジェクトを引き出すことが可能になる。この結果、コンピュータ操作はさらに直感的で理解容易なものとなり、且つ、ユーザにとって魅力的になる。
【図面の簡単な説明】
【図１】本発明に係る情報空間１の構成例を模式的に示した図である。
【図２】固定カメラ１８及びパン／チルト・カメラ１９を用いてテーブル１１上の変化を検出する仕組みを示した図である。
【図３】サイバーコードの構造を模式的に示した図である。
【図４】各ユーザの携帯型コンピュータが環境型コンピュータによって拡張されていく過程を示した図であり、より具体的には、ユーザが各自の携帯型コンピュータ上で作業している様子を示した図である。
【図５】各ユーザの携帯型コンピュータが環境型コンピュータによって拡張されていく過程を示した図であり、より具体的には、会議室のテーブル（ｉｎｆｏｔａｂｌｅ）や壁面（ｉｎｆｏｗａｌｌ）を携帯型コンピュータのデスクトップの空間的な延長として利用する様子を示した図である。
【図６】各ユーザの携帯型コンピュータが環境型コンピュータによって拡張されていく過程を示した図であり、より具体的には、複数のユーザがテーブル（ｉｎｆｏｔａｂｌｅ）や壁面（ｉｎｆｏｗａｌｌ）などの拡張ディスプレイ上でデジタル・オブジェクトに関する共同作業を行う様子を示した図である。
【図７】コンピュータ・デスクトップ上で行われるドラッグ・アンド・ドロップ操作をデスクトップの外の拡張ディスプレイに展開した様子を模式的に示した図である。
【図８】テーブル１１上に載置された物理オブジェクト（ＶＣＲテープ）が情報空間１にインストールされた様子を示した図であり、より具体的には、該物理オブジェクトを取り囲む略楕円形（「オブジェクト・オーラ」）が表示された様子を示した図である。
【図９】デジタル・オブジェクトを物理オブジェクトに添付する様子を示した図であり、より具体的には、テーブル１１上のデジタル・オブジェクトをオブジェクト・オーラに向かってハイパードラッグする様子を示した図である。
【図１０】デジタル・オブジェクトを物理オブジェクトに添付する様子を示した図であり、より具体的には、テーブル１１上でハイパードラッグしたデジタル・オブジェクトをオブジェクト・オーラ内にドロップする様子を示した図である。
【図１１】物理オブジェクト表面上にリンク情報を登録するための処理手順を示したフローチャートである。
【図１２】物理オブジェクト表面上にリンク情報を登録する処理を描写した図であり、より具体的には、パンフレット上のページが情報空間１にインストールされ、オブジェクト・オーラが投影表示されている様子を示した図である。
【図１３】物理オブジェクト表面上にリンク情報を登録する処理を描写した図であり、より具体的には、パンフレット上のページにデジタル・オブジェクトをドラッグ・アンド・ドロップする様子を示した図である。
【図１４】物理オブジェクト表面上にリンク情報を登録する処理を描写した図であり、より具体的には、
【図１５】物理オブジェクト表面上に埋め込まれたリンク情報を実世界上に取り出すための処理手順を示したフローチャートである。
【図１６】物理オブジェクト表面上に埋め込まれたリンク情報を実世界上に取り出す処理を描写した図であり、より具体的には、パンフレット上のオブジェクト・オーラに対してドラッグ・アンド・ドロップ操作を適用して、リンク情報であるデジタル・オブジェクトをテーブル１１上に引き出す様子を示した図である。
【図１７】ＩＤ認識装置５０の外観を示した図である。
【図１８】ＩＤ認識装置５０を用いた場合の、実世界上におけるオブジェクトのドラッグ・アンド・ドロップの処理手順を示したフローチャートである。
【図１９】カメラ模型６０の外観を示した図である。
【図２０】カメラ模型６０がテーブル１１上にレイアウトされたデジタル・オブジェクトをある所定の位置及び方向で「撮像」する様子を描写した図である。
【図２１】３次元コンピュータ・グラフィックスにより生成された、カメラ模型６０が撮像方向Ｄから撮像した画像を示した図である。
【図２２】３次元コンピュータ・グラフィックスにより生成された、カメラ模型６０が撮像方向Ｄ’から撮像した画像を示した図である。
【図２３】仮想カメラによる撮像画像を処理する手順を示したフローチャートである。
【図２４】実世界上におけるデジタル・オブジェクトをレーザ・ポインタを用いて操作する様子を描写した図であり、より具体的には、テーブル１１上に投影表示されたデジタル・オブジェクトを・レーザ・ポインタにより拾い上げる（ｐｉｃｋ）する様子を示した図である。
【図２５】実世界上におけるデジタル・オブジェクトをレーザ・ポインタを用いて操作する様子を描写した図であり、より具体的には、一旦拾い上げたデジタル・オブジェクトを壁面１２上に移動させる（すなわちビームする）様子を示した図である。
【図２６】レーザ・ポインタを用いて実世界上のオブジェクトをドラッグ・アンド・ドロップ操作するＰｉｃｋ−ａｎｄ−Ｂｅａｍのうち、オブジェクトをＰｉｃｋする処理手順を示したフローチャートである。
【図２７】レーザ・ポインタを用いて実世界上のオブジェクトをドラッグ・アンド・ドロップ操作するＰｉｃｋ−ａｎｄ−Ｂｅａｍのうち、オブジェクトをＢｅａｍする処理手順を示したフローチャートである。
【図２８】実世界上でレーザ・ポインタによって指示される位置すなわちレーザ・ビーム光の点灯位置を認識する処理手順を示したフローチャートである。
【図２９】レーザ・ポインタを用いてリンク参照するための処理手順を示したフローチャートである。
【図３０】レーザ・ポインタを用いて物理オブジェクト表面上のリンク情報を参照する様子を描写した図であり、より具体的には、ページ上の所望のリンク情報に該当するオブジェクト・オーラをレーザ・ポインタの出力ビーム光で照射したままテーブル１１上までドラッグする様子を描写した図である。
【図３１】レーザ・ポインタを用いて物理オブジェクト表面上のリンク情報を参照する様子を描写した図であり、より具体的には、テーブル１１上でレーザ・ビーム光をドロップした場所に、リンク情報としてのデジタル・オブジェクトを投影表示する様子を示した図である。
【図３２】ユーザ・コンピュータ上に存在する３次元モデルを実世界上に取り出すための処理手順を示したフローチャートである。
【図３３】携帯型コンピュータから取り出された３次元モデルがテーブル１１上に投影表示した様子を描写した図である。
【図３４】ビジュアル・マーカーによって特定されるデジタル・オブジェクトをデジタル空間上にハイパードラッグする様子を描写した図であり、より具体的には、物理オブジェクト上のビジュアル・マーカーをＩＤ認識装置５０によって認識する様子を示した図である。
【図３５】ビジュアル・マーカーによって特定されるデジタル・オブジェクトをデジタル空間上にハイパードラッグする様子を描写した図であり、より具体的には、ＩＤ認識装置５０によって認識された識別情報に対応するデジタル・オブジェクトを携帯型コンピュータのスクリーン上にハイパードラッグする様子を示した図である。
【図３６】ビジュアル・マーカーによって特定されるデジタル・オブジェクトをデジタル空間上にハイパードラッグするための処理手順を示したフローチャートである。
【図３７】実世界上のオブジェクトをデジタル空間へ取り込む様子を描写した図であり、より具体的には、テーブル１１上のオブジェクトをラバーバンドで範囲指定する様子を示した図である。
【図３８】実世界上のオブジェクトをデジタル空間へ取り込む様子を描写した図であり、より具体的には、ラバーバンドで範囲指定されているデジタル・オブジェクトを実世界上でハイパードラッグする様子を描写した図である。
【図３９】実世界上のオブジェクトをデジタル空間へ取り込む様子を描写した図であり、より具体的には、ラバーバンドで範囲指定されているデジタル・オブジェクトをハイパードラッグして、携帯型コンピュータのディスプレイ・スクリーン上に取り込む様子を描写した図である。
【図４０】実世界上のオブジェクトをデジタル空間へ取り込むための処理手順を示したフローチャートである。
【図４１】実世界上でデジタル・オブジェクトに処理又はメソッドを適用する様子を描写した図であり、より具体的には、テーブル１１上に各種の物理オブジェクトが散在している様子を示した図である。
【図４２】実世界上でデジタル・オブジェクトに処理又はメソッドを適用する様子を描写した図であり、より具体的には、テーブル１１上の所望の物理オブジェクト（ドキュメント）を範囲指定して、ラバーバンドによって視覚的なフィードバックが与えられている様子を示した図である。
【図４３】実世界上でデジタル・オブジェクトに処理又はメソッドを適用する様子を描写した図であり、より具体的には、ラバーバンドによって指定されたデジタル・オブジェクトを、処理又はメソッドを象徴する物理オブジェクト上にハイパードラッグする様子を示した図である。
【図４４】実世界上でデジタル・オブジェクトに処理又はメソッドを適用するための処理手順を示したフローチャートである。
【図４５】実世界上で所望のドキュメントのメール送信処理を実行する様子を描写した図であり、より具体的には、メール送信するドキュメントや、メール送信先に相当する名刺などのオブジェクトがテーブル上に散在している様子を示した図である。
【図４６】実世界上で所望のドキュメントのメール送信処理を実行する様子を描写した図であり、より具体的には、メール送信するドキュメントのオブジェクトをユーザが選択した様子を示した図である。
【図４７】実世界上で所望のドキュメントのメール送信処理を実行する様子を描写した図であり、より具体的には、ユーザが、メール送信するドキュメントのオブジェクトの送信先を指示する名刺の上にハイパードラッグする様子を示した図である。
【図４８】実世界上で所望のドキュメントのメール送信処理を実行するための処理手順を示したフローチャートである。
【図４９】ＩＤ認識装置５０によって、ソース・オブジェクトとしてのドキュメントに貼設されたビジュアル・マーカーを読み取る様子を描写した図である。
【図５０】ＩＤ認識装置５０によって、デスティネーション・オブジェクトとしてのプリンタに貼設されたビジュアル・マーカーを読み取る様子を描写した図である。
【図５１】Ｐｉｃｋ−ａｎｄ−Ｄｒｏｐ操作を説明するための図であり、より具体的には、隣接するノートブック・コンピュータのディスプレイ・スクリーンの間でＧＵＩ操作が継承され、一方のディスプレイ上のデジタル・オブジェクトが実空間を越えて他方のディスプレイ上にドロップされる様子を描写した図である。
【図５２】ハイパードラッグ操作を説明するための図であり、より具体的には、コンピュータ・スクリーンの周縁に到達したマウス・カーソルがコンピュータ・スクリーンからテーブルへと移動する様子を示した図である。
【図５３】ハイパードラッグ操作を説明するための図であり、より具体的には、テーブルから壁面へとデジタル・オブジェクトのハイパードラッグが続行する様子を示した図である。
【図５４】２以上のコンピュータ・スクリーン間で行われるハイパードラッグ操作を示した図である。
【符号の説明】
１…情報空間
１１…テーブル（ＩｎｆｏＴａｂｌｅ）
１２…壁面（又はホワイトボード）（ＩｎｆｏＷａｌｌ）
１３，１４…ＬＣＤプロジェクタ
１５…ネットワーク
１６，１７…コンピュータ・システム（環境型コンピュータ）
１８…固定カメラ
１９…チルト／パン・カメラ
２０…画像処理サーバ（環境型コンピュータ）
３１，３２…ビジュアル・マーカー
４１…赤色フィルタ付きカメラ
５０…ＩＤ認識装置
５１…読取部
５２…操作ボタン
５３…送信部

Claims (28)

1. コンピュータのデジタル空間が実世界に拡張されてなる情報空間上でオブジェクトに関するユーザ操作を行うための情報入出力システムであって、
   前記情報空間に配設された１以上の作業面と、
   前記作業面上に画像を表示する表示手段と、
   前記作業面上を撮像する撮像手段と、
   前記情報空間に固定的に設置された環境型コンピュータと、
   視覚的に識別可能なビジュアル・マーカーを表面に含んだ１以上の物理オブジェクトと、
   を備え、
   前記環境型コンピュータは、前記撮像手段による撮像画像に基づいて、
   前記作業面上に載置された物理オブジェクト表面のビジュアル・マーカーから当該物理オブジェクトの識別情報及び位置情報を認識する処理と、
   物理オブジェクト表面上の任意の部位にデジタル・オブジェクトがドロップされたことを認識する処理と、
   該物理オブジェクト表面上のデジタル・オブジェクトがドロップされた場所の前記ビジュアル・マーカーを基準位置とする座標位置として計測し、前記座標位置に該デジタル・オブジェクトへのリンク情報を形成する処理と、
   物理オブジェクト表面上でリンク情報が形成された前記座標位置においてユーザ操作が適用されたことに応答して、該ユーザ操作が適用された前記座標位置にリンクされたデジタル・オブジェクトを呼び出し又はユーザにデジタル・オブジェクトを提示する処理と、
   を実行する、
   ことを特徴とする情報入出力システム。
2. 前記物理オブジェクトのうち少なくとも１つは、前記情報空間内を移動可能で且つ他のコンピュータとの間でデジタル・オブジェクトを交換可能な携帯型コンピュータであり、
   前記環境型コンピュータは、前記作業面上に載置された前記携帯型コンピュータ表面のビジュアル・マーカーから前記携帯型コンピュータの識別情報及び位置情報を認識し、所有者ユーザを特定するとともに、前記環境型コンピュータと前記携帯型コンピュータとのデータ転送路を確立する処理を実行する、
   ことを特徴とする請求項１に記載の情報入出力システム。
3. 前記物理オブジェクトのうち少なくとも１つは、前記情報空間内を移動可能で且つ他のコンピュータとの間でデジタル・オブジェクトを交換可能な携帯型コンピュータであり、
   前記環境型コンピュータは、前記携帯型コンピュータ上におけるマウス・カーソル操作を前記作業面上に拡張することを許容することを特徴とする請求項１に記載の情報入出力システム。
4. 前記撮像手段は、所定波長光の照射による特定の位置を指示する光学ポインタの指示位置を識別可能であり、
   ユーザは、前記情報空間内における該光学ポインタによる座標指示が許容される、
   ことを特徴とする請求項１に記載の情報入出力システム。
5. 前記物理オブジェクト表面上のビジュアル・マーカーを認識・識別する携行型のＩＤ認識装置をさらに備え、
   前記環境型コンピュータは、
   前記ＩＤ認識装置からソース・オブジェクト及びデスティネーション・オブジェクトの各々の識別情報を受信する処理と、
   ソース・オブジェクト及びデスティネーション・オブジェクトのタイプの組み合わせによって特定されるアクションを適用する処理と、
   を実行する、
   ことを特徴とする請求項１に記載の情報入出力システム。
6. 前記物理オブジェクトのうち少なくとも１つはビジュアル・マーカーが持つ位置情報によって指定される仮想の撮像方向を有する仮想カメラであり、
   前記環境型コンピュータは、前記撮像手段による撮像画像に基づいて、
   前記仮想カメラを認識・識別するとともに、その位置情報及び仮想の撮像方向を特定する処理と、
   該位置情報及び仮想の撮像方向に従って仮想の撮像画像を生成する処理と、
   該仮想の撮像画像をユーザに提示する処理と、
   を実行する、
   ことを特徴とする請求項１に記載の情報入出力システム。
7. 前記環境型コンピュータは、前記仮想の撮像方向を視点情報として、当該視点位置及び方向から前記作業面上にドロップされたデジタル・オブジェクトを撮像したときに得られる仮想の撮像画像を生成する処理を実行する、
   ことを特徴とする請求項６に記載の情報入出力システム。
8. 所定波長光の照射による特定の位置を指示する光学ポインタをさらに備え、
   前記撮像手段は前記光学ポインタの指示位置を識別可能であり、
   前記環境型コンピュータは、前記撮像手段による撮像画像に基づいて、
   前記作業面上における前記光学ポインタを用いたユーザ操作を認識する処理と、
   該認識結果に従って前記表示手段によるデジタル・オブジェクトの表示を制御する処理と、
   を実行する、
   ことを特徴とする請求項１に記載の情報入出力システム。
9. 前記物理オブジェクトのうち少なくとも１つは、前記情報空間内を移動可能で且つ他のコンピュータとの間でデジタル・オブジェクトを交換可能であるとともに３次元モデルの検索及び／又は３次元モデルの生成が可能な携帯型コンピュータであり、
   前記環境型コンピュータは、前記携帯型コンピュータ上の３次元モデルを前記作業面上に取り出すユーザ操作が適用されたことに応答して、該３次元モデルの描画情報に基づいて前記作業面上への投影画像を生成する処理と、前記表示手段による該生成された投影画像の表示を制御する処理を実行する、
   ことを特徴とする請求項１に記載の情報入出力システム。
10. 前記物理オブジェクト表面上のビジュアル・マーカーを認識するとともに認識した識別情報の保留及び解除操作が可能な携行型のＩＤ認識装置をさらに備え、
    前記環境型コンピュータは、
    前記ＩＤ認識装置の保留操作に応答して、該保留された識別情報に対応するデジタル・オブジェクトを取得する処理と、
    該ＩＤ認識装置の解除操作に応答して、該保留された識別情報に対応するデジタル・オブジェクトを付近の物理オブジェクトに転送する処理と、
    を実行する、
    ことを特徴とする請求項１に記載の情報入出力システム。
11. 前記物理オブジェクトのうち少なくとも１つは、前記情報空間内を移動可能で且つ他のコンピュータとの間でデジタル・オブジェクトを交換可能な携帯型コンピュータであり、
    前記環境型コンピュータは、前記携帯型コンピュータ上におけるマウス・カーソル操作を前作業面上に拡張することを許容するとともに、前記作業面上における該マウス・カーソルによる範囲指定に従って視覚的フィードバックとしてのラバーバンドを前記表示手段によって表示する、
    ことを特徴とする請求項１に記載の情報入出力システム。
12. 前記環境型コンピュータは、ラバーバンドによる指定領域を前記撮像手段によって撮像するとともに、デジタル・オブジェクトとして前記情報空間に取り込む、ことを特徴とする請求項１１に記載の情報入出力システム。
13. 前記作業面上において、ラバーバンドされた元のデジタル・オブジェクトが別のオブジェクト上にドロップされたことに応答して、元のデジタル・オブジェクトに対して該別のオブジェクトが有する処理又はメソッドを適用する、
    ことを特徴とする請求項１１に記載の情報入出力システム。
14. 該別のオブジェクトは、ドキュメントをプリントする処理又はメソッドを有する物理オブジェクトである、
    ことを特徴とする請求項１３に記載の情報入出力システム。
15. 該別のオブジェクトは、名刺であり、その宛名に相当するメール・アドレスに対してドキュメントをメール送信する処理又はメソッドを有する、
    ことを特徴とする請求項１３に記載の情報入出力システム。
16. コンピュータのデジタル空間が実世界に拡張されてなる情報空間上でオブジェクトに関するユーザ操作を行うための情報入出力方法であって、前記情報空間は、１以上の作業面と、前記作業面上に画像を表示する表示手段と、前記作業面上を撮像する撮像手段と、前記情報空間に固定的に設置された環境型コンピュータと、前記作業面上に載置され視覚的に識別可能なビジュアル・マーカーを表面に含んだ１以上の物理オブジェクトとを備え、
    （ａ）前記作業面上に載置された物理オブジェクト表面のビジュアル・マーカーから当該物理オブジェクトの識別情報及び位置情報を認識するステップと、
    （ｂ）物理オブジェクト表面上の任意の部位にデジタル・オブジェクトにドロップされたことを認識するステップと、
    （ｃ）該物理オブジェクト表面上のデジタル・オブジェクトがドロップされた場所の前記ビジュアル・マーカーを基準位置とする座標位置として計測し、前記座標位置に該デジタル・オブジェクトへのリンク情報を形成するステップと、
    （ｄ）物理オブジェクト表面上でリンク情報が形成された前記座標位置においてユーザ操作が適用されたことに応答して、該ユーザ操作が適用された前記座標位置にリンクされたデジタル・オブジェクトを呼び出し又はユーザにデジタル・オブジェクトを提示するステップと、
    を有することを特徴とする情報入出力方法。
17. 前記物理オブジェクトのうち少なくとも1つは、前記情報空間内を移動可能で且つ他のコンピュータとの間でデジタル・オブジェクトを交換可能な携帯型コンピュータであり、
    前記ステップ（ｂ）では、前記携帯型コンピュータ上におけるマウス・カーソル操作を前記作業面上に拡張することが許容されている、
    ことを特徴とする請求項１６に記載の情報入出力方法。
18. 前記撮像手段は、所定波長光の照射による特定の位置を指示する光学ポインタの指示位置を識別可能であり、
    前記ステップ（ｂ）では、前記情報空間内における該光学ポインタによる座標指示が許容されている、
    ことを特徴とする請求項１６に記載の情報入出力方法。
19. 前記情報空間は前記物理オブジェクト表面上のビジュアル・マーカーを認識・識別する携行型のＩＤ認識装置をさらに備え、
    （ｅ）前記ＩＤ認識装置からソース・オブジェクト及びデスティネーション・オブジェクトの各々の識別情報を受信するステップと、
    （ｆ）ソース・オブジェクト及びデスティネーション・オブジェクトのタイプの組み合わせによって特定されるアクションを該ソース・オブジェクトに適用するステップと、
    をさらに有することを特徴とする請求項１６に記載の情報入出力方法。
20. 前記物理オブジェクトのうち少なくとも1つはビジュアル・マーカーが持つ位置情報によって指定される仮想の撮像方向を有する仮想カメラであり、
    （ｇ）前記仮想カメラを認識・識別するとともに、その位置情報及び仮想の撮像方向を特定するステップと、
    （ｈ）該位置情報及び仮想の撮像方向に従って仮想の撮像画像を生成するステップと、
    （ｉ）該仮想の撮像画像をユーザに提示するステップと、
    をさらに有することを特徴とする請求項１６に記載の情報入出力方法。
21. 前記情報空間は所定波長光の照射による特定の位置を指示する光学ポインタをさらに備え、
    （ｊ）前記作業面上における前記光学ポインタを用いたユーザ操作を認識するステップと、
    （ｋ）該認識結果に従って前記表示手段によるデジタル・オブジェクトの表示を制御するステップと、
    をさらに有することを特徴とする請求項１６に記載の情報入出力方法。
22. 前記物理オブジェクトのうち少なくとも１つは、前記情報空間内を移動可能で且つ他のコンピュータとの間でデジタル・オブジェクトを交換可能であるとともに３次元モデルの検索及び／又は３次元モデルの生成が可能な携帯型コンピュータであり、
    （ｌ）前記携帯型コンピュータ上の３次元モデルを前記作業面上に取り出すユーザ操作が適用されたことに応答して、該３次元モデルの描画情報に基づいて前記作業面上への投影画像を生成するステップと、
    （ｍ）前記表示手段による該生成された投影画像の表示を制御するステップと、
    をさらに有することを特徴とする請求項１６に記載の情報入出力方法。
23. 前記情報空間は前記物理オブジェクト表面上のビジュアル・マーカーを認識するとともに認識した識別情報の保留及び解除操作が可能な携行型のＩＤ認識装置をさらに備え、
    （ｎ）前記ＩＤ認識装置の保留操作に応答して、該保留された識別情報に対応するデジタル・オブジェクトを取得するステップと、
    （ｏ）該ＩＤ認識装置の解除操作に応答して、該保留された識別情報に対応するデジタル・オブジェクトを付近の物理オブジェクトに転送するステップと、
    をさらに有することを特徴とする請求項１６に記載の情報入出力方法。
24. 前記物理オブジェクトのうち少なくとも１つは、前記情報空間内を移動可能で且つ他のコンピュータとの間でデジタル・オブジェクトを交換可能な携帯型コンピュータであり、
    （ｐ）前記携帯型コンピュータ上におけるマウス・カーソル操作を前作業面上に拡張することを許容するステップと、
    （ｑ）前記作業面上における該マウス・カーソルによる範囲指定に従って視覚的フィードバックとしてのラバーバンドを前記表示手段によって表示するステップと、
    をさらに有することを特徴とする請求項１６に記載の情報入出力方法。
25. （ｒ）ラバーバンドによる指定領域を前記撮像手段によって撮像するとともに、デジタル・オブジェクトとして前記情報空間に取り込むステップ、
    をさらに有することを特徴とする請求項２４に記載の情報入出力システム。
26. （ｓ）前記作業面上において、ラバーバンドされた元のデジタル・オブジェクトが別のオブジェクト上にドロップされたことに応答して、元のデジタル・オブジェクトに対して該別のオブジェクトが有する処理又はメソッドを適用するステップ、
    をさらに有することを特徴とする請求項２４に記載の情報入出力システム。
27. 該別のオブジェクトは、ドキュメントをプリントする処理又はメソッドを有する物理オブジェクトである、
    ことを特徴とする請求項２６に記載の情報入出力方法。
28. 該別のオブジェクトは、名刺であり、その宛名に相当するメール・アドレスに対してドキュメントをメール送信する処理又はメソッドを有する、
    ことを特徴とする請求項２６に記載の情報入出力方法。

Images