JP4306250B2 - 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム - Google Patents
情報処理装置、および情報処理方法、並びにコンピュータ・プログラム Download PDFInfo
- Publication number
- JP4306250B2 JP4306250B2 JP2003001965A JP2003001965A JP4306250B2 JP 4306250 B2 JP4306250 B2 JP 4306250B2 JP 2003001965 A JP2003001965 A JP 2003001965A JP 2003001965 A JP2003001965 A JP 2003001965A JP 4306250 B2 JP4306250 B2 JP 4306250B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- real object
- correspondence
- electronic information
- electronic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、情報処理装置、および情報処理方法、並びにコンピュータ・プログラムに関する。さらに詳細には、実物体の任意の位置を指示する処理、例えば、ポインタ等の位置入力装置を用いて実物体の様々な位置を指示して指示位置と電子情報とを対応付けて登録管理するとともに、登録管理データに基づいて指示位置に応じた様々なデータ処理を実行することを可能とした情報処理装置、および情報処理方法、並びにコンピュータ・プログラムに関する。
【０００２】
【従来の技術】
情報処理技術や情報通信技術が高度に発達した現代においては、パーソナル・コンピュータや携帯情報端末を始めとする情報機器がオフィスや家庭内などの実世界上のいたるところに遍在する。このような環境下では、実世界の状況、すなわち実世界の事物やユーザの位置などを積極的に利用したシステムの実現が期待される。
【０００３】
このような環境下においては、分り易く直感的なインターフェイスの実現が望まれる。現在、多くのシステムでは、ユーザインタフェースとして、ＧＵＩ（グラフィカル・ユーザ・インターフェイス）を採用している。ＧＵＩを用いたシステムでは、キーボードでコマンドを入力することなく、マウスやペン・タブレットでアイコンやメニューを選択することによってコンピュータを操作することを可能にしている。
【０００４】
しかし、このようなＧＵＩをユーザインターフェイスとして採用したシステムにおいても、全くコンピュータに関する知識や経験のないユーザは操作の困難性を感じ、全てのユーザに対して直感的な操作性を実現しているとは言い難い。
【０００５】
より多くのユーザに対して直感的な操作感を実現するために、実世界指向インターフェイスとよばれる、現実の物理的なオブジェクトを用いて直感的なコンピュータの操作を実現する技術が研究されている。
【０００６】
実世界指向のインターフェイスの一例として、ある物理的なオブジェクトにバーコード、２次元コードやＲＦＩＤ(Radio Frequency IDentification)を用いた構成がある。ＲＦＩＤタグは、シリコンチップと、データを無線で送信できるアンテナからなり、あらゆるものに装着可能であり、実物体の識別データの送信タグとして利用される。ＲＦＩＤタグは、無線読み取り装置（ＲＦリーダ）が認識できる範囲内にある限り複数のタグを瞬時に判別可能となる。このような、バーコード、２次元コード、あるいはＲＦＩＤ等のＩＤ（識別子）情報を実物体に取り付け、コンピュータが、そのＩＤを認識し、ＩＤの付けられたオブジェクトに応じた処理を行うシステムが提案されている。
【０００７】
さらに、実世界の状況を積極的に利用したシステムとして、例えば特許文献１に記載のシステムがある。この特許文献１では、現実物と情報処理装置によって扱われる電子化された情報を対話的に対応付け、電子化された情報の直感的な参照及び操作を可能としたシステムを紹介している。
【０００８】
また、非特許文献１には、Ｆｉｅｌｄ Ｍｏｕｓｅというシステムが記載されている。この文献には、紙や平面に貼られたバーコードなどのＩＤを読み込み、読み込んだ後の移動量や方向を解析することで、紙や平面上の任意の位置に埋め込まれた電子情報にアクセスすることができる構成が紹介されている。
【０００９】
また、特許文献２では、キーボードやマウスなどの従来の入力装置に代わり、紙などの実物体を用いた情報選択方法を提案している。本構成によれば、ユーザは紙上の任意の位置に記載された指示情報を選択することで指示情報に対応するコンテンツを出力したり、その指示情報に対応する制御をすることができる。そのため、ユーザは入力デバイスを直接意識することなく、直感的に操作を行うことが可能となる。
【００１０】
しかしながら、上記特許文献１に記載の技術では、現実物と電子化された情報を対応付けることはできるが、現実物に対する任意の位置と電子化された情報を対応付けることは困難である。例えば、カード上に書かれた絵や文書ごとに電子化情報を埋め込むには、絵や文書をそれぞれ識別しなければならなく、バーコードのような識別子をカード上の配置しなければならない。そのため、カード上に複数の識別子を配置しなければならなく、カードのデザインに制約が生じる。また、識別子の代わりに形状や色で絵や文章を識別することも可能だが、一般にロバスト性に欠け、ロバスト性を向上させるために形状や色に何らかの制約が必要である。
【００１１】
前述のＲＦＩＤタグを識別子としてカード上の絵や文書の位置に埋め込むことによって、デザイン上の制約を軽減することも可能であるが、カード上に配置したＲＦＩＤタグやそれを読み取るＲＦＩＤリーダのコストがかかるという問題が発生する。
【００１２】
また、非特許文献１に記載の技術では、実物体に対する任意の位置に電子化情報を対応付けることができるが、実物体上のＩＤを識別し、識別したＩＤからの移動量や方向で位置を指定するため、明示的にＩＤを読み込むと言う操作が必要になる。そのため、ユーザは、最初に実物体上のＩＤを指示（選択）し、その後、実物体上の任意の場所を指示（選択）しなければならないという問題がある。
【００１３】
また、特許文献２に記載の技術は、実物体に関する任意の位置に関連付けられた電子情報を選択する方法について明記したものであり、実物体に関する任意の位置と電子情報を関連付ける方法については明記されていない。特許文献２に記載のシステムでは、例えば野球の試合の組み合わせやチケット情報、選手に関する情報を提供したり、パンフレットやカタログの電子情報を提供するものを想定している。そのため、これらは電子情報を保持するコンテンツ提供者が関連付けをすればよく、ユーザ自身が関連付けを削除したり、変更したりすることはできなかった。従って、固定的な関連付け情報の下での処理に限定されてしまうという問題がある。
【００１４】
また、特許文献２に記載の技術は、実物体は紙やシートなどの平面であり、２次元位置と電子情報が関連付けられている。そのため、平面の上空の位置や３次元物体の表面など３次元位置と電子情報を関連付けることはできない。
【００１５】
【特許文献１】
特開平８−２７２８０３号
【特許文献２】
特開平１１−５３５６０号
【非特許文献１】
Ｉｔｉｒｏ Ｓｉｉｏ、Ｔｏｓｈｉｙｕｋｉ Ｍａｓｕｉ、及びＫｅｎｔａｒｏ Ｆｕｋｕｃｈｉ共著の論文≡Ｒｅａｌ−Ｗｏｒｌｄ Ｉｎｔｅｒａｃｔｉｏｎ ｕｓｉｎｇ ｔｈｅ ＦｉｅｌｄＭｏｕｓｅ≡（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ Ｓｏｆｔｗａｒｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ（ＵＩＳＴ≡９９）， ｐｐ．１１３−１１９， １９９９）
【００１６】
【発明が解決しようとする課題】
本発明は、上記の問題点に鑑みてなされたものであり、実物体に関する任意の位置を直接指示する処理、例えば、ポインタ等の位置入力装置を用いてユーザが実物体の様々な位置を指示することで、指示位置と電子情報との対応付け処理を実行するとともに、対応付けデータに従って、指示位置に応じた様々なデータ処理を実行することを可能とした情報処理装置、および情報処理方法、並びにコンピュータ・プログラムを提供することを目的とする。
【００１７】
さらに、本発明は、ユーザによる実物体の位置と電子情報との関連付けを自由に定義することを可能とし、ユーザが人形、写真、本、模型等、様々な実物体を独自にインタフェースとして設定することを可能とする。本発明は、平面的な位置の指示のみならず、例えば人形、模型、ぬいぐるみ等、あらゆるの実物体の任意の３次元位置と電子情報を対応付けて、指示位置に応じた様々なデータ処理を実行することを可能とした情報処理装置、および情報処理方法、並びにコンピュータ・プログラムを提供するものである。
【００１８】
本発明によれば、例えばぬいぐるみの口の位置にオリジナルの物語を語った音声データを関連付けたり、旅行先で購入したお土産の一部に画像データを関連付けたりすることを可能とした構成や、例えば友達に送る手紙の任意の位置に音声や画像などのオリジナルの電子情報を関連付けるなどにより、手紙の各位置を指示することで、ディスプレイに手紙に関連する画像が提示されたり、友達へのメッセーシをスピーカから出力させるなど、様々な実物体をユーザインタフェースとして適用したデータ処理の実行が可能となる。
【００１９】
【課題を解決するための手段】
本発明の第１の側面は、
情報処理装置であり、
実物体を識別する実物体識別部と、
実物体の位置、姿勢を計測する実物体位置・姿勢計測部と、
ユーザの指示する位置を入力する位置入力部と、
前記位置入力部からの入力情報に基づいて、ユーザの指示位置を前記実物体に対して固定した座標系である実物体座標系における位置情報に変換する位置座標変換部と、
前記実物体識別部の識別した実物体識別情報と、前記位置座標変換部において生成した前記実物体座標系における位置情報と、電子情報との対応関係の関連付け設定処理を実行する情報処理部を有し、
前記情報処理部は、前記関連付け設定処理において、１つの実物体識別情報に対して、前記実物体座標系における複数の異なる位置情報と、複数の異なる電子情報との対応関係の関連付け設定処理を実行する構成であることを特徴とする情報処理装置にある。
【００２０】
さらに、本発明の情報処理装置の一実施態様において、前記情報処理装置は、さらに、前記情報処理部が関連付け設定をした実物体識別情報と位置情報と電子情報との対応関係データを対応リストとして登録管理する対応管理部と、前記対応リストに登録された電子情報を格納管理する電子情報管理部とを有し、前記情報処理部は、前記実物体識別部の識別した実物体識別情報と、前記位置入力部からの情報に基づいて前記位置座標変換部が生成した位置情報とに基づいて、前記対応管理部の管理する対応リストから、入力情報に対応付けられた電子情報を判別し、判別した電子情報を前記電子情報管理部から取得し、取得した電子情報に基づく処理を実行する制御を行なう構成であることを特徴とする。
【００２１】
さらに、本発明の情報処理装置の一実施態様において、前記電子情報は、画像データ、音声データ、テキストデータ、コンピュータ・プログラム、３次元モデルデータ、アプリケーションデータの少なくとも１つを含み、前記情報処理部は、前記電子情報の出力処理または起動処理を実行する構成であることを特徴とする。
【００２２】
さらに、本発明の情報処理装置の一実施態様において、前記実物体位置・姿勢計測部は、実物体の３次元位置、姿勢を計測する構成であり、前記位置入力部は、ユーザの指示する位置の３次元位置を入力する構成であり、前記位置座標変換部は、前記位置入力部からの３次元位置入力情報に基づいて、ユーザの指示位置を実物体座標系における３次元位置座標情報に変換する処理を実行する構成であり、前記情報処理部は、前記実物体識別部の識別した実物体識別情報と、前記位置座標変換部において生成した３次元位置情報と、電子情報との対応関係の関連付け設定処理を実行する構成であることを特徴とする。
【００２３】
さらに、本発明の情報処理装置の一実施態様において、前記情報処理部は、実物体識別情報と位置情報と電子情報との関連付け設定処理において、位置情報を領域を持つ領域位置情報とし、該領域位置情報と他情報との関連付け設定処理を実行する構成であることを特徴とする。
【００２４】
さらに、本発明の情報処理装置の一実施態様において、前記情報処理装置は、さらに、前記情報処理部が関連付け設定をした実物体識別情報と位置情報と電子情報との対応関係データを対応リストとして登録管理する対応管理部を有し、前記対応管理部は、前記領域位置情報と、他の情報との対応関係データを対応リストとして登録管理する構成であることを特徴とする。
【００２５】
さらに、本発明の情報処理装置の一実施態様において、前記情報処理装置は、さらに、ネットワークを介したデータ送受信を実行する通信部を有し、前記情報処理部は、前記情報処理部が関連付け設定をした実物体識別情報と位置情報と電子情報との対応関係データを前記通信部を介して、前記対応関係データを対応リストとして登録管理する対応管理部を有するサーバに送信するとともに、前記実物体識別部の識別した実物体識別情報と、前記位置入力部からの情報に基づいて前記位置座標変換部が生成した位置情報を前記サーバに送信し、サーバ内の前記対応管理部の管理する対応リストに基づいて検索された入力情報に対応付けられた電子情報をサーバから取得し、取得電子情報に基づく処理を実行する制御を行なう構成であることを特徴とする。
【００２６】
本発明の第２の側面は、
実物体と電子情報との対応関係を設定する情報処理方法であり、
実物体を識別する実物体識別ステップと、
実物体の位置、姿勢を計測する実物体位置・姿勢計測ステップと、
ユーザの指示する位置を入力する位置入力ステップと、
前記位置入力ステップにおける入力情報に基づいて、ユーザの指示位置を前記実物体に対して固定した座標系である実物体座標系における位置情報に変換する位置座標変換ステップと、
前記実物体識別ステップにおいて識別した実物体識別情報と、前記位置座標変換ステップにおいて生成した前記実物体座標系における位置情報と、電子情報との対応関係の関連付け設定処理を実行する情報処理ステップを有し、
前記情報処理ステップは、前記関連付け設定処理において、１つの実物体識別情報に対して、前記実物体座標系における複数の異なる位置情報と、複数の異なる電子情報との対応関係の関連付け設定処理を実行するステップであることを特徴とする情報処理方法にある。
【００２７】
さらに、本発明の情報処理方法の一実施態様において、前記情報処理方法は、さらに、前記情報処理ステップにおいて関連付け設定をした実物体識別情報と位置情報と電子情報との対応関係データを対応リストとして登録管理する対応管理ステップを有することを特徴とする。
【００２８】
さらに、本発明の情報処理方法の一実施態様において、前記実物体位置・姿勢計測ステップは、実物体の３次元位置、姿勢を計測し、前記位置入力ステップは、ユーザの指示する位置の３次元位置を入力し、前記位置座標変換ステップは、前記位置入力ステップにおける３次元位置入力情報に基づいて、ユーザの指示位置を実物体座標系における３次元位置座標情報に変換する処理を実行し、前記情報処理部ステップは、前記実物体識別ステップにおいて識別した実物体識別情報と、前記位置座標変換ステップにおいて生成した３次元位置情報と、電子情報との対応関係の関連付け設定処理を実行することを特徴とする。
【００２９】
さらに、本発明の情報処理方法の一実施態様において、前記情報処理ステップは、実物体識別情報と位置情報と電子情報との関連付け設定処理において、位置情報を領域を持つ領域位置情報として設定するとともに、前記領域位置情報に対して他情報の関連付け設定を実行することを特徴とする。
【００３０】
さらに、本発明の情報処理方法の一実施態様において、前記情報処理方法は、さらに、前記情報処理ステップにおいて関連付け設定をした実物体識別情報と位置情報と電子情報との対応関係データを対応リストとして登録管理する対応管理ステップを有し、前記対応管理ステップは、前記領域位置情報と、他の情報との対応関係データを対応リストとして登録管理することを特徴とする。
【００３１】
さらに、本発明の情報処理方法の一実施態様において、前記情報処理方法は、さらに、前記情報処理ステップにおいて関連付け設定をした実物体識別情報と位置情報と電子情報との対応関係データを通信部を介して、対応リスト登録管理サーバに送信するステップを有することを特徴とする。
【００３２】
本発明の第３の側面は、
実物体と電子情報との対応関係リストに基づくデータ処理を実行する情報処理方法であり、
実物体を識別する実物体識別ステップと、
実物体の位置、姿勢を計測する実物体位置・姿勢計測ステップと、
ユーザの指示する位置を入力する位置入力ステップと、
前記位置入力ステップにおける入力情報に基づいて、ユーザの指示位置を前記実物体に対して固定した座標系である実物体座標系における位置情報に変換する位置座標変換ステップと、
前記実物体識別ステップにおいて識別した実物体識別情報と、前記位置座標変換ステップにおいて生成した前記実物体座標系における位置情報とに対応付けられた電子情報を対応リストに基づいて選択する電子情報選択ステップと、
前記電子情報選択ステップにおいて選択された電子情報を取得し、取得した電子情報に基づく処理を実行する電子情報実行ステップを有し、
前記電子情報選択ステップは、１つの実物体識別情報に対して、前記実物体座標系における複数の異なる位置情報と、複数の異なる電子情報とが対応付けられた対応リストから、前記位置座標変換ステップにおいて生成した前記位置情報に対応付けられた電子情報を選択するステップであることを特徴とする情報処理方法にある。
【００３３】
さらに、本発明の情報処理方法の一実施態様において、前記電子情報は、画像データ、音声データ、テキストデータ、コンピュータ・プログラム、３次元モデルデータ、アプリケーションデータの少なくとも１つを含み、前記電子情報実行ステップは、前記電子情報の出力処理または起動処理を実行することを特徴とする。
【００３４】
さらに、本発明の情報処理方法の一実施態様において、前記実物体位置・姿勢計測ステップは、実物体の３次元位置、姿勢を計測し、前記位置入力ステップは、ユーザの指示する位置の３次元位置を入力し、前記位置座標変換ステップは、前記位置入力ステップにおける３次元位置入力情報に基づいて、ユーザの指示位置を実物体座標系における３次元位置座標情報に変換する処理を実行し、前記電子情報選択ステップは、前記実物体識別ステップにおいて識別した実物体識別情報と、前記位置座標変換ステップにおいて生成した３次元位置情報とに対応付けられた電子情報を対応リストに基づいて選択する処理を実行することを特徴とする。
【００３５】
さらに、本発明の情報処理方法の一実施態様において、前記電子情報選択ステップは、前記実物体識別ステップにおいて識別した実物体識別情報と、前記位置座標変換ステップにおいて生成した位置情報とを入力し、該入力位置情報に基づく領域を設定し、該設定領域内の位置情報に対応付けられた電子情報を対応リストに基づいて選択する処理を実行することを特徴とする。
【００３６】
さらに、本発明の情報処理方法の一実施態様において、前記情報処理方法は、さらに、前記実物体識別ステップにおいて識別した実物体識別情報と、前記位置入力ステップにおける入力情報に基づいて前記位置座標変換ステップにおいて生成した位置情報をサーバに送信するステップと、前記サーバの管理する対応リストに基づいて、送信情報に対応付けられた電子情報をサーバから取得するステップと、取得電子情報に基づく処理を実行するステップと、を有することを特徴とする。
【００３７】
本発明の第４の側面は、
実物体と電子情報との対応関係を設定する情報処理を実行するコンピュータ・プログラムであって、
実物体を識別する実物体識別ステップと、
実物体の位置、姿勢を計測する実物体位置・姿勢計測ステップと、
ユーザの指示する位置を入力する位置入力ステップと、
前記位置入力ステップにおける入力情報に基づいて、ユーザの指示位置を前記実物体に対して固定した座標系である実物体座標系における位置情報に変換する位置座標変換ステップと、
前記実物体識別ステップにおいて識別した実物体識別情報と、前記位置座標変換ステップにおいて生成した前記実物体座標系における位置情報と、電子情報との対応関係の関連付け設定処理を実行する情報処理ステップを有し、
前記情報処理ステップは、前記関連付け設定処理において、１つの実物体識別情報に対して、前記実物体座標系における複数の異なる位置情報と、複数の異なる電子情報との対応関係の関連付け設定処理を実行するステップであるコンピュータ・プログラムにある。
【００３８】
本発明の第５の側面は、
実物体と電子情報との対応関係リストに基づくデータ処理を実行するコンピュータ・プログラムであって、
実物体を識別する実物体識別ステップと、
実物体の位置、姿勢を計測する実物体位置・姿勢計測ステップと、
ユーザの指示する位置を入力する位置入力ステップと、
前記位置入力ステップにおける入力情報に基づいて、ユーザの指示位置を前記実物体に対して固定した座標系である実物体座標系における位置情報に変換する位置座標変換ステップと、
前記実物体識別ステップにおいて識別した実物体識別情報と、前記位置座標変換ステップにおいて生成した前記実物体座標系における位置情報とに対応付けられた電子情報を対応リストに基づいて選択する電子情報選択ステップと、
前記電子情報選択ステップにおいて選択された電子情報を取得し、取得した電子情報に基づく処理を実行する電子情報実行ステップを有し、
前記電子情報選択ステップは、１つの実物体識別情報に対して、前記実物体座標系における複数の異なる位置情報と、複数の異なる電子情報とが対応付けられた対応リストから、前記位置座標変換ステップにおいて生成した前記位置情報に対応付けられた電子情報を選択するステップであるコンピュータ・プログラムにある。
【００３９】
【作用】
本発明の構成によれば、本やカード、あるいは模型、人形などの３次元の物体等のあらゆる実物体の任意位置と、画像データ、音声データ、テキストデータ、動画像データ、３次元モデルデータ、あるいは各種アプリケーションデータ、その他ゲーム、アニメーション等のコンピュータ・プログラム等の様々な電子情報との対応付け設定を容易に実行でき、対応関係登録データに基づく電子情報の出力、起動を行なうことが可能となるので、あらゆる実物体を入力インタフェースとした構成をユーザが自在に設定し構成することが可能となる。
【００４０】
さらに、本発明の構成によれば、実物体の任意位置と、電子情報との対応付け設定を、ユーザの指示ポイントを判別し、実物体座標系における位置情報を登録する構成としたので、実物体が空間上で移動した場合でも、ユーザの指示位置を実物体の相対位置として把握可能であり、実物体識別子、位置情報と対応づけられた電子情報を取得し、画像出力等の様々な電子情報に基づく処理が可能となる。
【００４１】
さらに、本発明の構成によれば、設定された対応関係を登録し、新たにユーザが実物体に対応した位置入力を行なったことを判別し、登録された対応関係データから識別された実物体および入力位置情報に相当する登録情報を選択し、選択された登録情報に対応付けられた電子情報を取得して、取得した電子情報に基づく処理、例えば画像データのディスプレイ表示、音声データの出力、あるいはコンピュータ・プログラムの起動等の処理が実行可能となる。
【００４２】
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００４３】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【００４４】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施の形態について説明する。図１に本発明の情報処理装置の概要を説明するブロック図を示す。なお、具体的なハードウェア構成については後段で説明する。情報処理装置１００は、実物体識別部１０１、実物体位置・姿勢計測部１０２、位置入力部１０３、位置座標変換部１０４、情報処理部１０５、対応関係管理部１０６、電子情報管理部１０７を有する。
【００４５】
実物体識別部１０１は、実物体、例えば本、カード、模型、人形などの実物体を識別する。実物体の識別は、例えばバーコードや２次元コードのような光学的に識別可能な識別子や、ＲＦＩＤ(Radio Frequency IDentification)タグのような無線技術を応用した識別子情報を実物体上に配置することによって実現することができる。あるいは、識別子の代わりに実物体の形状や色などの情報から実物体を識別する構成としてもよい。
【００４６】
本、カード、模型、人形などの実物体に識別子（ＩＤ）が設定され、実物体識別部１０１は、この設定ＩＤを読み取ることで実物体が何かを識別する。実物体に設定されるＩＤが、ＲＦＩＤ(Radio Frequency IDentification)であれば、実物体識別部１０１は、ＲＦＩＤからの送信データを受信可能な無線読み取り手段としてのＲＦＩＤリーダを有する構成となる。また、実物体に設定されるＩＤがバーコード、２次元コード等のコードデータであれば、実物体識別部１０１は、コードデータを読み取り可能な撮像手段としてのカメラを持つ構成となる。また、実物体識別部１０１を画像撮影手段としてのカメラを持つ構成とし、実物体識別部１０１が実物体の画像そのものから、画像認識を用いて、形状情報や色情報から実物体に対応するＩＤ識別処理を行ってもよい。この場合は、実物体にＩＤに対応するコードデータ等を添付することは必須ではない。
【００４７】
実物体位置・姿勢計測部１０２では、実物体の位置及び姿勢が測定される。実物体の位置及び姿勢の計測は、例えば磁気方式、光学方式、超音波方式、機械方式などの従来から知られる３次元位置・姿勢計測装置を用いることで実現できる。
【００４８】
磁気方式は磁気変換技術を利用した３次元計測であり、磁界内にコイルを置くと電流が誘起される現象を応用したものである。光学方式は３点以上のマーカをカメラで撮影し、得られた画像情報を元に３次元計測を行うものである。超音波方式は送信及び受信装置から構成され、受信された超音波の音圧や到達時間から３次元計測を行うものである。機械方式は多関節アームのような機械的な可動部を持ち、その動きから３次元位置情報を求めるものである。これらの３次元位置・姿勢計測装置を用いることによって実物体の位置及び姿勢計測を行うことが可能である。
【００４９】
実物体位置・姿勢計測部１０２は、例えば本やカードなどの実物体を机の上で用いる場合、２次元的な位置及び姿勢のみを計測するために適用しても良い。すなわち、実物体の認識領域をある平面に制約して用いる場合には、３次元的な位置及び姿勢を求める必要はなく、２次元的な位置及び姿勢だけで十分となる。さらに、実物体が常に既定の位置に固定される場合には、実物体の位置及び姿勢を求める必要はない。あるいは姿勢が制約される場合には位置情報だけを計測しても良いし、位置が制約される場合には姿勢情報だけを計測しても良い。
【００５０】
また、実物体識別部１０１及び実物体位置・姿勢計測部１０２は、実物体上に例えば「サイバーコード（Ｃｙｂｅｒｃｏｄｅ）」のような２次元コードが貼付されている場合、実物体の識別と位置・姿勢計測を同時に実行することができる。サイバーコードは、２次元的なビジュアル・コードの一種であり、サイバーコードの所在を表すための「ガイド・バー表示領域」と、２次元状のコード・パターンを表示する「コード・パターン表示領域」とで構成され、モザイク状の模様をなす。
【００５１】
図２に実物体２０１の右上に２次元コード（サイバーコード）２０２が貼付された例を示す。コード・パターン表示領域内は、ｎ×ｍマトリックス（同図では７ｘ７）に配列されたセルで構成され、各セルを白又は黒の２値表現することで識別情報を付与することができる。但し、コード・パターン表示領域の４隅のコーナー・セルは、識別情報としてではなく位置合わせ（Ｉｍａｇｅ Ｒｅｇｉｓｔｒａｔｉｏｎ）パターンとして、常に黒パターンとなっている。
【００５２】
この２次元コード２０２の認識手順は、撮像画像を２値化するステップと、２値画像中からガイド・バーの候補を発見するステップと、ガイド・バー位置や方向に基づいてコーナー・セルを探索するステップと、ガイド・バー及びコーナー・セルを検出したことに応答して画像ビットマップ・パターンを復号化するステップとに大別される。さらに、エラービットの検査を行うことで、撮像画像中に正しいサイバー・コードが含まれていることを確認して、該コードの識別情報や位置情報を導出することができる。また、コーナー・セルの位置に基づいて、カメラやオブジェクトの傾きによって生じる歪みを算出して補償することができる。
【００５３】
なお、サイバーコードの詳細については、例えば、本出願人に既に譲渡されている特開２０００−８２１０８号公報（「２次元コ―ド認識処理方法、２次元コ―ド認識処理装置、および媒体」）にも開示されている。
【００５４】
図１に戻り、本発明の情報処理装置の構成についての説明を続ける。位置入力部１０３は実物体に関する位置情報の入力手段である。すなわち、上述の実物体位置・姿勢計測部１０２の実物体の位置に基づいて、実物体のどの部分をユーザが指示した位置であるかの情報を求めるために適用するユーザ指示位置の入力部である。
【００５５】
位置入力部１０３を構成する入力手段としては、前述の実物体位置・姿勢計測部１０２と同様の３次元位置・姿勢計測装置を用いてもよいし、本やカードなどの平面上の２次元的な位置を入力する構成であれば、電子ペンなどの２次元的な絶対位置の入力可能な手段によって構成してもよい。また、位置入力部１０３で入力される位置は実物体表面上の位置に限らず、実物体内部もしくは実物体外部の位置であってもよい。
【００５６】
位置座標変換部１０４では、実物体位置・姿勢計測部１０２から入力された実物体の位置及び姿勢と、位置入力部１０３で入力されたユーザの指示位置に対応する位置情報とに基づいて、ユーザの指示位置に対応する位置情報を実物体座標系における位置に変換する。すなわち、実物体に対する相対的なユーザの指示位置を求めるための座標変換処理を実行する。
【００５７】
図３に実物体座標系への変換例を示す。図３では、実物体２０１の右上に貼付された実物体識別子（ＩＤ）としての２次元コード２０２を、実物体位置・姿勢計測部１０２を構成するカメラ３０１で撮影することによって、カメラ座標系（Ｘｃ，Ｙｃ，Ｚｃ）における実物体２０１の位置及び姿勢が計測される。カメラ座標系（Ｘｃ，Ｙｃ，Ｚｃ）は、実物体位置・姿勢計測部１０２を構成するカメラ３０１を中心（０，０，０）として、カメラ３０１の向き（姿勢）に応じた座標軸を設定した座標系である。
【００５８】
また、位置入力部１０３を構成するポインタ３０２の所定位置にはマーカ３０３が複数配設されており、実物体位置・姿勢計測部１０２を構成するカメラ３０１から撮影された画像中のマーカ３０３の位置とポインタ３０２上に配設されたマーカ３０３の空間的な位置から、カメラ座標系（Ｘｃ，Ｙｃ，Ｚｃ）における位置入力部１０３を構成するポインタ３０２の位置が計算される。
【００５９】
ここで、実物体位置・姿勢計測部１０２を構成するカメラ３０１を基準としたカメラ座標系（Ｘｃ，Ｙｃ，Ｚｃ）における実物体２０１の位置及び姿勢情報を行列Ｍｒとし、カメラ座標系（Ｘｃ，Ｙｃ，Ｚｃ）における位置入力部１０３を構成するポインタ３０２の位置をＰｃとすると、実物体座標系（Ｘｒ，Ｙｒ，Ｚｒ）における位置入力部１０３を構成するポインタ３０２の位置Ｐｒは次式（式１）から求めることができる。実物体座標系（Ｘｒ，Ｙｒ，Ｚｒ）は、実物体を基準とした座標系であり、図３に示すように、例えば実物体の識別子（ＩＤ）の付設位置の一定点（原点２０３）を原点とし、実物体の方向（姿勢）に応じて座標軸が設定される座標系である。
【００６０】
【数１】
Ｐｒ＝Ｍｒ-1・Ｐｃ ・・（式１）
【００６１】
上述の式（式１）に基づいて、実物体座標系（Ｘｒ，Ｙｒ，Ｚｒ）における位置入力部１０３を構成するポインタ３０２の位置Ｐｒが求められる。この位置は、実物体に対するポインタ３０２の相対位置情報を示す。図３においては、実物体の識別子（ＩＤ）の付設位置に原点２０３を持ち、実物体の方向（姿勢）に応じた座標軸が設定された座標におけるポインタ３０２の３次元座標位置を示すことになる。
【００６２】
なお、実物体２０１の位置・姿勢計測と位置入力部としてのポインタ３０２の位置計測が異なる計測装置で測定された場合でも容易に実物体座標系における位置へ変換することが可能である。図４に異なる計測装置を用いた場合の実物体座標系への変換例を示す。
【００６３】
図４では、実物体２０１の右上に貼付されたサイバーコードからなる２次元コード２０２を実物体位置・姿勢計測部１０２を構成するカメラ３０１で撮影することによって、カメラ座標系（Ｘｃ，Ｙｃ，Ｚｃ）における実物体２０１の位置及び姿勢が計測される。位置入力部１０３を構成するポインタ３０２は、磁気方式の３次元位置・姿勢計測を実行する構成であり、近辺に配置した磁界発生器４０２で発生した磁界により位置入力部としてのポインタ３０２内に構成したコイル（図示せず）に電流が誘起され、これを電流検出処理部４０１で検出し、検出電流に基づいて磁界発生器４０２に対する相対的なポインタ３０２の位置が取得、すなわち、磁界発生器座標系（Ｘｍ，Ｙｍ，Ｚｍ）における位置入力部としてのポインタ３０２の位置が計測される。
【００６４】
磁界発生器座標系（Ｘｍ，Ｙｍ，Ｚｍ）は、磁界発生器４０２を基準とした座標系であり、図４に示すように、例えば磁界発生器４０２の中心位置を原点とし、磁界発生器４０２の姿勢に基づいて設定される座標軸を持つ座標系である。
【００６５】
磁界発生器４０２は、実物体位置・姿勢計測部１０２を構成するカメラ３０１に対して既知の場所に設置されている。すなわち、実物体位置・姿勢計測部１０２を構成するカメラ３０１に対する磁界発生器４０２の相対位置情報は取得されているものとする。あるいは磁界発生器４０２にマーカを配設し（図示しない）、そのマーカをカメラ３０１で撮影することによってカメラ座標系（Ｘｃ，Ｙｃ，Ｚｃ）における磁界発生器４０２の位置及び姿勢を計測し、相対位置情報を取得する構成としても良い。
【００６６】
カメラ座標系（Ｘｃ，Ｙｃ，Ｚｃ）における磁界発生器４０２の位置及び姿勢情報を行列Ｍｍ、実物体２０１の位置及び姿勢情報を行列Ｍｒとする。磁界発生器座標系（Ｘｍ，Ｙｍ，Ｚｍ）における位置入力装置３０２の位置をＰｍとすると、実物体座標系（Ｘｒ，Ｙｒ，Ｚｒ）における位置入力装置３０２の位置Ｐｒは次式（式２）から求めることができる。
【００６７】
【数２】
Ｐｒ＝Ｍｒ-1・Ｍｍ・Ｐｍ ・・（式２）
【００６８】
上述の式（式２）に基づいて、実物体座標系（Ｘｒ，Ｙｒ，Ｚｒ）における位置入力部１０３を構成するポインタ３０２の位置Ｐｒが求められる。この位置は、実物体２０１に対するポインタ３０２の相対位置情報を示す。図４においては、実物体の識別子（ＩＤ）の付設位置に原点２０３を持ち、実物体の方向（姿勢）に応じた座標軸が設定された座標におけるポインタ３０２の３次元座標位置を示すことになる。
【００６９】
上述した例では、磁界発生器４０２がカメラ３０１に対し既知の場所に配置されていた構成であるが、逆にカメラ３０１が磁界発生器４０２に対し、既知の場所に配置されていても良い。この場合、磁界発生器座標系（Ｘｍ，Ｙｍ，Ｚｍ）におけるカメラ３０１の位置及び姿勢を行列Ｍｃと表すと、実物体座標系（Ｘｒ，Ｙｒ，Ｚｒ）における位置入力装置３０２の位置Ｐｒは次式（式３）から求めることができる。
【００７０】
【数３】
Ｐｒ＝Ｍｒ-1・Ｍｃ-1・Ｐｍ ・・（式３）
【００７１】
図１に戻り、本発明の情報処理装置の構成についての説明を続ける。電子情報管理部１０７では画像データ、音声データ、テキストデータ、動画像データ、３次元モデルデータ、あるいは各種アプリケーションデータ、その他ゲーム、アニメーション等のコンピュータ・プログラム等、情報処理部１０５において処理可能な電子化された情報を格納し管理する。これらの情報が、上述のポインタ等の位置入力部１０３の位置情報等と関連づけられる。
【００７２】
この関連情報、すなわち音声データや画像データ、テキストデータなど情報処理部１０５において処理可能な電子化された情報と、実物体及び実物体座標系における任意の位置データとの対応関係を管理するのが対応関係管理部１０６である。対応関係管理部１０６では実物体及び実物体座標系における任意の位置と、電子情報管理部１０７に格納されている電子情報との対応関係を管理する。
【００７３】
なお、対応関係管理部１０６及び電子情報管理部１０７は、情報処理装置の内部に構成してもよいが、対応関係管理部１０６及び電子情報管理部１０７をネットワーク上の端末（サーバ）に配置する構成としてもよい。
【００７４】
実物体識別部１０１〜位置情報変換部１０４と、情報処理部１０５の一部機能をユーザ端末としての情報処理装置に構成し、ユーザ端末側の情報処理部１０５の制御の下に情報処理装置の通信部（図示せず）を介して、実物体の情報、ポインタ等の位置情報をネットワーク上の端末（サーバ）に送信し、サーバが、ユーザ端末から受信した実物体情報やポインタ位置情報に基づいて対応関係管理部１０６に電子化情報と、実物体とその位置データとの対応関係を格納する。
【００７５】
また、ユーザ端末側の情報処理部１０５の制御の下に情報処理装置の通信部を介して、実物体の情報、ポインタ等の位置情報をネットワーク上の端末（サーバ）に送信し、サーバの対応関係管理部１０６の格納情報に基づいて電子情報管理部１０７から画像データ、音声データ、テキストデータ、動画像データ、３次元モデルデータ、あるいは各種アプリケーションデータ、その他ゲーム、アニメーション等のコンピュータ・プログラム等の様々な電子情報をサーバにおいて抽出し、ネットワークを介してユーザ端末が受信して、ユーザ端末のディスプレイ、スピーカ等に出力する構成としてもよい。
【００７６】
このように、対応関係管理部１０６及び電子情報管理部１０７を、ネットワークに接続されたサーバに構成することで、各管理部の格納情報をネットワークに接続されたユーザ端末間で共有することが可能となり、異なる端末間であっても共通の対応関係情報に基づいた処理が可能となり、また共通の画像、音声等の電子情報にアクセスすることが可能となる。
【００７７】
情報処理部１０５では、実物体識別部１０１において識別された情報と、位置座標変換部１０４において変換された位置と、電子情報管理部１０７において管理されている電子情報とを対応付け、対応関係管理部１０６に格納する。また、実物体識別部１０１において識別された情報と、位置座標変換部１０４において変換された位置から、対応関係管理部１０６で管理されている対応関係を検索し、実物体及び実物体座標系における位置に対応付けられている電子情報を読み込む。
【００７８】
対応関係管理部１０６で管理されている対応関係データの構成例について、図５を参照して説明する。実物体及び実物体座標系における位置と、画像データ、音声データ、テキストデータ、あるいはゲーム、アニメーション等のコンピュータ・プログラム等の様々な電子情報との対応は、例えば図５に示すような対応リスト４５１が記憶部に格納されて管理される。
【００７９】
例えば、実物体をバーコード、２次元コードなどで示される識別子（ＩＤ）で識別している場合、その識別子を実物体が何であるかを示す実物体識別子（ＩＤ）として管理する。また、実物体座標系における位置は、例えば、入力装置が３次元位置・姿勢計測装置の場合、３次元の座標値を位置情報とする。すなわち、実物体の表面上に電子情報を対応付けられるだけでなく、立体的な位置に電子情報を対応付けられる。例えば、実物体が図６に示すような立体的な人形である場合、目の位置には動画像データ、口や耳の位置には音声データ、体には人形の３次元モデルというように、人形の各部位に電子情報を対応付けることが可能である。あるいは、３次元的な位置情報を必要としない場合には、２次元の座標値を位置情報としても良い。
【００８０】
さらに位置情報に加えて、距離ｄを情報として対応リスト４５１で管理することにより、任意の位置を中心とする半径ｄの領域を持つ位置情報、すなわち領域位置情報と電子情報とを対応付けることができる。あるいは、位置情報の代わりに、始点及び終点を対応リスト４５１で管理することにより、始点及び終点で定義される立方体の領域と電子情報とを対応付けても良い。
【００８１】
実物体及び実物体座標系における位置と電子情報の対応関係を格納した対応リスト４５１では、実物体ＩＤと位置に対し、電子情報を対応付けて管理する。電子情報は、例えばファイル形式で保存され、ファイルが保存されている情報端末のマシン名及びファイル名で管理される。つまり、電子情報は同一の情報端末が有する必要はなく、ネットワークで接続された複数の端末で共有することが可能である。
【００８２】
また、この対応リスト４５１自身をサーバ等の特定端末に格納し、ネットワークで接続された複数端末間で共有することによって、異なる端末間でも同一の識別子を持つ実物体を用いて、対応された電子情報を読み出したり、あるいは新たに電子情報を対応させることが可能である。
【００８３】
図７は、本発明の実施の形態に係る実物体を用いた情報処理装置のハードウェア構成例を示した図である。メイン・コントローラであるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５０１は、オペレーティング・システム（ＯＳ）の制御下で、例えば実物体及び実物体に対する任意の位置に電子情報を対応付けるためのアプリケーションを実行する。
【００８４】
メモリ５０２は、ＣＰＵ５０１において実行されるプログラム・コードをロードしたり、実行プログラムの作業データを一時保管するために使用されるＲＡＭ等により構成される記憶装置である。
【００８５】
また、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５０３は、データを恒久的に格納する半導体メモリであり、例えば、起動時の自己診断テスト（ＰＯＳＴ：Ｐｏｗｅｒ Ｏｎ Ｓｅｌｆ Ｔｅｓｔ）や、ハードウェア入出力用のプログラム・コード（ＢＩＯＳ：Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）などが書き込まれている。
【００８６】
外部記憶装置５０４は、ハード・ディスク・ドライブ（ＨＤＤ）や、光ディスクなどのランダムアクセスが可能な記憶媒体が望ましいがテープストリーマーなどのランダムアクセスの不得手な記憶媒体でも構成可能である。また、メモリースティックに代表される不揮発性の半導体メモリでもよい。あるいはネットワーク接続された他のシステムの外部記憶装置でもよい。さらにそれらの組み合わせでもよい。
【００８７】
バス５０５はＰＣＩ（Peripheral Component Internet/Interface）バス等により構成され、各モジュール、入出力インターフェース、ネットワークインタフェースを介したデータ転送を可能にしている。
【００８８】
入力インタフェース５０６は、キーボードやマウスなどのユーザ入力機器を本システムに接続するための装置である。また、実物体を識別するための実物体識別部および実物体位置・姿勢計測部を構成するカメラ５２１やＲＦＩＤリーダ（図示しない）などの入力装置が接続され、さらに、位置入力部を構成するポインタ５２３、磁界を発生しポインタからの電流検出を行なう磁界発生部および電流検出処理部５２２が接続される。なお、実物体を識別するための実物体識別部および実物体位置・姿勢計測部、あるいは位置計測部として何を適用するかによって接続デバイスは異なることになる。
【００８９】
出力インタフェース５０７は、一般に、ユーザからの入力内容やその処理結果、あるいはエラー、その他のシステム・メッセージをユーザに明示的に示すためのディスプレイやスピーカなどの装置を接続するためのものである。さらに、ディスプレイやスピーカを介して電子情報である画像データや、音声データの出力が実行される。
【００９０】
ネットワークインタフェース５０８は、例えばＥｔｈｅｒｎｅｔ（登録商標）などの所定の通信プロトコルに従って、システムをＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などの局所的ネットワークに接続したり、さらにはインターネットのような広域ネットワークに接続することを可能とした通信部である。
【００９１】
次に、本発明の情報処理装置において実行する実物体及び実物体座標系における位置と電子情報の対応付け処理の手順について、図８に示したフローチャートを参照して詳細に説明する。
【００９２】
まず、ステップＳ１０１において対応付けをする電子情報、例えば画像データ、音声データ、テキストデータ、動画像データ、３次元モデルデータ、あるいは各種アプリケーションデータ、その他ゲーム、アニメーション等のコンピュータ・プログラム等の様々な電子情報を設定する。これらの電子情報は、例えば外部記憶手段としてのＣＤ，ＤＶＤ等の記憶手段に格納されたデータファイル、あるいはネットワークに接続されたサーバから取得するデータファイル、あるいはユーザ自身が生成したデータファイル等、どのような電子情報でも構わない。
【００９３】
例えば、本発明の情報処理装置において、本発明の構成に従った対応付け処理プログラムによって、対応付けの設定対象となる電子情報が電子情報リストとしてディスプレイ上に表示される。ユーザは、表示リストから対応付け設定対象の電子情報を選択し、選択電子情報が対応付けの設定候補として登録される。図９に対応付け処理を実行する情報処理装置のディスプレイ上に表示される電子情報リストの例を示す。
【００９４】
電子情報リスト７０１には対応付けの設定可能な電子情報を示す電子情報アイコン７０２や電子情報ファイル名が表示される。ユーザは、ディスプレイに表示される電子情報７０２を示すアイコンやファイル名を、例えば、キーボード、マウス、電子ペンなどを用いて選択することで、対応付けの設定候補として登録する。
【００９５】
あるいは、通常のＰＣ等に付属のキーボードやマウスを用いて選択することなく、前述のポインタ等の位置入力部の構成部品を用いて、ディスプレイに表示される電子情報を示す電子情報アイコン７０２やファイル名の選択処理を行なう構成としてもよい。
【００９６】
図１０に位置入力部としてのポインタ３０２を用いた電子情報リスト選択処理例を示す。図１０では磁気方式の３次元位置・姿勢計測装置が位置入力部としてのポインタ３０２に用いられている。
【００９７】
ディスプレイ８０１は磁界発生器４０２に対して既知の位置に設置されている。そのため、磁界発生器座標系（Ｘｍ，Ｙｍ，Ｚｍ）で計測されたディスプレイ８０１面上の位置は容易にディスプレイ座標系（Ｘｄ，Ｙｄ，Ｚｄ）に変換することが可能である。なお、ディスプレイ座標系は、ディスプレイを基準とした座標系であり、ディスプレイに設定される固定点を原点として、ディスプレイの方向に基づいて決定される座標軸を持つ座標系である。
【００９８】
ポインタ３０２を用いてディスプレイ８０１上の電子情報のアイコン等を選択すると、ディスプレイ座標系（Ｘｄ，Ｙｄ，Ｚｄ）におけるポインタ３０２の位置、すなわち、ポインタ３０２が、ディスプレイ８０１上の電子情報リスト７０１中のどの電子情報アイコン７０２を示しているかを判別することができる。このように、位置入力部としてのポインタ３０２を電子情報の選択処理にも用いることによって、ユーザは様々な入力装置を持ち替える手間が省け、より直感的な操作で、実物体及び実物体座標系における位置と電子情報を対応付けることが可能となる。
【００９９】
また、対応付けをする電子情報、例えば画像データ、音声データ、テキストデータ、動画像データ、３次元モデルデータ、あるいは各種アプリケーションデータ、その他ゲーム、アニメーション等のコンピュータ・プログラム等の様々な電子情報は、前述したように、様々な媒体の格納情報、ネットワークを介して入手した情報、ユーザの生成情報等、様々である。例えば、図１０に示すカメラ３０１の撮影する静止画像や動画像を対応付け対象の電子情報として入力することも可能である。あるいは、マイクなどを通して入力したユーザのメッセージ等の音声データを入力し、入力情報を対応付けをする電子情報としても良い。
【０１００】
図８のフローに戻り、対応付け処理の手順の説明を続ける。ステップＳ１０１において、実物体および実物体における位置情報と対応付ける電子情報の設定が済むと、次に、ステップＳ１０２において、電子情報と対応付ける実物体及び実物体座標系における位置情報を入力する。前述したように、実物体の識別は実物体識別部１０１で、例えば実物体に設定された２次元コード等の識別情報に基づいて取得される。
【０１０１】
また、実物体座標系における位置は、実物体位置・姿勢計測部１０２により計測された実物体の位置・姿勢に基づいて、ポインタ等の位置入力部１０３の入力位置情報を、位置座標変換部１０４で変換して算出される。
【０１０２】
算出される位置情報は、実物体を基準とした座標系における位置であり、実物体のどの位置をユーザが指示しているかを判別可能な位置情報である。これらは、例えば図６の人形が実物体である場合は、ユーザが耳、口、あるいは目等、どの位置を指示しているかを示す位置情報になる。
【０１０３】
次に、ステップＳ１０３では、ステップＳ１０２で入力された実物体及び実物体座標系における位置にすでに電子情報が対応付けられているか否かをチェックする。すなわち、対応関係管理部が記憶部に格納している対応リスト（図５参照）に、入力した実物体ＩＤおよび位置情報と、同一の情報が登録され、すでに何らかの電子情報との対応が設定されているか否かを判定する。
【０１０４】
対応リストに同一の登録情報が存在する場合にはステップＳ１０４で、対応リストからその登録情報を削除する。ただし、同一実物体ＩＤおよび位置情報に複数の電子情報、例えば画像情報ファイルと音声情報ファイルとを対応付けることも可能であり、登録済みの情報を削除するか否かは、ユーザの判定に基づいて決定してもよい。
【０１０５】
続いて、ステップＳ１０５において、ステップＳ１０２において入力された実物体及び実物体座標系における位置と、ステップＳ１０１で入力された電子情報との対応付けの登録を行う。すなわち、対応リスト（図５参照）に登録する。
【０１０６】
前述したように対応リスト（図５参照）の登録情報は、例えば、実物体をバーコードなどのような識別子で識別している場合、その識別子を実物体ＩＤとして管理し、また、実物体座標系における位置は、３次元座標値を位置情報とする。３次元的な位置情報を必要としない場合には、２次元の座標値を位置情報としても良い。さらに位置情報に加えて、距離ｄを情報として対応リストに登録し、任意の位置を中心とする半径ｄの領域を持つ領域位置情報と電子情報とを対応付ける構成としてもよい。距離ｄの値は、例えば予めデフォルト値を設定しておくか、ユーザが任意に設定可能とする。あるいは、単一の位置情報の代わりに、２つの位置情報、すなわち始点及び終点位置情報をリストに登録管理することにより、始点及び終点で定義される立方体の領域と電子情報とを対応付ける構成としてもよい。
【０１０７】
また、対応リストに登録する電子情報としては、アプリケーションプログラムを特定の位置情報に関連付けて登録可能である。また、アプリケーションプログラムに対してさらに複数の画像データや音声データを関連付けて設定してもよい。
【０１０８】
例えば、図６に示す実物体２０１としてのぬいぐるみの口にポインタを持っていくと、口の位置情報に対応付けられたアプリケーションが起動し、そのアプリケーションに関連付けられた様々な音声情報、画像情報を読み出して、情報処理装置のディスプレイおよびスピーカを出力部として物語を展開するなどの構成が可能である。
【０１０９】
このようにして、ユーザは実物体に関する任意の位置に電子情報を自由に関連付けて、対応リスト（図５参照）に登録することが可能である。また、関連付けを生成、編集するばかりではなく、対応リストに登録済みの情報を削除することも可能である。削除処理は、例えばステップＳ１０１において空の電子情報を選択し、削除したい位置をユーザがポインタで指定する処理を実行することで、対応リストからの登録情報削除が可能となる。
【０１１０】
次に、本発明の情報処理装置において、上述した対応付け処理を実行後、登録された対応リスト（図５参照）に基づいて、様々なデータ処理を実行する処理手順について、図１１のフローを参照して説明する。すなわち、実物体及び実物体座標系におけるユーザの指定する位置情報を取得し、取得した位置情報に基づいて、対応リストから関連付けられた電子情報を選択して、選択した関連電子情報に基づく処理、例えば画像データの提示、音声データの出力、コンピュータ・プログラムの起動等の様々なデータ処理を実行する処理手順について図１１に示したフローチャートを参照して説明する。
【０１１１】
まず、ステップＳ２０１において実物体及び実物体座標系における位置を入力する。前述したように、実物体の識別は実物体識別部１０１で、例えば実物体に設定された２次元コード等の識別情報に基づいて取得される。
【０１１２】
また、実物体座標系における位置は、実物体位置・姿勢計測部１０２により計測された実物体の位置・姿勢に基づいて、ポインタ等の位置入力部１０３の入力位置情報を、位置座標変換部１０４で変換して算出される。
【０１１３】
次に、ステップＳ２０２において、ステップＳ２０１で入力された実物体及び実物体座標系における位置が、対応関係管理部１０６の管理する対応リスト（図５参照）に登録された実物体ＩＤ及び位置情報と一致するものがあるか否かが判定される。ここで、実物体座標系における位置は、前述した入力位置と登録位置とが、距離ｄ以内であれば、同じ位置を指していると見なしても良い。距離：ｄは、前述したように、任意の位置を中心とする半径ｄの領域と電子情報とを対応付ける構成において適用される値である。距離ｄの値は、例えば予めデフォルト値を設定しておくか、ユーザが任意に設定可能とする。
【０１１４】
ステップＳ２０３において対応する電子情報が対応リスト中にあると判定された場合、ステップＳ２０４へ進み、対応リストに登録された電子情報に基づくデータ処理が実行される。登録された電子情報が動画像データなら動画像データを再生する。登録された電子情報が３次元モデルデータなら３次元モデルの表示を実行する。登録された電子情報がアプリケーションプログラムであれば、アプリケーションプログラムを起動する。
【０１１５】
登録された電子情報がアプリケーションプログラムである場合は、例えば起動されたプログラムに関連付けられた様々な音声情報、画像情報を読み出して、情報処理装置のディスプレイおよびスピーカを出力部として物語を展開するなどの構成が可能である。
【０１１６】
ステップＳ２０３の判定において、入力された実物体と位置に対応する電子情報が対応リストに無いと判定した場合には処理は終了となる。ここで、対応する電子情報がないことをユーザに知らせるメッセージや音を出力しても良い。
【０１１７】
以上、説明したように、実物体に対する任意の位置に電子情報を自由に対応付けることが可能である。また、すでに対応付けられた電子情報は、その位置を指定することによって容易に読み込むことが可能である。
【０１１８】
なお、上述したフローチャートを用いて説明した各処理、すなわち、情報処理装置において実行する実物体及び実物体座標系における位置と電子情報の対応付け処理、および対応リストに基づくデータ処理等の各種処理は、ＲＯＭ他の記憶媒体に記録されたプログラムに従って実行される。
【０１１９】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【０１２０】
なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【０１２１】
例えば、プログラムは記憶媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
【０１２２】
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記憶媒体にインストールすることができる。
【０１２３】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。
【０１２４】
【発明の効果】
以上、説明したように、本発明の構成によれば、本やカード、あるいは模型、人形などの３次元の物体等のあらゆる実物体の任意位置と、画像データ、音声データ、テキストデータ、動画像データ、３次元モデルデータ、あるいは各種アプリケーションデータ、その他ゲーム、アニメーション等のコンピュータ・プログラム等の様々な電子情報との対応付け設定を容易に実行でき、対応関係登録データに基づく電子情報の出力、起動を行なうことが可能となるので、あらゆる実物体を入力インタフェースとした構成をユーザが自在に設定し構成することが可能となる。
【０１２５】
さらに、本発明の構成によれば、実物体の任意位置と、電子情報との対応付け設定を、ユーザの指示ポイントを判別し、実物体座標系における位置情報を登録する構成としたので、実物体が空間上で移動した場合でも、ユーザの指示位置を実物体の相対位置として把握可能であり、実物体識別子、位置情報と対応づけられた電子情報を取得し、画像出力等の様々な電子情報に基づく処理が可能となる。
【０１２６】
さらに、本発明の構成によれば、設定された対応関係を登録し、新たにユーザが実物体に対応した位置入力を行なったことを判別し、登録された対応関係データから識別された実物体および入力位置情報に相当する登録情報を選択し、選択された登録情報に対応付けられた電子情報を取得して、取得した電子情報に基づく処理、例えば画像データのディスプレイ表示、音声データの出力、あるいはコンピュータ・プログラムの起動等の処理が実行可能となる。
【図面の簡単な説明】
【図１】本発明の情報処理装置の全体概要を説明するブロック図である。
【図２】本発明の情報処理装置の処理対象となる実物体の例（書籍）および実物体識別情報としての２次元コードを示す図である。
【図３】本発明の情報処理装置において実行する座標変換処理について説明する図である。
【図４】本発明の情報処理装置において実行する座標変換処理について説明する図である。
【図５】本発明の情報処理装置の対応関係部の管理する対応リストの構成例について説明する図である。
【図６】立体的な形状を持つ実物体の位置と電子情報の対応付け例について説明する図である。
【図７】本発明の情報処理装置のハードウェア構成例手を示す図である。
【図８】本発明の情報処理装置において実行する実物体及び実物体座標系における位置と電子情報の対応付け処理の手順について説明するフローチャートを示す図である。
【図９】本発明の情報処理装置において実行する実物体及び実物体座標系における位置と電子情報の対応付け処理に適用する電子情報リストの例を示す図である。
【図１０】本発明の情報処理装置において実行する実物体及び実物体座標系における位置と電子情報の対応付け処理にポインタを適用した場合の処理について説明する図である。
【図１１】本発明の情報処理装置において実行する対応リストに基づくデータ処理手順を説明するフローチャートを示す図である。
【符号の説明】
１０１ 実物体識別部
１０２ 実物体位置・姿勢計測部
１０３ 位置入力部
１０４ 位置座標変換部
１０５ 情報処理部
１０６ 対応関係管理部
１０７ 電子情報管理部
２０１ 実物体
２０２ ２次元コード
２０３ 原点
３０１ カメラ
３０２ ポインタ
３０３ マーカ
４０１ 電流検出処理部
４０２ 磁界発生器
４５１ 対応リスト
５０１ ＣＰＵ
５０２ メモリ
５０３ ＲＯＭ
５０４ 外部記憶装置
５０５ バス
５０６ 入力インタフェース
５０７ 出力インタフェース
５０８ ネットワークインタフェース
５２１ カメラ
５２２ 磁界発生部および電流検出処理部
５２３ ポインタ
７０１ 電子情報リスト
７０２ 電子情報アイコン
８０１ ディスプレイ
【発明の属する技術分野】
本発明は、情報処理装置、および情報処理方法、並びにコンピュータ・プログラムに関する。さらに詳細には、実物体の任意の位置を指示する処理、例えば、ポインタ等の位置入力装置を用いて実物体の様々な位置を指示して指示位置と電子情報とを対応付けて登録管理するとともに、登録管理データに基づいて指示位置に応じた様々なデータ処理を実行することを可能とした情報処理装置、および情報処理方法、並びにコンピュータ・プログラムに関する。
【０００２】
【従来の技術】
情報処理技術や情報通信技術が高度に発達した現代においては、パーソナル・コンピュータや携帯情報端末を始めとする情報機器がオフィスや家庭内などの実世界上のいたるところに遍在する。このような環境下では、実世界の状況、すなわち実世界の事物やユーザの位置などを積極的に利用したシステムの実現が期待される。
【０００３】
このような環境下においては、分り易く直感的なインターフェイスの実現が望まれる。現在、多くのシステムでは、ユーザインタフェースとして、ＧＵＩ（グラフィカル・ユーザ・インターフェイス）を採用している。ＧＵＩを用いたシステムでは、キーボードでコマンドを入力することなく、マウスやペン・タブレットでアイコンやメニューを選択することによってコンピュータを操作することを可能にしている。
【０００４】
しかし、このようなＧＵＩをユーザインターフェイスとして採用したシステムにおいても、全くコンピュータに関する知識や経験のないユーザは操作の困難性を感じ、全てのユーザに対して直感的な操作性を実現しているとは言い難い。
【０００５】
より多くのユーザに対して直感的な操作感を実現するために、実世界指向インターフェイスとよばれる、現実の物理的なオブジェクトを用いて直感的なコンピュータの操作を実現する技術が研究されている。
【０００６】
実世界指向のインターフェイスの一例として、ある物理的なオブジェクトにバーコード、２次元コードやＲＦＩＤ(Radio Frequency IDentification)を用いた構成がある。ＲＦＩＤタグは、シリコンチップと、データを無線で送信できるアンテナからなり、あらゆるものに装着可能であり、実物体の識別データの送信タグとして利用される。ＲＦＩＤタグは、無線読み取り装置（ＲＦリーダ）が認識できる範囲内にある限り複数のタグを瞬時に判別可能となる。このような、バーコード、２次元コード、あるいはＲＦＩＤ等のＩＤ（識別子）情報を実物体に取り付け、コンピュータが、そのＩＤを認識し、ＩＤの付けられたオブジェクトに応じた処理を行うシステムが提案されている。
【０００７】
さらに、実世界の状況を積極的に利用したシステムとして、例えば特許文献１に記載のシステムがある。この特許文献１では、現実物と情報処理装置によって扱われる電子化された情報を対話的に対応付け、電子化された情報の直感的な参照及び操作を可能としたシステムを紹介している。
【０００８】
また、非特許文献１には、Ｆｉｅｌｄ Ｍｏｕｓｅというシステムが記載されている。この文献には、紙や平面に貼られたバーコードなどのＩＤを読み込み、読み込んだ後の移動量や方向を解析することで、紙や平面上の任意の位置に埋め込まれた電子情報にアクセスすることができる構成が紹介されている。
【０００９】
また、特許文献２では、キーボードやマウスなどの従来の入力装置に代わり、紙などの実物体を用いた情報選択方法を提案している。本構成によれば、ユーザは紙上の任意の位置に記載された指示情報を選択することで指示情報に対応するコンテンツを出力したり、その指示情報に対応する制御をすることができる。そのため、ユーザは入力デバイスを直接意識することなく、直感的に操作を行うことが可能となる。
【００１０】
しかしながら、上記特許文献１に記載の技術では、現実物と電子化された情報を対応付けることはできるが、現実物に対する任意の位置と電子化された情報を対応付けることは困難である。例えば、カード上に書かれた絵や文書ごとに電子化情報を埋め込むには、絵や文書をそれぞれ識別しなければならなく、バーコードのような識別子をカード上の配置しなければならない。そのため、カード上に複数の識別子を配置しなければならなく、カードのデザインに制約が生じる。また、識別子の代わりに形状や色で絵や文章を識別することも可能だが、一般にロバスト性に欠け、ロバスト性を向上させるために形状や色に何らかの制約が必要である。
【００１１】
前述のＲＦＩＤタグを識別子としてカード上の絵や文書の位置に埋め込むことによって、デザイン上の制約を軽減することも可能であるが、カード上に配置したＲＦＩＤタグやそれを読み取るＲＦＩＤリーダのコストがかかるという問題が発生する。
【００１２】
また、非特許文献１に記載の技術では、実物体に対する任意の位置に電子化情報を対応付けることができるが、実物体上のＩＤを識別し、識別したＩＤからの移動量や方向で位置を指定するため、明示的にＩＤを読み込むと言う操作が必要になる。そのため、ユーザは、最初に実物体上のＩＤを指示（選択）し、その後、実物体上の任意の場所を指示（選択）しなければならないという問題がある。
【００１３】
また、特許文献２に記載の技術は、実物体に関する任意の位置に関連付けられた電子情報を選択する方法について明記したものであり、実物体に関する任意の位置と電子情報を関連付ける方法については明記されていない。特許文献２に記載のシステムでは、例えば野球の試合の組み合わせやチケット情報、選手に関する情報を提供したり、パンフレットやカタログの電子情報を提供するものを想定している。そのため、これらは電子情報を保持するコンテンツ提供者が関連付けをすればよく、ユーザ自身が関連付けを削除したり、変更したりすることはできなかった。従って、固定的な関連付け情報の下での処理に限定されてしまうという問題がある。
【００１４】
また、特許文献２に記載の技術は、実物体は紙やシートなどの平面であり、２次元位置と電子情報が関連付けられている。そのため、平面の上空の位置や３次元物体の表面など３次元位置と電子情報を関連付けることはできない。
【００１５】
【特許文献１】
特開平８−２７２８０３号
【特許文献２】
特開平１１−５３５６０号
【非特許文献１】
Ｉｔｉｒｏ Ｓｉｉｏ、Ｔｏｓｈｉｙｕｋｉ Ｍａｓｕｉ、及びＫｅｎｔａｒｏ Ｆｕｋｕｃｈｉ共著の論文≡Ｒｅａｌ−Ｗｏｒｌｄ Ｉｎｔｅｒａｃｔｉｏｎ ｕｓｉｎｇ ｔｈｅ ＦｉｅｌｄＭｏｕｓｅ≡（Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ Ｓｏｆｔｗａｒｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ（ＵＩＳＴ≡９９）， ｐｐ．１１３−１１９， １９９９）
【００１６】
【発明が解決しようとする課題】
本発明は、上記の問題点に鑑みてなされたものであり、実物体に関する任意の位置を直接指示する処理、例えば、ポインタ等の位置入力装置を用いてユーザが実物体の様々な位置を指示することで、指示位置と電子情報との対応付け処理を実行するとともに、対応付けデータに従って、指示位置に応じた様々なデータ処理を実行することを可能とした情報処理装置、および情報処理方法、並びにコンピュータ・プログラムを提供することを目的とする。
【００１７】
さらに、本発明は、ユーザによる実物体の位置と電子情報との関連付けを自由に定義することを可能とし、ユーザが人形、写真、本、模型等、様々な実物体を独自にインタフェースとして設定することを可能とする。本発明は、平面的な位置の指示のみならず、例えば人形、模型、ぬいぐるみ等、あらゆるの実物体の任意の３次元位置と電子情報を対応付けて、指示位置に応じた様々なデータ処理を実行することを可能とした情報処理装置、および情報処理方法、並びにコンピュータ・プログラムを提供するものである。
【００１８】
本発明によれば、例えばぬいぐるみの口の位置にオリジナルの物語を語った音声データを関連付けたり、旅行先で購入したお土産の一部に画像データを関連付けたりすることを可能とした構成や、例えば友達に送る手紙の任意の位置に音声や画像などのオリジナルの電子情報を関連付けるなどにより、手紙の各位置を指示することで、ディスプレイに手紙に関連する画像が提示されたり、友達へのメッセーシをスピーカから出力させるなど、様々な実物体をユーザインタフェースとして適用したデータ処理の実行が可能となる。
【００１９】
【課題を解決するための手段】
本発明の第１の側面は、
情報処理装置であり、
実物体を識別する実物体識別部と、
実物体の位置、姿勢を計測する実物体位置・姿勢計測部と、
ユーザの指示する位置を入力する位置入力部と、
前記位置入力部からの入力情報に基づいて、ユーザの指示位置を前記実物体に対して固定した座標系である実物体座標系における位置情報に変換する位置座標変換部と、
前記実物体識別部の識別した実物体識別情報と、前記位置座標変換部において生成した前記実物体座標系における位置情報と、電子情報との対応関係の関連付け設定処理を実行する情報処理部を有し、
前記情報処理部は、前記関連付け設定処理において、１つの実物体識別情報に対して、前記実物体座標系における複数の異なる位置情報と、複数の異なる電子情報との対応関係の関連付け設定処理を実行する構成であることを特徴とする情報処理装置にある。
【００２０】
さらに、本発明の情報処理装置の一実施態様において、前記情報処理装置は、さらに、前記情報処理部が関連付け設定をした実物体識別情報と位置情報と電子情報との対応関係データを対応リストとして登録管理する対応管理部と、前記対応リストに登録された電子情報を格納管理する電子情報管理部とを有し、前記情報処理部は、前記実物体識別部の識別した実物体識別情報と、前記位置入力部からの情報に基づいて前記位置座標変換部が生成した位置情報とに基づいて、前記対応管理部の管理する対応リストから、入力情報に対応付けられた電子情報を判別し、判別した電子情報を前記電子情報管理部から取得し、取得した電子情報に基づく処理を実行する制御を行なう構成であることを特徴とする。
【００２１】
さらに、本発明の情報処理装置の一実施態様において、前記電子情報は、画像データ、音声データ、テキストデータ、コンピュータ・プログラム、３次元モデルデータ、アプリケーションデータの少なくとも１つを含み、前記情報処理部は、前記電子情報の出力処理または起動処理を実行する構成であることを特徴とする。
【００２２】
さらに、本発明の情報処理装置の一実施態様において、前記実物体位置・姿勢計測部は、実物体の３次元位置、姿勢を計測する構成であり、前記位置入力部は、ユーザの指示する位置の３次元位置を入力する構成であり、前記位置座標変換部は、前記位置入力部からの３次元位置入力情報に基づいて、ユーザの指示位置を実物体座標系における３次元位置座標情報に変換する処理を実行する構成であり、前記情報処理部は、前記実物体識別部の識別した実物体識別情報と、前記位置座標変換部において生成した３次元位置情報と、電子情報との対応関係の関連付け設定処理を実行する構成であることを特徴とする。
【００２３】
さらに、本発明の情報処理装置の一実施態様において、前記情報処理部は、実物体識別情報と位置情報と電子情報との関連付け設定処理において、位置情報を領域を持つ領域位置情報とし、該領域位置情報と他情報との関連付け設定処理を実行する構成であることを特徴とする。
【００２４】
さらに、本発明の情報処理装置の一実施態様において、前記情報処理装置は、さらに、前記情報処理部が関連付け設定をした実物体識別情報と位置情報と電子情報との対応関係データを対応リストとして登録管理する対応管理部を有し、前記対応管理部は、前記領域位置情報と、他の情報との対応関係データを対応リストとして登録管理する構成であることを特徴とする。
【００２５】
さらに、本発明の情報処理装置の一実施態様において、前記情報処理装置は、さらに、ネットワークを介したデータ送受信を実行する通信部を有し、前記情報処理部は、前記情報処理部が関連付け設定をした実物体識別情報と位置情報と電子情報との対応関係データを前記通信部を介して、前記対応関係データを対応リストとして登録管理する対応管理部を有するサーバに送信するとともに、前記実物体識別部の識別した実物体識別情報と、前記位置入力部からの情報に基づいて前記位置座標変換部が生成した位置情報を前記サーバに送信し、サーバ内の前記対応管理部の管理する対応リストに基づいて検索された入力情報に対応付けられた電子情報をサーバから取得し、取得電子情報に基づく処理を実行する制御を行なう構成であることを特徴とする。
【００２６】
本発明の第２の側面は、
実物体と電子情報との対応関係を設定する情報処理方法であり、
実物体を識別する実物体識別ステップと、
実物体の位置、姿勢を計測する実物体位置・姿勢計測ステップと、
ユーザの指示する位置を入力する位置入力ステップと、
前記位置入力ステップにおける入力情報に基づいて、ユーザの指示位置を前記実物体に対して固定した座標系である実物体座標系における位置情報に変換する位置座標変換ステップと、
前記実物体識別ステップにおいて識別した実物体識別情報と、前記位置座標変換ステップにおいて生成した前記実物体座標系における位置情報と、電子情報との対応関係の関連付け設定処理を実行する情報処理ステップを有し、
前記情報処理ステップは、前記関連付け設定処理において、１つの実物体識別情報に対して、前記実物体座標系における複数の異なる位置情報と、複数の異なる電子情報との対応関係の関連付け設定処理を実行するステップであることを特徴とする情報処理方法にある。
【００２７】
さらに、本発明の情報処理方法の一実施態様において、前記情報処理方法は、さらに、前記情報処理ステップにおいて関連付け設定をした実物体識別情報と位置情報と電子情報との対応関係データを対応リストとして登録管理する対応管理ステップを有することを特徴とする。
【００２８】
さらに、本発明の情報処理方法の一実施態様において、前記実物体位置・姿勢計測ステップは、実物体の３次元位置、姿勢を計測し、前記位置入力ステップは、ユーザの指示する位置の３次元位置を入力し、前記位置座標変換ステップは、前記位置入力ステップにおける３次元位置入力情報に基づいて、ユーザの指示位置を実物体座標系における３次元位置座標情報に変換する処理を実行し、前記情報処理部ステップは、前記実物体識別ステップにおいて識別した実物体識別情報と、前記位置座標変換ステップにおいて生成した３次元位置情報と、電子情報との対応関係の関連付け設定処理を実行することを特徴とする。
【００２９】
さらに、本発明の情報処理方法の一実施態様において、前記情報処理ステップは、実物体識別情報と位置情報と電子情報との関連付け設定処理において、位置情報を領域を持つ領域位置情報として設定するとともに、前記領域位置情報に対して他情報の関連付け設定を実行することを特徴とする。
【００３０】
さらに、本発明の情報処理方法の一実施態様において、前記情報処理方法は、さらに、前記情報処理ステップにおいて関連付け設定をした実物体識別情報と位置情報と電子情報との対応関係データを対応リストとして登録管理する対応管理ステップを有し、前記対応管理ステップは、前記領域位置情報と、他の情報との対応関係データを対応リストとして登録管理することを特徴とする。
【００３１】
さらに、本発明の情報処理方法の一実施態様において、前記情報処理方法は、さらに、前記情報処理ステップにおいて関連付け設定をした実物体識別情報と位置情報と電子情報との対応関係データを通信部を介して、対応リスト登録管理サーバに送信するステップを有することを特徴とする。
【００３２】
本発明の第３の側面は、
実物体と電子情報との対応関係リストに基づくデータ処理を実行する情報処理方法であり、
実物体を識別する実物体識別ステップと、
実物体の位置、姿勢を計測する実物体位置・姿勢計測ステップと、
ユーザの指示する位置を入力する位置入力ステップと、
前記位置入力ステップにおける入力情報に基づいて、ユーザの指示位置を前記実物体に対して固定した座標系である実物体座標系における位置情報に変換する位置座標変換ステップと、
前記実物体識別ステップにおいて識別した実物体識別情報と、前記位置座標変換ステップにおいて生成した前記実物体座標系における位置情報とに対応付けられた電子情報を対応リストに基づいて選択する電子情報選択ステップと、
前記電子情報選択ステップにおいて選択された電子情報を取得し、取得した電子情報に基づく処理を実行する電子情報実行ステップを有し、
前記電子情報選択ステップは、１つの実物体識別情報に対して、前記実物体座標系における複数の異なる位置情報と、複数の異なる電子情報とが対応付けられた対応リストから、前記位置座標変換ステップにおいて生成した前記位置情報に対応付けられた電子情報を選択するステップであることを特徴とする情報処理方法にある。
【００３３】
さらに、本発明の情報処理方法の一実施態様において、前記電子情報は、画像データ、音声データ、テキストデータ、コンピュータ・プログラム、３次元モデルデータ、アプリケーションデータの少なくとも１つを含み、前記電子情報実行ステップは、前記電子情報の出力処理または起動処理を実行することを特徴とする。
【００３４】
さらに、本発明の情報処理方法の一実施態様において、前記実物体位置・姿勢計測ステップは、実物体の３次元位置、姿勢を計測し、前記位置入力ステップは、ユーザの指示する位置の３次元位置を入力し、前記位置座標変換ステップは、前記位置入力ステップにおける３次元位置入力情報に基づいて、ユーザの指示位置を実物体座標系における３次元位置座標情報に変換する処理を実行し、前記電子情報選択ステップは、前記実物体識別ステップにおいて識別した実物体識別情報と、前記位置座標変換ステップにおいて生成した３次元位置情報とに対応付けられた電子情報を対応リストに基づいて選択する処理を実行することを特徴とする。
【００３５】
さらに、本発明の情報処理方法の一実施態様において、前記電子情報選択ステップは、前記実物体識別ステップにおいて識別した実物体識別情報と、前記位置座標変換ステップにおいて生成した位置情報とを入力し、該入力位置情報に基づく領域を設定し、該設定領域内の位置情報に対応付けられた電子情報を対応リストに基づいて選択する処理を実行することを特徴とする。
【００３６】
さらに、本発明の情報処理方法の一実施態様において、前記情報処理方法は、さらに、前記実物体識別ステップにおいて識別した実物体識別情報と、前記位置入力ステップにおける入力情報に基づいて前記位置座標変換ステップにおいて生成した位置情報をサーバに送信するステップと、前記サーバの管理する対応リストに基づいて、送信情報に対応付けられた電子情報をサーバから取得するステップと、取得電子情報に基づく処理を実行するステップと、を有することを特徴とする。
【００３７】
本発明の第４の側面は、
実物体と電子情報との対応関係を設定する情報処理を実行するコンピュータ・プログラムであって、
実物体を識別する実物体識別ステップと、
実物体の位置、姿勢を計測する実物体位置・姿勢計測ステップと、
ユーザの指示する位置を入力する位置入力ステップと、
前記位置入力ステップにおける入力情報に基づいて、ユーザの指示位置を前記実物体に対して固定した座標系である実物体座標系における位置情報に変換する位置座標変換ステップと、
前記実物体識別ステップにおいて識別した実物体識別情報と、前記位置座標変換ステップにおいて生成した前記実物体座標系における位置情報と、電子情報との対応関係の関連付け設定処理を実行する情報処理ステップを有し、
前記情報処理ステップは、前記関連付け設定処理において、１つの実物体識別情報に対して、前記実物体座標系における複数の異なる位置情報と、複数の異なる電子情報との対応関係の関連付け設定処理を実行するステップであるコンピュータ・プログラムにある。
【００３８】
本発明の第５の側面は、
実物体と電子情報との対応関係リストに基づくデータ処理を実行するコンピュータ・プログラムであって、
実物体を識別する実物体識別ステップと、
実物体の位置、姿勢を計測する実物体位置・姿勢計測ステップと、
ユーザの指示する位置を入力する位置入力ステップと、
前記位置入力ステップにおける入力情報に基づいて、ユーザの指示位置を前記実物体に対して固定した座標系である実物体座標系における位置情報に変換する位置座標変換ステップと、
前記実物体識別ステップにおいて識別した実物体識別情報と、前記位置座標変換ステップにおいて生成した前記実物体座標系における位置情報とに対応付けられた電子情報を対応リストに基づいて選択する電子情報選択ステップと、
前記電子情報選択ステップにおいて選択された電子情報を取得し、取得した電子情報に基づく処理を実行する電子情報実行ステップを有し、
前記電子情報選択ステップは、１つの実物体識別情報に対して、前記実物体座標系における複数の異なる位置情報と、複数の異なる電子情報とが対応付けられた対応リストから、前記位置座標変換ステップにおいて生成した前記位置情報に対応付けられた電子情報を選択するステップであるコンピュータ・プログラムにある。
【００３９】
【作用】
本発明の構成によれば、本やカード、あるいは模型、人形などの３次元の物体等のあらゆる実物体の任意位置と、画像データ、音声データ、テキストデータ、動画像データ、３次元モデルデータ、あるいは各種アプリケーションデータ、その他ゲーム、アニメーション等のコンピュータ・プログラム等の様々な電子情報との対応付け設定を容易に実行でき、対応関係登録データに基づく電子情報の出力、起動を行なうことが可能となるので、あらゆる実物体を入力インタフェースとした構成をユーザが自在に設定し構成することが可能となる。
【００４０】
さらに、本発明の構成によれば、実物体の任意位置と、電子情報との対応付け設定を、ユーザの指示ポイントを判別し、実物体座標系における位置情報を登録する構成としたので、実物体が空間上で移動した場合でも、ユーザの指示位置を実物体の相対位置として把握可能であり、実物体識別子、位置情報と対応づけられた電子情報を取得し、画像出力等の様々な電子情報に基づく処理が可能となる。
【００４１】
さらに、本発明の構成によれば、設定された対応関係を登録し、新たにユーザが実物体に対応した位置入力を行なったことを判別し、登録された対応関係データから識別された実物体および入力位置情報に相当する登録情報を選択し、選択された登録情報に対応付けられた電子情報を取得して、取得した電子情報に基づく処理、例えば画像データのディスプレイ表示、音声データの出力、あるいはコンピュータ・プログラムの起動等の処理が実行可能となる。
【００４２】
なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、ＣＤやＦＤ、ＭＯなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。
【００４３】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【００４４】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施の形態について説明する。図１に本発明の情報処理装置の概要を説明するブロック図を示す。なお、具体的なハードウェア構成については後段で説明する。情報処理装置１００は、実物体識別部１０１、実物体位置・姿勢計測部１０２、位置入力部１０３、位置座標変換部１０４、情報処理部１０５、対応関係管理部１０６、電子情報管理部１０７を有する。
【００４５】
実物体識別部１０１は、実物体、例えば本、カード、模型、人形などの実物体を識別する。実物体の識別は、例えばバーコードや２次元コードのような光学的に識別可能な識別子や、ＲＦＩＤ(Radio Frequency IDentification)タグのような無線技術を応用した識別子情報を実物体上に配置することによって実現することができる。あるいは、識別子の代わりに実物体の形状や色などの情報から実物体を識別する構成としてもよい。
【００４６】
本、カード、模型、人形などの実物体に識別子（ＩＤ）が設定され、実物体識別部１０１は、この設定ＩＤを読み取ることで実物体が何かを識別する。実物体に設定されるＩＤが、ＲＦＩＤ(Radio Frequency IDentification)であれば、実物体識別部１０１は、ＲＦＩＤからの送信データを受信可能な無線読み取り手段としてのＲＦＩＤリーダを有する構成となる。また、実物体に設定されるＩＤがバーコード、２次元コード等のコードデータであれば、実物体識別部１０１は、コードデータを読み取り可能な撮像手段としてのカメラを持つ構成となる。また、実物体識別部１０１を画像撮影手段としてのカメラを持つ構成とし、実物体識別部１０１が実物体の画像そのものから、画像認識を用いて、形状情報や色情報から実物体に対応するＩＤ識別処理を行ってもよい。この場合は、実物体にＩＤに対応するコードデータ等を添付することは必須ではない。
【００４７】
実物体位置・姿勢計測部１０２では、実物体の位置及び姿勢が測定される。実物体の位置及び姿勢の計測は、例えば磁気方式、光学方式、超音波方式、機械方式などの従来から知られる３次元位置・姿勢計測装置を用いることで実現できる。
【００４８】
磁気方式は磁気変換技術を利用した３次元計測であり、磁界内にコイルを置くと電流が誘起される現象を応用したものである。光学方式は３点以上のマーカをカメラで撮影し、得られた画像情報を元に３次元計測を行うものである。超音波方式は送信及び受信装置から構成され、受信された超音波の音圧や到達時間から３次元計測を行うものである。機械方式は多関節アームのような機械的な可動部を持ち、その動きから３次元位置情報を求めるものである。これらの３次元位置・姿勢計測装置を用いることによって実物体の位置及び姿勢計測を行うことが可能である。
【００４９】
実物体位置・姿勢計測部１０２は、例えば本やカードなどの実物体を机の上で用いる場合、２次元的な位置及び姿勢のみを計測するために適用しても良い。すなわち、実物体の認識領域をある平面に制約して用いる場合には、３次元的な位置及び姿勢を求める必要はなく、２次元的な位置及び姿勢だけで十分となる。さらに、実物体が常に既定の位置に固定される場合には、実物体の位置及び姿勢を求める必要はない。あるいは姿勢が制約される場合には位置情報だけを計測しても良いし、位置が制約される場合には姿勢情報だけを計測しても良い。
【００５０】
また、実物体識別部１０１及び実物体位置・姿勢計測部１０２は、実物体上に例えば「サイバーコード（Ｃｙｂｅｒｃｏｄｅ）」のような２次元コードが貼付されている場合、実物体の識別と位置・姿勢計測を同時に実行することができる。サイバーコードは、２次元的なビジュアル・コードの一種であり、サイバーコードの所在を表すための「ガイド・バー表示領域」と、２次元状のコード・パターンを表示する「コード・パターン表示領域」とで構成され、モザイク状の模様をなす。
【００５１】
図２に実物体２０１の右上に２次元コード（サイバーコード）２０２が貼付された例を示す。コード・パターン表示領域内は、ｎ×ｍマトリックス（同図では７ｘ７）に配列されたセルで構成され、各セルを白又は黒の２値表現することで識別情報を付与することができる。但し、コード・パターン表示領域の４隅のコーナー・セルは、識別情報としてではなく位置合わせ（Ｉｍａｇｅ Ｒｅｇｉｓｔｒａｔｉｏｎ）パターンとして、常に黒パターンとなっている。
【００５２】
この２次元コード２０２の認識手順は、撮像画像を２値化するステップと、２値画像中からガイド・バーの候補を発見するステップと、ガイド・バー位置や方向に基づいてコーナー・セルを探索するステップと、ガイド・バー及びコーナー・セルを検出したことに応答して画像ビットマップ・パターンを復号化するステップとに大別される。さらに、エラービットの検査を行うことで、撮像画像中に正しいサイバー・コードが含まれていることを確認して、該コードの識別情報や位置情報を導出することができる。また、コーナー・セルの位置に基づいて、カメラやオブジェクトの傾きによって生じる歪みを算出して補償することができる。
【００５３】
なお、サイバーコードの詳細については、例えば、本出願人に既に譲渡されている特開２０００−８２１０８号公報（「２次元コ―ド認識処理方法、２次元コ―ド認識処理装置、および媒体」）にも開示されている。
【００５４】
図１に戻り、本発明の情報処理装置の構成についての説明を続ける。位置入力部１０３は実物体に関する位置情報の入力手段である。すなわち、上述の実物体位置・姿勢計測部１０２の実物体の位置に基づいて、実物体のどの部分をユーザが指示した位置であるかの情報を求めるために適用するユーザ指示位置の入力部である。
【００５５】
位置入力部１０３を構成する入力手段としては、前述の実物体位置・姿勢計測部１０２と同様の３次元位置・姿勢計測装置を用いてもよいし、本やカードなどの平面上の２次元的な位置を入力する構成であれば、電子ペンなどの２次元的な絶対位置の入力可能な手段によって構成してもよい。また、位置入力部１０３で入力される位置は実物体表面上の位置に限らず、実物体内部もしくは実物体外部の位置であってもよい。
【００５６】
位置座標変換部１０４では、実物体位置・姿勢計測部１０２から入力された実物体の位置及び姿勢と、位置入力部１０３で入力されたユーザの指示位置に対応する位置情報とに基づいて、ユーザの指示位置に対応する位置情報を実物体座標系における位置に変換する。すなわち、実物体に対する相対的なユーザの指示位置を求めるための座標変換処理を実行する。
【００５７】
図３に実物体座標系への変換例を示す。図３では、実物体２０１の右上に貼付された実物体識別子（ＩＤ）としての２次元コード２０２を、実物体位置・姿勢計測部１０２を構成するカメラ３０１で撮影することによって、カメラ座標系（Ｘｃ，Ｙｃ，Ｚｃ）における実物体２０１の位置及び姿勢が計測される。カメラ座標系（Ｘｃ，Ｙｃ，Ｚｃ）は、実物体位置・姿勢計測部１０２を構成するカメラ３０１を中心（０，０，０）として、カメラ３０１の向き（姿勢）に応じた座標軸を設定した座標系である。
【００５８】
また、位置入力部１０３を構成するポインタ３０２の所定位置にはマーカ３０３が複数配設されており、実物体位置・姿勢計測部１０２を構成するカメラ３０１から撮影された画像中のマーカ３０３の位置とポインタ３０２上に配設されたマーカ３０３の空間的な位置から、カメラ座標系（Ｘｃ，Ｙｃ，Ｚｃ）における位置入力部１０３を構成するポインタ３０２の位置が計算される。
【００５９】
ここで、実物体位置・姿勢計測部１０２を構成するカメラ３０１を基準としたカメラ座標系（Ｘｃ，Ｙｃ，Ｚｃ）における実物体２０１の位置及び姿勢情報を行列Ｍｒとし、カメラ座標系（Ｘｃ，Ｙｃ，Ｚｃ）における位置入力部１０３を構成するポインタ３０２の位置をＰｃとすると、実物体座標系（Ｘｒ，Ｙｒ，Ｚｒ）における位置入力部１０３を構成するポインタ３０２の位置Ｐｒは次式（式１）から求めることができる。実物体座標系（Ｘｒ，Ｙｒ，Ｚｒ）は、実物体を基準とした座標系であり、図３に示すように、例えば実物体の識別子（ＩＤ）の付設位置の一定点（原点２０３）を原点とし、実物体の方向（姿勢）に応じて座標軸が設定される座標系である。
【００６０】
【数１】
Ｐｒ＝Ｍｒ-1・Ｐｃ ・・（式１）
【００６１】
上述の式（式１）に基づいて、実物体座標系（Ｘｒ，Ｙｒ，Ｚｒ）における位置入力部１０３を構成するポインタ３０２の位置Ｐｒが求められる。この位置は、実物体に対するポインタ３０２の相対位置情報を示す。図３においては、実物体の識別子（ＩＤ）の付設位置に原点２０３を持ち、実物体の方向（姿勢）に応じた座標軸が設定された座標におけるポインタ３０２の３次元座標位置を示すことになる。
【００６２】
なお、実物体２０１の位置・姿勢計測と位置入力部としてのポインタ３０２の位置計測が異なる計測装置で測定された場合でも容易に実物体座標系における位置へ変換することが可能である。図４に異なる計測装置を用いた場合の実物体座標系への変換例を示す。
【００６３】
図４では、実物体２０１の右上に貼付されたサイバーコードからなる２次元コード２０２を実物体位置・姿勢計測部１０２を構成するカメラ３０１で撮影することによって、カメラ座標系（Ｘｃ，Ｙｃ，Ｚｃ）における実物体２０１の位置及び姿勢が計測される。位置入力部１０３を構成するポインタ３０２は、磁気方式の３次元位置・姿勢計測を実行する構成であり、近辺に配置した磁界発生器４０２で発生した磁界により位置入力部としてのポインタ３０２内に構成したコイル（図示せず）に電流が誘起され、これを電流検出処理部４０１で検出し、検出電流に基づいて磁界発生器４０２に対する相対的なポインタ３０２の位置が取得、すなわち、磁界発生器座標系（Ｘｍ，Ｙｍ，Ｚｍ）における位置入力部としてのポインタ３０２の位置が計測される。
【００６４】
磁界発生器座標系（Ｘｍ，Ｙｍ，Ｚｍ）は、磁界発生器４０２を基準とした座標系であり、図４に示すように、例えば磁界発生器４０２の中心位置を原点とし、磁界発生器４０２の姿勢に基づいて設定される座標軸を持つ座標系である。
【００６５】
磁界発生器４０２は、実物体位置・姿勢計測部１０２を構成するカメラ３０１に対して既知の場所に設置されている。すなわち、実物体位置・姿勢計測部１０２を構成するカメラ３０１に対する磁界発生器４０２の相対位置情報は取得されているものとする。あるいは磁界発生器４０２にマーカを配設し（図示しない）、そのマーカをカメラ３０１で撮影することによってカメラ座標系（Ｘｃ，Ｙｃ，Ｚｃ）における磁界発生器４０２の位置及び姿勢を計測し、相対位置情報を取得する構成としても良い。
【００６６】
カメラ座標系（Ｘｃ，Ｙｃ，Ｚｃ）における磁界発生器４０２の位置及び姿勢情報を行列Ｍｍ、実物体２０１の位置及び姿勢情報を行列Ｍｒとする。磁界発生器座標系（Ｘｍ，Ｙｍ，Ｚｍ）における位置入力装置３０２の位置をＰｍとすると、実物体座標系（Ｘｒ，Ｙｒ，Ｚｒ）における位置入力装置３０２の位置Ｐｒは次式（式２）から求めることができる。
【００６７】
【数２】
Ｐｒ＝Ｍｒ-1・Ｍｍ・Ｐｍ ・・（式２）
【００６８】
上述の式（式２）に基づいて、実物体座標系（Ｘｒ，Ｙｒ，Ｚｒ）における位置入力部１０３を構成するポインタ３０２の位置Ｐｒが求められる。この位置は、実物体２０１に対するポインタ３０２の相対位置情報を示す。図４においては、実物体の識別子（ＩＤ）の付設位置に原点２０３を持ち、実物体の方向（姿勢）に応じた座標軸が設定された座標におけるポインタ３０２の３次元座標位置を示すことになる。
【００６９】
上述した例では、磁界発生器４０２がカメラ３０１に対し既知の場所に配置されていた構成であるが、逆にカメラ３０１が磁界発生器４０２に対し、既知の場所に配置されていても良い。この場合、磁界発生器座標系（Ｘｍ，Ｙｍ，Ｚｍ）におけるカメラ３０１の位置及び姿勢を行列Ｍｃと表すと、実物体座標系（Ｘｒ，Ｙｒ，Ｚｒ）における位置入力装置３０２の位置Ｐｒは次式（式３）から求めることができる。
【００７０】
【数３】
Ｐｒ＝Ｍｒ-1・Ｍｃ-1・Ｐｍ ・・（式３）
【００７１】
図１に戻り、本発明の情報処理装置の構成についての説明を続ける。電子情報管理部１０７では画像データ、音声データ、テキストデータ、動画像データ、３次元モデルデータ、あるいは各種アプリケーションデータ、その他ゲーム、アニメーション等のコンピュータ・プログラム等、情報処理部１０５において処理可能な電子化された情報を格納し管理する。これらの情報が、上述のポインタ等の位置入力部１０３の位置情報等と関連づけられる。
【００７２】
この関連情報、すなわち音声データや画像データ、テキストデータなど情報処理部１０５において処理可能な電子化された情報と、実物体及び実物体座標系における任意の位置データとの対応関係を管理するのが対応関係管理部１０６である。対応関係管理部１０６では実物体及び実物体座標系における任意の位置と、電子情報管理部１０７に格納されている電子情報との対応関係を管理する。
【００７３】
なお、対応関係管理部１０６及び電子情報管理部１０７は、情報処理装置の内部に構成してもよいが、対応関係管理部１０６及び電子情報管理部１０７をネットワーク上の端末（サーバ）に配置する構成としてもよい。
【００７４】
実物体識別部１０１〜位置情報変換部１０４と、情報処理部１０５の一部機能をユーザ端末としての情報処理装置に構成し、ユーザ端末側の情報処理部１０５の制御の下に情報処理装置の通信部（図示せず）を介して、実物体の情報、ポインタ等の位置情報をネットワーク上の端末（サーバ）に送信し、サーバが、ユーザ端末から受信した実物体情報やポインタ位置情報に基づいて対応関係管理部１０６に電子化情報と、実物体とその位置データとの対応関係を格納する。
【００７５】
また、ユーザ端末側の情報処理部１０５の制御の下に情報処理装置の通信部を介して、実物体の情報、ポインタ等の位置情報をネットワーク上の端末（サーバ）に送信し、サーバの対応関係管理部１０６の格納情報に基づいて電子情報管理部１０７から画像データ、音声データ、テキストデータ、動画像データ、３次元モデルデータ、あるいは各種アプリケーションデータ、その他ゲーム、アニメーション等のコンピュータ・プログラム等の様々な電子情報をサーバにおいて抽出し、ネットワークを介してユーザ端末が受信して、ユーザ端末のディスプレイ、スピーカ等に出力する構成としてもよい。
【００７６】
このように、対応関係管理部１０６及び電子情報管理部１０７を、ネットワークに接続されたサーバに構成することで、各管理部の格納情報をネットワークに接続されたユーザ端末間で共有することが可能となり、異なる端末間であっても共通の対応関係情報に基づいた処理が可能となり、また共通の画像、音声等の電子情報にアクセスすることが可能となる。
【００７７】
情報処理部１０５では、実物体識別部１０１において識別された情報と、位置座標変換部１０４において変換された位置と、電子情報管理部１０７において管理されている電子情報とを対応付け、対応関係管理部１０６に格納する。また、実物体識別部１０１において識別された情報と、位置座標変換部１０４において変換された位置から、対応関係管理部１０６で管理されている対応関係を検索し、実物体及び実物体座標系における位置に対応付けられている電子情報を読み込む。
【００７８】
対応関係管理部１０６で管理されている対応関係データの構成例について、図５を参照して説明する。実物体及び実物体座標系における位置と、画像データ、音声データ、テキストデータ、あるいはゲーム、アニメーション等のコンピュータ・プログラム等の様々な電子情報との対応は、例えば図５に示すような対応リスト４５１が記憶部に格納されて管理される。
【００７９】
例えば、実物体をバーコード、２次元コードなどで示される識別子（ＩＤ）で識別している場合、その識別子を実物体が何であるかを示す実物体識別子（ＩＤ）として管理する。また、実物体座標系における位置は、例えば、入力装置が３次元位置・姿勢計測装置の場合、３次元の座標値を位置情報とする。すなわち、実物体の表面上に電子情報を対応付けられるだけでなく、立体的な位置に電子情報を対応付けられる。例えば、実物体が図６に示すような立体的な人形である場合、目の位置には動画像データ、口や耳の位置には音声データ、体には人形の３次元モデルというように、人形の各部位に電子情報を対応付けることが可能である。あるいは、３次元的な位置情報を必要としない場合には、２次元の座標値を位置情報としても良い。
【００８０】
さらに位置情報に加えて、距離ｄを情報として対応リスト４５１で管理することにより、任意の位置を中心とする半径ｄの領域を持つ位置情報、すなわち領域位置情報と電子情報とを対応付けることができる。あるいは、位置情報の代わりに、始点及び終点を対応リスト４５１で管理することにより、始点及び終点で定義される立方体の領域と電子情報とを対応付けても良い。
【００８１】
実物体及び実物体座標系における位置と電子情報の対応関係を格納した対応リスト４５１では、実物体ＩＤと位置に対し、電子情報を対応付けて管理する。電子情報は、例えばファイル形式で保存され、ファイルが保存されている情報端末のマシン名及びファイル名で管理される。つまり、電子情報は同一の情報端末が有する必要はなく、ネットワークで接続された複数の端末で共有することが可能である。
【００８２】
また、この対応リスト４５１自身をサーバ等の特定端末に格納し、ネットワークで接続された複数端末間で共有することによって、異なる端末間でも同一の識別子を持つ実物体を用いて、対応された電子情報を読み出したり、あるいは新たに電子情報を対応させることが可能である。
【００８３】
図７は、本発明の実施の形態に係る実物体を用いた情報処理装置のハードウェア構成例を示した図である。メイン・コントローラであるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）５０１は、オペレーティング・システム（ＯＳ）の制御下で、例えば実物体及び実物体に対する任意の位置に電子情報を対応付けるためのアプリケーションを実行する。
【００８４】
メモリ５０２は、ＣＰＵ５０１において実行されるプログラム・コードをロードしたり、実行プログラムの作業データを一時保管するために使用されるＲＡＭ等により構成される記憶装置である。
【００８５】
また、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５０３は、データを恒久的に格納する半導体メモリであり、例えば、起動時の自己診断テスト（ＰＯＳＴ：Ｐｏｗｅｒ Ｏｎ Ｓｅｌｆ Ｔｅｓｔ）や、ハードウェア入出力用のプログラム・コード（ＢＩＯＳ：Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）などが書き込まれている。
【００８６】
外部記憶装置５０４は、ハード・ディスク・ドライブ（ＨＤＤ）や、光ディスクなどのランダムアクセスが可能な記憶媒体が望ましいがテープストリーマーなどのランダムアクセスの不得手な記憶媒体でも構成可能である。また、メモリースティックに代表される不揮発性の半導体メモリでもよい。あるいはネットワーク接続された他のシステムの外部記憶装置でもよい。さらにそれらの組み合わせでもよい。
【００８７】
バス５０５はＰＣＩ（Peripheral Component Internet/Interface）バス等により構成され、各モジュール、入出力インターフェース、ネットワークインタフェースを介したデータ転送を可能にしている。
【００８８】
入力インタフェース５０６は、キーボードやマウスなどのユーザ入力機器を本システムに接続するための装置である。また、実物体を識別するための実物体識別部および実物体位置・姿勢計測部を構成するカメラ５２１やＲＦＩＤリーダ（図示しない）などの入力装置が接続され、さらに、位置入力部を構成するポインタ５２３、磁界を発生しポインタからの電流検出を行なう磁界発生部および電流検出処理部５２２が接続される。なお、実物体を識別するための実物体識別部および実物体位置・姿勢計測部、あるいは位置計測部として何を適用するかによって接続デバイスは異なることになる。
【００８９】
出力インタフェース５０７は、一般に、ユーザからの入力内容やその処理結果、あるいはエラー、その他のシステム・メッセージをユーザに明示的に示すためのディスプレイやスピーカなどの装置を接続するためのものである。さらに、ディスプレイやスピーカを介して電子情報である画像データや、音声データの出力が実行される。
【００９０】
ネットワークインタフェース５０８は、例えばＥｔｈｅｒｎｅｔ（登録商標）などの所定の通信プロトコルに従って、システムをＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）などの局所的ネットワークに接続したり、さらにはインターネットのような広域ネットワークに接続することを可能とした通信部である。
【００９１】
次に、本発明の情報処理装置において実行する実物体及び実物体座標系における位置と電子情報の対応付け処理の手順について、図８に示したフローチャートを参照して詳細に説明する。
【００９２】
まず、ステップＳ１０１において対応付けをする電子情報、例えば画像データ、音声データ、テキストデータ、動画像データ、３次元モデルデータ、あるいは各種アプリケーションデータ、その他ゲーム、アニメーション等のコンピュータ・プログラム等の様々な電子情報を設定する。これらの電子情報は、例えば外部記憶手段としてのＣＤ，ＤＶＤ等の記憶手段に格納されたデータファイル、あるいはネットワークに接続されたサーバから取得するデータファイル、あるいはユーザ自身が生成したデータファイル等、どのような電子情報でも構わない。
【００９３】
例えば、本発明の情報処理装置において、本発明の構成に従った対応付け処理プログラムによって、対応付けの設定対象となる電子情報が電子情報リストとしてディスプレイ上に表示される。ユーザは、表示リストから対応付け設定対象の電子情報を選択し、選択電子情報が対応付けの設定候補として登録される。図９に対応付け処理を実行する情報処理装置のディスプレイ上に表示される電子情報リストの例を示す。
【００９４】
電子情報リスト７０１には対応付けの設定可能な電子情報を示す電子情報アイコン７０２や電子情報ファイル名が表示される。ユーザは、ディスプレイに表示される電子情報７０２を示すアイコンやファイル名を、例えば、キーボード、マウス、電子ペンなどを用いて選択することで、対応付けの設定候補として登録する。
【００９５】
あるいは、通常のＰＣ等に付属のキーボードやマウスを用いて選択することなく、前述のポインタ等の位置入力部の構成部品を用いて、ディスプレイに表示される電子情報を示す電子情報アイコン７０２やファイル名の選択処理を行なう構成としてもよい。
【００９６】
図１０に位置入力部としてのポインタ３０２を用いた電子情報リスト選択処理例を示す。図１０では磁気方式の３次元位置・姿勢計測装置が位置入力部としてのポインタ３０２に用いられている。
【００９７】
ディスプレイ８０１は磁界発生器４０２に対して既知の位置に設置されている。そのため、磁界発生器座標系（Ｘｍ，Ｙｍ，Ｚｍ）で計測されたディスプレイ８０１面上の位置は容易にディスプレイ座標系（Ｘｄ，Ｙｄ，Ｚｄ）に変換することが可能である。なお、ディスプレイ座標系は、ディスプレイを基準とした座標系であり、ディスプレイに設定される固定点を原点として、ディスプレイの方向に基づいて決定される座標軸を持つ座標系である。
【００９８】
ポインタ３０２を用いてディスプレイ８０１上の電子情報のアイコン等を選択すると、ディスプレイ座標系（Ｘｄ，Ｙｄ，Ｚｄ）におけるポインタ３０２の位置、すなわち、ポインタ３０２が、ディスプレイ８０１上の電子情報リスト７０１中のどの電子情報アイコン７０２を示しているかを判別することができる。このように、位置入力部としてのポインタ３０２を電子情報の選択処理にも用いることによって、ユーザは様々な入力装置を持ち替える手間が省け、より直感的な操作で、実物体及び実物体座標系における位置と電子情報を対応付けることが可能となる。
【００９９】
また、対応付けをする電子情報、例えば画像データ、音声データ、テキストデータ、動画像データ、３次元モデルデータ、あるいは各種アプリケーションデータ、その他ゲーム、アニメーション等のコンピュータ・プログラム等の様々な電子情報は、前述したように、様々な媒体の格納情報、ネットワークを介して入手した情報、ユーザの生成情報等、様々である。例えば、図１０に示すカメラ３０１の撮影する静止画像や動画像を対応付け対象の電子情報として入力することも可能である。あるいは、マイクなどを通して入力したユーザのメッセージ等の音声データを入力し、入力情報を対応付けをする電子情報としても良い。
【０１００】
図８のフローに戻り、対応付け処理の手順の説明を続ける。ステップＳ１０１において、実物体および実物体における位置情報と対応付ける電子情報の設定が済むと、次に、ステップＳ１０２において、電子情報と対応付ける実物体及び実物体座標系における位置情報を入力する。前述したように、実物体の識別は実物体識別部１０１で、例えば実物体に設定された２次元コード等の識別情報に基づいて取得される。
【０１０１】
また、実物体座標系における位置は、実物体位置・姿勢計測部１０２により計測された実物体の位置・姿勢に基づいて、ポインタ等の位置入力部１０３の入力位置情報を、位置座標変換部１０４で変換して算出される。
【０１０２】
算出される位置情報は、実物体を基準とした座標系における位置であり、実物体のどの位置をユーザが指示しているかを判別可能な位置情報である。これらは、例えば図６の人形が実物体である場合は、ユーザが耳、口、あるいは目等、どの位置を指示しているかを示す位置情報になる。
【０１０３】
次に、ステップＳ１０３では、ステップＳ１０２で入力された実物体及び実物体座標系における位置にすでに電子情報が対応付けられているか否かをチェックする。すなわち、対応関係管理部が記憶部に格納している対応リスト（図５参照）に、入力した実物体ＩＤおよび位置情報と、同一の情報が登録され、すでに何らかの電子情報との対応が設定されているか否かを判定する。
【０１０４】
対応リストに同一の登録情報が存在する場合にはステップＳ１０４で、対応リストからその登録情報を削除する。ただし、同一実物体ＩＤおよび位置情報に複数の電子情報、例えば画像情報ファイルと音声情報ファイルとを対応付けることも可能であり、登録済みの情報を削除するか否かは、ユーザの判定に基づいて決定してもよい。
【０１０５】
続いて、ステップＳ１０５において、ステップＳ１０２において入力された実物体及び実物体座標系における位置と、ステップＳ１０１で入力された電子情報との対応付けの登録を行う。すなわち、対応リスト（図５参照）に登録する。
【０１０６】
前述したように対応リスト（図５参照）の登録情報は、例えば、実物体をバーコードなどのような識別子で識別している場合、その識別子を実物体ＩＤとして管理し、また、実物体座標系における位置は、３次元座標値を位置情報とする。３次元的な位置情報を必要としない場合には、２次元の座標値を位置情報としても良い。さらに位置情報に加えて、距離ｄを情報として対応リストに登録し、任意の位置を中心とする半径ｄの領域を持つ領域位置情報と電子情報とを対応付ける構成としてもよい。距離ｄの値は、例えば予めデフォルト値を設定しておくか、ユーザが任意に設定可能とする。あるいは、単一の位置情報の代わりに、２つの位置情報、すなわち始点及び終点位置情報をリストに登録管理することにより、始点及び終点で定義される立方体の領域と電子情報とを対応付ける構成としてもよい。
【０１０７】
また、対応リストに登録する電子情報としては、アプリケーションプログラムを特定の位置情報に関連付けて登録可能である。また、アプリケーションプログラムに対してさらに複数の画像データや音声データを関連付けて設定してもよい。
【０１０８】
例えば、図６に示す実物体２０１としてのぬいぐるみの口にポインタを持っていくと、口の位置情報に対応付けられたアプリケーションが起動し、そのアプリケーションに関連付けられた様々な音声情報、画像情報を読み出して、情報処理装置のディスプレイおよびスピーカを出力部として物語を展開するなどの構成が可能である。
【０１０９】
このようにして、ユーザは実物体に関する任意の位置に電子情報を自由に関連付けて、対応リスト（図５参照）に登録することが可能である。また、関連付けを生成、編集するばかりではなく、対応リストに登録済みの情報を削除することも可能である。削除処理は、例えばステップＳ１０１において空の電子情報を選択し、削除したい位置をユーザがポインタで指定する処理を実行することで、対応リストからの登録情報削除が可能となる。
【０１１０】
次に、本発明の情報処理装置において、上述した対応付け処理を実行後、登録された対応リスト（図５参照）に基づいて、様々なデータ処理を実行する処理手順について、図１１のフローを参照して説明する。すなわち、実物体及び実物体座標系におけるユーザの指定する位置情報を取得し、取得した位置情報に基づいて、対応リストから関連付けられた電子情報を選択して、選択した関連電子情報に基づく処理、例えば画像データの提示、音声データの出力、コンピュータ・プログラムの起動等の様々なデータ処理を実行する処理手順について図１１に示したフローチャートを参照して説明する。
【０１１１】
まず、ステップＳ２０１において実物体及び実物体座標系における位置を入力する。前述したように、実物体の識別は実物体識別部１０１で、例えば実物体に設定された２次元コード等の識別情報に基づいて取得される。
【０１１２】
また、実物体座標系における位置は、実物体位置・姿勢計測部１０２により計測された実物体の位置・姿勢に基づいて、ポインタ等の位置入力部１０３の入力位置情報を、位置座標変換部１０４で変換して算出される。
【０１１３】
次に、ステップＳ２０２において、ステップＳ２０１で入力された実物体及び実物体座標系における位置が、対応関係管理部１０６の管理する対応リスト（図５参照）に登録された実物体ＩＤ及び位置情報と一致するものがあるか否かが判定される。ここで、実物体座標系における位置は、前述した入力位置と登録位置とが、距離ｄ以内であれば、同じ位置を指していると見なしても良い。距離：ｄは、前述したように、任意の位置を中心とする半径ｄの領域と電子情報とを対応付ける構成において適用される値である。距離ｄの値は、例えば予めデフォルト値を設定しておくか、ユーザが任意に設定可能とする。
【０１１４】
ステップＳ２０３において対応する電子情報が対応リスト中にあると判定された場合、ステップＳ２０４へ進み、対応リストに登録された電子情報に基づくデータ処理が実行される。登録された電子情報が動画像データなら動画像データを再生する。登録された電子情報が３次元モデルデータなら３次元モデルの表示を実行する。登録された電子情報がアプリケーションプログラムであれば、アプリケーションプログラムを起動する。
【０１１５】
登録された電子情報がアプリケーションプログラムである場合は、例えば起動されたプログラムに関連付けられた様々な音声情報、画像情報を読み出して、情報処理装置のディスプレイおよびスピーカを出力部として物語を展開するなどの構成が可能である。
【０１１６】
ステップＳ２０３の判定において、入力された実物体と位置に対応する電子情報が対応リストに無いと判定した場合には処理は終了となる。ここで、対応する電子情報がないことをユーザに知らせるメッセージや音を出力しても良い。
【０１１７】
以上、説明したように、実物体に対する任意の位置に電子情報を自由に対応付けることが可能である。また、すでに対応付けられた電子情報は、その位置を指定することによって容易に読み込むことが可能である。
【０１１８】
なお、上述したフローチャートを用いて説明した各処理、すなわち、情報処理装置において実行する実物体及び実物体座標系における位置と電子情報の対応付け処理、および対応リストに基づくデータ処理等の各種処理は、ＲＯＭ他の記憶媒体に記録されたプログラムに従って実行される。
【０１１９】
以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【０１２０】
なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【０１２１】
例えば、プログラムは記憶媒体としてのハードディスクやＲＯＭ（Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、ＣＤ−ＲＯＭ(Compact Disc Read Only Memory)，ＭＯ(Magneto optical)ディスク，ＤＶＤ(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納（記録）しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。
【０１２２】
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記憶媒体にインストールすることができる。
【０１２３】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。
【０１２４】
【発明の効果】
以上、説明したように、本発明の構成によれば、本やカード、あるいは模型、人形などの３次元の物体等のあらゆる実物体の任意位置と、画像データ、音声データ、テキストデータ、動画像データ、３次元モデルデータ、あるいは各種アプリケーションデータ、その他ゲーム、アニメーション等のコンピュータ・プログラム等の様々な電子情報との対応付け設定を容易に実行でき、対応関係登録データに基づく電子情報の出力、起動を行なうことが可能となるので、あらゆる実物体を入力インタフェースとした構成をユーザが自在に設定し構成することが可能となる。
【０１２５】
さらに、本発明の構成によれば、実物体の任意位置と、電子情報との対応付け設定を、ユーザの指示ポイントを判別し、実物体座標系における位置情報を登録する構成としたので、実物体が空間上で移動した場合でも、ユーザの指示位置を実物体の相対位置として把握可能であり、実物体識別子、位置情報と対応づけられた電子情報を取得し、画像出力等の様々な電子情報に基づく処理が可能となる。
【０１２６】
さらに、本発明の構成によれば、設定された対応関係を登録し、新たにユーザが実物体に対応した位置入力を行なったことを判別し、登録された対応関係データから識別された実物体および入力位置情報に相当する登録情報を選択し、選択された登録情報に対応付けられた電子情報を取得して、取得した電子情報に基づく処理、例えば画像データのディスプレイ表示、音声データの出力、あるいはコンピュータ・プログラムの起動等の処理が実行可能となる。
【図面の簡単な説明】
【図１】本発明の情報処理装置の全体概要を説明するブロック図である。
【図２】本発明の情報処理装置の処理対象となる実物体の例（書籍）および実物体識別情報としての２次元コードを示す図である。
【図３】本発明の情報処理装置において実行する座標変換処理について説明する図である。
【図４】本発明の情報処理装置において実行する座標変換処理について説明する図である。
【図５】本発明の情報処理装置の対応関係部の管理する対応リストの構成例について説明する図である。
【図６】立体的な形状を持つ実物体の位置と電子情報の対応付け例について説明する図である。
【図７】本発明の情報処理装置のハードウェア構成例手を示す図である。
【図８】本発明の情報処理装置において実行する実物体及び実物体座標系における位置と電子情報の対応付け処理の手順について説明するフローチャートを示す図である。
【図９】本発明の情報処理装置において実行する実物体及び実物体座標系における位置と電子情報の対応付け処理に適用する電子情報リストの例を示す図である。
【図１０】本発明の情報処理装置において実行する実物体及び実物体座標系における位置と電子情報の対応付け処理にポインタを適用した場合の処理について説明する図である。
【図１１】本発明の情報処理装置において実行する対応リストに基づくデータ処理手順を説明するフローチャートを示す図である。
【符号の説明】
１０１ 実物体識別部
１０２ 実物体位置・姿勢計測部
１０３ 位置入力部
１０４ 位置座標変換部
１０５ 情報処理部
１０６ 対応関係管理部
１０７ 電子情報管理部
２０１ 実物体
２０２ ２次元コード
２０３ 原点
３０１ カメラ
３０２ ポインタ
３０３ マーカ
４０１ 電流検出処理部
４０２ 磁界発生器
４５１ 対応リスト
５０１ ＣＰＵ
５０２ メモリ
５０３ ＲＯＭ
５０４ 外部記憶装置
５０５ バス
５０６ 入力インタフェース
５０７ 出力インタフェース
５０８ ネットワークインタフェース
５２１ カメラ
５２２ 磁界発生部および電流検出処理部
５２３ ポインタ
７０１ 電子情報リスト
７０２ 電子情報アイコン
８０１ ディスプレイ
Claims (20)
- 情報処理装置であり、
実物体を識別する実物体識別部と、
実物体の位置、姿勢を計測する実物体位置・姿勢計測部と、
ユーザの指示する位置を入力する位置入力部と、
前記位置入力部からの入力情報に基づいて、ユーザの指示位置を前記実物体に対して固定した座標系である実物体座標系における位置情報に変換する位置座標変換部と、
前記実物体識別部の識別した実物体識別情報と、前記位置座標変換部において生成した前記実物体座標系における位置情報と、電子情報との対応関係の関連付け設定処理を実行する情報処理部を有し、
前記情報処理部は、前記関連付け設定処理において、１つの実物体識別情報に対して、前記実物体座標系における複数の異なる位置情報と、複数の異なる電子情報との対応関係の関連付け設定処理を実行する構成であることを特徴とする情報処理装置。 - 前記情報処理装置は、さらに、
前記情報処理部が関連付け設定をした実物体識別情報と位置情報と電子情報との対応関係データを対応リストとして登録管理する対応管理部と、
前記対応リストに登録された電子情報を格納管理する電子情報管理部とを有し、
前記情報処理部は、
前記実物体識別部の識別した実物体識別情報と、前記位置入力部からの情報に基づいて前記位置座標変換部が生成した位置情報とに基づいて、前記対応管理部の管理する対応リストから、入力情報に対応付けられた電子情報を判別し、判別した電子情報を前記電子情報管理部から取得し、取得した電子情報に基づく処理を実行する制御を行なう構成であることを特徴とする請求項１に記載の情報処理装置。 - 前記電子情報は、
画像データ、音声データ、テキストデータ、コンピュータ・プログラム、３次元モデルデータ、アプリケーションデータの少なくとも１つを含み、
前記情報処理部は、前記電子情報の出力処理または起動処理を実行する構成であることを特徴とする請求項２に記載の情報処理装置。 - 前記実物体位置・姿勢計測部は、実物体の３次元位置、姿勢を計測する構成であり、
前記位置入力部は、ユーザの指示する位置の３次元位置を入力する構成であり、
前記位置座標変換部は、前記位置入力部からの３次元位置入力情報に基づいて、ユーザの指示位置を実物体座標系における３次元位置座標情報に変換する処理を実行する構成であり、
前記情報処理部は、前記実物体識別部の識別した実物体識別情報と、前記位置座標変換部において生成した３次元位置情報と、電子情報との対応関係の関連付け設定処理を実行する構成であることを特徴とする請求項１に記載の情報処理装置。 - 前記情報処理部は、
実物体識別情報と位置情報と電子情報との関連付け設定処理において、位置情報を領域を持つ領域位置情報とし、該領域位置情報と他情報との関連付け設定処理を実行する構成であることを特徴とする請求項１に記載の情報処理装置。 - 前記情報処理装置は、さらに、
前記情報処理部が関連付け設定をした実物体識別情報と位置情報と電子情報との対応関係データを対応リストとして登録管理する対応管理部を有し、
前記対応管理部は、
前記領域位置情報と、他の情報との対応関係データを対応リストとして登録管理する構成であることを特徴とする請求項５に記載の情報処理装置。 - 前記情報処理装置は、さらに、
ネットワークを介したデータ送受信を実行する通信部を有し、
前記情報処理部は、
前記情報処理部が関連付け設定をした実物体識別情報と位置情報と電子情報との対応関係データを前記通信部を介して、前記対応関係データを対応リストとして登録管理する対応管理部を有するサーバに送信するとともに、前記実物体識別部の識別した実物体識別情報と、前記位置入力部からの情報に基づいて前記位置座標変換部が生成した位置情報を前記サーバに送信し、サーバ内の前記対応管理部の管理する対応リストに基づいて検索された入力情報に対応付けられた電子情報をサーバから取得し、取得電子情報に基づく処理を実行する制御を行なう構成であることを特徴とする請求項１に記載の情報処理装置。 - 実物体と電子情報との対応関係を設定する情報処理方法であり、
実物体を識別する実物体識別ステップと、
実物体の位置、姿勢を計測する実物体位置・姿勢計測ステップと、
ユーザの指示する位置を入力する位置入力ステップと、
前記位置入力ステップにおける入力情報に基づいて、ユーザの指示位置を前記実物体に対して固定した座標系である実物体座標系における位置情報に変換する位置座標変換ステップと、
前記実物体識別ステップにおいて識別した実物体識別情報と、前記位置座標変換ステップにおいて生成した前記実物体座標系における位置情報と、電子情報との対応関係の関連付け設定処理を実行する情報処理ステップを有し、
前記情報処理ステップは、前記関連付け設定処理において、１つの実物体識別情報に対して、前記実物体座標系における複数の異なる位置情報と、複数の異なる電子情報との対応関係の関連付け設定処理を実行するステップであることを特徴とする情報処理方法。 - 前記情報処理方法は、さらに、
前記情報処理ステップにおいて関連付け設定をした実物体識別情報と位置情報と電子情報との対応関係データを対応リストとして登録管理する対応管理ステップを有することを特徴とする請求項８に記載の情報処理方法。 - 前記実物体位置・姿勢計測ステップは、実物体の３次元位置、姿勢を計測し、
前記位置入力ステップは、ユーザの指示する位置の３次元位置を入力し、
前記位置座標変換ステップは、前記位置入力ステップにおける３次元位置入力情報に基づいて、ユーザの指示位置を実物体座標系における３次元位置座標情報に変換する処理を実行し、
前記情報処理部ステップは、前記実物体識別ステップにおいて識別した実物体識別情報と、前記位置座標変換ステップにおいて生成した３次元位置情報と、電子情報との対応関係の関連付け設定処理を実行することを特徴とする請求項８に記載の情報処理方法。 - 前記情報処理ステップは、
実物体識別情報と位置情報と電子情報との関連付け設定処理において、位置情報を領域を持つ領域位置情報として設定するとともに、前記領域位置情報に対して他情報の関連付け設定を実行することを特徴とする請求項８に記載の情報処理方法。 - 前記情報処理方法は、さらに、
前記情報処理ステップにおいて関連付け設定をした実物体識別情報と位置情報と電子情報との対応関係データを対応リストとして登録管理する対応管理ステップを有し、
前記対応管理ステップは、
前記領域位置情報と、他の情報との対応関係データを対応リストとして登録管理することを特徴とする請求項１１に記載の情報処理方法。 - 前記情報処理方法は、さらに、
前記情報処理ステップにおいて関連付け設定をした実物体識別情報と位置情報と電子情報との対応関係データを通信部を介して、対応リスト登録管理サーバに送信するステップを有することを特徴とする請求項８に記載の情報処理方法。 - 実物体と電子情報との対応関係リストに基づくデータ処理を実行する情報処理方法であり、
実物体を識別する実物体識別ステップと、
実物体の位置、姿勢を計測する実物体位置・姿勢計測ステップと、
ユーザの指示する位置を入力する位置入力ステップと、
前記位置入力ステップにおける入力情報に基づいて、ユーザの指示位置を前記実物体に対して固定した座標系である実物体座標系における位置情報に変換する位置座標変換ステップと、
前記実物体識別ステップにおいて識別した実物体識別情報と、前記位置座標変換ステップにおいて生成した前記実物体座標系における位置情報とに対応付けられた電子情報を対応リストに基づいて選択する電子情報選択ステップと、
前記電子情報選択ステップにおいて選択された電子情報を取得し、取得した電子情報に基づく処理を実行する電子情報実行ステップを有し、
前記電子情報選択ステップは、１つの実物体識別情報に対して、前記実物体座標系における複数の異なる位置情報と、複数の異なる電子情報とが対応付けられた対応リストから、前記位置座標変換ステップにおいて生成した前記位置情報に対応付けられた電子情報を選択するステップであることを特徴とする情報処理方法。 - 前記電子情報は、
画像データ、音声データ、テキストデータ、コンピュータ・プログラム、３次元モデルデータ、アプリケーションデータの少なくとも１つを含み、
前記電子情報実行ステップは、前記電子情報の出力処理または起動処理を実行することを特徴とする請求項１４に記載の情報処理方法。 - 前記実物体位置・姿勢計測ステップは、実物体の３次元位置、姿勢を計測し、
前記位置入力ステップは、ユーザの指示する位置の３次元位置を入力し、
前記位置座標変換ステップは、前記位置入力ステップにおける３次元位置入力情報に基づいて、ユーザの指示位置を実物体座標系における３次元位置座標情報に変換する処理を実行し、
前記電子情報選択ステップは、前記実物体識別ステップにおいて識別した実物体識別情報と、前記位置座標変換ステップにおいて生成した３次元位置情報とに対応付けられた電子情報を対応リストに基づいて選択する処理を実行することを特徴とする請求項１４に記載の情報処理方法。 - 前記電子情報選択ステップは、
前記実物体識別ステップにおいて識別した実物体識別情報と、前記位置座標変換ステップにおいて生成した位置情報とを入力し、該入力位置情報に基づく領域を設定し、該設定領域内の位置情報に対応付けられた電子情報を対応リストに基づいて選択する処理を実行することを特徴とする請求項１４に記載の情報処理方法。 - 前記情報処理方法は、さらに、
前記実物体識別ステップにおいて識別した実物体識別情報と、前記位置入力ステップにおける入力情報に基づいて前記位置座標変換ステップにおいて生成した位置情報をサーバに送信するステップと、
前記サーバの管理する対応リストに基づいて、送信情報に対応付けられた電子情報をサーバから取得するステップと、
取得電子情報に基づく処理を実行するステップと、
を有することを特徴とする請求項１４に記載の情報処理方法。 - 実物体と電子情報との対応関係を設定する情報処理を実行するコンピュータ・プログラムであって、
実物体を識別する実物体識別ステップと、
実物体の位置、姿勢を計測する実物体位置・姿勢計測ステップと、
ユーザの指示する位置を入力する位置入力ステップと、
前記位置入力ステップにおける入力情報に基づいて、ユーザの指示位置を前記実物体に対して固定した座標系である実物体座標系における位置情報に変換する位置座標変換ステップと、
前記実物体識別ステップにおいて識別した実物体識別情報と、前記位置座標変換ステップにおいて生成した前記実物体座標系における位置情報と、電子情報との対応関係の関連付け設定処理を実行する情報処理ステップを有し、
前記情報処理ステップは、前記関連付け設定処理において、１つの実物体識別情報に対して、前記実物体座標系における複数の異なる位置情報と、複数の異なる電子情報との対応関係の関連付け設定処理を実行するステップであるコンピュータ・プログラム。 - 実物体と電子情報との対応関係リストに基づくデータ処理を実行するコンピュータ・プログラムであって、
実物体を識別する実物体識別ステップと、
実物体の位置、姿勢を計測する実物体位置・姿勢計測ステップと、
ユーザの指示する位置を入力する位置入力ステップと、
前記位置入力ステップにおける入力情報に基づいて、ユーザの指示位置を前記実物体に対して固定した座標系である実物体座標系における位置情報に変換する位置座標変換ステップと、
前記実物体識別ステップにおいて識別した実物体識別情報と、前記位置座標変換ステップにおいて生成した前記実物体座標系における位置情報とに対応付けられた電子情報を対応リストに基づいて選択する電子情報選択ステップと、
前記電子情報選択ステップにおいて選択された電子情報を取得し、取得した電子情報に基づく処理を実行する電子情報実行ステップを有し、
前記電子情報選択ステップは、１つの実物体識別情報に対して、前記実物体座標系における複数の異なる位置情報と、複数の異なる電子情報とが対応付けられた対応リストから、前記位置座標変換ステップにおいて生成した前記位置情報に対応付けられた電子情報を選択するステップであるコンピュータ・プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003001965A JP4306250B2 (ja) | 2003-01-08 | 2003-01-08 | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003001965A JP4306250B2 (ja) | 2003-01-08 | 2003-01-08 | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004213518A JP2004213518A (ja) | 2004-07-29 |
| JP4306250B2 true JP4306250B2 (ja) | 2009-07-29 |
Family
ID=32819844
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003001965A Expired - Fee Related JP4306250B2 (ja) | 2003-01-08 | 2003-01-08 | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4306250B2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4730962B2 (ja) * | 2006-04-04 | 2011-07-20 | Ｋｄｄｉ株式会社 | タッチパネルディスプレイを備えた携帯端末及びプログラム |
| JP2008009572A (ja) | 2006-06-27 | 2008-01-17 | Fuji Xerox Co Ltd | ドキュメント処理システム、ドキュメント処理方法及びプログラム |
| JP2009009504A (ja) * | 2007-06-29 | 2009-01-15 | Ccu:Kk | 書類情報検索システムおよびその検索方法 |
| JP5070253B2 (ja) * | 2009-07-15 | 2012-11-07 | シャープ株式会社 | 表示装置および表示方法 |
| JP5583479B2 (ja) * | 2010-05-27 | 2014-09-03 | 京セラ株式会社 | 携帯電子機器及び画像投影ユニット |
| JP6245837B2 (ja) * | 2013-04-30 | 2017-12-13 | キヤノン株式会社 | 画像処理装置、画像処理方法及びプログラム |
| JP6155889B2 (ja) * | 2013-06-19 | 2017-07-05 | 富士通株式会社 | システムの制御方法、携帯情報端末の制御方法、携帯情報端末 |
| KR20150031384A (ko) * | 2013-09-13 | 2015-03-24 | 현대자동차주식회사 | 맞춤형 인터페이스 시스템 및 그 동작 방법 |
| JP6327931B2 (ja) * | 2014-05-02 | 2018-05-23 | キヤノン株式会社 | 画像処理装置、情報処理方法及びプログラム |
| JP6740042B2 (ja) * | 2016-07-19 | 2020-08-12 | キヤノン株式会社 | 位置検知システム |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07114589A (ja) * | 1993-10-15 | 1995-05-02 | Kyushu Electric Power Co Inc | 配電設備図面入力方式 |
| JPH07175587A (ja) * | 1993-10-28 | 1995-07-14 | Hitachi Ltd | 情報処理装置 |
| JPH09319556A (ja) * | 1996-05-28 | 1997-12-12 | Matsushita Electric Ind Co Ltd | 情報処理装置 |
| JP3879208B2 (ja) * | 1996-11-26 | 2007-02-07 | ソニー株式会社 | 情報入力方法、情報入力媒体及び情報入力装置 |
| US6160540A (en) * | 1998-01-12 | 2000-12-12 | Xerox Company | Zoomorphic computer user interface |
| JP3287312B2 (ja) * | 1998-08-13 | 2002-06-04 | 日本電気株式会社 | ポインティング装置 |
| JP4352287B2 (ja) * | 1998-08-31 | 2009-10-28 | ソニー株式会社 | 画像処理装置、画像処理方法、および画像処理プログラム媒体 |
| JP2000102036A (ja) * | 1998-09-22 | 2000-04-07 | Mr System Kenkyusho:Kk | 複合現実感提示システム、複合現実感提示方法、マン・マシーンインタフェース装置、およびマン・マシーンインタフェース方法 |
| JP2000194726A (ja) * | 1998-10-19 | 2000-07-14 | Sony Corp | 情報処理装置及び方法、情報処理システム並びに提供媒体 |
| JP4385266B2 (ja) * | 1999-08-31 | 2009-12-16 | ソニー株式会社 | 情報処理装置及び情報処理方法並びに記録媒体 |
| JP4433236B2 (ja) * | 1999-12-03 | 2010-03-17 | ソニー株式会社 | 情報処理装置および情報処理方法、並びにプログラム記録媒体 |
| JP2001229166A (ja) * | 1999-12-07 | 2001-08-24 | Sony Corp | 情報処理装置および情報処理方法、並びにプログラム格納媒体 |
| JP2001166861A (ja) * | 1999-12-09 | 2001-06-22 | Sony Corp | 情報処理装置及び情報処理方法並びにプログラム格納媒体 |
| JP2001265523A (ja) * | 2000-03-21 | 2001-09-28 | Sony Corp | 情報入出力システム及び情報入出力方法、並びにプログラム記憶媒体 |
| JP4706118B2 (ja) * | 2000-08-07 | 2011-06-22 | ソニー株式会社 | 情報処理装置 |
| JP4284855B2 (ja) * | 2000-10-25 | 2009-06-24 | ソニー株式会社 | 情報入出力システム及び情報入出力方法、並びにプログラム記憶媒体 |
| JP2002215279A (ja) * | 2000-11-14 | 2002-07-31 | Kyudenko Corp | 電柱情報入力方法、及び電柱情報入力装置 |
| JP3927168B2 (ja) * | 2002-11-25 | 2007-06-06 | 日本電信電話株式会社 | 実世界オブジェクト認識方法および実世界オブジェクト認識システム |
-
2003
- 2003-01-08 JP JP2003001965A patent/JP4306250B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004213518A (ja) | 2004-07-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7221989B2 (ja) | アプリケーションの仮想シーン認識及びインタラクションキーマッチング方法、並びに計算装置 | |
| CN103970409B (zh) | 产生增强现实内容的方法和使用所述增强现实内容的终端 | |
| US10078914B2 (en) | Setting method and information processing device | |
| US20110010497A1 (en) | A storage device receiving commands and data regardless of a host | |
| WO2011070871A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
| JP4085918B2 (ja) | ３次元モデル処理装置、および３次元モデル処理方法、並びにコンピュータ・プログラム | |
| EP2773100A2 (en) | Portable apparatus and method for taking a photograph by using widget | |
| JP4031255B2 (ja) | ジェスチャコマンド入力装置 | |
| CN104077024A (zh) | 信息处理设备、信息处理方法及记录介质 | |
| JP4306250B2 (ja) | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム | |
| JP2011090486A (ja) | 会議支援システム | |
| JP2003256876A (ja) | 複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラム | |
| JP6056648B2 (ja) | 情報処理装置及び情報処理プログラム | |
| CN107704282A (zh) | 一种应用于嵌入式系统的加载方法及装置 | |
| JP2014229167A (ja) | 情報処理装置及び情報処理プログラム | |
| JP2009169768A (ja) | 情報処理装置及びプログラム | |
| CN105531756A (zh) | 信息处理装置、信息处理方法和计算机程序 | |
| JP2012208796A (ja) | コード読取装置およびコマンド取得方法 | |
| JP2014029566A (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム | |
| JP4268667B2 (ja) | 音声情報記録装置 | |
| CN109895092A (zh) | 信息处理装置、信息处理方法以及计算机可读介质 | |
| JP2005275439A (ja) | Ｕｉ設計評価方法及び装置 | |
| JP2011197777A (ja) | 情報処理装置、情報処理方法およびプログラム | |
| JP4222388B2 (ja) | 画像管理装置、画像記録装置、撮像装置、画像管理システム、画像解析情報管理方法およびプログラム | |
| TW200813856A (en) | USB peripheral device with dynamic change class and application thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051207 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080314 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080509 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080701 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080829 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080904 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090414 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090427 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120515 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130515 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |