JP4851771B2

JP4851771B2 - 情報処理システム、および携帯情報端末

Info

Publication number: JP4851771B2
Application number: JP2005308278A
Authority: JP
Inventors: 隼人南出
Original assignee: Kyocera Corp
Current assignee: Kyocera Corp
Priority date: 2005-10-24
Filing date: 2005-10-24
Publication date: 2012-01-11
Anticipated expiration: 2025-10-24
Also published as: JP2007115167A

Description

本発明は、ＡＲ（Augmented Reality）技術を利用した情報処理システム、および携帯情報端末に関する。

情報機器において、自機或いは自機に通信可能に接続されたサーバ装置などの他の装置に保存されているファイルを簡単に読み出すために、自機が備えるディスプレイの画面上にアイコンを配置して表示することがある。しかしながら、アイコンの配置領域がディスプレイの画面上に限られ狭いことから、配置可能なアイコンの数が少なく、特に、ディスプレイのサイズの小さい携帯情報端末ではその数がより少なくなってしまう。

近年、製品の研究開発が行われている（例えば、特許文献１参照。）、コンピュータの情報処理を通じて、実空間上に実際には存在しない図形などを実空間上に重ね合わせて表示するＡＲ技術を利用することにより、アイコンの配置領域を実空間にまで拡大することができるようになる。なお、ＡＲ技術を利用して、実空間には実際に存在しない図形などを実空間上に重ねて配置してヘッドマウントディスプレイなどの表示装置に表示することを仮想表示ということとし、また、仮想表示される図形などの情報のことを仮想表示情報ということにする。
特開２００２−２７５２９号公報

ところが、ＡＲ技術を利用してアイコンの配置領域を実空間にまで拡大して仮想表示する場合において、利用者がアイコンを仮想表示すべき位置を任意に指定したいとき、その位置情報を手入力する作業は利用者にとって煩わしいものである。なお、この問題は、実空間上に仮想表示する対象がアイコンに限られるものではなく、メッセージなどの各種情報であっても同様に発生する。

そこで、本発明は、仮想表示情報を仮想表示する実空間上の位置登録を簡単に行うことができる情報処理システム、および携帯情報端末を提供することを目的とする。

上記目的を達成するために本発明の情報処理システムは、サーバ装置と前記サーバ装置にネットワークを介して接続された携帯情報端末と前記携帯情報端末から受信するデータを表示する表示装置とを備えた情報処理システムにおいて、前記サーバ装置は、実空間上に仮想表示する仮想表示情報と当該仮想表示情報の実空間上の仮想表示位置を示す表示位置情報とを対応付けて記録する領域を有した仮想表示情報記録手段を備え、前記携帯情報端末は、自端末の実空間上の存在位置を示す端末位置情報を取得する端末位置情報取得処理手段と、取得される前記端末位置情報を仮想表示情報の表示位置情報として仮想表示情報と対応付けて前記仮想表示情報記録手段に格納する情報格納処理手段と、前記仮想表示情報記録手段に記録されている前記仮想表示情報を当該仮想表示情報に対応付けて記録されている前記表示位置情報の示す実空間上の位置に仮想表示させるためのデータを作成して前記表示装置へ出力する仮想表示処理手段と、を備えたことを特徴とする。

また、本発明の携帯情報端末は、自端末の実空間上の存在位置を示す端末位置情報を取得する端末位置情報取得処理手段と、実空間上に仮想表示する仮想表示情報と、当該仮想表示情報の表示位置情報として前記取得される端末位置情報とを対応付けて、仮想表示情報記録手段に格納する情報格納処理手段と、外部の表示装置に、前記仮想表示情報記録手段に記録されている前記仮想表示情報を、当該仮想表示情報に対応付けて記録されている前記表示位置情報の示す実空間上の位置に仮想表示させる仮想表示処理手段と、を備えたことを特徴とする。

上記の情報処理システムおよび携帯情報端末によれば、携帯情報端末は自端末の存在位置を示す端末位置情報を端末位置情報取得手段により取得し、情報格納処理手段により仮想表示情報とこの仮想表示情報の表示位置情報として端末位置情報取得手段により取得される端末位置情報とを対応付けて仮想表示情報記録手段に格納する。このため、利用者は仮想表示情報を仮想表示したい位置に携帯情報端末を移動させるだけで簡単に仮想表示情報を仮想表示する実空間上の位置を簡単に登録することができ、利用者の作業負担の軽減が図られる。

また、前記仮想表示情報はファイルを識別するためのものであり、携帯情報端末装置は、更に、前記仮想表示情報記録手段に記録されている前記表示位置情報と前記端末位置情報取得手段により取得される自端末の端末位置情報とを利用して、自端末に対して所定の範囲内の実空間上に仮想表示されている前記仮想表示情報を検索する仮想表示情報検索手段と、ファイルの取得操作を受け付けると、ファイルと当該ファイルを識別するための仮想表示情報とを対応付けて記録する領域を有したファイル記録手段から、前記仮想表示情報検索手段により見つけられた前記仮想表示情報に対応付けて記録されているファイルを読み出して出力するファイル読出処理手段と、を備えることとしてもよい。

これによれば、携帯情報端末は自端末の存在位置を示す端末位置情報を端末位置情報取得手段により取得し、取得された端末位置情報と仮想表示情報記録手段に記録されている表示位置情報とを利用して自端末に対して所定の範囲内の実空間上に仮想表示されている仮想表示情報を仮想表示情報検索手段により検索する。そして、携帯情報端末は検索して見つけた仮想表示情報に対応付けてファイル記録手段に記録されているファイルをファイル読出処理手段により読み出して出力する。このため、利用者は携帯情報端末を出力したいファイルの仮想表示情報が仮想表示されている実空間上の位置に移動させるだけで簡単にファイルをスピーカや表示装置などから出力することが可能になる。

また、携帯情報端末装置は、前記仮想表示情報検索手段により自端末に対して前記所定の範囲内の実空間上に仮想表示されていると見つけられた前記仮想表示情報を異なる表示態様に変更する仮想表示変更手段を更に備えることとしてもよい。
これによれば、携帯情報端末は検索して見つけた仮想表示情報を異なる表示態様に仮想表示変更手段により変更するため、利用者は対象となっているファイルを容易に把握できるようになる。

また、前記ファイルは音楽に関するファイル又は映像に関するファイルであることとしてもよい。これによれば、簡単に音楽を流すことや映像を表示することが可能になる。
また、前記仮想表示情報記録手段は、自端末にネットワークを介して接続されているサーバ装置内に設けられていることとしてもよい。これによれば、仮想表示情報記録手段として大容量の記録装置を利用することができるようになり、大きなデータサイズの仮想表示情報や多くの数の仮想表示情報を記録することができるようになる。また、複数の利用者間で仮想表示情報の共有を行うことができるようになる。

また、前記ファイル記録手段は、自端末にネットワークを介して接続されているサーバ装置内に設けられていることとしてもよい。これによれば、ファイル記録手段として大容量の記録装置を利用することができるようになり、大きなデータサイズのファイルや多くの数のファイルを記録することができるようになる。また、複数の利用者間でファイルの共有を行うことができるようになる。

以下、本発明の実施の形態について図面を参照しつつ説明する。
《システム構成》
本発明の実施の形態における情報処理システムのシステム構成について図１を参照しつつ説明する。図１は本実施の形態における情報処理システムのシステム構成を示すシステム構成図である。

図１に示す情報処理システムは携帯情報端末１とサーバ装置２とを備え、携帯情報端末１とサーバ装置２とは無線ＬＡＮ（Local Area Network）用のアンテナ４を介して無線通信を行う。この情報処理システムが利用される環境には、無線ＬＡＮ用のアンテナ４を介して携帯情報端末１および後述のセンサ７が備える送受信機の夫々と無線通信を行う位置計測装置３が設けられている。この位置計測装置３には４本の位置計測用のアンテナ３ａ〜３ｄが接続され、位置計測装置３には各アンテナ３ａ〜３ｄが設置された実空間上の位置を示す３次元座標が記憶されている。

位置計測装置３による各機器の位置計測は次のようにして行う。機器は自らが発信する電波の送信強度を示す情報を無線ＬＡＮを介して位置計測装置３へ送信する。機器は送信した情報が示す送信強度の電波を発信し、この電波が位置計測用のアンテナ３ａ〜３ｄにより受信される。位置計測装置３は無線ＬＡＮを介して受信した情報が示す送信強度と各アンテナ３ａ〜３ｄによって受信された電波の受信強度と空間の伝播損失とを利用して各アンテナ３ａ〜３ｄと機器との間の距離を算出する。そして、位置計測装置３は算出した各アンテナ３ａ〜３ｄと機器との間の距離と各アンテナ３ａ〜３ｄの設置された実空間上の位置を示す３次元座標とを利用して、三点測量の原理により電波を発信した時点の機器の位置を示す実空間上の３次元座標を算出する。電波を発信した機器が携帯情報端末１の場合、この算出された３次元座標が端末位置情報に対応する。

情報処理システムを利用しようとする利用者はヘッドマウントディスプレイ（Head Mounted Display：ＨＭＤ）５を装着し、頭上にカメラ６およびジャイロセンサと送受信機とを含むセンサ７を装着する。ＨＭＤ５、カメラ６、およびセンサ７は夫々携帯情報端末１と無線通信を行う。
カメラ６はカメラ６を装着している利用者の頭部が向いている方向の実空間を撮像し、撮像した実空間の撮像データを無線通信により携帯情報端末１へ送信する。

センサ７の送受信機は位置計測装置３に対して送信強度を示す情報を無線ＬＡＮを介して送信し、送信した情報が示す送信強度の電波を発信する。これにより、送受信機は位置計測装置３からセンサ７の送受信機の位置を示す３次元座標を無線ＬＡＮを介して受信する。また、センサ７のジャイロセンサはセンサ７を装着している利用者の頭部が向いている方向を計測する。センサ７は送受信機から位置計測装置３から受信したセンサ７の実空間上の存在位置を示す３次元座標とジャイロセンサにより計測された利用者の頭部が向いている方向を示す情報とを無線通信により携帯情報端末１へ送信する。
《サーバ装置構成》
図１の情報処理システムを構成するサーバ装置２の機能構成について図２を参照しつつ説明する。図２は図１のサーバ装置２の機能構成を示す機能ブロック図である。

図２に示すサーバ装置２は他の機器と通信を行う通信部２１と演算処理部２２と記憶部２３とを有する。
記憶部２３はファイルデータベース（ファイルＤＢ）２３ａとファイル情報データベース（ファイル情報ＤＢ）２３ｂとマークデータベース（マークＤＢ）２３ｃとを有する。なお、ファイルＤＢ２３ａはファイル記録手段に対応し、ファイル情報ＤＢ２３ｂは仮想表示情報記録手段に対応する。

ファイルＤＢ２３ａはファイル毎にファイルと当該ファイルを識別するためのファイル名とを対応付けて記録するためのデータベースであり、ファイルＤＢ２３ａには音楽に関するファイルや映像に関するファイルなどが記録されている。
ファイル情報ＤＢ２３ｂはファイルに関する情報を記録するためのデータベースであり、その一例を図３に示す。図３はファイル情報ＤＢ２３ｂの一例を示す図である。ファイル情報ＤＢ２３ｂのフィールドとして、ファイル名と所有者ＩＤ（Identification）と表示位置情報と付加マークとがある。フィールド「ファイル名」にはファイルを識別するためのファイル名が格納され、フィールド「所有者ＩＤ」には対応するファイル名のファイルを所有するユーザのユーザＩＤが格納される。フィールド「表示位置情報」には対応するファイル名を実空間上に仮想表示する位置を示す３次元座標の表示位置情報が格納される。フィールド「付加マーク」には対応するファイル名を実空間上に仮想表示する際にファイル名に併せて仮想表示するマークに一意に割り当てられたマーク情報が格納される。

例えば、音楽に関するファイルのファイル名「音楽Ｂ１」、所有者ＩＤ「１１１」、表示位置情報「（５，２０，５）」、付加マーク「音符」が対応付けて記録されており、また、映像に関するファイルのファイル名「映像Ｃ１」、所有者ＩＤ「１１１」、表示位置情報「（２０，１０，５）」、付加マーク「カセット」が対応付けて記録されている。
マークＤＢ２３ｃはマーク毎にマークのデータと当該マークに一意に割り当てられたマーク情報とを対応付けて記録するためのデータベースであり、マークとして手紙、音符、カセットなどがある。

演算処理部２２は保存部２２ａと検索部２２ｂとを有する。
保存部２２ａは携帯情報端末１から受信するファイルとそのファイル名とを対応付けてファイルＤＢ２３ａに保存する。保存部２２ａは携帯情報端末１から受信するユーザＩＤとファイル名とを対応付けてファイル情報ＤＢ２３ｂのフィールド「ファイル名」とフィールド「所有者ＩＤ」とに保存する。また、保存部２２ａはファイル情報ＤＢ２３ｂにおいて携帯情報端末１から受信するファイル名にフィールド「ファイル名」の値が一致するレコードのフィールド「表示位置情報」とフィールド「付加マーク」とに携帯情報端末１から受信する端末位置情報とマーク情報とを保存する。

検索部２２ｂはファイル情報ＤＢ２３ｂにおいて携帯情報端末１から受信するユーザＩＤにフィールド「所有者ＩＤ」の値が一致するレコードを検索し、マークＤＢ２３ｂにおいて検索の結果見つかったレコードのフィールド「付加マーク」の値に対応付けて記憶されているマークのデータを検索する。また、検索部２２ｂはファイルＤＢ２３ａにおいて携帯情報端末１から受信するファイル名に対応付けて記録されているファイルを検索する。
《携帯情報端末構成》
図１の情報処理システムを構成する携帯情報端末１の機能構成について図４を参照しつつ説明する。図４は図１の携帯情報端末１の機能構成を示す機能ブロック図である。

図４に示す携帯情報端末１は他の機器と通信を行う通信部１１とマイク１２ａおよびスピーカ１２ｂが接続された音声処理部１２と操作部１３と表示部１４と記憶部１５と演算処理部１６とを有する。
音声処理部１２はマイク１２ａにより集音されたアナログ信号をデジタル信号に変換して演算処理部１６へ出力する。また、音声処理部１２は演算処理部１６から入力されるデジタル信号をアナログ信号に変換して、変換したアナログ信号をスピーカ１２ｂへ出力し、これによりスピーカ１２ｂから音が出力される。

操作部１３は各種ボタンが設けられており、押下されたボタンの信号を演算処理部１６へ出力する。操作部１３のボタンにはサーバ装置２に情報を登録する際に押下される登録ボタンおよびサーバ装置２への情報の登録を中止する際に押下されるキャンセルボタンが割り当てられている。また、操作部１３のボタンにはサーバ装置２から情報を取得する際に押下される取得ボタンが割り当てられている。

表示部１４は液晶ディスプレイなどであり、表示部１４に表示される画面として図５および図６に示す表示画面がある。図５はサーバ装置２にファイルを登録する際に表示部１４に表示される表示画面であり、「ファイル名「音楽Ａ１」のファイルをサーバ装置に登録しますか」などのメッセージ１０１が含まれている。
図６はサーバ装置２にファイル名などを仮想表示する位置を示す表示位置情報などを登録する際に表示部１４に表示される表示画面である。図６の表示画面には、「ファイル名「音楽Ａ１」を仮想表示するための登録を行いますか」などのメッセージ１１１が含まれている。また、「仮想表示に付加するマークを入力してください。」のメッセージ１１２が含まれている。このメッセージ１１２に対応してマークを識別するためのマーク情報を入力するための入力領域１１２ａと、押下されるとマーク情報の一覧を表示して一覧からマーク情報を選択するためのプルダウンボタン１１２ｂとが設けられている。

記憶部１５は各種プログラムなどを記憶する記憶装置である。
演算処理部１６は端末位置情報取得処理部１６ａと情報格納処理部１６ｂと仮想表示情報取得処理部１６ｃと仮想表示処理部１６ｄと仮想表示情報検索部１６ｅと仮想表示変更部１６ｆとファイル読出処理部１６ｇとを有する。
端末位置情報取得処理部１６ａは位置計測装置３に対して送信強度を示す情報を通信部１１を介して送信し、送信した情報が示す送信強度の電波を発信する。そして、端末位置情報取得処理部１６ａは位置計測装置３により計測され送信された情報携帯端末１の実空間上の位置を示す３次元座標の端末位置情報を無線ＬＡＮおよび通信部１１を介して取得する。

情報格納処理部１６ｂはユーザＩＤとファイルおよびこのファイルのファイル名とを通信部１１を介してサーバ装置２へ送信する。これにより、サーバ装置２の保存部２２ａによってファイルＤＢ２３ａにファイルとファイル名とが対応付けられて保存されるともに、ファイル情報ＤＢ２３ｂにファイル名とユーザＩＤとが対応付けられて保存される。
また、情報格納処理部１６ｂはファイル名と端末位置情報取得処理部１６ａにより取得された携帯情報端末１の端末位置情報とマークのマーク情報とを通信部１１を介してサーバ装置２へ送信する。これにより、サーバ装置２の保存部２２ａによって、ファイル名と端末位置情報とマークのマーク情報とが対応付けられてファイル情報ＤＢ２３ｂに保存される。

仮想表示情報取得処理部１６ｃは、操作部１３を利用してファイル名の表示操作が行われると、ユーザＩＤを含むファイル名配信要求を通信部１１を介してサーバ装置２へ送信する。これにより、仮想表示情報取得処理部１６ｃは、送信したユーザＩＤに対応付けてファイル情報記録手段２３ｂに記録されているファイル名および表示位置情報とマークＤＢ２３ｃに記録されているマークのデータとを通信部１１を介してサーバ装置２から取得する。

仮想表示処理部１６ｄはセンサ７の送受信機の実空間上の位置を示す３次元座標とセンサ７を装着している利用者の頭部が向いている方向を示す情報とをセンサ７から通信部１１を介して取得する。また、仮想表示処理部１６ｄはカメラ６が撮像した実空間の撮像データをカメラ６から通信部１１を介して取得する。そして、仮想表示処理部１６ｄは取得したセンサ７の送受信機の３次元座標と利用者の頭部が向いている方向とを利用してカメラ６が撮像している実空間上の位置と方向とを得る。仮想表示処理部１６ｄは仮想表示情報取得処理部１６ｃにより取得されたファイル名の表示位置情報とカメラ６により撮像されている実空間上の位置および方向とを利用して、表示位置情報が示す実空間上の位置にファイル名とマークとが仮想表示されるように撮像データに重ね合わせたデータを作成してＨＭＤ５へ送信し、ＨＭＤ５にファイル名とマークとを仮想表示する。

仮想表示情報検索部１６ｅは仮想表示情報取得処理部１６ｃにより取得されたファイル名の表示位置情報（ｘｉ，ｙｉ，ｚｉ）と端末位置情報取得処理部１６ａにより取得された端末位置情報（ｘ０，ｙ０，ｚ０）とを利用して、
（ｘｉ−ｘ０）^２＋（ｙｉ−ｙ０）^２＋（ｚｉ−ｚ０）^２
を算出し、算出値が閾値以下であるファイル名を検索することによって、携帯情報端末１に対して所定の範囲内の実空間上に仮想表示されているファイル名を検索する。

仮想表示変更部１６ｆは仮想表示情報検索部１６ｅによる検索の結果見つけられた携帯情報端末１に対して所定の範囲内の実空間上に仮想表示されているファイル名とマークとをその線サイズを太くすることによって異なる表示態様に変更する。
ファイル読出処理部１６ｇは操作部１３を利用してファイルの取得操作が行われた時に仮想表示情報検索部１６ｅによる検索の結果見つけられている携帯情報端末１に対して所定の範囲内の実空間上に仮想表示されているファイル名のファイルを読み出し対象のファイルに決定し、ファイル名を含むファイル配信要求を通信部１１を介してサーバ装置２へ送信する。これにより、ファイル読出処理部１６ｇは送信したファイル名のファイルをサーバ装置２から通信部１１を介して取得し、取得したファイルを音声処理部１２および表示部１４の双方または一方へ出力する。
《登録動作》
図１の情報処理システムにおいて行われる携帯情報端末１がサーバ装置２に情報を登録する情報登録処理について図７を参照しつつ説明する。図７は図１の情報処理システムにおいて行われる情報登録処理の手順を示すシーケンス図である。なお、利用者は情報携帯端末１を携帯し、ＨＭＤ５とカメラ６とセンサ７とを装着しており、図８に一例を示すカメラ６により撮像された実空間がＨＭＤ５に表示されているとする。図８において、携帯情報端末１とコンピュータ２０１と机２０２とプリンタ２０３とは実空間上に実際に存在する物である。

携帯情報端末１において、携帯情報端末１の利用者は操作部１３を利用してユーザＩＤを入力すると、演算処理部１６は操作部１３から入力される押下信号に基づき利用者のユーザＩＤを取得する（ステップＳ１０１）。
携帯情報端末１において、利用者は操作部１３を利用してファイルを作成しそのファイル名を入力して所定の操作を行うと、情報格納処理部１６ｂは図５に一例を示した表示画面を表示部１４に表示する。利用者は表示されたメッセージ１０１に含まれるファイル名のファイルをサーバ装置２に登録する場合には操作部１３の登録ボタンを押下し、サーバ装置２に登録しない場合にはキャンセルボタンを押下する。情報格納処理部１６ｂは操作部１３から入力される押下信号に基づきファイルの登録操作が行われたか否かを判断する（ステップＳ１０２）。押下されたボタンがキャンセルボタンであったと判断した場合（Ｓ１０２：ＮＯ）図７の処理を終了する。一方、押下されたボタンが登録ボタンであったと判断した場合（Ｓ１０２：ＹＥＳ）、情報格納処理部１６ｂはステップＳ１０１において取得したユーザＩＤと入力されたファイルおよびそのファイル名とをサーバ装置２へ送信する（ステップＳ１０３）。

サーバ装置２において、保存部２２ａは携帯情報端末１によって送信されたファイルとファイル名とを対応付けてファイルＤＢ２３ａに保存する。また、保存部２２ａは携帯情報端末１によって送信されたファイル名とユーザＩＤとを対応付けてファイル情報ＤＢ２３ｂのフィールド「ファイル名」とフィールド「所有者ＩＤ」とに保存する（ステップＳ１０４）。

携帯情報端末１において、利用者によるファイルの登録操作が行われた後、情報格納処理部１６ｂは図６に一例を示した表示画面を表示部１４に表示する。利用者は表示されたメッセージ１１１に含まれるファイル名を仮想表示するための登録をサーバ装置２に行う場合には操作部１３を利用して入力領域１１２ａにファイル名に併せて仮想表示するマークのマーク情報を入力する。そして、利用者はＨＭＤ５に表示された図８に一例を示した画面を見ながらファイル名とそのマークとを仮想表示したい実空間上の位置に携帯情報端末１を移動させ、操作部１３の登録ボタンを押下する。一方、仮想表示するための登録をサーバ装置２に行わない場合にはキャンセルボタンを押下する。情報格納処理部１６ｂは操作部１３から入力される押下信号に基づきファイル名を仮想表示するための登録操作が行われたか否かを判断する（ステップＳ１０５）。押下されたボタンがキャンセルボタンであったと判断した場合（Ｓ１０５：ＮＯ）図７の処理を終了する。一方、押下されたボタンが登録ボタンであったと判断した場合（Ｓ１０５：ＹＥＳ）、端末位置情報取得処理部１６ａは携帯情報端末１の存在位置を示す端末位置情報を位置計測装置３から取得する（ステップＳ１０６）。情報格納処理部１６ｂは表示部１４に表示されているメッセージ１１１に含まれているファイル名および入力領域１１２ａに入力されたマークのマーク情報とステップＳ１０６において取得された端末位置情報とをサーバ装置２へ送信する（ステップＳ１０７）。

サーバ装置２において、保存部２２ａはファイル情報ＤＢ２３ｂのフィールド「ファイル名」の値が携帯情報端末１によって送信されたファイル名と一致するレコードのフィールド「表示位置情報」とフィールド「付加マーク」に携帯情報端末１によって送信された端末位置情報とマーク情報とを格納し、図７の処理を終了する。
以上説明したように、利用者は情報携帯端末をファイル名とマークとを仮想表示したい実空間上の位置に移動させて登録操作を行うだけで、ファイル名などを仮想表示する実空間上の位置を示す表示位置情報をサーバ装置２に登録することができる。
《読出登録動作》
図１の情報処理システムにおいて行われる携帯情報端末１がサーバ装置２からファイルを読み出すファイル読出処理について図９を参照しつつ説明する。図９は図１の情報処理システムにおいて行われるファイル読出処理の手順を示すシーケンス図である。なお、利用者は情報携帯端末１を携帯し、ＨＭＤ５とカメラ６とセンサ７とを装着する。

携帯情報端末１において、携帯情報端末１の利用者は操作部１３を利用してユーザＩＤを入力すると、演算処理部１６は操作部１３から入力される押下信号に基づき利用者のユーザＩＤを取得する（ステップＳ２０１）。
携帯情報端末１において、仮想表示情報取得処理部１６ｃは操作部１３から入力される押下信号に基づき利用者が操作部１３を利用してファイルのファイル名を一覧表示する操作を行ったか否かを判断する（ステップＳ２０２）。ファイル名の一覧表示操作が行われていないと判断した場合（Ｓ２０２：ＮＯ）図９の処理を終了する。一方、ファイル名の一覧表示操作が行われたと判断した場合（Ｓ２０２：ＹＥＳ）、仮想表示情報取得処理部１６ｃはステップＳ２０１において取得したユーザＩＤを含むファイル名配信要求をサーバ装置２へ送信する（ステップＳ２０３）。

サーバ装置２において、検索部２２ｂはファイル情報ＤＢ２３ｂにおいてフィールド「所有者ＩＤ」の値が携帯情報端末１によって送信されたファイル名配信要求に含まれるユーザＩＤと一致するレコードを検索し、マークＤＢ２３ｂにおいて検索の結果見つかったレコードのフィールド「付加マーク」の値に対応付けて記憶されているマークのデータを検索する（ステップＳ２０４）。そして、検索部２２ｂは検索の結果見つけたファイル名と表示位置情報とマークのデータとを配信要求元の携帯情報端末１へ送信する。そして、携帯情報端末１において、通信部１１によりファイル名と表示位置情報とマークのデータとが受信され、仮想表示情報取得処理部１６ｃは仮想表示するファイル名と仮想表示情報とマークのデータとを取得する（ステップＳ２０５）。

携帯情報端末１において、端末位置情報取得処理部１６ａは携帯情報端末１の存在位置を示す端末位置情報を位置計測装置３から取得する（ステップＳ２０６）。
仮想表示処理部１６ｄはセンサ７の送受信機の存在位置の３次元座標と利用者の頭部が向いている方向を示す情報とをセンサ７から取得し、カメラ６から撮像データを取得する。そして、仮想表示処理部１６ｄはセンサ７の送受信機の３次元座標と利用者の頭部が向いている方向とを利用してカメラ６が撮像している実空間上の位置と方向とを得る。仮想表示情報はカメラ６が撮像している実空間上の位置および方向とファイル名の表示位置情報とを利用して、ファイル名とマークとが表示位置情報の位置に仮想表示されるようにファイル名とマークとをカメラ６の撮像データに重ね合わせたデータを作成してＨＭＤ５へ送信し、ＨＭＤ５にファイル名とマークとを仮想表示する（ステップＳ２０７）。

仮想表示情報検索部１６ｅは、仮想表示情報取得処理部１６ｃにより取得されたファイル名の表示位置情報と端末位置情報取得処理部１６ａにより取得された端末位置情報とを利用して、携帯情報端末１に対して所定の範囲内の実空間上に仮想表示されているファイル名を検索する（ステップＳ２０８）。仮想表示変更部１６ｆは、仮想表示情報検索部１６ｅによる検索の結果見つけられたファイル名とマークとを異なる表示態様に変更する（ステップＳ２０９）。

ファイル読出処理部１６ｇは操作部１３から入力される押下信号に基づきファイルの取得操作が行われたか否かを判断する（ステップＳ２１０）。取得ボタンが押下されていないと判断した場合（Ｓ２１０：ＮＯ）、ステップＳ２０６の処理へ戻り、利用者がサーバ装置２から取り出したいファイルのファイル名に情報携帯端末１を移動させて、取得ボタンが押下されるまでステップＳ２０６からステップＳ２１０の処理が繰り返し行われる。

一方、取得ボタンが押下されたと判断した場合（Ｓ２１０：ＹＥＳ）、ファイル読出処理部１６ｇは仮想表示情報検索部１６ｅによる検索の結果見つけられたファイル名を含むファイル配信要求をサーバ装置２へ送信する（ステップＳ２１１）。
サーバ装置２において、検索部２２ｂはファイルＤＢ２３ａにおいて携帯情報端末１により送信されたファイル配信要求に含まれるファイル名に対応付けて記録されているファイルを検索する（ステップＳ２１２）。そして、検索部２２ｂは検索の結果見つかったファイルをファイル配信要求元の携帯情報端末１に対して送信する（ステップＳ２１３）。

情報携帯端末１において、通信部１１によりサーバ装置２によって送信されたファイルが受信され、これによりファイル読出処理部１６ｇはファイル配信要求を行ったファイル名に対応付けてファイルＤＢ２３ａに記録されているファイルを取得して、取得したファイルを出力する（ステップＳ２１４）。なお、ファイルが音楽に関するファイルの場合はスピーカ１２ｂから音楽が流れ、ファイルが映像に関するファイルであれば表示部１４に映像が映される。

上記のファイル読出処理について図１０を参照して説明を補充する。図１０はＨＭＤ５に表示される画面を示す図である。なお、利用者が装着するＨＭＤ５には図８に示す画面が表示されているとし、画面上に表示されている携帯情報端末１とコンピュータ２０１と机２０２とプリンタ２０３は実空間上に実際に存在する物である。
利用者が携帯情報端末１において自身のユーザＩＤを入力し（ステップＳ２０１）、ファイル名の一覧表示の操作を行う（ステップＳ２０２）と、ステップＳ２０３からステップＳ２０４の処理が行われ、仮想表示情報取得処理部１６ｃは仮想表示するファイル名と表示位置情報とマークのデータとを取得する。ステップＳ２０６からステップＳ２０９の処理が行われて、ＨＭＤ５には表示物３０１〜３０４が仮想表示された図１０（ａ）に示す画面が表示される。このとき、携帯情報端末１に対して所定の範囲内の実空間上に仮想表示されているファイル名がないため、表示物３０１〜３０４は同じ表示態様により表示されている。

利用者が出力したいファイルのファイル名が仮想表示された実空間上の位置に携帯情報端末１を移動させ取得ボタンを押下するまで、ステップＳ２０６からステップＳ２１０の処理が繰り返し行われる。この繰り返し処理が行われている時に、仮想表示情報検索部１６ｅが情報携帯端末１に対して所定の範囲内に仮想表示されている仮想表示情報としてファイル名「音楽Ｂ１」に関する表示物３０１を見つけると、仮想表示変更部１６ｆは検索の結果見つけたファイル名「音楽Ｂ１」に関する表示物３０１の表示態様を変更して図１０（ｂ）に示すように表示物３０１ａに変更される。

利用者は出力したいファイルに対応した表示物３０１の表示態様が変更されて出力対象になっているので取得ボタンを押下する（ステップＳ２１０）。この取得ボタンの押下により、ステップＳ２１１からステップＳ２１４の処理が行われて、ファイル名「音楽Ｂ１」に対応付けてサーバ装置２のファイルＤＢ２３ａに記録されているファイルが出力される。

以上説明したように、利用者は情報携帯端末を出力したいファイル名が仮想表示されている位置に移動させて取得操作を行うだけで、出力したいファイル名のファイルをサーバ装置２から取得して出力することができる。
《補足》
上記実施の形態においては、仮想表示情報としてファイルのファイル名とそれに付加するマークの場合であるが、メッセージなど情報そのものであってもよい。

また、上記の実施の形態においては、ファイルのファイル名とそれに付加するマークとを仮想表示する場合であるが、ファイルのファイル名のみ仮想表示するなど何れか一方のみを仮想表示するようにしてもよい。
さらに、上記実施の形態においては、ファイルＤＢ、ファイル情報ＤＢ、およびマークＤＢを携帯情報端末１に無線ＬＡＮを介して接続されているサーバ装置２内に設けている場合であるが、自端末が備える記憶部１５に設けるようにしてもよく、携帯情報端末１にインターネットを介して接続されているサーバ装置内に設けるようにしてもよい。

さらに、上記実施の形態においては、自端末に対して所定の範囲内の実空間上に仮想表示されていると検索されているファイル名などの表示を線の太さを変えることによって表示を変更するようにしている場合であるが、表示色を変える或いは反転表示することによって表示を変更にするなど他のものであってもよい。
さらに、上記実施の形態においては、サーバ装置２に記録されるファイルにアクセス権限を付与し、サーバ装置２に記録されているファイルをアクセス権限が付与された複数のユーザの間で共有することができるようにしてもよい。

さらに、上記の実施の形態においては、サーバ装置２に登録する対象を利用者が情報携帯端末１において作成したファイルとしている場合であるが、マイク１２ａを利用して録音した録音データ、情報携帯端末１に接続したカメラにより撮像した撮像データ、メールサーバから受信したメールなどをサーバ装置２に登録する対象としてもよい。
さらに、上記の実施の形態においては、携帯情報端末１はステップＳ２１３でファイルを取得後、ステップＳ２１４でファイル出力を行っている場合であるが、ファイル出力を自動的に行わずに、ステップＳ２１３でファイルを取得後に一旦携帯情報端末１内のメモリにファイルを格納し、操作部１３で何らかの操作を行うことによりファイルを出力するようにしてもよい。

本発明は、携帯情報端末を利用した仮想表示情報の仮想表示位置の指定に利用することができる。

本発明の実施の形態における情報処理システムのシステム構成を示すシステム構成図。図１のサーバ装置の機能構成を示す機能ブロック図。図２のファイル情報ＤＢの一例を示す図。図１の携帯情報端末の機能構成を示す機能ブロック図。図２の表示部の表示例を示す図。図２の表示部の表示例を示す図。図１の情報処理システムにおいて行われる情報登録処理の手順を示すシーケンス図。図１のヘッドマウントディスプレイ（ＨＭＤ）の表示例を示す図。図１の情報処理システムにおいて行われるファイル読出処理の手順を示すシーケンス図。図１のヘッドマウントディスプレイ（ＨＭＤ）の表示例を示す図。

符号の説明

１携帯情報端末
２サーバ装置
１６ａ端末位置情報取得処理部
１６ｂ情報格納処理部
１６ｃ仮想表示情報取得処理部
１６ｄ仮想表示処理部
１６ｅ仮想表示情報検索部
１６ｆ仮想表示変更部
１６ｇファイル読出処理部
２３ａファイルＤＢ
２３ｂファイル情報ＤＢ

Claims

サーバ装置と前記サーバ装置にネットワークを介して接続された携帯情報端末と前記携帯情報端末から受信するデータを表示する表示装置とを備えた情報処理システムにおいて、
前記サーバ装置は、
実空間上に仮想表示するファイルを識別するための仮想表示情報と当該仮想表示情報の実空間上の仮想表示位置を示す表示位置情報とを対応付けて記録する領域を有した仮想表示情報記録手段を備え、
前記携帯情報端末は、
自端末の実空間上の存在位置を示す端末位置情報を取得する端末位置情報取得処理手段と、
取得された前記端末位置情報を仮想表示情報の表示位置情報として仮想表示情報と対応付けて前記仮想表示情報記録手段に格納する情報格納処理手段と、
前記仮想表示情報記録手段に記録されている前記仮想表示情報を当該仮想表示情報に対応付けて記録されている前記表示位置情報の示す実空間上の位置に仮想表示させるためのデータを作成して前記表示装置へ出力する仮想表示処理手段と、
前記仮想表示情報記録手段に記録されている前記表示位置情報と前記端末位置情報取得手段により取得される自端末の端末位置情報とを利用して、自端末に対して所定の範囲内の実空間上に仮想表示されている前記仮想表示情報を検索する仮想表示情報検索手段と、
前記仮想表示情報検索手段により自端末に対して前記所定の範囲内の実空間上に仮想表示されていると見つけられた前記仮想表示情報を異なる表示態様に変更する仮想表示変更手段と、
ファイルの取得操作を受け付けると、ファイルと当該ファイルを識別するための仮想表示情報とを対応付けて記録する領域を有したファイル記録手段から、前記仮想表示情報検索手段により見つけられた前記仮想表示情報に対応付けて記録されているファイルを読み出して出力するファイル読出処理手段と、
を備えたことを特徴とする情報処理システム。
自端末の実空間上の存在位置を示す端末位置情報を取得する端末位置情報取得処理手段と、
実空間上に仮想表示するファイルを識別するための仮想表示情報と、当該仮想表示情報の表示位置情報として取得された前記端末位置情報とを対応付けて、仮想表示情報記録手段に格納する情報格納処理手段と、
外部の表示装置に、前記仮想表示情報記録手段に記録されている前記仮想表示情報を、当該仮想表示情報に対応付けて記録されている前記表示位置情報の示す実空間上の位置に仮想表示させる仮想表示処理手段と、
前記仮想表示情報記録手段に記録されている前記表示位置情報と前記端末位置情報取得手段により取得される自端末の端末位置情報とを利用して、自端末に対して所定の範囲内の実空間上に仮想表示されている前記仮想表示情報を検索する仮想表示情報検索手段と、
前記仮想表示情報検索手段により自端末に対して前記所定の範囲内の実空間上に仮想表示されていると見つけられた前記仮想表示情報を異なる表示態様に変更する仮想表示変更手段と、
ファイルの取得操作を受け付けると、ファイルと当該ファイルを識別するための仮想表示情報とを対応付けて記録する領域を有したファイル記録手段から、前記仮想表示情報検索手段により見つけられた前記仮想表示情報に対応付けて記録されているファイルを読み出して出力するファイル読出処理手段と、
を備えたことを特徴とする携帯情報端末。
前記ファイルは音楽に関するファイル又は映像に関するファイルであることを特徴とする請求項２記載の携帯情報端末。
前記仮想表示情報記録手段は、自端末にネットワークを介して接続されているサーバ装置内に設けられていることを特徴とする請求項２記載の携帯情報端末。
前記ファイル記録手段は、自端末にネットワークを介して接続されているサーバ装置内に設けられていることを特徴とする請求項２記載の携帯情報端末。