JP2024052524A - 通信管理サーバ、通信システム、通信管理方法、及びプログラム - Google Patents

Abstract

【課題】本開示は、遠隔で展示会等の実空間の映像を閲覧するユーザに、このユーザの通信端末に映し出された映像が実空間のどの位置の映像であるかを把握し易くする。【解決手段】本開示は、実空間のロボットＲから実空間における位置を受信すると共に、実空間の説明者端末５から実空間における位置を受信する受信部３１と、各位置に応じて、仮想空間の対応位置にロボットＲに関するアイコンｒ１及び説明者端末に関するアイコンｅ１を関連付けた状態で示すと共に、仮想空間にユーザ端末９に関するアイコンｙ１を示した仮想空間画像を作成する画像作成部３７と、ユーザ端末９に仮想空間画像を送信する送信部と、ユーザ端末９から、仮想空間画像においてアイコンｙ１をアイコンｒ１に関連付ける操作を受け付けることにより、説明者端末５及びユーザ端末９の間の音声通信を確立する音声通信確立部（３１）と、を有する通信管理サーバである。【選択図】図２１

Description

本開示内容は、通信管理サーバ、通信システム、通信管理方法、及びプログラムに関する。

実空間の展示会などにおいて、説明者がテレプレゼンスロボット（以下「ロボット」と示す）と共に展示会を見学するツアーが登場している。展示会の遠隔見学を希望するユーザは、自分のＰＣ(Personal Computer)等で、ロボットに搭載されたカメラからの映像を見たり、ロボットに搭載されたマイクからの説明者の音声を聞いたりすることにより、遠隔地からでもリアルに近い臨場感で見学をすることができることが既に知られている（特許文献１）。

しかしながら、説明者がロボットと共に見学する展示会で、ユーザが遠隔で展示会等の実空間の映像を閲覧する場合、このユーザのＰＣ等で映し出された映像が実空間のどの位置の映像であるかを把握することが困難であるという課題が生じている。

本開示は、上述の課題を鑑みてなされたもので、遠隔で展示会等の実空間の映像を閲覧するユーザに、このユーザの通信端末に映し出された映像が実空間のどの位置の映像であるかを把握し易くすることを目的とする。

請求項１に係る発明は、実空間で撮影及び移動が可能な移動装置から当該移動装置の前記実空間における位置を示す実空間装置位置情報を受信すると共に、前記実空間における第１の通信端末から当該第１の通信端末の前記実空間における位置を示す実空間端末位置情報を受信する受信部と、前記実空間装置位置情報及び前記実空間端末位置情報に応じて、仮想空間の対応位置に前記移動装置に関するアイコン及び前記第１の通信端末に関するアイコンを関連付けた状態で示すと共に、前記仮想空間に第２の通信端末に関するアイコンを示した仮想空間画像を作成する画像作成部と、前記第２の通信端末に前記仮想空間画像を送信する送信部と、前記第２の通信端末から、前記仮想空間画像において前記第２の通信端末に関するアイコンを前記移動装置に関するアイコンに関連付ける操作を受け付けることにより、前記第１の通信端末及び前記第２の通信端末の間の音声通信を確立する音声通信確立部と、を有する通信管理サーバである。

本開示によれば、遠隔で展示会等の実空間の映像を閲覧するユーザに、このユーザの通信端末に映し出された映像が実空間のどの位置の映像であるかを把握し易くすることができる。

テレプレゼンスロボット（以降「ロボット」と示す）Ｒを用いた通信システムの全体構成図である。 実空間における展示会の状況を示した図である。 通信管理システムのハードウェア構成図である。 説明者端末、ロボット端末、及びユーザ端末のハードウェア構成図である。 マイク付きイヤホンのハードウェア構成図である。 広角撮影装置のハードウェア構成図である。 広角撮影装置の使用イメージ図の一例である。 広角撮影装置で撮像された画像から正距円筒射影画像及び全天球画像が作成されるまでの処理の概略を説明する図である。 広角撮影装置で撮像された画像から正距円筒射影画像及び全天球画像が作成されるまでの処理の概略を説明する図である。 全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。 図１０の立体斜視図等の一例を示す図である。 所定領域情報と所定領域の画像の関係との関係を示した図の一例である。 車両装置のハードウェア構成図である。 通信システムの各機能構成図である。 位置情報管理テーブルの概念図である。 各端末及びロボットのログイン処理を示したシーケンス図である。 仮想空間画像の表示、音声通信、及び映像通信の処理を示したシーケンスである。 ユーザＹのアイコンｙ１の初期位置を示す仮想空間画像を示す図である。 ユーザのアイコンをロボットのアイコンに関連付けるための移動を行った後の仮想空間画像を示す図である。 アイコンの位置の関連付け処理を示すフローチャートである。 ユーザのアイコンをロボットのアイコンに関連付けるための移動を行った後の仮想空間画像を示す図である。 ユーザのアイコンがロボットのアイコンの移動に追従する処理を示すシーケンス図である。 追従による仮想空間内の位置変更処理を示すフローチャートである。 ユーザのアイコンをロボットアイコンに関連付けるための移動を行った後の仮想空間画像を示す図である。 専用の音声通信を行う処理を示すシーケンス図である。 専用の音声通信を行う相手のアイコンを選択した状態の仮想空間画像を示す図である。 追従先のロボットを変更する処理を示すシーケンス図である。 ユーザのアイコンを別のロボットのアイコンに関連付けるための移動を行った後の仮想空間画像を示す図である。

〔通信システムの概略〕
図１を用いて通信システム１の概略を説明する。図１は、テレプレゼンスロボット（以降「ロボット」と示す）Ｒを用いた通信システムの全体構成図である。

通信システム１は、通信管理サーバ３、説明者端末５、マイク付きイヤホン６、ユーザ端末９、及びロボットＲによって構築されている。

ロボットＲは、主に、ロボット端末７、広角撮影装置８、及びロボットＲを移動させる車両装置１０によって構成されている。本実施形態のロボットＲは自律走行するが、自律走行しなくてもよい。なお、ロボットＲは移動装置の一例であり、移動装置には、ドローンのように空中を移動するもの、潜水艦型ラジコンのように水中を移動するものも含まれる。また、車両装置１０は、推進装置の一例である。なお、ロボットＲには、温度センサ、湿度センサ、酸素センサ、又は二酸化炭素センサ等の環境センサが設けされ、ロボットＲの周囲を照らす照明装置等も設けられている。なお、説明者Ｅ１，Ｅ１は「説明者Ｅ」の一例、ユーザＹ１，Ｙ２，Ｙ３は「ユーザＹ」の一例、及びロボットＲ１，Ｒ２は「ロボットＲ」の一例である。また、説明者端末５ａ，５ｂは「説明者端末５」の一例、マイク付きイヤホン６ａ，６ｂは「マイク付きイヤホン６」の一例、ロボット端末７ａ，７ｂは「ロボット端末７」の一例、及びユーザ端末９ａ，９ｂ，９ｃは「ユーザ端末９」の一例である。更に、広角撮影装置８ａ，８ｂは「広角撮影装置８」の一例、及び車両装置１０ａ，１０ｂは、「車両装置１０」の一例である。

通信管理サーバ３、説明者端末５、ユーザ端末９、ロボットＲのロボット端末７は、インターネット等の通信ネットワーク１００を介して通信することができる。通信形態は、有線又は無線を問わない。図１では、説明者端末５、ユーザ端末９、及びロボット端末７は、無線通信することが示されている。また、マイク付きイヤホン６は、説明者端末５とのペアリングにより近距離通信ができる。

なお、説明者端末５及びユーザ端末９は通信端末の一例である。

〔実空間の状況〕
続いて、図２を用いて実空間の状況を説明する。図２は、実空間における展示会の状況を示した図である。なお、図２では、展示会について説明するが、これに限るものではない。

図２に示すように、展示会では、ロボットＲ１が説明者Ｅ１を追従して移動しながら説明者Ｅ１や周囲を撮影している。同様に、ロボットＲ２が説明者Ｅ２を追従して移動しながら説明者Ｅ２や周囲を撮影している。

説明者Ｅ１は説明者端末５ａを所持しており、いつでも操作することができる。同様に、説明者Ｅ２は説明者端末５ｂを所持しており、いつでも操作することができる。なお、説明者Ｅ１，Ｅ２は、説明者Ｅの一例である。また、説明者端末５ａ，５ｂは、図１の説明者端末５の一例である。

ロボットＲ１は、ロボット端末７ａ、広角撮影装置８ａ、及び車両装置１０ａによって構成されており、ロボットＲ２は、ロボット端末７ｂ、広角撮影装置８ｂ、及び車両装置１０ｂによって構成されている。ロボット端末７ａ，７ｂは、図１のロボット端末７の一例である。広角撮影装置８ａ，８ｂは、図１の広角撮影装置８の一例である。車両装置１０ａ，１０ｂは、図１の車両装置１０の一例である。

〔ハードウェア構成〕
続いて、図３乃至図１３を用いて、通信システム１を構築しているサーバ及び端末等のハードウェア構成を説明する。

＜通信システムのハードウェア構成＞
図３は、通信管理システムのハードウェア構成図である。

図３に示すように、通信管理サーバ３は、一般的なコンピュータの構成を有しており、例えば、ＣＰＵ(Central Processing Unit)３０１、ＲＯＭ(Read Only Memory)３０２、ＲＡＭ(Random Access Memory)３０３，ＳＳＤ(Solid State Drive)３０４、ディスプレイ３０８等を有する。また、通信管理サーバ３は、ネットワークＩ／Ｆ３０６、キーボード３１１、ポインティングデバイス３１２、メディアＩ／Ｆ３０７、及びバス３１０等を有する。なお、ＳＳＤではなくＨＤＤ(Hard Disk Drive)であってもよい。

ＣＰＵ３０１は、例えば、ＲＯＭ３０２、ＳＳＤ３０４等に格納されたプログラムやデータを読み出し、処理を実行することにより、通信管理サーバ３が備える各機能を実現する演算装置である。ＲＯＭ３０２は、ＩＰＬ等のＣＰＵ３０１の起動に用いられるプログラム等を予め記憶した不揮発性のメモリである。ＲＡＭ３０３は、ＣＰＵ３０１のワークエリア等として利用される揮発性のメモリである。

ＳＳＤ３４４は、例えば、ＯＳや、アプリケーションソフトのプログラムや、各種のデータを記憶するストレージ装置である。ディスプレイ３０５８は、例えば、カーソル、メニュー、ウィンドウ、文字、又は画像等の各種の情報を表示する表示手段である。

ネットワークＩ／Ｆ３０６は、通信ネットワーク２を利用してデータ通信を行うための通信インタフェースである。キーボード３１１は、システム管理者等による文字、数値、各種指示などの入力操作を受け付けるための入力手段の一例である。ポインティングデバイス３１２は、システム管理者等による各種指示の選択や実行、処理対象の選択、カーソルの移動等の操作を受け付ける。なお、マウス等であってもよい。

メディアＩ／Ｆ３０７は、例えば、メモリカード等の記録メディア３０６に対するデータの読み出しや、書き込み（記憶）を制御する。上記の各構成要素を電気的に接続し、アドレス信号、データ信号、及び各種の制御信号等を伝達する。

＜説明者端末、ロボット端末、及びユーザ端末のハードウェア＞
図４は、説明者端末、ロボット端末、及びユーザ端末のハードウェア構成図である。

図４に示すように、説明者端末５は、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＥＥＰＲＯＭ５０４、ＣＭＯＳセンサ５０５、撮像素子Ｉ／Ｆ５０６、加速度・方位センサ５０７、メディアＩ／Ｆ５０９、ＧＰＳ受信部５１１を備えている。

これらのうち、ＣＰＵ５０１は、説明者端末５全体の動作を制御する。ＲＯＭ５０２は、ＣＰＵ５０１やＩＰＬ等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＥＥＰＲＯＭ５０４は、ＣＰＵ５０１の制御にしたがって、説明者端末用プログラム等の各種データの読み出し又は書き込みを行う。ＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサ５０５は、ＣＰＵ５０１の制御に従って被写体（主に自画像）を撮像して画像データを得る内蔵型の撮像手段の一種である。なお、ＣＭＯＳセンサではなく、ＣＣＤ(Charge Coupled Device)センサ等の撮像手段であってもよい。撮像素子Ｉ／Ｆ５０６は、ＣＭＯＳセンサ５０５の駆動を制御する回路である。加速度・方位センサ５０７は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアＩ／Ｆ５０９は、フラッシュメモリ等の記録メディア５０８に対するデータの読み出し又は書き込み（記憶）を制御する。ＧＰＳ受信部５１１は、ＧＰＳ衛星からＧＰＳ信号を受信する。また、ＧＰＳ受信部５１１は、IMES(Indoor MEssaging System）等の屋内の位置を示す信号を受信することも可能である。

また、説明者端末５は、遠距離通信回路５１２、ＣＭＯＳセンサ５１３、撮像素子Ｉ／Ｆ５１４、マイク５１５、スピーカ５１６、音入出力Ｉ／Ｆ５１７、ディスプレイ５１８、外部機器接続Ｉ／Ｆ５１９、近距離通信回路５２０、近距離通信回路５２０のアンテナ５２０ａ、及びタッチパネル５２１を備えている。

これらのうち、遠距離通信回路５１２は、通信ネットワーク１００を介して、他の機器と通信する回路である。ＣＭＯＳセンサ５１３は、ＣＰＵ５０１の制御に従って被写体を撮像して画像データを得る内蔵型の撮像手段の一種である。撮像素子Ｉ／Ｆ５１４は、ＣＭＯＳセンサ５１３の駆動を制御する回路である。マイク５１５は、音を電気信号に変える内蔵型の回路である。スピーカ５１６は、電気信号を物理振動に変えて音楽や音声などの音を生み出す内蔵型の回路である。音入出力Ｉ／Ｆ５１７は、ＣＰＵ５０１の制御に従ってマイク５１５及びスピーカ５１６との間で音信号の入出力を処理する回路である。ディスプレイ５１８は、被写体の画像や各種アイコン等を表示する液晶や有機ＥＬ(Electro Luminescence)などの表示手段の一種である。外部機器接続Ｉ／Ｆ５１９は、各種の外部機器を接続するためのインタフェースである。近距離通信回路５２０は、ＮＦＣ(Near Field Communication)やＢｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。タッチパネル５２１は、利用者がディスプレイ５１８を押下することで、説明者端末５を操作する入力手段の一種である。

また、説明者端末５は、バスライン５１０を備えている。バスライン５１０は、図４に示されているＣＰＵ４０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

なお、ロボット端末７、及びユーザ端末９は、説明者端末５と同様の構成であるため、説明を省略する。

＜マイク付きイヤホンのハードウェア構成＞
図５は、マイク付きイヤホンのハードウェア構成図である。

図５に示すように、マイク付きイヤホン６は、マイク６１５、スピーカ６１６、音入出力Ｉ／Ｆ６１７、近距離通信回路６２０、近距離通信回路５２０のアンテナ６２０ａ、及びボタン６２１を備えている。

マイク６１５は、音を電気信号に変える内蔵型の回路である。スピーカ６１６は、電気信号を物理振動に変えて音楽や音声などの音を生み出す内蔵型の回路である。音入出力Ｉ／Ｆ６１７は、マイク５１５及びスピーカ５１６との間で音信号の入出力を処理する回路である。近距離通信回路５２０は、ＮＦＣ(Near Field Communication)やＢｌｕｅｔｏｏｔｈ（登録商標）等の通信回路である。ボタン６２１は、利用者がマイク付きイヤホン６を操作する操作手段の一種である。

＜広角撮影装置のハードウェア構成＞
図６を用いて、広角撮影装置８のハードウェア構成を説明する。図６は、広角撮影装置８の一例のハードウェア構成図である。以下では、広角撮影装置８は、２つの撮像素子を使用した全天球（全方位）広角撮影装置８であるが、撮像素子は２つ以上いくつでもよい。また、必ずしも全方位撮像専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位の撮像ユニットを取り付けることで、実質的に広角撮影装置８と同じ機能を有するようにしてもよい。

図６に示されているように、広角撮影装置８は、撮像ユニット８０１、画像処理ユニット８０４、撮像制御ユニット８０５、マイク８０８、音処理ユニット８０９、ＣＰＵ８１１、ＲＯＭ８１２、ＳＲＡＭ８１３、ＤＲＡＭ８１４、操作部８１５、ネットワークＩ／Ｆ８１６、近距離通信回路８１７、アンテナ８１７ａ、電子コンパス８１８、ジャイロセンサ８１９、及び、加速度センサ８２０なども接続される。

このうち、撮像ユニット８０１は、各々半球画像を結像するための１８０°以上の画角を有する広角レンズ（いわゆる魚眼レンズ）８０２ａ、８０２ｂと、各広角レンズに対応させて設けられている２つの撮像素子８０３ａ、８０３ｂを備えている。撮像素子８０３ａ、８０３ｂは、魚眼レンズ８０２ａ、８０２ｂによる光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサやＣＣＤ( Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。

撮像ユニット８０１の撮像素子８０３ａ、８０３ｂは、各々、画像処理ユニット８０４とパラレルＩ／Ｆバスで接続されている。一方、撮像ユニット８０１の撮像素子８０３ａ、８０３ｂは、撮像制御ユニット８０５とは別に、シリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット８０４、撮像制御ユニット８０５及び音処理ユニット８０９は、バス８１０を介してＣＰＵ８１１と接続される。更に、バス８１０には、ＲＯＭ８１２、ＳＲＡＭ８１３、ＤＲＡＭ８１４、操作部８１５、ネットワークＩ／Ｆ８１６、近距離通信回路８１７、及び電子コンパス８１８なども接続される。

画像処理ユニット８０４は、撮像素子８０３ａ、８０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、図８（ｃ）に示されているような正距円筒射影画像のデータを作成する。

撮像制御ユニット８０５は、一般に撮像制御ユニット８０５をマスタデバイス、撮像素子８０３ａ、８０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子８０３ａ、８０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ８１１から受け取る。また、撮像制御ユニット８０５は、同じくＩ２Ｃバスを利用して、撮像素子８０３ａ、８０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ８１１に送る。

また、撮像制御ユニット８０５は、操作部８１５のシャッターボタンが押下されたタイミングで、撮像素子８０３ａ、８０３ｂに画像データの出力を指示する。広角撮影装置８によっては、ディスプレイによるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子８０３ａ、８０３ｂからの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。

撮像制御ユニット８０５は、後述するように、ＣＰＵ８１１と協働して撮像素子８０３ａ、８０３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、広角撮影装置８にはディスプレイが設けられていないが、表示部を設けてもよい。

マイク８０８は、収録した音声を音声データに変換する。音処理ユニット８０９は、マイク８０８から出力される音声データをＩ／Ｆバスを通して取り込み、音声データに対して所定の処理を施す。

ＣＰＵ８１１は、広角撮影装置８の全体の動作を制御すると共に必要な処理を実行する 。ＲＯＭ８１２は、ＣＰＵ８１１のための種々のプログラムを記憶している。ＳＲＡＭ８１３及びＤＲＡＭ８１４はワークメモリであり、ＣＰＵ８１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ８１４は、画像処理ユニット８０４での処理途中の画像データ及び処理済みの正距円筒射影画像のデータを記憶する。

操作部８１５は、シャッターボタンなどの操作ボタンの総称である。操作者は操作部８１５を操作することで、種々の撮像モードや撮像条件などを入力する。

ネットワークＩ／Ｆ８１６は、ＳＤカード等の外付けのメディアやパーソナルコンピュータなどとのインタフェース回路（ＵＳＢＩ／Ｆ等）の総称である。また、ネットワークＩ／Ｆ８１６としては、無線、有線を問わない。ＤＲＡＭ８１４に記憶された正距円筒射影画像のデータは、このネットワークＩ／Ｆ８１６を介して外付けのメディアに記録されたり、必要に応じてネットワークＩ／Ｆ８１６を介して外部（装置等）に送信されたりする。

近距離通信回路８１７は、広角撮影装置８に設けられたアンテナ８１７ａを介して、Wi－Fi、NFC、Bluetooth（登録商標）等の近距離無線通信技術によって、外部（ロボット端末７等）との通信を行う。この近距離通信回路８１７によっても、正距円筒射影画像のデータを外部に送信することができる。

電子コンパス８１８は、地球の磁気から広角撮影装置８の方位を算出し、方位情報を出力する。この方位情報はＥｘｉｆ(Exchangeable image file format)に沿った関連情報（メタデータ）の一例であり、撮像画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮像日時、及び画像データのデータ容量の各データも含まれている。

ジャイロセンサ８１９は、広角撮影装置８の移動に伴う角度の変化（ロール角、ピッチング角、ヨー角）を検出する。角度の変化はＥｘｉｆに沿った関連情報（メタデータ）の一例であり、撮像画像の画像補正等の画像処理に利用される。

加速度センサ８２０は３軸方向の加速度を検出する。検出した加速度に基づいて広角撮影装置８の姿勢（重力方向に対する角度）を検出する。ジャイロセンサ８１９と加速度センサ８２０は両方を有することで画像補正の精度が向上する。

（全天球映像について）
次に、図７を用いて、広角撮影装置８の使用状況を説明する。なお、図７は、広角撮影装置８の使用イメージ図である。広角撮影装置８は、図７に示されているように、例えば、人が持って周りの被写体や風景を撮像するために用いられる。この場合、図６に示されている撮像素子８０３ａ及び撮像素子８０３ｂによって、それぞれ、人の周りの被写体が撮像されることで、２つの半球画像を得ることができる。

次に、図８及び図９を用いて、広角撮影装置８で撮像された画像から正距円筒射影画像ＥＣ及び全天球画像ＣＥが作成されるまでの処理の概略を説明する。なお、図８（ａ）は広角撮影装置８で撮像された半球画像（前側）、図８（ｂ）は広角撮影装置８で撮像された半球画像（後側）、図８（ｃ）は正距円筒図法により表された画像（以下、「正距円筒射影画像」という）を示した図である。図９（ａ）は正距円筒射影画像で球を被う状態を示した概念図、図９（ｂ）は全天球画像を示した図である。

図８（ａ）に示されているように、撮像素子８０３ａによって得られた画像は、後述の魚眼レンズ８０２ａによって湾曲した半球画像（前側）となる。また、図８（ｂ）に示されているように、撮像素子８０３ｂによって得られた画像は、魚眼レンズ８０２ｂによって湾曲した半球画像（後側）となる。そして、半球画像（前側）と、１８０度反転された半球画像（後側）とは、広角撮影装置８によって合成され、図８（ｃ）に示されているように、正距円筒射影画像ＥＣが作成される。

そして、ＯｐｅｎＧＬ ＥＳ（Open Graphics Library for Embedded Systems）が利用されることで、図９（ａ）に示されているように、正距円筒射影画像が球面を覆うように貼り付けられ、図９（ｂ）に示されているような全天球画像ＣＥが作成される。このように、全天球画像ＣＥは、正距円筒射影画像ＥＣが球の中心を向いた画像として表される。なお、OpenGL ESは、２Ｄ(2-Dimensions) 及び３Ｄ(3-Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。なお、全天球画像ＣＥは、静止画であっても動画であってもよい。

以上のように、全天球画像ＣＥは、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、全天球画像ＣＥの一部の所定領域（以下、上記の「所定領域映像」に相当）を湾曲の少ない平面画像として表示することで、人間に違和感を与えない表示をすることができる。これに関して、図１０及び図１１を用いて説明する。所定領域映像は動画でも静止画でもよい。

図１０は、全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラＩＣは、三次元の立体球として表示されている全天球画像ＣＥに対して、その画像を見る操作者の視点の位置に相当するものである。また、図１１（ａ）は図１０の立体斜視図、図１１（ｂ）はディスプレイに表示された場合の所定領域映像を表す図である。また、図１１（ａ）では、図１０に示されている全天球画像が、三次元の立体球ＣＳで表されている。このように生成された全天球画像ＣＥが、立体球ＣＳであるとすると、図１１に示されているように、仮想カメラＩＣが全天球画像ＣＥの内部に位置している。全天球画像ＣＥにおける所定領域Ｔは、仮想カメラＩＣの撮像領域であり、全天球画像ＣＥを含む三次元の仮想空間における仮想カメラＩＣの撮像方向と画角を示す所定領域情報によって特定される。また、所定領域Ｔのズームは、仮想カメラＩＣを全天球画像ＣＥに近づいたり、遠ざけたりすることで表現することもできる。所定領域映像Ｑは、全天球画像ＣＥにおける所定領域Ｔの画像である。したがって、所定領域Ｔは画角αと、仮想カメラＩＣから全天球画像ＣＥまでの距離ｆにより特定できる（図１２参照）。

図１１（ａ）に示されている所定領域映像Ｑは、図１１（ｂ）に示されているように、所定のディスプレイに、仮想カメラＩＣの撮像領域の画像として表示される。図１１（ｂ）に示されている画像は、初期設定（デフォルト）された所定領域情報によって 表された所定領域映像である。以下では、仮想カメラＩＣの撮像方向（ea、aa）と画角（α）を用いて説明する。なお、所定領域Ｔは、画角αと距離ｆではなく、所定領域Ｔである仮想カメラＩＣの撮像領域（Ｘ、Ｙ、Ｚ）によって示してもよい。

また、図１１（ａ）の状態から、図１１（ｃ）に示されているように、仮想カメラＩＣの仮想的な視点が右側（図面に向かって左側）に移動（「変更」ともいう）されると、これに応じて全天球画像ＣＥにおける所定領域Ｔが所定領域Ｔ'に移動されるため、所定のディスプレイに表示される所定領域画像Ｑが所定領域画像Ｑ'に変更される。これにより、送信先の説明者端末５及びユーザ端末９の各ディスプレイ５１８には、図１１（ｂ）に示されている画像が、図１１（ｄ）に示されている画像に変更表示される。

次に、図１２を用いて、所定領域情報と所定領域Ｔの画像の関係について説明する。なお、図１２は、所定領域情報と所定領域Ｔの画像の関係との関係を示した図である。図１２に示されているように、「ea」はelevation angle（仰角）、「aa」はazimuth angle（方位角）、「α」は画角(Angle)を示す。即ち、撮像方向（ea、aa）で示される仮想カメラＩＣの注視点が、仮想カメラＩＣの撮像領域である所定領域Ｔの中心点ＣＰとなるように、仮想カメラＩＣの姿勢を変更することになる。図１２に示されているように、仮想カメラＩＣの画角αによって表される所定領域Ｔの対角画角をαとした場合の中心点ＣＰが、所定領域情報の（ｘ、ｙ）パラメータとなる。ｆは仮想カメラＩＣから中心点ＣＰまでの距離である。Ｌは所定領域Ｔの任意の頂点と中心点ＣＰとの距離である（２Ｌは対角線）。そして、図１２では、一般的に以下の（式１）で示される三角関数が成り立つ。
（Ｌ／ｆ）＝ｔａｎ（α／２）・・・（式１）
＜車両装置のハードウェア構成＞
図１３は、車両装置のハードウェア構成図である。車両装置１０は、例えば、ＣＰＵ１００１、ＲＯＭ１００２、ＲＡＭ１００３、外部機器接続Ｉ／Ｆ１０１９、近距離通信回路１０２０、近距離通信回路１０２０のアンテナ１０２０ａ、車輪駆動部１０２１、及び操舵部１０２２等を有する。

ＣＰＵ１００１は、ＲＯＭ１００２等に格納されたプログラムを実行することにより、車両装置１０の各機能を実現する演算装置である。ＲＯＭ１００２は、車両装置１０のプログ ラム等を記憶する不揮発性のメモリである。ＲＯＭ１００２は、例えば、フラッシュＲＯＭ等の書き換え可能な不揮発性メモリであっても良い。ＲＡＭ１００３は、ＣＰＵ１００１のワークエリア等として用いられる揮発性のメモリである。

外部機器接続Ｉ／Ｆ１０１９は、ロボット端末７等と有線接続し、通信を行うための有線通信インタフェースである。

近距離通信回路１０２０は、例えば、ロボット端末７等と同じ無線通信方式により無線通信を行うための無線通信インタフェースである。

車輪駆動部１０２１は、車両装置１０を移動させるための車輪を駆動させる駆動装置の一例である。車輪駆動部１０２１には、例えば、モータ等が含まれる。

操舵部１０２２は、車輪駆動部１０２１によって移動する車両装置１０の操舵を行う操舵装置の一例である。操舵部１０２２は、例えば、車輪の向きや傾きを変えるものであっても良いし、左右の車輪の回転数や速度等を制御することにより、車両装置１０（ロボットＲ）の向きを変えるもの等であっても良い。

〔通信システムの各機能構成〕
続いて、図１４を用いて、通信システム１の各機能構成を説明する。図１４は、通信システム１の各機能構成図である。

＜通信管理サーバ＞
図１４に示されているように、通信管理サーバ３は、送受信部３１、認証部３５、位置設定部３６、及び画像作成部３７を有している。これら各部は、図３に示されている各構成要素のいずれかが、ＳＳＤ３０４からＲＡＭ３０３上に展開されたプログラムに従ったＣＰＵ３０１からの命令によって動作することで実現される機能又は手段である。また、通信管理サーバ３は、図３に示されているＲＯＭ３０２、ＲＡＭ３０３、又はＳＳＤ３０４によって構築される記憶部４０を有している。なお、記憶部４０には、実空間上の位置と仮想空間上の位置との対応関係を示す位置対応情報（マッチング情報）が記憶されている。

（位置情報管理テーブル）
記憶部４０には、図１５に示されているような位置情報管理テーブルが記憶されている。位置情報管理テーブルでは、人又はロボットの名称(人の場合は名前等）、ログインＩＤ、パスワード、アイコンＩＤ、アイコン画像、実空間位置情報、仮想空間位置情報、所属先、及び専用の音声通信の相手を示す各情報が関連付けて管理されている。なお、前半の情報（名称、ログインＩＤ、パスワード、アイコンＩＤ、及びアイコン画像）は、滅多に変更されない情報であり、後半の情報（実空間位置情報、仮想空間位置情報、所属先、及び専用の音声通信の相手）は、実空間の展示会での状況及びユーザＹの操作により変更される可能性が高い情報である。なお、アイコン画像は、模式的に示しているに過ぎず、実際にはアイコンのデータ又はアイコンが記憶されている記憶部４０におけるＵＲＬ等が管理される。また、アイコンは、所定の人に関するものだけでなく、この同じ所定の人が使用する通信端末（説明者端末５、ユーザ端末９等）に関するものと言うこともできる。

また、「所属先」は、例えば、図１８において、説明者Ｅ１のアイコンｅ１とユーザＹ２のアイコンｙ２が関連付けられたロボットＲ１（ここでは、アイコンＩＤ）を特定するための情報である。「専用の音声通信相手」は、説明者Ｅが他のユーザには音声を聞こえない状態で音声通信する場合の相手先（ここでは、アイコンＩＤ）を特定するための情報である。

（各機能構成）
送受信部３１は、他の端末（装置）とデータ通信を行う。

認証部３５は、他の端末（装置）のログイン認証等を行う。

位置設定部３６は、実空間上の位置と仮想空間上の位置との対応関係を示す位置対応情報（マッチング情報）に基づいて、図１５の「仮想空間位置情報」フィールドに、実空間端末位置情報に対応する仮想空間上の位置を示す仮想空間端末(装置)位置情報を記憶して設定する等の処理を行う。

画像作成部３７は、後述の図１８等の仮想空間画像を作成する。

なお、通信管理サーバ３は、複数のサーバによって構築されていてもよい。この場合、位置情報管理テーブルの各フィールドは、各サーバの役割に応じて分割して記憶される。

＜説明者端末＞
図１４に示されているように、説明者端末５は、通信部５０、送受信部５１、受付部５２、位置取得部５３、及び表示制御部５４を有している。これら各部は、図３に示されている各構成要素のいずれかが、ＥＥＰＲＯＭ５０４からＲＡＭ５０３上に展開されたプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。

通信部５０は、近距離通信回路５２０の処理等により、マイク付きイヤホン６との通信を行う。

送受信部５１は、通信ネットワーク１００を介して、他の端末（装置）とデータ通信を行う。

受付部５２は、人（説明者Ｅ等）の操作を受け付ける。

位置取得部５３は、ＧＰＳ受信部５１１等の処理により、屋外又は屋内の位置を示す位置情報を取得する。

表示制御部５４は、説明者端末５のディスプレイ５１８に対して、各種画像を表示させる。

なお、本実施形態では、ＧＰＳを用いて説明者端末５の屋外又は屋内の位置を示す位置情報を取得しているが、これに限らない。例えば、表示制御部５４は、説明者端末５のディスプレイ５１８に、説明者端末５の位置情報が埋め込まれたコード情報(ＱＲコード(登録商標)等の２次元コード、又はバーコード等の１次元コード)を表示させ、説明者Ｅが所有するスマートフォンのカメラでコード情報を読み取ることで、説明者端末５の位置情報を取得することも可能である。

＜ロボット端末＞
図１４に示されているように、ロボットＲ（ロボット端末７）は、送受信部７１、受付部７２、位置取得部７３、表示制御部７４、及び追従移動制御部７８を有している。これら各部は、図３に示されている各構成要素のいずれかが、ＥＥＰＲＯＭ５０４からＲＡＭ５０３上に展開されたプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。

送受信部７１は、通信ネットワーク１００を介して、他の端末（装置）とデータ通信を行う。

受付部７２は、人（説明者Ｅ等）の操作を受け付ける。

位置取得部７３は、ＧＰＳ受信部５１１等の処理により、屋外又は屋内の位置を示す位置情報を取得する。

表示制御部７４は、ロボット端末７のディスプレイ５１８に対して、各種画像を表示させる。

なお、本実施形態では、ＧＰＳを用いてロボットＲ（ロボット端末７）の屋外又は屋内の位置を示す位置情報を取得しているが、これに限らない。例えば、表示制御部７４は、ロボットＲ（ロボット端末７）のディスプレイ５１８に、ロボットＲ（ロボット端末７）の位置情報が埋め込まれたコード情報(ＱＲコード等の２次元コード、又はバーコード等の１次元コード)を表示させ、説明者Ｅが所有するスマートフォンのカメラでコード情報を読み取ることで、ロボットＲ（ロボット端末７）の位置情報を取得することも可能である。

追従移動制御部７８は、広角撮影装置８又はＣＯＭＳ５１３で撮影された人の画像を画像認識して、人を追従する制御を行う。

＜ユーザ端末＞
図１４に示されているように、ユーザ端末９は、送受信部９１、受付部９２、及び表示制御部９４有している。これら各部は、図３に示されている各構成要素のいずれかが、ＥＥＰＲＯＭ５０４からＲＡＭ５０３上に展開されたプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。

送受信部７１は、通信ネットワーク１００を介して、他の端末（装置）とデータ通信を行う。

受付部７２は、人（ユーザＹ等）の操作を受け付ける。

表示制御部７４は、ユーザ端末９のディスプレイ５１８に対して、各種画像を表示させる。

〔通信システムの処理又は動作〕
続いて、図１６乃至図２８を用いて、通信システムの処理又は動作について説明する。

＜ログイン処理＞
まずは、図１６を用いて、各端末及びロボットのログイン処理を説明する。図１６は、各端末及びロボットのログイン処理を示したシーケンス図である。なお、ロボットＲの場合、実際にはロボット端末７がログインを行う。また、ここでは、マイク付きイヤホン６ａ、説明者端末５ａ、ロボットＲ１（ロボット端末７ａ）、通信管理サーバ３、及びユーザ端末９ａの処理について説明する。なお、マイク付きイヤホン６ａ、説明者端末５ａ、ロボットＲ１（ロボット端末７ａ）、及びユーザ端末９ａは、それぞれ、マイク付きイヤホン６、説明者端末５、ロボットＲ（ロボット端末７）、及びユーザ端末９の一例である。

Ｓ１１：ログインの前に、マイク付きイヤホン６ａと説明者端末ａ５との間でペアリングを行うことで、マイク付きイヤホン６ａを説明者端末５ａと近距離無線接続する。

Ｓ１２：説明者端末５ａの受付部５２は説明者Ｅ１からログイン操作（ログインＩＤ及びパスワードの入力等）を受け付け、送受信部５１が通信管理サーバ３に対して、仮想空間及び音声通信へのログイン要求を送信する。また、このログイン要求には、説明者Ｅ１のログインＩＤ及びパスワード等が含まれている。更に、ログイン要求には、説明者端末５ａの実空間上の位置を示す実空間端末位置情報も含まれている。説明者端末５の実空間端末位置情報は、説明者端末５ａの位置取得部５３によって取得された説明者端末５ａの実空間上（ここでは、展示会場）の位置を示す情報である。これにより、通信管理サーバ３の送受信部３１は、説明者端末５ａからのログイン要求を受信する。なお、説明者端末５ａが移動する度に、説明者端末５ａから通信管理サーバ３に移動後の実空間端末位置情報が送信される。

Ｓ１３：通信管理サーバ３では、認証部３５が、送受信部３１によって処理Ｓ１２で受信されたログインＩＤ及びパスワードの組が、位置情報管理テーブルで管理されているログインＩＤ及びパスワードの組と一致するか否かによりログイン認証を行う。ログイン認証が成功した場合、認証部３５は、この認証に用いたログインＩＤ及びパスワードを含むレコードの「実空間位置情報」フィールドに、処理Ｓ１２で受信された実空間位置情報を記憶する。なお、後述の処理Ｓ３１が開始される前であれば、実空間端末位置情報の送受信のタイミングは、処理Ｓ１２に限らずいつでもよい。認証結果は、説明者端末５ａに返信される。

Ｓ１４：ロボットＲ１の受付部７２は説明者Ｅ１からログイン操作（ログインＩＤ及びパスワードの入力等）を受け付け、送受信部７１が通信管理サーバ３に対して、映像通信へのログイン要求を送信する。また、このログイン要求には、ロボットＲ１のログインＩＤ及びパスワード等が含まれている。更に、ログイン要求には、ロボットＲ１の実空間上（ここでは、展示会場）の位置を示す実空間装置位置情報も含まれている。ロボットＲ１の実空間装置位置情報は、ロボットＲ１の位置取得部７３によって取得されたロボットＲ１の実空間上の位置を示す情報である。これにより、通信管理サーバ３の送受信部３１は、ロボットＲ１からのログイン要求を受信する。

Ｓ１５：通信管理サーバ３では、認証部３５が、送受信部３１によって処理Ｓ１４で受信されたログインＩＤ及びパスワードの組が、位置情報管理テーブルで管理されているログインＩＤ及びパスワードの組と一致するか否かによりログイン認証を行う。ログイン認証が成功した場合、認証部３５は、この認証に用いたログインＩＤ及びパスワードを含むレコードの「実空間位置情報」フィールドに、処理Ｓ１４で受信された実空間装置位置情報を記憶する。なお、後述の処理Ｓ３１が開始される前であれば、実空間装置位置情報の送受信のタイミングは、処理Ｓ１４に限らずいつでもよい。認証結果は、ロボットＲ１（ロボット端末７ａ）に返信される。

Ｓ１６：ユーザ端末９ａの受付部９２はユーザＹからログイン操作（ログインＩＤ及びパスワードの入力等）を受け付け、送受信部９１が通信管理サーバ３に対して、通信管理サーバ３のサービスへのログイン要求を送信する。また、このログイン要求には、ユーザ端末９のログインＩＤ及びパスワード等が含まれている。これにより、通信管理サーバ３の送受信部３１は、ユーザ端末９ａからのログイン要求を受信する。

Ｓ１７：通信管理サーバ３では、認証部３５が、送受信部３１によって処理Ｓ１６で受信されたログインＩＤ及びパスワードの組が、位置情報管理テーブルで管理されているログインＩＤ及びパスワードの組と一致するか否かによりログイン認証を行う。なお、認証結果は、ユーザ端末９ａに返信される。

以降は、上記全てのログイン認証が成功した場合について説明を続ける。

＜仮想空間画像の表示、音声通信、及び映像通信＞
続いて、図１７乃至図２１を用いて、仮想空間画像の表示、音声通信、及び映像通信の処理を説明する。図１７は、仮想空間画像の表示、音声通信、及び映像通信の処理を示したシーケンスである。

Ｓ３１：通信管理サーバ３では、位置設定部３６が、実空間上の位置と仮想空間上の位置との対応関係を示す位置対応情報（マッチング情報）に基づいて、処理Ｓ１３の認証に用いられたログインＩＤ及びパスワードを含むレコードの「仮想空間位置情報」フィールドに、処理Ｓ１２で受信された実空間端末位置情報に対応する仮想空間上の位置を示す仮想空間(端末)位置情報を記憶して設定する。同様に、位置設定部３６が、位置対応情報に基づいて、処理Ｓ１５の認証に用いられたログインＩＤ及びパスワードを含むレコードの「仮想空間位置情報」フィールドに、処理Ｓ１４で受信された実空間装置位置情報に対応する仮想空間(装置)位置情報を記憶して設定する。更に、位置設定部３６は、処理Ｓ１７の認証に用いられたログインＩＤ及びパスワードを含むレコードの「仮想空間位置情報」フィールドに、初期位置としての仮想空間(装置)位置情報を記憶して設定する。

更に、画像作成部３７は、図１８に示すように、実空間の展示会場を模式化したレイアウトマップｍ１に対して、位置情報管理テーブルで管理されている仮想空間位置情報に基づき、この仮想空間位置情報に対応するアイコン画像をマッピングすることで、仮想空間画像を作成する。

Ｓ３２：送受信部３１は、ユーザ端末９ａに対して、画像作成部３７によって作成された仮想空間画像のデータを送信する。これにより、ユーザ端末９ａの送受信部９１は、仮想空間画像のデータを受信する。

Ｓ３３：次に、ユーザ端末９ａでは、表示制御部９４がディスプレイ５１８上に図１８に示すような仮想空間画像が示された画面１１０を表示させる。

図１８は、ユーザＹ１のアイコンｙ１の初期位置を示す仮想空間画像を示す図である。図１８に示すように、仮想空間画像には、実空間上の展示会場を模式化したレイアウトマップｍ１、及び仮想空間上の展示会に参加している者及びロボットの各アイコンが示されている。ここでは、仮想空間の展示会に参加したユーザＹ１のアイコンｙ１が初期位置（例えば、仮想空間画像内の右側）に示されている。

また、ロボットＲ１を示すアイコンｒ１を中心とした関連付領域ａ１内で、説明者Ｅ１を示すアイコンｅ１、及び仮想空間の展示会に遠隔参加しているユーザＹ２を示すアイコンｙ２が示されている。この状態は、アイコンｒ１で示されるロボットＲ１に対して、アイコンｅ１で示される説明者Ｅ１、及びアイコンｙ２で示されるユーザＹ２が所属していることを示している。この所属の関係は、位置情報管理テーブルの「所属先」のフィールドで管理されているため、通信管理サーバ３の画像作成部３７は、上述の処理３２で、位置情報管理テーブルの「所属先」のフィールドを参考にして、仮想空間画像を作成する。なお、図１８において、関連付領域ａ１は破線の円で示されているが、実際には示されなくてもよいし、円の領域ではなく多角形の領域でもよい。

また、関連付領域ａ１内のアイコンｅ１が示す説明者Ｅ１の説明者端末５ａと、アイコンｙ２が示すユーザＹ２のユーザ端末９ｂは、音声の通信セッションにより、音声通信することができる。そのため、説明者Ｅ１はマイク付きイヤホン６ａを用い、ユーザＹ２に対して実空間（実世界）の展示会の様子を説明することができ、ユーザＹ２はユーザ端末９ｂを用い、説明者Ｅ１に対して実空間の展示会に関する質問等を行うことができる。

更に、関連付領域ａ１内のアイコンｅ１が示す説明者Ｅ１の説明者端末５ａと、アイコンｙ２が示すユーザＹ２のユーザ端末９ｂは、映像の通信セッションにより、アイコンｒ１が示すロボットＲ１が送信した映像のデータを受信して表示することができる。

なお、ロボットＲ１は、映像の通信セッションを用いても、音声のデータを配信することができるが、ロボットＲ１の周囲の雑音や会話等を収音してしまうため、音声のデータの送信は行わない。これに対して、上述の音声の通信セッションを用いる場合、説明者Ｅ１は、ロボットＲ１に対して話しかけないで、マイク付きイヤホン６を用いて話すため、ユーザＹ１，Ｙ２には、ロボットＲ１の周囲の雑音や会話等はほとんど聞こえず、説明者Ｅ１の声をクリアに聞くことができる。

なお、仮想空間画像が示された画面１１０の左側で、関連付領域ａ２に含まれる各アイコンｒ２，ｅ２，ｙ３は、それぞれロボットＲ２、説明者Ｅ２、ユーザＹ３を示し、上述の関連付領域ａ１に含まれるアイコンｒ１，ｅ１，ｙ２の関係と同様の関係を有するため、説明を省略する。

Ｓ３４：ユーザ端末９ａでは、受付部９２がユーザＹ１から、図１９に示すようにカーソルｃ１を用いて関連付領域ａ１内にアイコンｙ１を移動させる操作を受け付ける。そして、送受信部９１は、通信管理サーバ３に対してアイコンｙ１の移動後の仮想空間位置情報を送信する。この仮想空間位置情報には、ユーザＹ１のアイコンＩＤ「ｙ２１」が含まれている。これにより、通信管理サーバ３の送受信部３１は、移動後の仮想空間位置情報を受信する。

なお、位置設定部３６は、位置情報管理テーブルにおいて、処理Ｓ３４で受信されたアイコンＩＤに対応する「仮想空間位置情報」フィールドに、移動後の仮想空間位置情報を上書きする。これにより、画像作成部３７は、上書きされた移動後の仮想空間位置情報を用いて最新の仮想空間画像を作成する。このように、処理Ｓ３１～Ｓ３４が繰り返されることで、ユーザ端末９ａに表示される仮想空間画像が更新される。

なお、ユーザＹ１は、図１８において、アイコンｙ１をアイコンｒ１と重なるように移動させてもよい。この場合、位置設定部３６が、関連付領域ａ１内でアイコンｙ１を他のアイコンｅ１，ｒ１，ｙ２と重ならない位置に変更させて位置情報管理テーブルの「仮想空間位置情報」フィールドに記憶する。これにより、画像作成部３７は、図１９に示すように、アイコンｙ１が他のアイコンと重ならない仮想空間画像を作成する。

Ｓ３５：通信管理サーバ３は、アイコンの位置の関連付け処理を行う。ここで、図２０を用いて、アイコンの位置の関連付け処理を説明する。図２０は、アイコンの位置の関連付け処理を示すフローチャートである。

Ｓ２１１：まず、位置設定部３６は、位置情報管理テーブルにおける「仮想空間位置情報」フィールドを参考にして、アイコンｙ１が所定のロボットＲ１のアイコンｒ１の関連付領域ａ１内に入ったかを判断する。

Ｓ２１２：位置設定部３６が関連付領域ａ１内に入ったと判断した場合には(Ｓ２１１；ＹＥＳ)、位置設定部３６は、所定のロボットＲ１のアイコンｒ１の仮想空間上の位置とユーザＹ１のアイコンｙ１の仮想空間上の位置を関連付ける。具体的には、位置設定部３６は、位置情報管理テーブルにおいて、ユーザＹ１のレコードの「所属先」フィールドに、ロボットＲ１のアイコンＩＤ「ｒ２１」を記憶して管理する。なお、位置設定部３６が関連付領域ａ１内に入ったと判断しなかった場合には(Ｓ２１１；ＮＯ)、処理Ｓ２１２は実行されない。なお、以降、処理Ｓ２１２が実行された場合について説明する。

Ｓ３６：通信管理サーバ３の送受信部３１は、位置情報管理テーブルを参照し、(1)関連付範囲ａ１内に入ったアイコンｙ１で示されるユーザＹ１のログインＩＤ「Ｌ２１」と、(2)このログインＩＤ「Ｌ２１」を含むレコードの「所属先」フィールドで管理されているアイコンＩＤ「ｒ２１」と同じアイコンＩＤを「所属先」フィールドで管理している他のレコードのログインＩＤ「Ｌ１１」，「Ｌ２２」とに基づき、[1]ログインＩＤ「Ｌ２１」が用いられているユーザ端末９ａと、[2-1]ログインＩＤ「Ｌ１１」が用いられている説明者端末５ａと、[2-2]ログインＩＤ「Ｌ２２」が用いられているユーザ端末９ｂとの３つの間で、音声の通信セッションを確立させる。また、マイク付きイヤホン６と説明者端末５ａとの間は、上述の処理Ｓ１１により近距離無線接続が行われているため、マイク付きイヤホン６ａ、説明者端末５ａ、及びユーザ端末９ａの間では、音声通信を行うことができる。

Ｓ３７：通信管理サーバ３の送受信部３１は、位置情報管理テーブルを参照し、関連付範囲ａ１内に入ったアイコンｙ１で示されるユーザＹ１のログインＩＤ「Ｌ２１」と、このログインＩＤ「Ｌ２１」を含むレコードの「所属先」フィールドで管理されているアイコンＩＤ「ｒ２１」と同じアイコンＩＤを「アイコンＩＤ」フィールドで管理しているレコードのログインＩＤ「Ｌ３１」とに基づき、ログインＩＤ「Ｌ２１」が用いられているユーザ端末９ａと、ログインＩＤ「Ｌ３１」が用いられているロボットＲ１との間で、映像の通信セッションを確立させる。これにより、ロボットＲ１とユーザ端末９ａは、通信管理サーバ３を介して、相互に映像通信を行うことができる。例えば、ロボットＲ１が撮影して得た展示会の映像のデータを送信すると、ユーザ端末９ａのディスプレイ５１８上に展示会の映像が表示される。一方、ユーザ端末９ａが撮影して得たユーザｙ１の顔の映像のデータを送信すると、ロボットＲ１ではロボット端末７ａのディスプレイ５１８上にユーザｙ１の顔の映像が表示される。

また、ロボットＲ１が複数のユーザ端末と映像通信している場合には、ロボットＲ１は通信管理サーバ３を介して複数のユーザ端末に展示会の映像のデータを送信することで、各ユーザ端末で展示会の映像が表示される。一方、各通信端末は通信管理サーバ３を介してロボットＲ１に各ユーザの顔の映像のデータを送信することで、ロボットＲ１で各ユーザの顔の映像が表示される。これにより、説明者Ｅ１は、各ユーザの表情を確認しながら商品の説明等を行うことができる。

Ｓ３８：ユーザ端末９ａでは、送受信部９１が処理Ｓ３７により送信された映像のデータを受信し、図２１に示すように、表示制御部９４が別画面（ポップアップ画面等）１１１に、実空間の展示会の映像を表示させる。ここでは、説明者Ｅ１が鞄を説明するシーンが表示されている。このようにして、ユーザＹ１は、実空間の展示会に行かなくても、所望の実空間の展示会の映像を閲覧することができる。

＜ロボットへの追従＞
続いて、図２２乃至図２４を用いて、ユーザのアイコンがロボットのアイコンの移動に追従する処理を説明する。図２２は、ユーザのアイコンがロボットのアイコンの移動に追従する処理を示すシーケンス図である。

Ｓ５１：実空間で説明者Ｅ１が移動すると、ロボットＲ１が説明者Ｅ１の移動に追従する。この場合、ロボットＲ１は、追従移動制御部７８が、ＣＭＯＳ５１３で撮影された説明者Ｅ１の画像を画像認識して、説明者Ｅ１を追従する制御を行う。

Ｓ５２：ロボットＲ１が追従して移動すると、位置取得部７３が新たな実空間装置位置情報を取得し、送受信部７１が通信管理サーバ３に実空間装置位置情報を送信する。この実空間装置位置情報には、送信元のロボットＲ１を識別するためのログインＩＤ「Ｌ３１」が含まれている。これにより、通信管理サーバ３の送受信部３１が、実空間装置位置情報を受信する。また、送受信部３１が、位置情報管理テーブルに、処理Ｓ５２で受信したログインＩＤを含むレコードの「実空間位置情報」フィールドに、処理Ｓ５２で受信した実空間装置位置情報を上書きする。これに伴い、位置設定部３６が、実空間上の位置と仮想空間上の位置との対応関係を示す位置対応情報（マッチング情報）に基づいて、対応する仮想空間位置情報も変更する。

Ｓ５３：通信管理サーバ３では、追従による仮想空間内の位置変更処理を行う。ここで、図２３を用いて、追従による仮想空間内の位置変更処理を説明する。

Ｓ２３１：位置設定部３６は、位置情報管理テーブルの「実空間位置情報」フィールドを参照し、所定のロボットＲ１の実空間における位置が変更したかを判断する。変更していない場合には（Ｓ２３１；ＮＯ）、この処理Ｓ２３１は繰り返される。

Ｓ２３２：所定のロボットＲ１の実空間における位置が変更した場合には（Ｓ２３１；ＮＯ）、位置設定部３６は、位置情報管理テーブルを参照し、所定のロボットＲ１のアイコンＩＤ「ｒ２１」が所属先となっている全てのアイコンＩＤ「ｅ１１」、「ｙ２１」、「ｙ２２」に係る各仮想空間端末(装置)位置情報を関連付領域ａ１内で変更させる。

Ｓ５４：図２２に戻り、画像作成部３７は、処理Ｓ５３に基づき、新たに仮想空間画像を作成する。

Ｓ５５：送受信部３１は、ユーザ端末９ａに対して、処理Ｓ５４で作成された仮想空間画像のデータを送信する。これにより、ユーザ端末９ａの送受信部９１は、仮想空間画像のデータを受信する。

Ｓ５６：ユーザ端末９ａでは、図２４に示すように、表示制御部９４がディスプレイ５１８上に仮想空間画像が示された画面１１０を表示させる。図２４では、実空間上で説明者Ｅ１が移動することに伴い、仮想空間上で説明者Ｅ１のアイコンｅ１が移動している。また、実空間上でロボットＲ１が説明者Ｅ１に追従して移動することに伴い、仮想空間上でアイコンｒ１がアイコンｅ１に追従して移動している。更に、仮想空間上でアイコンｒ１が移動することに伴い、仮想空間上で関連付領域ａ１内のアイコンｙ１，ｙ２がアイコンｒ１に追従して移動している。また、ロボットＲ１は移動中の説明者Ｅ１を追従しながら撮影しているため、この場合の別画面１１１には、移動中の説明者Ｅ１の後ろ姿が表示されている。

＜専用の音声通信＞
続いて、図２５及び図２６を用いて、専用の音声通信を行う処理を説明する。図２５は、専用の音声通信を行う処理を示すシーケンス図である。図２６は、専用の音声通信を行う相手のアイコンを選択した状態の仮想空間画像を示す図である。

Ｓ７１：ユーザ端末９ａでは、受付部９２がユーザＹ１から、図２６に示すようにカーソルｃ１を用いて、自分のアイコンｙ１以外のアイコン（ここでは、アイコンｅ１）を選択する操作を受け付ける。そして、送受信部９１は、通信管理サーバ３に対して、専用の音声通信の確立要求として、アイコンｅ１の選択を示す情報を送信する。この情報には、選択した者であるユーザＹ１のアイコンＩＤ「ｙ２１」及び選択されたアイコンｅ１のアイコンＩＤ「ｅ１１」が含まれている。これにより、通信管理サーバ３の送受信部３１は、アイコンの選択を示す情報を受信する。

Ｓ７２：通信管理サーバ３の送受信部３１は、位置情報管理テーブルのアイコンＩＤ「ｅ１１」のレコードの「専用の音声通信相手」フィールドにアイコンＩＤ「ｙ２１」を記憶して管理すると共に、位置情報管理テーブルのアイコンＩＤ「ｙ２１」のレコードの「専用の音声通信相手」フィールドにアイコンＩＤ「ｅ１１」を記憶して管理する。これにより、送受信部９１は、専用の音声通信相手として相互に管理しているアイコンＩＤ「ｅ１１」に係るログインＩＤ「Ｌ１１」が用いられている説明者端末５ａと、専用の音声通信相手として相互に管理しているアイコンＩＤ「ｙ２１」に係るログインＩＤ「Ｌ２１」が用いられているユーザ端末９ａとの間で、専用の音声の通信セッションを確立させる。また、マイク付きイヤホン６ａと説明者端末５ａとの間は、上述の処理Ｓ１１により近距離無線接続が行われているため、マイク付きイヤホン６ａ、説明者端末５ａ、及びユーザ端末９ａの間では、専用の音声通信を行うことができる。これにより、ユーザＹ１は、他のユーザＹ２に音声内容を聞かれない状態で、説明者Ｅ１に相談したり、逆に、説明者Ｅ１は、他のユーザＹ２に音声内容を聞かれない状態で、ユーザＹ１に回答したりすることができる。

なお、図２６では、ユーザＹ１は説明者Ｅ１のアイコンｅ１を選択したが、これに限るものではない。例えば、ユーザＹ１は同じ関連付領域ａ１内の他のユーザＹ２のアイコンｙ２を選択して、ユーザＹ２と専用の音声通信による会話を行ってもよい。また、ユーザＹ１は異なる関連付領域ａ２内の説明者Ｅ２のアイコンｅ２を選択して、説明者Ｅ２と専用の音声通信による会話を行ってもよいし、他のユーザＹ３のアイコンｙ３を選択して、ユーザＹ３と専用の音声通信による会話を行ってもよい。また、ユーザＹだけでなく、説明者Ｅが説明者端末５に表示された仮想空間画像に対して、自分のアイコン以外のアイコンを選択することで、専用の音声通信を開始するようにしてもよい。

＜追従先のロボットの変更＞
続いて、図２７及び図２８を用いて、追従先のロボットを変更する処理を説明する。図２７は、追従先のロボットを変更する処理を示すシーケンス図である。図２８は、ユーザのアイコンを別のロボットのアイコンに関連付けるための移動を行った後の仮想空間画像を示す図なお、下記処理Ｓ９１～Ｓ９４は、上述の処理Ｓ３４，Ｓ３１，Ｓ３２，Ｓ３３と同様の処理である。

Ｓ９１：ユーザ端末９ａでは、受付部９２がユーザＹ１から、図２８に示すようにカーソルｃ１を用いて関連付領域ａ２内にアイコンｙ１を移動させる操作を受け付ける。そして、送受信部９１は、通信管理サーバ３に対してアイコンｙ１の移動後の仮想空間位置情報を送信する。この仮想空間位置情報には、ユーザＹ１のアイコンＩＤ「ｙ２１」が含まれている。これにより、通信管理サーバ３の送受信部３１は、移動後の仮想空間位置情報を受信する。

Ｓ９２：位置設定部３６は、位置情報管理テーブルにおいて、処理Ｓ９１で受信されたアイコンＩＤに対応する「仮想空間位置情報」フィールドに、移動後の仮想空間位置情報を上書きする。これにより、画像作成部３７は、上書きされた移動後の仮想空間位置情報を用いて最新の仮想空間画像を作成する。

Ｓ９３：送受信部３１は、ユーザ端末９ａに対して、画像作成部３７によって作成された仮想空間画像のデータを送信する。これにより、ユーザ端末９ａの送受信部９１は、仮想空間画像のデータを受信する。

Ｓ９４：次に、ユーザ端末９ａでは、表示制御部９４がディスプレイ５１８上に図２８に示すように、アイコンｙ１が関連付領域ａ２内に移動した後の仮想空間画像が示された画面１１０を表示させる。

Ｓ９５：通信管理サーバ３は、アイコンの位置の関連付け処理を行う。なお、この処理は、既に図２０を用いて説明しているため、説明を省略する。なお、ここでは、所定のロボットが、ロボットＲ１からロボットＲ２になり、位置情報管理テーブルにおいて、ユーザＹ１のレコードの「所属先」フィールドがロボットＲ１のアイコンＩＤ「ｒ２１」からロボットＲ２のアイコンＩＤ「ｒ２２」に変更される。

Ｓ９６：通信管理サーバ３の送受信部３１は、位置情報管理テーブルを参照し、(1)関連付範囲ａ２内に入ったアイコンｙ１で示されるユーザＹ１のログインＩＤ「Ｌ２１」と、(2)このログインＩＤ「Ｌ２１」を含むレコードの「所属先」フィールドで管理されているアイコンＩＤ「ｒ２２」と同じアイコンＩＤを「所属先」フィールドで管理している他のレコードのログインＩＤ「Ｌ１２」，「Ｌ２３」とに基づき、[1]ログインＩＤ「Ｌ２１」が用いられているユーザ端末９ａと、[2-1]ログインＩＤ「Ｌ１２」が用いられている説明者端末５ｂと、[2-2]ログインＩＤ「Ｌ２３」が用いられているユーザ端末９ｃとの３つの間で、音声の通信セッションを確立させる。また、マイク付きイヤホン６ｂと説明者端末５ｂとの間は、上述の処理Ｓ１１により近距離無線接続が行われているため、マイク付きイヤホン６ｂ、説明者端末５ｂ、及びユーザ端末９ａの間では、音声通信を行うことができる。

Ｓ９７：通信管理サーバ３の送受信部３１は、位置情報管理テーブルを参照し、関連付範囲ａ２内に入ったアイコンｙ１で示されるユーザＹ１のログインＩＤ「Ｌ２１」と、このログインＩＤ「Ｌ２１」を含むレコードの「所属先」フィールドで管理されているアイコンＩＤ「ｒ２２」と同じアイコンＩＤを「アイコンＩＤ」フィールドで管理しているレコードのログインＩＤ「Ｌ３２」とに基づき、ログインＩＤ「Ｌ２１」が用いられているユーザ端末９ａと、ログインＩＤ「Ｌ３２」が用いられているロボットＲ２との間で、映像の通信セッションを確立させる。これにより、ロボットＲ２とユーザ端末９ａは、通信管理サーバ３を介して、相互に映像通信を行うことができる。例えば、ロボットＲ２が撮影して得た展示会の映像のデータを送信すると、ユーザ端末９ａのディスプレイ５１８上に展示会の映像が表示される。一方、ユーザ端末９ａが撮影して得たユーザｙ１の顔の映像のデータを送信すると、ロボットＲ２ではロボット端末７のディスプレイ５１８上にユーザｙ１の顔の映像が表示される。

また、ロボットＲ２が複数のユーザ端末と映像通信している場合には、ロボットＲ２は通信管理サーバ３を介して複数のユーザ端末に展示会の映像のデータを送信することで、各ユーザ端末で展示会の映像が表示される。一方、各通信端末は通信管理サーバ３を介してロボットＲ２に各ユーザの顔の映像のデータを送信することで、ロボットＲ２で各ユーザの顔の映像が表示される。これにより、説明者Ｅ２は、各ユーザの表情を確認しながら商品の説明等を行うことができる、
Ｓ９８：ユーザ端末９ａでは、送受信部９１が処理Ｓ９７により送信された映像のデータを受信し、図２８に示すように、表示制御部９４が別画面（ポップアップ画面等）１１１に、実空間の展示会の映像を表示させる。ここでは、説明者Ｅ２が衣服を説明するシーンが表示されている。このようにして、ユーザＹ１は、実空間の展示会に行かなくても、所望の実空間の展示会の映像を閲覧することができる。

なお、処理９６により、図１７の処理Ｓ３６におけるユーザ端末９ａと通信管理サーバ３の間の音声の通信セッションは切断される。また、処理９７により、図１７の処理Ｓ３７におけるユーザ端末９ａと通信管理サーバ３の間の映像の通信セッションは切断される。

〔実施形態の主な効果〕
以上説明したように、本実施形態によれば、図２１に示すように、遠隔で展示会等の実空間の映像を閲覧するユーザＹに、このユーザＹのユーザ端末９で映し出された映像が実空間のどの位置の映像であるかを把握し易くすることができる。

また、図１に示すように、実空間の展示会等に複数のロボットＲ１，Ｒ２が存在している場合であっても、図２８に示すように、ユーザＹ１が仮想空間画像上で自分のアイコンｙ１を、ロボットｒ１の周辺からロボットｒ２の修正に移動させるだけで、即座に図２６の別画面１１１の映像が図２８の別画面１１１の映像に切り替わるため、わざわざ実空間のロボットＲ１を所望の位置に移動させてもらう必要がない。

更に、上述のように、説明者Ｅは、ロボットＲに対して話しかけないで、マイク付きイヤホン６を用いて、ユーザＹと会話をするため、ユーザＹはロボットＲの周囲の雑音や会話等が混じった音声を聞くのではなく、ユーザＹのクリアな音声を聞くことができる。

また、図１９に示すように、一旦、仮想空間画像上でアイコンｙ１，ｙ２をアイコンｒ１に関連付けると、図２４に示すように、アイコンｒ１の移動に伴い、アイコンｙ１，ｙ２が自動的に追従して移動するため、ユーザＹはユーザ端末９で映し出された映像が実空間のどの位置の映像であるかを把握し続けることができる。

〔補足〕
上述の実施形態における各機能は、一又は複数の処理回路によって実現することが可能である。ここで、本実施形態における「処理回路」は、電子回路により実装されるプロセッサのようにソフトウェアによって各機能を実行するようプログラミングされたプロセッサや、上述した各機能を実行するよう設計されたASIC(Application Specific Integrated Circuit)、DSP（digital signal processor）、FPGA（field programmable gate array）、SOC(System on a chip)、GPU、及び従来の回路モジュール等のデバイスを含む。

また、上記各プログラムは、(非一時的な)記録媒体に記録されることで、流通されるようにしてもよい。

各ＣＰＵ３０１，５０１，８０１，１００１は、単一であってもよく複数であってもよい。

Ｒ ロボット（移動装置の一例／第１，第２の移動装置の一例）
１ 通信システム
３ 通信管理サーバ
５ 説明者端末（第１の通信端末の一例／第１，第２の通信端末の一例）
６ マイク付きイヤホン（音声入出力デバイスの一例）
７ ロボット端末
８ 広角撮影装置
９ ユーザ端末（第２，第３の通信端末の一例／所定の通信端末の一例）
１０ 車両装置
３１ 送受信部（送信部の一例、受信部の一例、音声通信確立部の一例、映像通信確立部の一例）
３５ 認証部
３６ 位置設定部
３７ 画像作成部
４０ 記憶部

特開２０２０－１７８２９号公報

Claims (16)

1. 実空間で撮影及び移動が可能な移動装置から当該移動装置の前記実空間における位置を示す実空間装置位置情報を受信すると共に、前記実空間における第１の通信端末から当該第１の通信端末の前記実空間における位置を示す実空間端末位置情報を受信する受信部と、
   前記実空間装置位置情報及び前記実空間端末位置情報に応じて、仮想空間の対応位置に前記移動装置に関するアイコン及び前記第１の通信端末に関するアイコンを関連付けた状態で示すと共に、前記仮想空間に第２の通信端末に関するアイコンを示した仮想空間画像を作成する画像作成部と、
   前記第２の通信端末に前記仮想空間画像を送信する送信部と、
   前記第２の通信端末から、前記仮想空間画像において前記第２の通信端末に関するアイコンを前記移動装置に関するアイコンに関連付ける操作を受け付けることにより、前記第１の通信端末及び前記第２の通信端末の間の音声通信を確立する音声通信確立部と、
   を有する通信管理サーバ。
2. 請求項１に記載の通信管理サーバであって、
   前記第２の通信端末から前記第２の通信端末に関するアイコンを前記移動装置に関するアイコンに関連付ける操作を受け付けることにより、前記移動装置及び前記第２の通信端末の間の映像通信を確立する映像通信確立部と、
   を有する通信管理サーバ。
3. 前記画像作成部は、前記実空間における前記移動装置の移動に伴い、前記実空間装置位置情報に応じて前記移動装置に関するアイコンを移動させた前記仮想空間画像を作成する、請求項１に記載の通信管理サーバ。
4. 前記画像作成部は、前記移動装置に関するアイコンの移動に伴い、前記移動装置に関するアイコンに関連付けられた前記第２の通信端末に関するアイコンを前記移動装置に関するアイコンに追従して移動させた前記仮想空間画像を作成する、請求項３に記載の通信管理サーバ。
5. 前記画像作成部は、前記仮想空間に第３の通信端末に関するアイコンを示した前記仮想空間画像を作成し、
   前記音声通信確立部は、前記第１乃至第３の通信端末のうちの所定の通信端末から、前記仮想空間画像において前記所定の通信端末に関するアイコンを前記第１乃至第３の通信端末のうちで前記所定の通信端末とは異なる他の通信端末に関するアイコンに関連付ける操作を受け付けることにより、前記所定の通信端末及び前記他の通信端末の間の専用の音声通信を確立する、
   請求項１に記載の通信管理サーバ。
6. 前記第３の通信端末から前記第３の通信端末に関するアイコンを前記移動装置に関するアイコンに関連付ける操作を受け付けることにより、前記移動装置、前記第２の通信端末、及び前記第３の通信端末の間の映像通信を確立する映像通信確立部を有する、請求項５に記載の通信管理サーバ。
7. 前記第１の通信端末は音声入出力デバイスと音声通信することで、前記音声入出力デバイスと前記第２の通信端末の間で音声通信する、請求項１に記載の通信管理サーバ。
8. 実空間で撮影及び移動が可能な第１の移動装置の前記実空間における位置及び第１の通信端末の前記実空間における位置に応じて、仮想空間の対応位置に前記第１の移動装置に関するアイコン及び前記第１の通信端末に関するアイコンを関連付け、更に所定の通信端末に関するアイコンを関連付けた状態で示すと共に、前記実空間で撮影及び移動が可能な第２の移動装置の前記実空間における位置及び第２の通信端末の前記実空間における位置に応じて、前記仮想空間の対応位置に前記第２の移動装置に関するアイコン及び前記第２の通信端末に関するアイコンを関連付けた状態で示した仮想空間画像を作成する画像作成部と、
   前記第１の通信端末及び前記所定の通信端末の間の音声通信を確立する音声通信確立部と、
   前記所定の通信端末に前記仮想空間画像を送信する送信部と、
   を有し、
   前記音声通信確立部は、前記所定の通信端末から、前記仮想空間画像において前記所定の通信端末に関するアイコンを前記第１の移動装置から前記第２の移動装置に関連付けを変更する操作を受け付けることにより、前記第１の通信端末及び前記所定の通信端末の間の音声通信を切断し、前記第２の通信端末及び前記所定の通信端末の間の音声通信を確立する、
   通信管理サーバ。
9. 請求項８に記載の通信管理サーバであって、
   前記第１の移動装置及び前記所定の通信端末の間の映像通信を確立した状態で、前記所定の通信端末から、前記仮想空間画像において前記所定の通信端末に関するアイコンを前記第１の移動装置から前記第２の移動装置に関連付けを変更する操作を受け付けることにより、前記第１の移動装置及び前記所定の通信端末の間の映像通信を切断し、前記第２の通信端末及び前記所定の通信端末の間の映像通信を確立する映像通信確立部を有する通信管理サーバ。
10. 前記画像作成部は、前記実空間における前記第１の移動装置の移動の位置に応じて前記第１の移動装置に関するアイコンを移動させると共に、前記所定の通信端末に関するアイコンを前記第１の移動装置に関するアイコンに追従して移動させる前記仮想空間画像を作成し、前記所定の通信端末から、前記仮想空間画像において前記所定の通信端末に関するアイコンを前記第１の移動装置から前記第２の移動装置に関連付けを変更する操作を受け付けることにより、前記所定の通信端末に関するアイコンを前記第１の移動装置に関するアイコンに追従して移動させることを中止し、前記所定の通信端末に関するアイコンを前記第２の移動装置に関するアイコンに追従して移動させる前記仮想空間画像を作成する、請求項８に記載の通信管理サーバ。
11. 請求項１乃至７のいずれか一項に記載の通信管理サーバと、
    前記移動装置と、
    を有する通信システム。
12. 請求項８乃至１０のいずれか一項に記載の通信管理サーバと、
    前記第１の移動装置と、
    前記第２の移動装置と、
    を有する通信システム。
13. 通信管理サーバが、
    実空間で撮影及び移動が可能な移動装置から当該移動装置の前記実空間における位置を示す実空間装置位置情報を受信すると共に、前記実空間における第１の通信端末から当該第１の通信端末の前記実空間における位置を示す実空間端末位置情報を受信する受信処理と、
    前記実空間装置位置情報及び前記実空間端末位置情報に応じて、仮想空間の対応位置に前記移動装置に関するアイコン及び前記第１の通信端末に関するアイコンを関連付けた状態で示すと共に、前記仮想空間に第２の通信端末に関するアイコンを示した仮想空間画像を作成する画像作成処理と、
    前記第２の通信端末に前記仮想空間画像を送信する送信処理と、
    前記第２の通信端末から、前記仮想空間画像において前記第２の通信端末に関するアイコンを前記移動装置に関するアイコンに関連付ける操作を受け付けることにより、前記第１の通信端末及び前記第２の通信端末の間の音声通信を確立する音声通信確立処理と、
    を実行する通信管理方法。
14. 通信管理サーバが、
    実空間で撮影及び移動が可能な第１の移動装置の前記実空間における位置及び第１の通信端末の前記実空間における位置に応じて、仮想空間の対応位置に前記第１の移動装置に関するアイコン及び前記第１の通信端末に関するアイコンを関連付け、更に所定の通信端末に関するアイコンを関連付けた状態で示すと共に、前記実空間で撮影及び移動が可能な第２の移動装置の前記実空間における位置及び第２の通信端末の前記実空間における位置に応じて、前記仮想空間の対応位置に前記第２の移動装置に関するアイコン及び前記第２の通信端末に関するアイコンを関連付けた状態で示した仮想空間画像を作成する画像作成処理と、
    前記第１の通信端末及び前記所定の通信端末の間の音声通信を確立する音声通信確立処理と、
    前記所定の通信端末に前記仮想空間画像を送信する送信処理と、
    を実行し、
    前記音声通信確立処理は、前記所定の通信端末から、前記仮想空間画像において前記所定の通信端末に関するアイコンを前記第１の移動装置から前記第２の移動装置に関連付けを変更する操作を受け付けることにより、前記第１の通信端末及び前記所定の通信端末の間の音声通信を切断し、前記第２の通信端末及び前記所定の通信端末の間の音声通信を確立する処理を含む、
    通信管理方法。
15. コンピュータに、請求項１３に記載の方法を実行させるプログラム。
16. コンピュータに、請求項１４に記載の方法を実行させるプログラム。

Images