JP7338755B2

JP7338755B2 - 通信端末、通信システム、通信方法及びプログラム

Info

Publication number: JP7338755B2
Application number: JP2022119247A
Authority: JP
Inventors: 雄一荒海; 篤伊藤; 亮太山科
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2018-07-24
Filing date: 2022-07-27
Publication date: 2023-09-05
Anticipated expiration: 2038-07-24
Also published as: JP2022136220A; JP2023153304A

Description

本発明は、通信端末、通信システム、通信方法及びプログラムに関する。

インターネットやＬＡＮ（Local Area Network）等の通信ネットワークを介して、複数の拠点の間で通信端末が通信して、互いに映像や音声を送受信する通信システムが普及している。通信システムを利用すると遠隔地のユーザがコミュニケーションすることができ、例えばテレビ会議を開催できる。

また、通信システムがロボットに適用されたテレプレゼンスロボットが知られている。テレプレゼンスロボットとは、「テレビ会議」と「遠隔操作技術」が組み合わされたロボットである。遠隔地からのリモートコントロールとロボット技術を組み合わせて、操作者が遠方からロボットを操作しある場所で操作者が存在（プレゼンス）しているように振る舞わせる技術である。

また、ロボットに複数のカメラを搭載する技術が考案されている（例えば、特許文献１参照。）。特許文献１には、走行装置の前後を写す前方カメラと後方カメラ、及び、ロボットの付近の全周囲を写すことができる俯瞰カメラを備えた移動体が開示されている。

しかしながら、従来の技術では、操作者は全周囲などの広角映像のうち任意の方向を表示させることができるため、操作者が広角映像のある方向を見ている場合に移動装置がどの方向を向いているかを把握しにくいという問題がある。

例えば、操作者が見ている方向と移動装置の正面方向とが異なる状態で操作者が移動装置を前進させた場合、操作者には状況が見えていない方向に移動装置が移動するので、操作性が低下してしまう。

本発明は、上記課題に鑑み、操作者が広角映像のある方向を見ている場合に移動装置がどの方向を向いているかを把握しやすい通信端末を提供することを目的とする。

上記課題に鑑み、本発明は、ネットワークを介してテレプレゼンスロボットを遠隔操作により移動させる通信端末であって、前記テレプレゼンスロボットから送信された広角映像の一部である所定領域映像と、前記所定領域映像に対する前記テレプレゼンスロボットの向きを示す情報とを表示し、前記所定領域映像の中心方向と前記テレプレゼンスロボットの正面方向とが略一致した場合に、前記テレプレゼンスロボットを操作する操作ボタンを表示する表示処理手段を有する、通信端末である。

操作者が広角映像のある方向を見ている場合に移動装置がどの方向を向いているかを把握しやすい通信端末を提供できる。

通信システムの概略を説明する図の一例である。広角撮像装置が撮像した全天球映像の表示例を説明する図である。一実施形態に係る通信システムの構成例を示す図である。一実施形態に係る通信端末のハードウェア構成例を示す図である。通信管理システムのハードウェア構成例を示す図である。移動装置のハードウェア構成例を示す図である。広角撮像装置の一例のハードウェア構成図である。広角撮像装置の使用イメージ図の一例である。広角撮像装置で撮像された画像から正距円筒射影画像及び全天球画像が作成されるまでの処理の概略を説明する図である。広角撮像装置で撮像された画像から正距円筒射影画像及び全天球画像が作成されるまでの処理の概略を説明する図である。全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。図１１の立体斜視図等の一例を示す図である。所定領域情報と所定領域の画像の関係との関係を示した図の一例である。通信システムが有する通信管理システム、通信端末１０Ａ、及び、通信端末１０Ａの機能をブロック状に示す機能ブロック図である。通信システムの通信の準備段階の処理の例を示すシーケンス図である。通信端末に表示される宛先選択画面の一例を示す図である。通信システムの通信処理の例を示すシーケンス図である。撮像方向の基準となる基準撮像方向と移動装置の正面方向を説明する図の一例である。操作者が表示させた任意の撮像方向）と基準撮像方向の関係の一例を示す図である。透視投影変換を模式的に説明する図の一例である。パターン１で表示された全天球映像表示画面の一例を示す図である。通信端末が所定領域映像を表示部に表示させる手順を示すフローチャート図の一例である。テレプレゼンスロボットのポリゴン模型と撮像方向矢印のオブジェクトの一例を示す図である。パターン２における撮像方向矢印の別の表示例を示す図である。パターン２において、通信端末が全天球映像を表示部に表示させる手順を示すフローチャート図の一例である。パターン３において、通信端末が全天球映像を表示部に表示させる手順を示すフローチャート図の一例である。全天球映像と正面映像（又は背面映像）を同時に表示する映像同時表示画面の一例である。

以下、本発明を実施するための形態の一例として、通信装置と通信装置が行う表示方法について説明する。

＜通信システムと通信端末の動作の概略＞
まず、図１を用いて通信システムの概略を説明する。図１（ａ）は、テレプレゼンスロボットを用いた通信システムの概略構成図の一例を示す。社内８０１にテレプレゼンスロボットが配置されており、自宅８０２に操作者８１０が存在している。テレプレゼンスロボットは移動装置２０に搭載された通信端末１０Ｂと広角撮像装置９を有している。また、操作者８１０は通信端末１０Ａを有している。

広角撮像装置９は通信端末１０Ｂに後述する全天球映像（第２の映像の一例）を送信する。通信端末１０Ａ、１０Ｂはそれぞれ平面撮像装置とマイクを有しており互いに映像と音声を送受信する。すなわち、通信端末１０Ｂは全天球映像と正面映像８３１（又は/及び背面映像８３２）を通信端末１０Ａに送信し、通信端末１０Ａは正面映像８３１を通信端末１０Ｂに送信する。

また、通信端末１０Ａでは移動装置２０の移動などに関する操作を受け付けるアプリケーションソフト（以下、アプリという）が動作しており、操作者８１０は通信端末１０Ｂが送信する映像を確認しながら操作指示を入力する。操作者８１０が入力した操作指示は通信端末１０Ａから通信端末１０Ｂに送信される。

通信端末１０Ｂと移動装置２０はBluetooth（登録商標）などの近距離無線で通信でき、通信端末１０Ｂは操作指示に基づいて移動装置２０を制御するので、操作者８１０は遠隔地（自宅）から移動装置２０を移動させることができる。

このようにして移動装置２０を移動させることで、図１（ｂ）に示すように、操作者８１０は所望の相手８２０と会話することができる。図１（ｂ）では、操作者８１０はＡさん８２０ａの場所まで移動装置２０を移動させてＡさんと会話し、次に、Ｂさん８２０ｂの場所まで移動装置２０を移動させてＢさんと会話している。

人と会うだけでなく、操作者８１０は遠隔地にある店舗の商品を確認したり、工場を視察したり、展示会に参加したりするなど、現地に移動しなくても多くのことを遠隔地から行うことができる。

また、通信端末１０Ｂに内蔵された平面撮像装置が正面と後方しか撮像できないと、操作者８１０が移動装置２０の周囲の状況（例えば、足下や左右）を確認しづらい。そこで、本実施形態では、通信端末１０Ｂに周囲３６０度を撮像できる広角撮像装置９が搭載されている。広角撮像装置９は通信端末１０Ｂに搭載されていてもよいし、移動装置２０に搭載されていてもよい。広角撮像装置９は広角な範囲を撮像できるため、例えば、周囲が遮られにくい上方に配置される。図１では通信端末１０Ｂの上側に配置されているが、左側又は右側に配置されてもよいし、移動装置２０のポール部分に配置されてもよい。また、広角撮像装置９は通信端末１０Ｂに内蔵されていてもよいし、外付けされてもよい。

＜全天球映像の表示例＞
図２を用いて、周囲３６０度の被写体が写った全天球映像のある方向を操作者が見ている場合に、移動装置２０が向いている方向を把握できるように表示する表示例を説明する。図２は広角撮像装置９が撮像した全天球映像の一部である所定領域映像の表示例を説明する図である。本実施形態では移動装置２０が向いている方向を操作者が把握できる表示例の３つのパターンを説明する。

なお、移動装置２０の向きはテレプレゼンスロボットの向きと同じであるため、向きに関しては移動装置２０とテレプレゼンスロボットを同一視してよい。また、移動装置２０の向きとは移動装置２０が向いている方向であり、例えば、正面方向又は前進方向をいう。移動装置２０が向いている方向を操作者が把握可能であれば、横向き、上向き、下向きなどを移動装置２０の向きとしてもよい。

図２（ａ）は、パターン１によって全天球映像を表示する全天球映像表示画面１０１０の一例を示す。パターン１は、現在、操作者が見ている全天球映像にテレプレゼンスロボットの画像８４０を重ねて表示することで、移動装置２０の向きを操作者に把握させる。操作者は移動装置２０の向きに対し、どの方向を見ているか分かる。なお、テレプレゼンスロボットの画像８４０はテレプレゼンスロボットの向きが分かる態様で表されている。

操作者は通信端末１０Ａに任意の所定領域映像を表示させる。全天球映像表示画面１０１０に表示されている映像が所定領域映像である。図２（ａ）では開放的な居室の一部が表示されている。所定領域映像は、全天球映像のうち通信端末１０Ａの表示装置（後述する表示部１０９）に表示されている一部の領域の映像である。表示部１０９はエリアを設けユーザはこのエリア内に所定領域映像を表示する。

したがって、移動装置２０の正面方向と一致するとは限らない。通信端末１０Ａは移動装置２０の正面方向と所定領域映像を定める撮像方向（所定領域映像の中心を示す方向）との差異に基づいてテレプレゼンスロボットを回転させ、回転させたテレプレゼンスロボットを全天球映像に表示させる。表示されるテレプレゼンスロボットの画像８４０は実空間のテレプレゼンスロボットではなくＣＧ（コンピュータグラフィック）で作成されたものである。ＣＧとはコンピュータを用いて描かれた画像である。ＣＧは主に２次元と３次元があるが、本実施形態では３次元のＣＧが利用される。

したがって、全天球映像の中でテレプレゼンスロボットがどの方向を向いているのか分かる。図２（ａ）の例では、テレプレゼンスロボットが操作者の方のやや右側を向いている。テレプレゼンスロボットの画像８４０を見ることで、操作者はこのまま前進させた場合にどの方向に移動するかを容易に判断できる。

なお、図２（ａ）では説明の便宜上、テレプレゼンスロボットの画像８４０の全体像が表示されているが、全天球映像はテレプレゼンスロボットの上側に配置されているので、テレプレゼンスロボットの画像８４０もより視点側に（手前に）表示することが好ましい。このため、テレプレゼンスロボットの画像８４０の全体像が写っていなくてよい。

続いて、パターン２について説明する。図２（ｂ）は、パターン２によって全天球映像を表示する全天球映像表示画面１０１０の一例を示す。パターン２は、操作者が見ている全天球映像の一部の所定領域映像８５３とは別に、テレプレゼンスロボットを基準に操作者が見ている方向を表示する。具体的には、テレプレゼンスロボットの画像８５４と撮像方向矢印８を表示する。

図２（ｂ）に示すように、通信端末１０Ａは操作者の操作に応じて全天球映像欄１００１に任意の所定領域映像８５３を表示する。図２（ｂ）では陳列された商品が写っている。また、通信端末１０Ａは全天球映像欄１００１とは別にテレプレゼンスロボット表示欄１００２を有する。テレプレゼンスロボット表示欄１００２には、所定領域映像８５３がテレプレゼンスロボットからみてどの方向かを示す撮像方向矢印８を表示する。つまり、撮像方向矢印８は操作者が見ている撮像方向を立体的に表す。立体的にとは、方位角と仰角の情報を有することを意味する。表示されるテレプレゼンスロボットの画像８５４は実空間のテレプレゼンスロボットではなくＣＧで作成されたものである。撮像方向矢印８も同様である。図２（ｂ）ではテレプレゼンスロボットの正面方向が撮像方向である。

このように、全天球映像がテレプレゼンスロボットから見てどの方向の映像であるかを操作者が把握できる。操作者はテレプレゼンスロボットがどの方向を向いているかも把握できる。また、図２（ｂ）では、前進することで商品にテレプレゼンスロボットが接近することが分かる。パターン１と比べると全天球映像にテレプレゼンスロボットが重ならないというメリットがある。

図２（ｃ）は、パターン３によって全天球映像を表示する全天球映像表示画面１０１０の一例を示す。全天球映像表示画面１０１０に表示されている映像が所定領域映像である。パターン３では、所定領域映像の中心方向（上記の撮像方向）とテレプレゼンスロボットの正面方向が略一致する場合にのみ通信端末１０Ａが操作ボタン８６０を表示する。図２（ｃ）の左図ｃ－１では、撮像方向とテレプレゼンスロボットの正面方向が略一致していないため操作ボタン８６０が表示されていない。図２（ｃ）の右図ｃ－２では、撮像方向とテレプレゼンスロボットの正面方向が略一致しているため操作ボタン８６０が表示されている。略一致とは、移動装置２０の移動に支障がない程度に一致すればよいことをいう。完全に一致することを求めると操作ボタン８６０がめったに表示されず、操作できないことになるため、操作性が低下しない程度の幅をもって判断される。例えば、水平方向と仰角方向にそれぞれ±１０～２０度くらいのずれは許容されてよい。また、操作者がずれの大きさを設定できてよい。

パターン３では撮像方向とテレプレゼンスロボットの正面方向が略一致している時に操作ボタン８６０が表示されるので、操作者は所定領域映像を変更させてみて操作ボタン８６０が表示された時に、撮像方向とテレプレゼンスロボットの正面方向が略一致していると判断できる。したがって、撮像方向と操作者が見ている全天球映像の方向を一致させることができる。また、テレプレゼンスロボットの正面方向と操作者が見ている全天球映像の方向を一致させた時にだけ操作ボタン８６０が表示されるので、前進させた場合にどこに移動するかを操作者が把握できる。

＜用語について＞
操作者８１０は移動装置２０を操作する者である。操作者８１０は通信端末１０Ａを使用するユーザでもあるが、本実施形態では操作者と称する。

会話の相手８２０は社内などの人であるが、犬や猫などの動物でもよい。また、移動装置２０は、操作者８１０が相手と話すために使用されなくてもよい。例えば、移動装置２０が社内などをパトロールするような場合、通信端末１０Ｂは映像や音声を通信端末１０Ａに送信すればよく、操作者が会話しない場合がある。

移動装置２０が移動する場所は移動装置２０が移動可能な場所であればよい。また、モータなどの動力で移動する装置に限らず、人間が補助的に移動を補助してもよい。

正面映像は通常の画角の映像をいい、全天球映像は正面映像よりも広角な映像（広角映像）をいう。通常の画角は透視射影レンズで撮像しても歪みが許容される程度の画角であり、簡単には透視射影レンズで撮像された映像ということができる。広角な映像は例えば魚眼レンズのような広角レンズで撮像された映像をいう。射影方式は立体射影、等距離射影、等立体角射影、正射影などがある。広角な映像は周囲３６０度が撮像された全天球映像に限らず、半球が撮像された映像や水平方向に１８０～３６０度が撮像された映像でもよい。

本実施形態では、動画を想定する場合は映像と称し、１枚の静止画を想定した説明の場合は画像と称するが、映像は複数の画像を有するものであり、映像と画像は厳密に区別しないものとする。

＜システム構成例＞
図３は、一実施形態に係る通信システムの構成例を示す図である。通信システム１は、複数の通信端末（１０Ａ，１０Ｂ１，１０Ｂ２，１０Ｂ３、１０Ｅ）、移動装置２０、中継装置３０、及び、通信管理システム５０等を有する。なお、以下の説明の中で、複数の通信端末（１０Ａ，１０Ｂ１，１０Ｂ２，１０Ｂ３，１０Ｅ）のうち、任意の通信端末を示す場合「通信端末１０」を用いる。また、通信端末（１０Ｂ１，１０Ｂ２，１０Ｂ３）のうち、任意の通信端末を示す場合「通信端末１０Ｂ」を用いる。また、図３の通信端末１０の数は一例である。

通信端末１０、中継装置３０、通信管理システム５０は、それぞれ、通信ネットワーク２を介して、他の通信端末１０、装置、システムとの間で通信可能に接続されている。通信ネットワーク２は、例えば、ＬＡＮ(Local Area Network)、インターネット、携帯電話網、あるいは専用線等を含んでいてもよい。

通信端末１０は、例えば、タブレット端末、スマートフォン、ＰＣ（Personal Computer）等の汎用の情報処理装置、又は専用のテレビ会議装置等の通信端末である。通信端末１０は、他の１つ以上の通信端末１０との間で、例えば、画像データ、音声データ等を送受信することにより、例えば、テレビ会議等を行うことができる。

通信端末１０Ａは、通信システム１に対応するアプリを実行することにより、通信端末１０Ｂとテレビ会議を行うと共に、通信端末１０Ｂを介して、移動装置２０を遠隔操作することができる。例えば、通信端末１０Ａは、テレビ会議の表示画面に表示された操作ボタンを操作することにより、通信端末１０Ｂを搭載した移動装置２０を、例えば、前後、左右等に移動させることができる。なお、通信端末１０Ａはブラウザソフトを動作させることも可能であり、ブラウザソフトが映像を表示し、ブラウザソフトに対する移動装置２０の操作を受け付けることもできる。

移動装置２０と通信端末１０Ｂ（広角撮像装置９を含む）をテレプレゼンスロボットという。移動装置２０は、移動装置２０に取り付けられた通信端末１０Ｂからの制御に応じて、例えば、複数の車輪を駆動することにより、「前進」、「後退」、「右旋回」、「左旋回」等の移動を行う走行機能を有する装置である。ユーザが左右への移動を指示した場合、「右旋回」後又は「左旋回」後に前進する。なお、図３に示す移動装置２０の外観はあくまで一例である。移動装置２０は、移動装置２０に搭載された通信端末１０Ｂからの操作指示に応じて、通信端末１０Ｂと共に移動可能であればよい。

中継装置３０は、例えば、情報処理装置、又は１つ以上の情報処理装置を含むシステムであり、複数の通信端末１０間で送受信されるコンテンツデータ（映像、音声、操作指示情報）を中継する。ただし、中継装置３０を介することなく、複数の通信端末１０が直接、コンテンツデータを送受信してもよい。

通信管理システム５０は、例えば、情報処理装置、又は１つ以上の情報処理装置を含むシステムである。通信管理システム５０は、例えば、通信端末１０からのログイン認証、通信端末１０の通信状況の管理、宛先リストの等の管理、及び複数の通信端末１０間で中継装置３０を介して通信を行うセッションの制御等を行う。

一実施形態において、セッションは、中継装置３０が、複数の通信端末１０間で画像データ、及び音データ（音声その他の音）を含むコンテンツデータを中継することで実現される。

上記の構成において、例えば、通信端末１０Ａの操作者は、通信端末１０Ｂと通信を行い、通信端末１０Ｂ及び移動装置２０を遠隔操作により移動させることができる。これにより、通信端末１０Ａの操作者は、通信端末１０Ｂ及び移動装置２０を任意の相手の近くに移動させて、テレビ会議等を行うことができる。

また、通信システム１には、通信管理システム５０を介して一方の通信端末１０から他方の通信端末１０に一方向でコンテンツデータを伝送するデータ提供システムや、通信管理システム５０を介して複数の通信端末１０間で情報や感情等を相互に伝達するコミュニケーションシステムが含まれる。このコミュニケーションシステムは、中継装置３０を介して複数のコミュニケーション通信端末間で情報や感情等を相互に伝達するためのシステムであり、テレビ（又はビデオ）会議システムやテレビ電話システム等が例として挙げられる。

＜ハードウェア構成＞
＜＜通信端末のハードウェア構成＞＞
図４は、本発明の一実施形態に係る通信端末のハードウェア構成例を示す図である。通信端末１０は、一般的なコンピュータの構成を含み、例えば、ＣＰＵ（Central Processing Unit)１０１、ＲＯＭ（Read Only Memory)１０２、ＲＡＭ(Random Access Memory)１０３、フラッシュメモリ１０４、及びＳＳＤ（Solid State Drive）１０５等を有する。また、通信端末１０は、メディアＩ／Ｆ（Interface）１０７、入力部１０８、表示部１０９、ネットワークＩ／Ｆ１１１、カメラ１１２、撮像素子Ｉ／Ｆ１１３、マイク１１４、スピーカ１１５、及び音声入出力Ｉ／Ｆ１１６等を有する。更に、通信端末１０は、外部機器接続Ｉ／Ｆ１１７、近距離無線通信部１１８、及びバス１１９等を有する。

ＣＰＵ１０１は、例えば、ＲＯＭ１０２や、フラッシュメモリ１０４等からプログラムやデータを読み出し、処理を実行することで、通信端末１０が備える各機能を実現する演算装置である。ＲＯＭ１０２は、ＩＰＬ（Initial Program Loader）等のＣＰＵ１０１の起動に用いられるプログラム等を予め記憶した不揮発性のメモリである。ＲＡＭ１０３は、ＣＰＵ１０１のワークエリア等として利用される揮発性のメモリである。

フラッシュメモリ１０４は、例えば、ＯＳ（Operating System）、アプリケーションプログラム、及び各種のデータ等を記憶するストレージデバイスである。ＳＳＤ１０５は、ＣＰＵ１０１の制御にしたがってフラッシュメモリ１０４に対する各種データの読み出し、書き込みを制御する。メディアＩ／Ｆ１０７は、例えば、メモリカード等の記録媒体である記録メディア１０６に対するデータの読み出し又は書き込み（記憶）を制御する。記録媒体には通信端末１０を制御する、コンピュータが読み取り可能なプログラムが記憶され得る。

入力部１０８は、例えば、タッチパネル、キーボード、ポインティングデバイス等の操作者からの入力操作を受け付けるための入力装置である。音声入力が可能でもよい。表示部１０９は、操作者に向けた各種の表示を行う表示装置である。なお、入力部１０８、及び表示部１０９は、例えば、タッチパネルとディスプレイが一体化されたタッチパネルディスプレイ等の表示入力部１１０であっても良い。

ネットワークＩ／Ｆ１１１は、通信端末１０が通信ネットワーク２を利用してデータを送信したり受信したりするための通信インタフェースである。カメラ１１２は、ＣＰＵ１０１の制御にしたがって被写体を撮像するための撮像素子を含む。撮像素子Ｉ／Ｆ１１３は、カメラ１１２による撮像を制御すると共に、撮像したデータを所定の画像データに変換する。カメラ１１２は平面撮像装置であり、広角撮像装置９よりも狭い画角で撮像するが、広角撮像装置９よりも高解像度である。解像度とはデジタル画像の細かさを表す度合いのことであり、解像度はデジタル画像を構成する個々の単位点（ドット、ピクセル）の細かさを数値化することによって表現される。解像度を表す単位には一般に「ドット」が用いられる。ディスプレイの場合は、多くの場合「１０２４×７６８ドット」のようにヨコ×タテに並んでいる数で表される。同じ撮像範囲で比較すると、広角撮像装置９のドット数はカメラ１１２のドット数よりも少ない。

マイク１１４は、収録した音声を電気信号に変換する。スピーカ１１５は、音声信号を音声に変換して出力する。音声入出力Ｉ／Ｆ１１６は、マイク１１４及びスピーカ１１５による音声の入出力を制御する。

外部機器接続Ｉ／Ｆ１１７は、例えば、ＵＳＢ(Universal Serial Bus)等の外部機器を接続するためのインタフェースである。外部機器には、例えば、図３の移動装置２０等が含まれる。

近距離無線通信部１１８は、例えば、Bluetooth（登録商標）や、Bluetooth（登録商標）ＬｏｗＥｎｅｒｇｙ等の近距離無線通信により、外部機器（例えば移動装置２０）と通信するための通信インタフェースである。バス１１９は、上記の各構成に共通に接続され、アドレス信号、データ信号、及び各種の制御信号等を伝達する。

＜＜通信管理システム、中継装置のハードウェア構成＞＞
図５は、一実施形態に係る通信管理システムのハードウェア構成例を示す図である。通信管理システム５０は、一般的なコンピュータの構成を有しており、例えば、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＨＤ５０４、ＨＤＤ（Hard Disk Drive）５０５、メディアドライブ５０７、及びディスプレイ５０８等を有する。また、通信管理システム５０は、ネットワークＩ／Ｆ５０９、キーボード５１１、マウス５１２、ＣＤ－ＲＯＭドライブ５１４、及びバス５１０等を有する。

ＣＰＵ５０１は、例えば、ＲＯＭ５０２、ＨＤ５０４等に格納されたプログラムやデータを読み出し、処理を実行することにより、通信管理システム５０が備える各機能を実現する演算装置である。ＲＯＭ５０２は、ＩＰＬ等のＣＰＵ５０１の起動に用いられるプログラム等を予め記憶した不揮発性のメモリである。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリア等として利用される揮発性のメモリである。

ＨＤ５０４は、例えば、ＯＳや、アプリケーションプログラム等のプログラムや、各種のデータを記憶するストレージ装置である。ＨＤＤ５０５は、ＣＰＵ５０１の制御にしたがって、ＨＤ５０４に対する各種データの読み出し又は書き込みを制御する。ディスプレイ５０８は、例えば、カーソル、メニュー、ウィンドウ、文字、又は画像等の各種の情報を表示する表示装置である。

ネットワークＩ／Ｆ５０９は、通信ネットワーク２を利用してデータ通信を行うための通信インタフェースである。キーボード５１１は、システム管理者による文字、数値、各種指示などの入力操作を受け付けるための入力装置の一例である。マウス５１２は、システム管理者による各種指示の選択や実行、処理対象の選択、カーソルの移動等の操作を受け付けるポインティングデバイスの一例である。

なお、ディスプレイ５０８、キーボード５１１及びマウス５１２に関して、通信管理システム５０又は中継装置３０は普段は有していなくてもよい。この場合、必要に応じて接続されてよい。

メディアドライブ５０７は、例えば、メモリカード等の記録メディア５０６に対するデータの読み出しや、書き込み（記憶）を制御する。ＣＤ－ＲＯＭドライブ５１４は、着脱可能な記録媒体の一例としてのディスク５１３に対するデータの読み出し又は書き込みを制御する。バス５１０は、上記の各構成要素を電気的に接続し、アドレス信号、データ信号、及び各種の制御信号等を伝達する。

なお、上記のコンピュータのハードウェア構成はあくまで一例である。

中継装置３０は、通信管理システム５０と同様のハードウェア構成を有しているものとする。なお、通信端末１０、中継装置３０、及び通信管理システム５０用の各プログラムは、インストール可能な形式又は実行可能な形式のファイルによって、コンピュータで読み取り可能な記録メディアに記録されて流通されるようにしても良い。また、上記記録メディアの例として、ＣＤ－Ｒ(Compact Disc Recordable)、ＤＶＤ(Digital Versatile Disk)、ブルーレイディスク、ＵＳＢメモリ等が挙げられる。また、各プログラムが記憶されたＣＤ－ＲＯＭ等の記録メディア、並びに、これらプログラムが記憶されたＨＤ５０４は、プログラム製品(Program Product)として、国内又は国外へ提供されることができる。

＜＜移動装置のハードウェア構成＞＞
図６は、一実施形態に係る移動装置のハードウェア構成例を示す図である。移動装置２０は、例えば、ＣＰＵ４０１、ＲＡＭ４０２、ＲＯＭ４０３、外部機器Ｉ／Ｆ４０４、近距離無線通信部４０５、車輪駆動部４０６、操舵部４０７等を有する。

ＣＰＵ４０１は、ＲＯＭ４０３等に格納されたプログラムを実行することにより、移動装置２０の各機能を実現する演算装置である。ＲＡＭ４０２は、ＣＰＵ４０１のワークエリア等として用いられる揮発性のメモリである。ＲＯＭ４０３は、移動装置２０のプログラム等を記憶する不揮発性のメモリである。ＲＯＭ４０３は、例えば、フラッシュＲＯＭ等の書き換え可能な不揮発性メモリであっても良い。

外部機器Ｉ／Ｆ４０４は、通信端末１０の外部機器接続Ｉ／Ｆ１１７等と有線接続し、通信を行うための有線通信インタフェースである。

近距離無線通信部４０５は、例えば、通信端末１０の近距離無線通信部１１８と同じ無線通信方式により無線通信を行うための無線通信インタフェースである。移動装置２０は、例えば、外部機器Ｉ／Ｆ４０４、又は近距離無線通信部４０５により、通信端末１０と通信可能であれば良い。

車輪駆動部４０６は、移動装置２０を移動させるための車輪を駆動させる駆動装置の一例である。車輪駆動部４０６には、例えば、モータ等が含まれる。

操舵部４０７は、車輪駆動部４０６によって移動する移動装置２０の操舵を行う操舵装置の一例である。操舵部４０７は、例えば、車輪の向きや傾きを変えるものであっても良いし、左右の車輪の回転数や速度等を制御することにより、移動装置２０の向きを変えるもの等であっても良い。

＜＜広角撮像装置のハードウェア構成例＞＞
図７を用いて、広角撮像装置９のハードウェア構成を説明する。図７は、広角撮像装置９の一例のハードウェア構成図である。以下では、広角撮像装置９は、２つの撮像素子を使用した全天球（全方位）広角撮像装置９であるが、撮像素子は２つ以上いくつでもよい。また、必ずしも全方位撮像専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位の撮像ユニットを取り付けることで、実質的に広角撮像装置９と同じ機能を有するようにしてもよい。

図７に示されているように、広角撮像装置９は、撮像ユニット３０１、画像処理ユニット３０４、撮像制御ユニット３０５、マイク３０８、音処理ユニット３０９、ＣＰＵ(Central Processing Unit)３１１、ＲＯＭ(Read Only Memory)３１２、ＳＲＡＭ(Static Random Access Memory)３１３、ＤＲＡＭ(Dynamic Random Access Memory)３１４、操作部３１５、ネットワークＩ／Ｆ３１６、通信部３１７、アンテナ３１７ａ、電子コンパス３１８、ジャイロセンサ３１９、及び、加速度センサ３２０なども接続される。

このうち、撮像ユニット３０１は、各々半球画像を結像するための１８０°以上の画角を有する広角レンズ（いわゆる魚眼レンズ）３０２ａ，３０２ｂと、各広角レンズに対応させて設けられている２つの撮像素子３０３ａ，３０３ｂを備えている。撮像素子３０３ａ，３０３ｂは、魚眼レンズ３０２ａ，３０２ｂによる光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサやＣＣＤ(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。

撮像ユニット３０１の撮像素子３０３ａ，３０３ｂは、各々、画像処理ユニット３０４とパラレルＩ／Ｆバスで接続されている。一方、撮像ユニット３０１の撮像素子３０３ａ，３０３ｂは、撮像制御ユニット３０５とは別に、シリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット３０４、撮像制御ユニット３０５及び音処理ユニット３０９は、バス３１０を介してＣＰＵ３１１と接続される。更に、バス３１０には、ＲＯＭ３１２、ＳＲＡＭ３１３、ＤＲＡＭ３１４、操作部３１５、ネットワークＩ／Ｆ３１６、通信部３１７、及び電子コンパス３１８なども接続される。

画像処理ユニット３０４は、撮像素子３０３ａ，３０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、図９（ｃ）に示されているような正距円筒射影画像のデータを作成する。

撮像制御ユニット３０５は、一般に撮像制御ユニット３０５をマスタデバイス、撮像素子３０３ａ，３０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子３０３ａ，３０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ３１１から受け取る。また、撮像制御ユニット３０５は、同じくＩ２Ｃバスを利用して、撮像素子３０３ａ，３０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ３１１に送る。

また、撮像制御ユニット３０５は、操作部３１５のシャッターボタンが押下されたタイミングで、撮像素子３０３ａ，３０３ｂに画像データの出力を指示する。広角撮像装置９によっては、ディスプレイ（例えば、通信端末１０Ｂのディスプレイ）によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子３０３ａ，３０３ｂからの画像データの出力は、所定のフレームレート（フレーム／分）によって連続して行われる。

また、撮像制御ユニット３０５は、後述するように、ＣＰＵ３１１と協働して撮像素子３０３ａ，３０３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、広角撮像装置９にはディスプレイが設けられていないが、表示部を設けてもよい。

マイク３０８は、音を音（信号）データに変換する。音処理ユニット３０９は、マイク３０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。

ＣＰＵ３１１は、広角撮像装置９の全体の動作を制御すると共に必要な処理を実行する。ＲＯＭ３１２は、ＣＰＵ３１１のための種々のプログラムを記憶している。ＳＲＡＭ３１３及びＤＲＡＭ３１４はワークメモリであり、ＣＰＵ３１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ３１４は、画像処理ユニット３０４での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。

操作部３１５は、シャッターボタンなどの操作ボタンの総称である。操作者は操作部３１５を操作することで、種々の撮像モードや撮像条件などを入力する。

ネットワークＩ／Ｆ３１６は、ＳＤカード等の外付けのメディアやパーソナルコンピュータなどとのインタフェース回路（ＵＳＢＩ／Ｆ等）の総称である。また、ネットワークＩ／Ｆ３１６としては、無線、有線を問わない。ＤＲＡＭ３１４に記憶された正距円筒射影画像のデータは、このネットワークＩ／Ｆ３１６を介して外付けのメディアに記録されたり、必要に応じてネットワークＩ／Ｆ３１６を介して通信端末１０Ｂ等の外部端末（装置）に送信されたりする。

通信部３１７は、広角撮像装置９に設けられたアンテナ３１７ａを介して、Wi－Fi、NFC、Bluetooth（登録商標）等の近距離無線通信技術によって、通信端末１０Ｂの外部端末（装置）と通信を行う。この通信部３１７によっても、正距円筒射影画像のデータを通信端末１０Ｂ等の外部端末（装置）に送信することができる。

電子コンパス３１８は、地球の磁気から広角撮像装置９の方位を算出し、方位情報を出力する。この方位情報はExif(Exchangeable image file format)に沿った関連情報（メタデータ）の一例であり、撮像画像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮像日時、及び画像データのデータ容量の各データも含まれている。

ジャイロセンサ３１９は、広角撮像装置９の移動に伴う角度の変化（ロール角、ピッチング角、ヨー角）を検出する。角度の変化はExifに沿った関連情報（メタデータ）の一例であり、撮像画像の画像補正等の画像処理に利用される。

加速度センサ３２０は３軸方向の加速度を検出する。検出した加速度に基づいて広角撮像装置９の姿勢（重力方向に対する角度）を検出する。ジャイロセンサ３１９と加速度センサ３２０は両方を有することで画像補正の精度が向上する。

＜全天球映像について＞
次に、図８を用いて、広角撮像装置９の使用状況を説明する。なお、図８は、広角撮像装置９の使用イメージ図である。広角撮像装置９は、図８に示されているように、例えば、ユーザが手に持ってユーザの周りの被写体を撮像するために用いられる。この場合、図７に示されている撮像素子３０３ａ及び撮像素子３０３ｂによって、それぞれユーザの周りの被写体が撮像されることで、２つの半球画像を得ることができる。

次に、図９及び図１０を用いて、広角撮像装置９で撮像された画像から正距円筒射影画像ＥＣ及び全天球画像ＣＥが作成されるまでの処理の概略を説明する。なお、図９（ａ）は広角撮像装置９で撮像された半球画像（前側）、図９（ｂ）は広角撮像装置９で撮像された半球画像（後側）、図９（ｃ）は正距円筒図法により表された画像（以下、「正距円筒射影画像」という）を示した図である。図１０（ａ）は正距円筒射影画像で球を被う状態を示した概念図、図１０（ｂ）は全天球画像を示した図である。

図９（ａ）に示されているように、撮像素子３０３ａによって得られた画像は、後述の魚眼レンズ３０２ａによって湾曲した半球画像（前側）となる。また、図９（ｂ）に示されているように、撮像素子３０３ｂによって得られた画像は、魚眼レンズ３０２ｂによって湾曲した半球画像（後側）となる。そして、半球画像（前側）と、１８０度反転された半球画像（後側）とは、広角撮像装置９によって合成され、図９（ｃ）に示されているように、正距円筒射影画像ＥＣが作成される。

そして、OpenGL ES（Open Graphics Library for Embedded Systems）が利用されることで、図１０（ａ）に示されているように、正距円筒射影画像が球面を覆うように貼り付けられ、図１０（ｂ）に示されているような全天球画像ＣＥが作成される。このように、全天球画像ＣＥは、正距円筒射影画像ＥＣが球の中心を向いた画像として表される。なお、OpenGL ESは、２Ｄ(2－Dimensions) 及び３Ｄ(3－Dimensions)のデータを視覚化するために使用するグラフィックスライブラリである。なお、全天球画像ＣＥは、静止画であっても動画であってもよい。

以上のように、全天球画像ＣＥは、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、全天球画像ＣＥの一部の所定領域（以下、上記の「所定領域映像」に相当）を湾曲の少ない平面画像として表示することで、人間に違和感を与えない表示をすることができる。これに関して、図１１及び図１２を用いて説明する。所定領域映像は動画でも静止画でもよい。

なお、図１１は、全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラＩＣは、三次元の立体球として表示されている全天球画像ＣＥに対して、その画像を見る操作者の視点の位置に相当するものである。また、図１２（ａ）は図１１の立体斜視図、図１２（ｂ）はディスプレイに表示された場合の所定領域映像を表す図である。また、図１２（ａ）では、図１１に示されている全天球画像が、三次元の立体球ＣＳで表されている。このように生成された全天球画像ＣＥが、立体球ＣＳであるとすると、図１２に示されているように、仮想カメラＩＣが全天球画像ＣＥの内部に位置している。全天球画像ＣＥにおける所定領域Ｔは、仮想カメラＩＣの撮像領域であり、全天球画像ＣＥを含む三次元の仮想空間における仮想カメラＩＣの撮像方向と画角を示す所定領域情報によって特定される。また、所定領域Ｔのズームは、仮想カメラＩＣを全天球画像ＣＥに近づいたり、遠ざけたりすることで表現することもできる。所定領域映像Ｑは、全天球画像ＣＥにおける所定領域Ｔの画像である。したがって、所定領域Ｔは画角αと、仮想カメラＩＣから全天球画像ＣＥまでの距離ｆにより特定できる（図１３参照）。

そして、図１２（ａ）に示されている所定領域映像Ｑは、図１２（ｂ）に示されているように、所定のディスプレイに、仮想カメラＩＣの撮像領域の画像として表示される。図１２（ｂ）に示されている画像は、初期設定（デフォルト）された所定領域情報によって表された所定領域映像である。以下では、仮想カメラＩＣの撮像方向（ea，aa）と画角（α）を用いて説明する。なお、所定領域Ｔは、画角αと距離ｆではなく、所定領域Ｔである仮想カメラＩＣの撮像領域（Ｘ，Ｙ，Ｚ）によって示してもよい。

次に、図１３を用いて、所定領域情報と所定領域Ｔの画像の関係について説明する。なお、図１３は、所定領域情報と所定領域Ｔの画像の関係との関係を示した図である。図１３に示されているように、「ea」はelevation angle（仰角）、「aa」はazimuth angle（方位角）、「α」は画角(Angle)を示す。即ち、撮像方向（ea，aa）で示される仮想カメラＩＣの注視点が、仮想カメラＩＣの撮像領域である所定領域Ｔの中心点ＣＰとなるように、仮想カメラＩＣの姿勢を変更することになる。図１３に示されているように、仮想カメラＩＣの画角αによって表される所定領域Ｔの対角画角をαとした場合の中心点ＣＰが、所定領域情報の（ｘ，ｙ）パラメータとなる。ｆは仮想カメラＩＣから中心点ＣＰまでの距離である。Ｌは所定領域Ｔの任意の頂点と中心点ＣＰとの距離である（２Ｌは対角線）。そして、図１３では、一般的に以下の（式１）で示される三角関数が成り立つ。

Ｌ／ｆ＝ｔａｎ（α／２）・・・（式１）
＜機能について＞
次に、図１４を用いて通信システムの機能について説明する。図１４は、通信システム１が有する通信管理システム５０、通信端末１０Ｂ、及び、通信端末１０Ａの機能をブロック状に示す機能ブロック図である。

＜＜通信端末１０Ａの機能構成＞＞
通信端末１０Ａは、例えば、移動装置２０等の機器の制御のための操作指示を受け付けるが、移動装置２０等の機器の制御機能を持たない通信端末１０である。通信端末１０Ａは、送受信部１１、操作入力受付部１２、通信制御部１３、撮像部１４、音声入力部１５ａ、音声出力部１５ｂ、表示制御部１６、及び記憶・読出部１７を有している。これらの各部は、図４に示されている各構成要素のいずれかが、フラッシュメモリ１０４からＲＡＭ１０３上に展開された通信端末１０用のプログラムに従ったＣＰＵ１０１からの命令によって動作することで実現される機能又は手段である。また、通信端末１０は、図４に示されているＲＡＭ１０３、及び図４に示されているフラッシュメモリ１０４によって実現される記憶部１８を有している。

＜＜通信端末１０Ｂの機能構成＞＞
通信端末１０Ｂは、移動装置２０に搭載された通信端末１０である。通信端末１０Ｂは、例えば、移動装置２０等の機器の制御機能を有する通信端末１０の一例である。通信端末１０Ｂは、前述した通信端末１０Ａの機能構成に加えて、操作指示受信部１９ａ、全天球映像受信部１９ｂ、機器制御部１９ｃ、及び、機器間通信部１９ｄ等を有する。

（通信端末１０の各機能構成）
次に、通信端末１０（通信端末１０Ａ及び通信端末１０Ｂ）の各機能構成について詳細に説明する。

送受信部１１は、通信ネットワーク２を介して他の通信端末、装置又はシステムと各種データ（又は情報）の送受信を行う。送受信部１１は、所望の宛先端末と通話を開始する前から、通信管理システム５０より、宛先候補としての各通信端末の状態を示す各状態情報の受信を開始する。なお、この状態情報は、各通信端末１０の稼動状態（ＯＮラインかＯＦＦラインかの状態）だけでなく、ＯＮラインの場合、更に通話可能であるか、通話中であるか等の詳細な状態を示す。

操作入力受付部１２は、操作者による通信端末に対する各種入力を受け付ける。例えば、操作者が、通信端末１０の電源をＯＮさせる操作を行うと、操作入力受付部１２が操作を受け付けて電源をＯＮに制御する。

通信制御部１３は、例えば、上記電源ＯＮの受付を契機として、送受信部１１から通信ネットワーク２を介して通信管理システム５０に、ログインを要求する旨を示すログイン要求情報、及び要求元端末の現時点のＩＰアドレスを自動的に送信する。また、操作者が、通信端末１０の電源をＯＦＦする操作を行うと、送受信部１１が通信管理システム５０へ電源をＯＦＦする旨の状態情報を送信した後に、操作入力受付部１２が電源をＯＦＦにする。これにより、通信管理システム５０側では、通信端末１０が電源ＯＮから電源ＯＦＦになったことを把握することができる。

また、通信制御部１３は、中継装置３０を介して、他の通信端末１０とコンテンツデータの送受信を行うセッションの確立や、切断等、様々な通信制御を行う。なお、本実施形態に係る通信制御部１３は、通信管理システム５０に送信するセッションの制御情報（例えば、後述する開始要求情報、開始応答情報等）に、通信端末１０の通信ＩＤ（Identification）を含めて送信する。

通信ＩＤは、通信端末１０を用いてコンテンツデータの送受信を行うセッションに参加可能なアカウントの識別情報の一例である。通信ＩＤは、例えば、操作者の識別情報であるユーザＩＤ、アプリの識別情報であるアプリＩＤ、通信端末１０の契約者の識別情報である契約ＩＤ等であっても良い。また、通信ＩＤとしては、文字、数字、記号、及び各種のしるしのうち、少なくとも２つが組み合わされた情報が挙げられる。メールアドレスなどでもよい。

撮像部１４は、被写体を撮像して得られた撮像データを、所定の画像（映像）データに変換して出力する。撮像部１４は通信端末の正面側に１つ（正面映像を撮像）、背面側に１つある（背面映像を撮像）。これ以上の数の撮像部があってもよい。

音声入力部１５ａは、マイク１１４によって操作者の音声が音声信号に変換された後、この音声信号を所定の音声データに変換して出力する。音声出力部１５ｂは、音声データを音声信号に変換してスピーカに出力して、スピーカ１１５から音声を出力させる。

表示制御部１６は、例えば、通信端末１０が受信したコンテンツデータに含まれる画像データを表示部１０９、又は表示入力部１１０等に表示させる。また、表示制御部１６は、通信管理システム５０から受信した宛先リストの情報を表示部１０９に送信して、表示部１０９に宛先リストを表示させることができる。

記憶・読出部１７は、記憶部１８に各種データを記憶したり、記憶部１８に記憶された各種データを読み出したりする処理を行う。

記憶部１８には、例えば、前述した通信ＩＤと通信ＩＤに対応するパスワード等の認証情報が記憶される。記憶部１８には、宛先端末との通話を行う際に受信される画像データ及び音声データが、受信される度に上書き記憶される。このうち、上書きされる前の画像データによって表示部１０９等に画像が表示され、上書きされる前の音声データによってスピーカ１１５から音声が出力される。

続いて、通信端末１０Ｂに含まれる各機能構成について説明する。

全天球映像受信部１９ｂは、例えば、Bluetooth（登録商標）などの無線通信又はＵＳＢケーブルなどの有線通信で広角撮像装置９から正距円筒射影映像を受信する。正距円筒射影映像は動画と見なせる程度の頻度で繰り返し送信される動画である。ただし、静止画でもよいし、動画と静止画を切り替え可能であってもよい。

操作指示受信部１９ａは、送受信部１１を介して、通信端末１０Ａから通信端末１０Ｂに対する機器（移動装置２０）の制御を要求する操作指示情報を受信する。この操作指示情報には、例えば、操作指示情報を送信した通信端末１０の通信ＩＤ、及び要求する制御内容を示す操作指示等が含まれる。

機器制御部１９ｃは、操作指示受信部１９ａで受信された操作指示情報に含まれる操作指示に基づいて、移動装置２０を制御する。機器間通信部１９ｄは、近距離無線通信部１１８を用いて移動装置２０と通信を行う。

＜＜移動装置の機能構成＞＞
移動装置２０は、例えば、機器間通信部２１、及び走行制御部２２等を有する。機器間通信部２１は、例えば、図６に示されているＣＰＵ４０１からの命令、及び外部機器Ｉ／Ｆ４０４、又は近距離無線通信部４０５等によって実現される。ここでは、機器間通信部２１は、近距離無線通信部４０５を用いて通信端末１０Ｂと通信を行うものとする。

走行制御部２２は、通信端末１０Ａから取得した制御内容に応じて、例えば、図６の車輪駆動部４０６、及び操舵部４０７を制御することにより、移動装置２０を前進、後退、左旋回、右旋回等の移動（走行）を制御する。

＜＜広角撮像装置の機能構成＞＞
広角撮像装置９は、例えば、広角画像送信部３１、及び広角画像撮像部３２等を有する。広角画像撮像部３２は周囲３６０度の広角な正距円筒射影映像を所定のフレームレートで撮像する。静止画を撮像してもよい。広角画像送信部３１は、図７に示した通信部３１７により実現されており、動画又は静止画の正距円筒射影映像を通信端末１０Ｂに送信する。

＜＜通信管理システムの機能構成＞＞
通信管理システム５０は、送受信部５１、端末認証部５２、端末管理部５３、端末抽出部５４、セッション管理部５５、及び記憶・読出部５７等を有している。これら各部は、図５に示されている各構成要素のいずれかが、ＨＤ５０４からＲＡＭ５０３上に展開された通信管理システム５０用のプログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は機能する手段である。また、通信管理システム５０は、図５に示されているＨＤ５０４等により実現される記憶部５０００を有している。

（通信管理システムの各機能構成）
次に、通信管理システム５０の各機能構成について詳細に説明する。送受信部５１は、通信ネットワーク２を介して他の通信端末、装置又はシステムと各種データ（又は情報）の送受信を行う。

端末認証部５２は、送受信部５１を介して受信されたログイン要求情報に含まれている通信ＩＤ及びパスワードの組み合せが、認証管理ＤＢ（Database）５００２に含まれるか否かを判断することにより通信端末１０の認証を行う。

端末管理部５３は、端末管理ＤＢ５００３に、通信ＩＤ毎の、宛先名、稼動状態、要求情報等の受信日時、及び要求元端末のＩＰアドレス等を関連付けて記憶して、管理する。例えば、端末管理部５３は、操作者が通信端末１０の電源をＯＮからＯＦＦにすることで、通信端末１０から送られてきた、電源をＯＦＦする旨の状態情報に基づいて、端末管理ＤＢ５００３の稼動状態をＯＮラインからＯＦＦラインに変更する。

端末抽出部５４は、ログイン要求した要求元端末の通信ＩＤをキーとして、宛先リスト管理ＤＢ５００４を検索し、要求元端末と通話することができる宛先端末の通信ＩＤを抽出する。更に、端末抽出部５４は、宛先リスト管理ＤＢ５００４を検索し、上記要求元端末の通信ＩＤを宛先端末の候補として登録している他の通信端末の通信ＩＤも抽出する。

更に、端末抽出部５４は、抽出された宛先端末の候補の通信ＩＤを検索キーとして、前述した端末管理ＤＢ５００３を検索し、抽出された通信ＩＤ毎に稼動状態を読み出す。これにより、端末管理部５３は、ログイン要求してきた要求元端末と通話することができる宛先端末の候補の稼動状態を取得することができる。また、端末管理部５３は、要求元の通信ＩＤを検索キーとして、前述した端末管理ＤＢ５００３を検索し、ログイン要求してきた要求元端末の稼動状態も取得する。

セッション管理部５５は、通信管理システム５０が管理するセッションの制御を行う。セッションの制御には、例えば、セッションを確立するための制御、確立されたセッションに通信端末１０を参加させる制御、セッションを切断する制御、セッションＩＤの生成等が含まれる。また、セッション管理部５５は、セッションの識別情報であるセッションＩＤに対応づけて、セッションの開始を要求した通信端末１０の通信ＩＤ、及び宛先端末の通信ＩＤ等を、セッション管理ＤＢ５００５に記憶して、管理する。

記憶・読出部５７は、図５に示されているＣＰＵ５０１からの命令及びＨＤＤ５０５によって実現され、又はＣＰＵ５０１からの命令によって実現される。記憶・読出部５７は、記憶部５０００への各種データを記憶、及び記憶部５０００からの各種データの読み出しを行う。

＜通信管理システムが管理する情報の例＞
通信管理システム５０の記憶部５０００に記憶されている各管理ＤＢについて説明する。

通信管理システム５０の記憶部５０００に記憶された認証管理ＤＢ５００２には、例えば、表２に示されているような認証管理テーブル６０２が含まれる。この認証管理テーブル６０２では、通信管理システム５０によって管理される通信端末１０の通信ＩＤと、通信ＩＤに対応するパスワードとが関連付けられて管理されている。例えば、表２に示されている認証管理テーブル６０２において、通信ＩＤが「０１ａａ」の通信端末１０のパスワードは、「ａａａａ」であることが示されている。

通信管理システム５０の記憶部５０００に記憶された端末管理ＤＢ５００３には、例えば、表２に示されているような端末管理テーブル６０３が含まれる。この端末管理テーブル６０３では、通信端末１０の通信ＩＤ毎に、各通信端末１０を宛先とした場合の宛先名、各通信端末１０の稼動状態、後述のログイン要求情報が通信管理システム５０で受信された受信日時、及び通信端末１０のＩＰアドレスが関連付けられて管理される。例えば、表３に示されている端末管理テーブル６０３において、通信ＩＤが「０１ａａ」の通信端末１０は、端末名が「日本本社」で、稼動状態が「ＯＮライン（通信可能）」であることが示されている。また、通信ＩＤが「０１ａａ」の通信端末１０は、通信管理システム５０でログイン要求情報が受信された日時が「２０ｘｘ年４月１０日の１３時４０分」で、ＩＰアドレスが「１．２．１．３」であることが示されている。

通信管理システム５０の記憶部５０００に記憶された宛先リスト管理ＤＢ５００４には、例えば、表３に示されているような宛先リスト管理テーブル７０１が含まれる。この宛先リスト管理テーブル７０１では、テレビ会議における通信の開始を要求する要求元端末の通信ＩＤに対して、宛先端末の候補として登録されている宛先端末の通信ＩＤが全て関連付けられて管理される。例えば、表４に示されている宛先リスト管理テーブル７０１において、通信ＩＤが「０１ａａ」である要求元端末から通信の開始を要求することができる宛先端末の候補は、通信ＩＤが「０１ｂ１」、「０１ｂ２」、及び「０１ｂ３」の通信端末である。この宛先端末の候補は、任意の要求元端末から通信管理システム５０に対する追加又は削除の要請により、通信管理システム５０によって追加又は削除されることで更新される。

このような構成によれば、要求元端末（例えば、０１ａａ）は予め登録されている宛先端末の候補（例えば、０１ｂ１）としか通信を開始できない。この宛先端末（例えば、０１ｂ１）も要求元端末（例えば、０１ａａ）を宛先端末として宛先リスト管理テーブル７０１に登録しておかなければ要求元端末と通信できない。このような仕組みは想定外の通信端末１０同士が通信する可能性を低減できる点で好ましい。ただし、宛先リスト管理テーブル７０１への登録を不要にして任意に通信端末１０同士が通信できてもよい。

通信管理システム５０の記憶部５０００に記憶されたセッション管理ＤＢ５００５には、例えば、表４に示されているようなセッション管理テーブル７０２が含まれる。このセッション管理テーブル７０２には、セッションの識別情報であるセッションＩＤ毎に、中継に使用される中継装置３０の中継装置ＩＤ、要求元端末の通信ＩＤ、宛先端末の通信ＩＤ、及びセッション参加日時等の情報が管理される。例えば、表５に示されているセッション管理テーブル７０２において、セッションＩＤ「ｓｅ２」のセッションは、要求元端末の通信ＩＤ「０１ａｄ」と宛先端末の通信ＩＤ「０１ｃａ」との間で行われていることが示されている。また、セッションＩＤ「ｓｅ２」のセッションは、中継装置ＩＤ「１１１ｂ」の中継装置３０を介して、「２０ｘｘ／４／１０１３：１１：１１」に開始されたことが示されている。

＜処理の流れ＞
次に、通信システム１の処理の流れについて説明する。

（準備段階の処理）
図１５は、通信システム１の通信の準備段階の処理の例を示すシーケンス図である。ここでは、一例として、通信端末１０Ａと通信端末１０Ｂ１によるセッションを開始する前の準備段階における処理について説明する。なお、以下の説明の中で、通信端末１０Ａの通信ＩＤは「０１ａａ」、通信端末１０Ｂ１の通信ＩＤは「０１ｂ」であるものとする。

まず、要求元端末である通信端末１０Ａの操作者が、例えば、通信端末１０Ａの電源をＯＮにする操作を行うと、操作入力受付部１２が電源ＯＮにする操作を受け付けて、通信端末１０Ａの電源をＯＮにする（ステップＳ２１）。

そして、通信制御部１３は、上記の電源ＯＮを契機とし、送受信部１１から通信ネットワーク２を介して通信管理システム５０に、ログインを要求するログイン要求情報を送信する（ステップＳ２２）。なお、ログイン要求情報が、通信端末１０Ａの電源をＯＮにする操作によって送信されるのは一例であって、例えば、操作者による入力部１０８への操作や、アプリの起動等によって送信されるものであっても良い。

また、ログイン要求情報には、要求元としての自機である通信端末１０Ａを識別するための通信ＩＤ（要求元端末の通信ＩＤ）及びパスワードが含まれている。これら通信ＩＤ及びパスワードは、例えば、記憶・読出部１７を介して記憶部１８から読み出された情報である。また、通信端末１０Ａから通信管理システム５０へログイン要求情報が送信される際に、受信側である通信管理システム５０は、送信側である通信端末１０ＡのＩＰアドレスを把握することができる。

次に、通信管理システム５０の端末認証部５２は、送受信部５１を介して受信したログイン要求情報に含まれている通信ＩＤ及びパスワードを検索キーとして、前述した認証管理テーブル６０２を検索する。端末認証部５２は、通信端末１０Ａから受信したログイン要求情報に含まれる通信ＩＤ及びパスワードの組み合せが、認証管理テーブル６０２に含まれるか否かによって認証を行う（ステップＳ２３）。

端末認証部５２により、正当な利用権限を有する通信端末１０Ａからのログイン要求であると判断された場合、端末管理部５３は、端末管理テーブル６０３に記録されている通信端末１０Ａの通信ＩＤ「０１ａａ」の稼動状態を、「ＯＮライン（通信可能）」に変更する。このとき、端末管理部５３は、受信日時を更新し、また、必要に応じて、通信端末１０のＩＰアドレスを更新する（ステップＳ２４）。これにより、端末管理テーブル６０３には、通信端末１０Ａの通信ＩＤ「０１ａａ」に、稼動状態「ＯＮライン（通信可能）」、受信日時「２０ｘｘ．４．１０．１３：４０」及び通信端末１０ＡのＩＰアドレス「１．２．１．３」が関連付けて管理される。

そして、通信管理システム５０の送受信部５１は、上記の端末認証部５２によって得られた認証結果が示された認証結果情報を、通信ネットワーク２を介して、上記ログイン要求してきた要求元端末である通信端末１０Ａに送信する（ステップＳ２５）。ここでは、端末認証部５２によって正当な利用権限を有する通信端末であると判断された場合について、以下で説明する。

通信管理システム５０の端末抽出部５４は、ログイン要求した要求元端末（通信端末１０Ａ）の通信ＩＤ「０１ａａ」を検索キーとして、宛先リスト管理テーブル７０１を検索する。これにより、端末管理部５３は、要求元端末（通信端末１０Ａ）と通信することができる宛先端末の候補の通信ＩＤを抽出する（ステップＳ２６）。ここでは、一例として、要求元端末（通信端末１０Ａ）の通信ＩＤ「０１ａａ」に対応する宛先端末の通信ＩＤとして、「０１ｂ１」、「０１ｂ２」、「０１ｂ３」が抽出されるものとする。

次に、端末抽出部５４は、抽出された宛先端末の候補の通信ＩＤ（「０１ｂ１」、「０１ｂ２」、「０１ｂ３」）を検索キーとして、端末管理テーブル６０３を検索する。これにより、抽出された通信ＩＤ毎に稼動状態を読み出すことにより、通信ＩＤ（「０１ｂ１」、「０１ｂ２」、「０１ｂ３」）の各稼動状態を取得する（ステップＳ２７）。

次に、送受信部５１は、宛先端末の候補の通信ＩＤ（「０１ｂ１」、「０１ｂ２」、「０１ｂ３」）のそれぞれの稼動状態が含まれた宛先状態情報を、要求元端末（通信端末１０Ａ）に送信する（ステップＳ２８）。これにより、要求元端末（通信端末１０Ａ）は、この要求元端末（通信端末１０Ａ）の宛先端末の候補となる通信ＩＤ（「０１ｂ１」、「０１ｂ２」、「０１ｂ３」）の現時点の稼動状態を把握することができる。通信端末１０Ａは図１６に示される宛先選択画面を表示する。

更に、通信管理システム５０の端末抽出部５４は、ログイン要求してきた要求元端末（通信端末１０Ａ）の通信ＩＤ「０１ａａ」を検索キーとして、宛先リスト管理テーブル７０１を検索する。これにより、端末抽出部５４は、要求元端末（通信端末１０Ａ）の通信ＩＤ「０１ａａ」を宛先端末の候補として登録している他の要求元端末の通信ＩＤを抽出する（ステップＳ２９）。表３に示されている宛先リスト管理テーブル７０１では、抽出される他の要求元端末の通信ＩＤは、「０１ｂ１」、「０１ｂ２」及び「０１ｂ３」である。

次に、通信管理システム５０の端末管理部５３は、上記ログイン要求して来た要求元端末（通信端末１０Ａ）の通信ＩＤ「０１ａａ」を検索キーとして、端末管理テーブル６０３を検索する。これにより、端末管理部５３は、ログイン要求してきた要求元端末（通信端末１０Ａ）の稼動状態を取得する（ステップＳ３０）。

そして、通信管理システム５０の端末管理部５３は、上記ステップＳ２９で抽出された通信ＩＤ（「０１ｂ１」、「０１ｂ２」、「０１ｂ３」）のうち、端末管理テーブル６０３で稼動状態が「ＯＮライン（通信可能）」となっている通信ＩＤ（「０１ｂ１」、「０１ｂ２」、「０１ｂ３」）を抽出する。

また、送受信部５１は、抽出された通信ＩＤ（「０１ｂ１」、「０１ｂ２」、「０１ｂ３」）に対応する通信端末１０Ｂ１に、要求元端末（通信端末１０Ａ）の通信ＩＤ「０１ａａ」と稼動状態「ＯＮライン（通信可能）」が含まれる宛先状態情報を送信する（ステップＳ３１）。

一方、他の通信端末１０Ｂ１でも、例えば、電源ＯＮの操作等に応じて、上記ステップＳ２２～Ｓ３２の処理と同様の処理を行う。通信端末１０Ｂ１の電源ＯＮは例えば移動装置２０の管理者などによって行われる。

＜宛先選択画面＞
図１６は、通信端末１０Ａに表示される宛先選択画面の一例を示す図である。図１６に示す宛先選択画面１２０１には、操作者に宛先の通信端末１０の選択を促すメッセージ１２０２と、宛先の通信端末１０を選択する複数のボタン１２０３が表示されている。通信端末１０Ａの操作者は、例えば、表示された複数のボタン１２０３の中から１つのボタン１２０３を選択することにより、セッションへの参加を要求する宛先端末を選択する。つまり、どの移動装置２０を制御するかを選択する。図１６に示すように、操作者が複数の通信端末１０Ｂを選択できることで、操作者は異なる拠点の状況を同じ場所から把握できる。

＜通信処理＞
図１７は、通信システム１の通信処理の例を示すシーケンス図である。ここでは、通信端末１０Ａと、移動装置２０を制御可能な機器制御端末である通信端末１０Ｂ１との間で通信を開始する通信管理方法の例について説明する。

ステップＳ９０１において、通信端末１０Ａの操作入力受付部１２は通信端末１０Ａの操作者による、宛先端末（通信端末１０Ｂ１）の選択操作を受け付ける。

通信端末１０Ａの送受信部１１は通信管理システム５０にセッションの開始を要求する開始要求情報を送信する（ステップＳ９０２）。この開始要求情報には、例えば、要求元端末である通信端末１０Ａの通信ＩＤである要求元端末の通信ＩＤ、宛先端末である通信端末１０Ｂ１の通信ＩＤである宛先端末の通信ＩＤ等が含まれる。また、開始要求情報には、通信端末１０ＡのＩＰアドレス（要求元ＩＰアドレス）等の情報も含まれる。

ステップＳ９０３において、通信端末１０Ａから開始要求情報を受信した通信管理システム５０の端末管理部５３は、開始要求情報に含まれる要求元端末（通信端末１０Ａ）の通信ＩＤ「０１ａａ」に基づいて、端末管理ＤＢ５００３を更新する。例えば、端末管理部５３は、通信端末１０Ａの通信ＩＤ「０１ａａ」に対応する稼動状態の情報を「ＯＮライン（通信中）」に変更し、受信日時の情報も更新する。

ステップＳ９０４において、通信管理システム５０のセッション管理部５５は、宛先端末である通信端末１０Ｂ１にセッションの開始を要求する開始要求情報を送信する。この開始要求情報には、例えば、要求元端末である通信端末１０Ａの要求元端末の通信ＩＤが含まれる。

ステップＳ９０５において、通信管理システム５０から開始要求情報を受信した通信端末１０Ｂ１は、通信管理システム５０に開始応答情報を送信する。この開始応答情報には、例えば、通信端末１０Ｂ１の宛先端末の通信ＩＤ等が含まれる。本実施形態では、通信端末１０Ｂ１側の操作は必要なく開始応答情報が送信されるものとするが、通信端末１０Ｂ１を管理者が操作することを条件としてもよい。

ステップＳ９０６において、通信端末１０Ｂ１から開始応答情報を受信した通信管理システム５０の端末管理部５３は、開始応答情報に含まれる通信端末１０Ｂ１の通信ＩＤ「０１ｂ１」に基づいて、端末管理ＤＢ５００３を更新する。例えば、端末管理部５３は、通信端末１０Ｂ１の通信ＩＤ「０１ｂ１」に対応する稼動状態の情報を「ＯＮライン（通信中）」に変更し、受信日時の情報を更新する。

ステップＳ９０７において、通信管理システム５０のセッション管理部５５は、セッションを識別するための識別情報であるセッションＩＤを採番する。また、セッション管理部５５は、作成されたセッションＩＤを、要求元端末の通信ＩＤ（通信端末１０Ａの通信ＩＤ）、及び宛先端末の通信ＩＤ（通信端末１０Ｂ１の通信ＩＤ）と対応づけてセッション管理ＤＢ５００５に記憶する。

ステップＳ９０９において、通信管理システム５０のセッション管理部５５は、中継装置３０に、セッション情報を送信する。このセッション情報には、例えば、ステップＳ９０７で作成されたセッションＩＤ等の情報が含まれる。中継装置３０はセッションＩＤに基づいてセッション管理ＤＢ５００５からセッション情報を取得できる。

ステップＳ９１０ａにおいて、通信管理システム５０のセッション管理部５５は、通信端末１０Ａにセッションの開始を指示する開始指示情報を送信する。同様に、ステップＳ９１０ｂにおいて、通信管理システム５０のセッション管理部５５は、通信端末１０Ｂ１にセッションの開始を指示する開始指示情報を送信する。開始指示情報にはセッションＩＤが含まれ、通信端末１０はセッションＩＤに基づいてセッション管理ＤＢ５００５からセッション情報を取得できる。

ステップＳ９１１ａにおいて、通信端末１０Ａは、受信した開始指示情報に基づいて、中継装置３０との間でセッションを確立する。同様に、ステップ９１１ｂにおいて、通信端末１０Ｂ１は、受信した開始指示情報に基づいて、中継装置３０との間でセッションを確立する。これにより、同じセッションに通信端末１０Ａと１０Ｂ１が参加できる。

ステップＳ９１１ｃにおいて、広角撮像装置９の広角画像送信部３１は正距円筒射影映像を通信端末１０Ｂ１に送信する。例えば、通信端末１０Ｂ１がセッションを確立すると、通信端末１０Ｂ１が正距円筒射影映像の撮像と送信の開始を広角撮像装置９に指示する。あるいは、広角撮像装置９の電源がＯＮの間、常に、広角撮像装置９が正距円筒射影映像を通信端末１０Ｂ１に送信してもよい。また、正距円筒射影映像はセッションの確立前から送信されてもよい。

通信端末１０Ａと通信端末１０Ｂ１は、同じセッションＩＤのセッションに参加し、画像データや音声データ等のコンテンツデータを送受信することにより、例えば、テレビ会議を行うことができる（Ｓ９１２）。

また、通信端末１０Ａは、確立されたセッションを用いて、通信端末１０Ｂ１との間で機器（例えば移動装置２０）の操作に関する情報を送受信することができる。

なお、機器の操作に関する情報の送受信は、セッションを用いずに、通信管理システム５０を介した制御セッションを用いて送受信されるものであっても良いし、通信ネットワーク２等を介して、通信端末１０Ａと通信端末１０Ｂ１との間で送受信されるものであっても良い。

ここでは、通信端末１０Ａは、確立されたセッションを用いて、通信端末１０Ｂ１との間で機器（例えば移動装置２０）の操作に関する情報を送受信するものとして以下の説明を行う。

ステップＳ９１３において、通信端末１０Ａの操作者が、機器の操作画面に入力を行うと、入力された操作に応じた操作指示情報が、セッションを用いて送信される。この操作指示情報には、例えば、通信端末１０Ａの通信ＩＤ、及び操作者の操作内容に応じた操作指示が含まれる。

ステップＳ９１４において、通信端末１０Ｂ１の機器制御部１９ｃは、通知された操作指示情報に含まれる操作指示に基づいて、機器間通信部１９ｄを介して、移動装置２０を制御する。

＜パターン１＞
続いてパターン１～３のそれぞれについて、操作者がある方向を見ている場合に移動装置２０がどの方向を向いているかを把握できるように表示する表示例を説明する。

まず、図１８～図２１を用いてパターン１について説明する。図１８は、撮像方向の基準となる基準撮像方向と移動装置２０の正面方向を説明する図の一例である。広角撮像装置９は移動装置２０に固定されているので、移動装置２０の正面方向を広角撮像装置９の撮像方向で表すことができる。移動装置２０の正面方向と同じ撮像方向を基準撮像方向（ea0,aa0）とする。

操作者が見ている撮像方向が基準撮像方向の場合、操作者はテレプレゼンスロボットの背面からテレプレゼンスロボットの前方を見ている構図となる。

次に、図１９は、操作者が表示させた任意の撮像方向（ea,aa）と基準撮像方向（ea0,aa0）の関係を示す図である。基準撮像方向（ea0,aa0）は固定なので、基準撮像方向（ea0,aa0）に対する撮像方向（ea,aa）の差異（Δea,Δaa）は以下のようになる。
Δea＝ea0－ea
Δaa＝aa0－aa
説明を容易にするため水平方向だけを考える。撮像方向が基準撮像方向からΔaaだけ変わったことは、テレプレゼンスロボットから見るとΔaaだけ逆に回転したことになる。例えば、撮像方向が水平方向に９０度大きくなった場合、テレプレゼンスロボットは水平方向に９０度小さくなる方向に回転する。撮像方向が水平方向に９０度小さくなった場合、テレプレゼンスロボットは水平方向に９０度大きくなる方向に回転する。回転の中心はテレプレゼンスロボットの重心でよい。

したがって、表示制御部１６は（－Δea,－Δaa）だけテレプレゼンスロボットを回転させて表示させる。（－Δea,－Δaa）を基準撮像方向（ea0,aa0）との差異でなく、直前の撮像方向（ea,aa）からの差分で算出してもよい。

表示制御部１６は予め用意されているテレプレゼンスロボットのポリゴン模型を水平方向と仰角方向に回転させる。テレプレゼンスロボットのポリゴン模型の中心を通る直交座標系の２つの軸を中心にそれぞれ回転させる座標変換を行う。

図２０は、透視投影変換を模式的に説明する図の一例である。透視投影変換は視点をＺ軸上において、Ｚ軸に垂直な投影面８３０にオブジェクトを投影する変換である。本実施形態のオブジェクトはテレプレゼンスロボットのポリゴン模型と全天球映像の所定領域映像Ｑである。原点Ｏは図１０に示したように立体球の中心である。原点Ｏから近い順に投影面８３０、テレプレゼンスロボットのポリゴン模型８３９、及び、所定領域映像Ｑである。全天球映像を表示部１０９に表示するための通常の透視投影変換ではテレプレゼンスロボットのポリゴン模型８３９は配置されないが、パターン１では、Ｚ軸上にテレプレゼンスロボットのポリゴン模型８３９が配置される。投影面８３０からどの位の距離に配置されるかは、実験的に決定されてよい。通信端末１０Ａの上側に広角撮像装置９が搭載されており、全天球映像は広角撮像装置９で撮像されたものなので、ポリゴン模型８３９は投影面８３０に近い方が視点と広角撮像装置９のずれが少なくなる。

なお、テレプレゼンスロボットのポリゴン模型８３９はＺ軸上になくてもよい。例えば、所定領域映像Ｑの四隅（コーナー）のいずれかに投影されるように配置されてよい。

テレプレゼンスロボットのポリゴン模型８３９は、図１９にて説明したように基準撮像方向（ea0,aa0）に対する撮像方向（ea,aa）の差異（Δea,Δaa）によりローカル座標系で回転されている。その後、図２０のような全天球映像を投影するための座標系に配置される。これにより、全天球映像において移動装置２０がどの方向を向いているかをテレプレゼンスロボットの画像で表示できる。

図２１は、パターン１で表示された全天球映像表示画面１０１０の一例である。図２１（ａ）の全天球映像表示画面１０１０では、通信端末１０Ａが基準撮像方向の全天球映像を表示している。したがって、テレプレゼンスロボットの画像８４０は操作者に対し背面を向けている。次に、操作者が全天球映像を右方向に回転させた。説明の便宜上、水平方向に９０度回転させたものとする。この間、移動装置２０は移動又は旋回していない。

図２１（ｂ）は、操作者が全天球映像を右方向に回転させた後のテレプレゼンスロボットの画像８４０を示す。実空間のテレプレゼンスロボットは図２１（ｂ）の全天球映像の撮像方向に対し、左９０度を向いているので、テレプレゼンスロボットの画像８４０も左９０度を向いている。テレプレゼンスロボットの画像８４０は、所定領域映像Ｑが変わると、変わった量に応じて向きが変わる。

したがって、操作者は全天球映像を任意に回転させても、実空間のテレプレゼンスロボットがどの方向を向いているかを容易に把握できる。

図２２は、通信端末１０Ａが所定領域映像を表示部１０９に表示させる手順を示すフローチャート図の一例である。図２２の処理は、ユーザが撮像方向を変更するたびに実行される。

まず、操作入力受付部１２は操作者による撮像方向の操作を受け付ける（Ｓ１００１）。

次に、表示制御部１６は基準撮像方向に対する撮像方向の差異（Δea,Δaa）を算出する（Ｓ１００２）。基準撮像方向を基準にするのでなく、直前の撮像方向との差異を算出してもよい。

次に、表示制御部１６はテレプレゼンスロボットのポリゴン模型を差異と逆に（-Δea,-Δaa）だけ回転させる（Ｓ１００３）。

そして、表示制御部１６は所定領域映像とポリゴン模型を透視投影変換して表示する（Ｓ１００４）。

なお、テレプレゼンスロボットの画像は半透明であることが好ましい。また、半透明の程度を操作者が決定できることが好ましい。更に、テレプレゼンスロボットの画像の表示と非表示を操作者が設定できることが好ましい。これらにより、テレプレゼンスロボットの画像が全天球映像の閲覧を阻害することを抑制できる。

＜パターン２＞
続いて、パターン２におけるテレプレゼンスロボットの向きの表示方法を説明する。パターン２は、操作者が見ている全天球映像とは別に、全天球映像がテレプレゼンスロボットから見てどの方向を表示しているかをテレプレゼンスロボットと撮像方向矢印８で表示する表示方法である。

図２３は、テレプレゼンスロボットのポリゴン模型と撮像方向矢印のオブジェクトの一例を示す。予めテレプレゼンスロボットのポリゴン模型８５０で用意しておく。テレプレゼンスロボットのポリゴン模型８５０は所定の座標系に配置しておく。撮像方向矢印のオブジェクト８５１もポリゴンで形成されている。操作者が決定した撮像方向はea,aaで表されるので、表示制御部１６は撮像方向ea,aaを示す所定長の撮像方向矢印のオブジェクト８５１を生成する。例えば、予め用意した撮像方向矢印のオブジェクト８５１を撮像方向ea,aaに向けて配置する。

図示するように、表示制御部１６は撮像方向矢印のオブジェクト８５１の矢尻を広角撮像装置９に一致させて、所定の座標系に配置する。以降は透視投影変換して表示部１０９に配置すればよい。これにより、立体的に撮像方向矢印８を表示できる。撮像方向矢印８は、所定領域映像Ｑが移動装置２０から見てどの方向の画像であるかを示す情報となる。したがって、撮像方向矢印８はテレプレゼンスロボットの画像８５４（移動装置２０）を起点とする矢印の画像である。

テレプレゼンスロボットの画像８５４と撮像方向矢印８は図２（ｂ）に示したように、所定領域映像８５３と並べて表示される。ただし、表示部１０９の画面サイズが小さい場合などに対応するため、表示制御部１６はどちらか一方のみを表示してもよい。例えば、操作者が所定領域映像８５３をマウスでドラッグしたり、指でスワイプしたりすると、テレプレゼンスロボットの画像８５４と撮像方向矢印８が現れる。

また、図２３において、撮像方向に応じてテレプレゼンスロボットのオブジェクト８５１を回転させてから透視投影を行ってもよい。撮像方向によって撮像方向矢印８が見やすい視点が異なるためである。例えば、基準撮像方向の場合のテレプレゼンスロボットのオブジェクト８５１（正面方向の撮像方向矢印８が見やすい水平角度になっている）を、Δeaだけ水平方向に回転させる。こうすることで、撮像方向がどこでも操作者は撮像方向矢印８がどこを向いているのかを把握しやすくなる。

図２４に示すように、パターン２において、撮像方向矢印８を水平方向と仰角方向に分けて表示してもよい。図２４はパターン２における撮像方向矢印８の別の表示例を示す。図２４（ａ）の全天球映像表示画面１０１０は全天球映像欄１００１、水平方向指示欄１００３、及び、仰角方向指示欄１００４を有する。水平方向指示欄１００３は上面視されたテレプレゼンスロボットの画像８５５を有し、撮像方向のうち水平方向のみを水平方向矢印８ａで示す。仰角方向指示欄１００４はテレプレゼンスロボットの画像８５４を有し、撮像方向のうち仰角方向のみを仰角方向矢印８ｂで示す。

水平方向と仰角方向を別々に表すことで、操作者は撮像方向のうち水平方向がどのくらいか、及び、仰角方向がどのくらいかを判断しやすくなる。

図２４（ａ）では、撮像方向のうち水平方向が前方の１８０度に含まれるため、仰角方向指示欄１００４の仰角方向矢印８ｂはテレプレゼンスロボットの前方に表示されている。一方、図２４（ｂ）では、撮像方向の水平方向が後方の１８０度に含まれるため、仰角方向指示欄１００４の仰角方向矢印８ｂはテレプレゼンスロボットの後方に表示されている。このように仰角方向矢印の表示位置を切り替えることで、水平方向が前方か後方かを操作者が直感的に把握できる。

なお、図２４のテレプレゼンスロボットの画像８５４、８５５、水平方向矢印８ａ、及び、仰角方向矢印８ｂは２次元で方向を表すので、ポリゴン模型を用意して透視投影変換する必要がなく、処理負荷を低減できる。

図２５は、パターン２において、通信端末１０Ａが全天球映像を表示部１０９に表示させる手順を示すフローチャート図の一例である。図２５の処理は、ユーザが撮像方向を変更するたびに実行される。

まず、操作入力受付部１２は操作者による撮像方向の操作を受け付ける（Ｓ２００１）。

次に、表示制御部１６は所定領域映像を透視投影変換して表示する（Ｓ２００２）。

次に、表示制御部１６は撮像方向に応じてテレプレゼンスロボットのポリゴン模型８５０に対する視点を決定する（Ｓ２００３）。

次に、表示制御部１６は撮像方向矢印のオブジェクト８５１を所定の座標系に配置する（Ｓ２００４）。すなわち、表示制御部１６は撮像方向矢印８のオブジェクト８５１の矢尻を広角撮像装置９に一致させて、テレプレゼンスロボットのオブジェクトを配置した座標系に配置する。

表示制御部１６は、テレプレゼンスロボットのポリゴン模型８５０と撮像方向矢印のオブジェクト８５１を透視投影変換して表示部１０９に表示する（Ｓ２００５）。

＜パターン３＞
パターン３は、撮像方向と移動装置２０の正面方向が略一致する場合にのみ操作ボタンを表示する。つまり、撮像方向（ea,aa）≒（ea0,aa0）の場合にだけ表示制御部１６は操作ボタン８６０を表示する。パターン３の全天球映像表示画面１０１０は図２（ｃ）を参照されたい。

図２６は、パターン３において、通信端末１０Ａが全天球映像を表示部１０９に表示させる手順を示すフローチャート図の一例である。図２６の処理は、ユーザが撮像方向を変更するたびに実行される。

まず、操作入力受付部１２は操作者による撮像方向の操作を受け付ける（Ｓ３００１）。

次に、表示制御部１６は所定領域映像Ｑを透視投影変換して表示する（Ｓ３００２）。

次に、表示制御部１６は撮像方向と基準撮像方向が略一致するか否かを判断する（Ｓ３００３）。

ステップＳ３００３の判断がＹｅｓの場合、表示制御部１６は操作ボタン８６０を全天球映像に重ねて表示する（Ｓ３００４）。

ステップＳ３００３の判断がＮｏの場合、表示制御部１６は操作ボタン８６０を全天球映像に表示しない。

したがって、移動装置２０の正面方向と操作者が見ている全天球映像の撮像方向を略一致させた時にだけ操作ボタン８６０が表示されるので、移動装置２０を前進させた場合にどこに移動するかを操作者が把握できる。また、操作ボタン８６０が表示された時は、移動装置２０の向きを把握できる。

なお、図２（ｃ）の左図ｃ－１では操作ボタン８６０が一切表示されていないが、移動装置２０の正面方向と操作者が見ている全天球映像の撮像方向が略一致しない場合に、操作ボタン８６０を、操作者が操作できない態様で表示してもよい。操作できない態様とは、例えば低輝度で表示したり、グレーで表示したり、半透明で表示したり（透明度を大きくする）することをいう。操作者が操作ボタン８６０を押下しても、操作入力受付部１２は操作を受け付けない。

＜その他の適用例＞
以上、本発明を実施するための最良の形態について実施例を用いて説明したが、本発明はこうした実施例に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

例えば、本実施形態では正面撮像装置が撮像した正面映像（又は背面映像）について説明していないが、パターン１～３のそれぞれで適宜、正面映像（又は背面映像）が表示される。

図２７は、全天球映像と正面映像（又は背面映像）を同時に表示する映像同時表示画面２００１の一例である。映像同時表示画面２００１は全体表示欄２００２と正面表示欄２００３を有している。全体表示欄２００２にはパターン１～３のいずれかの映像が表示される。正面表示欄２００３には正面撮像装置が撮像した正面映像（又は背面映像）が表示される。したがって、操作者は常に正面又は背面を確認しながら、全体表示欄２００２で任意の方向を表示させることができる。

また、本実施形態では広角撮像装置９が通信端末１０Ｂに正距円筒射影映像を送信し、通信端末１０Ｂが正距円筒射影映像を通信端末１０Ａに送信したが、広角撮像装置９が直接、通信端末１０Ａとセッションを接続し、正距円筒射影映像を送信してもよい。この場合、広角撮像装置９は通信端末１０の一形態となり、映像を送信するが受信はしない通信端末１０となる。

また、本実施形態では背面映像が送信されると説明したが、通信端末１０Ｂは背面映像を送信しなくてもよい。また、通信端末１０Ｂが正面映像と背面映像とは別に通常の画角の映像を送信してもよい。

また、本実施形態では、陸上を走行する移動装置２０を例に説明したが、移動装置２０はドローンなどのように空中を飛行してもよい。また、海上を航行してもよいし、水中を移動してもよい。また、地下、狭路、地中を移動してもよい。また、陸上を移動する場合、車輪で移動してもよいし、２足、３足、４足などの多脚移動を行ってもよいし、キャタピラー（登録商標）で移動してもよい。

また、テレプレゼンスロボットに限らず、人間が移動させる装置に搭載された広角撮像装置９と平面撮像装置の映像に本実施形態の表示方法を適用してもよい。

また、本実施形態では主に、１人の操作者が１つの移動装置２０を操作する例を説明したが、１人の操作者が複数の移動装置２０を操作することも可能である。この場合、通信端末１０Ａは複数の通信端末１０Ｂとセッションを確立する。逆に、複数の操作者が１つの移動装置２０を操作することも可能である。この場合、例えば最後に通信端末１０Ｂに送信された操作指示情報が有効となってもよいし、操作権という概念を導入し操作権がある通信端末１０Ａのみが操作指示の送信を可能としてもよい。操作権は操作者などの操作により移転できる。

また、本実施形態では操作指示情報が通信セッションで送信されると説明したが、コンテンツデータのセッションで送信されてもよい。

また、本実施例では、中継装置３０を介して通信端末１０が通信しているが、通信端末１０は中継装置を介さずに通信してもよい。このような通信の通信プロトコルとして例えばＷｅｂＲＴＣ（Web Real-Time Communication）が知られている。

また、図１４などの構成例は、通信管理システム５０及び通信端末１０による処理の理解を容易にするために、主な機能に応じて分割したものである。処理単位の分割の仕方や名称によって本願発明が制限されることはない。通信管理システム５０及び通信端末１０の処理は、処理内容に応じて更に多くの処理単位に分割することもできる。また、１つの処理単位が更に多くの処理を含むように分割することもできる。

また、本実施例では説明の都合上、通信管理システム５０と中継装置３０を別々の装置として説明したが、両者の機能が統合された装置が通信管理システム５０と中継装置３０の機能を提供してもよい。

また、通信システム１が複数の通信管理システム５０を有していてもよく、通信管理システム５０の機能が複数のサーバに分散して設置されていてもよい。

また、通信管理システム５０が記憶部５０００に有する各データベースの１つ以上は通信ネットワーク２上に存在していてもよい。

なお、送受信部１１は通信手段の一例であり、表示制御部１６は表示処理手段の一例であり、操作入力受付部１２は受付手段の一例である。

１通信システム
９広角撮像装置
１０通信端末
２０移動装置
５０通信管理システム

特開２０１３－１１２０３０号公報

Claims

ネットワークを介してテレプレゼンスロボットを遠隔操作により移動させる通信端末であって、
前記テレプレゼンスロボットから送信された広角映像の一部である所定領域映像と、前記所定領域映像に対する前記テレプレゼンスロボットの向きを示す情報とを表示し、前記所定領域映像の中心方向と前記テレプレゼンスロボットの正面方向とが略一致した場合に、前記テレプレゼンスロボットを操作する操作ボタンを表示する表示処理手段を有する、通信端末。
請求項１に記載の通信端末であって、
前記テレプレゼンスロボットは、前記広角映像より狭い画角で撮像された平面映像を撮像し、
前記表示処理手段は、前記テレプレゼンスロボットから送信された前記平面映像をさらに表示する、通信端末。
前記表示処理手段は、
前記テレプレゼンスロボットの向きを示す情報として、前記テレプレゼンスロボットの向きが分かる態様で表された前記テレプレゼンスロボットの画像を表示する、請求項１又は２に記載の通信端末。
前記表示処理手段は、
前記テレプレゼンスロボットの向きを示す情報として、前記テレプレゼンスロボットの画像を起点とする矢印の画像を表示する、請求項１又は２に記載の通信端末。
広角映像を撮影するテレプレゼンスロボットと、
ネットワークを介して前記テレプレゼンスロボットを遠隔操作により移動させる通信端末と、を有する通信システムであって、
前記通信端末は、
前記テレプレゼンスロボットから送信された前記広角映像の一部である所定領域映像と、前記所定領域映像に対する前記テレプレゼンスロボットの向きを示す情報とを表示し、前記所定領域映像の中心方向と前記テレプレゼンスロボットの正面方向とが略一致した場合に、前記テレプレゼンスロボットを操作する操作ボタンを表示する表示処理手段を有する、通信システム。
ネットワークを介してテレプレゼンスロボットを遠隔操作により移動させる通信端末が実行する通信方法であって、
前記テレプレゼンスロボットから送信された広角映像の一部である所定領域映像と、前記所定領域映像に対する前記テレプレゼンスロボットの向きを示す情報とを表示し、前記所定領域映像の中心方向と前記テレプレゼンスロボットの正面方向とが略一致した場合に、前記テレプレゼンスロボットを操作する操作ボタンを表示する表示処理ステップを有する、通信方法。
ネットワークを介してテレプレゼンスロボットを遠隔操作により移動させる通信端末に実行させるプログラムであって、
前記テレプレゼンスロボットから送信された広角映像の一部である所定領域映像と、前記所定領域映像に対する前記テレプレゼンスロボットの向きを示す情報とを表示し、前記所定領域映像の中心方向と前記テレプレゼンスロボットの正面方向とが略一致した場合に、前記テレプレゼンスロボットを操作する操作ボタンを表示する表示処理ステップを有するプログラム。