JP2024031744A - 地図表示システム - Google Patents

Abstract

【課題】複数の施設の環境形状計測、ＣＡＤデータ、あるいはＢＩＭデータから生成された複数の重畳地図を１つの電子ディスプレイ上に表示することを実現するシステムを提供する。
【解決手段】複数の施設の内部を三次元環境形状計測センサー４０によって計測してそれぞれの施設の内部のＶＲ地図を生成するか、あるいはＣＡＤデータやＢＩＭデータのＶＲ地図を利用し、前記ＶＲ地図上を、環境形状計測センサー２０を備えたテレプレゼンスロボット１０が走行することによってＳＬＡＭ地図を生成し、前記ＶＲ地図と前記ＳＬＡＭ地図を重畳した重畳地図をそれぞれの施設に対して生成し、生成された複数の前記重畳地図を一台の電子ディスプレイ装置３０に表示する。
【選択図】図１

Description

本発明は、テレプレゼンスロボット（以下、単にロボットとも称する）に備えられた環境形状計測センサーにより生成された自己位置推定地図において複数施設の自己位置推定地図を１つの電子ディスプレイ上に集約的に表示するシステムに関する。

近年、自分自身が現場に居ない代わりにロボットを現場に送り込むことにより、ロボットが送信する映像や音声を遠隔地で視聴できるテレプレゼンスロボットが活躍している。例えば、病気で入院している子供が、テレプレゼンスロボットを学校に待機させることによって、テレプレゼンスロボットが送信してくる授業をその場に居るかのように受講することができるようになる。加えて、テレプレゼンスロボットは車輪で走行することが可能なため、テレプレゼンスロボットの電子ディスプレイに自身の顔をリアルタイムに表示しながら学校内を移動し、ロボットを通じて様々な場所に居る先生や同級生と相互に会話することもできる。

特許文献１には、この様なテレプレゼンスロボットを利用したシステムが開示され、テレプレゼンスロボットと遠隔操作端末の映像表示部への映像の表示が対話者それぞれに適した表示となる様に、テレプレゼンスロボットを移動させることができ、また表示を制御することができるとしている。

特開２０１６－２０８４１６号公報

しかしながら、従来のテレプレゼンスロボットシステムでは、複数のテレプレゼンスロボットの自己位置推定地図を１つの電子ディスプレイ上に表示することができないという課題があった。例えば、同じ建物の１階と５階における自己位置推定地図の生成を考えてみる。１階と５階はエレベーターで繋がっているが、現在のテレプレゼンスロボットでは自身でエレベーターに乗り込み、階数のエレベーターボタンを押し、さらに目的の階に到着したらエレベーターを降りるといった作業をこなすことは困難である。そのため、１階に居るテレプレゼンスロボットＡが１階の自己位置推定地図を生成し、５階は別のテレプレゼンスロボットＢが自己位置推定地図を生成することになるため、結果として、テレプレゼンスロボットＡおよびテレプレゼンスロボットＢが生成した２つの自己位置推定地図は別々の電子ディスプレイ上に表示されることになる。

本発明は、このような事情に鑑みてなされたもので、複数の施設のそれぞれに装備されたテレプレゼンスロボットにより、各施設の自己位置推定地図を生成し、施設が互いに離れた場所であった場合でも１台の電子ディスプレイ上に各施設での自己位置推定地図を集約して表示する地図表示システムを提供する。

すなわち本発明の一態様は、複数の施設内部に係る情報を生成して一台のディスプレイ装置に表示するシステムであって、
前記複数の施設の内部を三次元環境形状計測センサーによって計測してそれぞれの施設の内部のＶＲ地図を生成するか、あるいは前記複数の施設のＣＡＤデータやＢＩＭ（Ｂｕｉ
ｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）データのＶＲ地図を利用し、前記ＶＲ地図上を、環境形状計測センサーを備えたテレプレゼンスロボットが走行することによってＳＬＡＭ地図を生成し、
前記ＶＲ地図と前記ＳＬＡＭ地図を重畳した重畳地図をそれぞれの施設に対して生成し、生成された複数の前記重畳地図を一台の電子ディスプレイ装置に表示することを特徴とする地図表示システムである。

また本発明の他の一態様は、上述の地図表示システムであって、前記テレプレゼンスロボットが仮想のものであり、仮想の環境形状計測センサーを備え、前記ＶＲ地図のデジタルデータ上で仮想的に走行して前記ＳＬＡＭ地図を生成するものである。

また本発明の他の一態様は、上述の地図表示システムであって、前記複数の施設の前記重畳地図の原点間に、一台の電子ディスプレイ装置に表示できるように距離のオフセットが設定されているものである。

また本発明の他の一態様は、上述の地図表示システムであって、前記テレプレゼンスロボットが走行を開始するスタート位置を、前記ＶＲ地図における直交座標の原点、および前記重畳地図における直交座標の原点としたものである。

本発明によれば、複数の施設の三次元環境形状計測センサー、あるいはＣＡＤデータやＢＩＭデータから生成された複数の重畳地図を一台の電子ディスプレイ装置に表示することを実現して、互いに遠隔の施設であっても1台の電子ディスプレイ装置で確認することができる。

本実施形態に係る地図表示システムを模式的に示す図である。 ２つの施設の場合における本実施形態に係る地図表示システムのプロセスの概要を示すフローチャートである。 ２つの施設の場合における本実施形態に係る地図表示システムの地図生成プロセスの一部を示す模式図である。 ２つの施設の場合における本実施形態に係る地図表示システムの地図生成プロセスの一部を示す模式図である。 本発明におけるＰＣ上での運用管理画面の最初に表示されるＵＩ（Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）である。 本発明におけるＰＣ上での運用管理画面の第二番目に表示されるＵＩである。 本発明におけるＰＣ上での運用管理画面の第三番目に表示されるＵＩである。 本発明におけるＰＣ上での運用管理画面に関して、テレプレゼンスロボットの走行ルートデータの作成に係るＵＩである。 本発明におけるＰＣ上での運用管理画面に関して、テレプレゼンスロボットの走行ルートデータの読み込みに係るＵＩである。 本発明におけるＰＣ上での運用管理画面に関して、隠しタブのＵＩである。 本発明におけるＰＣ上での運用管理画面に関して、テレプレゼンスロボットが備える電子ディスプレイに表示される画像のＵＩである。 本発明におけるＰＣ上での運用管理画面に関して、テレプレゼンスロボットが備えるスピーカーから出音される音源のＵＩである。 本発明におけるＰＣ上での運用管理画面に関して、テレプレゼンスロボットが備える電子ディスプレイから出力される映像のＵＩである。 三次元環境形状計測センサーの形態例である。

以下、本発明の実施形態について図１を参照しながら説明する。

図１は本実施形態に係る地図表示システムを模式的に示す図である。地図表示システム１は、複数の施設である施設Ａと施設Ｂに装備されたテレプレゼンスロボット１０、環境形状計測センサー２０、三次元画像計測センサー４０、およびこれらとネットワーク７０を介して接続された情報端末３０、重畳地図統合サーバ５０、および記憶部６０で構成されている。

テレプレゼンスロボット１０は、走行するための車輪を備えている。車輪は動力源に繋がっており、動力源が発生する動力によって車輪に力を伝える。動力源としては、電磁石モーターが好適で、例えば、ＤＣモーター、ブラシレスＤＣモーター、ステッピングモーター、サーボモーター、誘導モーター、ＰＭモーター、ＡＣモーター、インホイールモーターおよび超音波モーター等が挙げられる。内燃機関も動力源として使用できる。車輪の数と設置位置はテレプレゼンスロボット１０が安定に走行できる数と位置であれば特に限定しない。

テレプレゼンスロボット１０は、無線通信で遠隔制御が可能である。無線通信の手段としては、無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｗｉ－Ｆｉ（登録商標）、第３世代、第４世代、第５世代などの移動通信システム、およびＬＰＷＡ（Ｌｏｗ Ｐｏｗｅｒ Ｗｉｄｅ Ａｒｅａ）等が使える。

テレプレゼンスロボット１０は、電子ディスプレイ、ビデオカメラ，マイク、スピーカーを備えている。電子ディスプレイに関しては、マイクロメーターオーダーの微細なセルで区切られた画像表示用画素を備えているものであれば限定しないが、例えば、液晶ディスプレイ、有機ＥＬ（ＯＬＥＤ）ディスプレイ、マイクロＬＥＤディスプレイなど、公知の各種構造のものを選択できる。電子ディスプレイの表示色はカラーでもモノクロでも使用できる。ビデオカメラに関しては、電子ディスプレイに内蔵されているＷｅｂカメラでも、Ｗｅｂカメラとは別に設置する一眼レフビデオカメラでも所望の性能の物を採用できるが、例えば、画質、重量、サイズおよび価格の観点で適宜選択することが好ましい。マイクやスピーカーに関しては、ＰＣに内蔵されている一般的な物を適宜使用できる。

テレプレゼンスロボット１０は、環境形状計測センサー２０を備えている。環境形状計測センサー２０に関しては、テレプレゼンスロボット１０の自己位置推定を実現するために使用される。自己位置推定とは、環境形状計測センサー２０を用いて取得したテレプレゼンスロボット１０の周囲の地図を作成しながら、同時に、テレプレゼンスロボット１０の現在の位置情報を推定する方法のことで、テレプレゼンスロボット１０が走行することで新たな計測領域を拡大させながら全体の地図を完成させる手法である。自己位置推定を計算する手法としては、ＩＣＰ（Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ）やＮＤＴ（Ｎｏｒｍａｌ Ｄｉｓｔｒｉｂｕｔｉｏｎｓ Ｔｒａｎｓｆｏｒｍ）等のスキャンマッチング法、ベイズフィルター法が挙げられ、何れの手法も本発明に使用できる。環境形状計測センサー２０としては、例えば、レーザーレンジスキャナーを用いたＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｒａｎｇｉｎｇ）、ＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）センサー、超音波を用いたＴｏＦセンサーが好適であり、所望のセンサーを適宜選択できる。

テレプレゼンスロボット１０を物理的に実在する装置とした場合は、上述のような構成のものとなるが、テレプレゼンスロボット１０は仮想のものとすることができる。後述する三次元画像計測センサー４０が生成したＶＲ地図の画像、あるいはＣＡＤデータやＢＩＭデータを利用したＶＲ地図の画像は、当然にデジタルデータにより生成された仮想的な
三次元空間として構成されているので、この仮想的な空間を計測して内部地図を作成することも可能であり、その場合はデジタルデータをスキャニングして内部地図を作成することになるのであるから、テレプレゼンスロボット１０はデジタルデータ上のソフトウェアとして存在する仮想的なものとしても実現できるからである。

情報端末３０は、電子ディスプレイ、ビデオカメラ、マイク、およびスピーカーを備えた情報処理装置であれば特に限定しない。例えば、汎用のデスクトップ型コンピュータ、ノート型コンピュータ、タブレット、スマートフォン等が好適である。

三次元画像計測センサー４０は、複数枚の写真とその写真を撮影した位置情報を取得することによってＶＲ地図の画像を生成する。三次元画像計測センサー４０としては、例えば、ＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）やＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）等のレーザーレンジスキャナーを用いたセンサー（以下レーザーレンジセンサーとも記す）と、現場の環境画像を撮像する４眼撮像カメラなどのセンサーとを組み合わせた三次元スキャナー計測装置が好適である。三次元スキャナー計測装置の場合、前後、左右、上下を検出する加速度センサーと、東西南北を検出できる地磁気センサーを備えていることによって、６方向の位置計測が可能であるものが好ましい。三次元画像計測センサー４０は、例えば上記のようなセンサーを組み合わせて図１４の例の様に人が肩に担ぐなどして持ち運べるように構成することもできる。そしてその人が施設内を歩いてＬｉＤＡＲセンサーで位置情報を取得し、４眼撮像カメラなどのセンサーで環境画像を取得する。なおＶＲ地図の取得は三次元画像計測センサー４０によってだけなされるものではなく、ＣＡＤデータやＢＩＭデータをＶＲ地図として利用することも可能である。ＣＡＤデータやＢＩＭデータをＶＲ地図として利用することの利点としては、施設を建設するときに予め準備されていた既存の地図を使えることである。

重畳地図統合サーバ５０は、２つ以上の重畳地図をゲームエンジンに読み込ませ、１つの電子ディスプレイに同時に２つ以上の重畳地図が表示できるように距離オフセットの量を調整するゲームエンジンを備えたサーバである。重畳地図統合サーバ５０は、２つ以上の重畳地図のそれぞれの原点に距離オフセットを自動で設定し、様々な距離オフセット値に変更および調整を行いながら、１つの電子ディスプレイ上に同時に２つ以上の重畳地図が表示できるまで、距離オフセットの設定値を更新し続ける。このとき、施設の床面積、２つ以上の施設の原点のそれぞれの位置関係、および電子ディスプレイのサイズ等が設定値を更新するときのパラメータになる。ゲームエンジンとしては、Ｕｎｉｔｙ（登録商標）、Ｕｎｒｅａｌ Ｅｎｇｉｎｅ（登録商標）、ＣＲＹＥＮＧＩＮＥ（登録商標）、ＯＲＯＣＨＩ（登録商標）等が選択できる。

記憶部６０は、三次元画像センサー４０が取得した情報、仮想あるいは現実のテレプレゼンスロボット１０が取得した情報、およびそれらを用いて新たに生成した情報等を記憶したり、呼び出したりを行う。記憶部６０としては、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、不揮発性メモリ等を用いることができる。記憶部６０は情報端末３０に内蔵された態様とすることもできる。

ネットワーク７０は、各機器に繋がったインターネットの通信回線網である。ネットワーク７０の回線網は、有線であっても無線であっても、その両方の併用でも構わない。

続いて、図２～図４を参照しながら、遠隔地にある少なくとも２つ以上の施設の前記重畳地図を１つの電子ディスプレイ上に表示する方法について説明する。

例えば、北海道と沖縄県の間のような遠方に離れてある施設Ａと施設Ｂにおける２施設の重畳地図を生成および統合する方法について説明する。北海道にある施設Ａにはテレプ
レゼンスロボットＡが１台、沖縄県にある施設ＢにはテレプレゼンスロボットＢが１台配置されている。２つの施設にあるテレプレゼンスロボットの管理・運用は東京の中央監視センターで行うとする。前述の様に、テレプレゼンスロボットＡ、Ｂは実体的に設置されるものでも、仮想的なものでも良い。

ＶＲ地図は、前記三次元画像計測センサーで生成して取得する場合、あるいはＣＡＤデータやＢＩＭデータを利用して取得する場合が存在するが、以下では前者の場合で説明する。

先ず、施設Ａについて、前記三次元画像計測センサーで計測を開始するスタート地点を決める。このスタート地点が前記三次元画像計測センサーの三次元直交座標系での原点とする。前記スタート地点は施設内の特徴のある位置を選ぶのが好ましい。例えば、施設内の柱や固定家具の角、あるいは部屋の隅から何ｃｍ離れているか計測された位置等が好適である。

原点から計測をスタートした前記三次元画像計測センサーは、自身が備えている前記レーザーレンジセンサーによって自己位置推定地図Ａの生成を始めるとともに、特徴点となり得そうな形状が存在するポイントポイントで前記環境画像Ａを撮像する。前記三次元画像計測センサーが施設内を様々なルートで走行することによって自己位置推定地図Ａが拡大し、時間が経つとやがて施設内の前記自己位置推定地図Ａと地図上の位置情報を持つ多数の前記環境画像Ａが取得される。

前記自己位置推定地図Ａに前記環境画像ＡをＳｆＭ（Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｍｏｔｉｏｎ）ソフトウェアを用いることによって貼り付けて図３の上段の図の様にＶＲ地図Ａを生成する。図では表示の制約上２次元画像として示されているが、実際には３次元の画像データとして生成されている。ＶＲ地図Ａは施設Ａの室内の位置情報と環境形状の視覚情報を持ち合わせており、人の眼でもどの位置にどんな物体が存在しているかを視覚的に確認できる。ＳｆＭソフトウェアとしては、写真測量ソフトウェアを用いることができ、例えば、Ｍｅｔａｓｈａｐｅ（登録商標、Ａｇｉｓｏｆｔ ＬＬＣ社製）、Ｐｉｘ４Ｄｍａｐｐｅｒ（Ｐｉｘ４Ｄ社製）、ＴｅｒｒａＭａｐｐｅｒ（テラドローン社製）等が選択できる。

続いて、ＶＲ地図Ａの床面上を、仮想の環境形状計測センサーを備えた仮想のテレプレゼンスロボットを、前記原点をスタート地点として様々なルートで走行させることによって、図３の中段の図の様にＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ，自己位置推定と環境地図作成の同時実行）地図Ａを生成する。ＳＬＡＭを活用することで、テレプレゼンスロボットの様な移動体が未知の環境下での環境地図を作成し、自分がどこにいるのか、周辺がどうなっているのかを把握することができる。

あるいは、現実の施設Ａの床面上を、現実の環境形状計測センサーを備えた現実の実体的なテレプレゼンスロボットを前記原点をスタート地点として様々なルートで走行させることによって、ＳＬＡＭ地図Ａを取得しても良い。

次に、前記ＶＲ地図ＡとＳＬＡＭ地図Ａを、ゲームエンジンを用いて、前記ＶＲ地図Ａと、ＳＬＡＭ地図Ａで得た施設Ａの外形形状が一致するように重畳して、図３の下段の図の様に重畳地図Ａを完成させる。このとき、前記ＶＲ地図Ａの原点と、仮想あるいは現実のテレプレゼンスロボットのスタート地点の原点とは一致している。ゲームエンジンとしては、Ｕｎｉｔｙ、Ｕｎｒｅａｌ Ｅｎｇｉｎｅ、ＣＲＹＥＮＧＩＮＥ、ＯＲＯＣＨＩ等が選択できる。

施設Ｂについても同様の手順で施設Ｂの重畳地図Ｂを完成させる。

続いて、前記重畳地図Ａと前記重畳地図Ｂを重畳地図統合サーバに読み込み、１つの電子ディスプレイで同時に前記重畳地図Ａと前記重畳地図Ｂが表示されるように距離オフセットの量を調整して、図４の下段の図の様に統合して表示する。重畳地図統合サーバに備えるゲームエンジンとしては、Ｕｎｉｔｙ、Ｕｎｒｅａｌ Ｅｎｇｉｎｅ、ＣＲＹＥＮＧＩＮＥ、ＯＲＯＣＨＩ等が選択できる。

ここで本発明の地図表示システムにおけるＰＣ上での運用管理画面の一例について図５から図１３を用いて説明する。

前記運用管理画面では、図５に示した通り先ず屋内施設で動作させるテレプレゼンスロボットと屋内施設の内部形状の組み合わせを記載したロボット・屋内施設登録画面が表示される。前記ロボット・屋内施設登録画面では、最上部に最後に稼働させたときの情報ボタンが配置される。このボタンを最後稼働履歴情報ボタンと呼ぶ。前記最後稼働履歴情報ボタンの下には、以前登録したテレプレゼンスロボットと屋内施設の組み合わせを記載したボタン群が配置される。前記ボタン群をロボット・屋内施設登録ボタン群と呼ぶ。前記ロボット・屋内施設登録画面を閉じるには、右上の×ボタンを押下する。前記最後稼働履歴情報ボタンを押下、あるいは前記ロボット・屋内施設登録ボタン群のうちの一つを押下すると、テレプレゼンスロボットを稼働させるために必要な情報が記述されたデータファイルが読み込まれる。

前記最後稼働履歴情報ボタンにおいては、前回使用したデータ／Ｌａｓｔ ｕｓｅｄ ｄａｔａとして、最後にデータを保存した年月日、テレプレゼンスロボット名（Ｒｏｂｏ）、およびテレプレゼンスロボットを稼働させた屋内施設の名称（場所）が掲示される。更に、Ｅｄｉｔボタンを押下すると、前記データファイルがポップアップし、データファイルを編集することができる。加えて、稼働中ロボットに接続のＯＮ／ＯＦＦ切り替えボタンが配置され、ＯＮの場合は、本運用管理システムとテレプレゼンスロボットの間が通信回路で接続される。一方、稼働中ロボットに接続がＯＦＦの場合、本運用管理システムとテレプレゼンスロボットの間の通信回路が切断された状態になる。図５では例として２台のテレプレゼンスロボットの運用管理画面を図面として掲示するが、実際はテレプレゼンスロボットの台数は限定されない。

前記ロボット・屋内施設登録ボタン群においては、最後にデータを登録した年月日、テレプレゼンスロボット名、およびテレプレゼンスロボットを稼働させた屋内施設の名称が掲示される。加えて、Ｅｄｉｔボタンを押下すると、前記ロボット稼働データファイルがポップアップし、データファイルを編集することができる。

前記最後稼働履歴情報ボタンを押下、あるいはロボット・屋内施設登録ボタン群のうちの一つを押下すると、図６に示したように屋内施設（サイトＡ）の内部形状の３次元図絵が表示される。前記３次元図絵は、マウスで摘まみながら動かすことによって、上下左右に移動させることができる。更に、ＰＣのキーボードにおけるＡｌｔキーを押しながら、かつ前記３次元図絵を摘まみながらマウスを動かすことによって、前記３次元図絵を傾けることができる。加えて、マウスのホイールを回転させることによって、前記３次元図絵を拡大縮小することができる。屋内施設の内部図絵の表示は、ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）、ＣＡＤ、ＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）、およびＶＲ（Ｖａｒｔｕａｌ Ｒｅａｌｉｔｙ）等で描画されてよい。前記３次元図絵の左上に配置される矢印を押下すると、図７に示すようにロボット操縦管理画面に遷移する。前記３次元図絵の画面の右下には、視点切替、Ｎａｖｍｅｓｈ、およびスキャンの３つのボタンが配置される。

前記視点切替ボタンは、屋内施設の内部形状を３次元図絵から２次元図絵に、あるいはその逆の切り替えを行う。前記３次元図絵と同様に、２次元図絵もマウスのホイールを回転させることによって拡大縮小することができる。前記Ｎａｖｍｅｓｈボタンは、テレプレゼンスロボットが走行する床の範囲を表示する。前記スキャンボタンは、事前に屋内施設の内部形状をＬｉＤＡＲ（Ｌｉｇｈｔ Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｒａｎｇｉｎｇ）やＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）等のレーザーレンジスキャナーを用いたセンサーで計測した結果を表示する。前記３次元図絵を閉じるには、右上の×ボタンを押下する。

前記ロボット操縦管理画面においては、画面右側に配置されるポジション図面表示エリアと、画面左上に配置される撮像シーン表示エリアと、画面左下に配置されるロボットコントロールエリアとが設けられている。前記ロボット操縦管理画面の上部中央に配置された矢印を押下すると、前記３次元図絵の表示に戻ることができる。

前記ポジション図面表示エリアは、屋内施設の内部形状を表示することによって、複数台の遠隔操作テレプレゼンスロボットが屋内施設内のどこに居り、どの方角を向いており、かつ、走行しているか否かを図絵として表示するエリアである。更に、表示されるテレプレゼンスロボットには、ロボット毎にロボット名（ＯＨ５２，ＯＨ６６）が明示され、かつ、ロボットを中心に周囲を円形の図形で囲むことにより、ロボット同士の距離感の視認性を向上させている。

前記撮像シーン表示エリアは、複数台の遠隔操作ロボットのそれぞれに備えられたカメラで撮像されたシーンを表示するエリアである。前記撮像シーン表示エリアには、テレプレゼンスロボットが備えるカメラで撮像された映像を表示する枠がそれぞれのロボット毎に用意される。前記映像表示枠の左側には、テレプレゼンスロボットの台数を表す正の整数番号、ロボット名、ロボットのルートボタン、ロボットが備える電子ディスプレイの電源のＯＮ／ＯＦＦ切り替えボタン、およびロボットが備えるマイクとスピーカーの電源のＯＮ／ＯＦＦ切り替えボタンが配置される。前記映像表示枠の右下には虫眼鏡マークが配置され、これを押下することで前記映像表示枠内の映像が拡大される。もう一度、前記虫眼鏡マークを押下することで、映像が最初の枠のサイズに戻る。

前記ルートボタンを押下すると、図８に示すようにロボットの走行ルートの作成・読み込みを行うポップアップ画面が出現する。前記走行ルートの作成・読み込みを行うポップアップ画面においては、画面の上部に、ロボットの台数を表す正の整数番号、およびロボット名が表示される。また、ルート作成タブおよびルート読み込みタブが表示される。前記ルート作成タブにおいては、上部にはルート設定ボタン、中央部には待機時間設定枠、その場で待機ボタン、一時停止ボタン、角度入力枠、角度をセットボタン、およびリセットボタンが配置される。前記角度入力枠の直下には、入力した角度値を変化させることができるスライダーが配置される。更に、下部にはこの設定ルートを保存するボタン、および前記角度入力枠に入力した数値に応じて方角を変化させる矢印が配置される。前記ルート読み込みタブにおいては、図９に示すようにファイル名表示欄、および以前保存した走行ルートのデータファイルを読み出すための、ファイルを参照ボタンが配置される。前記走行ルートの作成・読み込みを行うポップアップ画面を閉じるには、右上の×ボタンを押下する。

前記ロボットコントロールエリアには、ＳｅｌｅｃｔエリアおよびＡｌｌエリアが設けられている。

ロボットを手動走行させる場合、前記撮像シーン表示エリアあるいは前記ポジション図面表示エリアで任意のロボットをマウスで押下することにより選択し、続いて、前記Ｓｅｌｅｃｔエリアにおいて、ロボットの前後左右の進行方向を制御するコントロールボタン、ロボットの上下首振りを制御するコントロールボタンを操作する。

一方、ロボットを自動走行させる場合は、前記撮像シーン表示エリアあるいは前記ポジション図面表示エリアで任意のロボットをマウスで押下することにより選択し、次に、前記ポジション図面表示エリアで、ＰＣのキーボードにおけるＣｔｒｌキーを押しながら、かつマウスで走行ルートの線を引くことによってロボットの走行ルート（Ｓｔａｒｔ地点とＧｏａｌ地点）を設定する。続いて、前記Ｓｅｌｅｃｔエリアにおいて、前記ルートが片道あるいはリピート（ルート走行の往復と繰り返し）を選択するボタンを押下し、スタートボタンで自動走行を開始させる。自動走行中のロボットを停止させる場合は、動作停止ボタンを押下する。自動走行のルート（Ｓｔａｒｔ地点とＧｏａｌ地点）を削除する場合は、ルート削除ボタンを押下する。ロボットを自動走行で充電器を設置した場所に戻すには、ホームボタンを押下する。探知ボタンは、ホームボタンを押下してもロボットが充電器の近傍までしか到達しなかったときに操作するボタンで、充電器の位置を検知してその位置まで戻る機能を有する。

前記Ｓｅｌｅｃｔエリアは、図１０に示すように隠しタブを備えている。前記隠しタブを開くと、前記Ｓｅｌｅｃｔエリアの左側に画像表示、音声再生、およびムービー再生の３つのボタンが表示される。

前記画像表示ボタンを押下した場合、図１１に示すようにロボットが備える電子ディスプレイ上に表示したい図絵・文字情報のボタンの一覧が表示される。複数の前記図絵・文字情報のうちの一つを選択すると、その図絵・文字情報が任意のロボットの電子ディスプレイ上に静止画として表示される。

前記音声再生ボタンを押下した場合、図１２に示すようにロボットが備えるスピーカーに出音したい音源情報のボタンの一覧が表示される。Ｌｉｓｔｅｎｉｎｇボタンは、ロボットが備えるスピーカーに出音する前に、確認のためＰＣのスピーカーに出音させて、音源を事前確認するためのボタンである。Ｓｅｎｄ ＢＧＭボタンは、実際に任意のロボットの備えるスピーカーから出音を指示するボタンである。更に、前記音源情報のボタン一覧の上部に配置されたＡＬＬ ＳＴＯＰボタンを押下すると、任意のロボットにおけるスピーカーからの出音を中止することができる。

前記ムービー再生ボタンを押下した場合、図１３に示したようにロボットが備える電子ディスプレイ上に出力したいムービー情報のボタンの一覧が表示される。それぞれのムービーには、ビデオ名とそのデータ容量が明記される。複数の前記ムービー情報のボタンのうちの一つを選択すると、そのムービーが任意のロボットの電子ディスプレイ上に映像として出力される。更に、前記ムービー情報のボタン一覧の上部に配置されたＡＬＬ ＳＴＯＰボタンを押下すると、任意のロボットにおける電子ディスプレイからの映像表示を中止することができる。

前記図絵・文字情報のボタンの一覧、前記音源情報のボタンの一覧、および前記ムービー情報のボタンの一覧を閉じるには、右上の×ボタンを押下する。

前記Ａｌｌエリアにおいて、ロボット走行時の最高・最低速度を設定するエリア速度設定のスライダーは、ロボットの手動および自動の両運転時に使用する。更に、前記Ａｌｌエリアにおいて、自動走行中および手動走行中の全ロボットの走行を停止させるには、全ロボット停止ボタンを押下する。加えて、図７に示される様に、ロボットに搭載されたス
ピーカーおよびマイクを通じた音声通話において、任意のロボットの音声通話を一斉にＯＮ／ＯＦＦを行う切り替えスイッチボタンが配置される。更に、ロボットを用いて電気器具、ここでは一例として、空調、照明、および３Ｄプリンターの電源のＯＮ／ＯＦＦを行う切り替えスイッチボタンを備える。前記ロボット操縦管理画面を閉じるには、右上の×ボタンを押下する。

以上説明したように、本実施形態に係る地図表示システムは、遠隔にある複数施設に居るテレプレゼンスロボットが生成した自己位置推定地図を同時に１つの電子ディスプレイに表示することが可能になるため、テレプレゼンスロボットにおける視覚的に統合監視・運用体制を構築できる。更に、テレプレゼンスロボットの生成した自己位置推定地図毎に電子ディスプレイを用意する必要がないという利点も生じる。

本発明に係る地図表示システムについて、応用シナリオを用いて更に説明する。本発明の技術的範囲は、応用シナリオの具体的内容のみを根拠として限定されることはない。

（応用シナリオ１：遠隔地間の事務所）
北海道の事務所Ｃの１階と沖縄県の事務所Ｄの１階のそれぞれにテレプレゼンスロボットを１台ずつ配置することにより、事務所内の巡回および警備を行っている。北海道の事務所の出入り口脇にある柱の角を原点として、三次元画像計測センサーＮａｖＶｉｓ ＶＬＸ（登録商標、独ＮａｖＶｉｓ社製）を用いて自己位置推定地図Ｃと環境画像Ｃを取得した。更に、写真測量ソフトウェアＭｅｔａｓｈａｐｅを用いて自己位置推定地図Ｃに環境画像Ｃを貼り付けることによって、ＶＲ地図Ｃを作成した。

加えて、ＶＲ地図Ｃの中を仮想のＬｉＤＡＲを備えた仮想のテレプレゼンスロボットを走行させてＳＬＡＭ地図Ｃを作成した。このとき、仮想のテレプレゼンスロボットの走行開始の原点を前記の北海道にある事務所Ｃの出入り口脇にある柱の角とした。

次に、ＶＲ地図ＣとＳＬＡＭ地図Ｃを、ゲームエンジンＵｎｉｔｙを用いて重畳し、重畳地図Ｃを作成した。

同様に、沖縄県の事務所Ｄのお客様案内所のデスクの角を原点として、三次元画像計測センサーＮａｖＶｉｓ ＶＬＸを用いて自己位置推定地図Ｄと環境画像Ｄを取得した。更に、写真測量ソフトウェアＭｅｔａｓｈａｐｅを用いて自己位置推定地図Ｄに環境画像Ｄを貼り付けることによって、ＶＲ地図Ｄを作成した。

加えて、ＶＲ地図Ｄの中を仮想のＬｉＤＡＲを備えた仮想のテレプレゼンスロボットを走行させてＳＬＡＭ地図Ｄを作成した。このとき、仮想のテレプレゼンスロボットの走行開始の原点を前記の沖縄県にある事務所のお客様案内所のデスクの角とした。

次に、ＶＲ地図ＤとＳＬＡＭ地図Ｄを、ゲームエンジンＵｎｉｔｙを用いて重畳し、重畳地図Ｄを作成した。

続いて、重畳地図Ｃと重畳地図Ｄを重畳地図統合サーバに読み込み、事務所Ｃの原点と事務所Ｄの原点の間で距離オフセットを自動設定しながら、重畳地図Ｃと重畳地図Ｄが同時に１つの電子ディスプレイ上に表示できるように距離オフセットの値を調整して完成させた。重畳地図統合サーバに備えられたゲームエンジンとしてはＵｎｉｔｙを用いた。

（応用シナリオ２：階数の違う事務所）
同じビルの１階と５階の事務所のそれぞれにテレプレゼンスロボットを１台ずつ配置することにより、事務所内の巡回および警備を行っている。テレプレゼンスロボットを監視す
る中央監視センターは１階に設置した。１階の事務所Ｅの出入り口脇にある柱の角を原点として、三次元画像計測センサーＮａｖＶｉｓ ＶＬＸを用いて自己位置推定地図Ｅと環境画像Ｅを取得した。更に、写真測量ソフトウェアＰｉｘ４Ｄｍａｐｐｅｒを用いて自己位置推定地図Ｅに環境画像Ｅを貼り付けることによって、ＶＲ地図Ｅを作成した。

加えて、１階の事務所Ｅの中を現実のＬｉＤＡＲを備えた現実のテレプレゼンスロボットを走行させてＳＬＡＭ地図Ｅを作成した。このとき、現実のテレプレゼンスロボットの走行開始の原点を前記の１階の事務所Ｅの出入り口脇にある柱の角とした。

次に、ＶＲ地図ＥとＳＬＡＭ地図ＥをゲームエンジンＵｎｒｅａｌ Ｅｎｇｉｎｅを用いて重畳し、重畳地図Ｅを作成した。

同様に、同ビルの５階の事務所Ｆの出入り口脇にある柱の角を原点として、三次元画像計測センサーＮａｖＶｉｓ ＶＬＸを用いて自己位置推定地図Ｆと環境画像Ｆを取得した。更に、写真測量ソフトウェアＰｉｘ４Ｄｍａｐｐｅｒを用いて自己位置推定地図Ｆに環境画像Ｆを貼り付けることによって、ＶＲ地図Ｆを作成した。

加えて、ＶＲ地図Ｆの中を現実のＬｉＤＡＲを備えた現実のテレプレゼンスロボットを走行させてＳＬＡＭ地図Ｆを作成した。このとき、現実のテレプレゼンスロボットの走行開始の原点を前記の５階の事務所Ｆの出入り口脇にある柱の角とした。

次に、ＶＲ地図ＦとＳＬＡＭ地図ＦをゲームエンジンＵｎｒｅａｌ Ｅｎｇｉｎｅを用いて重畳し、重畳地図Ｆを作成した。

続いて、重畳地図Ｅと重畳地図Ｆを重畳地図統合サーバに読み込み、１階の事務所Ｅの原点と５階の事務所Ｆの原点の間で距離オフセットを自動設定しながら、重畳地図Ｅと重畳地図Ｆが同時に１つの電子ディスプレイ上に表示できるように距離オフセットの値を調整して完成させた。重畳地図統合サーバに備えられたゲームエンジンとしてはＵｎｒｅａｌ Ｅｎｇｉｎｅを用いた。

（応用シナリオ３：遠隔地間の事務所）
北海道の事務所Ｇの１階と沖縄県の事務所Ｈの１階のそれぞれにテレプレゼンスロボットを１台ずつ配置することにより、事務所内の巡回および警備を行っている。北海道の事務所の１階のＣＡＤデータをＶＲ地図Ｇとし、ＶＲ地図Ｇにおける事務所の出入り口脇にある柱の角を原点とした。ＶＲ地図Ｇの中を仮想のＬｉＤＡＲを備えた仮想のテレプレゼンスロボットを走行させてＳＬＡＭ地図Ｇを作成した。

次に、ＶＲ地図ＧとＳＬＡＭ地図Ｇを、ゲームエンジンＣＲＹＥＮＧＩＮＥを用いて重畳し、重畳地図Ｇを作成した。

同様に、沖縄県の事務所Ｄの１階のＢＩＭデータをＶＲ地図Ｈとし、ＶＲ地図Ｈにおけるお客様案内所のデスクの角を原点とした。ＶＲ地図Ｈの中を仮想のＬｉＤＡＲを備えた仮想のテレプレゼンスロボットを走行させてＳＬＡＭ地図Ｈを作成した。

次に、ＶＲ地図ＨとＳＬＡＭ地図ＨをゲームエンジンＣＲＹＥＮＧＩＮＥを用いて重畳し、重畳地図Ｈを作成した。

続いて、重畳地図Ｇと重畳地図Ｈを重畳地図統合サーバに読み込み、事務所Ｇの原点と事務所Ｈの原点の間で距離オフセットを自動設定しながら、重畳地図Ｇと重畳地図Ｈが同時に１つの電子ディスプレイ上に表示できるように距離オフセットの値を調整して完成さ
せた。重畳地図統合サーバに備えられたゲームエンジンとしてはＣＲＹＥＮＧＩＮＥを用いた。

以上、本発明の各応用シナリオについて説明したが、具体的なシナリオはこれらの応用シナリオに限られるものではなく、本発明の要旨を逸脱しない範囲のシナリオの変更、組み合わせなども含まれる。

複数施設で走行稼働しているテレプレゼンスロボットの現在位置を１つの電子ディスプレイ上で表示するにあたり、電子ディスプレイからより遠く離れた施設にあるテレプレゼンスロボットの場合、より近くの施設にあるテレプレゼンスロボットと比べて現在位置の地図の更新時刻が古くなる可能性がある。しかし、第５世代の高速大容量移動通信システムを利用することによって各施設の地図更新時刻を低遅延で電子ディスプレイ上に表示できる。

本発明に係る地図表示システムにおいては、本来２台以上の電子ディスプレイを用いて表示しなければならなかった地図を１台の電子ディスプレイだけで表示することができるようになることから、頭を左右に振って電子ディスプレイを視認する角度が小さくなることによって１度に対象物（テレプレゼンスロボット）の現在位置を確認できる。加えて、電子ディスプレイの台数も節約することができるためコストを節約できるメリットも生じる。

１・・・地図表示システム
１０・・・テレプレゼンスロボット
２０・・・環境形状計測センサー
３０・・・情報端末
４０・・・三次元画像計測センサー
５０・・・重畳地図統合サーバ
６０・・・記憶部
７０・・・ネットワーク

Claims (4)

1. 複数の施設内部に係る情報を生成して一台のディスプレイ装置に表示するシステムであって、
   前記複数の施設の内部を三次元環境形状計測センサーによって計測してそれぞれの施設の内部のＶＲ地図を生成するか、あるいは前記複数の施設のＣＡＤデータやＢＩＭ（Ｂｕｉｌｄｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｍｏｄｅｌｉｎｇ）データのＶＲ地図を利用し、前記ＶＲ地図上を、環境形状計測センサーを備えたテレプレゼンスロボットが走行することによってＳＬＡＭ地図を生成し、
   前記ＶＲ地図と前記ＳＬＡＭ地図を重畳した重畳地図をそれぞれの施設に対して生成し、生成された複数の前記重畳地図を一台の電子ディスプレイ装置に表示することを特徴とする地図表示システム。
2. 前記テレプレゼンスロボットが仮想のものであり、仮想の環境形状計測センサーを備え、前記ＶＲ地図のデジタルデータ上で仮想的に走行して前記ＳＬＡＭ地図を生成することを特徴とする請求項１に記載の地図表示システム。
3. 前記複数の施設の前記重畳地図の原点間に、一台の電子ディスプレイ装置に表示できるように距離のオフセットが設定されていることを特徴とする請求項１に記載の地図表示システム。
4. 前記テレプレゼンスロボットが走行を開始するスタート位置を、前記ＶＲ地図における直交座標の原点、および前記重畳地図における直交座標の原点としたことを特徴とする請求項１に記載の地図表示システム。