JPWO2020178916A1 - 環境地図管理装置、環境地図管理システム、環境地図管理方法及びプログラム - Google Patents

Abstract

ユーザが利用可能な環境地図によってカバーされる空間を確保しつつプライバシーに配慮した共通環境地図を生成できる環境地図管理装置、環境地図管理システム、環境地図管理方法及びプログラムを提供する。処理用データ送信部（６８）は、着目ユーザが利用可能な個別環境地図にアクセスする。処理用データ送信部（６８）は、着目ユーザを含む複数のユーザが利用可能な共通環境地図にアクセスする。ＳＬＡＭ処理実行部（５２）は、着目ユーザが利用するトラッカーが取得するセンシングデータに基づいて生成される環境情報を個別環境地図に追加する。送信制御部（６０）は、環境情報のプライバシー属性に応じて、当該環境情報を共通環境地図に追加するか否かを制御する。

Description

本発明は、環境地図管理装置、環境地図管理システム、環境地図管理方法及びプログラムに関する。

トラッカーの位置の推定及び環境地図生成を行うＳＬＡＭ（Simultaneous Localization and Mapping）の技術が知られている。

ＳＬＡＭの技術では、例えばトラッカーが備えるカメラにより撮影された撮影画像などといった、トラッカーが取得するセンシングデータに基づいて、環境地図が生成される。このようにして生成される環境地図は、ＶＲ（Virtual Reality）表示やＡＲ（Augmented Reality）表示等の各種の処理に利用される。

発明者は、それぞれトラッカーを装着した複数のユーザによって環境地図の更新が行われるようにすることで、複数のユーザによって利用可能な共通環境地図を生成することを検討している。共通環境地図があれば、トラッカーのグローバルな位置又は向きの推定、ＶＲ表示、ＡＲ表示などにおいて他のユーザによって共通環境地図に追加されたポイントクラウドや３Ｄメッシュなども表示できるようになるため便利である。

様々な場所でのトラッカーのグローバルな位置又は向きの推定や、様々な場所についてのＶＲ表示やＡＲ表示を可能にするため、ユーザが利用可能な環境地図によってカバーされる空間は広い方がよい。この観点では、多くのユーザによって多くの環境情報が共通環境地図に追加されることが望ましい。

しかし一方で、ユーザの自宅などといったプライベートな空間の環境情報については、共通環境地図に追加され、他のユーザに利用されることは望ましくない。

本発明は上記課題に鑑みてなされたものであって、その目的の１つは、ユーザが利用可能な環境地図によってカバーされる空間を確保しつつプライバシーに配慮した共通環境地図を生成できる環境地図管理装置、環境地図管理システム、環境地図管理方法及びプログラムを提供することにある。

上記課題を解決するために、本発明に係る環境地図管理装置は、着目ユーザが利用可能な個別環境地図にアクセスする個別環境地図アクセス部と、前記着目ユーザを含む複数のユーザが利用可能な共通環境地図にアクセスする共通環境地図アクセス部と、前記着目ユーザが利用するトラッカーが取得するセンシングデータに基づいて生成される環境情報を前記個別環境地図に追加する追加部と、前記環境情報のプライバシー属性に応じて、当該環境情報を前記共通環境地図に追加するか否かを制御する追加制御部と、を含む。

本発明の一態様では、前記センシングデータに基づいて、前記トラッカーの位置に対応付けられる前記環境情報のプライバシー属性を判定する判定部、をさらに含み、前記追加制御部は、前記トラッカーの位置に対応付けられる前記環境情報のプライバシー属性に応じて、当該位置で取得される前記センシングデータに基づいて生成される前記環境情報を前記共通環境地図に追加するか否かを制御する。

この態様では、前記判定部は、前記共通環境地図に前記環境情報が表現されている位置と、前記トラッカーの位置と、に基づいて、当該トラッカーの位置に対応付けられる前記環境情報のプライバシー属性を判定する。

この場合、前記判定部は、前記共通環境地図に前記環境情報が表現されている位置と、前記トラッカーの位置と、の間に壁が存在するか否かの判定結果に基づいて、当該トラッカーの位置に対応付けられる前記環境情報のプライバシー属性を判定してもよい。

また、前記判定部は、さらに、前記トラッカーの位置に天井が存在するか否かの判定結果に基づいて、当該トラッカーの位置に対応付けられる前記環境情報のプライバシー属性を判定してもよい。

また、本発明に係る環境地図管理システムは、個別環境地図管理装置と、共通環境地図管理装置と、を含み、前記個別環境地図管理装置は、前記個別環境地図管理装置を利用する着目ユーザが利用可能な個別環境地図にアクセスする個別環境地図アクセス部と、前記着目ユーザを含む複数のユーザが利用可能な共通環境地図にアクセスする共通環境地図アクセス部と、前記着目ユーザが利用するトラッカーが取得するセンシングデータに基づいて環境情報を生成する環境情報生成部と、前記環境情報を前記個別環境地図に追加する個別追加部と、前記環境情報のプライバシー属性に応じて、当該環境情報を前記共通環境地図管理装置に送信するか否かを制御する送信制御部と、を含み、前記共通環境地図管理装置は、前記個別環境地図管理装置から送信される前記環境情報を受信する環境情報受信部と、前記環境情報受信部が受信する前記環境情報を前記共通環境地図に追加する共通追加部と、を含む。

この態様では、複数の前記個別環境地図管理装置を含み、前記環境情報受信部は、前記複数の前記個別環境地図管理装置のそれぞれから送信される前記環境情報を受信してもよい。

また、本発明に係る環境地図管理方法は、着目ユーザが利用可能な個別環境地図にアクセスするステップと、前記着目ユーザを含む複数のユーザが利用可能な共通環境地図にアクセスするステップと、前記着目ユーザが利用するトラッカーが取得するセンシングデータに基づいて生成される環境情報を前記個別環境地図に追加するステップと、前記環境情報のプライバシー属性に応じて、当該環境情報を前記共通環境地図に追加するか否かを制御するステップと、を含む。

また、本発明に係るプログラムは、着目ユーザが利用可能な個別環境地図にアクセスする手順、前記着目ユーザを含む複数のユーザが利用可能な共通環境地図にアクセスする手順、前記着目ユーザが利用するトラッカーが取得するセンシングデータに基づいて生成される環境情報を前記個別環境地図に追加する手順、前記環境情報のプライバシー属性に応じて、当該環境情報を前記共通環境地図に追加するか否かを制御する手順、をコンピュータに実行させる。

本発明の一実施形態に係る環境地図管理システムの一例を示す構成図である。 本発明の一実施形態に係るユーザサーバの一例を示す構成図である。 本発明の一実施形態に係るトラッカーの一例を示す構成図である。 本発明の一実施形態に係る共通サーバの一例を示す構成図である。 本発明の一実施形態に係る環境地図管理システムで実装される機能の一例を示す機能ブロック図である。 本発明の一実施形態に係るユーザサーバで行われる処理の流れの一例を示すフロー図である。

以下、本発明の一実施形態について図面に基づき詳細に説明する。

図１は、本発明の一実施形態に係る環境地図管理システム１の一例を示す構成図である。図１に示すように、本実施形態に係る環境地図管理システム１には、複数のユーザシステム１０が含まれる。そして、本実施形態に係るユーザシステム１０には、ユーザサーバ１２と、トラッカー１４と、が含まれる。図１には、２つのユーザシステム１０ａ、１０ｂが例示されている。ユーザシステム１０ａには、ユーザサーバ１２ａとトラッカー１４ａとが含まれる。ユーザシステム１０ｂには、ユーザサーバ１２ｂとトラッカー１４ｂとが含まれる。また、本実施形態に係る環境地図管理システム１には、共通サーバ１６も含まれる。

本実施形態では例えば、環境地図管理システム１を利用する複数のユーザが、それぞれ、当該ユーザのユーザシステム１０を管理していることとする。そして各ユーザは、他のユーザが管理しているユーザシステム１０にはアクセスできないこととする。

ユーザサーバ１２、トラッカー１４、共通サーバ１６は、インターネット等のコンピュータネットワーク１８に接続されている。そして本実施形態では、ユーザサーバ１２と共通サーバ１６とは、互いに通信可能になっている。また、本実施形態では、ユーザシステム１０に含まれるユーザサーバ１２と当該ユーザシステム１０に含まれるトラッカー１４とは、互いに通信可能となっている。

本実施形態に係るユーザサーバ１２は、例えば、環境地図管理システム１のユーザが利用するサーバコンピュータである。なおユーザサーバ１２は、ユーザが自ら運用するサーバである必要はなく、例えばクラウドサービスを営む事業者によって運用されているクラウドサーバであっても構わない。

図２Ａに示すように、本実施形態に係るユーザサーバ１２には、プロセッサ２０、記憶部２２、及び、通信部２４、が含まれる。プロセッサ２０は、例えばユーザサーバ１２にインストールされているプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。記憶部２２は、例えばＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。記憶部２２には、プロセッサ２０によって実行されるプログラムなどが記憶される。通信部２４は、ネットワークボードや無線ＬＡＮモジュールなどといった通信インタフェースである。

本実施形態に係るトラッカー１４は、当該トラッカー１４を装着したユーザの位置や向きを追跡する装置である。

図２Ｂに示すように、本実施形態に係るトラッカー１４には、プロセッサ３０、記憶部３２、通信部３４、表示部３６、センサ部３８、が含まれる。

プロセッサ３０は、例えばトラッカー１４にインストールされるプログラムに従って動作するマイクロプロセッサ等のプログラム制御デバイスである。記憶部３２は、例えばＲＯＭやＲＡＭ等の記憶素子などである。記憶部３２には、プロセッサ３０によって実行されるプログラムなどが記憶される。通信部３４は、例えば無線ＬＡＮモジュールなどの通信インタフェースである。

表示部３６は、トラッカー１４の前側に配置されている、例えば液晶ディスプレイや有機ＥＬディスプレイ等のディスプレイである。本実施形態に係る表示部３６は、例えば左目用の画像と右目用の画像を表示することによって三次元画像を表示させることができるようになっている。なお表示部３６は三次元画像の表示ができず二次元画像の表示のみができるものであっても構わない。

センサ部３８は、例えばカメラ、慣性センサ（ＩＭＵ）、地磁気センサ（方位センサ）、ＧＰＳ（Global Positioning System）モジュール、デプスセンサなどといったセンサである。センサ部３８に含まれるカメラは、例えば所定のサンプリングレートで画像を撮影する。またセンサ部３８に含まれる地磁気センサは、トラッカー１４が向く方位を示すデータを、所定のサンプリングレートで、プロセッサ３０に出力する。またセンサ部３８に含まれる慣性センサは、トラッカー１４の加速度、回転量、移動量などを示すデータを、所定のサンプリングレートで、プロセッサ３０に出力する。またセンサ部３８に含まれるＧＰＳモジュールは、トラッカー１４の緯度及び経度を示すデータを、所定のサンプリングレートで、プロセッサ３０に出力する。センサ部３８に含まれるデプスセンサは、例えば、ＴｏＦ（Time of Flight）、Patterned stereo、Structured Lightなどの技術を用いたデプスセンサである。当該デプスセンサは、トラッカー１４からの距離を示すデータを、所定のサンプリングレートで、プロセッサ３０に出力する。また、センサ部３８に、ＲＦセンサ、超音波センサ、イベントドリブンセンサなどの他のセンサが含まれていてもよい。

なお本実施形態に係るトラッカー１４が、例えばＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポート、ＵＳＢポート、ＡＵＸポートなどの入出力ポート、ヘッドホン、スピーカなどを含んでいてもよい。

本実施形態に係る共通サーバ１６は、例えば、環境地図管理システム１を利用するすべてのユーザによって利用されるクラウドサーバなどのサーバコンピュータである。本実施形態に係る共通サーバ１６は、環境地図管理システム１に含まれるいずれのユーザシステム１０からもアクセスできるようになっている。

図２Ｃに示すように、本実施形態に係る共通サーバ１６には、プロセッサ４０、記憶部４２、及び、通信部４４、が含まれる。プロセッサ４０は、例えば共通サーバ１６にインストールされているプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。記憶部４２は、例えばＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。記憶部４２には、プロセッサ４０によって実行されるプログラムなどが記憶される。通信部４４は、ネットワークボードや無線ＬＡＮモジュールなどといった通信インタフェースである。

本実施形態では、トラッカー１４によって取得されるセンシングデータに基づいて、自己位置推定、及び、環境地図生成を含むＳＬＡＭ（Simultaneous Localization and Mapping）処理が実行される。当該自己位置推定においては、例えば、トラッカー１４の位置及び向きの少なくとも一方が推定される。ここでトラッカー１４のグローバルな位置や向きが推定されてもよい。また、このようにして生成される環境地図は、ＶＲ（Virtual Reality）表示やＡＲ（Augmented Reality）表示等の各種の処理に利用される。

また、本実施形態では、それぞれのユーザシステム１０は、当該ユーザシステム１０において生成される環境地図の一部などといった環境情報を共通サーバ１６にアップロードする。そして共通サーバ１６は、アップロードされた環境情報に基づいて、共通環境地図を生成する。また、共通サーバ１６は、環境情報がアップロードされる度に当該環境情報を共通環境地図に追加することで、共通環境地図によってカバーされる空間が広くなっていく。

そして本実施形態では、このようにして生成される共通環境地図は、すべてのユーザシステム１０において利用可能である。そのため例えば、ユーザシステム１０ａは、ユーザシステム１０ｂによって生成された環境情報を用いた処理を実行できる。また逆に、ユーザシステム１０ｂは、ユーザシステム１０ａによって生成された環境情報を用いた処理を実行できる。

様々な場所でのトラッカー１４のグローバルな位置又は向きの推定や、様々な場所についてのＶＲ表示やＡＲ表示を可能にするため、ユーザが利用可能な環境地図によってカバーされる空間は広い方がよい。この観点では、多くのユーザによって多くの環境情報が共通環境地図に追加されることが望ましい。

しかし一方で、ユーザの自宅などといったプライベートな空間の環境情報については、共通環境地図に追加され、他のユーザに利用されることは望ましくない。

そこで本実施形態では以下のようにして、ユーザが利用可能な環境地図によってカバーされる空間を確保しつつプライバシーに配慮した共通環境地図を生成できるようにした。

以下、プライバシーに配慮した共通環境地図の生成に関する処理を中心に、本実施形態に係るユーザサーバ１２ａ、トラッカー１４ａ、共通サーバ１６の機能、及び、ユーザサーバ１２ａで行われる処理についてさらに説明する。

図３は、本実施形態に係るユーザサーバ１２ａ、トラッカー１４ａ、及び、共通サーバ１６で実装される機能の一例を示す機能ブロック図である。なお、本実施形態に係るユーザサーバ１２ａ、トラッカー１４ａ、及び、共通サーバ１６で、図３に示す機能のすべてが実装される必要はなく、また、図３に示す機能以外の機能が実装されていても構わない。

図３に示すように、ユーザサーバ１２ａには、機能的には例えば、センシングデータ受信部５０、ＳＬＡＭ処理実行部５２、個別環境地図記憶部５４、プライバシー属性判定部５６、プライバシー属性管理データ記憶部５８、送信制御部６０、環境情報送信部６２、共通環境地図受信部６４、共通環境地図記憶部６６、処理用データ送信部６８、が含まれる。センシングデータ受信部５０、環境情報送信部６２、共通環境地図受信部６４、処理用データ送信部６８は、通信部２４を主として実装される。ＳＬＡＭ処理実行部５２、プライバシー属性判定部５６、送信制御部６０は、プロセッサ２０を主として実装される。個別環境地図記憶部５４、プライバシー属性管理データ記憶部５８、共通環境地図記憶部６６は、記憶部２２を主として実装される。

以上の機能は、コンピュータであるユーザサーバ１２ａにインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ２０で実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してユーザサーバ１２ａに供給されてもよい。

また、図３に示すように、トラッカー１４ａには、機能的には例えば、センシングデータ取得部７０、センシングデータ送信部７２、処理用データ受信部７４、処理実行部７６、が含まれる。センシングデータ取得部７０は、プロセッサ３０及びセンサ部３８を主として実装される。センシングデータ送信部７２、処理用データ受信部７４は、通信部３４を主として実装される。処理実行部７６は、プロセッサ３０及び表示部３６を主として実装される。

以上の機能は、コンピュータであるトラッカー１４ａにインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ３０で実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してトラッカー１４ａに供給されてもよい。

また、図３に示すように、共通サーバ１６には、機能的には例えば、環境情報受信部８０、共通環境地図記憶部８２、共通環境地図更新部８４、プライバシー属性管理データ記憶部８６、共通環境地図送信部８８、が含まれる。環境情報受信部８０、共通環境地図送信部８８は、通信部４４を主として実装される。共通環境地図記憶部８２、プライバシー属性管理データ記憶部８６は、記憶部４２を主として実装される。共通環境地図更新部８４は、プロセッサ４０を主として実装される。

以上の機能は、コンピュータである共通サーバ１６にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ４０で実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介して共通サーバ１６に供給されてもよい。

センシングデータ取得部７０は、本実施形態では例えば、トラッカー１４ａのセンサ部３８により生成されるセンシングデータを取得する。

センシングデータ取得部７０が取得するセンシングデータには、例えば、トラッカー１４ａのセンサ部３８に含まれるカメラにより撮影される画像が含まれていてもよい。また、トラッカー１４ａが取得するセンシングデータに、トラッカー１４ａのセンサ部３８に含まれるカメラやデプスセンサにより計測されるデプスデータが含まれていてもよい。また、トラッカー１４ａが取得するセンシングデータには、トラッカー１４ａのセンサ部３８に含まれる地磁気センサにより計測される、トラッカー１４ａの方位を示すデータが含まれていてもよい。また、トラッカー１４ａが取得するセンシングデータには、センサ部３８に含まれる慣性センサにより計測される、トラッカー１４ａの加速度、回転量、移動量などを示すデータが含まれていてもよい。また、トラッカー１４ａが取得するセンシングデータには、センサ部３８に含まれるＧＰＳモジュールにより計測される、トラッカー１４ａの緯度及び経度を示すデータが含まれていてもよい。また、トラッカー１４ａが取得するセンシングデータに、特徴点群（キーフレーム）が含まれていてもよい。

センシングデータ送信部７２は、本実施形態では例えば、センシングデータ取得部７０が取得するセンシングデータをユーザサーバ１２ａに送信する。

センシングデータ受信部５０は、本実施形態では例えば、トラッカー１４ａにより送信されるセンシングデータを受信する。

ＳＬＡＭ処理実行部５２は、本実施形態では例えば、センシングデータ受信部５０が受信するセンシングデータに基づいて、トラッカー１４ａの位置又は向きの推定を含むＳＬＡＭ処理を実行する。ここでトラッカー１４のグローバルな位置や向きが推定されてもよい。ここで例えば、ＳＬＡＭ処理実行部５２が、リロカライズ処理、ループクロージング処理、３Ｄメッシュ化処理、物体認識処理などを含むＳＬＡＭ処理を実行してもよい。

ここで当該ＳＬＡＭ処理に、平面検出／３Ｄメッシュのセグメンテーション処理が含まれていてもよい。平面検出／３Ｄメッシュのセグメンテーション処理とは、地面、壁などといった連続した平面を検出して、全体の３Ｄメッシュを、地面、建物、木、などといった個々の３Ｄメッシュに分割する処理を指す。また、当該ＳＬＡＭ処理に、３Ｄメッシュの最適化処理が含まれていてもよい。３Ｄメッシュの最適化処理とは、３Ｄメッシュから、移動体と推定される部分や、ノイズなどによるゴミを除去したり、ポリゴン数を減らしたり、メッシュの表面を滑らかにしたりする処理を指す。また、当該ＳＬＡＭ処理に、テクスチャ生成処理が含まれていてもよい。テクスチャ生成処理とは、メッシュの頂点の色に基づいて３Ｄメッシュに対するテクスチャイメージを生成する処理を指す。

また、ＳＬＡＭ処理実行部５２は、センシングデータ受信部５０が受信するセンシングデータに基づく環境地図の生成処理を実行する。以下、このようにして生成される環境地図を個別環境地図と呼ぶこととする。そして、ＳＬＡＭ処理実行部５２は、生成される個別環境地図を個別環境地図記憶部５４に記憶させる。

また例えば、ＳＬＡＭ処理実行部５２が、センシングデータ受信部５０が受信するセンシングデータを記憶してもよい。そして、時系列のセンシングデータを用いてＳＬＡＭ処理を実行してもよい。

ＳＬＡＭ処理実行部５２は、ＳＬＡＭ処理の実行にあたり、個別環境地図記憶部５４に記憶されている個別環境地図にアクセスすることがある。また、ＳＬＡＭ処理実行部５２は、ＳＬＡＭ処理の実行にあたり、共通環境地図記憶部６６に記憶されている後述の共通環境地図にアクセスすることがある。

また、ＳＬＡＭ処理実行部５２は、センシングデータ受信部５０が受信するセンシングデータに基づいて生成される環境情報の個別環境地図への追加などといった、個別環境地図の更新処理を実行してもよい。ここで当該環境情報には、例えば、ポイントクラウドが含まれていてもよい。また当該環境情報には、ポイントクラウドに基づいて生成される３Ｄメッシュが含まれていてもよい。

個別環境地図記憶部５４は、本実施形態では例えば、上述の個別環境地図を記憶する。ユーザサーバ１２ａに含まれる個別環境地図記憶部５４に記憶される個別環境地図は、ユーザシステム１０ａを利用するユーザ（以下、着目ユーザと呼ぶ。）は利用可能であるが、着目ユーザ以外のユーザは利用可能ではない。

プライバシー属性判定部５６は、本実施形態では例えば、センシングデータ受信部５０が受信するセンシングデータに基づいて、当該センシングデータに基づいて生成される環境情報のプライバシー属性を判定する。ここで例えば、トラッカー１４ａの位置に対応付けられる環境情報のプライバシー属性が判定されてもよい。ここで例えば、トラッカー１４ａの位置が、プライベートな空間に属する位置であるか、パブリックな空間に属する位置であるかが判定されてもよい。例えば、衛星によって観測可能な位置は、パブリックな空間に属する位置と判定されてもよい。また、例えば、パブリックな空間から観測可能な位置が、パブリックな空間に属する位置と判定されてもよい。

例えば、センシングデータ受信部５０が受信するセンシングデータにトラッカー１４ａの位置を示すデータが含まれている場合に、当該位置に対応付けられる環境情報のプライバシー属性が判定されるようにしてもよい。また例えば、ＳＬＡＭ処理実行部５２により推定されるトラッカー１４ａの位置に対応付けられる環境情報のプライバシー属性が判定されるようにしてもよい。

ここで、共通環境地図に環境情報が表現されている位置と、トラッカー１４ａの位置と、に基づいて、当該トラッカー１４ａの位置に対応付けられる環境情報のプライバシー属性が判定されてもよい。例えば、共通環境地図に環境情報が表現されている位置とトラッカー１４ａの位置との間に壁が存在するか否かの判定結果に基づいて、トラッカー１４ａの位置に対応付けられる環境情報のプライバシー属性が判定されてもよい。また、さらに、トラッカー１４ａの位置に天井が存在するか否かの判定結果に基づいて、トラッカー１４ａの位置に対応付けられる環境情報のプライバシー属性が判定されてもよい。

また、プライバシー属性判定部５６は、本実施形態では例えば、トラッカー１４ａの位置を示す位置データと、当該位置に対応付けられる環境情報のプライバシー属性を示すプライバシー属性データと、を含むプライバシー属性管理データを生成する。そして、プライバシー属性判定部５６は、生成されるプライバシー属性管理データをプライバシー属性管理データ記憶部５８に記憶させる。

以下の説明では、トラッカー１４ａの位置がプライベートな空間に属すると判定される場合には、当該位置を示す位置データと値が１であるプライバシー属性データとを含むプライバシー属性管理データがプライバシー属性管理データ記憶部５８に記憶されることとする。また、トラッカー１４ａの位置がパブリックな空間に属すると判定される場合には、当該位置を示す位置データと値が０であるプライバシー属性データとを含むプライバシー属性管理データがプライバシー属性管理データ記憶部５８に記憶されることとする。

プライバシー属性管理データ記憶部５８は、上述のプライバシー属性管理データを記憶する。

送信制御部６０は、本実施形態では例えば、プライバシー属性判定部５６により判定されるプライバシー属性に応じて、センシングデータに基づいて生成される環境情報を共通環境地図に追加するか否かを制御する。

ここで例えば、トラッカー１４ａの位置のプライバシー属性に応じて、当該位置で取得されるセンシングデータに基づいて生成される環境情報を共通環境地図に追加するか否かが制御されてもよい。例えば、送信制御部６０は、センシングデータに対応するトラッカー１４ａの位置がパブリックな空間に属すると判定された場合に、当該センシングデータに基づいて生成される環境情報を送信するよう環境情報送信部６２を制御してもよい。

逆に、センシングデータに対応するトラッカー１４ａの位置がプライベートな空間に属すると判定された場合に、当該センシングデータに基づいて生成される環境情報が共通環境地図に追加されないようにしてもよい。

環境情報送信部６２は、本実施形態では例えば、環境情報を共通サーバ１６に送信する。上述のように、環境情報送信部６２が環境情報を共通サーバ１６に送信するか否かは送信制御部６０によって制御されてもよい。環境情報送信部６２は、例えば、センシングデータに対応するトラッカー１４ａの位置がパブリックな空間に属すると判定された場合に、当該センシングデータに基づいて生成される環境情報を共通サーバ１６に送信する。また当該環境情報には、当該センシングデータに対応するトラッカー１４ａの位置を示す位置データと値が０であるプライバシー属性データとを含むプライバシー属性管理データが関連付けられていてもよい。

環境情報受信部８０は、本実施形態では例えば、環境情報送信部６２により送信される環境情報を受信する。

共通環境地図記憶部８２は、本実施形態では例えば、共通環境地図を記憶する。

共通環境地図更新部８４は、本実施形態では例えば、環境情報受信部８０が受信する環境情報に基づいて、共通環境地図記憶部８２に記憶されている共通環境地図を更新する。ここで例えば、共通環境地図更新部８４が、環境情報受信部８０が受信する環境情報を共通環境地図に追加してもよい。また、共通環境地図更新部８４が、共通環境地図に対するループクロージング処理を実行してもよい。

また共通環境地図更新部８４は、環境情報受信部８０が受信した環境情報に関連付けられているプライバシー属性管理データをプライバシー属性管理データ記憶部８６に記憶させてもよい。

プライバシー属性管理データ記憶部８６は、本実施形態では例えば、環境情報受信部８０が受信した環境情報に関連付けられているプライバシー属性管理データを記憶する。

共通環境地図送信部８８は、本実施形態では例えば、共通環境地図記憶部８２に記憶されている共通環境地図を複数のユーザサーバ１２のそれぞれに送信する。ここで例えば、共通環境地図が更新される度に、更新後の共通環境地図が送信されるようにしてもよい。また例えば、所定の時間間隔で共通環境地図が送信されるようにしてもよい。

また、共通環境地図送信部８８は、共通環境地図記憶部８２に新たに追加されたプライバシー属性管理データに関連付けられた共通環境地図を複数のユーザサーバ１２のそれぞれに送信してもよい。

共通環境地図受信部６４は、共通サーバ１６から送信される共通環境地図を受信して、当該共通環境地図を共通環境地図記憶部６６に記憶させる。

ここで共通環境地図受信部６４は、共通サーバ１６から受信した共通環境地図に関連付けられているプライバシー属性管理データをプライバシー属性管理データ記憶部５８に記憶させてもよい。

共通環境地図記憶部６６は、本実施形態では例えば、共通環境地図を記憶する。

なお、共通環境地図送信部８８が、環境情報受信部８０が受信した環境情報を複数のユーザサーバ１２のそれぞれに送信してもよい。そして、共通環境地図受信部６４は、共通環境地図送信部８８が送信する環境情報を共通環境地図記憶部６６に記憶されている共通環境地図に追加してもよい。

処理用データ送信部６８は、本実施形態では例えば、トラッカー１４ａで実行される処理に用いられる処理用データを生成する。処理用データ送信部６８は、処理用データの生成にあたって、個別環境地図記憶部５４に記憶されている個別環境地図にアクセスすることがある。また、処理用データ送信部６８は、処理用データの生成にあたって、共通環境地図記憶部６６に記憶されている共通環境地図にアクセスすることがある。そして、処理用データ送信部６８は、本実施形態では例えば、生成された処理用データをトラッカー１４ａに送信する。

ここで例えば、リロカライズされた位置及び向きを示すデータなどといった、推定されたトラッカー１４ａの位置及び向きを示すデータが送信されるようにしてもよい。また例えば、環境地図を表す３Ｄメッシュのデータが送信されるようにしてもよい。また、環境地図に配置された仮想オブジェクトを表すデータが送信されるようにしてもよい。また例えば、トラッカー１４ａの位置に相当する環境地図内における位置から、トラッカー１４ａに向きに相当する環境地図内における向きを見た様子を表す画像が送信されるようにしてもよい。

処理用データ受信部７４は、本実施形態では例えば、上述の処理用データを受信する。

処理実行部７６は、本実施形態では例えば、処理用データ受信部７４が受信する処理用データを用いた、ＶＲ表示やＡＲ表示などの各種の処理を実行する。ここで例えばカメラが撮影した画像においてオクルージョンが発生した際に、カメラが撮影した画像とオクルージョンが発生した領域の環境地図の３Ｄメッシュとを重畳させた画像を表示部３６に表示させる表示制御処理が実行されてもよい。また例えば、環境地図における壁、床、天井などに沿って移動する仮想オブジェクトを表示部３６に表示させる表示制御処理が実行されてもよい。

ユーザサーバ１２ｂにもユーザサーバ１２ａと同様の機能が実装される。また、トラッカー１４ｂにもトラッカー１４ａと同様の機能が実装される。ユーザサーバ１２ｂについてのセンシングデータや処理用データの通信はトラッカー１４ｂとの間で行われる。

本実施形態では、着目ユーザを含む複数のユーザが同一の共通環境地図を利用可能である。一方で、ユーザサーバ１２ａの個別環境地図記憶部５４に記憶されている個別環境地図については、着目ユーザのみが利用可能であり、着目ユーザ以外のユーザは利用可能ではない。また、ユーザサーバ１２ｂの個別環境地図記憶部５４に記憶されている個別環境地図については、ユーザシステム１０ｂを利用するユーザのみが利用可能であり、他のユーザは利用可能ではない。

本実施形態において、トラッカー１４ａによるセンシングデータの取得からトラッカー１４ａの処理実行部７６における処理の実行までの一連の処理が、例えば所定の時間間隔で繰り返し実行されてもよい。また同様に、トラッカー１４ｂによるセンシングデータの取得からトラッカー１４ｂの処理実行部７６における処理の実行までの一連の処理が、例えば所定の時間間隔で繰り返し実行されてもよい。また、トラッカー１４によるセンシングデータの取得が行われてない状況での、処理実行部７６による処理の実行が行われてもよい。

ここで、本実施形態に係るユーザサーバ１２ａのプライバシー属性判定部５６で行われるプライバシー属性の判定処理の流れの一例を、図４に例示するフロー図を参照しながら説明する。

なお本処理例に示す処理が実行される際には、予め、衛星によって観測可能な位置、及び、パブリックな空間から観測可能な位置が、パブリックな空間に属する位置と判定されていることとする。そして、当該位置を示す位置データと値が０であるプライバシー属性データとを含むプライバシー属性管理データが、プライバシー属性管理データ記憶部５８、及び、プライバシー属性管理データ記憶部８６に記憶されていることとする。

まず、プライバシー属性判定部５６が、トラッカー１４ａがパブリックな空間に属する位置を観測済であるか否かを判定する（Ｓ１０１）。ここでは例えば、時系列のセンシングデータに基づいて、センシングデータによって観測された空間が特定されてもよい。あるいは、センシングデータに基づいて生成される個別環境地図に基づいて、センシングデータによって観測された空間が特定されてもよい。そして、プライバシー属性管理データにおいて、値が０であるプライバシー属性データに関連付けられている位置データが示す位置が、当該空間に含まれるか否かが判定されてもよい。そして値が０であるプライバシー属性データに関連付けられている位置データが示す位置が、当該空間に含まれる場合は、パブリックな空間に属する位置を観測済であると判定されてもよい。そしてそうでない場合は、パブリックな空間に属する位置を観測済でないと判定されてもよい。

Ｓ１０１に示す処理において、トラッカー１４ａがパブリックな空間に属する位置を観測済であると判定されたとする（Ｓ１０１：Ｙ）。この場合は、プライバシー属性判定部５６が、トラッカー１４ａの現在位置がパブリックな空間に属する位置として設定されているか否かを判定する（Ｓ１０２）。ここでトラッカー１４ａの現在位置は、ＳＬＡＭ処理実行部５２により推定されるトラッカー１４ａの位置であってもよい。またトラッカー１４ａの現在位置は、センシングデータ受信部５０が受信するセンシングデータが示すトラッカー１４ａの位置であってもよい。

Ｓ１０２に示す処理では、例えば、トラッカー１４ａの現在位置を示す位置データと値が０であるプライバシー属性データを含むプライバシー属性管理データがプライバシー属性管理データ記憶部５８に記憶されているか否かが確認されてもよい。そして、このようなプライバシー属性管理データがプライバシー属性管理データ記憶部５８に記憶されている場合に、トラッカー１４ａの現在位置がパブリックな空間に属する位置として設定されていると判定されてもよい。逆に、そうでない場合に、トラッカー１４ａの現在位置がパブリックな空間に属する位置として設定されていないと判定されてもよい。

Ｓ１０２に示す処理において、トラッカー１４ａの現在位置がパブリックな空間に属する位置として設定されていないと判定されたとする（Ｓ１０２：Ｎ）。この場合は、プライバシー属性判定部５６が、トラッカー１４ａの現在位置とパブリックな空間との間に壁が存在するか否かを判定する（Ｓ１０３）。

例えば窓などに相当する穴が形成されていても、トラッカー１４ａの現在位置とパブリックな空間との間にある程度の連続した面が存在する場合にトラッカー１４ａの現在位置とパブリックな空間との間に壁が存在すると判定されてもよい。

ここで例えば、個別環境地図、共通環境地図、プライバシー管理レベルデータ、及び、センシングデータのうちの少なくとも１つに基づいて、当該判定が実行されてもよい。例えば、環境地図において現在位置とパブリックな空間との間に鉛直面に沿った所定の大きさよりも大きな領域を占めるポイントクラウドが存在する場合に、トラッカー１４ａの現在位置とパブリックな空間との間に壁が存在すると判定されてもよい。また例えば、パブリックな空間を向いて撮影した画像に壁の像が含まれている場合に、トラッカー１４ａの現在位置とパブリックな空間との間に壁が存在すると判定されてもよい。また、トラッカー１４ａの現在位置とパブリックな空間との間に壁が存在するか否かが不明である場合は、トラッカー１４ａの現在位置とパブリックな空間との間に壁が存在すると判定されるようにしてもよい。

Ｓ１０１に示す処理において、トラッカー１４ａがパブリックな空間に属する位置を観測済でないと判定されたとする（Ｓ１０１：Ｎ）。あるいは、Ｓ１０３に示す処理において、トラッカー１４ａの現在位置とパブリックな空間との間に壁が存在すると判定されたとする（Ｓ１０３：Ｙ）。これらの場合は、プライバシー属性判定部５６が、トラッカー１４ａの現在位置に天井が存在するか否かを判定する（Ｓ１０４）。

例えば天窓などに相当する穴が形成されていても、トラッカー１４ａの現在位置の鉛直上向きに平面が存在する場合にトラッカー１４ａの現在位置に天井が存在すると判定されてもよい。

ここで例えば、個別環境地図、共通環境地図、プライバシー管理レベルデータ、及び、センシングデータのうちの少なくとも１つに基づいて、当該判定が実行されてもよい。例えば、環境地図において現在位置の上方に水平面に沿った所定の大きさよりも大きな領域を占めるポイントクラウドが存在する場合に、トラッカー１４ａの現在位置に天井が存在すると判定されてもよい。また例えば、鉛直方向上向きを撮影した画像に天井の像が含まれている場合に、トラッカー１４ａの現在位置に天井が存在すると判定されてもよい。また、トラッカー１４ａの現在位置に天井が存在するか否かが不明である場合は、トラッカー１４ａの現在位置に天井が存在すると判定されるようにしてもよい。

Ｓ１０４に示す処理において、トラッカー１４ａの現在位置に天井が存在すると判定されたとする（Ｓ１０４：Ｙ）。この場合は、プライバシー属性判定部５６は、トラッカー１４ａの現在位置をプライベートな空間に属する位置と判定して（Ｓ１０５）、本処理例に示す処理を終了する。

この場合は、例えば、プライバシー属性判定部５６は、トラッカー１４ａの現在位置を示す位置データと値が１であるプライバシー属性データとを含むプライバシー属性管理データを生成してもよい。そして、プライバシー属性判定部５６は、当該プライバシー属性管理データをプライバシー属性管理データ記憶部５８に記憶させてもよい。

なお、Ｓ１０４に示す処理において、トラッカー１４ａの現在位置に天井が存在すると判定された場合に、トラッカー１４ａの現在位置を通る、床から天井に至る線状のすべての位置が、プライベートな空間に属する位置と判定されるようにしてもよい。

Ｓ１０２に示す処理において、トラッカー１４ａの現在位置がパブリックな空間に属する位置として設定されていると判定されたとする（Ｓ１０２：Ｙ）。あるいは、Ｓ１０３に示す処理において、トラッカー１４ａの現在位置とパブリックな空間との間に壁が存在すると判定されなかったとする（Ｓ１０３：Ｎ）。あるいは、Ｓ１０４に示す処理において、トラッカー１４ａの現在位置に天井が存在すると判定されなかったとする（Ｓ１０４：Ｎ）。これらの場合は、プライバシー属性判定部５６は、トラッカー１４ａの現在位置をパブリックな空間に属する位置と判定して（Ｓ１０６）、本処理例に示す処理を終了する。

この場合は、例えば、プライバシー属性判定部５６は、トラッカー１４ａの現在位置を示す位置データと値が０であるプライバシー属性データとを含むプライバシー属性管理データを生成してもよい。そして、プライバシー属性判定部５６は、当該プライバシー属性管理データをプライバシー属性管理データ記憶部５８に記憶させてもよい。

本処理例では、衛星によって観測可能な位置、及び、パブリックな空間から観測可能な位置が、予め、パブリックな空間に属する位置と判定されていることによって、Ｓ１０１〜Ｓ１０６に示す処理を実行することで的確にプライバシー属性が判定できることとなる。

本実施形態では、着目ユーザは、ユーザサーバ１２ａに記憶されている個別環境地図と共通環境地図の両方を利用可能である。また、着目ユーザのプライベートな空間に属する位置の環境情報については、共通環境地図に追加されない。そのため、着目ユーザのプライベートな空間に属する位置の環境情報は、着目ユーザ以外のユーザによって利用されない。このようにして、本実施形態によれば、ユーザが利用可能な環境地図によってカバーされる空間を確保しつつプライバシーに配慮した共通環境地図を生成できることとなる。

また本実施形態では、共通環境地図を対象とする、リロカライズ処理、ループクロージング処理、３Ｄメッシュ化処理、平面検出／３Ｄメッシュのセグメンテーション処理、３Ｄメッシュの最適化処理、テクスチャ生成処理、物体認識処理などは複数のユーザサーバ１２のそれぞれ、及び、共通サーバ１６で分散して実行される。例えば、環境情報の生成、及び、個別環境地図への環境情報の追加は複数のユーザサーバ１２のそれぞれで実行され、当該環境情報の共通環境地図への追加は共通サーバ１６で実行される。そのため、共通サーバ１６の負荷はそれほど高くならない。

またユーザサーバ１２がユーザの自宅などに配置されていれば、トラッカー１４ａによるセンシングデータの取得からトラッカー１４ａの処理実行部７６における処理の実行までの一連の処理に要する時間はそれほど長くならない。

ユーザサーバ１２に記憶された個別環境地図や時系列のセンシングデータは、ユーザのライフログとして活用することができる。

なお、本発明は上述の実施形態に限定されるものではない。

例えば、プライバシー属性判定部５６によってパブリックな空間に属する位置と判定されていない位置であっても、ユーザが指定した位置に対応する環境情報は、共通環境地図に追加されるようにしてもよい。また、パブリックな空間に属する位置における環境情報のすべてが共通環境地図に追加される必要はない。

また、ユーザサーバ１２、トラッカー１４、共通サーバ１６の役割分担は上述のものに限定されない。例えば、ユーザシステム１０ａが、ユーザサーバ１２ａの役割と、トラッカー１４ａの役割を兼ねた１つのデバイスによって実装されていてもよい。また、ユーザシステム１０ｂが、ユーザサーバ１２ｂの役割と、トラッカー１４ｂの役割を兼ねた１つのデバイスによって実装されていてもよい。

例えば、ユーザサーバ１２ａの機能の一部又は全部がトラッカー１４ａにおいて実装されてもよい。例えば、トラッカー１４ａにおいてセンシングデータに基づく環境情報の生成が実行されてもよい。そして当該環境情報がトラッカー１４ａからユーザサーバ１２ａに送信されるようにしてもよい。

また共通サーバ１６の機能の一部又は全部がユーザサーバ１２ａやトラッカー１４ａにおいて実装されてもよい。また例えば、環境地図管理システム１に共通サーバ１６が含まれていなくてもよい。この場合、ユーザサーバ１２ａが他のユーザサーバ１２のすべてに環境情報を送信してもよい。そしてそれぞれのユーザサーバ１２において、他のユーザサーバ１２から受信する環境情報、及び、当該ユーザサーバ１２で生成される環境情報に基づく共通環境地図の生成が実行されてもよい。

また、ユーザサーバ１２ａにおいて、個別環境地図と共通環境地図とを統合した統合環境地図が生成されてもよい。そしてユーザサーバ１２ａにおいて、統合環境地図に基づくＳＬＡＭ処理が実行されてもよい。

Claims (9)

1. 着目ユーザが利用可能な個別環境地図にアクセスする個別環境地図アクセス部と、
   前記着目ユーザを含む複数のユーザが利用可能な共通環境地図にアクセスする共通環境地図アクセス部と、
   前記着目ユーザが利用するトラッカーが取得するセンシングデータに基づいて生成される環境情報を前記個別環境地図に追加する追加部と、
   前記環境情報のプライバシー属性に応じて、当該環境情報を前記共通環境地図に追加するか否かを制御する追加制御部と、
   を含むことを特徴とする環境地図管理装置。
2. 前記センシングデータに基づいて、前記トラッカーの位置に対応付けられる前記環境情報のプライバシー属性を判定する判定部、をさらに含み、
   前記追加制御部は、前記トラッカーの位置に対応付けられる前記環境情報のプライバシー属性に応じて、当該位置で取得される前記センシングデータに基づいて生成される前記環境情報を前記共通環境地図に追加するか否かを制御する、
   ことを特徴とする請求項１に記載の環境地図管理装置。
3. 前記判定部は、前記共通環境地図に前記環境情報が表現されている位置と、前記トラッカーの位置と、に基づいて、当該トラッカーの位置に対応付けられる前記環境情報のプライバシー属性を判定する、
   ことを特徴とする請求項２に記載の環境地図管理装置。
4. 前記判定部は、前記共通環境地図に前記環境情報が表現されている位置と、前記トラッカーの位置と、の間に壁が存在するか否かの判定結果に基づいて、当該トラッカーの位置に対応付けられる前記環境情報のプライバシー属性を判定する、
   ことを特徴とする請求項３に記載の環境地図管理装置。
5. 前記判定部は、さらに、前記トラッカーの位置に天井が存在するか否かの判定結果に基づいて、当該トラッカーの位置に対応付けられる前記環境情報のプライバシー属性を判定する、
   ことを特徴とする請求項４に記載の環境地図管理装置。
6. 個別環境地図管理装置と、共通環境地図管理装置と、を含み、
   前記個別環境地図管理装置は、
   前記個別環境地図管理装置を利用する着目ユーザが利用可能な個別環境地図にアクセスする個別環境地図アクセス部と、
   前記着目ユーザを含む複数のユーザが利用可能な共通環境地図にアクセスする共通環境地図アクセス部と、
   前記着目ユーザが利用するトラッカーが取得するセンシングデータに基づいて環境情報を生成する環境情報生成部と、
   前記環境情報を前記個別環境地図に追加する個別追加部と、
   前記環境情報のプライバシー属性に応じて、当該環境情報を前記共通環境地図管理装置に送信するか否かを制御する送信制御部と、を含み、
   前記共通環境地図管理装置は、
   前記個別環境地図管理装置から送信される前記環境情報を受信する環境情報受信部と、
   前記環境情報受信部が受信する前記環境情報を前記共通環境地図に追加する共通追加部と、を含む、
   ことを特徴とする環境地図管理システム。
7. 複数の前記個別環境地図管理装置を含み、
   前記環境情報受信部は、前記複数の前記個別環境地図管理装置のそれぞれから送信される前記環境情報を受信する、
   ことを特徴とする請求項６に記載の環境地図管理システム。
8. 着目ユーザが利用可能な個別環境地図にアクセスするステップと、
   前記着目ユーザを含む複数のユーザが利用可能な共通環境地図にアクセスするステップと、
   前記着目ユーザが利用するトラッカーが取得するセンシングデータに基づいて生成される環境情報を前記個別環境地図に追加するステップと、
   前記環境情報のプライバシー属性に応じて、当該環境情報を前記共通環境地図に追加するか否かを制御するステップと、
   を含むことを特徴とする環境地図管理方法。
9. 着目ユーザが利用可能な個別環境地図にアクセスする手順、
   前記着目ユーザを含む複数のユーザが利用可能な共通環境地図にアクセスする手順、
   前記着目ユーザが利用するトラッカーが取得するセンシングデータに基づいて生成される環境情報を前記個別環境地図に追加する手順、
   前記環境情報のプライバシー属性に応じて、当該環境情報を前記共通環境地図に追加するか否かを制御する手順、
   をコンピュータに実行させることを特徴とするプログラム。

Images