WO2022014322A1

WO2022014322A1 - 情報処理システム、及び情報処理装置

Info

Publication number: WO2022014322A1
Application number: PCT/JP2021/024631
Authority: WO
Inventors: 貴之猿田; 優希井上
Original assignee: 株式会社Preferred Networks
Priority date: 2020-07-14
Filing date: 2021-06-29
Publication date: 2022-01-20

Abstract

実施形態の情報処理システムは、第１の情報処理装置と第２の情報処理装置とを備える。第１の情報処理装置は、少なくとも１つの第１のメモリと少なくとも１つの第１のプロセッサとを備え、少なくとも１つの第１のプロセッサは、第１の情報処理装置の位置に関する検知結果と、撮像部によって撮像された第１の情報処理装置の周囲の環境を示した画像情報と、を取得することと、画像情報に基づいて地図情報の生成に用いる中間情報を生成することと、検知結果に基づいた検知情報と中間情報とを第２の情報処理装置に送信することと、を実行可能に構成され、第２の情報処理装置は、少なくとも１つの第２のメモリと少なくとも１つの第２のプロセッサとを備え、少なくとも１つの第２のプロセッサは、第１の情報処理装置から検知情報と中間情報とを受信することと、検知情報と中間情報とに基づいて地図情報を生成することと、を実行可能に構成される。

Description

情報処理システム、及び情報処理装置

　本発明の実施形態は、情報処理システム、及び情報処理装置に関する。

　従来、センサによるセンシング結果や撮像画像から周囲の物体の位置および形状を認識することによって、自己位置を推定すると共に地図情報を生成するロボット等が知られている。

　さらには、ロボットに接続するサーバをさらに備え、当該サーバが、複数のロボット等の各々から、各ロボットが生成した地図情報を取得し、複数のロボット等の各々で生成された複数の地図情報に基づいて、精度が高い地図情報を生成する技術も提案されている。

特開２０２０－１７２００号公報

　しかしながら、従来技術においては、サーバとロボットとを組み合わせた情報処理システムにおいては、サーバと比べて、ロボット等の処理負担が大きいため、適切な処理負担を分散するのが望ましい。

　実施形態の情報処理システムは、第１の情報処理装置と、第２の情報処理装置と、を備える情報処理システムにおいて、前記第１の情報処理装置は、少なくとも１つの第１のメモリと、少なくとも１つの第１のプロセッサと、を備え、前記少なくとも１つの第１のプロセッサは、前記第１の情報処理装置の位置に関する検知結果と、撮像部によって撮像された前記第１の情報処理装置の周囲の環境を示した画像情報と、を取得することと、前記画像情報に基づいて、地図情報の生成に用いる中間情報を生成することと、前記検知結果に基づいた検知情報と、前記中間情報と、を前記第２の情報処理装置に送信することと、を実行可能に構成され、前記第２の情報処理装置は、少なくとも１つの第２のメモリと、少なくとも１つの第２のプロセッサと、を備え、前記少なくとも１つの第２のプロセッサは、前記第１の情報処理装置から前記検知情報と、前記中間情報と、を受信することと、前記検知情報と、前記中間情報と、に基づいて、地図情報を生成することと、を実行可能に構成される。

図１は、第１の実施形態に係る情報処理システムを構成する情報処理装置のハードウェア構成の一例を示すブロック図である。図２は、第１の実施形態に係る第１の情報処理装置及び第２の情報処理装置が備える機能の一例を示すブロック図である。図３は、第１の実施形態に係るトラッキング部によるトラッキング処理の一例を示すイメージ図である。図４は、第１の実施形態に係る第１の情報処理装置と周囲の物体との位置関係の一例を示すイメージ図である。図５は、第１の実施形態に係るバンドル調整の一例を示すイメージ図である。図６は、第１の実施形態に係る第１の情報処理装置が実行する処理の流れの一例を示すフローチャートである。図７は、第１の実施形態に係る第２の情報処理装置が実行する処理の流れの一例を示すフローチャートである。図８は、第２の実施形態に係る第１の情報処理装置及び第２の情報処理装置が備える機能の一例を示すブロック図である。図９は、第２の実施形態に係る第２の情報処理装置が実行する処理の流れの一例を示すフローチャートである。

（第１の実施形態）
　図１は、第１の実施形態に係る情報処理システムを構成する情報処理装置のハードウェア構成の一例を示すブロック図である。図１に示されるように、情報処理システムは、第１の情報処理装置１と、第２の情報処理装置２と、で構成されている。

　第１の情報処理装置１は、一例として、本体部１０と、移動装置１６と、撮像装置１７と、ＩＭＵ（Ｉｎｅｒｔｉａｌ　Ｍｅａｓｕｒｅｍｅｎｔ　Ｕｎｉｔ）センサ１８とを備える。

　移動装置１６は、第１の情報処理装置１を移動させることが可能な装置である。移動装置１６は、一例として、複数の車輪と、これらの車輪を駆動させるモータとを有し、本体部１０を支持するように本体部１０の下部に連結される。

　第１の情報処理装置１は、移動装置１６によって、地図情報の生成対象となる領域を移動可能とする。地図情報の生成対象となる領域としては、例えば、建設中の建物、建設されたビル、駅のホーム、または工場などが考えられるが、特に制限を設けるものではない。

　なお、第１の情報処理装置１の移動手段は車輪に限定されるものではなく、キャタピラや、プロペラ等であってもよい。第１の情報処理装置１は、例えば、ロボットや、ドローン等である。なお、本実施形態においては、第１の情報処理装置１は、自律移動をするものとするが、これに限定されるものではない。

　撮像装置１７は、第１の情報処理装置１の周囲の環境を示した画像情報を生成する撮像部の一例であって、例えば、左右に並んだ２台のカメラが１セットになったステレオカメラである。撮像装置１７は、２台のカメラでそれぞれ撮像した、第１の情報処理装置１の周囲の環境を示した撮像画像データを、対応付けて本体部１０に送出する。

　ＩＭＵセンサ１８は、ジャイロセンサおよび加速度センサ等が統合されたセンサである。ＩＭＵセンサ１８は、第１の情報処理装置１の位置に関する検知結果を取得するためのセンサであって、第１の情報処理装置１の角速度と加速度とを計測する。ＩＭＵセンサ１８は、計測した角速度と加速度とを本体部１０に送出する。本実施形態は、ＩＭＵセンサ１８が測定した、第１の情報処理装置１の角速度と加速度を、第１の情報処理装置１の位置、姿勢を特定するために用いる。換言すれば、本実施形態では、第１の情報処理装置の位置に関する検知結果として、角速度と加速度とを用いることとする。

　なお、ＩＭＵセンサ１８は、ジャイロセンサと加速度センサだけではなく、第１の情報処理装置１の位置に関する情報を特定するためのセンサとして、磁気センサやＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）装置等をさらに包含してもよい。また、第１の情報処理装置１の位置に関する情報を特定するためのセンサとして、超音波センサやレーザスキャナ等の測距センサをさらに備えてもよい。

　本体部１０は、一例として、プロセッサ１１と、主記憶装置１２（メモリ）と、補助記憶装置１４（メモリ）と、ネットワークインタフェース１３と、デバイスインタフェース１５と、を備え、これらがバス１９を介して接続されたコンピュータとして実現されてもよい。なお、撮像装置１７およびＩＭＵセンサ１８が本体部１０に内蔵される構成を採用してもよい。

　プロセッサ１１は、コンピュータの制御装置及び演算装置を含む電子回路（処理回路、Ｐｒｏｃｅｓｓｉｎｇ　ｃｉｒｃｕｉｔ、Ｐｒｏｃｅｓｓｉｎｇ　ｃｉｒｃｕｉｔｒｙ、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、又はＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）等）であってもよい。また、プロセッサ１１は、専用の処理回路を含む半導体装置等であってもよい。プロセッサ１１は、電子論理素子を用いた電子回路に限定されるものではなく、光論理素子を用いた光回路により実現されてもよい。また、プロセッサ１１は、量子コンピューティングに基づく演算機能を含むものであってもよい。

　プロセッサ１１は、第１の情報処理装置１の内部構成の各装置等から入力されたデータやソフトウェア（プログラム）に基づいて演算処理を行い、演算結果や制御信号を各装置等に出力することができる。プロセッサ１１は、第１の情報処理装置１のＯＳ（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ）や、アプリケーション等を実行することにより、第１の情報処理装置１を構成する各構成要素を制御してもよい。

　主記憶装置１２は、プロセッサ１１が実行する命令及び各種データ等を記憶する記憶装置であり、主記憶装置１２に記憶された情報がプロセッサ１１により読み出される。補助記憶装置１４は、主記憶装置１２以外の記憶装置である。なお、これらの記憶装置は、電子情報を格納可能な任意の電子部品を意味するものとし、半導体のメモリでもよい。半導体のメモリは、揮発性メモリ、不揮発性メモリのいずれでもよい。本実施形態における第１の情報処理装置１において各種データを保存するための記憶装置は、主記憶装置１２又は補助記憶装置１４により実現されてもよく、プロセッサ１１に内蔵される内蔵メモリにより実現されてもよい。なお、主記憶装置１２または補助記憶装置１４を、記憶部ともいう。

　記憶装置（メモリ）１つに対して、複数のプロセッサが接続（結合）されてもよいし、単数のプロセッサが接続されてもよい。プロセッサ１つに対して、複数の記憶装置（メモリ）が接続（結合）されてもよい。本実施形態における第１の情報処理装置１が、少なくとも１つの記憶装置（メモリ）とこの少なくとも１つの記憶装置（メモリ）に接続（結合）される複数のプロセッサで構成される場合、複数のプロセッサのうち少なくとも１つのプロセッサが、少なくとも１つの記憶装置（メモリ）に接続（結合）される構成を含んでもよい。また、複数台のコンピュータに含まれる記憶装置（メモリ）とプロセッサによって、この構成が実現されてもよい。さらに、記憶装置（メモリ）がプロセッサと一体になっている構成（例えば、Ｌ１キャッシュ、Ｌ２キャッシュを含むキャッシュメモリ）を含んでもよい。

　ネットワークインタフェース１３は、第１の通信部の一例であって、無線又は有線により、通信ネットワーク３に接続するためのインタフェースである。ネットワークインタフェース１３は、既存の通信規格に適合したもの等、適切なインタフェースを用いればよい。ネットワークインタフェース１３は、通信ネットワーク３を介して接続された第２の情報処理装置２との間で情報の通信が可能となる。

　デバイスインタフェース１５は、移動装置１６、撮像装置１７、およびＩＭＵセンサ１８と直接接続するインタフェースである。デバイスインタフェース１５は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）等の標準規格に準拠するインタフェースとするが、これに限定されるものではない。また、デバイスインタフェース１５は、図１に示した各種装置以外の外部装置とさらに接続するものとしてもよい。

　第２の情報処理装置２は、例えばサーバ装置等とする。第２の情報処理装置２は、第１の情報処理装置１と通信ネットワーク３を介して接続されている。本実施形態の第２の情報処理装置２は、主記憶装置２１（メモリ）と、プロセッサ２２と、補助記憶装置２３（メモリ）と、ネットワークインタフェース２４と、これらがバス２５を介して接続されたコンピュータとして実現されてもよい。

　プロセッサ２２は、第１の情報処理装置１のプロセッサ１１と同様の構成でも良いが、プロセッサ１１と比べて高性能であることが望ましい。プロセッサ２２は、第２の情報処理装置２の内部構成の各装置等から入力されたデータやソフトウェア（プログラム）に基づいて演算処理を行い、演算結果や制御信号を各装置等に出力することができる。プロセッサ２２は、第２の情報処理装置２のＯＳ（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ）や、アプリケーション等を実行することにより、第２の情報処理装置２を構成する各構成要素を制御してもよい。

　主記憶装置２１及び補助記憶装置２３は、第１の情報処理装置１の主記憶装置１２及び補助記憶装置１４と同様の構成でも良い。

　主記憶装置２１は、プロセッサ２２が実行する命令及び各種データ等を記憶する記憶装置であり、主記憶装置２１に記憶された情報がプロセッサ２２により読み出される。補助記憶装置２３は、主記憶装置２１以外の記憶装置である。なお、これらの記憶装置は、電子情報を格納可能な任意の電子部品を意味するものとし、半導体のメモリでもよい。半導体のメモリは、揮発性メモリ、不揮発性メモリのいずれでもよい。本実施形態における第２の情報処理装置２において各種データを保存するための記憶装置は、主記憶装置２１又は補助記憶装置２３より実現されてもよく、プロセッサ２２に内蔵される内蔵メモリにより実現されてもよい。なお、主記憶装置１２または補助記憶装置１４を、記憶部ともいう。

　ネットワークインタフェース２４は、第２の通信部の一例であって、無線又は有線により、通信ネットワーク３に接続するためのインタフェースである。ネットワークインタフェース２４は、既存の通信規格に適合したもの等、適切なインタフェースを用いればよい。ネットワークインタフェース２４は、通信ネットワーク３を介して接続された第１の情報処理装置１との間で情報の通信が可能となる。

　本実施形態の第２の情報処理装置２は、複数の第１の情報処理装置１が収集した情報に基づいて、計測対象となる環境に存在する物体の三次元情報を含む地図情報を示した環境マップを生成する。

　本実施形態の環境マップは、地図情報の一例であって、第１の情報処理装置１の周囲の環境を三次元空間における物体の位置座標を示した情報とする。例えば、環境マップは、少なくとも、第１の情報処理装置１が走行する建物に関する情報、第１の情報処理装置１の周囲に存在する物体に関する情報を含んでいる。

　なお、本実施形態において「物体」という場合は、壁や柱等の構造物、什器、家具、移動体、仮設物、および人物等を含むものとする。

　なお、本実施形態においては、第１の情報処理装置１と第２の情報処理装置２とは無線接続するものとするが、第１の情報処理装置１と第２の情報処理装置２とが有線接続してもよい。また、第１の情報処理装置１は、と第２の情報処理装置２と常時接続していなくともよい。

　ところで、移動可能なロボットが存在する環境においては、精度の良い環境マップを利用することが重要となる。そこで、近年、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ　Ｌｏｃａｌｉｚａｔｉｏｎ　Ａｎｄ　Ｍａｐｐｉｎｇ）という技術が提案されている。当該技術を用いることで、工場や建設現場などの移動可能なロボット（第１の情報処理装置１の一例）が、稼働している環境で自己位置推定と環境マップ生成とを同時に行うことができる。

　しかしながら、ロボットでＳＬＡＭ全ての処理を行うと、ロボットの処理負担が大きく、当該ロボットに当該処理負担に耐えられるプロセッサを搭載する必要が生じることでコストも高くなるという問題が生じる。

　そこで、本実施形態においては、第１の情報処理装置１（本実施形態ではエッジとも称する）側で、撮像や、ＳＬＡＭにおける初期の処理であるトラッキング処理を行い、第２の情報処理装置２（本実施形態ではサーバとも称する）側で、ＳＬＡＭにおけるその後の処理であるバンドル調整（Ｂｕｎｄｌｅ　Ａｄｊｕｓｔｍｅｎｔ）処理を行うこととした。これにより、エッジ側、換言すれば、第１の情報処理装置１の処理負担を軽減できる。

　さらに、本実施形態においては、第２の情報処理装置２と通信可能な第１の情報処理装置１を複数備えることとする。そして、第２の情報処理装置２は、複数の第１の情報処理装置１から送信される情報を統合することで、生成される環境マップの精度を向上させることができる。

　本実施形態においては、複数の第１の情報処理装置１を用いる。これにより、環境マップを取得可能な範囲を容易に広げることができる。また、複数の第１の情報処理装置１の性能を異ならせることができる。例えば、情報処理装置の大きさ、移動手段、給電方法（コード有りとコードレス）などを異ならせることができる。これにより、適切に情報を取得することができる。

　本実施形態における他の例としては、複数の第１の情報処理装置１がそれぞれ異なる種類の情報を取得できるセンサを備える例が考えられる。これにより、外部パラメータのキャリブレーションを行うことなく、複数種類のセンサが取得した情報を統合できる場合がある。例えば、第１の種類のセンサとしてＬｉＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）を備える第１の情報処理装置が点群に関するデータを収集し、第２の情報処理装置２において当該第１の種類のセンサの位置姿勢を復元する。その後、第１の種類のセンサと異なる種類の第２の種類のセンサ、例えばＬｉＤＡＲよりも安価であるＲＧＢカメラを備えた別の第１の情報処理装置が同じ箇所を撮影し、同様に第２の種類のセンサの位置姿勢を第２の情報処理装置２により復元させる。その際に、第２の情報処理装置２が、第１の種類のセンサの情報と、第２の種類のセンサの情報と、を統合することで、ＬｉＤＡＲで取得した点群にＲＧＢ値を付与した、環境マップを生成できる。このように、複数の種類が異なるセンサを備えられた第１の情報処理装置１を用いることにより、異なる情報を容易に統合可能な情報処理システムを実現できる。また、例えば、情報処理システムにおいて、安価なセンサを備える第１の情報処理装置の数を、高価なセンサを備える第１の処理装置の数より多くすることで、コストと性能を両立させることが可能になる。

　通信ネットワーク３は、第１の情報処理装置１と第２の情報処理装置２との間で通信可能なネットワークであれば良いが、例えば、５Ｇやローカル５Ｇなどの通信環境を用いることが考えられる。５Ｇやローカル５Ｇを用いることで、高速大容量なデータ通信を実現できる。つまり、本実施形態では、第１の情報処理装置１のトラッキング処理の処理結果を、第２の情報処理装置２に受け渡すことで高速にバンドル調整処理が可能となる。換言すれば、第２の情報処理装置２と第１の情報処理装置１とによるＳＬＡＭ処理の分担が容易となる。また、５Ｇやローカル５Ｇには、従来の通信環境と比べて、高信頼低遅延という効果がある。つまり、本実施形態においては、このような通信環境を用いることで、第２の情報処理装置２と第１の情報処理装置１とでＳＬＡＭ処理を分散させたとしても大きな遅延が生じることを抑止できる。また、本実施形態は、５Ｇやローカル５Ｇなどの通信環境を用いることに制限するものではなく、例えば、ＷＡＮ（Ｗｉｄｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＰＡＮ（Ｐｅｒｓｏｎａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）等の何れか、又は、それらの組み合わせであってよい。

　次に、第１の情報処理装置１及び第２の情報処理装置２が有する機能について説明する。図２は、第１の実施形態に係る第１の情報処理装置１及び第２の情報処理装置２が備える機能の一例を示すブロック図である。

　図２に示すように、第１の情報処理装置１は、取得部１０１と、トラッキング部１０２と、キーフレーム判定部１０３と、特徴抽出部１０４と、送信制御部１０５と、移動制御部１０６と、を備える。

　取得部１０１は、ＩＭＵセンサ１８から、第１の情報処理装置１の位置に関する検知結果である角速度及び加速度と、撮像装置１７からによって撮像された第１の情報処理装置１の周囲の環境を示した画像情報と、を取得する。画像情報とは、撮像装置１７で示されるステレオカメラで撮像された左右の撮像画像データとする。このように、本実施形態の取得部１０１は、ＳＬＡＭ処理に必要な情報を取得する。

　トラッキング部１０２は、撮像装置１７によって異なる時刻に撮像された複数の画像を追跡することによって、撮像装置１７の位置および姿勢を特定する。

　本実施形態のトラッキング部１０２は、異なる時刻に撮像された複数の画像の輝度値から、当該複数の画像間の変換を直接推定することで、各フレームのカメラの位置・姿勢を推定するＤｉｒｅｃｔ手法（直接法）を用いる例について説明するが、当該手法に制限するものではなく、他の手法（例えば、Ｉｎｄｉｒｅｃｔ手法）を用いても良い。

　図３は、第１の実施形態に係るトラッキング部１０２によるトラッキング処理の一例を示すイメージ図である。参照フレーム４１と、対象フレーム４２とは、撮像装置１７によって異なる時刻に撮像された撮像画像である。参照フレーム４１は、対象フレーム４２よりも前に撮像された撮像画像であり、撮像装置１７は、参照フレーム４１を撮像した時点における位置Ｔ_ｉから、対象フレーム４２を撮像した時点における位置Ｔ_ｊに移動したものとする。

　この場合、トラッキング部１０２は、参照フレーム４１に描出された点ｐが、対象フレーム４２に描出された場合における測光誤差を算出することにより、位置Ｔ_ｉから位置Ｔ_ｊへ撮像装置１７が移動した場合における相対的な移動量を算出する。点ｐは、例えば、参照フレーム４１上の所定の輝度を表した点とする。撮像装置１７の移動とは、撮像装置１７の位置の変化と、姿勢（向き）の変化との両方を含むものとする。

　図３に示す点５０ａは、参照フレーム４１に描出された点ｐが３次元空間上に逆投影された位置を表す。

　トラッキング部１０２は、一例として、以下の（１）式を用いて、参照フレーム４１と対象フレーム４２との間の測光誤差Ｅ_ｐｊを算出する。

　Ｉ_ｉは参照フレーム４１を表し、Ｉ_ｊは対象フレーム４２を表す。また、Ｎ_ｐは、参照フレーム４１上の点ｐを含むピクセルの近傍パターンである。また、ｔ_ｉは参照フレーム４１の露光時間、ｔ_ｊは対象フレーム４２の露光時間を表す。また、ｐ´は、逆深度ｄ_ｐによる、対象フレーム４２におけるｐの投影点である。また、（１）式に示すように、トラッキング部１０２は、Ｈｕｂｅｒノルム（ｎｏｒｍ）を用いて、測光誤差Ｅ_ｐｊを算出している。また、重み係数Ｗ_ｐは、画素の輝度勾配によって事前に算出される。例えば、勾配が大きいピクセルに関しては重み係数Ｗ_ｐの値を小さくすることにより、ノイズを低減させることができる。重み係数Ｗ_ｐの算出の手法は、公知の手法を適用することができる。また、輝度変換用ハイパーパラメータａ_ｉ，ａ_ｊ，ｂ_ｉ，ｂ_ｊは、参照フレーム４１と対象フレーム４２との輝度を変換するパラメータである。輝度変換用ハイパーパラメータａ_ｉ，ａ_ｊ，ｂ_ｉ，ｂ_ｊは、例えば管理者によって手動でチューニングされても良い。

　また、以下の（２）式は、（１）式で用いられている点ｐの投影点である点ｐ´の制約条件である。点ｐ´の算出には、参照フレーム４１に描出された点ｐを３次元空間上に点５０ａとして逆投影する逆投影関数と、３次元空間上の点５０ａを対象フレーム４２に投影する投影関数とが用いられる。なお、以下の（２）式における逆投影関数と投影関数とを示す記号は、総積ではなく、逆投影関数と投影関数とを象徴的に示すものである。点ｐから点５０ａまでの距離が、参照フレーム４１における点５０ａの深度（ｄ_ｐ）である。

　また、（２）式に含まれる係数Ｒは、撮像装置１７の回転量を表す。また、係数ｔは、撮像装置１７の並進量を表す。係数Ｒおよび係数ｔは、以下の制約条件（３）式によって、撮像装置１７の相対位置によって定義される。

　トラッキング部１０２は、上述の式（１）～式（３）に示す参照フレームＩ_ｉと対象フレームＩ_ｊ間の測光誤差Ｅ_ｐｊのモデルを解くことにより、対象フレームＩ_ｊを撮像した時点における撮像装置１７の位置Ｔ_ｊを特定する。なお、（３）式および図３に示す位置Ｔ_ｉおよび位置Ｔ_ｊは、撮像装置１７の位置及び向きを含む。このように、トラッキング部１０２は、撮像装置１７によって時系列に撮像される複数の撮像画像に対して、このようなトラッキング処理を繰り返し実行することにより、撮像装置１７の位置および姿勢の変化を追跡する。

　なお、トラッキングの手法は、上述の例に限定されるものではない。例えば、トラッキングの手法としては、撮像画像（後述するキーフレームと、現在のフレーム画像と）の特徴点を取得してからその特徴点のマッチング問題を解くことで各フレームの撮像時における撮像装置１７の位置および姿勢を取得するＩｎｄｉｒｅｃｔ手法（間接法）を用いても良い。また、トラッキング部１０２は、撮像画像だけではなく、ＩＭＵセンサ１８の検出結果も加味して、撮像装置１７の位置および向きを特定してもよい。

　例えば、本実施形態においては、撮像装置１７は、第１の情報処理装置１の移動に伴って、移動しながら周囲を撮像している。トラッキング部１０２は、ある撮像画像に描出された点を、異なる時刻に撮像された他の撮像画像上で追跡することにより、撮像装置１７の位置および姿勢の変化を算出する。トラッキング部１０２は、撮像開始時における撮像装置１７の位置および姿勢に、トラッキング処理によって特定した位置および姿勢の変化を追加することにより、撮像装置１７の現在の位置および姿勢を特定する。

　そして、トラッキング部１０２は、特定した撮像装置１７の現在の位置および姿勢から、第１の情報処理装置１の自己位置推定を行う。

　また、トラッキング部１０２は、撮像画像（現在のフレーム画像）と共に、当該撮像画像において特定された、撮像装置１７の現在の位置および姿勢を、キーフレーム判定部１０３に受け渡す。

　図２に戻り、キーフレーム判定部１０３は、トラッキング部１０２によって推定された、撮像装置１７の現在の位置および姿勢に基づいて、当該位置及び姿勢の推定に用いた撮像画像が、キーフレームに該当するか否かを判定する。キーフレームとは、サーバ（第２の情報処理装置２）側で環境マップの生成に用いるための画像データとする。キーフレームとは、前回キーフレームと判定された撮像画像から、大きくシーンが変化している場合に環境マップの生成に用いるものとして判定される。

　キーフレームの判定手法としては、どのような手法を用いても良いが、例えば、以下の様な判定手法がある。例えば、オプティカルフローの長さ（画像上で変化量）に基づいた判定、トラッキング部１０２によるトラッキング処理で得られた撮像装置１７の移動・回転量に基づいた判定、トラッキング処理したときのエラーの大きさに基づいた判定が考えられる。

　さらには、撮像装置１７による露光時間等の設定が変化した場合にキーフレームと判定する手法を用いても良いし、ＢｏＶＷスコア（シーン特徴）など前回のキーフレームとの間の画像の類似度（ＯＲＢ－ＳＬＡＭ）に基づいた判定を用いても良いし、前回のキーフレームとの間で、共通で識別可能な特徴点の数（ＯＲＢ－ＳＬＡＭ）に基づいた判定を行っても良い。

　また、上述したような判定基準を用いるのではなく、例えば、ｎ秒毎などの予め定められた間隔でサンプリングするように、キーフレームを判定してもよい。さらには、第２の情報処理装置２からの要求に基づいてキーフレームを定めても良い。例えば、第２の情報処理装置２がバンドル調整等の処理が完了したタイミングで取得した撮像画像を、キーフレームとする等が考えられる。

　特徴抽出部１０４は、キーフレーム判定部１０３によってキーフレームと判定された画像データに基づいて、第２の情報処理装置２に送信する地図情報の生成に用いる中間情報を生成する抽出部として機能する。

　本実施形態においては、キーフレームと判定された画像データ全体を、第２の情報処理装置２に送信するのではなく、キーフレームと判定された画像データから生成された中間情報を送信することとした。これにより、第２の情報処理装置２の処理負担を軽減すると共に、第２の情報処理装置２に送信するデータ量を軽減する。すなわち、中間情報は、画像情報よりデータ量が小さい。これにより、データ通信で生じる遅延を軽減できる。本実施形態では、特徴抽出部１０４は、キーフレームから、中間情報として、画像データに表されていた、第１の情報処理装置１の周囲の環境を表した特徴点、及び特徴量を抽出する。

　本実施形態においては、トラッキング部１０２によるトラッキング処理として、各フレームのカメラの位置・姿勢を推定するＤｉｒｅｃｔ手法（直接法）を用い、第２の情報処理装置２がＩｎｄｉｒｅｃｔ手法を用いるために、特徴抽出部１０４が、特徴点、及び特徴量を抽出する例とする。

　なお、変形例として、第１の情報処理装置１のトラッキング部１０２でＩｎｄｉｒｅｃｔ手法を用いた場合、トラッキング部１０２によるトラッキング処理の結果等を第２の情報処理装置２に送信すれば良く、特徴抽出部１０４による特徴点、及び特徴量の抽出は、行われないものとする。

　送信制御部１０５は、第１の情報処理装置１の検知結果として、キーフレームから得られた位置及び姿勢を示した情報と、キーフレームの中間情報である特徴点及び特徴量と、をネットワークインタフェース１３を介して第２の情報処理装置２に送信する。

　移動制御部１０６は、トラッキング部１０２によって特定された、第１の情報処理装置１の自己位置（第１の情報処理装置１の位置および姿勢）に基づいて、移動装置１６の制御を行う。

　なお、本実施形態は、移動制御の手法を制限するものではなく、第２の情報処理装置２から環境マップを受信可能な場合には、環境マップと、トラッキング部１０２により特定された位置及び姿勢に基づいて、移動装置１６の移動制御を行っても良い。このような場合には、環境マップに基づいて、移動可能な経路の探索等が行われる。

　また、第１の情報処理装置１が、超音波センサやレーザスキャナ等の測距センサを備える場合は、移動制御部１０６は、これらのセンサによる障害物等の検出結果に基づいて、障害物を回避する移動経路を生成してもよい。なお、第１の情報処理装置１の移動制御の手法はこれらに限定させるものではなく、各種の自律移動の手法を適用することができる。

　図２に示すように、第２の情報処理装置２は、受信制御部２０１と、バンドル調整部２０２と、環境マップ生成部２０３と、環境マップ記憶部２１１と、を備える。

　環境マップ記憶部２１１は、環境マップを記憶する。環境マップ記憶部２１１は、第２の情報処理装置２の補助記憶装置２３に設けられている。本実施形態の環境マップ記憶部２１１は、複数の第１の情報処理装置１から送信される情報に基づいて生成された環境マップを記憶している。

　また、環境マップとは、第１の情報処理装置１の移動軌跡に沿って、周囲の構造物の形状を表した地図情報の一例とする。本実施形態の環境マップは、第１の情報処理装置１が走行する領域（例えば、建物の内部）の構造を、第１の情報処理装置１の移動軌跡に沿って３次元で表す。本実施形態の環境マップは、例えば、第１の情報処理装置１が走行する建物の内部の構造が３次元座標をもつ点群として表される点群地図とする。本実施形態は、地図情報の種類を制限するものではなく、点群の代わりに３次元図形の集合によって地図が表されてもよい。

　受信制御部２０１は、第１の情報処理装置１の検知結果である位置及び姿勢を示した情報と、中間情報として、第１の情報処理装置１の周囲の環境を表した特徴点及び特徴量と、ネットワークインタフェース２４を受信する。

　バンドル調整部２０２は、受信した第１の情報処理装置１の位置および姿勢を示した情報を初期値として用いた上で、中間情報である特徴点及び特徴量に基づいて、第１の情報処理装置１の位置及び姿勢を補正すると共に、周囲の物体の３次元空間における位置を算出する。本実施形態においては、第１の情報処理装置１によるトラッキング処理の結果である、位置及び姿勢を初期値として用い、当該初期値を補正することでより高精度に位置及び姿勢の推定を実現できる。なお、バンドル調整部２０２は、撮像装置１７の姿勢やデプスの高精度化も行う。

　本実施形態のバンドル調整部２０２は、キーフレーム間の特徴点のマッチング問題を解くことで、各フレームのカメラ位置・姿勢を取得するＩｎｄｉｒｅｃｔ手法（間接法）を用いて、周囲の物体の３次元空間における位置を算出する。しかしながら、本実施形態は、Ｉｎｄｉｒｅｃｔ手法（間接法）を用いる手法に制限するものではなく、Ｄｉｒｅｃｔ手法（直接法）を用いても良い。この場合、第１の情報処理装置１からは特徴点及び特徴量の代わりに、撮像画像を取得する。

　図４は、第１の実施形態に係る第１の情報処理装置１と周囲の物体との位置関係の一例を示すイメージ図である。図４に示す例では、第１の情報処理装置１は、柱９０ａ～９０ｃが設置された建物９の中を移動するものとする。柱９０ａ～９０ｃは、物体の一例である。図４における距離ｄは、撮像装置１７から、柱９０ｃの第１の情報処理装置１の側を向いた平面９０１上の点５２までの距離である。

　例えば、環境マップ記憶部２１１が、平面９０１上の点５２の３次元座標の初期値を記憶しているものとする。バンドル調整部２０２は、トラッキング部１０２によって特定された撮像装置１７の位置および姿勢と、撮像画像とに基づいて、第１の情報処理装置１の位置および点５２の位置の誤差を調整する。例えば、バンドル調整部２０２は、第１の情報処理装置１の位置および点５２の位置の誤差を調整することで、点５２の３次元座標を補正し、より精度の高い３次元座標を得る。当該調整処理によって、バンドル調整部２０２は、第１の情報処理装置１の位置と、点５２の３次元座標とを推定する。

　図５は、第１の実施形態に係るバンドル調整の一例を示すイメージ図である。例えば、バンドル調整部２０２は、以下の（４）式によって、図５に示す２枚の撮像画像４３,４４上の、３次元空間上の点５２が投影された投影点４０１ａ，４０１ｂと、撮像画像４３,４４（例えば、今回受信したキーフレームと前回受信したキーフレーム）上に描出された点５２に相当する特徴点４０２ａ，４０２ｂとの誤差を最小化するように、撮像装置１７の位置と、点５２の３次元座標とを推定する。以下、撮像画像４３と撮像画像４４とを区別する場合には、便宜的に、撮像画像４３を第１の画像、撮像画像４４を第２の画像という。また、本実施形態においては、撮像装置１７の内部パラメータは、予めキャリブレーション済みであるものとし、（４）式における最適化対象のパラメータには含めていない。なお、本実施形態は、一例として示したものであって、最適化対象のパラメータに、撮像装置１７の内部パラメータを含めても良い。

　また、上述の環境マップ記憶部２１１に記憶された初期値は、点５２として示す世界座標点（３次元空間上の点Ｘ_ｉ）の初期値として、（４）式で使用される。また、図５において撮像装置１７の位置を表す基準点１７０ａ，１７０ｂと、点５２とを結ぶ線を、光線束（Ｂｕｎｄｌｅ）６ａ，６ｂという。また、環境マップ記憶部２１１に記憶された初期値の範囲が設定された場合には、（４）式において、３次元空間上の点Ｘ_ｉに、当該範囲に含まれる世界座標が設定されて演算が開始される。なお、初期値の範囲内の演算で誤差が最小化しない場合は、該初期値の範囲を超えて、最適な３次元空間上の点Ｘ_ｉの値が求められてもよい。

　また、バンドル調整部２０２は、撮像画像４３,４４（例えば、今回受信したキーフレームと前回受信したキーフレーム）に基づいて、周囲の物体の平面または曲面の位置を推定し、周囲に存在する複数の点が平面上または曲面上に位置するという制約条件に基づいて、撮像装置１７から周囲の物体までの距離を調整してもよい。

　このように、バンドル調整部２０２は、バンドル調整処理において、周囲の物体の位置を、３次元空間上の複数の点の空間座標として算出し、算出した複数の点の空間座標を、環境マップ生成部２０３に出力する。

　本実施形態の環境マップ生成部２０３は、バンドル調整部２０２によって算出された周囲の物体３次元空間における位置（バンドル調整後の点毎の３次元座標）に基づいて、環境マップ記憶部２１１に記憶されている環境マップの生成、修正（例えば、物体の追加や削除等）を行う。

　環境マップ生成部２０３は、環境マップに新たに点等を追加または削除することにより、環境マップを更新する。

　本実施形態の第２の情報処理装置２は、複数の第１の情報処理装置１から送信された情報に基づいて、環境マップを更新することで、精度の高い環境マップの生成を実現できる。

　次に、以上のように構成された本実施形態の第１の情報処理装置１で実行される処理について説明する。

　図６は、第１の実施形態に係る第１の情報処理装置１が実行する処理の流れの一例を示すフローチャートである。

　まず、移動制御部１０６は、移動装置１６を制御することにより、第１の情報処理装置１の移動を開始する（Ｓ６０１）。

　次に、取得部１０１は、撮像装置１７から撮像画像を取得する。また、取得部１０１は、ＩＭＵセンサ１８から、角速度および加速度等センシング結果を取得する（Ｓ６０２）。

　次に、トラッキング部１０２は、トラッキング処理によって、撮像画像に基づいて、撮像装置１７の現在の位置および姿勢を特定する（Ｓ６０３）。

　キーフレーム判定部１０３は、トラッキング部１０２によって推定された、撮像装置１７の現在の位置および姿勢に基づいて、当該位置及び姿勢の推定に用いた撮像画像が、キーフレームに該当するか否かを判定する（Ｓ６０４）。

　特徴抽出部１０４は、キーフレーム判定部１０３によってキーフレームと判定された画像データに基づいて、キーフレームにおける特徴点、及び特徴量を抽出する（Ｓ６０５）。

　送信制御部１０５は、キーフレームを取得したときの第１の情報処理装置１の位置、且つ姿勢を示した情報、及び特徴抽出部１０４によって抽出されたキーフレームの特徴点、且つ特徴量を、第２の情報処理装置２に送信する（Ｓ６０６）。

　そして、移動制御部１０６は、位置、及び姿勢を示した情報に基づいて、移動装置１６を制御することにより、第１の情報処理装置１の移動を制御する（Ｓ６０７）。

　移動制御部１０６は、第１の情報処理装置１の移動を終了するか否かを判定する（Ｓ６０８）。移動制御部１０６は、例えば、予め定められた終了地点に第１の情報処理装置１が到着した場合に、移動制御部１０６は、第１の情報処理装置１の移動を終了すると判定する。なお、移動の終了の判定条件は特に限定されるものではなく、例えば、移動制御部１０６は、通信ネットワーク３を介して、外部から移動の終了の指示が入力された場合に、第１の情報処理装置１の移動を終了すると判定してもよい。

　移動制御部１０６が移動を終了すると判定しない場合（Ｓ６０８：Ｎｏ）、Ｓ６０２から処理を再開する。また、移動制御部１０６が移動を終了すると判定した場合（Ｓ６０８：Ｙｅｓ）、当該フローチャートによる処理は終了する。

　次に、以上のように構成された本実施形態の第２の情報処理装置２で実行される処理について説明する。

　図７は、第１の実施形態に係る第２の情報処理装置２が実行する処理の流れの一例を示すフローチャートである。

　まず、受信制御部２０１は、キーフレームを取得したときの第１の情報処理装置１の位置、且つ姿勢を示した情報、及び当該キーフレームの特徴点、且つ特徴量を、第１の情報処理装置１から受信する（Ｓ７０１）。

　次に、バンドル調整部２０２は、バンドル調整処理を実行する（Ｓ７０２）。具体的には、環境マップ記憶部２１１に記憶された点の３次元座標の初期値と、撮像装置１７の位置および姿勢と、キーフレームの特徴点、及び特徴量とに基づいて、撮像装置１７から周囲の物体までの距離を算出するとともに、撮像装置１７の位置および姿勢の修正と、周囲の物体の３次元座標の推定と、を行う。

　環境マップ生成部２０３は、推定した周囲の物体の３次元座標に基づいて、環境マップに新たに点等を追加または削除することにより、環境マップを更新する（Ｓ７０３）。更新された環境マップは、各第１の情報処理装置１に送信しても良い。

　このように、本実施形態の情報処理システムは、上述した構成を備えることで、第１の情報処理装置１による自己位置の推定と、第２の情報処理装置２による環境マップの更新と、を実行する。このため、本実施形態の情報処理システムによれば、第１の情報処理装置１の自己位置の推定および、環境マップの精度を向上させることができる。

　なお、第１の情報処理装置１は、監視、警備、清掃、または荷物の配送等の機能を備えるロボット等であってもよい。この場合、第１の情報処理装置１は、推定した自己位置および地図情報に基づいて、地図情報の生成対象となる領域を移動することにより、種々の機能を実現する。また、第１の情報処理装置１によって生成された環境マップ（地図情報の一例）は、どのような態様に用いられても良く、例えば、第１の情報処理装置１自体の移動経路の生成に利用されてもよいし、遠隔地から当該領域を監視または管理する際に使用されてもよい。また、環境マップは、第１の情報処理装置１以外のロボットまたはドローンの移動経路の生成に利用されてもよい。

　なお、撮像装置１７はステレオカメラに限定されるものではない。例えば、撮像装置１７は、ＲＧＢ（Ｒｅｄ　Ｂｌｕｅ　Ｇｒｅｅｎ）カメラと３次元計測カメラ（Ｄｅｐｔｈカメラ）とを有するＲＧＢ－Ｄカメラ、または単眼カメラ等であってもよい。

　また、第１の情報処理装置１が備えるセンサは、ＩＭＵセンサ１８に限定されるものではなく、ジャイロセンサ、加速度センサ、磁気センサ等が個別に設けられてもよい。

　また、本実施形態では、撮像画像を用いた画像ＳＬＡＭ（Ｖｉｓｕａｌ　ＳＬＡＭ）を実行するものとしたが、撮像画像を用いないＳＬＡＭが採用されてもよい。例えば、第１の情報処理装置１は、撮像装置１７ではなく、ＬｉＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）等によって周囲の構造物を検出してもよい。この場合、トラッキング部１０２は、ＬｉＤＡＲによる測距結果に基づいて、第１の情報処理装置１の位置および向きを特定してもよい。

　また、本実施形態では、３次元の地図情報を生成するとしたが、２次元の地図情報を生成するものとしてもよい。

　また、本実施形態で例示した（１）式～（４）式は一例であり、トラッキング処理またはバンドル調整処理で用いられる数式は、これらに限定されるものではない。

　また、ＳＬＡＭ処理には、本実施形態で例示した処理以外に、自己位置推定または地図情報の精度を向上させるための各種の処理が追加されてもよい。

　なお、上述した本実施形態における第１の情報処理装置１及び第２の情報処理装置２の各々の一部又は全部は、ハードウェアで構成されていてもよいし、ＣＰＵ、又はＧＰＵ等が実行するソフトウェア（プログラム）の情報処理で構成されてもよい。ソフトウェアの情報処理で構成される場合には、上述した実施形態における各装置の少なくとも一部の機能を実現するソフトウェアを、フレキシブルディスク、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ－Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、又はＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）メモリ等の非一時的な記憶媒体（非一時的なコンピュータ可読媒体）に収納し、コンピュータに読み込ませることにより、ソフトウェアの情報処理を実行してもよい。また、通信ネットワークを介して当該ソフトウェアがダウンロードされてもよい。さらに、ソフトウェアがＡＳＩＣ、又はＦＰＧＡ等の回路に実装されることにより、情報処理がハードウェアにより実行されてもよい。

　ソフトウェアを収納する記憶媒体の種類は限定されるものではない。記憶媒体は、磁気ディスク、又は光ディスク等の着脱可能なものに限定されず、ハードディスク、又はメモリ等の固定型の記憶媒体であってもよい。また、記憶媒体は、コンピュータ内部に備えられてもよいし、コンピュータ外部に備えられてもよい。

　上述した実施形態における第２の情報処理装置２の各種演算は、ネットワークを介した複数台のコンピュータを用いて、並列処理で実行されてもよい。また、各種演算が、プロセッサ内に複数ある演算コアに振り分けられて、並列処理で実行されてもよい。

　上述した実施形態における第１の情報処理装置１は、１又は複数のプロセッサ１１により実現されてもよい。ここで、プロセッサ１１は、１チップ上に配置された１又は複数の電子回路を指してもよいし、２つ以上のチップあるいは２つ以上のデバイス上に配置された１又は複数の電子回路を指してもよい。複数の電子回路を用いる場合、各電子回路は有線又は無線により通信してもよい。

　また、自己位置推定処理および地図情報の生成処理を実行している間、第１の情報処理装置１は、第２の情報処理装置２と通信ネットワーク３を介して常時接続していても良いが、これに限定されるものではない。例えば、第１の情報処理装置１は、自己位置推定処理および地図情報の生成処理を実行している間、第２の情報処理装置２との接続をオフラインにしていても良い。

　本実施形態の情報処理システムにおいては、ＳＬＡＭ処理を、エッジ（第１の情報処理装置１）側と、サーバ（第２の情報処理装置２）側と、で効果的に処理を分割することとした。これにより、第２の情報処理装置２において高性能のワークステーションを配備することで、第１の情報処理装置１の処理負担が軽減されるため、第１の情報処理装置１において、性能（コスト）が低いプロセッサ１１を適用してもよくなり、安価に精度の高いシステムを実現できる。

　本実施形態においては、第１の情報処理装置１と第２の情報処理装置２との間に高速な通信環境（例えば、５Ｇやローカル５Ｇ）を実現することとした。これにより、第２の情報処理装置２と第１の情報処理装置１との間の、位置及び姿勢の特定にズレが生じることを抑止できる。

　さらに、第１の情報処理装置１でバンドル調整を行わなくて良いため、トラッキング処理の処理負担を大きくできる。つまり、本実施形態の第１の情報処理装置１は、高フレームレートでトラッキング処理を行うことができるため、自己位置推定（カメラトラッキング処理）のロストが起きにくくなりロバストなシステムが可能になる。

（第２の実施形態）
　上述の第１の実施形態においては、第１の情報処理装置１の移動制御について考慮しない例について説明した。これに対して、第２の実施形態では、第２の情報処理装置２が、第１の情報処理装置１の位置及び姿勢について計画を行う場合について説明する。なお、第１の実施形態と同様の構成については、同一の符号を割り当て、説明を省略する。

　図８は、第２の実施形態に係る第１の情報処理装置８０１及び第２の情報処理装置８０２が備える機能の一例を示すブロック図である。

　図８に示すように、第１の情報処理装置８０１は、取得部１０１と、トラッキング部１０２と、キーフレーム判定部１０３と、特徴抽出部１０４と、送信制御部１０５と、受信制御部８１１と、移動制御部８１２と、を備える。

　受信制御部８１１は、指示情報を、第２の情報処理装置２から受信する。指示情報とは、第１の情報処理装置１の移動先を指示した情報とする。

　移動制御部８１２は、指示情報に基づいて、移動装置１６を制御することにより、第１の情報処理装置１の移動を制御する。

　第２の情報処理装置８０２は、受信制御部２０１と、バンドル調整部２０２と、環境マップ生成部２０３と、プランニング部８２１と、送信制御部８２２と、環境マップ記憶部２１１と、を備える。

　プランニング部７２１は、環境マップ記憶部２１１に記憶されている環境マップに基づいて、第１の情報処理装置１の移動先（位置、及び姿勢）を示した指示情報を生成する。

　例えば、プランニング部７２１は、第２の情報処理装置２と通信可能な複数の第１の情報処理装置１のうち、環境マップ記憶部２１１に記憶されている環境マップの玄群の疎密度に応じて、疎な領域の近傍に存在する第１の情報処理装置１に対して、疎な領域を撮影可能な移動先（位置、及び姿勢）を示した指示情報を生成する。これにより環境マップの精度を向上させることができる。

　他の例としては、プランニング部７２１は、最も新しく受信したキーフレームと、当該キーフレームと視野領域が大きく変化しない撮像装置１７の位置、及び姿勢を次のキーフレームするための、移動先を示した指示情報を生成する。本実施形態では、このような指示情報を生成することで、第１の情報処理装置１の位置の推定精度を向上させることができる。これにより第１の情報処理装置１の位置がロストすることを抑止できる。

　送信制御部７２２は、プランニング部７２１が生成した指示情報を、第１の情報処理装置１に送信する。

　図９は、第２の実施形態に係る第２の情報処理装置８０２が実行する処理の流れの一例を示すフローチャートである。

　なお、Ｓ９０１～Ｓ９０３までの処理は、第１の実施形態の図７のＳ７０１～Ｓ７０３と同様として、説明を省略する。

　プランニング部７２１は、第１の情報処理装置１の移動先（位置、及び姿勢）を示した指示情報を生成する（Ｓ９０４）。送信制御部７２２は、指示情報を、第１の情報処理装置１に送信する（Ｓ９０５）。これにより、第１の情報処理装置１は、指示情報に基づいた移動制御を開始する。

　本実施形態においては、プランニング部７２１が指示情報を生成することで、第２の情報処理装置２が記憶している環境マップ、及び第１の情報処理装置１の撮像装置１７の位置・姿勢のうち、いずれか一つ以上に基づいて、第１の情報処理装置１の撮像装置１７が撮像すべき自己位置・姿勢を設定できる。これにより、第１の情報処理装置１の自己位置推定処理がロストすることを抑止できる。または、環境マップの精度を向上させることができる。

（変形例）
　変形例としては、第１の情報処理装置と第２の情報処理装置の間の情報の通信は、情報処理装置間の接続の品質等に応じて、通信の頻度を変更すること、例えば通信の頻度を下げることやある時間の間通信を行わないことができる。当該通信の頻度の変更は、第１の情報処理装置における通信状況のモニタリング結果に基づいて判断してもよい。これにより、本変形例の情報処理システムでは、第１の情報処理装置における通信状況のモニタリング結果に基づいて、通信量を削減できるとともに、第１の情報処理装置が、通信品質が比較的悪い場所（例えば山間部、地下、建物内、海上、天災等の被災地等）であっても、第１の情報処理装置を適切に動作させることができる。さらに、第１の情報処理装置が、オドメトリ等の自己位置の推定または環境マップ情報に関する一部の処理を行うことで、中間情報等を送信できない場合、または中間情報等に基づいて第２の情報処理装置により生成された情報を受信できない場合であっても、自装置（第１の情報処理装置）を動作させることができる。

　なお、本明細書（請求項を含む）において、「a、b及びcの少なくとも1つ（一方）」又は「a、b又はcの少なくとも1つ（一方）」の表現（同様な表現を含む）が用いられる場合は、a、b、c、a-b、a-c、b-c、又はa-b-cのいずれかを含む。また、a-a、a-b-b、a-a-b-b-c-c等のように、いずれかの要素について複数のインスタンスを含んでもよい。さらに、a-b-c-dのようにdを有する等、列挙された要素（a、b及びc）以外の他の要素を加えることも含む。

　本明細書（請求項を含む）において、「データを入力として／データに基づいて／に従って／に応じて」等の表現（同様な表現を含む）が用いられる場合は、特に断りがない場合、各種データそのものを入力として用いる場合や、各種データに何らかの処理を行ったもの（例えば、ノイズ加算したもの、正規化したもの、各種データの中間表現等）を入力として用いる場合を含む。また「データに基づいて／に従って／に応じて」何らかの結果が得られる旨が記載されている場合、当該データのみに基づいて当該結果が得られる場合を含むとともに、当該データ以外の他のデータ、要因、条件、及び／又は状態等にも影響を受けて当該結果が得られる場合をも含み得る。また、「データを出力する」旨が記載されている場合、特に断りがない場合、各種データそのものを出力として用いる場合や、各種データに何らかの処理を行ったもの（例えば、ノイズ加算したもの、正規化したもの、各種データの中間表現等）を出力とする場合も含む。

　本明細書（請求項を含む）において、「接続される（ｃｏｎｎｅｃｔｅｄ）」及び「結合される（ｃｏｕｐｌｅｄ）」との用語が用いられる場合は、直接的な接続／結合、間接的な接続／結合、電気的（ｅｌｅｃｔｒｉｃａｌｌｙ）な接続／結合、通信的（ｃｏｍｍｕｎｉｃａｔｉｖｅｌｙ）な接続／結合、機能的（ｏｐｅｒａｔｉｖｅｌｙ）な接続／結合、物理的（ｐｈｙｓｉｃａｌｌｙ）な接続／結合等のいずれをも含む非限定的な用語として意図される。当該用語は、当該用語が用いられた文脈に応じて適宜解釈されるべきであるが、意図的に或いは当然に排除されるのではない接続／結合形態は、当該用語に含まれるものして非限定的に解釈されるべきである。

　本明細書（請求項を含む）において、「ＡがＢするよう構成される（Ａ　ｃｏｎｆｉｇｕｒｅｄ　ｔｏ　Ｂ）」との表現が用いられる場合は、要素Ａの物理的構造が、動作Ｂを実行可能な構成を有するとともに、要素Ａの恒常的（ｐｅｒｍａｎｅｎｔ）又は一時的（ｔｅｍｐｏｒａｒｙ）な設定（ｓｅｔｔｉｎｇ／ｃｏｎｆｉｇｕｒａｔｉｏｎ）が、動作Ｂを実際に実行するように設定（ｃｏｎｆｉｇｕｒｅｄ／ｓｅｔ）されていることを含んでよい。例えば、要素Ａが汎用プロセッサである場合、当該プロセッサが動作Ｂを実行可能なハードウェア構成を有するとともに、恒常的（ｐｅｒｍａｎｅｎｔ）又は一時的（ｔｅｍｐｏｒａｒｙ）なプログラム（命令）の設定により、動作Ｂを実際に実行するように設定（ｃｏｎｆｉｇｕｒｅｄ）されていればよい。また、要素Ａが専用プロセッサ又は専用演算回路等である場合、制御用命令及びデータが実際に付属しているか否かとは無関係に、当該プロセッサの回路的構造が動作Ｂを実際に実行するように構築（ｉｍｐｌｅｍｅｎｔｅｄ）されていればよい。

　本明細書（請求項を含む）において、含有又は所有を意味する用語（例えば、「含む（ｃｏｍｐｒｉｓｉｎｇ／ｉｎｃｌｕｄｉｎｇ）」及び有する「（ｈａｖｉｎｇ）等）」が用いられる場合は、当該用語の目的語により示される対象物以外の物を含有又は所有する場合を含む、ｏｐｅｎ－ｅｎｄｅｄな用語として意図される。これらの含有又は所有を意味する用語の目的語が数量を指定しない又は単数を示唆する表現（ａ又はａｎを冠詞とする表現）である場合は、当該表現は特定の数に限定されないものとして解釈されるべきである。

　本明細書（請求項を含む）において、ある箇所において「１つ又は複数（ｏｎｅ　ｏｒ　ｍｏｒｅ）」又は「少なくとも１つ（ａｔ　ｌｅａｓｔ　ｏｎｅ）」等の表現が用いられ、他の箇所において数量を指定しない又は単数を示唆する表現（ａ又はａｎを冠詞とする表現）が用いられているとしても、後者の表現が「１つ」を意味することを意図しない。一般に、数量を指定しない又は単数を示唆する表現（ａ又はａｎを冠詞とする表現）は、必ずしも特定の数に限定されないものとして解釈されるべきである。

　本明細書において、ある実施例の有する特定の構成について特定の効果（ａｄｖａｎｔａｇｅ／ｒｅｓｕｌｔ）が得られる旨が記載されている場合、別段の理由がない限り、当該構成を有する他の１つ又は複数の実施例についても当該効果が得られると理解されるべきである。但し当該効果の有無は、一般に種々の要因、条件、及び／又は状態等に依存し、当該構成により必ず当該効果が得られるものではないと理解されるべきである。当該効果は、種々の要因、条件、及び／又は状態等が満たされたときに実施例に記載の当該構成により得られるものに過ぎず、当該構成又は類似の構成を規定したクレームに係る発明において、当該効果が必ずしも得られるものではない。

　本明細書（請求項を含む）において、「最大化（ｍａｘｉｍｉｚｅ）」等の用語が用いられる場合は、グローバルな最大値を求めること、グローバルな最大値の近似値を求めること、ローカルな最大値を求めること、及びローカルな最大値の近似値を求めることを含み、当該用語が用いられた文脈に応じて適宜解釈されるべきである。また、これら最大値の近似値を確率的又はヒューリスティックに求めることを含む。同様に、「最小化（ｍｉｎｉｍｉｚｅ）」等の用語が用いられる場合は、グローバルな最小値を求めること、グローバルな最小値の近似値を求めること、ローカルな最小値を求めること、及びローカルな最小値の近似値を求めることを含み、当該用語が用いられた文脈に応じて適宜解釈されるべきである。また、これら最小値の近似値を確率的又はヒューリスティックに求めることを含む。同様に、「最適化（ｏｐｔｉｍｉｚｅ）」等の用語が用いられる場合は、グローバルな最適値を求めること、グローバルな最適値の近似値を求めること、ローカルな最適値を求めること、及びローカルな最適値の近似値を求めることを含み、当該用語が用いられた文脈に応じて適宜解釈されるべきである。また、これら最適値の近似値を確率的又はヒューリスティックに求めることを含む。

　本明細書（請求項を含む）において、複数のハードウェアが所定の処理を行う場合、各ハードウェアが協働して所定の処理を行ってもよいし、一部のハードウェアが所定の処理の全てを行ってもよい。また、一部のハードウェアが所定の処理の一部を行い、別のハードウェアが所定の処理の残りを行ってもよい。本明細書（請求項を含む）において、「１又は複数のハードウェアが第１の処理を行い、前記１又は複数のハードウェアが第２の処理を行う」等の表現が用いられている場合、第１の処理を行うハードウェアと第２の処理を行うハードウェアは同じものであってもよいし、異なるものであってもよい。つまり、第１の処理を行うハードウェア及び第２の処理を行うハードウェアが、前記１又は複数のハードウェアに含まれていればよい。なお、ハードウェアは、電子回路、又は電子回路を含む装置等を含んでよい。

　本明細書（請求項を含む）において、複数の記憶装置（メモリ）がデータの記憶を行う場合、複数の記憶装置（メモリ）のうち個々の記憶装置（メモリ）は、データの一部のみを記憶してもよいし、データの全体を記憶してもよい。

　以上説明したとおり、第１から第２の実施形態によれば、移動可能な第１の情報処理装置（エッジ）側の処理負担を軽減させることができる。また、画像データから生成された中間情報を送信することで、画像データを送信する場合と比べて、通信負担を軽減すると共に、通信時間を短縮することができる。これにより、第１の情報処理装置と第２の情報処理装置との間で認識している、第１の情報処理装置の位置がずれることを抑止できる。

　以上、本開示の実施形態について詳述したが、本開示は上記した個々の実施形態に限定されるものではない。請求の範囲に規定された内容及びその均等物から導き出される本発明の概念的な思想と趣旨を逸脱しない範囲において種々の追加、変更、置き換え及び部分的削除等が可能である。例えば、前述した全ての実施形態において、数値又は数式を説明に用いている場合は、一例として示したものであり、これらに限られるものではない。また、実施形態における各動作の順序は、一例として示したものであり、これらに限られるものではない。

Claims

　第１の情報処理装置と、第２の情報処理装置と、を備える情報処理システムにおいて、
　前記第１の情報処理装置は、
　少なくとも１つの第１のメモリと、
　少なくとも１つの第１のプロセッサと、を備え、
　前記少なくとも１つの第１のプロセッサは、
　前記第１の情報処理装置の位置に関する検知結果と、撮像部によって撮像された前記第１の情報処理装置の周囲の環境を示した画像情報と、を取得することと、
　前記画像情報に基づいて、地図情報の生成に用いられる中間情報を生成することと、
　前記検知結果に基づいた検知情報と、前記中間情報と、を前記第２の情報処理装置に送信することと、
　を実行可能に構成され、
　前記第２の情報処理装置は、
　少なくとも１つの第２のメモリと、
　少なくとも１つの第２のプロセッサと、を備え、
　前記少なくとも１つの第２のプロセッサは、
　前記第１の情報処理装置から前記検知情報と、前記中間情報と、を受信することと、
　前記検知情報と、前記中間情報と、に基づいて、前記地図情報を生成することと、
　を実行可能に構成された、
　情報処理システム。
　前記中間情報は、前記第１の情報処理装置の周囲の特徴を表した特徴点及び特徴量である、
　請求項１に記載の情報処理システム。
　前記中間情報は、前記画像情報よりデータ量が小さい、請求項１または２に記載の情報処理システム。
　前記少なくとも１つの第１のプロセッサは、
　取得した位置に関する前記検知結果と、撮像された複数の前記画像情報と、に基づいて、前記撮像部の位置および姿勢を推定することと、
　推定された前記撮像部の前記位置及び前記姿勢を前記検知情報として、前記第２の情報処理装置に送信することと、
　推定された前記撮像部の位置及び姿勢に基づいて、前記第１の情報処理装置の移動制御を行うことと、
　をさらに実行可能に構成された、
　請求項１乃至３のいずれか一つに記載の情報処理システム。
　前記少なくとも１つの第１のプロセッサは、
　取得された複数の前記画像情報から、所定の条件を満たす、前記画像情報を抽出することと、
　抽出された前記画像情報に基づいて、前記中間情報を生成することと、
　を実行可能に構成された、
　請求項１乃至４のいずれか一つに記載の情報処理システム。
　前記少なくとも１つの第２のプロセッサは、
　前記地図情報に基づいて、前記第１の情報処理装置の移動先を示した指示情報を、前記第１の情報処理装置に送信することと、
　を実行可能に構成され、
　前記少なくとも１つの第１のプロセッサは、
　前記指示情報を受信することと、
　前記指示情報に基づいて、前記第１の情報処理装置の移動制御を行うことと、
　を実行可能に構成された、
　請求項１乃至５のいずれか一つに記載の情報処理システム。
　前記第１の情報処理装置と前記第２の情報処理装置とは無線接続される、
　請求項１乃至６のいずれか一つに記載の情報処理システム。
　少なくとも１つのメモリと、
　少なくとも１つのプロセッサと、を備え、
　前記少なくとも１つのプロセッサは、
　自装置の位置に関する検知結果と、撮像部によって撮像された前記自装置の周囲の環境を示した画像情報と、を取得することと、
　前記画像情報に基づいて、地図情報の生成に用いる中間情報を生成することと、
　前記検知結果に基づいた検知情報と、前記中間情報と、を他の情報処理装置に送信することと、
　を実行可能に構成された、
　情報処理装置。
　前記中間情報は、前記自装置の周囲の特徴を表した特徴点及び特徴量である、
　請求項８に記載の情報処理装置。
　前記少なくとも１つのプロセッサは、
　取得した位置に関する検知結果と、撮像された複数の前記画像情報と、に基づいて、前記撮像部の位置および姿勢を推定することと、
　推定された前記撮像部の前記位置及び前記姿勢を前記検知情報として、前記他の情報処理装置に送信することと、
　推定された前記撮像部の位置及び姿勢に基づいて、前記自装置の移動制御を行うことと、
　をさらに実行可能に構成された、
　請求項８または９に記載の情報処理装置。
　前記少なくとも１つのプロセッサは、
　取得された複数の前記画像情報から、所定の条件を満たす、前記画像情報を抽出することと、
　抽出された前記画像情報に基づいて、前記中間情報を生成することと、
　を実行可能に構成された、
　請求項８乃至１０のいずれか一つに記載の情報処理装置。
　前記他の情報処理装置によって前記検知情報と、前記中間情報と、に基づいて生成された前記地図情報または前記自装置の移動制御に関する指示情報を受信することと、
　を実行可能に構成された、
　請求項８乃至１１のいずれか一つに記載の情報処理装置。
　少なくとも１つのメモリと、
　少なくとも１つのプロセッサと、を備え、
　前記少なくとも１つのプロセッサは、他の情報処理装置から、前記他の情報処理装置の位置に関する検知結果に基づいた検知情報と、前記他の情報処理装置に設けられた撮像部によって撮像された前記他の情報処理装置の周囲の環境を示した画像情報に基づいて生成された中間情報と、を受信することと、
　前記検知情報と、前記中間情報と、に基づいて、地図情報を生成することと、
　を実行可能に構成された、
　情報処理装置。
　前記中間情報は、前記他の情報処理装置の周囲の特徴を表した特徴点及び特徴量である、
　請求項１３に記載の情報処理装置。
　前記少なくとも１つのプロセッサは、さらに、
　前記地図情報に基づいて、前記他の情報処理装置の移動先を示した指示情報を、前記他の情報処理装置に送信すること、
　を実行可能に構成され、
　前記他の情報処理装置は、さらに、前記指示情報に基づいて移動制御を行うこと、
　を実行可能に構成された、
　請求項１３または１４に記載の情報処理装置。