JP6515910B2 - 分散型データ処理システム、センターサーバ、エッジサーバ、移動端末、および方法 - Google Patents

Description

本発明は、エッジサーバを用いて移動端末からデータを収集する分散型データ処理システムに関する。

近年、走行中の車両からデータを収集し、活用する研究が行われている。例えば、車両に搭載したレーザスキャナ（LIDAR: Light Detection and Rangingとも呼ばれる）を用いて測定した３次元の点群データをデータセンタに集めて地図データを生成するシステムが検討されている。３次元の点群データはデータ量が膨大となるため、効率的なデータ収集を行うことが望まれる。

特許文献１は、ブロードキャスト通信を用いて端末間でセンサ情報の共有・統合を行うことを提案する。特許文献１は、このように端末間での情報共有・統合によって、センターサーバとの通信が無くても近隣の地図情報を生成・更新できるとしている。

特許文献２は、端末が要求した位置や車両属性などの情報に基づいて、端末間でセンサ情報を交換することを提案する。

特開２０１３−３４２１０号公報 特開２０１１−７５４７４号公報 特開２０１６−７６９１１号公報

特許文献1の手法では、送信データの指定がないため、絶えずセンターサーバにセンサ
情報が送られる。したがって、冗長な情報が送信され、セルラー回線の負荷や、センターサーバの処理負荷の増大が懸念される。

特許文献２は、要求する情報の位置や属性を指定可能としているが、情報が得られた後にセンサ情報の交換を停止することは考慮されておらず、不必要な情報収集・送信が行われてしまう。

本発明は上記の課題を考慮してなされたものであり、移動端末からデータを収集する際に通信負荷を減らして効率的に情報収集することを目的とする。

本発明の一態様は、センターサーバ、複数のエッジサーバ、および移動端末から構成され、移動端末において取得されたデータをセンターサーバに収集する分散型データ処理システムである。

本態様において、センターサーバは、エッジサーバを経由して移動端末に対して、必要な１つまたは複数のデータの属性を記述した情報要求を配布する。要求するデータの種類は特に問わないが、移動端末が測定を行って得られるデータとすることができる。そのようなデータの一例として、レーザスキャナ（LIDAR）測定による点群データが挙げられる
。データの属性は、必要なデータの種類が特定可能であれば任意のものであってよい。データの属性の一例は、データの取得位置である。

本態様において、移動端末は、前記情報要求において要求されているデータを、前記エッジサーバに送信する。移動端末は、情報要求を受けた後に要求されているデータを取得して送信もよいし、情報要求を受けた時点で保有している情報を送信してもよい。

本態様において、エッジサーバは、移動端末あるいはその他の装置からデータを受信すると、前記情報要求において要求されているデータを取得した旨を前記センターサーバに通知する。ここで、エッジサーバがデータを保有している旨がセンターサーバに伝われば良く、データそのものはセンターサーバに送信されなくてもよいし、送信されてもよい。

本態様において、前記センターサーバは、前記エッジサーバが前記移動端末から取得したデータに関して、当該データの収集が不要である旨を示す不要化情報をエッジサーバ、およびエッジサーバを介して移動端末に配布する。すなわち、センターサーバは、不要化情報をエッジサーバに送信し、エッジサーバは不要化情報を移動端末に送信する。

本態様において、前記移動端末は、前記不要化情報を受信すると、当該不要化情報において収集が不要とされているデータの取得を中止すると共に、当該データを記憶している場合に当該データを破棄する。

このような構成によれば、センターサーバが要求したデータがいずれかのエッジサーバに送信され、当該データをセンターサーバが利用可能になった時点で、移動端末が処理負荷およびメモリ負荷の両方を軽減できる。また、移動端末からエッジサーバへの冗長なデータ送信も回避できるので、通信の効率も改善する。

本態様において、前記エッジサーバは、前記情報要求において必要とされている属性を有するデータを所定数個取得して統合した後に、前記情報要求において要求されているデータを取得した旨を前記センターサーバに通知する、こともできる。データ統合は、例えば、データに対して平均化などの統計処理を施すことにより行える。データが点群データである場合には、ボクセルグリッドフィルタを適用できる。

このようにデータ統合を行うことで、情報の価値あるいは信頼性を向上させるとともに、データ量の増大化を抑制できる。また、エッジサーバで統合処理を行うことで、システム内での処理を分散できる。

本態様において、前記移動端末が、上記と同様に、前記情報要求において必要とされている属性を有するデータを所定数個取得して統合した後に、前記エッジサーバに送信してもよい。移動端末においてデータ統合を行うことで、移動端末とエッジサーバの間の通信量を抑制できる。この手法は、同じ属性を有するデータを移動端末において多数取得できる場合に有効である。

エッジサーバにおけるデータ統合と移動端末における統合は、両方行ってもよい。この場合は、エッジサーバに関する「所定数」を、移動端末に関する「所定数」以上とすることが好ましい。これらの「所定数」の値は、センターサーバが情報要求に含めて送信してもよいし、システム設定としてあらかじめ定められていてもよい。

本態様において、複数の移動端末の間で階層構造を定めて、情報要求の下流側への配布、データの上流側への送信、不要化情報の下流側への配布を行うこともできる。すなわち、前記移動端末は、他の移動端末との間で、所定の基準にしたがっていずれが上流側であ
りいずれが下流側であるかを判断し、下流側の他の移動端末に対しては、前記エッジサーバまたは上流側の他の移動端末から配布される前記情報要求および前記不要化情報を配布し、上流側の他の移動端末から、前記情報要求を取得した場合に、前記情報要求において要求されているデータを、前記エッジサーバまたは上流側の他の移動端末に送信し、前記不要化情報を取得した場合に、当該不要化情報において収集が不要とされているデータを記憶している場合に当該情報を破棄する、こともできる。

移動端末の間の上流および下流の関係は任意に定めればよいが、エッジサーバに「近い」移動端末を上流側であると定義すればよい。ここでいう「近さ」は、必ずしも物理的な距離に基づいて判断する必要はなく、エッジサーバとの間のホップ数が少ない、エッジサーバとの通信機会が多い、エッジサーバと通信可能になるまでの時間が短いという場合にエッジサーバに「近い」と定義してもよい。

本態様において、エッジサーバも複数の階層構造を有するように構成されてもよい。

本態様において、前記データは、レーザスキャナ測定による点群データであり、前記情報要求は、必要なデータの属性として、点群データの測定位置を含んでもよい。レーザスキャナ測定による点群データは、データ量が大きいので、統合処理によるデータ量削減が特に有用である。

本態様における移動端末の一例は、車両に搭載された車載端末である。ここで「車両に搭載」とは、車両に備え付けられること以外に、持ち運び可能な端末が車両内に持ち運ばれることも含む。

本発明の他の態様はセンターサーバである。本態様に係るセンターサーバは、
複数のエッジサーバを介して移動端末からデータを収集するセンターサーバであって、
必要な１つまたは複数のデータの属性を記述した情報要求を、エッジサーバを介して移動端末へ配布する情報要求配布手段と、
エッジサーバから、前記情報要求において要求されているデータを前記エッジサーバが所有している旨の通知を受信する受信手段と、
前記情報要求において要求されているデータを前記エッジサーバが所有している旨の通知の受信に応答して、当該データの収集が不要である旨を示す不要化情報をエッジサーバ、およびエッジサーバを介して移動端末に配布する不要化情報配布手段と、
を備えることを特徴とする。

本発明の他の態様はエッジサーバである。本態様に係るエッジサーバは、
センターサーバからの情報要求に応じて、移動端末からデータを収集するエッジサーバであって、
センターサーバから、必要な１つまたは複数のデータの属性を記述した情報要求を受信する情報要求受信手段と、
前記情報要求を、移動端末へ送信する情報要求送信手段と、
移動端末から、前記情報要求において要求されているデータを受信する情報受信手段と、
センターサーバに対して、前記情報要求において要求されているデータを取得した旨を通知する所有通知送信手段と、
センターサーバから、情報要求において要求されていたデータの収集が不要である旨を示す不要化情報を受信する不要化情報受信手段と、
前記不要化情報を、移動端末へ送信する不要化情報送信手段と、
を備えることを特徴とする。

本発明の他の態様は移動端末である。本態様に係る移動端末は、
エッジサーバから、必要な１つまたは複数のデータの属性を記述した情報要求を受信する情報要求受信手段と、
前記情報要求において要求されているデータを取得するデータ取得手段と、
前記情報要求において要求されているデータをエッジサーバに送信する情報送信手段と、
センターサーバから、情報要求において要求されていたデータの収集が不要である旨を示す不要化情報を受信する不要化情報受信手段と、
を備え、
前記不要化情報を受信した場合は、当該不要化情報において収集が不要とされているデータの取得を中止するとともに、当該データを記憶している場合に当該データを破棄する、
ことを特徴とする。

本発明の他の態様は、センターサーバ、複数のエッジサーバ、および移動端末から構成され、移動端末において取得されたデータをセンターサーバに収集する分散型データ処理システムにおけるデータ収集方法であって、
センターサーバが、エッジサーバを経由して移動端末に対して、必要な１つまたは複数のデータの属性を記述した情報要求を配布する情報要求配布ステップと、
移動端末が、前記情報要求において要求されているデータを、前記エッジサーバに送信する情報送信ステップと、
前記エッジサーバが、前記情報要求において要求されているデータを取得した旨を前記センターサーバに通知する所有通知ステップと、
前記センターサーバが、前記エッジサーバが前記移動端末から取得したデータに関して、当該データの収集が不要である旨を示す不要化情報をエッジサーバ、およびエッジサーバを介して移動端末に配布する不要化情報配布ステップと、
前記移動端末が、前記不要化情報を受信すると、当該不要化情報において収集が不要とされているデータの取得を中止すると共に、当該データを記憶している場合に当該データを破棄する中止ステップと、
を含むことを特徴とする。

本発明によれば、分散型データ処理システムにおいて、移動端末からデータを収集する際に通信負荷を減らして効率的に情報収集することができる。

図１は実施形態にかかる多段分散型データ処理システムの概要構成を示す図である。 図２は実施形態にかかる多段分散型データ処理システムの機能ブロックを示す図である。 図３はデータセンタ（センタサーバ）の処理を示すフローチャートである。 図４はエッジサーバの処理を示すフローチャートである。 図５は車両（車載端末）の処理を示すフローチャートである。 図６は実施形態にかかる多段分散型データ処理の動作例を説明する図である。 図７は実施形態にかかる多段分散型データ処理の動作例を説明する図である。 図８は実施形態にかかる多段分散型データ処理の動作例を説明する図である。 図９は実施形態にかかる多段分散型データ処理の動作例を説明する図である。 図１０は実施形態にかかる多段分散型データ処理の動作例を説明する図である。 図１１は実施形態にかかる多段分散型データ処理の動作例を説明する図である。 図１２は実施形態にかかる多段分散型データ処理の動作例を説明する図である。 図１３は実施形態にかかる多段分散型データ処理の動作例を説明する図である。

（第一の実施形態）
＜システムの概要＞
本実施形態は、車両に搭載されたセンサ（レーザスキャナ）から得られる周辺構造情報（点群データ）を、効率的にデータセンタに集めて３次元地図を生成する多段分散型のデータ処理システムである。

図１は、本実施形態にかかる多段分散型のデータ処理システム１０の概要構成を示す図である。データ処理システム１０は、データセンタ（センターサーバ）１００、エッジサーバ２００、車両３００から構成される。データセンタ１００とエッジサーバ２００は有線通信または無線通信あるいはその両方により接続され、エッジサーバ２００と車両３００は無線通信により接続される。また、車両３００同士も無線通信によって接続される。図１に示した各装置の数はあくまでも例示でありその数は特に限定されない。

本実施形態にかかるデータ処理システム１０は、データセンタ１００からエッジサーバ２００を介して車両３００に対して情報要求を発行する。情報要求には、必要なデータの属性が含まれる。情報要求は、購読（subscribe）情報とも呼ばれ、本開示ではSub情報あるいは単にSubと称する場合もある。

本実施形態では、車両３００はレーザスキャナ（LIDAR）を備えており、レーザスキャ
ナ測定による点群データを取得可能である。データセンタ１００はある特定の地域の点群データを取得するために、属性として対象地域（場所）を含む情報要求を発行する。情報要求は、エッジサーバ２００を介して車両３００まで配布される。車両３００は、情報要求を受けてデータを生成し、エッジサーバ２００へデータ送信を行う。

エッジサーバ２００は、要求されたデータを所有している旨を表す情報所有通知をセンターサーバ１００へ通知する。情報所有通知は、出版（publish）情報とも呼ばれ、本開
示ではPub情報あるいは単にPubと称する場合もある。なお、エッジサーバ２００は、同一の属性を有するデータを所定数個統合した後に情報所有通知をデータセンタ１００に通知するようにしてもよい。

データセンタ１００は、エッジサーバ２００から情報所有通知を受信すると、当該情報の要求を解除する解除要求を発行し、エッジサーバ２００およびエッジサーバ２００を介して車両３００へ配布する。解除要求は、指定された属性を有する情報の収集がそれ以上は不要であることを示す。解除要求は、要求が解除された情報がいずれであるかが特定されさえすれば、その具体的な態様は任意である。例えば、要求が解除された情報の属性を含むメッセージを、情報要求と分けて送信してもよい。あるいは、それまでの情報要求から要求が解除された情報の属性を削除し、更新された情報要求を送信してもよい。解除された属性を完全に削除する代わりに、削除されたことが分かるように削除フラグを立ててもよい。

エッジサーバ２００は、解除要求を受信すると、指定された情報を情報要求から削除し、以降は更新された情報要求を車両３００に対して送信する。車両３００は、解除要求を受信すると、指定された情報の収集を中止する。また、車両３００が、解除要求において指定されている情報を保有している場合には、その情報を廃棄する。

なお、車両３００の間での車車間通信により、情報要求の配布や、データの取得・送信、情報所有通知、解除要求の配布を上記と同様に行ってもよい。この場合、車両間で所定の基準にしたがって、いずれの車両が上流・下流に位置するかを決定し、上流側の車両から下流側の車両に情報要求や解除要求を送信し、下流側の車両から上流側の車両にデータの送信を行えばよい。ここで、上流・下流は、車両３００とエッジサーバ２００との「近さ」を基準として判断するとよい。「近さ」は物理的なもの以外に、ホップ数、通信機会、通信可能になるまでの時間などに基づいて決定することができる。

以上のように、エッジサーバ２００や車両３００は不要化情報を保持して、他の車両３００に配布することで、不要な情報の破棄を推進できる。また、エッジサーバ２００や車両３００は、要求された属性を有する情報を複数集めて統合することで、情報の価値を高め、かつ、データ容量を抑制することができる。これにより、データセンタ１００の処理を分散化することができる。

＜構成＞
データセンタ１００及びエッジサーバ２００は、コンピュータによって実現できる。データセンタ１００およびエッジサーバ２００は、ＣＰＵ（Central Processing Unit）や
ＭＰＵ（Micro Processing Unit）などのプロセッサ（演算処理装置）、ＲＡＭ（Random Access Memory）などの主記憶装置、半導体メモリ・磁気ディスク・光ディスク・光磁気
ディスクなどの補助記憶装置、キーボードや種々のポインティングデバイス（マウス、タッチパッド、タッチパネル、ペンタブレット等）やマイクなどの入力装置、ディスプレイ装置（液晶ディスプレイ・ＣＲＴディスプレイ・プロジェクタ等）や音声出力装置などの出力装置、有線通信や無線通信を行うための通信装置などを含んで構成される汎用コンピュータ（情報処理装置）として構成される。データセンタ１００およびエッジサーバ２００は、プロセッサが、補助記憶装置に記憶されているコンピュータプログラムを主記憶装置上に展開し、実行することにより、以下の各機能を提供する。ただし、以下の機能の一部または全部を、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）やＤＳＰ（Digital Signal Processor）などを用いて実現しても構わない。また、データセンタ１００やエッジサーバ２００は、必ずしも１台のコンピュータとして構成される必要はなく、複数のコンピュータが協働することによって、その機能を提供してもよい。

データセンタ１００は、プロセッサがプログラムを実行することにより、情報要求（Sub）発行・更新部１１０、情報要求（Sub）送信部１２０、所有情報（Pub）受信部１３０
、記憶部１４０として機能する。

エッジサーバ２００は、プロセッサがプログラムを実行することにより、情報要求（Sub）受信部２１０、情報要求（Sub）送信部２２０、情報受信部２３０、記憶部２４０、データ統合部２５０、所有情報（Pub）送信部２６０として機能する。

車両３００は、コンピュータ（車載端末）を含んで構成される。コンピュータの構成自体は上記と同様であるため繰り返しの説明は省略する。この車載端末は、車載のセンサ（例えばLIDAR３４０など）の計測データを取得したり、車両内ネットワークにアクセスし
て車両の制御情報やナビゲーション情報などを取得可能である。また、車載端末は、無線
通信装置を介して、エッジサーバ２００や他の車両３００と通信可能である。無線通信方式は特に限定されず、ＷｉＦｉ、ＬＴＥ（Long Term Evolution）、ＤＳＲＣ（Dedicated
Short Range Communication）など任意の方式を採用可能である。エッジサーバ２００との間の無線通信方式および他の車両３００との間の無線通信方式は、同じであってもよいし異なっていてもよい。

車両３００は、車載端末のプロセッサがプログラムを実行することにより、情報要求（Sub）受信部３１０、情報要求（Sub）送信部３２０、情報送信部３３０として機能する。

＜処理＞
図３を参照して、データセンタ１００が行う処理を説明する。

データセンタ１００は、ＳＵＢ発行・更新部１１０が情報要求を生成したら（Ｓ１１０）、ＳＵＢ送信部１２０が接続中のエッジサーバ２００に対して当該情報要求を送信する（Ｓ１１１）。後述するように、エッジサーバ２００へ情報要求を送信することにより、車両３００を含むデータ処理システム１０の全体に対して情報要求を配布できる。

情報要求は、例えば、ユーザ入力のように外部から与えられる指示に基づいて生成されてもよいし、あらかじめ定められたスケジュールや規則に従って生成されてもよい。本実施形態では、例えば、ある特定の地域（場所）のLIDARセンサの計測情報が必要であると
いう情報要求が生成される。この際、一つの情報要求に複数の属性の情報を含めて複数の情報（例えば、場所Ａのデータおよび場所Ｂのデータなど）が必要であることを表すことができる。データセンタ１００は、生成した情報要求を記憶部１４０に記憶する。

データセンタ１００が、新しいエッジサーバ２００と接続された場合（Ｓ１２０）には、ＳＵＢ送信部１２０が、記憶部１４０に記憶されている情報要求をこの新しいエッジサーバ２００に対して送信する（Ｓ１２１）。

データセンタ１００のＰＵＢ受信部１３０が、エッジサーバ２００から所有情報通知を受信した場合（Ｓ１３０）には、受信した所有情報通知にしたがって記憶部１４０内の所有情報が更新される（Ｓ１３１）。具体的は、所有情報通知に指定される属性を有する情報が、送信元のエッジサーバ２００が所有していることを表すように、記憶部１４０内の所有情報が更新される。これにより、当該属性を有する情報が必要になった際に、どのエッジサーバ２００にアクセスすればよいのかを把握できる。もっとも、エッジサーバ２００からセンサデータ自体を受け取って記憶部１４０に記憶するようにしてもかまわない。

また、ＳＵＢ発行・更新部１１０は記憶部１４０内の情報要求も更新する（Ｓ１３２）。具体的には、所有情報通知において指定されている情報（情報要求において要求されていた情報）をそれ以上収集する必要がないことを示すように、情報要求を更新する。一例では、情報要求において、当該情報の収集が不要であることを示すフラグを立てることが考えられる。このようにすれば、ある属性を有する情報が過去に要求されていたことと、現在では取得が不要であることが把握できる。別の例では、情報要求において、当該情報を削除することが考えられる。このようにしても、情報要求の差分から、どの情報が不要化されたのかを把握できる。本実施形態においては、更新された情報要求が不要化情報あるいは解除通知に相当する。

情報要求が更新されると、ＳＵＢ送信部１２０は、更新された情報要求をエッジサーバ２００へ送信する（Ｓ１３３）。これにより、車両３００も含めてデータ処理システム１０の全体に更新された情報要求を配布できる。

次に、図４を参照してエッジサーバ２００の処理を説明する。

エッジサーバ２００のＳＵＢ受信部２１０が、データセンタ１００のＳＵＢ送信部１２０から情報要求を受信する（Ｓ２１０）と、記憶部２４０にその情報要求を記憶・更新する（Ｓ２１１）。

この際、新たに受信した情報要求において不要化されている情報があり、その属性を持つ情報が記憶部２４０に記憶されている場合には、ＳＵＢ受信部２１０は当該情報を記憶部２４０から削除する（Ｓ２１２）。どの情報が不要化されたかは、情報要求において不要化フラグが用いられている場合には新たに受信した情報要求のみから判断可能である。不要化フラグが用いられていない場合には、新たな情報要求と記憶部２４０内の情報要求を比較して、新たな情報要求に含まれていないものが不要化された情報であると判断できる。

エッジサーバ２００が車両３００と通信可能になった場合（Ｓ２２０）には、ＳＵＢ送信部１２０が記憶部２４０内の情報要求を、車両３００に送信（発行）する（Ｓ２２１）。

車両３００は、情報要求において要求されている情報を所有している場合には、その情報をエッジサーバ２００に送信する（車両３００での処理は後述する）。エッジサーバ２００の情報受信部２３０が車両３００から情報を受信した場合（Ｓ２２２−ＹＥＳ）には、受信した情報を記憶部２４０内に記憶する（Ｓ２２３）。また、情報受信部２３０は、記憶部２４０に格納されている情報要求の更新を行う（Ｓ２２４）。具体的には、車両３００から取得した属性を有する情報を不要化する。不要化情報を表す方法は、上述のように複数の方法があるが、データ処理システム１０内では統一した手法を採用すること望ましい。また、ＰＵＢ送信部２６０は、車両３００から取得した情報を要する旨を通知する所有情報通知を、データセンタ１００に送信する（Ｓ２２５）。

なお、図４のフローチャートでは、車両３００からデータを受信すると即座に、データの不要化及び所有通知の発行を行っているが、ある程度の数のデータが取得されるのを待ってから不要化及び所有通知の発行を行ってもよい。複数のデータは、データ統合部２５０によって統計処理を施して統合することができる。本実施形態で扱う情報はＬＩＤＡＲの点群データであるので、データ統合部２５０はボクセルグリッドフィルタを用いて複数の点群データを統合できる。ボクセルグリッドフィルタとは、３次元空間を適当なボクセル（例えば、各辺６ｃｍの立方体）に分割し、各ボクセル内に存在する点を、それらの重心位置で代表するフィルタである。ボクセルグリッドフィルタにより、データ量を抑制できると共に、測定のばらつきを抑制してデータの信頼性を向上させることができる。

データの不要化及び所有通知発行のために必要なデータの数は、システム全体であらかじめ設定されていてもよいし、データセンタ１００が生成する情報要求に含まれていてもよい。

次に、図５を参照して車両３００が行う処理を説明する。

ＬＩＤＡＲ３４０が測定を行ってデータが発生した場合（Ｓ３１０）は、情報要求にしたがってデータを記憶部（不図示）に記憶する（Ｓ３１１）。なお、ＬＩＤＡＲ３４０は、現在記憶している情報要求において情報が要求されている場所でのみ測定を行って測定データを記憶してもよい。あるいは、継続的に測定を行って、現在記憶している情報要求において要求されている場所の場合に測定データを記憶するようにしても良い。

車両３００が、エッジサーバ２００と接続して通信可能になると（Ｓ３２０）、車両３００のＳＵＢ受信部３１０が、エッジサーバ２００のＳＵＢ送信部２２０から情報要求を受信する（Ｓ３２２）。ＳＵＢ受信部３１０は、記憶部（不図示）にその情報要求を記憶・更新する（Ｓ３２３）。

この際、新たに受信した情報要求において不要化されている情報があり、その属性を持つ情報が記憶部に記憶されている場合には、ＳＵＢ受信部３１０は当該情報を記憶部から削除する（Ｓ３２４）。どの情報が不要化されたかは、情報要求において不要化フラグが用いられている場合には新たに受信した情報要求のみから判断可能である。不要化フラグが用いられていない場合には、新たな情報要求と記憶部内の情報要求を比較して、新たな情報要求に含まれていないものが不要化された情報であると判断できる。

車両３００は、現在接続しているエッジサーバ２００の情報要求において要求されている情報を車両３００が所有している場合には、車両３００はエッジサーバ２００への送信データを所有していると判断できる（Ｓ３２５−ＹＥＳ）。この場合、情報送信部３３０は、その情報をエッジサーバ２００へ送信する（Ｓ３２６）とともに、記憶部内の情報要求を更新する（Ｓ３２７）。具体的には、エッジサーバ２００へ送信した情報を不要化する。また、記憶部内から、送信済みのデータを削除する（Ｓ３２８）。後ほどデータセンタから不要化情報が配布されるので、データ送信時に情報の不要化や削除は必須ではないが、処理の効率化およびメモリの使用効率向上のためにはこの時点で不要化および削除することが望ましい。

車両３００が上位車両と接続した場合（Ｓ３２１）も、上記と同様にステップＳ３２２〜Ｓ３２８の処理が実行される。なお、この場合は、通信相手はエッジサーバ２００ではなく上位車両となる。

ここで、車両の上位（上流）、下位（下流）について簡単に説明する。本実施形態では、車両間に階層構造を設けるために、車両の上流・下流を所定の基準にしたがって決定する。例えば、特許文献３に示されるように、エッジサーバ２００との通信機会に基づく評価値をそれぞれ算出し、評価値が高い（エッジサーバ２００との通信機会が多いと想定される）車両が上流側となる、という手法を採用できる。評価値は、例えば、エッジサーバ２００との物理的な距離、ホップ数、過去の所定期間におけるエッジサーバ２００との通信可能時間・通信回数・通信データ量などを採用可能である。このようにして、エッジサーバ２００との通信機会が多いと想定される車両にデータを送信することで、データがエッジサーバ２００さらにはデータセンタ１００まで到達する確率を向上できる。

また、車両３００からエッジサーバ２００にデータを送信する際に、エッジサーバ２００での処理に関して説明したのと同様に、同じ属性を有する複数のデータを統合してからエッジサーバ２００へ送信するようにしても構わない。この処理は、車両３００において、同じ属性を有するデータ（同じ位置のデータ）を短期間に複数回取得できる場合に有効である。

＜動作例＞
以下、図６から図１３を参照して、具体的な動作例に基づいてデータ処理システム１０の処理を説明する。図６から図１３には、データ処理システム１０の構成のうち、データセンタ１００、エッジサーバ２００、車両３００が必要に応じて示されている。エッジサーバ２００および車両３００はシステム内に複数存在するので、区別する必要がある場合にはエッジサーバ２００ａ，２００ｂ、および車両３００ａ，３００ｂなどと参照する。

図６は、データセンタ１００において情報要求が新たに生成された際の処理を示す。図
６では、この情報要求はSub(ABCDE)と表される。これは、属性A、属性B、属性C、属性D、および属性Eのうちの少なくともいずれかの情報を要求することを表す。本実施形態にお
いては、それぞれの属性は場所を表す。

データセンタ１００は、通信可能に接続されているエッジサーバ２００ａ、２００ｂに対して、新たに生成された情報要求Sub(ABCDE)を送信する（Ｓ１１１）。エッジサーバ２００は、この情報要求を受信し記憶部内の情報要求を更新する（Ｓ２１１）。なお、図において、記憶部に記憶されている情報要求Sub()は要求されている情報がないことを表す
。

図７は、エッジサーバ２００ａが車両３００ａと通信可能になった際の処理を示す。エッジサーバ２００ａが車両３００ａと通信可能になると、エッジサーバ２００ａは記憶部内に記憶されている情報要求Sub(ABCDE)を車両３００ａに送信する（Ｓ２２１）。車両３００ａは、この情報要求を受信し（Ｓ３２２）、記憶部内の情報要求を更新する（Ｓ３２３）。ここでは、車両３００ａは、属性A,B,C,D,Eのいずれの情報も所有しておらず、し
たがって、車両３００ａからエッジサーバ２００ａに送信するデータはない（Ｓ３２５−ＮＯ，Ｓ２２２−ＮＯ）ものとする。

図８は、車両３００ａが他の車両３００ｂと通信可能になった際の処理を示す。車両３００ａと車両３００ｂが通信可能になると、互いにエッジサーバ２００との通信機会を表す評価値を交換し、どちらが上流（上位）でどちらが下流（下位）であるかを判断する。ここでは、車両３００ａが上流で車両３００ｂが下流であると判断されたものとする。

車両３００ａは、記憶部に記憶している情報要求Sub(ABCDE)を、下位車両である車両３００ｂに対して送信する（Ｓ３３１）。車両３００ｂは、上位車両である車両３００ａからこの情報要求を受信し（Ｓ３２２）、記憶部内の情報要求を更新する（Ｓ３２３）。ここでは、車両３００ｂは、属性A,B,C,D,Eのいずれの情報も所有しておらず、したがって
、車両３００ｂから車両３００ａに送信するデータはない（Ｓ３２５−ＮＯ，Ｓ３３２−ＮＯ）ものとする。

図９は、車両３００ｂが他の車両３００ｃと通信可能になった際の処理を示す。なお、車両３００ｂは、車両３００ａから情報要求Sub(ABCDE)を受信した後に、属性Aの情報と
属性Bの情報を取得できたことを想定する。図中のDAT(AB)は属性Aと属性Bの情報を表す。

車両３００ｂと車両３００ｃの間で評価値の交換が行われ、車両３００ｃが上流で車両３００ｂが下流であると判断されたものとする。この際、図８と同様に、車両３００ｃから車両３００ｂへ情報要求Sub(ABCDE)の送信が行われるが、図示は省略している。車両３００ｂは情報要求Sub(ABCDE)を既に記憶しているので、車両３００ｃから情報要求Sub(ABCDE)を受信しても、記憶部内の情報要求に変更はない。

車両３００ｂは、車両３００ｃから情報要求Sub(ABCDE)を受信し、自車両が属性Aおよ
び属性Bのデータを所有することから、これらのデータを車両３００ｃに送信すると判断
する（Ｓ３２５−ＹＥＳ）。車両３００ｂはデータDat(AB)を車両３００ｃに送信する（
Ｓ３２６）。また、車両３００ｂは、記憶部内の情報要求Sub(ABCDE)を更新して、属性A
および属性Bに関する要求を削除（不要化）する（Ｓ３２７）。属性Aおよび属性Bに関す
る要求が削除（不要化）されることから、車両３００ｂが記憶する情報要求は、属性C、
属性Dおよび属性Eを要求する情報要求Sub(CDE)となる。さらに、車両３００ｂは、車両３００ｃに送信した属性Aおよび属性BのデータDat(AB)を記憶部から削除する（Ｓ３２８）
。この時点で、車両３００ｂが記憶している計測データはなくなる（Dat()と表される）
。

車両３００ｃは、車両３００ｂからデータDat(AB)を受信すると、このデータを記憶部
に記憶する（Ｓ３３３）。ここでは、車両３００ｃは車両３００ｂとの通信前には計測データを保有していなかったものとする。したがって、車両３００ｂから受信したデータDat(AB)が、車両３００ｃが保有するデータとなる。

図１０は、車両３００ｃがエッジサーバ２００ｂと通信可能になった際の処理を示す。まず、図７と同様に、エッジサーバ２００ｂから情報要求Sub(ABCDE)が車両３００ｃに送信される。

車両３００ｃは、エッジサーバ２００ｂから情報要求Sub(ABCDE)を受信し、自車両が属性Aおよび属性Bのデータを所有することから、これらのデータをエッジサーバ２００ｂに送信すると判断する（Ｓ３２５−ＹＥＳ）。車両３００ｃは、エッジサーバ２００ｂへのデータDat(AB)の送信（Ｓ３２６）、情報要求の更新（Ｓ３２７）、所有データの削除（
Ｓ３２８）を行う。これらの処理は、宛先がエッジサーバ２００ｂになる点を除けば、図９で説明した処理と同様である。

図１１は、車両３００ｃからデータDat(AB)を受信した後の、エッジサーバ２００ｂお
よびデータセンタ１００が行う処理を示す。

エッジサーバ２００ｂは、車両３００ｃからデータDat(AB)を受信すると、このデータ
を記憶部に格納する（Ｓ２２３）。また、エッジサーバ２００ｂは、記憶部内の情報要求Sub(ABCDE)を更新して、属性Aおよび属性Bに関する要求を削除（不要化）する（Ｓ２２４）。エッジサーバ２００ｂは、さらに、属性Aおよび属性Bのデータを所有していることを示す所有情報Pub(AB)をデータセンタ１００に対して送信する（Ｓ２２５）。

なお、ここではエッジサーバ２００におけるデータの統合処理は行わないものとして説明した。統合処理が必要な場合には、特定の属性を有する所定数個のデータを統合した後に、情報要求の更新以降の処理を行えばよい。

データセンタ１００は、エッジサーバ２００ｂからの所有情報Pub(AB)の受信に伴い、
記憶部内の所有情報を更新する（Ｓ１３１）。具体的には、既に記憶している所有情報に、属性Aおよび属性Bを追加する形で所有情報を更新する。エッジサーバ２００ｂは、さらに、エッジサーバ２００ｂからの所有情報に基づいて情報要求を更新する（Ｓ１３１）。具体的には、所有情報Pub(AB)に含まれる属性Aおよび属性Bの情報を、情報要求Sub(ABCDE)から削除（不要化）する。これによりまた、データセンタ１００が保有する情報要求はSub(CDE)となる（ただし、ABについては削除済みであることが分かるように記憶してもよ
い）。

図１２は、データセンタ１００における所有情報の更新に伴う処理を示す。エッジサーバ２００ｂから所有情報の受信に伴って情報要求が更新されると、データセンタ１００は更新後の情報要求Sub(CDE)をエッジサーバ２００へ送信する（Ｓ１１１）。図では、この情報要求がエッジサーバ２００ａのみに送信されるように記載されているが、エッジサーバ２００ｂにも送信してもよい。

エッジサーバ２００ａは、新たに受信した情報要求に基づいて、記憶部内の情報要求を更新する（Ｓ２１１）。センターサーバ１００から送信される情報要求において属性Aお
よび属性Bが不要化されていること、あるいは受信した情報要求と記憶中の情報要求の差
分から、属性Aおよび属性Bのデータをもはや収集する必要がないことが分かる。そこで、エッジサーバ２００ａは、記憶済みの情報要求から属性Aおよび属性Bを削除し、記憶部内
の情報要求はSub(CDE)となる。この時点で、エッジサーバ２００ａが属性Aおよび属性Bの計測データを記憶部内に記憶している場合には、削除してもよい（Ｓ２１２）。ただし、削除するデータは、所有情報Pubをデータセンタ１００に通知したもの以外とする。

図１３は、エッジサーバ２００ａから車両３００ｄへの情報要求の送信を表す。エッジサーバ２００ａは車両３００ｄと通信可能になると、更新された情報要求Sub(CDE)を車両３００ｄに送信する。車両３００ｄにおいては、上記のエッジサーバ２００と同様に、情報要求の更新（Ｓ３２３）、および削除（不要化）された要求にかかるデータの削除（Ｓ３２４）を行う。

なお、車両３００ｄは、他の車両３００と通信可能になり車両３００ｄが上流であると判断された場合には、他の車両３００に更新された情報要求Sub(CDE)を送信する。他の車両から更新された情報要求を受信した際の処理は、エッジサーバから更新された情報要求を受信した場合と同様である。

＜本実施形態の有利な効果＞
本実施形態によれば、車両を用いて必要な情報を迅速に収集できると共に、データセンタが入手可能となった情報の収集を迅速に中止することができる。したがって、効率的な情報収集が可能となる。

さらに、エッジサーバにおいてデータの統合処理を行う場合には、データ量を削減しつつデータの品質を向上させることができる。統合処理が入ることによりデータセンタがデータを利用可能となるまでの時間は長くなるが、より質の高いデータを利用できるというメリットがある。また、処理がエッジサーバにおいて行われることで、センターサーバにかかる負荷を分散させることができる。

＜変形例＞
上記の実施形態はあくまでも一例であって、本発明はその要旨を逸脱しない範囲内で適宜変更して実施しうる。

上記の実施形態では、３次元地図を生成するためにレーザスキャナ（LIDAR）による点
群データを収集する例を記載したが、どのようなデータを収集するかは特に限定されないことは明らかであろう。もっとも、１つのデータ容量が大きいほど、通信の効率化やメモリ容量の削減の効果が大きいといえる。

上記の実施形態では、収集が不要になった情報をエッジサーバや車両に対して知らせるために、不要な情報の属性を削除した情報要求、または不要な情報の属性に削除フラグを立てた情報要求をデータセンタから送信している。しかしながら、収集が不要になった情報の属性のみをデータセンタからエッジサーバや車両から送信するようにしてもよい。上記で説明した実施形態は、情報要求が不要化情報を兼ねる実施形態と捉えられ、ここで説明した変形例は、情報要求と不要化情報がそれぞれ異なる実施形態と捉えられる。

上記の実施形態では、情報を収集してエッジサーバへ送信する移動端末として、車両に搭載された車載端末を用いている。しかしながら、移動して情報を取得可能な端末であれば車載端末に限られず、任意の移動端末を採用できることは理解できるであろう。例えば、車両以外に、飛行機や船舶に搭載された端末や、ユーザが持ち運び可能な端末を採用することができる。また、車載端末には、自律走行する車両に搭載された端末も含まれる。

１００：データセンタ（センターサーバ）
１１０：情報要求（Sub）発行・更新部
１２０：情報要求（Sub）送信部
１３０：所有情報（Pub）受信部
１４０：記憶部
２００：エッジサーバ
２１０：情報要求（Sub）受信部
２２０：情報要求（Sub）送信部
２３０：情報受信部
２４０：記憶部
２５０：データ統合部
２６０：所有情報（Pub）送信部
３００：車両（車載端末）
３１０：情報要求（Sub）受信部
３２０：情報要求（Sub）送信部
３３０：情報送信部
３４０：LIDARセンサ

Claims (8)

1. センターサーバ、複数のエッジサーバ、および移動端末から構成され、移動端末において取得されたデータをセンターサーバに収集する分散型データ処理システムであって、
   センターサーバからエッジサーバを経由して移動端末に対して、必要な１つまたは複数のデータの属性を記述した情報要求を配布し、
   移動端末は前記情報要求において要求されているデータを、前記エッジサーバに送信し、
   前記エッジサーバは、前記情報要求において要求されているデータを前記移動端末から受信した場合に、当該データがエッジサーバによって取得された旨を前記センターサーバに通知し、
   前記センターサーバは、前記エッジサーバが前記移動端末から取得したデータに関して、当該データの収集が不要である旨を示す不要化情報をエッジサーバ、およびエッジサーバを介して移動端末に配布し、
   前記移動端末は、前記不要化情報を受信すると、当該不要化情報において収集が不要とされているデータの取得を中止すると共に、当該データを記憶している場合に当該データを破棄する、
   ことを特徴とする分散型データ処理システム。
2. 前記エッジサーバは、前記情報要求において必要とされている属性を有するデータを所定数個取得して統合した後に、前記情報要求において要求されているデータを取得した旨を前記センターサーバに通知する、
   請求項１に記載の分散型データ処理システム。
3. 前記移動端末は、前記情報要求において必要とされている属性を有するデータを所定数個取得して統合した後に、前記エッジサーバに送信する、
   請求項１または２に記載の分散型データ処理システム。
4. 前記センターサーバは、前記情報要求に前記所定数個を含めて配布する、
   請求項２または３に記載の分散型データ処理システム。
5. 前記移動端末は、他の移動端末との間で、所定の基準にしたがっていずれが上流側であ
   りいずれが下流側であるかを判断し、
   下流側の他の移動端末に対しては、前記エッジサーバまたは上流側の他の移動端末から配布される前記情報要求および前記不要化情報を配布し、
   上流側の他の移動端末から、前記情報要求を取得した場合に、前記情報要求において要求されているデータを、前記エッジサーバまたは上流側の他の移動端末に送信し、前記不要化情報を取得した場合に、当該不要化情報において収集が不要とされているデータを記憶している場合に当該データを破棄する、
   請求項１から４のいずれか１項に記載の分散型データ処理システム。
6. 前記データは、レーザスキャナ測定による点群データであり、
   前記情報要求は、必要なデータの属性として、点群データの測定位置を含む、
   請求項１から５のいずれか１項に記載の分散型データ処理システム。
7. センターサーバからの情報要求に応じて、移動端末からデータを収集するエッジサーバであって、
   センターサーバから、必要な１つまたは複数のデータの属性を記述した情報要求を受信する情報要求受信手段と、
   前記情報要求を、移動端末へ送信する情報要求送信手段と、
   移動端末から、前記情報要求において要求されているデータを受信する情報受信手段と、
   センターサーバに対して、前記情報要求において要求されているデータを前記移動端末から受信した場合に、当該データがエッジサーバによって取得された旨を通知する所有通知送信手段と、
   センターサーバから、情報要求において要求されていたデータの収集が不要である旨を示す不要化情報を受信する不要化情報受信手段と、
   前記不要化情報を、移動端末へ送信する不要化情報送信手段と、
   を備える、エッジサーバ。
8. センターサーバ、複数のエッジサーバ、および移動端末から構成され、移動端末において取得されたデータをセンターサーバに収集する分散型データ処理システムにおけるデータ収集方法であって、
   センターサーバが、エッジサーバを経由して移動端末に対して、必要な１つまたは複数のデータの属性を記述した情報要求を配布する情報要求配布ステップと、
   移動端末が、前記情報要求において要求されているデータを、前記エッジサーバに送信する情報送信ステップと、
   前記エッジサーバが、前記情報要求において要求されているデータを前記移動端末から受信した場合に、当該データがエッジサーバによって取得された旨を前記センターサーバに通知する所有通知ステップと、
   前記センターサーバが、前記エッジサーバが前記移動端末から取得したデータに関して、当該データの収集が不要である旨を示す不要化情報をエッジサーバ、およびエッジサーバを介して移動端末に配布する不要化情報配布ステップと、
   前記移動端末が、前記不要化情報を受信すると、当該不要化情報において収集が不要とされているデータの取得を中止すると共に、当該データを記憶している場合に当該データを破棄する中止ステップと、
   を含む、データ収集方法。

Images