JP7398808B2 - 学習型実空間情報形成システム - Google Patents
学習型実空間情報形成システム Download PDFInfo
- Publication number
- JP7398808B2 JP7398808B2 JP2020550488A JP2020550488A JP7398808B2 JP 7398808 B2 JP7398808 B2 JP 7398808B2 JP 2020550488 A JP2020550488 A JP 2020550488A JP 2020550488 A JP2020550488 A JP 2020550488A JP 7398808 B2 JP7398808 B2 JP 7398808B2
- Authority
- JP
- Japan
- Prior art keywords
- real space
- space information
- unit
- sensor data
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000015572 biosynthetic process Effects 0.000 title claims description 15
- 238000004891 communication Methods 0.000 claims description 40
- 239000000284 extract Substances 0.000 claims description 16
- 230000005540 biological transmission Effects 0.000 claims description 15
- 230000000717 retained effect Effects 0.000 claims description 11
- 238000000605 extraction Methods 0.000 claims description 10
- 238000000034 method Methods 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 238000010801 machine learning Methods 0.000 description 7
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000007637 random forest analysis Methods 0.000 description 5
- 230000003631 expected effect Effects 0.000 description 3
- 239000012535 impurity Substances 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 239000000470 constituent Substances 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000007115 recruitment Effects 0.000 description 2
- 238000010187 selection method Methods 0.000 description 2
- 230000006403 short-term memory Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000001556 precipitation Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/29—Geographical information databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Databases & Information Systems (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Remote Sensing (AREA)
- Telephonic Communication Services (AREA)
- Computer And Data Communications (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は、複数の情報端末装置とサーバコンピュータがネットワークを介して通信可能な状態に接続され、各情報端末装置で取得されたセンサデータを収集して、サーバコンピュータで学習により実空間情報を形成する学習型実空間情報形成システムに関するものである。
近年、各種センサを搭載した複数の移動中または可動式のモバイルデバイスが各種センサにより取得したセンサデータを通信ネットワークを介して収集し、クラウドなどのサーバコンピュータで統合処理することによって実空間情報を形成し、形成した実空間情報を知識として提供するサービスのニーズが高まっている。
このようにセンサを搭載した複数のモバイルデバイスが取得するセンサデータを通信ネットワークを介して収集することはMobile Crowd Sensingと呼ばれ、社会や産業界における様々な問題のソリューションとして期待されている（例えば、非特許文献１，２参照）。
最近では、大容量のセンサデータを取得するセンサとして、カメラ、３次元イメージセンサ、３次元レーダが多く用いられており、動画または静止画の画像、３次元イメージ、音声が混合して構成されるマルチメディアデータも含まれるようになっている。
例えば、カメラを備えたモバイルデバイスが撮影した静止画または動画の画像をセンサデータとして収集し、当該画像からオブジェクト（例えば、自動車のナンバープレート）を抽出することによって実空間情報（例えば、複数地点における各時刻の自動車の台数）を形成することが考えられる。
X. Wang, W. Wu, and D. Qi, "Mobility-Aware Participant Recruitment for Vehicle-based Mobile Crowdsensing," IEEE Transactions on Vehicular Technology, 2017.
Z. He, J. Cao, and X. Liu, "High quality participant recruitment in vehicle-based crowdsourcing using predictable mobility," IEEE INFOCOM, pp.2542-2550, 2015.
しかしながら、モバイルデバイスがサーバコンピュータに画像等のセンサデータをアップロードする際、モバイル通信の上り通信が用いられるが、その通信速度は遅く、モバイルデバイスが移動している場合には通信速度はさらに遅くなる。
例えば、１００台のモバイルデバイスが１０Ｍバイトの画像を１秒ごとに送信する場合、送信レートは８Ｇｂｐｓに至る。今後、全方向カメラや、解像度のより高いカメラ、３次元イメージセンサが用いられることで送信レートはさらに高くなる。
このため、モバイルデバイスからサーバにリアルタイムに送信されるセンサデータは限定せざるを得ず、そのような限定的なセンサデータから実空間情報を精度良く形成することは困難であるという問題があった。
本発明は、上述の問題に鑑みてなされたものであり、モバイルデバイスなどの情報端末装置からサーバに対してセンサデータを効率的にアップロードすることができ、ひいては精度の高い実空間情報を形成することが可能な学習型実空間情報形成システムを提供することを目的とする。
本発明は、上記目的を達成するために、複数の情報端末装置とサーバコンピュータがネットワークを介して通信可能な状態で接続され、各情報端末装置で取得されたセンサデータを収集して、サーバコンピュータで学習により実空間情報を形成する学習型実空間情報形成システムであって、前記情報端末装置は、実空間のセンサデータを取得するデータ取得部と、該データ取得部により取得された複数のセンサデータを保持するデータ保持部と、該データ保持部により保持されているセンサデータをネットワークを介してサーバコンピュータに送信する送信部と、該送信部によるセンサデータの送信を制御する制御部とを備え、前記サーバコンピュータは、前記情報端末装置によりネットワークを介して送信されてきたセンサデータを受信する受信部と、該受信部により受信されたセンサデータから実空間情報を構成する要素を抽出する抽出部と、前記受信部により受信された過去のセンサデータから前記抽出部により抽出された実空間情報を構成する要素に基づいて、学習により所定のパターンからなる実空間情報の特徴モデルを生成する学習部と、前記学習部により生成された特徴モデルにおいて、実空間情報を構成する各要素の重要度を決定する重要度決定部と、前記受信部により受信された直近のセンサデータから前記抽出部により抽出された実空間情報を構成する要素に基づいて、特徴モデルを用いて実空間情報を形成する形成部とを備え、前記情報端末装置の前記制御部は、前記データ保持部により保持されている複数のセンサデータについて、前記サーバの前記重要度決定部により決定された実空間情報を構成する各要素の重要度に基づいて、実空間情報を構成する重要度の高い要素に対応するセンサデータを優先的に送信するように前記送信部を制御し、前記サーバコンピュータの前記形成部は、前記受信部により受信された直近のセンサデータから前記抽出部により抽出された実空間情報を構成する重要度の高い要素に基づいて、特徴モデルを用いて実空間情報を形成することを特徴とする。
また、前記制御部は、通信環境が高速の場合、実空間情報を構成する要素に対応する全てのセンサデータを送信する一方、通信環境が低速の場合、実空間情報を構成する重要度の高い要素に対応するセンサデータを優先的に送信するように前記送信部を制御してもよい。
また、前記制御部は、情報端末装置の保有エネルギーが所定値以上の場合、実空間情報を構成する要素に対応する全てのセンサデータを送信する一方、情報端末装置の保有エネルギーが所定値未満の場合の場合、実空間情報を構成する重要度の高い要素に対応するセンサデータを優先的に送信するように前記送信部を制御してもよい。
また、前記学習部は、実空間情報を構成する要素を多次元で配置したパターンからなる特徴モデルを形成してもよい。
また、前記学習部は、実空間情報を構成する要素を、時刻情報と地点情報、時刻情報と識別情報、経度情報と緯度情報、あるいは地点情報とワード情報のいずれか一つの組み合わせからなる２次元で配置したパターンからなる特徴モデルを生成してもよい。
また、前記重要度決定部は、所定のパターンからなる実空間情報の特徴モデルにおいて、実空間情報を構成する各要素の特徴量の変化に基づいて各要素の重要度を決定してもよい。
また、本発明は、複数の情報端末装置とサーバコンピュータがネットワークを介して通信可能な状態で接続され、各情報端末装置で取得されたセンサデータを収集して、サーバコンピュータで学習により実空間情報を形成する学習型実空間情報形成システムであって、前記情報端末装置は、実空間のセンサデータを取得するデータ取得部と、該データ取得部により取得された複数のセンサデータを保持するデータ保持部と、該データ保持部により保持されているセンサデータをネットワークを介してサーバコンピュータに送信する送信部と、該送信部によるセンサデータの送信を制御する制御部とを備え、前記サーバコンピュータは、前記情報端末装置によりネットワークを介して送信されてきたセンサデータを受信する受信部と、該受信部により受信されたセンサデータから実空間情報を構成する要素を抽出する抽出部と、前記受信部により受信された過去のセンサデータから前記抽出部により抽出された実空間情報を構成する要素に基づいて、学習により所定のパターンからなる実空間情報の特徴モデルを生成する学習部と、前記学習部により生成された特徴モデルにおいて、実空間情報を構成する各要素の重要度を決定する重要度決定部と、前記受信部により受信された直近のセンサデータから前記抽出部により抽出された実空間情報を構成する要素に基づいて、特徴モデルを用いて実空間情報を形成する形成部とを備え、前記情報端末装置の前記制御部は、前記サーバの前記重要度決定部により決定された実空間情報を構成する各要素の重要度に基づいて、実空間情報を構成する重要度の高い要素に対応するセンサデータを優先的に取得するように前記データ取得部を制御し、前記サーバコンピュータの前記形成部は、前記受信部により受信された直近のセンサデータから前記抽出部により抽出された実空間情報を構成する重要度の高い要素に基づいて、特徴モデルを用いて実空間情報を形成することを特徴とする。
また、前記制御部は、通信環境が高速の場合、実空間情報を構成する要素に対応する全てセンサデータを取得する一方、通信環境が低速の場合、実空間情報を構成する重要度の高い要素に対応するセンサデータを優先的に取得するように前記データ取得部を制御してもよい。
また、前記制御部は、情報端末装置の保有エネルギーが所定値以上の場合、実空間情報を構成する要素に対応する全てセンサデータを取得する一方、情報端末装置の保有エネルギーが所定値未満の場合実空間情報を構成する重要度の高い要素に対応するセンサデータを優先的に取得するように前記データ取得部を制御してもよい。
また、本発明は、複数の情報端末装置とサーバコンピュータがネットワークを介して通信可能な状態で接続され、各情報端末装置で取得されたセンサデータを収集して、サーバコンピュータで学習により実空間情報を形成する学習型実空間情報形成システムであって、前記情報端末装置は、実空間のセンサデータを取得するデータ取得部と、該データ取得部により取得された複数のセンサデータを保持するデータ保持部と、該データ保持部により保持されているセンサデータをネットワークを介してサーバコンピュータに送信する送信部と、該送信部によるセンサデータの送信を制御する制御部とを備え、前記サーバコンピュータは、前記情報端末装置によりネットワークを介して送信されてきたセンサデータを受信する受信部と、該受信部により受信されたセンサデータから実空間情報を構成する要素を抽出する抽出部と、前記受信部により受信された過去のセンサデータから前記抽出部により抽出された実空間情報を構成する要素に基づいて、学習により所定のパターンからなる実空間情報の特徴モデルを生成する学習部と、前記学習部により生成された特徴モデルにおいて、実空間情報を構成する各要素の重要度を決定する重要度決定部と、前記受信部により受信された直近のセンサデータから前記抽出部により抽出された実空間情報を構成する要素に基づいて、特徴モデルを用いて実空間情報を形成する形成部とを備え、前記情報端末装置の前記制御部は、前記サーバの前記重要度決定部により決定された実空間情報を構成する各要素の重要度に基づいて、実空間情報を構成する重要度の高い要素に対応するセンサデータを前記データ取得部で優先的に取得するように前記情報端末装置の移動を制御し、前記サーバコンピュータの前記形成部は、前記受信部により受信された直近のセンサデータから前記抽出部により抽出された実空間情報を構成する重要度の高い要素に基づいて、特徴モデルを用いて実空間情報を形成することを特徴とする。
また、前記制御部は、通信環境が高速の場合、実空間情報を構成する要素に対応する全てのセンサデータを前記データ取得部で取得する一方、通信環境が低速の場合、実空間情報を構成する重要度の高い要素に対応するセンサデータを前記データ取得部で優先的に取得するように前記情報端末装置の移動を制御してもよい。
前記制御部は、情報端末装置の保有エネルギーが所定値以上の場合、実空間情報を構成する要素に対応する全てのセンサデータを前記データ取得部で取得する一方、情報端末装置の保有エネルギーが所定値未満の場合、実空間情報を構成する重要度の高い要素に対応するセンサデータを前記データ取得部で優先的に取得するように前記情報端末装置の移動を制御してもよい。
本発明によれば、情報端末装置は実空間情報を構成する重度度の高い要素に対応するセンサデータを優先的に送信するため、情報端末装置からサーバコンピュータに対してセンサデータを効率的にアップロードすることができる。このため、実空間情報を速やかに形成することができるとともに、また一部のデータのみでも高精度な実空間情報を形成することができる。
また、実空間情報サービスをリアルタイムに提供する場合、一定の精度を達成するのに情報端末装置から送信しなければならないデータトラヒックを軽減することができる。
また、情報端末装置から送信されるセンサデータの通信量が少なくなるため、情報端末装置がセンサデータを送信するのに必要な通信料を削減することができるともに、情報端末装置のバッテリーの消費量を押さえて寿命を持たせることができる。
＜実施形態１＞
次に、本発明に係る学習型実空間情報形成システム（以下、本システムという）の第１の実施形態について図１～図７を参照しつつ説明する。
次に、本発明に係る学習型実空間情報形成システム（以下、本システムという）の第１の実施形態について図１～図７を参照しつつ説明する。
［全体構成］
本システムは、図１に示すように、複数の情報端末装置１とサーバコンピュータ（以下、サーバ２という）がネットワークを介して通信可能な状態で接続され、各情報端末装置１で取得されたセンサデータを収集して、サーバ２で学習により実空間情報を形成する。
本システムは、図１に示すように、複数の情報端末装置１とサーバコンピュータ（以下、サーバ２という）がネットワークを介して通信可能な状態で接続され、各情報端末装置１で取得されたセンサデータを収集して、サーバ２で学習により実空間情報を形成する。
このセンサデータは、静止画や動画の画像データ、３次元イメージセンサデータ、音声データ、動画または静止画の画像や音声が混合して構成されるマルチメディアデータのほか、降水量、積雪量、風向、風速、波高などに関する天気データ、地熱や地中成分などに関する地勢データ、震度などに関する地震データなど、実空間においてセンサにより取得可能なあらゆるデータが挙げられる。
また、実空間情報は、環境あるいは社会生活に関する実在する実空間に関する情報である。この実空間情報の一例を挙げると、図４に示すように、時刻情報と地点情報の２次元の形式で配置され、各地点における各時刻の交通量（車両台数）が実空間情報に関する要素として構成される。
また、実空間情報を構成する要素は、各情報端末装置１により取得されたセンサデータから抽出される。例えば、センサデータが各情報端末装置１のカメラにより撮影された交通に関する画像データの場合、該画像データにおいてナンバープレートを画像認識することにより交通量（車両台数）を実空間情報を構成する要素として抽出する。
また、各情報端末装置１によるセンサデータの取得に際しては、例えば、各情報端末装置１が各地点Ａ、Ｂ、Ｃ、Ｄ、Ｅで定点観測的に各時刻のセンサデータ（画像）を取得したり、あるいは、各情報端末装置１が点Ａ、Ｂ、Ｃ、Ｄ、Ｅを相互に移動しながら各時刻のセンサデータ（画像）を取得する。
［情報端末装置１の構成］
前記情報端末装置１は、ユーザが携帯するスマートフォン、携帯電話端末、タブレット端末、スマートグラスなどのモバイルデバイスのほか、自動車に搭載されるドライブレコーダ、ドローン、道路に設置されている防犯カメラ装置や交通カメラ装置、３次元イメージセンサ装置、各種レーダ装置などのデバイスが挙げられ、各デバイスに搭載されている各センサによって実空間のセンサデータを取得して、そのセンサデータをサーバ２にネットワークを介して送信する。
前記情報端末装置１は、ユーザが携帯するスマートフォン、携帯電話端末、タブレット端末、スマートグラスなどのモバイルデバイスのほか、自動車に搭載されるドライブレコーダ、ドローン、道路に設置されている防犯カメラ装置や交通カメラ装置、３次元イメージセンサ装置、各種レーダ装置などのデバイスが挙げられ、各デバイスに搭載されている各センサによって実空間のセンサデータを取得して、そのセンサデータをサーバ２にネットワークを介して送信する。
具体的には、前記情報端末装置１は、図２に示すように、センサデータを取得するデータ取得部１１（センサ）と、センサデータを保持するデータ保持部１２と、センサデータを送信する送信部１３と、送信部１３を制御する制御部１４とを備える。
前記データ取得部１１は、カメラ、マイク、その他の各種センサなど、実空間においてセンサデータを取得するものである。このセンサデータの取得に際しては、センサデータを直接取得してもよいし、あるいはネットワークを介してセンサデータを取得してもよい。
前記データ保持部１２は、データ取得部１１により取得された実空間のセンサデータを一時的または長期的に保持するものである。
前記送信部１３は、データ保持部１２により保持されている実空間のセンサデータをネットワークを介してサーバ２に送信するものである。この送信部１３は、後述するように制御部１４によりセンサデータの送信が制御される。
前記制御部１４は、データ保持部１２により保持されている実空間のセンサデータをネットワークを介してサーバ２に送信するように送信部１３を制御するものである。
具体的には、前記制御部１４は、サーバ２において学習により実空間情報の特徴モデルを生成する際、データ保持部１２により保持されている全てのセンサデータをネットワークを介してサーバ２に送信するように送信部１３を制御する。
また、前記制御部１４は、サーバ２において実空間情報の特徴モデルを用いて将来の実空間情報を形成する際、データ保持部１２により保持されている複数のセンサデータについて、重要度の高いセンサデータを優先的に送信する。具体的には、以下の（１）～（３）のとおりである。
（１）サーバ２から実空間情報を構成する要素の重要度がネットワークを介して送信されてくる（このサーバ２における実空間情報を構成する要素の重要度の決定方法は後述する）
（２）制御部１４は、データ保持部１２に保持されているセンサデータについて、実空間情報を構成する各要素の重要度に基づいて、実空間情報を構成する要素に対応する各センサデータの重要度を決定する。
（３）制御部１４は、重要度の高いセンサデータを優先的に送信するように送信部１３を制御する。
（２）制御部１４は、データ保持部１２に保持されているセンサデータについて、実空間情報を構成する各要素の重要度に基づいて、実空間情報を構成する要素に対応する各センサデータの重要度を決定する。
（３）制御部１４は、重要度の高いセンサデータを優先的に送信するように送信部１３を制御する。
なお、本実施形態では、前記制御部１４は、通信環境が高速の場合（通信環境における通信速度が所定値以上の場合）、データ保持部１２により保持されている未送信の全てのセンサデータを送信する一方、通信環境が低速の場合（通信環境における通信速度が所定値未満の場合）、前記データ保持部１２により保持されているセンサデータのうち、重要度の高いセンサデータを優先的に送信するように送信部１３を制御する。なお、通信環境が高速の場合とは、例えば、移動中ではなく、無線ＬＡＮやミリ波通信といった固定通信が利用可能な環境が挙げられる。
また、前記制御部１４は、データ保持部１２に保持された重要度の高いセンサデータをリアルタイムに送信してもよいし、あるいはデータ保持部１２に一定期間保持された重要度の高いセンサデータを一括して送信するように送信部１３を制御してもよい。
また、前記制御部１４は、重要度の高いセンサデータを送信する方法として、重要度の高いセンサデータを広い周波数帯域で優先的に送信したり、重要度の高いセンサデータの送信確率を高く設定したり、重要度の高いセンサデータの送信電力を優先的に割り当てたりすることが挙げられる。
また、前記制御部１４は、情報端末装置１の計算処理能力と電力を用いて、重要度の高いセンサデータを軽量にする処理（圧縮、解像度の変更など）を行ってもよい。
［サーバ２の構成］
前記サーバ２は、クラウドなどのサーバコンピュータであって、情報端末装置１から送信されてきたセンサデータを統合処理することによって実空間情報を形成し、その形成した実空間情報を知識として提供する。
前記サーバ２は、クラウドなどのサーバコンピュータであって、情報端末装置１から送信されてきたセンサデータを統合処理することによって実空間情報を形成し、その形成した実空間情報を知識として提供する。
具体的には、前記サーバ２は、図３に示すように、実空間のセンサデータを受信する受信部２１と、センサデータから実空間情報を構成する要素を抽出する抽出部２２と、学習により所定のパターンからなる実空間情報の特徴モデルを生成する学習部２３と、実空間情報を構成する各要素の重要度を決定する重要度決定部２４と、将来の実空間情報を形成する形成部２５とを備える。
前記受信部２１は、情報端末装置１によりネットワークを介して送信されてきた実空間のセンサデータを受信するものである。
前記抽出部２２は、受信部２１により受信されたセンサデータから実空間情報を構成する要素を抽出するものである。例えば、実空間情報が、図４に示すように、時刻情報と地点情報の２次元の形式で配置される場合、各地点における各時刻の交通量（車両台数）を実空間情報に関する要素として抽出する。
前記学習部２３は、受信部２１により受信された過去のセンサデータから前記抽出部２２により抽出された実空間情報を構成する要素に基づいて、学習により所定のパターンからなる実空間情報の特徴モデルを生成するものである。
この特徴モデルとは、過去の実空間情報と実空間情報の予測結果（正解）との対応を表わしたものであり、後述するように形成部２５において将来の実空間情報を形成する際に用いられる。
例えば、図４に示すように、実空間情報が時刻情報と地点情報の２次元の形式で配置される場合であって、実空間情報を構成する要素が各地点における各時刻の交通量（車両台数）の場合について考える。
図５は、過去３日分の記録であって、各地点Ａ～Ｅの各時刻１：０１～１：０５の過去の５分間のセンサデータを入力とすることにより過去の実空間情報が形成され、学習時には各地点Ａ～Ｅにおける５分後の時刻１：１０の交通量（車両台数）の予測結果（正解）が与えられ、この過去の実空間情報と実空間情報の予測結果（正解）の対応が特徴モデルとして表される。
前記重要度決定部２４は、実空間情報の特徴モデルにおいて実空間情報を構成する各要素の重要度を決定するものであり、この実空間情報を構成する各要素の重要度はネットワークを介して情報端末装置１に送信される。
例えば、図５に示す実空間情報の特徴モデルの場合、白色の要素の特徴量（車両台数）は日によって異なっているが、黒色の要素の特徴量（車両台数）は日によって変化していない。すなわち、各地点における時刻１：１０の交通量を予測するのに白色の要素が重要であり、黒色の要素は重要でないということになる。このことから重要度決定部２４は、白色の要素の重要度を高くし、かつ黒色の要素の重要度を低く決定することになる。
このように実空間情報を構成する各要素の重要度を決定すると、後述するように形成部２５において将来の空間情報を形成する際、重要度の低い要素については要素の特徴量をそのまま用いるものとする一方、重要度の高い要素については新たなセンサデータから抽出した要素の特徴量を用いることができる。
前記形成部２５は、受信部２１により受信された直近の実空間のセンサデータから抽出部２２により抽出された実空間情報を構成する要素に基づいて、実空間情報の特徴モデルを用いて将来の実空間情報を形成する。
本実施形態では、通信環境が高速の場合、直近の全てのセンサデータを受信部２１で受信するため、直近の全てのセンサデータから抽出部２２により抽出された実空間情報を構成する要素に基づいて、実空間情報の特徴モデルを用いて将来の実空間情報を形成する。
また、通信環境が低速の場合、直近の重要度の高いセンサデータを受信部２１で受信するため、直近の重要度の高いセンサデータから抽出部２２により抽出された実空間情報を構成する重要度の高い要素に基づいて、実空間情報の特徴モデルを用いて将来の実空間情報を形成する。
例えば、図５に示す実空間情報の特徴モデルの場合、情報端末装置１で取得された各地点Ａ～Ｅにおける直近の各時刻１：０１～１：０５の５分間のセンサデータのうち、サーバ２では実空間情報を構成する重要度の高い要素（白色）に対応するセンサデータのみを受信部２１で受信しているため、抽出部２２では実空間情報を構成する重要度の高い要素（白色）の特徴量を抽出することとなる。
一方、情報端末装置１で取得された各地点Ａ～Ｅにおける直近の各時刻１：０１～１：０５の５分間のセンサデータのうち、サーバ２では実空間情報を構成する重要度の低い要素（黒色）に対応するセンサデータを受信部２１で受信していないが、特徴モデルにおいて既に当該重要度の低い要素（黒色）の特徴量は保持されている。
このため、新たに抽出した実空間情報を構成する重要度の高い要素（白色）の特徴量と、既に保持している実空間情報を構成する重要度の低い要素（黒色）の特徴量とを組み合わせることによって、学習した実空間情報の特徴モデルを用いて将来の実空間情報を精度良く形成することができる。
［実空間情報の学習時の流れ］
次に本システムにおける実空間情報の学習時の流れについて、図６に示すフローチャートを参照しつつ説明する。
次に本システムにおける実空間情報の学習時の流れについて、図６に示すフローチャートを参照しつつ説明する。
前記情報端末装置１は、取得した全ての実空間情報のセンサデータをネットワークを介してサーバ２に送信する。具体的な流れは、以下のとおりである。
前記データ取得部１１（センサ）は、実空間において必要なセンサデータを取得する（Ｓ１１）。
そして、前記データ保持部１２は、データ取得部１１により取得された実空間のセンサデータを保持する（Ｓ１２）。
そして、前記送信部１３は、制御部１４の指令に基づいて、データ保持部１２に保持されている過去の全ての実空間のセンサデータをネットワークを介してサーバ２に送信する（Ｓ１３）。
次に、前記サーバ２は、情報端末装置１から送信されてきた実空間のセンサデータから実空間情報を構成する要素を抽出したあと、所定のパターンからなる実空間情報の特徴モデルを生成するとともに、実空間情報を構成する要素の重要度を決定する。具体的な流れは、以下のとおりである。
前記受信部２１は、情報端末装置１によりネットワークを介して送信されてきた実空間のセンサデータを受信する（Ｓ１４）。
そして、前記抽出部２２は、受信部２１により受信されたセンサデータから実空間情報を構成する要素を抽出する（Ｓ１５）。
そして、前記学習部２３は、受信部２１により受信された過去のデータから前記抽出部２２により抽出された実空間情報を構成する要素に基づいて、学習により所定のパターンからなる特徴モデルを生成する（Ｓ１６）。実空間情報の特徴モデルについては、例えば図５に示すとおりである。
そして、前記重要度決定部２４は、実空間情報の特徴モデルにおいて実空間情報を構成する各要素の重要度を決定する（Ｓ１７）。この実空間情報を構成する各要素の重要度の決定については、例えば、図５に示すように、実空間情報を構成する白色の要素は重要度を高く設定し、黒色の要素は重要度を低く設定する。なお、実空間情報を構成する各要素の重要度は、ネットワークを介して情報端末装置１に送信される。
［実空間情報の予測時の流れ］
次に本システムにおける実空間情報の予測時の流れについて、図７に示すフローチャートを参照しつつ説明する。
次に本システムにおける実空間情報の予測時の流れについて、図７に示すフローチャートを参照しつつ説明する。
前記情報端末装置１は、取得した実空間情報のセンサデータのうち、重要度の高いセンサデータをネットワークを介してサーバ２に送信する。具体的な流れは、以下のとおりである。
前記データ取得部１１（センサ）は、実空間において必要なセンサデータを取得する（Ｓ２１）。
そして、前記データ保持部１２は、データ取得部１１により取得されたセンサデータを保持する（Ｓ２２）。このときは、データ取得部１１により取得された全てのセンサデータを保持している。
そして、前記送信部１３は、制御部１４の指令に基づいて、データ保持部１２に保持されている直近の実空間のセンサデータを送信する（Ｓ２３）。具体的には、前記送信部１３は、通信環境が高速の場合、データ保持部１２に保持されている直近の全てのセンサデータを送信する一方、通信環境が低速の場合、前記データ保持部１２により保持されている直近の実空間のセンサデータのうち、重要度の高いセンサデータを優先的に送信する。
次に、前記サーバ２は、情報端末装置１から送信されてきた実空間のセンサデータから実空間情報を構成する要素を抽出したあと、実空間情報の特徴モデルを用いて将来の実空間情報を形成する。具体的な流れは、以下のとおりである。
前記受信部２１は、情報端末装置１によりネットワークを介して送信されてきた実空間のセンサデータを受信する（Ｓ２４）。
そして、前記抽出部２２は、受信部２１により受信されたセンサデータから実空間情報を構成する要素を抽出する（Ｓ２５）。
そして、前記形成部２５は、受信部２１により受信された直近の実空間のセンサデータから抽出部２２により抽出された実空間情報を構成する要素に基づいて、実空間情報の特徴モデルを用いて将来の実空間情報を形成する（Ｓ２６）。
本実施形態では、通信環境が高速の場合、直近の全てのセンサデータを受信部２１で受信するため、直近の全てのセンサデータから抽出部２２により抽出された実空間情報を構成する要素に基づいて、実空間情報の特徴モデルを用いて将来の実空間情報を形成する。
一方、通信環境が低速の場合、直近の重要度の高いセンサデータを受信部２１で受信するため、直近の重要度の高いセンサデータから抽出部２２により抽出された実空間情報を構成する重要度の高い要素に基づいて、実空間情報の特徴モデルを用いて将来の実空間情報を形成する。例えば、図５に示すように、新たに抽出した実空間情報を構成する重要な要素（白色）の特徴量と、既に保持している実空間情報を構成する重要でない要素（黒色）の特徴量とを組み合わせることによって、学習した実空間情報の特徴モデルを用いて将来の実空間情報を精度良く形成することができる。
なお、本実施形態では、前記情報端末装置１の制御部１４は、通信環境が高速の場合、データ保持部１２により保持されている未送信の全てのセンサデータを送信する一方、通信環境が低速の場合、前記データ保持部１２により保持されているセンサデータのうち、重要度の高いセンサデータを優先的に送信するように送信部１３を制御したが、通信環境の状況にかかわらず、重要度の高いセンサデータを優先的に送信するように送信部１３を制御してもよい。ただ、サーバ２の学習部２３において実空間情報の特徴モデルを形成する際、センサデータが多ければ多いほど、特徴モデルの精度が向上するため、最終的には全てのセンサデータをサーバ２に送信するのが好ましい。
また、前記情報端末装置１の制御部１４は、情報端末装置の保有エネルギーが所定値以上の場合、データ保持部１２により保持されている未送信の全てのセンサデータを送信する一方、情報端末装置の保有エネルギーが所定値未満の場合、前記データ保持部１２により保持されているセンサデータのうち、重要度の高いセンサデータを優先的に送信するように送信部１３を制御してもよい。
本システムを実際のセンサデータを用いて検証を行った。仕様は下記のとおりである。
・データセット：CRAWDAD Sab Francisco Cabs（https://crawdad.org/）
・評価指標：RMSLE(Root Mean Squared Log Error)
（評価指標の文献）M. Zeng, T. Yu, X. Wang, V. Su, L.T. Nguyen, and O.J. Mengshoel, "Improving Demand Prediction in Bike Sharing System by Learning Global Features," Machine Learning for Large Scale Transportation Systems (LSTS), 2016.
・機械学習手法：Random Forest
・予測に用いる過去データ：３０分前から１分ごと
・予測対象：１分後
・地点サイズ：１ｋｍ平方
・データセット：CRAWDAD Sab Francisco Cabs（https://crawdad.org/）
・評価指標：RMSLE(Root Mean Squared Log Error)
（評価指標の文献）M. Zeng, T. Yu, X. Wang, V. Su, L.T. Nguyen, and O.J. Mengshoel, "Improving Demand Prediction in Bike Sharing System by Learning Global Features," Machine Learning for Large Scale Transportation Systems (LSTS), 2016.
・機械学習手法：Random Forest
・予測に用いる過去データ：３０分前から１分ごと
・予測対象：１分後
・地点サイズ：１ｋｍ平方
地点ごとに車両台数を予測した結果、図８に示すように、センサデータが一律に送信されサーバ２に一部のセンサデータがランダムに到着した場合、画像数が少ないと誤差が大きく、画像数が250000以上になって初めて誤差が小さくなる。一方、重要度の高いセンサデータが送信された場合、画像数が少ないときでも誤差が小さいことが確認された。
また、地点ごとにタクシーの乗車人数を予測した結果、図９に示すように、センサデータが一律に送信されサーバ２に一部のセンサデータがランダムに到着した場合、画像数が少ないと誤差が大きく、画像数が250000以上になって初めて誤差が小さくなる。一方、重要度の高いセンサデータが送信された場合、画像数が100000前後でも誤差が小さいことが確認された。
＜実施形態２＞
次に、本システムの第２の実施形態について図１０を参照しつつ説明する。なお、以下では上記の実施形態と異なる構成についてのみ説明することとし、同一の構成については説明を省略して同一の符号を付すこととする。
次に、本システムの第２の実施形態について図１０を参照しつつ説明する。なお、以下では上記の実施形態と異なる構成についてのみ説明することとし、同一の構成については説明を省略して同一の符号を付すこととする。
本実施形態では、情報端末装置１の制御部１４は、図１０に示すように、サーバ２の重要度決定部２４により決定された実空間情報を構成する各要素の重要度に基づいて、実空間情報を構成する重要度の高い要素に対応するセンサデータを優先的に取得するようにデータ取得部１１を制御する。
例えば、図４に示す実空間情報の場合、情報端末装置１が実空間情報を構成する重要度の高い要素に対応する地点および時刻に到達したとき、情報端末装置１のデータ取得部１１が当該地点および時刻におけるセンサデータを取得する。この重要度の高いセンサデータは、第１の実施形態と同様、送信部１３によりネットワークを介してサーバ２に送信され、サーバ２において将来の実空間情報の形成に用いられる。
また、情報端末装置１の制御部１４は、通信環境が高速の場合、実空間情報を構成する要素に対応する全てセンサデータを取得する一方、通信環境が低速の場合、実空間情報を構成する重要度の高い要素に対応するセンサデータを優先的に取得するようにデータ取得部１１を制御してもよい。
また、情報端末装置１の制御部１４は、情報端末装置１の保有エネルギーが所定値以上の場合、実空間情報を構成する要素に対応する全てセンサデータを取得する一方、情報端末装置１の保有エネルギーが所定値未満の場合、実空間情報を構成する重要度の高い要素に対応するセンサデータを優先的に取得するようにデータ取得部１１を制御してもよい。
＜実施形態３＞
次に、本システムの第３の実施形態について図１１を参照しつつ説明する。なお、以下では上記の実施形態と異なる構成についてのみ説明することとし、同一の構成については説明を省略して同一の符号を付すこととする。
次に、本システムの第３の実施形態について図１１を参照しつつ説明する。なお、以下では上記の実施形態と異なる構成についてのみ説明することとし、同一の構成については説明を省略して同一の符号を付すこととする。
本実施形態では、前記情報端末装置１の制御部１４は、図１１に示すように、サーバ２の重要度決定部２４により決定された実空間情報を構成する各要素の重要度に基づいて、実空間情報を構成する重要度の高い要素に対応するセンサデータをデータ取得部１１で優先的に取得するように情報端末装置１の移動を制御する。
例えば、情報端末装置１がドローンであって、図４に示す実空間情報の場合、情報端末装置１が実空間情報を構成する重要度の高い要素に対応する地点および時刻に優先的に到達するように情報端末装置１の飛行移動（駆動部１５）を制御する。この重要度の高いセンサデータは、第１の実施形態と同様、送信部１３によりネットワークを介してサーバ２に送信され、サーバ２において将来の実空間情報の形成に用いられる。
なお、本実施形態では、実空間情報の例として、時刻情報と地点情報の２次元の形式で配置される場合、実空間情報を構成する要素として交通量（車両台数）を挙げたが、この実空間情報に限定されるものではなく、例えば下記の実空間情報が考えられる。
また、前記情報端末装置１の制御部１４は、通信環境が高速の場合、実空間情報を構成する要素に対応する全てのセンサデータをデータ取得部１１で取得する一方、通信環境が低速の場合、実空間情報を構成する重要度の高い要素に対応するセンサデータをデータ取得部１１で優先的に取得するように情報端末装置１の移動を制御してもよい。
また、前記情報端末装置１の制御部１４は、情報端末装置１の保有エネルギーが所定値以上の場合、実空間情報を構成する要素に対応する全てのセンサデータを前記データ取得部１１で取得する一方、情報端末装置１の保有エネルギーが所定値未満の場合、実空間情報を構成する重要度の高い要素に対応するセンサデータをデータ取得部１１で優先的に取得するように情報端末装置１の移動を制御してもよい。
（実空間情報例１）
実空間情報が、図４に示すように、時刻情報と地点情報の２次元の形式で配置される場合、下表１に示すように、実空間情報を構成する要素と、その期待される効果が考えられる。
実空間情報が、図４に示すように、時刻情報と地点情報の２次元の形式で配置される場合、下表１に示すように、実空間情報を構成する要素と、その期待される効果が考えられる。
（実空間情報例２）
実空間情報が、図１２に示すように、時刻情報と識別情報（ＩＤ）の２次元の形式で配置される場合、各人物の各時刻における地点を抽出すれば、各人物の将来の時刻における地点を予測することができる。なお、時刻情報と識別情報（ＩＤ）の２次元の形式で配置される場合、下表２に示すように、実空間情報を構成する要素と、その期待される効果が考えられる。
実空間情報が、図１２に示すように、時刻情報と識別情報（ＩＤ）の２次元の形式で配置される場合、各人物の各時刻における地点を抽出すれば、各人物の将来の時刻における地点を予測することができる。なお、時刻情報と識別情報（ＩＤ）の２次元の形式で配置される場合、下表２に示すように、実空間情報を構成する要素と、その期待される効果が考えられる。
（実空間情報例３）
実空間情報が、図１３に示すように、経度情報と緯度情報の２次元の形式で配置される場合、例えば各地点の時刻ｔ－１で収集された空の雲の分布を抽出すれば、各地点の時刻ｔ+１の空の雲の分布を予測することができる。なお、経度情報と緯度情報の２次元の形式で配置される場合、下表３に示すように、実空間情報を構成する要素と、その期待される効果が考えられる。
実空間情報が、図１３に示すように、経度情報と緯度情報の２次元の形式で配置される場合、例えば各地点の時刻ｔ－１で収集された空の雲の分布を抽出すれば、各地点の時刻ｔ+１の空の雲の分布を予測することができる。なお、経度情報と緯度情報の２次元の形式で配置される場合、下表３に示すように、実空間情報を構成する要素と、その期待される効果が考えられる。
（実空間情報例４）
実空間情報が、図１４に示すように、地点情報と複合的情報の２次元の形式で配置される場合、例えば各地点の時刻ｔ－１で収集された音声データからワードを抽出するとともに、収集された画像データからオブジェクトを抽出すれば、各地点における時刻ｔ+１の犯罪発生率を予測することが可能である。
実空間情報が、図１４に示すように、地点情報と複合的情報の２次元の形式で配置される場合、例えば各地点の時刻ｔ－１で収集された音声データからワードを抽出するとともに、収集された画像データからオブジェクトを抽出すれば、各地点における時刻ｔ+１の犯罪発生率を予測することが可能である。
また、前記サーバ２の重要度決定部２４は、実空間情報の特徴モデルにおいて、実空間情報を構成する要素の特徴量の変化があるものを重要度の高い要素と決定したが、要素の特徴量がある閾値を超えた場合に重要度の高い要素と決定したり、また要素の重要度を具体的な数値をもって決定してもよい。
また、実空間情報を構成する要素の重要度決定の方法については、上述の方法（特徴量選択）に限定されるものではなく、例えば、「ＬＳＴＭ（Long Short-Term Memory）」を用いた重要度決定、「ＣＮＮ（Convolutional Neural Network）」を用いた重要度決定、「Ｒａｎｄｏｍ Ｆｏｒｅｓｔ」を用いた重要度決定など、その他の方法を用いてもよい。
上述のＬＳＴＭ、ＣＮＮ、Ｒａｎｄｏｍ Ｆｏｒｅｓｔ は一般に機械学習 (Machine Learning) に含まれる。これらを用いて重要度決定を行う場合、摂動 (Perturb) 方式という特徴選択方式 (Feature Selection) を用いて、実空間情報を構成する要素の重要度を数値として抽出することができる。他の特徴選択方式として、重み (Weights) 方式や不純度 (Impurity) 方式がある。重み方式はＬＳＴＭやＣＮＮなどニューラルネットワーク (Neural Network) 系の機械学習に適用可能であり、不純度方式はＲａｎｄｏｍ Ｆｏｒｅｓｔなど決定木 (Decision Tree) を用いた機械学習に適用可能である。なお、各方式の詳細は下記の文献に記載されている。
（機械学習）
MLP：S. Marsland, Machine learning: an algorithmic perspective, Chapman and Hall/CRC, 2011.
LSTM：Y. Tian and L. Pan, Predicting short-term traffic flow by long short-term memory recurrent neural network, IEEE SmartCity, pp.153-158, 2015.
CNN：S. Ji, W. Xu, M. Yang, and K. Yu, 3D Convolutional Neural Networks for Human Action Recognition, IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 35, no. 1, 2013, pp.221-231.
Random Forest:Z.-H. Zhou, ``Ensemble Methods: Foundations and Algorithms," 1st edition, Chapman & Hall/CRC, 2012.
（特徴選択）
PerturbおよびWeights：M. Gevrey, I. Dimopoulos, and S. Lek, Review and comparison of methods to study the contribution of variables in articial neural network models, Ecological modelling, vol. 160, no. 3, 2003, pp.249-264.
Impurity：L. Breiman, Classification and regression trees, Routledge, 2017.
MLP：S. Marsland, Machine learning: an algorithmic perspective, Chapman and Hall/CRC, 2011.
LSTM：Y. Tian and L. Pan, Predicting short-term traffic flow by long short-term memory recurrent neural network, IEEE SmartCity, pp.153-158, 2015.
CNN：S. Ji, W. Xu, M. Yang, and K. Yu, 3D Convolutional Neural Networks for Human Action Recognition, IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 35, no. 1, 2013, pp.221-231.
Random Forest:Z.-H. Zhou, ``Ensemble Methods: Foundations and Algorithms," 1st edition, Chapman & Hall/CRC, 2012.
（特徴選択）
PerturbおよびWeights：M. Gevrey, I. Dimopoulos, and S. Lek, Review and comparison of methods to study the contribution of variables in articial neural network models, Ecological modelling, vol. 160, no. 3, 2003, pp.249-264.
Impurity：L. Breiman, Classification and regression trees, Routledge, 2017.
以上、図面を参照して本発明の実施形態を説明したが、本発明は、図示した実施形態のものに限定されない。図示された実施形態に対して、本発明と同一の範囲内において、あるいは均等の範囲内において、種々の修正や変形を加えることが可能である。
１…情報端末装置
１１…データ取得部
１２…データ保持部
１３…送信部
１４…制御部
２…サーバコンピュータ
２１…受信部
２２…抽出部
２３…学習部
２４…重要度決定部
２５…形成部
１１…データ取得部
１２…データ保持部
１３…送信部
１４…制御部
２…サーバコンピュータ
２１…受信部
２２…抽出部
２３…学習部
２４…重要度決定部
２５…形成部
Claims (12)
- 複数の情報端末装置とサーバコンピュータがネットワークを介して通信可能な状態で接続され、各情報端末装置で取得されたセンサデータを収集して、サーバコンピュータで学習により実空間情報を形成する学習型実空間情報形成システムであって、
前記情報端末装置は、
実空間のセンサデータを取得するデータ取得部と、
該データ取得部により取得された複数のセンサデータを保持するデータ保持部と、
該データ保持部により保持されているセンサデータをネットワークを介してサーバコンピュータに送信する送信部と、
該送信部によるセンサデータの送信を制御する制御部とを備え、
前記サーバコンピュータは、
前記情報端末装置によりネットワークを介して送信されてきたセンサデータを受信する受信部と、
該受信部により受信されたセンサデータから実空間情報を構成する要素を抽出する抽出部と、
前記受信部により受信された過去のセンサデータから前記抽出部により抽出された実空間情報を構成する要素に基づいて、学習により所定のパターンからなる実空間情報の特徴モデルを生成する学習部と、
前記学習部により生成された特徴モデルにおいて、実空間情報を構成する各要素の重要度を決定する重要度決定部と、
前記受信部により受信された直近のセンサデータから前記抽出部により抽出された実空間情報を構成する要素に基づいて、特徴モデルを用いて実空間情報を形成する形成部とを備え、
前記情報端末装置の前記制御部は、前記データ保持部により保持されている複数のセンサデータについて、前記サーバコンピュータの重要度決定部により決定された実空間情報を構成する各要素の重要度に基づいて、実空間情報を構成する重要度の高い要素に対応するセンサデータを優先的に送信するように送信部を制御し、
前記サーバコンピュータの前記形成部は、前記受信部により受信された直近のセンサデータから前記抽出部により抽出された実空間情報を構成する重要度の高い要素に基づいて、特徴モデルを用いて実空間情報を形成することを特徴とする学習型実空間情報形成システム。 - 前記制御部は、通信環境が高速の場合、実空間情報を構成する要素に対応する全てのセンサデータを送信する一方、
通信環境が低速の場合、実空間情報を構成する重要度の高い要素に対応するセンサデータを優先的に送信するように前記送信部を制御する請求項１に記載の学習型実空間情報形成システム。 - 前記制御部は、情報端末装置の保有エネルギーが所定値以上の場合、実空間情報を構成する要素に対応する全てのセンサデータを送信する一方、
情報端末装置の保有エネルギーが所定値未満の場合の場合、実空間情報を構成する重要度の高い要素に対応するセンサデータを優先的に送信するように前記送信部を制御する請求項１に記載の学習型実空間情報形成システム。 - 前記学習部は、実空間情報を構成する要素を多次元で配置したパターンからなる特徴モデルを形成する請求項１に記載の学習型実空間情報形成システム。
- 前記学習部は、実空間情報を構成する要素を、時刻情報と地点情報、時刻情報と識別情報、経度情報と緯度情報、あるいは地点情報とワード情報のいずれか一つの組み合わせからなる２次元で配置したパターンからなる特徴モデルを生成する請求項４に記載の学習型実空間情報形成システム。
- 前記重要度決定部は、所定のパターンからなる実空間情報の特徴モデルにおいて、実空間情報を構成する各要素の特徴量の変化に基づいて各要素の重要度を決定する請求項１に記載の学習型実空間情報形成システム。
- 複数の情報端末装置とサーバコンピュータがネットワークを介して通信可能な状態で接続され、各情報端末装置で取得されたセンサデータを収集して、サーバコンピュータで学習により実空間情報を形成する学習型実空間情報形成システムであって、
前記情報端末装置は、
実空間のセンサデータを取得するデータ取得部と、
該データ取得部により取得された複数のセンサデータを保持するデータ保持部と、
該データ保持部により保持されているセンサデータをネットワークを介してサーバコンピュータに送信する送信部と、
該送信部によるセンサデータの送信を制御する制御部とを備え、
前記サーバコンピュータは、
前記情報端末装置によりネットワークを介して送信されてきたセンサデータを受信する受信部と、
該受信部により受信されたセンサデータから実空間情報を構成する要素を抽出する抽出部と、
前記受信部により受信された過去のセンサデータから前記抽出部により抽出された実空間情報を構成する要素に基づいて、学習により所定のパターンからなる実空間情報の特徴モデルを生成する学習部と、
前記学習部により生成された特徴モデルにおいて、実空間情報を構成する各要素の重要度を決定する重要度決定部と、
前記受信部により受信された直近のセンサデータから前記抽出部により抽出された実空間情報を構成する要素に基づいて、特徴モデルを用いて実空間情報を形成する形成部とを備え、
前記情報端末装置の制御部は、前記サーバコンピュータの重要度決定部により決定された実空間情報を構成する各要素の重要度に基づいて、実空間情報を構成する重要度の高い要素に対応するセンサデータを優先的に取得するように前記データ取得部を制御し、
前記サーバコンピュータの形成部は、前記受信部により受信された直近のセンサデータから前記抽出部により抽出された実空間情報を構成する重要度の高い要素に基づいて、特徴モデルを用いて実空間情報を形成することを特徴とする学習型実空間情報形成システム。 - 前記制御部は、通信環境が高速の場合、実空間情報を構成する要素に対応する全てセンサデータを取得する一方、
通信環境が低速の場合、実空間情報を構成する重要度の高い要素に対応するセンサデータを優先的に取得するように前記データ取得部を制御する請求項７に記載の学習型実空間情報形成システム。 - 前記制御部は、情報端末装置の保有エネルギーが所定値以上の場合、実空間情報を構成する要素に対応する全てセンサデータを取得する一方、
情報端末装置の保有エネルギーが所定値未満の場合、実空間情報を構成する重要度の高い要素に対応するセンサデータを優先的に取得するように前記データ取得部を制御する請求項７に記載の学習型実空間情報形成システム。 - 複数の情報端末装置とサーバコンピュータがネットワークを介して通信可能な状態で接続され、各情報端末装置で取得されたセンサデータを収集して、サーバコンピュータで学習により実空間情報を形成する学習型実空間情報形成システムであって、
前記情報端末装置は、
実空間のセンサデータを取得するデータ取得部と、
該データ取得部により取得された複数のセンサデータを保持するデータ保持部と、
該データ保持部により保持されているセンサデータをネットワークを介してサーバコンピュータに送信する送信部と、
該送信部によるセンサデータの送信を制御する制御部とを備え、
前記サーバコンピュータは、
前記情報端末装置によりネットワークを介して送信されてきたセンサデータを受信する受信部と、
該受信部により受信されたセンサデータから実空間情報を構成する要素を抽出する抽出部と、
前記受信部により受信された過去のセンサデータから前記抽出部により抽出された実空間情報を構成する要素に基づいて、学習により所定のパターンからなる実空間情報の特徴モデルを生成する学習部と、
前記学習部により生成された特徴モデルにおいて、実空間情報を構成する各要素の重要度を決定する重要度決定部と、
前記受信部により受信された直近のセンサデータから前記抽出部により抽出された実空間情報を構成する要素に基づいて、特徴モデルを用いて実空間情報を形成する形成部とを備え、
前記情報端末装置の前記制御部は、前記サーバコンピュータの重要度決定部により決定された実空間情報を構成する各要素の重要度に基づいて、実空間情報を構成する重要度の高い要素に対応するセンサデータを前記データ取得部で優先的に取得するように前記情報端末装置の移動を制御し、
前記サーバコンピュータの前記形成部は、前記受信部により受信された直近のセンサデータから前記抽出部により抽出された実空間情報を構成する重要度の高い要素に基づいて、特徴モデルを用いて実空間情報を形成することを特徴とする学習型実空間情報形成システム。 - 前記制御部は、通信環境が高速の場合、実空間情報を構成する要素に対応する全てのセンサデータを前記データ取得部で取得する一方、
通信環境が低速の場合、実空間情報を構成する重要度の高い要素に対応するセンサデータを前記データ取得部で優先的に取得するように前記情報端末装置の移動を制御する請求項１０に記載の学習型実空間情報形成システム。 - 前記制御部は、情報端末装置の保有エネルギーが所定値以上の場合、実空間情報を構成する要素に対応する全てのセンサデータを前記データ取得部で取得する一方、
情報端末装置の保有エネルギーが所定値未満の場合、実空間情報を構成する重要度の高い要素に対応するセンサデータを前記データ取得部で優先的に取得するように前記情報端末装置の移動を制御する請求項１０に記載の学習型実空間情報形成システム。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018192689 | 2018-10-11 | ||
| JP2018192689 | 2018-10-11 | ||
| PCT/JP2019/038865 WO2020075584A1 (ja) | 2018-10-11 | 2019-10-02 | 学習型実空間情報形成システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2020075584A1 JPWO2020075584A1 (ja) | 2021-11-18 |
| JP7398808B2 true JP7398808B2 (ja) | 2023-12-15 |
Family
ID=70165173
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020550488A Active JP7398808B2 (ja) | 2018-10-11 | 2019-10-02 | 学習型実空間情報形成システム |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20210350261A1 (ja) |
| EP (1) | EP3866029A4 (ja) |
| JP (1) | JP7398808B2 (ja) |
| WO (1) | WO2020075584A1 (ja) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014209311A (ja) | 2013-03-26 | 2014-11-06 | 日本電気株式会社 | データ収集管理システム、データ収集管理方法、端末及び管理装置 |
| JP2016009342A (ja) | 2014-06-25 | 2016-01-18 | 日本電信電話株式会社 | エリアバースト推定提示装置、エリアバースト推定提示方法及びエリアバースト推定提示プログラム |
| JP2018084854A (ja) | 2016-11-21 | 2018-05-31 | 日本電気株式会社 | センサデータ処理方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9047084B2 (en) * | 2009-09-22 | 2015-06-02 | Microsoft Technology Licensing, Llc | Power management of a mobile communications device |
| US9630318B2 (en) * | 2014-10-02 | 2017-04-25 | Brain Corporation | Feature detection apparatus and methods for training of robotic navigation |
| JP6819888B2 (ja) * | 2015-12-10 | 2021-01-27 | 日本電気株式会社 | データ収集システム、データ収集方法、ゲートウェイ装置、サーバ装置、およびプログラム |
| US20170208493A1 (en) * | 2016-01-19 | 2017-07-20 | Qsense Inc. | Management of a distributed sensor system |
| US9977488B1 (en) * | 2016-03-10 | 2018-05-22 | Changming Kong | Electronic device with smart power management system |
| US10902343B2 (en) * | 2016-09-30 | 2021-01-26 | Disney Enterprises, Inc. | Deep-learning motion priors for full-body performance capture in real-time |
| US11144616B2 (en) * | 2017-02-22 | 2021-10-12 | Cisco Technology, Inc. | Training distributed machine learning with selective data transfers |
| US10810806B2 (en) * | 2017-03-13 | 2020-10-20 | Renovo Motors, Inc. | Systems and methods for processing vehicle sensor data |
| US10955584B2 (en) * | 2018-04-25 | 2021-03-23 | Microsoft Technology Licensing, Llc | Predicting microclimate |
-
2019
- 2019-10-02 WO PCT/JP2019/038865 patent/WO2020075584A1/ja unknown
- 2019-10-02 US US17/277,623 patent/US20210350261A1/en active Pending
- 2019-10-02 EP EP19870486.8A patent/EP3866029A4/en active Pending
- 2019-10-02 JP JP2020550488A patent/JP7398808B2/ja active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014209311A (ja) | 2013-03-26 | 2014-11-06 | 日本電気株式会社 | データ収集管理システム、データ収集管理方法、端末及び管理装置 |
| JP2016009342A (ja) | 2014-06-25 | 2016-01-18 | 日本電信電話株式会社 | エリアバースト推定提示装置、エリアバースト推定提示方法及びエリアバースト推定提示プログラム |
| JP2018084854A (ja) | 2016-11-21 | 2018-05-31 | 日本電気株式会社 | センサデータ処理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2020075584A1 (ja) | 2020-04-16 |
| EP3866029A1 (en) | 2021-08-18 |
| US20210350261A1 (en) | 2021-11-11 |
| JPWO2020075584A1 (ja) | 2021-11-18 |
| EP3866029A4 (en) | 2022-07-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10955586B2 (en) | Weather forecasting system and methods | |
| EP3699825A2 (en) | Systems and methods for deploying and updating neural networks at the edge of a network | |
| US11521022B2 (en) | Semantic state based sensor tracking and updating | |
| CN110196593B (zh) | 一种自动驾驶多场景环境检测及决策系统及方法 | |
| JP7221423B6 (ja) | 時間変動音量予測システム | |
| CN108574929A (zh) | 用于自主驾驶系统中的车载环境中的联网场景再现和增强的方法和设备 | |
| Fadlullah et al. | On smart IoT remote sensing over integrated terrestrial-aerial-space networks: An asynchronous federated learning approach | |
| CN111033318A (zh) | 当地气象预测 | |
| CN106935034B (zh) | 面向车联网的区域交通流量预测系统及方法 | |
| JP7276432B2 (ja) | 通信システム及び端末 | |
| KR102333143B1 (ko) | 무인 계수 서비스 제공 시스템 | |
| JP7226575B2 (ja) | 通信端末及び通信品質予測方法 | |
| US10616340B2 (en) | Distributed computing of large data by selecting a computational resource of a remote server based on selection policies and data information wherein the selections policies are associated with location constraints, time constraints, and data type constraints | |
| Shinkuma et al. | Data assessment and prioritization in mobile networks for real-time prediction of spatial information with machine learning | |
| Shinkuma et al. | Data assessment and prioritization in mobile networks for real-time prediction of spatial information using machine learning | |
| CN114663739A (zh) | 特定于环境的模型交付 | |
| JP7398808B2 (ja) | 学習型実空間情報形成システム | |
| CN117453843A (zh) | 数据处理方法和装置、存储介质以及电子设备 | |
| Gu et al. | Mobility-aware federated self-supervised learning in vehicular network | |
| CN117370785A (zh) | 智慧城市的环境监测方法、终端及环境监测系统 | |
| CN113723203B (zh) | 一种面向边缘计算的人行为特征提取方法与系统 | |
| Shinkuma et al. | System design for predictive road-traffic information delivery using edge-cloud computing | |
| CN111291597B (zh) | 一种基于图像的人群态势分析方法、装置、设备及系统 | |
| US20240349069A1 (en) | Systems and methods for configuring a network node based on a radio frequency environment | |
| CN114664092B (zh) | 交通事件检测系统、事件检测方法以及装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20210305 |
|
| AA64 | Notification of invalidation of claim of internal priority (with term) |
Free format text: JAPANESE INTERMEDIATE CODE: A241764 Effective date: 20210726 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210803 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220826 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231002 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231003 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231127 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231128 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7398808 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |