JP7187806B2 - Information processing device, system, method, and computer program - Google Patents
Information processing device, system, method, and computer program Download PDFInfo
- Publication number
- JP7187806B2 JP7187806B2 JP2018075101A JP2018075101A JP7187806B2 JP 7187806 B2 JP7187806 B2 JP 7187806B2 JP 2018075101 A JP2018075101 A JP 2018075101A JP 2018075101 A JP2018075101 A JP 2018075101A JP 7187806 B2 JP7187806 B2 JP 7187806B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- sensor data
- unit
- time
- real
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Description
本発明は、情報処理装置、システム、方法、及びコンピュータプログラムに関する。 The present invention relates to an information processing device, system, method, and computer program.
自動車及び自動二輪車等(以下「車両」と呼ぶ)の運転に関して運転者を支援する運転支援システムが提案されている。こうした運転支援システムは、種々の情報を処理するための情報処理装置(サーバ)を含む。情報処理装置は、道路及びその周辺に設置された検知装置(カメラ、レーダ装置等)から情報を収集する。例えば、交差点等にカメラが設置されている場合、当該カメラで撮影された映像データ(センサデータ)は通信回線を介して情報処理装置に送信される。情報処理装置は、送信されたセンサデータを受信して解析し、当該解析によって得られた交通に関する情報を運転支援情報として車両に提供する。 Driving assistance systems have been proposed for assisting drivers in driving automobiles, motorcycles, and the like (hereinafter referred to as "vehicles"). Such a driving support system includes an information processing device (server) for processing various information. The information processing device collects information from detection devices (cameras, radar devices, etc.) installed on and around roads. For example, when a camera is installed at an intersection or the like, image data (sensor data) captured by the camera is transmitted to an information processing device via a communication line. The information processing device receives and analyzes the transmitted sensor data, and provides the vehicle with traffic-related information obtained by the analysis as driving support information.
道路等に複数の検知装置が設置されている場合、情報処理装置には各検知装置から送信されるセンサデータが入力される。後掲の特許文献1には、こうした構成が開示されている。具体的には、特許文献1には、複数の街頭カメラで捉えた各所の映像を同じ通信回線を介して受信局に伝送するシステムが開示されている。各映像データは通信経路上に位置する複数の中継器を介して伝送される。中継器間のリンクのスループットは時間的に一定ではなく常に変動しているため、このスループットの変動によってサービス全体の品質が低下する。これを避けるために、通信経路のスループット変動を逐次検出して、経路状態に応じた伝送レート制御が行なわれている。特許文献1では、経路上の中継器を監視することにより、通信経路のスループット変動の検出を行なう。その際、中継器におけるデータの遅延時間に応じて中継器毎の監視の重要度を決定し、その重要度に応じて監視対象の中継器を決定する。
When a plurality of detection devices are installed on a road or the like, sensor data transmitted from each detection device is input to the information processing device.
各検知装置が検出した各情報(センサデータ)は同じ通信回線を介して送信されるとは限らない。検知装置によっては、他の検知装置とは異なる通信回線を介して情報処理装置にセンサデータが送信されることがある。通信回線が異なると、通信速度も変わり得る。さらに、運転支援のための情報を提供する検知装置は種々のものがあり、ハードウェア側での処理時間が異なることもある。そのため、複数の検知装置からのセンサデータを運転支援に用いる場合、情報処理装置が受信するセンサデータ毎に遅延時間のばらつきが生じる。その場合、リアルタイム性を確保した安全支援を行なうことが困難になるという問題がある。 Each piece of information (sensor data) detected by each detection device is not necessarily transmitted via the same communication line. Depending on the detection device, sensor data may be transmitted to the information processing device via a communication line different from that of other detection devices. Different communication lines can have different communication speeds. Furthermore, there are various detection devices that provide information for driving assistance, and the processing time on the hardware side may differ. Therefore, when sensor data from a plurality of detection devices are used for driving assistance, delay time varies for each sensor data received by the information processing device. In that case, there is a problem that it becomes difficult to provide safety assistance that ensures real-time performance.
特許文献1に開示の技術は、通信経路の品質低下を抑制するために、当該通信経路を監視するものである。特許文献1には、遅延時間を算出する記載があるものの、算出された遅延時間は監視対象の中継器を決定するために用いられる。そのため、特許文献1に開示の技術ではこうした問題は解決できない。
The technique disclosed in
本発明は、上記のような課題を解決するためになされたものであり、本発明の1つの目的は、異なる遅延のセンサデータを活用して、リアルタイム性を確保した安全支援を行なうことが可能な情報処理装置、システム、方法、及びコンピュータプログラムを提供することである。 The present invention has been made to solve the above problems, and one object of the present invention is to utilize sensor data with different delays to enable real-time safety assistance. It is to provide an information processing device, system, method, and computer program.
本発明の第1の局面に係る情報処理装置は、複数の検知装置からそれぞれ送信されるセンサデータを受信する受信部と、センサデータの通信遅延に関する遅延情報に基づいて、受信部が受信したセンサデータの各々に対して、将来の状態を予測する予測解析処理を実行するか否かを判定する判定部と、判定部の判定結果が肯定であるセンサデータに対して予測解析処理を実行して予測情報を生成する予測解析処理部と、判定部の判定結果が否定であるセンサデータに対してリアルタイムでの解析処理を実行してリアルタイム情報を生成するリアルタイム解析処理部と、予測解析処理部が生成した予測情報及びリアルタイム解析処理部が生成したリアルタイム情報を情報処理装置の外部に出力する情報出力部とを含む。 The information processing device according to the first aspect of the present invention includes a receiving unit that receives sensor data transmitted from each of a plurality of detection devices, and a sensor received by the receiving unit based on delay information related to communication delay of the sensor data. A judgment unit for judging whether or not to execute predictive analysis processing for predicting a future state for each piece of data; A prediction analysis processing unit that generates prediction information, a real-time analysis processing unit that performs real-time analysis processing on sensor data for which the determination result of the determination unit is negative to generate real-time information, and a prediction analysis processing unit. and an information output unit that outputs the generated prediction information and the real-time information generated by the real-time analysis processing unit to the outside of the information processing apparatus.
本発明の第2の局面に係るシステムは、互いに通信可能に接続された複数の情報処理装置を含み、外部への情報提供処理を複数の情報処理装置にて分散処理するシステムである。複数の情報処理装置は第1の情報処理装置及び第2の情報処理装置を含む。このシステムは、複数の検知装置からそれぞれ送信されるセンサデータを受信する受信部と、センサデータの通信遅延に関する遅延情報に基づいて、受信部が受信したセンサデータの各々に対して、将来の状態を予測する予測解析処理を実行するか否かを判定する判定部と、判定部の判定結果が肯定であるセンサデータに対して予測解析処理を実行して予測情報を生成する予測解析処理部と、判定部の判定結果が否定であるセンサデータに対してリアルタイムでの解析処理を実行してリアルタイム情報を生成するリアルタイム解析処理部と、予測解析処理部が生成した予測情報及びリアルタイム解析処理部が生成したリアルタイム情報を情報処理装置の外部に出力する情報出力部とを含む。第1の情報処理装置は、予測解析処理部による処理を実行し、第2の情報処理装置は、リアルタイム解析処理部による処理を実行する。 A system according to a second aspect of the present invention is a system that includes a plurality of information processing devices that are communicably connected to each other, and distributes information provision processing to the outside by the plurality of information processing devices. The plurality of information processing devices includes a first information processing device and a second information processing device. This system includes a receiving unit that receives sensor data transmitted from each of a plurality of detection devices, and a future state for each of the sensor data received by the receiving unit based on delay information regarding communication delay of the sensor data. and a prediction analysis processing unit for generating prediction information by executing the prediction analysis processing on sensor data for which the determination result of the determination unit is affirmative. , a real-time analysis processing unit that performs real-time analysis processing on sensor data for which the determination result of the determination unit is negative to generate real-time information, and a prediction information generated by the prediction analysis processing unit and a real-time analysis processing unit. and an information output unit for outputting the generated real-time information to the outside of the information processing apparatus. The first information processing device executes processing by the predictive analysis processing unit, and the second information processing device executes processing by the real-time analysis processing unit.
本発明の第3の局面に係るシステムは、受信したセンサデータを解析処理してその解析結果を配信する情報処理装置と、車両に搭載され、情報処理装置から配信される解析結果を受信する通信端末とを含むシステムである。このシステムにおいて、情報処理装置は、複数の検知装置からそれぞれ送信されるセンサデータを受信する受信部と、センサデータの通信遅延に関する遅延情報に基づいて、受信部が受信したセンサデータの各々に対して、将来の状態を予測する予測解析処理を実行するか否かを判定する判定部と、判定部の判定結果が肯定であるセンサデータに対して予測解析処理を実行して予測情報を生成する予測解析処理部と、判定部の判定結果が否定であるセンサデータに対してリアルタイムでの解析処理を実行してリアルタイム情報を生成するリアルタイム解析処理部と、予測解析処理部が生成した予測情報及びリアルタイム解析処理部が生成したリアルタイム情報を統合する統合部と、統合部によって統合された、予測情報及びリアルタイム情報を通信端末に配信する情報配信部とを含む。通信端末は、情報配信部が配信した統合情報を受信して、受信した統合情報を当該通信端末が搭載される車両の搭乗者に通知する情報通知部を含む。 A system according to a third aspect of the present invention includes an information processing device that analyzes received sensor data and distributes the analysis results, and communication that is mounted on a vehicle and receives the analysis results distributed from the information processing device. It is a system including a terminal. In this system, the information processing device includes a receiving unit that receives sensor data transmitted from each of the plurality of detection devices, and for each sensor data received by the receiving unit based on delay information related to communication delay of the sensor data. a judgment unit for judging whether or not to execute predictive analysis processing for predicting a future state; and predictive analysis processing for sensor data for which the judgment result of the judging unit is affirmative to generate prediction information. A prediction analysis processing unit, a real-time analysis processing unit that performs real-time analysis processing on sensor data for which the determination result of the determination unit is negative to generate real-time information, prediction information generated by the prediction analysis processing unit, and An integration unit that integrates the real-time information generated by the real-time analysis processing unit, and an information distribution unit that distributes the prediction information and the real-time information integrated by the integration unit to the communication terminal. The communication terminal includes an information notification unit that receives the integrated information distributed by the information distribution unit and notifies the received integrated information to the passengers of the vehicle in which the communication terminal is mounted.
本発明の第4の局面に係る方法は、複数の検知装置からそれぞれ送信されるセンサデータを受信するステップと、センサデータの通信遅延に関する遅延情報に基づいて、受信するステップにおいて受信したセンサデータの各々に対して、将来の状態を予測する予測解析処理を実行するか否かを判定するステップと、判定するステップにおける判定結果が肯定であるセンサデータに対して予測解析処理を実行して予測情報を生成するステップと、判定するステップにおける判定結果が否定であるセンサデータに対してリアルタイムでの解析処理を実行してリアルタイム情報を生成するステップと、予測情報を生成するステップにおいて生成された予測情報及びリアルタイム情報を生成するステップにおいて生成されたリアルタイム情報を外部に出力するステップとを含む。 A method according to a fourth aspect of the present invention includes a step of receiving sensor data transmitted from each of a plurality of detection devices, and processing of the sensor data received in the receiving step based on delay information regarding a communication delay of the sensor data. a step of determining whether predictive analysis processing for predicting a future state is to be performed for each; a step of generating real-time information by performing real-time analysis processing on sensor data for which the determination result in the determining step is negative, and the prediction information generated in the step of generating prediction information and outputting the real-time information generated in the step of generating the real-time information to the outside.
本発明の第5の局面に係るコンピュータプログラムは、コンピュータを、複数の検知装置からそれぞれ送信されるセンサデータを受信する受信部、センサデータの通信遅延に関する遅延情報に基づいて、受信部が受信したセンサデータの各々に対して、将来の状態を予測する予測解析処理を実行するか否かを判定する判定部、判定部の判定結果が肯定であるセンサデータに対して予測解析処理を実行して予測情報を生成する予測解析処理部、判定部の判定結果が否定であるセンサデータに対してリアルタイムでの解析処理を実行してリアルタイム情報を生成するリアルタイム解析処理部、及び、予測解析処理部が生成した予測情報及びリアルタイム解析処理部が生成したリアルタイム情報を上記コンピュータの外部に出力する情報出力部として機能させる。 A computer program according to a fifth aspect of the present invention provides a computer, a receiving unit that receives sensor data transmitted from each of a plurality of detection devices, and based on delay information regarding a communication delay of the sensor data, the receiving unit received A determination unit that determines whether or not to execute predictive analysis processing for predicting a future state for each piece of sensor data, and executes predictive analysis processing on sensor data for which the determination result of the determination unit is affirmative. A prediction analysis processing unit that generates prediction information, a real-time analysis processing unit that performs real-time analysis processing on sensor data for which the determination result of the determination unit is negative to generate real-time information, and a prediction analysis processing unit. It functions as an information output unit that outputs the generated prediction information and the real-time information generated by the real-time analysis processing unit to the outside of the computer.
本発明によれば、異なる遅延のセンサデータを活用して、リアルタイム性を確保した安全支援を行なうことが可能な情報処理装置、システム、方法、及びコンピュータプログラムを得ることができる。 ADVANTAGE OF THE INVENTION According to this invention, the information processing apparatus, system, method, and computer program which can perform safety assistance which ensured real-time property using the sensor data of a different delay can be obtained.
[本発明の実施形態の説明]
最初に、本発明の実施の形態の内容を列記して説明する。以下に記載する実施形態の少なくとも一部を任意に組合せてもよい。
[Description of the embodiment of the present invention]
First, the contents of the embodiments of the present invention will be listed and explained. At least some of the embodiments described below may be combined arbitrarily.
(1)本発明の第1の局面に係る情報処理装置は、複数の検知装置からそれぞれ送信されるセンサデータを受信する受信部と、センサデータの通信遅延に関する遅延情報に基づいて、受信部が受信したセンサデータの各々に対して、将来の状態を予測する予測解析処理を実行するか否かを判定する判定部と、判定部の判定結果が肯定であるセンサデータに対して予測解析処理を実行して予測情報を生成する予測解析処理部と、判定部の判定結果が否定であるセンサデータに対してリアルタイムでの解析処理を実行してリアルタイム情報を生成するリアルタイム解析処理部と、予測解析処理部が生成した予測情報及びリアルタイム解析処理部が生成したリアルタイム情報を情報処理装置の外部に出力する情報出力部とを含む。 (1) An information processing device according to a first aspect of the present invention includes a receiving unit that receives sensor data transmitted from each of a plurality of detection devices, and a receiving unit based on delay information regarding a communication delay of the sensor data. A determination unit that determines whether or not to execute predictive analysis processing for predicting a future state for each received sensor data, and predictive analysis processing is performed on sensor data for which the determination result of the determination unit is affirmative. A prediction analysis processing unit that executes and generates prediction information, a real-time analysis processing unit that executes real-time analysis processing on sensor data for which the determination result of the determination unit is negative to generate real-time information, and prediction analysis an information output unit that outputs the prediction information generated by the processing unit and the real-time information generated by the real-time analysis processing unit to the outside of the information processing apparatus.
異なる遅延のセンサデータをデータ受信部が受信すると、判定部が、受信した各センサデータの遅延情報に基づいて予測解析処理を実行するか否かを判定する。判定結果が肯定であるセンサデータについては、予測解析処理部によって予測解析処理が行なわれる。この予測解析処理によって、リアルタイム性が高められた予測情報が生成される。一方、判定結果が否定であるセンサデータはリアルタイム解析処理部によってリアルタイムでの解析処理が実行される。この解析処理によってリアルタイム情報が生成される。したがって、受信するセンサデータ毎に遅延時間のばらつきが生じる場合であっても、センサデータのいずれに対してもリアルタイム性の高い情報を生成できる。このような情報を、情報出力部が自装置の外部に出力することによって、リアルタイム性を確保した安全支援を行なうことができる。 When the data receiving unit receives sensor data with different delays, the determination unit determines whether to execute the predictive analysis process based on the delay information of each received sensor data. Sensor data for which the determination result is affirmative is subjected to predictive analysis processing by the predictive analysis processing unit. This predictive analysis process generates predictive information with improved real-time performance. On the other hand, sensor data for which the determination result is negative is analyzed in real time by the real-time analysis processing unit. Real-time information is generated by this analysis process. Therefore, even if the delay time varies for each received sensor data, highly real-time information can be generated for any of the sensor data. By outputting such information from the information output unit to the outside of the device itself, it is possible to provide safety assistance that ensures real-time performance.
(2)好ましくは、遅延情報は、通信に関する遅延時間を含み、予測解析処理部は、処理対象のセンサデータの遅延時間に応じた時間だけ先の将来の状態を予測して予測情報を生成する。これにより、よりリアルタイム性の高い予測情報を生成できる。 (2) Preferably, the delay information includes a delay time related to communication, and the prediction analysis processing unit predicts a future state by a time corresponding to the delay time of the sensor data to be processed to generate prediction information. . This makes it possible to generate prediction information with higher real-time performance.
(3)より好ましくは、遅延情報は、通信に関する遅延時間を含み、予測解析処理部は、処理対象のセンサデータ毎に、各センサデータの遅延時間だけ先の将来の状態を予測して予測情報を生成する。これにより、予測解析処理が実行されたセンサデータ毎に、生成される予測情報のリアルタイム性を高めることができる。 (3) More preferably, the delay information includes a delay time related to communication, and the prediction analysis processing unit predicts a future state ahead by the delay time of each sensor data for each sensor data to be processed, and predicts the prediction information to generate This makes it possible to improve the real-time nature of prediction information generated for each piece of sensor data on which prediction analysis processing has been performed.
(4)さらに好ましくは、判定部は、センサデータの遅延時間が所定のしきい値以上か否かに基づいて、センサデータの各々に対して予測解析処理を実行するか否かを判定する。これにより、予測解析処理を実行するか否かの判定を容易かつ正確に行なうことができる。 (4) More preferably, the determination unit determines whether or not to execute the predictive analysis process for each piece of sensor data based on whether or not the delay time of the sensor data is equal to or greater than a predetermined threshold value. This makes it possible to easily and accurately determine whether or not to execute the predictive analysis process.
(5)さらに好ましくは、遅延情報は、センサデータが送信される通信回線の種類を識別するための識別情報を含み、判定部は、識別情報に基づいて、センサデータの各々に対して予測解析処理を実行するか否かを判定する。このような構成でも、予測解析処理を実行するか否かの判定を容易に行なうことができる。 (5) More preferably, the delay information includes identification information for identifying the type of communication line through which the sensor data is transmitted, and the determination unit predictively analyzes each of the sensor data based on the identification information. Determine whether or not to execute processing. Even with such a configuration, it is possible to easily determine whether or not to execute the predictive analysis process.
(6)さらに好ましくは、遅延時間を所定のしきい値と比較することにより、受信部が受信したセンサデータを、遅延時間がしきい値未満である第1のグループ及び遅延時間がしきい値以上である第2のグループに分類する分類部をさらに含み、判定部は、分類部の分類結果に基づいて、センサデータの各々に対して予測解析処理を実行するか否かを判定し、リアルタイム解析処理部は、第1のグループに属するセンサデータに対してリアルタイムでの解析処理を実行してリアルタイム情報を生成するリアルタイム情報生成部を含み、予測解析処理部は、第2のグループに属するセンサデータに対して予測解析処理を実行して予測情報を生成する予測情報生成部を含み、情報出力部は、予測情報生成部が生成した予測情報にリアルタイム情報生成部が生成したリアルタイム情報を外部に出力する。これにより、受信したセンサデータを、遅延の小さいグループと、遅延の大きいグループに分類できる。このように分類することで、受信したセンサデータに対して、予測解析処理、及びリアルタイム解析処理を容易に行なうことができる。 (6) More preferably, by comparing the delay time with a predetermined threshold value, the sensor data received by the receiving unit are classified into the first group whose delay time is less than the threshold value and the threshold value. Further includes a classification unit for classifying into the second group as described above, and the determination unit determines whether or not to execute predictive analysis processing for each of the sensor data based on the classification result of the classification unit, real-time The analysis processing unit includes a real-time information generation unit that performs real-time analysis processing on sensor data belonging to the first group to generate real-time information, and the predictive analysis processing unit performs sensor data belonging to the second group. A prediction information generation unit that performs prediction analysis processing on data to generate prediction information, and an information output unit outputs real-time information generated by the real-time information generation unit to the prediction information generated by the prediction information generation unit. Output. Thereby, the received sensor data can be classified into a small delay group and a large delay group. By classifying in this way, predictive analysis processing and real-time analysis processing can be easily performed on the received sensor data.
(7)さらに好ましくは、予測解析処理部が生成した予測情報及びリアルタイム解析処理部が生成したリアルタイム情報を統合する統合処理部をさらに含み、情報出力部は、統合処理部によって統合された、予測情報及びリアルタイム情報を外部に出力する。これにより、より高度な安全支援を実現できる。 (7) More preferably, it further includes an integration processing unit that integrates the prediction information generated by the prediction analysis processing unit and the real-time information generated by the real-time analysis processing unit, and the information output unit is the prediction integrated by the integration processing unit. Output information and real-time information to the outside. As a result, more advanced safety support can be realized.
(8)さらに好ましくは、移動体から送信される、当該移動体の移動予定ルートを受信するルート情報受信部をさらに含み、情報出力部は、ルート情報受信部が受信した移動予定ルートに基づいて、当該移動予定ルートを送信した移動体に対して、予測情報とリアルタイム情報とを統合して配信する情報配信部を含む。ルート情報受信部が受信した移動予定ルートに基づいて、移動予定のないエリア、又は移動体が近づくまでに時間を要するエリア等を認識できる。したがって、そのようなエリアから送信されるセンサデータに対して、予測解析処理又はリアルタイム解析処理の実行を停止できる。これにより、処理負荷を低減しながら、安全支援を行なうことができる。 (8) More preferably, it further includes a route information receiving unit for receiving the planned travel route of the mobile, which is transmitted from the mobile, and the information output unit outputs information based on the planned travel route received by the route information receiving unit. , an information distribution unit that integrates and distributes prediction information and real-time information to a moving object that has transmitted the planned movement route. Based on the planned movement route received by the route information receiving unit, it is possible to recognize an area where there is no movement plan, an area where it takes time for the moving body to approach, and the like. Accordingly, it is possible to stop performing predictive or real-time analytical processing on sensor data transmitted from such areas. As a result, it is possible to provide safety support while reducing the processing load.
(9)さらに好ましくは、複数の検知装置の少なくとも1つは、移動体に搭載された当該移動体の周囲の状況情報をセンサデータとして送信する移動体検知装置であり、受信部は、移動体検知装置から送信されたセンサデータを受信する機能を持つ。これにより、移動体から送信されるセンサデータをも安全支援に活用できるので、より一層高度な安全支援を実現できる。 (9) More preferably, at least one of the plurality of detection devices is a mobile body detection device that transmits as sensor data information about the surroundings of the mobile body mounted on the mobile body, and the receiving unit includes: It has a function to receive sensor data sent from the detection device. As a result, the sensor data transmitted from the moving body can also be used for safety support, so that even more advanced safety support can be realized.
(10)さらに好ましくは、情報処理装置は移動体に搭載される。このような構成によっても、異なる遅延のセンサデータを活用して、リアルタイム性を確保した安全支援を行なうことができる。 (10) More preferably, the information processing device is mounted on a mobile object. With such a configuration as well, it is possible to utilize sensor data with different delays to provide real-time safety assistance.
(11)本発明の第2の局面に係るシステムは、互いに通信可能に接続された複数の情報処理装置を含み、外部への情報提供処理を複数の情報処理装置にて分散処理するシステムである。複数の情報処理装置は第1の情報処理装置及び第2の情報処理装置を含む。このシステムは、複数の検知装置からそれぞれ送信されるセンサデータを受信する受信部と、センサデータの通信遅延に関する遅延情報に基づいて、受信部が受信したセンサデータの各々に対して、将来の状態を予測する予測解析処理を実行するか否かを判定する判定部と、判定部の判定結果が肯定であるセンサデータに対して予測解析処理を実行して予測情報を生成する予測解析処理部と、判定部の判定結果が否定であるセンサデータに対してリアルタイムでの解析処理を実行してリアルタイム情報を生成するリアルタイム解析処理部と、予測解析処理部が生成した予測情報及びリアルタイム解析処理部が生成したリアルタイム情報を情報処理装置の外部に出力する情報出力部とを含む。第1の情報処理装置は、予測解析処理部による処理を実行し、第2の情報処理装置は、リアルタイム解析処理部による処理を実行する。このように、リアルタイム性を確保した安全支援を行なうための処理を複数の情報処理装置で分散して実行することもできる。これにより、情報処理装置の処理負荷を分散できる。 (11) A system according to a second aspect of the present invention is a system that includes a plurality of information processing devices that are communicatively connected to each other, and performs distributed processing of processing for providing information to the outside by the plurality of information processing devices. . The plurality of information processing devices includes a first information processing device and a second information processing device. This system includes a receiving unit that receives sensor data transmitted from each of a plurality of detection devices, and a future state for each of the sensor data received by the receiving unit based on delay information regarding communication delay of the sensor data. and a prediction analysis processing unit for generating prediction information by executing the prediction analysis processing on sensor data for which the determination result of the determination unit is affirmative. , a real-time analysis processing unit that performs real-time analysis processing on sensor data for which the determination result of the determination unit is negative to generate real-time information, and a prediction information generated by the prediction analysis processing unit and a real-time analysis processing unit. and an information output unit for outputting the generated real-time information to the outside of the information processing apparatus. The first information processing device executes processing by the predictive analysis processing unit, and the second information processing device executes processing by the real-time analysis processing unit. In this way, it is also possible to distribute and execute the processing for performing safety assistance ensuring real-time performance in a plurality of information processing devices. Thereby, the processing load of the information processing apparatus can be distributed.
(12)本発明の第3の局面に係るシステムは、受信したセンサデータを解析処理してその解析結果を配信する情報処理装置と、車両に搭載され、情報処理装置から配信される解析結果を受信する通信端末とを含むシステムである。このシステムにおいて、情報処理装置は、複数の検知装置からそれぞれ送信されるセンサデータを受信する受信部と、センサデータの通信遅延に関する遅延情報に基づいて、受信部が受信したセンサデータの各々に対して、将来の状態を予測する予測解析処理を実行するか否かを判定する判定部と、判定部の判定結果が肯定であるセンサデータに対して予測解析処理を実行して予測情報を生成する予測解析処理部と、判定部の判定結果が否定であるセンサデータに対してリアルタイムでの解析処理を実行してリアルタイム情報を生成するリアルタイム解析処理部と、予測解析処理部が生成した予測情報及びリアルタイム解析処理部が生成したリアルタイム情報を統合する統合部と、統合部によって統合された、予測情報及びリアルタイム情報を通信端末に配信する情報配信部とを含む。通信端末は、情報配信部が配信した統合情報を受信して、受信した統合情報を当該通信端末が搭載される車両の搭乗者に通知する情報通知部を含む。これにより、車両の搭乗者に対して、高度な安全支援を容易に行なうことができる。 (12) A system according to a third aspect of the present invention includes an information processing device that analyzes received sensor data and distributes the analysis results, and a vehicle-mounted information processing device that distributes the analysis results distributed from the information processing device. A system including a receiving communication terminal. In this system, the information processing device includes a receiving unit that receives sensor data transmitted from each of the plurality of detection devices, and for each sensor data received by the receiving unit based on delay information related to communication delay of the sensor data. a judgment unit for judging whether or not to execute predictive analysis processing for predicting a future state; and predictive analysis processing for sensor data for which the judgment result of the judging unit is affirmative to generate prediction information. A prediction analysis processing unit, a real-time analysis processing unit that performs real-time analysis processing on sensor data for which the determination result of the determination unit is negative to generate real-time information, prediction information generated by the prediction analysis processing unit, and An integration unit that integrates the real-time information generated by the real-time analysis processing unit, and an information distribution unit that distributes the prediction information and the real-time information integrated by the integration unit to the communication terminal. The communication terminal includes an information notification unit that receives the integrated information distributed by the information distribution unit and notifies the received integrated information to the passengers of the vehicle in which the communication terminal is mounted. As a result, it is possible to easily provide advanced safety assistance to the passengers of the vehicle.
(13)本発明の第4の局面に係る方法は、複数の検知装置からそれぞれ送信されるセンサデータを受信するステップと、センサデータの通信遅延に関する遅延情報に基づいて、受信するステップにおいて受信したセンサデータの各々に対して、将来の状態を予測する予測解析処理を実行するか否かを判定するステップと、判定するステップにおける判定結果が肯定であるセンサデータに対して予測解析処理を実行して予測情報を生成するステップと、判定するステップにおける判定結果が否定であるセンサデータに対してリアルタイムでの解析処理を実行してリアルタイム情報を生成するステップと、予測情報を生成するステップにおいて生成された予測情報及びリアルタイム情報を生成するステップにおいて生成されたリアルタイム情報を外部に出力するステップとを含む。 (13) A method according to a fourth aspect of the present invention is a step of receiving sensor data transmitted from each of a plurality of detection devices, and based on delay information regarding a communication delay of the sensor data, received in the step of receiving a step of determining whether predictive analysis processing for predicting a future state is to be performed for each of the sensor data; a step of generating prediction information by performing a step of performing analysis processing in real time on sensor data for which the determination result in the determining step is negative to generate real-time information; and a step of generating prediction information. and outputting the real-time information generated in the step of generating predicted information and real-time information.
(14)本発明の第5の局面に係るコンピュータプログラムは、コンピュータを、複数の検知装置からそれぞれ送信されるセンサデータを受信する受信部、センサデータの通信遅延に関する遅延情報に基づいて、受信部が受信したセンサデータの各々に対して、将来の状態を予測する予測解析処理を実行するか否かを判定する判定部、判定部の判定結果が肯定であるセンサデータに対して予測解析処理を実行して予測情報を生成する予測解析処理部、判定部の判定結果が否定であるセンサデータに対してリアルタイムでの解析処理を実行してリアルタイム情報を生成するリアルタイム解析処理部、及び、予測解析処理部が生成した予測情報及びリアルタイム解析処理部が生成したリアルタイム情報を上記コンピュータの外部に出力する情報出力部として機能させる。 (14) A computer program according to a fifth aspect of the present invention provides a computer, a receiving unit for receiving sensor data respectively transmitted from a plurality of detection devices, a receiving unit based on delay information regarding communication delay of sensor data, A determination unit that determines whether or not to execute predictive analysis processing for predicting the future state for each of the received sensor data. A prediction analysis processing unit that executes and generates prediction information, a real-time analysis processing unit that performs real-time analysis processing on sensor data for which the determination result of the determination unit is negative to generate real-time information, and prediction analysis It functions as an information output unit that outputs the prediction information generated by the processing unit and the real-time information generated by the real-time analysis processing unit to the outside of the computer.
[本発明の実施形態の詳細]
以下の実施の形態では、同一の部品には同一の参照番号を付してある。それらの機能及び名称も同一である。したがって、それらについての詳細な説明は繰返さない。
[Details of the embodiment of the present invention]
In the following embodiments, identical parts are provided with identical reference numerals. Their functions and names are also the same. Therefore, detailed description thereof will not be repeated.
(第1の実施の形態)
[全体構成]
図1を参照して、本実施の形態に係る運転支援システム50は、運転支援を行なうサーバ装置100と、サーバ装置100から運転支援を受ける車両60aに搭載される通信端末200とを含む。サーバ装置100は、通信端末200に対して運転に役立つ情報(以下「運転支援情報」と呼ぶ)を提供し、それぞれの運転者を支援する。
(First embodiment)
[overall structure]
Referring to FIG. 1 , driving
サーバ装置100は、1又は複数の検知装置と通信可能であり、検知装置から送信されるセンサデータを受信する。検知装置は道路及びその周辺の状況等に関する情報(以下「道路情報」と呼ぶことがある。)等を検知してその情報を収集するセンサ機器である。各検知装置は通信機能を有しており、収集した情報をセンサデータとしてサーバ装置100に送信する。
The
図2を参照して、本実施の形態に係るサーバ装置100はエッジサーバである。運転支援システム50は、サーバ装置100として、1又は複数のエッジサーバ100A、100Bを含む。以下では、サーバ装置100をエッジサーバ100と記す。エッジサーバ100A及び100Bを総称する場合も「エッジサーバ100」と記す。なお、運転支援システム50が複数のエッジサーバ100を含む場合、エッジサーバの台数は2台に限定されず、3台以上であってもよい。
Referring to FIG. 2,
エッジサーバ100は、コアサーバ300と有線又は無線にて通信する。コアサーバ300も、1又は複数の検知装置と通信可能であり、検知装置から送信されるセンサデータを受信する。検知装置は、エッジサーバ100のサービスエリアに設置された路側インフラ設備としての第1の路側センサ400A、及び第2の路側センサ400B、並びに、当該サービスエリア内を走行する車両60bに搭載された車載装置500を含む。後述するように、車載装置500は通信端末200を含む。
The
第1の路側センサ400Aは汎用デジタルカメラであり、第2の路側センサ400Bは汎用デジタルカメラに比べて内部での処理速度が速い高性能デジタルカメラである。なお、第1の路側センサ400A及び第2の路側センサ400Bを総称する場合は「路側センサ400」と記す。また、車両60a及び車両60b等を代表して「車両60」と記すことがある。
The
車載装置500は、車両60に搭載されている公知のセンサである車載センサを含む。ここでは、車載センサは、車両60に搭載されている種々のセンサのうち運転支援情報の生成に供するものを意味する。車載センサは、例えば、車載カメラ、レーダ(ミリ波レーダ、レーザレーダ)センサを含む。車載センサは、対象を検知して所定の検出信号(アナログ信号又はデジタルデータ)を出力する。車載装置500は、車載センサが出力した検出信号に基づいてセンサデータを生成し、生成したセンサデータを公知の移動通信回線によりエッジサーバ100又はコアサーバ300に送信する。
In-
路側センサ400及び車載装置500は、歩行者30、車両60等の動的情報、及び、信号機、建造物等の静的情報を撮影対象又は検知対象として検知する。
The
図3を参照して、エッジサーバ100は、メトロネットワーク62の分散データセンタ(DC)に設置される。メトロネットワーク62は、例えば都市毎に構築された通信ネットワークである。エッジサーバ100は基地局66とも有線又は無線にて通信する。基地局66は、メトロネットワーク62に含まれる分散DCのいずれかのエッジサーバ100に通信可能に接続される。コアサーバ300は、コアネットワーク64のコアデータセンタ(DC)に設置され、コアネットワーク64及びメトロネットワーク62を介して、各地のメトロネットワーク62に属するエッジサーバ100及び基地局66と通信可能である。
Referring to FIG. 3,
後述するように、コアサーバ300が受信したセンサデータは、エッジサーバ100に送信される。エッジサーバ100は、コアサーバ300を介して、又はコアサーバ300を介さずに受信した各センサデータに対して所定の解析処理(例えば、運転支援情報を得るための解析処理)を実行し、解析処理によって生成された動的情報(運転支援情報)を支援対象の車両60aに対して配信する。
As will be described later, sensor data received by the
車載装置500又は路側センサ400からセンサデータをエッジサーバ100に送信し、エッジサーバ100で解析を行なう場合、これら機器の反応速度、使用する回線(5G、LTE等)の通信速度等により、センサデータがエッジサーバ100に遅延して届く。こうした場合、エッジサーバ100がほぼ同じ時刻にセンサデータを受信したとしても、センサによる検出時刻(センサデータが生成された時刻)が異なるセンサデータが混在することになり得る。このような異なる遅延のセンサデータをまとめて解析対象とすることは適切でない。
When sensor data is transmitted from the in-
そこで、本実施の形態に係るエッジサーバ100は、遅延が大きいセンサデータについては、遅延が小さいセンサデータとは別に、将来の状態を予測する予測解析処理を実行する。これにより、遅延の大きいセンサデータに対してリアルタイム性を高めている。このように、本運転支援システム50は、異なる遅延のセンサデータを受信した場合でも、リアルタイム性を確保した安全支援を実行する。
Therefore, the
[ハードウェア構成]
《エッジサーバ100》
図4を参照して、エッジサーバ100は、制御部110、記憶装置120、及び通信部130を含む。制御部110は、実質的にコンピュータであって、CPU(Central Processing Unit)112、GPU(Graphics Processing Unit)114、ROM(Read-Only Memory)116、及び、RAM(Random Access Memory)118を含む。CPU112はエッジサーバ100全体を制御する。GPU114は、画像の演算処理等を実行する。ROM116は不揮発性の記憶装置である。ROM116にはCPU112がエッジサーバ100を制御するためのプログラム及びデータが記憶されている。RAM118は揮発性の記憶装置である。
[Hardware configuration]
<<
With reference to FIG. 4,
CPU112、GPU114、ROM116、RAM118、記憶装置120、及び通信部130はいずれもバス140に接続されており、相互間のデータ交換はバス140を介して行なわれる。
CPU 112 ,
記憶装置120は不揮発性のメモリであり、例えばハードディスクドライブ(HDD)又はフラッシュメモリ等である。記憶装置120には情報マップ122が記憶されている。情報マップ122は、静的情報である高精細のデジタル地図に対して、時々刻々と変換する動的情報を重畳させたデータの集合体であって、地図の表示情報である。情報マップ122を構成するデジタル情報は、動的情報及び静的情報を含む。
The
動的情報は、例えば1秒以内の遅延時間が要求される動的なデータを指す。動的情報には、例えば、ITS(Intelligent Transport Systems)先読み情報として活用される、移動体(車両及び歩行者等)の位置情報、及び信号情報等が含まれる。静的情報は、例えば1ヶ月以内の時間が許容される静的なデータを指す。静的情報には、例えば、路面情報、車線情報、及び3次元構造物データ等が含まれる。 Dynamic information refers to dynamic data that requires a delay time of, for example, one second or less. The dynamic information includes, for example, location information of moving bodies (vehicles, pedestrians, etc.), signal information, and the like, which are used as ITS (Intelligent Transport Systems) look-ahead information. Static information refers to static data that is allowed, for example, within one month. Static information includes, for example, road surface information, lane information, and three-dimensional structure data.
通信部130は、5G対応の通信処理を実行する通信装置であり、メトロネットワーク62を介してコアサーバ300及び基地局66等と通信する。通信部130は、制御部110から与えられた情報を、メトロネットワーク62を介して外部装置に送信するとともに、メトロネットワーク62を介して受信した情報を制御部110に与える。
The
GPU114、ROM116、RAM118、記憶装置120、及び通信部130は、いずれもCPU112の制御のもとに協調して動作し、本実施の形態に係るエッジサーバとしてエッジサーバ100は種々のアプリケーション(コンピュータプログラム)による処理を実現する。それらのアプリケーションは、例えば、異なる遅延のセンサデータを活用して、リアルタイム性を確保した安全支援を行なうことが可能な運転支援システムにおけるエッジサーバを実現する。
The
通信部130はまた、車載装置500(図2参照)からアップロードされるセンサデータ、及び道路等に設置された路側センサ400からアップロードされるセンサデータを受信する。通信部130により受信されたセンサデータは、記憶装置120に伝送され、データベースとして記憶される。制御部110は、記憶装置120から適宜データを読出し、所定の解析処理(例えば、運転支援情報を得るための解析処理)を実行し、その結果を記憶装置120に記憶する。より詳細には、制御部110は、所定の更新周期毎に、自装置のサービスエリア内で車載装置500及び路側センサ400等が計測した各種のセンサデータを収集し、収集したセンサデータに基づいて、記憶装置120に格納された情報マップ122の動的情報を更新する。制御部110はさらに、更新された動的情報を車両60(通信端末200)に対して配信する。
The
《コアサーバ300》
図5を参照して、コアサーバ300は、制御部310、記憶装置320、及び通信部330を含む。制御部310は、エッジサーバ100と同様、CPU312、GPU314、ROM316、及び、RAM318を含む。CPU312はコアサーバ300全体を制御する。GPU314は、画像の演算処理等を実行する。ROM316は不揮発性の記憶装置である。ROM316にはCPU312がコアサーバ300を制御するためのプログラム及びデータが記憶されている。RAM318は揮発性の記憶装置である。
<<
Referring to FIG. 5 ,
CPU312、GPU314、ROM316、RAM318、記憶装置320、及び通信部330はいずれもバス340に接続されており、相互間のデータ交換はバス340を介して行なわれる。
CPU 312 ,
制御部310は、ROM316に予め記憶されたプログラムをRAM318に読出して実行することにより、各ハードウェアの動作を制御して、コンピュータ装置をエッジサーバ100と通信可能なコアサーバ300として機能させる。
記憶装置320は不揮発性のメモリであり、例えばハードディスクドライブ(HDD)又はフラッシュメモリ等である。通信部330は、5G対応の通信処理を実行する通信装置であり、コアネットワーク64を介してエッジサーバ100及び基地局66等と通信する。通信部330は、制御部310から与えられた情報を、コアネットワーク64を介して外部装置に送信するとともに、コアネットワーク64を介して受信した情報を制御部310に与える。
The
コアサーバ300の記憶装置320には、エッジサーバ100と同様、情報マップ322が記憶されている。この情報マップ322のデータ構造は、エッジサーバ100の情報マップ122のデータ構造(動的情報及び静的情報を含むデータ構造)と同様である。なお、情報マップ322は、特定のエッジサーバ100の情報マップと同じサービスエリアのマップであってもよいし、複数のエッジサーバ100が保持する各情報マップを統合した、より広域の情報マップであってもよい。
An
コアサーバ300の制御部310は、エッジサーバ100の制御部110と同様、記憶装置320に格納された情報マップの動的情報を更新する更新処理と、更新された動的情報を配信する配信処理とを行なうことができる。すなわち、制御部310は、エッジサーバ100とは別に、自装置の情報マップ322に基づく動的情報の更新処理及び配信処理を独自に実行可能である。
As with the
ただし、コアサーバ300は、エッジサーバ100に比べて、路側センサ400、及び車載装置500(通信端末200)等との通信遅延が大きいため、コアサーバ300が情報マップ322の動的情報を独自に更新しても、エッジサーバ100が管理する情報マップ122の動的情報に比べてリアルタイム性に劣る。そのため、本実施の形態では、コアサーバ300は、受信したセンサデータに対して解析処理を実行せずに当該センサデータをエッジサーバ100に転送する。
However, since the
《車載装置500》
図6を参照して、車載装置500は、通信端末200、車載センサ510、GPS(Global Positioning System)受信機520、ディスプレイ530、スピーカ540、入力デバイス550、車速センサ560、及びジャイロセンサ570を含む。通信端末200は、制御部(ECU:Electronic Control Unit)210、記憶部220、及び通信部230を含む。車載センサ510は、車載カメラ512、及びレーダセンサ514を含む。車載センサ510は、車載カメラ512、及びレーダセンサ514に加えて、車速センサ560、及びジャイロセンサ570を含む構成であってもよい。
<<In-
Referring to FIG. 6, in-
制御部210は、実質的にコンピュータであって、記憶部220に記憶された各種の制御プログラムを実行することにより、車両60の経路探索及び他の電子機器510~570の制御等を行なう。記憶部220は、車載装置500を制御するための制御プログラム及び地図データベース等の各種データを記憶する。地図データベースは、制御部210に道路地図データを提供する。道路地図データは、リンクデータ及びノードデータを含む。
通信部230は、LTE回線及び5G回線での通信処理が可能な無線通信機である。通信部230は、基地局66(図3参照)を介して、エッジサーバ100との通信を行なう。この通信部230は、LTE回線及び5G回線のそれぞれで採用されている変調及び多重化を行なうためのIC、所定周波数の電波を放射及び受信するためのアンテナ、並びに、RF回路等を含む。
The
GPS受信機520は、定期的にGPS信号を取得して制御部210に提供する。ディスプレイ530、及びスピーカ540は、制御部210が生成した各種情報を車両60の搭乗者であるユーザに通知するための出力装置である。入力デバイス550は、車両60の搭乗者が各種の入力操作を行なうための入力装置である。
制御部210は、GPS受信機520が定期的に受信するGPS信号に基づいて自車両の車両位置を求める。制御部210はまた、車速センサ560及びジャイロセンサ570から入力される入力信号に基づいて、車両位置及び方位を補正し、自車両の正確な現在位置及び方位を把握する。制御部210はさらに、記憶部220に記憶された各種の制御プログラムを実行することにより、ディスプレイ530に地図画像を表示させる機能、出発地から目的地までの経路を算出する機能、及び、算出した経路にしたがって車両60を目的地まで誘導する機能等の各種のナビゲーション機能を実行可能である。
車載カメラ512は、車両60の前方の映像を取込む画像センサを含む。レーダセンサ514は、ミリ波レーダ、又はLiDAR方式のレーザレーダ等の、車両60の前方又は周囲に存在する物体を検出するセンサを含む。制御部210は、車載カメラ512及びレーダセンサ514による計測データに基づいて、運転中の搭乗者に対する注意喚起をディスプレイ530に表示させたり、強制的なブレーキ介入を行なったりする運転支援制御を実行する。
In-
制御部210はまた、車載カメラ512及びレーダセンサ514のうちの少なくとも1つの計測データに基づいて、自車両の前方又は周囲の物体を認識する認識処理と、認識した物体までの距離を算出する測距処理とを実行可能である。さらに制御部210は、測距処理により算出した距離と、自車両の位置とから、認識処理によって認識した物体の位置情報を算出することも可能である。
The
車載カメラ512及びレーダセンサ514による計測データは、自車両での運転支援制御に用いるだけでなく、他車両の運転支援を行なうためにも用いられる。制御部210は、通信部230を制御することにより、これらの計測データに、これらの情報を取得した時刻情報を付加して、センサデータとしてエッジサーバ100に送信する。送信されるセンサデータには、自車両の位置情報、及び認識処理によって認識した物体の位置情報等の情報が付加されていてもよい。
The data measured by the vehicle-mounted
車載装置500の通信端末200は、通信部230を介して、エッジサーバ100から自車両宛に送信される運転支援情報(動的情報)を受信する機能を持つ。通信端末200は、受信した動的情報に基づいて、運転中の搭乗者に対する注意喚起をディスプレイ530に出力させたり、強制的なブレーキ介入を行なったりする運転支援制御を実行する。
The
《路側センサ400》
図7を参照して、路側センサ400は、制御部410、記憶部420、路側カメラ430、及び通信部440を含む。制御部410は、車載装置500と同様、路側カメラ430及び通信部440を制御して、路側カメラ430で撮影した映像データ(センサデータ)を、通信部440を介して、エッジサーバ100又はコアサーバ300にアップロードする。記憶部420は、制御部410が実行するコンピュータプログラム及び路側カメラ430が検知したセンサデータ等の各種データを記憶する。記憶部420には、路側センサ400の識別情報であるセンサIDが記憶される。センサIDは、例えば路側センサ400の所有者固有のユーザID又はMACアドレス等である。
<<
Referring to FIG. 7 ,
路側カメラ430は、所定の撮影エリアの映像を取込む画像センサである。路側カメラ430が検知したセンサデータ(画像データ)を記憶する。通信部440は、任意の通信機能を有する通信機器である。通信機能は、5G回線又はLTE回線であってもよいし、無線LAN等であってもよい。無線LANの場合は、基地局66とは別に無線LANによる通信サービスを提供する装置(無線ルータ等)が設けられる。路側センサ400は当該装置を介してインターネットに接続され、インターネットを介してエッジサーバ100又はコアサーバ300と通信する。通信部440の通信機能は、無線通信以外に、例えば光回線等の有線回線による有線通信であってもよい。路側センサ400は、路側カメラ430とともに、又は路側カメラ430に代えて、レーザセンサが搭載される構成であってもよい。
The
[エッジサーバ100の機能的構成]
図8を参照して、エッジサーバ100の機能について説明する。エッジサーバ100は、機能部としてのパケット受信部150、フィルタ部152、データ記憶部154、解析処理部160、同期処理部166、統合処理部168、及びパケット送信部170を含む。
[Functional Configuration of Edge Server 100]
Functions of the
パケット受信部150は、路側センサ400及び車載装置500等の検知装置から送信されたセンサデータを含むパケットデータを受信する。パケット受信部150は、パケットデータを受信すると、センサデータとそれに付加された時刻情報(タイムスタンプ)とを取出して、フィルタ部152に出力する。パケット受信部150の機能は、図4の通信部130により実現される。
The
フィルタ部152は、センサデータの通信遅延に関する遅延情報を取得して、パケット受信部150の出力データ(センサデータ)を遅延情報に基づく所定の条件にしたがって分類する。遅延情報は遅延時間を含む。フィルタ部152は、入力されるセンサデータ及び時刻情報のうち、時刻情報を用いて、そのセンサデータが取得されてからエッジサーバ100により受信されるまでの遅延時間を算出する。フィルタ部152はさらに、算出した遅延時間が短い(例えば約1秒未満)場合、受信したセンサデータを第1のグループに分類する。算出した遅延時間が長い(例えば約1秒以上)場合、フィルタ部152は、受信したセンサデータを第2のグループに分類する。なお、算出された遅延時間がさらに長い(例えば数秒以上)場合、フィルタ部152はセンサデータを廃棄する。フィルタ部152の機能は、図4の制御部110により実現される。
The
データ記憶部154は、フィルタ部152によって第1のグループに分類されたセンサデータを記憶する遅延小グループ記憶部156と、第2のグループに分類されたセンサデータを記憶する遅延大グループ記憶部158とを含む。
The
解析処理部160は、リアルタイム解析処理部162と、予測解析処理部164とを含む。リアルタイム解析処理部162は、遅延小グループ記憶部156に記憶されている、遅延が小さいセンサデータに対してリアルタイムでの解析処理を実行する。リアルタイム解析処理部162は、遅延小グループ記憶部156からセンサデータを読出し、それに対して動体検出処理等の解析処理を行なう。リアルタイム解析処理部162はさらに、検出された対象を特定する情報(解析結果)を、当該センサデータの取得時刻t1と対応させて、対応する所定の出力バッファ(図示せず。)に記憶する。例えば、センサデータがデジタルカメラにより取得された動画データであれば、連続するフレーム間の差分を計算すること等により対象物を検出できる。
予測解析処理部164は、遅延大グループ記憶部158に記憶されている遅延が大きいセンサデータに対して予測解析処理を実行する。予測解析処理部164は、遅延大グループ記憶部158からセンサデータを読出して予測解析処理を実行し、その解析結果を、当該センサデータの取得時刻t1と対応させて、対応する所定の出力バッファ(図示せず。)に記憶する。例えば、予測解析処理部164は、センサデータをリアルタイム解析処理部162と同様に処理して対象を検出し、検出された対象の、遅延時間に応じた時間(例えば1~2秒)だけ先の将来の状態を予測する。センサデータがデジタルカメラにより取得された動画データであれば、連続するフレーム間の差分を計算すること等により対象物の移動速度、加速度、移動方向等を検出できるので、これらの情報を用いて、遅延時間に応じた時間経過後の位置等を予測できる。リアルタイム解析処理部162、及び予測解析処理部164の各出力バッファには、記憶装置120(図4参照)の一部の領域を使用できる。
The predictive
本実施の形態では、遅延時間に応じた上記時間は予め設定されており、この時間は、遅延大グループ記憶部158に記憶された(第2のグループに分類された)各センサデータに対して共通とされる。すなわち、第2のグループに属するセンサデータの遅延時間は実質的に同じとみなして、その遅延時間が、遅延時間に応じた上記時間として予め設定されている。なお、遅延時間に応じた時間は、遅延大グループ記憶部158に記憶されたセンサデータの遅延時間を統計的に処理して算出し、その算出結果を用いてもよい。
In the present embodiment, the time corresponding to the delay time is set in advance, and this time is set for each sensor data (classified into the second group) stored in the large delay
同期処理部166は、所定のタイミングで、リアルタイム解析処理部162、及び予測解析処理部164のそれぞれに対応する出力バッファからデータ(解析結果及びセンサデータの取得時刻t1)を読出し、取得時刻t1が近い解析結果を1つのグループにまとめる。まとめた結果は同期処理部166に出力される。この処理を実行するタイミングを判定する基準は任意である。例えば、出力バッファに記憶された解析処理部160の処理結果が所定容量になったか否かを判定することにより、所定のタイミングになったか否かを判定する。また、記憶装置120への解析処理部160の処理結果の記憶回数が所定回数になったか否かを判定することにより、所定のタイミングになったか否かを判定してもよい。さらに記憶装置120に解析処理部160の処理結果を記憶した時間が所定時間になったか否かを判定することにより、所定のタイミングになったか否かを判定してもよい。
The
統合処理部168は、同期処理部166から入力されるデータの各グループを統合して、その結果を統合結果として記憶装置120の所定領域に記憶する。統合結果はパケット送信部170により適宜読出され、通信方式に応じたパケットデータに形成され、運転支援情報(動的情報)として車両60aの通信端末200(車載装置500)に送信される。同期処理部166及び統合処理部168の各機能は、制御部110により実現される。パケット送信部170の機能は、図4の通信部130により実現される。
[ソフトウェア構成]
《エッジサーバ100》
図9を参照して、リアルタイム性を確保した安全支援を行なうために、エッジサーバ100で実行されるコンピュータプログラムの制御構造について説明する。このプログラムは、エッジサーバ100を管理する管理者ユーザの操作に応じて開始する。
[Software configuration]
<<
Referring to FIG. 9, a control structure of a computer program executed by
このプログラムは、センサデータを受信したか否かを判定し、センサデータを受信するまで待機するステップS1000と、ステップS1000において、センサデータを受信したと判定された場合に実行され、受信したセンサデータの遅延情報を取得するステップS1100と、ステップS1100の後に実行され、取得した遅延情報に基づいて、受信したセンサデータを分類し、制御をステップS1000に戻すステップS1200とを含む。ステップS1100では、遅延情報として、受信したセンサデータの遅延時間が取得される。 This program determines whether or not sensor data has been received and waits until the sensor data is received in step S1000. and step S1200, which is executed after step S1100 and classifies the received sensor data based on the obtained delay information, and returns control to step S1000. In step S1100, the delay time of the received sensor data is acquired as the delay information.
図10は、図9のステップS1100の詳細なフローである。図10を参照して、このルーチンは、センサデータの受信時刻を取得して受信時刻t3として記憶装置120(図4参照)の所定領域に記憶するステップS1110と、ステップS1110の後に実行され、受信したセンサデータに含まれる時刻情報(取得時刻t1)と受信時刻t3との差分(t3-t1)をとることで当該センサデータの遅延時間を算出し、このルーチンを終了するステップS1120とを含む。 FIG. 10 is a detailed flow of step S1100 in FIG. Referring to FIG. 10, this routine is executed after step S1110 of acquiring the sensor data reception time and storing it as reception time t3 in a predetermined area of storage device 120 (see FIG. 4), and after step S1110. The delay time of the sensor data is calculated by taking the difference (t3-t1) between the time information (acquisition time t1) included in the received sensor data and the reception time t3, and step S1120 of ending this routine is included.
図11は、図9のステップS1200の詳細なフローである。図11を参照して、このルーチンは、算出した遅延時間が所定の第1しきい値T1未満か否かを判定し、判定結果に応じて制御の流れを分岐させるステップS1210と、遅延時間が第1しきい値T1未満である場合に実行され、受信したセンサデータを第1のグループに分類するステップS1220と、ステップS1220の後に実行され、第1のグループに分類されたセンサデータを遅延小グループ記憶部156(図8参照)に記憶するステップS1230と、遅延時間が第1しきい値T1以上の場合に実行され、遅延時間が所定の第2しきい値T1未満か否かを判定し、判定結果に応じて制御の流れを分岐させるステップS1240と、遅延時間が第2しきい値T2未満である場合に実行され、受信したセンサデータを第2のグループに分類するステップS1250と、ステップS1250の後に実行され、第2のグループに分類されたセンサデータを遅延大グループ記憶部158(図8参照)に記憶するステップS1260と、遅延時間が第2しきい値T2以上の場合に実行され、当該センサデータを廃棄するステップS1270とを含む。ステップS1230、ステップS1260、又はステップS1270の処理が終了すると、このルーチンは終了する。 FIG. 11 is a detailed flow of step S1200 in FIG. Referring to FIG. 11, this routine determines whether or not the calculated delay time is less than a predetermined first threshold value T1, and branches the control flow according to the determination result in step S1210; a step S1220 of classifying the received sensor data into the first group, which is executed when the threshold T1 is less than the first threshold T1; Step S1230 of storing in group storage unit 156 (see FIG. 8) is executed when the delay time is equal to or greater than first threshold value T1, and it is determined whether or not the delay time is less than predetermined second threshold value T1. , a step S1240 of branching the control flow according to the determination result, a step S1250 of classifying the received sensor data into a second group, which is executed when the delay time is less than the second threshold value T2; Step S1260, which is executed after S1250 and stores the sensor data classified into the second group in large delay group storage unit 158 (see FIG. 8); , and step S1270 of discarding the sensor data. When the process of step S1230, step S1260, or step S1270 ends, this routine ends.
第1しきい値T1は予め設定されていればよく、その値は、例えば1秒程度(例えば1秒)とすることができる。第2しきい値T2も予め設定されていればよく、その値は、例えば数秒程度(例えば2~6秒の範囲内の値)とすることができる。 The first threshold value T1 may be set in advance, and its value can be, for example, about 1 second (eg, 1 second). The second threshold value T2 may also be set in advance, and its value can be, for example, several seconds (for example, a value within the range of 2 to 6 seconds).
図12を参照して、エッジサーバ100において、図9に示されるプログラムと並行して実行されるコンピュータプログラムの制御構造について説明する。このプログラムは、図9に示されるプログラムが開始されたことに応じて開始する。
Referring to FIG. 12, the control structure of the computer program executed in
このプログラムは、遅延小グループ記憶部156又は遅延大グループ記憶部158にセンサデータが記憶されたか否かを判定し、センサデータが記憶されるまで待機するステップS2000と、ステップS2000において、センサデータが遅延小グループ記憶部156に記憶された場合に実行され、所定のタイミングで遅延小グループ記憶部156からセンサデータを読出して、リアルタイム解析処理部162(図8参照)に入力するステップS2100と、ステップS2100の後に実行され、入力されたセンサデータに対してリアルタイム解析処理を実行するステップS2200と、ステップS2000において、センサデータが遅延大グループ記憶部158に記憶された場合に実行され、所定のタイミングで遅延大グループ記憶部158からセンサデータを読出して、予測解析処理部164(図8参照)に入力するステップS2300と、ステップS2300の後に実行され、入力されたセンサデータに対して予測解析処理を実行するステップS2400とを含む。
This program determines whether or not sensor data has been stored in the small delay
図13は、図12のステップS2200の詳細なフローである。図13を参照して、このルーチンは、入力されたセンサデータに対して動体検出処理等の所定の解析処理を実行するステップS2210と、ステップS2210の後に実行され、その解析結果に取得時刻t1を対応させたリアルタイム情報を生成して出力バッファに記憶するステップS2220とを含む。ステップS2220の処理が終了すると、このルーチンは終了する。 FIG. 13 is a detailed flow of step S2200 in FIG. Referring to FIG. 13, this routine is executed after step S2210 of performing predetermined analysis processing such as moving object detection processing on the input sensor data, and after step S2210. and step S2220 of generating and storing corresponding real-time information in an output buffer. When the process of step S2220 ends, this routine ends.
図14は、図12のステップS2400の詳細なフローである。図14を参照して、このルーチンは、入力されたセンサデータに対して動体検出処理等の所定の解析処理を実行するステップS2410と、ステップS2410の後に実行され、予め設定された、遅延時間に応じた時間(例えば1~2秒)だけ先の将来の状態を予測する処理を実行するステップS2420と、ステップS2420の後に実行され、予測解析処理で得られた結果に取得時刻t1を対応させた予測情報を生成して出力バッファに記憶するステップS2430とを含む。ステップS2430の処理が終了すると、このルーチンは終了する。 FIG. 14 is a detailed flow of step S2400 in FIG. Referring to FIG. 14, this routine is executed after step S2410, in which predetermined analysis processing such as moving object detection processing is executed on the input sensor data, and after step S2410. A step S2420 for executing a process of predicting a future state ahead for the corresponding time (for example, 1 to 2 seconds), and a step S2420 which is executed after the step S2420 and associated the result obtained by the predictive analysis process with the acquisition time t1. and step S2430 of generating prediction information and storing it in an output buffer. When the process of step S2430 ends, this routine ends.
再び図12を参照して、このプログラムはさらに、ステップS2200又はステップS2400の後に実行され、所定のタイミングになったか否かを判定し、判定結果に応じて制御の流れを分岐させるステップS2500を含む。ステップS2500の処理は、同期処理部166による処理に対応する。
Referring to FIG. 12 again, this program further includes step S2500, which is executed after step S2200 or step S2400, determines whether a predetermined timing has come, and branches the control flow according to the determination result. . The processing of step S2500 corresponds to the processing by the
このプログラムはさらに、ステップS2500において、所定のタイミングになったと判定された場合に実行され、ステップS2200及びステップS2400の処理結果に関して、取得時刻t1が所定値以内のものを1つのグループにまとめて、グループ毎の処理結果を統合するステップS2600と、ステップS2600の後に実行され、統合した情報を運転支援情報(動的情報)として、車載装置500(通信端末200)に送信(配信)するステップS2700とを含む。ステップS2700の後、又はステップS2500において、所定のタイミングではないと判定された場合は、制御はステップS2000に戻る。 Further, in step S2500, this program is executed when it is determined that a predetermined timing has come, and regarding the processing results of steps S2200 and S2400, those whose acquisition time t1 is within a predetermined value are put into one group, Step S2600 for integrating the processing results for each group, and Step S2700 for transmitting (distributing) the integrated information as driving support information (dynamic information) to in-vehicle device 500 (communication terminal 200) after step S2600. including. After step S2700, or if it is determined in step S2500 that the predetermined timing is not met, control returns to step S2000.
《車載装置500》
図15を参照して、車両60に搭載される車載装置500で実行されるコンピュータプログラムの制御構造について説明する。このプログラムは、ユーザの操作に応じて開始する。
<<In-
Referring to FIG. 15, a control structure of a computer program executed by in-
このプログラムは、自装置のタイマの時刻をエッジサーバ100のタイマの時刻に同期させる処理(時刻同期)を実行するステップS3000と、ステップS3000の後に実行され、車載カメラ512又はレーダセンサ514の計測データが取込まれたか否かを判定し、判定結果に応じて制御の流れを分岐させるステップS3100と、ステップS3100において、計測データが取込まれたと判定された場合に実行され、現在時刻を計測データの取得時刻として記憶するステップS3200と、ステップS3200の後に実行され、計測データに取得時刻を付加したセンサデータ、及び送信時刻を含むパケットデータを生成してエッジサーバ100に送信するステップS3300とを含む。
This program is executed after step S3000 for executing processing (time synchronization) for synchronizing the time of the timer of the device itself with the time of the timer of the edge server 100 (time synchronization). step S3100 for determining whether or not the current time has been captured, and branching the control flow according to the determination result. and a step S3300, which is executed after step S3200 and generates sensor data obtained by adding the acquisition time to the measurement data and packet data including the transmission time, and transmits the generated packet data to the
このプログラムはさらに、ステップS3300の後、又はステップS3100において、計測データが取込まれていないと判定された場合に実行され、通信部230を介してデータを受信したか否かを判定し、判定結果に応じて制御の流れを分岐させるステップS3400と、ステップS3400において、データを受信したと判定された場合に実行され、受信したデータが運転支援情報(動的情報)を含むか否かを判定し、判定結果に応じて制御の流れを分岐させるステップS3500と、運転支援情報を含む場合に実行され、受信した運転支援情報を提示するステップS3600と、運転支援情報を含まない場合に実行され、受信したパケットデータに応じて、予め定められた処理を実行するステップS3700と、ステップS3600若しくはステップS3700の後、又は、ステップS3400において、データを受信していないと判定された場合に実行され、終了が指示されているか否かを判定し、判定結果に応じて制御の流れを分岐させるステップS3800とを含む。終了の指示は、例えば車載装置500の電源がオフされることによりなされる。終了が指示されたと判定された場合は、このプログラムは終了する。一方、終了が指示されていないと判定された場合は、制御はステップS3100に戻る。
This program is further executed after step S3300 or when it is determined in step S3100 that measurement data has not been captured, and determines whether or not data has been received via
[動作]
本実施の形態に係る運転支援システム50は以下のように動作する。
[motion]
The driving
以下において、車載装置500からエッジサーバ100に送信されるセンサデータを含むパケットデータの構成は、予め定められた形式であり、エッジサーバ100により知られている(例えば、エッジサーバ100の記憶装置120にそのフォーマットが記憶されている)とする。エッジサーバ100から車載装置500に送信される運転支援情報を含むパケットデータの構成も、予め定められた形式であり、車載装置500により知られている(例えば、車載装置500の記憶部220にそのフォーマットが記憶されている)とする。
In the following, the configuration of packet data including sensor data transmitted from the in-
《エッジサーバ100》
図9を参照して、エッジサーバ100の制御部110は、パケットデータを受信すると、そのパケットデータに、後述するセンサデータコードc1が含まれているか否かを判定する。制御部110は、センサデータコードc1が含まれている、すなわち、センサデータを受信したと判定すると(ステップS1000においてYES)、受信したセンサデータの遅延時間(遅延情報)を取得する処理を実行する(ステップS1100)。図10を参照して、具体的には、制御部110は、タイマ(図示せず。)から現在時刻を取得し、センサデータの受信時刻t3として記憶装置120の所定領域に記憶する(ステップS1110)。制御部110は、受信したセンサデータに含まれる時刻情報を用いて遅延時間を算出する(ステップS1120)。後述するように、路側センサ400及び車載装置500から送信される、センサデータを含むパケットには、1組の{s1,t1,t2,c1}が含まれている。なお、「s1」はセンサデータである。制御部110は、記憶装置120から受信時刻t3を読出し、受信時刻t3から、受信したデータに含まれている取得時刻t1を減算して遅延時間(t3-t1)を算出する。
<<
Referring to FIG. 9, upon receiving packet data,
遅延時間を算出すると、制御部110は、算出した遅延時間に基づいて、受信したセンサデータを分類する(図9のステップS1200)。図11を参照して、制御部110は、まず、算出した遅延時間が第1しきい値T1未満であるか否かを判定する。遅延時間が第1しきい値T1未満である場合(ステップS1210においてYES)、制御部110は、当該センサデータを第1のグループに分類し(ステップS1220)、遅延小グループ記憶部156に記憶する(ステップS1230)。遅延時間が第1しきい値T1以上の場合(ステップS1210においてNO)、制御部110はさらに、当該遅延時間が第2しきい値T2未満か否かを判定する。遅延時間が第2しきい値T2未満の場合(ステップS1240においてYES)、制御部110は、当該センサデータを第2のグループに分類し(ステップS1250)、遅延大グループ記憶部158に記憶する(ステップS1260)。遅延時間が第2しきい値T2以上の場合(ステップS1240においてNO)、制御部110は、当該センサデータを廃棄する。このように、エッジサーバ100がセンサデータを受信した場合、受信したセンサデータは、遅延がより大きいセンサデータを除いて、遅延が小さいグループと、遅延が大きいグループとにグループ分けされる。さらに、遅延が大きいグループに属するセンサデータは、遅延時間のバラツキが一定範囲内に抑えられている。
After calculating the delay time,
図12を参照して、遅延が小さいグループのセンサデータは、リアルタイム解析処理部162に入力され(ステップS2100)、リアルタイム解析処理部162によってリアルタイムでの解析処理(例えば動体検出等)が実行される(図13のステップS2210)。リアルタイム解析処理部162は、その解析結果を取得時刻t1と対応させて出力バッファ(記憶装置120)に記憶する(図13のステップS2220)。
Referring to FIG. 12, the sensor data of the group with small delay is input to real-time analysis processing unit 162 (step S2100), and real-time analysis processing (for example, moving object detection, etc.) is performed by real-time
一方、遅延が大きいグループのセンサデータは、予測解析処理部164に入力され(ステップS2300)、予測解析処理部164によって遅延時間に応じた時間だけ先の将来の状態を予測する処理が実行される。予測解析処理ではまず、リアルタイムでの解析処理と同様にして対象が検出される(図14のステップS2410)。その際、検出された対象の移動速度、加速度、移動方向等の情報も検出され、これらの情報を用いて、遅延時間に応じた時間経過後の位置等が予測される(図14のステップS2420)。例えば、遅延時間に応じた時間が1秒の場合、検出された移動速度、加速度、移動方向等の情報を用いることによって、検出された対象が1秒後(すなわち1秒だけ将来)にどの位置に移動しているかを予測(計算)できる。予測解析処理部164は、このようにして得た予測結果を取得時刻t1と対応させて出力バッファ(記憶装置120)に記憶する(図14のステップS2430)。これにより、遅延が大きいセンサデータであっても、遅延が小さいセンサデータと同様の解析結果が得られる。
On the other hand, the sensor data of the group with a large delay is input to the prediction analysis processing unit 164 (step S2300), and the prediction
続いて、制御部110は、処理結果を統合するタイミングになったか否かを判定する。このタイミングは、上述のように、同期処理部166による処理のタイミングに対応する。なお、制御部110は、運転支援情報を配信すると、その次から記憶されるステップS2200及びステップS2400の処理結果以降をタイミング判定の対象とする。処理結果を統合するタイミングになると(ステップS2500においてYES)、制御部110は、繰返し実行されたステップS2000~ステップS2400の処理結果に関して、取得時刻t1が所定値以内のものを1つのグループにまとめる。そして、グループ毎の処理結果を統合して運転支援情報(動的情報)を生成する(ステップS2600)。制御部110は、生成した運転支援情報を支援対象の車両60aに搭載された車載装置500(通信端末200)に送信(配信)する。
Subsequently, the
《車載装置500》
図15を参照して、車載装置500の制御部210は、エッジサーバ100との間で時刻同期を行なう(ステップS3000)。例えば、制御部210は、インターネット上で時刻情報を提供している公知のNTPサーバから現在時刻を取得してタイマ(図示せず。)に設定する。エッジサーバ100の制御部110が同様の方法で自装置のタイマ(図示せず。)の時刻を調整しておけば、車載装置500のタイマとエッジサーバ100のタイマとの時刻を同期させることができる。
<<In-
Referring to FIG. 15,
なお、時刻同期の方法は任意である。例えば、制御部210は、GPS受信機520が受信するGPS信号から現在時刻を取得してタイマに設定してもよい。また、車載装置500が時刻情報を送信する標準電波を受信する機能を有していれば、制御部210は、標準電波により特定される現在時刻をタイマに設定してもよい。また、車載装置500が直接、エッジサーバ100に現在時刻を問合せて時刻同期を行なってもよい。その場合、回線速度に応じた遅延を考慮することが好ましい。
Note that the time synchronization method is arbitrary. For example, the
時刻同期が終了すると、制御部210は、車載カメラ512又はレーダセンサ514の計測データが取込まれたか否かを判定する。計測データが取込まれると(ステップS3100においてYES)、制御部210は、タイマから現在時刻を取得し、センサデータの取得時刻t1として、センサデータとの対応が分かるように記憶部220の所定領域に記憶する(ステップS3200)。
When the time synchronization is finished, the
制御部210は、記憶部220からセンサデータとそれに対応する取得時刻t1とを読出して、現在の通信回線に応じた形式のパケットデータを生成する。制御部210はさらにタイマから現在時刻を読出して送信時刻t2としてパケットデータに組込み、通信部230を介してエッジサーバ100に送信する(ステップS3300)。
上述したように、送信されるパケットデータには、エッジサーバ100との間で予め取決められた所定のコードとして1組の{s1,t1,t2,c1}が含まれる。なお、送信するセンサデータのデータ量が大きく、1つのパケットデータで送信できない場合、分割されたセンサデータを含む複数のパケットデータの少なくとも1つ(例えば、最初又は最後に送信されるパケットデータ)に、取得時刻t1及び送信時刻t2を組込んでおけばよい。エッジサーバ100は、受信した複数のパケットデータからセンサデータを生成(再構成)するため、それに対応する取得時刻t1及び送信時刻t2を特定できる。
As described above, the packet data to be transmitted includes a set of {s1, t1, t2, c1} as a predetermined code prearranged with the
制御部210はさらに、通信部230によりデータを受信したか否かを判定する。データを受信した場合(ステップS3400においてYES)、制御部210は、受信したデータが運転支援情報を含むか否かを判定する。例えば、エッジサーバ100が、運転支援情報を含むパケットデータを送信するときに、所定のコードを付加して送信すれば、制御部210は、そのコードが含まれているか否かを判定することにより、運転支援情報を含むパケットデータを受信したか否かを判定できる。
運転支援情報を受信すると(ステップS3500においてYES)、制御部210は、受信した運転支援情報を車両60の搭乗者(運転者)に提示する(ステップS3600)。運転支援情報の提示方法は任意である。例えば、運転支援情報は、ディスプレイ530に画像、文字等の形式で表示される。運転支援情報によっては、スピーカ540から音響として提示されてもよい。運転支援情報をそのまま提示できない場合には、所定の処理を実行し、その結果を提示すればよい。
Upon receiving the driving assistance information (YES in step S3500),
受信したデータに運転支援情報が含まれない場合(ステップS3500においてNO)、制御部210は、受信したパケットデータに応じて、予め定められた処理を実行する(ステップS3700)。例えば、受信したデータを所定のアプリケーションプログラムに引き渡す。
If the received data does not include driving support information (NO in step S3500),
以上のように、車載装置500は、車載センサ510により検知された対象を含むセンサデータが記憶部220に記憶される度に、そのセンサデータ、その取得時刻t1及び送信時刻t2を含むパケットデータを生成してエッジサーバ100に送信できる。
As described above, every time sensor data including an object detected by the in-
なお、路側センサ400についても、車載装置500と同様、センサ(路側カメラ430)により検知された対象を含むセンサデータが記憶部220に記憶される度に、そのセンサデータ、その取得時刻t1及び送信時刻t2とを含むパケットデータをエッジサーバ100又はコアサーバ300に送信できる。
As with the in-
《運転支援システム50》
図16を参照して、ある交差点での運転支援を例にして、運転支援システム50の動作について説明する。
<<Driving
Referring to FIG. 16, the operation of the driving
この交差点には、汎用デジタルカメラである第1の路側センサ400A、及び高性能デジタルカメラである第2の路側センサ400Bが設置されている。第1の路側センサ400Aは、例えば、障害物70により支援対象の車両60aから死角になる箇所の道路情報を収集する。同様に、第2の路側センサ400Bは、例えば、障害物72により支援対象となる車両60aから死角になる箇所の道路情報を収集する。
At this intersection, a
第1の路側センサ400Aは、有線回線(光回線)74を介してコアサーバ300と通信可能に接続されている。一方、第2の路側センサ400Bは、基地局66を介した無線通信によりエッジサーバ100と通信可能に接続される。ここでは、第2の路側センサ400Bは5G回線76によりエッジサーバ100と通信を行なうものとする。第1の路側センサ400Aからのセンサデータは、コアサーバ300を介して、エッジサーバ100に送信されるため、通信遅延が大きい。そのため、第1の路側センサ400Aからは遅れた情報が提供される。これに対し、第2の路側センサ400Bからのセンサデータは、5G回線76によりエッジサーバ100に直接送信されるため、通信遅延が小さい。そのため、第2の路側センサ400Bからはリアルタイム情報が提供される。なお、上記したように、エッジサーバ100は車載装置500から送信されるセンサデータをも受信して運転支援情報に供することができる。ここでは、車載装置500から送信されるセンサデータをエッジサーバ100が受信していないものとして説明する。
The
今、支援対象の車両60aが道路を交差点に向けて走行しており、その道路に対して交差する道路を、車両60c及び車両60dが交差点に向けて走行しているとする。第1の路側センサ400Aは、車両60cを撮影してその映像データ(センサデータ)をエッジサーバ100に送信し、第2の路側センサ400Bは、車両60dを撮影してその映像データ(センサデータ)をエッジサーバ100に送信する。エッジサーバ100は、これらのセンサデータを受信すると、第2の路側センサ400Bから送信されたセンサデータを遅延小グループ(第1のグループ)に分類し、第1の路側センサ400Aから送信されたセンサデータを遅延大グループ(第2のグループ)に分類する。
Suppose now that the
図17を参照して、遅延小グループに分類された、第2の路側センサ400Bからのセンサデータはリアルタイムでの解析処理が実行される。これにより、リアルタイム性の高い運転支援情報が生成される。図18を参照して、遅延大グループに分類された、第1の路側センサ400Aからのセンサデータは予測解析処理が実行される。第1の路側センサ400Aから送信されるセンサデータの遅延時間をN秒とすると、第1の路側センサ400Aが検出(撮影)した車両60cは、N秒後には、センサデータ送信時の位置P1から位置P2に移動している。予測解析処理では、第1の路側センサ400Aから送信されたセンサデータに対して、N秒後の状態、すなわち、位置P2に移動した状態を予測する。これにより、遅延が大きいセンサデータからもリアルタイム性の高い運転支援情報が生成される。
Referring to FIG. 17, the sensor data from the
再び図16を参照して、エッジサーバ100は、第1の路側センサ400Aからのセンサデータを予測解析処理することで得られた解析結果(予測情報)と、第2の路側センサ400Bからのセンサデータをリアルタイム解析処理することで得られた解析結果(リアルタイム情報)とを同期して統合することで運転支援情報を生成し、支援対象の車両60aに対して配信する。これにより、高度な安全支援を行なうことができる。
Referring to FIG. 16 again, the
[本実施の形態の効果]
以上の説明から明らかなように、本実施の形態に係る運転支援システム50及びエッジサーバ100は以下に述べる効果を奏する。
[Effects of this embodiment]
As is clear from the above description, the driving
エッジサーバ100は、異なる遅延のセンサデータを受信すると、受信した各センサデータの遅延情報(遅延時間)に基づいて予測解析処理を実行するか否かを判定する。判定結果が肯定であるセンサデータについては、予測解析処理部164によって予測解析処理が行なわれる。この予測解析処理によって、リアルタイム性が高められた予測情報が生成される。一方、判定結果が否定であるセンサデータはリアルタイム解析処理部162によってリアルタイムでの解析処理が実行される。この解析処理によってリアルタイム情報が生成される。したがって、受信するセンサデータ毎に遅延時間のばらつきが生じる場合であっても、センサデータのいずれに対してもリアルタイム性の高い情報を生成できる。このような運転支援情報(動的情報)を、支援対象の車両60aに配信することによって、リアルタイム性を確保した安全支援を行なうことができる。
When receiving sensor data with different delays, the
さらに、予測解析処理を実行しない場合、同じ車両を遅延の大きい検知装置と遅延の小さい検知装置とで検出すると、1台の車両を2台と認識してしまうという不都合が生じる。一方、予測解析処理を実行する本実施の形態に係る運転支援システム50では、そうした不都合が生じるのを抑制できる。したがって、このような場合にも、精度の高い運転支援情報を提供できる。
Furthermore, when the predictive analysis process is not executed, if the same vehicle is detected by a detection device with a long delay and a detection device with a small delay, there is an inconvenience that one vehicle is recognized as two. On the other hand, the driving
予測解析処理部164は、処理対象のセンサデータの遅延時間に応じた時間だけ先の将来の状態を予測して予測情報を生成する。これにより、よりリアルタイム性の高い予測情報を生成できる。
The prediction
エッジサーバ100の制御部110は、遅延時間が所定のしきい値T1以上か否かに基づいて、センサデータの各々に対して予測解析処理を実行するか否かを判定する。これにより、予測解析処理を実行するか否かの判定を容易かつ正確に行なうことができる。
The
エッジサーバ100の制御部110は、遅延時間を所定のしきい値と比較することにより、受信したセンサデータを、遅延時間がしきい値未満である第1のグループ及び遅延時間がしきい値以上である第2のグループに分類する。制御部110はさらに、その分類結果に基づいて、センサデータの各々に対して予測解析処理を実行するか否かを判定する。リアルタイム解析処理部162は、第1のグループに属するセンサデータに対してリアルタイムでの解析処理を実行してリアルタイム情報を生成し、予測解析処理部164は、第2のグループに属するセンサデータに対して予測解析処理を実行して予測情報を生成する。これにより、受信したセンサデータを、遅延の小さいグループと、遅延の大きいグループに容易に分類できる。このように分類することで、受信したセンサデータに対して、予測解析処理、及びリアルタイム解析処理を容易に行なうことができる。
The
このように、本実施の形態に係る運転支援システム50及びエッジサーバ100によれば、異なる遅延のセンサデータを活用して、リアルタイム性を確保した安全支援を行なうことができる。加えて、精度の高い運転支援情報を各車両60の車載装置500に提供できるので、運転中の搭乗者をより一層支援できる。
As described above, according to the driving
なお、本実施の形態では、車載装置500がセンサデータに付加した送信時刻t2は、エッジサーバ100で使用されない。しかし、センサデータが対象を検知した時刻(感知時刻)からセンサデータがエッジサーバ100によって受信されるまでの遅延時間には複数の要因による遅延時間が含まれるため、遅延要因の評価に利用できる。例えば、遅延時間が増大した場合等において、いずれの要因の影響が大きいのかを特定するために利用できる。
Note that in the present embodiment, the
(第2の実施の形態)
図19を参照して、本実施の形態に係る運転支援システム50Aは、リアルタイム解析処理と予測解析処理とを別々のエッジサーバ100で実行する点において、第1の実施の形態とは異なる。その他の構成は、第1の実施の形態と同様である。
(Second embodiment)
Referring to FIG. 19, driving support system 50A according to the present embodiment differs from the first embodiment in that real-time analysis processing and predictive analysis processing are executed by
運転支援システム50Aは、第1のエッジサーバ100a及び第2のエッジサーバ100bを含む。第1のエッジサーバ100a及び第2のエッジサーバ100bは、支援対象の車両60aに対する運転支援処理を分散して行なう。第1のエッジサーバ100aと第2のエッジサーバ100bとは、メトロネットワークを介して、互いに通信可能に接続されている。
The driving assistance system 50A includes a
第1のエッジサーバ100aは、1又は複数の検知装置と通信可能であり、複数の検知装置から送信されるセンサデータを受信する。第1のエッジサーバ100aは、受信したセンサデータの分類処理を実行し、複数の検知装置から送信されるセンサデータを、遅延情報(遅延時間)に基づいて、遅延小グループ(第1のグループ)と遅延大グループ(第2のグループ)とに分類する。第1のエッジサーバ100aはさらに、遅延小グループ(第1のグループ)に分類されたセンサデータに対してリアルタイム解析処理を実行する。
The
第2のエッジサーバ100bは、遅延大グループ(第2のグループ)に分類されたセンサデータに対して予測解析処理を実行し、その結果を第1のエッジサーバ100aに送信する。第1のエッジサーバ100aは、自装置で実行したリアルタイム解析処理の結果と、第2のエッジサーバ100bで実行された予測解析処理の結果とを統合した運転支援情報を生成し、支援対象の車両60a(通信端末200)に配信する。
The
このように、本実施の形態に係る運転支援システム50Aは、リアルタイム性を確保した安全支援を行なうための処理を複数のエッジサーバ100a及び100bで分散して実行する。これにより、エッジサーバの処理負荷を低減しながら、高度な安全支援を行なうことができる。
In this manner, driving support system 50A according to the present embodiment distributes and executes processes for performing safety support that ensures real-time performance in a plurality of
なお、分散して処理するエッジサーバの台数は2台に限定されず、3台以上であってもよい。例えば、遅延情報(遅延時間)に基づくセンサデータを分類処理、上記リアルタイム解析処理、及び上記予測解析処理を、3台のエッジサーバ100で分担する構成であってもよい。上記リアルタイム解析処理、又は上記予測解析処理を実行するサーバ装置はエッジサーバ以外のサーバ装置(例えばコアサーバ)であってもよい。さらに、上記した運転支援(安全支援)を複数のエッジサーバで分担して行なう場合に、これら複数のエッジサーバ全体でサーバ装置(情報処理装置)ということもできる。
Note that the number of edge servers that perform distributed processing is not limited to two, and may be three or more. For example, three
(第3の実施の形態)
本実施の形態に係るエッジサーバ(運転支援システム)は、センサデータが送信される通信回線の種類に基づいて、複数の検知装置から送信されるセンサデータに対して予測解析処理を実行するか否かを判定する。その点において、本実施の形態に係るエッジサーバは、第1及び第2の実施の形態とは異なる。その他の点では、各エッジサーバは同一の構成である。
(Third Embodiment)
The edge server (driving support system) according to the present embodiment determines whether or not to perform predictive analysis processing on sensor data transmitted from a plurality of detection devices based on the type of communication line through which the sensor data is transmitted. determine whether In that respect, the edge server according to the present embodiment differs from those of the first and second embodiments. Otherwise, each edge server has the same configuration.
センサデータに対して異なる処理のいずれを実行するかを判定する基準は、遅延時間に関する情報であればよく、遅延時間に限定されない。遅延時間の原因となる要因のうち、通常、通信時間による遅延が大きく、回線の種類に応じて遅延時間が異なる。したがって、回線の種類は、概ね遅延時間に対応していると言える。 The criteria for determining which of the different processes to perform on the sensor data may be any information related to the delay time, and is not limited to the delay time. Among the factors that cause the delay time, the delay due to communication time is usually large, and the delay time varies depending on the type of line. Therefore, it can be said that the type of line generally corresponds to the delay time.
本実施の形態では、こうした点に鑑みて、エッジサーバは、センサデータを送信している相手(車載装置又は路側センサ)との通信回線の種類(光回線、5G回線、LTE回線等)に応じて、各センサデータを分類する。すなわち、エッジサーバは、通信回線の種類に応じて、センサデータに対して異なる処理を実行する。 In the present embodiment, in view of these points, the edge server is configured according to the type of communication line (optical line, 5G line, LTE line, etc.) with the other party (in-vehicle device or roadside sensor) to which sensor data is being transmitted. to classify each sensor data. That is, the edge server performs different processing on sensor data according to the type of communication line.
より詳細には、車載装置及び路側センサは、通信回線の種類を識別するための識別情報をセンサデータに付加してエッジサーバ又はコアサーバに送信する。エッジサーバは、センサデータに付加されている識別情報に基づいて、当該センサデータが送信された通信回線の種類を判別する。 More specifically, the in-vehicle device and the roadside sensor add identification information for identifying the type of communication line to the sensor data and transmit the sensor data to the edge server or core server. The edge server determines the type of communication line through which the sensor data is transmitted based on the identification information added to the sensor data.
図20を参照して、エッジサーバの記憶装置には、通信回線の種類(識別情報)と、分類グループ及びおおよその遅延時間とが対応付けられたテーブル180が記憶されている。エッジサーバは、テーブル180を参照して、センサデータを第1のグループ又は第2のグループに分類する。すなわち、識別情報に基づいて、センサデータの各々に対して予測解析処理を実行するか否かを判定する。 Referring to FIG. 20, the storage device of the edge server stores a table 180 in which communication line types (identification information) are associated with classification groups and approximate delay times. The edge server refers to the table 180 and classifies the sensor data into the first group or the second group. That is, based on the identification information, it is determined whether or not to perform predictive analysis processing on each piece of sensor data.
なお、コアサーバを経由してセンサデータを受信する場合、通信回線の種類に関わらず、遅延が大きくなる可能性がある。そのため、上記判定においては、コアサーバ経由でセンサデータを受信したか否かをも考慮して行なうように構成されていると好ましい。 Note that when sensor data is received via the core server, there is a possibility that the delay will increase regardless of the type of communication line. Therefore, it is preferable that the determination be made in consideration of whether or not the sensor data has been received via the core server.
(第4の実施の形態)
本実施の形態に係るエッジサーバは、車両(車載装置)から送信される、当該車両の走行予定ルートを受信し、受信した走行予定ルートに基づいて、当該走行予定ルートを送信した車両に対して運転支援情報を配信する。その点において、本実施の形態に係るエッジサーバは、第1~第3の実施の形態とは異なる。その他の点では、各エッジサーバは同一の構成である。
(Fourth embodiment)
The edge server according to the present embodiment receives the planned travel route of the vehicle transmitted from the vehicle (in-vehicle device), and based on the received planned travel route, the edge server that has transmitted the planned travel route. Distribute driving support information. In that respect, the edge server according to the present embodiment differs from those of the first to third embodiments. Otherwise, each edge server has the same configuration.
エッジサーバは、走行予定ルートを事前に受信することによって、受信した移動予定ルートに基づいて、走行予定のないエリア、又は車両が近づくまでに時間を要するエリア等を認識できる。そのようなエリアは支援対象の車両が走行していないエリアであり、運転支援情報を配信する必要がない。したがって、エッジサーバは、そのようなエリアから送信されるセンサデータに対して、予測解析処理又はリアルタイム解析処理の実行を停止できる。これにより、エッジサーバの処理負荷を低減しながら、安全支援を行なうことができる。 By receiving the planned travel route in advance, the edge server can recognize areas where there is no travel plan, areas where it will take time for the vehicle to approach, etc., based on the received planned travel route. Such an area is an area in which the vehicle targeted for assistance is not running, and there is no need to distribute the driving assistance information. Accordingly, the edge server can stop performing predictive or real-time analytical processing on sensor data transmitted from such areas. As a result, safety support can be provided while reducing the processing load on the edge server.
(第5の実施の形態)
本実施の形態に係る運転支援システム50Bは、エッジサーバ側での処理を車載装置側で処理する点において、第1~第4の実施の形態とは異なる。
(Fifth embodiment)
A driving
図21を参照して、運転支援システム50Bは、支援対象の車両60aに搭載される車載装置500Aを含む。車載装置500Aは、エッジサーバによる運転支援機能と同様の機能を持つ。すなわち、車載装置500Aは、複数の検知装置から送信されるセンサデータを受信する受信処理、受信したセンサデータに対して、遅延情報(遅延時間)に基づいて分類する分類処理、分類されたセンサデータに対してリアルタイム解析又は予測解析を行なう解析処理、解析処理の結果を統合する統合処理、及び、統合処理によって生成された運転支援情報を車両60aの搭乗者(運転者)に対して提示する処理等を実行する。
Referring to FIG. 21, driving
受信するセンサデータの遅延情報(遅延時間)は、センサデータの取得時刻t1と当該センサデータの受信時刻t3とから算出される。前方を走行する車両において遅延時間を既に算出している場合、車載装置500Aは前方の車両と通信して当該車両から遅延時間を取得するよう構成されていてもよい。すなわち、車車間通信によって、前方の車両から遅延時間を予め取得してもよい。さらに、検知装置が、自装置が送信するセンサデータの遅延時間を遅延時間情報として保持している場合、車載装置500Aはその検知装置と事前に通信して当該検知装置から遅延時間情報を取得するよう構成されていてもよい。
Delay information (delay time) of the sensor data to be received is calculated from the acquisition time t1 of the sensor data and the reception time t3 of the sensor data. If the vehicle running ahead has already calculated the delay time, the in-
さらに、車載装置500Aによる運転支援情報の提供と、エッジサーバによる運転支援情報の提供とを、エッジサーバの設置有無に応じて切り替えてもよい。エッジサーバの設置有無の情報は、例えば、コアサーバから取得できる。具体的には、車載装置500Aは、コアサーバと通信し、当該コアサーバに対して現在の位置情報を送信する。コアサーバは、受信した位置情報に基づいて、支援対象の車両60a(車載装置500A)が走行しているエリアに対してサービスを提供するエッジサーバの有無を調べる。コアサーバは、その結果(エッジサーバの有無)を車載装置500Aに送信する。車載装置500Aは、コアサーバから送信される、エッジサーバの有無の情報を受信し、受信した情報に基づいて、運転支援を行なうための上記処理を自装置で実行か否かを切り替える。
Further, the provision of the driving support information by the in-
すなわち、走行中のエリアにエッジサーバが設置されていない場合、車載装置500Aは、受信したセンサデータを処理して運転支援情報を生成し、運転中の搭乗者に提示する。一方、走行中のエリアにエッジサーバが設置されている場合は、第1の実施の形態と同様、車載装置500Aは、エッジサーバから配信される運転支援情報を受信して、運転中の搭乗者に提示する。これにより、エッジサーバによる運転支援サービスが提供されていないエリアであっても、高度な安全支援を行なうことができる。車載装置500Aのその他の構成は、第1~第4の実施の形態で示した車載装置500と同様である。
That is, when an edge server is not installed in the area in which the vehicle is traveling, the in-
(第6の実施の形態)
本実施の形態に係る運転支援システムは、処理対象のセンサデータ毎に、各センサデータの遅延時間だけ先の将来の状態を予測して予測情報を生成する点において、予め設定された、遅延時間に応じた時間だけ先の将来の状態を予測する上記実施の形態とは異なる。
(Sixth embodiment)
The driving support system according to the present embodiment generates prediction information by predicting a future state ahead by the delay time of each sensor data for each sensor data to be processed. This is different from the above-described embodiment that predicts the future state by the amount of time according to .
上記実施の形態では、遅延が大きい、第2のグループに属するセンサデータの遅延時間は実質的に同じとみなして、予測解析処理を実行した。これに対して、本実施の形態では、センサデータ毎の遅延時間を用いて予測解析処理を実行する。すなわち、本実施の形態の予測解析処理では、各センサデータに対して、実際の遅延時間だけ先の将来の状態を予測する。これにより、生成される予測情報のリアルタイム性をより高めることができる。 In the above-described embodiment, the predictive analysis processing is performed by assuming that the delay times of sensor data belonging to the second group, which have large delays, are substantially the same. On the other hand, in the present embodiment, the predictive analysis process is executed using the delay time for each sensor data. That is, in the predictive analysis processing of the present embodiment, the future state ahead by the actual delay time is predicted for each sensor data. As a result, it is possible to further improve the real-timeness of the generated prediction information.
なお、この場合、第2しきい値T2を設定せずに、遅延時間が第1しきい値T1以上のセンサデータを第2のグループに分類するようにしてもよい。このように構成すれば、上記実施の形態では廃棄の対象となるセンサデータに対しても予測解析処理を行なうことができる。ただし、遅延が大きすぎるセンサデータは、予測解析処理を行うことによってリアルタイム性を高めても、動的情報として利用するのが困難になることがある。そのため、第2しきい値T2を設定して、遅延が大きすぎるセンサデータを予測解析処理の対象から除外するのが好ましい。 In this case, instead of setting the second threshold T2, the sensor data whose delay time is equal to or greater than the first threshold T1 may be classified into the second group. With this configuration, the predictive analysis process can be performed even on sensor data to be discarded in the above-described embodiment. However, sensor data with too long a delay may be difficult to use as dynamic information even if real-time performance is improved by performing predictive analysis processing. Therefore, it is preferable to set the second threshold value T2 to exclude sensor data with too large a delay from being subjected to the predictive analysis process.
(変形例)
上記実施の形態では、車載装置に通信端末が含まれる構成について示したが、本発明はそのような実施の形態には限定されない。運転支援情報を受信する通信端末は、車載装置とは別の装置であってもよい。例えば、通信端末は、搭乗者が車両に持ち込んだ携帯端末であってもよい。搭乗者の携帯端末は、例えば車内LANに接続されることにより、一時的に車載の無線通信機とすることができる。
(Modification)
Although the configuration in which the communication terminal is included in the in-vehicle device has been described in the above embodiment, the present invention is not limited to such an embodiment. The communication terminal that receives the driving assistance information may be a device other than the in-vehicle device. For example, the communication terminal may be a mobile terminal brought into the vehicle by the passenger. A passenger's portable terminal can be temporarily used as an in-vehicle wireless communication device by being connected to an in-vehicle LAN, for example.
上記実施の形態では、支援対象の車両に対して運転支援情報を配信する例について示したが、本発明はそのような実施の形態には限定されない。例えば、通信端末は、歩行者が携帯する携帯端末であってもよい。この場合、歩行者に対して、安全支援を行なうことができる。 In the above embodiment, an example of distributing driving support information to a vehicle to be supported has been described, but the present invention is not limited to such an embodiment. For example, the communication terminal may be a mobile terminal carried by a pedestrian. In this case, safety assistance can be provided to pedestrians.
上記実施の形態では、遅延時間が第2しきい値T2以上のセンサデータを廃棄する例について示したが、本発明はそのような実施の形態には限定されない。遅延時間が第2しきい値T2以上のセンサデータは、例えば、非リアルタイム処理に用いるようにしてもよい。より詳細には、例えば、フィルタ部によって、遅延時間が第2しきい値T2以上のセンサデータを第3のグループに分類してバッファに記憶し、このバッファに記憶されたセンサデータに対して、リアルタイム解析処理及び予測解析処理以外の処理(ここでは、非リアルタイム処理)を行なうようにしてもよい。すなわち、受信されたセンサデータを、遅延情報に基づいて、3つ以上の複数の処理部のそれぞれに振り分けて、各処理部にて所定の処理を実行するようにしてもよい。 In the above embodiment, an example of discarding sensor data whose delay time is equal to or greater than the second threshold value T2 has been shown, but the present invention is not limited to such an embodiment. Sensor data whose delay time is equal to or greater than the second threshold value T2 may be used for non-real-time processing, for example. More specifically, for example, the filter unit classifies the sensor data whose delay time is equal to or greater than the second threshold value T2 into the third group and stores it in a buffer, and for the sensor data stored in this buffer, Processing other than real-time analysis processing and predictive analysis processing (here, non-real-time processing) may be performed. That is, the received sensor data may be distributed to each of three or more processing units based on the delay information, and each processing unit may execute predetermined processing.
上記実施の形態では、受信したセンサデータを、遅延が小さい第1のグループと遅延が大きい第2のグループに分類する例について示したが、本発明はそのような実施の形態には限定されない。例えば、遅延が大きい第2のグループを、遅延時間に応じて段階的に複数のグループに分類してもよい。すなわち、受信されたセンサデータを、遅延情報に基づいて、3つ以上の複数の処理部のそれぞれに振り分けるようにしてもよい。例えば、第1しきい値T1と第2しきい値T2との間に1又は複数のしきい値R(R1,R2,・・・,Rn)をさらに設定し、遅延時間が第1しきい値T1以上しきい値R1未満のセンサデータをA1グループに分類し、遅延時間がしきい値R1以上しきい値R2未満のセンサデータをA2グループに分類し、・・・、遅延時間がしきい値Rn以上第2しきい値T2未満のセンサデータをAnグループに分類するようにしてもよい。この場合、分類したグループ毎に遅延時間に応じた時間を予め設定し、分類したグループ毎に予測解析処理を実行するようにしてもよい。 In the above embodiment, an example of classifying the received sensor data into the first group with small delay and the second group with large delay was shown, but the present invention is not limited to such an embodiment. For example, the second group with a large delay may be classified stepwise into a plurality of groups according to the delay time. That is, the received sensor data may be distributed to each of three or more processing units based on the delay information. For example, one or more threshold values R (R1, R2, . . . , Rn) are further set between the first threshold value T1 and the second threshold value T2, and the delay time Sensor data with a value T1 or more and less than a threshold value R1 are classified into group A1, and sensor data with a delay time of threshold value R1 or more and less than threshold value R2 are classified into group A2, . . . Sensor data having a value equal to or greater than the value Rn and less than the second threshold value T2 may be classified into the An group. In this case, the time corresponding to the delay time may be set in advance for each classified group, and the predictive analysis process may be executed for each classified group.
上記実施の形態では、コアサーバ側では受信したセンサデータに対して解析処理を実行しない例について示したが、本発明はそのような実施の形態には限定されない。受信したセンサデータに対する解析処理をコアサーバで行なうようにしてもよい。 In the above embodiment, an example is shown in which the core server side does not perform analysis processing on the received sensor data, but the present invention is not limited to such an embodiment. The analysis processing for the received sensor data may be performed by the core server.
上記実施の形態では、予測解析処理において、検出された対象の移動速度、加速度、移動方向等の情報を用いて、遅延時間に応じた時間経過後の位置等を予測する例について示したが、本発明はそのような実施の形態には限定されない。例えば、走行中の車両が右折又は左折する場合、右折又は左折する前に当該車両が外側に膨らむことがあるため、車両の移動軌跡等を検出することによって、右左折するか否か等を予測するようにしてもよい。さらに、検出装置(例えば路側センサ)で検出された対象が車両の場合、遅延時間に相当する時間経過後に当該車両から送信される位置情報を取得して、取得した位置情報を正解データとして機械学習するようにしてもよい。遅延時間に相当する時間経過後の当該車両の位置が検出装置の検出エリア内である場合、検出装置から送信されるセンサデータ(例えば映像データ等)を用いて遅延時間に応じた将来の状態を機械学習するようにしてもよい。機械学習により学習モデルを構築することによって、受信したセンサデータから遅延時間に応じた将来の状態を容易に予測することが可能となる。 In the above embodiment, in the predictive analysis process, an example of predicting the position after the elapse of time according to the delay time using information such as the detected moving speed, acceleration, moving direction, etc. of the target was shown. The invention is not limited to such embodiments. For example, when a moving vehicle turns right or left, the vehicle may swell outwards before turning right or left. Therefore, by detecting the movement trajectory of the vehicle, it is possible to predict whether the vehicle will turn left or right. You may make it Furthermore, if the object detected by the detection device (e.g., roadside sensor) is a vehicle, the position information transmitted from the vehicle is acquired after the time corresponding to the delay time has elapsed, and machine learning is performed using the acquired position information as correct data. You may make it If the position of the vehicle after the time corresponding to the delay time has elapsed is within the detection area of the detection device, the future state corresponding to the delay time is estimated using sensor data (e.g. video data, etc.) transmitted from the detection device. Machine learning may be used. By constructing a learning model by machine learning, it becomes possible to easily predict the future state according to the delay time from the received sensor data.
運転者の視線情報と車両から得られる情報とを組合せた運転行動予測を行なう技術も提案されており、予測解析処理において、こうした技術を用いるようにしてもよい。具体的には、検出装置で検出された車両からこのような運転行動予測情報を取得することにより、取得した運転行動予測情報をも用いて予測解析処理を行なうようにしてもよい。また、上記実施の形態において、エッジサーバは、交通管制センター又は民間気象業務センター等からサービスエリア内の各地の交通情報及び気象情報等を収集するよう構成されていてもよい。この場合、収集した情報をも用いて、予測解析処理を行なうようにしてもよい。交通状況又は気象状況によっては、予測結果が変わってくることも推測されるため、予測解析処理においてはこうした情報をも考慮するのが好ましい。上記した機械学習を行なう際に、これらの情報(運転行動予測情報、交通情報、気象情報等)を考慮して学習するようにしてもよい。 Techniques for predicting driving behavior by combining information obtained from the driver's line of sight and information obtained from the vehicle have also been proposed, and such techniques may be used in predictive analysis processing. Specifically, by acquiring such driving behavior prediction information from the vehicle detected by the detection device, the prediction analysis processing may be performed using the acquired driving behavior prediction information as well. Further, in the above embodiment, the edge server may be configured to collect traffic information, weather information, and the like for various locations within the service area from a traffic control center, a private weather service center, or the like. In this case, the collected information may also be used for predictive analysis processing. Since it is assumed that the prediction result will change depending on traffic conditions or weather conditions, it is preferable to consider such information in the prediction analysis process. Such information (driving behavior prediction information, traffic information, weather information, etc.) may be taken into consideration when performing the machine learning described above.
上記実施の形態又は変形例に示した予測解析処理は、エッジサーバで行なってもよいし、コアサーバで行なってもよい。さらに、エッジサーバ及びコアサーバ以外のコンピュータ装置で予測解析処理等の種々の解析処理を行なってもよい。 The predictive analysis processing described in the above embodiment or modified example may be performed by the edge server or may be performed by the core server. Further, various analysis processes such as predictive analysis process may be performed by a computer device other than the edge server and the core server.
上記実施の形態では、LTE回線及び5G回線での通信処理が可能な車載装置について示したが、本発明はそのような実施の形態には限定されない。車載装置は、LTE回線及び5G回線のいずれかの通信処理が可能の装置であってもよい。 In the above embodiment, the in-vehicle device capable of communication processing on the LTE line and the 5G line has been described, but the present invention is not limited to such an embodiment. The in-vehicle device may be a device capable of communication processing on either the LTE line or the 5G line.
上記実施の形態では、遅延が小さいセンサデータについてはリアルタイム解析処理部で解析処理を行なう例について示したが、本発明はそのような実施の形態には限定されない。例えば、遅延が小さいセンサデータについても、遅延が大きいセンサデータと同様、予測解析処理部で解析処理を行なうようにしてもよい。この場合、遅延が小さいセンサデータについては、遅延時間をゼロ(0)として解析処理を実行すればよい。 In the above embodiment, an example in which the real-time analysis processing unit analyzes sensor data with a small delay has been described, but the present invention is not limited to such an embodiment. For example, sensor data with a short delay may be analyzed by the predictive analysis processing unit in the same manner as sensor data with a long delay. In this case, for sensor data with a small delay, the analysis process may be executed with the delay time set to zero (0).
なお、上記で開示された技術を適宜組合せて得られる実施形態についても、本発明の技術的範囲に含まれる。 Embodiments obtained by appropriately combining the techniques disclosed above are also included in the technical scope of the present invention.
今回開示された実施の形態は単に例示であって、本発明が上記した実施の形態のみに限定されるわけではない。本発明の範囲は、発明の詳細な説明の記載を参酌した上で、特許請求の範囲の各請求項によって示され、そこに記載された文言と均等の意味及び範囲内での全ての変更を含む。 The embodiments disclosed this time are merely examples, and the present invention is not limited only to the above-described embodiments. The scope of the present invention is indicated by each claim in the scope of claims after taking into consideration the description of the detailed description of the invention, and all changes within the meaning and range of equivalents to the wording described therein include.
50、50A 運転支援システム
60、60a~60d 車両
62 メトロネットワーク
64 コアネットワーク
66 基地局
100、100a、100b サーバ装置、エッジサーバ
110、210、310、410 制御部
120、320 記憶装置
122、322 情報マップ
130、230、440 通信部
150 パケット受信部
152 フィルタ部
154 データ記憶部
156 遅延小グループ記憶部
158 遅延大グループ記憶部
160 解析処理部
162 リアルタイム解析処理部
164 予測解析処理部
166 同期処理部
168 統合処理部
170 パケット送信部
200 通信端末
220、420 記憶部
300 コアサーバ
330 通信部
400、400A、400B 路側センサ
430 路側カメラ
500、500A 車載装置
510 車載センサ
512 車載カメラ
514 レーダセンサ
520 GPS受信機
50, 50A driving
Claims (12)
複数の検知装置からそれぞれ送信されるセンサデータを受信する受信部と、
前記センサデータの通信遅延に関する遅延情報に基づいて、前記受信部が受信した前記センサデータの各々に対して、将来の状態を予測する予測解析処理を実行するか否かを判定する判定部と、
前記判定部の判定結果が肯定であるセンサデータに対して前記予測解析処理を実行して予測情報を生成する予測解析処理部と、
前記判定部の判定結果が否定であるセンサデータに対してリアルタイムでの解析処理を実行してリアルタイム情報を生成するリアルタイム解析処理部と、
前記予測情報及び前記リアルタイム情報を統合する統合処理部と、
前記統合処理部によって統合された、前記予測情報及び前記リアルタイム情報を前記情報処理装置の外部に出力する情報出力部と、
移動体から送信される、当該移動体の移動予定ルートを受信するルート情報受信部とを含み、
前記情報出力部は、前記ルート情報受信部が受信した移動予定ルートに基づいて、当該移動予定ルートを送信した移動体に対して、前記予測情報と前記リアルタイム情報とを統合して配信する情報配信部を含む、情報処理装置。 An information processing device,
a receiving unit that receives sensor data transmitted from each of a plurality of detection devices;
a determination unit that determines whether or not to execute predictive analysis processing for predicting a future state for each of the sensor data received by the receiving unit, based on delay information related to communication delay of the sensor data;
a prediction analysis processing unit that generates prediction information by executing the prediction analysis processing on sensor data for which the determination result of the determination unit is affirmative;
a real-time analysis processing unit that performs real-time analysis processing on sensor data for which the determination result of the determination unit is negative to generate real-time information;
an integration processing unit that integrates the prediction information and the real-time information;
an information output unit that outputs the prediction information and the real -time information integrated by the integration processing unit to the outside of the information processing device ;
a route information receiving unit for receiving the planned route of movement of the mobile object, which is transmitted from the mobile object ;
The information output unit distributes information by integrating and distributing the prediction information and the real-time information based on the planned movement route received by the route information reception unit to a moving object that has transmitted the planned movement route. Information processing device , including a unit.
前記予測解析処理部は、処理対象のセンサデータの遅延時間に応じた時間だけ先の将来の状態を予測して前記予測情報を生成する、請求項1に記載の情報処理装置。 The delay information includes a delay time related to communication,
The information processing apparatus according to claim 1, wherein the prediction analysis processing unit generates the prediction information by predicting a future state ahead by a time corresponding to a delay time of sensor data to be processed.
前記予測解析処理部は、処理対象のセンサデータ毎に、各センサデータの前記遅延時間だけ先の将来の状態を予測して前記予測情報を生成する、請求項1に記載の情報処理装置。 The delay information includes a delay time related to communication,
The information processing apparatus according to claim 1, wherein the predictive analysis processing unit predicts a future state ahead by the delay time of each sensor data for each sensor data to be processed, and generates the predictive information.
前記判定部は、前記識別情報に基づいて、前記センサデータの各々に対して前記予測解析処理を実行するか否かを判定する、請求項1に記載の情報処理装置。 The delay information includes identification information for identifying the type of communication line through which the sensor data is transmitted,
The information processing apparatus according to claim 1, wherein the determination unit determines whether or not to execute the predictive analysis process for each of the sensor data based on the identification information.
前記判定部は、前記分類部の分類結果に基づいて、前記センサデータの各々に対して前記予測解析処理を実行するか否かを判定し、
前記リアルタイム解析処理部は、前記第1のグループに属するセンサデータに対してリアルタイムでの解析処理を実行してリアルタイム情報を生成するリアルタイム情報生成部を含み、
前記予測解析処理部は、前記第2のグループに属するセンサデータに対して前記予測解析処理を実行して予測情報を生成する予測情報生成部を含み、
前記情報出力部は、前記予測情報生成部が生成した予測情報及び前記リアルタイム情報生成部が生成したリアルタイム情報を前記情報処理装置の外部に出力する、請求項2~請求項5のいずれか1項に記載の情報処理装置。 By comparing the delay time with a predetermined threshold value, the sensor data received by the receiving unit are divided into a first group whose delay time is less than the threshold value and a second group whose delay time is greater than or equal to the threshold value. further comprising a classifying unit for classifying into two groups;
The determination unit determines whether or not to execute the predictive analysis process for each of the sensor data based on the classification result of the classification unit,
The real-time analysis processing unit includes a real-time information generation unit that performs real-time analysis processing on sensor data belonging to the first group to generate real-time information,
The predictive analysis processing unit includes a predictive information generating unit that executes the predictive analysis process on sensor data belonging to the second group to generate predictive information,
6. The information output unit outputs the prediction information generated by the prediction information generation unit and the real-time information generated by the real-time information generation unit to the outside of the information processing device. The information processing device according to .
前記受信部は、前記移動体検知装置から送信されたセンサデータを受信する機能を持つ、請求項1~請求項6のいずれか1項に記載の情報処理装置。 at least one of the plurality of detection devices is a mobile body detection device that transmits as sensor data information about the surroundings of the mobile body mounted on the mobile body;
The information processing apparatus according to any one of claims 1 to 6 , wherein said receiving unit has a function of receiving sensor data transmitted from said moving body detection apparatus.
前記複数の情報処理装置は第1の情報処理装置及び第2の情報処理装置を含み、
前記システムは、
複数の検知装置からそれぞれ送信されるセンサデータを受信する受信部と、
前記センサデータの通信遅延に関する遅延情報に基づいて、前記受信部が受信した前記センサデータの各々に対して、将来の状態を予測する予測解析処理を実行するか否かを判定する判定部と、
前記判定部の判定結果が肯定であるセンサデータに対して前記予測解析処理を実行して予測情報を生成する予測解析処理部と、
前記判定部の判定結果が否定であるセンサデータに対してリアルタイムでの解析処理を実行してリアルタイム情報を生成するリアルタイム解析処理部と、
前記予測情報及び前記リアルタイム情報を統合する統合処理部と、
前記統合処理部によって統合された、前記予測情報及び前記リアルタイム情報を前記情報処理装置の外部に出力する情報出力部と、
移動体から送信される、当該移動体の移動予定ルートを受信するルート情報受信部とを含み、
前記情報出力部は、前記ルート情報受信部が受信した移動予定ルートに基づいて、当該移動予定ルートを送信した移動体に対して、前記予測情報と前記リアルタイム情報とを統合して配信する情報配信部を含み、
前記第1の情報処理装置は、前記予測解析処理部による処理を実行し、
前記第2の情報処理装置は、前記リアルタイム解析処理部による処理を実行する、システム。 A system that includes a plurality of information processing devices that are communicatively connected to each other, and performs distributed processing of information provision processing to the outside by the plurality of information processing devices,
The plurality of information processing devices include a first information processing device and a second information processing device,
The system includes:
a receiving unit that receives sensor data transmitted from each of a plurality of detection devices;
a determination unit that determines whether or not to execute predictive analysis processing for predicting a future state for each of the sensor data received by the receiving unit, based on delay information related to communication delay of the sensor data;
a prediction analysis processing unit that generates prediction information by executing the prediction analysis processing on sensor data for which the determination result of the determination unit is affirmative;
a real-time analysis processing unit that performs real-time analysis processing on sensor data for which the determination result of the determination unit is negative to generate real-time information;
an integration processing unit that integrates the prediction information and the real-time information;
an information output unit that outputs the prediction information and the real -time information integrated by the integration processing unit to the outside of the information processing device ;
a route information receiving unit for receiving the planned route of movement of the mobile object, which is transmitted from the mobile object ;
The information output unit distributes information by integrating and distributing the prediction information and the real-time information based on the planned movement route received by the route information reception unit to a moving object that has transmitted the planned movement route. including the part
The first information processing device executes processing by the prediction analysis processing unit,
The system, wherein the second information processing device executes processing by the real-time analysis processing unit.
前記情報処理装置は、
複数の検知装置からそれぞれ送信されるセンサデータを受信する受信部と、
前記センサデータの通信遅延に関する遅延情報に基づいて、前記受信部が受信した前記センサデータの各々に対して、将来の状態を予測する予測解析処理を実行するか否かを判定する判定部と、
前記判定部の判定結果が肯定であるセンサデータに対して前記予測解析処理を実行して予測情報を生成する予測解析処理部と、
前記判定部の判定結果が否定であるセンサデータに対してリアルタイムでの解析処理を実行してリアルタイム情報を生成するリアルタイム解析処理部と、
前記予測情報及び前記リアルタイム情報を統合する統合部と、
前記車両から送信される、当該車両の移動予定ルートを受信するルート情報受信部と、
前記ルート情報受信部が受信した移動予定ルートに基づいて、当該移動予定ルートを送信した車両の前記通信端末に対して、前記予測情報と前記リアルタイム情報とを統合して配信する情報配信部とを含み、
前記通信端末は、前記情報配信部が配信した統合情報を受信して、受信した統合情報を当該通信端末が搭載される車両の搭乗者に通知する情報通知部を含む、システム。 A system including an information processing device that analyzes received sensor data and distributes the analysis results, and a communication terminal that is mounted on a vehicle and receives the analysis results distributed from the information processing device,
The information processing device is
a receiving unit that receives sensor data transmitted from each of a plurality of detection devices;
a determination unit that determines whether or not to execute predictive analysis processing for predicting a future state for each of the sensor data received by the receiving unit, based on delay information related to communication delay of the sensor data;
a prediction analysis processing unit that generates prediction information by executing the prediction analysis processing on sensor data for which the determination result of the determination unit is affirmative;
a real-time analysis processing unit that performs real-time analysis processing on sensor data for which the determination result of the determination unit is negative to generate real-time information;
an integration unit that integrates the prediction information and the real-time information;
a route information receiving unit for receiving a planned travel route of the vehicle, which is transmitted from the vehicle;
an information distribution unit that integrates and distributes the prediction information and the real-time information to the communication terminal of the vehicle that transmitted the planned travel route, based on the planned travel route received by the route information receiving unit ; including
The system, wherein the communication terminal includes an information notification unit that receives the integrated information distributed by the information distribution unit and notifies the received integrated information to passengers of a vehicle in which the communication terminal is mounted.
情報処理装置が、複数の検知装置からそれぞれ送信されるセンサデータを受信するステップと、
情報処理装置が、前記センサデータの通信遅延に関する遅延情報に基づいて、前記受信するステップにおいて受信した前記センサデータの各々に対して、将来の状態を予測する予測解析処理を実行するか否かを判定するステップと、
情報処理装置が、前記判定するステップにおける判定結果が肯定であるセンサデータに対して前記予測解析処理を実行して予測情報を生成するステップと、
情報処理装置が、前記判定するステップにおける判定結果が否定であるセンサデータに対してリアルタイムでの解析処理を実行してリアルタイム情報を生成するステップと、
情報処理装置が、前記予測情報及び前記リアルタイム情報を統合するステップと、
情報処理装置が、前記統合するステップにおいて統合された、前記予測情報及び前記リアルタイム情報を外部に出力するステップと、
情報処理装置が、移動体から送信される、当該移動体の移動予定ルートを受信するステップとを含み、
前記出力するステップは、前記移動予定ルートに基づいて、情報処理装置が、当該移動予定ルートを送信した移動体に対して、前記予測情報と前記リアルタイム情報とを統合して配信するステップを含む、方法。 A processing method executed in an information processing device,
a step in which an information processing device receives sensor data transmitted from each of a plurality of detection devices;
The information processing device determines whether or not to execute predictive analysis processing for predicting a future state for each of the sensor data received in the receiving step, based on delay information related to communication delay of the sensor data. a step of determining;
an information processing device performing the predictive analysis process on sensor data for which the determination result in the determining step is affirmative to generate prediction information;
an information processing device performing real-time analysis processing on sensor data for which the determination result in the determining step is negative to generate real-time information;
an information processing device integrating the prediction information and the real-time information;
an information processing device outputting to the outside the prediction information and the real-time information integrated in the integrating step ;
an information processing device receiving a planned travel route of the mobile body transmitted from the mobile body ;
In the step of outputting, based on the planned travel route, the information processing device integrates and distributes the prediction information and the real-time information to a moving object that has transmitted the planned travel route. ,Method.
複数の検知装置からそれぞれ送信されるセンサデータを受信する受信部、
前記センサデータの通信遅延に関する遅延情報に基づいて、前記受信部が受信した前記センサデータの各々に対して、将来の状態を予測する予測解析処理を実行するか否かを判定する判定部、
前記判定部の判定結果が肯定であるセンサデータに対して前記予測解析処理を実行して予測情報を生成する予測解析処理部、
前記判定部の判定結果が否定であるセンサデータに対してリアルタイムでの解析処理を実行してリアルタイム情報を生成するリアルタイム解析処理部、
前記予測情報及び前記リアルタイム情報を統合する統合処理部、
前記統合処理部によって統合された、前記予測情報及び前記リアルタイム情報を前記コンピュータの外部に出力する情報出力部、及び、
移動体から送信される、当該移動体の移動予定ルートを受信するルート情報受信部として機能させ、
前記情報出力部は、前記ルート情報受信部が受信した移動予定ルートに基づいて、当該移動予定ルートを送信した移動体に対して、前記予測情報と前記リアルタイム情報とを統合して配信する情報配信部を含む、コンピュータプログラム。 the computer,
a receiving unit that receives sensor data transmitted from each of a plurality of detection devices;
A determination unit that determines whether or not to execute a predictive analysis process for predicting a future state for each of the sensor data received by the receiving unit, based on delay information related to communication delay of the sensor data;
A prediction analysis processing unit that generates prediction information by executing the prediction analysis processing on sensor data for which the determination result of the determination unit is affirmative;
A real-time analysis processing unit that performs real-time analysis processing on sensor data for which the determination result of the determination unit is negative to generate real-time information;
an integration processing unit that integrates the prediction information and the real-time information;
an information output unit that outputs the prediction information and the real -time information integrated by the integration processing unit to the outside of the computer ;
Functioning as a route information receiving unit for receiving the planned movement route of the mobile object transmitted from the mobile object ,
The information output unit distributes information by integrating and distributing the prediction information and the real-time information based on the planned movement route received by the route information reception unit to a moving object that has transmitted the planned movement route. A computer program , including a part .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018075101A JP7187806B2 (en) | 2018-04-10 | 2018-04-10 | Information processing device, system, method, and computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018075101A JP7187806B2 (en) | 2018-04-10 | 2018-04-10 | Information processing device, system, method, and computer program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019185366A JP2019185366A (en) | 2019-10-24 |
JP7187806B2 true JP7187806B2 (en) | 2022-12-13 |
Family
ID=68341296
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018075101A Active JP7187806B2 (en) | 2018-04-10 | 2018-04-10 | Information processing device, system, method, and computer program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7187806B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6999625B2 (en) * | 2019-11-06 | 2022-02-04 | 財団法人車輌研究測試中心 | Methods and systems for generating dynamic map information that can provide environmental information |
JP7292552B2 (en) | 2021-04-07 | 2023-06-16 | 三菱電機株式会社 | Driving support system, server device, control circuit, storage medium, program, and driving support information generation method |
WO2023058382A1 (en) * | 2021-10-04 | 2023-04-13 | ソニーグループ株式会社 | Information processing device, information processing method, and program |
JP7433542B1 (en) | 2023-02-24 | 2024-02-19 | 三菱電機株式会社 | Remote monitoring device, remote monitoring system, and remote monitoring method |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013050852A (en) | 2011-08-31 | 2013-03-14 | Ihi Corp | Method and apparatus for integrating sensor information |
-
2018
- 2018-04-10 JP JP2018075101A patent/JP7187806B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013050852A (en) | 2011-08-31 | 2013-03-14 | Ihi Corp | Method and apparatus for integrating sensor information |
Also Published As
Publication number | Publication date |
---|---|
JP2019185366A (en) | 2019-10-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11630998B2 (en) | Systems and methods for automatically training neural networks | |
JP7187806B2 (en) | Information processing device, system, method, and computer program | |
JP6424761B2 (en) | Driving support system and center | |
US10422649B2 (en) | Autonomous driving sensing system and method | |
CN110036429B (en) | Driving support system and driving support device | |
US10917808B2 (en) | Extra-vehicular communication device, onboard device, onboard communication system, communication control method, and communication control program | |
CN112543876B (en) | System for sensor synchronicity data analysis in an autonomous vehicle | |
JP2021099793A (en) | Intelligent traffic control system and control method for the same | |
US11551373B2 (en) | System and method for determining distance to object on road | |
EP3253086B1 (en) | Communication device and method | |
US11508161B2 (en) | Driving support system and server device | |
JP4609467B2 (en) | Peripheral vehicle information generation device, peripheral vehicle information generation system, computer program, and peripheral vehicle information generation method | |
KR101850254B1 (en) | Inter-Vehicle Communication System For Supporting Connected Car Environment | |
JP7094901B2 (en) | Servers, systems, methods and programs that manage traffic information, as well as communication devices and mobiles that can communicate with the servers. | |
KR20190080020A (en) | Lane traffic situation judgement apparatus, system, and method thereof | |
JP7452650B2 (en) | Parking/stopping point management device, parking/stopping point management method, vehicle device | |
WO2019187041A1 (en) | System, server computer thereof, control method, and computer program | |
JP2023171455A (en) | Route prediction device, in-vehicle device therewith, route prediction system, route prediction method, and computer program | |
WO2018163407A1 (en) | Information processing device, information processing method, and information processing program | |
CN112602126B (en) | Information providing device, information providing method, information providing system, computer program, and data structure | |
CN113728211A (en) | Time determination for inertial navigation system in autonomous driving system | |
US20220130237A1 (en) | Base station, roadside device, traffic communication system, traffic management method, and training data generation method | |
JP7078587B2 (en) | Driving support system, driving support method and program | |
CN113748362A (en) | Time delay compensation in inertial navigation systems | |
US20230282111A1 (en) | Vehicle-mounted device, vehicle communication system, and algorithm provision method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210322 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220126 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220208 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220406 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220823 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221006 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20221006 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20221014 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20221018 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221101 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221114 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7187806 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |