WO2022244377A1 - 制御システム - Google Patents

制御システム Download PDF

Info

Publication number
WO2022244377A1
WO2022244377A1 PCT/JP2022/008629 JP2022008629W WO2022244377A1 WO 2022244377 A1 WO2022244377 A1 WO 2022244377A1 JP 2022008629 W JP2022008629 W JP 2022008629W WO 2022244377 A1 WO2022244377 A1 WO 2022244377A1
Authority
WO
WIPO (PCT)
Prior art keywords
time
control
control system
information
unit
Prior art date
Application number
PCT/JP2022/008629
Other languages
English (en)
French (fr)
Inventor
祐 石郷岡
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to US18/285,981 priority Critical patent/US20240119827A1/en
Publication of WO2022244377A1 publication Critical patent/WO2022244377A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/016—Personal emergency signalling and security systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/097—Supervising of traffic control systems, e.g. by giving an alarm if two crossing streets have green light simultaneously
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]

Definitions

  • the present invention relates to technology for improving real-time performance of control systems including wireless communication.
  • the autonomy of the control system is progressing in order to provide movement services and transport work services for limited areas. Examples include transportation systems within factory premises using vehicles, warehouse management systems using automatic forklifts, AGVs (Automated Guided Vehicles), and AGVs with robot arms, robot taxis and buses for specific areas, and self-driving trucks in mines.
  • Examples include transportation systems within factory premises using vehicles, warehouse management systems using automatic forklifts, AGVs (Automated Guided Vehicles), and AGVs with robot arms, robot taxis and buses for specific areas, and self-driving trucks in mines.
  • sensors infrastructure sensors
  • recognition information to a mobile object or instructs a moving object or person to act.
  • Patent Document 1 describes a technology in which an infrastructure sensor recognizes other mobile objects or people hidden in the blind spot of a mobile object, and shares or notifies information to the relevant mobile object.
  • the radio wave conditions for wireless communication differ depending on the location, such as the shadow of buildings and vehicles, the communication time varies depending on the location of the moving object or person. Therefore, when sharing recognition information or giving action instructions to multiple mobile objects or people, it takes time to communicate with mobile objects or people with poor radio wave conditions. There is a possibility that the sharing of recognition information and action instructions will be delayed.
  • Patent Document 1 does not take into consideration different types of moving bodies in the field, or situations where moving bodies and people coexist.
  • the time (control reaction time) from reaction to completion of action after receiving recognition information sharing and control instructions depends on the moving object and the person.
  • a collision warning will be issued to both at the same time. is issued, the time for humans to notice the warning is longer than that for moving objects, but the final control reaction time is shorter because the action completion time until completion of stopping is shorter.
  • the present invention has been made to solve the above-described problems, and calculates the surplus time from the sensing time of the infrastructure sensor, the wireless communication time, and the reaction time of the controlled object, and based on that,
  • An object of the present invention is to provide a control system capable of controlling the execution order of applications and communications and improving real-time performance.
  • control system of the present invention for solving the above problems is configured as follows.
  • a moving object detection unit for detecting a moving object and transmitting information on the moving object, receiving the information on the moving object transmitted by the moving object detection unit, and receiving the information on the moving object and a control system that transmits control information to the control processing unit of the moving object based on.
  • the control system includes: a margin time calculation unit that calculates a first margin time based on the reaction time of the moving body and the communication control estimated necessary time; and an execution order of the control information based on the first margin.
  • a processing management unit that determines; an application unit that calculates the control information based on the information of the mobile object and the execution order determined by the processing management unit; a transmission control unit that calculates a second slack time based on time and transmits the control information to the control processing unit according to the second slack time.
  • the margin time is calculated from the sensing time of the infrastructure sensor, the wireless communication time, and the reaction time of the controlled object, and based on this, the execution order of applications and communication is controlled, A control system capable of improving real-time performance can be provided.
  • FIG. 1 is an overall schematic configuration diagram of a control system according to Embodiment 1.
  • FIG. 1 is an internal configuration diagram of a control system according to Embodiment 1.
  • FIG. 4 is a processing flow of a recognition processing unit according to the first embodiment; 4 is a processing flow of a receiving unit according to the first embodiment; 8 is a processing flow of an input elapsed time calculation unit according to the first embodiment; 8 is a processing flow of a communication performance measurement server processing unit according to the first embodiment; 4 is a processing flow of a control time estimator according to the first embodiment; 8 is a processing flow of a spare time calculation unit according to the first embodiment; FIG.
  • FIG. 4 is an example different from the first embodiment, and is an explanatory diagram of an example of execution timing (FIFO) of the control system
  • FIG. 5 is an explanatory diagram of an example of execution timing of the control system according to the first embodiment
  • FIG. 10 is an example different from the first embodiment, and is an explanatory diagram of another example of the execution timing (FIFO) of the control system
  • FIG. 7 is an explanatory diagram of another example of execution timing of the control system according to the first embodiment
  • FIG. 11 is an internal configuration diagram of a control system of the control system according to the second embodiment
  • 10 is a processing flow of a control time estimating unit according to Example 2
  • 8 is a processing flow of an application unit according to the second embodiment
  • FIG. 10 is a diagram illustrating an example of object information according to Example 2
  • FIG. 10 is a diagram showing another example of object information according to the second embodiment
  • FIG. 10 is a diagram illustrating an example of a controlled object information table according to the second embodiment
  • the control system calculates the margin time from the sensing time of the moving body detection unit, the wireless communication time, and the reaction time of the controlled object, and based on this, controls the execution order of applications and communications, thereby realizing real-time It provides recognition information or notifies action instructions to the controlled object.
  • an infrastructure sensor is described as an example of a moving body detection unit, but the present invention is not limited to infrastructure sensors, and can be applied to any detection device that detects a moving body.
  • FIG. 1 is an overall schematic configuration diagram of a control system according to Embodiment 1 of the present invention.
  • control system 1 controls an infrastructure sensor 11, an infrastructure sensor 12, a control system 13, a wireless device 14, a car 15, a bus 16, a pedestrian 17 carrying a wireless communication device 17TR, a pedestrian 18, and a traffic light 19. It is a system that
  • FIG. 1 shows a descriptive portion 1A indicating that pedestrians 17, pedestrians 18, traffic lights 19, automobiles 15, and buses 16 have different leeway times.
  • Wired communication or wireless communication is used between the infrastructure sensor 11 and the infrastructure sensor 12 .
  • the wireless device 14 wirelessly communicates with automobiles 15 , buses 16 , pedestrians 17 and traffic lights 19 . If the pedestrian 18 has a communication device, the wireless device 14 allows the pedestrian 18 to wirelessly communicate with the wireless communication device.
  • FIG. 2 is an internal configuration diagram of the control system 13 according to the first embodiment, showing the processing flow of each part.
  • the recognition processing units 111 of the infrastructure sensors 11 and 12 analyze the sensing content and transmit detected object information 13A to the receiving unit 131 of the control system 13 .
  • the time of the control system 13 and the infrastructure sensors 11 and 12 are synchronized by the time synchronization section 112A of the control system 13 and the time synchronization section 112B of the infrastructure sensors 11 and 12 .
  • the receiving unit 131 transmits the object information 13A to the input elapsed time calculating unit 132, the control time estimating unit 134, and the application unit 137.
  • the communication performance measurement server processing unit 133 transmits time information to the communication performance measurement client processing unit 151, and when the communication performance measurement client processing unit 151 receives the time information, the communication performance measurement server processing unit 133 Reply.
  • the communication performance measurement server processing unit 133 calculates an estimated communication time based on the received time information, and transmits the estimated communication time to the control time estimation unit 134 .
  • the input elapsed time calculation unit 132 calculates the sensing elapsed time from the time information included in the object information 13A, and transmits it to the margin time calculation unit 135.
  • the control time estimator 134 calculates the estimated control time from the object information 13A and the estimated communication time, and transmits the estimated control time to the margin time calculator 135 .
  • the marginal time calculation unit 135 calculates the marginal time from the sensing elapsed time and the estimated control time, and transmits the marginal time to the processing management unit 136 .
  • the processing management unit 136 activates the application unit 137 based on the spare time.
  • the application unit 137 notifies the transmission control unit 138 of the control target information, the transmission data, and the margin time.
  • the transmission control unit 138 transmits transmission data to the control processing units 152 of the control objects 15, 16, 17, and 19 according to the control object information according to the slack time.
  • FIG. 3 is a processing flow of the recognition processing unit 111. FIG. Each step in FIG. 3 will be described below.
  • the recognition processing unit 111 identifies an object from the sensing information of the infrastructure sensors 11 and 12 , gives it a time stamp, and transmits it to the control system 13 .
  • FIG. 4 is a processing flow of the receiving unit 131. FIG. Each step in FIG. 4 will be described below.
  • FIG. 5 is a processing flow of the input elapsed time calculation unit 132. As shown in FIG. Each step in FIG. 5 will be described below.
  • the input elapsed time calculator 132 compares the time stamp information attached to the received information with the reference time of the control system 13 to calculate the sensing elapsed time (T IS +T UL ). The result is sent to the spare time calculation unit 135 .
  • FIG. 6 is a processing flow of the communication performance measurement server processing unit 133. Each step in FIG. 6 will be described below.
  • the communication performance measurement server processing unit 133 transmits the time information to each of the controlled objects 15, 16, 17 and 19.
  • FIG. 6 Fig. 6: Step 13311
  • the communication performance measurement server processing unit 133 waits until it receives time information sent from the controlled objects 15 , 16 , 17 and 19 .
  • the communication performance measurement server processing unit 133 estimates the communication time with the controlled objects from the time information received from the controlled objects 15, 16, 17 and 19 and the current time, and updates the estimated communication time in the controlled object information table 13B.
  • FIG. 7 is a processing flow of the control time estimation unit 134. FIG. Each step in FIG. 7 will be described below.
  • the control time estimation unit 134 Based on the object ID of the object information, the control time estimation unit 134 refers to the controlled object information table 13B, acquires the reaction time and the estimated communication time of the controlled object, and calculates the estimated control time. The calculation result is transmitted to the spare time calculation unit 135 .
  • controlled object information table 13B it is not necessary to refer to the controlled object information table 13B for the reaction time of the controlled object. For example, it may be estimated from the object information whether or not the controlled object is looking at the device, or whether it is facing the direction of the moving object, or based on the age information of the person.
  • the moving object includes a pedestrian
  • the control processing unit 152 is the wireless communication device 17TR possessed by the pedestrian 17
  • the control time estimation unit 134 estimates the response time of the pedestrian 17 from the wireless communication device 17TR. It is also possible to estimate based on information on whether or not the pedestrian is looking, whether the pedestrian is facing the direction of the vehicle 15 or the bus 16, or the age of the pedestrian 17.
  • FIG. 8 is a processing flow of the margin time calculation unit 135. FIG. Each step in FIG. 8 will be described below.
  • the margin time calculation unit 135 calculates the margin time T1 Laxity from the sensing elapsed time and the estimated control time, and transmits it to the processing management unit 136 .
  • the overall latency (T E2EL ) and E SA are treated as fixed times.
  • T1 Laxity T E2EL - (T IS + T UL + E SA + E DL + E VA )
  • T2 Laxity T E2EL - (T IS + T UL + T SA + E DL + E VA ) (2)
  • the margin time (T1 Laxity ) is calculated from the total latency (T E2EL ), the elapsed sensing time (T IS +T UL ) of the infrastructure sensors 11 and 12, the estimated application execution time ( ESA ), and the estimated communication time ( E DL ) and the reaction time to be controlled (E VA ).
  • the margin time (T2 Laxity ) is calculated from the overall latency (T E2EL ), the elapsed sensing time (T IS +T UL ) of the infrastructure sensors 11 and 12, the actual application execution time (T SA ), and the estimated communication time ( E DL ) and the reaction time to be controlled (E VA ).
  • the overall latency is the time from sensing until completion of a control instruction to a moving object or person to the end of action (from the time when the moving object detection unit receives information on the moving object to when the moving object time to complete the action). Also, the overall latency is the time until the moving objects 15, 16, 17, 19 stop, or the reaction time until the person 18 is notified of an instruction or warning by image, sound, or vibration, takes action, and ends. It is time to consider
  • control information to be transmitted to the control processing unit 152 of the moving body is information related to stopping or steering control of the vehicle, or images, sounds, and vibrations that give instructions and warnings to people.
  • FIG. 9 is an explanatory diagram of the above formulas (1) and (2).
  • T IS is the sensing time (detection time) during which the infrastructure sensors 11 and 12 detect the controlled objects 15, 16, 17 and 19, and T UL is the sensor signal (detection signal) from the infrastructure sensors 11 and 12.
  • ESA is the estimated application execution time of the application unit 137
  • EDL is the estimated communication time between the control system 13 and the controlled object control processing unit 152
  • EVA is the controlled object reaction time.
  • a value obtained by adding the estimated communication time EDL and the controlled object reaction time EVA is the estimated control time.
  • a value obtained by adding the estimated control time (estimated communication time E DL + controlled object reaction time E VA ), estimated application execution time E SA , sensing time T IS , and uplink time T UL is communication control estimation. is the required time.
  • Estimated control time (estimated communication time E DL +controlled object reaction time E VA ), actual application execution time T SA that is the actual execution time of the application unit 137, sensing time T IS , and uplink time T
  • the actual application execution time TSA is the time from the start of execution of the application to its end.
  • the estimated application execution time ESA is set longer than the actual application execution time TSA .
  • the first slack time T1 Laxity is the time from the uplink of the sensor signal until the application is executed, and the second slack time T2 Laxity is the time from the end of the application to the start of communication. be.
  • FIG. 10 is a processing flow of the processing management unit 136. FIG. Each step in FIG. 10 will be described below.
  • the processing management unit 136 determines the execution order of the application unit 137 (determines the processing execution order of the control information) based on the margin time T1 Laxity . For example, the execution order of the application unit 137 is determined so that the control information is calculated in ascending order of the margin time T1 Laxity . If the slack time T1 Laxity is negative, the process may not be executed. If the value is negative, the processing result is often meaningless, and by stopping the processing and preferentially executing other processing, the stability of the control system as a whole is improved.
  • FIG. 11 is a processing flow of the application unit 137. FIG. Each step in FIG. 11 will be described below.
  • the application unit 137 executes control applications based on the object information.
  • the application unit 137 transmits the control target, the transmission data, and the margin time T1 Laxity to the transmission control unit 138 .
  • FIG. 12 is a processing flow of the transmission control unit 138. FIG. Each step in FIG. 12 will be described below.
  • the transmission control unit 138 calculates the allowance time T2 Laxity from the elapsed sensing time, the estimated control time, and the actual application execution time.
  • the transmission control unit 138 determines the transmission order of the transmission data according to the margin time T2_Laxity .
  • the transmission control unit 138 transmits the control information to the control processing unit 152 in ascending order of the margin time T2 Laxity . If the slack time T2 Laxity is negative, the transmission data may be discarded. If the value is negative, the transmission data often does not make sense, and by canceling the transmission data and preferentially executing other transmission data, the stability of the control system as a whole can be improved.
  • countermeasures to shorten the communication time may be implemented. For example, a method of continuously transmitting the same transmission packet in advance or a method of using another communication path may be used instead of retransmission type communication using ACK.
  • the transmission control unit 138 transmits data with high priority. For example, transmission data with a short margin time T2 Laxity is transmitted.
  • FIG. 13 is a processing flow of the communication performance measurement client processing unit 151. FIG. Each step in FIG. 13 will be described below.
  • the communication performance measurement client processing unit 151 When receiving the time information from the control system 13, the communication performance measurement client processing unit 151 returns the time information to the communication performance measurement client processing unit 133 of the control system 13 without changing the time information.
  • FIG. 14 is a processing flow of the control processing unit 152. FIG. Each step in FIG. 14 will be described below.
  • the control processing unit 152 executes control processing based on transmission data from the transmission processing unit 138 .
  • the object to be controlled is the automobile 15 or the bus 16
  • the travel stop processing is executed.
  • the object to be controlled is the pedestrian 17
  • the device is vibrated/alarmed, and the action is indirectly controlled by giving a stop instruction on the screen.
  • the color of the signal is changed to any color (for example, red).
  • FIG. 15 is a diagram showing an example of thread priorities of the control system 13.
  • FIG. 15 is a diagram showing an example of thread priorities of the control system 13.
  • the communication performance measurement thread 1330 executes the communication performance measurement server processing unit 133.
  • the reception processing thread 1310 executes the reception unit 131.
  • the margin time calculation thread 1350 executes the input elapsed time calculation unit 132, the control time estimation unit 134, the margin time calculation unit 135, and the process management unit 136.
  • the application thread 1370 executes the application section 137.
  • the transmission processing thread 1380 executes the transmission control unit 138.
  • FIG. 16 is a diagram showing an example of object information 13A.
  • the object information 13A is composed of an object type, an object ID, and a time stamp given by the infrastructure sensors 11 and 12.
  • FIG. 16 shows an example in which the information sensed as the object type is vehicle A.
  • the object ID is 1 and the time stamp is 12:34:000 milliseconds is shown.
  • FIG. 17 is a diagram showing an example of the controlled object information table 13B.
  • the controlled object information table 13B is composed of object IDs, items, reaction times, IP addresses, and estimated communication times.
  • FIG. 18 shows the execution timing of the control system when the order of execution of the application section 137 is determined based on FIFO (First In First Out), which is generally often used without using margin time, unlike the first embodiment.
  • FIG. 10 is a diagram showing an example, showing the passage of time in the horizontal direction;
  • the example shown in FIG. 18 is an example using two CPUs, a first CPU and a second CPU.
  • the first CPU executes the reception processing thread 1310 and the slack time calculation thread 1350 in the order in which the two pieces of object information are received. (Short margin time) is executed.
  • the transmission processing thread 1380 is executed in the first CPU in the order in which the two pieces of object information are received.
  • transmission data 13D1 (margin time length) is transmitted, and control processing thread 1421 (vehicle A) is executed.
  • transmission data 13D2 short margin time
  • control processing thread 1422 (pedestrian B) is executed.
  • the application unit 137 is executed in the order received by the control system 13, so the instruction to the vehicle A precedes, and the instruction to the pedestrian B, which has a long communication time and reaction time, is delayed.
  • FIG. 19 is an example in the case of the first embodiment of the present invention, and is a diagram showing an example of execution timing of the control system executed based on the margin time.
  • the example shown in FIG. 19 is also an example using two CPUs, a first CPU and a second CPU.
  • the first CPU executes the reception processing thread 1310 and the slack time calculation thread 1350 in the order in which the two pieces of object information are received. (Short margin time) is executed.
  • the object information with the shortest available time is processed first, and the object information with the longer available time is processed later.
  • transmission data 13D1 (slack time length) is transmitted for object information with a long slack time, and the control processing thread 1421 (vehicle A) is executed.
  • transmission data 13D2 (short margin time) is transmitted, and the control processing thread 1422 (pedestrian B) is executed before the control processing thread 1421 (vehicle A).
  • control system 13 preferentially executes the application thread B13702, which has a short margin time. This makes it possible to execute the control processing thread 1422 of the pedestrian B earlier than the control processing thread 1421 of the vehicle A (vehicle A).
  • FIG. 20 shows the execution timing of the control system when the order of execution of the application section 137 is determined based on FIFO (First In First Out), which is generally often used without using margin time, unlike the first embodiment. It is a figure which shows another example, and shows time passage in a horizontal direction.
  • FIFO First In First Out
  • the example shown in FIG. 20, like the example shown in FIG. 18, is an example using two CPUs, a first CPU and a second CPU.
  • the first CPU executes the reception processing thread 1310 and the slack time calculation thread 1350 in the order in which the two pieces of object information are received. (Short margin time) is executed.
  • the transmission processing thread 1380 is executed in the first CPU in the order in which the two pieces of object information are received.
  • transmission data 13D1 (margin time length) is transmitted, and control processing thread 1421 (vehicle A) is executed.
  • transmission data 13D2 short margin time
  • control processing thread 1422 (pedestrian B) is executed.
  • the application unit 137 is executed in the order received by the control system 13, so the instruction to the vehicle A precedes, and the instruction to the pedestrian B, whose communication time and reaction time are long, is delayed.
  • FIG. 21 is another example in the case of the first embodiment of the present invention, and is a diagram showing an example of execution timing of the control system executed based on the margin time.
  • the example shown in FIG. 21 is also an example using two CPUs, a first CPU and a second CPU.
  • the first CPU executes the reception processing thread 1310 and the slack time calculation thread 1350 in the order in which the two pieces of object information are received. (Short margin time) is executed.
  • the first CPU processes the two pieces of object information in the order in which they are received.
  • the transmission data 13D1 (length of margin time) for the object information received earlier with a long margin time is delayed, and the transmission data 13D2 (short margin time) for the object information received later with a short margin time is transmitted data. 13D1 (slack time length) is transmitted earlier.
  • the control processing thread 1422 (pedestrian B) is executed before the control processing thread 1421 (vehicle A).
  • control system 13 preferentially executes the application thread B13702 with a short margin time. This makes it possible to execute the control processing thread 1422 of the pedestrian B earlier than the control processing thread 1421 of the vehicle A (vehicle A).
  • the order of applications and transmission data is determined based on the margin time considering the wireless communication time with a specific controlled object and the reaction time of the controlled object. Even if the wireless communication time with a person changes, it can be updated dynamically, so real-time performance can be improved.
  • a control system that can improve real-time performance by calculating the margin time from the sensing time of the infrastructure sensor, the wireless communication time, and the reaction time of the controlled object, and controlling the execution order of applications and communications based on that. can be provided.
  • the first embodiment of the present invention it is possible to improve the real-time nature of information sharing and control instructions among autonomous mobile bodies, manned mobile bodies, and people in the field.
  • reaction time is fixed in Example 1, it is not limited to this.
  • the response time may be shortened, or the like, depending on the situation.
  • the overall latency is set to a fixed value in the first embodiment, it is not limited to this. For example, it is conceivable that it changes depending on the moving speed of the controlled object and the sensing distance. Specifically, the faster the movement speed and the shorter the sensing distance, the shorter the overall latency.
  • transmission processing for transmission data with a short margin time is preferentially executed, so it can be applied to different types of data communication in which the priority changes depending on the situation.
  • the wireless communication time with the controlled object by estimating the wireless communication time with the controlled object, it is possible to flexibly cope with a situation in which a specific controlled object has poor communication.
  • the stability of the control system can be improved by canceling the application processing or discarding the transmission packet.
  • the margin time is negative, countermeasures for shortening the communication time may be implemented. For example, real-time performance can be improved by using a method of continuously transmitting the same transmission packet in advance or a method of using another communication path instead of retransmission type communication using ACK.
  • Example 2 Next, Example 2 of the present invention will be described.
  • FIG. 22 shows the internal configuration of the control system 13 according to the second embodiment, and shows the processing flow of each part.
  • the object information 13C and the object information 13D are transmitted from the infrastructure sensors 11 and 12 to the receiving unit 131.
  • the application unit 139 determines the presence or absence of the controlled objects 15, 16, 17, and 19 based on the input object information 13C and object information 13D, and transmits the result to the input elapsed time calculation unit 132 and the control time estimation unit .
  • the control time estimator 130 updates the reaction time and the estimated action end time stored in the controlled object information table 13E based on the object information 13C and the object information 13D.
  • FIG. 23 is a diagram showing the processing flow of the control time estimation unit 130. FIG. Each step in FIG. 23 will be described below.
  • the control time estimator 130 updates the reaction time and estimated action end time stored in the controlled object information table 13E based on the controlled object information (speed and state) held by the object information 13C and the object information 13D. do. For example, the faster the moving speed of the controlled object is, the longer the estimated action end time is.
  • the reaction time becomes shorter.
  • the response time may be shortened when the person to be controlled is gazing at a moving object such that the direction of the body of the person to be controlled is facing the direction of the moving object.
  • reaction times may be altered based on age.
  • the control time estimation unit 130 Based on the object ID of the object information 13C and the object information 13D, the control time estimation unit 130 refers to the controlled object information table 13E, acquires the reaction time and the estimated communication time of the controlled object, and calculates the estimated control time. . The control time estimator 130 transmits the calculation result to the margin time calculator 135 .
  • FIG. 24 is a diagram showing the processing flow of the application unit 139. FIG. Each step in FIG. 24 will be described below.
  • the application unit 139 determines the necessity of control based on the object information 13C and 13D, and if necessary, determines which object should be controlled.
  • step 1392 if control is required, the process proceeds to step 1393; otherwise, the process ends.
  • the application unit 139 transmits to the transmission control unit 138 control object information for the control object determined to require control, transmission data, and the margin time.
  • FIG. 25 is a diagram showing an example of the object information 13C.
  • the object information 13C is composed of an object type, an object ID, a speed, and a time stamp given by the infrasensors 11 and 12.
  • speed information is added to the object information 13C.
  • FIG. 26 is a diagram showing an example of object information 13D.
  • the object information 13D is composed of an object type, an object ID, a state, and a time stamp given by the infrastructure sensors 11 and 12. Compared with the object information 13A (FIG. 16) in the first embodiment, the object information 13D has state information added.
  • FIG. 27 is a diagram showing an example of the controlled object information table 13E.
  • the controlled object information table 13E is composed of an object ID, an item, a reaction time, an estimated action end time, an IP address, and an estimated communication time. Compared to the control information table 13B (FIG. 17) in the first embodiment, the controlled object information table 13E has an additional estimated action end time.
  • a control system capable of coping with various situations is provided. can provide.
  • Reference Signs List 1 control system, 11, 12: infrastructure sensor, 13: control system, 13A, 13C, 13D: object information, 13B, 13E: controlled object information table, 14: wireless Equipment 15... Automobile 16... Bus 17, 18... Pedestrian 17TR... Wireless communication equipment 19... Traffic light 111... Recognition processing unit 112A, 112B... Time synchronization unit 130, 134 Control time estimation unit 131 Reception unit 132 Input elapsed time calculation unit 133 Communication performance measurement server processing unit 135 Margin time Calculation unit 136 Processing management unit 137, 139 Application unit 138 Transmission control unit 151 Communication performance measurement client processing unit 152 Control processing unit

Abstract

インフラセンサのセンシング時刻と、無線通信時間と、制御対象の反応時間とから余裕時間を算出し、アプリケーションと通信の実行順を制御し、リアルタイム性を向上可能な制御システムを提供する。制御システム1は移動体の情報を送信する移動体検出部11、12、移動体の情報を受信し移動体の情報に基づき移動体の制御処理部152に制御情報を送信する管制システム13を備える。管制システム1は移動体の反応時間及び通信制御推定必要時間に基づき第１余裕時間を算出する余裕時間算出部135、制御情報の実行順序を決定する処理管理部136、移動体の情報と処理管理部136が決定した実行順序とに基づき制御情報を算出するアプリケーション部137、移動体の反応時間及び通信制御実必要時間に基づき第２余裕時間を算出し第２余裕時間に応じて制御情報を制御処理部152に送信する送信制御部138を備える。

Description

制御システム
　本発明は、無線通信を含む制御システムのリアルタイム性向上技術に関する。
　限定領域向けの移動サービスや搬送作業サービスを提供するために制御システムの自律化が進行している。例えば、車両による工場敷地内搬送システムや、自動フォークリフトやＡＧＶ（Ａｕｔｏｍａｔｅｄ　Ｇｕｉｄｅｄ　Ｖｅｈｉｃｌｅ）やロボットアーム付きＡＧＶによる倉庫管理システム、特定地区向けロボットタクシーや自動運転バス、鉱山における自動運転トラックなどがあげられる。
　これらのサービスが行われるフィールドでは、自律的に認知・判断・制御を行う移動体（自律移動体）と、人が操作する移動体（有人移動体）と、歩行者や作業員など人が共存して各々の作業を行っている。
　移動体のセンシング範囲は限られているために、路上や施設内に設置されたセンサ（インフラセンサ）で移動体の死角を監視し、無線通信で接続された移動体と人（が有するデバイス）に認識情報を通知、または移動体や人に行動を指示する技術が求められている。
　特許文献１には、インフラセンサが移動体の死角に潜む他移動体や人を認識し、該当する移動体に情報共有や通知する技術が記載されている。
特開２０１９－２１５７８５号公報
　特許文献１に記載の技術によると、移動体や人に対する安全性の向上が期待できる。
　しかしながら、建物や車両の影などの場所によって無線通信の電波状況が異なるため、移動体や人の場所によって通信時間が変化する。そのため、複数の移動体や人に対して、認識情報共有や行動指示を行う際には、電波状況が良くない移動体や人との通信に時間を要し、他の移動体や人に対しての認識情報共有や行動指示が遅れてしまう可能性がある。
　さらに、特許文献１に記載の技術では、フィールドに異種の移動体や、移動体と人が混在する状況を考慮していない。認識情報共有や制御指示を受けた後に反応し、行動を終了するまでの時間（制御反応時間）は、移動体や人に依存する。
　例えば、人と人とは異なる移動体に停止指示を送信し、制動距離に要する制御反応時間を考慮すると、移動体が人よりも長い制御反応時間を要する場合、同タイミングで両方に衝突の警告を発行すると、人の方が警告に気づく時間は移動体よりも長いが、停止完了までの行動終了時間が短いために最終的な制御反応時間が短くなる。
　つまり、死角がある場所において、通信状態が悪い人と通信状態が良い移動体の間で衝突リスクがある場合、移動体、人の順に情報を共有すると、逆の場合よりも衝突リスクが高くなるという課題がある。
　このように、制御システムの稼働環境が複雑である場合には、事前に処理や通信の実行順に優先度を設定することが困難である。
　本発明は、上記のような課題を解決するためになされたものであり、インフラセンサのセンシング時刻と、無線通信時間と、制御対象の反応時間と、から余裕時間を算出し、それに基づいて、アプリケーションと通信の実行順を制御し、リアルタイム性を向上可能な制御システムを提供することを目的とする。
　上記課題を解決するための本発明の制御システムは、次のように構成される。
　制御システムにおいて、移動体を検出し、前記移動体の情報を送信する移動体検出部と、前記移動体検出部が送信した前記移動体の前記情報を受信し、受信した前記移動体の前記情報に基づいて、前記移動体の制御処理部に制御情報を送信する管制システムと、を備える。前記管制システムは、前記移動体の反応時間及び通信制御推定必要時間に基づいて、第１余裕時間を算出する余裕時間算出部と、前記第１余裕時間に基づいて、前記制御情報の実行順序を決定する処理管理部と、前記移動体の前記情報と、前記処理管理部が決定した前記実行順序とに基づいて前記制御情報を算出するアプリケーション部と、前記移動体の反応時間及び通信制御実必要時間に基づいて、第２余裕時間を算出し、前記第２余裕時間に応じて前記制御情報を前記制御処理部に送信する送信制御部と、を備える。
　本発明に係る制御システムによれば、インフラセンサのセンシング時刻と、無線通信時間と、制御対象の反応時間と、から余裕時間を算出し、それに基づいて、アプリケーションと通信の実行順を制御し、リアルタイム性を向上可能な制御システムを提供することができる。
実施例１に係る制御システムの全体概略構成図である。 実施例１に係る管制システムの内部構成図である。 実施例１に係る認識処理部の処理フローである。 実施例１に係る受信部の処理フローである。 実施例１に係る入力経過時間算出部の処理フローである。 実施例１に係る通信性能測定サーバ処理部の処理フローである。 実施例１に係る制御時間推定部の処理フローである。 実施例１に係る余裕時間算出部の処理フローである。 実施例１に係る余裕時間の算出説明図である。 実施例１に係る処理管理部の処理フローである。 実施例１に係るアプリケーション部の処理フローである。 実施例１に係る送信制御部の処理フローである。 実施例１に係る通信性能測定クライアント処理部の処理フローである。 実施例１に係る制御処理部の処理フローである。 実施例１に係るスレッドの優先度の例を示す図である。 実施例１に係る物体情報の例を示す図である。 実施例１に係る制御対象情報テーブルの例を示す図である。 実施例１とは異なる例であり、制御システムの実行タイミング（ＦＩＦＯ）の例の説明図である。 実施例１に係る制御システムの実行タイミングの例の説明図である。 実施例１とは異なる例であり、制御システムの実行タイミング（ＦＩＦＯ）の他の例の説明図である。 実施例１に係る制御システムの実行タイミングの他の例の説明図である。 実施例２に係る制御システムの管制システムの内部構成図である。 実施例２に係る制御時間推定部の処理フローである。 実施例２に係るアプリケーション部の処理フローである。 実施例２に係る物体情報の例を示す図である。 実施例２に係る物体情報の他の例を示す図である。 実施例２に係る制御対象情報テーブルの例を示す図である。
　本発明に係る制御システムは、移動体検出部のセンシング時刻と無線通信時間と制御対象の反応時間から余裕時間を算出し、それに基づいて、アプリケーションと通信の実行順を制御することで、リアルタイムに制御対象に認識情報を提供、あるいは行動指示を通知する。
　以下、図面を用いて本発明の実施形態について説明する。
　なお、実施例では、移動体検出部の一例として、インフラセンサを記載したが、インフラセンサに限らず、移動体を検出する検出装置等であれば、適用可能である。
　（実施例１）
　図１は、本発明の実施例１に係る制御システムの全体概略構成図である。
　図１において、制御システム１は、インフラセンサ１１、インフラセンサ１２、管制システム１３、無線機器１４、自動車１５、バス１６、無線通信機器１７ＴＲを所持した歩行者１７、歩行者１８、信号機１９を管制するシステムである。
　なお、図１には、歩行者１７、歩行者１８、信号機１９、自動車１５及びバス１６が、それぞれ互いに異なる余裕時間を有することを示す説明部分１Ａが示されている。
　インフラセンサ１１とインフラセンサ１２との間は有線通信あるいは無線通信で通信される。無線機器１４は、自動車１５、バス１６、歩行者１７及び信号機１９と無線で通信する。歩行者１８が通信機器を所持している場合は、無線機器１４は、歩行者１８が無線通信機器と無線で通信する。
　図２は、実施例１に係る管制システム１３の内部構成図であり、各部の処理フローを示す図である。
　図２において、インフラセンサ１１、１２の認識処理部１１１は、センシング内容を分析し、検知した物体情報１３Ａを管制システム１３の受信部１３１に送信する。管制システム１３とインフラセンサ１１、１２の時刻は、管制システム１３の時刻同期部１１２Ａとインフラセンサ１１、１２の時刻同期部１１２Ｂで合わせられる。
　受信部１３１は、物体情報１３Ａを、入力経過時間算出部１３２、制御時間推定部１３４、アプリケーション部１３７に送信する。通信性能測定サーバ処理部１３３は、時刻情報を通信性能測定クライアント処理部１５１に送信し、通信性能測定クライアント処理部１５１は、前記時刻情報を受信した際には、通信性能測定サーバ処理部１３３に返信する。通信性能測定サーバ処理部１３３は、受信した時刻情報に基づいて推定通信時間を算出し、制御時間推定部１３４に送信する。
　入力経過時間算出部１３２は、物体情報１３Ａに内包された時刻情報からセンシング経過時間を算出し、余裕時間算出部１３５に送信する。制御時間推定部１３４は、物体情報１３Ａと推定通信時間から推定制御時間を算出し、余裕時間算出部１３５に送信する。
　余裕時間算出部１３５は、センシング経過時間と推定制御時間から余裕時間を算出し、処理管理部１３６に送信する。
　処理管理部１３６は、余裕時間に基づいてアプリケーション部１３７を起動する。アプリケーション部１３７は、制御対象情報、送信データ及び余裕時間を送信制御部１３８に通知する。送信制御部１３８は、余裕時間に応じて送信データを、制御対象情報に応じて制御対象１５、１６、１７、１９の制御処理部１５２に送信する。
　以降より、実施例１に係る動作フローの詳細を説明する。
　図３は認識処理部１１１の処理フローである。以下、図３の各ステップについて説明する。
　（図３：ステップ１１１１）
　認識処理部１１１は、インフラセンサ１１、１２のセンシング情報から物体を識別し、タイムスタンプを付与して管制システム１３に送信する。
　図４は受信部１３１の処理フローである。以下、図４の各ステップについて説明する。
　（図４：ステップ１３１１）
受信部１３１は、インフラセンサ１１、１２からの情報を取得し、アプリケーション部１３７、入力経過時間算出部１３２及び制御時間推定部１３４に送信する。
図５は、入力経過時間算出部１３２の処理フローである。以下、図５の各ステップについて説明する。
　（図５：ステップ１３２１）
　入力経過時間算出部１３２は、受信情報に付与されたタイムスタンプ情報と管制システム１３の基準時刻を比較し、センシング経過時間（ＴＩＳ＋ＴＵＬ）を算出する。その結果を余裕時間算出部１３５に送る。
　図６は通信性能測定サーバ処理部１３３の処理フローである。以下、図６の各ステップについて説明する。
　（図６：ステップ１３３１）
　通信性能測定サーバ処理部１３３は、時刻情報を制御対象１５、１６、１７及び１９のそれぞれに送信する。
　（図６：ステップ１３３２）
　通信性能測定サーバ処理部１３３は、制御対象１５、１６、１７及び１９から送られてくる時刻情報を受信するまで待つ。
　（図６：ステップ１３３３）
　通信性能測定サーバ処理部１３３は、制御対象１５、１６、１７及び１９から受信した時刻情報と現在時刻から制御対象との通信時間を推定し、制御対象情報テーブル１３Ｂの推定通信時間を更新する。
　図７は、制御時間推定部１３４の処理フローである。以下、図７の各ステップについて説明する。
　（図７：ステップ１３４１）
　制御時間推定部１３４は、物体情報の物体ＩＤに基づいて、制御対象情報テーブル１３Ｂを参照して、制御対象の反応時間と推定通信時間を取得し、推定制御時間を算出する。算出結果を余裕時間算出部１３５に送信する。
　制御対象の反応時間は制御対象情報テーブル１３Ｂを参照しなくても良い。例えば、物体情報から制御対象が、デバイスを見ているか否か、あるいは移動体の方向を向いているか、あるいは人の年齢の情報に基づいて推定してもよい。
　つまり、移動体には、歩行者を含み、制御処理部１５２は歩行者１７が所持する無線通信機器１７ＴＲであり、制御時間推定部１３４は、歩行者１７の反応時間を、無線通信機器１７ＴＲを見ているか否か、あるいは移動体である自動車１５やバス１６の方向を向いているか、あるいは歩行者１７の年齢の情報に基づいて推定することも可能である。
　図８は、余裕時間算出部１３５の処理フローである。以下、図８の各ステップについて説明する。
　（図８：ステップ１３５１）
　余裕時間算出部１３５は、センシング経過時間と推定制御時間から余裕時間Ｔ１Ｌａｘｉｔｙを算出し、処理管理部１３６に送信する。実施例１では全体レイテンシ（ＴＥ２ＥＬ）、ＥＳＡは固定時間として扱う。
　次式（１）は、余裕時間Ｔ１Ｌａｘｉｔｙの算出式であり、次式（２）は、余裕時間Ｔ２Ｌａｘｉｔｙの算出式である。
　Ｔ１Ｌａｘｉｔｙ＝ＴＥ２ＥＬ－（ＴＩＳ＋ＴＵＬ＋ＥＳＡ＋ＥＤＬ＋ＥＶＡ）　・・・（１）
　Ｔ２Ｌａｘｉｔｙ＝ＴＥ２ＥＬ－（ＴＩＳ＋ＴＵＬ＋ＴＳＡ＋ＥＤＬ＋ＥＶＡ）　・・・（２）
　上記式（１）において、余裕時間（Ｔ１Ｌａｘｉｔｙ）は全体レイテンシ（ＴＥ２ＥＬ）からインフラセンサ１１、１２のセンシング経過時間（ＴＩＳ＋ＴＵＬ）と推定アプリケーション実行時間（ＥＳＡ）と推定通信時間（ＥＤＬ）と制御対象反応時間（ＥＶＡ）の差分から算出できる。
　上記式（２）において、余裕時間（Ｔ２Ｌａｘｉｔｙ）は全体レイテンシ（ＴＥ２ＥＬ）からインフラセンサ１１、１２のセンシング経過時間（ＴＩＳ＋ＴＵＬ）と実アプリケーション実行時間（ＴＳＡ）と推定通信時間（ＥＤＬ）と制御対象反応時間（ＥＶＡ）の差分から算出できる。
　全体レイテンシ（ＴＥ２ＥＬ）は、移動体や人に対して制御指示をして完了するまでのセンシングから行動終了するまでの時間（移動体検出部が移動体の情報を受信した時点から移動体が行動を終了するまでの時間）である。また、全体レイテンシは、移動体１５、１６、１７、１９が停止するまでの時間、あるいは、人１８に指示や警告を画像・音・振動で通知し、行動を起こし、終了するまでの反応時間を考慮した時間である。
　例えば、移動体が遠隔操作（操舵制御）によって停止するまでの全体時間や、人が所持するデバイスへの表示、音の発生、振動させることで人を停止させるまでの全体時間の情報である。
　つまり、移動体の制御処理部１５２に送信する制御情報は、車両の停止あるいは操舵制御、あるいは、人に指示や警告を与える画像・音・振動に関する情報である。
　図９は、上記式（１）及び式（２）の説明図である。
　図９において、ＴＩＳはインフラセンサ１１、１２の制御対象１５、１６、１７、１９を検知するセンシング時間（検知時間）であり、ＴＵＬはインフラセンサ１１、１２からのセンサ信号（検知信号）のアップリンク時間である。ＥＳＡはアプリケーション部１３７の推定アプリケーション実行時間、ＥＤＬは管制システム１３と制御対象の制御処理部１５２との推定通信時間、ＥＶＡは制御対象反応時間である。推定通信時間ＥＤＬと制御対象反応時間ＥＶＡとを加算した値が推定制御時間となる。
　また、推定制御時間（推定通信時間ＥＤＬ＋制御対象反応時間ＥＶＡ）と、推定アプリケーション実行時間ＥＳＡと、センシング時間ＴＩＳと、アップリンク時間ＴＵＬと、を加算した値が通信制御推定必要時間である。
　また、推定制御時間（推定通信時間ＥＤＬ＋制御対象反応時間ＥＶＡ）と、アプリケーション部１３７の実際の実行時間である実アプリケーション実行時間ＴＳＡと、センシング時間ＴＩＳと、アップリンクする時間ＴＵＬと、を加算した値が通信制御実必要時間である。
　実アプリケーション実行時間ＴＳＡはアプリケーションが実行開始されてから終了するまでの時間である。推定アプリケーション実行時間ＥＳＡは実アプリケーション実行時間ＴＳＡより長い時間が設定されている。第１余裕時間Ｔ１Ｌａｘｉｔｙは、センサ信号がアップリンクされてから、アプリケーションが実行されるまでの時間であり、第２余裕時間Ｔ２Ｌａｘｉｔｙはアプリケーションが終了してから通信が開始されるまでの時間である。
　図１０は、処理管理部１３６の処理フローである。以下、図１０の各ステップについて説明する。
　（図１０：ステップ１３６１）
　処理管理部１３６は余裕時間Ｔ１Ｌａｘｉｔｙに基づいてアプリケーション部１３７の実行順を決定する（制御情報の処理実行順序を決定する）。例えば、余裕時間Ｔ１Ｌａｘｉｔｙが短い順に制御情報の算出を実行するようにアプリケーション部１３７の実行順を決定する。余裕時間Ｔ１Ｌａｘｉｔｙがマイナスとなる場合には、処理を実行しないでもよい。マイナスとなる場合には処理結果に意味をなさないことが多く、処理を中止し、他の処理を優先的に実行することで制御システム全体としての安定性が向上する。
　図１１はアプリケーション部１３７の処理フローである。以下、図１１の各ステップについて説明する。
　（図１１：ステップ１３７１）
　アプリケーション部１３７は物体情報に基づいて制御アプリケーションを実行する。
　（図１１：ステップ１３７２）
　アプリケーション部１３７は制御対象と送信データと余裕時間Ｔ１Ｌａｘｉｔｙを送信制御部１３８に送信する。
　図１２は送信制御部１３８の処理フローである。以下、図１２の各ステップについて説明する。
　（図１２：ステップ１３８１）
　送信制御部１３８はセンシング経過時間と推定制御時間と実アプリケーション実行時間から余裕時間Ｔ２Ｌａｘｉｔｙを算出する。
　（図１２：ステップ１３８２）
　送信制御部１３８は余裕時間Ｔ２Ｌａｘｉｔｙに応じて送信データの送信順番を決定する。送信制御部１３８は、余裕時間Ｔ２Ｌａｘｉｔｙの短い順に制御情報を制御処理部１５２に送信する。余裕時間Ｔ２Ｌａｘｉｔｙがマイナスとなる場合には、送信データを破棄してもよい。マイナスとなる場合には送信データに意味をなさないことが多く、送信データを中止し、他の送信データを優先的に実行することで制御システム全体としての安定性が向上できる。
　あるいは、通信時間を短くする対策手段を実施しても良い。例えば、ＡＣＫによる再送型の通信ではなく、予め同じ送信パケットを連続で送信する方法や、別の通信経路を利用する方法を用いてもよい。
　（図１２：ステップ１３８３）
　送信制御部１３８は優先度が高いデータを送信する。例えば、余裕時間Ｔ２Ｌａｘｉｔｙが短い送信データを送信する。
　図１３は、通信性能測定クライアント処理部１５１の処理フローである。以下、図１３の各ステップについて説明する。
　（図１３：ステップ１５１１）
　通信性能測定クライアント処理部１５１は、管制システム１３から時刻情報を受信した場合には、その時刻情報を変更せずに管制システム１３の通信性能測定クライアント処理部１３３に返信する。
　図１４は、制御処理部１５２の処理フローである。以下、図１４の各ステップについて説明する。
　（図１４：ステップ１５２１）
　制御処理部１５２は、送信処理部１３８からの送信データに基づいて、制御処理を実行する。例えば、制御対象が自動車１５やバス１６の場合には走行停止処理を実行する。制御対象が歩行者１７の場合には所持しているデバイスを振動・警報させ、画面に停止指示することで行動を間接的に制御する。
　制御対象が信号機１９の場合には、信号の色を任意の色（例えば赤）に変更する。
　図１５は、管制システム１３のスレッド優先度の例を示す図である。
　図１５において、通信性能測定スレッド１３３０は通信性能測定サーバ処理部１３３を実行する。
　受信処理スレッド１３１０は受信部１３１を実行する。
　余裕時間計算スレッド１３５０は、入力経過時間算出部１３２、制御時間推定部１３４、余裕時間算出部１３５、処理管理部１３６を実行する。
　アプリケーションスレッド１３７０は、アプリケーション部１３７を実行する。
　送信処理スレッド１３８０は送信制御部１３８を実行する。
　図１６は、物体情報１３Ａの例を示す図である。
　図１６において、物体情報１３Ａは、物体種別、物体ＩＤ、インフラセンサ１１、１２が付与したタイムスタンプで構成される。図１６には、物体種別としてセンシングした情報が、車両Ａである例を示す。また、物体ＩＤが１の例を示し、タイムスタンプが１２時３４分０００ミリ秒の例を示す。
　図１７は、制御対象情報テーブル１３Ｂの例を示す図である。
　図１７において、制御対象情報テーブル１３Ｂは、物体ＩＤ、項目、反応時間、ＩＰアドレス、推定通信時間で構成される。
　図１８は、実施例１とは異なり、余裕時間を用いずに一般的によく用いられるＦＩＦＯ（Ｆｉｒｓｔ　Ｉｎ　Ｆｉｒｓｔ　Ｏｕｔ）に基づいてアプリケーション部１３７の実行順を決定したときの制御システムの実行タイミングの例を示す図であり、横方向に時間経過を示す。
　図１８に示した例は、第１のＣＰＵ及び第２のＣＰＵの２つのＣＰＵを使用する例である。
　図１８において、第１のＣＰＵで、２つの物体情報の受信順に、受信処理スレッド１３１０及び余裕時間算出スレッド１３５０が実行され、第２のＣＰＵで、アプリケーションスレッドＡ１３７０１（余裕時間長）及びアプリケーションスレッドＢ１３７０２（余裕時間短）が実行される。第１のＣＰＵで、２つの物体情報の受信順に、送信処理スレッド１３８０が実行される。
　そして、先に受信した物体情報について、送信データ１３Ｄ１（余裕時間長）が送信され、制御処理スレッド１４２１（車両Ａ）が実行される。また、後に受信した物体情報について、送信データ１３Ｄ２（余裕時間短）が送信され、制御処理スレッド１４２２（歩行者Ｂ）が実行される。
　図１８に示した例においては、管制システム１３が受信した順にアプリケーション部１３７を実行するため、車両Ａへの指示が先行し、通信時間と反応時間が長い歩行者Ｂの指示が遅れる。
　図１９に示した例は、本発明の実施例１の場合の例であり、余裕時間に基づいて実行された制御システムの実行タイミングの例を示す図である。
　図１９に示した例も、図１８に示した例と同様に、第１のＣＰＵ及び第２のＣＰＵの２つのＣＰＵを使用する例である。
　図１９において、第１のＣＰＵで、２つの物体情報の受信順に、受信処理スレッド１３１０及び余裕時間算出スレッド１３５０が実行され、第２のＣＰＵで、アプリケーションスレッドＡ１３７０１（余裕時間長）及びアプリケーションスレッドＢ１３７０２（余裕時間短）が実行される。
　アプリケーションスレッドＡ１３７０１（余裕時間長）及びアプリケーションスレッドＢ１３７０２（余裕時間短）の実行においては、先に受信した物体情報の処理より、後に受信した物体情報ついての処理が先行するように調整される。
　送信処理スレッド１３８０では、第１のＣＰＵで、２つの物体情報のうち、余裕時間が短い物体情報が先に処理され、余裕時間が長い物体情報が後に処理される。
　そして、余裕時間が長い物体情報について、送信データ１３Ｄ１（余裕時間長）が送信され、制御処理スレッド１４２１（車両Ａ）が実行される。また、余裕時間が短い物体情報について、送信データ１３Ｄ２（余裕時間短）が送信され、制御処理スレッド１４２１（車両Ａ）より先に、制御処理スレッド１４２２（歩行者Ｂ）が実行される。
　図１９に示した本発明の実施例１においては、管制システム１３は余裕時間が短いアプリケーションスレッドＢ１３７０２を優先的に実行させる。これによって、歩行者Ｂの制御処理スレッド１４２２を、車両Ａの制御処理スレッド１４２１（車両Ａ）より早く実行することが可能となる。
　図２０は、実施例１とは異なり、余裕時間を用いずに一般的によく用いられるＦＩＦＯ（Ｆｉｒｓｔ　Ｉｎ　Ｆｉｒｓｔ　Ｏｕｔ）に基づいてアプリケーション部１３７の実行順を決定したときの制御システムの実行タイミングの他の例を示す図であり、横方向に時間経過を示す。
　図２０に示した例は、図１８に示した例と同様に、第１のＣＰＵ及び第２のＣＰＵの２つのＣＰＵを使用する例である。
　図２０において、第１のＣＰＵで、２つの物体情報の受信順に、受信処理スレッド１３１０及び余裕時間算出スレッド１３５０が実行され、第２のＣＰＵで、アプリケーションスレッドＡ１３７０１（余裕時間長）及びアプリケーションスレッドＢ１３７０２（余裕時間短）が実行される。第１のＣＰＵで、２つの物体情報の受信順に、送信処理スレッド１３８０が実行される。
　そして、先に受信した物体情報について、送信データ１３Ｄ１（余裕時間長）が送信され、制御処理スレッド１４２１（車両Ａ）が実行される。また、後に受信した物体情報について、送信データ１３Ｄ２（余裕時間短）が送信され、制御処理スレッド１４２２（歩行者Ｂ）が実行される。
　図２０に示した例においては、管制システム１３が受信した順にアプリケーション部１３７を実行するため、車両Ａへの指示が先行し、通信時間と反応時間が長い歩行者Ｂの指示が遅れる。
　図２１に示した例は、本発明の実施例１の場合の他の例であり、余裕時間に基づいて実行された制御システムの実行タイミングの例を示す図である。
　図２１に示した例も、図１９に示した例と同様に、第１のＣＰＵ及び第２のＣＰＵの２つのＣＰＵを使用する例である。
　図２１において、第１のＣＰＵで、２つの物体情報の受信順に、受信処理スレッド１３１０及び余裕時間算出スレッド１３５０が実行され、第２のＣＰＵで、アプリケーションスレッドＡ１３７０１（余裕時間長）及びアプリケーションスレッドＢ１３７０２（余裕時間短）が実行される。
　送信処理スレッド１３８０では、第１のＣＰＵで、２つの物体情報の受信順に処理される。
　そして、先に受信した余裕時間が長い物体情報について、送信データ１３Ｄ１（余裕時間長）を遅延させて、後に受信した余裕時間が短い物体情報について、送信データ１３Ｄ２（余裕時間短）が、送信データ１３Ｄ１（余裕時間長）より先に送信される。これによって、制御処理スレッド１４２２（歩行者Ｂ）が制御処理スレッド１４２１（車両Ａ）より先に実行される。
　図２１に示した本発明の実施例１においては、管制システム１３は余裕時間が短いアプリケーションスレッドＢ１３７０２を優先的に実行させる。これによって、歩行者Ｂの制御処理スレッド１４２２を、車両Ａの制御処理スレッド１４２１（車両Ａ）より早く実行することが可能となる。
　以上のように、本発明の実施例１によると、特定の制御対象との無線通信時間や制御対象の反応時間を考慮した余裕時間に基づいてアプリケーションと送信データの順番を決定するため、移動体や人との無線通信時間が変動しても、動的に更新することができるため、リアルタイム性を向上することができる。
　つまり、インフラセンサのセンシング時刻と、無線通信時間と、制御対象の反応時間と、から余裕時間を算出し、それに基づいて、アプリケーションと通信の実行順を制御し、リアルタイム性を向上可能な制御システムを提供することができる。
　本発明の実施例１により、フィールドにおいて、自律移動体、有人移動体、人における情報共有、制御指示のリアルタイム性を向上することができる。
　なお、本実施例１には反応時間を固定としたが、これに限らない。例えば、歩行者がデバイスの画面を見ている場合には反応時間を短くするなど、状況に応じて変更してもよい。
　さらに、変更が生じる状況として、制御対象の移動速度やインフラセンサのセンシング距離によって変化ことが考えられる。例えば、アプリケーションが遠隔緊急停止制御である場合には、移動速度が速いほど、停止までの制動距離が延びるため、それを見越した反応時間が長くなる。
　また、本実施例１においては、全体レイテンシを固定値としたがこれに限らない。例えば、制御対象の移動速度やセンシング距離によって変化することが考えられる。具体的には移動速度が速い、センシング距離が短くなるほど全体レイテンシが短くなる可能性がある。
　本実施例１によれば、短い余裕時間のアプリケーション処理を優先して実行するため、状況によって優先度が変わるような異なる種類のアプリケーションにおいても適用可能となる。
　また、本実施例１によれば、短い余裕時間の送信データの送信処理を優先して実行するため、状況によって優先度が変わるような異なる種類のデータ通信においても適用可能となる。
　また、本実施例１によれば、制御対象との無線通信時間を推定することで、特定の制御対象が通信不良となる状況に対しても柔軟に対応可能となる。
　また、本実施例１によれば、移動体および人の反応時間に基づいて処理することで、制御対象が多様な状況においても柔軟に制御可能となる。
　また、本実施例１によれば、余裕時間がマイナスとなる場合には、アプリケーション処理の中止や、送信パケットの棄却をすることで制御システムの安定性を向上できる。
　本実施例１においては、余裕時間がマイナスとなる場合には、通信時間を短くする対策手段を実施しても良い。例えば、ＡＣＫによる再送型の通信ではなく、予め同じ送信パケットを連続で送信する方法や、別の通信経路を利用する方法を用いることで、リアルタイム性を向上することができる。
　（実施例２）
　次に、本発明の実施例２について説明する。
　実施例１と異なる点を中心に実施例２について、図面を用いて説明する。
　図２２は、実施例２に係る管制システム１３の内部構成であり、各部の処理フローを示す図である。
　実施例２では、インフラセンサ１１、１２から物体情報１３Ｃや物体情報１３Ｄが受信部１３１に送信される。アプリケーション部１３９は、入力された物体情報１３Ｃや物体情報１３Ｄに基づいて制御対象１５、１６、１７、１９の有無を判定し、入力経過時間算出部１３２と制御時間推定部１３０に送信する。制御時間推定部１３０は、物体情報１３Ｃや物体情報１３Ｄに基づいて、制御対象情報テーブル１３Ｅに格納された反応時間と推定行動終了時間を更新する。
　以降より、実施例２に係る動作フローの詳細を説明する。
　図２３は、制御時間推定部１３０の処理フローを示す図である。以下、図２３の各ステップについて説明する。
　（図２３：ステップ１３０１）
　制御時間推定部１３０は、物体情報１３Ｃや物体情報１３Ｄが所持している制御対象の情報（速度や状態）に基づいて、制御対象情報テーブル１３Ｅに格納された反応時間や推定行動終了時間を更新する。例えば、制御対象の移動速度が速くなるほど、推定行動終了時間が長くなる。
　例えば、制御対象の状態が情報端末を見ていない状態から見ている状態に変化したときには、反応時間時間が短くなる。また、これらに限らない。例えば、制御対象の人の体の向きが移動体の方向を向いているといった移動体に注視している場合には反応時間を短くしてよい。さらに、年齢に基づいて反応時間を変更してもよい。
　（図２３：ステップ１３０２）
　制御時間推定部１３０は、物体情報１３Ｃや物体情報１３Ｄの物体ＩＤに基づいて、制御対象情報テーブル１３Ｅを参照して、制御対象の反応時間と推定通信時間を取得し、推定制御時間を算出する。制御時間推定部１３０は、算出結果を余裕時間算出部１３５に送信する。
　図２４はアプリケーション部１３９の処理フローを示す図である。以下、図２４の各ステップについて説明する。
　（図２４：ステップ１３９１）
　アプリケーション部１３９は、物体情報１３Ｃ、１３Ｄに基づいて、制御の必要性を判断し、必要である場合にはどの物体に対して制御を実施するかを判定する。
　（図２４：ステップ１３９２）
　ステップ１３９２において、制御が必要な場合はステップ１３９３に進み、制御が必要ではない場合は、処理を終了する。
　（図２４：ステップ１３９３）
　アプリケーション部１３９は、制御が必要と判定した制御対象に対する制御対象情報と、送信データと、余裕時間とを送信制御部１３８に送信する。
　図２５は、物体情報１３Ｃの例を示す図である。
　図２５において、物体情報１３Ｃは、物体種別、物体ＩＤ、速度、インフラセンサ１１、１２が付与したタイムスタンプで構成される。実施例１における物体情報１３Ａ（図１６）と比較して、物体情報１３Ｃには、速度の情報が追加されている。
　図２６は、物体情報１３Ｄの例を示す図である。
　図２６において、物体情報１３Ｄは、物体種別、物体ＩＤ、状態、インフラセンサ１１、１２が付与したタイムスタンプで構成される。実施例１における物体情報１３Ａ（図１６）と比較して、物体情報１３Ｄには、状態の情報が追加されている。
　図２７は、制御対象情報テーブル１３Ｅの例を示す図である。
　図２７において、制御対象情報テーブル１３Ｅは、物体ＩＤ、項目、反応時間、推定行動終了時間、ＩＰアドレス、推定通信時間で構成される。実施例１における制御情報テーブル１３Ｂ（図１７）と比較して、制御対象情報テーブル１３Ｅには、推定行動終了時間が追加されている。
　本実施例２によれば、実施例１と同様な効果を得ることができる他、推定行動終了時間を制御対象の移動速度に応じて変更することで、多様な状況に対応可能な制御システムを提供することができる。
　本実施例２によれば、物体の状態によって制御対象の反応時間を変更することで、正確な制御が可能となる。
　１・・・制御システム、１１、１２・・・インフラセンサ、１３・・・管制システム、１３Ａ、１３Ｃ、１３Ｄ・・・物体情報、１３Ｂ、１３Ｅ・・・制御対象情報テーブル、１４・・・無線機器、１５・・・自動車、１６・・・バス、１７、１８・・・歩行者、１７ＴＲ・・・無線通信機器、１９・・・信号機、１１１・・・認識処理部、１１２Ａ、１１２Ｂ・・・時刻同期部、１３０、１３４・・・制御時間推定部、１３１・・・受信部、１３２・・・入力経過時間算出部、１３３・・・通信性能測定サーバ処理部、１３５・・・余裕時間算出部、１３６・・・処理管理部、１３７、１３９・・・アプリケーション部、１３８・・・送信制御部、１５１・・・通信性能測定クライアント処理部、１５２・・・制御処理部

Claims (12)

  1. 　移動体を検出し、前記移動体の情報を送信する移動体検出部と、
    　前記移動体検出部が送信した前記移動体の前記情報を受信し、受信した前記移動体の前記情報に基づいて、前記移動体の制御処理部に制御情報を送信する管制システムと、
    　を備え、
    　前記管制システムは、
    　前記移動体の反応時間及び通信制御推定必要時間に基づいて、第１余裕時間を算出する余裕時間算出部と、
    　前記第１余裕時間に基づいて、前記制御情報の実行順序を決定する処理管理部と、
    　前記移動体の前記情報と、前記処理管理部が決定した前記実行順序とに基づいて前記制御情報を算出するアプリケーション部と、
    　前記移動体の反応時間及び通信制御実必要時間に基づいて、第２余裕時間を算出し、前記第２余裕時間に応じて前記制御情報を前記制御処理部に送信する送信制御部と、
    　を備えることを特徴とする制御システム。
  2. 　請求項１に記載の制御システムにおいて、
    　前記第１余裕時間は、前記移動体検出部が前記移動体の前記情報を受信した時点から前記移動体が移動してから移動を終了するまでの時間である全体レイテンシに対して、前記移動体の反応時間及び通信制御推定必要時間を減算して算出され、
    　前記第２余裕時間は、前記全体レイテンシに対して、前記移動体の反応時間及び通信制御実必要時間を減算して算出されることを特徴とする制御システム。
  3. 　請求項２に記載の制御システムにおいて、
    　前記通信制御推定必要時間は、前記管制システムと前記制御処理部との推定通信時間と、前記移動体の反応時間と、前記アプリケーション部の推定アプリケーション実行時間と、前記移動体検出部が前記移動体を検知する時間と、前記移動体を検知する検知信号のアップリンク時間と、を加算した値であり、
    　前記通信制御推定実要時間は、前記管制システムと前記制御処理部との推定通信時間と、前記移動体の反応時間と、前記アプリケーション部の実際のアプリケーション実行時間と、前記移動体検出部が前記移動体を検知する時間と、前記移動体を検知する検知信号のアップリンク時間と、を加算した値であることを特徴とする制御システム。
  4. 　請求項３に記載の制御システムにおいて、
    　前記管制システムは、前記推定通信時間と前記移動体の前記反応時間を推定する制御時間推定部を、さらに備えることを特徴とする制御システム。
  5. 　請求項３に記載の制御システムにおいて、
    　前記処理管理部は、前記第１余裕時間が短い順に前記アプリケーション部が前記制御情報を算出するように前記実行順序を決定することを特徴とする制御システム。
  6. 　請求項３に記載の制御システムにおいて、
    　前記送信制御部は、前記第２余裕時間が短い順に前記制御情報を前記制御処理部に送信することを特徴とする制御システム。
  7. 　請求項３に記載の制御システムにおいて、
    　前記第１余裕時間または前記第２余裕時間がマイナスとなる場合には、前記アプリケーション部の前記制御情報の算出を中止することを特徴とする制御システム。
  8. 　請求項３に記載の制御システムにおいて、
    　前記移動体には、歩行者を含み、前記制御処理部は前記歩行者が所持する無線通信機器であることを特徴とする制御システム。
  9. 　請求項３に記載の制御システムにおいて、
    　前記処理管理部は、前記第１余裕時間が長い前記制御情報の算出を停止させ、前記第１余裕時間が短い前記制御情報をアプリケーション部に算出させることを特徴とする制御システム。
  10. 　請求項３に記載の制御システムにおいて、
    　前記送信制御部は、前記第２余裕時間が長い前記制御情報の送信を停止させ、慚愧第２余裕時間が短い前記制御情報の送信を実行することを特徴とする制御システム。
  11. 　請求項４に記載の制御システムにおいて、
    　前記移動体には、歩行者を含み、前記制御処理部は前記歩行者が所持する無線通信機器であり、前記制御時間推定部は、前記歩行者の反応時間を、前記無線通信機器を見ているか否か、あるいは前記移動体の方向を向いているか、あるいは前記歩行者の年齢の情報に基づいて推定することを特徴とする制御システム。
  12. 請求項１記載の制御システムにおいて、
    前記移動体の前記制御処理部に送信する前記制御情報は、車両の停止あるいは操舵制御、あるいは、人に指示や警告を与える画像・音・振動に関する情報であることを特徴とする制御システム。
PCT/JP2022/008629 2021-05-18 2022-03-01 制御システム WO2022244377A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/285,981 US20240119827A1 (en) 2021-05-18 2022-03-01 General control system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021084036A JP2022177631A (ja) 2021-05-18 2021-05-18 制御システム
JP2021-084036 2021-05-18

Publications (1)

Publication Number Publication Date
WO2022244377A1 true WO2022244377A1 (ja) 2022-11-24

Family

ID=84140901

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/008629 WO2022244377A1 (ja) 2021-05-18 2022-03-01 制御システム

Country Status (3)

Country Link
US (1) US20240119827A1 (ja)
JP (1) JP2022177631A (ja)
WO (1) WO2022244377A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020039798A1 (ja) * 2018-08-24 2020-02-27 住友電気工業株式会社 情報提供装置、情報提供方法、情報提供システム、コンピュータプログラム、及びデータ構造
WO2020110857A1 (ja) * 2018-11-26 2020-06-04 住友電気工業株式会社 交通情報処理サーバ、交通情報の処理方法、及びコンピュータプログラム
US20210049902A1 (en) * 2019-08-16 2021-02-18 GM Global Technology Operations LLC Method and apparatus for perception-sharing between vehicles

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020039798A1 (ja) * 2018-08-24 2020-02-27 住友電気工業株式会社 情報提供装置、情報提供方法、情報提供システム、コンピュータプログラム、及びデータ構造
WO2020110857A1 (ja) * 2018-11-26 2020-06-04 住友電気工業株式会社 交通情報処理サーバ、交通情報の処理方法、及びコンピュータプログラム
US20210049902A1 (en) * 2019-08-16 2021-02-18 GM Global Technology Operations LLC Method and apparatus for perception-sharing between vehicles

Also Published As

Publication number Publication date
JP2022177631A (ja) 2022-12-01
US20240119827A1 (en) 2024-04-11

Similar Documents

Publication Publication Date Title
CN109501801B (zh) 计划碰撞避免机动的方法、控制单元、车辆和计算机程序
JP5565385B2 (ja) 車両用無線通信装置および通信システム
US10395524B2 (en) Method and system for detecting autonomously driven vehicles, for distance measurement and for distance control
US11618439B2 (en) Automatic imposition of vehicle speed restrictions depending on road situation analysis
KR102539469B1 (ko) 차량 작동 방법 및 그 장치, 그리고 주차장 운영 방법
WO2018230532A1 (ja) 配車サービスサーバ、車両システム、車両、配車サービス方法、およびプログラム
WO2019021403A1 (ja) 制御ネットワークシステム、車両遠隔制御システム及び車載中継装置
CN110103852B (zh) 用于自主车辆中的碰撞检测的系统和方法
US20180164809A1 (en) Autonomous School Bus
US20180286249A1 (en) Method and apparatus for operating a vehicle
US20130197719A1 (en) Vehicle system and vehicle control method
EP3556625B1 (en) Vehicle control system, external electronic control unit, vehicle control method, and application
US20210094567A1 (en) Remote monitoring apparatus and assistance method for autonomous vehicle
EP3420548A1 (en) Conflict-resolution system for operating an automated vehicle
WO2019230055A1 (ja) 物体認識装置および物体認識方法
US11582112B2 (en) Electronic control unit and electronic control system
EP3667451A1 (en) Method and system for controlling a plurality of autonomous vehicles
WO2022244377A1 (ja) 制御システム
KR102574666B1 (ko) 자동 차량 및 그 조작 방법
JP2017068398A (ja) 通信装置および通信システム
WO2007052562A1 (ja) 移動体通信装置及びプログラム
EP3893073B1 (en) Method and apparatus for invoking a tele-operated driving session
WO2020137100A1 (ja) 通信端末装置及び基地局装置
JP2022554337A (ja) 緊急軌道の決定および自動化された車両の動作のための方法および装置
US20240028029A1 (en) Operator management system, operator management method, and non-transitory computer readable recording medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22804298

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18285981

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE