WO2024009418A1 - 遠隔制御装置、遠隔制御システムおよびリスク判定方法 - Google Patents

遠隔制御装置、遠隔制御システムおよびリスク判定方法 Download PDF

Info

Publication number
WO2024009418A1
WO2024009418A1 PCT/JP2022/026790 JP2022026790W WO2024009418A1 WO 2024009418 A1 WO2024009418 A1 WO 2024009418A1 JP 2022026790 W JP2022026790 W JP 2022026790W WO 2024009418 A1 WO2024009418 A1 WO 2024009418A1
Authority
WO
WIPO (PCT)
Prior art keywords
transmission delay
remote control
control device
information
mobile
Prior art date
Application number
PCT/JP2022/026790
Other languages
English (en)
French (fr)
Inventor
翔太 亀岡
陽平 細江
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2022/026790 priority Critical patent/WO2024009418A1/ja
Priority to JP2022564301A priority patent/JP7309083B1/ja
Publication of WO2024009418A1 publication Critical patent/WO2024009418A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions

Definitions

  • the present disclosure relates to a remote control device for a mobile object, and particularly relates to a remote control device that takes transmission delay into consideration.
  • remote control devices have been developed that realize automatic operation and automatic transportation by, for example, giving operational instructions to moving objects located in remote locations or by performing control amount calculations.
  • Examples of such remote control devices include Patent Document 1 and Patent Document 2.
  • wireless communication using radio waves or the like and a network configured by wireless communication are used as means for realizing data transmission and reception between the remote control device and the mobile object.
  • a control technique for a moving object has been proposed that can reduce the discomfort of an occupant by adjusting the control gain for the moving object based on surrounding risks.
  • Patent Document 1 When using a network, it is necessary to have mobile objects take safe actions that take transmission delays into consideration, but the technology disclosed in Patent Document 1 cannot plan appropriate actions depending on the state of transmission delays. . Further, the technique disclosed in Patent Document 2 does not take into account transmission delay in remote control of a mobile object.
  • the present disclosure has been made to solve the above-mentioned problems, and aims to provide a remote control device that takes transmission delays into consideration in remote control of a mobile object.
  • a remote control device is a remote control device that controls at least one mobile object via a transmission path including at least a network, and includes transmission delay distribution information including a probability distribution of transmission delays on the transmission path.
  • a transmission delay distribution estimation unit that estimates the transmission delay distribution; and an action planning unit that plans a target action of the at least one moving object based on the transmission delay distribution information, and the transmission delay distribution estimation unit is configured to estimate the transmission delay distribution.
  • the probability distribution of the transmission delay is estimated using a transmission delay model based on the mode.
  • remote control device by considering transmission delay in remote control of a mobile object, remote control with improved safety is possible.
  • FIG. 1 is a block diagram showing the configuration of a remote control device and a remote control system according to a first embodiment of the present disclosure
  • FIG. FIG. 2 is a block diagram showing the configuration of a first mobile object control section. It is a figure which shows an example of the target route when a 1st moving object is a vehicle.
  • FIG. 2 is a block diagram showing the configuration of a first moving body. It is a figure which shows an example of a structure when a 1st moving object is a vehicle.
  • FIG. 3 is a diagram illustrating an example of the arrangement of object information acquisition units.
  • FIG. 3 is a diagram showing a target route in which a first moving body avoids a stationary object.
  • FIG. 3 is a diagram illustrating an example of the arrangement of an object information acquisition section and an environment information acquisition section.
  • FIG. 3 is a diagram showing an example of a target speed generated in the remote control device according to the first embodiment of the present disclosure.
  • FIG. 2 is a block diagram showing an example of the configuration of a transmission delay distribution estimation section.
  • FIG. 3 is a diagram showing an example of a time series of transmission delays. It is a figure which shows the example modeled by HMM.
  • FIG. 2 is a block diagram showing an example of the configuration of a mobile object action planning section. It is a figure which shows typically the operation
  • FIG. 2 is a block diagram showing an example of the configuration of a mobile object action planning section.
  • FIG. 2 is a block diagram showing an example of a control system in which the remote control device according to Embodiment 1 of the present disclosure controls a first mobile object under a transmission delay environment.
  • FIG. 2 is a block diagram showing the configuration of a remote control device and a remote control system according to a second embodiment of the present disclosure.
  • FIG. 2 is a block diagram showing an example of the configuration of a mobile object action planning section. It is a figure explaining the action plan when a 1st moving object and a 2nd moving object pass each other.
  • FIG. 2 is a block diagram showing the configuration of a remote control device and a remote control system according to a second embodiment of the present disclosure.
  • FIG. 2 is a block diagram showing an example of the configuration of a transmission delay distribution estimation section.
  • FIG. 7 is a block diagram illustrating an example of a configuration of a transmission delay distribution estimation unit of a remote control device according to a fourth embodiment of the present disclosure.
  • FIG. 2 is a diagram showing a hardware configuration for realizing a remote control device.
  • FIG. 2 is a diagram showing a hardware configuration for realizing a remote control device.
  • FIG. 1 is a block diagram showing an example of the configuration of a remote control device 1000 according to a first embodiment of the present disclosure and a configuration of a remote control system RCS1 for a mobile object MV that is remotely controlled via a network NW.
  • the remote control system RCS1 has a configuration in which a mobile object MV, a remote control device 1000, an object information acquisition section 200, and an environment information acquisition section 300 are connected to a network NW.
  • the network NW connects multiple components to each other using cables, radio waves, etc., and is capable of transmitting and receiving data.
  • the network NW is composed of LAN (Local Area Network), WAN (Wide Area Network), the Internet, telephone lines, wireless communication, etc., but the network NW is not limited to these, and includes a remote control device and a remote location. Any medium that can send and receive data to and from a mobile unit can be used.
  • the mobile body MV controls a single mobile body, but is referred to as a first mobile body 100 to distinguish it from a case where a plurality of mobile bodies are controlled.
  • the first moving object 100 moves based on the control amount transmitted from the transmitter 1004 of the remote control device 1000, and the moving object is detected by an internal sensor (described later) comprising an on-board speed sensor or the like.
  • the state quantity of is output as the state information of the first moving body 100, that is, the moving body 1 information.
  • the configuration of the first moving body 100 will be described in detail later using FIG. 4.
  • the object information acquisition unit 200 is composed of one or more sensors installed around the first moving body 100 or on the first moving body 100.
  • the object information acquisition unit 200 is installed at, for example, a traffic light at an intersection, a telephone pole, a lamp, or the like. In addition, in some cases, they are installed separately on the roadside. In the case of other moving objects, for example, moving objects that move indoors, the object information acquisition unit may be installed on the ceiling and wall.
  • the object information acquisition unit 200 acquires the positions and speeds of obstacles such as other vehicles, bicycles, and pedestrians around the first moving body 100 as object information. Further, the object information acquisition unit 200 can acquire the position, speed, etc. of the first moving body 100 itself as moving body information.
  • the moving object information is part of the object information.
  • Object information acquisition section 200 transmits moving object information to receiving section 1012 in remote control device 1000 via network NW.
  • the mobile object information can also be acquired from this internal world sensor.
  • the moving object information corresponds to moving object 1 information. Therefore, the moving object information can be acquired from the object information acquisition section 200 or from the first moving object 100.
  • the object information acquisition section 200 includes a time synchronization section 201.
  • the time synchronization unit 201 cooperates with a time synchronization unit (not shown) in the first mobile body 100, a time synchronization unit 310 in the environmental information acquisition unit 300, and a time synchronization unit 1011 in the remote control device 1000, and adjusts the timing of data transmission and reception. It has a function to synchronize.
  • Each of the above-mentioned time synchronization units can perform time synchronization by using a GNSS (Global Navigation Satellite System) sensor when outdoors. Since GNSS is a global time synchronization system and is a well-known technology, time synchronization can be easily achieved using GNSS. On the other hand, when indoors, time synchronization is possible by accessing an NTP (Network Time Protocol) server installed on the network NW.
  • NW Network Time Protocol
  • the environmental information acquisition unit 300 is configured of one or more sensors installed around the first moving body 100, similar to the object information acquisition unit 200.
  • the environmental information acquisition unit 300 is similarly installed indoors and outdoors.
  • the environmental information acquisition unit 300 acquires environmental information such as traffic lights and stop lines.
  • the environmental information acquisition unit 300 transmits the environmental information to the receiving unit 1012 in the remote control device 1000 via the network NW.
  • the environmental information may be obtainable by the object information obtaining unit 200 in some cases.
  • object information and environment information are combined as surrounding information.
  • the surrounding information may not include environmental information but only object information.
  • the sensor used in the environmental information acquisition unit 300 can also be mounted on the first moving body 100.
  • the environmental information acquisition section 300 has a time synchronization section 301.
  • the time synchronization unit 301 cooperates with a time synchronization unit (not shown) in the first moving body 100, a time synchronization unit 201 in the object information acquisition unit 200, and a time synchronization unit 1011 in the remote control device 1000, and adjusts the timing of data transmission and reception. It has a function to synchronize.
  • sensors used in the object information acquisition unit 200 and the environment information acquisition unit 300 include a camera, LiDAR (Light Detection and Ranging), and radar.
  • the camera is installed at a position where it can photograph the front, side, and rear, and obtains, for example, the marking lines around the first moving body 100, the position and speed of obstacles, etc. from the photographed images.
  • LiDAR detects the position of an object by emitting a laser to the surrounding area and detecting the time difference between when it is reflected by surrounding objects and returns.
  • the radar irradiates the surrounding area, detects the reflected waves, measures the relative distance and relative speed of obstacles in the surrounding area to the radar, and outputs the measurement results.
  • the object information acquisition unit 200 can be omitted because object information can be detected by GNSS.
  • the map database 500 stores map data around the first mobile object 100.
  • the mobile object action planning section 1002 and the mobile object control section are connected to the map database 500; however, the present invention is not limited to these, and each component within the remote control device 1000 can access the map database 500. can.
  • the map database 500 often includes data related to driving, such as road center coordinate information, stop line information, white line information, and drivable areas.
  • the remote control device 1000 includes a transmission delay distribution estimation section 1001, a mobile object action planning section 1002, a mobile object control section 1003, a transmitting section 1004, a time synchronizing section 1011, a receiving section 1012, and a transmission delay measuring section 1013. It is equipped with
  • the transmission delay measurement unit 1013 measures the transmission delay occurring between the first mobile body 100 and the remote control device 1000 using the time synchronized by the time synchronization unit 1011. is output to transmission delay distribution estimation section 1001 as transmission delay information, that is, mobile unit 1 transmission delay information.
  • the transmission delay can be determined from the difference between the transmission time included in the mobile body 1 information output from the first mobile body 100 and the reception time when the mobile body 1 information is received by the remote control device 1000.
  • the transmission delay can be measured as follows. That is, first, a packet is transmitted from the remote control device 1000 to the first mobile body 100, and the time is recorded at the same time. The first mobile body 100 transmits the packet to the remote control device 1000 at the same time as receiving it, and the transmission delay can be determined from the difference between the time when the packet was received by the remote control device 1000 and the time when it was sent. The transmission delay obtained in this way is called RTT (Round Trip Time). Similarly, if the time is recorded on the first moving body 100 side, the RTT seen from the first moving body 100 can also be determined.
  • the transmission delay distribution estimation section 1001 uses the transmission delay information from the transmission delay measurement section 1013 to output transmission delay distribution information regarding the first mobile object 100, that is, mobile object 1 transmission delay distribution information.
  • Transmission delay distribution information is information estimated based on a transmission delay model, such as transmission delay mode, in addition to transmission delay probability distribution. The configuration and operation of transmission delay distribution estimation section 1001 will be explained later using FIG. 10.
  • the mobile object action planning section 1002 uses map data around the first mobile object 100 acquired from the map database 500, object information output from the object information acquisition section 200 acquired via the network NW, and an environment information acquisition section.
  • the first mobile body 100 actions such as decelerating, avoiding obstacles, stopping, changing lanes, avoiding road shoulders, emergency avoidance, etc. are planned as the target actions of the first moving object 100, that is, moving object 1 target actions. Output.
  • a typical action plan is known from Japanese Patent No. 6908211, which discloses an action planning device.
  • the technology determines the behavior using scene information in which a moving object is placed, but in the present disclosure, the technology is developed so that it can be applied to remote control of a moving object. , is characterized by planning actions using transmission delay information.
  • the mobile body control unit 1003 includes a first mobile body control unit 1031.
  • the first mobile body control unit 1031 controls the first mobile body based on the mobile body information acquired from the network NW via the reception unit 1012 and the mobile body 1 target behavior acquired from the mobile body action planning unit 1002. 100 to follow the target trajectory.
  • the control amount is, for example, a target steering amount and a target acceleration/deceleration amount, and is output to the network NW via the transmitter 1004 as a moving body 1 control amount.
  • control of the first mobile body 100 can be completed within the remote control device 1000 according to the action plan.
  • FIG. 2 is a block diagram showing the configuration of the first mobile object control section 1031.
  • the first mobile object control section 1031 includes a target trajectory generation section 311 and a control amount calculation section 312.
  • the target trajectory generation unit 311 generates map data around the first mobile body 100 acquired from the map database 500, mobile body 1 information acquired from the network NW via the reception unit 1012, and mobile body action planning unit 1002. Based on the target behavior of the mobile body 1, a target trajectory is generated such that the first mobile body 100 achieves the target behavior.
  • the target action is "stop at a position 5 m ahead," a trajectory that stops at a position 5 m ahead, that is, a series of target route and target speed is generated. Note that the target trajectory will be illustrated later using FIGS. 6 to 9.
  • the control amount calculation unit 312 calculates a control amount that causes the first moving body 100 to follow the target trajectory output from the target trajectory generation unit 311.
  • FIG. 3 is a diagram showing an example of the target route TR when the first moving object 100 is a vehicle, that is, a series of positions in the target trajectory. It is expressed in a coordinate system, and the lateral deviation and deflection angle of the first moving body 100 with respect to the target route TR are expressed as e y and e ⁇ , respectively.
  • the control amount calculation unit 312 calculates the control amount, in this case, the steering angle, of the first moving body 100 so as to follow the target route TR. If the target trajectory includes a series of target speeds, control amounts for controlling the accelerator and brakes are calculated to achieve the target speeds.
  • the target trajectory generation unit 311 and the control amount calculation unit 312 can also be executed simultaneously using model predictive control or the like.
  • Model predictive control uses a model (state equation) that predicts the behavior of a moving object and an evaluation function to simultaneously calculate the target trajectory and control amount through sequential optimization. During sequential optimization, the optimization is performed while predicting the state of the moving object within a certain future time interval (horizon), such as the position and speed, and is therefore called model predictive control.
  • horizon future time interval
  • model predictive control the control amount within the horizon is optimized, and by using that control amount, the optimal trajectory of the moving object within the horizon can be calculated, and this can be used as the target trajectory. That is, the target trajectory and control amount calculation can be executed simultaneously.
  • the mobile object control section 1003 can also calculate the control amount using the mobile object 1 transmission delay distribution information output by the transmission delay distribution estimation section 1001. This method is known from Japanese Patent No. 6940036.
  • the moving body control section can also be provided in the first moving body 100. That is, the remote control device 1000 transmits only the target action to the first moving body 100, the first moving body 100 generates a target trajectory, and calculates a control amount, for example, a target steering angle, based on the target trajectory. , the first moving body 100 can also be controlled based on the control amount. Thereby, the first moving body 100 can be controlled by the first moving body 100 itself according to the action plan.
  • FIG. 4 is a block diagram showing the configuration of the first moving body 100.
  • the first moving body 100 includes an internal sensor 401, a command value calculation section 402, an actuator 403, a reception section 404, a transmission section 405, and a time synchronization section 406.
  • the internal world sensor 401 detects internal world information of the first moving object 100 such as an IMU (Inertial Measurement Unit) sensor, speed sensor, acceleration sensor, steering angle sensor, and steering torque sensor, and outputs it as moving object 1 information. , is input to the network NW via the transmitter 405.
  • IMU Inertial Measurement Unit
  • the command value calculation unit 402 acquires the moving body 1 control amount calculated by the mobile body control unit 1003 of the remote control device 1000 via the receiving unit 404, and performs a calculation to convert it into an actuator command value that can be input to the actuator 403. conduct. For example, if it is a target steering angle, it is converted into a control current value for electric power steering (EPS).
  • EPS electric power steering
  • the actuator 403 is composed of a motor or the like that actually operates the first moving body 100.
  • the time synchronization unit 406 cooperates with the time synchronization unit 201 in the object information acquisition unit 200, the time synchronization unit 310 in the environment information acquisition unit 300, and the time synchronization unit 1011 in the remote control device 1000, and synchronizes the timing of data transmission and reception. It has the function of
  • FIG. 5 is a diagram showing an example of a configuration when the first moving object 100 is a vehicle.
  • a steering wheel 1, which is installed for a driver to operate a vehicle, is engaged with a steering shaft 2.
  • the steering shaft 2 is engaged with a pinion shaft 13 of a rack and pinion mechanism 4.
  • the rack shaft 14 of the rack and pinion mechanism 4 is capable of reciprocating in accordance with the rotation of the pinion shaft 13, and a front knuckle 6 is connected to both left and right ends of the rack shaft 14 via tie rods 5.
  • the front knuckle 6 rotatably supports a front wheel 15 as a steered wheel, and is rotatably supported by the vehicle body frame.
  • the torque generated by the driver operating the steering wheel 1 rotates the steering shaft 2, and the rack and pinion mechanism 4 moves the rack shaft 14 in the left-right direction in accordance with the rotation of the steering shaft 2.
  • the movement of the rack shaft 14 causes the front knuckle 6 to rotate around a kingpin shaft (not shown), thereby steering the front wheels 15 in the left-right direction. Therefore, the driver can change the amount of lateral movement of the vehicle by operating the steering wheel 1 when the vehicle moves forward and backward.
  • the first moving body 100 is equipped with a vehicle speed sensor 20, an IMU sensor 21, a steering angle sensor 22, a steering torque sensor 23, etc. as an internal sensor 401 for recognizing the moving state of the first moving body 100. , the detected values are input to the command value calculation section 402.
  • the command value calculation unit 402 performs calculation to convert the moving body 1 control amount into an actuator command value that can be input to the actuator 403, and provides the actuator command value to the acceleration/deceleration control device 9 and the steering control device 12. Enter the command value.
  • the first moving body 100 includes an electric motor 3 for realizing lateral movement of the first moving body 100, a vehicle drive device 7 for controlling the longitudinal movement of the first moving body 100, and Actuators such as a brake control device 10 are installed.
  • the acceleration/deceleration control device 9 controls the vehicle drive device 7 and the brake control device 10, and the steering control device 12 controls the electric motor 3.
  • the electric motor 3 is generally composed of a motor and a gear, and can freely rotate the steering shaft 2 by applying torque to the steering shaft 2. In other words, the electric motor 3 can freely steer the front wheels 15 independently of the driver's operation of the steering wheel.
  • the vehicle drive device 7 is an actuator for driving the first moving body 100 in the front-back direction.
  • Vehicle drive device 7 rotates front wheels 15 and rear wheels 16 using driving force obtained from a drive source such as an engine or a motor via a transmission and a shaft (not shown). Thereby, the vehicle drive device 7 can freely control the driving force of the first moving body 100.
  • the brake control device 10 is an actuator for braking the first moving body 100, and controls the amount of braking of the brakes 11 installed on the front wheels 15 and rear wheels 16 of the first moving body 100, respectively.
  • a typical brake generates braking force by using hydraulic pressure to press a pad against a disc rotor that rotates together with the front wheels 15 and rear wheels 16 .
  • the above-described internal sensor and a plurality of other devices constitute a network using a CAN (Controller Area Network) or a LAN (Local Area Network) within the first moving body 100.
  • CAN Controller Area Network
  • LAN Local Area Network
  • Each device in the first mobile body 100 shown in FIG. 5 can obtain its own information via the network.
  • the internal sensors can mutually send and receive data via the network. Note that even if the first moving object is other than a vehicle, it will have the same configuration as the actuator, internal sensor, command value calculation section, etc.
  • FIGS. 6 and 7 an example of the arrangement of the object information acquisition unit 200 and an example of the target trajectory generated by the remote control device 1000 will be described using FIGS. 6 and 7.
  • FIG. There is a stationary object OB.
  • the detection ranges of the external sensors 42 and 43 are ranges R42 and R43, respectively.
  • the external sensors 42 and 43 are configured with a camera, LiDAR, radar, sonar, infrared camera, etc., and detect the position and speed of the first moving body 100 and other objects.
  • a camera LiDAR, radar, sonar, infrared camera, etc.
  • it is arranged on the side of the road in FIG. 6, it can also be mounted on the first moving body 100.
  • FIG. 7 is a diagram showing a target route TR for generating a target trajectory in which the first moving body 100 avoids the stationary object OB when the stationary object OB exists in front of the first mobile body 100. It is.
  • the relative position and relative speed of the first moving body 100 to the external world sensor 42 are detected by the external world sensor 42 in FIG.
  • the relative position and relative speed of the stationary object OB with respect to the outside world sensors 42 and 43 are detected by the outside world sensors 42 and 43.
  • the object information acquisition unit 200 calculates the relative position and speed of the moving body and stationary object OB and the external sensors 42 and 43 as seen from the first moving body 100. Convert to accurate position and velocity information.
  • a coordinate system unified by the first mobile body 100 and stationary object OB For example, by converting into a geographic coordinate system used in GNSS, etc., the relative position and speed of the first moving object 100 and the stationary object OB are calculated.
  • a target route TR as shown in FIG. 7 is generated.
  • This target route TR is a route in which the first moving body 100 avoids the stopped object OB, and is a route in which the first moving body 100 moves within the movable region RR.
  • the target trajectory generation unit 311 also generates a target speed of the first moving body 100, and sets it as a target trajectory together with the target route TR.
  • FIG. 8 is a diagram showing an example of the arrangement of the object information acquisition section 200 and the environment information acquisition section 300
  • FIG. 9 is a diagram showing an example of the target speed generated in the remote control device 1000.
  • FIG. 8 shows an example of the arrangement of the object information acquisition unit 200 when a stop line STL and a traffic light TL exist in front of the first moving body 100, and the external world sensor 42 is connected to the road on which the first moving body 100 is moving.
  • the external world sensor 52 is arranged at a position where it can detect the emission color of the stop line STL and the traffic light TL.
  • the detection ranges of the external sensors 42 and 52 are ranges R42 and R52, respectively.
  • the external world sensor 42 in FIG. 8 detects the relative position and relative velocity of the first moving body 100 with respect to the external world sensor 42, and the external world sensor 52 detects the relative positions of the stop line STL and the traffic light TL with respect to the external world sensor 52.
  • the external world sensor 42 in FIG. 8 detects the relative position and relative speed of the first moving body 100 with respect to the external world sensor 42, and the external world sensor 52 detects the emission color of the stop line STL and the traffic light TL.
  • the horizontal axis is the moving distance when the first moving body 100 moves toward the stop line STL, and the vertical axis is the speed of the first moving body 100.
  • the mobile object action planning unit 1002 of the remote control device 1000 instructs the mobile object 1 in a target action such as "Stop at the stop line because the signal is red.”
  • the target trajectory generation unit 311 in the first mobile object control unit 1031 generates a target route TR that stops at the stop line STL as shown by the dashed line in FIG. 8 based on this information.
  • the target speed TV is set as shown by the dashed line in FIG. This target speed TV is such a speed that the speed of the first moving body 100 is gradually reduced to zero at the stop line STL.
  • the target trajectory generation unit 311 generates a target trajectory (stop trajectory) that is a combination of a target route and a target speed.
  • FIG. 10 is a block diagram showing an example of the configuration of transmission delay distribution estimation section 1001.
  • the transmission delay distribution estimating section 1001 includes a transmission delay preprocessing section 111 and a transmission delay model section 112.
  • the transmission delay pre-processing unit 111 has a function of converting the transmission delay information from the transmission delay measuring unit 1013 into a transmission delay feature amount referenced by the transmission delay model unit 112.
  • the transmission delay feature may be, for example, the average value, variance, or higher-order moment of the transmission delay distribution within a predetermined time interval. Alternatively, the maximum value and minimum value of transmission delay within a time interval can also be used as the transmission delay feature amount.
  • the transmission delay model unit 112 estimates at least the probability distribution of the current transmission delay by using the transmission delay feature calculated by the transmission delay preprocessing unit 111 and a transmission delay model constructed in advance. It has a function to output as delay distribution information. Note that the transmission delay distribution information can also include information other than the above probability distribution, such as the current or past mode in a hidden Markov model, which will be described later. Although various models can be used in the transmission delay model unit 112, in this disclosure, a hidden Markov model (hereinafter abbreviated as "HMM”) will be described as an example of a transmission delay model.
  • HMM hidden Markov model
  • An HMM is a probability model constructed on the assumption that modes (states) that output sequences that follow a discrete or continuous probability distribution transition according to transition probabilities determined between each mode.
  • the probability distribution corresponding to each mode in the HMM will be referred to as an output distribution.
  • the output of the HMM and mode transition will be explained. For example, if the HMM is in mode A at a certain time, it outputs a sequence that follows the probability distribution of mode A. On the other hand, a mode may transition to another mode according to a certain transition probability, and the probability distribution of the output may change. For example, when a transition is made from mode A to mode B, a sequence according to the probability distribution of mode B is output in a time interval in mode B. It is considered "hidden" because it is not possible to directly observe which mode the HMM is currently in, and only its output series is observed.
  • FIG. 11 is a diagram showing an example of a time series of transmission delays.
  • the horizontal axis represents time and the vertical axis represents the transmission delay amount, and can be easily obtained using the output of the transmission delay measurement unit 1013.
  • Time interval 1, time interval 3, time interval 4, and time interval 6 in FIG. 11 each have the same degree of variation, and time interval 2 and time interval 5 are clearly the intervals where large transmission delays are likely to occur. There is.
  • time interval 1 and time interval 3 time interval 2 and time interval 4 are considered to be the same mode, and are set to mode 1 and mode 2, respectively.
  • time interval 2 and time interval 5 are considered to be mode 3 and mode 4, respectively. It can be considered that there is.
  • FIG. 12 shows an HMM with four modes in total, and each delay mode can be expressed as follows.
  • Mode 1 A mode with small dispersion
  • Mode 2 A mode with large dispersion
  • Mode 3 A mode where small bursts occur
  • Mode 4 A mode where large bursts occur
  • mode 1, p11, p12, and p13 represent the transition probabilities from mode 1 to mode 1, from mode 1 to mode 2, and from mode 1 to mode 3, respectively. The same applies to mode 2, mode 3, and mode 4, respectively.
  • transmission delay can be modeled using HMM as an example of a transmission delay model.
  • modes 1 to 4 are sometimes referred to as delay modes 1 to 4.
  • HMM is a non-hierarchical hidden Markov model
  • a hierarchical hidden Markov model which is a hierarchical HMM
  • Transmission delays can be predicted with high accuracy in both non-hierarchical and hierarchical systems.
  • the transmission delay distribution estimating unit 1001 acquires transmission delay information from the transmission delay measuring unit 1013 online and creates an HMM in the transmission delay model unit 112. It is also possible to create an HMM based on transmission delay information acquired in advance.
  • one set is series data acquired periodically, for example, at 0.01 second intervals, or aperiodically over a certain period of time, such as one hour, and a plurality of sets are acquired. Multiple acquired datasets are defined as "prior information".
  • a certain time interval for example, about 1 second, is determined, and for each time interval, quantities such as the average, variance, maximum value, and minimum value that can estimate the mode of transmission delay are used as transmission delay features. do.
  • this transmission delay feature amount can also be defined as "prior information.”
  • the modes are classified using techniques such as clustering for each transmission delay feature. By performing this on multiple data sets and determining the transition probability between modes, the output distribution of each mode, etc., the final HMM can be obtained.
  • the transmission delay information acquired online from the transmission delay measuring unit 1013 when actually controlling the first mobile object 100 is defined as "post information" to distinguish it from prior information.
  • the ex post information means transmission delay information acquired when the remote control device 1000 remotely controls the first mobile body 100.
  • FIG. 13 is a block diagram showing an example of the configuration of the mobile object action planning section 1002.
  • the mobile object action planning section 1002 includes a mobile object 1 action planning section 1021, and the mobile object 1 action planning section 1021 includes map data around the first mobile object 100 acquired from the map database 500. , mobile body 1 information and surrounding information acquired from the network NW via the receiving unit 1012 are input.
  • the moving object 1 action planning unit 1021 determines an action plan for the first moving object 100 to move normally, that is, target actions such as normal movement, emergency stop, and speed restriction. It has a function of changing the target behavior based on the mobile object 1 transmission delay distribution information output from the transmission delay distribution estimation unit 1001.
  • FIG. 14 is a diagram schematically showing the operation of changing the target behavior based on the mobile unit 1 transmission delay distribution information in the mobile unit 1 action planning unit 1021.
  • FIG. 14 shows that when the first moving object 100 enters delay mode 2 while normally moving in delay mode 1 shown in FIG. 12, the speed is limited because the variation in transmission delay is large. ing. Further, in the case of delay mode 3 or delay mode 4, there is a high possibility that a burst delay will occur, so the first moving body 100 is shown to be stopped urgently.
  • the target behavior can also be expressed by the position, posture, route, etc. of the target of the first moving body 100.
  • FIG. 15 is a block diagram showing an example of the configuration of the mobile object action planning section 1002.
  • the mobile object action planning section 1002 includes a risk determination section 1022 and a mobile object 1 action planning section 1021, and the risk determination section 1022 comprises a first mobile object risk determination section 10221.
  • the mobile object 1 action planning section 1021 plans an action using the risk calculated by the first mobile object risk determination section 10221.
  • the first mobile body risk determination unit 10221 uses the map data, the mobile body 1 information, the surrounding information, and the mobile body 1 transmission delay distribution information from the transmission delay distribution estimation unit 1001 to determine whether the first mobile body 100 has deviated from its lane. , a risk that is determined to be dangerous, such as a collision with an obstacle, a collision with another moving object, or a collision with a wall, is numerically calculated and output as a first moving object risk.
  • the equation of state or dynamic model of the moving body, dynamics can be used to calculate risk, and the equation of state that expresses the relative relationship between the position and velocity of the moving body and surrounding objects can be used. .
  • the mobile object 1 action planning section 1021 changes the target behavior using the risk output from the first mobile object risk determination section 10221 with respect to the action plan for the first mobile object 100 to move normally. It has the function of
  • FIG. 16 is a diagram schematically showing an operation in which the moving object 1 action planning section 1021 changes the target behavior based on the first moving object risk from the first moving object risk determining section 10221.
  • the first moving object 100 when the first moving object 100 is normally moving and the risk output from the first moving object risk determination unit 10221 becomes large (high risk), the first moving object 100 is sent to the emergency room. It is shown that the first moving object 100 is automatically evacuated to the roadside when the first moving object 100 is stopped and the risk becomes medium (medium risk).
  • the accuracy of the action plan is improved because the target action is determined based on the actual risk rather than the mode of transmission delay. For example, if remote control is performed on a plain with no obstacles, there is no risk of collision, so even if a large delay occurs, it will be determined that there is no risk and it will be possible to formulate a highly accurate action plan. .
  • the probability of occurrence of event A1 is regarded as a risk, and if the risk exceeds a predetermined percentage, an action plan such as an emergency stop is established as the risk is high.
  • transmission delay risk at time k+1 has been calculated here
  • transmission delay risks beyond time k+1 can also be calculated by performing similar calculations.
  • Risks other than transmission delay risk can also be calculated using, for example, a dynamic model, and as mentioned above, the risks of lane departure, collision with an obstacle, collision with another moving object, and collision with a wall are calculated. can do.
  • a method of calculating the risk of lane departure using a dynamic model will be explained using FIG. 3 described above.
  • Cornering stiffness is a proportional coefficient that expresses the relationship between the lateral force generated on a moving object and the sideslip angle, and is a value that changes depending on the condition of the contact surface between the moving object and the road surface, such as dry, wet, or frozen surfaces. be.
  • Equation (4) is a case where the state equation from the target acceleration u a to the vehicle speed v x is modeled as a first-order lag system with a time constant T a using the longitudinal acceleration ⁇ x .
  • this formula it is possible to evaluate the risk of how far the first mobile object 100 will travel at a future time. It is also possible to construct a continuous time state equation that includes the relative distance and relative speed to the obstacle in front. In this case, the risk of colliding with an obstacle ahead can be evaluated.
  • this example is a first-order lag system
  • more detailed models such as a second-order lag system and a model of the characteristics of an actuator used for controlling the moving body in the longitudinal direction can also be used.
  • FIG. 17 is a block diagram showing an example of a control system in which the remote control device 1000 controls an object to be controlled under a transmission delay environment, that is, the first mobile object 100.
  • solid lines mean input and output of signals expressed as continuous values
  • broken lines mean input and output of signals expressed as discrete values
  • x c and u c are states and inputs in continuous time.
  • the moving body information of the first moving body 100 acquired by various sensors is a discrete value
  • the moving body information corresponds to the output value of the sampler S. Since the mobile information is transmitted to the remote control device 1000 via the network NW, a transmission delay, here an upload transmission delay DUP, occurs.
  • the mobile information is input to the controller ⁇ with a delay corresponding to this upload transmission delay D up .
  • the controller ⁇ outputs a control amount calculated using a control gain based on the moving object information. This control amount corresponds to the control amount output by the control amount calculation section 312 of the first moving object control section 1031. Since the control amount is transmitted to the mobile object via the network NW, a transmission delay, here a download transmission delay Ddw , occurs.
  • the control amount input to the first moving body 100 at a certain time becomes a constant value due to the holder H until the control amount is input next time. That is, the holder H has a zero-order hold function.
  • the zero-order held control amount is input to the first moving body 100, which is the controlled object Pc.
  • h k is a random variable representing the transmission delay
  • x k+1 which is the state x one time ahead
  • y k+1 which is an evaluation amount for evaluating the risk one time ahead, is expressed by the following formula (6).
  • x k is a state vector obtained by adding the input u k-1 at time k-1 to the state quantity at time k, and in the case of formula (3), the state vector x k is expressed by the following formula (7). expressed.
  • C is a matrix for generating y k+1 from the state vector. Furthermore, if matrix A k and matrix B k at time k are represented by the following equations (8) and (9), respectively.
  • a c in Equation (8) and B c in Equation (9) are coefficient matrices of the continuous-time state equation.
  • the matrices A and B of formula (5) are expressed by the following formulas (10) and (11), respectively.
  • the matrix C of the formula (6) can be expressed by the following formula (12), for example, when the evaluation amount is the lateral position deviation e y,k+1 from the target route.
  • the evaluation amount y k+1 obtained in this way is expressed by the following equation (13) using g k+1 (h k ) which is a function of the transmission delay h k .
  • the transmission delay h A2,k and the probability that the transmission delay h A2,k is greater than the transmission delay h A2,k can be calculated analytically or numerically.
  • the expected value y e,k+1 of the evaluation amount y k+1 can be used as the risk. If it is known at time k that mode 1 was in mode 1 at time k-1, the expected value y e,k+ 1 can be calculated using the following equation (15).
  • ) is the conditional cumulative distribution function.
  • the variance of y e,k+1 and higher-order moments can also be used as risks.
  • control input u k+1 and the like in the future after time k+1 can be predicted using that information.
  • formula (3) depends on the dynamic model of the first mobile body 100, when using the technology of the present disclosure for another mobile body, formula (3) should be applied to the target mobile body. Change and calculate accordingly.
  • risk assessment in the form of a continuous-time equation of state has been explained above, it is also possible not to take the form of a continuous-time equation of state. , risk can be assessed as well.
  • FIG. 18 is a block diagram showing an example of the configuration of a remote control device 2000 according to Embodiment 2 of the present disclosure and a configuration of a remote control system RCS2 for a mobile object MV that is remotely controlled via a network NW.
  • the remote control system RCS2 has a configuration in which a mobile object MV, a remote control device 2000, an object information acquisition section 200, and an environment information acquisition section 300 are connected to a network NW.
  • the remote control device 2000 of the second embodiment differs from the remote control device 1000 in that it controls a plurality of moving objects, and the moving object control section 1003 has a first moving object control section 1031 and a second moving object control section. 1032. Moreover, the moving bodies MV to be controlled are the first moving body 100 and the second moving body 101. Note that in FIG. 18, the same components as those of the remote control device 1000 described using FIG.
  • the first moving body 100 and the second moving body 101 move based on the moving body 1 control amount and the moving body 2 control amount transmitted from the transmitting unit 1004 of the remote control device 2000, respectively, and
  • the state quantity of the moving object detected by an internal sensor including a speed sensor or the like is output as moving object 1 information and moving object 2 information.
  • the object information acquisition unit 200 is composed of one or more sensors mounted around the first moving body 100 and the second moving body 101 or mounted on the first moving body 100 and the second moving body 101.
  • the object information acquisition unit 200 acquires the positions and speeds of obstacles such as other vehicles, bicycles, and pedestrians around the first moving body 100 and the second moving body 101 as environmental information. Further, the object information acquisition unit 200 can acquire the position, speed, etc. of the first moving body 100 itself as moving body 1 information, and the position, speed, etc. of the second moving body 101 itself can be acquired as moving body 2 information. can be obtained as. In this case, the moving object information is part of the object information.
  • Object information acquisition section 200 transmits the moving object information to receiving section 1012 in remote control device 2000 via network NW.
  • the moving body information can also be obtained from this internal world sensor
  • the mobile body information can be obtained from the internal world sensor.
  • the moving object information can be acquired from the object information acquisition section 200 or from the first moving object 100 and the second moving object 101.
  • the environment information acquisition section 300 is configured of one or more sensors installed around the first moving object 100 and one or more sensors installed around the second moving object 101, similar to the object information acquisition section 200. be done.
  • the environmental information acquisition unit 300 acquires environmental information such as traffic lights and stop lines.
  • the environmental information acquisition unit 300 transmits the environmental information to the receiving unit 1012 in the remote control device 2000 via the network NW.
  • the remote control device 2000 includes a transmission delay distribution estimation section 1001, a mobile object action planning section 1002, a mobile object control section 1003, a transmitting section 1004, a time synchronizing section 1011, a receiving section 1012, and a transmission delay measuring section 1013. It is equipped with
  • the transmission delays occurring between the mobile body 101 and the remote control device 2000 are measured and transmitted as mobile body 1 transmission delay information of the first mobile body 100 and mobile body 2 transmission delay information of the second mobile body 101. It is output to delay distribution estimation section 1001.
  • the transmission delay distribution estimation unit 1001 uses the mobile unit 1 transmission delay information and the mobile unit 2 transmission delay information from the transmission delay measurement unit 1013 to calculate the mobile unit 1 transmission delay distribution information regarding the first mobile unit 100 and the mobile unit 1 transmission delay information regarding the second mobile unit 100. Mobile unit 2 transmission delay distribution information regarding the mobile unit 101 is output.
  • the transmission delay measurement unit 1013 and the transmission delay distribution estimation unit 1001 determine the first movement when the network environments and surrounding conditions of multiple mobile bodies are approximately the same and the trends in transmission delays can be considered to be the same.
  • the transmission delay information of the first mobile body 100 and the second mobile body 101 are considered to be the same, the first mobile body 100 and the second mobile body 101 are grouped, and the transmission delay information of either one is used. Common transmission delay distribution information is estimated and output to the mobile action planning unit 1002.
  • the calculation for estimating the transmission delay distribution only needs to be performed once, and the calculation load can be reduced. Note that the same applies when there are three or more moving objects.
  • the mobile object action planning section 1002 uses map data around the first mobile object 100 acquired from the map database 500, object information output from the object information acquisition section 200 acquired via the network NW, and an environment information acquisition section. 300, mobile body 1 information output from the first mobile body 100, mobile body 2 information output from the second mobile body 101, and mobile body output from the transmission delay distribution estimation unit 1001. 1 transmission delay distribution information and mobile object 2 transmission delay distribution information are used to determine the actions of the first mobile object 100 and the second mobile object 101, namely, decelerating, avoiding obstacles, stopping, changing lanes, and road shoulder. Actions such as avoidance and emergency avoidance are planned and output as a moving object 1 target action of the first moving object 100 and a moving object 2 target action of the second moving object 101.
  • the first mobile body control unit 1031 of the mobile body control unit 1003 uses the mobile body 1 information acquired from the network NW via the reception unit 1012 and the mobile body 1 target behavior acquired from the mobile body action planning unit 1002. Then, the moving body 1 control amount for causing the first moving body 100 to follow the target trajectory is calculated.
  • the second mobile body control unit 1032 of the mobile body control unit 1003 uses the mobile body 2 information acquired from the network NW via the reception unit 1012 and the mobile body 2 target behavior acquired from the mobile body action planning unit 1002. Then, the moving body 2 control amount for causing the second moving body 101 to follow the target trajectory is calculated.
  • FIG. 19 is a block diagram showing an example of the configuration of the mobile object action planning section 1002.
  • the mobile object action planning section 1002 includes a risk determination section 1022 and a multi-vehicle action planning section 1023, and the risk determination section 1022 includes a first mobile object risk determination section 10221 and a second mobile object risk determination section 1022. 10222.
  • the multi-vehicle action planning unit 1023 uses the first mobile risk calculated by the first mobile risk determination unit 10221 and the second mobile risk calculated by the second mobile risk determination unit 10222. Plan your actions.
  • the first mobile body risk determination unit 10221 uses the map data, the mobile body 1 information, the surrounding information, and the mobile body 1 transmission delay distribution information from the transmission delay distribution estimation unit 1001 to determine whether the first mobile body 100 has deviated from its lane. , a risk that is determined to be dangerous, such as a collision with an obstacle, a collision with another moving object, or a collision with a wall, is numerically calculated and output as a first moving object risk.
  • the second mobile body risk determination unit 10222 uses map data, mobile body 2 information, surrounding information, and mobile body 2 transmission delay distribution information from the transmission delay distribution estimation unit 1001 to determine whether the second mobile body 101 deviates from the lane. , numerically calculates risks that are determined to be dangerous, such as collisions with obstacles, collisions with other moving objects, and collisions with walls, and outputs the results to the multi-vehicle action planning unit 1023 as a second moving object risk. .
  • the calculation of risk is the same as that of the risk determination unit 1022 of the mobile action planning unit 1002 shown in FIG. 15, and the explanation will be omitted.
  • Multi-device action plan created by the multi-device action planning section 1023 of the mobile object action planning section 1002 when the remote control device 2000 controls a plurality of moving objects will be described using FIG. 20.
  • FIG. 20 is a diagram illustrating an action plan when the first moving body 100 and the second moving body 101 pass each other.
  • Two external sensors 42 are installed on the side of the road on which the first moving body 100 moves. It is located.
  • the two external sensors 42 are arranged at intervals such that their detection ranges indicated by broken lines partially overlap, and cover the first moving body 100 and the second moving body 101 located at separate locations.
  • the multi-vehicle action planning unit 1023 determines that the risk of the second moving body 101 is high, generates a target route TR1 as shown by the dashed line in FIG. 20, and causes it to stop at the stop position GA.
  • the first mobile object 100 determines that the risk is small and continues straight ahead, but if it determines that there is still a risk, it generates a target route TR as shown by the dashed line in FIG. The first moving object 100 is instructed to move a little away from the first moving object 101.
  • the multi-device action planning unit 1023 takes into account the relative positions, speeds, and transmission delay distributions of the moving objects and instructs each of the moving objects to take actions that reduce the overall risk. Thereby, a plurality of moving bodies can be operated efficiently.
  • the multi-vehicle action plan involves simultaneously planning the actions of a plurality of moving objects, but they can also be planned independently.
  • FIG. 21 is a block diagram showing an example of the configuration of a remote control device 3000 according to Embodiment 3 of the present disclosure and a configuration of a remote control system RCS3 for a mobile object MV that is remotely controlled via a network NW.
  • the remote control system RCS3 has a configuration in which a mobile object MV, a remote control device 3000, an object information acquisition section 200, and an environment information acquisition section 300 are connected to a network NW.
  • the transmission delay distribution estimating unit 1001 receives not only transmission delay information from the transmission delay measuring unit 1013 but also map data from the map database 500 and information acquired via the network NW. This differs from the remote control device 1000 shown in FIG. 1 in that surrounding information and moving object information are input. Note that in FIG. 21, the same components as those of the remote control device 1000 described using FIG.
  • transmission delay distribution estimating section 1001 receives information on a plurality of moving objects from receiving section 1012 and outputs transmission delay distribution information on each of the plurality of moving objects to moving object action planning section 1002.
  • the transmission delay measurement unit 1013 and the transmission delay distribution estimation unit 1001 calculate the transmission delay distribution estimation unit 1001 when the network environment and surrounding conditions of the plurality of mobile bodies are approximately the same, and when the tendency of transmission delay can be considered to be the same, the transmission delay measurement unit 1013 and the transmission delay distribution estimation unit 1001
  • the transmission delay information of the first mobile body 100 and the second mobile body 101 are considered to be the same, the first mobile body 100 and the second mobile body 101 are grouped, and the transmission delay information of either one is used.
  • Common transmission delay distribution information is estimated and output to the mobile action planning unit 1002. As a result, the calculation for estimating the transmission delay distribution only needs to be performed once, and the calculation load can be reduced.
  • FIG. 22 is a block diagram showing an example of the configuration of transmission delay distribution estimation section 1001.
  • the transmission delay distribution estimating section 1001 includes a transmission delay preprocessing section 111, a transmission delay model section 112, and an environment preprocessing section 113.
  • the transmission delay preprocessing unit 111 has a function of converting the transmission delay information from the transmission delay measuring unit 1013 into a transmission delay feature amount referenced by the transmission delay model unit 112.
  • the transmission delay model unit 112 is modeled in advance using the transmission delay feature calculated by the transmission delay preprocessing unit 111, and calculates transmission delay distribution information by referring to the transmission delay feature and the environment feature. calculate.
  • the transmission delay is affected by the location of the moving object, the time of day, the surrounding environment, that is, the relative position of the moving object and surrounding structures, and such information can be obtained from map data and moving object information.
  • the environment preprocessing unit 113 calculates feature amounts for environment information other than transmission delay information. That is, environmental feature quantities characterizing the time zone, the position of the moving object, and the surrounding environment are calculated from the moving object information and map data.
  • Transmission delay features are obtained directly from the transmission delay series, while environmental features represent the situation around the moving object, and are based on the current time, the radio wave situation around the moving object, and the surrounding environment. It is calculated from physically measurable values such as the presence or absence of structures, distance to the moving object, conductors around the moving object, obstacles, radio field strength, and traffic.
  • the environment preprocessing unit 113 calculates environmental features using map data, moving object information, and surrounding information.
  • the position of the building can be detected from map data and the position of the moving object can be detected from GNSS, so the relative distance can be quantified and used as an environmental feature amount.
  • radio wave intensity can be detected by the antenna and receiver, it can be used as an environmental feature.
  • transmission delay changes depending on the switching of the transmission route, but transmission delay also changes due to the load status of the network NW, such as the status of line users, traffic, and router characteristics. This may occur in some cases. Furthermore, since the moving object moves, transmission delays may occur due to the presence or absence of obstacles on the radio wave propagation path, jamming, the presence or absence of conductors around the moving object, and the like. It is thought that a combination of these factors causes the final transmission delay.
  • the probability is configured to change depending on the environmental feature amount. For example, when moving in a place where there are many structures such as buildings that bend or block radio waves, the transition probability is increased so that it is easier to transition to a mode with a large transmission delay. Alternatively, since traffic decreases at night, modeling can be considered to reduce the transition probability so that it is difficult to transition to a mode with a large transmission delay.
  • the transmission delay model unit 112 of the third embodiment also refers to the environmental feature calculated by the environment preprocessing unit 113. For example, if radio field intensity is selected as the environmental feature, by referring to the radio field intensity, Since the current mode of the HMM can be estimated, the probability distribution in that mode is output as transmission delay distribution information.
  • FIG. 23 is a block diagram illustrating an example of the configuration of transmission delay distribution estimation section 1001 of remote control device 4000 according to Embodiment 4 of the present disclosure.
  • the transmission delay distribution estimation section 1001 includes a model section 115. Note that, except for the transmission delay distribution estimation unit 1001, the other configuration is the same as the remote control device 3000 of the third embodiment shown in FIG. 21, so the overall configuration is the same as that of FIG. do.
  • the model unit 115 receives transmission delay information from the transmission delay measurement unit 1013, map data from the map database 500, surrounding information and moving object information acquired via the network NW, and calculates transmission delay distribution information by machine learning. calculate.
  • transmission delay distribution information can be obtained with high accuracy by learning a transmission delay model using machine learning technology and using the obtained trained model.
  • the transmission delay distribution estimation unit 1001 in FIG. 23 is configured to output transmission delay distribution information online using a trained model trained using machine learning.
  • learning a transmission delay model it is first necessary to obtain training data.
  • move the first mobile body 100 acquire the mobile body 1 transmission delay information from the transmission delay measurement unit 1013, the surrounding information acquired via the network NW, and the mobile body information, Save as a dataset.
  • the model unit 115 can be trained using the saved dataset and the map database 500.
  • a learning method that uses an HMM model as a transmission delay model has been well studied mainly in the speech recognition field, and by using this method, an HMM model can be trained. If you want to learn a more general transmission delay model, you can do it using a machine learning method that uses LSTM (Long Short Time Memory) to learn time series.
  • LSTM Long Short Time Memory
  • the transmission delay can include at least one of the amount of transmission delay, the average value of transmission delay in a predetermined time interval, the variance of transmission delay, and the maximum value and minimum value of transmission delay.
  • the surrounding information includes at least the time, radio wave conditions around the moving object, presence or absence of structures around the moving object, distance between the structure and the moving object, conductors and obstacles around the moving object, radio wave strength, weather, can include traffic.
  • the map data can include at least the shape of the road around the moving object, the position and shape of surrounding structures, etc.
  • HMM learning method using deep learning is disclosed in, for example, "Speech Recognition System Created with Free Software (2nd Edition)" by Masahiro Araki (author), Morikita Publishing Co., Ltd.
  • each component of the remote control devices 1000 to 4000 of the first to fourth embodiments described above can be configured using a computer, and is realized by the computer executing a program. That is, the remote control devices 1000 to 4000 are realized by, for example, a processing circuit 60 shown in FIG. 24.
  • a processor such as a CPU (Central Processing Unit) or a DSP (Digital Signal Processor) is applied to the processing circuit 60, and the functions of each part are realized by executing a program stored in a storage device.
  • CPU Central Processing Unit
  • DSP Digital Signal Processor
  • the processing circuit 60 may be, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), or an FPGA (Field-Programmable Circuit). Gate Array), or a combination of these.
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Circuit
  • each component can be realized by individual processing circuits, or these functions can be realized collectively by one processing circuit.
  • FIG. 25 shows a hardware configuration in the case where the processing circuit 60 is configured using a processor.
  • the functions of each part of the remote control devices 1000 to 4000 are realized by a combination of software or the like (software, firmware, or software and firmware).
  • Software etc. are written as programs and stored in the memory 62.
  • a processor 61 functioning as a processing circuit 60 realizes the functions of each part by reading and executing a program stored in a memory 62 (storage device). In other words, this program can be said to cause a computer to execute procedures and methods for operating the components of the remote control devices 1000 to 4000.
  • the memory 62 includes, for example, non-volatile or volatile semiconductor memory such as RAM, ROM, flash memory, EPROM (Erasable Programmable Read Only Memory), EEPROM (Electrically Erasable Programmable Read Only Memory), and HDD (Hard Disk). It can be a magnetic disk, a flexible disk, an optical disk, a compact disk, a mini disk, a DVD (Digital Versatile Disc) and its drive device, or any storage medium that will be used in the future.
  • non-volatile or volatile semiconductor memory such as RAM, ROM, flash memory, EPROM (Erasable Programmable Read Only Memory), EEPROM (Electrically Erasable Programmable Read Only Memory), and HDD (Hard Disk). It can be a magnetic disk, a flexible disk, an optical disk, a compact disk, a mini disk, a DVD (Digital Versatile Disc) and its drive device, or any storage medium that will be used in the future.
  • each component of the remote control devices 1000 to 4000 are realized by either hardware, software, or the like.
  • the present invention is not limited to this, and some of the components of the remote control devices 1000 to 4000 may be implemented using dedicated hardware, and other components may be implemented using software or the like.
  • the functions are realized by the processing circuit 60 as dedicated hardware, and for some other components, the processing circuit 60 as the processor 61 executes the program stored in the memory 62. The function can be realized by reading and executing it.
  • the remote control devices 1000 to 4000 can implement the above-mentioned functions using hardware, software, etc., or a combination thereof.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Selective Calling Equipment (AREA)
  • Traffic Control Systems (AREA)

Abstract

本開示は遠隔制御装置に関し、ネットワークを少なくとも含む伝送経路を介して、少なくとも1つの移動体を制御する遠隔制御装置であって、伝送経路での伝送遅延の確率分布を含む伝送遅延分布情報を推定する伝送遅延分布推定部と、伝送遅延分布情報に基づいて、少なくとも1つの移動体の目標行動を計画する行動計画部と、を備え、伝送遅延分布推定部は、伝送遅延のモードに基づく伝送遅延モデルを用いて、伝送遅延の確率分布を推定する。

Description

遠隔制御装置、遠隔制御システムおよびリスク判定方法
 本開示は移動体の遠隔制御装置に関し、特に、伝送遅延を考慮した遠隔制御装置に関する。
 近年、遠隔地に存在する移動体に対して、例えば、遠隔制御装置により動作指示を与える、または制御量演算を実行することで自動運転、自動搬送を実現する遠隔制御装置が開発されている。このような遠隔制御装置の一例として、特許文献1および特許文献2が挙げられる。
 通常、このような遠隔制御装置においては、遠隔制御装置と移動体間のデータ送受信の実現手段として、電波などを用いた無線通信、および無線通信で構成されたネットワークが使用される。また、移動体に対して、周辺のリスクに基づいて制御ゲインを調整するなどして、乗員の不快感を低減できる移動体の制御技術が提案されている。
特許第6940036号公報 特開2020-50342号公報
 ネットワークを使用する場合、伝送遅延を考慮した安全な行動を移動体に取らせる必要があるが、特許文献1に開示の技術では、伝送遅延の状態に応じた適切な行動を計画することができない。また、特許文献2に開示の技術では、移動体の遠隔制御における伝送遅延が考慮されていない。
 本開示は上記のような問題を解決するためになされたものであり、移動体の遠隔制御において伝送遅延を考慮した遠隔制御装置を提供することを目的とする。
 本開示に係る遠隔制御装置は、ネットワークを少なくとも含む伝送経路を介して、少なくとも1つの移動体を制御する遠隔制御装置であって、前記伝送経路での伝送遅延の確率分布を含む伝送遅延分布情報を推定する伝送遅延分布推定部と、前記伝送遅延分布情報に基づいて、前記少なくとも1つの移動体の目標行動を計画する行動計画部と、を備え、前記伝送遅延分布推定部は、前記伝送遅延のモードに基づく伝送遅延モデルを用いて、前記伝送遅延の確率分布を推定する。
 本開示に係る遠隔制御装置によれば、移動体の遠隔制御において伝送遅延を考慮することで、より安全性を向上した遠隔制御が可能となる。
本開示に係る実施の形態1の遠隔制御装置および遠隔制御システムの構成を示すブロック図である。 第1の移動体制御部の構成を示すブロック図である。 第1の移動体を車両とした場合の目標経路の一例を示す図である。 第1の移動体の構成を示すブロック図である。 第1の移動体が車両の場合の構成の一例を示す図である。 物体情報取得部の配置の一例を示す図である。 第1の移動体が停止物体を回避する目標経路を示す図である。 物体情報取得部および環境情報取得部の配置の一例を示す図である。 本開示に係る実施の形態1の遠隔制御装置において生成される目標速度の一例を示す図である。 伝送遅延分布推定部の構成の一例を示すブロック図である。 伝送遅延の時系列の例を示す図である。 HMMによりモデル化した例を示す図である。 移動体行動計画部の構成の一例を示すブロック図である。 移動体行動計画部において目標行動を変化させる動作を模式的に示す図である。 移動体行動計画部の構成の一例を示すブロック図である。 移動体リスクによって目標行動を変化させる動作を模式的に示す図である。 本開示に係る実施の形態1の遠隔制御装置が伝送遅延環境下にある第1の移動体を制御する制御系の一例を示すブロック図である。 本開示に係る実施の形態2の遠隔制御装置および遠隔制御システムの構成を示すブロック図である。 移動体行動計画部の構成の一例を示すブロック図である。 第1の移動体と第2の移動体とがすれ違う場合の行動計画を説明する図である。 本開示に係る実施の形態2の遠隔制御装置および遠隔制御システムの構成を示すブロック図である。 伝送遅延分布推定部の構成の一例を示すブロック図である。 本開示に係る実施の形態4の遠隔制御装置の伝送遅延分布推定部の構成の一例を示すブロック図である。 遠隔制御装置を実現するハードウェア構成を示す図である。 遠隔制御装置を実現するハードウェア構成を示す図である。
 <実施の形態1>
 <全体構成>
 図1は、本開示に係る実施の形態1の遠隔制御装置1000の構成の一例およびネットワークNWを介して遠隔制御される移動体MVの遠隔制御システムRCS1の構成を示すブロック図である。
 図1に示すように遠隔制御システムRCS1は、ネットワークNWに、移動体MV、遠隔制御装置1000、物体情報取得部200および環境情報取得部300が接続された構成となっている。
 ネットワークNWは、複数の構成要素をケーブルおよび電波などで相互に接続し、データを送受信することができる。ネットワークNWは、LAN(Local Area Network)、WAN(Wide Area Network)、インターネット、電話回線および無線通信などで構成されるが、ネットワークNWはこれらに限定されず、遠隔制御装置と遠隔地に存在する移動体とのデータの送受信が可能な媒体であれば何でも使用できる。
 移動体MVは、本実施の形態1では単数の移動体を制御対象とするが、複数の移動体を制御対象とする場合と区別するため、第1の移動体100と呼称する。第1の移動体100は、遠隔制御装置1000の送信部1004から送信される制御量に基づいて移動し、搭載された速度センサ等で構成される内界センサ(後述)で検出された移動体の状態量を第1の移動体100の状態情報、すなわち移動体1情報として出力する。第1の移動体100の構成については、後に図4を用いて詳細に説明する。
 物体情報取得部200は、第1の移動体100の周囲または第1の移動体100に搭載される1以上のセンサで構成される。物体情報取得部200は、移動体が自動車の場合で、道路上を走行するとした場合、例えば交差点の信号機、電信柱、電灯などに設置される。また、その他には別途、路側に設置される場合もある。その他の移動体、例えば、屋内で移動する移動体の場合、物体情報取得部は天井および壁に設置されることもある。物体情報取得部200は、第1の移動体100の周囲の他車両、自転車および歩行者などの障害物の位置および速度等を物体情報として取得する。また、物体情報取得部200は、第1の移動体100自身の位置および速度等を移動体情報として取得することができる。この場合、移動体情報は物体情報の一部である。物体情報取得部200は、移動体情報を、ネットワークNWを介して遠隔制御装置1000内の受信部1012に送信する。また、移動体情報は、第1の移動体100に内界センサが設置される場合には、この内界センサからも取得することができる。この場合、移動体情報は移動体1情報に相当する。よって、移動体情報は、物体情報取得部200から取得することもできるし、第1の移動体100から取得することもできる。
 なお、物体情報取得部200は、時刻同期部201を有している。時刻同期部201は、第1の移動体100内の図示されない時刻同期部、環境情報取得部300内の時刻同期部310および遠隔制御装置1000内の時刻同期部1011と連携し、データ送受信のタイミングを同期させる機能を有する。
 上述した各時刻同期部は、屋外の場合はGNSS(Global Navigation Satellite System)センサを用いることで時刻同期が可能である。GNSSは全地球レベルでの時刻同期システムであり、周知の技術であるので、これを用いることで容易に時刻同期が可能となる。一方、屋内の場合はネットワークNW上に設置されたNTP(Network Time Protocol)サーバにアクセスすることで時刻同期が可能である。
 環境情報取得部300は、物体情報取得部200と同様に第1の移動体100の周囲に設置される1以上のセンサで構成される。環境情報取得部300も、同様に屋内外に設置される。環境情報取得部300は、信号機および停止線などの環境情報を取得する。環境情報取得部300は、ネットワークNWを介して、環境情報を遠隔制御装置1000内の受信部1012に送信する。なお、環境情報は、物体情報取得部200により取得可能な場合もある。以降、全ての実施の形態において、物体情報と環境情報を合わせて周囲情報とする。ただし、例えば移動体がロボットの場合には、周囲情報は環境情報を含まず、物体情報のみとすることもできる。また、環境情報取得部300で使用されるセンサは、第1の移動体100に搭載することもできる。
 また、環境情報取得部300は、時刻同期部301を有している。時刻同期部301は、第1の移動体100内の図示されない時刻同期部、物体情報取得部200内の時刻同期部201および遠隔制御装置1000内の時刻同期部1011と連携し、データ送受信のタイミングを同期させる機能を有する。
 物体情報取得部200および環境情報取得部300で使用されるセンサは、例えばカメラ、LiDAR(Light Detection and Ranging)およびレーダなどが挙げられる。
 カメラは、前方、側方、および後方を撮影できる位置に設置されており、撮影した画像から、例えば第1の移動体100周囲の区画線、および障害物の位置、速度などを取得する。
 LiDARは、レーザを周辺に照射し、周辺の物体に反射して戻ってくるまでの時間差を検出することにより、物体の位置を検出する。
 レーダは、周囲にレーダ照射を行い、その反射波を検出することで、周辺に存在する障害物のレーダに対する相対距離および相対速度を測定し、その測定結果を出力する。
 なお、第1の移動体100周囲の障害物などの絶対位置を検出可能なGNSSセンサがそれぞれの障害物に搭載されている場合および第1の移動体100に搭載されている場合で、かつGNSSセンサがネットワークNWを介して絶対位置情報を遠隔制御装置1000に送信可能な場合は、物体情報の検出がGNSSにより可能となるため、物体情報取得部200は省略することができる。
 地図データベース500は、第1の移動体100の周囲の地図データを格納している。図1では、移動体行動計画部1002および移動体制御部が地図データベース500と接続されているが、これらに限らず、遠隔制御装置1000内の各構成要素が地図データベース500に対しアクセスすることができる。第1の移動体100が車両の場合は、地図データベース500には道路の中央座標情報、停止線の情報、白線の情報および走行可能領域などの走行に関するデータが含まれることが多い。
 次に、遠隔制御装置1000の各構成要素について説明する。図1に示すように遠隔制御装置1000は、伝送遅延分布推定部1001、移動体行動計画部1002、移動体制御部1003、送信部1004、時刻同期部1011、受信部1012および伝送遅延計測部1013を備えている。
 伝送遅延計測部1013は、時刻同期部1011で同期された時刻を用いて、第1の移動体100と遠隔制御装置1000との間で生じている伝送遅延を計測し、第1の移動体100の伝送遅延情報、すなわち移動体1伝送遅延情報として伝送遅延分布推定部1001に出力する。伝送遅延は、第1の移動体100から出力される移動体1情報に含まれる送信時刻と、遠隔制御装置1000で移動体1情報を受信した受信時刻との差から求めることができる。
 また、遠隔制御装置1000、第1の移動体100に時刻同期部が設置されていない場合には以下のようにして伝送遅延を計測することができる。すなわち、まず遠隔制御装置1000からパケットを第1の移動体100に送信し、同時にその時刻を記録しておく。第1の移動体100で、そのパケットを受信したと同時に遠隔制御装置1000に送信し、遠隔制御装置1000で受信した時刻と、送信した時刻との差から伝送遅延を求めることができる。このようにして求めた伝送遅延はRTT(Round Trip Time)と言われる。同様に、第1の移動体100側で時刻を記録するようにすれば、第1の移動体100からみたRTTを求めることもできる。
 伝送遅延分布推定部1001は、伝送遅延計測部1013からの伝送遅延情報を用いて、第1の移動体100に関する伝送遅延分布情報、すなわち移動体1伝送遅延分布情報を出力する。伝送遅延分布情報とは、伝送遅延の確率分布に加えて、伝送遅延のモードなど伝送遅延モデルに基づいて推定される情報である。伝送遅延分布推定部1001の構成および動作については、後に図10を用いて説明する。
 移動体行動計画部1002は、地図データベース500から取得した第1の移動体100の周囲の地図データ、ネットワークNWを介して取得した、物体情報取得部200から出力される物体情報、環境情報取得部300から出力される環境情報、第1の移動体100から出力される移動体1情報、伝送遅延分布推定部1001から出力される移動体1伝送遅延分布情報を用いて、第1の移動体100の行動、すなわち減速する、障害物回避する、停止する、車線変更する、路肩回避する、緊急回避するなどの行動を計画し、第1の移動体100の目標行動、すなわち移動体1目標行動として出力する。なお、典型的な行動計画については、行動計画装置を開示する特許第6908211号公報により公知である。なお、特許第6908211号公報においては、移動体がおかれているシーン情報を用いて、行動を決定する技術となっているが、本開示においては、移動体の遠隔制御に適用可能なように、伝送遅延情報を用いて行動を計画することに特徴がある。
 移動体制御部1003は、第1の移動体制御部1031を備えている。第1の移動体制御部1031は、ネットワークNWから受信部1012を介して取得した移動体情報と、移動体行動計画部1002から取得した移動体1目標行動とに基づいて、第1の移動体100を目標軌道に追従させるための制御量を演算する。制御量は、第1の移動体100が車両の場合、例えば目標操舵量および目標加減速量であり、移動体1制御量として送信部1004を介してネットワークNWに出力する。
 移動体制御部1003を備えることで、行動計画に従って第1の移動体100の制御を遠隔制御装置1000内で完結できる。
 <移動体制御部>
 以下、図2を用いて移動体制御部1003の第1の移動体制御部1031について説明する。図2は、第1の移動体制御部1031の構成を示すブロック図である。
 図2に示すように第1の移動体制御部1031は、目標軌道生成部311および制御量演算部312を有している。
 目標軌道生成部311は、地図データベース500から取得した第1の移動体100の周囲の地図データ、ネットワークNWから受信部1012を介して取得した移動体1情報および移動体行動計画部1002から取得した移動体1目標行動に基づいて、第1の移動体100が目標行動を達成するような目標軌道を生成する。
 例えば、目標行動が「5m先の位置で停止」の場合は、5m先の位置に止まるような軌道、すなわち、目標経路および目標速度の系列が生成される。なお、目標軌道については、後に図6~図9を用いて例示する。
 制御量演算部312は、目標軌道生成部311から出力される目標軌道を第1の移動体100が追従するような制御量を演算する。
 図3は、第1の移動体100を車両とした場合の目標経路TR、すなわち、目標軌道のうち位置の系列の一例を示す図であり、目標経路TRは、X軸、Y軸を持つ絶対座標系で表されており、目標経路TRに対する第1の移動体100の横偏差および偏角がそれぞれeおよびeθで表されている。
 制御量演算部312は、図3のような目標経路TRが与えられた場合に、目標経路TRに追従するように第1の移動体100の制御量、ここでは操舵角を演算する。目標軌道に目標速度の系列が含まれる場合は、その目標速度になるようにアクセルおよびブレーキを制御する制御量を演算する。
 目標軌道生成部311および制御量演算部312は、モデル予測制御などを使って同時に実行することもできる。モデル予測制御は移動体の挙動を予測するモデル(状態方程式)と、評価関数を用いて、逐次最適化によって目標軌道と制御量を同時に計算することができる。逐次最適化の際に、将来の一定の時間間隔(ホライズン)内の移動体の状態、例えば位置および速度を予測しながら最適化を行うため、モデル予測制御と呼称される。モデル予測制御では、ホライズン内の制御量を最適化するが、その制御量を用いれば、ホライズン内の移動体の最適な軌道が計算でき、これを目標軌道として使うことができる。すなわち、目標軌道と制御量演算を同時に実行することができる。
 また、移動体制御部1003は、伝送遅延分布推定部1001が出力する移動体1伝送遅延分布情報を用いて制御量を演算することもできる。この方法は特許6940036号公報により公知である。
 なお、移動体制御部は第1の移動体100に設けることもできる。すなわち、遠隔制御装置1000からは目標行動のみを第1の移動体100に送信し、第1の移動体100で目標軌道を生成し、目標軌道に基づいて制御量、例えば目標操舵角を演算し、制御量に基づいて第1の移動体100を制御することもできる。これにより、行動計画に従って、第1の移動体100を第1の移動体100自身で制御することができる。
 <移動体>
 次に、図4および図5を用いて第1の移動体100の構成を説明する。図4は、第1の移動体100の構成を示すブロック図である。図4に示すように第1の移動体100は、内界センサ401、指令値演算部402、アクチュエータ403、受信部404、送信部405および時刻同期部406を有している。
 内界センサ401は、IMU(Inertial Measurement Unit)センサ、速度センサ、加速度センサ、操舵角センサおよび操舵トルクセンサなどの第1の移動体100の内界情報を検出し、移動体1情報として出力し、送信部405を介してネットワークNWに入力する。
 指令値演算部402は、遠隔制御装置1000の移動体制御部1003で演算された移動体1制御量を、受信部404を介して取得し、アクチュエータ403に入力できるアクチュエータ指令値に変換する演算を行う。例えば、目標操舵角であれば、電動パワーステアリング(EPS)の制御電流値などに変換する。アクチュエータ403は、第1の移動体100を実際に動作させるモータなどで構成される。
 時刻同期部406は、物体情報取得部200内の時刻同期部201、環境情報取得部300内の時刻同期部310および遠隔制御装置1000内の時刻同期部1011と連携し、データ送受信のタイミングを同期させる機能を有する。
 図5は第1の移動体100が車両の場合の構成の一例を示す図である。ドライバー、すなわち運転者が車両を操作するために設置されているステアリングホイール1は、ステアリング軸2に係合されている。ステアリング軸2は、ラックアンドピニオン機構4のピニオン軸13に係合されている。ラックアンドピニオン機構4のラック軸14は、ピニオン軸13の回転に応じて往復移動自在であり、その左右両端にはタイロッド5を介してフロントナックル6が接続されている。フロントナックル6は、操舵輪としての前輪15を回転自在に支持すると共に、車体フレームに転舵自在に支持されている。
 ドライバーがステアリングホイール1を操作して発生したトルクはステアリング軸2を回転させ、ラックアンドピニオン機構4が、ステアリング軸2の回転に応じてラック軸14を左右方向へ移動させる。ラック軸14の移動により、フロントナックル6が図示しないキングピン軸を中心に回動し、それにより前輪15が左右方向へ転舵する。よって、ドライバーは、車両が前進および後進する際にステアリングホイール1を操作することで、車両の横移動量を変化させることができる。
 なお、完全自動運転車両およびドローンなど、非搭乗型の移動体の場合は、ステアリングホイールのようなドライバー操作のための構成要素は不要となる。
 第1の移動体100には、第1の移動体100の移動状態を認識するための内界センサ401として、車速センサ20、IMUセンサ21、操舵角センサ22および操舵トルクセンサ23などが設置され、検出値は指令値演算部402に入力される。
 指令値演算部402は、図4を用いて説明したように、移動体1制御量をアクチュエータ403に入力できるアクチュエータ指令値に変換する演算を行い、加減速制御装置9および操舵制御装置12にアクチュエータ指令値を入力する。
 第1の移動体100には、第1の移動体100の横方向の運動を実現するための電動モータ3、第1の移動体100の前後方向の運動を制御するための車両駆動装置7およびブレーキ制御装置10などのアクチュエータが設置されている。
 加減速制御装置9は、車両駆動装置7およびブレーキ制御装置10を制御し、操舵制御装置12は電動モータ3を制御する。
 電動モータ3は、一般的にはモータとギアとで構成され、ステアリング軸2にトルクを与えることで、ステアリング軸2を自在に回転させることができる。つまり、電動モータ3は、ドライバーのステアリングホイールの操作と独立して、前輪15を自在に転舵させることができる。
 車両駆動装置7は、第1の移動体100を前後方向に駆動するためのアクチュエータである。車両駆動装置7は、例えばエンジンまたはモータなどの駆動源で得られた駆動力を、図示しないトランシミッションとシャフトとを介して、前輪15および後輪16を回転させる。これにより、車両駆動装置7は、第1の移動体100の駆動力を自在に制御することが可能である。
 一方、ブレーキ制御装置10は、第1の移動体100を制動するためのアクチュエータであり、第1の移動体100の前輪15および後輪16それぞれに設置されたブレーキ11のブレーキ量を制御する。一般的なブレーキは、前輪15および後輪16と共に回転するディスクロータに、油圧を用いてパッドを押し付けることによって、制動力を発生させる。
 上述した内界センサおよびその他の複数の装置は、第1の移動体100内のCAN(Controller Area Network)またはLAN(Local Area Network)などを用いてネットワークを構成している。図5に示した第1の移動体100内の各装置は、当該ネットワークを介してそれぞれの情報を取得することが可能である。また、内界センサは、当該ネットワークを介して相互にデータの送受信が可能である。なお、第1の移動体が車両以外の場合でも、アクチュエータ、内界センサ、指令値演算部などと同様の構成を有することとなる。
 <物体情報取得部および目標軌道生成部>
 次に、図6および図7を用いて物体情報取得部200の配置の一例および遠隔制御装置1000において生成される目標軌道の一例について説明する。図6は物体情報取得部200の配置の一例として、外界センサ42および43が第1の移動体100が移動する道路のサイドに配置された場合を示しており、第1の移動体100の前方には停止物体OBが存在している。外界センサ42および43の検出範囲は、それぞれ範囲R42およびR43である。
 外界センサ42および43は、カメラ、LiDAR、レーダ、ソナー、赤外カメラなどで構成され、第1の移動体100およびその他の物体の位置および速度などを検出する。なお、図6では道路のサイドに配置されているが、第1の移動体100に搭載することもできる。
 図7は、第1の移動体100の前方に停止物体OBが存在している場合に、第1の移動体100が停止物体OBを回避する目標軌道を生成するための目標経路TRを示す図である。
 図6における外界センサ42によって第1の移動体100の外界センサ42に対する相対位置と相対速度とが検出される。また、外界センサ42、43によって停止物体OBの外界センサ42、43に対する相対位置と相対速度とが検出される。物体情報取得部200は、このような移動体および停止物体OBと、外界センサ42、43の相対的な位置、速度の情報から、第1の移動体100から見た、停止物体OBの相対的な位置、速度の情報に変換する。もしくは、このような第1の移動体100および停止物体OBと、外界センサ42、43の相対的な位置、速度の情報から、第1の移動体100および停止物体OBで統一された座標系、例えばGNSSなどで使用される地理座標系に変換することで、第1の移動体100と停止物体OBとの相対的な位置、速度を算出する。
 遠隔制御装置1000の移動体行動計画部1002から「物体を回避せよ」などの移動体1目標行動が入力された場合、第1の移動体制御部1031内の目標軌道生成部311は、これらの情報に基づいて、図7に示すような目標経路TRを生成する。この目標経路TRは、第1の移動体100が停止物体OBを回避するような経路であり、移動可能領域RR内を移動するような経路である。ここでは図示していないが、目標軌道生成部311は、第1の移動体100の目標速度も生成し、目標経路TRと合わせて目標軌道とする。
 図8は、物体情報取得部200および環境情報取得部300の配置の一例を示す図であり、図9は遠隔制御装置1000において生成される目標速度の一例を示す図である。
 図8は、第1の移動体100の前方に停止線STLと信号機TLとが存在する場合の物体情報取得部200の配置の一例として、外界センサ42が第1の移動体100が移動する道路のサイドに配置され、環境情報取得部300の配置の一例として外界センサ52が停止線STLおよび信号機TLの発光色を検出できる位置に配置された場合を示している。外界センサ42および52の検出範囲は、それぞれ範囲R42およびR52である。
 図8における外界センサ42によって第1の移動体100の外界センサ42に対する相対位置と相対速度とが検出され、外界センサ52によって停止線STLおよび信号機TLの外界センサ52に対する相対位置が検出される。
 図8における外界センサ42によって第1の移動体100の外界センサ42に対する相対位置と相対速度とが検出され、外界センサ52によって停止線STLおよび信号機TLの発光色が検出される。
 図9において、横軸は第1の移動体100が停止線STLに向かって移動する際の移動距離であり縦軸は第1の移動体100の速度である。
 外界センサ52が信号機TLが赤信号であることを検出した場合、遠隔制御装置1000の移動体行動計画部1002から「信号が赤のため、停止線で停止せよ」などの移動体1目標行動が入力された場合、第1の移動体制御部1031内の目標軌道生成部311は、これらの情報に基づいて、図8に一点鎖線で示すような停止線STLで停止する目標経路TRを生成し、図9に一点鎖線で示すような目標速度TVを設定する。この目標速度TVは、第1の移動体100の速度を徐々に小さくし、停止線STLでゼロとするような速度である。目標軌道生成部311は、目標経路と目標速度とを合わせた目標軌道(停止軌道)を生成する。
 <伝送遅延分布推定部>
 図10は、伝送遅延分布推定部1001の構成の一例を示すブロック図である。この例では、伝送遅延分布推定部1001は、伝送遅延前処理部111と伝送遅延モデル部112で構成される。
 伝送遅延前処理部111は、伝送遅延計測部1013からの伝送遅延情報を、伝送遅延モデル部112で参照される伝送遅延特徴量に変換する機能を有する。伝送遅延特徴量とは、例えば予め定めた時間区間内での伝送遅延分布の平均値、分散、またはさらに高次のモーメント等とすることができる。あるいは、時間区間内の伝送遅延の最大値、最小値も伝送遅延特徴量として使用することができる。
 伝送遅延モデル部112は、伝送遅延前処理部111で算出された伝送遅延特徴量を用いて、予め構築された伝送遅延モデルを用いることで、少なくとも現在の伝送遅延の確率分布を推定し、伝送遅延分布情報として出力する機能を有する。なお、伝送遅延分布情報として、上記確率分布以外の情報、例えば、後に説明する隠れマルコフモデルにおける現在あるいは過去のモードなども含むことができる。伝送遅延モデル部112には各種のモデルを用いることができるが、本開示では、伝送遅延モデルの一例として隠れマルコフモデル(「Hidden Markov Model」、以下では「HMM」と略記する)について説明する。
 HMMは、離散または連続の確率分布に従う系列を出力するモード(状態)が、各モード間で定められた遷移確率に従って遷移するとして構築された確率モデルである。以下、HMMにおける各モードに対応した確率分布を出力分布と呼ぶ。
 HMMの出力およびモードの遷移について説明する。例えば、HMMがある時刻においてモードAであった場合、モードAの確率分布に従った系列を出力する。一方、モードは他のモードに、ある遷移確率に従って遷移し、出力の確率分布が変化する場合もある。例えばモードAからモードBに遷移した場合、モードBである時間区間では、モードBの確率分布に従った系列が出力される。HMM内で現在どのモードであるかは直接観測できず、その出力系列のみ観測されるため「隠れ」とされている。
 次に、伝送遅延がHMMでモデル化できる理由について、図11を用いて説明する。図11は、伝送遅延の時系列の例を示す図である。図11において横軸に時刻、縦軸に伝送遅延量を取った系列であり、伝送遅延計測部1013の出力を用いて容易に取得することができる。
 伝送遅延は、専用回線などを使わない場合、一般に一定の値を取ることはほとんどなく、常にばらついた値を取る。その様子は図11に示す通りであるが、ばらつき方が、ある時間区間ごとに変化していることが判る。図11の時間区間1、時間区間3あるいは時間区間4および時間区間6はそれぞれ同程度のばらつき方をしており、時間区間2および時間区間5は明らかに大きな伝送遅延が生じやすい区間となっている。
 ここで、伝送遅延はHMMに従って系列を出力していると考えると、同傾向のばらつき方をする時間区間ではHMMにおける同じモードであるとみなすことができる。すなわち時間区間1と時間区間3、時間区間2と時間区間4は同じモードであると考え、それぞれモード1、モード2とし、同様に時間区間2および時間区間5は、それぞれモード3およびモード4であると考えることができる。
 これらをHMMで表すと、図12に示すようにモデル化できる。図12は全部で4モードを持つHMMであり、それぞれの遅延モードは、以下のように表現することができる。
 モード1:分散が小さいモード
 モード2:分散が大きいモード
 モード3:小さいバーストが生じるモード
 モード4:大きいバーストが生じるモード
 ただし、これらの分布はあくまでイメージであり、実際の通信遅延は正規分布のように負の値を取ることはないことに注意する。
 図12では、pij(i=1,2,3,4、j=1,2,3,4)を遷移元のモードiから遷移先のモードjへの遷移確率としており、例えば遷移元のモードを1とした場合に、p11、p12、p13はそれぞれモード1からモード1、モード1からモード2、モード1からモード3への遷移確率を表している。モード2、モード3、モード4についてもそれぞれ同様である。
 このようにして伝送遅延モデルの一例としてHMMで伝送遅延をモデル化することができる。
 なお、伝送遅延がこのようなモデルとなる理由について、発明者らの見解を述べると、一般なネットワークの場合、データの送受信の単位であるパケットを正しい送り先に効率的にかつ、高い信頼性で届けるため、経路制御が行われる。この経路制御によって、パケットの伝送経路が変更される場合があり、モードの遷移はその伝送経路の切り替わりの状況を表現していると解釈することができる。このような経路制御は、小規模なネットワークでは、その頻度が少ないが、大規模なネットワークの場合、伝送経路の切り替わりの頻度および伝送遅延のばらつき方の変化が大きくなる。このような伝送経路の切り替わりはHMMにおけるモードの切り替わりと解釈することができる。
 上記のようなモデルを用いれば、現在のモードがどのモードに遷移しやすいかが明確となるため、行動計画の精度が向上する。なお、モード1~4は、遅延モード1~4と呼称する場合がある。
 例えば、モード1にいる場合、p11=80%、p12=19%、p13=1%などであった場合、バーストが生じるモードの3には遷移しにくいため、伝送遅延のリスクは小さいと考えることができる。
 なお、上記で説明したHMMは非階層型の隠れマルコフモデルであったが、より精密な伝送遅延モデルとして、HMMを階層化した、階層型の隠れマルコフモデルなどを使用することもできる。非階層型でも階層型でも、精度良く伝送遅延を予測できる。
 <事前情報を用いたHMMの作成方法>
 上記では、伝送遅延分布推定部1001は、伝送遅延計測部1013からの伝送遅延情報をオンラインで取得して、伝送遅延モデル部112でHMMを作成するものとして説明したが、伝送遅延計測部1013で事前に取得した伝送遅延情報報に基づいてHMMを作成することもできる。
 すなわち、ある程度の時間幅、例えば1時間などで、周期的、例えば0.01秒間隔、あるいは非周期的に取得した系列データを1セットとし、その1セットを複数取得する。複数取得されたデータセットを「事前情報」と定義する。
 得られたデータセットについて、ある時間間隔、例えば、1秒程度を定め、その時間間隔ごとに平均、分散、最大値、最小値など、伝送遅延のモードを推定可能な量を伝送遅延特徴量とする。なお、この伝送遅延特徴量を「事前情報」と定義することもできる。その伝送遅延特徴量ごとに、クラスタリングなどの手法によってモードを分類する。これを複数のデータセットに対して行い、モードとモード間の遷移確率、各モードの出力分布などを求めることで、最終的なHMMとすることができる。
 なお、第1の移動体100を実際に制御する際に伝送遅延計測部1013からオンラインで取得される伝送遅延情報を、事前情報と区別して「事後情報」と定義する。事後情報とは、遠隔制御装置1000が第1の移動体100の遠隔制御を行う際に取得される伝送遅延情報を意味する。事前情報に基づいてHMMを作成することで、HMM作成に要する時間を短縮でき、事後情報に基づいてHMMを作成することで、より現実に対応したHMMを作成できる。事後情報に基づいたHMMの作成方法については、実施の形態3で説明する。
 <移動体行動計画部>
 図13は移動体行動計画部1002の構成の一例を示すブロック図である。この例では、移動体行動計画部1002は、移動体1行動計画部1021で構成され、移動体1行動計画部1021には、地図データベース500から取得した第1の移動体100の周囲の地図データ、ネットワークNWから受信部1012を介して取得した移動体1情報および周囲情報が入力される。
 移動体1行動計画部1021は、これらの情報に基づいて、第1の移動体100が通常に移動するための行動計画、すなわち、通常移動、緊急停止および速度制限などの目標行動を決めるが、伝送遅延分布推定部1001から出力される移動体1伝送遅延分布情報によって、目標行動を変化させる機能を有する。
 図14は、移動体1行動計画部1021において、移動体1伝送遅延分布情報によって目標行動を変化させる動作を模式的に示す図である。
 図14では、第1の移動体100が図12に示す遅延モード1で通常移動中に、遅延モード2になった場合には、伝送遅延のばらつきが大きいため、速度を制限することが示されている。また、遅延モード3または遅延モード4になった場合には、バーストの遅延が生じる可能性が高いため、第1の移動体100を緊急で停止することが示されている。
 このように、移動体1伝送遅延分布情報によって、目標行動を変化させることで、伝送遅延が生じやすい状況などを考慮して、行動を計画することができる。
 なお、目標行動は、上記で表現される行動の他にも、第1の移動体100の目標の位置、姿勢および経路などで表現することもできる。
 <リスク判定部を含む移動体行動計画部>
 図15は移動体行動計画部1002の構成の一例を示すブロック図である。この例では、移動体行動計画部1002は、リスク判定部1022および移動体1行動計画部1021で構成され、リスク判定部1022は、第1の移動体リスク判定部10221で構成される。
 移動体1行動計画部1021は、第1の移動体リスク判定部10221で演算されたリスクを用いて行動を計画する。
 第1の移動体リスク判定部10221では、地図データ、移動体1情報、周囲情報および伝送遅延分布推定部1001からの移動体1伝送遅延分布情報を用いて、第1の移動体100の車線逸脱、障害物への衝突、他の移動体への衝突、壁への衝突などの危険と判断されるリスクを数値的に演算し、第1の移動体リスクとして出力する。
 リスクの演算には移動体の状態方程式または動力学モデル、ダイナミクスを使用することができ、移動体と周囲の物体との位置および速度の相対的な関係などを表す状態方程式を使用することができる。
 伝送遅延および周囲の物体との相対的な位置関係などのリスク判定が可能となり、そのリスクに基づいて行動を計画するため、行動計画の精度を向上できる。
 移動体1行動計画部1021は、第1の移動体100が通常に移動するための行動計画に対して、第1の移動体リスク判定部10221から出力されるリスクを用いて、目標行動を変化させる機能を有している。
 図16は、移動体1行動計画部1021において、第1の移動体リスク判定部10221からの第1の移動体リスクによって目標行動を変化させる動作を模式的に示す図である。
 図16では、第1の移動体100が通常移動中に、第1の移動体リスク判定部10221から出力されるリスクが大(リスク大)となった場合に、第1の移動体100を緊急で停止させ、リスクが中(リスク中)となった場合に、第1の移動体100を自動で路肩に退避させることなどが示されている。
 このように、伝送遅延のモードではなく、実際のリスクに基づいて目標行動が決定されるため、行動計画の精度が向上する。例えば、障害物の何もない平野で遠隔制御する場合には、衝突リスクはないので、大きな遅延が生じたとしてもリスクはないと判定され、精度の高い行動計画を立てることができるようになる。
  <伝送遅延リスクの計算方法>
 伝送遅延リスクの計算方法について、図12に示したHMMの遅延モードを用いて説明する。
 現在時刻をkとし、現在のモードをM、次の時刻のモードをMk+1とする。今、現在時刻kでHMMのモードが1であり、M=1とする。次の時刻k+1における伝送遅延hk+1がリスクのしきい値h(>0)より大きくなる確率は以下の数式(1)で計算される。この確率で表される事象を事象A1とする。
Figure JPOXMLDOC01-appb-M000001
 ここで、P(hk+1>h|Mk+1=1)は、モード1の出力分布の累分布関数をFとすると、以下の数式(2)で求められる。その他のモードについても同様である。
Figure JPOXMLDOC01-appb-M000002
 事象A1の生じる確率をリスクと捉え、そのリスクが所定の%以上となる場合には、リスクが高いとして緊急停止させるなどの行動計画を立てる。
 また、ここでは時刻k+1の伝送遅延リスクを計算したが、同様の計算を行えばk+2、k+3、・・・など時刻k+1よりも先の伝送遅延リスクも計算することができる。
 また、上記ではHMMを用いた伝送遅延のモデルの場合を説明したが、その他の確率モデルでも同様に計算ができる。
 <動力学モデルに基づくリスクの計算方法>
 伝送遅延リスク以外のリスクは、例えば動力学モデルを用いて演算することもでき、前述のように車線逸脱、障害物への衝突、他の移動体への衝突、壁への衝突のリスクを計算することができる。以下、車線逸脱のリスクについて、動力学モデルを用いた計算方法について、先に説明した図3を用いて説明する。
 図3のように、X軸、Y軸を持つ絶対座標系で表された目標経路TRに対する第1の移動体100の横偏差および偏角をそれぞれeおよびeθとすると、第1の移動体100の横方向の連続時間状態方程式は以下の数式(3)で表すことができる。
Figure JPOXMLDOC01-appb-M000003
 コーナリングスティフネスとは、移動体に発生する横力と横滑り角との関係を表す比例係数であり、例えば、乾燥面と湿潤面、凍結面など移動体と路面の接触面の状態によって変化する値である。
 このような動力学モデルを利用することで、将来の時刻で目標経路から移動体がどれくらい離れるか、車線逸脱のリスクはどの程度あるかなどの横方向のリスクを評価することができる。
 次に、第1の移動体100の縦方向のリスクを評価したい場合について説明する。縦方向のリスクは、前方の障害物および壁などに衝突するリスクである。以下の数式(4)の車両の縦方向の連続時間状態方程式を用いることができる。
Figure JPOXMLDOC01-appb-M000004
 数式(4)は、縦方向加速度αを用いて、目標加速度uから車速vまでの状態方程式を、時定数Tの一次遅れ系としてモデル化した場合である。
 この数式を用いることで、将来の時刻で第1の移動体100がどれくらい進むかのリスクを評価できる。また、前方の障害物との相対距離および相対速度などを含む連続時間状態方程式を構成することも可能である。この場合、前方障害物に衝突するリスクなどが評価できる。ただし、この例は一次遅れ系であるが、より詳細なモデル、例えば二次遅れ系および、移動体の前後方向の制御に使用されるアクチュエータの特性のモデルなども使用することができる。
 このように、評価したいリスクに合った連続時間状態方程式を用いることで、様々なリスクを評価することができる。
 図17は、遠隔制御装置1000が伝送遅延環境下にある制御対象、すなわち第1の移動体100を制御する制御系の一例を示すブロック図である。
 図17において、実線は連続値で表現された信号の入出力を意味し、破線は離散値で表現された信号の入出力を意味し、xおよびuは連続時間における状態および入力である。
 各種センサにより取得される第1の移動体100の移動体情報は離散値であるため、移動体情報はサンプラSの出力値に相当する。移動体情報はネットワークNWを介して遠隔制御装置1000に送信されるため、その際に伝送遅延、ここではアップロード伝送遅延DUPが発生する。移動体情報は、このアップロード伝送遅延Dup分だけ遅れて制御器ψに入力される。制御器ψは、移動体情報に基づいて、制御ゲインを用いて演算される制御量を出力する。この制御量は、第1の移動体制御部1031の制御量演算部312が出力する制御量に相当する。制御量はネットワークNWを介して移動体へ送信されるため、その際に伝送遅延、ここではダウンロード伝送遅延Ddwが発生する。ある時刻で第1の移動体100に入力される制御量は、次に入力されるまでの間、ホールダHによって一定値となる。すなわち、ホールダHは0次ホールドの機能を有する。0次ホールドされた制御量は、制御対象Pcである第1の移動体100に入力される。
 図3のX軸、Y軸を持つ絶対座標系および図17示す制御系を用いることで、伝送遅延を考慮し、状態ベクトルにuk-1を含む形で、拡大系として構成された離散時間状態方程式を構築することができる。ここで、現在時刻をkとし現在の時刻の制御入力をu、1時刻前をk-1とし1時刻前の制御入力をuk-1とする。
 伝送遅延を表す確率変数をhとすると、1時刻先の状態xであるxk+1は、以下の数式(5)で表される。
Figure JPOXMLDOC01-appb-M000005
 また、1時刻先のリスクを評価する評価量であるyk+1は、以下の数式(6)で表される。
Figure JPOXMLDOC01-appb-M000006
 ここで、xは時刻kにおける状態量に時刻k-1における入力uk-1を加えた状態ベクトルであり、数式(3)の場合、状態ベクトルxは、以下の数式(7)で表される。
Figure JPOXMLDOC01-appb-M000007
 上記数式において、Cはyk+1を状態ベクトルから生成するための行列である。また、時刻kでの行列A、行列Bとすると、それぞれ以下の数式(8)および数式(9)で表される。
Figure JPOXMLDOC01-appb-M000008
Figure JPOXMLDOC01-appb-M000009
 ここで、数式(8)におけるAおよび数式(9)におけるBは、連続時間状態方程式の係数行列である。
 そして、数式(5)の行列AおよびBは、それぞれ以下の数式(10)および数式(11)で表される。
Figure JPOXMLDOC01-appb-M000010
Figure JPOXMLDOC01-appb-M000011
 また、数式(6)の行列Cは、例えば、評価量として目標経路との横位置偏差ey,k+1とする場合は、以下の数式(12)で表すことができる。
Figure JPOXMLDOC01-appb-M000012
 このようにして得られた評価量yk+1は、伝送遅延hの関数であるgk+1(h)を用いて以下の数式(13)で表される。
Figure JPOXMLDOC01-appb-M000013
 このとき、与えられたy(>0)のもとで最初にyk+1=yに達する伝送遅延hを逆算することができる。その逆算した結果はgk -1(yt)と書く。
 第1の移動体100の時刻k+1での評価量yk+1がy(>0)より大きくなる事象を事象A2とし、リスクとして事象A2が生じる確率を考える。時刻k-1でモード1にあったことが時刻kで判っている場合、評価量yk+1が最初に評価量yとなる伝送遅延h=gk+1 -1(yt)をhA2,kとすると、事象A2が生じる確率、つまり評価量yk+1が評価量yより大きくなる確率は、以下の数式(14)で表され、伝送遅延リスクの計算方法で説明した方法でこれを計算すれば、リスクを計算することができる。
Figure JPOXMLDOC01-appb-M000014
 なお、伝送遅延hA2,kおよび伝送遅延hA2,kより大きくなる確率は、解析的または数値的に計算することができる。
 なお、上記では偏差が正側へ大きくなることへのリスクの評価方法について述べたが,負側へ小さくなることへのリスクについても同様の考え方で評価することができる。
 また、別の例では、リスクとして評価量yk+1の期待値ye,k+1とすることもできる。期待値ye,k+1は、時刻k-1でモード1にあったことが時刻kで判っている場合、以下の数式(15)で計算することができる。
Figure JPOXMLDOC01-appb-M000015
 ここで、F(|)は条件付きの累積分布関数である。また、期待値以外に、ye,k+1の分散およびさらに高次のモーメントなどもリスクとして用いることができる。
 また、以上では時刻k+1のリスクを計算したが、上記と同様の計算を行うことで、伝送遅延リスクの場合と同様に、時刻k+2、k+3、・・・など時刻k+1より先のリスクも計算することができる。
 時刻k+1以上の将来における制御入力uk+1などは、第1の移動体制御部1031の構成が既知の場合、その情報を用いて予測することができる。
 また、上述した数式(3)は、第1の移動体100の動力学モデルに依存するため、他の移動体に本開示の技術を使用する場合は、数式(3)を対象の移動体に合わせて変更して計算する。
 また、上記では、連続時間状態方程式の形でのリスク評価について説明したが、連続時間状態方程式の形を採らないこともでき、運動方程式などの動力学モデルおよびダイナミクスを表現した数式を用いることで、同様にリスクを評価することができる。
 移動体の動力学モデルが複雑な場合、P(yk+1>y|Mk-1=1)、ye,k+1などのリスクが容易に求まらない場合がある。その場合には、モンテカルロ法などの数値計算手法を用いて計算することもできる。
 <実施の形態2>
 <全体構成>
 図18は、本開示に係る実施の形態2の遠隔制御装置2000の構成の一例およびネットワークNWを介して遠隔制御される移動体MVの遠隔制御システムRCS2の構成を示すブロック図である。
 図18に示すように遠隔制御システムRCS2は、ネットワークNWに、移動体MV、遠隔制御装置2000、物体情報取得部200および環境情報取得部300が接続された構成となっている。
 本実施の形態2の遠隔制御装置2000は、複数の移動体を制御する点で遠隔制御装置1000とは異なり、移動体制御部1003は第1の移動体制御部1031および第2の移動体制御部1032を備えている。また、制御対象の移動体MVは、第1の移動体100および第2の移動体101となっている。なお、図18においては、図1を用いて説明した遠隔制御装置1000と同一の構成については同一の符号を付し、重複する説明は省略する。
 第1の移動体100および第2の移動体101は、それぞれ遠隔制御装置2000の送信部1004から送信される移動体1制御量および移動体2制御量に基づいて移動し、それぞれに搭載された速度センサ等で構成された内界センサで検出された移動体の状態量を移動体1情報および移動体2情報として出力する。
 物体情報取得部200は、第1の移動体100および第2の移動体101の周囲または第1の移動体100および第2の移動体101に搭載される1以上のセンサで構成される。物体情報取得部200は、第1の移動体100および第2の移動体101の周囲の他車両、自転車および歩行者などの障害物の位置および速度等を環境情報として取得する。また、物体情報取得部200は、第1の移動体100自身の位置および速度等を移動体1情報として取得することができ、第2の移動体101自身の位置および速度等を移動体2情報として取得することができる。この場合、移動体情報は物体情報の一部である。物体情報取得部200は、移動体情報を、ネットワークNWを介して遠隔制御装置2000内の受信部1012に送信する。また、移動体情報は、第1の移動体100に内界センサが設置される場合には、この内界センサからも取得することができ、第2の移動体101に内界センサが設置される場合には、この内界センサからも取得することができる。よって、移動体情報は、物体情報取得部200から取得することもできるし、第1の移動体100および第2の移動体101から取得することもできる。
 環境情報取得部300は、物体情報取得部200と同様に第1の移動体100の周囲に設置される1以上のセンサおよび第2の移動体101の周囲に設置される1以上のセンサで構成される。環境情報取得部300は、信号機および停止線などの環境情報を取得する。環境情報取得部300は、ネットワークNWを介して、環境情報を遠隔制御装置2000内の受信部1012に送信する。
 次に、遠隔制御装置2000の各構成要素について説明する。図18に示すように遠隔制御装置2000は、伝送遅延分布推定部1001、移動体行動計画部1002、移動体制御部1003、送信部1004、時刻同期部1011、受信部1012および伝送遅延計測部1013を備えている。
 これらは、図1に示した遠隔制御装置1000と同じ機能を有するが、伝送遅延計測部1013は、時刻同期部1011で同期された時刻を用いて、第1の移動体100および第2の移動体101と遠隔制御装置2000との間で生じているそれぞれ伝送遅延を計測し、第1の移動体100の移動体1伝送遅延情報および第2の移動体101の移動体2伝送遅延情報として伝送遅延分布推定部1001に出力する。
 伝送遅延分布推定部1001は、伝送遅延計測部1013からの移動体1伝送遅延情報および移動体2伝送遅延情報を用いて、第1の移動体100に関する移動体1伝送遅延分布情報および第2の移動体101に関する移動体2伝送遅延分布情報を出力する。
 なお、伝送遅延計測部1013および伝送遅延分布推定部1001は、複数の移動体のネットワークの環境、および周囲の状況がほぼ同等で、伝送遅延の傾向が同程度とみなせる場合は、第1の移動体100の伝送遅延情報および、第2の移動体101の伝送遅延情報を同一とみなし、第1の移動体100および第2の移動体101をグループ化し、どちらかの伝送遅延情報を使用して共通の伝送遅延分布情報を推定して移動体行動計画部1002に出力する。
 これにより伝送遅延分布を推定する演算が一度で済み、計算負荷を下げることができる。なお、移動体が3台以上の場合にも同様である。
 移動体行動計画部1002は、地図データベース500から取得した第1の移動体100の周囲の地図データ、ネットワークNWを介して取得した、物体情報取得部200から出力される物体情報、環境情報取得部300から出力される環境情報、第1の移動体100から出力される移動体1情報、第2の移動体101から出力される移動体2情報、伝送遅延分布推定部1001から出力される移動体1伝送遅延分布情報および移動体2伝送遅延分布情報を用いて、第1の移動体100および第2の移動体101の行動、すなわち減速する、障害物回避する、停止する、車線変更する、路肩回避する、緊急回避するなどの行動を計画し、第1の移動体100の移動体1目標行動および第2の移動体101の移動体2目標行動として出力する。
 移動体制御部1003の第1の移動体制御部1031は、ネットワークNWから受信部1012を介して取得した移動体1情報と、移動体行動計画部1002から取得した移動体1目標行動とに基づいて、第1の移動体100を目標軌道に追従させるための移動体1制御量を演算する。
 移動体制御部1003の第2の移動体制御部1032は、ネットワークNWから受信部1012を介して取得した移動体2情報と、移動体行動計画部1002から取得した移動体2目標行動とに基づいて、第2の移動体101を目標軌道に追従させるための移動体2制御量を演算する。
 <移動体行動計画部>
 図19は移動体行動計画部1002の構成の一例を示すブロック図である。この例では、移動体行動計画部1002は、リスク判定部1022および複数台行動計画部1023で構成され、リスク判定部1022は、第1の移動体リスク判定部10221および第2の移動体リスク判定部10222で構成される。
 複数台行動計画部1023は、第1の移動体リスク判定部10221で演算された第1の移動体リスクおよび第2の移動体リスク判定部10222で演算された第2の移動体リスクを用いて行動を計画する。
 第1の移動体リスク判定部10221では、地図データ、移動体1情報、周囲情報および伝送遅延分布推定部1001からの移動体1伝送遅延分布情報を用いて、第1の移動体100の車線逸脱、障害物への衝突、他の移動体への衝突、壁への衝突などの危険と判断されるリスクを数値的に演算し、第1の移動体リスクとして出力する。
 第2の移動体リスク判定部10222では、地図データ、移動体2情報、周囲情報および伝送遅延分布推定部1001からの移動体2伝送遅延分布情報を用いて、第2の移動体101の車線逸脱、障害物への衝突、他の移動体への衝突、壁への衝突などの危険と判断されるリスクを数値的に演算し、第2の移動体リスクとして複数台行動計画部1023に出力する。
 リスクの演算は、図15に示した移動体行動計画部1002のリスク判定部1022と同じであり、説明は省略する。
 <複数台行動計画>
 図20を用いて遠隔制御装置2000が複数台の移動体を制御する場合に、移動体行動計画部1002の複数台行動計画部1023により作成される複数台行動計画を説明する。
 図20は、第1の移動体100と第2の移動体101とがすれ違う場合の行動計画を説明する図であり、第1の移動体100が移動する道路のサイドに2つの外界センサ42が配置されている。2つの外界センサ42は、破線で示される検出範囲が一部で重なるような間隔で配置され、離れた位置にある第1の移動体100および第2の移動体101をカバーしている。
 ここで、第2の移動体101の伝送遅延がバーストしやすいモードであり、第1の移動体100は分散の小さいモードであるとする。この場合、複数台行動計画部1023は、第2の移動体101のリスクが高いと判断し、図20に一点鎖線で示すような目標経路TR1を生成し停止位置GAで停止させる。一方、第1の移動体100はリスクが小さいと判断し、そのまま直進させるが、依然としてリスクがあると判断すると、図20に一点鎖線で示すような目標経路TRを生成し、第2の移動体101から少し離れるような行動を第1の移動体100に対して指示する。
 このように、複数台行動計画部1023は、移動体どうしの相対位置、速度、伝送遅延分布を考慮し、全体のリスクを低下させるような行動を、移動体のそれぞれに指示する。これにより、複数台の移動体を効率的に動作させることができる。
 なお、それぞれの移動体の目標軌道を使って移動体の将来の位置を予測し、リスクを計算することもできる。
 また、上記では複数台行動計画は、複数の移動体の行動を同時に計画するものとしたが、それぞれ独立に計画することもできる。
 <実施の形態3>
 <全体構成>
 図21は、本開示に係る実施の形態3の遠隔制御装置3000の構成の一例およびネットワークNWを介して遠隔制御される移動体MVの遠隔制御システムRCS3の構成を示すブロック図である。
 図21に示すように遠隔制御システムRCS3は、ネットワークNWに、移動体MV、遠隔制御装置3000、物体情報取得部200および環境情報取得部300が接続された構成となっている。
 本実施の形態3の遠隔制御装置3000は、伝送遅延分布推定部1001には、伝送遅延計測部1013からの伝送遅延情報だけでなく、地図データベース500からの地図データ、ネットワークNWを介して取得した、周囲情報および移動体情報が入力される点で図1に示した遠隔制御装置1000と異なっている。なお、図21においては、図1を用いて説明した遠隔制御装置1000と同一の構成については同一の符号を付し、重複する説明は省略する。
 また、図21においては、説明を容易とするため、移動体MVは第1の移動体100のみとしているが、複数の移動体に対しても図18に示した遠隔制御装置2000と同様に制御対象とすることができる。この場合、伝送遅延分布推定部1001は、複数の移動体の情報が受信部1012から入力され、複数の移動体それぞれの伝送遅延分布情報を、移動体行動計画部1002に出力する。
 また、伝送遅延計測部1013および伝送遅延分布推定部1001は、複数の移動体のネットワークの環境、および周囲の状況がほぼ同等で、伝送遅延の傾向が同程度とみなせる場合は、第1の移動体100の伝送遅延情報および、第2の移動体101の伝送遅延情報を同一とみなし、第1の移動体100および第2の移動体101をグループ化し、どちらかの伝送遅延情報を使用して共通の伝送遅延分布情報を推定して移動体行動計画部1002に出力する。これにより伝送遅延分布を推定する演算が一度で済み、計算負荷を下げることができる。
 <伝送遅延分布推定部>
 図22は、伝送遅延分布推定部1001の構成の一例を示すブロック図である。この例では、伝送遅延分布推定部1001は、伝送遅延前処理部111、伝送遅延モデル部112および環境前処理部113で構成される。
 伝送遅延前処理部111は、伝送遅延計測部1013からの伝送遅延情報を、伝送遅延モデル部112で参照される伝送遅延特徴量に変換する機能を有する。
 伝送遅延モデル部112は、伝送遅延前処理部111で算出された伝送遅延特徴量を用いて予めモデル化されており、伝送遅延特徴量、環境特徴量を参照することで、伝送遅延分布情報を演算する。
 伝送遅延は、移動体の位置、時間帯、周囲の環境すなわち周辺構造物と移動体との相対位置などに影響されるが、それらの情報は、地図データおよび移動体情報から取得できる。
 環境前処理部113は、伝送遅延情報以外の環境情報について、その特徴量を計算する。すなわち、移動体情報、地図データから時間帯、移動体の位置、周囲の環境を特徴づける、環境特徴量を演算する。
 伝送遅延特徴量は、伝送遅延の系列から直接求められるものであるが、環境特徴量は、移動体の周囲の状況を表したものであり、現在時刻、移動体周囲の電波の状況、周囲の構造物の有無および移動体との距離、移動体周囲の伝導体、障害物、電波強度、トラフィックなどの物理的に計測できる値から演算される。環境前処理部113では、地図データ、移動体情報、周囲情報を用いて、環境特徴量を演算する。
 例えば、移動体の近くにビルがある場合は、ビルの位置が地図データから検出でき、移動体の位置がGNSSから検出できるので、その相対距離を数値化して環境特徴量とすることができる。また、電波強度などもアンテナと受信機で検出できるので、環境特徴量とすることができる。
 伝送遅延は先に述べたように、伝送経路の切り替わりによりばらつき方が変化するが、その他にも回線使用者の状況、トラフィック、ルータの特性など、ネットワークNWの負荷状況に起因して伝送遅延が生じる場合もある。また、移動体は移動するので、電波伝搬経路上の障害物の有無、ジャミング、移動体周辺の伝導体の有無などの影響により伝送遅延が生じる場合もある。これらの要因が複数重なって、最終的な伝送遅延となっていると考えられる。
 このような状況を表現した環境特徴量を伝送遅延モデルに入力することにより、より精度の高い伝送遅延モデルの作成および、伝送遅延分布の推定が可能となり、結果的にリスク推定および行動計画の精度が上がる効果がある。
 実施の形態3における伝送遅延モデルは、具体的には、図12におけるpij(i=1,2,3,4、j=1,2,3,4)で表現された各モード間の遷移確率が、環境特徴量で変化するように構成される。例えば、周りにビルなど、電波を屈折、遮断させるような構造物が多い場所を移動する場合、大きな伝送遅延のモードに遷移しやすくなるように、遷移確率を大きくする。あるいは、夜間はトラッフィクが減少するため、大きな伝送遅延のモードに遷移しにくくなるように、遷移確率を小さくするなどのモデル化が考えられる。
 実施の形態3の伝送遅延モデル部112では、環境前処理部113で演算された環境特徴量も参照するが、例えば、電波強度を環境特徴量として選んだ場合、電波強度を参照することにより、HMMの現在のモードが推定できるので、そのモードでの確率分布を、伝送遅延分布情報として出力する。
 <実施の形態4>
 <伝送遅延分布推定部>
 図23は、本開示に係る実施の形態4の遠隔制御装置4000の伝送遅延分布推定部1001の構成の一例を示すブロック図である。この例では、伝送遅延分布推定部1001は、モデル部115で構成されている。なお、伝送遅延分布推定部1001を除き、その他の構成は、図21に示した実施の形態3の遠隔制御装置3000と同じであるので、全体構成は図21と同じとし、重複する説明は省略する。
 モデル部115は、伝送遅延計測部1013からの伝送遅延情報、地図データベース500からの地図データ、ネットワークNWを介して取得した、周囲情報および移動体情報が入力され、機械学習により伝送遅延分布情報を演算する。
 近年、ディープラーニング技術を筆頭に、AI(Artificial Intelligence)を用いた機械学習の技術がめざましく発展している。
 本実施の形態では、伝送遅延のモデルを機械学習の技術を用いて学習し、得られた学習済みモデルを用いることで伝送遅延分布情報を高精度に得ることができる。
 図23の伝送遅延分布推定部1001は、機械学習を用いて学習させた学習済みモデルを用いて、オンラインに伝送遅延分布情報を出力する構成となっている。伝送遅延モデルを学習する際、まず学習用データを取得する必要がある。学習用データを取得するには、第1の移動体100を移動させ、伝送遅延計測部1013からの移動体1伝送遅延情報、ネットワークNWを介して取得した周囲情報、移動体情報を取得し、データセットとして保存する。モデル部115は、保存したデータセットと、地図データベース500を用いて学習させることができる。
 伝送遅延モデルをHMMモデルとする学習方法は、主に音声認識分野でよく研究されており、その方法を用いることでHMMモデルを学習させることができる。より一般的な伝送遅延モデルを学習させたい場合、時系列を学習するLSTM(Long Short Time Memory)を用いた機械学習方法を用いて、学習させることができる。
 伝送遅延としては、少なくとも伝送遅延量、予め定めた時間区間での伝送遅延の平均値、伝送遅延の分散、伝送遅延の最大値、最小値の何れかを含むことができる。
 周囲情報として、少なくとも、時刻、移動体周囲の電波の状況、移動体周囲の構造物の有無や移動体との構造物の距離、移動体周囲での伝導体および障害物、電波強度、天候、トラフィックを含むことができる。
 地図データとしては、少なくとも、移動体周囲の道路形状、周囲の構造物の位置、形状などを含むことができる。
 機械学習においては、入力と出力に相関があれば学習が可能であり、モデル部115に伝送遅延特徴量、環境特徴量および地図データを入力することで、伝送遅延分布情報が出力される。ディープラーニングによるHMMの学習方法については、例えば、荒木雅弘(著)、森北出版株式会社、「フリーソフトでつくる音声認識システム(第2版)」に開示されている。
 <ハードウェア構成>
 なお、以上説明した実施の形態1~4の遠隔制御装置1000~4000の各構成要素は、コンピュータを用いて構成することができ、コンピュータがプログラムを実行することで実現される。すなわち、遠隔制御装置1000~4000は、例えば図24に示す処理回路60により実現される。処理回路60には、CPU(Central Processing Unit)、DSP(Digital Signal Processor)などのプロセッサが適用され、記憶装置に格納されるプログラムを実行することで各部の機能が実現される。
 なお、処理回路60には、専用のハードウェアが適用されても良い。処理回路60が専用のハードウェアである場合、処理回路60は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、またはこれらを組み合わせたもの等が該当する。
 遠隔制御装置1000~4000は、構成要素の各々の機能が個別の処理回路で実現することもでき、それらの機能がまとめて1つの処理回路で実現することもできる。
 また、図25には、処理回路60がプロセッサを用いて構成されている場合におけるハードウェア構成を示している。この場合、遠隔制御装置1000~4000の各部の機能は、ソフトウェア等(ソフトウェア、ファームウェア、またはソフトウェアとファームウェア)との組み合わせにより実現される。ソフトウェア等はプログラムとして記述され、メモリ62に格納される。処理回路60として機能するプロセッサ61は、メモリ62(記憶装置)に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、このプログラムは、遠隔制御装置1000~4000の構成要素の動作の手順および方法をコンピュータに実行させるものであると言える。
 ここで、メモリ62は、例えば、RAM、ROM、フラッシュメモリー、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)等の、不揮発性または揮発性の半導体メモリ、HDD(Hard Disk Drive)、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD(Digital Versatile Disc)およびそのドライブ装置等、または、今後使用されるあらゆる記憶媒体とすることができる。
 以上、遠隔制御装置1000~4000の各構成要素の機能が、ハードウェアおよびソフトウェア等の何れか一方で実現される構成について説明した。しかしこれに限ったものではなく、遠隔制御装置1000~4000の一部の構成要素を専用のハードウェアで実現し、別の一部の構成要素をソフトウェア等で実現することもできる。例えば、一部の構成要素については専用のハードウェアとしての処理回路60でその機能を実現し、他の一部の構成要素についてはプロセッサ61としての処理回路60がメモリ62に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
 以上のように、遠隔制御装置1000~4000は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。
 本開示は詳細に説明されたが、上記した説明は、すべての局面において、例示であって、本開示がそれに限定されるものではない。例示されていない無数の変形例が、本開示の範囲から外れることなく想定され得るものと解される。
 なお、本開示は、その開示の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略することが可能である。

Claims (13)

  1.  ネットワークを少なくとも含む伝送経路を介して、少なくとも1つの移動体を制御する遠隔制御装置であって、
     前記伝送経路での伝送遅延の確率分布を含む伝送遅延分布情報を推定する伝送遅延分布推定部と、
     前記伝送遅延分布情報に基づいて、前記少なくとも1つの移動体の目標行動を計画する行動計画部と、を備え、
     前記伝送遅延分布推定部は、
     前記伝送遅延のモードに基づく伝送遅延モデルを用いて、前記伝送遅延の確率分布を推定する、遠隔制御装置。
  2.  前記伝送遅延分布推定部は、
     事前に取得した伝送遅延情報またはオンラインで取得した前記伝送遅延情報に基づいて、前記伝送遅延分布情報を推定する、請求項1記載の遠隔制御装置。
  3.  前記行動計画部で計画された前記目標行動を実行させるように、前記少なくとも1つの移動体を制御する制御量を演算する制御部を備える、請求項1または請求項2記載の遠隔制御装置。
  4.  前記行動計画部は、
     前記伝送遅延の前記モードに対応するように前記目標行動を計画する、請求項1から請求項3の何れか1項に記載の遠隔制御装置。
  5.  前記伝送遅延分布推定部は、
     前記伝送遅延情報と、前記少なくとも1つの移動体の周囲の環境を特徴づける環境特徴量とに基づいて、前記伝送遅延分布情報を推定する、請求項2記載の遠隔制御装置。
  6.  前記伝送遅延分布推定部は、
     機械学習を用いて前記伝送遅延モデルを学習して構築する、請求項1記載の遠隔制御装置。
  7.  前記伝送遅延分布推定部は、
     前記伝送遅延モデルとして、階層型または非階層型の隠れマルコフモデルを用いる、請求項1から請求項6の何れか1項に記載の遠隔制御装置。
  8.  前記少なくとも1つの移動体は複数の移動体であって、
     前記行動計画部は、
     前記複数の移動体のそれぞれに対する前記目標行動を計画する、請求項1から請求項7の何れか1項に記載の遠隔制御装置。
  9.  前記伝送遅延分布推定部は、
     前記複数の移動体のそれぞれの前記伝送遅延分布情報が同一とみなせる場合は、前記複数の移動体をグループ化し、何れかの前記伝送遅延分布情報を使用して共通の前記伝送遅延分布情報を推定する、請求項8記載の遠隔制御装置。
  10.  前記行動計画部は、
     前記伝送遅延分布情報に加えて、前記少なくとも1つの移動体の状態情報および前記少なくとも1つの移動体の周囲の周囲情報を用いて、前記少なくとも1つの移動体と周囲の物体との位置および速度の相対的な関係を表す状態方程式を使用して前記少なくとも1つの移動体のリスクを判定し、判定した前記リスクに基づいて、前記目標行動を変化させる、請求項1から請求項9の何れか1項に記載の遠隔制御装置。
  11.  請求項1または請求項2記載の遠隔制御装置と、
     前記ネットワークと、
     前記少なくとも1つの移動体と、を備え、
     前記少なくとも1つの移動体は、前記遠隔制御装置の前記行動計画部で計画された前記目標行動を実行する制御部を有し、
     前記遠隔制御装置は、前記行動計画部で計画した前記目標行動を前記ネットワークを介して前記少なくとも1つの移動体に送信し、前記目標行動を実行させる遠隔制御システム。
  12.  請求項3記載の遠隔制御装置と、
     前記ネットワークと、
     前記少なくとも1つの移動体と、を備え、
     前記遠隔制御装置は、前記制御部で演算された前記制御量を前記ネットワークを介して前記少なくとも1つの移動体に送信し、前記行動計画部で計画した前記目標行動を前記少なくとも1つの移動体で実行させる、遠隔制御システム。
  13.  少なくとも1つの移動体を遠隔制御する場合の前記少なくとも1つの移動体のリスクを判定するリスク判定方法であって、
     ネットワークを少なくとも含む伝送経路での伝送遅延の確率分布を含む伝送遅延分布情報と、前記少なくとも1つの移動体の状態情報および前記少なくとも1つの移動体の周囲の周囲情報を用いて、前記少なくとも1つの移動体と周囲の物体との位置および速度の相対的な関係を表す状態方程式を使用して前記少なくとも1つの移動体のリスクを判定する、リスク判定方法。
PCT/JP2022/026790 2022-07-06 2022-07-06 遠隔制御装置、遠隔制御システムおよびリスク判定方法 WO2024009418A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2022/026790 WO2024009418A1 (ja) 2022-07-06 2022-07-06 遠隔制御装置、遠隔制御システムおよびリスク判定方法
JP2022564301A JP7309083B1 (ja) 2022-07-06 2022-07-06 遠隔制御装置、遠隔制御システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/026790 WO2024009418A1 (ja) 2022-07-06 2022-07-06 遠隔制御装置、遠隔制御システムおよびリスク判定方法

Publications (1)

Publication Number Publication Date
WO2024009418A1 true WO2024009418A1 (ja) 2024-01-11

Family

ID=87106580

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/026790 WO2024009418A1 (ja) 2022-07-06 2022-07-06 遠隔制御装置、遠隔制御システムおよびリスク判定方法

Country Status (2)

Country Link
JP (1) JP7309083B1 (ja)
WO (1) WO2024009418A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018168601A1 (ja) * 2017-03-16 2018-09-20 日本電気株式会社 遅延予測装置、遅延予測システム、遅延予測方法および記録媒体
JP2021026696A (ja) * 2019-08-08 2021-02-22 トヨタ自動車株式会社 車両遠隔指示システム及び遠隔指示装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111497841A (zh) 2020-05-15 2020-08-07 清华大学 一种随机通信时延下的网联车辆巡航控制方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018168601A1 (ja) * 2017-03-16 2018-09-20 日本電気株式会社 遅延予測装置、遅延予測システム、遅延予測方法および記録媒体
JP2021026696A (ja) * 2019-08-08 2021-02-22 トヨタ自動車株式会社 車両遠隔指示システム及び遠隔指示装置

Also Published As

Publication number Publication date
JP7309083B1 (ja) 2023-07-14

Similar Documents

Publication Publication Date Title
CN112368662B (zh) 用于自主运载工具操作管理的定向调整动作
CN108073170B (zh) 用于自主车辆的自动化协同驾驶控制
JP6540826B2 (ja) 車両道路網の走行に用いられる予測車両情報の生成方法及び装置
RU2744640C1 (ru) Варианты управления работой автономного транспортного средства
US20180306927A1 (en) Method and apparatus for pulse repetition sequence with high processing gain
US11099563B2 (en) Multi-controller synchronization
US10416679B2 (en) Method and apparatus for object surface estimation using reflections delay spread
JP6594589B1 (ja) 走行計画生成装置および自動運転システム
US20190118829A1 (en) Systems and Methods for a Vehicle Controller Robust to Time Delays
CN112868031B (zh) 具有视觉显著性感知控制的自主运载工具操作管理
KR20150038776A (ko) 인프라 센서를 이용한 자동주차 시스템
JP7194867B2 (ja) 自律走行車の安全性が確保される遠隔運転
JP2022515154A (ja) 適応型マルチネットワーク車両アーキテクチャ
KR102589587B1 (ko) 자율 주행 차량용 동적 모델 평가 패키지
WO2019203022A1 (ja) 移動体、情報処理装置、情報処理方法、及びプログラム
CN112977472A (zh) 预测车辆的移动轨迹的方法及系统
CN113671964B (zh) 一种无人艇高性能轨迹跟踪控制系统和方法
WO2024009418A1 (ja) 遠隔制御装置、遠隔制御システムおよびリスク判定方法
WO2024009429A1 (ja) 遠隔制御装置、遠隔制御方法、遠隔制御システムおよび移動体
JP6940036B1 (ja) 遠隔制御装置
US20230074293A1 (en) Object trajectory forecasting
JP7465705B2 (ja) 車両制御装置、車両制御方法、及びプログラム
US20240092365A1 (en) Estimation device, estimation method, and program
JP7490012B2 (ja) 車両制御装置
RU2790105C2 (ru) Способ и электронное устройство для управления беспилотным автомобилем

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22950212

Country of ref document: EP

Kind code of ref document: A1