WO2021210312A1 - 制御装置、制御方法、及びプログラム - Google Patents
制御装置、制御方法、及びプログラム Download PDFInfo
- Publication number
- WO2021210312A1 WO2021210312A1 PCT/JP2021/010062 JP2021010062W WO2021210312A1 WO 2021210312 A1 WO2021210312 A1 WO 2021210312A1 JP 2021010062 W JP2021010062 W JP 2021010062W WO 2021210312 A1 WO2021210312 A1 WO 2021210312A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- moving body
- policy
- control
- network
- policy information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0022—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement characterised by the communication link
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/0011—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
- G05D1/0038—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/005—Handover processes
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/10—Longitudinal speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
- B60W2552/40—Coefficient of friction
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
Definitions
- the present invention relates to a technique for controlling a moving body to be monitored from a remote location.
- Level 3 and Level 4 autonomous vehicles can autonomously drive by utilizing sensors, cameras, and the like.
- Non-Patent Document 1 discloses a technique for improving the reachability of a message (control signal) by using the communication enable / disable state / state transition frequency. Further, Non-Patent Document 2 discloses a technique that enables remote control even in an environment with NW delay by combining a control response (feedback) and NW delay prediction.
- the observer who monitors the autonomous vehicle from a remote location takes some time to stop even if he notices the danger. Further, if the NW quality is poor, it takes time for the stop instruction to reach the autonomous driving vehicle even if the stop instruction is given due to the NW delay. Further, the distance from the arrival of the stop instruction to the autonomous vehicle to the actual stop of the autonomous vehicle varies depending on the surrounding conditions of the autonomous vehicle.
- the present invention has been made in view of the above points, and provides a technique for appropriately controlling a mobile body according to the quality of the network and the surrounding conditions in a system for monitoring the moving body from a remote location via a network.
- the purpose is.
- control device that controls a mobile body in a system that monitors the mobile body from a remote location via a network.
- a policy database that stores policy information for controlling the mobile body
- a policy information calculation unit that calculates policy information indicating control contents according to the quality of the network based on the surrounding conditions of the mobile body and stores the policy information in the policy database.
- FIG. 1 shows an overall configuration diagram of a system according to a first embodiment (and a second embodiment) of the present invention.
- this system includes a mobile body 10, a regulation information storage device 300, and a monitoring control device 400, and these devices are configured to be communicable via a network 500.
- the network 500 is a network including a mobile network, the Internet, and the like.
- the moving body 10 is, for example, an agricultural machine such as a tractor having a communication function and an automatic driving function.
- the moving body 10 is not limited to the agricultural machine, and may be a car (automobile) or the like having a communication function and an automatic driving function.
- the moving body 10 is provided with a camera, and the image taken by the camera (the image around the moving body 10) is sent to the monitoring control device 400, and the image displayed on the display of the monitoring control device 400 is displayed.
- the observer monitors.
- cameras around the moving body 10 may be installed, and the image of the camera may also be transmitted to the monitoring control device 400.
- the moving body 10 When the observer watching the video detects that the moving body 10 is in a dangerous state from the surrounding conditions of the moving body 10, for example, the moving body 10 is stopped by operating the monitoring control device 400. It should be noted that the monitoring and control of the moving body may be performed automatically instead of a human being.
- the moving body 10 includes a control device 100 and a NW information collecting device 200.
- the control device 100 is a device having the function according to the present invention, and the details thereof will be described later.
- the NW information collecting device 200 collects NW information (which may be called NW quality) such as delay, packet loss, and jitter related to communication between the monitoring control device 400 and the mobile body 10 via the network 500.
- NW quality such as delay, packet loss, and jitter related to communication between the monitoring control device 400 and the mobile body 10 via the network 500.
- the control device 100 provided in the mobile body 10 acquires NW information from the NW information collecting device 200 and executes real-time control based on the NW information.
- the control contents include, for example, control of the speed of the moving body 10, control of the frame rate of the camera mounted on the moving body 10, and the like.
- the regulation information storage device 300 stores regulation information such as a stop distance regulation.
- the control device 100 acquires the specified information from the specified information storage device 300, and calculates the policy value (which may be called policy information) based on the specified information.
- the regulation information storage device 300 may be provided on the cloud.
- the observer monitors the moving body 10 by looking at the image displayed on the display of the monitoring control device 400.
- the observer operates the monitoring control device 400 to transmit an instruction to stop the moving body 10.
- the distance from the point where the moving body 10 is in danger (the event that the observer judges to be dangerous) to the point where the moving body 10 actually stops is called the "stop distance".
- the stop distance according to the surrounding conditions and the like is predetermined, and the value is stored in the specified information storage device 300. This defined stopping distance means that the moving body 10 must stop within a distance within that stopping distance.
- the actual stopping distance of the moving body 10 can be calculated (estimated) by "idle running distance + braking distance".
- the free running distance is calculated by "(reciprocating delay + reaction time) x speed of moving body 10", and the braking distance is calculated based on the friction coefficient and the speed of moving body 10.
- the “round-trip delay” is from the time from the time when the moving body 10 actually becomes dangerous to the time when the image is displayed on the monitoring control device 400 (one-way delay) and the time when the observer performs the control operation. , The time until the time when the control for stopping is actually executed for the moving body 10 (one-way delay), and in the present embodiment, this "round-trip delay" is monitored with the moving body 10 in the network 500. It is a round-trip delay with the control device 400.
- reaction time is the time from when the observer detects the danger to the moving body 10 by the image to when the control operation is performed, and in the present embodiment, the value is set in advance according to the age of the observer or the like. ..
- the moving body 10 can be moved within the specified stopping distance. It may not be possible to stop it.
- the control device 100 collects the own vehicle situation and the surrounding situation as shown in FIG. 2, and based on the information, the moving body within the specified stopping distance for each NW quality.
- the speed of the moving body 10 capable of stopping the 10 is calculated as a policy value and stored in the policy DB, and the speed of the moving body 10 is controlled according to the actual NW quality by referring to the policy DB. ..
- the control device 100 also controls the frame rate of the camera according to the NW quality.
- x_d is the NW delay acquired by the NW information collecting device 200
- x_l is the packet loss acquired by the NW information collecting device 200.
- the control device 100 controls to decelerate the moving body 10, and when the NW delay becomes 10 ms or more, the moving body 10 is stopped. Take control.
- the NW switching shown in FIG. 3 is a situation in which, for example, when the mobile body 10 is connected to the 5G network for communication, the communication quality of the 5G network deteriorates and the mobile body 10 switches to the LTE network. ..
- NW switching occurs, communication may be temporarily interrupted. Therefore, in the example of FIG. 3, when the NW switching occurs, the control for stopping the moving body 10 is executed.
- FIG. 4 shows an example of the functional configuration of the control device 100 according to the first embodiment.
- the control device 100 includes a policy value calculation unit 110, an image acquisition unit 111, a vehicle status acquisition unit 112, an ambient condition calculation unit 113, a stop distance regulation acquisition unit 114, a policy DB 120, and a policy management unit 130. , Information acquisition unit 140, action management unit 150, and NW information receiving unit 160. Further, FIG. 4 also shows a camera 170 connected to the control device 100. The operation of each functional unit will be described later.
- policy value calculation unit 110 and the surrounding situation calculation unit 113 may be collectively referred to as the policy information calculation unit.
- action management unit 150 may be called a control execution unit.
- control device 100 may be provided entirely in the moving body 10, or a part of the control device 100 may be provided outside the moving body 10 (for example, on the cloud).
- the policy value calculation unit 110 and the policy DB 120 may be provided on the cloud.
- the control device 100 in the present embodiment can be realized by, for example, causing a computer to execute a program describing the processing contents described in the present embodiment.
- the above program can be recorded on a computer-readable recording medium (portable memory, etc.), saved, and distributed. It is also possible to provide the above program through a network such as the Internet or e-mail.
- FIG. 5 is a diagram showing a hardware configuration example of the above computer.
- the computer of FIG. 5 has a drive device 1000, an auxiliary storage device 1002, a memory device 1003, a CPU 1004, an interface device 1005, a display device 1006, an input device 1007, an output device 1008, and the like, which are connected to each other by a bus BS.
- the program that realizes the processing on the computer is provided by, for example, a recording medium 1001 such as a CD-ROM or a memory card.
- a recording medium 1001 such as a CD-ROM or a memory card.
- the program is installed in the auxiliary storage device 1002 from the recording medium 1001 via the drive device 1000.
- the program does not necessarily have to be installed from the recording medium 1001, and may be downloaded from another computer via the network.
- the auxiliary storage device 1002 stores the installed program and also stores necessary files, data, and the like.
- the memory device 1003 reads and stores the program from the auxiliary storage device 1002 when the program is instructed to start.
- the CPU 1004 realizes the function related to the control device 100 according to the program stored in the memory device 1003.
- the interface device 1005 is used as an interface for connecting to a network.
- the display device 1006 displays a programmatic GUI (Graphical User Interface) or the like.
- the input device 1007 is composed of a keyboard, a mouse, buttons, a touch panel, and the like, and is used for inputting various operation instructions.
- the output device 1008 outputs the calculation result.
- step 1> the action management unit 150 registers (holds) an action that is a control content for the moving body 10. In this embodiment, the following eight actions are registered.
- Control (60 km / h) (2) Control (30km / h) (3) Control (10 km / h) (4) Control (stop) (5) Camera (30 FPS) (6) Camera (10 FPS) (7) Camera (1FPS) (8) Camera (stop)
- the "control (30 km / h)" in (2) means a control in which the speed of the moving body 10 is set to 30 km / h.
- the “camera (30 FPS)” in (5) means a control in which the frame rate of the camera 170 is set to 30 FPS.
- the own vehicle status acquisition unit 112 acquires the type (vehicle, tractor, etc.) of the moving body 10 on which the control device 100 is mounted. Regarding the method of acquiring the type, the own vehicle status acquisition unit 112 may estimate from the type of action, or may read the information directly provided by the moving body 10. It should be noted that the own vehicle status may be set in advance without providing the own vehicle status acquisition unit 112.
- the reaction time used in the policy value calculation is acquired by, for example, the own vehicle status acquisition unit 112 (may be the surrounding condition calculation unit 113) by receiving the observer's information from the monitoring control device 400.
- the information of the observer may be the reaction time itself, the age of the observer, or the like.
- the vehicle status acquisition unit 112 estimates the reaction time corresponding to the age. Further, the reaction time may be set in advance without acquiring / estimating the reaction time.
- the image acquisition unit 111 acquires the image taken by the camera 170 and delivers the image to the surrounding situation calculation unit 113.
- the surrounding situation calculation unit 113 determines the road surface condition, the weather, and the brightness based on the image passed from the image acquisition unit 111.
- the judgment method is not limited to a specific method, but for example, for the road surface condition (concrete or gravel road / wet or not wet) and the weather (sunny or rain / snow), each condition is correct data. And determine which state the image is in based on the learning data.
- the brightness daytime or nighttime is determined from the brightness of the image.
- the regulation information acquisition unit 114 acquires the regulation information according to the own vehicle situation and the surrounding situation from the regulation information storage device 300. Examples of the specified information to be acquired are shown in FIGS. 7 and 8.
- FIG. 7 shows an example in which the friction coefficient is acquired as the specified information. For example, when the own vehicle condition is "vehicle” and the road surface condition is "concrete” and "wet", 0.5 as a friction coefficient is acquired from the specified information storage device 300.
- FIG. 8 shows an example in the case of acquiring the specified stop distance as the specified information. For example, when the weather is "sunny" and the brightness is "daytime", 15 m as the specified stop distance is acquired from the specified information storage device 300.
- the policy value calculation unit 110 responds to the NW state based on the vehicle status acquired by the vehicle status acquisition unit 112, the surrounding condition calculated by the surrounding condition calculation unit 113, and the regulation information acquired by the regulation information acquisition unit 114.
- the policy value is calculated, and the calculated policy value is written in the policy DB 120.
- the NW state is NW quality (delay, packet loss, bandwidth, jitter, etc.) or NW switching, or both NW quality and NW switching.
- NW quality and NW switching may be collectively referred to as NW quality.
- Example 1 Calculation of the policy value of the moving body control according to the NW delay
- Example 1 a method of calculating the policy value (polish information) for controlling the speed of the moving body 10 according to the NW delay will be described.
- the "NW delay” is the round-trip delay time of the NW between the mobile body 10 and the monitoring control device 400.
- the policy values for making the stop distance from the danger of the moving body 10 detected by the observer to the stop of the moving body 10 equal to or less than the specified stop distance are set to the following equations 1 to 1. Calculate based on Equation 5 obtained from 4.
- the stop distance d may be referred to as a braking stop distance.
- Free running distance d f [m] (reaction time tr [s] + round trip delay time t [s]) ⁇ Velocity of moving body v [km / h] ⁇ (1000/3600) ⁇ ⁇ ⁇ Equation 1
- Braking distance d b [m] v 2 / (254 ⁇ friction coefficient mu) ⁇ ⁇ ⁇ Formula 2
- Stopping distance d [m] free running distance d f [m] + braking distance d b [m] ⁇ ⁇ ⁇ Equation 3
- the stop distance is equal to or less than the specified stop distance. Further, when the speed of the moving body 10 is 10 [km / h], if the NW delay is less than 4.2 s, the stop distance is equal to or less than the specified stop distance.
- the policy value shown in the "delay" row of the "moving body control" column of FIG. 9 can be calculated as the policy value relating to the control of the moving body 10 according to the NW delay.
- x_d is the NW delay [s] acquired from the NW information collecting device 200.
- the policy value shown in the row of "delay” in the column of "moving body control” in FIG. 9 defines the stopping distance when the speed of the moving body 10 is larger than 30 km, no matter how small the NW delay is. It means that it cannot be:
- the speed of the moving body 10 is controlled to be 30 km. Further, when the NW delay x_d is 0.2 s or more and less than 4.2 s, and the speed of the moving body 10 is larger than 10 km, the speed of the moving body 10 is controlled to be 10 km. Further, when the NW delay x_d is 4.2 s or more, the moving body 10 is controlled to be stopped.
- the policy value shown in the "delay" row in the "moving body control" column of FIG. 9 is an example. For example, the policy value may be set to perform finer speed control.
- Example 2 Calculation of camera control policy value according to NW band
- NW band is the NW band between the mobile body 10 and the monitoring control device 400.
- the “NW band” may be the NW band between the camera 170 and the monitoring control device 400.
- the policy value (required band of NW) for making the image monitored by the observer look normal is based on the following equation 6. To calculate.
- the policy value calculation unit 110 can acquire the resolution of the camera 170, the number of bits per frame, and the compression rate from, for example, the video acquisition unit 111.
- the resolution is 1280 ⁇ 720
- the number of bits per frame is 24, and the compression rate is 10%.
- the policy value shown in the row of "band” in the column of "camera control" in FIG. 9 can be calculated as the policy value relating to the control of the camera 170 according to the NW band.
- x_b indicates the NW band [Mbps] acquired by the NW information collecting device 200. This policy value means that the following control is performed.
- the FPS of the camera 170 is controlled to 30. Further, when the NW band x_b is less than 66 Mbps and 22 Mbps or more, if the FPS of the camera 170 exceeds 10, the FPS of the camera 170 is controlled to be 10. Further, when the NW band x_b is less than 22 Mbps and 2 Mbps or more, if the FPS of the camera 170 exceeds 1, control is performed to set the FPS of the camera 170 to 1. When the NW delay x_b is less than 2 Mbps, the camera 170 is controlled to be stopped.
- the policy value shown in the row of "bandwidth" in the column of "camera control" in FIG. 9 is an example. For example, the policy value may be set so as to perform finer FPS control.
- the policy management unit 130 acquires policy information (example: information shown in FIG. 9) from the policy DB 120.
- the NW information receiving unit 160 receives NW information from the NW information collecting device 200.
- the information acquisition unit 140 acquires NW information (delay and band in the present embodiment) from the NW information reception unit 160.
- the information acquisition unit 140 acquires the traveling speed of the current moving body 10.
- the information acquisition unit 140 may acquire the speed of the moving body 10 from the speedometer or the like of the moving body 10, or the information acquisition unit 140 is provided with a positioning function such as a GPS receiver to position the position of the moving body 10.
- the speed may be obtained from the change over time.
- the information acquisition unit 140 determines whether or not there is a policy value corresponding to the NW information by searching the policy information read from the policy DB 120 by the policy management unit 130 based on the NW information acquired in S6. ..
- the information acquisition unit 140 notifies the action management unit 150 of the policy value corresponding to the NW information.
- the action management unit 150 executes an action based on the policy value notified from the information acquisition unit 140 in S10.
- the action management unit 150 confirms whether or not there is a change in the surrounding situation (environment) based on the image acquired from the image acquisition unit 111.
- the surrounding conditions changed when there was a change, for example, from a concrete road to a gravel road, from a wet state to a non-wet state, and so on.
- the action management unit 150 confirms whether or not there is a change in the surrounding situation (environment) based on the definition.
- This control instruction is notified to the moving body 10 as a command to the moving body 10 by, for example, an external application, and the moving body 10 starts traveling at 30 km / h.
- the camera 170 shoots at 30 FPS.
- the action management unit 150 resets the FPS of the camera 170 from 30 to 10 by executing the corresponding control.
- the moving body 10 can be stopped from a remote location within a specified stop distance according to the vehicle situation and the surrounding situation. If it is not possible to stop within the stop distance specified according to the NW state, control is performed to stop it in advance.
- the NW information collecting function can acquire the current NW quality (measured value) and can also estimate the future NW quality (predicted value).
- the moving body 10 in addition to stopping the moving body 10 when the stopping distance of the moving body 10 cannot be guaranteed due to the NW state (for example, when a communication interruption occurs or a delay is extremely large), the moving body 10 is stopped. It can be decelerated to an appropriate speed. When the NW state is restored, normal operation is resumed. Further, as in the first embodiment, in the second embodiment as well, the NW delay (allowable reciprocating delay time t) that guarantees the stopping distance of the moving body 10 is dynamically calculated as a policy value.
- t was calculated by the following formula (formula 5 described above).
- this part is expanded to calculate the threshold value of NW quality (measured value / predicted value) and the speed calculation after deceleration after exceeding the threshold value. ..
- the round-trip NW transmission time may be referred to as a round-trip NW delay, a NW delay, or the like.
- Equation 8 is an equation in which t j is added.
- Equation 9 the allowable delay time is calculated in consideration of jitter, so it is not necessary to perform sudden braking even if it is controlled by the measured value. That is, by using Equation 9, deceleration can be completed by starting deceleration when the measured value exceeds the allowable delay time.
- the speed after deceleration is set based on the NW quality (here, the NW delay).
- jitter statistical values based on past data may be used, or it may be calculated in advance using estimated values by machine learning or the like.
- TAT will be described with reference to FIG. FIG. 12 shows a case where the moving body 10 is a tractor as an example.
- the stopping distance according to the operating environment (own vehicle condition + surrounding condition) of the moving body 10 is guaranteed in consideration of the measured value or the predicted value (or both the measured value and the predicted value) of the NW quality. Control (acceleration / deceleration) can be realized.
- FIG. 13 shows an example of the functional configuration of the control device 100 according to the second embodiment.
- the control device 100 includes a policy value calculation unit 110, a video acquisition unit 111, a vehicle status acquisition unit 112, a surrounding situation calculation unit 113, a stop distance regulation acquisition unit 114, a policy DB 120, and a policy management unit 130. , Information acquisition unit 140, action management unit 150, and NW information receiving unit 160. Further, FIG. 13 also shows a camera 170 connected to the control device 100.
- the functional configuration of the control device 100 in the second embodiment is the same as the functional configuration of the control device 100 in the first embodiment.
- the operation of each functional unit is basically the same as that of the first embodiment.
- the policy value calculation unit 110 calculates the policy value using the equations 8 and 9
- the action management unit 150 uses the equation 10 after deceleration. Calculate the speed.
- the hardware configuration is the same as that of the first embodiment, and is as described with reference to FIG.
- policy value calculation unit 110 and the surrounding situation calculation unit 113 may be collectively referred to as the policy information calculation unit.
- action management unit 150 may be called a control execution unit.
- control device 100 may be provided entirely in the moving body 10, or a part of the control device 100 may be provided outside the moving body 10 (for example, on the cloud).
- the policy value calculation unit 110 and the policy DB 120 may be provided on the cloud.
- FIG. 14 is a flowchart showing the operation of the control device 100 in the second embodiment. It is basically the same as the flow in the first embodiment shown in FIG. However, in the second embodiment, the policy value is calculated using the NW information. Further, in FIG. 14, in S11, the speed after deceleration is calculated. Hereinafter, an example based on the flow of FIG. 14 will be described.
- step 1> the action management unit 150 registers (holds) an action that is a control content for the moving body 10. In this embodiment, the following three actions are registered.
- the above Y is dynamically calculated by the above-mentioned "speed calculation after deceleration". When Y ⁇ 0, it stops.
- control (Ykm / h)" in (2) means a control in which the speed of the moving body 10 is set to Ykm / h.
- the own vehicle status acquisition unit 112 acquires the type (vehicle, tractor, etc.) of the moving body 10 on which the control device 100 is mounted. Further, the image acquisition unit 111 acquires the image taken by the camera 170 and delivers the image to the surrounding situation calculation unit 113.
- the surrounding situation calculation unit 113 determines the road surface condition, the weather, and the brightness based on the image passed from the image acquisition unit 111.
- the regulation information acquisition unit 114 acquires regulation information according to the own vehicle situation and the surrounding situation from the regulation information storage device 300. Examples of the specified information to be acquired are as shown in FIGS. 7 and 8.
- the policy value calculation unit 110 acquired the vehicle status acquired by the vehicle status acquisition unit 112, the surrounding condition calculated by the surrounding condition calculation unit 113, the regulation information acquired by the regulation information acquisition unit 114, and the NW information reception unit 160. Based on the NW information and the traveling speed of the current moving body 10 acquired by the information acquisition unit 140 (or the speed instructed by the action management unit 150 to the moving body), the policy value according to the NW state was calculated and calculated. The policy value is written in the policy DB 120.
- the NW state is NW quality (delay, packet loss, bandwidth, jitter, etc.) or NW switching, or both NW quality and NW switching. In addition, NW quality and NW switching may be collectively referred to as NW quality.
- the policy value is calculated by the above-mentioned equations 8 (prediction / measurement secondary equation) and equation 9 (measurement linear equation).
- t (allowable round-trip NW delay) is calculated by calculating an equation in which the inequality sign in equations 8 and 9 is replaced with an equal sign.
- the policy value calculation unit 110 writes the calculated value in the policy DB 110.
- FIG. 15 shows an example of the policy value written in the policy DB 110.
- the NW delay which is the measured value is less than 0.04 s.
- the stop distance is less than or equal to the stop distance. If the NW delay is 0.04 s or more (or larger than 0.04 s), deceleration control is performed. If the speed after deceleration is Y, the same control (further deceleration, speed increase, etc.) is performed based on the policy value (NW delay) calculated based on Y.
- the policy management unit 130 acquires policy information (example: information shown in FIG. 15) from the policy DB 120.
- the NW information receiving unit 160 receives NW information from the NW information collecting device 200.
- the information acquisition unit 140 acquires NW information (reciprocating NW delay in the present embodiment) from the NW information receiving unit 160.
- the information acquisition unit 140 acquires the traveling speed of the current moving body 10.
- the information acquisition unit 140 may acquire the speed of the moving body 10 from the speedometer or the like of the moving body 10, or the information acquisition unit 140 is provided with a positioning function such as a GPS receiver to position the position of the moving body 10.
- the speed may be obtained from the change over time.
- the information acquisition unit 140 determines whether or not there is a policy value corresponding to the NW information by searching the policy information read from the policy DB 120 by the policy management unit 130 based on the NW information acquired in S6. ..
- the information acquisition unit 140 notifies the action management unit 150 of the policy value corresponding to the NW information.
- ⁇ S11> it is assumed that the round-trip NW delay is larger than the policy value of the round-trip NW delay corresponding to the current speed.
- the action management unit 150 calculates the speed after deceleration by solving Equation 10 for v. If it is not necessary to calculate the speed after deceleration, S11 is not performed.
- the action management unit 150 executes the action. For example, control is performed to decelerate the moving body 10.
- the action management unit 150 confirms whether or not there is a change in the surrounding situation (environment) based on the image acquired from the image acquisition unit 111.
- the surrounding conditions changed when there was a change, for example, from a concrete road to a gravel road, from a wet state to a non-wet state, and so on.
- the action management unit 150 confirms whether or not there is a change in the surrounding situation (environment) based on the definition. It is also determined that the environment has changed when the speed of the moving body 10 changes (for example, when the speed is reduced by a deceleration instruction).
- FIG. 17 shows the instruction speed to the moving body 10 based on the control, and the current speed of the moving body 10 at that time, in addition to the round-trip NW delay.
- the operation at each time will be described with reference to FIG. Further, in FIG. 17, a portion of particular interest is surrounded by a thick frame.
- Time 0-3 As a result of referring to the policy DB 120 (FIG. 15) based on the delay 0.01 at the time of time 0, the information acquisition unit 140 controls (30 km / h) because it corresponds to the control (30 km / h: initial speed). ) Is notified to the action management unit 150. The action management unit 150 executes the corresponding action (instructing 30 km / h). The same applies to times 1 to 3.
- the current speed the indicated speed.
- Time 60-61 0.25 is calculated as a threshold value in the round-trip NW delay (prediction) when the speed is 29.3 km / h, and it is stored in the policy DB 120.
- the current speed the indicated speed.
- a control device that controls a mobile body in a system that monitors the moving body from a remote location via a network.
- a policy database that stores policy information for controlling the mobile body,
- a policy information calculation unit that calculates policy information indicating control contents according to the quality of the network based on the surrounding conditions of the mobile body and stores the policy information in the policy database.
- a control device including a control execution unit that acquires the quality of the network and executes control corresponding to the quality of the network by referring to the policy information.
- the policy information is information indicating the speed of the moving body according to the quality of the network.
- control execution unit determines a speed according to the acquired quality of the network based on the policy information, and controls the moving body so as to travel at the determined speed.
- the policy information As the policy information, the policy information calculation unit sets the speed at which the mobile body can be stopped within a specified stop distance for each quality of the network when the observer gives an instruction to stop the mobile body from a remote location.
- the control device according to the first or second item to be calculated in.
- the control execution unit calculates the speed of the moving body after deceleration using TAT with jitter added, and travels at the calculated speed.
- the control device for controlling the moving body.
- (Section 5) The control device according to item 4, wherein the policy information calculation unit calculates the threshold value using predetermined constants related to the jitter, the specified stop distance, the speed of the moving body, the friction coefficient, and the delay.
- (Section 6) The control device according to any one of items 1 to 5, wherein the policy information calculation unit determines the surrounding condition of the moving body from an image taken by a camera mounted on the moving body.
- the policy information is information indicating the frame rate of the camera according to the quality of the network.
- the control execution unit determines a frame rate according to the acquired quality of the network based on the policy information, and controls the camera so as to acquire an image at the determined frame rate.
- the control device according to any one of the items.
- (Section 8) A control method executed by a control device that controls a mobile body in a system that monitors the moving body from a remote location via a network.
- the control device includes a policy database for storing policy information for controlling the moving body.
- a policy information calculation step that calculates policy information indicating control contents according to the quality of the network based on the surrounding conditions of the mobile body and stores the policy information in the policy database.
- a control method including a control execution step of acquiring the quality of the network and executing the control corresponding to the quality of the network by referring to the policy information.
- (Section 9) A program for causing a computer to function as each part of the control device according to any one of items 1 to 7.
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Human Computer Interaction (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
Abstract
移動体を遠隔地からネットワークを介して監視するシステムにおいて、前記移動体を制御する制御装置において、前記移動体の制御のためのポリシ情報を格納するポリシデータベースと、前記移動体の周囲状況に基づいて、前記ネットワークの品質に応じた制御内容を示すポリシ情報を計算し、当該ポリシ情報を前記ポリシデータベースに格納するポリシ情報計算部と、前記ネットワークの品質を取得し、前記ポリシ情報を参照することにより、当該ネットワークの品質に該当する制御を実行する制御実行部とを備える。
Description
本発明は、遠隔地から監視する移動体を制御する技術に関連するものである。
近年、自動運転車の開発が進んでいる。例えば、レベル3及びレベル4の自動運転車はセンサやカメラ等を活用することにより自律的な自動運転が可能である。
しかし、システム不良や天候等によって自律的な運転が不可能になったときに備えて、遠隔地からの監視及び制御介入が義務付けられている。
そのため、必要に応じて遠隔地から、すなわち、ネットワーク(NW)を介して、自動運転車を確実に停止あるいは制御するための機能が必要である。ネットワークを介してデバイスを制御する従来技術として、例えば、非特許文献1、2に開示された技術がある。
非特許文献1には、通信可否の状態・状態遷移頻度を用いてメッセージ(制御信号)の到達性を高める技術が開示されている。また、非特許文献2には、制御の応答(フィードバック)とNW遅延予測を組み合わせて、NW遅延がある環境下でも遠隔制御を可能とする技術が開示されている。
越地弘順, et al. "メッセージ送信をアシストするネットワーク機能の検討 (ネットワークシステム)." 電子情報通信学会技術研究報告= IEICE technical report: 信学技報 118.465 (2019): 515-520.
Yoshida, Hiroshi, Taichi Kumagai, and Kozo Satoda. "Dynamic state-predictive control for a remote control system with large delay fluctuation." 2018 IEEE International Conference on Consumer Electronics (ICCE). IEEE, 2018.
遠隔地から自動運転車を監視する監視者は、危険に気づいても停止操作をするまでにはある程度の時間がかかる。また、NW品質が悪ければ、NW遅延により、停止指示をしても停止指示が自動運転車に届くまでに時間がかかる。更に、自動運転車に停止指示が届いてから自動運転車が実際に停止するまでの距離は、自動運転車の周囲状況によって変わってくる。
このような状況下で、遠隔地からの指示により自動運転車を規定された停止距離内で確実に停止させるためには、NW品質及び周囲状況に応じて自動運転車の速度を制御する必要がある。しかし、従来、NW品質及び周囲状況に応じて自動運転車を制御する技術は提案されていない。なお、このような課題は、自動運転車に限らない移動体全般に生じ得る課題である。
本発明は上記の点に鑑みてなされたものであり、移動体を遠隔地からネットワークを介して監視するシステムにおいて、ネットワークの品質と周囲状況に応じて移動体を適切に制御する技術を提供することを目的とする。
開示の技術によれば、移動体を遠隔地からネットワークを介して監視するシステムにおいて、前記移動体を制御する制御装置であって、
前記移動体の制御のためのポリシ情報を格納するポリシデータベースと、
前記移動体の周囲状況に基づいて、前記ネットワークの品質に応じた制御内容を示すポリシ情報を計算し、当該ポリシ情報を前記ポリシデータベースに格納するポリシ情報計算部と、
前記ネットワークの品質を取得し、前記ポリシ情報を参照することにより、当該ネットワークの品質に該当する制御を実行する制御実行部と
を備える制御装置が提供される。
前記移動体の制御のためのポリシ情報を格納するポリシデータベースと、
前記移動体の周囲状況に基づいて、前記ネットワークの品質に応じた制御内容を示すポリシ情報を計算し、当該ポリシ情報を前記ポリシデータベースに格納するポリシ情報計算部と、
前記ネットワークの品質を取得し、前記ポリシ情報を参照することにより、当該ネットワークの品質に該当する制御を実行する制御実行部と
を備える制御装置が提供される。
開示の技術によれば、移動体を遠隔地からネットワークを介して監視するシステムにおいて、ネットワークの品質と周囲状況に応じて移動体を適切に制御することが可能となる。
以下、図面を参照して本発明の実施の形態(本実施の形態)を説明する。以下で説明する実施の形態は一例に過ぎず、本発明が適用される実施の形態は、以下の実施の形態に限られるわけではない。以下、第1の実施の形態と第2の実施の形態を説明する。
<第1の実施の形態>
(システム構成)
図1に、本発明の第1の実施の形態(及び第2の実施の形態)におけるシステムの全体構成図を示す。図1に示すように、本システムは、移動体10、規定情報格納装置300、監視制御装置400を有し、これらの装置がネットワーク500を介して通信可能に構成されている。ネットワーク500は、モバイル網、インターネット等からなるネットワークである。
(システム構成)
図1に、本発明の第1の実施の形態(及び第2の実施の形態)におけるシステムの全体構成図を示す。図1に示すように、本システムは、移動体10、規定情報格納装置300、監視制御装置400を有し、これらの装置がネットワーク500を介して通信可能に構成されている。ネットワーク500は、モバイル網、インターネット等からなるネットワークである。
本実施の形態において、移動体10は、例えば、通信機能及び自動運転機能を有するトラクタ等の農機であることを想定している。ただし、移動体10は農機に限定されるわけではなく、通信機能及び自動運転機能を有する車(自動車)等であってもよい。
移動体10には、カメラが備えられており、当該カメラで撮影された映像(移動体10の周囲の映像)は監視制御装置400に送られ、監視制御装置400のディスプレイに表示される映像を監視者が監視する。なお、移動体10に搭載されるカメラに加えて、移動体10の周辺のカメラが設置され、当該カメラの映像も監視制御装置400に送信されることとしてもよい。
映像を見ている監視者は、例えば、移動体10の周囲の状況から移動体10が危険な状態にあることを検知すると、監視制御装置400を操作することで移動体10を停止させる。なお、移動体の監視及び制御は人ではなく、自動的に行うこととしてもよい。
図1に示すように、移動体10は、制御装置100、及びNW情報収集装置200を備えている。制御装置100は本発明に係る機能を備える装置であり、その詳細については後述する。
NW情報収集装置200は、監視制御装置400と移動体10との間のネットワーク500を介した通信に係る、遅延、パケットロス、ジッタ等のNW情報(NW品質と呼んでもよい)を収集する。移動体10に備えられる制御装置100は、NW情報収集装置200からNW情報を取得し、当該NW情報に基づいてリアルタイムの制御を実行する。制御内容は、例えば、移動体10の速度の制御、移動体10に搭載されたカメラのフレームレートの制御等である。
規定情報格納装置300は、停止距離規定等の規定情報を格納する。制御装置100は、規定情報格納装置300から規定情報を取得し、当該規定情報に基づいて、ポリシ値(ポリシ情報と呼んでもよい)を計算する。なお、規定情報格納装置300はクラウド上に備えられてもよい。
(システムの動作概要)
監視者は、監視制御装置400のディスプレイに表示される映像を見て、移動体10を監視している。監視者は、移動体10に危険があることを検知したら、監視制御装置400を操作することで、移動体10を停止させる指示を送信する。
監視者は、監視制御装置400のディスプレイに表示される映像を見て、移動体10を監視している。監視者は、移動体10に危険があることを検知したら、監視制御装置400を操作することで、移動体10を停止させる指示を送信する。
移動体10に危険(監視者が危険であると判断する事象)が生じた地点から移動体10が実際に停止する地点までの距離を「停止距離」と呼ぶ。周囲状況等に応じた停止距離は予め規定されており、その値が規定情報格納装置300に格納されている。この規定された停止距離は、その停止距離以内の距離で移動体10が停止しなければならない、ということを意味する。
移動体10の実際の停止距離は、「空走距離+制動距離」により算出(推定)することができる。空走距離は、「(往復遅延+反応時間)×移動体10の速度」で算出され、制動距離は摩擦係数と移動体10の速度に基づき算出される。
「往復遅延」は、移動体10に実際に危険が発生した時刻から、監視制御装置400にその映像が表示される時刻までの時間(片道遅延)と、監視者が制御操作を行った時刻から、移動体10に対して実際に停止のための制御が実行される時刻までの時間(片道遅延)であり、本実施の形態では、この「往復遅延」を、ネットワーク500における移動体10と監視制御装置400との間の往復遅延としている。
「反応時間」は、監視者が、映像により移動体10に危険を検知してから制御操作を行うまでの時間であり、本実施の形態では、監視者の年齢等により予め定めた値としている。
例えば、NW遅延が大きい状況や、路面が滑りやすい状況等では、監視者が危険を検知してから素早く停止のための制御操作を行ったとしても、規定された停止距離以内で移動体10を停止させることができなくなる恐れがある。
そこで、本実施の形態では、制御装置100が、図2に示すように自車状況及び周囲状況を収集し、これらの情報に基づいて、NW品質毎に、規定された停止距離以内で移動体10を停止させることができる移動体10の速度をポリシ値として算出してポリシDBに格納するとともに、ポリシDBを参照して実際のNW品質に応じた移動体10の速度制御を行うこととしている。また、制御装置100は、NW品質に応じたカメラのフレームレートの制御も実行する。
ポリシDBの概要例を図3に示す。図3において、x_dはNW情報収集装置200により取得したNW遅延であり、x_lはNW情報収集装置200により取得したパケットロスである。図3に示す例の場合、例えば、NW遅延が10msまでであれば、制御装置100は、移動体10を減速させるような制御を行い、NW遅延が10ms以上になると、移動体10を停止させる制御を行う。
図3に示すNW切替とは、例えば、移動体10が5G網に接続して通信を行っている際に、5G網の通信品質が劣化して、LTE網に切り替えるような状況のことである。NW切替が発生すると一時的に通信断が発生する可能性がある。そのため、図3の例では、NW切替が発生すると、移動体10を停止させる制御を実行する。
(装置構成例)
図4に、第1の実施の形態における制御装置100の機能構成例を示す。図4に示すように、制御装置100は、ポリシ値計算部110、映像取得部111、自車状況取得部112、周囲状況計算部113、停止距離規定取得部114、ポリシDB120、ポリシ管理部130、情報取得部140、アクション管理部150、NW情報受信部160を有する。また、図4には、制御装置100に接続されているカメラ170も示されている。各機能部の動作等については後述する。
図4に、第1の実施の形態における制御装置100の機能構成例を示す。図4に示すように、制御装置100は、ポリシ値計算部110、映像取得部111、自車状況取得部112、周囲状況計算部113、停止距離規定取得部114、ポリシDB120、ポリシ管理部130、情報取得部140、アクション管理部150、NW情報受信部160を有する。また、図4には、制御装置100に接続されているカメラ170も示されている。各機能部の動作等については後述する。
なお、ポリシ値計算部110と周囲状況計算部113をまとめてポリシ情報計算部と呼んでもよい。また、アクション管理部150を制御実行部と呼んでもよい。
また、制御装置100はその全体が移動体10に備えられてもよいし、一部が移動体10の外(例えばクラウド上)に備えられてもよい。例えば、ポリシ値計算部110、ポリシDB120がクラウド上に備えられてもよい。
(ハードウェア構成例)
本実施の形態における制御装置100は、例えば、コンピュータに、本実施の形態で説明する処理内容を記述したプログラムを実行させることにより実現可能である。
本実施の形態における制御装置100は、例えば、コンピュータに、本実施の形態で説明する処理内容を記述したプログラムを実行させることにより実現可能である。
上記プログラムは、コンピュータが読み取り可能な記録媒体(可搬メモリ等)に記録して、保存したり、配布したりすることが可能である。また、上記プログラムをインターネットや電子メール等、ネットワークを通して提供することも可能である。
図5は、上記コンピュータのハードウェア構成例を示す図である。図5のコンピュータは、それぞれバスBSで相互に接続されているドライブ装置1000、補助記憶装置1002、メモリ装置1003、CPU1004、インタフェース装置1005、表示装置1006、入力装置1007、出力装置1008等を有する。
当該コンピュータでの処理を実現するプログラムは、例えば、CD-ROM又はメモリカード等の記録媒体1001によって提供される。プログラムを記憶した記録媒体1001がドライブ装置1000にセットされると、プログラムが記録媒体1001からドライブ装置1000を介して補助記憶装置1002にインストールされる。但し、プログラムのインストールは必ずしも記録媒体1001より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置1002は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。
メモリ装置1003は、プログラムの起動指示があった場合に、補助記憶装置1002からプログラムを読み出して格納する。CPU1004は、メモリ装置1003に格納されたプログラムに従って、制御装置100に係る機能を実現する。インタフェース装置1005は、ネットワークに接続するためのインタフェースとして用いられる。表示装置1006はプログラムによるGUI(Graphical User Interface)等を表示する。入力装置1007はキーボード及びマウス、ボタン、又はタッチパネル等で構成され、様々な操作指示を入力させるために用いられる。出力装置1008は演算結果を出力する。
(制御装置100の動作例)
次に、図6に示すフローチャートの手順に沿って、第1の実施の形態における制御装置100の動作例を説明する。
次に、図6に示すフローチャートの手順に沿って、第1の実施の形態における制御装置100の動作例を説明する。
<S1(ステップ1>
S1において、アクション管理部150が、移動体10に対する制御内容であるアクションを登録(保持)する。本実施の形態では、以下の8つのアクションを登録する。
S1において、アクション管理部150が、移動体10に対する制御内容であるアクションを登録(保持)する。本実施の形態では、以下の8つのアクションを登録する。
(1)制御(60km/h)
(2)制御(30km/h)
(3)制御(10 km/h)
(4)制御(停止)
(5)カメラ(30FPS)
(6)カメラ(10FPS)
(7)カメラ(1FPS)
(8)カメラ(停止)
例えば、(2)の「制御(30km/h)」は、移動体10の速度を30km/hにするという制御を意味する。また、例えば、(5)の「カメラ(30FPS)」は、カメラ170のフレームレートを30FPSにするという制御を意味する。
(2)制御(30km/h)
(3)制御(10 km/h)
(4)制御(停止)
(5)カメラ(30FPS)
(6)カメラ(10FPS)
(7)カメラ(1FPS)
(8)カメラ(停止)
例えば、(2)の「制御(30km/h)」は、移動体10の速度を30km/hにするという制御を意味する。また、例えば、(5)の「カメラ(30FPS)」は、カメラ170のフレームレートを30FPSにするという制御を意味する。
<S2>
S2において、自車状況取得部112は、制御装置100が搭載されている移動体10の種別(車、トラクタ等)を取得する。種別の取得方法について、自車状況取得部112は、アクションの種類から推定してもよいし、移動体10が直接提供している情報を読み込んでもよい。なお、自車状況取得部112を備えずに、自車状況を予め設定しておくこととしてもよい。
S2において、自車状況取得部112は、制御装置100が搭載されている移動体10の種別(車、トラクタ等)を取得する。種別の取得方法について、自車状況取得部112は、アクションの種類から推定してもよいし、移動体10が直接提供している情報を読み込んでもよい。なお、自車状況取得部112を備えずに、自車状況を予め設定しておくこととしてもよい。
また、ポリシ値計算で使用する反応時間については、例えば、自車状況取得部112(周囲状況計算部113でもよい)が、監視制御装置400から監視者の情報を受信することにより取得する。監視者の情報とは、反応時間そのものであってもよいし、監視者の年齢等であってもよい。監視者の年齢を受信した場合、例えば、自車状況取得部112は、年齢に対応する反応時間を推定する。また、反応時間の取得・推定等を行わずに、反応時間を予め設定しておくこととしてもよい。
また、映像取得部111は、カメラ170で撮影された映像を取得して、周囲状況計算部113に映像を受け渡す。
<S3>
S3において、周囲状況計算部113は、映像取得部111から渡された映像をもとに路面状態、天気、明るさを判定する。判定方法については特定の方法に限定されないが、例えば、路面状態(コンクリートor砂利道/濡れているor濡れていない)、天気(晴れor雨/雪)の2つについては、各状態を正解データとして学習させておき、学習データをもとに映像がどの状態にあるか判定する。明るさについては、映像の輝度から昼間or夜間を判定する。
S3において、周囲状況計算部113は、映像取得部111から渡された映像をもとに路面状態、天気、明るさを判定する。判定方法については特定の方法に限定されないが、例えば、路面状態(コンクリートor砂利道/濡れているor濡れていない)、天気(晴れor雨/雪)の2つについては、各状態を正解データとして学習させておき、学習データをもとに映像がどの状態にあるか判定する。明るさについては、映像の輝度から昼間or夜間を判定する。
規定情報取得部114は、自車状況・周囲状況に応じた規定情報を規定情報格納装置300から取得する。取得する規定情報の例を図7、図8に示す。図7は、規定情報として摩擦係数を取得する場合の例を示している。例えば、自車状況が「車」、路面状態が「コンクリート」かつ「濡れている」場合、摩擦係数として0.5を規定情報格納装置300から取得する。
図8は、規定情報として規定停止距離を取得する場合の例を示している。例えば、天気が「晴れ」かつ明るさが「昼間」である場合、規定停止距離として15mを規定情報格納装置300から取得する。
<S4>
ポリシ値計算部110は、自車状況取得部112により取得した自車状況、周囲状況計算部113により計算した周囲状況、規定情報取得部114により取得した規定情報に基づいて、NW状態に応じたポリシ値を計算し、計算したポリシ値をポリシDB120に書き込む。NW状態とは、NW品質(遅延、パケットロス、帯域、ジッタ等)又はNW切替、あるいは、NW品質とNW切替の両方である。なお、NW品質とNW切替を総称してNW品質と称してもよい。
ポリシ値計算部110は、自車状況取得部112により取得した自車状況、周囲状況計算部113により計算した周囲状況、規定情報取得部114により取得した規定情報に基づいて、NW状態に応じたポリシ値を計算し、計算したポリシ値をポリシDB120に書き込む。NW状態とは、NW品質(遅延、パケットロス、帯域、ジッタ等)又はNW切替、あるいは、NW品質とNW切替の両方である。なお、NW品質とNW切替を総称してNW品質と称してもよい。
ポリシ値計算部110によるポリシ値の計算方法の(例1)、(例2)を以下で説明する。
(例1)NW遅延に応じた移動体制御のポリシ値の計算
例1として、NW遅延に応じて移動体10の速度を制御するためのポリシ値(ポリシ情報)の計算方法について説明する。ここで、「NW遅延」は、移動体10と監視制御装置400との間のNWの往復遅延時間である。
例1として、NW遅延に応じて移動体10の速度を制御するためのポリシ値(ポリシ情報)の計算方法について説明する。ここで、「NW遅延」は、移動体10と監視制御装置400との間のNWの往復遅延時間である。
ここでは、監視者が検知する移動体10の危険が生じてから、移動体10が停止するまでの停止距離が、規定停止距離以下になるようにするためのポリシ値を下記の式1~式4から得られる式5に基づいて計算する。停止距離dを制動停止距離と呼んでもよい。
空走距離df[m]=(反応時間tr[s]+往復遅延時間t[s])
×移動体の速度v[km/h]×(1000/3600)・・・式1
制動距離db[m]=v2/(254×摩擦係数μ) ・・・式2
停止距離d[m]=空走距離df[m]+制動距離db[m] ・・・式3
停止距離d[m]≦X(規定停止距離) ・・・式4
t≦3.6((X/v)-(v/(254×μ)))-tr ・・・式5
本実施の形態では、一例として、現時点での周囲状況が「車・路面(コンクリート・濡れていない)」であるためμ=0.7であり、周囲状況が「晴れ・昼間」であるためX=15mであり、反応時間はtr=1sであるとする。
×移動体の速度v[km/h]×(1000/3600)・・・式1
制動距離db[m]=v2/(254×摩擦係数μ) ・・・式2
停止距離d[m]=空走距離df[m]+制動距離db[m] ・・・式3
停止距離d[m]≦X(規定停止距離) ・・・式4
t≦3.6((X/v)-(v/(254×μ)))-tr ・・・式5
本実施の形態では、一例として、現時点での周囲状況が「車・路面(コンクリート・濡れていない)」であるためμ=0.7であり、周囲状況が「晴れ・昼間」であるためX=15mであり、反応時間はtr=1sであるとする。
この場合、例えば、v=30[km/h]であるとすると、式5の右辺は0.2sとなり、v=10[km/h]であるとすると、式5の右辺は4.2sとなる。
つまり、移動体10の速度が30[km/h]である場合、NW遅延が0.2s未満であれば規定停止距離以下の停止距離となる。また、移動体10の速度が10[km/h]である場合、NW遅延が4.2s未満であれば規定停止距離以下の停止距離となる。このような計算に基づいて、NW遅延に応じた移動体10の制御に関するポリシ値として図9の「移動体制御」の列の「遅延」の行に示すポリシ値を計算することができる。当該ポリシ値において、x_dは、NW情報収集装置200から取得したNW遅延[s]である。
図9の「移動体制御」の列の「遅延」の行に示すポリシ値は、移動体10の速度が、30kmよりも大きい場合には、いくらNW遅延が小さくても停止距離を規定停止距離以下にすることができないことを意味する。
つまり、NW遅延x_dが0.2s未満である場合、移動体10の速度が、30kmを超えていれば、移動体10の速度を30kmにする制御を行う。また、NW遅延x_dが0.2s以上4.2s未満である場合、移動体10の速度が、10kmよりも大きい場合には、移動体10の速度を10kmにする制御を行う。また、NW遅延x_dが4.2s以上である場合、移動体10を停止させる制御を行う。なお、図9の「移動体制御」の列の「遅延」の行に示すポリシ値は一例である。例えば、より細かい速度の制御を行うようにポリシ値を設定してもよい。
(例2)NW帯域に応じたカメラ制御のポリシ値の計算
例2として、NW帯域に応じてカメラ170のフレームレートを制御するためのポリシ値の計算方法について説明する。ここで、「NW帯域」は、移動体10と監視制御装置400との間のNW帯域である。「NW帯域」は、カメラ170と監視制御装置400との間のNW帯域であってもよい。
例2として、NW帯域に応じてカメラ170のフレームレートを制御するためのポリシ値の計算方法について説明する。ここで、「NW帯域」は、移動体10と監視制御装置400との間のNW帯域である。「NW帯域」は、カメラ170と監視制御装置400との間のNW帯域であってもよい。
ここでは、監視者が監視している映像が正常に(つまり、停止せずに、危険を検知できるように)見えるようにするためのポリシ値(NWの必要帯域)を下記の式6に基づいて計算する。
必要帯域[bps]=
解像度×1フレーム当たりのビット数×FPS×圧縮率[%] ・・・式6
なお、ポリシ値計算部110は、例えば、映像取得部111から、カメラ170の解像度、1フレーム当たりのビット数、及び圧縮率を取得することができる。
解像度×1フレーム当たりのビット数×FPS×圧縮率[%] ・・・式6
なお、ポリシ値計算部110は、例えば、映像取得部111から、カメラ170の解像度、1フレーム当たりのビット数、及び圧縮率を取得することができる。
本実施の形態では、一例として、解像度は1280×720、1フレーム当たりのビット数は24、圧縮率は10%であるとする。
この場合、例えば、FPS=30であるとすると、式6の右辺は66355200bps(約66[Mbps])となり、FPS=10であるとすると、式6の右辺は22118400bps(約22[Mbps])となり、FPS=1であるとすると、式6の右辺は2211840bps(約2[Mbps])となる。このような計算に基づいて、NW帯域に応じたカメラ170の制御に関するポリシ値として図9の「カメラ制御」の列の「帯域」の行に示すポリシ値を計算することができる。当該ポリシ値において、x_bは、NW情報収集装置200により取得したNW帯域[Mbps]を示す。このポリシ値は、下記のような制御を行うことを意味する。
つまり、NW帯域x_bが66Mbps以上である場合、カメラ170のFPSが30を超えていれば、カメラ170のFPSを30にする制御を行う。また、NW帯域x_bが66Mbps未満で22Mbps以上である場合、カメラ170のFPSが10を超えていれば、カメラ170のFPSを10にする制御を行う。また、NW帯域x_bが22Mbps未満で2Mbps以上である場合、カメラ170のFPSが1を超えていれば、カメラ170のFPSを1にする制御を行う。NW遅延x_bが2Mbps未満である場合、カメラ170を停止させる制御を行う。なお、図9の「カメラ制御」の列の「帯域」の行に示すポリシ値は一例である。例えば、より細かいFPSの制御を行うようにポリシ値を設定してもよい。
<S5>
S5において、ポリシ管理部130は、ポリシDB120からポリシ情報(例:図9に示す情報)を取得する。
S5において、ポリシ管理部130は、ポリシDB120からポリシ情報(例:図9に示す情報)を取得する。
<S6>
NW情報受信部160は、NW情報収集装置200からNW情報を受信している。S6において、情報取得部140は、NW情報受信部160からNW情報(本実施の形態では遅延と帯域)を取得する。
NW情報受信部160は、NW情報収集装置200からNW情報を受信している。S6において、情報取得部140は、NW情報受信部160からNW情報(本実施の形態では遅延と帯域)を取得する。
<S7>
S7において、情報取得部140は、現在の移動体10の走行する速度を取得する。情報取得部140は、移動体10の速度を移動体10の速度計等から取得してもよいし、情報取得部140がGPS受信機等の測位機能を備えることで、移動体10の位置の経時的変化から速度を取得してもよい。
S7において、情報取得部140は、現在の移動体10の走行する速度を取得する。情報取得部140は、移動体10の速度を移動体10の速度計等から取得してもよいし、情報取得部140がGPS受信機等の測位機能を備えることで、移動体10の位置の経時的変化から速度を取得してもよい。
<S8、S9>
情報取得部140は、ポリシ管理部130がポリシDB120から読み込んだポリシ情報を、S6で取得したNW情報に基づいて検索することにより、当該NW情報に該当するポリシ値があるか否かを判断する。
情報取得部140は、ポリシ管理部130がポリシDB120から読み込んだポリシ情報を、S6で取得したNW情報に基づいて検索することにより、当該NW情報に該当するポリシ値があるか否かを判断する。
S9での判断が「該当あり」の場合はS10に進み、S9での判断が「該当なし」の場合はS13に進む。
<S10>
S10において、情報取得部140は、NW情報に該当するポリシ値をアクション管理部150に通知する。
S10において、情報取得部140は、NW情報に該当するポリシ値をアクション管理部150に通知する。
<S11>
S11において、アクション管理部150は、S10で情報取得部140から通知されたポリシ値に基づくアクションを実行する。
S11において、アクション管理部150は、S10で情報取得部140から通知されたポリシ値に基づくアクションを実行する。
<S12>
アクション管理部150は、映像取得部111から取得する映像に基づいて、周囲状況(環境)の変化の有無を確認する。ここでは、例えば、コンクリートの道から砂利道になった、路面が濡れている状態から濡れていない状態になった、等のように、どのような変化があった場合に周囲状況が変化したと判断するかを予め定義しておき、アクション管理部150は、その定義に基づいて、周囲状況(環境)の変化の有無を確認する。
アクション管理部150は、映像取得部111から取得する映像に基づいて、周囲状況(環境)の変化の有無を確認する。ここでは、例えば、コンクリートの道から砂利道になった、路面が濡れている状態から濡れていない状態になった、等のように、どのような変化があった場合に周囲状況が変化したと判断するかを予め定義しておき、アクション管理部150は、その定義に基づいて、周囲状況(環境)の変化の有無を確認する。
S12で、周囲状況の変化が有と判断された場合にはS2に戻り、S12で、周囲状況の変化が無と判断された場合にはS13に進む。
<S13>
S13において、アクション管理部150が処理を終了すると判定した場合には処理を終了し、処理を継続すると判定した場合にはS6に戻る。ここでの終了判定について、例えば、監視者が移動体10(例:農機)での作業を終了することを制御装置100に指示した場合に、終了であると判定される。
S13において、アクション管理部150が処理を終了すると判定した場合には処理を終了し、処理を継続すると判定した場合にはS6に戻る。ここでの終了判定について、例えば、監視者が移動体10(例:農機)での作業を終了することを制御装置100に指示した場合に、終了であると判定される。
(第1の実施の形態における実施例)
図6のフローのより具体的な動作例を説明する。一例として、図6のS6において、時刻毎(ここでは1s毎)に図10に示すNW情報(遅延と帯域)が取得されるものとする。
図6のフローのより具体的な動作例を説明する。一例として、図6のS6において、時刻毎(ここでは1s毎)に図10に示すNW情報(遅延と帯域)が取得されるものとする。
図10に示すとおり、最初の時点(時刻=0s)で、S6において取得される遅延は0.01sであり、帯域は100Mbpsである。時刻=0sのS7において、移動体10の速度は0km/hであるとする。
S9の判定において、現時点(時刻=0s)での遅延は0.01sなので、図9のポリシ情報を検索すると、移動体制御=30km/hが、該当するポリシ値として検索される。また、帯域は100Mbpsなので、カメラ制御のポリシ値は30として検索される。この場合はS10に進む。
S10において、現時点(時刻=0s)では、「移動体制御=30km/h」、「カメラ制御=30FPS」がアクション管理部150に通知される。
S11において、ポリシ値が「移動体制御=30km/h」であるので、アクション管理部150は、予め登録されたアクション=制御(30km/h)を実行する。この制御の指示は、例えば、外部アプリケーションにより移動体10への命令として移動体10に通知され、移動体10は、30km/hでの走行を開始する。同様にして、カメラ170は、30FPSでの撮影を行う。
S12において、現時点(時刻=0s)では、周囲状況変化は無とし、S13において、同様に終了判定もNoであるとする。以降、時刻59までは上記と同様に、1秒毎に図10に示す遅延と帯域が取得され、ポリシ情報に基づいて、30km/hでの走行及び30FPSでの撮影が継続される。
時刻=60sの時点では、S6において遅延=0.50sが取得され、S7において速度=30km/hが取得される。このとき、S8、S9において、図9に示すとおり、該当するポリシが制御(速度=10km/h)になる。
よって、S11において、アクション管理部150が当該アクションを実行することで、移動体10の速度は10km/hまで減速される。これにより、NW遅延の増大により監視者までの映像と、監視者からの制御信号に遅れが生じた場合でも、規定の停止距離以内で移動体10を停止させることが可能となる。
以降同様に、時刻=99sまでは遅延が大きい状態が続くため、速度=10km/hの状態が維持される。
時刻=100sの時点で遅延が0.04sになったため、ポリシ情報を参照した結果、速度=30km/hとなる。また、このとき、帯域が50Mbpsになったため、アクション管理部150が、該当の制御を実行することで、カメラ170のFPSを30から10に設定し直す。
<第2の実施の形態>
次に、第2の実施の形態を説明する。第2の実施の形態におけるシステム構成及び動作は、基本的に第1の実施の形態におけるシステム構成及び動作と同じであるが、一部違いがある。以下では第1の実施の形態と異なる点を主に説明する。
次に、第2の実施の形態を説明する。第2の実施の形態におけるシステム構成及び動作は、基本的に第1の実施の形態におけるシステム構成及び動作と同じであるが、一部違いがある。以下では第1の実施の形態と異なる点を主に説明する。
第1の実施の形態と同様に、第2の実施の形態でも、遠隔地から、自車状況と周囲状況に合わせて、規定された停止距離以内で移動体10が停止できるようにする。NW状態に応じて規定された停止距離以内で停止できない場合は、事前に停止させるような制御を行う。
第2の実施の形態では、NW情報収集機能は、現在のNW品質(計測値)を取得できるとともに、将来のNW品質(予測値)を推定することもできる。
また、第2の実施の形態では、NW状態によって移動体10の停止距離を保証できない場合(例えば、通信断の発生や、遅延が極めて大きい場合)において、移動体10を停止させることの他、適切な速度に減速させることができる。NW状態が回復した時点で、通常の動作を再開する。また、第1の実施の形態と同様に、第2の実施の形態でも、移動体10の停止距離を保証するNW遅延(許容往復遅延時間t)をポリシ値として動的に計算する。
第1の実施の形態では、下記の式(前述した式5)により、tを計算していた。
t≦3.6((X/v)-(v/(254×μ)))-tr
ただし、第1の実施の形態では、この値が予測値であるか計測値であるかを限定していない。一方、第2の実施の形態では、この部分を拡張し、NW品質(計測値・予測値)のしきい値計算、及びしきい値を越えたあとの減速後の速度計算を行うこととしている。
ただし、第1の実施の形態では、この値が予測値であるか計測値であるかを限定していない。一方、第2の実施の形態では、この部分を拡張し、NW品質(計測値・予測値)のしきい値計算、及びしきい値を越えたあとの減速後の速度計算を行うこととしている。
NW品質(計測値・予測値)のしきい値計算においては、ジッタを加味して、往復NW伝送時間に基づき計算を行うことが可能である。なお、往復NW伝送時間を、往復NW遅延、NW遅延などと呼んでもよい。
具体的な式は下記のとおりである。式7から式8、式9が得られる。式9は、tjを加味した式である。
d=(v/3.6)tTAT+v2/254μ≦X ・・・式7
t≦3.6((X/v)-(v/(254×μ)))-tc ・・・式8
t≦3.6((X/v)-(v/(254×μ)))-tc-tj ・・・式9
上記の式で使用する変数の意味は下記のとおりである。
t≦3.6((X/v)-(v/(254×μ)))-tc ・・・式8
t≦3.6((X/v)-(v/(254×μ)))-tc-tj ・・・式9
上記の式で使用する変数の意味は下記のとおりである。
d:制動停止距離[m]
tTAT=t+tc:TAT(Turn Around Time)[s](TATについては後述する図12で説明する)
t:往復NW伝送時間[s]
tc:反応時間や映像エンコード時間などの定数として扱う時間[s]
tj:ジッタ(遅延ゆらぎ)[s]
v:デバイスの速度[km/h]
X:規定停止距離[m]
μ:摩擦係数
式8を予測値・計測値二次式と呼び、式9を計測値一次式と呼ぶ。式8については、制御において往復NW遅延の予測値を使用することもできるし、計測値を使用することもできる。
tTAT=t+tc:TAT(Turn Around Time)[s](TATについては後述する図12で説明する)
t:往復NW伝送時間[s]
tc:反応時間や映像エンコード時間などの定数として扱う時間[s]
tj:ジッタ(遅延ゆらぎ)[s]
v:デバイスの速度[km/h]
X:規定停止距離[m]
μ:摩擦係数
式8を予測値・計測値二次式と呼び、式9を計測値一次式と呼ぶ。式8については、制御において往復NW遅延の予測値を使用することもできるし、計測値を使用することもできる。
式8を用いて予測値(つまり、将来の値)で制御を行う場合は、予測値が許容遅延時間を越えた時点で減速を開始することで減速完了できる。一方、計測値で制御を行う場合は、許容遅延時間を越えた時点で急ブレーキによる停止を行うこととなる。第1の実施の形態における式を用いる場合も同様である。
式9を使用することにより、ジッタを加味して許容遅延時間を計算するので、計測値で制御しても急ブレーキを行わなくて済む。つまり、式9を使用することにより、計測値が許容遅延時間を越えた時点で減速を開始することで減速完了できる。
第2の実施の形態では、NW品質(ここではNW遅延)に基づく減速後の速度設定を行う。減速後の速度については、式7の不等号を等号に置き換えて、tTAT=t+tc+tjとおくことで、下記の式10を満たすv(≧0)として計算することができる。
v2/254μ+(v/3.6)(t+tc+tj)-X=0 ・・・式10
減速後の速度設定についての具体例を、図11を参照して説明する。図11に示すように、30km/h(停止距離15m)における許容遅延時間(t_30)をNW遅延値(計測値)が越えた場合、式10に基づき速度を設定し直す。図11の例では、ジッタtjを加味して、減速後の速度が20km/hとして計算された場合を示している。
減速後の速度設定についての具体例を、図11を参照して説明する。図11に示すように、30km/h(停止距離15m)における許容遅延時間(t_30)をNW遅延値(計測値)が越えた場合、式10に基づき速度を設定し直す。図11の例では、ジッタtjを加味して、減速後の速度が20km/hとして計算された場合を示している。
なお、ジッタに関しては、過去のデータにもとづく統計値を用いてもよいし、機械学習などによる推定値などによって事前に計算しておくこととしてもよい。
続いて、図12を参照してTATについて説明する。図12は、一例として、移動体10がトラクタである場合を示している。図12に示すように、TATは、移動体10に搭載されているカメラの映像を遠隔監視者が目視で確認・判断後、遠隔監視者による制御信号が移動体10に到達するまでの時間である。つまり、図12の場合、TAT=「映像エンコード時間」+「遠隔監視者向けのNW伝送時間」+「映像バッファ・デコード時間」+「ディスプレイ時間」+「反応時間」+「移動体向けのNW伝送時間」+「制御信号の変換時間」となる。
上述した技術により、NW品質の計測値又は予測値(あるいは計測値と予測値の両方)を考慮して、移動体10の動作環境(自車状況+周囲状況)に応じた停止距離を保証した制御(加減速)を実現することができる。
以下、第2の実施の形態における装置構成例、及び動作例(実施例)を説明する。
(装置構成例)
第2の実施の形態におけるシステムの全体構成は第1の実施の形態と同じであり、図1、図2に示したとおりである。
第2の実施の形態におけるシステムの全体構成は第1の実施の形態と同じであり、図1、図2に示したとおりである。
図13に、第2の実施の形態における制御装置100の機能構成例を示す。図14に示すように、制御装置100は、ポリシ値計算部110、映像取得部111、自車状況取得部112、周囲状況計算部113、停止距離規定取得部114、ポリシDB120、ポリシ管理部130、情報取得部140、アクション管理部150、NW情報受信部160を有する。また、図13には、制御装置100に接続されているカメラ170も示されている。
図13に示すとおり、第2の実施の形態における制御装置100の機能構成は、第1の実施の形態における制御装置100の機能構成と同様である。各機能部の動作も基本的に第1の実施の形態と同じである。ただし、第2の実施の形態では、ポリシ値計算部110が、式8、式9を用いてポリシ値を計算し、アクション管理部150(制御実行部)は、式10を用いて減速後の速度を計算する。また、ハードウェア構成については、第1の実施の形態と同じであり、図5を参照して説明したとおりである。
なお、ポリシ値計算部110と周囲状況計算部113をまとめてポリシ情報計算部と呼んでもよい。また、アクション管理部150を制御実行部と呼んでもよい。
また、制御装置100はその全体が移動体10に備えられてもよいし、一部が移動体10の外(例えばクラウド上)に備えられてもよい。例えば、ポリシ値計算部110、ポリシDB120がクラウド上に備えられてもよい。
(第2の実施の形態における実施例)
図14は、第2の実施の形態における制御装置100の動作を示すフローチャートである。図6に示した第1の実施の形態におけるフローと基本的に同じである。ただし、第2の実施の形態においては、NW情報を用いてポリシ値を計算する。また、図14においては、S11において、減速後の速度計算を行う。以下、図14のフローに基づく実施例を説明する。
図14は、第2の実施の形態における制御装置100の動作を示すフローチャートである。図6に示した第1の実施の形態におけるフローと基本的に同じである。ただし、第2の実施の形態においては、NW情報を用いてポリシ値を計算する。また、図14においては、S11において、減速後の速度計算を行う。以下、図14のフローに基づく実施例を説明する。
<S1(ステップ1>
S1において、アクション管理部150が、移動体10に対する制御内容であるアクションを登録(保持)する。本実施の形態では、以下の3つのアクションを登録する。
S1において、アクション管理部150が、移動体10に対する制御内容であるアクションを登録(保持)する。本実施の形態では、以下の3つのアクションを登録する。
(1)制御(30km/h:初期速度)
(2)制御(Ykm/h)
(3)制御(0km/h:停止)
上記のYは前述した「減速後の速度計算」により動的に計算される。なお、Y≦0のとき停止となる.例えば、(2)の「制御(Ykm/h)」は、移動体10の速度をYkm/hにするという制御を意味する。
(2)制御(Ykm/h)
(3)制御(0km/h:停止)
上記のYは前述した「減速後の速度計算」により動的に計算される。なお、Y≦0のとき停止となる.例えば、(2)の「制御(Ykm/h)」は、移動体10の速度をYkm/hにするという制御を意味する。
<S2>
S2において、自車状況取得部112は、制御装置100が搭載されている移動体10の種別(車、トラクタ等)を取得する。また、映像取得部111は、カメラ170で撮影された映像を取得して、周囲状況計算部113に映像を受け渡す。
S2において、自車状況取得部112は、制御装置100が搭載されている移動体10の種別(車、トラクタ等)を取得する。また、映像取得部111は、カメラ170で撮影された映像を取得して、周囲状況計算部113に映像を受け渡す。
<S3>
S3において、周囲状況計算部113は、映像取得部111から渡された映像をもとに路面状態、天気、明るさを判定する。規定情報取得部114は、自車状況・周囲状況に応じた規定情報を規定情報格納装置300から取得する。取得する規定情報の例は、図7、図8に示したとおりである。
S3において、周囲状況計算部113は、映像取得部111から渡された映像をもとに路面状態、天気、明るさを判定する。規定情報取得部114は、自車状況・周囲状況に応じた規定情報を規定情報格納装置300から取得する。取得する規定情報の例は、図7、図8に示したとおりである。
<S4>
ポリシ値計算部110は、自車状況取得部112により取得した自車状況、周囲状況計算部113により計算した周囲状況、規定情報取得部114により取得した規定情報、NW情報受信部160により取得したNW情報、情報取得部140により取得した現在の移動体10の走行する速度(あるいはアクション管理部150が移動体に指示した速度)に基づいて、NW状態に応じたポリシ値を計算し、計算したポリシ値をポリシDB120に書き込む。NW状態とは、NW品質(遅延、パケットロス、帯域、ジッタ等)又はNW切替、あるいは、NW品質とNW切替の両方である。なお、NW品質とNW切替を総称してNW品質と称してもよい。
ポリシ値計算部110は、自車状況取得部112により取得した自車状況、周囲状況計算部113により計算した周囲状況、規定情報取得部114により取得した規定情報、NW情報受信部160により取得したNW情報、情報取得部140により取得した現在の移動体10の走行する速度(あるいはアクション管理部150が移動体に指示した速度)に基づいて、NW状態に応じたポリシ値を計算し、計算したポリシ値をポリシDB120に書き込む。NW状態とは、NW品質(遅延、パケットロス、帯域、ジッタ等)又はNW切替、あるいは、NW品質とNW切替の両方である。なお、NW品質とNW切替を総称してNW品質と称してもよい。
ここでは、一例として、車・路面(コンクリート・濡れていない):μ=0.7、晴れ・昼間:X=15m、tc=1.0s,ジッタtj=0.15sのときの遅延のポリシ値を、前述した式8(予測・計測二次式)及び式9(計測一次式)により計算する。具体的には、式8、式9における不等号を等号に置き換えた式を計算することにより、t(許容往復NW遅延)を計算する。
ポリシ値計算部110は、計算した値をポリシDB110に書き込む。図15に、ポリシDB110に書き込まれたポリシ値の例を示す。例えば、制御において、計測一次式により得られた値を使用する場合において、移動体10の速度が30[km/h]である場合、計測値であるNW遅延が0.04s未満であれば規定停止距離以下の停止距離となる。NW遅延が0.04s以上(あるいは0.04sより大きい)ならば、減速制御が行われる。減速後の速度をYとすれば、Yに基づき計算されたポリシ値(NW遅延)に基づいて同様の制御(更なる減速、速度増加等)が行われる。
<S5>
S5において、ポリシ管理部130は、ポリシDB120からポリシ情報(例:図15に示す情報)を取得する。
S5において、ポリシ管理部130は、ポリシDB120からポリシ情報(例:図15に示す情報)を取得する。
<S6>
NW情報受信部160は、NW情報収集装置200からNW情報を受信している。S6において、情報取得部140は、NW情報受信部160からNW情報(本実施の形態では往復NW遅延)を取得する。
NW情報受信部160は、NW情報収集装置200からNW情報を受信している。S6において、情報取得部140は、NW情報受信部160からNW情報(本実施の形態では往復NW遅延)を取得する。
<S7>
S7において、情報取得部140は、現在の移動体10の走行する速度を取得する。情報取得部140は、移動体10の速度を移動体10の速度計等から取得してもよいし、情報取得部140がGPS受信機等の測位機能を備えることで、移動体10の位置の経時的変化から速度を取得してもよい。
S7において、情報取得部140は、現在の移動体10の走行する速度を取得する。情報取得部140は、移動体10の速度を移動体10の速度計等から取得してもよいし、情報取得部140がGPS受信機等の測位機能を備えることで、移動体10の位置の経時的変化から速度を取得してもよい。
<S8、S9>
情報取得部140は、ポリシ管理部130がポリシDB120から読み込んだポリシ情報を、S6で取得したNW情報に基づいて検索することにより、当該NW情報に該当するポリシ値があるか否かを判断する。
情報取得部140は、ポリシ管理部130がポリシDB120から読み込んだポリシ情報を、S6で取得したNW情報に基づいて検索することにより、当該NW情報に該当するポリシ値があるか否かを判断する。
S9での判断が「該当あり」の場合はS10に進み、S9での判断が「該当なし」の場合はS14に進む。
<S10>
S10において、情報取得部140は、NW情報に該当するポリシ値をアクション管理部150に通知する。
S10において、情報取得部140は、NW情報に該当するポリシ値をアクション管理部150に通知する。
<S11>
本例では、例えば、往復NW遅延が、現在の速度に対応する往復NW遅延のポリシ値よりも大きいものとする。この場合、アクション管理部150は、式10をvについて解くことで、減速後の速度を計算する。減速後の速度を計算することが不要である場合は、S11を行わない。
本例では、例えば、往復NW遅延が、現在の速度に対応する往復NW遅延のポリシ値よりも大きいものとする。この場合、アクション管理部150は、式10をvについて解くことで、減速後の速度を計算する。減速後の速度を計算することが不要である場合は、S11を行わない。
<S12>
S12において、アクション管理部150は、アクションを実行する。例えば、移動体10を減速させる制御を行う。
S12において、アクション管理部150は、アクションを実行する。例えば、移動体10を減速させる制御を行う。
<S13>
アクション管理部150は、映像取得部111から取得する映像に基づいて、周囲状況(環境)の変化の有無を確認する。ここでは、例えば、コンクリートの道から砂利道になった、路面が濡れている状態から濡れていない状態になった、等のように、どのような変化があった場合に周囲状況が変化したと判断するかを予め定義しておき、アクション管理部150は、その定義に基づいて、周囲状況(環境)の変化の有無を確認する。また、移動体10の速度が変化した場合(例えば減速指示により減速した場合)も環境が変化したと判断される。
アクション管理部150は、映像取得部111から取得する映像に基づいて、周囲状況(環境)の変化の有無を確認する。ここでは、例えば、コンクリートの道から砂利道になった、路面が濡れている状態から濡れていない状態になった、等のように、どのような変化があった場合に周囲状況が変化したと判断するかを予め定義しておき、アクション管理部150は、その定義に基づいて、周囲状況(環境)の変化の有無を確認する。また、移動体10の速度が変化した場合(例えば減速指示により減速した場合)も環境が変化したと判断される。
S13で、周囲状況の変化が有と判断された場合にはS2に戻り、S13で、周囲状況の変化が無と判断された場合にはS14に進む。
<S14>
S14において、アクション管理部150が処理を終了すると判定した場合には処理を終了し、処理を継続すると判定した場合にはS6に戻る。ここでの終了判定について、例えば、監視者が移動体10(例:農機)での作業を終了することを制御装置100に指示した場合に、終了であると判定される。
S14において、アクション管理部150が処理を終了すると判定した場合には処理を終了し、処理を継続すると判定した場合にはS6に戻る。ここでの終了判定について、例えば、監視者が移動体10(例:農機)での作業を終了することを制御装置100に指示した場合に、終了であると判定される。
次に、図14のフローに基づくより具体的な動作例を説明する。一例として、時刻毎(ここでは1s毎)に図16に示すNW情報(往復NW遅延の予測値と計測値)が取得されるものとする。
図16に示すとおり、最初の時点(時刻=0s)で、取得される往復NW遅延は、予測値、計測値ともに0.01sである。時刻=0sにおいて、移動体10の速度は0km/hであるとする。
図17は、往復NW遅延に加えて、制御に基づく移動体10への指示速度、及び移動体10のその時刻での現在の速度が示されている。以降、図17を参照して、各時刻の動作を説明する。また、図17において、特に着目する部分を太枠で囲んでいる。
・時刻0~3
時刻0の時点において、遅延0.01をもとにポリシDB120(図15)を参照した結果、制御(30km/h:初期速度)に該当するため、情報取得部140は、制御(30km/h)をアクション管理部150に通知する。アクション管理部150は、該当のアクション(30km/hを指示)を実行する。時刻1~3でも同様である。
時刻0の時点において、遅延0.01をもとにポリシDB120(図15)を参照した結果、制御(30km/h:初期速度)に該当するため、情報取得部140は、制御(30km/h)をアクション管理部150に通知する。アクション管理部150は、該当のアクション(30km/hを指示)を実行する。時刻1~3でも同様である。
・時刻4~5
時刻4の時点で往復NW遅延(計測)が0.04を越えるため、アクション管理部150は、式10に基づきY=29.3km/hを算出し、制御(Ykm/h)のアクションを実行する。図17の例において、時刻5において、現在速度=指示速度になっている。
時刻4の時点で往復NW遅延(計測)が0.04を越えるため、アクション管理部150は、式10に基づきY=29.3km/hを算出し、制御(Ykm/h)のアクションを実行する。図17の例において、時刻5において、現在速度=指示速度になっている。
・時刻60~61
速度が29.3km/hであるときの往復NW遅延(予測)における閾値として0.25が計算されており、それがポリシDB120に格納されている。
速度が29.3km/hであるときの往復NW遅延(予測)における閾値として0.25が計算されており、それがポリシDB120に格納されている。
時刻60の時点で往復NW遅延(予測)が0.25を越えるため、アクション管理部150は、式10に基づきY=26.5km/hを算出し、制御(Ykm/h)のアクションを実行する。図17の例において、時刻61において、現在速度=指示速度になっている。
・時刻100~
往復NW遅延(予測・計測)のいずれもが制御(30km/h:初期速度)のしきい値を下回った時点で、移動体10の速度を初期速度に回復させる。
往復NW遅延(予測・計測)のいずれもが制御(30km/h:初期速度)のしきい値を下回った時点で、移動体10の速度を初期速度に回復させる。
なお、上記の例では、往復NW遅延の予測値と計測値の両方を使用する例を示しているが、往復NW遅延の計測値のみが取得される場合でも式10による減速後の速度計算が可能であるため同様の制御が可能である。
(実施の形態の効果)
以上説明したように、第1、第2の実施の形態に係る技術により、移動体を遠隔地からネットワークを介して監視するシステムにおいて、ネットワークの品質と周囲状況に応じて移動体を適切に制御することが可能となる。
以上説明したように、第1、第2の実施の形態に係る技術により、移動体を遠隔地からネットワークを介して監視するシステムにおいて、ネットワークの品質と周囲状況に応じて移動体を適切に制御することが可能となる。
(実施の形態のまとめ)
本明細書には、少なくとも下記の各項に記載した制御装置、制御方法、及びプログラムが記載されている。
(第1項)
移動体を遠隔地からネットワークを介して監視するシステムにおいて、前記移動体を制御する制御装置であって、
前記移動体の制御のためのポリシ情報を格納するポリシデータベースと、
前記移動体の周囲状況に基づいて、前記ネットワークの品質に応じた制御内容を示すポリシ情報を計算し、当該ポリシ情報を前記ポリシデータベースに格納するポリシ情報計算部と、
前記ネットワークの品質を取得し、前記ポリシ情報を参照することにより、当該ネットワークの品質に該当する制御を実行する制御実行部と
を備える制御装置。
(第2項)
前記ポリシ情報は、前記ネットワークの品質に応じた前記移動体の速度を示す情報であり、
前記制御実行部は、前記ポリシ情報に基づいて、取得された前記ネットワークの品質に応じた速度を決定し、決定した速度で走行するよう前記移動体を制御する
第1項に記載の制御装置。
(第3項)
前記ポリシ情報計算部は、前記ポリシ情報として、監視者により遠隔地から前記移動体を停止させる指示がなされるときに規定停止距離以内で前記移動体が停止できるような速度を前記ネットワークの品質毎に算出する
第1項又は第2項に記載の制御装置。
(第4項)
前記ネットワークの品質としての往復ネットワーク遅延が閾値を超えた場合において、前記制御実行部は、前記移動体の減速後の速度を、ジッタを加味したTATを用いて計算し、計算した速度で走行するよう前記移動体を制御する
第1項ないし第3項のうちいずれか1項に記載の制御装置。
(第5項)
前記ポリシ情報計算部は、前記ジッタ、規定停止距離、前記移動体の速度、摩擦係数、及び遅延に係る所定の定数を用いて前記閾値を計算する
第4項に記載の制御装置。
(第6項)
前記ポリシ情報計算部は、前記移動体の周囲状況を、前記移動体に搭載されたカメラにより撮影された映像から判断する
第1項ないし第5項のうちいずれか1項に記載の制御装置。
(第7項)
前記ポリシ情報は、前記ネットワークの品質に応じたカメラのフレームレートを示す情報であり、
前記制御実行部は、前記ポリシ情報に基づいて、取得された前記ネットワークの品質に応じたフレームレートを決定し、決定したフレームレートで映像を取得するよう前記カメラを制御する
第1項ないし第6項のうちいずれか1項に記載の制御装置。
(第8項)
移動体を遠隔地からネットワークを介して監視するシステムにおいて、前記移動体を制御する制御装置が実行する制御方法であって、
前記制御装置は、前記移動体の制御のためのポリシ情報を格納するポリシデータベースを備え、
前記移動体の周囲状況に基づいて、前記ネットワークの品質に応じた制御内容を示すポリシ情報を計算し、当該ポリシ情報を前記ポリシデータベースに格納するポリシ情報計算ステップと、
前記ネットワークの品質を取得し、前記ポリシ情報を参照することにより、当該ネットワークの品質に該当する制御を実行する制御実行ステップと
を備える制御方法。
(第9項)
コンピュータを、第1項ないし第7項のうちいずれか1項に記載の制御装置における各部として機能させるためのプログラム。
本明細書には、少なくとも下記の各項に記載した制御装置、制御方法、及びプログラムが記載されている。
(第1項)
移動体を遠隔地からネットワークを介して監視するシステムにおいて、前記移動体を制御する制御装置であって、
前記移動体の制御のためのポリシ情報を格納するポリシデータベースと、
前記移動体の周囲状況に基づいて、前記ネットワークの品質に応じた制御内容を示すポリシ情報を計算し、当該ポリシ情報を前記ポリシデータベースに格納するポリシ情報計算部と、
前記ネットワークの品質を取得し、前記ポリシ情報を参照することにより、当該ネットワークの品質に該当する制御を実行する制御実行部と
を備える制御装置。
(第2項)
前記ポリシ情報は、前記ネットワークの品質に応じた前記移動体の速度を示す情報であり、
前記制御実行部は、前記ポリシ情報に基づいて、取得された前記ネットワークの品質に応じた速度を決定し、決定した速度で走行するよう前記移動体を制御する
第1項に記載の制御装置。
(第3項)
前記ポリシ情報計算部は、前記ポリシ情報として、監視者により遠隔地から前記移動体を停止させる指示がなされるときに規定停止距離以内で前記移動体が停止できるような速度を前記ネットワークの品質毎に算出する
第1項又は第2項に記載の制御装置。
(第4項)
前記ネットワークの品質としての往復ネットワーク遅延が閾値を超えた場合において、前記制御実行部は、前記移動体の減速後の速度を、ジッタを加味したTATを用いて計算し、計算した速度で走行するよう前記移動体を制御する
第1項ないし第3項のうちいずれか1項に記載の制御装置。
(第5項)
前記ポリシ情報計算部は、前記ジッタ、規定停止距離、前記移動体の速度、摩擦係数、及び遅延に係る所定の定数を用いて前記閾値を計算する
第4項に記載の制御装置。
(第6項)
前記ポリシ情報計算部は、前記移動体の周囲状況を、前記移動体に搭載されたカメラにより撮影された映像から判断する
第1項ないし第5項のうちいずれか1項に記載の制御装置。
(第7項)
前記ポリシ情報は、前記ネットワークの品質に応じたカメラのフレームレートを示す情報であり、
前記制御実行部は、前記ポリシ情報に基づいて、取得された前記ネットワークの品質に応じたフレームレートを決定し、決定したフレームレートで映像を取得するよう前記カメラを制御する
第1項ないし第6項のうちいずれか1項に記載の制御装置。
(第8項)
移動体を遠隔地からネットワークを介して監視するシステムにおいて、前記移動体を制御する制御装置が実行する制御方法であって、
前記制御装置は、前記移動体の制御のためのポリシ情報を格納するポリシデータベースを備え、
前記移動体の周囲状況に基づいて、前記ネットワークの品質に応じた制御内容を示すポリシ情報を計算し、当該ポリシ情報を前記ポリシデータベースに格納するポリシ情報計算ステップと、
前記ネットワークの品質を取得し、前記ポリシ情報を参照することにより、当該ネットワークの品質に該当する制御を実行する制御実行ステップと
を備える制御方法。
(第9項)
コンピュータを、第1項ないし第7項のうちいずれか1項に記載の制御装置における各部として機能させるためのプログラム。
以上、本実施の形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。
本特許出願は2020年4月16日に出願した国際特許出願PCT/JP2020/016731に基づきその優先権を主張するものであり、国際特許出願PCT/JP2020/016731の全内容を本願に援用する。
10 移動体
100 制御装置
200 NW情報収集装置
300 規定情報格納装置
400 監視制御装置
500 ネットワーク
110 ポリシ値計算部
111 映像取得部
112 自車状況取得部
113 周囲状況計算部
114 停止距離規定取得部
120 ポリシDB
130 ポリシ管理部
140 情報取得部
150 アクション管理部
160 NW情報受信部
170 カメラ
1000 ドライブ装置
1001 記録媒体
1002 補助記憶装置
1003 メモリ装置
1004 CPU
1005 インタフェース装置
1006 表示装置
1007 入力装置
1008 出力装置
100 制御装置
200 NW情報収集装置
300 規定情報格納装置
400 監視制御装置
500 ネットワーク
110 ポリシ値計算部
111 映像取得部
112 自車状況取得部
113 周囲状況計算部
114 停止距離規定取得部
120 ポリシDB
130 ポリシ管理部
140 情報取得部
150 アクション管理部
160 NW情報受信部
170 カメラ
1000 ドライブ装置
1001 記録媒体
1002 補助記憶装置
1003 メモリ装置
1004 CPU
1005 インタフェース装置
1006 表示装置
1007 入力装置
1008 出力装置
Claims (9)
- 移動体を遠隔地からネットワークを介して監視するシステムにおいて、前記移動体を制御する制御装置であって、
前記移動体の制御のためのポリシ情報を格納するポリシデータベースと、
前記移動体の周囲状況に基づいて、前記ネットワークの品質に応じた制御内容を示すポリシ情報を計算し、当該ポリシ情報を前記ポリシデータベースに格納するポリシ情報計算部と、
前記ネットワークの品質を取得し、前記ポリシ情報を参照することにより、当該ネットワークの品質に該当する制御を実行する制御実行部と
を備える制御装置。 - 前記ポリシ情報は、前記ネットワークの品質に応じた前記移動体の速度を示す情報であり、
前記制御実行部は、前記ポリシ情報に基づいて、取得された前記ネットワークの品質に応じた速度を決定し、決定した速度で走行するよう前記移動体を制御する
請求項1に記載の制御装置。 - 前記ポリシ情報計算部は、前記ポリシ情報として、監視者により遠隔地から前記移動体を停止させる指示がなされるときに規定停止距離以内で前記移動体が停止できるような速度を前記ネットワークの品質毎に算出する
請求項1又は2に記載の制御装置。 - 前記ネットワークの品質としての往復ネットワーク遅延が閾値を超えた場合において、前記制御実行部は、前記移動体の減速後の速度を、ジッタを加味したTATを用いて計算し、計算した速度で走行するよう前記移動体を制御する
請求項1ないし3のうちいずれか1項に記載の制御装置。 - 前記ポリシ情報計算部は、前記ジッタ、規定停止距離、前記移動体の速度、摩擦係数、及び遅延に係る所定の定数を用いて前記閾値を計算する
請求項4に記載の制御装置。 - 前記ポリシ情報計算部は、前記移動体の周囲状況を、前記移動体に搭載されたカメラにより撮影された映像から判断する
請求項1ないし5のうちいずれか1項に記載の制御装置。 - 前記ポリシ情報は、前記ネットワークの品質に応じたカメラのフレームレートを示す情報であり、
前記制御実行部は、前記ポリシ情報に基づいて、取得された前記ネットワークの品質に応じたフレームレートを決定し、決定したフレームレートで映像を取得するよう前記カメラを制御する
請求項1ないし6のうちいずれか1項に記載の制御装置。 - 移動体を遠隔地からネットワークを介して監視するシステムにおいて、前記移動体を制御する制御装置が実行する制御方法であって、
前記制御装置は、前記移動体の制御のためのポリシ情報を格納するポリシデータベースを備え、
前記移動体の周囲状況に基づいて、前記ネットワークの品質に応じた制御内容を示すポリシ情報を計算し、当該ポリシ情報を前記ポリシデータベースに格納するポリシ情報計算ステップと、
前記ネットワークの品質を取得し、前記ポリシ情報を参照することにより、当該ネットワークの品質に該当する制御を実行する制御実行ステップと
を備える制御方法。 - コンピュータを、請求項1ないし7のうちいずれか1項に記載の制御装置における各部として機能させるためのプログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022515253A JP7548301B2 (ja) | 2020-04-16 | 2021-03-12 | 制御装置、制御方法、及びプログラム |
| US17/919,023 US20230244225A1 (en) | 2020-04-16 | 2021-03-12 | Control apparatus, control method and program |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JPPCT/JP2020/016731 | 2020-04-16 | ||
| PCT/JP2020/016731 WO2021210133A1 (ja) | 2020-04-16 | 2020-04-16 | 制御装置、制御方法、及びプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2021210312A1 true WO2021210312A1 (ja) | 2021-10-21 |
Family
ID=78084263
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2020/016731 Ceased WO2021210133A1 (ja) | 2020-04-16 | 2020-04-16 | 制御装置、制御方法、及びプログラム |
| PCT/JP2021/010062 Ceased WO2021210312A1 (ja) | 2020-04-16 | 2021-03-12 | 制御装置、制御方法、及びプログラム |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2020/016731 Ceased WO2021210133A1 (ja) | 2020-04-16 | 2020-04-16 | 制御装置、制御方法、及びプログラム |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US20230244225A1 (ja) |
| JP (1) | JP7548301B2 (ja) |
| WO (2) | WO2021210133A1 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023193443A1 (zh) * | 2022-04-08 | 2023-10-12 | 腾讯科技(深圳)有限公司 | 远程驾驶的控制方法、装置、设备、存储介质及程序产品 |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024024114A1 (ja) * | 2022-07-29 | 2024-02-01 | 日本電信電話株式会社 | 物体検知率算出装置、物体検知率算出方法、及びプログラム |
| WO2025104821A1 (ja) * | 2023-11-14 | 2025-05-22 | 日本電信電話株式会社 | 通信帯域算出装置、及び制御方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019003403A (ja) * | 2017-06-15 | 2019-01-10 | 株式会社日立製作所 | 監視制御システム、監視制御装置及び監視制御方法 |
| WO2020004546A1 (ja) * | 2018-06-28 | 2020-01-02 | 日本電気株式会社 | 遠隔制御装置、遠隔制御方法及びプログラム |
| JP2020003934A (ja) * | 2018-06-26 | 2020-01-09 | 株式会社デンソー | 車両用通信装置、車両用通信方法、及び制御プログラム |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10802484B2 (en) * | 2016-11-14 | 2020-10-13 | Baidu Usa Llc | Planning feedback based decision improvement system for autonomous driving vehicle |
| KR102585219B1 (ko) * | 2016-11-29 | 2023-10-05 | 삼성전자주식회사 | 차량 속도 제어 방법 및 장치 |
| US10229592B1 (en) * | 2017-11-07 | 2019-03-12 | Mohamed Roshdy Elsheemy | Method on-board vehicles to predict a plurality of primary signs of driving while impaired or driving while distracted |
-
2020
- 2020-04-16 WO PCT/JP2020/016731 patent/WO2021210133A1/ja not_active Ceased
-
2021
- 2021-03-12 WO PCT/JP2021/010062 patent/WO2021210312A1/ja not_active Ceased
- 2021-03-12 JP JP2022515253A patent/JP7548301B2/ja active Active
- 2021-03-12 US US17/919,023 patent/US20230244225A1/en not_active Abandoned
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019003403A (ja) * | 2017-06-15 | 2019-01-10 | 株式会社日立製作所 | 監視制御システム、監視制御装置及び監視制御方法 |
| JP2020003934A (ja) * | 2018-06-26 | 2020-01-09 | 株式会社デンソー | 車両用通信装置、車両用通信方法、及び制御プログラム |
| WO2020004546A1 (ja) * | 2018-06-28 | 2020-01-02 | 日本電気株式会社 | 遠隔制御装置、遠隔制御方法及びプログラム |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023193443A1 (zh) * | 2022-04-08 | 2023-10-12 | 腾讯科技(深圳)有限公司 | 远程驾驶的控制方法、装置、设备、存储介质及程序产品 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2021210133A1 (ja) | 2021-10-21 |
| JP7548301B2 (ja) | 2024-09-10 |
| JPWO2021210312A1 (ja) | 2021-10-21 |
| US20230244225A1 (en) | 2023-08-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11610477B2 (en) | Traffic assistance system, server, and vehicle-mounted device | |
| US10466697B2 (en) | Monitoring control system, monitoring control device, and monitoring control method | |
| JP7548301B2 (ja) | 制御装置、制御方法、及びプログラム | |
| CN111409643B (zh) | 远程驾驶方法、远程驾驶装置及远程驾驶系统 | |
| JP7085525B2 (ja) | 車両データで使用する動的データ圧縮システムおよび方法 | |
| CN114348025B (zh) | 一种车辆驾驶监控系统、方法、设备及存储介质 | |
| US20220084406A1 (en) | Information transmission device, information collection device, information transmission method, information collection method, and mobile entity | |
| US20230040713A1 (en) | Simulation method for autonomous vehicle and method for controlling autonomous vehicle | |
| US20230056115A1 (en) | Method of Collecting Data from Fleet of Vehicles | |
| JP2020076757A (ja) | 分散型ルート決定システム | |
| US11400957B2 (en) | Control device and control method of vehicle environment data transmission | |
| WO2022242125A1 (zh) | 编队行驶处理方法、装置、计算机可读介质及电子设备 | |
| US20220368861A1 (en) | Video communication method, video communication system, and receiving-side device | |
| KR20230044532A (ko) | 차량 제어 방법 및 장치, 미디어, 설비, 프로그램 | |
| US9582946B2 (en) | Method for managing breakdown of construction equipment for providing current workable information | |
| CN120327523A (zh) | 一种基于视觉语言模型的车辆远程驾驶控制方法和装置 | |
| JP7683699B2 (ja) | データ配信システム、通信品質予測装置、データ送信装置及びデータ送信方法 | |
| CN110347166B (zh) | 用于自动驾驶系统的传感器控制方法 | |
| JP6201855B2 (ja) | 運転支援システム、方法およびプログラム | |
| JP7687419B2 (ja) | 制御装置、制御システム、制御方法、及びプログラム | |
| CN120440057B (zh) | 用于车辆的安全控制方法、电子设备、存储介质 | |
| US12386369B2 (en) | System, control device, and control method for remote control of the vehicle | |
| JP2003242594A (ja) | 路上監視システム | |
| WO2025243392A1 (ja) | 情報処理装置 | |
| JP2025141791A (ja) | 情報処理方法、情報処理プログラム、および情報処理装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21788506 Country of ref document: EP Kind code of ref document: A1 |
|
| ENP | Entry into the national phase |
Ref document number: 2022515253 Country of ref document: JP Kind code of ref document: A |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 21788506 Country of ref document: EP Kind code of ref document: A1 |