WO2024014112A1 - 移動機器、および、移動機器の制御方法 - Google Patents

移動機器、および、移動機器の制御方法 Download PDF

Info

Publication number
WO2024014112A1
WO2024014112A1 PCT/JP2023/018412 JP2023018412W WO2024014112A1 WO 2024014112 A1 WO2024014112 A1 WO 2024014112A1 JP 2023018412 W JP2023018412 W JP 2023018412W WO 2024014112 A1 WO2024014112 A1 WO 2024014112A1
Authority
WO
WIPO (PCT)
Prior art keywords
mobile device
unit
operation mode
speed
communication
Prior art date
Application number
PCT/JP2023/018412
Other languages
English (en)
French (fr)
Inventor
淳二 加藤
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Publication of WO2024014112A1 publication Critical patent/WO2024014112A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18—Propelling the vehicle
    • B60W30/182—Selecting between different operative modes, e.g. comfort and performance modes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions

Definitions

  • the present technology relates to mobile equipment.
  • the present invention relates to a mobile device that communicates with an external controller and a method of controlling the mobile device.
  • the above-mentioned conventional technology attempts to facilitate remote control of mobile devices by changing the independence level depending on the communication quality.
  • the faster the moving speed of the mobile device is the more likely it is that a remote operator will not be able to perform the operation in time, or that the operator may overlook an obstacle or a person. Therefore, it is desirable to further improve safety.
  • This technology was created in view of this situation, and its purpose is to improve the safety of remotely controlled mobile devices.
  • the present technology has been developed to solve the above-mentioned problems, and the first aspect thereof is a communication unit that transmits and receives data to and from a controller via a predetermined communication path, and a communication unit that transmits and receives data via a predetermined communication path.
  • a communication quality prediction unit that predicts communication quality and obtains a predicted value
  • an operation mode control unit that selects one of a plurality of operation modes that defines an operation method for a remote operator of the controller based on the predicted value.
  • a speed control unit that controls a traveling speed based on the predicted value when a specific operation mode is selected from among the plurality of operation modes, and a control method thereof. This has the effect of improving safety.
  • the speed control unit is configured to control the speed control unit so that if the predicted value does not satisfy the required quality, which is the communication quality required for the current speed, the predicted value does not fall below a predetermined minimum traveling speed, and the required quality
  • the traveling speed may be controlled to a speed that satisfies the following. This brings about the effect of controlling the speed to an appropriate speed.
  • the speed controller may further include a required quality table in which required quality is associated with each speed, and the speed control unit may acquire the required quality from the required quality table. This results in the effect that calculations for determining an appropriate speed are not necessary.
  • each of the plurality of operation modes is associated with a required quality that is a required communication quality
  • the operation mode control unit is configured to perform the prediction among the plurality of operation modes.
  • An operation mode whose value satisfies the above-mentioned required quality may be selected. This brings about the effect that an appropriate operation mode is selected.
  • the communication path may include an uplink that is a path from the controller to the mobile device, and a downlink that is a path from the mobile device to the controller. good. This brings about the effect that uplink and downlink communication quality can be predicted.
  • the communication quality may include at least one of average throughput, average latency, and jitter. This brings about the effect that the average throughput and the like can be predicted.
  • FIG. 1 is a diagram illustrating a configuration example of a wireless communication system in a first embodiment of the present technology.
  • FIG. 1 is a block diagram illustrating a configuration example of a mobile device according to a first embodiment of the present technology.
  • FIG. 2 is a block diagram illustrating a configuration example of an autonomous/remote operation control section in the first embodiment of the present technology.
  • FIG. 2 is a block diagram illustrating a configuration example of a remote control processing unit in the first embodiment of the present technology.
  • FIG. 2 is a block diagram illustrating an example of a configuration of an operation mode communication quality request determination section in the first embodiment of the present technology.
  • FIG. 1 is a diagram illustrating a configuration example of a wireless communication system in a first embodiment of the present technology.
  • FIG. 1 is a block diagram illustrating a configuration example of a mobile device according to a first embodiment of the present technology.
  • FIG. 2 is a block diagram illustrating a configuration example of an autonomous/remote operation control section in
  • FIG. 2 is a block diagram illustrating a configuration example of a controller in a first embodiment of the present technology.
  • FIG. 2 is a block diagram illustrating a configuration example of a remote operation control unit in the first embodiment of the present technology.
  • FIG. 3 is a diagram illustrating an example of required quality for each speed of a mobile device according to the first embodiment of the present technology. It is a flowchart which shows an example of operation of a mobile device in a 1st embodiment of this technology. It is a block diagram showing an example of composition of a remote operation processing part in a 2nd embodiment of this art.
  • FIG. 7 is a block diagram showing an example of a configuration of an operation mode communication quality request determining section in a second embodiment of the present technology.
  • FIG. 7 is a diagram illustrating an example of required quality corresponding to operation mode B in the second embodiment of the present technology. It is a flowchart which shows an example of operation of a mobile device in a 2nd embodiment of this technology.
  • FIG. 1 is a block diagram showing a schematic configuration example of a vehicle control system.
  • FIG. 3 is an explanatory diagram showing an example of an installation position of an imaging unit.
  • FIG. 1 is a diagram illustrating a configuration example of a wireless communication system according to a first embodiment of the present technology.
  • This wireless communication system includes a controller 300, a time server 400, a mobile device 200, and a plurality of base stations such as base stations 151 to 153.
  • Base station 151 is placed within macro cell 110, for example.
  • Base stations 152 and 153 are arranged within small cells 111 and 112 within this macro cell 110.
  • the mobile device 200 is a mobile object that can be operated by an operator riding in the vicinity thereof, and is assumed to be a car, for example. Note that mobile devices other than automobiles, such as ships, aircraft, drones, and robots, can also be used as the mobile device 200.
  • the controller 300 is a device that allows another remote operator to remotely control the mobile device 200 instead of a nearby operator of the mobile device 200. This controller 300 exchanges various information with the mobile device 200 via the communication network 100 and base station.
  • a core network or the Internet is used as the communication network 100.
  • an operator near the mobile device 200 will be referred to as a "proximity operator”, and an operator who remotely operates the mobile device 200 will be referred to as a "remote operator”.
  • the mobile device 200 is a device that can be boarded (such as a car)
  • the operator on board such as a driver of the car
  • the mobile device 200 is a device that cannot be boarded (such as a drone)
  • an operator who operates the mobile device 200 while visually checking it in the vicinity corresponds to a proximity operator.
  • the base station 151 in the macro cell 110 uses the UHF (Ultra High Frequency) band such as LTE (Long Term Evolution) and the low SHF (Super High Frequency) band (Sub6) used in 5G NR (New Radio) etc. It is used for wireless communication.
  • the base station 152 and the like within the small cell performs wireless communication using the high SHF band and EHF (Extremely High Frequency) band (millimeter wave) used in 5G NR and the like.
  • the time server 400 acquires the current time in synchronization with GPS (Global Positioning System) satellites and supplies it to the controller 300 via the communication network 100.
  • GPS Global Positioning System
  • FIG. 2 is a block diagram illustrating a configuration example of the mobile device 200 according to the first embodiment of the present technology.
  • This mobile device 200 includes a radar 211, a LiDAR (Light Detection and DAnging) 212, a camera 213, an operation input section 214, and a GPS module 215.
  • the mobile device 200 also includes a mechanism control section 216, an information output section 217, a communication section 218, an autonomous/remote operation control section 220, and a remote operation processing section 230.
  • the radar 211 measures distances to surrounding objects using millimeter waves.
  • This radar 211 is equipped with a transmitting antenna (not shown) and a receiving antenna (not shown), and emit radio waves from the transmitting antenna to an object, and calculates the distance to the object from the time difference until it is reflected and returns to the receiving antenna. measure.
  • the radar 211 then supplies measurement data to the autonomous/remote operation control unit 220.
  • a plurality of radars 211 may be mounted depending on the shape of the mobile device 200. For example, in addition to the front and rear of the mobile device 200, the radar 211 may be mounted at a total of six locations: front right, front left, rear right, and rear left.
  • the LiDAR 212 measures the distance to the object based on the time difference by emitting laser light such as infrared rays and receiving the light that hits objects in front or around it and returns with a receiver. This LiDAR 212 supplies measurement data to the autonomous/remote operation control unit 220. In order to recognize the surrounding situation of the mobile device 200, a plurality of LiDARs 212 may be installed depending on the shape of the mobile device 200.
  • the camera 213 photographs the surroundings of the mobile device 200, performs image recognition, and detects surrounding objects, pedestrians, traffic lights, signs, white lines on the road, and the like. This camera 213 supplies photographic data and recognition results to the autonomous/remote operation control section 220 and the remote operation processing section 230.
  • the operation input unit 214 generates operation data according to the operation of the nearby operator on the input device.
  • Specific examples of the input device include a steering wheel, an accelerator, and a brake.
  • the operation input section 214 supplies operation data to the autonomous/remote operation control section 220.
  • the GPS module 215 receives GPS signals from GPS satellites and acquires the current position (latitude, longitude, etc.) and current time of the mobile device 200. This GPS module 215 supplies the acquired data to the autonomous/remote operation control section 220.
  • the mechanism control unit 216 controls the motor, brake, and steering device of the mobile device 200 in accordance with acceleration/deceleration and steering instructions from the autonomous/remote operation control unit 220.
  • acceleration/deceleration is instructed, the mechanism control unit 216 controls the motor that rotates the wheels and the brakes.
  • steering is instructed, the mechanism control unit 216 controls the steering device to change the direction of the wheels.
  • mechanism control unit 216 measures the number of rotations of the wheels, and measures the traveling speed and distance of the mobile device 200.
  • Mechanism control section 216 supplies measurement data to autonomous/remote operation control section 220 .
  • a propeller is controlled by a motor instead of wheels.
  • the information output unit 217 outputs data from the autonomous/remote operation control unit 220 in the form of video and audio.
  • data from the autonomous/remote operation control unit 220 for example, the status of the mobile device 200 (speed, direction of travel, remaining battery level, etc.) and various notification messages (abnormality notifications of the mobile device 200, notifications from the automatic driving system, etc.) can be displayed to nearby operators via video or audio. will be presented.
  • the communication unit 218 communicates with the controller 300 via the macro cell 110 and the communication network 100.
  • the autonomous/remote operation control section 220 sends data to the mechanism control section 216 and the information output section 217 based on data from the radar 211, LiDAR 212, camera 213, operation input section 214, GPS module 215, and remote operation processing section 230. is generated.
  • the remote control processing unit 230 exchanges control commands, images, and status with the controller 300 via the communication unit 218.
  • FIG. 3 is a block diagram showing a configuration example of the autonomous/remote operation control unit 220 in the first embodiment of the present technology.
  • the autonomous/remote driving control unit 220 includes a surrounding situation recognition unit 221, an action determination unit 222, and a movement status acquisition unit 223.
  • the surrounding situation recognition unit 221 uses the radar 211, LiDAR 212, and camera 213 to recognize the surrounding situation. For example, the surrounding situation recognition unit 221 detects white lines on the road, signs, other vehicles, people, and other obstacles from the photographic data of the camera 213. Further, the surrounding situation recognition unit 221 detects the distance, positional relationship, and relative speed with respect to surrounding vehicles and obstacles from measurement data of the radar 211 and LiDAR 212. The surrounding situation recognition unit 221 supplies the recognition result to the behavior determination unit 222.
  • the surrounding situation recognition unit 221 uses a combination of a radar 211, a LiDAR 212, and a camera 213 (image sensor), other sensors such as an ultrasonic sensor may be used, and even if the combination of sensors is different. I do not care.
  • the movement status acquisition unit 223 acquires the movement status (progressing direction, current speed, etc.) of the mobile device 200 based on data from the GPS module 215 and the mechanism control unit 216.
  • the movement status acquisition unit 223 supplies the acquired movement status to the behavior determination unit 222.
  • the movement status acquisition unit 223 may use other information such as inertial data from an IMU (Inertial Measurement Unit) sensor when acquiring the movement status.
  • IMU Inertial Measurement Unit
  • the movement status acquisition unit 223 acquires the legal minimum travel speed corresponding to the road on which the vehicle is traveling, from the current position measured by the GPS module 215.
  • the Road Traffic Act stipulates that vehicles must not travel at a speed lower than a predetermined minimum speed, except in unavoidable cases such as traffic jams.
  • the movement status acquisition unit 223 stores in advance a minimum travel speed table in which legal minimum travel speeds are associated with each road, and refers to the table to obtain the minimum travel speed corresponding to the current position. do.
  • the movement status acquisition unit 223 accesses, via the Internet, a database in which legal minimum travel speeds are associated with each road, and acquires the minimum travel speed corresponding to the current location.
  • the movement status acquisition unit 223 supplies the acquired minimum travel speed to the remote control processing unit 230 together with the movement status.
  • the action determining unit 222 controls the mechanism control unit 216 and instructs the acceleration/deceleration and steering of the mobile device 200 based on the surrounding situation, movement status, operation information, and control commands.
  • the operation mode of the mobile device 200 one of a plurality of modes including three modes: remote operation mode, non-remote manual operation mode, and non-remote automatic operation mode is set.
  • the remote operation mode is a mode in which a remote operator takes the initiative and performs driving tasks for the mobile device 200.
  • the system of mobile device 200 may control mobile device 200 instead of the remote operator.
  • a driving support function such as automatic braking
  • an automatic driving function under specific conditions such as automatic driving on a highway
  • the non-remote manual driving mode is a mode in which a nearby operator (such as a car driver) takes the lead in performing driving tasks.
  • a nearby operator such as a car driver
  • the system of mobile device 200 may control mobile device 200 instead of the proximate operator.
  • the non-remote automatic driving mode is a mode in which the system of the mobile device 200 takes the main role and performs driving tasks. However, under certain conditions, the system may request operation from a nearby operator (such as a driver).
  • the behavior determining unit 222 determines the control amount for acceleration, deceleration, and steering of the mobile device 200 based on the control command from the remote operation processing unit 230 and the movement status from the movement status acquisition unit 223, An instruction is given to the mechanism control unit 216.
  • the behavior determining unit 222 may determine the final control amount by taking into consideration judgments made by a driving support function or an automatic driving function under specific conditions. Further, when a nearby operator (such as a driver) inputs an operation, the action determining unit 222 may determine the final control amount by considering the operation data.
  • the action determining unit 222 determines the amount of acceleration/deceleration and steering control of the mobile device 200 based on the operation data from the operation input unit 214 and the movement status from the movement status acquisition unit 223. , instructs the mechanism control unit 216. Note that the behavior determining unit 222 may determine the final control amount by taking into account the recognition results from the surrounding situation recognition unit 221 and the determination by the driving support function and the automatic driving function under specific conditions.
  • the action determining unit 222 determines the acceleration/deceleration and steering control amounts of the mobile device 200 based on preset route planning information, operation data, and movement status, and controls the mechanism control unit. 216. Note that if the action determining unit 222 determines that a judgment by the nearby operator is necessary, it may notify the nearby operator using means such as displaying a notification message on the information output unit 217. Then, when the notified nearby operator inputs an operation, the action determining unit 222 may determine the final control amount by considering the operation data.
  • Each of the above-mentioned driving modes is set by the behavior determining unit 222, for example, according to the operation of the nearby operator. Note that the controller 300 can also set each operation mode.
  • FIG. 4 is a block diagram illustrating a configuration example of the remote operation processing unit 230 in the first embodiment of the present technology.
  • the remote control processing unit 230 includes an operation mode A processing unit 240, a communication quality prediction unit 231, and an operation mode communication quality request determination unit 232.
  • the operation mode is set on the controller 300 side.
  • the operation mode defines the operation method performed by the remote operator, and there may be a plurality of operation modes with different operation methods.
  • One of the operation modes is set by a remote operator or the controller 300. In the first embodiment, it is assumed that only operation mode A is set as the operation mode.
  • Operation mode A is an operation performed by a remote operator from the controller 300 that is similar to a driving operation performed by a nearby operator (driver) using the steering wheel, accelerator, or brake in the driver's seat of the mobile device 200 (for example, a car). mode.
  • the controller 300 presents the received video and status (speed, direction of travel, remaining battery level, etc.) to the remote operator.
  • the remote operator operates input devices such as a handle, accelerator, and brake on the controller 300 side while viewing the presented video and movement status.
  • the controller 300 generates a control command for controlling the mobile device 200 according to the operation of the remote operator, and transmits it to the mobile device 200.
  • the operation mode A processing section 240 transmits and receives information necessary in operation mode A, and includes a control command reception section 241, a video transmission section 242, and a status transmission section 243.
  • the control command receiving unit 241 receives control commands from the controller 300 and supplies them to the autonomous/remote operation control unit 220. As described above, the autonomous/remote operation control unit 220 controls the movement of the mobile device 200 based on the control commands received from the controller 300.
  • the video transmission unit 242 receives video data from the camera 213, encodes the video data, and transmits it to the controller 300 via the communication unit 218 according to a real-time data communication protocol such as RTP (Real-time Transport Protocol).
  • the video transmitter 242 receives the reception quality status (latency, packet loss rate, etc.) of video data from the controller 300 using a flow control protocol such as RTCP (RTP Control Protocol), and responds according to the reception quality status. to control the transmission rate of video data.
  • RTCP RTP Control Protocol
  • the status transmitting unit 243 receives the status of the mobile device 200 (speed, direction of travel, remaining battery power, etc.) from the autonomous/remote operation control unit 220 and transmits it to the controller 300 via the communication unit 218.
  • the communication quality prediction unit 231 predicts the communication quality of the communication path from the controller 300 to the mobile device 200.
  • the communication path in this direction is hereinafter referred to as a "downlink.”
  • video data around the mobile device 200 and status are transmitted.
  • the communication quality for example, the standard deviation of at least one of average throughput, average latency, and jitter within a certain period of time is measured and calculated.
  • the communication quality prediction unit 231 inquires and obtains the amount of data transmitted to the controller 300 during a certain period of time (for example, 5 seconds), and determines the communication amount per second as the average throughput.
  • the mobile device 200 uses the GPS module 215 to obtain the time synchronized to the GPS satellite in advance, and synchronizes the system clock of the mobile device 200. Further, the controller 300 accesses the time server 400 via the communication network 100 and performs time synchronization using PTP (Precision Time Protocol) to synchronize the system clock of the controller 300 with the time of the GPS satellite.
  • PTP Precision Time Protocol
  • the controller 300 transmits a delay measurement packet to the mobile device 200.
  • a UDP User Datagram Protocol
  • a time stamp indicates the transmission time based on the system clock synchronized between the mobile device 200 and the controller 300.
  • the communication quality prediction unit 231 on the mobile device 200 side reads the time immediately after receiving the packet, and measures the time (latency) required to transmit the packet. In this method, the communication quality prediction unit 231 measures the latency for a certain period (for example, 5 seconds) periodically (for example, every 200 milliseconds), calculates the average value, and sets it as the average latency.
  • a certain period for example, 5 seconds
  • calculates the average value for example, every 200 milliseconds
  • the latency can also be measured using a remote control packet instead.
  • the communication quality prediction unit 231 calculates the latency by using the time when the mobile device receives the Receiver Report from the difference between the transmission time of the RTCP Sender Report and the LSR (last SR) stored in the corresponding Receiver Report. It doesn't matter if you measure it.
  • the communication quality prediction unit 231 calculates instantaneous jitter from the difference between the transmission interval of packets for delay measurement and the interval at which the controller 300 receives the packets. For example, the standard deviation of instantaneous jitter over a certain period of time (such as 5 seconds) is measured.
  • the communication quality prediction unit 231 notifies the operation mode communication quality request determination unit 232 of the average throughput, average latency, and jitter values obtained by the above-described method as predicted values of communication quality.
  • the communication quality prediction unit 231 measures at least one of average throughput, average latency, and jitter, it is also possible to measure other parameters as communication quality.
  • the operation mode communication quality requirement determination unit 232 determines whether the predicted value of communication quality satisfies the communication quality required for the current operation mode.
  • the operation mode communication quality requirement determination unit 232 holds in advance information that associates an operation mode with a communication quality required for that operation mode.
  • the required communication quality is hereinafter referred to as "required quality.” In operation mode A, it is assumed that the faster the speed of mobile device 200, the higher the required quality.
  • the operation mode communication quality request determination unit 232 receives a measured value of downlink communication quality (average throughput, etc.) from the communication quality prediction unit 231. Further, the communication path from the controller 300 to the mobile device 200 is set as an “uplink”, and the operation mode communication quality request determination unit 232 receives the measured value of the uplink communication quality from the controller 300. Control commands are sent via this uplink.
  • a measured value of downlink communication quality (average throughput, etc.) from the communication quality prediction unit 231. Further, the communication path from the controller 300 to the mobile device 200 is set as an “uplink”, and the operation mode communication quality request determination unit 232 receives the measured value of the uplink communication quality from the controller 300. Control commands are sent via this uplink.
  • the operation mode communication quality requirement determination unit 232 compares the required quality corresponding to the current speed with the predicted value and determines whether the current communication quality is sufficient to execute the current operation mode. to decide.
  • the operation mode communication quality requirement determination unit 232 If the measured value does not satisfy the required quality, the operation mode communication quality requirement determination unit 232 generates operation data instructing deceleration as necessary, and supplies it to the autonomous/remote operation control unit 220.
  • the operation mode communication quality request determining unit 232 may notify the controller 300 that deceleration has been performed, and the controller 300 may display the content and notify the remote operator.
  • the operation mode communication quality request determination unit 232 can send an approval request to the controller 300, and instruct deceleration when the remote operator performs an operation for approval.
  • FIG. 5 is a block diagram illustrating a configuration example of the operation mode communication quality request determination unit 232 in the first embodiment of the present technology.
  • the operation mode communication quality request determination section 232 includes a speed control section 233 and a request quality table 235.
  • the required quality table 235 is a table in which required quality is associated and described for each speed in operation mode A. Note that although the required quality table 235 is held within the mobile device 200, the configuration is not limited to this. For example, the required quality table 235 may be stored in a node external to the mobile device 200, and the mobile device 200 may access the table via the Internet or the like and refer to the table.
  • the speed control unit 233 controls the traveling speed of the mobile device 200 depending on whether the predicted value of communication quality satisfies the required quality corresponding to the current speed.
  • the speed control unit 233 reads the required quality corresponding to the current speed from the required quality table 235 and compares it with the predicted value. If the predicted value does not meet the required quality, the speed control unit 233 refers to the required quality table 235 and determines whether there is a speed that does not fall below the minimum travel speed and satisfies the required quality. If there is such an appropriate speed, the speed control unit 233 decelerates the mobile device 200 to that speed.
  • the speed control unit 233 determines that remote control is not possible, and switches the driving mode to a non-remote driving mode (such as a non-remote automatic driving mode or a non-remote manual driving mode).
  • a non-remote driving mode such as a non-remote automatic driving mode or a non-remote manual driving mode.
  • the speed control unit 233 controls the traveling speed based on the predicted value of the communication quality, when the communication quality deteriorates, the speed is reduced to an appropriate speed to facilitate operation by the remote operator. The risk of the operator overlooking obstacles or people can be reduced. Thereby, the safety of mobile device 200 can be improved.
  • FIG. 6 is a block diagram showing a configuration example of the controller 300 in the first embodiment of the present technology.
  • This controller 300 includes a communication section 311, an operation input section 312, an information output section 313, a map information holding section 314, and a remote operation control section 320.
  • the communication unit 311 communicates with the mobile device 200 via the macro cell 110 and the communication network 100.
  • the operation input unit 312 generates operation data according to a remote operator's operation on the input device.
  • the input device include a steering wheel, an accelerator, and a brake.
  • the operation input section 312 supplies operation data to the remote operation control section 320.
  • the information output unit 313 outputs peripheral images of the mobile device 200, status, and notification messages (abnormality notifications of the mobile device 200, notifications from the automatic driving system, etc.) in the form of video and audio, and presents them to the remote operator. be.
  • the map information holding unit 314 holds map information used for navigation functions.
  • the remote operation control unit 320 generates data to be sent to the information output unit 313 based on data from the communication unit 311 and map information holding unit 314, and outputs data to the communication unit 311 based on data from the operation input unit 312. It is something that generates.
  • FIG. 7 is a block diagram showing a configuration example of the remote operation control unit 320 in the first embodiment of the present technology.
  • the remote operation control section 320 includes an operation mode A control section 330, a communication quality prediction section 321, and an operation mode judgment notification/approval section 322.
  • the operation mode A control section 330 includes a control command transmission section 331, a video reception section 332, and a status reception section 333.
  • the control command transmission section 331 generates a control command for controlling the mobile device 200 based on the operation data from the operation input section 312, and transmits it to the mobile device 200 via the communication section 311.
  • the video receiving unit 332 receives video data from the mobile device 200 using a real-time data communication protocol such as RTP, decodes it, and supplies it to the information output unit 313.
  • the status receiving unit 333 receives the status from the mobile device 200.
  • the operation mode A control unit 330 generates display data and audio data based on the surrounding video, status, and map information, and supplies the data to the information output unit 313.
  • the communication quality prediction unit 321 predicts the communication quality of the communication path (i.e., uplink) from the mobile device 200 to the controller 300.
  • communication quality for example, average throughput, average latency, and standard deviation of jitter within a certain period of time are measured and calculated.
  • a packet for delay measurement is transmitted from the communication quality prediction unit 321 to the mobile device 200.
  • the communication quality prediction unit 321 transmits the predicted value of communication quality to the mobile device 200.
  • the operation mode determination notification/approval unit 322 supplies data for notifying the remote operator to the information output unit 313, and returns a response to the notification to the mobile device 200 based on the operation content of the operation input unit 312. be.
  • the operation mode determination notification/approval unit 322 when the operation mode communication quality request determination unit 232 on the mobile device 200 side notifies that deceleration has been performed, the operation mode determination notification/approval unit 322 generates display data indicating that and the information output unit 313 supply to.
  • the operation mode determination notification/approval unit 322 when the operation mode communication quality request determination unit 232 transmits an approval request before instructing deceleration, the operation mode determination notification/approval unit 322 generates display data for receiving approval and sends it to the information output unit 313. supply to. Then, when operation data for approval or rejection is input from the operation input unit 312, the operation mode determination notification/approval unit 322 returns a response indicating approval or rejection to the mobile device 200 via the communication unit 311. .
  • FIG. 8 is a diagram showing an example of required quality for each speed of the mobile device 200 in the first embodiment of the present technology.
  • the speed range of mobile device 200 is divided into “high speed,” “medium speed,” “low speed,” “slow speed,” and the like.
  • the required communication quality (required quality) is listed in the required quality table 235. The faster the speed, the higher the required quality is set.
  • the notation "X to Y” in the figure means a range of "X" kilometers per hour (km/h) or more and less than "Y" kilometers per hour (km/h).
  • the required quality is expressed, for example, by at least one of throughput, latency, and jitter for each communication direction.
  • the communication direction is divided into a direction from the mobile device 200 to the controller 300 (downlink) and a direction from the controller 300 to the mobile device 200 (uplink).
  • a throughput of 30 megabits per second or more, a latency of 30 milliseconds or less, and a jitter of 10 milliseconds or less are required.
  • the speed control unit 233 controls the traveling speed to a speed that is equal to or higher than the minimum traveling speed and satisfies the required quality. For example, assume that the current speed is 70 kilometers per hour (km/h) and the predicted value does not satisfy the corresponding required quality. Additionally, the minimum running speed shall be 30 kilometers per hour (km/h). Further, it is assumed that the required quality corresponding to a medium speed of 30 kilometers per hour (km/h) or more and less than 60 kilometers per hour (km/h) satisfies the predicted value.
  • the speed control unit 233 decelerates the mobile device 200 to a speed within the medium speed range.
  • the quality requirements for low speeds and slow driving below 30 kilometers per hour (km/h) also meet the predicted values, but since these ranges are below the minimum driving speed, unless there are circumstances such as to avoid an accident, Speeds within those ranges will not be reduced.
  • the mobile device 200 obtains the required quality corresponding to the current speed from the table illustrated in the figure, the configuration is not limited to this.
  • the mobile device 200 can also obtain the required quality by calculation using a predetermined function f(v) that returns the required quality when the current speed v is input.
  • FIG. 9 is a flowchart illustrating an example of the operation of the mobile device 200 in the first embodiment of the present technology. This operation is started, for example, when the remote operation mode is set.
  • the remote control processing unit 230 in the mobile device 200 obtains uplink communication quality (step S901) and obtains downlink communication quality (step S902). Further, the remote control processing unit 230 obtains the current speed of the mobile device 200 (step S903), and obtains the minimum traveling speed (step S904).
  • the remote operation processing unit 230 refers to the required quality table 235 and determines whether the communication quality corresponding to the current speed satisfies the required quality (step S905). If the communication quality corresponding to the current speed satisfies the required quality (step S905: Yes), the remote control processing unit 230 ends the operation for controlling the traveling speed.
  • step S905 determines whether there is a speed that satisfies the required quality and does not fall below the minimum running speed. is determined (step S906).
  • step S906 If there is no speed that satisfies the required quality and does not fall below the minimum running speed (step S906: No), the remote control processing unit 230 determines that remote control is not possible (step S907), and switches to non-remote driving mode. and completes the operation for controlling the traveling speed.
  • step S906 if there is a speed that satisfies the required quality and is not lower than the minimum running speed (step S906: Yes), the remote control processing unit 230 instructs deceleration to that speed (step S908) and controls the running speed. Finish the action to do so.
  • the processing illustrated in the figure is executed, for example, at regular intervals or when a predetermined event occurs.
  • the speed control unit 233 controls the traveling speed based on the predicted value of the communication quality, so when the communication quality deteriorates, the speed control unit 233 adjusts the speed to an appropriate speed.
  • the speed can be reduced to improve the safety of the mobile device 200.
  • the speed control unit 233 determines whether there is a speed that satisfies the required quality and does not fall below the minimum running speed, and if there is an appropriate speed, the speed is reduced. . With this configuration, if there is no appropriate speed, the remote operation mode cannot be continued.
  • Mobile device 200 in the second embodiment differs from the first embodiment in that it selects one of a plurality of operation modes based on a predicted value of communication quality.
  • FIG. 10 is a block diagram illustrating a configuration example of the remote operation processing unit 230 in the second embodiment of the present technology.
  • the remote operation mode of the second embodiment a plurality of operation modes are prepared, and the remote operation processing unit 230 can select and set any one of them. For example, assume that either operation mode A or operation mode B is set.
  • Operation mode B uses task-level commands for the mobile device 200 to perform actions with a certain meaning that are more abstract than low-level operation methods (such as steering wheel, accelerator, and brake operations). This is an operation method for remote control.
  • the remote operator operates based on map information around the mobile device 200, video information from a camera equipped on the mobile device 200, and/or surrounding recognition information from a sensor equipped on the mobile device 200. , determine the surrounding situation of the mobile device 200. After determining the surrounding situation, the remote operator inputs a task-level command to the controller 300 to execute an action with a certain meaning. Some commands require parameters to be added.
  • the mobile device 200 interprets the command received from the controller 300, takes into account the map information and surrounding recognition information held by the mobile device 200, converts it into control instructions for the steering wheel, accelerator, brake, etc., and determines the behavior of the mobile device 200. and controls the mechanism.
  • Commands used in operation mode B include “keep lane and go straight”, “change lane left (or right)", “decelerate/accelerate”, and “stop”.
  • “turn left (or right) at a designated corner” “park in a designated parking lot”, “U-turn at a designated location”, “move to a designated location”, and “stop on the left (or right) shoulder of the road” ” etc.
  • the specific contents of "corner”, “parking lot”, and “place” in these commands are specified by parameters.
  • operation mode B does not assume that commands input through the controller 300 are executed immediately and with low latency.
  • this operation mode it is assumed that not only the instructed task level control command is executed, but also highly urgent crisis avoidance processing is determined and executed on the mobile device 200 side.
  • the mobile device 200 detects obstacles and surrounding vehicles and people, determines the possibility of an accident occurring, and if the possibility is high, determines an action plan to avoid the crisis (stopping, avoiding, etc.) Vehicle control may also be performed by
  • operation mode B the degree of freedom of operation is lower than intuitive operation like operation mode A, but even if the communication quality between the mobile device 200 and the controller 300 is low, the vehicle It is possible to perform the operation.
  • the remote control processing unit 230 of the second embodiment differs from the first embodiment in that it further includes an operation mode B processing unit 250.
  • the operation mode B processing section 250 includes a control command receiving section 251, a video transmitting section 252, a recognition result transmitting section 253, and a status transmitting section 254.
  • the control command receiving unit 251 receives task-level control commands from the controller 300 in operation mode B, and supplies them to the autonomous/remote operation control unit 220.
  • the video transmitting unit 252 receives video data from the camera 213 in operation mode B, encodes the video data, and transmits the encoded video data to the controller 300 via the communication unit 218. Further, the video transmitting unit 252 controls the transmission rate of video data according to the quality status of receiving the video data from the controller 300.
  • the recognition result transmitting unit 253 receives recognition data of the surrounding situation of the mobile device 200 from the camera 213 in operation mode B, and transmits it to the controller 300 via the communication unit 218.
  • This recognition data is displayed, for example, on the controller 300 side, superimposed on the map information.
  • the status transmission unit 254 receives the status of the mobile device 200 from the autonomous/remote operation control unit 220 in operation mode B, and transmits it to the controller 300 via the communication unit 218.
  • the communication quality prediction unit 231 of the second embodiment monitors the selected one of the operation mode A processing unit 240 and the operation mode B processing unit 250, predicts the communication quality, and uses the predicted value in the operation mode The information is supplied to the communication quality request determination unit 232.
  • the operation mode communication quality request determination unit 232 may notify the controller 300 of the instruction, and the controller 300 may display the contents and notify the remote operator.
  • the operation mode communication quality request determination unit 232 can send an approval request to the controller 300, and instruct the switching when the remote operator performs an operation for approval.
  • the remote operation processing unit 230 selects either operation mode A or operation mode B, three or more operation modes are prepared, and the remote operation processing unit 230 selects one of them. You can also do that.
  • the operation method changes depending on the selected operation mode.
  • operation mode A the steering wheel, accelerator, and brake are operated as described above.
  • operation mode B the operation selected by the above-mentioned command is performed.
  • the information output unit 313 in the controller 200 of the second embodiment outputs peripheral images, status, and notification messages in the form of images and sounds, as described above.
  • operation mode B command options for mobile device 200 are displayed.
  • FIG. 11 is a block diagram illustrating a configuration example of the operation mode communication quality request determination unit 232 in the second embodiment of the present technology.
  • the operation mode communication quality request determination unit 232 of the second embodiment differs from the first embodiment in that it further includes an operation mode control unit 234 and a required quality table 236.
  • the required quality table 236 holds the required quality corresponding to operation mode B.
  • the operation mode control unit 234 selects an operation mode based on a predicted value of communication quality.
  • the operation mode control unit 234 selects an operation mode in which the predicted value can satisfy the required quality from among the plurality of operation modes. If the selected operation mode is not the current operation mode, the operation mode control unit 234 supplies the autonomous/remote operation control unit 220 with a switching signal instructing switching to the selected operation mode, thereby causing the autonomous/remote operation control unit 220 to switch.
  • the required quality table 236 is held within the mobile device 200, the configuration is not limited to this.
  • the required quality table 236 may be stored in a node external to the mobile device 200, and the mobile device 200 may access the table via the Internet or the like and refer to the table.
  • the operation mode control unit 234 can switch to an appropriate mode according to the communication quality by selecting the operation mode based on the predicted value of the communication quality. Thereby, the safety of mobile device 200 can be further improved.
  • the speed control unit 233 controls the traveling speed based on the communication quality, similar to the first embodiment.
  • FIG. 12 is a block diagram showing a configuration example of the remote operation control unit 320 in the second embodiment of the present technology.
  • the remote operation control unit 320 of this second embodiment differs from the first embodiment in that it further includes an operation mode B control unit 340.
  • the operation mode B control section 340 includes a control command transmitting section 341, a video receiving section 342, a recognition result receiving section 343, and a status receiving section 344.
  • the control command transmitter 341 generates a task-level control command along with parameters based on the operation data from the operation input unit 312 in operation mode B, and transmits it to the mobile device 200 via the communication unit 311.
  • the video reception unit 342 receives video data from the mobile device 200 in operation mode B using a real-time data communication protocol such as RTP, decodes it, and supplies it to the information output unit 313.
  • a real-time data communication protocol such as RTP
  • the recognition result receiving unit 343 receives recognition data from the mobile device 200 in operation mode B.
  • the recognition result receiving section 343 superimposes the recognition data on the map information and displays it on the information output section 313.
  • the status receiving unit 344 receives the status from the mobile device 200 in operation mode B.
  • FIG. 13 is a diagram showing an example of required quality corresponding to operation mode B in the second embodiment of the present technology.
  • the required quality table 236 describes required qualities (throughput, latency, jitter, etc.) for each of the downlink and uplink.
  • operation mode B requires constant communication quality regardless of the speed.
  • FIG. 14 is a flowchart illustrating an example of the operation of the mobile device 200 in the second embodiment of the present technology.
  • the remote control processing unit 230 in the mobile device 200 obtains uplink communication quality (step S911) and obtains downlink communication quality (step S912). Furthermore, the remote control processing unit 230 obtains the current speed of the mobile device 200 (step S913), and initializes a variable i to "1" (step S914).
  • a priority is set in advance for each of a plurality of operation modes such as operation mode A and operation mode B.
  • the remote operation processing unit 230 acquires the required quality corresponding to the i-th priority mode among the plurality of operation modes from the required quality table 235 and the required quality table 236. Then, the remote operation processing unit 230 determines whether the predicted value satisfies the required quality of the i-th priority (step S915). Here, if the i-th operation mode is operation mode A, the required quality corresponding to the current speed is read from the required quality table 235.
  • step S915 If the predicted value satisfies the required quality of the i-th priority (step S915: Yes), the remote control processing unit 230 selects the i-th operation mode (step S916) and instructs switching as necessary. (Step S917). After step S917, the remote control processing unit 230 ends the operation for selecting the operation mode.
  • step S915 if the predicted value does not satisfy the required quality of the i-th priority (step S915: No), the remote control processing unit 230 increments i (step S918), and sets the operation mode of the i-th priority to It is determined whether there is one (step S919).
  • Step S919: Yes If there is an operation mode with the i-th priority (Step S919: Yes), the remote operation processing unit 230 repeatedly executes Step S915 and subsequent steps. On the other hand, if there is no operation mode with the i-th priority (step S919: No), the remote operation processing unit 230 determines that remote operation is impossible (step S920), switches to a non-remote operation mode, and performs the operation. Finish the operation for selecting the mode.
  • the process of selecting the operation mode illustrated in the figure is executed, for example, at regular intervals or when a predetermined event occurs. Further, the control shown in the figure and the speed control illustrated in FIG. 9 are executed in parallel.
  • the speed control section 233 controls the traveling speed based on the predicted value as illustrated in FIG.
  • the mobile device 200 can also select only the operation mode without controlling the traveling speed.
  • the operation mode control unit 234 selects the operation mode based on the predicted value of communication quality, so that the safety of the mobile device 200 can be further improved. I can do it.
  • the technology according to the present disclosure (this technology) can be applied to various products.
  • the technology according to the present disclosure may be realized as a device mounted on any type of moving body such as a car, electric vehicle, hybrid electric vehicle, motorcycle, bicycle, personal mobility, airplane, drone, ship, robot, etc. You can.
  • FIG. 15 is a block diagram showing a schematic configuration example of a vehicle control system, which is an example of a mobile object control system to which the technology according to the present disclosure can be applied.
  • the vehicle control system 12000 includes a plurality of electronic control units connected via a communication network 12001.
  • the vehicle control system 12000 includes a drive system control unit 12010, a body system control unit 12020, an outside vehicle information detection unit 12030, an inside vehicle information detection unit 12040, and an integrated control unit 12050.
  • a microcomputer 12051, an audio/image output section 12052, and an in-vehicle network I/F (interface) 12053 are illustrated.
  • the drive system control unit 12010 controls the operation of devices related to the drive system of the vehicle according to various programs.
  • the drive system control unit 12010 includes a drive force generation device such as an internal combustion engine or a drive motor that generates drive force for the vehicle, a drive force transmission mechanism that transmits the drive force to wheels, and a drive force transmission mechanism that controls the steering angle of the vehicle. It functions as a control device for a steering mechanism to adjust and a braking device to generate braking force for the vehicle.
  • the body system control unit 12020 controls the operations of various devices installed in the vehicle body according to various programs.
  • the body system control unit 12020 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as a headlamp, a back lamp, a brake lamp, a turn signal, or a fog lamp.
  • radio waves transmitted from a portable device that replaces a key or signals from various switches may be input to the body control unit 12020.
  • the body system control unit 12020 receives input of these radio waves or signals, and controls the door lock device, power window device, lamp, etc. of the vehicle.
  • the external information detection unit 12030 detects information external to the vehicle in which the vehicle control system 12000 is mounted.
  • an imaging section 12031 is connected to the outside-vehicle information detection unit 12030.
  • the vehicle exterior information detection unit 12030 causes the imaging unit 12031 to capture an image of the exterior of the vehicle, and receives the captured image.
  • the external information detection unit 12030 may perform object detection processing such as a person, car, obstacle, sign, or text on the road surface or distance detection processing based on the received image.
  • the imaging unit 12031 is an optical sensor that receives light and outputs an electrical signal according to the amount of received light.
  • the imaging unit 12031 can output the electrical signal as an image or as distance measurement information.
  • the light received by the imaging unit 12031 may be visible light or non-visible light such as infrared rays.
  • the in-vehicle information detection unit 12040 detects in-vehicle information.
  • a driver condition detection section 12041 that detects the condition of the driver is connected to the in-vehicle information detection unit 12040.
  • the driver condition detection unit 12041 includes, for example, a camera that images the driver, and the in-vehicle information detection unit 12040 detects the degree of fatigue or concentration of the driver based on the detection information input from the driver condition detection unit 12041. It may be calculated, or it may be determined whether the driver is falling asleep.
  • the microcomputer 12051 calculates control target values for the driving force generation device, steering mechanism, or braking device based on the information inside and outside the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040, Control commands can be output to 12010.
  • the microcomputer 12051 realizes ADAS (Advanced Driver Assistance System) functions, including vehicle collision avoidance or shock mitigation, following distance based on vehicle distance, vehicle speed maintenance, vehicle collision warning, vehicle lane departure warning, etc. It is possible to perform cooperative control for the purpose of ADAS (Advanced Driver Assistance System) functions, including vehicle collision avoidance or shock mitigation, following distance based on vehicle distance, vehicle speed maintenance, vehicle collision warning, vehicle lane departure warning, etc. It is possible to perform cooperative control for the purpose of
  • ADAS Advanced Driver Assistance System
  • the microcomputer 12051 controls the driving force generating device, steering mechanism, braking device, etc. based on information about the surroundings of the vehicle acquired by the vehicle exterior information detection unit 12030 or the vehicle interior information detection unit 12040. It is possible to perform cooperative control for the purpose of autonomous driving, etc., which does not rely on operation.
  • the microcomputer 12051 can output a control command to the body system control unit 12020 based on the information outside the vehicle acquired by the outside information detection unit 12030.
  • the microcomputer 12051 controls the headlamps according to the position of the preceding vehicle or oncoming vehicle detected by the vehicle exterior information detection unit 12030, and performs cooperative control for the purpose of preventing glare, such as switching from high beam to low beam. It can be carried out.
  • the audio and image output unit 12052 transmits an output signal of at least one of audio and images to an output device that can visually or audibly notify information to the occupants of the vehicle or to the outside of the vehicle.
  • an audio speaker 12061, a display section 12062, and an instrument panel 12063 are illustrated as output devices.
  • the display unit 12062 may include, for example, at least one of an on-board display and a head-up display.
  • FIG. 16 is a diagram showing an example of the installation position of the imaging section 12031.
  • the imaging unit 12031 includes imaging units 12101, 12102, 12103, 12104, and 12105.
  • the imaging units 12101, 12102, 12103, 12104, and 12105 are provided, for example, at positions such as the front nose, side mirrors, rear bumper, back door, and the top of the windshield inside the vehicle 12100.
  • An imaging unit 12101 provided in the front nose and an imaging unit 12105 provided above the windshield inside the vehicle mainly acquire images in front of the vehicle 12100.
  • Imaging units 12102 and 12103 provided in the side mirrors mainly capture images of the sides of the vehicle 12100.
  • An imaging unit 12104 provided in the rear bumper or back door mainly captures images of the rear of the vehicle 12100.
  • the imaging unit 12105 provided above the windshield inside the vehicle is mainly used to detect preceding vehicles, pedestrians, obstacles, traffic lights, traffic signs, lanes, and the like.
  • FIG. 16 shows an example of the imaging range of the imaging units 12101 to 12104.
  • An imaging range 12111 indicates the imaging range of the imaging unit 12101 provided on the front nose
  • imaging ranges 12112 and 12113 indicate imaging ranges of the imaging units 12102 and 12103 provided on the side mirrors, respectively
  • an imaging range 12114 shows the imaging range of the imaging unit 12101 provided on the front nose.
  • the imaging range of the imaging unit 12104 provided in the rear bumper or back door is shown. For example, by overlapping the image data captured by the imaging units 12101 to 12104, an overhead image of the vehicle 12100 viewed from above can be obtained.
  • At least one of the imaging units 12101 to 12104 may have a function of acquiring distance information.
  • at least one of the imaging units 12101 to 12104 may be a stereo camera including a plurality of image sensors, or may be an image sensor having pixels for phase difference detection.
  • the microcomputer 12051 determines the distance to each three-dimensional object within the imaging ranges 12111 to 12114 and the temporal change in this distance (relative speed with respect to the vehicle 12100) based on the distance information obtained from the imaging units 12101 to 12104. In particular, by determining the three-dimensional object closest to the vehicle 12100 on its path and traveling in substantially the same direction as the vehicle 12100 at a predetermined speed (for example, 0 km/h or more), it is possible to extract the three-dimensional object as the preceding vehicle. can. Furthermore, the microcomputer 12051 can set an inter-vehicle distance to be secured in advance in front of the preceding vehicle, and perform automatic brake control (including follow-up stop control), automatic acceleration control (including follow-up start control), and the like. In this way, cooperative control can be performed for the purpose of autonomous driving, etc., which does not rely on the driver's operation.
  • automatic brake control including follow-up stop control
  • automatic acceleration control including follow-up start control
  • the microcomputer 12051 transfers three-dimensional object data to other three-dimensional objects such as two-wheeled vehicles, regular vehicles, large vehicles, pedestrians, and utility poles based on the distance information obtained from the imaging units 12101 to 12104. It can be classified and extracted and used for automatic obstacle avoidance. For example, the microcomputer 12051 identifies obstacles around the vehicle 12100 into obstacles that are visible to the driver of the vehicle 12100 and obstacles that are difficult to see. Then, the microcomputer 12051 determines a collision risk indicating the degree of risk of collision with each obstacle, and when the collision risk exceeds a set value and there is a possibility of a collision, the microcomputer 12051 transmits information via the audio speaker 12061 and the display unit 12062. By outputting a warning to the driver via the vehicle control unit 12010 and performing forced deceleration and avoidance steering via the drive system control unit 12010, driving support for collision avoidance can be provided.
  • the microcomputer 12051 determines a collision risk indicating the degree of risk of collision with each obstacle, and when the collision risk exceed
  • At least one of the imaging units 12101 to 12104 may be an infrared camera that detects infrared rays.
  • the microcomputer 12051 can recognize a pedestrian by determining whether the pedestrian is present in the images captured by the imaging units 12101 to 12104.
  • pedestrian recognition involves, for example, a procedure for extracting feature points in images captured by the imaging units 12101 to 12104 as infrared cameras, and a pattern matching process is performed on a series of feature points indicating the outline of an object to determine whether it is a pedestrian or not.
  • the audio image output unit 12052 creates a rectangular outline for emphasis on the recognized pedestrian.
  • the display unit 12062 is controlled to display the .
  • the audio image output unit 12052 may control the display unit 12062 to display an icon or the like indicating a pedestrian at a desired position.
  • vehicle control system to which the technology according to the present disclosure can be applied has been described above.
  • the technology according to the present disclosure can be applied to the vehicle control system 12000 among the configurations described above.
  • the system of mobile device 200 in FIG. 1 can be applied to vehicle control system 12000.
  • the processing procedure described in the above embodiment may be regarded as a method having a series of these procedures, and may also be used as a program for causing a computer to execute this series of procedures or a recording medium that stores the program. You can capture it.
  • a recording medium for example, a CD (Compact Disc), an MD (MiniDisc), a DVD (Digital Versatile Disc), a memory card, a Blu-ray Disc (Blu-ray (registered trademark) Disc), etc. can be used.
  • a communication unit that transmits and receives data to and from the controller via a predetermined communication path; a communication quality prediction unit that predicts the communication quality of the communication path and obtains a predicted value; an operation mode control unit that selects one of a plurality of operation modes that defines an operation method for a remote operator of the controller based on the predicted value; a speed control unit that controls a traveling speed based on the predicted value when a specific operation mode is selected from among the plurality of operation modes.
  • the speed controller controls the speed at which the traveling speed does not fall below a predetermined minimum traveling speed and satisfies the required quality.
  • the mobile device according to (1) above which controls speed.
  • (3) Further includes a required quality table that associates required quality with each speed, The mobile device according to (2), wherein the speed control unit obtains the required quality from the required quality table.
  • Each of the plurality of operation modes is associated with a required quality that is a required communication quality, The mobile device according to any one of (1) to (3), wherein the operation mode control unit selects an operation mode in which the predicted value satisfies the required quality from among the plurality of operation modes.
  • the communication path includes an uplink that is a path from the controller to the mobile device, and a downlink that is a path from the mobile device to the controller. Mobile equipment as described in .
  • the mobile device according to any one of (1) to (5), wherein the communication quality includes at least one of average throughput, average latency, and jitter.
  • a method for controlling a mobile device comprising: a speed control procedure for controlling a traveling speed based on the predicted value when a specific operation mode is selected from among the plurality of operation modes.
  • Communication network 110 Macro cell 111, 112 Small cell 151-153 Base station 200 Mobile device 211 Radar 212 LiDAR 213 Camera 214, 312 Operation input unit 215 GPS module 216 Mechanism control unit 217, 313 Information output unit 218, 311 Communication unit 220 Autonomous/remote operation control unit 221 Surrounding situation recognition unit 222 Action determination unit 223 Movement status acquisition unit 230 Remote control Processing unit 231, 321 Communication quality prediction unit 232 Operation mode communication quality request determination unit 233 Speed control unit 234 Operation mode control unit 235, 236 Requested quality table 240 Operation mode A processing unit 241, 251 Control command reception unit 242, 252 Video transmission Sections 243, 254 Status transmission section 250 Operation mode B processing section 253 Recognition result transmission section 300 Controller 314 Map information holding section 320 Remote operation control section 322 Operation mode judgment notification/approval section 330 Operation mode A control section 331, 341 Control command transmission Sections 332, 342 Video receiving section 333, 344 Status receiving section 340 Operation mode B control section 3

Abstract

遠隔操作される移動機器において、安全性を向上させる。　移動機器は、通信部、通信品質予測部、操作モード制御部および速度制御部を具備する。通信部は、コントローラとの間で所定の通信経路を介してデータを送受信する。通信品質予測部は、通信経路の通信品質を予測して予測値を取得する。操作モード制御部は、コントローラの遠隔操作者の操作方法を規定する複数の操作モードのいずれかを予測値に基づいて選択する。速度制御部は、複数の操作モードのうち特定の操作モードが選択された場合には予測値に基づいて走行速度を制御する。

Description

移動機器、および、移動機器の制御方法
　本技術は、移動機器に関する。詳しくは、外部のコントローラと通信する移動機器、および、移動機器の制御方法に関する。
　近年、事故防止や、運転者の負担軽減などの目的で、自動車などの移動機器の自動運転システムの開発、研究が進められている。この自動運転システムでは、不測の事態に対処するために、操作者が移動機器を遠隔から操作するテレオペレーション技術が利用されることがある。例えば、通信品質に応じて、遠隔操作する際の自立レベルを変更するシステムが提案されている（例えば、特許文献１参照。）。
特開２０１１－１５０５１６号公報
　上述の従来技術では、通信品質に応じて自立レベルを変更することにより、移動機器の遠隔操作の円滑化を図っている。しかしながら、上述のシステムでは、移動機器の走行速度が速いほど、遠隔の操作者の操作が間に合わなくなるおそれや、操作者が障害物や人間を見落とすおそれがある。このため、安全性をより向上させることが望ましい。
　本技術はこのような状況に鑑みて生み出されたものであり、遠隔操作される移動機器において、安全性を向上させることを目的とする。
　本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、コントローラとの間で所定の通信経路を介してデータを送受信する通信部と、上記通信経路の通信品質を予測して予測値を取得する通信品質予測部と、上記コントローラの遠隔操作者の操作方法を規定する複数の操作モードのいずれかを上記予測値に基づいて選択する操作モード制御部と、上記複数の操作モードのうち特定の操作モードが選択された場合には上記予測値に基づいて走行速度を制御する速度制御部とを具備する移動機器、および、その制御方法である。これにより、安全性が向上するという作用をもたらす。
　また、この第１の側面において、上記速度制御部は、現在速度に要求される通信品質である要求品質を上記予測値が満たさない場合には所定の最低走行速度を下回らず、かつ、要求品質を満たす速度に上記走行速度を制御してもよい。これにより、適切な速度に制御されるという作用をもたらす。
　また、この第１の側面において、速度ごとに要求品質を対応付けた要求品質テーブルをさらに具備し、上記速度制御部は、上記要求品質を上記要求品質テーブルから取得してもよい。これにより、適切な速度を求めるための演算が不要になるという作用をもたらす。
　また、この第１の側面において、上記複数の操作モードのそれぞれには要求される通信品質である要求品質が対応付けられており、上記操作モード制御部は、上記複数の操作モードのうち上記予測値が上記要求品質を満たす操作モードを選択してもよい。これにより、適切な操作モードが選択されるという作用をもたらす。
　また、この第１の側面において、上記通信経路は、上記コントローラから上記移動機器への経路であるアップリンクと、上記移動機器から上記コントローラへの経路であるダウンリンクとを含むものであってもよい。これにより、アップリンク、ダウンリンクの通信品質が予測されるという作用をもたらす。
　また、この第１の側面において、上記通信品質は、平均スループット、平均レイテンシおよびジッターの少なくとも１つを含むものであってもよい。これにより、平均スループットなどが予測されるという作用をもたらす。
本技術の第１の実施の形態における無線通信システムの一構成例を示す図である。 本技術の第１の実施の形態における移動機器の一構成例を示すブロック図である。 本技術の第１の実施の形態における自律・遠隔運転制御部の一構成例を示すブロック図である。 本技術の第１の実施の形態における遠隔操作処理部の一構成例を示すブロック図である。 本技術の第１の実施の形態における操作モード通信品質要求判断部の一構成例を示すブロック図である。 本技術の第１の実施の形態におけるコントローラの一構成例を示すブロック図である。 本技術の第１の実施の形態における遠隔操作制御部の一構成例を示すブロック図である。 本技術の第１の実施の形態における移動機器の速度毎の要求品質の一例を示す図である。 本技術の第１の実施の形態における移動機器の動作の一例を示すフローチャートである。 本技術の第２の実施の形態における遠隔操作処理部の一構成例を示すブロック図である。 本技術の第２の実施の形態における操作モード通信品質要求判断部の一構成例を示すブロック図である。 本技術の第２の実施の形態における遠隔操作制御部の一構成例を示すブロック図である。 本技術の第２の実施の形態における操作モードＢに対応する要求品質の一例を示す図である。 本技術の第２の実施の形態における移動機器の動作の一例を示すフローチャートである。 車両制御システムの概略的な構成例を示すブロック図である。 撮像部の設置位置の一例を示す説明図である。
　以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
　１．第１の実施の形態（通信品質に基づいて速度を制御する例）
　２．第２の実施の形態（通信品質に基づいて速度、操作モードを制御する例）
　３．車両制御システムへの応用例
　＜１．第１の実施の形態＞
　［無線通信システムの構成例］
　図１は、本技術の第１の実施の形態における無線通信システムの一構成例を示す図である。この無線通信システムは、コントローラ３００と、タイムサーバー４００と、移動機器２００と、基地局１５１乃至１５３などの複数の基地局とを備える。基地局１５１は、例えば、マクロセル１１０内に配置される。このマクロセル１１０内のスモールセル１１１や１１２内に基地局１５２や１５３が配置される。
　移動機器２００は、その近隣で操作者が搭乗などして操作可能な移動体であり、例えば、自動車が想定される。なお、船舶、航空機、ドローンや、ロボットなどの自動車以外の移動機器を移動機器２００として用いることもできる。
　コントローラ３００は、移動機器２００の近隣の操作者の代わりに、遠隔にいる別の操作者が移動機器２００を遠隔操作するための装置である。このコントローラ３００は、通信ネットワーク１００や基地局を経由して、移動機器２００との間で各種の情報をやりとりする。通信ネットワーク１００として、コアネットワークやインターネットが用いられる。
　以下、移動機器２００の近隣の操作者を「近接操作者」と称し、移動機器２００を遠隔操作する操作者を「遠隔操作者」と称する。移動機器２００が搭乗可能な機器（自動車など）である場合、搭乗している操作者（自動車のドライバーなど）が近接操作者に該当する。移動機器２００が搭乗できない機器（ドローンなど）である場合、その近隣で移動機器２００を視認しながら操作する操作者が近接操作者に該当する。
　マクロセル１１０内の基地局１５１は、ＬＴＥ(Long Term Evolution)等のＵＨＦ（Ultra High Frequency）帯や、５Ｇ　ＮＲ(New Radio)等で使用される低ＳＨＦ（Super High Frequency）帯（Ｓｕｂ６）を使った無線通信を行うものである。スモールセル内の基地局１５２等は、５Ｇ　ＮＲ等で使用される高ＳＨＦ帯やＥＨＦ（Extremely High Frequency）帯（ミリ波）を使った無線通信を行うものである。
　タイムサーバー４００は、ＧＰＳ（Global Positioning System）衛星に同期して現在時刻を取得し、通信ネットワーク１００を介して、コントローラ３００に供給するものである。
　［移動機器の構成例］
　図２は、本技術の第１の実施の形態における移動機器２００の一構成例を示すブロック図である。この移動機器２００は、レーダー２１１、ＬｉＤＡＲ(Light Detection and DAnging)２１２、カメラ２１３、操作入力部２１４、および、ＧＰＳモジュール２１５を備える。また、移動機器２００は、機構制御部２１６、情報出力部２１７、通信部２１８、自律・遠隔運転制御部２２０および遠隔操作処理部２３０を備える。
　レーダー２１１は、ミリ波を用いて周辺の物体との距離を測定するものである。このレーダー２１１は、送信アンテナ（不図示）および受信アンテナ（不図示）を備え、その送信アンテナから電波を物体に飛ばし、反射して受信アンテナに戻ってくるまでの時間差から、物体との距離を計測する。そして、レーダー２１１は、自律・遠隔運転制御部２２０に測定データを供給する。移動機器２００の周囲の状況を認識するために、その形状に合わせて複数のレーダー２１１を搭載してもよい。例えば、移動機器２００の前方、後方に加え、右前・左前・右後・左後の合計６か所にレーダー２１１を搭載しても構わない。
　ＬｉＤＡＲ２１２は、赤外線などのレーザー光を飛ばし、前方や周囲の物体に当たって戻ってきた光を受光器で受け取ることで、その時の時間差から物体との距離を計測するものである。このＬｉＤＡＲ２１２は、測定データを自律・遠隔運転制御部２２０に供給する。移動機器２００の周囲の状況を認識するために、その形状に合わせて複数のＬｉＤＡＲ２１２を搭載してもよい。
　カメラ２１３は、移動機器２００の周囲の状況を撮影して画像認識を行い、周囲の物体や歩行者、信号や標識、道路の白線等を検出するものである。このカメラ２１３は、撮影データや認識結果を自律・遠隔運転制御部２２０および遠隔操作処理部２３０に供給する。
　操作入力部２１４は、入力装置に対する近接操作者の操作に従って操作データを生成するものである。入力装置の具体例として、ハンドル、アクセルやブレーキなどが挙げられる。操作入力部２１４は、操作データを自律・遠隔運転制御部２２０に供給する。
　ＧＰＳモジュール２１５は、ＧＰＳ衛星からのＧＰＳ信号を受信し、移動機器２００の現在位置（緯度や経度など）や現在時刻を取得するものである。このＧＰＳモジュール２１５は、取得したデータを自律・遠隔運転制御部２２０に供給する。
　機構制御部２１６は、自律・遠隔運転制御部２２０からの加減速や操舵の指示に従って、移動機器２００のモーター、ブレーキやステアリング装置を制御するものである。加減速が指示された場合、機構制御部２１６は、車輪を回転させるモーターや、ブレーキを制御する。操舵が指示された場合、機構制御部２１６は、ステアリング装置を制御して、車輪の向きを変更させる。
　また、機構制御部２１６は、車輪の回転数を計測し、移動機器２００の走行速度、走行距離の計測を行う。機構制御部２１６は、測定データを自律・遠隔運転制御部２２０に供給する。移動機器２００が航空機やドローンである場合は、車輪の代わりに、プロペラがモーターにより制御される。
　情報出力部２１７は、自律・遠隔運転制御部２２０からのデータを映像や音声で出力するものである。例えば、移動機器２００のステータス（速度、進行方向や、バッテリー残量など）や、各種の通知メッセージ（移動機器２００の異常通知や、自動運転システムからの通知等）が映像や音声で近接操作者に提示される。
　通信部２１８は、マクロセル１１０や通信ネットワーク１００を介して、コントローラ３００との間で通信を行うものである。
　自律・遠隔運転制御部２２０は、レーダー２１１、ＬｉＤＡＲ２１２、カメラ２１３、操作入力部２１４、ＧＰＳモジュール２１５および遠隔操作処理部２３０からのデータに基づいて、機構制御部２１６および情報出力部２１７へのデータを生成するものである。
　遠隔操作処理部２３０は、通信部２１８を介してコントローラ３００との間で、制御コマンド、映像やステータスをやりとりするものである。
　［自律・遠隔運転制御部の構成例］
　図３は、本技術の第１の実施の形態における自律・遠隔運転制御部２２０の一構成例を示すブロック図である。この自律・遠隔運転制御部２２０は、周辺状況認識部２２１、行動決定部２２２および移動ステータス取得部２２３を備える。
　周辺状況認識部２２１は、レーダー２１１、ＬｉＤＡＲ２１２およびカメラ２１３を用いて、周辺の状況を認識するものである。例えば、周辺状況認識部２２１は、カメラ２１３の撮影データから、路面の白線、標識、他の車両、人、その他の障害物を検出する。また、周辺状況認識部２２１は、レーダー２１１やＬｉＤＡＲ２１２の測定データから、周囲の車両や障害物との距離、位置関係や相対速度を検出する。周辺状況認識部２２１は、認識結果を行動決定部２２２に供給する。
　なお、周辺状況認識部２２１は、レーダー２１１、ＬｉＤＡＲ２１２およびカメラ２１３（イメージセンサ）の組み合わせを用いているが、超音波センサなどの他のセンサを用いても構わないし、センサの組み合わせが異なっても構わない。
　移動ステータス取得部２２３は、ＧＰＳモジュール２１５および機構制御部２１６からのデータに基づいて、移動機器２００の移動ステータス（進行方向や現在速度など）を取得するものである。この移動ステータス取得部２２３は、取得した移動ステータスを行動決定部２２２に供給する。なお、移動ステータス取得部２２３は、移動ステータスを取得する際に、ＩＭＵ(Inertial Measurement Unit)センサによる慣性データなど、他の情報を利用しても構わない。
　また、移動ステータス取得部２２３は、ＧＰＳモジュール２１５の測定した現在位置から、走行中の道路に対応する法定の最低走行速度を取得する。ここで、高速道路や自動車専用道路においては、渋滞などのやむを得ない場合を除き、既定の最低速度以下の速度で進行してはならない旨が道路交通法により規定されている。例えば、移動ステータス取得部２２３は、道路ごとに、法定の最低走行速度を対応付けた最低走行速度テーブルを予め記憶しておき、そのテーブルを参照して、現在位置に対応する最低走行速度を取得する。あるいは、移動ステータス取得部２２３は、道路ごとに法定の最低走行速度を対応付けたデータベースにインターネットを介してアクセスし、現在位置に対応する最低走行速度を取得する。移動ステータス取得部２２３は、取得した最低走行速度を移動ステータスとともに遠隔操作処理部２３０に供給する。
　行動決定部２２２は、周辺状況、移動ステータス、操作情報や制御コマンドに基づいて、機構制御部２１６を制御し、移動機器２００の加減速や操舵を指示するものである。
　ここで、移動機器２００の運転モードとして、遠隔運転モード、非遠隔手動運転モードおよび非遠隔自動運転モードの３つを含む複数のモードのいずれかが設定される。
　遠隔運転モードは、遠隔操作者が主体となり、移動機器２００の運転タスクを実施するモードである。ただし、特定条件下で、移動機器２００のシステムが、遠隔操作者の代わりに移動機器２００を制御する場合もある。移動機器２００自身が運転タスクを行う場合、例えば、運転支援機能（自動ブレーキなど）や、特定の条件下における自動運転機能（高速道路における自動運転など）が用いられる。
　非遠隔手動運転モードは、近接操作者（自動車のドライバーなど）が主体となり運転タスクを実施するモードである。ただし、特定条件下で、移動機器２００のシステムが、近接操作者の代わりに移動機器２００を制御する場合もある。
　非遠隔自動運転モードは、移動機器２００のシステムが主体となり、運転タスクを実施するモードである。ただし、特定の条件でシステムから近接操作者（ドライバーなど）に操作を要求する場合もある。
　遠隔運転モードにおいて行動決定部２２２は、遠隔操作処理部２３０からの制御コマンドと、移動ステータス取得部２２３からの移動ステータスとに基づいて、移動機器２００の加減速や操舵の制御量を決定し、機構制御部２１６に指示する。なお、行動決定部２２２は、運転支援機能や、特定の条件下における自動運転機能による判断を加味して、最終的な制御量を決定してもよい。また、近接操作者（ドライバーなど）が操作入力した場合、行動決定部２２２は、その操作データを加味して最終的な制御量を決定してもよい。
　非遠隔手動運転モードにおいて行動決定部２２２は、操作入力部２１４からの操作データと、移動ステータス取得部２２３からの移動ステータスとに基づいて、移動機器２００の加減速や操舵の制御量を決定し、機構制御部２１６に指示する。なお、行動決定部２２２は、周辺状況認識部２２１からの認識結果や、運転支援機能や特定の条件下における自動運転機能による判断を加味して、最終的な制御量を決定してもよい。
　非遠隔自動運転モードにおいて行動決定部２２２は、予め設定された経路計画情報と、操作データと、移動ステータスとに基づいて、移動機器２００の加減速や操舵の制御量を決定し、機構制御部２１６に指示する。なお、行動決定部２２２が、近接操作者による判断が必要だと判断した場合には、情報出力部２１７に通知メッセージを表示させる等の手段を用いて近接操作者に通知してもよい。そして、通知された近接操作者が操作入力した場合、行動決定部２２２は、その操作データを加味して最終的な制御量を決定してもよい。
　上述の各運転モードは、例えば、近接操作者の操作に従って行動決定部２２２により設定される。なお、コントローラ３００が、各運転モードの設定を行うこともできる。
　［遠隔操作処理部の構成例］
　図４は、本技術の第１の実施の形態における遠隔操作処理部２３０の一構成例を示すブロック図である。この遠隔操作処理部２３０は、操作モードＡ処理部２４０、通信品質予測部２３１および操作モード通信品質要求判断部２３２を備える。
　ここで、移動機器２００に遠隔運転モードが設定された場合、コントローラ３００側で操作モードが設定される。操作モードは、遠隔操作者の実施する操作方法を規定するものであり、操作方法の異なる複数の操作モードがあってよい。遠隔操作者やコントローラ３００により、いずれかの操作モードが設定される。第１の実施の形態では、操作モードとして、操作モードＡのみが設定されるものとする。
　操作モードＡは、移動機器２００（例えば、自動車）の運転席で近接操作者（ドライバー）がハンドル、アクセルやブレーキを用いて行う運転操作と同様の操作を、遠隔操作者がコントローラ３００から行う操作モードである。
　操作モードＡにおいて、コントローラ３００は、受信した映像やステータス（速度、進行方向やバッテリー残量等）を遠隔操作者に提示する。遠隔操作者は、提示された映像や移動ステータスを見ながらコントローラ３００側のハンドル、アクセルやブレーキ等の入力装置を操作する。そして、コントローラ３００は、遠隔操作者の操作に従って、移動機器２００を制御するための制御コマンドを生成し、移動機器２００に送信する。
　操作モードＡ処理部２４０は、操作モードＡで必要な情報を送受信するものであり、制御コマンド受信部２４１、映像送信部２４２およびステータス送信部２４３を備える。
　制御コマンド受信部２４１は、コントローラ３００からの制御コマンドを受信し、自律・遠隔運転制御部２２０に供給するものである。自律・遠隔運転制御部２２０は、前述したように、コントローラ３００から受信した制御コマンドを基に、移動機器２００の移動制御を行う。
　映像送信部２４２は、カメラ２１３から映像データを受け取り、その映像データをエンコードし、ＲＴＰ（Real-time Transport Protocol）等のリアルタイムデータ通信プロトコルに従ってコントローラ３００へ通信部２１８を介して送信する。また、映像送信部２４２は、ＲＴＣＰ（RTP Control Protocol）等のフロー制御用プロトコルを用いて、コントローラ３００から映像データの受信品質状況（レイテンシやパケットロス率等）を受信し、受信品質状況に応じて映像データの伝送レート制御を行う。例えば、映像送信部２４２は、レイテンシやパケットロス率が悪化していない場合に伝送レートを上げ、悪化した場合に伝送レートを下げる。
　ステータス送信部２４３は、移動機器２００のステータス（速度、進行方向やバッテリー残量等）を自律・遠隔運転制御部２２０から受け取り、通信部２１８を介してコントローラ３００に送信するものである。
　通信品質予測部２３１は、コントローラ３００から移動機器２００への通信経路の通信品質を予測するものである。この方向の通信経路を以下、「ダウンリンク」と称する。ダウンリンクを経由して、移動機器２００の周辺の映像データや、ステータス（速度、進行方向、バッテリー残量等）が送信される。また、通信品質として、例えば、一定時間内の平均スループット、平均レイテンシ、ジッターのうち少なくとも１つの標準偏差が測定、算出される。
　平均スループットを取得する際、通信品質予測部２３１は、一定時間（例えば５秒）の間にコントローラ３００へ送信されたデータ量を問い合わせて取得し、１秒当たりの通信量を平均スループットとして求める。
　平均レイテンシを測定する前に移動機器２００は、予めＧＰＳモジュール２１５によりＧＰＳ衛星に同期した時刻を取得し、移動機器２００のシステムクロックを同期させておく。また、コントローラ３００は、通信ネットワーク１００を経由してタイムサーバー４００にアクセスし、ＰＴＰ（Precision Time Protocol）による時刻同期を行ってコントローラ３００のシステムクロックをＧＰＳ衛星の時刻に同期させておく。
　そして、平均レイテンシを測定するためにコントローラ３００は、移動機器２００へ、遅延計測用のパケットを送信する。往路の通信品質の影響を受けないようにするため、例えば、ＵＤＰ（User Datagram Protocol）パケットに送信直前のタイムスタンプを記載したものが遅延計測用のパケットとして送信される。ここで、タイムスタンプは、移動機器２００、コントローラ３００間で同期したシステムクロックに基づいた送信時刻を示す。
　移動機器２００側の通信品質予測部２３１は、そのパケットを受信した直後の時刻を読み出し、パケットの伝送にかかった時間（レイテンシ）を計測する。この方法で通信品質予測部２３１は、定期的（２００ミリ秒毎など）にレイテンシを一定期間（５秒間など）計測し、平均値を計算し平均レイテンシとする。
　なお、コントローラ３００と移動機器２００との間で、遅延計測用のパケットを用いる例を記載したが、その代わりに、遠隔操作用のパケットを用いてレイテンシを計測することもできる。また、通信品質予測部２３１は、ＲＴＣＰのSender Reportの送信時刻と、それに対するReceiver Reportに格納されるＬＳＲ（last SR）との差分から、移動機器がReceiver Reportを受信した時刻を用いてレイテンシを計測しても構わない。
　また、通信品質予測部２３１は、遅延計測用のパケットの送信間隔と、そのパケットをコントローラ３００で受信する間隔の差から瞬時ジッターを計算する。例えば、一定期間（５秒間など）の瞬時ジッターの標準偏差が計測される。
　通信品質予測部２３１は、上述の方法で取得した平均スループット、平均レイテンシや、ジッターの値を通信品質の予測値として、操作モード通信品質要求判断部２３２に通知する。なお、通信品質予測部２３１は、平均スループット、平均レイテンシ、および、ジッターのうち少なくとも１つを測定しているが、他のパラメータを通信品質として測定することもできる。
　操作モード通信品質要求判断部２３２は、通信品質の予測値が、現在の操作モードに要求される通信品質を満たすか否かを判断するものである。この操作モード通信品質要求判断部２３２は、操作モードと、その操作モードに要求される通信品質とを対応付けた情報を予め保持しておく。要求される通信品質を以下、「要求品質」と称する。操作モードＡでは、移動機器２００の速度が速いほど、要求品質が高くなるものとする。
　操作モード通信品質要求判断部２３２は、通信品質予測部２３１から、ダウンリンクの通信品質（平均スループットなど）の測定値を受け取る。また、コントローラ３００から移動機器２００への通信経路を「アップリンク」として、操作モード通信品質要求判断部２３２は、そのアップリンクの通信品質の測定値をコントローラ３００から受け取る。このアップリンクを経由して、制御コマンドが送信される。
　操作モード通信品質要求判断部２３２は、操作モードＡにおいて、現在の速度に対応する要求品質と、予測値とを比較し、現在の操作モードを実行する上で現状の通信品質が十分かどうかを判断する。
　測定値が要求品質を満たす値でない場合、操作モード通信品質要求判断部２３２は、必要に応じて減速を指示する操作データを生成し、自律・遠隔運転制御部２２０に供給する。
　なお、減速を指示した後に操作モード通信品質要求判断部２３２は、コントローラ３００に、減速を行った旨を通知し、コントローラ３００が、その内容を表示して遠隔操作者に通知してもよい。
　また、減速を指示する前に操作モード通信品質要求判断部２３２は、承認リクエストをコントローラ３００に送信し、遠隔操作者が承認のための操作を行った際に、減速を指示することもできる。
　［操作モード通信品質要求判断部の構成例］
　図５は、本技術の第１の実施の形態における操作モード通信品質要求判断部２３２の一構成例を示すブロック図である。この操作モード通信品質要求判断部２３２は、速度制御部２３３および要求品質テーブル２３５を備える。
　要求品質テーブル２３５は、操作モードＡにおいて、速度ごとに要求品質を対応付けて記載したテーブルである。なお、要求品質テーブル２３５を移動機器２００内に保持させているが、この構成に限定されない。例えば、移動機器２００の外部のノードに要求品質テーブル２３５を格納しておき、移動機器２００がインターネットなどを介してアクセスしてテーブルを参照する構成とすることもできる。
　速度制御部２３３は、通信品質の予測値が、現在速度に対応する要求品質を満たすか否かにより移動機器２００の走行速度を制御するものである。速度制御部２３３は、現在速度に対応する要求品質を要求品質テーブル２３５から読み出し、予測値と比較する。予測値が要求品質を満たない場合に、速度制御部２３３は、要求品質テーブル２３５を参照し、最低走行速度を下回らず、かつ、要求品質を満たす速度があるか否かを判断する。そのような適切な速度があれば、速度制御部２３３は、その速度に移動機器２００を減速させる。
　一方、適切な速度が無い場合、速度制御部２３３は、遠隔操作が不可能であると判定し、非遠隔の運転モード（非遠隔自動運転モードや非遠隔手動運転モードなど）に運転モードを切り替えさせる。上述の速度の制御は、例えば、一定の周期で繰り返し実行される。あるいは、通信品質が変動した場合などの所定のイベントが生じたときに速度の制御が行われる。
　上述したように、通信品質の予測値に基づいて速度制御部２３３が走行速度を制御するため、通信品質が低下した際に、適切な速度に減速して遠隔操作者の操作を容易にし、
その操作者が障害物や人間を見落とすリスクを軽減することができる。これにより、移動機器２００の安全性を向上させることができる。
　［コントローラの構成例］
　図６は、本技術の第１の実施の形態におけるコントローラ３００の一構成例を示すブロック図である。このコントローラ３００は、通信部３１１、操作入力部３１２、情報出力部３１３、地図情報保持部３１４および遠隔操作制御部３２０を備える。
　通信部３１１は、マクロセル１１０や通信ネットワーク１００を介して、移動機器２００との間で通信を行うものである。
　操作入力部３１２は、入力装置に対する遠隔操作者の操作に従って操作データを生成するものである。入力装置の具体例として、ハンドル、アクセルやブレーキなどが挙げられる。操作入力部３１２は、操作データを遠隔操作制御部３２０に供給する。
　情報出力部３１３は、移動機器２００の周辺映像、ステータスや、通知メッセージ（移動機器２００の異常通知、自動運転システムからの通知等）を映像や音声で出力し、遠隔操作者に提示するものである。
　地図情報保持部３１４は、ナビゲーション機能に用いる地図情報を保持するものである。
　遠隔操作制御部３２０は、通信部３１１および地図情報保持部３１４からのデータに基づいて情報出力部３１３へのデータを生成し、操作入力部３１２からのデータに基づいて通信部３１１へのデータを生成するものである。
　［遠隔操作制御部の構成例］
　図７は、本技術の第１の実施の形態における遠隔操作制御部３２０の一構成例を示すブロック図である。この遠隔操作制御部３２０は、操作モードＡ制御部３３０、通信品質予測部３２１および操作モード判断通知・承認部３２２を備える。
　操作モードＡ制御部３３０は、制御コマンド送信部３３１、映像受信部３３２およびステータス受信部３３３を備える。
　制御コマンド送信部３３１は、操作入力部３１２からの操作データに基づいて、移動機器２００を制御するための制御コマンドを生成し、通信部３１１を介して移動機器２００に送信するものである。
　映像受信部３３２は、移動機器２００からの映像データをＲＴＰ等のリアルタイムデータ通信プロトコルで受信してデコードし、情報出力部３１３に供給するものである。ステータス受信部３３３は、移動機器２００からのステータスを受信するものである。
　操作モードＡ制御部３３０は、周辺映像、ステータスや地図情報に基づいて、表示データや音声データを生成し、情報出力部３１３に供給する。
　通信品質予測部３２１は、移動機器２００からコントローラ３００への通信経路（すなわち、アップリンク）の通信品質を予測するものである。通信品質として、例えば、一定時間内の平均スループット、平均レイテンシ、ジッターの標準偏差が測定、算出される。遅延計測用のパケットは、通信品質予測部３２１から移動機器２００へ送信される。通信品質予測部３２１は、通信品質の予測値を移動機器２００へ送信する。
　操作モード判断通知・承認部３２２は、遠隔操作者に通知するためのデータを情報出力部３１３に供給し、操作入力部３１２の操作内容に基づいて、通知に対するレスポンスを移動機器２００に返すものである。
　例えば、移動機器２００側の操作モード通信品質要求判断部２３２が減速を行った旨を通知した際に操作モード判断通知・承認部３２２は、その旨を示す表示データを生成して情報出力部３１３に供給する。
　また、減速を指示する前に操作モード通信品質要求判断部２３２が、承認リクエストを送信した際に操作モード判断通知・承認部３２２は、承認を受けるための表示データを生成して情報出力部３１３に供給する。そして、承認または拒否のための操作データが操作入力部３１２から入力されると、操作モード判断通知・承認部３２２は、承認または拒否を示すレスポンスを、通信部３１１を介して移動機器２００に返す。
　図８は、本技術の第１の実施の形態における移動機器２００の速度毎の要求品質の一例を示す図である。移動機器２００の速度の範囲は、「高速」、「中速」、「低速」および「徐行」などに区分される。それぞれの区分ごとに、要求される通信品質（要求品質）が要求品質テーブル２３５に記載される。速度が速いほど、高い要求品質が設定される。
　ここで、同図における「Ｘ～Ｙ」の表記は、「Ｘ」キロメートル毎時（ｋｍ／ｈ）以上、「Ｙ」キロメートル毎時（ｋｍ／ｈ）未満の範囲を意味する。
　要求品質は、例えば、通信方向ごとのスループット、レイテンシおよびジッターの少なくとも１つにより表される。通信方向は、移動機器２００からコントローラ３００への方向（ダウンリンク）と、コントローラ３００から移動機器２００への方向（アップリンク）とに分けられる。
　例えば、「高速」の移動機器２００からコントローラ３００への方向（ダウンリンク）においては、３０メガビット毎秒以上のスループットと、３０ミリ秒以下のレイテンシと、１０ミリ秒以下のジッターとが要求される。
　前述したように速度制御部２３３は、通信品質の予測値が、現在速度に対応する要求品質を満たない場合、最低走行速度以上で、かつ、要求品質を満たす速度に走行速度を制御する。例えば、現在時速が７０キロメートル毎時（ｋｍ／ｈ）で、予測値が、対応する要求品質を満たしていないものとする。また、最低走行速度を３０キロメートル毎時（ｋｍ／ｈ）とする。また、３０キロメートル毎時（ｋｍ／ｈ）以上で、６０キロメートル毎時（ｋｍ／ｈ）未満の中速に対応する要求品質が予測値を満たすものとする。
　この場合、速度制御部２３３は、その中速の範囲内の速度に移動機器２００を減速させる。なお、３０キロメートル毎時（ｋｍ／ｈ）未満の低速、徐行に対応する要求品質も予測値を満たすが、これらの範囲は、最低走行速度を下回るため、事故を避けるためなどの事情の無い限り、それらの範囲内の速度までは減速されない。
　また、移動機器２００は、同図に例示したテーブルから、現在速度に対応する要求品質を取得しているが、この構成に限定されない。例えば、移動機器２００は、現在速度ｖが入力された際に要求品質を返す所定の関数ｆ（ｖ）を用いて、演算により要求品質を取得することもできる。
　［移動機器の動作例］
　図９は、本技術の第１の実施の形態における移動機器２００の動作の一例を示すフローチャートである。この動作は、例えば、遠隔運転モードが設定された場合に開始される。
　移動機器２００内の遠隔操作処理部２３０は、アップリンクの通信品質を取得し（ステップＳ９０１）、ダウンリンクの通信品質を取得する（ステップＳ９０２）。また、遠隔操作処理部２３０は、移動機器２００の現在速度を取得し（ステップＳ９０３）、最低走行速度を取得する（ステップＳ９０４）。
　そして、遠隔操作処理部２３０は、要求品質テーブル２３５を参照し、現在速度に対応する通信品質が要求品質を満たすか否かを判断する（ステップＳ９０５）。現在速度に対応する通信品質が要求品質を満たす場合（ステップＳ９０５：Ｙｅｓ）、遠隔操作処理部２３０は、走行速度を制御するための動作を終了する。
　一方、現在速度に対応する通信品質が要求品質を満たしていない場合（ステップＳ９０５：Ｎｏ）、遠隔操作処理部２３０は、要求品質を満たし、かつ、最低走行速度を下回らない速度があるか否かを判断する（ステップＳ９０６）。
　要求品質を満たし、かつ、最低走行速度を下回らない速度が無い場合（ステップＳ９０６：Ｎｏ）、遠隔操作処理部２３０は、遠隔操作が不可能と判定し（ステップＳ９０７）、非遠隔の運転モードに切り替えて、走行速度を制御するための動作を終了する。
　一方、要求品質を満たし、かつ、最低走行速度を下回らない速度がある場合（ステップＳ９０６：Ｙｅｓ）、遠隔操作処理部２３０は、その速度への減速を指示し（ステップＳ９０８）、走行速度を制御するための動作を終了する。
　同図に例示した処理は、例えば、一定の周期で、あるいは、所定のイベントが生じたときに実行される。
　このように、本技術の第１の実施の形態によれば、速度制御部２３３は、通信品質の予測値に基づいて走行速度を制御するため、通信品質が低下した際に、適切な速度に減速して移動機器２００の安全性を向上させることができる。
　＜２．第２の実施の形態＞
　上述の第１の実施の形態では、要求品質を満たし、かつ、最低走行速度を下回らない速度があるか否かを速度制御部２３３が判断し、その適切な速度があれば、減速させていた。この構成では、適切な速度が無い場合には、遠隔運転モードを継続することができなくなってしまう。この第２の実施の形態における移動機器２００は、通信品質の予測値に基づいて複数の操作モードのいずれかを選択する点において第１の実施の形態と異なる。
　図１０は、本技術の第２の実施の形態における遠隔操作処理部２３０の一構成例を示すブロック図である。第２の実施の形態の遠隔運転モードにおいては、複数の操作モードが用意されており、遠隔操作処理部２３０は、それらのいずれかを選択して設定することができる。例えば、操作モードＡおよび操作モードＢのいずれかが設定されるものとする。
　操作モードＢは、移動機器２００に対して、低レベルな操作方法（ハンドル、アクセル、ブレーキ操作など）よりも抽象度の高い、一定の意味を持った行動を実行するタスクレベルのコマンドを用いて遠隔操作を行う操作方法である。
　操作モードＢにおいて遠隔操作者は、移動機器２００の周辺の地図情報と、移動機器２００に装備したカメラの映像情報、および／または、移動機器２００に装備したセンサによる周辺認識情報とをもとに、移動機器２００の周辺状況を判断する。遠隔操作者は、周辺状況を判断した後、一定の意味を持った行動を実行するタスクレベルのコマンドをコントローラ３００に入力する。コマンドによってはパラメータを付加する必要がある。移動機器２００はコントローラ３００から受信したコマンドを解釈し、移動機器２００で保持する地図情報や周辺認識情報を加味し、ハンドル、アクセルやブレーキ等の制御指示に変換して移動機器２００の行動を決定し、機構制御を行う。
　操作モードＢにおいて用いられるコマンドとしては、「レーンキープで直進」、「レーンチェンジ　左（または右）」、「減速・加速」や「停止」などが挙げられる。この他、「指定の角で左折（または右折）」、「指定の駐車場に駐車」、「指定の場所でＵターン」、「指定の場所に移動」、「左（または右）路肩に停止」などが挙げられる。これらのコマンドの「角」、「駐車場」や「場所」の具体的な内容は、パラメータにより指定される。
　また、操作モードＢは、コントローラ３００で入力したコマンドが、即時、低レイテンシで実行されることは想定していない。この操作モードでは、指示されたタスクレベル制御コマンドの実行だけでなく、緊急性の高い危機回避処理は、移動機器２００側で判断し実行することを想定している。例えば、移動機器２００が、障害物や周辺の車両・人の検出を行い、事故発生の可能性を判断し、可能性が高い場合には、危機回避の行動計画（停止や回避など）を決定して車両制御を行ってもよい。
　また、操作モードＢは、操作モードＡのような直感的操作を行う場合に比較して、操作の自由度は劣るが、移動機器２００とコントローラ３００との間の通信品質は低くても車両の操作を行うことが可能である。
　第２の実施の形態の遠隔操作処理部２３０は、操作モードＢ処理部２５０をさらに備える点において第１の実施の形態と異なる。操作モードＢ処理部２５０は、制御コマンド受信部２５１、映像送信部２５２、認識結果送信部２５３およびステータス送信部２５４を備える。
　制御コマンド受信部２５１は、操作モードＢにおいてコントローラ３００からのタスクレベルの制御コマンドを受信し、自律・遠隔運転制御部２２０に供給するものである。
　映像送信部２５２は、操作モードＢにおいてカメラ２１３から映像データを受け取り、その映像データをエンコードし、コントローラ３００へ通信部２１８を介して送信する。また、映像送信部２５２は、コントローラ３００から映像データの受信品質状況に応じて映像データの伝送レート制御を行う。
　認識結果送信部２５３は、操作モードＢにおいて移動機器２００の周辺状況の認識データをカメラ２１３から受け取り、通信部２１８を介してコントローラ３００に送信するものである。この認識データは、例えば、コントローラ３００側において、地図情報に重畳して表示される。
　ステータス送信部２５４は、操作モードＢにおいて移動機器２００のステータスを自律・遠隔運転制御部２２０から受け取り、通信部２１８を介してコントローラ３００に送信するものである。
　第２の実施の形態の通信品質予測部２３１は、操作モードＡ処理部２４０および操作モードＢ処理部２５０のうち選択されている方を監視して通信品質を予測し、その予測値を操作モード通信品質要求判断部２３２に供給する。
　なお、操作モードの切り替えを指示した後に操作モード通信品質要求判断部２３２は、コントローラ３００に、その旨を通知し、コントローラ３００が、その内容を表示して遠隔操作者に通知してもよい。
　また、操作モードを切り替える前に操作モード通信品質要求判断部２３２は、承認リクエストをコントローラ３００に送信し、遠隔操作者が承認のための操作を行った際に、切り替えを指示することもできる。
　また、遠隔操作処理部２３０は操作モードＡおよび操作モードＢの２つのいずれかを選択しているが、３つ以上の操作モードを用意し、遠隔操作処理部２３０が、それらのいずれかを選択することもきる。
　さらに、第２の実施の形態のコントローラ２００内の操作入力部３１２では、選択されている操作モードに応じて、操作方法が変わる。操作モードＡが選択された場合、前述のようにハンドル、アクセルやブレーキが操作される。一方、操作モードＢが選択された場合、前述のコマンドの選択する操作が行われる。
　第２の実施の形態のコントローラ２００内の情報出力部３１３は、操作モードＡが選択された場合、前述したように、周辺映像、ステータスや、通知メッセージを映像や音声で出力する。操作モードＢが選択された場合、移動機器２００に対するコマンドの選択肢を表示する。
　図１１は、本技術の第２の実施の形態における操作モード通信品質要求判断部２３２の一構成例を示すブロック図である。この第２の実施の形態の操作モード通信品質要求判断部２３２は、操作モード制御部２３４および要求品質テーブル２３６をさらに備える点において第１の実施の形態と異なる。
　要求品質テーブル２３６は、操作モードＢに対応する要求品質を保持するものである。操作モード制御部２３４は、通信品質の予測値に基づいて、操作モードを選択するものである。この操作モード制御部２３４は、複数の操作モードのうち、予測値が要求品質を満たすことができる操作モードを選択する。そして、選択した操作モードが現在の操作モードでない場合に操作モード制御部２３４は、その選択した操作モードへの切り替えを指示する切替信号を自律・遠隔運転制御部２２０に供給して切り替えさせる。なお、要求品質テーブル２３６を移動機器２００内に保持させているが、この構成に限定されない。例えば、移動機器２００の外部のノードに要求品質テーブル２３６を格納しておき、移動機器２００がインターネットなどを介してアクセスしてテーブルを参照する構成とすることもできる。
　このように、操作モード制御部２３４が、通信品質の予測値に基づいて操作モードを選択することにより、通信品質に応じた適切なモードに切り替えることができる。これにより、移動機器２００の安全性をさらに向上させることができる。
　なお、操作モードＡの選択中においては、第１の実施の形態と同様に速度制御部２３３が、通信品質に基づいて走行速度を制御する。
　図１２は、本技術の第２の実施の形態における遠隔操作制御部３２０の一構成例を示すブロック図である。この第２の実施の形態の遠隔操作制御部３２０は、操作モードＢ制御部３４０をさらに備える点において第１の実施の形態と異なる。操作モードＢ制御部３４０は、制御コマンド送信部３４１、映像受信部３４２、認識結果受信部３４３およびステータス受信部３４４を備える。
　制御コマンド送信部３４１は、操作モードＢにおいて操作入力部３１２からの操作データに基づいて、タスクレベルの制御コマンドをパラメータとともに生成し、通信部３１１を介して移動機器２００に送信するものである。
　映像受信部３４２は、操作モードＢにおいて移動機器２００からの映像データをＲＴＰ等のリアルタイムデータ通信プロトコルで受信してデコードし、情報出力部３１３に供給するものである。
　認識結果受信部３４３は、操作モードＢにおいて移動機器２００からの認識データを受信するものである。この認識結果受信部３４３は、認識データを地図情報に重畳させて、情報出力部３１３に表示させる。
　ステータス受信部３４４は、操作モードＢにおいて移動機器２００からのステータスを受信するものである。
　図１３は、本技術の第２の実施の形態における操作モードＢに対応する要求品質の一例を示す図である。同図に例示するように、要求品質テーブル２３６には、ダウンリンクおよびアップリンクのそれぞれについて要求品質（スループット、レイテンシやジッターなど）が記載される。速度に応じて要求品質が変わる操作モードＡと異なり、操作モードＢでは、速度に関わらず、一定の通信品質が要求される。
　なお、操作モードＢでは、速度に依存しない要求品質を設定しているが、この構成に限定されず、速度に応じた要求品質を要求品質テーブル２３６に設定しておくこともできる。
　図１４は、本技術の第２の実施の形態における移動機器２００の動作の一例を示すフローチャートである。移動機器２００内の遠隔操作処理部２３０は、アップリンクの通信品質を取得し（ステップＳ９１１）、ダウンリンクの通信品質を取得する（ステップＳ９１２）。また、遠隔操作処理部２３０は、移動機器２００の現在速度を取得し（ステップＳ９１３）、変数ｉを「１」に初期化する（ステップＳ９１４）。ここで、操作モードＡおよび操作モードＢなどの複数の操作モードのそれぞれには、予め優先度が設定されているものとする。
　遠隔操作処理部２３０は、複数の操作モードのうちｉ番目の優先度のモードに対応する要求品質を要求品質テーブル２３５や、要求品質テーブル２３６から取得する。そして、遠隔操作処理部２３０は、予測値が、ｉ番目の優先度の要求品質を満たすか否かを判断する（ステップＳ９１５）。ここで、ｉ番目の操作モードが操作モードＡである場合、現在速度に対応する要求品質が要求品質テーブル２３５から読み出される。
　予測値が、ｉ番目の優先度の要求品質を満たす場合（ステップＳ９１５：Ｙｅｓ）、遠隔操作処理部２３０は、そのｉ番目の操作モードを選択し（ステップＳ９１６）、必要に応じて切り替えを指示する（ステップＳ９１７）。ステップＳ９１７の後に、遠隔操作処理部２３０は、操作モードを選択するための動作を終了する。
　一方、予測値が、ｉ番目の優先度の要求品質を満たさない場合（ステップＳ９１５：Ｎｏ）、遠隔操作処理部２３０は、ｉをインクリメントし（ステップＳ９１８）、ｉ番目の優先度の操作モードがあるか否かを判断する（ステップＳ９１９）。
　ｉ番目の優先度の操作モードがある場合（ステップＳ９１９：Ｙｅｓ）、遠隔操作処理部２３０は、ステップＳ９１５以降を繰り返し実行する。一方、ｉ番目の優先度の操作モードがない場合（ステップＳ９１９：Ｎｏ）、遠隔操作処理部２３０は、遠隔操作が不可能と判定し（ステップＳ９２０）、非遠隔の運転モードに切り替えて、操作モードを選択するための動作を終了する。
　同図に例示した操作モードを選択する処理は、例えば、一定の周期で、あるいは、所定のイベントが生じたときに実行される。また、同図の制御と、図９に例示した速度の制御とは、並列に実行される。図１４において操作モード制御部２３４により複数の操作モードのうち操作モードＡが選択された場合に、図９に例示したように速度制御部２３３が、予測値に基づいて走行速度を制御する。
　なお、移動機器２００は、走行速度の制御を行わずに、操作モードの選択のみを行うこともできる。
　このように、本技術の第２の実施の形態によれば、操作モード制御部２３４が、通信品質の予測値に基づいて操作モードを選択するため、移動機器２００の安全性をさらに向上させることができる。
　　＜３．車両制御システムへの応用例＞
　本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図１５は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
　車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図１５に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ(interface)１２０５３が図示されている。
　駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
　ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
　撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
　車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
　マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
　音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図１５の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
　図１６は、撮像部１２０３１の設置位置の例を示す図である。
　図１６では、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
　撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図１６には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
　例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
　撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
　以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち車両制御システム１２０００に適用され得る。具体的には、図１の移動機器２００のシステムを、車両制御システム１２０００に適用することができる。車両制御システム１２０００に本開示に係る技術を適用することにより、システムの安全性をより向上させることが可能になる。
　なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
　また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
　なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
　なお、本技術は以下のような構成もとることができる。
（１）コントローラとの間で所定の通信経路を介してデータを送受信する通信部と、
　前記通信経路の通信品質を予測して予測値を取得する通信品質予測部と、
　前記コントローラの遠隔操作者の操作方法を規定する複数の操作モードのいずれかを前記予測値に基づいて選択する操作モード制御部と、
　前記複数の操作モードのうち特定の操作モードが選択された場合には前記予測値に基づいて走行速度を制御する速度制御部と
を具備する移動機器。
（２）前記速度制御部は、現在速度に要求される通信品質である要求品質を前記予測値が満たさない場合には所定の最低走行速度を下回らず、かつ、要求品質を満たす速度に前記走行速度を制御する前記（１）記載の移動機器。
（３）速度ごとに要求品質を対応付けた要求品質テーブルをさらに具備し、
　前記速度制御部は、前記要求品質を前記要求品質テーブルから取得する前記（２）記載の移動機器。
（４）前記複数の操作モードのそれぞれには要求される通信品質である要求品質が対応付けられており、
　前記操作モード制御部は、前記複数の操作モードのうち前記予測値が前記要求品質を満たす操作モードを選択する前記（１）から（３）のいずれかに記載の移動機器。
（５）前記通信経路は、前記コントローラから前記移動機器への経路であるアップリンクと、前記移動機器から前記コントローラへの経路であるダウンリンクとを含む前記（１）から（４）のいずれかに記載の移動機器。
（６）前記通信品質は、平均スループット、平均レイテンシおよびジッターの少なくとも１つを含む前記（１）から（５）のいずれかに記載の移動機器。
（７）コントローラとの間で所定の通信経路を介してデータを送受信する通信手順と、
　前記通信経路の通信品質を予測して予測値を取得する通信品質予測手順と、
　前記コントローラの遠隔操作者の操作方法を規定する複数の操作モードのいずれかを前記予測値に基づいて選択する操作モード制御手順と、
　前記複数の操作モードのうち特定の操作モードが選択された場合には前記予測値に基づいて走行速度を制御する速度制御手順と
を具備する移動機器の制御方法。
　１００　通信ネットワーク
　１１０　マクロセル
　１１１、１１２　スモールセル
　１５１～１５３　基地局
　２００　移動機器
　２１１　レーダー
　２１２　ＬｉＤＡＲ
　２１３　カメラ
　２１４、３１２　操作入力部
　２１５　ＧＰＳモジュール
　２１６　機構制御部
　２１７、３１３　情報出力部
　２１８、３１１　通信部
　２２０　自律・遠隔運転制御部
　２２１　周辺状況認識部
　２２２　行動決定部
　２２３　移動ステータス取得部
　２３０　遠隔操作処理部
　２３１、３２１　通信品質予測部
　２３２　操作モード通信品質要求判断部
　２３３　速度制御部
　２３４　操作モード制御部
　２３５、２３６　要求品質テーブル
　２４０　操作モードＡ処理部
　２４１、２５１　制御コマンド受信部
　２４２、２５２　映像送信部
　２４３、２５４　ステータス送信部
　２５０　操作モードＢ処理部
　２５３　認識結果送信部
　３００　コントローラ
　３１４　地図情報保持部
　３２０　遠隔操作制御部
　３２２　操作モード判断通知・承認部
　３３０　操作モードＡ制御部
　３３１、３４１　制御コマンド送信部
　３３２、３４２　映像受信部
　３３３、３４４　ステータス受信部
　３４０　操作モードＢ制御部
　３４３　認識結果受信部
　４００　タイムサーバー
　１２０００　車両制御システム

Claims (7)

  1. 　コントローラとの間で所定の通信経路を介してデータを送受信する通信部と、
    　前記通信経路の通信品質を予測して予測値を取得する通信品質予測部と、
    　前記コントローラの遠隔操作者の操作方法を規定する複数の操作モードのいずれかを前記予測値に基づいて選択する操作モード制御部と、
    　前記複数の操作モードのうち特定の操作モードが選択された場合には前記予測値に基づいて走行速度を制御する速度制御部と
    を具備する移動機器。
  2. 　前記速度制御部は、現在速度に要求される通信品質である要求品質を前記予測値が満たさない場合には所定の最低走行速度を下回らず、かつ、要求品質を満たす速度に前記走行速度を制御する請求項１記載の移動機器。
  3. 　速度ごとに要求品質を対応付けた要求品質テーブルをさらに具備し、
    　前記速度制御部は、前記要求品質を前記要求品質テーブルから取得する請求項２記載の移動機器。
  4. 　前記複数の操作モードのそれぞれには要求される通信品質である要求品質が対応付けられており、
    　前記操作モード制御部は、前記複数の操作モードのうち前記予測値が前記要求品質を満たす操作モードを選択する請求項１記載の移動機器。
  5. 　前記通信経路は、前記コントローラから前記移動機器への経路であるアップリンクと、前記移動機器から前記コントローラへの経路であるダウンリンクとを含む請求項１記載の移動機器。
  6. 　前記通信品質は、平均スループット、平均レイテンシおよびジッターの少なくとも１つを含む請求項１記載の移動機器。
  7. 　コントローラとの間で所定の通信経路を介してデータを送受信する通信手順と、
    　前記通信経路の通信品質を予測して予測値を取得する通信品質予測手順と、
    　前記コントローラの遠隔操作者の操作方法を規定する複数の操作モードのいずれかを前記予測値に基づいて選択する操作モード制御手順と、
    　前記複数の操作モードのうち特定の操作モードが選択された場合には前記予測値に基づいて走行速度を制御する速度制御手順と
    を具備する移動機器の制御方法。
PCT/JP2023/018412 2022-07-13 2023-05-17 移動機器、および、移動機器の制御方法 WO2024014112A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-112248 2022-07-13
JP2022112248 2022-07-13

Publications (1)

Publication Number Publication Date
WO2024014112A1 true WO2024014112A1 (ja) 2024-01-18

Family

ID=89536474

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/018412 WO2024014112A1 (ja) 2022-07-13 2023-05-17 移動機器、および、移動機器の制御方法

Country Status (1)

Country Link
WO (1) WO2024014112A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020164056A (ja) * 2019-03-29 2020-10-08 本田技研工業株式会社 制御装置、制御方法及びプログラム
US20210377707A1 (en) * 2020-05-28 2021-12-02 Volkswagen Aktiengesellschaft Method, computer program, apparatus, vehicle and network component for controlling a communication link used for tele-operating a vehicle

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020164056A (ja) * 2019-03-29 2020-10-08 本田技研工業株式会社 制御装置、制御方法及びプログラム
US20210377707A1 (en) * 2020-05-28 2021-12-02 Volkswagen Aktiengesellschaft Method, computer program, apparatus, vehicle and network component for controlling a communication link used for tele-operating a vehicle

Similar Documents

Publication Publication Date Title
US20210264224A1 (en) Information processing device and information processing method, imaging device, computer program, information processing system, and moving body device
US11959999B2 (en) Information processing device, information processing method, computer program, and mobile device
WO2020203657A1 (ja) 情報処理装置、情報処理方法、及び情報処理プログラム
US11377101B2 (en) Information processing apparatus, information processing method, and vehicle
US11815887B2 (en) Vehicle control device, vehicle control method, vehicle, information processing device, information processing method, and program
US20200391729A1 (en) Method to monitor control system of autonomous driving vehicle with multiple levels of warning and fail operations
US20210139019A1 (en) Driving assistance apparatus
US20220017093A1 (en) Vehicle control device, vehicle control method, program, and vehicle
EP3836119A1 (en) Information processing device, mobile body, information processing method, and program
US20230245564A1 (en) System and Method for Intersection Collision Avoidance
US20210043090A1 (en) Electronic device for vehicle and method for operating the same
WO2019078010A1 (ja) 情報処理装置、情報処理方法、移動体、及び、車両
WO2021060018A1 (ja) 信号処理装置、信号処理方法、プログラム、及び、移動装置
WO2020183892A1 (ja) 情報処理装置及び情報処理方法、並びに移動体装置
EP3757711B1 (en) A vehicle-platoons implementation under autonomous driving system designed for single vehicle
WO2021070768A1 (ja) 情報処理装置、および情報処理システム、並びに情報処理方法
US20230282112A1 (en) System and Method for Intersection Collision Avoidance
WO2024014112A1 (ja) 移動機器、および、移動機器の制御方法
EP4026747A1 (en) Sound source detection and localization for autonomous driving vehicle
US11679761B2 (en) Forward collision warning alert system for autonomous driving vehicle safety operator
WO2022144975A1 (ja) 車両制御装置、車両制御方法、およびプログラム
WO2021085048A1 (ja) 情報処理装置、情報処理システム及び情報処理方法
JP2022152607A (ja) 運転支援装置、運転支援方法、及びプログラム
JP7220244B2 (ja) 車両制御装置、車両制御方法、およびプログラム
US20240142607A1 (en) Information processing device, information processing method, computer program, and mobile device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23839290

Country of ref document: EP

Kind code of ref document: A1