WO2020226014A1 - 情報処理装置、移動装置、および方法、並びにプログラム - Google Patents

情報処理装置、移動装置、および方法、並びにプログラム Download PDF

Info

Publication number
WO2020226014A1
WO2020226014A1 PCT/JP2020/015524 JP2020015524W WO2020226014A1 WO 2020226014 A1 WO2020226014 A1 WO 2020226014A1 JP 2020015524 W JP2020015524 W JP 2020015524W WO 2020226014 A1 WO2020226014 A1 WO 2020226014A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
intention
user
unit
driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/015524
Other languages
English (en)
French (fr)
Inventor
英史 大場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to DE112020002261.7T priority Critical patent/DE112020002261T5/de
Priority to US17/607,512 priority patent/US20220212685A1/en
Publication of WO2020226014A1 publication Critical patent/WO2020226014A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/10Interpretation of driver requests or demands
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18Propelling the vehicle
    • B60W30/182Selecting between different operative modes, e.g. comfort and performance modes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0015Planning or execution of driving tasks specially adapted for safety
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0024Planning or execution of driving tasks with mediation between passenger and vehicle requirements, e.g. decision between dropping off a passenger or urgent vehicle service
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/043Identity of occupants
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/21Voice
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/215Selection or confirmation of options
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/30Driving style
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4044Direction of movement, e.g. backwards
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • B60W2556/65Data transmitted between vehicles

Definitions

  • This disclosure relates to information processing devices, mobile devices, methods, and programs. More specifically, the present invention relates to an information processing device, a mobile device, a method, and a program capable of executing automatic driving control reflecting the intention of a user such as a driver in an autonomous driving vehicle.
  • the automatic driving technology is a technology that enables automatic driving on a road by using various sensors such as a position detecting means provided in a vehicle (automobile), and is expected to spread rapidly in the future.
  • LDM Local Dynamic Map
  • Normal autonomous driving control is premised on controlling according to rules such as road regulations. That is, vehicle control that deviates from the rules stipulated by law is basically not executed.
  • vehicle control that deviates from the rules stipulated by law is basically not executed.
  • manual driving manual driving
  • the driving priority is given by visually observing the situation of the surrounding environment and giving the driving path to another vehicle based on the experience memory. The right may be transferred. In such a case, the vehicle may travel by invading the originally prohibited area.
  • vehicle control that is not necessarily bound by legal rules may be performed.
  • Such flexible control makes it possible to prevent unnecessary vehicle stops and stagnation, for example, in a road environment as a social infrastructure, and ensures smooth vehicle running and social activities.
  • rule-based control in accordance with regulations is efficient, but it is possible to use the road more efficiently and smoothly by ensuring the degree of freedom according to all factors around the vehicle, including the driving environment.
  • the vehicle will block the traveling path even if the vehicle is stopped, and as a result, a dead end condition will occur and the vehicle will not be able to move.
  • Patent Document 1 Japanese Unexamined Patent Publication No. 2018-189616
  • This document discloses a configuration in which the speed estimation process of an opponent vehicle traveling closer to the own vehicle is executed to determine the movement route of the own vehicle.
  • This conventional technology is effective as a process for an opponent vehicle traveling closer to the own vehicle, but there are various situations that occur during actual road driving, and this routine control is effective in all of them. It doesn't become.
  • the present disclosure has been made in view of the above-mentioned problems, for example, and it is possible to execute automatic driving control that reflects the intention of a user such as a driver in an automatic driving vehicle that travels by using an automatic driving control system. It is an object of the present invention to provide an information processing device, a mobile device, a method, and a program.
  • the first aspect of the disclosure is It has a data processing unit that executes automatic operation control,
  • the data processing unit It is an information processing device that has an input unit for inputting the user's intention and executes automatic operation control that reflects the user's intention.
  • the environment information acquisition unit that acquires the environment information of mobile devices, It has a data processing unit that executes automatic operation control,
  • the data processing unit It is a mobile device that determines the risk on the road according to the environmental information acquired by the environmental information acquisition unit, further includes an input unit for inputting the user's intention, and executes automatic driving control that reflects the user's intention. ..
  • the third aspect of the present disclosure is It is an information processing method executed in an information processing device.
  • the information processing device has a data processing unit that executes automatic operation control, and has a data processing unit.
  • the data processing unit It is an information processing method that inputs the user's intention and executes automatic driving control that reflects the user's intention.
  • the fourth aspect of the present disclosure is It is an information processing method executed in a mobile device.
  • the mobile device includes an environmental information acquisition unit that acquires environmental information and It has a data processing unit that executes automatic operation control,
  • the data processing unit It is an information processing method that determines a risk on a traveling road according to the environmental information acquired by the environmental information acquisition unit, inputs a user's intention, and executes automatic driving control that reflects the user's intention.
  • the fifth aspect of the present disclosure is A program that executes information processing in an information processing device.
  • the information processing device has a data processing unit that executes automatic operation control, and has a data processing unit.
  • the program is installed in the data processing unit. It is in a program that inputs the user's intention and executes automatic driving control that reflects the user's intention.
  • the program of the present disclosure is, for example, a program that can be provided by a storage medium or a communication medium that is provided in a computer-readable format to an information processing device or a computer system that can execute various program codes.
  • a program that can be provided by a storage medium or a communication medium that is provided in a computer-readable format to an information processing device or a computer system that can execute various program codes.
  • system is a logical set configuration of a plurality of devices, and the devices having each configuration are not limited to those in the same housing.
  • a configuration is realized in which the user's intention is input and the automatic driving control that reflects the user's intention is executed.
  • a data processing unit that executes automatic driving control inputs a user's intention and executes automatic driving control that reflects the user's intention.
  • the data processing unit executes the adjustment process of the traveling priority between the own vehicle, which is the control target by the automatic driving, and another vehicle different from the own vehicle.
  • the data processing unit determines whether or not there is a conflict between the own vehicle and another vehicle in the same driving section, and if it is determined that a conflict occurs, the data processing unit travels to the user. Confirm the intention to transfer the priority and execute the adjustment process.
  • a configuration is realized in which the user's intention is input and automatic operation control that reflects the user's intention is executed.
  • the mobile device of the present disclosure is, for example, an automobile capable of switching between automatic driving and manual driving.
  • FIG. 1 is a diagram showing a configuration example of an automobile 10 which is an example of the mobile device of the present disclosure.
  • the information processing device of the present disclosure is attached to the automobile 10.
  • the automobile 10 shown in FIG. 1 is an automobile capable of driving in two driving modes, a manual driving mode and an automatic driving mode.
  • driving is performed based on the operation of the driver (driver) 20, that is, the steering wheel operation, the accelerator, the brake, and the like.
  • the driver (driver) 20 is unnecessary, and the operation is performed based on the sensor information such as the position sensor and other surrounding information detection sensors.
  • the position sensor is, for example, a GPS receiver
  • the surrounding information detection sensor is, for example, a camera, an ultrasonic sensor, a radar, a LiDAR (Laser Imaging Detection and Ranking), a sonar, or the like.
  • FIG. 1 is a diagram for explaining the outline of the present disclosure and schematically shows the main components. The detailed configuration will be described later.
  • the automobile 10 has a data processing unit 11, a driver information acquisition unit 12, an environmental information acquisition unit 13, a communication unit 14, and a notification unit 15.
  • the driver information acquisition unit 12 acquires, for example, information for determining the arousal level of the driver, operation information of the driver, and the like. Specifically, it is composed of, for example, a camera that captures a driver's face image, an operation information acquisition unit of each operation unit (handle, accelerator, brake, etc.), and the like.
  • the environmental information acquisition unit 13 acquires the driving environment information of the automobile 10. For example, image information of the front, rear, left and right of the automobile, position information by GPS, LiDAR (Laser Imaging Detection and Ringing), information on surrounding obstacles from sonar and the like.
  • image information of the front, rear, left and right of the automobile For example, image information of the front, rear, left and right of the automobile, position information by GPS, LiDAR (Laser Imaging Detection and Ringing), information on surrounding obstacles from sonar and the like.
  • LiDAR Laser Imaging Detection and Ringing
  • the data processing unit 11 inputs the driver information acquired by the driver information acquisition unit 12 and the environmental information acquired by the environmental information acquisition unit 13, so that the driver in the vehicle during automatic driving can safely perform manual driving.
  • a safety index value indicating whether or not the driver is in such a state and whether or not the driver who is manually driving is performing safe driving is calculated.
  • a process of notifying via the notification unit 15 is executed so as to switch to the manual operation mode.
  • the data processing unit 11 makes an inquiry as to whether or not to execute the operation reflecting the intention of the driver 20 while executing the automatic operation in the automatic operation mode, and in response to the driver's input, the data processing unit 11 of the driver It executes driving control that reflects the intention and adjustment processing (negotiation) by communicating with other vehicles.
  • the notification unit 15 is composed of a display unit that gives various notifications to the driver, a voice output unit, or a vibrator of a steering wheel or a seat. 2 and 3 show an example of notification to the display unit constituting the notification unit 15.
  • the data processing unit 11 waits for the input of the user's intention, and travel control and the distance between other vehicles according to the input user's intention. Start negotiations, etc. by communication.
  • the user's intention input can be executed by voice input via a microphone, input using a touch panel provided on the display unit, input by gesture, or the like, in addition to input using switches or buttons.
  • the data processing unit 11 analyzes the gesture taken by the camera and determines the user's intention.
  • Switches and buttons are conventional intention detection technologies, but by combining the latest voice recognition and its recognition interpretation with artificial intelligence, more advanced written intention interpretation of the driver's intention is performed and reflected in the control of autonomous driving. May be good.
  • the automobile 10 has a configuration capable of communicating with the server 30 via the communication unit 14.
  • the server 30 provides processing of providing local dynamic map (LDM: Local Dynamic Map), which is advanced environmental map information that is sequentially updated to include real-time traffic congestion information, accident information, and the like, and processing of providing other traffic information.
  • LDM Local Dynamic Map
  • FIG. 4 shows a configuration example of the mobile device 100.
  • a vehicle provided with the moving device 100 is distinguished from another vehicle, it is referred to as a own vehicle or a own vehicle.
  • the mobile device 100 includes an input unit 101, a data acquisition unit 102, a communication unit 103, an in-vehicle device 104, an output control unit 105, an output unit 106, a drive system control unit 107, a drive system system 108, a body system control unit 109, and a body system. It includes a system 110, a storage unit 111, and an automatic operation control unit 112.
  • the input unit 101, the data acquisition unit 102, the communication unit 103, the output control unit 105, the drive system control unit 107, the body system control unit 109, the storage unit 111, and the automatic operation control unit 112 are connected via the communication network 121. They are interconnected.
  • the communication network 121 is, for example, from an in-vehicle communication network or bus conforming to an arbitrary standard such as CAN (Control Area Network), LIN (Local Internet Network), LAN (Local Area Network), or FlexRay (registered trademark). Become.
  • each part of the mobile device 100 may be directly connected without going through the communication network 121.
  • the description of the communication network 121 shall be omitted.
  • the input unit 101 and the automatic operation control unit 112 communicate with each other via the communication network 121, it is described that the input unit 101 and the automatic operation control unit 112 simply communicate with each other.
  • the input unit 101 includes a device used by the passenger to input various data, instructions, and the like.
  • the input unit 101 includes an operation device such as a touch panel, a button, a microphone, a switch, and a lever, and an operation device capable of inputting by a method other than manual operation by voice or gesture.
  • the input unit 101 may be a remote control device using infrared rays or other radio waves, or an externally connected device such as a mobile device or a wearable device that supports the operation of the mobile device 100.
  • the input unit 101 generates an input signal based on data, instructions, and the like input by the passenger, and supplies the input signal to each unit of the mobile device 100.
  • the data acquisition unit 102 includes various sensors and the like for acquiring data used for processing of the mobile device 100, and supplies the acquired data to each unit of the mobile device 100.
  • the data acquisition unit 102 includes various sensors for detecting the state of the own vehicle and the like.
  • the data acquisition unit 102 includes a gyro sensor, an acceleration sensor, an inertial measurement unit (IMU), an accelerator pedal operation amount, a brake pedal operation amount, a steering wheel steering angle, and an engine speed. It is equipped with a sensor or the like for detecting the rotation speed of the motor or the rotation speed of the wheels.
  • IMU inertial measurement unit
  • the data acquisition unit 102 includes various sensors for detecting information outside the own vehicle.
  • the data acquisition unit 102 includes an imaging device such as a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the data acquisition unit 102 includes an environment sensor for detecting the weather, the weather, and the like, and a surrounding information detection sensor for detecting an object around the own vehicle.
  • the environment sensor includes, for example, a raindrop sensor, a fog sensor, a sunshine sensor, a snow sensor, and the like.
  • the ambient information detection sensor includes, for example, an ultrasonic sensor, a radar, a LiDAR (Laser Imaging Detection and Ringing), a sonar, and the like.
  • FIG. 5 shows an installation example of various sensors for detecting external information of the own vehicle.
  • the imaging devices 7910, 7912, 7914, 7916, 7918 are provided, for example, at at least one of the front nose, side mirrors, rear bumpers, back door, and upper part of the windshield of the vehicle interior of the vehicle 7900.
  • the image pickup device 7910 provided in the front nose and the image pickup device 7918 provided in the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 7900.
  • the image pickup devices 7912 and 7914 provided in the side mirrors mainly acquire images of the side of the vehicle 7900.
  • the image pickup device 7916 provided on the rear bumper or the back door mainly acquires an image of the rear of the vehicle 7900.
  • the image pickup device 7918 provided on the upper part of the windshield in the vehicle interior is mainly used for detecting a preceding vehicle or a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like. Further, in future automatic driving, when the vehicle turns left or right, it may be extended to a pedestrian crossing a road to which the vehicle turns left or right, or even an object approaching the crossroads.
  • FIG. 5 shows an example of the photographing range of each of the imaging devices 7910, 7912, 7914, 7916.
  • the imaging range a indicates the imaging range of the imaging device 7910 provided on the front nose
  • the imaging ranges b and c indicate the imaging range of the imaging devices 7912 and 7914 provided on the side mirrors, respectively
  • the imaging range d indicates the imaging range d.
  • the imaging range of the imaging device 7916 provided on the rear bumper or the back door is shown.
  • the sensors 7920, 7922, 7924, 7926, 7928, 7930 provided on the front, rear, side, corners and the upper part of the windshield of the vehicle interior of the vehicle 7900 may be, for example, an ultrasonic sensor or a radar.
  • the sensors 7920, 7926, 7930 provided on the front nose, rear bumper, back door and upper part of the windshield of the vehicle interior of the vehicle 7900 may be, for example, LiDAR.
  • These sensors 7920 to 7930 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, or the like. These detection results may be further applied to the improvement of the three-dimensional object display of the bird's-eye view display and the all-around stereoscopic display.
  • the data acquisition unit 102 includes various sensors for detecting the current position of the own vehicle. Specifically, for example, the data acquisition unit 102 includes a GNSS receiver or the like that receives a GNSS signal from a GNSS (Global Navigation Satellite System) satellite.
  • GNSS Global Navigation Satellite System
  • the data acquisition unit 102 includes various sensors for detecting information in the vehicle.
  • the data acquisition unit 102 includes an imaging device that images the driver, a biosensor that detects the driver's biological information, a microphone that collects sound in the vehicle interior, and the like.
  • the biosensor is provided on, for example, on the seat surface or the steering wheel, and detects the sitting state of the passenger sitting in the seat or the biometric information of the driver holding the steering wheel.
  • Biological signals include heart rate, pulse rate, blood flow, breathing, psychosomatic correlation, visual stimulation, brain waves, sweating state, head posture behavior, eyes, gaze, blinking, soccerd, microsaccade, fixation, drift, gaze.
  • Observable observable data such as iris pupillary reaction are available. These biological activity observable information that reflects the observable driving state is aggregated as the observable evaluation value estimated from the observation, and the return delay of the corresponding driver is based on the return delay time characteristic linked with the log of the evaluation value. As a unique characteristic of the case, the safety determination unit 155, which will be described later, uses it to calculate the return notification timing.
  • FIG. 6 shows an example of various sensors for obtaining information on the driver in the vehicle included in the data acquisition unit 102.
  • the data acquisition unit 102 includes a ToF camera, a stereo camera, a seat strain gauge (Seat Strain Gauge), and the like as detectors for detecting the position and attitude of the driver.
  • the data acquisition unit 102 includes a face recognizer (Face (Head) Recognition), a driver eye tracker (Driver Eye Tracker), and a driver head as detectors for obtaining information on the driver's biological activity. It is equipped with a driver (Driver Head Tracker) and the like.
  • the data acquisition unit 102 includes a biological signal (Vital Signal) detector as a detector for obtaining information on the driver's biological activity.
  • the data acquisition unit 102 includes a driver authentication unit.
  • an authentication method in addition to knowledge authentication using a password or PIN, biometric authentication using a face, fingerprint, eye iris, voice print, etc. can be considered.
  • the communication unit 103 communicates with the in-vehicle device 104 and various devices, servers, base stations, etc. outside the vehicle, transmits data supplied from each unit of the mobile device 100, and transmits the received data to the mobile device 100. Supply to each part.
  • the communication protocol supported by the communication unit 103 is not particularly limited, and the communication unit 103 may support a plurality of types of communication protocols.
  • the communication unit 103 wirelessly communicates with the in-vehicle device 104 by wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), WUSB (Wireless USB), or the like. Further, for example, the communication unit 103 uses a USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface), or MHL () via a connection terminal (and a cable if necessary) (not shown). Wired communication is performed with the in-vehicle device 104 by Mobile High-definition Link) or the like.
  • USB Universal Serial Bus
  • HDMI registered trademark
  • MHL Mobility Management Entity
  • the communication unit 103 communicates with a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network or a business-specific network) via a base station or an access point. Communicate. Further, for example, the communication unit 103 uses P2P (Peer To Peer) technology to connect with a terminal (for example, a pedestrian or store terminal, or an MTC (Machine Type Communication) terminal) existing in the vicinity of the own vehicle. Communicate.
  • a device for example, an application server or a control server
  • an external network for example, the Internet, a cloud network or a business-specific network
  • P2P Peer To Peer
  • a terminal for example, a pedestrian or store terminal, or an MTC (Machine Type Communication) terminal
  • the communication unit 103 includes vehicle-to-vehicle (Vehicle to Vehicle) communication, road-to-vehicle (Vehicle to Infrastructure) communication, vehicle-to-house (Vehicle to Home) communication, and pedestrian-to-vehicle (Vehicle to Pedestrian) communication. ) Perform V2X communication such as communication. Further, for example, the communication unit 103 is provided with a beacon receiving unit, receives radio waves or electromagnetic waves transmitted from a radio station or the like installed on the road, and acquires information such as the current position, traffic congestion, traffic regulation, or required time. To do.
  • pairing is performed with a vehicle traveling ahead while traveling in a section that can be a leading vehicle through the communication unit, information acquired from the data acquisition unit mounted on the vehicle in front is acquired as pre-traveling information, and the data acquisition unit 102 of the own vehicle It may be complemented with the data, and it will be a means to ensure the safety of the following platoon, especially when running in platoon with the leading vehicle.
  • the in-vehicle device 104 is, for example, a mobile device (tablet, smartphone, etc.) or a wearable device owned by a passenger, an information device carried in or attached to the own vehicle, a navigation device for searching a route to an arbitrary destination, and the like. including.
  • a mobile device tablet, smartphone, etc.
  • a wearable device owned by a passenger
  • an information device carried in or attached to the own vehicle a navigation device for searching a route to an arbitrary destination, and the like.
  • the information presentation of the necessary points for intervention by the driver is described by limiting it to the corresponding driver, but the information is further provided to the following vehicle by platooning or the like.
  • it may be used in combination with remote driving support as appropriate by constantly providing information to the operation management center of passenger transportation shared buses and long-distance logistics commercial vehicles.
  • the output control unit 105 controls the output of various information to the passengers of the own vehicle or the outside of the vehicle.
  • the output control unit 105 generates an output signal including at least one of visual information (for example, image data) and auditory information (for example, audio data) and supplies it to the output unit 106 to supply the output unit 105.
  • the output control unit 105 synthesizes image data captured by different imaging devices of the data acquisition unit 102 to generate a bird's-eye view image, a panoramic image, or the like, and outputs an output signal including the generated image. It is supplied to the output unit 106.
  • the output control unit 105 generates voice data including a warning sound or a warning message for dangers such as collision, contact, and entry into a danger zone, and outputs an output signal including the generated voice data to the output unit 106.
  • Supply for example, the output control unit 105 generates voice data including a warning sound or a warning message for dangers such as collision,
  • the output unit 106 is provided with a device capable of outputting visual information or auditory information to the passengers of the own vehicle or outside the vehicle.
  • the output unit 106 includes a display device, an instrument panel, an audio speaker, headphones, a wearable device such as a spectacle-type display worn by a passenger, a projector, a lamp, and the like.
  • the display device included in the output unit 106 displays visual information in the driver's field of view, such as a head-up display, a transmissive display, and a device having an AR (Augmented Reality) display function, in addition to the device having a normal display. It may be a display device.
  • the drive system control unit 107 controls the drive system system 108 by generating various control signals and supplying them to the drive system system 108. Further, the drive system control unit 107 supplies a control signal to each unit other than the drive system system 108 as necessary, and notifies the control state of the drive system system 108.
  • the drive system system 108 includes various devices related to the drive system of the own vehicle.
  • the drive system system 108 includes a drive force generator for generating a drive force of an internal combustion engine or a drive motor, a drive force transmission mechanism for transmitting the drive force to the wheels, a steering mechanism for adjusting the steering angle, and the like. It is equipped with a braking device that generates a braking force, an ABS (Antilock Brake System), an ESC (Electronic Stability Control), an electric power steering device, and the like.
  • the body system control unit 109 controls the body system 110 by generating various control signals and supplying them to the body system 110. Further, the body system control unit 109 supplies control signals to each unit other than the body system 110 as necessary, and notifies the control state of the body system 110.
  • the body system 110 includes various body devices equipped on the vehicle body.
  • the body system 110 includes a keyless entry system, a smart key system, a power window device, a power seat, a steering wheel, an air conditioner, and various lamps (for example, head lamps, back lamps, brake lamps, blinkers, fog lamps, etc.).
  • various lamps for example, head lamps, back lamps, brake lamps, blinkers, fog lamps, etc.
  • the storage unit 111 includes, for example, a magnetic storage device such as a ROM (Read Only Memory), a RAM (Random Access Memory), an HDD (Hard Disk Drive), a semiconductor storage device, an optical storage device, an optical magnetic storage device, and the like. ..
  • the storage unit 111 stores various programs, data, and the like used by each unit of the mobile device 100.
  • the storage unit 111 stores map data such as a three-dimensional high-precision map such as a dynamic map, a global map which is less accurate than the high-precision map and covers a wide area, and a local map including information around the own vehicle.
  • map data such as a three-dimensional high-precision map such as a dynamic map, a global map which is less accurate than the high-precision map and covers a wide area, and a local map including information around the own vehicle.
  • the automatic driving control unit 112 controls automatic driving such as autonomous driving or driving support. Specifically, for example, the automatic driving control unit 112 issues collision avoidance or impact mitigation of the own vehicle, follow-up running based on the inter-vehicle distance, vehicle speed maintenance running, collision warning of the own vehicle, lane deviation warning of the own vehicle, and the like. Coordinated control is performed for the purpose of realizing the functions of ADAS (Advanced Driver Assistance System) including. Further, for example, the automatic driving control unit 112 performs cooperative control for the purpose of automatic driving that autonomously travels without depending on the operation of the driver.
  • the automatic operation control unit 112 includes a detection unit 131, a self-position estimation unit 132, a situation analysis unit 133, a planning unit 134, and an operation control unit 135.
  • the detection unit 131 detects various types of information necessary for controlling automatic operation.
  • the detection unit 131 includes an outside information detection unit 141, an inside information detection unit 142, and a vehicle state detection unit 143.
  • the vehicle outside information detection unit 141 performs detection processing of information outside the own vehicle based on data or signals from each unit of the mobile device 100.
  • the vehicle exterior information detection unit 141 performs detection processing, recognition processing, tracking processing, and detection processing of the distance to the object and the relative speed of the object around the own vehicle.
  • Objects to be detected include, for example, vehicles, people, obstacles, structures, roads, traffic lights, traffic signs, road markings, and the like.
  • the vehicle outside information detection unit 141 performs detection processing of the environment around the own vehicle.
  • the surrounding environment to be detected includes, for example, weather, temperature, humidity, brightness, road surface condition, and the like.
  • the vehicle outside information detection unit 141 outputs data indicating the result of the detection process to the self-position estimation unit 132, the map analysis unit 151 of the situation analysis unit 133, the traffic rule recognition unit 152, the situation recognition unit 153, and the operation control unit 135. It is supplied to the emergency situation avoidance unit 171 and the like.
  • the information acquired by the out-of-vehicle information detection unit 141 is mainly provided by the infrastructure if the local dynamic map, which is constantly updated as a section in which the driving section can be driven automatically, is supplied from the infrastructure. It may be possible to receive information, or the vehicle or group of vehicles traveling in advance of the relevant section may always receive information updates in advance prior to entering the section.
  • road environment information obtained from the section intrusion leading vehicle for the purpose of obtaining road information immediately before the intrusion section which is safer, especially when traveling in a platoon, such as when the latest local dynamic map is not constantly updated from the infrastructure. May be used in a complementary manner. In many cases, the section where autonomous driving is possible depends on the presence or absence of prior information provided by these infrastructures.
  • the information on whether or not autonomous driving is possible on the route provided by the infrastructure is equivalent to providing an invisible track as so-called "information”.
  • the outside information detection unit 141 is shown on the assumption that it is mounted on the own vehicle, but by using the information captured by the preceding vehicle as "information", the predictability during driving is further improved. Is also good.
  • the in-vehicle information detection unit 142 performs in-vehicle information detection processing based on data or signals from each unit of the mobile device 100.
  • the vehicle interior information detection unit 142 performs driver authentication processing and recognition processing, driver status detection processing, passenger detection processing, vehicle interior environment detection processing, and the like.
  • the state of the driver to be detected includes, for example, physical condition, alertness, concentration, fatigue, gaze direction, detailed eyeball behavior, and the like.
  • the main detection means is to detect a decrease in consciousness such as drowsiness, but in the future, the driver will not intervene in the driving steering at all, so the system will be the driver's.
  • the in-vehicle information detection unit 142 mainly has two major roles, the first role is passive monitoring of the driver's condition during automatic driving, and the second role is to return from the system.
  • the driver's peripheral cognition, perception, and judgment, as well as the detection and judgment of the operating ability of the steering device are made to a level at which manual driving is possible by the time the driver reaches the section of careful driving.
  • a self-diagnosis of the failure of the entire vehicle may be further performed, and even if a partial functional failure of the automatic driving causes a deterioration of the automatic driving function, the driver may be urged to return to the early manual driving.
  • Passive monitoring here refers to a type of detection means that does not require the driver to respond consciously, and excludes objects that detect response signals by transmitting physical radio waves, light, etc. from the device. is not. In other words, it refers to the state monitoring of the driver unconsciously, such as during a nap, and the classification that is not the driver's cognitive response is the passive method. It does not exclude active response devices that analyze and evaluate reflected and diffused signals irradiated with radio waves and infrared rays. On the contrary, the one that asks the driver for a conscious response is active.
  • the environment inside the vehicle to be detected includes, for example, temperature, humidity, brightness, odor, and the like.
  • the vehicle interior information detection unit 142 supplies data indicating the result of the detection process to the situational awareness unit 153 and the motion control unit 135 of the situational analysis unit 133.
  • the driver could not achieve manual operation within the accurate deadline after the driver was instructed to return to operation by the system, and even if deceleration control was performed while the vehicle was in its own operation and the time was postponed, it could be taken over.
  • an instruction is given to the emergency situation avoidance unit 171 or the like of the system, and the deceleration, evacuation / stop procedure is started to evacuate the vehicle. In other words, even in a situation where the initial state is not in time, it is possible to earn the time to reach the takeover limit by starting the deceleration of the vehicle at an early stage.
  • the vehicle state detection unit 143 performs the state detection process of the own vehicle based on the data or the signal from each part of the mobile device 100.
  • the states of the vehicle to be detected include, for example, speed, acceleration, steering angle, presence / absence and content of abnormality, driving operation state, power seat position / tilt, door lock state, and other in-vehicle devices. The state etc. are included.
  • the vehicle state detection unit 143 supplies data indicating the result of the detection process to the situation recognition unit 153 of the situation analysis unit 133, the emergency situation avoidance unit 171 of the operation control unit 135, and the like.
  • the self-position estimation unit 132 estimates the position and posture of the own vehicle based on data or signals from each unit of the mobile device 100 such as the vehicle exterior information detection unit 141 and the situational awareness unit 153 of the situation analysis unit 133. I do. In addition, the self-position estimation unit 132 generates a local map (hereinafter, referred to as a self-position estimation map) used for self-position estimation, if necessary.
  • a self-position estimation map a local map
  • the self-position estimation map is, for example, a high-precision map using a technique such as SLAM (Simultaneus Localization and Mapping).
  • the self-position estimation unit 132 supplies data indicating the result of the estimation process to the map analysis unit 151 of the situation analysis unit 133, the traffic rule recognition unit 152, the situation recognition unit 153, and the like. Further, the self-position estimation unit 132 stores the self-position estimation map in the storage unit 111.
  • the situation analysis unit 133 analyzes the situation of the own vehicle and the surroundings.
  • the situation analysis unit 133 includes a map analysis unit 151, a traffic rule recognition unit 152, a situation recognition unit 153, a situation prediction unit 154, and a safety determination unit 155.
  • the map analysis unit 151 analyzes various maps stored in the storage unit 111 while using data or signals from each unit of the mobile device 100 such as the self-position estimation unit 132 and the vehicle exterior information detection unit 141 as necessary. Perform processing and build a map containing information necessary for automatic operation processing.
  • the map analysis unit 151 applies the constructed map to the traffic rule recognition unit 152, the situation recognition unit 153, the situation prediction unit 154, the route planning unit 161 of the planning unit 134, the action planning unit 162, the operation planning unit 163, and the like. Supply to.
  • the traffic rule recognition unit 152 recognizes traffic rules around the own vehicle based on data or signals from each unit of the mobile device 100 such as the self-position estimation unit 132, the vehicle outside information detection unit 141, and the map analysis unit 151. Perform processing. By this recognition process, for example, the position and state of the signal around the own vehicle, the content of the traffic regulation around the own vehicle, the lane in which the vehicle can travel, and the like are recognized.
  • the traffic rule recognition unit 152 supplies data indicating the result of the recognition process to the situation prediction unit 154 and the like.
  • the situation recognition unit 153 is based on data or signals from each part of the mobile device 100 such as the self-position estimation unit 132, the vehicle exterior information detection unit 141, the vehicle interior information detection unit 142, the vehicle condition detection unit 143, and the map analysis unit 151. Then, the situation regarding the own vehicle is recognized. For example, the situational awareness unit 153 performs recognition processing such as the situation of the own vehicle, the situation around the own vehicle, and the situation of the driver of the own vehicle. In addition, the situational awareness unit 153 generates a local map (hereinafter, referred to as a situational awareness map) used for recognizing the situation around the own vehicle, if necessary.
  • the situation recognition map is, for example, an occupation grid map (Occupancy Grid Map).
  • the situation of the own vehicle to be recognized includes, for example, the position, attitude, movement (for example, speed, acceleration, moving direction, etc.) of the own vehicle, and the cargo load and the cargo load that determine the motion characteristics of the own vehicle.
  • Vehicle-specific movements such as movement of the center of gravity of the vehicle body, tire pressure, braking distance movement due to brake braking pad wear, maximum deceleration braking to prevent cargo movement caused by load braking, centrifugal relaxation limit speed when traveling on curves due to liquid loading, etc.
  • the road environment is exactly the same, such as the conditions specific to the loaded cargo, the friction coefficient of the road surface, the road curve, and the slope, the return start timing required for control differs depending on the characteristics of the vehicle itself and the load.
  • a parameter that determines the addition of the desired return grace time in order to ensure a certain level of safety according to the characteristics peculiar to the load may be set in advance as a fixed value, and not necessarily all notification timings. It is not necessary to take a method of uniformly determining the determination condition from self-cumulative learning.
  • the surrounding conditions of the vehicle to be recognized include, for example, the type and position of surrounding stationary objects, the type, position and movement of surrounding animals (eg, speed, acceleration, direction of movement, etc.), and the surrounding roads.
  • the composition and road surface condition, as well as the surrounding weather, temperature, humidity, brightness, etc. are included.
  • the state of the driver to be recognized includes, for example, physical condition, arousal level, concentration level, fatigue level, eye movement, driving operation, and the like.
  • Driving a vehicle safely means the load capacity mounted in the vehicle's unique state, the chassis fixed state of the mounting part, the center of gravity biased state, the maximum deceleration possible acceleration value, the maximum loadable centrifugal force, and the driver.
  • the control start point that needs to be dealt with differs greatly depending on the amount of return response delay and the like depending on the state of.
  • the situational awareness unit 153 supplies data indicating the result of the recognition process (including a situational awareness map, if necessary) to the self-position estimation unit 132, the situation prediction unit 154, and the like. Further, the situational awareness unit 153 stores the situational awareness map in the storage unit 111.
  • the situational awareness unit 154 performs situational awareness processing related to the own vehicle based on data or signals from each unit of the mobile device 100 such as the map analysis unit 151, the traffic rule recognition unit 152, and the situational awareness unit 153.
  • the situation prediction unit 154 performs prediction processing such as the situation of the own vehicle, the situation around the own vehicle, and the situation of the driver.
  • the situation of the own vehicle to be predicted includes, for example, the behavior of the own vehicle, the occurrence of an abnormality, the mileage, and the like.
  • the situation around the own vehicle to be predicted includes, for example, the behavior of the animal body around the own vehicle, the change in the signal state, the change in the environment such as the weather, and the like.
  • the driver's situation to be predicted includes, for example, the driver's behavior and physical condition.
  • the situation prediction unit 154 together with the data from the traffic rule recognition unit 152 and the situation recognition unit 153, provides the data indicating the result of the prediction processing to the route planning unit 161, the action planning unit 162, and the operation planning unit 163 of the planning unit 134. And so on.
  • the safety determination unit 155 learns the optimum return timing according to the driver's return behavior pattern, vehicle characteristics, etc., and provides the learning information to the situational awareness unit 153 and the like. This makes it possible, for example, to present to the driver the statistically determined optimum timing required for the driver to normally return from the automatic operation to the manual operation at a predetermined rate or more.
  • the route planning unit 161 plans a route to the destination based on data or signals from each unit of the mobile device 100 such as the map analysis unit 151 and the situation prediction unit 154. For example, the route planning unit 161 sets a route from the current position to the specified destination based on the global map. Further, for example, the route planning unit 161 appropriately changes the route based on the conditions such as traffic congestion, accidents, traffic restrictions, construction work, and the physical condition of the driver. The route planning unit 161 supplies data indicating the planned route to the action planning unit 162 and the like.
  • the action planning unit 162 safely travels the route planned by the route planning unit 161 within the planned time based on the data or signals from each unit of the mobile device 100 such as the map analysis unit 151 and the situation prediction unit 154. Plan your vehicle's actions to do. For example, the action planning unit 162 plans starting, stopping, traveling direction (for example, forward, backward, left turn, right turn, change of direction, etc.), traveling lane, traveling speed, and overtaking. The action planning unit 162 supplies data indicating the planned behavior of the own vehicle to the motion planning unit 163 and the like.
  • the motion planning unit 163 performs the operation of the own vehicle for realizing the action planned by the action planning unit 162 based on the data or signals from each unit of the mobile device 100 such as the map analysis unit 151 and the situation prediction unit 154. To plan. For example, the motion planning unit 163 plans acceleration, deceleration, traveling track, and the like. The motion planning unit 163 supplies data indicating the planned operation of the own vehicle to the acceleration / deceleration control unit 172 and the direction control unit 173 of the motion control unit 135.
  • the motion control unit 135 controls the motion of the own vehicle.
  • the motion control unit 135 includes an emergency situation avoidance unit 171, an acceleration / deceleration control unit 172, and a direction control unit 173.
  • the emergency situation avoidance unit 171 may collide, contact, enter a danger zone, have a driver abnormality, or have a vehicle. Performs emergency detection processing such as abnormalities.
  • the emergency situation avoidance unit 171 detects the occurrence of an emergency situation, it plans the operation of the own vehicle to avoid an emergency situation such as a sudden stop or a sharp turn.
  • the emergency situation avoidance unit 171 supplies data indicating the planned operation of the own vehicle to the acceleration / deceleration control unit 172, the direction control unit 173, and the like.
  • the acceleration / deceleration control unit 172 performs acceleration / deceleration control for realizing the operation of the own vehicle planned by the motion planning unit 163 or the emergency situation avoidance unit 171.
  • the acceleration / deceleration control unit 172 calculates a control target value of a driving force generator or a braking device for realizing a planned acceleration, deceleration, or sudden stop, and drives a control command indicating the calculated control target value. It is supplied to the system control unit 107.
  • an emergency situation can occur. In other words, a case where an unexpected accident occurs during automatic driving on a road that was originally considered safe by the local dynamic map etc. acquired from the infrastructure on the driving route during automatic driving, and emergency return is not in time. In some cases, it becomes difficult for the driver to accurately return from automatic driving to manual driving.
  • the direction control unit 173 performs direction control for realizing the operation of the own vehicle planned by the motion planning unit 163 or the emergency situation avoidance unit 171. For example, the direction control unit 173 calculates the control target value of the steering mechanism for realizing the traveling track or the sharp turn planned by the motion planning unit 163 or the emergency situation avoidance unit 171 and controls to indicate the calculated control target value. The command is supplied to the drive system control unit 107.
  • the present disclosure makes it possible to execute control that reflects the intention of the driver for the autonomous driving vehicle.
  • the automatic driving control system confirms the intention of the user (driver) and performs driving control according to the intention of the user.
  • the driver's intention is confirmed even when a request for priority driving or the like that differs from the prescribed traffic rules is received from the outside such as an oncoming vehicle.
  • the automatic driving control system confirms the driver's intention and then performs driving control such as intrusion into a route different from the normal driving route, running, and stopping.
  • risk balance is an important factor in human behavior in society (including the behavior of machines) in relation to others.
  • the behavioral principle of risk aversion forms a smooth society.
  • Settings that do not require risk consideration can cause major problems. For example, if it is determined that an autonomous vehicle will never pose a danger to surrounding life forms, some people will jump out or sit in front of the autonomous vehicle, and not only people but also cats, dogs and livestock. However, it is expected that the vehicle will obstruct the course regardless of the approach of the autonomous vehicle.
  • the risk is reduced by using an automatic driving or semi-automatic driving vehicle for the driver of an automatic driving vehicle, but it is safe to take other risks with respect to the safety guaranteed by the function of the vehicle.
  • Examples of risk balance formation in the road usage environment are as follows. A driver who drives at high speed feels his or her sense of danger and the risk of being penalized for speed violation, and controls the running speed according to the magnitude of this risk. Factors that the driver feels as dangerous are unknowingly judging various risks such as road shape, visibility clearance due to weather, road surface conditions such as snow cover, approaching conditions of surrounding parallel vehicles, and own driving speed. And the distance between vehicles are decided.
  • the autonomous driving control that reflects the intention of the driver who is the user is smoothly executed in the autonomous driving vehicle and the seamless cooperative control between the autonomous driving control system and the driver is executed, for example, the following processing is also possible. It becomes. For example, when an event that blocks a road occurs, the autonomous driving control system is likely to simply control standby and stop based on rules. Due to this control, a large number of vehicles are lined up on the road, causing traffic congestion. If the vehicle is controlled according to the driver's intention before such a situation occurs, it is possible to avoid traffic congestion.
  • a vehicle requesting the transfer of the driving priority and a mechanism for approving the actual transfer in response to the transfer request are required.
  • the own vehicle follows the planned course it becomes a factor that blocks the road if competition occurs with a vehicle traveling in the same section.
  • a vehicle that may restrict the travel of a certain section of another vehicle declares in advance a request for transfer of the travel priority of that section.
  • it is effective to negotiate in advance to avoid the risk of blocking the road as it travels.
  • the driver's intention is confirmed when performing such a process.
  • the surrounding situation is grasped by various sensors, but in some cases, for example, the position of another vehicle can be confirmed only from the gap between a building or an object, so that the complicated intertwined situation is not always accurately bird's-eye view. There will be situations where it cannot be determined.
  • the automatic driving control system of the vehicle could be configured to cooperate with the vehicles traveling around and manage the control information including obstacle information around each vehicle in an integrated manner. It is not easy to realize a mechanism that constantly provides information on the surroundings of the vehicle with the surrounding vehicles in a mixed environment of non-autonomous vehicles.
  • the driver inputs the intention of adjusting the priority driving right and continuing or stopping the driving according to the relative situation with the surrounding vehicle to the automatic driving control system. It realizes a control configuration that makes it easy to execute cooperative automatic driving control.
  • the configuration of this disclosure not only frees the driver from the hassle of returning to manual driving, but also causes various problems that can occur under the control of the autonomous driving control system alone, such as blocking the road or causing congestion. It is possible to prevent the occurrence of various problems such as forced retreat or forced retreat.
  • the risk balance is taken and the action is taken. If the self-driving vehicle does not give the user's judgment in a coordinated manner in all situations, and the vehicle stops without any harm even if the emergency brake is activated or the vehicle stops and interferes, it is a domineering pedestrian.
  • the risk judgment psychology that forcibly crosses the road may work, and the risk of harm may become apparent in a society or region where security has deteriorated. In addition, it can be a convenient mechanism for wild monkeys that flock to tourists' vehicles and begging for food to stop if they jump out in front of the vehicle.
  • the autonomous driving vehicle does not always stop on a rule basis, but different control is performed depending on the reflection of the intention of the autonomous driving vehicle user. From the perspective of pedestrians and other road environment users around the autonomous driving vehicle, even if the pedestrian obstructs the course of the autonomous driving vehicle, the autonomous driving control system always guarantees an emergency stop on a rule basis. do not do.
  • the driver monitors the driving situation in order to make the automatic driving control system perform the control reflecting the driver's intention when traveling in the section where the driver's intention is required to be reflected. As a result, the driver is urged to take certain precautions even during automatic driving.
  • Example 1 Example of running control when an intruding vehicle occurs on a road on which an autonomous driving vehicle is passing.
  • a travel control example when an intruding vehicle occurs on a road on which an autonomous driving vehicle is passing will be described.
  • the priority of vehicle entry between a vehicle on the main street and a vehicle on a narrow street with less traffic is the priority on the vehicle on the main street in the absence of a traffic light. It is a rule that vehicles trying to enter the main street from a narrow street do not interfere with the running of the vehicle on the main street.
  • the vehicle 201 is traveling on a main street and is about to turn right on a side road. From the side road, a large truck 202 has entered the main street and is about to turn left. According to the Road Traffic Act, the driving priority is given to the vehicle 201 traveling on the main street.
  • the vehicle 201 is a manually driven vehicle and the driver is an experienced driver, the vehicle 201 is stopped when the head of the heavy-duty truck 202 is seen from the side road, and the left turn of the heavy-duty truck 12 is waited for. After waiting, the vehicle 201 can be started and smoothly traveled to enter the side road.
  • the automatic driving control system of the vehicle 201 executes inter-vehicle communication with the heavy-duty truck 202 according to the intention of the driver of the vehicle 201, and prioritizes driving. Performs rights adjustment processing (negotiation). That is, it is determined which vehicle holds the driving priority, and the vehicle to which the driving priority is transferred stops and stands by.
  • the automatic driving control system of the vehicle 201 When the heavy-duty truck 202 is an autonomous driving vehicle and the vehicle is being driven by the automatic driving control system, the automatic driving control system of the vehicle 201 has a driving priority with the automatic driving control system of the heavy-duty truck 202. Adjustment processing (negotiation) is performed. When the heavy-duty truck 202 is a manually driven vehicle, the automatic driving control system of the vehicle 201 notifies the heavy-duty truck 202 of a message and waits for the driver's response.
  • the automatic driving control system of the vehicle 201 confirms the driver's intention and performs the processing according to the driver's intention when performing these processes. For example, after confirming with the driver whether the driving priority may be transferred to the other vehicle, the process of transferring the driving priority to the other vehicle is performed. For example, when the driver responds Yes by presenting the display information as shown in FIG. 8, the adjustment process (negotiation) regarding the transfer of the traveling priority to the heavy-duty truck 202 is started.
  • the user (driver)'s intention input can be input using switches, buttons, etc., voice input via a microphone, or a touch panel provided on the display unit. It can be executed by the input used or the input by gesture.
  • the driving priority can be transferred to the large truck 202 that invades the main street from the side road that has a low driving priority under the original traffic rules. ..
  • the vehicle 201 can stand by on the main street, and during that time, the large truck 202 can enter the main street, which is the same process as the manual driving.
  • the process according to the flowchart shown in FIG. 9 or lower can be executed by the data processing unit of the automatic operation control system according to the program stored in the storage unit. For example, it is executed under the control of a data processing unit (control unit) having a CPU or the like having a program execution function.
  • a data processing unit control unit
  • CPU central processing unit
  • FIG. 9 the processing of each step of the flowchart shown in FIG. 9 will be sequentially described.
  • Step S101 the data processing unit determines in step S101 whether or not the travel priority transfer process has been enabled.
  • This process is a process for confirming the intention of the user (driver, etc.). For example, when the UI shown in FIG. 8 is presented and the user indicates the intention to enable the driving priority transfer process, step S102 or less is performed. Execute the process.
  • driving is performed in accordance with normal automatic driving control, that is, automatic driving control with safety priority.
  • Step S102 If it is determined in step S101 that the travel priority transfer process has been enabled, the process of step S102 or less is executed. In step S102, the driving road information such as the local dynamic map (LDM) and the driver information are acquired.
  • LDM local dynamic map
  • LDM is, for example, advanced environmental map information that can be acquired from an external server, and is information including current traffic condition information and the like.
  • the driver information is information acquired by the driver information acquisition unit 12 described above with reference to FIG. For example, information for determining the arousal level of the driver, operation information of the driver, and the like. Specifically, for example, it is information acquired by an operation information acquisition unit of a camera that captures a driver's face image and each operation unit (steering wheel, accelerator, brake, etc.).
  • Step S103 the data processing unit determines whether or not the driver's intention reflection allowable section has approached. For example, when the approach of the section shown in FIG. 7 is detected, the process proceeds to step S104.
  • Step S104 it is confirmed whether or not there is an opponent vehicle whose travel priority should be adjusted.
  • an opponent vehicle whose travel priority should be adjusted.
  • the own vehicle is the vehicle 201
  • the other vehicle whose travel priority should be adjusted is the large truck 202.
  • Step S105 it is determined whether or not it is necessary to adjust the traveling priority with the other vehicle. For example, there is a large vehicle 202 in a narrow street where the own vehicle 201 is about to enter. The large vehicle 202 does not have the priority to come out first on the main street, but the own vehicle 201 temporarily waits on the narrow road at the right turn to wait for all the passing vehicles on the main street to pass. As a result, the large vehicle 202 blocks the intruding vehicle (vehicle 201) from passing through the narrow street.
  • the driving priority Without adjusting the driving priority, it autonomously determines that there is no obstacle in the direction of travel immediately before based only on the information from the surrounding information detection sensor, and automatically drives the vehicle to the exit of the narrow road where a large vehicle is waiting. If you proceed as it is and invade a narrow street, it becomes clear that the large vehicle 202 is blocking the narrow road, and your vehicle cannot pass through. In other words, the vehicle 201 passing through the main street with the priority driving right advances the vehicle based on the rule-based priority, and the right turn approach road ahead is large only when it reaches the position shown by the dotted line that blocks the exit of the narrow street. Even if it is detected that the vehicle 202 is blocked, the roads will be blocked by each other when the vehicle reaches that stage.
  • step S105 If it is determined in step S105 that it is necessary to adjust the traveling priority, the process proceeds to step S106.
  • Step S106 In step S106, first, notification and warning according to the driver's state are executed. Since the vehicle is in automatic driving, the driver may be sleeping, or may be absorbed in a secondary task such as TV or a game, and may not be looking ahead at all.
  • the data processing unit of the automatic driving control system acquires the state of such a driving vehicle from the driver information acquisition unit 12, and issues an alarm or notification according to the state. That is, it notifies that an oncoming vehicle is approaching as shown in FIG.
  • Step S107 it is determined whether or not the driver is in an awake state that can be normally determined, and if it is determined that the driver is in an awake state that can be normally determined, the process proceeds to step S108.
  • step S108 the data processing unit of the automatic driving control system performs inter-vehicle communication with the other vehicle and executes the driving priority adjustment process (negotiation), that is, the driving priority is transferred to the other vehicle, or the vehicle itself The adjustment process of whether the vehicle acquires it is executed.
  • the driving priority adjustment process that is, the driving priority is transferred to the other vehicle, or the vehicle itself The adjustment process of whether the vehicle acquires it is executed.
  • Step S109 If the travel priority is transferred to the other vehicle as a result of the travel priority adjustment process (negotiation) in step S108, the process proceeds to step S110. If the own vehicle has acquired the driving priority, the process proceeds to step S121.
  • Step S110 When the travel priority is transferred to the other vehicle as a result of the travel priority adjustment process (negotiation) in step S108, the own vehicle is stopped and the other vehicle waits for passage in the section in step S110.
  • step S111 it is determined whether or not the user (driver) has made an input instructing the restart of the normal automatic driving control running.
  • Step S112 If it is determined in step S111 that the user (driver) has input to instruct the restart of the normal automatic driving control running, the normal automatic driving control running is restarted in step S112, and the driver's intention intervention is further performed.
  • Log information related to control is recorded in the storage unit in the information processing device or the storage unit of the management server.
  • the log information related to the driver intention intervention control is information about what kind of driver intention intervention control is executed, and based on these information, for example, a process as shown in the upper right of the flow of FIG. 9 is performed. It will be done.
  • point adjustment such as addition or reduction of points based on the use of driver intention intervention control, restriction of traveling speed, restriction of use of automatic driving, restriction of invasion of a specific section, etc. are executed. For example, if the driving priority is transferred by the intervention of the driver's intention, points will be added. On the other hand, if the driving priority is not transferred due to the intervention of the driver's intention, point adjustment such as point reduction processing is performed. It should be noted that the added points may be associated with all the events that give an incentive to the driver to execute, and it is not always necessary to specifically limit the points to the profit element or the disadvantage element.
  • An example of effective point adjustment is to limit the range of use of automatic driving according to the acquired points. It is considered that such a point adjustment process has an effect of keeping the user's consciousness in the vehicle in automatic driving for the autonomous driving user.
  • the driving priority is not transferred or if the driver's intention intervention control is abused, the driving speed limit, the automatic driving use limit, the specific section intrusion limit, etc. are executed. ..
  • Step S121 When the own vehicle acquires the travel priority as a result of the travel priority adjustment process (negotiation) in step S108, the section passage is executed in advance based on the travel priority of the own vehicle in step S121. After that, the process proceeds to step S112, the normal automatic driving control running is restarted, and the log information related to the driver intention intervention control is recorded in the storage unit in the information processing device or the storage unit of the management server.
  • the driver can transfer the traffic priority of the road even during automatic driving. Moreover, even if there is no priority, it is possible to request the priority at the user's will. These treatments can reduce the risk of blocking roads, which are social infrastructure.
  • negotiation can be executed based on information based on LDM, information such as a direction indicator of an approaching vehicle, or information obtained by prior vehicle-to-vehicle communication.
  • the system may make a risk estimate in advance and ask the user to decide whether or not to perform negotiation.
  • the driver may decide to drive according to the rules, such as stopping at a red light, slowing down when a pedestrian (suspicious person) approaches, or such driving. It stops and controls to give priority to passing through the section at a predetermined speed.
  • the vehicle 221 is an autonomous driving vehicle.
  • Vehicle 221 is about to pass through a danger zone, which is a crime-prone area. If the signal in this danger zone is red, it will stop according to the rules stipulated by the Road Traffic Act, and the autonomous driving control system usually controls to stop.
  • the user (driver) conveys the intention of the user (driver) to the automatic driving control system via the UI as shown in FIG.
  • the automatic driving control system controls driving without stopping in a specific section such as a road section in a dangerous area or the like according to the intention of the user (driver).
  • the user (driver)'s intention input includes input using switches and buttons, voice input via a microphone, and a touch panel provided on the display unit. It can be executed by the input used or the input by gesture.
  • Vehicle control that does not follow the rules stipulated by the Road Traffic Act may seem reckless at first glance, but if there is a risk of being involved in a crime, it is effective in avoiding the crime.
  • the perpetrator knows that it is a general control that the vehicle does not stop according to the driver's intention even if it is an autonomous driving vehicle, it is easy to aim even if it is an autonomous driving vehicle. Psychology is suppressed. In other words, the fact that the automatic driving control system has a function of reflecting the user's intention itself brings about a crime prevention effect.
  • a limit such as allowing such processing under certain conditions.
  • vehicle control that deviates from the traffic rules is restricted to be permitted only in a specific area such as a crime-prone area, or only at night. It is necessary to prevent such special vehicle control from being abused as much as possible, and it is possible to establish a system such as saving logs of usage records with a mechanism that is difficult to tamper with and evaluating the utilization rate of each driver based on the logs. preferable.
  • Example 3 Control example that takes flexible measures to avoid risks such as traffic congestion
  • Example 3 a control example for flexibly taking measures to avoid risks such as traffic congestion will be described.
  • the situation shown in FIG. 12 that is, the vehicle 241 which is the own vehicle encounters an accident / failure vehicle 242 which is stopped while traveling. It is assumed that overtaking is prohibited under the Road Traffic Act with one lane on each side. In this case, if the vehicle 241 continues the safety-oriented automatic driving control as it is, it will stop in front of the accident / breakdown vehicle 242 and wait until the accident / breakdown vehicle 242 wrecker movement is completed in accordance with the traffic rules. become. Or, even if the setting is allowed to go out into the oncoming lane because it is an accident vehicle, if the counter diagonal line comes from the opposite direction, the standby is continued.
  • the intention of the user is communicated to the automatic driving control system via the UI as shown in FIG.
  • the automatic driving control system starts detour driving according to the intention of the user (driver).
  • the adjustment (negotiation) of the traveling priority executed in the processes of FIGS. 7 to 9 described above is executed. Then, avoiding collisions and alternating running by concession.
  • FIG. 12 it is assumed that there is an oncoming vehicle 251 approaching from the oncoming lane, and further, a stopped vehicle 261 in a traffic jam is stopped in the oncoming lane.
  • the oncoming vehicle 251 will stop behind the congested stopped vehicle 261, and it will be difficult for the vehicle 241 to travel beyond the oncoming lane.
  • priority adjustment (negotiation) is performed in advance between the vehicle 241 and the oncoming vehicle 251.
  • the priority is adjusted (negotiated) and the right to enter the oncoming lane is acquired.
  • the mobile device and the information processing device of the present disclosure make it possible to effectively control the automatic driving control system by reflecting the intention of the user (driver) as described above.
  • the intention of the user changes greatly depending on the situation. That is, while the vehicle is running, various situations such as those in FIGS. 7, 10, and 12 described above occur, and the automatic driving control system determines the intention of the user (driver) according to each situation. It will be confirmed and the driving control will be performed to reflect the intention of the user (driver).
  • FIG. 14 A typical example of a driving control sequence that reflects the intention of the user (driver) will be described with reference to the flowchart shown in FIG.
  • the process according to the flow shown in FIG. 14 is a process executed by the data processing unit of the automatic operation control system. Hereinafter, the processing of each step of the flowchart shown in FIG. 14 will be sequentially described.
  • Step S201 the data processing unit of the automatic operation control system executes the acquisition process of the environmental information in step S201.
  • the traveling road information such as the local dynamic map (LDM)
  • the environmental information acquisition process using the environmental information acquisition unit 13 shown in FIG. 1 are performed.
  • the environmental information acquisition unit 13 acquires the driving environment information of the automobile. For example, image information of the front, rear, left and right of the automobile, position information by GPS, LiDAR (Laser Imaging Detection and Ranking), information on surrounding obstacles from sonar and the like are acquired.
  • LDM local dynamic map
  • the environmental information acquisition unit 13 acquires the driving environment information of the automobile. For example, image information of the front, rear, left and right of the automobile, position information by GPS, LiDAR (Laser Imaging Detection and Ranking), information on surrounding obstacles from sonar and the like are acquired.
  • LiDAR Laser Imaging Detection and Ranking
  • step S202 the data processing unit detects an obstacle on the traveling route based on the environmental information acquired in step S201. For example, a self-vehicle.
  • step S203 a traveling route for avoiding the obstacle detected in step S202 is planned and determined.
  • step S204 it is determined whether or not the travel route determined in step S203 is a route that can be traveled according to the traffic rules.
  • the traveling route described above with reference to FIG. 12, that is, the route traveling out of the opposite lane in order to bypass the accident vehicle is determined to be a route contrary to the traffic rule. If it is determined in step S204 that the travel route determined in step S203 is a route that can be traveled according to the traffic rules, the process proceeds to step S205. On the other hand, if it is determined that the travel route determined in step S203 is not a route that can be traveled according to the traffic rules, the process proceeds to step S207.
  • Step S205 If it is determined in step S204 that the travel route determined in step S203 is a route that can be traveled according to the traffic rules, the process proceeds to step S205.
  • step S205 the data processing unit starts / continues the normal running while analyzing the environment recognition information.
  • step S206 automatic driving according to normal automatic driving control according to traffic rules is executed.
  • Step S207 On the other hand, if it is determined that the travel route determined in step S203 is not a route that can be traveled according to the traffic rules, the process proceeds to step S207.
  • the data processing unit requests the other vehicle for the travel priority adjustment process (negotiation) required for traveling that does not comply with the traffic rules.
  • the data processing unit of the automatic driving control system of the vehicle 241 requests the oncoming vehicle 251 traveling in the oncoming lane for the traveling priority adjustment processing (negotiation) processing. Send.
  • step S208 it is determined whether or not the vehicle can travel based on the status of the partner vehicle in the travel priority adjustment process (negotiation) process and the surrounding environment information. Further, in step S209, adjustment of the traveling route and the partner vehicle of the traveling priority adjustment processing (negotiation) processing is executed.
  • the travel route adjustment in the case where the oncoming vehicle 251 does not advance at the position shown in FIG. 12, the vehicle advances toward the road shoulder so as not to block the road in the corresponding lane, and the position 252 indicated by the dotted arrow (road shoulder approaching route). ) May be negotiated to determine a detailed driving route, such as a case where the vehicle is moved and handed over.
  • the simplest configuration is that the user of the oncoming vehicle 251 who receives the priority request recognizes that if it continues as it is, it will obstruct the passage of the oncoming lane, and the user of the oncoming vehicle 251 will wait until the previous congested stopped vehicle 261 disappears.
  • the configuration is such that the position shown in FIG. 12 is controlled so as not to advance. What is important in actual control is that the user who receives the negotiation request gives an accurate instruction to the system based on the situation judgment result and controls it. By enabling control that reflects the user's judgment in this way, even if many events that are difficult to handle autonomously by the autonomous driving system alone are encountered, it is possible to quickly deal with the user's will. It becomes.
  • the vehicle 241 is slightly moved to the oncoming lane by negotiating with the oncoming vehicle 251 to advance to a position closer to the shoulder (end) side of the road and stop. It is possible to determine a traveling route that passes through the relevant section while avoiding the accident (malfunction) vehicle 242 that protrudes.
  • Step S210 the user's intention is reflected as to whether or not there is a large risk of blocking the road (road blockade) if the vehicle continues on the route determined based on the information within the range that can be recognized by the autonomous driving without waiting. Judgment is made in the form of If it is determined that there is no risk of blocking the road even if the vehicle proceeds as it is through the negotiation process based on the user's intention, the process proceeds to step S206, and the road rule-based driving control is executed.
  • the specific process in this case is, for example, a process of waiting in front of the own vehicle or a process of securing a space for an oncoming vehicle to escape from the road shoulder.
  • step S211 if it is determined that there is a large risk of blocking the road by not performing standby processing such as stopping in front of the vehicle, the process proceeds to step S211.
  • Step S211 to S212 If it is determined in step S210 that the risk of blocking the road (road blockade) is large, the process proceeds to step S211.
  • step S211 the result of the travel priority adjustment process (negotiation) is shared with the partner vehicle.
  • step S212 based on the travel priority adjustment result, the section travel of the own vehicle and the partner vehicle is executed.
  • the above-mentioned example has been described as an example in which the driver executes an intention input and then automatically performs the actual steering thereafter.
  • the driver decides to stand by in the determination of step S210 and then returns to a situation where the driver can return to manual driving during the standby, the user decides to secure a passing space for the oncoming vehicle and drive in manual driving.
  • Various other measures can be taken, such as.
  • the automatic driving control system confirms the intention of the user (driver) when the driving priority adjustment processing (negotiation) request is received from the other vehicle, and is based on the intention confirmation.
  • a series of processing sequences of control and logging processing will be described.
  • Step S301 First, the data processing unit of the automatic driving control system predicts a driving risk (road blockade, etc.) in step S301.
  • This process is executed by using, for example, travel road information such as a local dynamic map (LDM), and environmental information acquired by the environmental information acquisition unit 13 shown in FIG.
  • the environmental information acquisition unit 13 acquires the driving environment information of the automobile. For example, image information of the front, rear, left and right of the automobile, position information by GPS, LiDAR (Laser Imaging Detection and Ranking), information on surrounding obstacles from sonar and the like are acquired.
  • LDM local dynamic map
  • environmental information acquisition unit 13 acquires the driving environment information of the automobile. For example, image information of the front, rear, left and right of the automobile, position information by GPS, LiDAR (Laser Imaging Detection and Ranking), information on surrounding obstacles from sonar and the like are acquired.
  • LiDAR Laser Imaging Detection and Ranking
  • step S302 the data processing unit notifies the driver of the receipt of the driving priority adjustment processing (negotiation) request.
  • step S303 it is determined whether or not this notification is recognized by the user (driver). For example, it is determined by analyzing whether or not there is a response input of the user (driver), or the gesture of the user (driver).
  • step S321 If it is determined that the notification is not recognized by the user (driver), the process proceeds to step S321, and the automatic operation by the normal automatic operation control is continued. On the other hand, if it is determined that the notification has been recognized by the user (driver), the process proceeds to step S304.
  • Step S304 to S305 If it is determined that the notification has been recognized by the user (driver), the process proceeds to step S304, and in step S304, the driver waits for the input of the driver's intention for the reception notification of the driving priority adjustment processing (negotiation) request. In step S305, it is determined whether or not the driver's intention can be reflected at the limit point, and when the driver's intention can be reflected at the limit point, the process proceeds to step S306.
  • Step S306 it is determined whether or not the vehicle can be driven based on the status of the partner vehicle in the travel priority adjustment process (negotiation) process and the surrounding environment information.
  • step S307 it is determined whether or not the user (driver) has agreed to transfer the driving priority to the other vehicle in the driving priority adjustment processing (negotiation) processing. If they agree, the process of step S308 and subsequent steps is executed.
  • step S331 normal automatic driving based on the traffic rules of the road is executed, and in step S332, the log recording of the driver's intention intervention control is performed. For example, the point down process is executed in response to the refusal to transfer the driving priority.
  • step S307 when the user (driver) agrees to transfer the driving priority to the partner vehicle of the driving priority adjustment processing (negotiation) processing, the processing of step S308 and the like is executed.
  • step S308 the own vehicle is stopped.
  • step S309 the vehicle waits for the priority transfer vehicle to pass through the section, and confirms the necessity of waiting for the additional vehicle to pass.
  • step S310 it is determined whether or not the user (driver) approves the transfer of the driving priority to the additional vehicle. Specifically, this is a process in which the following vehicle following the partner vehicle in the travel priority adjustment process (negotiation) process is also passed first. In this case, the standby process in step S308 is continued. If the following vehicle or the like is interrupted, the process proceeds to step S311.
  • Step S311 the driver intention intervention control is logged.
  • the point-up process is executed according to the transfer of the driving priority.
  • the mobile device and the information processing device of the present disclosure enable the automatic driving control system to execute automatic driving that reflects the intention of the user (driver, etc.) at any time. And by combining it with points that give users insensitivity, it becomes possible to have a mechanism that encourages active cooperative control and actual participation, and it will be possible to more seamlessly deal with situations that affect each other in a complicated manner. ..
  • FIG. 16 is a diagram showing a hardware configuration example of the information processing device.
  • the CPU (Central Processing Unit) 501 functions as a data processing unit that executes various processes according to a program stored in the ROM (Read Only Memory) 502 or the storage unit 508. For example, the process according to the sequence described in the above-described embodiment is executed.
  • the RAM (Random Access Memory) 503 stores programs and data executed by the CPU 501. These CPU 501, ROM 502, and RAM 503 are connected to each other by a bus 504.
  • the CPU 501 is connected to the input / output interface 505 via the bus 504, and the input / output interface 505 is an input including various switches, a keyboard, a touch panel, a mouse, a microphone, and a status data acquisition unit such as a sensor, a camera, and GPS.
  • An output unit 507 including a unit 506, a display, a speaker, and the like is connected.
  • the input information from the sensor 521 is also input to the input unit 506.
  • the output unit 507 also outputs drive information for the drive unit 522 of the mobile device.
  • the CPU 501 inputs commands, status data, and the like input from the input unit 506, executes various processes, and outputs the process results to, for example, the output unit 507.
  • the storage unit 508 connected to the input / output interface 505 is composed of, for example, a hard disk or the like, and stores a program executed by the CPU 501 and various data.
  • the communication unit 509 functions as a transmission / reception unit for data communication via a network such as the Internet or a local area network, and communicates with an external device.
  • the drive 510 connected to the input / output interface 505 drives a removable medium 511 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory such as a memory card, and records or reads data.
  • a removable medium 511 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory such as a memory card
  • the technology disclosed in the present specification can have the following configuration. (1) It has a data processing unit that executes automatic operation control, The data processing unit An information processing device that has an input unit for inputting the user's intention and executes automatic operation control that reflects the user's intention.
  • the data processing unit The information processing device according to (2), which confirms the intention to transfer the driving priority to the user before executing the driving priority adjustment process.
  • the data processing unit Based on the analysis of the driving environment, it is determined whether or not the competition in the same traveling section occurs between the own vehicle and another vehicle, and if it is determined that the competition occurs, the adjustment process of the driving priority is executed.
  • the information processing device according to (2) or (3).
  • the data processing unit The information processing apparatus according to any one of (1) to (4), which reflects the user's intention and executes control for traveling without stopping a specific section.
  • the data processing unit The information processing device according to any one of (1) to (5), which executes control of traveling in the opposite lane by reflecting the user's intention.
  • the data processing unit Before the start of driving in the opposite lane, communication with an oncoming vehicle traveling in the opposite lane is executed, and a traveling priority adjustment process is executed between the own vehicle and the oncoming vehicle (1) to (6).
  • the data processing unit The user's intention confirmation process is executed, and when the user's intention is confirmed, the automatic operation control that reflects the confirmed user's intention is executed.
  • the information processing device according to any one of (1) to (7), which executes automatic operation control according to a predetermined rule when the user's intention is not confirmed.
  • the data processing unit The information processing device according to any one of (1) to (8), wherein the user's intention is confirmed by at least one of switch operation by the user, touch panel operation, voice, and gesture.
  • An environmental information acquisition unit that acquires environmental information of mobile devices, It has a data processing unit that executes automatic operation control,
  • the data processing unit A mobile device that determines a risk on a traveling road according to the environmental information acquired by the environmental information acquisition unit, further includes an input unit for inputting the user's intention, and executes automatic driving control that reflects the user's intention.
  • the data processing unit is The moving device according to (10), wherein the traveling priority adjustment process is executed between the own vehicle to be controlled by automatic driving and another vehicle different from the own vehicle based on the intention of the user.
  • the data processing unit The mobile device according to (11), which confirms the intention to transfer the driving priority to the user before executing the driving priority adjustment process.
  • the information processing device has a data processing unit that executes automatic operation control, and has a data processing unit.
  • the data processing unit An information processing method that inputs the user's intention and executes automatic driving control that reflects the user's intention.
  • the mobile device includes an environmental information acquisition unit that acquires environmental information and It has a data processing unit that executes automatic operation control,
  • the data processing unit An information processing method for determining a risk on a traveling road according to the environmental information acquired by the environmental information acquisition unit, inputting a user's intention, and executing automatic driving control reflecting the user's intention.
  • a program that executes information processing in an information processing device has a data processing unit that executes automatic operation control, and has a data processing unit.
  • the program is installed in the data processing unit.
  • the series of processes described in the specification can be executed by hardware, software, or a composite configuration of both.
  • executing processing by software install the program that records the processing sequence in the memory in the computer built in the dedicated hardware and execute it, or execute the program on a general-purpose computer that can execute various processing. It can be installed and run.
  • the program can be pre-recorded on a recording medium.
  • LAN Local Area Network
  • the various processes described in the specification are not only executed in chronological order according to the description, but may also be executed in parallel or individually depending on the processing capacity of the device that executes the processes or if necessary.
  • the system is a logical set configuration of a plurality of devices, and the devices having each configuration are not limited to those in the same housing.
  • a configuration is realized in which the user's intention is input and the automatic driving control that reflects the user's intention is executed.
  • the data processing unit that executes automatic driving control executes automatic driving control that reflects the user's intention by inputting the user's intention at any time even while driving in the automatic driving mode. ..
  • the data processing unit executes the adjustment process of the traveling priority between the own vehicle, which is the control target by the automatic driving, and another vehicle different from the own vehicle. Based on the driving environment analysis, the data processing unit determines whether or not there is a conflict between the own vehicle and another vehicle in the same driving section, and if it is determined that a conflict occurs, the data processing unit travels to the user. Confirm the intention to transfer the priority and execute the adjustment process.
  • a configuration is realized in which the user inputs the user's intention and executes the automatic driving control reflecting the user's intention without returning to the manual operation.
  • Input / output interface 506 ... Input section, 507 ... Output section, 508 ... Storage section, 509 ... Communication section, 510 ... Drive, 511 ... Removable media, 521 ... Sensor, 522 ... Drive unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

ユーザーの意思を入力し、ユーザーの意思を反映させた自動運転制御を実行する構成を実現する。自動運転制御を実行するデータ処理部が、ユーザーの意思を入力し、ユーザーの意思を反映させた自動運転制御を実行する。データ処理部は、自動運転による制御対象である自車両と、該自車両と異なる他車両との間で走行優先権の調整処理を実行する。データ処理部は、走行環境解析に基づいて、自車両と他車両との間で同一走行区間の競合が発生するか否かを判定し、競合が発生すると判定された場合、ユーザーに対して走行優先権の譲渡意思を確認して調整処理を実行する。

Description

情報処理装置、移動装置、および方法、並びにプログラム
 本開示は、情報処理装置、移動装置、および方法、並びにプログラムに関する。さらに詳細には、自動運転車両において、運転者等の利用者の意思を反映した自動運転制御を実行させることを可能した情報処理装置、移動装置、および方法、並びにプログラムに関する。
 昨今、自動運転に関する技術開発が盛んに行われている。
 自動運転技術は、車両(自動車)に備えられた位置検出手段等の様々なセンサを用いて、道路上を自動走行可能とする技術であり、今後、急速に普及することが予測される。
 自動運転では、様々なセンサを用いた環境の自立認識の他、ローカルダイナミックマップ(LDM:Local Dynamic Map)と呼ばれる高度な環境地図情報を利用して、自車の走行に必要な情報を把握し、自車の進むべき進路を計画、決定して車両の走行制御を行う。
 通常の自動運転制御では道路法規等のルールに従った制御を行うことを前提としている。すなわち、法規で定めたルールを逸脱した車両制御は基本的に実行されない。
 他方で、人がマニュアル運転(手動運転)で車両を制御して走行する場合、周囲環境の状況を視覚的に観察し、また経験記憶に基づいて、他車両に走行路を譲る等、走行優先権の譲渡を行う場合がある。このような場合、本来、走行禁止の領域に侵入するといった走行を行う場合もある。
 このように、手動運転を行う場合は、法規的なルールに必ずしもとらわれない車両制御が行われる場合がある。このような柔軟な制御により、例えば社会的インフラとしての道路環境で車両の無用な停車や停滞を防ぐことが可能となり、スムーズな車両走行、および社会活動が担保される。
 法規に従ったルールベースな制御は一見、効率的であるが、車両の走行環境を含めた周囲の全ての要因に応じた自由度を担保した方がさらに効率的でスムーズな道路利用が可能になる場合もある。
 例えば、狭い通りなどで、自動運転車両が対向車に遭遇した場合、車両を停止しても走行路を塞ぐことになり、結果として袋小路状態を発生させ車両の身動きが取れなくなる。
 手動運転車両の場合、このような状況を予見できる経験豊かな運転者なら、例えば、車両の通過を待機するなどの対応を行うことができる。
 このような対応を自動運転車両において自動的に実行させることは困難である。
 なお、このような事態を回避する制御構成を開示した従来技術として、例えば特許文献1(特開2018-189616号公報)がある。
 この文献は、自車両に向かって近づいて走行する相手車両の速度の推定処理を実行して自車両の移動経路を決定する構成を開示している。
 この従来技術は、自車両に向かって近づいて走行する相手車両に対する処理としては有効であるが、実際の道路走行中に発生する状況は様々であり、その全てにおいてこの定型的な制御は有効とならない。
特開2018-189616号公報
 本開示は、例えば、上述の問題点に鑑みてなされたものであり、自動運転制御システムを利用して走行する自動運転車両において、運転者等、ユーザーの意思を反映した自動運転制御を実行可能した情報処理装置、移動装置、および方法、並びにプログラムを提供することを目的とする。
 本開示の第1の側面は、
 自動運転制御を実行するデータ処理部を有し、
 前記データ処理部は、
 ユーザーの意思が入力される入力部を備え、ユーザーの意思を反映させた自動運転制御を実行する情報処理装置にある。
 さらに、本開示の第2の側面は、
 移動装置の環境情報を取得する環境情報取得部と、
 自動運転制御を実行するデータ処理部を有し、
 前記データ処理部は、
 前記環境情報取得部の取得した環境情報に従って走行路上のリスクを判定し、さらに、ユーザーの意思が入力される入力部を備え、ユーザーの意思を反映させた自動運転制御を実行する移動装置にある。
 さらに、本開示の第3の側面は、
 情報処理装置において実行する情報処理方法であり、
 前記情報処理装置は、自動運転制御を実行するデータ処理部を有し、
 前記データ処理部が、
 ユーザーの意思を入力し、ユーザーの意思を反映させた自動運転制御を実行する情報処理方法にある。
 さらに、本開示の第4の側面は、
 移動装置において実行する情報処理方法であり、
 前記移動装置は、環境情報を取得する環境情報取得部と、
 自動運転制御を実行するデータ処理部を有し、
 前記データ処理部が、
 前記環境情報取得部の取得した環境情報に従って走行路上のリスクを判定し、さらに、ユーザーの意思を入力し、ユーザーの意思を反映させた自動運転制御を実行する情報処理方法にある。
 さらに、本開示の第5の側面は、
 情報処理装置において情報処理を実行させるプログラムであり、
 前記情報処理装置は、自動運転制御を実行するデータ処理部を有し、
 前記プログラムは、前記データ処理部に、
 ユーザーの意思を入力し、ユーザーの意思を反映させた自動運転制御を実行させるプログラムにある。
 なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
 本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
 本開示の一実施例の構成によれば、ユーザーの意思を入力し、ユーザーの意思を反映させた自動運転制御を実行する構成が実現される。
 具体的には、例えば、自動運転制御を実行するデータ処理部が、ユーザーの意思を入力し、ユーザーの意思を反映させた自動運転制御を実行する。データ処理部は、自動運転による制御対象である自車両と、該自車両と異なる他車両との間で走行優先権の調整処理を実行する。データ処理部は、走行環境解析に基づいて、自車両と他車両との間で同一走行区間の競合が発生するか否かを判定し、競合が発生すると判定された場合、ユーザーに対して走行優先権の譲渡意思を確認して調整処理を実行する。
 本構成により、ユーザーの意思を入力し、ユーザーの意思を反映させた自動運転制御を実行する構成が実現される。
 なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
本開示の移動装置の一構成例について説明する図である。 本開示の移動装置の表示部に表示されるデータの一例について説明する図である。 本開示の移動装置の表示部に表示されるデータの一例について説明する図である。 本開示の移動装置の構成例について説明する図である。 本開示の移動装置の構成例について説明する図である。 本開示の移動装置のセンサ構成例について説明する図である。 本開示の移動装置が実行する運転者意思を反映した自動運転制御を行う状況の一例について説明する図である。 本開示の移動装置が実行する運転者意思を反映した自動運転制御を行うための運転者意思を入力するUI例について説明する図である。 運転者意思を反映した自動運転制御を行う際の処理シーケンスの一例について説明するフローチャートを示す図である。 本開示の移動装置が実行する運転者意思を反映した自動運転制御を行う状況の一例について説明する図である。 本開示の移動装置が実行する運転者意思を反映した自動運転制御を行うための運転者意思を入力するUI例について説明する図である。 本開示の移動装置が実行する運転者意思を反映した自動運転制御を行う状況の一例について説明する図である。 本開示の移動装置が実行する運転者意思を反映した自動運転制御を行うための運転者意思を入力するUI例について説明する図である。 運転者意思を反映した自動運転制御を行う際の処理シーケンスの一例について説明するフローチャートを示す図である。 運転者意思を反映した自動運転制御を行う際の処理シーケンスの一例について説明するフローチャートを示す図である。 情報処理装置のハードウェア構成例について説明する図である。
 以下、図面を参照しながら本開示の情報処理装置、移動装置、および方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
 1.移動装置と情報処理装置の構成と処理の概要について
 2.移動装置の具体的な構成と処理例について
 3.運転者の意思を反映させた自動運転制御の必要性について
 4運転者の意思を反映させた自動運転制御の具体例について
 4-1(実施例1)自動運転車両が通行中の道路に対する侵入車両発生時の走行制御例
 4-2(実施例2)既存交通ルールに対する柔軟な対応を行う制御例
 4-3(実施例3)渋滞等のリスクを回避する柔軟な対応を行う制御例
 5.本開示の移動装置、情報処理装置が実行する処理のシーケンスについて
 6.情報処理装置の構成例について
 7.本開示の構成のまとめ
  [1.移動装置と情報処理装置の構成と処理の概要について]
 まず、図1以下を参照して、移動装置と情報処理装置の構成と処理の概要について説明する。
 本開示の移動装置は、例えば、自動運転と手動運転を切り替えて走行することが可能な自動車である。
 図1は、本開示の移動装置の一例である自動車10の一構成例を示す図である。自動車10に本開示の情報処理装置が装着されている。
 図1に示す自動車10は、手動運転モードと、自動運転モードの2つの運転モードによる運転が可能な自動車である。
 手動運転モードは、運転者(ドライバ)20の操作、すなわちハンドル(ステアリング)操作や、アクセル、ブレーキ等の操作に基づく走行が行われる。
 一方、自動運転モードでは、運転者(ドライバ)20による操作が不要であり、例えば位置センサや、その他の周囲情報検出センサ等のセンサ情報に基づく運転が行われる。
 位置センサは、例えばGPS受信機等であり、周囲情報検出センサは、例えば、カメラ、超音波センサ、レーダ、LiDAR(Laser Imaging Detection and Ranging)、ソナー等である。
 なお、図1は、本開示の概要を説明する図であり主要な構成要素を概略的に示している。詳細構成については後段で説明する。
 図1に示すように、自動車10は、データ処理部11、運転者情報取得部12、環境情報取得部13、通信部14、通知部15を有する。
 運転者情報取得部12は、例えば、運転者の覚醒度を判定するための情報、運転者の操作情報等を取得する。具体的には、例えば、運転者の顔画像を撮影するカメラ、各操作部(ハンドル、アクセル、ブレーキ等)の操作情報取得部等によって構成される。
 環境情報取得部13は、自動車10の走行環境情報を取得する。例えば、自動車の前後左右の画像情報、GPSによる位置情報、LiDAR(Laser Imaging Detection and Ranging)、ソナー等からの周囲の障害物情報等である。
 データ処理部11は、運転者情報取得部12の取得した運転者情報や、環境情報取得部13の取得した環境情報を入力し、自動運転中の車内の運転者が安全な手動運転が実行可能な状態にあるか否か、さらに手動運転中の運転者が安全な運転を実行しているか否か等を示す安全性指標値を算出する。
 また、例えば、自動運転モードから手動運転モードへの切り替えの必要が発生した場合に、手動運転モードへの切り替えを行うように、通知部15を介して通知する処理を実行する。
 さらに、データ処理部11は、自動運転モードで自動運転を実行中に、運転者20の意思を反映した運転を実行するか否かの問い合わせを行い、運転者の入力に応じて、運転者の意思を反映した走行制御や、他の車両との通信による調整処理(ネゴシエーション)等を実行する。
 これらの具体的な処理例については後段で詳細に説明する。
 通知部15は、運転者に対する様々な通知を行う表示部、音声出力部、あるいはハンドルやシートのバイブレータによって構成される、
 通知部15を構成する表示部に対する通知の例を図2、図3に示す。
 図2は、自動運転中に手動運転への切り替えを要請する通知の例である。
 図2に示すように、表示部30には、以下の各表示がなされる。
 運転モード情報=「自動運転中」、
 警告表示=「手動運転に切り替えてください」
 運転モード情報の表示領域には、自動運転モードの実行時は「自動運転中」の表示が行われ、手動運転モードの実行時は「手動運転中」の表示が行われる。
 図3は、自動運転中に運転者の意思による制御を実行するか否かを運転者に問い合わせする際の通知の例である。
 図3に示すように、表示部30には、以下の各表示がなされる。
 運転モード情報=「自動運転中」、
 問い合わせ表示=「意思入力を行いますか」
 この表示がなされた場合、ユーザー(例えば運転者20)がYesを入力すると、データ処理部11は、ユーザーの意思の入力を待機し、入力されたユーザーの意思に応じた走行制御や他車間との通信によるネゴシエーション等を開始する。
 ユーザーの意思入力は、スイッチやボタン等を利用した入力の他、マイクを介する音声入力や、表示部に備えられたタッチパネルを利用した入力、あるいはジェスチャによる入力等によって実行することが可能である。
 ジェスチャによる入力の場合は、カメラによって撮影されたジェスチャをデータ処理部11が解析してユーザー意思を判断する。
 スイッチやボタンは従来の意思検出技術であるが、最新の音声認識やその認識解釈に人工知能と組み合わせ、より高度な文章化した運転者意思の意思解釈を行って自動運転の制御に反映してもよい。極端な例であるが、旅程の設定後に自動走行制御中のシステムに対し、利用者が例えば「外の景色がきれいなのでもっとゆっくり走って」、「前から侵入する車に先を譲って」、「安全なので止まらずにそのまま進んで」、「危険なので減速して」、「ライチョウが見えるので車を止めて」、「先導車の通過を待ってから後追い追従走行をして」などの高度な協調型介入を自動運転制御システムに対して行ってもよい。
 なお、図1に示すように、自動車10は通信部14を介してサーバ30と通信可能な構成を持つ。
 サーバ30は、リアルタイムの渋滞情報や事故情報等を含むように逐次更新する高度な環境地図情報であるローカルダイナミックマップ(LDM:Local Dynamic Map)の提供処理や、その他の交通情報の提供処理等を行う。
  [2.移動装置の具体的な構成と処理例について]
 次に、図4以下を参照して、本開示の移動装置の具体的な構成と処理例について説明する。
 図4は、移動装置100の構成例を示している。なお、以下、移動装置100が設けられている車両を他の車両と区別する場合、自車または自車両と称する。
 移動装置100は、入力部101、データ取得部102、通信部103、車内機器104、出力制御部105、出力部106、駆動系制御部107、駆動系システム108、ボディ系制御部109、ボディ系システム110、記憶部111、および、自動運転制御部112を備える。
 入力部101、データ取得部102、通信部103、出力制御部105、駆動系制御部107、ボディ系制御部109、記憶部111、および、自動運転制御部112は、通信ネットワーク121を介して、相互に接続されている。通信ネットワーク121は、例えば、CAN(Controller Area Network)、LIN(Local Interconnect Network)、LAN(Local Area Network)、または、FlexRay(登録商標)等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、移動装置100の各部は、通信ネットワーク121を介さずに、直接接続される場合もある。
 なお、以下、移動装置100の各部が、通信ネットワーク121を介して通信を行う場合、通信ネットワーク121の記載を省略するものとする。例えば、入力部101と自動運転制御部112が、通信ネットワーク121を介して通信を行う場合、単に入力部101と自動運転制御部112が通信を行うと記載する。
 入力部101は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部101は、タッチパネル、ボタン、マイクロフォン、スイッチ、および、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部101は、赤外線もしくはその他の電波を利用したリモートコントロール装置、または、移動装置100の操作に対応したモバイル機器もしくはウェアラブル機器等の外部接続機器であってもよい。入力部101は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、移動装置100の各部に供給する。
 データ取得部102は、移動装置100の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、移動装置100の各部に供給する。
 例えば、データ取得部102は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、ジャイロセンサ、加速度センサ、慣性計測装置(IMU)、および、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、もしくは、車輪の回転速度等を検出するためのセンサ等を備える。
 また、例えば、データ取得部102は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、および、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部102は、天候または気象等を検出するための環境センサ、および、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、LiDAR(Laser Imaging Detection and Ranging)、ソナー等からなる。
 例えば、図5は、自車の外部情報を検出するための各種のセンサの設置例を示している。撮像装置7910,7912,7914,7916,7918は、例えば、車両7900のフロントノーズ、サイドミラー、リアバンパ、バックドアおよび車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。
 フロントノーズに備えられる撮像装置7910および車室内のフロントガラスの上部に備えられる撮像装置7918は、主として車両7900の前方の画像を取得する。サイドミラーに備えられる撮像装置7912,7914は、主として車両7900の側方の画像を取得する。リアバンパまたはバックドアに備えられる撮像装置7916は、主として車両7900の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像装置7918は、主として先行車両または、歩行者、障害物、信号機、交通標識または車線等の検出に用いられる。また、今後自動運転においては車両の右左折の際により広域範囲にある右左折先道路の横断歩行者やさらには横断路接近物範囲まで拡張利用をしてもよい。
 なお、図5には、それぞれの撮像装置7910,7912,7914,7916の撮影範囲の一例が示されている。撮像範囲aは、フロントノーズに設けられた撮像装置7910の撮像範囲を示し、撮像範囲b,cは、それぞれサイドミラーに設けられた撮像装置7912,7914の撮像範囲を示し、撮像範囲dは、リアバンパまたはバックドアに設けられた撮像装置7916の撮像範囲を示す。例えば、撮像装置7910,7912,7914,7916で撮像された画像データが重ね合わせられることにより、車両7900を上方から見た俯瞰画像、さらには車両周辺部を湾曲平面で囲う全周囲立体表示画像などが得られる。
 車両7900のフロント、リア、サイド、コーナおよび車室内のフロントガラスの上部に設けられるセンサ7920,7922,7924,7926,7928,7930は、例えば超音波センサまたはレーダであってよい。車両7900のフロントノーズ、リアバンパ、バックドアおよび車室内のフロントガラスの上部に設けられるセンサ7920,7926,7930は、例えばLiDARであってよい。これらのセンサ7920~7930は、主として先行車両、歩行者または障害物等の検出に用いられる。これら検出結果は、さらに前記俯瞰表示や全周囲立体表示の立体物表示改善に適用をしてもよい。
 図4に戻って各構成要素の説明を続ける。データ取得部102は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、GNSS(Global Navigation Satellite System)衛星からのGNSS信号を受信するGNSS受信機等を備える。
 また、例えば、データ取得部102は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、および、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面またはステアリングホイール等に設けられ、座席に座っている搭乗者の着座状態またはステアリングホイールを握っている運転者の生体情報を検出する。生体信号としては心拍数、脈拍数、血流、呼吸、心身相関、視覚刺激、脳波、発汗状態、頭部姿勢挙動、眼、注視、瞬き、サッカード、マイクロサッカード、固視、ドリフト、凝視、虹彩の瞳孔反応など多様化可観測データが利用可能である。これら、可観測の運転状態を反映した生体活動可観測情報は、観測から推定される可観測評価値として集約し評価値のログと紐付けたられた復帰遅延時間特性から該当運転者の復帰遅延事案の固有特性として後述する安全性判別部155で復帰通知タイミングの算出に用いる。
 図6は、データ取得部102に含まれる車内の運転者の情報を得るための各種センサの例を示している。例えば、データ取得部102は、運転者の位置、姿勢を検出するための検出器として、ToFカメラ、ステレオカメラ、シート・ストレイン・ゲージ(Seat Strain Gauge)等を備える。また、データ取得部102は、運転者の生体活動可観測情報を得るための検出器として、顔認識器(Face(Head) Recognition)、ドライバ・アイ・トラッカー(Driver Eye Tracker)、ドライバー・ヘッド・トラッカー(Driver Head Tracker)等を備える。
 また、データ取得部102は、運転者の生体活動可観測情報を得るための検出器として、生体信号(Vital Signal)検出器を備えている。また、データ取得部102は、運転者認証(Driver Identification)部を備えている。なお、認証方式としては、パスワードや暗証番号などによる知識認証他、顔、指紋、瞳の虹彩、声紋などによる生体認証も考えらえる。
 通信部103は、車内機器104、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、移動装置100の各部から供給されるデータを送信したり、受信したデータを移動装置100の各部に供給したりする。なお、通信部103がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部103が、複数の種類の通信プロトコルをサポートすることも可能である
 例えば、通信部103は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)、または、WUSB(Wireless USB)等により、車内機器104と無線通信を行う。また、例えば、通信部103は、図示しない接続端子(および、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Multimedia Interface)、または、MHL(Mobile High-definition Link)等により、車内機器104と有線通信を行う。
 さらに、例えば、通信部103は、基地局またはアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワークまたは事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバまたは制御サーバ)との通信を行う。また、例えば、通信部103は、P2P(Peer To Peer)技術を用いて、自車の近傍に存在する端末(例えば、歩行者もしくは店舗の端末、または、MTC(Machine Type Communication)端末)との通信を行う。
 さらに、例えば、通信部103は、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、自車と家との間(Vehicle to Home)の通信、および、歩車間(Vehicle to Pedestrian)通信等のV2X通信を行う。また、例えば、通信部103は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制または所要時間等の情報を取得する。なお、通信部を通して先導車両となり得る区間走行中前方走行車両とペアリングを行い、前方車搭載のデータ取得部より取得された情報を事前走行間情報として取得し、自車のデータ取得部102のデータと補完利用をしてもよく、特に先導車による隊列走行などで後続隊列のより安全性を確保する手段となる。
 車内機器104は、例えば、搭乗者が有するモバイル機器(タブレット、スマートフォンなど)もしくはウェアラブル機器、自車に搬入され、もしくは取り付けられる情報機器、および、任意の目的地までの経路探索を行うナビゲーション装置等を含む。なお、自動運転の普及でかならずしも乗員は着座固定位置に固定されないことを考慮すれば、将来的にはビデオ再生器やゲーム機器やその他車両設置から着脱利用が可能な機器に拡張利用してもよい。本実施例では、運転者の介在必要地点の情報呈示を該当する運転者に限定した例をして記述をしているが、情報提供はさらに隊列走行等で後続車への情報提供をしてもよいし、更には旅客輸送相乗りバスや長距離物流商用車の運行管理センターに常時情報を上げる事で、適宜遠隔での走行支援と組み合せ利用をしてもよい。
 出力制御部105は、自車の搭乗者または車外に対する各種の情報の出力を制御する。例えば、出力制御部105は、視覚情報(例えば、画像データ)および聴覚情報(例えば、音声データ)のうちの少なくとも1つを含む出力信号を生成し、出力部106に供給することにより、出力部106からの視覚情報および聴覚情報の出力を制御する。具体的には、例えば、出力制御部105は、データ取得部102の異なる撮像装置により撮像された画像データを合成して、俯瞰画像またはパノラマ画像等を生成し、生成した画像を含む出力信号を出力部106に供給する。また、例えば、出力制御部105は、衝突、接触、危険地帯への進入等の危険に対する警告音または警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部106に供給する。
 出力部106は、自車の搭乗者または車外に対して、視覚情報または聴覚情報を出力することが可能な装置を備える。例えば、出力部106は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部106が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、AR(Augmented Reality)表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
 駆動系制御部107は、各種の制御信号を生成し、駆動系システム108に供給することにより、駆動系システム108の制御を行う。また、駆動系制御部107は、必要に応じて、駆動系システム108以外の各部に制御信号を供給し、駆動系システム108の制御状態の通知等を行う。
 駆動系システム108は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム108は、内燃機関または駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ABS(Antilock Brake System)、ESC(Electronic Stability Control)、並びに、電動パワーステアリング装置等を備える。
 ボディ系制御部109は、各種の制御信号を生成し、ボディ系システム110に供給することにより、ボディ系システム110の制御を行う。また、ボディ系制御部109は、必要に応じて、ボディ系システム110以外の各部に制御信号を供給し、ボディ系システム110の制御状態の通知等を行う。
 ボディ系システム110は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム110は、キーレスエントリシステム、スマートキーシステム、パワーウインドウ装置、パワーシート、ステアリングホイール、空調装置、および、各種ランプ(例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー、フォグランプ等)等を備える。
 記憶部111は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、および、光磁気記憶デバイス等を備える。記憶部111は、移動装置100の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部111は、ダイナミックマップ等の3次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、および、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。
 自動運転制御部112は、自律走行または運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部112は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、または、自車のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部112は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部112は、検出部131、自己位置推定部132、状況分析部133、計画部134、および、動作制御部135を備える。
 検出部131は、自動運転の制御に必要な各種の情報の検出を行う。検出部131は、車外情報検出部141、車内情報検出部142、および、車両状態検出部143を備える。
 車外情報検出部141は、移動装置100の各部からのデータまたは信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部141は、自車の周囲の物体の検出処理、認識処理、および、追跡処理、並びに、物体までの距離、相対速度の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。
 また、例えば、車外情報検出部141は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、および、路面の状態等が含まれる。車外情報検出部141は、検出処理の結果を示すデータを自己位置推定部132、状況分析部133のマップ解析部151、交通ルール認識部152、および、状況認識部153、並びに、動作制御部135の緊急事態回避部171等に供給する。
 車外情報検出部141が取得する情報は、走行区間が重点的に自動運転の走行が可能な区間として常時更新されたローカルダイナミックマップがインフラより供給された区間であれば、主にインフラによる情報供給を受ける事が可能となり、または該当区間を先行走行する車両や車両群より区間侵入に先立ち事前に常に情報更新を受けて走行をすることがあってもよい。また、インフラより常時最新のローカルダイナミックマップの更新が行われていない場合など、取り分け隊列走行などでより安全な侵入区間直前での道路情報を得る目的で、区間侵入先導車両から得られる道路環境情報を補完的にさらに利用しても良い。自動運転が可能である区間であるかは多くの場合、これらインフラより提供される事前情報の有無により決まる。インフラより提供されるルート上の自動運転走行可否情報はいわゆる「情報」としてあたかも見えない軌道を提供していることに等しい。なお、便宜上車外情報検出部141は自車両に搭載した前提で図示をしているが、前走車が「情報」としてとらえた情報を利用する事で、走行時の事前予測性を更に高めても良い。
 車内情報検出部142は、移動装置100の各部からのデータまたは信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部142は、運転者の認証処理および認識処理、運転者の状態の検出処理、搭乗者の検出処理、および、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向、眼球詳細挙動等が含まれる。
 さらに、自動運転において運転者は運転操舵作業から完全に離脱した利用が将来的に想定され、運転者は一時的な居眠りや他の作業に取り掛かり、運転復帰に必要な意識の覚醒復帰がどこまで進んでいるかシステムが把握する必要が出てくる。つまり、従来考えられていたドライバモニタリングシステムでは眠気などの意識低下を見る検出手段が主であったが、今後は運転者が運転操舵に全く介在していない状態となるため、システムは運転者の運転介在度合いを操舵機器の操舵安定性等から直接的に観測する手段がなくなり、運転者の正確な意識状態が未知の状態から、運転に必要は意識復帰推移を観測し、その正確な運転者の内部覚醒状態を把握した上で操舵の自動運転から手動運転への介入譲渡を進める必要がある。
 そこで、車内情報検出部142には主に大きな2段階の役割があり、一つ目の役割は自動運転中の運転者の状態のパッシブ監視であり、二つ目の役割はいざシステムより復帰の要請が出された以降、注意下運転の区間到達までに手動運転が可能なレベルまで、運転者の周辺認知、知覚、判断とさらには操舵機器の作動能力の検出判断である。制御として更に車両全体の故障自己診断を行い、その自動運転の一部機能故障で自動運転の機能低下が発生した場合も同様に運転者による早期手動運転への復帰をうながしても良い。ここでいうパッシブモニタリングとは、運転者に意識上の応答反応を求めない種類の検出手段をさし、物理的な電波や光等を機器から発信して応答信号を検出する物を除外するものではない。つまり、仮眠中など無意識下の運転者の状態モニタリングを指し、運転者の認知応答反応でない分類をパッシブ方式としている。電波や赤外線等を照射した反射や拡散信号を解析して評価するアクティブ応答デバイスを除外するものではない。反して、運転者に応答反応を求める意識的応答を求める物はアクティブとしている。
 検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部142は、検出処理の結果を示すデータを状況分析部133の状況認識部153、および、動作制御部135に供給する。なお、システムによる運転者へ運転復帰指示が出た後に運転者が的確な期限時間内に手動運転が達成できない事が判明し、自運転のまま減速制御を行って時間猶予をおこなっても引継ぎが間に合わないと判断された場合は、システムの緊急事態回避部171等に指示を出し、車両を退避の為に減速、退避・停車手順を開始する。つまり、初期状態として同じ間に合わない状況でも、車両を早期に減速を開始する事で引継ぎ限界に到達する到達時間を稼ぎだすことができる。
 車両状態検出部143は、移動装置100の各部からのデータまたは信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無および内容、運転操作の状態、パワーシートの位置および傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部143は、検出処理の結果を示すデータを状況分析部133の状況認識部153、および、動作制御部135の緊急事態回避部171等に供給する。
 自己位置推定部132は、車外情報検出部141、および、状況分析部133の状況認識部153等の移動装置100の各部からのデータまたは信号に基づいて、自車の位置および姿勢等の推定処理を行う。また、自己位置推定部132は、必要に応じて、自己位置の推定に用いるローカルマップ(以下、自己位置推定用マップと称する)を生成する。
 自己位置推定用マップは、例えば、SLAM(Simultaneous Localization and Mapping)等の技術を用いた高精度なマップとされる。自己位置推定部132は、推定処理の結果を示すデータを状況分析部133のマップ解析部151、交通ルール認識部152、および、状況認識部153等に供給する。また、自己位置推定部132は、自己位置推定用マップを記憶部111に記憶させる。
 状況分析部133は、自車および周囲の状況の分析処理を行う。状況分析部133は、マップ解析部151、交通ルール認識部152、状況認識部153、状況予測部154および安全性判別部155を備える。
 マップ解析部151は、自己位置推定部132および車外情報検出部141等の移動装置100の各部からのデータまたは信号を必要に応じて用いながら、記憶部111に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部151は、構築したマップを、交通ルール認識部152、状況認識部153、状況予測部154、並びに、計画部134のルート計画部161、行動計画部162、および、動作計画部163等に供給する。
 交通ルール認識部152は、自己位置推定部132、車外情報検出部141、および、マップ解析部151等の移動装置100の各部からのデータまたは信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置および状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部152は、認識処理の結果を示すデータを状況予測部154等に供給する。
 状況認識部153は、自己位置推定部132、車外情報検出部141、車内情報検出部142、車両状態検出部143、および、マップ解析部151等の移動装置100の各部からのデータまたは信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部153は、自車の状況、自車の周囲の状況、および、自車の運転者の状況等の認識処理を行う。また、状況認識部153は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ(以下、状況認識用マップと称する)を生成する。状況認識用マップは、例えば、占有格子地図(Occupancy Grid Map)とされる。
 認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き(例えば、速度、加速度、移動方向等)、並びに、自車の運動特性を決定付ける貨物積載量や貨物積載に伴う車体の重心移動、タイヤ圧、ブレーキ制動パッド摩耗状況に伴う制動距離移動、積載物制動に引き起こす貨物移動防止の許容最大減速制動、液体搭載物に伴うカーブ走行時の遠心緩和限界速度など車両特有、更には積載貨物特有条件とさらには路面の摩擦係数や道路カーブや勾配など、全く同じ道路環境であっても車両自体の特性、さらには積載物等によっても制御に求められる復帰開始タイミングは異なるため、それら多様な条件の収集を行い学習して制御を行う最適タイミングに反映する必要がある。車両の種類や積載物によって制御タイミングを決定する上で単純に自車両の異常の有無および内容等を観測モニタリングすれば良い内容ではない。運送輸送業などで、積載物固有の特性に応じて一定の安全性を確保する為に望ましい復帰の猶予時間の加算を決めるパラメータを予め固定値として設定をしてもよく、必ずしも全ての通知タイミング決定条件を自己累積学習より一律に定める方法をとらなくともよい。
 認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類および位置、周囲の動物体の種類、位置および動き(例えば、速度、加速度、移動方向等)、周囲の道路の構成および路面の状態、並びに、周囲の天候、気温、湿度、および、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。車両を安全に走行させるという事は、その車両の固有の状態で搭載している積載量や搭載部の車台固定状態、重心の偏重状態、最大減速可能加速値、最大負荷可能遠心力、運転者の状態に応じて復帰応答遅延量などに応じて、対処が求められる制御開始ポイントが大きく異なってくる。
 状況認識部153は、認識処理の結果を示すデータ(必要に応じて、状況認識用マップを含む)を自己位置推定部132および状況予測部154等に供給する。また、状況認識部153は、状況認識用マップを記憶部111に記憶させる。
 状況予測部154は、マップ解析部151、交通ルール認識部152および状況認識部153等の移動装置100の各部からのデータまたは信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部154は、自車の状況、自車の周囲の状況、および、運転者の状況等の予測処理を行う。
 予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、および、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、および、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動および体調等が含まれる。
 状況予測部154は、予測処理の結果を示すデータを、交通ルール認識部152および状況認識部153からのデータとともに、計画部134のルート計画部161、行動計画部162、および、動作計画部163等に供給する。
 安全性判別部155は、運転者の復帰行動パターンや車両特性等に応じた最適復帰タイミングを学習し、その学習情報を状況認識部153等に提供する。これにより、例えば、既定された一定以上の割合で運転者が正常に自動運転から手動運転に復帰するのに要する統計的に求められた最適タイミングを運転者へ提示することが可能となる。
 ルート計画部161は、マップ解析部151および状況予測部154等の移動装置100の各部からのデータまたは信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部161は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部161は、渋滞、事故、通行規制、工事等の状況、および、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部161は、計画したルートを示すデータを行動計画部162等に供給する。
 行動計画部162は、マップ解析部151および状況予測部154等の移動装置100の各部からのデータまたは信号に基づいて、ルート計画部161により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部162は、発進、停止、進行方向(例えば、前進、後退、左折、右折、方向転換等)、走行車線、走行速度、および、追い越し等の計画を行う。行動計画部162は、計画した自車の行動を示すデータを動作計画部163等に供給する
 動作計画部163は、マップ解析部151および状況予測部154等の移動装置100の各部からのデータまたは信号に基づいて、行動計画部162により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部163は、加速、減速、および、走行軌道等の計画を行う。動作計画部163は、計画した自車の動作を示すデータを、動作制御部135の加減速制御部172および方向制御部173等に供給する。
 動作制御部135は、自車の動作の制御を行う。動作制御部135は、緊急事態回避部171、加減速制御部172、および、方向制御部173を備える。
 緊急事態回避部171は、車外情報検出部141、車内情報検出部142、および、車両状態検出部143の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部171は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部171は、計画した自車の動作を示すデータを加減速制御部172および方向制御部173等に供給する。
 加減速制御部172は、動作計画部163または緊急事態回避部171により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部172は、計画された加速、減速、または、急停車を実現するための駆動力発生装置または制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部107に供給する。なお、緊急事態が発生し得るケースは主に2つある。つまり、自動運転中の走行ルートで本来ならインフラより取得したローカルダイナミックマップ等で安全とされていた道路を自動運転中に突発的な理由で予想外の事故が発生し、緊急復帰が間に合わないケースと、自動運転から手動運転に運転者が的確に復帰することが困難になるケースがある。
 方向制御部173は、動作計画部163または緊急事態回避部171により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部173は、動作計画部163または緊急事態回避部171により計画された走行軌道または急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部107に供給する。
  [3.運転者の意思を反映させた自動運転制御の必要性について]
 本開示は、自動運転車両に対して、運転者の意思を反映した制御を実行可能とするものである。
 本開示の情報処理装置や移動装置は、例えば自動運転制御システムがユーザー(運転者)の意思を確認し、ユーザーの意思に従った走行制御を行う。また、対向車等、外部から規定の交通ルールと異なる優先走行等の要求を受信した場合にも、運転者の意思を確認する。さらに、自動運転制御システムは、運転者の意思を確認した上で、通常の走行ルートとは異なるルートへの侵入や、走行、停止等の走行制御を行う。
 まず、以下では、運転者の意思を反映させた自動運転制御の必要性について説明する。
 車両が自動運転可能な車両であっても、運転者の意思を反映した制御を可能とすることは、柔軟な走行制御を行うために必要である。
 運転者が手動運転で車を走行させる場合、運転者は、随時、多様な判断を行っている。一方、人が運転に介在しない完全な自動運転の実現を目指して、多様な状況で車両が安全に自動走行可能とする高度な判断能力を持つAI(人工知能)を利用した自動運転制御システムの開発が進められている。
 自動運転車両と相互作用する周囲のオブジェクトは、歩行者、他の車両など多種多様であり、その各々に対して正しい判断を行うことが求められる。
 一方、社会として自動運転が世の中で広く普及した時のヒトの行動心理の変化という視点で技術の開発を見ておく必要がある。今後の自動運転技術の開発においては、運転者や他の道路利用者の行動心理に基づいた制御のみではなく、将来の自動運転車両の普及に伴って変化し得る将来のヒトの行動心理も考慮することが必要である。
 自動運転車両が一般的なものになれば、周囲のヒトの行動心理も変化することが予想される。
 今日までの長い進化の過程で変化し続けているヒトの、その人としての行動心理に着目すると、社会情勢を含めた多様なリスクバランスの中で様々な判断が日常なされ、無意識の中で人の行動心理が形成されていることが分かる。人を含め、生命は長い進化過程を通し一定のリスクを負うことで、今日まで生命を引き継いできている。生命は基本的には世代をまたぎ生存のリスクを常に自選することで、餌に辿り着いたり餌食になるのを避けたりして生命を様々な形で維持し、そのリスクを負うことで進化した生きながらえてきた。
 つまり、今日のヒトは必ずしも生命維持のリスクをとる行動心理に全てが直結しなくとも、無意識のうちに日常で生を引き継ぐリスク判断を繰り返し行っている。なお、人の特異な行動は、人々の文化・モラルといった地域の特性であることもある。
 人の行うリスク判断は、群れや社会としてのより多くの仕組みも形成し、リスクの選択の中で継続的な発展進化を遂げている。言い換えると、一定のリスクを追わなければ生命の営みは維持できないのである。少なくとも、先天的にリスクを負ってでも何かを行動に移す生まれつき行動特性となっている。リスクを伴う変化は、思考をすること以前に生命に備わる基本的な仕組みである。
 つまり、社会における人の行動様式は、(機械の振る舞いを含め)他者との関わりの中でリスクバランスがその重要な要素となる。すなわちリスク回避という行動原理がスムーズな社会を形成していると言える。
 リスクを考慮しなくてよい設定は、大きな問題を発生させる可能性がある。
 例えば、自動運転車両が絶対に周囲の生命体に危険を及ぼすことが無いと判断されてしまうと、自動運転車両の前に飛び出す人、居座る人が発生し、人に限らず猫も犬も家畜も自動運転車両の接近にお構いなく進路妨害をすることも予測される。
 また、自動運転車両の運転者も自動運転や半自動運転の車両を利用することでリスクが低減されるが、その車両の機能により担保された安全性に対し他のリスクを負っても一定の安全性が担保されると思い込み、自動運転を利用した大胆な走行を行ってしまう危険性もある。
 その結果、その進化の象徴であるヒトの行動心理にも大きな変化をもたらす可能性がある。ヒトが運転する手動運転車両は、基本的には、運転者によって交通ルールに従って制御されるが、一方、交通ルールに絶対に従うわけではなく、自身の最善な行動をリスクバランスの中で瞬時に判断して、行動を決定する。
 このヒトの行動のリスクバランスに基づく行動判断の結果、仮に自動運転車両の制御で他の道路利用者である対向車量や歩行者等との相互作用、例えば衝突の可能性等が生じた際、全ての責任を自動運転車両が担うシステムに設定したとする。その前提で自動運転車両を社会に導入すると、ヒトは、どのような状況でも全ての責任を自動運転車両に負わせることができると考えることになる。
 結果として、これまでの人が有していたリスクバランスが崩れ、手動運転車両や歩行者などの道路利用者は、罰則などのリスクを負わない限り、自動運転車両の進路を平気で妨害するといった行動をとる可能性がある。もちろん、強引な割り込み等を行えば2次的な被害を及ぼす可能性があり、この場合には刑罰等の罰則が適用される可能性はあるが、その罰則の影響が瞬時の行動判断に直結する可能性が低く、自動運転車両に対する妨害行為の抑制には効果が薄いと予測される。
 ただし、自動運転車両の進路を妨害した場合に、従来の手動運転車両と同等の危害が発生する可能性があるとのリスク判断があれば、妨害行為は控えようとする行動心理が働くことが期待される。
 接近する全ての自動運転車両が事故の予防を最優先として車両制御を行うものと認識されると、周囲の手動運転車両や人は、該当車両に対して急激な割り込みや、自動運転車両の前に飛び出すなどの行為が発生する可能性が高くなる。ヒトはリスクが減ったと考えると、一定の新たなリスクと伴う行動をとる。これは、進化生存の過程でリスクを負う行動を選択することが生存の上で不可避な特性であり、探究心や好奇心の根源でもあるからである。
 道路利用環境でのリスクバランスの形成の例として例えば以下のようなものがある。
 高速運転を行う運転者は、自身の感覚的に感じる危険意識と、速度違反をした場合の罰則を課せられるリスクを感じ、このリスクの大きさに従って走行速度を抑制する。
 運転者が感覚的に危険と判断する要因は道路形状、天候による視界のクリアランス、積雪などの路面状況、周辺並走車両の接近状況など多様なリスクを無意識のうちに判断し、自身の走行速度や車間距離等を決めている。
 自動運転車両にも、このような手動運転と同様のリスクバランスを持つ制御を行わせることを可能とすれば、周囲の手動運転車両や人も急激な割り込みや、自動運転車両の前に飛び出すなどの行為を控えることが期待される。これら問題が起こり得ることは必ずしも自明ではないものの、社会的課題に発展してからの対策を待つのではなく、予防的な自動運転の設計をすることも重要であり、本開示は自動運転と他の道路環境利用者の協調型制御に必要な技術である。
 自動運転車両であっても使用者の意思を反映させた制御を適宜、実行すれば、一定の割合でヒトが車両の運行に関わることになる。
 具体的には、例えば、複数の車両が同じ区間を通過する際、走行の優先順位の調整や譲渡を行うといった処理も可能となる。すなわち、リスクバランスを考慮したネゴシエーションが実現し得る。
 このような処理を効率的に迅速に行うためには、自動運転制御に対する人の意思反映を効率的に実行可能とするシステムが必要である。すなわち、面倒な手動運転へ完全に復帰させることなく自動運転を継続したまま人の意思を反映させるためのインタフェース(HMI:Human Machine Interface)が必要である。ここで「手動運転へ完全に復帰」とは、従来の手動運転車両で運転席に着座した正常な手動運転を想定している。
 自動運転車両において利用者である運転者の意思を反映した自動運転制御がスムーズに実行され自動運転制御システムと運転者とのシームレスな協調制御が実行されると、例えば以下のような処理も可能となる。
 例えば道路を塞ぐような事象が発生した際、自動運転制御システムはルールベースで単に待機、停止する制御を行う可能性が高い。この制御により、道路には、多量の車両が連なって渋滞が発生してしまう。このような事態が発生する前に、運転者の意思に従って、車両を制御すれば、渋滞を避けることも可能となる。
 このように、自動運転を継続したまま、適宜、運転者の意思を介在させることを可能とすることで、手動運転に切り替える必要がなくなり、運転者の負荷も軽減される。
 自動運転から手動運転への切り替えには、所定の引継ぎ時間を要し、スムーズな対応が困難となる。
 また、ルールベースの制御によって道路を塞いでしまった場合、どちらかの車両が進路をあけるために車両後退をさせる等をし、大掛かりな事後対応が必要となる。これら事後対処処理では、一旦、自動運転で塞いだ道路区間を通行可能とするために事後対処時間を要し、結果として社会インフラとしての道路の利用効率を低下させることになり、社会活動そのものの阻害要因となる。
 以上述べてきたように、自動運転車両を社会導入する際、完全なルールベースで安全制御を行う自動運転制御システムに全てをまかせ、利用者の意思反映を不可能とすると、周囲車両や人による走行妨害等が発生する可能性がある。
 また、他の車両に道路を譲り先に行かせて自車両の通行を確保するなど、従来の手動運転で実行できていた協調的な車両走行もできなくなる可能性がある。
 次に、自動運転制御システムと利用者(運転者)の協調型制御を実際に実現する仕組みとしてどのような構成が必要となるかについて検討する。
 例えば、1つの区間を通過する複数車両がある場合、走行優先権の譲渡を依頼する車両と、その譲渡依頼を受けて実際の譲渡を承認する仕組みが必要となる。
 自動運転車両の利用社会で時々刻々と変わる道路状況において、自車両が予定進路を進んだ場合、同一区間を通行する車両と競合が発生すると道路を塞いでしまう要因となる。
 他車両のある区間の走行を制限する恐れがある車両は、例えばその区間の走行優先権の譲渡要請を事前に申告する。他車両が区間侵入に際して、進行した際に道路を塞ぐことになるリスクを避けるための事前ネゴシエーションをすることが有効である。
 本開示の処理では、このような処理を行う際に運転者の意思確認等を実行する。
 一般に我々が利用する道路の多くは、社会の営みに必要となる道路として昔に整備された道路である。車の過剰な往来を想定しない道路も多く日常で利用されている。拡張ができるのは一部の主要幹線道路で、残りの多くはそのまま利用されている。幹線道路等では社会の活動を円滑化する道路の拡張や整備がされ今日に至っている。
 その道路環境で車や人は、社会活動を円滑に行うためのルールを守る想定で利用されている。現状では、道路の幅や優先道の有無など、多種多様な道路環境が混在している。
 旧来の狭い通りでは、一方からくる車両が幅寄せできる地点で自車両を待機させて、相手車両に一定の進行を認めれば、進路を塞ぐことなく進行ができる場合もある。
 しかし、自車両が相手車両の退避地点到着を無視して進行を進め、相手車両の待避所への移動を待たない場合、互いの車が狭い区間で進行を塞ぎ、進行が出来なくなる恐れも出てくる。
 道の譲り合いは多様な場面で起こり得る。そして、その際にどちらの車両が道を譲るべきかについては、その状況に応じて多様に変化し得る。さらに、自車が待機した方が道路を塞ぐのを防げるシチュエーションもあれば、他方の利用者に道路を譲ってもらい自車は進んだ方が双方にとりより円滑な区間通過ができる場合もある。
 この様な様々な状況は複雑な前後関係に依存して発生することが多い。手動運転車両では、運転者は、まず、前走車両や、周囲から予測される視覚情報に基づいて予防的注意を行い、道路を塞ぐことになるリスクが高いと感じた時点で、他車両に優先順位を譲ることがある。
 このように、人が複雑で多用な状況を的確に判断することで、より融通の利く多様な判断ができると考えられる。
 なお、自動運転制御システムでは様々なセンサにより、周囲状況の把握を行うが、例えば他車両の位置が建物や物の隙間からしか確認できないといった場合もあり、必ずしも複雑に絡み合う状況を正しく俯瞰的に判断できない状況も発生する。
 車両の自動運転制御システムが、周囲を走行する車両と相互連携し、各車両周辺の障害物情報など含めた制御情報を統合的に管理するといった構成が実現できればよいが、全ての車両間で自車周囲の情報を周辺車両と常に相互に提供しあう仕組みを非自動運転車両の混合環境で実現することは容易でない。
 従って、自動運転を使用している最中であっても、人が必要性を感じたら人の意思で車両制御を行うことを可能とすることが好ましい。例えば、人の意思で走行優先順位の変更申請等をできるようにする。
 このように、自動運転車両の制御に直接、人の意思を反映ができるようにすることで、スムーズな車両運行が実現される。
 本開示の構成は、自動運転中であっても、運転者が周囲車両との相対状況に応じて優先走行権の調整や、走行の継続や停止の意思を自動運転制御システムに入力して、協調型の自動運転制御を容易に実行可能とした制御構成を実現するものである。
 この本開示の構成により、運転者は手動運転の復帰わずらわしさから解放されるのみならず、自動運転制御システムのみの制御によって発生し得る様々な問題、例えば道路を塞いでしまう、あるいは渋滞を発生させる、あるいは後退を余儀なくされる等の様々な問題の発生を未然に防ぐことができる。
 人類が利用する技術の一つに過ぎない車との関わりも、車を利用する状況やその利用地域の社会情勢により、他の道路利用者との関わりは実際には多くの損得が入り混じりなされ決まってくる。通常、社会ルールや安定した社会情勢の中で車を利用する場合、その車で移動中に遭遇する多く場面でその地域の交通ルール等で定めた基準に沿って走行することで、人は物品の移動を滞留なくまた安全を一定以上に保ち利用されている。
 リスクが最も低い移動手段の一つは歩くことであるが、現代は車などの交通手段を利用しないと社会という大きな仕組みが機能しない。今日の文明社会では人や物の移動は大陸間や更には宇宙に飛び出し、一定のリスクを受容することで人間は社会という大きな生命体として機能している。社会参加者である人は座して飢え死を選ばず、本能的に何らかのリスクを選んで行動をとる。無論、例外的に社会のモラルという倫理的な側面や感情的な側面などのより複雑・抽象的な「リスク」バランスにより他者援助を受けることもある。
 しかし、車両の自動運転においては利用者に求められるリスク判断は大きく異なる。さらに自動車の自動運転制御は、航空機等の自動操舵とははなはだ状況が大きく異なる。航空機のパイロットは、装置や気象条件など多種多様な異常事態に対する訓練を重ねて受けている上、相互作用の対象は機材や気象状況であり、操舵によって相手の行動が変わることは余りない。
 他方で、車両の場合は、自動運転制御を行う際に考慮すべき相手に手動運転車両や歩行者等の人間が含まれ独自の対応が必要となる。すなわち、周囲の歩行者や対向車など他の道路利用者と常に相互に関わりながら車両を制御する必要がある。
 自動運転制御を行う際に考慮すべき相手は生命である以上、一定のリスクを負った上でのそのリスクバランスを取り行動に移るのである。自動運転車両があらゆる状況で利用者の判断が協調的に付与されなく、必ず緊急ブレーキを作動してでも止まり妨害をしても危害を一切受けずに車両が停車するとなれば、横暴な歩行者は道路を強引に渡るリスク判断心理が働くこともあり、治安の悪化した社会や地域で危害にあうリスクが顕在化することがあり得る。また観光客の車両に群がり、餌をねだる野生のサルなどにとり、車両の前に飛び出れば車が止まるのは好都合な仕組みとなり得る。
 つまり、他の多くの「道路利用者」との従来通りの相互作用により、相互が一定のリスク判断行動に基づき、進路を譲り合い妨害を回避するためには、システムに一律のルールベースの制御を行うのではなく、利用者が一定の的確な判断への介在を行う仕組みは上記課題に対する有用な対策と考えられる。
 自動運転の導入に伴い、道路利用者は自動運転車両の安全重視の走行制御によって一定のリスク低減の恩恵を受けることができる。しかし、人は低減したリスクを元のリスクと同程度になるまで新たなリスクを犯そうとする行動心理を持っている。
 これが、交通心理学の分野で提唱されているリスクのホメオスタシス理論である。
 自動運転車両の安全重視の走行制御のみならず、運転者の意思を反映させた制御を常に実行可能とすることで、他の道路利用者も自動運転車両を他の手動運転車両と同様のリスクがあることを認識させることができ、周囲車両や歩行者による故意の妨害や犯罪行為を予防する効果が期待される。
 以上述べたように、自動運転車両はルールベースで必ず止まるのではなく、自動運転車両利用者の意思の反映次第で異なる制御が行われる。
 自動運転車両の周辺の歩行者等の道路環境利用者の側面から見た場合、歩行者が自動運転車両の進路妨害等をした場合でも、自動運転制御システムは、ルールベースで必ず緊急停車を担保しない。このように歩行者等の道路環境利用者のリスクを残存させれば、自動運転車両の直前位置で歩行者が平気で横断してしまうといった無謀な行為を防止させることができる。
 また、運転者自身が手動運転で操舵機器へ物理的介入をしなくても、運転者意思を自動運転制御システムに反映可能とすることで以下のような効果も得られる。例えば、運転者意思の反映必要区間の走行時に、自動運転制御システムに運転者意思を反映させた制御を行わせるため運転者は走行状況を監視することになる。結果として、運転者は自動走行時であっても一定の注意を行うように促されるという効果がある。
  [4運転者の意思を反映させた自動運転制御の具体例について]
 次に、運転者の意思を反映させた自動運転制御の具体例について説明する。
  [4-1(実施例1)自動運転車両が通行中の道路に対する侵入車両発生時の走行制御例]
 まず、実施例1として自動運転車両が通行中の道路に対する侵入車両発生時の走行制御例について説明する。
 通常の交通ルールでは、大通りの通行車両と、交通量の少ない狭い通りの通行車両との車両侵入優先権は、信号機がない状況であれば、大通りの車両に優先権がある。
 狭い通りから大通りに侵入しようとする車両は大通りの車両走行を阻害しないように走行することがルールである。
 例えば、図7に示すように、車両201が大通りを走行中、脇道に右折しようとしている。脇道からは大型トラック202が大通りに侵入して左折しようとしている。
 走行優先権は道路交通法では大通りを走行中の車両201にある。
 しかし、図7に示すように、狭い脇道から大型トラック202が大通りに侵入して左折しようとしている場合、車両201が脇道への右折を開始してしまうと、車両201も大型トラック202も身動きできない事態に陥ることが予想される。
 車両201が手動運転車両であり、運転者が経験の多い運転者であれば、脇道から大型トラック202の先頭が見えた時点で、車両201を停止させ、大型トラック12の左折完了を待機し、待機後、車両201を発進して脇道に侵入するというスムーズな走行を行うことができる。
 本開示の構成では、車両201が自動運転車両である場合、例えば車両201の運転者の意思に応じて、車両201の自動運転制御システムは、大型トラック202と車車間通信を実行し、走行優先権の調整処理(ネゴシエーション)を行う。すなわち、走行優先権をいずれの車両が保持するかを決定し、走行優先権を譲渡した側の車両が停止して待機するといった制御を実行する。
 なお、大型トラック202が自動運転車両であり、自動運転制御システムによる走行が実行されている場合は、車両201の自動運転制御システムは、大型トラック202の自動運転制御システムとの間で走行優先権の調整処理(ネゴシエーション)を行う。
 大型トラック202が手動運転車両である場合は、車両201の自動運転制御システムは、大型トラック202にメッセージを通知して、運転者の応答を待機する。
 なお、車両201の自動運転制御システムは、これらの処理を行う際に、運転者の意思を確認して運転者の意思に応じた処理を行う。例えば走行優先権を相手側車両に譲渡してよいかを運転者に確認してから、走行優先権を相手側車両に譲渡する処理を行う。
 例えば、図8に示すような表示情報を提示して運転者がYesの応答を行った場合に、大型トラック202に対して走行優先権の譲渡に関する調整処理(ネゴシエーション)を開始する。
 なお、ユーザー(運転者)の意思入力は、図8に示すようなUIを利用した構成の他、スイッチやボタン等を利用した入力、マイクを介する音声入力や、表示部に備えられたタッチパネルを利用した入力、あるいはジェスチャによる入力等によって実行可能である。
 このようにユーザー(運転者)の意思を反映させた走行制御を行うことで、本来の交通ルールでは走行優先権の低い脇道から大通りに侵入する大型トラック202に走行優先権を譲渡することができる。この走行優先権譲渡処理により、車両201は大通りで待機し、その間に大型トラック202を大通りに侵入させるという手動運転と同様の処理を行うことが可能となる。
 上記の処理を実行するためには、優先権の低い車両から侵入走行権の高い車両に優先権譲渡要請の情報発信を行い、その後、双方の車両の自動運転制御システムの合意(ハンドシェーク)を条件として、走行優先件の譲渡承認を実行することが必要である。
 この走行優先件の譲渡承認後に、自動運転制御システムの制御の下、走行、あるいは停止や待機処理等、各車両において自動運転制御を行うことになる。
 車両201の自動運転制御システムのデータ処理部が実行する処理シーケンスについて図9に示すフローチャートを参照して説明する。
 なお、図9以下のフローチャートに従った処理は、自動運転制御システムのデータ処理部が記憶部に格納されたプログラムに従って実行可能である。例えばプログラム実行機能を有するCPU等を有するデータ処理部(制御部)の制御の下で実行される。
 以下、図9に示すフローチャートの各ステップの処理について、順次、説明する。
  (ステップS101)
 まず、データ処理部は、ステップS101において、走行優先権譲渡処理の有効化がなされたか否かを判定する。
 この処理は、ユーザー(運転者等)の意思確認処理であり、例えば図8に示すUIを提示してユーザーが走行優先権譲渡処理の有効化の意思を表示している場合にステップS102以下の処理を実行する。
 ユーザーが走行優先権譲渡処理の有効化の意思を表示していない場合は、通常の自動運転制御、すなわち安全優先の自動運転制御に従った走行を行う。
  (ステップS102)
 ステップS101において、走行優先権譲渡処理の有効化がなされたと判定した場合、ステップS102以下の処理を実行する。
 ステップS102では、ローカルダイナミックマップ(LDM)等の走行路情報と、運転者情報を取得する。
 先に説明したように、LDMは例えば外部サーバから取得可能な高度な環境地図情報であり、現在の交通状況情報等を含む情報である。運転者情報は、先に図1を参照して説明した運転者情報取得部12の取得する情報である。例えば、運転者の覚醒度を判定するための情報や、運転者の操作情報等である。具体的には、例えば、運転者の顔画像を撮影するカメラ、各操作部(ハンドル、アクセル、ブレーキ等)の操作情報取得部の取得する情報である。
  (ステップS103)
 次に、データ処理部は、運転者意思反映許容区間が接近したか否かを判定する。例えば図7に示す状況となる区間の接近を検出した場合、ステップS104に進む。
  (ステップS104)
 ステップS104では、走行優先権を調整すべき相手車両の有無を確認する。
 例えば図7の例では、自車両を車両201とした場合、走行優先権を調整すべき相手車両は大型トラック202である。
  (ステップS105)
 ステップS105では、相手車両との走行優先権の調整が必要であるか否かを判定する。
 例えば、これから自車両201が侵入しようとする狭い通りに大型車両202がいる。大型車両202は大通りに先に出てくる優先権が無いが、自車両201は右折先の狭い道路で大通りの通行車両が全て通り過ぎるのを待つために一時待機する。結果として大型車両202は侵入車両(車両201)に対して、狭い通りの通行を塞いでいることになる。走行優先権の調整を行わずに自律的に周囲情報検出センサの情報のみで障害物が直前の進行方向にないと判断し、大型車両が待機している狭い道路の出口まで自動運転で自車両をそのまま進行し狭い通りに侵入しかかると、大型車両202が狭い道路を塞いでいる状況が判明し、自車両は通過出来ない状況となる。つまり、優先走行権のある大通りを通行中の車両201はルールベースの優先権を元に車両を進行させ、狭い通りの出口を塞ぐ点線図示位置に到達して初めてその先の右折進入路が大型車両202により塞がれていることを検知しても、その段階まで進むと道路を相互に塞ぐことになる。双方の車両は、いずれも車両をそれ以上、前進できない状態となる。そこで、道路を塞ぐリスクがある場合、その状況に陥る前に確認処理を行う。LDM等にリスク情報のみを持たせ運転者に事前リスク通知をしてもよい。ステップS105において走行優先権の調整を行う必要があると判断すると、ステップS106に進む。
  (ステップS106)
 ステップS106では、まず、運転者状態に応じた通知、警告を実行する。
 車両は自動運転実行中であるため運転者は、例えば睡眠中であるとか、TVやゲーム等の2次タスクに夢中であるといった場合があり、前方を全く見ていない可能性がある。
 自動運転制御システムのデータ処理部は、このような運転車の状態を運転者情報取得部12から取得し、その状態に応じた警報や通知を行う。すなわち、図7に示すような対向車の接近が発生していることを通知する。
  (ステップS107)
 次に、ステップS107において、運転者が正常判断可能な覚醒状態にあるか否かを判定し、運転者が正常判断可能な覚醒状態にあると判定した場合にステップS108に進む。
  (ステップS108)
 自動運転制御システムのデータ処理部は、ステップS108において、相手車両との車車間通信を行い、走行優先権調整処理(ネゴシエーション)を実行する、すなわち、走行優先権を相手車両に譲渡するか、自車両が取得するかの調整処理を実行する。
  (ステップS109)
 ステップS108の走行優先権調整処理(ネゴシエーション)の結果、走行優先権を相手車両に譲渡した場合は、ステップS110に進む。走行優先権を自車両が取得した場合は、ステップS121に進む。
  (ステップS110)
 ステップS108の走行優先権調整処理(ネゴシエーション)の結果、走行優先権を相手車両に譲渡した場合は、ステップS110において、自車両を停止させ、相手車両の区間通過を待機する。
  (ステップS111)
 次に、ステップS111において、ユーザー(運転者)により、通常の自動運転制御走行の再開を指示する入力がなされたか否かを判定する。
  (ステップS112)
 ステップS111において、ユーザー(運転者)により、通常の自動運転制御走行の再開を指示する入力がなされたと判定した場合、ステップS112において、通常の自動運転制御走行を再開し、さらに、運転者意思介入制御に関するログ情報を情報処理装置内の記憶部、または管理サーバの記憶部に記録する。
 この運転者意思介入制御に関するログ情報は、どのような運転者意思介入制御が実行されたかについての情報であり、これらのロク情報に基づいて、例えば図9のフローの右上に示すような処理が行われることになる。
 すなわち、運転者意思介入制御の利用に基づくポイントの付加または削減等のポイント調整、走行速度の制限、自動運転利用の制限、特定区間侵入の制限等が実行される。
 例えば、運転者意思の介入により走行優先権の譲渡を行った場合、ポイントが付加される。一方、運転者意思の介入により、走行優先権の譲渡を行わなかった場合には、ポイントの減少処理がなされる等のポイント調整を実行する。
 なお加算ポイントは、運転者に対する実行を促すインセンティブを与える事象全般と関連付ければよく、特定に利益要素や不利益要素と必ずしも限定して紐づける必要なない。効果的なポイント調整例としては、例えば取得ポイントに応じて自動運転の利用範囲を制限すること等がある。このようなポイント調整処理は自動運転利用者に対して、利用者の意識を自動走行中の車両に引き留める効果を奏すると考えられる。
 また、走行優先権の譲渡を行わなかった場合や、運転者意思介入制御を乱用しているような場合は、走行速度の制限、自動運転利用の制限、特定区間侵入の制限等が実行される。
  (ステップS121)
 ステップS108の走行優先権調整処理(ネゴシエーション)の結果、走行優先権を自車両が取得した場合は、ステップS121において、自車両の走行優先権に基づいて、先行して区間通過を実行する。
 その後、ステップS112に進み、通常の自動運転制御走行を再開し、さらに、運転者意思介入制御に関するログ情報を情報処理装置内の記憶部、または管理サーバの記憶部に記録する。
 以上、説明したように、自動運転中であっても運転者は道路の通行優先権を譲渡することが可能となる。また、優先権がない場合でも利用者意思により優先権を要請することも可能となる。これらの処理により社会インフラである道路を塞ぐリスクを低減できる。なお、このようなネゴシエーションは、LDMに基づく情報や、接近車両の方向指示器等の情報、あるいは事前の車両間通信で得られる情報に基づいて実行することができる。また、システムがリスク推測を事前に行い、利用者にネゴシエーションを実行するか否かの判断を求めてもよい。
  [4-2(実施例2)既存交通ルールに対する柔軟な対応を行う制御例]
 次に、実施例2として、既存交通ルールに対する柔軟な対応を行う制御例について説明する。
 例えば、治安の悪い地域で車両を走行する場合、不用意に車両を停止すると、犯罪に巻き込まれる場合がある。
 このような地域では、例えば道路交通法で定められたルールに100パーセント従って交差点の停止ラインや、信号に従って車両を停止させてしまうと、盗難などの被害にあうリスクが高まる。
 このような地域で自動運転車両を走行させる場合、運転者の意思により、ルールに則った走行、例えば赤信号での停車、歩行者(不審者)が近づいた場合の徐行、このような走行を止め、所定の速度での区間通過を優先する制御を行う。
 図10を参照して、具体例について説明する。
 車両221が自動運転車両である。車両221は、犯罪多発地域である危険地帯を通過しようとしている。この危険地帯の信号が赤である場合、道路交通法で定められたルールに従えば停止することになり、自動運転制御システムは通常は、停止する制御を行う。
 しかし、この地域が危険地域であることを認識しているユーザー(運転者)は、停止することで盗難などの被害にあう可能性が高いことを知っており、この場合、ユーザー(運転者)の意思、すなわち危険地域等にある道路区間等の特定区間では停止せずに走行することを望むという意思を自動運転制御システムに伝える。
 ユーザー(運転者)は、例えば、図11に示すようなUIを介して自動運転制御システムにユーザー(運転者)の意思を伝える。自動運転制御システムはユーザー(運転者)の意思に従って、危険地域等にある道路区間等の特定区間では停止せずに走行する制御を行う。
 なお、ユーザー(運転者)の意思入力は、図11に示すようなUIを利用した構成の他、スイッチやボタン等を利用した入力、マイクを介する音声入力や、表示部に備えられたタッチパネルを利用した入力、あるいはジェスチャによる入力等によって実行可能である。
 なお、道路交通法で定められたルールに従わない車両制御は一見無謀にも思えるが、犯罪に巻き込まれるリスクがある場合は、犯罪を回避するために有効である。
 不慣れな海外赴任者が治安の悪い地域で車両を停車して犯罪に巻き込まれる事例は多く、状況に応じて、運転者の意思に基づいて危険地域を通過することを瞬時に判断して、車両を通過させる制御は犯罪に巻き込まれないための予防的な対処法である。また、加害者側も自動運転車両であっても運転者意思に応じて車両が止まらないことが一般的な制御であることが分かっていれば、自動運転車両であるからと言って安易に狙う心理が抑制される。つまり、自動運転制御システムが利用者の意思反映機能を有していること自体が犯罪の予防効果をもたらす。
 ただし、自動運転車両においてルールを逸脱した車両制御を無秩序に許容してしまうことは、交通ルールの準拠という観点から好ましくはない。従って、ある条件の下でこのような処理を許容するといった制限を設けることが好ましい。
 例えば、交通ルールを逸脱した車両制御は、犯罪多発地域等、特定地域のみで許容する、あるいは夜間のみ許容するといった制限である。
 このような特別な車両制御は、できるだけ乱用しない必要があり、利用記録のログ保存等を改ざんが困難な仕組みで行い、ログに基づく運転者単位の利用率の評価を行うといった制度を設けることが好ましい。
  [4-3(実施例3)渋滞等のリスクを回避する柔軟な対応を行う制御例]
 次に、実施例3として、渋滞等のリスクを回避する柔軟な対応を行う制御例について説明する。
 例えば、図12に示すような状況、すなわち自車両である車両241が走行中、停車している事故・故障車両242に遭遇する。片側一車線で道路交通法上では追い越し禁止であるとする。
 この場合、車両241が、安全重視の自動運転制御をそのまま継続すれば、交通ルールに従い、事故・故障車両242の手前で停車し、事故・故障車両242のレッカー移動等が完了するまで待機することになる。または、事故車であるために対向車線にはみ出す設定を許容したとしても、反対方向から対抗斜線が来る場合は待機を継続する。
 このような待機処理を行えば、後続車両の渋滞が発生してしまう。
 この状況において、ユーザー(運転者)は、自動運転制御システムに対して、事故車両を追い抜くため、反対車線の走行を行うように意思表示を行う。
 例えば、図13に示すようなUIを介して自動運転制御システムにユーザー(運転者)の意思を伝える。自動運転制御システムはユーザー(運転者)の意思に従って迂回走行を開始する。ただし、対向車線を走行中の車両、すなわち、例えば図12に示す対向車両251が存在する場合は、先に説明した図7~図9の処理で実行した走行優先権の調整(ネゴシエーション)を実行して、衝突を回避して譲り合いによる交互走行を行う。例えば、図12に示すように、対向車線から接近してくる対向車両251があり、さらに、対向車線に渋滞中の停車車両261が停車しているとする。この場合、対向車両251は渋滞停車車両261の後ろに停止することになり、車両241は対向車線へのはみ出し走行を行うことが困難となる。このような場合、車両241と対向車両251との間で、事前に優先権の調整(ネゴシエーション)を行う。対向車両251が事故車両242に近づく前に優先権の調整(ネゴシエーション)を行い、対向車線への進入権を取得する。
 このようにユーザー(運転者)の意思を協調的に適宜反映した自動運転走行を行えば、渋滞の発生を回避できる。このように自動運転制御を継続しながら、利用者が手動運転に復帰することなく運転者の状況判断に基づく運転者意思を反映した協調型制御を可能とすることで、社会インフラの効率的利用が実現される。
  [5.本開示の移動装置、情報処理装置が実行する処理のシーケンスについて]
 次に、本開示の移動装置、情報処理装置が実行する処理のシーケンスについて説明する。
 本開示の移動装置、情報処理装置は、上述したように自動運転制御システムに対してユーザー(運転者)の意思を反映させた制御を実効可能とするものである。
 ユーザー(運転者)の意思は、その状況によって大きく変わるものである。すなわち、車両走行中には、例えば先に説明した図7、図10、図12等、様々な状況が発生し、自動運転制御システムは、それぞれの状況に応じてユーザー(運転者)の意思を確認し、ユーザー(運転者)の意思を反映させた走行制御を行うことになる。
 ユーザー(運転者)の意思を反映させた走行制御シーケンスの典型的な一例について、図14に示すフローチャートを参照して説明する。
 図14に示すフローに従った処理は、自動運転制御システムのデータ処理部が実行する処理である。
 以下、図14に示すフローチャートの各ステップの処理について、順次、説明する。
  (ステップS201)
 まず、自動運転制御システムのデータ処理部は、ステップS201において、環境情報の取得処理を実行する。
 例えば、ローカルダイナミックマップ(LDM)等の走行路情報、さらに、図1に示す環境情報取得部13を利用した環境情報取得処理を行う。
 前述したように、環境情報取得部13は、自動車の走行環境情報を取得する。例えば、自動車の前後左右の画像情報、GPSによる位置情報、LiDAR(Laser Imaging Detection and Ranging)、ソナー等からの周囲の障害物情報等を取得する。
  (ステップS202~S204)
 次に、データ処理部は、ステップS202において、ステップS201で取得した環境情報に基づいて、走行経路上の障害物を検出する。
 例えば自己車両等である。
 さらに、ステップS203において、ステップS202で検出した障害物を避ける走行経路を計画し決定する。
 次のステップS204では、ステップS203で決定した走行ルートが交通ルールに従って走行可能なルートであるか否かを判定する。
 例えば先に図12を参照して説明した走行ルート、すなわち事故車両を迂回するために反対車線にはみ出して走行するルートは交通ルールに反したルートであると判定される。
 ステップS204において、ステップS203で決定した走行ルートが交通ルールに従って走行可能なルートであると判定した場合はステップS205に進む。
 一方、ステップS203で決定した走行ルートが交通ルールに従って走行可能なルートでないと判定した場合はステップS207に進む。
  (ステップS205~S206)
 ステップS204において、ステップS203で決定した走行ルートが交通ルールに従って走行可能なルートであると判定した場合はステップS205に進む。
 データ処理部は、ステップS205において、環境認識情報を解析しながら通常走行を開始/継続する。
 ステップS206では、交通ルールに従った通常の自動運転制御に従った自動運転を実行する。
  (ステップS207~S209)
 一方、ステップS203で決定した走行ルートが交通ルールに従って走行可能なルートでないと判定した場合はステップS207に進む。
 ステップS207において、データ処理部は、交通ルールに従わない走行を行うために必要となる走行優先権調整処理(ネゴシエーション)を相手車両にリクエストする。
 例えば先に図12を参照して説明した例では、車両241の自動運転制御システムのデータ処理部が、対向車線を走行している対向車両251に走行優先権調整処理(ネゴシエーション)処理のリクエストを送信する。
 さらに、ステップS208において、走行優先権調整処理(ネゴシエーション)処理の相手車両の状況や、周囲環境情報に基づく走行可否判断を行う。
 さらに、ステップS209において、走行優先権調整処理(ネゴシエーション)処理の相手車両と走行経路の調整を実行する。
 なお、走行経路調整では、対向車両251が図12に示す位置を進まずに留まるケース、該当車線の道路を塞がないために路肩に寄って進行し点線矢印で示した位置252(路肩寄せ進路)を移動して進行する形で譲るケースなど、詳細な走行ルートを決定するためのネゴシエーションをしてもよい。最もシンプルな構成は、優先権リクエストを受けた対向車両251の利用者が、そのまま進んだら対向車線の通行を妨害すると認識して、先の渋滞停車車両261がいなくなるまで対向車両251の利用者が図12に図示す位置を進まずに留まるように制御を行う構成である。
 実際の制御で重要なのは、ネゴシエーションのリクエストを受けた利用者が状況判断結果に基づいて的確にシステムに指示を出して制御することである。このように利用者の判断を反映させた制御を可能とすることで、自動運転システム単独では自律的な判断対処が困難な多くの事象に遭遇しても、利用者意思による速やかな対処が可能となる。
 例えば、先に図12を参照して説明した例では、対向車両251に道路の路肩(端)側に寄った位置に進行して停車させるネゴシエーションを行うことで、車両241は、対向車線に少しはみ出て、事故(故障)車両242を避けて該当区間を通過する走行ルートを決定することができる。
  (ステップS210)
 次に、ステップS210では、待機せずに自動運転が認識し得る範囲の情報に基づき定めた進路をそのまま進むと道路を塞ぐ(道路封鎖)等のリスクが大きいか否か、利用者意思を反映する形で判定する。
 利用者意思を元にネゴシエーション処理を介してそのまま進行しても道路を塞ぐ等のリスクがないと判定した場合は、ステップS206に進み、道路ルールベースの走行制御を実行する。この場合の具体的な処理は、例えば自己車両の手前で待機する、または路肩よりに寄って対向車の抜けるスペースを確保する処理となる。
 一方、手前での停車等の待機処理をしないことで道路を塞ぐ等のリスクが大きいと判定した場合は、ステップS211に進む。
  (ステップS211~S212)
 ステップS210において、道路を塞ぐ(道路封鎖)等のリスクが大きいと判定した場合は、ステップS211に進む。
 ステップS211では、走行優先権調整処理(ネゴシエーション)の結果を相手車両と共有する。
 次に、ステップS212で、走行優先権調整結果に基づいて、自車両と相手車両の譲り合いの区間走行を実行する。
 なお、上述した例は1つの実施例として運転者が意思入力を実行してその後の実際の操舵を自動で行う実施例として説明した。その他、例えば、ステップS210の判定で待機すると判定後、待機の間に運転者の手動運転への復帰可能な状況に戻れば利用者判断で対向車の通過スペースを確保して手動運転での走行を行う等、他にも多様な対処が可能である。
 次に、図15に示すフローチャートを参照して、自動運転制御システムが、相手車両から走行優先権調整処理(ネゴシエーション)リクエストを受信した場合のユーザー(運転者)の意思確認と、意思確認に基づく制御、さらに、ログ記録処理の一連の処理シーケンスについて説明する。
 自動運転システムの周辺状況認識性能には限界があるが、利用者の意思を反映した協調型制御を導入することで、自動運転システムの周辺状況認識性能では把握困難な複雑な車両との関わりの対処が可能となる。ただし、利用者はシステムからのリスク通知を早期に受け、その通知リスクに応じた知的判断結果をシステムに的確に返す必要がある。的確な対処を行うかに行わないかにより、運転者が利益を被るか不利益を被るかが決定される。このことで利用者の対処判断能力が育成される。さらに、利用者が的確な対処を行った場合に、インセンティブのポイントアップ加算を行い、利用者が的確な対処を行わず道路封鎖の誘発リスクを発生させた場合にはペナルティのポイントダウンを行う等の機能を備えることで、交通インフラの他利用者の利益・不利益も反映した仕組みが構成できる。
 図15に示すフローの各ステップの処理について説明する。
  (ステップS301)
 まず、自動運転制御システムのデータ処理部は、ステップS301において、走行上のリスク(道路封鎖等)を予測する。
 この処理は、例えば、ローカルダイナミックマップ(LDM)等の走行路情報、さらに、図1に示す環境情報取得部13の取得する環境情報を利用して実行する。
 前述したように、環境情報取得部13は、自動車の走行環境情報を取得する。例えば、自動車の前後左右の画像情報、GPSによる位置情報、LiDAR(Laser Imaging Detection and Ranging)、ソナー等からの周囲の障害物情報等を取得する。
  (ステップS302~S303,S321)
 次に、データ処理部は、ステップS302において、走行優先権調整処理(ネゴシエーション)リクエストの受信を運転者に通知する。
 ステップS303では、この通知がユーザー(運転者)に認識されたか否かを判定する。
 例えばユーザー(運転者)の応答入力があったか否か、あるいはユーザー(運転者)のジェスチャ等を解析して判定する。
 通知がユーザー(運転者)に認識されていないと判定した場合は、ステップS321に進み、通常の自動運転制御による自動運転を継続する。
 一方、通知がユーザー(運転者)に認識されたと判定した場合は、ステップS304に進む。
  (ステップS304~S305)
 通知がユーザー(運転者)に認識されたと判定した場合は、ステップS304に進み、ステップS304において、走行優先権調整処理(ネゴシエーション)リクエストの受信通知に対する運転者の意思の入力を待機する。
 ステップS305では、運転者意思反映可能限界地点に到着したか否かを判定し、運転者意思反映可能限界地点に到着したら、ステップS306に進む。
  (ステップS306)
 ステップS306では、走行優先権調整処理(ネゴシエーション)処理の相手車両の状況や、周囲環境情報に基づく走行可否判断を行う。
  (ステップS307,S331~S332)
 次に、ステップS307において、ユーザー(運転者)が、走行優先権調整処理(ネゴシエーション)処理の相手車両に走行優先権を譲渡することに同意したか否かを判定する。
 同意した場合はステップS308以下の処理を実行する。
 同意しない場合は、ステップS331において、道路の交通ルールベースの通常の自動運転を実行し、ステップS332において、運転者意思介入制御のログ記録を行う。例えば、走行優先権譲渡拒否に応じてポイントダウン処理を実行する。
  (ステップS308~S310)
 ステップS307において、ユーザー(運転者)が、走行優先権調整処理(ネゴシエーション)処理の相手車両に走行優先権を譲渡することに同意した場合、ステップS308以下の処理を実行する。
 まず、ステップS308において、自車両を停車させる。
 次に、ステップS309において、優先権譲渡車両の区間通過を待機し、追加車両の通過の待機の必要性を確認する。
 さらに、ステップS310において、ユーザー(運転者)が追加車両に対する走行優先権の譲渡を承認したか否かを判定する。
 これは、具体的には、走行優先権調整処理(ネゴシエーション)処理の相手車両に後続する後続車両も先に通してしまう場合の処理である。
 この場合、ステップS308の待機処理を継続する。
 後続車両等が途切れた場合、ステップS311に進む。
  (ステップS311)
 ステップS311において、運転者意思介入制御のログ記録を行う。例えば、走行優先権譲渡に応じてポイントアップ処理を実行する。
 以上、説明したように、本開示の移動装置や情報処理装置は、自動運転制御システムが、随時、ユーザー(運転者等)の意思を反映させた自動運転を実行することを可能としている。そして利用者のインセンシティブを与えるポイント等と組み合わせることで積極な協調制御と実際の参加を促す仕組みが可能となり、複雑に影響しあう状況下での対処をよりシームレスに行うことが出来るようになる。
 このような自動運転車両の制御を行うことで、従来の手動運転において発揮される運転者判断によるメリットが発生する。すなわち、大局的なインフラ視点の交通の円滑化が実現される。
 本開示の処理を適用することで、画一的なルールベースの自動運転で起こりえる狭い道路での通行スタックや、自動運転の限定挙動特性を悪用した悪意ある車両や歩行者の出現の予防など、自動運転車両単独の走行利点とは別の道路インフラを共用利用する際の相互メリットを引き出す効果もある。
 本開示の処理における効果には、例えば以下のものがある。
 1.自動運転中でも、周辺他車両との協調的制御が可能となり、円滑な道路インフラの利用による渋滞の予防や緩和が実現される。
 2.第三者による自動運転制御の悪用による、妨害行為、犯罪等の予防効果がある。
 3.運転者意思介入制御のログ記録により、運転者の意思介入制御の乱用の防止効果もある。
 4.運転者が従来のSAE定義レベルの自動運転レベル3のような運転運転座席復帰要求レベルに比べ、速やかな判断介在が可能でありその結果、柔軟性と道路状況に応じた速やかな対応が可能となる。
  [6.情報処理装置の構成例について]
 上述した処理は、図4を参照して説明した移動装置の構成を適用して実行することが可能であるが、その処理の一部は、例えば移動装置に着脱可能な情報処理装置においてし実行することが可能である。
 図16を参照して、このような情報処理装置のハードウェア構成例について説明する。
 図16は、情報処理装置のハードウェア構成例を示す図である。
 CPU(Central Processing Unit)501は、ROM(Read Only Memory)502、または記憶部508に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。
 RAM(Random Access Memory)503には、CPU501が実行するプログラムやデータなどが記憶される。これらのCPU501、ROM502、およびRAM503は、バス504により相互に接続されている。
 CPU501はバス504を介して入出力インタフェース505に接続され、入出力インタフェース505には、各種スイッチ、キーボード、タッチパネル、マウス、マイクロフォン、さらに、センサ、カメラ、GPS等の状況データ取得部などよりなる入力部506、ディスプレイ、スピーカなどよりなる出力部507が接続されている。
 なお、入力部506には、センサ521からの入力情報も入力される。
 また、出力部507は、移動装置の駆動部522に対する駆動情報も出力する。
 CPU501は、入力部506から入力される指令や状況データ等を入力し、各種の処理を実行し、処理結果を例えば出力部507に出力する。
 入出力インタフェース505に接続されている記憶部508は、例えばハードディスク等からなり、CPU501が実行するプログラムや各種のデータを記憶する。通信部509は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
 入出力インタフェース505に接続されているドライブ510は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア511を駆動し、データの記録あるいは読み取りを実行する。
  [7.本開示の構成のまとめ]
 以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
 なお、本明細書において開示した技術は、以下のような構成をとることができる。
 (1) 自動運転制御を実行するデータ処理部を有し、
 前記データ処理部は、
 ユーザーの意思が入力される入力部を備え、ユーザーの意思を反映させた自動運転制御を実行する情報処理装置。
 (2) 前記データ処理部は、
 自動運転による制御対象である自車両と、該自車両と異なる他車両との間で前記ユーザーの意思に基づいて走行優先権の調整処理を実行する(1)に記載の情報処理装置。
 (3) 前記データ処理部は、
 前記走行優先権の調整処理を実行する前に、ユーザーに対して走行優先権の譲渡意思を確認する(2)に記載の情報処理装置。
 (4) 前記データ処理部は、
 走行環境の解析に基づいて、自車両と他車両との間で同一走行区間の競合が発生するか否かを判定し、競合が発生すると判定された場合に前記走行優先権の調整処理を実行する(2)または(3)に記載の情報処理装置。
 (5) 前記データ処理部は、
 ユーザーの意思を反映させて、特定区間を停止せずに走行する制御を実行する(1)~(4)いずれかに記載の情報処理装置。
 (6) 前記データ処理部は、
 ユーザーの意思を反映させて、反対車線を走行する制御を実行する(1)~(5)いずれかに記載の情報処理装置。
 (7) 前記データ処理部は、
 反対車線の走行開始前に、反対車線を走行する対向車両との通信を実行し、自車両と前記対向車両との間で走行優先権の調整処理を実行する(1)~(6)いずれかに記載の情報処理装置。
 (8) 前記データ処理部は、
 ユーザーの意思確認処理を実行し、ユーザー意思が確認された場合は、確認したユーザー意思を反映させた自動運転制御を実行し、
 ユーザー意思が確認されなかった場合は、予め規定されたルールに従った自動運転制御を実行する(1)~(7)いずれかに記載の情報処理装置。
 (9) 前記データ処理部は、
 ユーザーの意思をユーザーによるスイッチ操作、またはタッチパネル操作、または音声、またはジェスチャの少なくともいずれかによって確認する(1)~(8)いずれかに記載の情報処理装置。
 (10) 移動装置の環境情報を取得する環境情報取得部と、
 自動運転制御を実行するデータ処理部を有し、
 前記データ処理部は、
 前記環境情報取得部の取得した環境情報に従って走行路上のリスクを判定し、さらに、ユーザーの意思が入力される入力部を備え、ユーザーの意思を反映させた自動運転制御を実行する移動装置。
 (11) 前記データ処理部は、
 自動運転による制御対象である自車両と、該自車両と異なる他車両との間で前記ユーザーの意思に基づいて走行優先権の調整処理を実行する(10)に記載の移動装置。
 (12) 前記データ処理部は、
 前記走行優先権の調整処理を実行する前に、ユーザーに対して走行優先権の譲渡意思を確認する(11)に記載の移動装置。
 (13) 情報処理装置において実行する情報処理方法であり、
 前記情報処理装置は、自動運転制御を実行するデータ処理部を有し、
 前記データ処理部が、
 ユーザーの意思を入力し、ユーザーの意思を反映させた自動運転制御を実行する情報処理方法。
 (14) 移動装置において実行する情報処理方法であり、
 前記移動装置は、環境情報を取得する環境情報取得部と、
 自動運転制御を実行するデータ処理部を有し、
 前記データ処理部が、
 前記環境情報取得部の取得した環境情報に従って走行路上のリスクを判定し、さらに、ユーザーの意思を入力し、ユーザーの意思を反映させた自動運転制御を実行する情報処理方法。
 (15) 情報処理装置において情報処理を実行させるプログラムであり、
 前記情報処理装置は、自動運転制御を実行するデータ処理部を有し、
 前記プログラムは、前記データ処理部に、
 ユーザーの意思を入力し、ユーザーの意思を反映させた自動運転制御を実行させるプログラム。
 また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
 なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
 以上、説明したように、本開示の一実施例の構成によれば、ユーザーの意思を入力し、ユーザーの意思を反映させた自動運転制御を実行する構成が実現される。
 具体的には、例えば、自動運転制御を実行するデータ処理部が、自動運転モードのまま走行中であってもユーザーは意思を随時入力し、ユーザーの意思を反映させた自動運転制御を実行する。データ処理部は、自動運転による制御対象である自車両と、該自車両と異なる他車両との間で走行優先権の調整処理を実行する。データ処理部は、走行環境解析に基づいて、自車両と他車両との間で同一走行区間の競合が発生するか否かを判定し、競合が発生すると判定された場合、ユーザーに対して走行優先権の譲渡意思を確認して調整処理を実行する。
 本構成により、ユーザーが手動運転に復帰することなく、ユーザーの意思を入力し、ユーザーの意思を反映させた自動運転制御を実行する構成が実現される。
 10・・自動車,11・・データ処理部,12・・運転者情報取得部,13・・環境情報取得部,14・・通信部,15・・通知部,20・・運転者,30・・サーバ,100・・移動装置,101・・入力部,102・・データ取得部,103・・通信部,104・・車内機器,105・・出力制御部,106・・出力部,107・・駆動系制御部,108・・駆動系システム,109・・ボディ系制御部,110・・ボディ系システム,111・・記憶部,112・・自動運転制御部,121・・通信ネットワーク,131・・検出部,132・・自己位置推定部,133・・状況分析部,134・・計画部,135・・動作制御部,141・・車外情報検出部,142・・車内情報検出部,143・・車両状態検出部,151・・マップ解析部,152・・交通ルール認識部,153・・状況認識部,154・・状況予測部,155・・安全性判別部,161・・ルート計画部,162・・行動計画部,163・・動作計画部,171・・緊急事態回避部,172・・加減速制御部,173・・方向制御部,501・・CPU,502・・ROM,503・・RAM,504・・バス,505・・入出力インタフェース,506・・入力部,507・・出力部,508・・記憶部,509・・通信部,510・・ドライブ,511・・リムーバブルメディア,521・・センサ,522・・駆動部

Claims (15)

  1.  自動運転制御を実行するデータ処理部を有し、
     前記データ処理部は、
     ユーザーの意思が入力される入力部を備え、ユーザーの意思を反映させた自動運転制御を実行する情報処理装置。
  2.  前記データ処理部は、
     自動運転による制御対象である自車両と、該自車両と異なる他車両との間で前記ユーザーの意思に基づいて走行優先権の調整処理を実行する請求項1に記載の情報処理装置。
  3.  前記データ処理部は、
     前記走行優先権の調整処理を実行する前に、ユーザーに対して走行優先権の譲渡意思を確認する請求項2に記載の情報処理装置。
  4.  前記データ処理部は、
     走行環境の解析に基づいて、自車両と他車両との間で同一走行区間の競合が発生するか否かを判定し、競合が発生すると判定された場合に前記走行優先権の調整処理を実行する請求項2に記載の情報処理装置。
  5.  前記データ処理部は、
     ユーザーの意思を反映させて、特定区間を停止せずに走行する制御を実行する請求項1に記載の情報処理装置。
  6.  前記データ処理部は、
     ユーザーの意思を反映させて、反対車線を走行する制御を実行する請求項1に記載の情報処理装置。
  7.  前記データ処理部は、
     反対車線の走行開始前に、反対車線を走行する対向車両との通信を実行し、自車両と前記対向車両との間で走行優先権の調整処理を実行する請求項1に記載の情報処理装置。
  8.  前記データ処理部は、
     ユーザーの意思確認処理を実行し、ユーザー意思が確認された場合は、確認したユーザー意思を反映させた自動運転制御を実行し、
     ユーザー意思が確認されなかった場合は、予め規定されたルールに従った自動運転制御を実行する請求項1に記載の情報処理装置。
  9.  前記データ処理部は、
     ユーザーの意思をユーザーによるスイッチ操作、またはタッチパネル操作、または音声、またはジェスチャの少なくともいずれかによって確認する請求項1に記載の情報処理装置。
  10.  移動装置の環境情報を取得する環境情報取得部と、
     自動運転制御を実行するデータ処理部を有し、
     前記データ処理部は、
     前記環境情報取得部の取得した環境情報に従って走行路上のリスクを判定し、さらに、ユーザーの意思が入力される入力部を備え、ユーザーの意思を反映させた自動運転制御を実行する移動装置。
  11.  前記データ処理部は、
     自動運転による制御対象である自車両と、該自車両と異なる他車両との間で前記ユーザーの意思に基づいて走行優先権の調整処理を実行する請求項10に記載の移動装置。
  12.  前記データ処理部は、
     前記走行優先権の調整処理を実行する前に、ユーザーに対して走行優先権の譲渡意思を確認する請求項11に記載の移動装置。
  13.  情報処理装置において実行する情報処理方法であり、
     前記情報処理装置は、自動運転制御を実行するデータ処理部を有し、
     前記データ処理部が、
     ユーザーの意思を入力し、ユーザーの意思を反映させた自動運転制御を実行する情報処理方法。
  14.  移動装置において実行する情報処理方法であり、
     前記移動装置は、環境情報を取得する環境情報取得部と、
     自動運転制御を実行するデータ処理部を有し、
     前記データ処理部が、
     前記環境情報取得部の取得した環境情報に従って走行路上のリスクを判定し、さらに、ユーザーの意思を入力し、ユーザーの意思を反映させた自動運転制御を実行する情報処理方法。
  15.  情報処理装置において情報処理を実行させるプログラムであり、
     前記情報処理装置は、自動運転制御を実行するデータ処理部を有し、
     前記プログラムは、前記データ処理部に、
     ユーザーの意思を入力し、ユーザーの意思を反映させた自動運転制御を実行させるプログラム。
PCT/JP2020/015524 2019-05-07 2020-04-06 情報処理装置、移動装置、および方法、並びにプログラム Ceased WO2020226014A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE112020002261.7T DE112020002261T5 (de) 2019-05-07 2020-04-06 Datenverarbeitungsvorrichtung, Bewegungsvorrichtung und Verfahren sowie Programm
US17/607,512 US20220212685A1 (en) 2019-05-07 2020-04-06 Information processing apparatus, moving apparatus, and method, as well as program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-087571 2019-05-07
JP2019087571 2019-05-07

Publications (1)

Publication Number Publication Date
WO2020226014A1 true WO2020226014A1 (ja) 2020-11-12

Family

ID=73050610

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/015524 Ceased WO2020226014A1 (ja) 2019-05-07 2020-04-06 情報処理装置、移動装置、および方法、並びにプログラム

Country Status (3)

Country Link
US (1) US20220212685A1 (ja)
DE (1) DE112020002261T5 (ja)
WO (1) WO2020226014A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023108455A1 (zh) * 2021-12-15 2023-06-22 华为技术有限公司 一种智能驾驶方法、装置及包括该装置的车辆
JPWO2024029269A1 (ja) * 2022-08-02 2024-02-08
JP2024155783A (ja) * 2023-04-19 2024-10-31 ソフトバンクグループ株式会社 電子機器
WO2024248067A1 (ja) * 2023-05-30 2024-12-05 株式会社 商船三井 航海支援システム
WO2025244082A1 (ja) * 2024-05-24 2025-11-27 株式会社デンソー 車両制御装置、車両制御方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019017253A1 (ja) * 2017-07-18 2019-01-24 パイオニア株式会社 制御装置、制御方法、およびプログラム
US10909866B2 (en) * 2018-07-20 2021-02-02 Cybernet Systems Corp. Autonomous transportation system and methods
US20220283798A1 (en) * 2019-08-06 2022-09-08 Nec Corporation Mobility control system, method, and program
KR20220063856A (ko) * 2020-11-10 2022-05-18 현대자동차주식회사 자율 주행 제어 방법 및 장치
US12325439B2 (en) * 2021-01-27 2025-06-10 Nec Corporation Vehicle-mounted apparatus, processing method, and non-transitory storage medium
CN115546449B (zh) * 2022-10-18 2023-04-14 甘肃省气象信息与技术装备保障中心 一种基于增强现实技术的气象装备培训系统
US12422845B2 (en) * 2022-11-10 2025-09-23 Htc Corporation Vehicle control system, head-mounted display device, and vehicle control method
JP2024141733A (ja) * 2023-03-29 2024-10-10 トヨタ自動車株式会社 運転支援装置、運転支援方法及び運転支援用コンピュータプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015198426A1 (ja) * 2014-06-25 2015-12-30 日産自動車株式会社 車両制御装置
JP2016012277A (ja) * 2014-06-30 2016-01-21 株式会社リコー 車両用通信装置、通信システム
JP2018144570A (ja) * 2017-03-02 2018-09-20 パナソニックIpマネジメント株式会社 運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、プログラム、運転支援システム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112010005666B4 (de) * 2010-06-16 2022-06-30 Toyota Jidosha Kabushiki Kaisha Fahrunterstützungsvorrichtung
JP6684714B2 (ja) * 2013-12-24 2020-04-22 ボルボ トラック コーポレイション 車両の運転者支援のための方法及びシステム
DE102016205142A1 (de) * 2016-03-29 2017-10-05 Volkswagen Aktiengesellschaft Verfahren, Vorrichtungen und Computerprogramm zum Initiieren oder Durchführen eines kooperativen Fahrmanövers
JP2018189616A (ja) 2017-05-11 2018-11-29 株式会社デンソーテン 運転支援装置、運転支援システムおよび運転支援方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015198426A1 (ja) * 2014-06-25 2015-12-30 日産自動車株式会社 車両制御装置
JP2016012277A (ja) * 2014-06-30 2016-01-21 株式会社リコー 車両用通信装置、通信システム
JP2018144570A (ja) * 2017-03-02 2018-09-20 パナソニックIpマネジメント株式会社 運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、プログラム、運転支援システム

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023108455A1 (zh) * 2021-12-15 2023-06-22 华为技术有限公司 一种智能驾驶方法、装置及包括该装置的车辆
JPWO2024029269A1 (ja) * 2022-08-02 2024-02-08
WO2024029269A1 (ja) * 2022-08-02 2024-02-08 株式会社デンソー 車両制御装置、問い合わせ方法、プログラム、及び車両制御システム
JP7790576B2 (ja) 2022-08-02 2025-12-23 株式会社デンソー 車両制御装置、問い合わせ方法、プログラム、及び車両制御システム
JP2024155783A (ja) * 2023-04-19 2024-10-31 ソフトバンクグループ株式会社 電子機器
WO2024248067A1 (ja) * 2023-05-30 2024-12-05 株式会社 商船三井 航海支援システム
WO2025244082A1 (ja) * 2024-05-24 2025-11-27 株式会社デンソー 車両制御装置、車両制御方法

Also Published As

Publication number Publication date
DE112020002261T5 (de) 2022-02-17
US20220212685A1 (en) 2022-07-07

Similar Documents

Publication Publication Date Title
WO2020226014A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
US20240294194A1 (en) Information processing apparatus, moving apparatus, and method, and program
US20250304121A1 (en) Information processing device, mobile device, information processing system, and method
JP7431223B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
JP7080598B2 (ja) 車両制御装置および車両制御方法
US20210155269A1 (en) Information processing device, mobile device, information processing system, method, and program
CN114981854B (zh) 信息处理装置、信息处理系统、信息处理方法和信息处理程序
JP7155122B2 (ja) 車両制御装置及び車両制御方法
US20210387640A1 (en) Information processing apparatus, information processing method, and program
WO2023277012A1 (ja) 情報処理システム及び情報処理装置
WO2021131474A1 (ja) 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム
US20230182747A1 (en) Information processing apparatus, information processing method, program and information processing terminal
US20240317304A1 (en) Information processing device and information processing system
WO2020241292A1 (ja) 信号処理装置、信号処理方法、プログラム、及び、撮像装置
CN116685516A (zh) 信息处理装置、信息处理方法和信息处理程序
JP7238193B2 (ja) 車両制御装置および車両制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20802331

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 20802331

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP