WO2017022195A1 - 運転支援装置、運転支援システム、運転支援方法及び自動運転車両 - Google Patents

運転支援装置、運転支援システム、運転支援方法及び自動運転車両 Download PDF

Info

Publication number
WO2017022195A1
WO2017022195A1 PCT/JP2016/003379 JP2016003379W WO2017022195A1 WO 2017022195 A1 WO2017022195 A1 WO 2017022195A1 JP 2016003379 W JP2016003379 W JP 2016003379W WO 2017022195 A1 WO2017022195 A1 WO 2017022195A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
command
unit
image
icon
Prior art date
Application number
PCT/JP2016/003379
Other languages
English (en)
French (fr)
Inventor
一成 山田
山地 治
梓 五條
梶田 哲史
森 敏昭
岡田 誠
Original Assignee
パナソニックIpマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックIpマネジメント株式会社 filed Critical パナソニックIpマネジメント株式会社
Priority to CN201680043621.5A priority Critical patent/CN107851395B/zh
Priority to US15/328,012 priority patent/US9828020B2/en
Priority to DE112016003498.9T priority patent/DE112016003498T5/de
Publication of WO2017022195A1 publication Critical patent/WO2017022195A1/ja
Priority to US15/793,762 priority patent/US10532763B2/en

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D1/00Steering controls, i.e. means for initiating a change of direction of the vehicle
    • B62D1/02Steering controls, i.e. means for initiating a change of direction of the vehicle vehicle-mounted
    • B62D1/22Alternative steering-control elements, e.g. for teaching purposes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22Display screens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/10Interpretation of driver requests or demands
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/025Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation
    • B62D15/0255Automatic changing of lane, e.g. for passing another vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B62LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62DMOTOR VEHICLES; TRAILERS
    • B62D15/00Steering not otherwise provided for
    • B62D15/02Steering position indicators ; Steering position determination; Steering aids
    • B62D15/025Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation
    • B62D15/026Active steering aids, e.g. helping the driver by actively influencing the steering system after environment evaluation combined with automatic distance control, i.e. electronic tow bar
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0486Drag-and-drop
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/11Instrument graphical user interfaces or menu aspects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/143Touch sensitive instrument input devices
    • B60K2360/1438Touch screens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146Instrument input by gesture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146Instrument input by gesture
    • B60K2360/14643D-gesture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146Instrument input by gesture
    • B60K2360/1468Touch gesture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/146Instrument input by gesture
    • B60K2360/1468Touch gesture
    • B60K2360/1472Multi-touch gesture
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/148Instrument input by voice
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/166Navigation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/167Vehicle dynamics information
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/171Vehicle or relevant part thereof displayed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/175Autonomous driving
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/179Distances to obstacles or vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18Information management
    • B60K2360/188Displaying information using colour changes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/21Optical features of instruments using cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/31Virtual images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/40Hardware adaptations for dashboards or instruments
    • B60K2360/48Sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04808Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Definitions

  • the present invention relates to a technique for assisting a driver with a driving operation instruction to a vehicle during automatic driving.
  • Level 1 is a driving support system that automatically performs one of acceleration, deceleration, and steering.
  • Level 2 is a driving support system that automatically performs two or more of acceleration, deceleration, and steering in harmony. is there. In either case, the driver remains involved in the driving operation.
  • the automation level 4 is a fully automatic traveling system that automatically performs all of acceleration, deceleration, and steering, and the driver is not involved in the driving operation.
  • the automation level 3 is a quasi-fully automatic traveling system in which acceleration, deceleration, and steering are all automatically performed, and a driver performs a driving operation as necessary.
  • the driver does not operate the existing driving operation unit such as steering and accelerator pedal, but by issuing commands to the vehicle side, specific driving operation such as lane change, overtaking, following driving, etc. Can be considered to the vehicle side.
  • specific driving operation such as lane change, overtaking, following driving, etc. Can be considered to the vehicle side.
  • a user interface with few erroneous operations is required.
  • An object of the present invention is to provide a technique by which a driver can intuitively and easily instruct a specific driving operation to a vehicle.
  • a driving support apparatus includes an image output unit, an operation signal input unit, and a command output unit.
  • the image output unit outputs an image including a host object representing the host vehicle and a surrounding situation of the host vehicle to the display unit.
  • the operation signal input unit accepts a gesture operation for moving the own vehicle object in the image displayed on the display unit to a position of a non-own vehicle object representing a predetermined target other than the own vehicle.
  • the command output unit controls automatic driving with a command for instructing to change the relative positional relationship between the host vehicle and the predetermined target, or a command for instructing output of a notification from the host vehicle to the predetermined target. Output to the automatic operation control unit.
  • any combination of the above-described components, the present invention converted between an apparatus, a system, a method, a program, a recording medium on which the program is recorded, a vehicle on which these are mounted, and the like are also effective as an aspect of the present invention. It is.
  • the driver can intuitively and easily instruct a specific driving operation to the vehicle.
  • FIG. 1 is a block diagram showing a configuration of a vehicle according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an example of a basic sequence of the detection unit, the automatic operation controller, the HMI controller, the display unit, and the input unit in FIG.
  • FIG. 3 is a diagram showing an example of a basic flowchart for explaining the processing of the HMI controller of FIG.
  • FIG. 4 is a flowchart for explaining the reception mode update process.
  • FIG. 5 is a flowchart illustrating an example of command determination processing when a gesture operation is input in step S9 of FIG.
  • FIG. 6 is a diagram illustrating an example of an automatic operation control command table.
  • FIG. 1 is a block diagram showing a configuration of a vehicle according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating an example of a basic sequence of the detection unit, the automatic operation controller, the HMI controller, the display unit, and the input unit in FIG.
  • FIG. 3 is a diagram showing
  • FIG. 7 is a flowchart showing an example of a gesture operation for dragging and dropping the own vehicle icon to another lane.
  • FIG. 8 is a diagram illustrating an example of a gesture operation according to the flowchart of FIG.
  • FIG. 9 is a flowchart illustrating an example of a gesture operation for flicking the vehicle icon.
  • FIG. 10A is a diagram illustrating an example of a gesture operation according to the flowchart of FIG.
  • FIG. 10B is a diagram illustrating an example of the gesture operation according to the flowchart of FIG. 9.
  • FIG. 11 is a flowchart illustrating an example of a gesture operation in which two points of the own vehicle icon and the other vehicle icon are touched and rotated.
  • FIG. 11 is a flowchart illustrating an example of a gesture operation in which two points of the own vehicle icon and the other vehicle icon are touched and rotated.
  • FIG. 12 is a diagram illustrating an example of a gesture operation according to the flowchart of FIG.
  • FIG. 13 is a flowchart illustrating an example of a gesture operation for dragging and dropping the own vehicle icon onto the other vehicle icon.
  • FIG. 14 is a diagram illustrating an example of a gesture operation according to the flowchart of FIG.
  • FIG. 15 is a flowchart illustrating an example of a gesture operation for pinching in / pinch out by touching two points of the own vehicle icon and the other vehicle icon during follow-up traveling.
  • FIG. 16 is a diagram illustrating an example of a gesture operation according to the flowchart of FIG. FIG.
  • FIG. 17 is a flowchart illustrating an example of a gesture operation for rotating by touching two points of the own vehicle icon and the other vehicle icon during the follow-up traveling.
  • FIG. 18 is a diagram illustrating an example of a gesture operation according to the flowchart of FIG.
  • FIG. 19 is a flowchart illustrating an example of a gesture operation for swiping the vehicle icon.
  • FIG. 20 is a diagram illustrating an example of a gesture operation according to the flowchart of FIG.
  • FIG. 21 is a flowchart showing an example of dragging and dropping the own vehicle icon onto a specific area (road guide sign).
  • FIG. 22 is a diagram illustrating an example of the gesture operation according to the flowchart of FIG. FIG.
  • FIG. 23 is a flowchart illustrating an example of a process of drawing a predicted trajectory / route candidate in step S9e of FIG.
  • FIG. 24 is a flowchart illustrating another example of the process of drawing the predicted trajectory / route candidate in step S9e of FIG.
  • FIG. 25A is a diagram illustrating an example of a gesture operation according to the flowchart of FIG.
  • FIG. 25B is a diagram illustrating an example of the gesture operation according to the flowchart of FIG.
  • FIG. 25C is a diagram illustrating an example of the gesture operation according to the flowchart of FIG.
  • FIG. 26 is a diagram illustrating an example of an error display screen.
  • FIG. 27 is a diagram illustrating a display example from when the own vehicle icon is dragged to when it is dropped on the other vehicle icon.
  • FIG. 28 is a diagram showing another display example from when the own vehicle icon is dragged to when it is dropped on the other vehicle icon.
  • FIG. 29 is a diagram illustrating a display example while the vehicle icon is being dragged in a case where there is a drop-impossible area or the like.
  • FIG. 30A is a diagram showing another display example when the vehicle icon is being dragged in the case where there is a drop-impossible area or the like.
  • FIG. 30B is a diagram illustrating another display example when the host vehicle icon is being dragged in a case where there is a drop-impossible area or the like.
  • FIG. 30C is a diagram illustrating another display example when the own vehicle icon is being dragged in a case where there is a drop-impossible area or the like.
  • FIG. 31 is a diagram illustrating a display example when the drag operation is disabled.
  • FIG. 32A is a diagram illustrating another display example when the drag operation is disabled.
  • FIG. 32B is a diagram showing another display example when the drag operation is disabled.
  • FIG. 33 is a diagram illustrating a first display example during control from when the own vehicle icon is dropped until the own vehicle completes overtaking.
  • FIG. 34 is a diagram showing a second display example during the control from when the own vehicle icon is dropped until the own vehicle completes overtaking.
  • FIG. 31 is a diagram illustrating a display example when the drag operation is disabled.
  • FIG. 32A is a diagram illustrating another display example when the drag operation is disabled.
  • FIG. 32B is a diagram showing another display example when the drag operation is disabled.
  • FIG. 33 is a diagram illustrating
  • FIG. 35 is a diagram illustrating a third display example during control from when the own vehicle icon is dropped until the own vehicle completes overtaking.
  • FIG. 36 is a diagram illustrating a fourth display example during control from when the own vehicle icon is dropped until the own vehicle completes overtaking.
  • FIG. 1 is a block diagram showing a configuration of a vehicle 1 according to an embodiment of the present invention, which is a configuration related to automatic driving.
  • a vehicle 1 (own vehicle) equipped with an automatic driving mode includes a driving support device (human machine interface (HMI (Human Machine Interface)) controller 10, an automatic driving control device (automatic driving controller) 20, a display device 30, A detection unit 40 and a driving operation unit 50 are included.
  • HMI Human Machine Interface
  • the display device 30 includes a display unit 31 and an input unit 32.
  • the display device 30 may be a head unit such as a car navigation system or display audio, may be a mobile terminal device such as a smartphone or a tablet, or may be a dedicated console terminal device.
  • the display unit 31 is a liquid crystal display, an organic EL (Electro-luminescence) display, or a head-up display (HUD).
  • the input unit 32 is a user interface that receives user input.
  • the display unit 31 and the input unit 32 may be an integrated touch panel display. In addition, it can accept gesture input at a predetermined distance from the display unit, such as a proximity touch panel that can detect the proximity of the hand on the touch panel or touch pad and the position of the finger by a hover operation. Also good.
  • the input unit 32 may include an input device that assists gesture input, such as a mouse, a stylus pen, or a trackball. A pen that emits visible light or infrared light may be used.
  • the display unit 31 and the input unit 32 may be physically separated instead of an integrated touch panel display.
  • the input unit 32 may be a non-contact type input device having a sensor such as a camera and capable of inputting an air gesture operation.
  • a non-contact type input device having a sensor such as a camera and capable of inputting an air gesture operation.
  • an operation method such as pointing with a pointing object, starting dragging with the gesture of closing the thumb and index finger close, and ending dragging with the gesture of releasing the thumb and index finger can be considered.
  • the driving support device 10 and the display device 30 may be connected by a wired communication such as a dedicated line or CAN (Controller Area Network), or may be USB, Ethernet (registered trademark), Wi-Fi (registered trademark). , Bluetooth (registered trademark) or the like may be connected by wired communication or wireless communication.
  • a wired communication such as a dedicated line or CAN (Controller Area Network), or may be USB, Ethernet (registered trademark), Wi-Fi (registered trademark). , Bluetooth (registered trademark) or the like may be connected by wired communication or wireless communication.
  • the detection unit 40 includes a position information acquisition unit 41, a sensor 42, a speed information acquisition unit 43, and a map information acquisition unit 44.
  • the position information acquisition unit 41 acquires the current position of the vehicle 1 from a GPS (Global Positioning System) receiver.
  • the sensor 42 is a general term for various sensors for detecting the situation outside the vehicle and the state of the vehicle 1. For example, a camera, a millimeter wave radar, a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging), a temperature sensor, a pressure sensor, a humidity sensor, an illuminance sensor, and the like are mounted as sensors for detecting the situation outside the vehicle.
  • the situation outside the vehicle is considered to be the environment around the host vehicle such as the road condition and the weather in which the host vehicle travels, and the travel position and travel state of other vehicles traveling around the host vehicle.
  • Any information outside the vehicle that can be detected by the sensor may be used.
  • an acceleration sensor, a gyro sensor, a geomagnetic sensor, a tilt sensor, and the like are mounted as sensors for detecting the state of the vehicle 1.
  • the speed information acquisition unit 43 acquires the current speed of the vehicle 1 from the vehicle speed sensor.
  • the map information acquisition unit 44 acquires map information around the current position of the vehicle 1 from the map database.
  • the map database may be recorded on a recording medium in the vehicle 1, or may be downloaded from a map server via a network when used.
  • the detection unit 40 and the automatic operation control device 20 are connected by wired communication such as a dedicated line, USB, Ethernet (registered trademark), CAN (Controller Area Network).
  • the data acquired and detected by the detection unit 40 may be directly output from the detection unit 40 to the driving support device 10.
  • the driving operation unit 50 includes a steering 51, a brake pedal 52, an accelerator pedal 53, and a turn signal switch 54.
  • acceleration, deceleration, steering, and blinker blinking are objects of automatic control by the automatic driving control device 20, and FIG. 1 shows an operation unit for performing these controls manually. I'm drawing. In addition, you may output the information which the driver
  • FIG. 1 shows an operation unit for performing these controls manually.
  • Steering 51 is an operation unit for steering the vehicle.
  • the steering actuator can be electronically controlled by a steering ECU (Electronic Control Unit).
  • the brake pedal 52 is an operation unit for decelerating the vehicle 1.
  • the brake actuator can be electronically controlled by the brake ECU.
  • the accelerator pedal 53 is an operation unit for accelerating the vehicle 1.
  • the accelerator pedal 53 is depressed by the driver, the engine speed and / or the motor speed are controlled via the accelerator actuator.
  • the engine speed is controlled in a pure engine car, the motor speed is controlled in a pure electric car, and both are controlled in a hybrid car.
  • the accelerator actuator can be electronically controlled by at least one of the engine ECU and the motor ECU.
  • the turn signal switch 54 is an operation unit for blinking the turn signal for notifying the outside of the vehicle path.
  • the turn signal switch 54 is turned on / off by the driver, the turn signal is turned on / off via the turn signal controller.
  • the winker controller has a drive circuit such as a relay for controlling power feeding to the winker lamp.
  • the steering ECU, brake ECU, engine ECU, motor ECU, turn signal controller 20 and the automatic driving control device 20 are connected by wired communication such as CAN or a dedicated line.
  • the steering ECU, the brake ECU, the engine ECU, the motor ECU, and the winker controller each transmit a status signal indicating the status of the steering, the brake, the engine, the motor, and the winker lamp to the automatic driving control device 20.
  • each of the steering ECU, the brake ECU, the engine ECU, and the motor ECU drives a corresponding actuator in accordance with a control signal supplied from the automatic driving control device 20.
  • a configuration in which an instruction is directly mechanically transmitted from the steering 51, the brake pedal 52, and the accelerator pedal 53 to the corresponding actuator, or electronic control via the corresponding ECU is interposed. It may be configured to.
  • the winker controller turns on / off the winker lamp in response to a control signal supplied from the automatic operation control device 20 or an instruction signal from the winker switch 54.
  • the automatic operation control device 20 is an automatic operation controller that implements an automatic operation control function, and includes a control unit 21, a storage unit 22, and an input / output unit 23.
  • the configuration of the control unit 21 can be realized by cooperation of hardware resources and software resources, or only by hardware resources.
  • Processors, ROM (Read Only Memory), RAM (Random Access Memory), and other LSIs (Large Scale Integrated Circuits) can be used as hardware resources, and programs such as operating systems, applications, and firmware can be used as software resources.
  • the storage unit 22 includes a nonvolatile recording medium such as a flash memory.
  • the input / output unit 23 executes various communication controls corresponding to various communication formats.
  • the control unit 21 applies various parameter values collected from the detection unit 40 and various ECUs to the automatic driving algorithm, and calculates a control value for controlling an automatic control target such as a traveling direction of the vehicle 1.
  • the control unit 21 transmits the calculated control value to each control target ECU or controller. In this embodiment, it is transmitted to a steering ECU, a brake ECU, an engine ECU, and a winker controller. In the case of an electric vehicle or a hybrid car, the control value is transmitted to the motor ECU instead of or in addition to the engine ECU.
  • the driving support device 10 is an HMI (Human Machine Interface) controller for executing an interface function between the vehicle 1 and the driver, and includes a determination unit 11, an image generation unit 12, an instruction unit 13, and an input / output unit 14. Have.
  • the determination unit 11, the image generation unit 12, and the instruction unit 13 can be realized by cooperation of hardware resources and software resources, or only by hardware resources.
  • Processors, ROM, RAM, and other LSIs can be used as hardware resources, and programs such as an operating system, application, and firmware can be used as software resources.
  • the input / output unit 14 executes various communication controls according to various communication formats.
  • the input / output unit 14 includes an image output unit 14a, an operation signal input unit 14b, a command output unit 14c, and a vehicle information input unit 14d.
  • the image output unit 14 a outputs the image generated by the image generation unit 12 to the display unit 31.
  • the operation signal input unit 14 b receives an operation signal generated by the driver, an occupant, or a user outside the vehicle made to the input unit 32 and outputs the operation signal to the determination unit 11.
  • the command output unit 14 c outputs the command instructed by the instruction unit 13 to the automatic operation controller 20.
  • the vehicle information input unit 14 d receives detection data acquired by the detection unit 40 and vehicle-side information generated by the automatic driving controller 20 and outputs the information to the image generation unit 12.
  • the automatic operation controller 20 and the HMI controller 10 are directly connected by a signal line.
  • the structure connected via CAN may be sufficient.
  • a configuration is possible in which the automatic operation controller 20 and the HMI controller 10 are integrated into one controller.
  • FIG. 2 is a diagram illustrating an example of a basic sequence of the detection unit 40, the automatic operation controller 20, the HMI controller 10, the display unit 31, and the input unit 32 of FIG.
  • the detection unit 40 detects the vehicle position information, the vehicle traveling road information, and the vehicle surrounding information and outputs the detected information to the automatic driving controller 20 (P1).
  • the automatic driving controller 20 outputs the vehicle position information, the vehicle traveling road information, and the vehicle surrounding information acquired from the detection unit 40 to the HMI controller 10 (P2).
  • the HMI controller 10 generates a schematic diagram including the host vehicle and the surrounding situation of the host vehicle based on the information acquired from the automatic driving controller 20 (P3).
  • the HMI controller 10 outputs the generated schematic diagram to the display device 30 and displays it on the display unit 31 (P4).
  • the user who sees the schematic diagram displayed on the display unit 31 contacts the input unit 32 (P5).
  • the display unit 31 outputs the coordinate data in which contact is detected to the HMI controller 10 (P6).
  • the HMI controller 10 determines the type of command based on the coordinate data acquired from the display device 30 (P7).
  • the HMI controller 10 accepts additional inputs until a predetermined time has elapsed (P8 to P12).
  • the HMI controller 10 regenerates a schematic diagram indicating that the command is being instructed (P8).
  • the HMI controller 10 outputs the regenerated schematic diagram to the display device 30 and displays it on the display unit 31 (P9).
  • a schematic diagram including an error message is generated and output to the display device 30 and displayed on the display unit 31.
  • the display unit 31 When the user who sees the schematic diagram showing that the command is being instructed touches the input unit 32 (P10), the display unit 31 outputs the coordinate data in which the contact is detected to the HMI controller 10 (P11).
  • the HMI controller 10 executes additional command processing based on the coordinate data acquired from the display device 30 (P12). If there is no new command input in the additional command processing (P12), the HMI controller 10 issues the command determined in P7 to the automatic operation controller 20 (P13, P14). When a new command is input in the additional command process (P12), the new command is issued to the automatic operation controller 20. If the newly input command is a cancel command, cancel the command issue.
  • the automatic operation controller 20 may perform overwriting / cancellation processing of the original command with a new command. In this case, the HMI controller 10 transmits a command to the automatic operation controller 20 after the command determination process in P7 and P12, and performs an overwrite / cancel process according to the internal state of the automatic operation controller 20.
  • the detection unit 40 periodically detects the vehicle position information, the vehicle traveling road information, and the vehicle surrounding information and outputs them to the automatic driving controller 20 (P15). Based on the information, the automatic operation controller 20 determines whether or not the control instructed by the command issued from the HMI controller 10 can be executed (P16). If it can be executed, the automatic operation controller 20 outputs a control start notification to the HMI controller 10 (P17). Upon receiving the control start notification, the HMI controller 10 regenerates a schematic diagram including a message indicating that control is being performed (P18). The HMI controller 10 outputs the regenerated schematic diagram to the display device 30 and displays it on the display unit 31 (P19).
  • the automatic operation controller 20 applies various parameter values collected from the detection unit 40 and various ECUs to the automatic operation algorithm, and sets control values for controlling the operation unit 50 in order to execute the issued command. It is calculated and transmitted to each ECU or controller to be controlled.
  • the control value is a specific value for realizing an automatic control target such as a traveling direction of the vehicle 1.
  • the driving operation unit 50 operates based on specific control values. The driving operation unit 50 determines that the command execution is completed when the predetermined control value or the detection data of the detection unit 40 becomes a predetermined value (range) and the automatic operation controller 20 determines that the condition of the issued command is satisfied. .
  • the HMI controller 10 When the HMI controller 10 receives a control completion notification from the automatic operation controller 20, the HMI controller 10 generates a schematic diagram including a message indicating that the control is completed and outputs the schematic diagram to the display device 30. During a period in which no operation is accepted from the user, a schematic diagram including a message indicating that no operation is accepted is generated and output to the display device 30.
  • FIG. 3 is a diagram showing an example of a basic flowchart for explaining the processing of the HMI controller 10 of FIG.
  • the determination unit 11 of the HMI controller 10 checks whether the operation mode is the automatic operation mode or the manual operation mode (S1). In the case of the manual operation mode (N in S2), the process is terminated. In the case of the automatic operation mode (Y in S2), the following process is performed.
  • the sensor information input from the detection unit 40 to the automatic operation controller 20 is updated as needed (S3).
  • the image generation unit 12 of the HMI controller 10 is a schematic diagram including the own vehicle and the surrounding situation of the own vehicle based on the own vehicle position information, the own vehicle traveling road information, and the own vehicle surrounding information input from the automatic operation controller 20.
  • the generated schematic diagram is drawn on the display unit 31 (S4).
  • the determination unit 11 checks whether the reception mode is an acceptable mode in which an operation from the user can be accepted or an unacceptable mode in which an operation from the user cannot be accepted (S5). If it is in the unacceptable mode (N in S6), the process ends.
  • the determination unit 11 determines whether or not there is a user's contact with the input unit 32 (S7). When there is no contact (N of S8), the fixed time passage determination process (S12) described later is executed. When there is contact (Y in S8), the determination unit 11 determines a control command in accordance with a gesture operation input by the user (S9). Details of this control command determination process will be described later.
  • step S9 If the control command determined in step S9 is not a cancel command (N in S10), the image generation unit 12 displays a command instruction on the display unit 31 (S11).
  • the display unit 31 displays that the operation cannot be accepted (S14), and the determination unit 11 updates the acceptance mode from the acceptable mode to the unacceptable mode (S15), and the instruction unit 13 outputs the determined control command to the automatic operation controller 20 (S16).
  • a predetermined time elapses N in S12
  • the process proceeds to step S3.
  • step S10 when the determined control command is a cancel command (Y in S10), cancel is displayed (S110), and the process is terminated.
  • step S13 if there is no control command determined in step S9 (N in S13), an input error is displayed (S111), and the process is terminated.
  • the automatic operation controller 20 periodically detects the vehicle position information, the vehicle traveling road information, and the vehicle surrounding information from the detection unit 40. Since the surrounding situation changes from moment to moment, it may be determined that the control command cannot be executed after the control command is output to the automatic operation controller 20. For example, there is a case where another vehicle has interrupted between the own vehicle and another vehicle after the follow-up instruction.
  • the image generation unit 12 displays on the display unit 31 that the control is being performed (S18), activates a timer, and starts counting. (S19). If the automatic operation controller 20 determines that control is impossible (N in S17), the image generation unit 12 displays an uncontrollable error on the display unit 31 (S112).
  • FIG. 4 is a flowchart for explaining the reception mode update process.
  • the determination unit 11 of the HMI controller 10 updates the reception mode from the unacceptable mode to the acceptable mode (S114).
  • the count value of the timer may be changed according to the surrounding situation of the own vehicle.
  • the determination unit 11 receives a notification indicating the completion of control from the automatic driving controller 20 or determines from the behavior of the vehicle 1 that the control according to the control command is completed, the reception mode can be received from the unacceptable mode. You may update to mode.
  • FIG. 5 is a flowchart showing an example of command determination processing when a gesture operation is input in step S9 of FIG.
  • the image generation unit 12 draws a droppable area in the schematic diagram and displays it on the display unit 31 (S9b).
  • the determination unit 11 receives the touch event generated at the input unit 32 (S9c), and determines the type of the touch event (S9d).
  • the image generation unit 12 draws the predicted trajectory / route candidate of the vehicle 1 in the schematic diagram and causes the display unit 31 to display it. (S9e). Thereafter, the process returns to step S9c.
  • the determination unit 11 determines the type of gesture operation. Typical gesture operations include drag and drop, flick, swipe, pinch in / pinch out, and rotation.
  • the determination unit 11 determines the type of gesture operation based on the time series transition of touch events (S9f). Specifically, drag and drop, flick, and swipe are distinguished based on the stay time at the contact start position, the moving speed after the start of movement, and the stay time at the contact end position. If there are two contact points and the distance between the two points changes by a predetermined distance or more, it is determined that the pinch-in / pinch-out. When the distance between the two points does not change more than a predetermined distance and the position of the two points changes, it is determined that the rotation has occurred.
  • the determination unit 11 refers to the automatic operation control table using the number of contact points, the contact start position, the contact end position, and the gesture type as keys (S9g). When there is a control command that matches the four keys in the automatic operation control command table (Y in S9h), the determination unit 11 determines the control command to be issued to the automatic operation controller 20 (S9i). When there is no control command matching the four keys in the automatic operation control command table (N in S9h), the image generation unit 12 displays an error message on the display unit 31 (S9s).
  • FIG. 6 is a diagram illustrating an example of the automatic operation control command table 11a.
  • the automatic operation control command table 11a is constructed in the determination unit 11.
  • the automatic driving control command table 11a shown in FIG. 6 defines other vehicle marks, emergency vehicle marks, pedestrian marks, lanes, shoulders, intersections, and specific areas as contact end positions. Drag and drop, flick / swipe, pinch in / pinch out, and rotation are defined as gesture operations.
  • a command for instructing follow-up / training is issued.
  • an emergency vehicle such as an ambulance
  • a command for instructing a left-justified temporary stop is issued.
  • a command for instructing a right-justified temporary stop is issued.
  • a command for instructing to stop beside the pedestrian is issued.
  • a command for instructing a lane change to the lane is issued if the vehicle is not near the intersection. If the dropped lane is in the vicinity of the intersection and the dropped lane is a right turn lane, a command for issuing a lane change to the right turn lane and a right turn is issued. When the dropped lane is near the intersection and the dropped lane is a left turn lane, a command for instructing a lane change to the left turn lane and a left turn is issued.
  • a command is issued instructing parking on the shoulder.
  • a command for instructing a right turn is issued.
  • a command for instructing a left turn is issued.
  • a command corresponding to the specific area is issued. For example, a command for instructing temporary saving to a specific area is issued.
  • a command for instructing a route change to the destination corresponding to the place name or area name is issued.
  • a command for instructing setting of a transit point corresponding to a place name or area name may be issued.
  • the specific area is an area in which a road or a road name in the road information sign is displayed, a command for instructing a route change to a route passing through the road is issued.
  • a command instructing to get off from the exit may be issued.
  • a command for instructing a change in the vehicle speed may be issued according to the moving direction and moving distance of the own vehicle mark. For example, the speed may be increased by swiping upward, swiping downward by decreasing speed, and the speed change amount increasing as the moving distance increases.
  • a command for instructing a change in the inter-vehicle distance from the preceding vehicle may be issued according to the moving direction and moving distance of the own vehicle mark. For example, swipe up to reduce the inter-vehicle distance, swipe down to increase the inter-vehicle distance, and the distance change amount may increase as the moving distance increases.
  • a lane change instruction to the lane may be issued.
  • the user flicks / swipes the own vehicle mark if the flicked / swipe lane is in the vicinity of the intersection and the right turn lane, a command for instructing a lane change to the right turn lane and a right turn is issued. If the lane flicked / swipe in the vicinity of the intersection is a left turn lane, a command for instructing a lane change to the left turn lane and a left turn is issued.
  • a command for instructing a vehicle speed change is issued in accordance with a distance change between the two points.
  • the speed may be reduced by pinching in
  • the speed may be increased by pinching out
  • the speed change amount may be increased as the distance between the two points increases.
  • the setting may be such that the distance change amount increases as the distance between the two points increases as the distance between the two points increases as the distance between the vehicles decreases by pinching in, the distance between the vehicles increases by pinching out.
  • the distance between the vehicle and the other vehicle is temporarily changed. A command for instructing is issued. In this case, even if the distance between the host vehicle and the other vehicle changes over time, the control for keeping the distance between the vehicles constant does not work.
  • a command for instructing a right turn or a left turn is issued according to the direction of rotation. Further, when the user touches and rotates two points in the own vehicle mark and is in the vicinity of the parking space, a command for instructing the direction change of the own vehicle is issued according to the rotation direction.
  • a command is issued instructing to switch the position of the own vehicle and the other vehicle.
  • a command for instructing the own vehicle to pass the other vehicle is issued.
  • the specific control method related to the command may be changed according to the context. For example, when the user moves the vehicle mark before the preceding vehicle (other vehicle) mark, the command is also an overtaking command, but a combination in which the method of overtaking changes depending on the context may be used. . For example, it is normal to overtake from the right lane due to Japanese traffic rules, but if there are no other vehicles traveling in the left lane, it may be overtaken from the left lane. Further, it may be overtaken by a route that matches the driver's preference with reference to personal preference data.
  • a specific control method related to the command may be, for example, a route, an execution timing, a speed, and the like.
  • a command including the specific control method is sent to the automatic operation controller 20. You may send to.
  • a specific control method may be determined on the automatic operation controller 20 side. Further, specific control method choices determined by the HMI controller 10 or the automatic operation controller 20 are displayed on the display unit 31 or the driver is audibly / tactilely notified by a notifying unit including a speaker and a vibration unit (not shown). The driver may be notified or the driver may select.
  • the automatic operation control command table 11a shown in FIG. 6 described above is a combination in which the content of the command changes depending on the context even if the number of contact points, the contact start position, the contact end position, and the gesture type are the same.
  • Contains The environment information around the own vehicle is referred to as the context, and for example, the relative position with other vehicles, the presence / absence of lanes, the presence / absence of an intersection, whether the vehicle is following / partitioning, the direction of the own vehicle, and the like are referred to.
  • the design may be such that the command is uniquely determined only by the number of contact points, the contact start position, the contact end position, and the gesture type without referring to the context. For example, when the user flicks / swipes the vehicle mark, a command for instructing a speed change may be issued globally regardless of the surrounding environment of the vehicle.
  • FIG. 7 is a flowchart showing an example of a gesture operation for dragging and dropping the vehicle icon to another lane.
  • the determination unit 11 of the HMI controller 10 receives a touch event (DOWN) from the touch panel (S20).
  • the touch event (DOWN) is an event indicating a change from a non-contact state to a contact state with a finger or a pen on the touch panel.
  • the determination unit 11 determines whether or not the coordinate at which the touch event (DOWN) is detected is within the display area of the vehicle icon (S21). If it is outside the display area (N in S21), it is determined that it is not a lane change instruction, and the process ends.
  • the determination unit 11 receives a touch event (MOVE) from the touch panel (S22).
  • a touch event (MOVE) is an event that represents a change from a contact state of a point on the touch panel with a finger or a pen to a contact state of another point.
  • the determination unit 11 receives a touch event (UP) from the touch panel (S23).
  • the touch event (UP) is an event representing a change from a contact state with a finger or a pen to the touch panel to a non-contact state.
  • the determination unit 11 determines whether or not the coordinate where the touch event (UP) is detected is another lane in the same traveling direction (S24). If it is another lane (Y in S24), the instruction unit 13 issues a lane change instruction command to the automatic driving controller 20 (S25). If it is not another lane (N in S24), it is determined that it is not a lane change instruction, and the process ends.
  • FIG. 8 is a diagram showing an example of the gesture operation according to the flowchart of FIG.
  • the first lane L1 and the second lane L2 are displayed, and the vehicle icon V1 is displayed on the first lane L1.
  • Various display forms are conceivable as display forms of the surrounding situation including the own vehicle and the road.
  • a live-action image may be used, or a precise CG image or animation image may be used.
  • the display of the own vehicle is not limited to icons, and may be displayed with simpler marks and characters, or may be displayed with a live-action image. That is, the object may be displayed on the screen in some display form.
  • FIG. 9 is a flowchart showing an example of a gesture operation for flicking the vehicle icon.
  • the determination unit 11 of the HMI controller 10 receives a touch event (DOWN) from the touch panel (S20).
  • the determination unit 11 determines whether or not the coordinate at which the touch event (DOWN) is detected is within the display area of the vehicle icon (S21). If it is outside the display area (N in S21), it is determined that it is not a lane change instruction, and the process ends.
  • the determination unit 11 determines whether there are a plurality of lanes that can travel in the traveling direction of the host vehicle (S212). When there are a plurality of lanes (Y in S212), the image generation unit 12 generates a drop area for instructing lane change to a lane where the vehicle can travel on the left and / or right of the vehicle icon and displays the drop area on the touch panel ( S213). If there are no multiple lanes (N in S212), the process in step S213 is skipped.
  • the determination unit 11 determines whether or not there is an intersection within a certain distance in the traveling direction (S214). When there is an intersection (Y in S214), the image generation unit 12 is on the left and / or right of the own vehicle icon or the lane change instruction drop area, and the drop area for the course change instruction in the direction in which the course can be changed at the intersection. Is generated and displayed on the touch panel (S215). When there is no intersection (N of S214), the process of step S215 is skipped.
  • the determination unit 11 receives a touch event (UP) from the touch panel (S216). The determination unit 11 determines whether or not the coordinates where the touch event (UP) is detected are within the drop area (S217). If it is not in the drop area (N in S217), it is determined that it is not a lane change instruction, and the process ends. When the coordinates at which the touch event (UP) is detected are within the lane change instruction drop area (lane change instruction drop area in S217), the instruction unit 13 issues a lane change instruction command to the automatic driving controller 20 ( S218). When the coordinates at which the touch event (UP) is detected are within the route change instruction drop area (the route change instruction drop area in S217), the instruction unit 13 issues a route change instruction command to the automatic operation controller 20 ( S219).
  • FIGS. 10A and 10B are diagrams illustrating an example of the gesture operation according to the flowchart of FIG.
  • the driver wants to change the lane from the first lane L1 to the second lane L2, as shown in (a) of FIG. 10A, the driver touches the own vehicle icon V1 on the first lane L1.
  • a lane change instruction drop area A1 for the second lane L2 is displayed as shown in FIG. 10B (b).
  • the user flicks to the drop area A1, a lane change instruction command to the second lane L2 is issued.
  • a drop area A1 for instructing lane change to the right lane as shown in (b) of FIG. 10B, A drop area A2 for instructing a lane change to the left lane, a drop area A3 for instructing a right turn, and a drop area A4 for instructing a left turn are displayed.
  • the user flicks to one of the drop areas a corresponding command is issued.
  • FIG. 11 is a flowchart showing an example of a gesture operation for rotating by touching two points of the own vehicle icon and the other vehicle icon.
  • the determination unit 11 of the HMI controller 10 receives two touch events (DOWN) from the touch panel (S38). The determination unit 11 determines whether the coordinate of one point where the touch event (DOWN) is detected is within the display area of the vehicle icon (S39). If it is outside the display area of the own vehicle icon (N in S39), it is determined that it is not an overtaking instruction, and the process is terminated.
  • the determination unit 11 determines that the coordinate of the other one point where the touch event (DOWN) is detected is inside the display area of the other vehicle (preceding car) icon. It is determined whether or not (S310). If it is outside the display area of the other vehicle (preceding vehicle) icon (N in S310), it is determined that it is not an overtaking instruction, and the process is terminated.
  • the determination unit 11 receives a touch event (MOVE) from the touch panel (S311). Thereafter, the determination unit 11 receives two touch events (UP) from the touch panel (S312). The determination unit 11 determines whether or not the coordinate where the touch event (UP) of the own vehicle icon is detected is a front area of the coordinate where the touch event (UP) of the other vehicle icon is detected (S313).
  • the instruction unit 13 issues an overtaking instruction command for overtaking the other vehicle related to the other vehicle (preceding vehicle) icon to the automatic operation controller 20 ( S314).
  • the own vehicle icon is not in front of the other vehicle icon (N in S313), it is determined that it is not an overtaking instruction, and the process ends.
  • FIG. 12 is a diagram showing an example of the gesture operation according to the flowchart of FIG.
  • the driver wants to pass another vehicle, as shown in FIG. 12 (a)
  • the driver touches the own vehicle icon V1 and the other vehicle icon V2 with two fingers, and (b)-(c) in FIG. )
  • the vehicle icon V1 and the other vehicle icon V2 are interchanged before and after and dropped.
  • an overtaking instruction command is issued.
  • the gesture operation for issuing the overtaking instruction command may be an operation for changing the relative position of the vehicle icon and the other vehicle icon other than those described above.
  • FIG. 13 is a flowchart showing an example of a gesture operation for dragging and dropping the own vehicle icon onto the other vehicle icon.
  • the determination unit 11 of the HMI controller 10 receives a touch event (DOWN) from the touch panel (S40).
  • the determination unit 11 determines whether or not the coordinate at which the touch event (DOWN) is detected is within the display area of the vehicle icon (S41). When it is outside the display area of the own vehicle icon (N in S41), it is determined that it is not a follow-up instruction, and the process is terminated.
  • the determination unit 11 receives a touch event (MOVE) from the touch panel (S42). Thereafter, the determination unit 11 receives a touch event (UP) from the touch panel (S43).
  • MOVE touch event
  • UP touch event
  • the determination unit 11 determines whether or not the coordinate where the touch event (UP) is detected is inside the display area of the other vehicle icon (S44). When it is inside the display area of the other vehicle icon (Y of S44), the instruction unit 13 issues a follow instruction command for following the other vehicle related to the other vehicle icon to the automatic driving controller 20 (S45).
  • the image generation unit 12 displays a tracking icon indicating that the host vehicle is following the other vehicle between the host vehicle icon and the other vehicle icon in the schematic diagram (S46). If the coordinates at which the touch event (UP) is detected are outside the display area of the other vehicle icon (N in S44), it is determined that the command is not a follow instruction command, and the process ends.
  • FIG. 14 is a diagram illustrating an example of a gesture operation according to the flowchart of FIG.
  • the driver wants to follow the other vehicle, drag the own vehicle icon V1 as shown in FIG. 14 (a), and place the own vehicle icon V1 on the other vehicle icon V2 as shown in FIG. 14 (b). Drop it. Accordingly, a follow instruction command is issued, and a follow icon F1 indicating that the own vehicle is following the other vehicle is running between the own vehicle icon V1 and the other vehicle icon V2, as shown in FIG. It will be displayed.
  • the follow-up icon F1 may be an icon representing the state of association between the own vehicle and another vehicle, such as a spring or a string, an arrow pointing to the two, or a character description such as following.
  • the display position may be other than between the own vehicle icon and the other vehicle icon.
  • the gesture operation for issuing the follow instruction command may be an operation of linking the own vehicle icon and the other vehicle icon other than those described above.
  • FIG. 15 is a flowchart showing an example of a gesture operation for pinching in / pinch out by touching two points of the own vehicle icon and the other vehicle icon during follow-up traveling.
  • the determination unit 11 of the HMI controller 10 receives two touch events (DOWN) from the touch panel (S412).
  • the determination unit 11 determines whether or not the coordinate at which the first touch event (DOWN) is detected is within the display area of the vehicle icon (S413). When it is outside the display area of the own vehicle icon (N in S413), it is determined that it is not an inter-vehicle distance change instruction, and the process is terminated.
  • the determination unit 11 determines that the coordinates at which the second touch event (DOWN) is detected are It is determined whether it is inside the display area of the other vehicle icon (S414). If it is outside the display area of the other vehicle icon (N in S414), it is determined that it is not an inter-vehicle distance change instruction, and the process ends.
  • the determination unit 11 When the coordinates where the second touch event (DOWN) is detected are inside the display area of the other vehicle icon (Y in S414), the determination unit 11 receives the touch event (MOVE) from the touch panel (S415). Thereafter, the determination unit 11 receives two touch events (UP) from the touch panel (S416). The determination unit 11 includes a distance between the third coordinate and the fourth coordinate where the touch event (UP) is detected, and a distance between the first coordinate and the second coordinate where the touch event (DOWN) is detected. Are compared (S417).
  • the instruction unit 13 issues a following inter-vehicle distance change instruction command for changing the distance between the own vehicle and the other vehicle that is following the vehicle to the automatic operation controller 20 (S418). .
  • the image generation unit 12 changes the inter-vehicle distance between the own vehicle icon and the other vehicle icon in the schematic diagram (S419).
  • both distances are the same (N of S417), it determines with it not being an inter-vehicle distance change instruction
  • FIG. 16 is a diagram illustrating an example of the gesture operation according to the flowchart of FIG.
  • the driver wants to change the inter-vehicle distance between the own vehicle and the other vehicle that is following the vehicle
  • the user touches the own vehicle icon V1 and the other vehicle icon V2 with two fingers as shown in FIG.
  • an inter-vehicle distance change instruction command for shortening the inter-vehicle distance between the host vehicle and the other vehicle is issued.
  • the inter-vehicle distance after the change is determined according to the distance between the host vehicle icon V1 and the other vehicle icon V2.
  • 16C shows a schematic diagram after the inter-vehicle distance is changed, and the inter-vehicle distance between the host vehicle icon V1 and the other vehicle icon V2 is shorter than that in FIG.
  • an inter-vehicle distance change instruction command for increasing the inter-vehicle distance between the host vehicle and the other vehicle is issued.
  • the gesture operation for issuing the inter-vehicle distance change instruction command may be an operation with one finger other than the pinch operation with two fingers, and an operation for changing the distance between the own vehicle icon and the other vehicle icon. If it is.
  • FIG. 17 is a flowchart showing an example of a gesture operation for rotating by touching two points of the own vehicle icon and the other vehicle icon during follow-up running.
  • the processing from step S412 to step S416 is the same as the flowchart of FIG.
  • the determination unit 11 determines that the center point between the third coordinate and the fourth coordinate where the touch event (UP) is detected is the center between the first coordinate and the second coordinate where the touch event (DOWN) is detected. It is determined whether or not the point is the same (S427). If they are the same (Y in S427), the instruction unit 13 issues a follow-up release instruction command for releasing the follow-up running in which the host vehicle is following another vehicle to the automatic operation controller 20 (S428).
  • the instruction unit 13 transmits another vehicle follow-up instruction command for causing the other vehicle to follow the own vehicle to the other vehicle via inter-vehicle communication (S429).
  • another vehicle following instruction command may be transmitted to another vehicle via the relay device.
  • the image generation unit 12 replaces the own vehicle (following vehicle) icon and the other vehicle (followed vehicle) icon in the schematic diagram (S430). If the positions of the two center points are different in step S427 (N in S427), it is determined that the vehicle replacement instruction is not being followed, and the process is terminated.
  • FIG. 18 is a diagram illustrating an example of a gesture operation according to the flowchart of FIG.
  • the driver wants to swap the positions of the own vehicle and the other vehicle that are following the vehicle
  • the user touches the own vehicle icon V1 and the other vehicle icon V2 with two fingers as shown in FIG. From this state, as shown in FIG. 18B, two fingers are rotated so that the vehicle icon V1 and the other vehicle icon V2 are interchanged.
  • a command for exchanging the positions of the own vehicle and the other vehicle that is following the vehicle is issued.
  • (C) of FIG. 18 shows a schematic diagram after the vehicle replacement, and the positions of the own vehicle icon V1 and the other vehicle icon V2 are reversed as compared to (a) of FIG.
  • the virtual line L10 and the center point C2 of the host vehicle icon V1 and the other vehicle icon V2 are displayed in the schematic diagram, but the virtual line L10 and the center point are displayed. An example in which C2 is not displayed is also possible.
  • an operation for canceling the association between the vehicle icon and the other vehicle icon other than the above may be used.
  • the gesture operation for issuing the following relationship change instruction command may be an operation for switching the following relationship between the vehicle icon and the other vehicle icon other than those described above.
  • the own vehicle icon and the other vehicle icon may be displayed by switching the own vehicle icon or the other vehicle icon or between them, and pressing the replacement button. Furthermore, after it becomes a follow-up relationship, the automatic operation controller 20 may periodically perform control.
  • FIG. 19 is a flowchart showing an example of a gesture operation for swiping the vehicle icon.
  • the determination unit 11 of the HMI controller 10 receives a touch event (DOWN) from the touch panel (S431).
  • the determination unit 11 determines whether or not the coordinate at which the touch event (DOWN) is detected is within the display area of the vehicle icon (S432). When it is outside the display area of the own vehicle icon (N in S432), it is determined that it is not an inter-vehicle distance setting instruction, and the process ends.
  • the determination unit 11 receives a touch event (MOVE) from the touch panel (S433).
  • the image generation unit 12 displays the inter-vehicle distance between the own vehicle and the other vehicle in the schematic diagram (S434). While the touch event (UP) is not received from the touch panel (N in S435), the process proceeds to step S433, and the reception of the touch event (MOVE) and the display of the inter-vehicle distance information are continued (S433, S434). That is, as the distance between the own vehicle icon and the other vehicle icon is changed, the image generation unit 12 updates the inter-vehicle distance information in the schematic diagram in real time.
  • the determination unit 11 When the touch event (UP) is received from the touch panel (Y in S435), the determination unit 11 has the coordinates where the touch event (UP) is detected on the same lane as the own vehicle icon and behind the other vehicle icon. It is determined whether or not (S436). If it is behind the other vehicle icon on the same lane (Y in S436), the instruction unit 13 automatically issues an inter-vehicle distance setting instruction command for setting the inter-vehicle distance according to the distance between the own vehicle icon and the other vehicle icon. It is issued to the operation controller 20 (S437). The image generation unit 12 displays the set inter-vehicle distance information in the schematic diagram (S438). If the coordinate at which the touch event (UP) is detected is not behind the other vehicle icon on the same lane (N in S436), it is determined that it is not an inter-vehicle distance setting instruction, and the process ends.
  • FIG. 20 is a diagram illustrating an example of the gesture operation according to the flowchart of FIG.
  • the vehicle icon V1 is swiped upward or downward as shown in FIG. 20 (b) as shown in FIG. 20 (a). .
  • a pop-up window P1 for displaying the inter-vehicle distance is displayed.
  • an inter-vehicle distance setting instruction command is issued.
  • a message to set the inter-vehicle distance is displayed in the pop-up window P1, and then the pop-up window P1 is deleted.
  • FIG. 21 is a flowchart showing an example of dragging and dropping the own vehicle icon onto a specific area (road guide sign).
  • the determination unit 11 of the HMI controller 10 receives a touch event (DOWN) from the touch panel (S50).
  • the determination unit 11 determines whether or not the coordinate at which the touch event (DOWN) is detected is within the display area of the vehicle icon (S51). When it is outside the display area (N in S51), it is determined that the operation instruction is not in accordance with the content of the road guide sign, and the process is terminated.
  • the determination unit 11 receives a touch event (MOVE) from the touch panel (S52). Thereafter, the determination unit 11 receives a touch event (UP) from the touch panel (S53).
  • MOVE touch event
  • UP touch event
  • the determination unit 11 determines whether or not the coordinates where the touch event (UP) is detected are inside the display area of the road guide sign (S54). When it is inside the display area (Y in S54), the instruction unit 13 issues a command corresponding to the content of the road guide sign to the automatic driving controller 20 (S55). When it is outside the display area (N in S54), it is determined that the operation instruction is not in accordance with the content of the road guide sign, and the process is terminated.
  • FIG. 22 is a diagram illustrating an example of the gesture operation according to the flowchart of FIG.
  • the vehicle icon V1 is dragged as shown in FIG. 22 (a) and shown in FIG. 22 (b).
  • the own vehicle icon V1 is dropped on the place name “Machida” N1 of the desired destination in the destination guide sign S1.
  • a route change instruction command to a route having the destination as a route or destination is issued.
  • step S9e the details of the process of drawing the predicted trajectory / route candidate in step S9e will be described.
  • FIG. 23 is a flowchart showing an example of a process of drawing a predicted trajectory / route candidate in step S9e of FIG.
  • the determination unit 11 of the HMI controller 10 determines whether or not a notification of movement of the host vehicle icon is received from the touch panel (S9ea).
  • the determination part 11 determines whether the moving position of the own vehicle icon is on a lane (S9eb).
  • the determination unit 11 determines whether or not the movement position of the own vehicle icon is on a lane different from the lane of the movement start position of the own vehicle icon (S9ec).
  • the image generation unit 12 When not on different lanes (when on the same lane) (N in S9ec), the image generation unit 12 deletes the predicted trajectory in the schematic diagram displayed on the touch panel (S9ed). In step S9eb, also when the moving position of the own vehicle icon is not on the lane (N in S9eb), the image generation unit 12 deletes the predicted trajectory in the schematic diagram displayed on the touch panel (S9ed).
  • step S9ec when the movement position of the vehicle icon is on a lane different from the lane of the movement start position of the vehicle icon (Y in S9ec), the determination unit 11 can change the lane of the movement position of the vehicle icon. It is determined whether the current lane is over (S9ee). When the lane change is not possible on the lane (N in S9ee), the image generation unit 12 draws an error notification on the touch panel (S9ef). When the lane can be changed (Y in S9ee), the instruction unit 13 notifies the automatic operation controller 20 of the touch event coordinates of the vehicle icon and requests a predicted trajectory (S9eg). The image generation unit 12 draws the predicted lane change trajectory acquired from the automatic driving controller 20 on the touch panel (S9eh). The above processing is continued until no movement notification of the vehicle icon is received from the touch panel (N in S9ea).
  • FIG. 24 is a flowchart showing another example of the process of drawing the predicted trajectory / route candidate in step S9e of FIG.
  • the processing from step S9ea to step S9ef is the same as the flowchart of FIG.
  • the determination unit 11 determines whether there is another vehicle in the lane of the lane change destination (S9ei). When there is no other vehicle (N in S9ei), the image generation unit 12 draws a predicted lane change trajectory without acceleration / deceleration on the touch panel (S9ej).
  • the determination unit 11 determines whether the moving position of the own vehicle icon is in front of or behind the other vehicle icon (S9ek).
  • the image generation unit 12 draws the predicted trajectory of the lane change with acceleration on the touch panel (S9el).
  • the image generation unit 12 draws the predicted trajectory of the lane change with deceleration on the touch panel (S9em).
  • the image generation unit 12 draws an error notification mode on the touch panel (S9en). The above processing is continued until no movement notification of the vehicle icon is received from the touch panel (N in S9ea).
  • FIG. 25A to 25C are diagrams illustrating an example of the gesture operation according to the flowchart of FIG.
  • FIG. 25A is an example of a predicted trajectory for lane change without acceleration / deceleration in step S9ej.
  • FIG. 25B is an example of a predicted trajectory for lane change with acceleration in step S9el.
  • FIG. 25C is an example of a predicted trajectory of lane change with deceleration in step S9em.
  • FIG. 26 is a diagram showing an example of an error display screen.
  • the driver wants to change the lane from the first lane L1 to the second lane L2, as shown in FIG. 26A, the driver drags the own vehicle icon V1 on the first lane L1, and the driver is shown in FIG. Thus, the own vehicle icon V1 is dropped on the second lane L2.
  • an error message “Cancelled because of following vehicle” is displayed in the pop-up window P1, and the vehicle icon V1 is displayed. Returned to the first lane L1.
  • FIG. 27 is a diagram showing a display example from when the own vehicle icon V1 is dragged to when it is dropped on the other vehicle icon V2.
  • the user drags the vehicle icon V1 as shown in FIG.
  • an afterimage (such as a dotted circle) V1a is displayed at the original position of the vehicle icon as shown in FIG.
  • the host vehicle icon V1 is dropped on the other vehicle icon V2 as shown in (c) of FIG. 27, the afterimage V1a is deleted.
  • the follow-up running is established as shown in FIG. 27D, the follow-up icon F1 is displayed between the own vehicle icon V1 and the other vehicle icon V2.
  • FIG. 28 is a diagram showing another display example from when the own vehicle icon V1 is dragged to when it is dropped on the other vehicle icon V2.
  • FIG. 28A shows an example in which a drop area is displayed around the road area from when the own vehicle icon V1 is dragged to when it is dropped onto the other vehicle icon V2.
  • a cancellation drop area D1 is displayed at the top, bottom, left, and right of the road area, and a reroute drop area D2, a left turn drop area D3, and a right turn drop area D4 are displayed at home.
  • the driver can perform a corresponding operation by dropping the vehicle icon V1 in any of the drop areas D11 to D14. In the drop area, operations other than the above may be displayed.
  • reroute to a gas station For example, reroute to a gas station, reroute to a parking area, reroute to a service area, overtaking, lane change, ACC (Adaptive Cruise Control).
  • An operation instruction such as acceleration / deceleration of the target speed may be displayed.
  • the background color such as road is changed (inverted, thinned, etc.) from the time when the own vehicle icon V1 is dragged to the time when it is dropped on the other vehicle icon V2.
  • (C) of FIG. 28 displays a moving trajectory (dashed line or the like) T1 being dragged from the drag start position until the drop of the own vehicle icon V1 until it is dropped on the other vehicle icon V2, and the drop is completed. Then, this is an example of deleting the trajectory T1.
  • FIG. 29 is a diagram showing a display example during dragging of the own vehicle icon V1 when there is a drop-impossible area or the like.
  • the user drags the own vehicle icon V1 as shown in FIG. After dragging the vehicle icon V1, the color of the vehicle icon V1 is changed (inverted, reversed, etc.) when there is an area where the vehicle cannot be dropped (following refusal vehicle, opposite lane, etc.) Thin).
  • the drop to the other vehicle icon V2 is impossible, if the own vehicle icon V1 is dropped on the other vehicle icon V2 as shown in FIG. 29 (b), the own vehicle icon as shown in FIG. 29 (c).
  • V1 is returned to the original position, and a pop-up window P3 including an error message such as “Following operation impossible area” is displayed.
  • FIG. 30A to FIG. 30C are diagrams showing another display example when the own vehicle icon V1 is being dragged when there is an area that cannot be dropped.
  • FIG. 30A is an example in which the background color such as a road is changed when a tracking operation is impossible after dragging the vehicle icon V1. When the following operation is possible, the original color is restored.
  • FIG. 30B is an example of changing the color of the drop-impossible area (inverted, lightened, etc.) after dragging the vehicle icon V1.
  • FIG. 30C notifies an error sound or vibration when there is an area where a drop is impossible or a follow-up operation is impossible after dragging the vehicle icon V1.
  • FIG. 31 is a diagram showing a display example when the drag operation is disabled.
  • the driver wants to follow another vehicle, as shown in FIG. 31A, when the operation of the vehicle icon V1 cannot be started at the start of dragging, the vehicle icon as shown in FIG. The color of V1 is changed so that a drag operation (movement of the icon) cannot be performed. Further, a pop-up window P3 including an error message such as “A follow-up operation disabled area” is displayed.
  • FIG. 32A-32B are diagrams showing another display example when the drag operation is disabled.
  • (A) of FIG. 32 is an example in which the background color such as a road is changed when the operation cannot be started at the start of dragging the own vehicle icon V1. When the following operation is possible, the original color is restored.
  • (B) of FIG. 32 notifies an error sound or vibration in a state where the drag operation cannot be performed when the operation cannot be started at the start of dragging of the own vehicle icon V1.
  • FIG. 33 is a diagram showing a first display example during control from when the vehicle icon is dropped until the vehicle completes overtaking.
  • the driver wants to pass the preceding vehicle, drag the vehicle icon V1 as shown in FIG. 33 (a), and place the vehicle icon V1 ahead of the other vehicle icon V2 as shown in FIG. 33 (b). Drop it.
  • the state (current position) of the host vehicle is displayed as a ghost icon V1g as shown in FIG.
  • the moving trajectory T1 is also displayed.
  • the ghost icon V1g and the track T1 of the own vehicle are deleted as shown in FIG.
  • FIG. 34 is a diagram showing a second display example during control from when the own vehicle icon is dropped until the own vehicle completes overtaking.
  • the driver wants to pass the preceding vehicle, drag the vehicle icon V1 as shown in FIG. 34 (a), and place the vehicle icon V1 ahead of the other vehicle icon V2 as shown in FIG. 34 (b). Drop it. From the time when the vehicle is dropped ahead of the other vehicle icon V2 until the overtaking is completed, the display state of the destination vehicle icon V1 is changed as shown in FIG.
  • FIG. 34 (c) an example in which the own vehicle icon V1 is blinked is illustrated, but color change, size change, position change, and the like may be performed.
  • the display state of the own vehicle icon V1 is restored as shown in FIG.
  • FIG. 35 is a diagram showing a third display example during control from when the own vehicle icon is dropped until the own vehicle completes overtaking.
  • the driver wants to pass the preceding vehicle, drag the vehicle icon V1 as shown in FIG. 35 (a), and place the vehicle icon V1 ahead of the other vehicle icon V2 as shown in FIG. 35 (b). Drop it. From the time when the vehicle is dropped ahead of the other vehicle icon V2 until the overtaking is completed, the next instruction is queued by an additional operation (control reservation performed after the current control is completed).
  • FIGS. 35 (c) to 35 (d) depict an example in which an instruction to add lane change is given during overtaking control. In this case, lane change to overtaking lane ⁇ overtaking other cars ⁇ lane change to original lane ⁇ lane change to overtaking lane, but canceling the last two controls, changing lane to overtaking lane ⁇ overtaking And
  • FIG. 36 is a diagram showing a fourth display example during control from when the own vehicle icon is dropped until the own vehicle completes overtaking. If the driver wants to pass the preceding vehicle, drag the vehicle icon V1 as shown in FIG. 36 (a), and place the vehicle icon V1 in front of the other vehicle icon V2 as shown in FIG. 36 (b). Drop it. During the period from dropping to the other vehicle icon V2 until the overtaking is completed, the vehicle icon V1 is dragged again as shown in FIGS. 36 (c) to 36 (d). If it is dropped at a position, the following processing is performed.
  • a lane change instruction command to the original lane is transmitted.
  • an error message for example, “The operation cannot be performed because it is under control”, “Please wait for a while” Etc.
  • various operation contents can be transmitted to the automatic operation controller 20 by moving the icon displayed on the touch panel with a gesture.
  • the icon gesture operation is a simple operation, and is released from conventional driving operations such as the driver turning the steering wheel 51 and depressing the accelerator pedal 53.
  • the driver can check the surrounding situation and perform an operation instruction on the touch panel at the same time, so that the line of sight does not move. Therefore, the possibility of erroneous operation is reduced, and safer driving can be realized.
  • the HMI controller 10 is assumed to be implemented by a dedicated LSI, but the function of the HMI controller 10 is realized using a CPU (Central Processing Unit) in a mobile device such as a smartphone or a tablet used as the display device 30. May be. In this case, the portable device used as the display device 30 and the automatic operation controller 20 are directly connected. Further, the function of the HMI controller 10 may be realized by a CPU in a head unit such as a car navigation device or display audio. In addition, a configuration in which a dedicated LSI on which the HMI controller 10 is mounted may be included in the head unit.
  • a dedicated LSI on which the HMI controller 10 is mounted may be included in the head unit.
  • a command to speed up is issued by a gesture operation that swipes forward in the same lane without an obstacle.
  • a command for instructing speed reduction is issued by a gesture operation of swiping backward without an obstacle. In this case, it is not necessary to prepare a separate user interface, and space can be saved.
  • a command for instructing right or left alignment in the same lane is issued by a gesture operation of swiping right or left. In this case, operation input and result display can be realized on the same screen, and space can be saved.
  • a command for instructing to follow the other vehicle or start ACC is issued by a gesture operation of dragging the own vehicle icon and dropping it on the other vehicle icon.
  • a command for instructing overtaking is issued by a gesture operation of dragging the own vehicle icon and dropping it in front of the preceding other vehicle icon. In this case, it is not necessary to prepare a separate user interface, and space can be saved.
  • a command to change the lane to another lane is issued by the gesture operation of dragging the own vehicle icon and dropping it on the other lane.
  • operation input and result display can be realized on the same screen, and space can be saved.
  • a command for instructing a right turn or a left turn after the lane change is issued by a gesture operation of dropping the vehicle icon on the right turn dedicated lane or the left turn dedicated lane. In this case, the step of inputting a right turn or left turn operation can be omitted.
  • a command for instructing entry to a toll road is issued by a gesture operation of dragging the vehicle icon and dropping it on the entrance icon of a toll road (for example, a highway).
  • the step of inputting what to do with respect to the entrance icon of the toll road can be omitted.
  • a command for instructing entry into the toll road is issued by a gesture operation of dragging the vehicle icon and dropping it on the entrance lane of the toll road.
  • the operation input and the result display can be realized on the same screen.
  • a command to instruct to leave the toll road is issued by a gesture operation that drags the vehicle icon and drops it on the toll road exit icon.
  • the step of inputting what to do with respect to the exit icon of the toll road can be omitted.
  • a command for instructing to leave the toll road is issued by a gesture operation of dragging the own vehicle icon and dropping it on the exit lane of the toll road. In this case, the operation input and the result display can be realized on the same screen.
  • a command to change the course is issued by a gesture operation that drags the vehicle icon and drops it on the road in the direction you want to turn.
  • the operation input and the result display can be realized on the same screen. For example, when dropping on a right turn lane, a command for instructing a right turn is issued.
  • a command for instructing a U-turn is issued by a gesture operation of dragging and dropping the own vehicle icon so as to draw a U-shape. In this case, the operation input and the result display can be realized on the same screen.
  • a command is issued instructing to change the destination or add a waypoint by the gesture operation of dragging the vehicle icon and dragging to the icon indicating the destination or landmark.
  • An icon indicating home may be always displayed on the screen.
  • a command for instructing to travel in the flicked direction without setting the destination is issued by a gesture operation in which the user touches the vehicle icon and flicks in the desired direction.
  • a gesture operation of dragging the own vehicle icon and dropping it on the service area icon or the parking area icon.
  • a command is issued to instruct the pedestrian to illuminate with the front lamp by the gesture operation of dragging the vehicle icon and dropping it on the pedestrian icon. In this case, it is possible to reduce the number of steps for operating the front lamp.
  • a command for instructing the pedestrian to sound a horn may be issued by a gesture operation of dragging the vehicle icon and dropping it on the pedestrian icon. At that time, the horn may have directivity according to the position of the pedestrian. In this case, it is possible to reduce the step of performing an operation to sound a horn.
  • the predicted trajectory is received from the automatic driving controller 20 and is drawn on the display unit 31 while the vehicle icon is being dragged, dropped, or until processing corresponding to the control command is established. Also good.
  • the image generation unit 12 may indicate “trying” or the like until processing according to the control command is established. It is also possible to display the predicted trajectory at the timing when the display becomes possible. While the vehicle icon is being dragged or dropped, until the process corresponding to the control command is established, the estimated time required for the process corresponding to the control command to be established after the image generation unit 12 is dropped The required remaining time may be displayed.
  • a drop area for canceling may be provided in case the user starts dragging by mistake or wants to cancel after dragging. You can cancel issuing commands by dragging your vehicle and dropping it in the drop area for cancellation.
  • a selection menu may be displayed after the drop.
  • guidance for all possible operations may be displayed on the screen.
  • the drag state may be continued even if the vehicle icon is released until the confirmation button is pressed.
  • a correction method and a confirmation method in the case of accidental dropping may be presented on a pop-up screen.
  • design the touch panel so that haptic feedback of vibration is applied differently when the vehicle icon is moved to a position where it can be dropped and when the vehicle icon is moved to a position where it cannot be dropped. Also good.
  • the scale of the screen may be automatically adjusted.
  • the scale may be automatically adjusted so that at least another vehicle closest to the host vehicle is included in the screen.
  • the color of the vehicle icon may change depending on whether the vehicle icon is moved to a position where it can be dropped or if the vehicle icon is moved to a position where it cannot be dropped.
  • different background colors may be used for the droppable area and the non-dragable area.
  • touch and touch may be used. The operation may be a predetermined operation, but may be customized by the driver.
  • an explanation, an icon, an arrow, a guide display, or voice guidance may be displayed so that the correspondence between the gesture operation and the control command can be understood.
  • a driving support device (10) having:
  • the predetermined target other than the own vehicle may be another vehicle, a pedestrian, an obstacle, or a specific area.
  • the operation signal input unit (14b) performs a user's gesture operation for moving the vehicle object to a position where a non-vehicle object representing a predetermined target other than the vehicle does not exist.
  • the command output unit (14c) outputs the command to instruct the automatic driving control unit (20) to move the host vehicle to a place corresponding to the end point position of the gesture operation. (10).
  • the operation signal input unit (14b) receives a user's gesture operation for changing the distance between the own vehicle object and a non-own vehicle object representing a predetermined target other than the own vehicle.
  • the command output unit (14c) is the driving support device (10) according to item 1, wherein the command output unit (14c) outputs a command to change the distance between the vehicle and a predetermined target to the automatic driving control unit (20).
  • the operation signal input unit (14b) accepts a user's gesture operation for switching the vehicle object in the image displayed on the display unit (31) and the non-vehicle object representing a predetermined target other than the vehicle in the image.
  • the command output unit (14c) outputs a command instructing to change a relative positional relationship between the vehicle and a predetermined object to the automatic driving control unit (20). (10).
  • the own vehicle object in the image displayed on the display unit is represented as a non-vehicle object and a predetermined target other than the own vehicle.
  • the operation signal input unit (14b) accepts the user's gesture operation to move outside the virtual line connecting the vehicle object
  • the command output unit (14c) automatically controls the command instructing to cancel the cooperation.
  • the driving support device (10) according to item 1, which is output to the unit.
  • the command output unit (14c) is an item 1 for changing the content of the command output to the automatic driving control unit (20) according to the surrounding situation of the own vehicle when the operation signal input unit (14b) accepts the gesture operation.
  • the image output unit (14a) is an image in which the display mode of the own vehicle object is different from the display mode of the period in which the user's gesture operation can be received during the period in which the operation signal input unit (14b) cannot receive the user's gesture operation.
  • the driving support device (10) according to any one of items 1 to 7, wherein the information is output to the display unit (31).
  • the image output unit (14a) is configured to display the vehicle object, the non-vehicle object representing the predetermined object, and the surrounding situation of the vehicle so that an image including the predetermined object other than the vehicle is displayed on the display unit (31).
  • the driving assistance device (10) according to any one of items 1 to 8, wherein the size of the vehicle is changed.
  • the driving assistance device (10) An image output unit (14a) for outputting an image including an own vehicle object representing the own vehicle and a surrounding situation of the own vehicle to the display device (30);
  • [Item 11] Outputting to the display unit (31) an image including an own vehicle object representing the own vehicle and a surrounding situation of the own vehicle; Receiving a gesture operation by a user accompanied by movement of the vehicle object in the image displayed on the display unit (31); Outputting a command corresponding to the gesture operation to an automatic operation control unit (20) for controlling automatic operation; A driving support method.
  • [Item 12] A process of outputting an image including an own vehicle object representing the own vehicle and the surrounding situation of the own vehicle to the display unit (31); A process of accepting a gesture operation by a user accompanied by movement of the vehicle object in the image displayed on the display unit (31); A process of outputting a command corresponding to the gesture operation to the automatic operation control unit (20) for controlling the automatic operation; A driving support program that causes a computer to execute.
  • the present invention can be used for a vehicle equipped with an automatic driving mode.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

運転支援装置において、画像出力部は、表示部に、自車を表す自車オブジェクトと当該自車の周辺状況を含む画像を出力する。操作信号入力部は、表示部に表示された画像内の自車オブジェクトの移動を伴うユーザによるジェスチャ操作を受け付ける。コマンド出力部は、ジェスチャ操作に応じたコマンドを、自動運転の制御を行う自動運転制御部に出力する。

Description

運転支援装置、運転支援システム、運転支援方法及び自動運転車両
 本発明は、自動運転中に運転者が車両に対する運転操作の指示を支援する技術に関する。
 近年、自動車の自動運転に関する開発が進められている。自動運転について、NHTSA(National Highway Traffic Safety Administration)が2013年に定義した自動化レベルは、自動化なし(レベル0)、特定機能の自動化(レベル1)、複合機能の自動化(レベル2)、半自動運転(レベル3)、完全自動運転(レベル4)に分類される。レベル1は加速・減速・操舵の内、1つを自動的に行う運転支援システムであり、レベル2は加速・減速・操舵の内、2つ以上を調和して自動的に行う運転支援システムである。いずれの場合も運転者による運転操作の関与が残る。自動化レベル4は加速・減速・操舵の全てを自動的に行う完全自動走行システムであり、運転者が運転操作に関与しない。自動化レベル3は加速・減速・操舵の全てを自動的に行うが、必要に応じて運転者が運転操作を行う準完全自動走行システムである。
 自動運転の一形態として、運転者はステアリングやアクセルペダル等の既存の運転操作部を操作しないが、車両側にコマンドを発行することにより、車線変更、追越、追従走行などの特定の運転操作を車両側に指示する形態が考えられる。この形態では、誤操作が少ないユーザインタフェースが求められる。
特開平10-105885号公報
 本発明の目的は、運転者が車両に特定の運転操作を直感的かつ簡便に指示することができる技術を提供することにある。
 上記問題を解決するために、本発明のある態様の運転支援装置は、画像出力部と、操作信号入力部と、コマンド出力部とを有する。画像出力部は、自車を表す自車オブジェクトと自車の周辺状況を含む画像を表示部に出力する。操作信号入力部は、表示部に表示された画像内の自車オブジェクトを自車以外の所定の対象を表す非自車オブジェクトの位置に移動させるジェスチャ操作を受け付ける。コマンド出力部は、自車と所定の対象との相対的な位置関係を変更することを指示するコマンド、または自車から所定の対象へ通知を出力することを指示するコマンドを自動運転の制御を行う自動運転制御部に出力する。
 なお、以上の構成要素の任意の組み合わせ、本発明を装置、システム、方法、プログラム、プログラムを記録した記録媒体、それらを搭載した車両などの間で変換したものもまた、本発明の態様として有効である。
 本発明によれば、運転者が車両に特定の運転操作を直感的かつ簡便に指示することができる。
図1は、本発明の実施の形態に係る車両の構成を示すブロック図である。 図2は、図1の検出部、自動運転コントローラ、HMIコントローラ、表示部、及び入力部の基本シーケンスの一例を示す図である。 図3は、図1のHMIコントローラの処理を説明するための基本フローチャートの一例を示す図である。 図4は、受付モードの更新処理を説明するためのフローチャートである。 図5は、図3のステップS9において、ジェスチャ操作が入力される場合のコマンド決定処理の一例を示すフローチャートである。 図6は、自動運転制御コマンドテーブルの一例を示す図である。 図7は、自車アイコンを他のレーンにドラッグ&ドロップするジェスチャ操作の例を示すフローチャートである。 図8は、図7のフローチャートに係るジェスチャ操作の一例を示す図である。 図9は、自車アイコンをフリックするジェスチャ操作の例を示すフローチャートである。 図10Aは、図9のフローチャートに係るジェスチャ操作の一例を示す図である。 図10Bは、図9のフローチャートに係るジェスチャ操作の一例を示す図である。 図11は、自車アイコンと他車アイコンの2点にタッチして回転させるジェスチャ操作の例を示すフローチャートである。 図12は、図11のフローチャートに係るジェスチャ操作の一例を示す図である。 図13は、自車アイコンを他車アイコンにドラッグ&ドロップするジェスチャ操作の例を示すフローチャートである。 図14は、図13のフローチャートに係るジェスチャ操作の一例を示す図である。 図15は、追従走行中において、自車アイコンと他車アイコンの2点にタッチしてピンチイン/ピンチアウトするジェスチャ操作の例を示すフローチャートである。 図16は、図15のフローチャートに係るジェスチャ操作の一例を示す図である。 図17は、追従走行中において、自車アイコンと他車アイコンの2点にタッチして回転させるジェスチャ操作の例を示すフローチャートである。 図18は、図17のフローチャートに係るジェスチャ操作の一例を示す図である。 図19は、自車アイコンをスワイプするジェスチャ操作の例を示すフローチャートである。 図20は、図19のフローチャートに係るジェスチャ操作の一例を示す図である。 図21は、自車アイコンを特定エリア(道路案内標識)にドラッグ&ドロップする例を示すフローチャートである。 図22は、図21のフローチャートに係るジェスチャ操作の一例を示す図である。 図23は、図5のステップS9eにおいて、予測軌道/ルートの候補を描画する処理の一例を示すフローチャートである。 図24は、図5のステップS9eにおいて、予測軌道/ルートの候補を描画する処理の別の例を示すフローチャートである。 図25Aは、図24のフローチャートに係るジェスチャ操作の一例を示す図である。 図25Bは、図24のフローチャートに係るジェスチャ操作の一例を示す図である。 図25Cは、図24のフローチャートに係るジェスチャ操作の一例を示す図である。 図26は、エラー表示画面の一例を示す図である。 図27は、自車アイコンをドラッグしてから他車アイコン上にドロップするまでの間の表示例を示す図である。 図28は、自車アイコンをドラッグしてから他車アイコン上にドロップするまでの間の別の表示例を示す図である。 図29は、ドロップ不可エリアなどがある場合における、自車アイコンのドラッグ中の表示例を示す図である。 図30Aは、ドロップ不可エリアなどがある場合における、自車アイコンのドラッグ中の別の表示例を示す図である。 図30Bは、ドロップ不可エリアなどがある場合における、自車アイコンのドラッグ中の別の表示例を示す図である。 図30Cは、ドロップ不可エリアなどがある場合における、自車アイコンのドラッグ中の別の表示例を示す図である。 図31は、ドラッグ操作を不可とする場合における表示例を示す図である。 図32Aは、ドラッグ操作を不可とする場合における別の表示例を示す図である。 図32Bは、ドラッグ操作を不可とする場合における別の表示例を示す図である。 図33は、自車アイコンをドロップしてから自車が追越を完了するまでの制御中の第1表示例を示す図である。 図34は、自車アイコンをドロップしてから自車が追越を完了するまでの制御中の第2表示例を示す図である。 図35は、自車アイコンをドロップしてから自車が追越を完了するまでの制御中の第3表示例を示す図である。 図36は、自車アイコンをドロップしてから自車が追越を完了するまでの制御中の第4表示例を示す図である。
 本発明の実施の形態の説明に先立ち、従来の装置における問題点を簡単に説明する。道路状況を表示するだけでは、運転者が車両に特定の運転操作を指示するとき、道路状況を確認しながら、一々特定のスイッチを操作したり、ステアリングを回したり、アクセルを踏んだりする必要があり、視線移動が発生するし、誤操作する可能性がある。また、車線変更、追越、追従走行などの特定の運転操作ごとにスイッチを設ける設計では、スイッチ操作と自動走行制御との対応づけが直感的でなく、多くのスイッチから指示を選択することやスイッチ数を減らして状況に応じて変更された機能を選択することは、複雑な作業である。よって、今まで運転していなかった人や、運転能力が低下してきていても運転を継続したい人などを含め幅広いユーザが、訓練をせずに自動運転車を利用できない、という問題がある。
 以下、本発明の実施の形態について図面を参照しながら説明する。図1は、本発明の実施の形態に係る車両1の構成を示すブロック図であり、自動運転に関連する構成である。自動運転モードを搭載した車両1(自車)は、運転支援装置(ヒューマン・マシン・インターフェイス(HMI(Human Machine Interface))コントローラ)10、自動運転制御装置(自動運転コントローラ)20、表示装置30、検出部40及び運転操作部50を有する。
 表示装置30は、表示部31及び入力部32を含む。表示装置30は、カーナビゲーションシステム、ディスプレイオーディオ等のヘッドユニットであってもよいし、スマートフォン、タブレット等の携帯端末機器であってもよいし、専用のコンソール端末装置であってもよい。
 表示部31は液晶ディスプレイや有機EL(Electro-luminescence)ディスプレイやヘッドアップディスプレイ(HUD)である。入力部32はユーザの入力を受け付けるユーザインタフェースである。表示部31と入力部32は一体化したタッチパネルディスプレイであってもよい。なお、タッチパネルまたはタッチパッド上での手の近接検知やホバー操作による指の位置検知を可能な近接タッチパネルのように、表示部から所定距離を離れた場所でのジェスチャ入力を受け付けられるものであってもよい。更に、入力部32は、マウス、スタイラスペン、トラックボール等のジェスチャ入力を補助する入力デバイスを有していてもよい。また可視光または赤外線を発光するペンを使用してもよい。
 なお、表示部31と入力部32が一体型のタッチパネルディスプレイではなく、物理的にセパレートであってもよい。例えば入力部32は、カメラ等のセンサを有し、空中ジェスチャ操作入力が可能な非接触型の入力デバイスであってもよい。例えば、対象を指さしでポイントし、親指と人差し指を近づけて閉じるジェスチャでドラッグ開始、親指と人差し指を離すジェスチャでドラッグ終了などの操作方法が考えられる。
 運転支援装置10と表示装置30との間は、専用線やCAN(Controller Area Network)等の有線通信で接続されていても良いし、USB、Ethernet(登録商標)、Wi-Fi(登録商標)、Bluetooth(登録商標)等の有線通信または無線通信で接続されていても良い。
 検出部40は、位置情報取得部41、センサ42、速度情報取得部43及び地図情報取得部44を含む。位置情報取得部41はGPS(Global Positioning System)受信機から車両1の現在位置を取得する。センサ42は車外の状況および車両1の状態を検出するための各種センサの総称である。車外の状況を検出するためのセンサとして例えばカメラ、ミリ波レーダ、LIDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、気温センサ、気圧センサ、湿度センサ、照度センサ等が搭載される。車外の状況とは、自車の走行する道路状況や天候を含む環境及び自車周辺を走行する他車の走行位置や走行状態などの自車周辺状況が考えられる。なお、センサが検出できる車外の情報であれば何でもよい。また車両1の状態を検出するためのセンサとして例えば、加速度センサ、ジャイロセンサ、地磁気センサ、傾斜センサ等が搭載される。速度情報取得部43は車速センサから車両1の現在速度を取得する。地図情報取得部44は、地図データベースから車両1の現在位置周辺の地図情報を取得する。地図データベースは、車両1内の記録媒体に記録されていてもよいし、使用時にネットワークを介して地図サーバからダウンロードしてもよい。
 検出部40と自動運転制御装置20との間は、専用線やUSB、Ethernet(登録商標)、CAN(Controller Area Network)等の有線通信で接続される。なお検出部40が取得および検出したデータを、検出部40から運転支援装置10に直接出力可能な構成であってもよい。
 運転操作部50は、ステアリング51、ブレーキペダル52、アクセルペダル53、及びウインカスイッチ54を含む。本実施の形態に係る自動運転モードでは、加速、減速、操舵、及びウインカ点滅が自動運転制御装置20による自動制御の対象であり、図1にはそれらの制御を手動で行う際の操作部を描いている。なお運転者が手動で運転操作部50を少し動かした情報を運転支援装置10に出力してもよい。
 ステアリング51は車両を操舵するための操作部である。運転者によりステアリング51が回転されると、ステアリングアクチュエータを介して車両の進行方向が制御される。ステアリングアクチュエータはステアリングECU(Electronic Control Unit)により電子制御が可能である。
 ブレーキペダル52は車両1を減速させるための操作部である。運転者によりブレーキペダル52が踏まれると、ブレーキアクチュエータを介して車両が減速される。ブレーキアクチュエータはブレーキECUにより電子制御が可能である。
 アクセルペダル53は車両1を加速させるための操作部である。運転者によりアクセルペダル53が踏まれると、アクセルアクチュエータを介してエンジン回転数および/またはモータ回転数が制御される。純粋なエンジンカーではエンジン回転数が制御され、純粋な電気自動車ではモータ回転数が制御され、ハイブリッドカーではその両方が制御される。アクセルアクチュエータはエンジンECUおよびモータECUの少なくとも一方により電子制御が可能である。
 ウインカスイッチ54は、車両の進路を外部に通知するためのウインカを点滅させるための操作部である。運転者によりウインカスイッチ54がオン/オフされると、ウインカコントローラを介してウインカが点灯/消灯される。ウインカコントローラは、ウインカランプへの給電を制御するリレー等の駆動回路を有する。
 ステアリングECU、ブレーキECU、エンジンECU、モータECU、ウインカコントローラの各々と自動運転制御装置20との間は、CANや専用線等の有線通信で接続される。ステアリングECU、ブレーキECU、エンジンECU、モータECU、ウインカコントローラは各々、ステアリング、ブレーキ、エンジン、モータ、ウインカランプの状態を示す状態信号を自動運転制御装置20に送信する。
 自動運転モードにおいて、ステアリングECU、ブレーキECU、エンジンECU、モータECUの各々は、自動運転制御装置20から供給される制御信号に応じて対応するアクチュエータを駆動する。手動運転モードにおいては、ステアリング51、ブレーキペダル52、アクセルペダル53の各々から対応するアクチュエータに直接機械的に指示が伝達される構成であってもよいし、対応するECUを介した電子制御が介在する構成であってもよい。ウインカコントローラは自動運転制御装置20から供給される制御信号、又はウインカスイッチ54からの指示信号に応じてウインカランプを点灯/消灯する。
 自動運転制御装置20は、自動運転制御機能を実装した自動運転コントローラであり、制御部21、記憶部22及び入出力部23を有する。制御部21の構成はハードウェア資源とソフトウェア資源の協働、又はハードウェア資源のみにより実現できる。ハードウェア資源としてプロセッサ、ROM(Read Only Memory)、RAM(Random Access Memory)、その他のLSI(Large Scale Integrated Circuits)を利用でき、ソフトウェア資源としてオペレーティングシステム、アプリケーション、ファームウェア等のプログラムを利用できる。記憶部22は、フラッシュメモリ等の不揮発性記録媒体を有する。入出力部23は、各種の通信フォーマットに応じた各種の通信制御を実行する。
 制御部21は、検出部40や各種ECUから収集した各種パラメータ値を自動運転アルゴリズムに適用して、車両1の進行方向等の自動制御対象を制御するための制御値を算出する。制御部21は算出した制御値を、各制御対象のECU又はコントローラに伝達する。本実施の形態ではステアリングECU、ブレーキECU、エンジンECU、ウインカコントローラに伝達する。なお電気自動車やハイブリッドカーの場合、エンジンECUに代えて又は加えてモータECUに制御値を伝達する。
 運転支援装置10は、車両1と運転者との間のインタフェース機能を実行するためのHMI(Human Machine Interface)コントローラであり、判定部11、画像生成部12、指示部13及び入出力部14を有する。判定部11、画像生成部12及び指示部13は、ハードウェア資源とソフトウェア資源の協働、又はハードウェア資源のみにより実現できる。ハードウェア資源としてプロセッサ、ROM、RAM、その他のLSIを利用でき、ソフトウェア資源としてオペレーティングシステム、アプリケーション、ファームウェア等のプログラムを利用できる。入出力部14は、各種の通信フォーマットに応じた各種の通信制御を実行する。入出力部14は、画像出力部14a、操作信号入力部14b、コマンド出力部14c、及び車両情報入力部14dを含む。画像出力部14aは、画像生成部12が生成した画像を表示部31に出力する。操作信号入力部14bは、入力部32に対してなされた運転者や乗員もしくは車外にいるユーザの操作による操作信号を受け付け、判定部11に出力する。コマンド出力部14cは、指示部13により指示されたコマンドを自動運転コントローラ20に出力する。車両情報入力部14dは、検出部40が取得した検出データや自動運転コントローラ20により生成された車両側の情報を受け付け、画像生成部12に出力する。
 自動運転コントローラ20とHMIコントローラ10との間は直接、信号線で接続される。なおCANを介して接続する構成であってもよい。また自動運転コントローラ20とHMIコントローラ10を統合して1つのコントローラとする構成も可能である。
 図2は、図1の検出部40、自動運転コントローラ20、HMIコントローラ10、表示部31、及び入力部32の基本シーケンスの一例を示す図である。検出部40は、自車位置情報、自車走行道路情報、及び自車周辺情報を検出して自動運転コントローラ20に出力する(P1)。自動運転コントローラ20は、検出部40から取得した自車位置情報、自車走行道路情報、及び自車周辺情報をHMIコントローラ10に出力する(P2)。HMIコントローラ10は、自動運転コントローラ20から取得した情報をもとに、自車と自車の周辺状況を含む模式図を生成する(P3)。HMIコントローラ10は、生成した模式図を表示装置30に出力し、表示部31に表示させる(P4)。
 表示部31に表示された模式図を見たユーザは、入力部32に接触する(P5)。表示部31は、接触を検出した座標データをHMIコントローラ10に出力する(P6)。HMIコントローラ10は、表示装置30から取得した座標データをもとにコマンドの種別を判定する(P7)。HMIコントローラ10は、一定時間が経過するまでは、追加入力の受け付けを行う(P8~P12)。HMIコントローラ10はコマンドの判定後、コマンドの指示中であることを示す模式図を再生成する(P8)。HMIコントローラ10は、再生成した模式図を表示装置30に出力し、表示部31に表示させる(P9)。なおユーザの接触によるジェスチャ操作に該当するコマンドが存在しない場合は、エラーメッセージを含む模式図を生成して表示装置30に出力し、表示部31に表示させる。
 コマンドの指示中であることを示す模式図を見たユーザが、入力部32に接触すると(P10)、表示部31は、接触を検出した座標データをHMIコントローラ10に出力する(P11)。HMIコントローラ10は、表示装置30から取得した座標データをもとに追加コマンド処理を実行する(P12)。HMIコントローラ10は、追加コマンド処理(P12)で新たなコマンドの入力がなかった場合は、P7で判定したコマンドを自動運転コントローラ20に発行する(P13、P14)。追加コマンド処理(P12)で新たなコマンドが入力された場合は、新たなコマンドを自動運転コントローラ20に発行する。新たに入力されたコマンドがキャンセルコマンドであった場合は、コマンド発行を取りやめる。新たなコマンドによる元のコマンドの上書き・キャンセル処理は、自動運転コントローラ20で行ってもよい。その場合、HMIコントローラ10は、P7、P12におけるコマンド判定処理後に自動運転コントローラ20へコマンドの送信を行い、自動運転コントローラ20内部の状態に応じて上書き・キャンセル処理を行う。
 検出部40は定期的に、自車位置情報、自車走行道路情報、及び自車周辺情報を検出して自動運転コントローラ20に出力する(P15)。自動運転コントローラ20は情報をもとに、HMIコントローラ10から発行されたコマンドにより指示された制御が実行可能であるか否か判定する(P16)。実行可能である場合、自動運転コントローラ20は制御開始通知をHMIコントローラ10に出力する(P17)。HMIコントローラ10は制御開始通知を受けると、制御中であることを示すメッセージを含む模式図を再生成する(P18)。HMIコントローラ10は、再生成した模式図を表示装置30に出力し、表示部31に表示させる(P19)。図示しないが、自動運転コントローラ20が、検出部40や各種ECUから収集した各種パラメータ値を自動運転アルゴリズムに適用して、発行されたコマンドを遂行するために運転操作部50を制御する制御値を算出し、各制御対象のECU又はコントローラに伝達する。制御値とは、車両1の進行方向等の自動制御対象を実現するための具体的な値である。運転操作部50は具体的な制御値に基づき動作する。運転操作部50は、所定の制御値または検出部40の検出データが所定値(範囲)になり、自動運転コントローラ20が、発行されたコマンドの条件を満たしたと判断したら、コマンド実行完了と判断する。
 HMIコントローラ10は、自動運転コントローラ20から制御完了通知を受けると、制御が完了したことを示すメッセージを含む模式図を生成して表示装置30に出力する。なお、ユーザから操作を受け付けない期間は、操作を受け付けないことを示すメッセージを含む模式図を生成して表示装置30に出力する。
 図3は、図1のHMIコントローラ10の処理を説明するための基本フローチャートの一例を示す図である。HMIコントローラ10の判定部11は、運転モードが自動運転モードか手動運転モードであるかをチェックする(S1)。手動運転モードの場合(S2のN)、処理を終了する。自動運転モードの場合(S2のY)、以下のように処理される。
 検出部40から自動運転コントローラ20に入力されるセンサ情報は随時更新されている(S3)。HMIコントローラ10の画像生成部12は、自動運転コントローラ20から入力される自車位置情報、自車走行道路情報、及び自車周辺情報を基に自車と自車の周辺状況を含む模式図を生成し、生成した模式図を表示部31に描画する(S4)。判定部11は受付モードが、ユーザからの操作を受付可能な受付可モードか、ユーザからの操作を受付不可な受付不可モードであるかをチェックする(S5)。受付不可モードである場合(S6のN)、処理を終了する。受付可モードである場合(S6のY)、判定部11は入力部32に対するユーザによる接触があるか否か判定する(S7)。接触がない場合(S8のN)、後述する一定時間経過判定処理(S12)を実行する。接触がある場合(S8のY)、判定部11は、ユーザによるジェスチャ操作入力に応じて制御コマンドを決定する(S9)。この制御コマンド決定処理の詳細は後述する。
 ステップS9で決定された制御コマンドがキャンセルコマンドでない場合(S10のN)、画像生成部12は表示部31にコマンド指示中を表示する(S11)。制御コマンドが決定されてから一定時間経過すると(S12のY)、ステップS9で決定された制御コマンドがある場合(S13のY)、表示部31に操作受付不可を表示し(S14)、判定部11は受付モードを受付可モードから受付不可モードに更新し(S15)、指示部13は、決定された制御コマンドを自動運転コントローラ20に出力する(S16)。一定時間が経過するまでは(S12のN)、ステップS3に遷移する。
 ステップS10において、決定された制御コマンドがキャンセルコマンドである場合(S10のY)、キャンセルを表示し(S110)、処理を終了する。ステップS13において、ステップS9で決定された制御コマンドがない場合(S13のN)、入力エラーを表示し(S111)、処理を終了する。自動運転コントローラ20は、検出部40から自車位置情報、自車走行道路情報、及び自車周辺情報を定期的に検出している。周辺状況は刻々と変化するため、制御コマンドが自動運転コントローラ20に出力された後、制御コマンドが実行不能と判断される場合がある。例えば、追従指示後に、自車と他車の間に別の車が割り込んできた場合などである。自動運転コントローラ20により制御コマンドが実行可能と判断された場合(S17のY)、画像生成部12は表示部31に制御中であることを表示し(S18)、タイマを発動してカウントを開始する(S19)。自動運転コントローラ20により制御不能と判断された場合(S17のN)、画像生成部12は表示部31に制御不能エラーを表示する(S112)。
 図4は、受付モードの更新処理を説明するためのフローチャートである。HMIコントローラ10の判定部11は、タイマのカウント値が設定値(例えば、10秒)に到達すると(S113のY)、受付モードを受付不可モードから受付可モードに更新する(S114)。なお、タイマのカウント値は自車の周辺状況に応じて変更してもよい。なお判定部11は、自動運転コントローラ20から制御完了を示す通知を受信するか、車両1の挙動から、制御コマンドに応じた制御が完了したと判断したとき、受付モードを受付不可モードから受付可モードに更新してもよい。
 図5は、図3のステップS9において、ジェスチャ操作が入力される場合のコマンド決定処理の一例を示すフローチャートである。入力部32へのユーザによる接触が開始されると(S9aのY)、画像生成部12は、ドロップ可能エリアを模式図内に描画し、表示部31に表示させる(S9b)。
 判定部11は、入力部32で発生したタッチイベントを受信し(S9c)、タッチイベントの種別を判定する(S9d)。タッチイベントの種別が接触開始/移動であった場合(S9dの接触開始/移動)、画像生成部12は車両1の予測軌道/ルートの候補を模式図内に描画し、表示部31に表示させる(S9e)。その後、ステップS9cに戻る。
 タッチイベントの種別が接触終了であった場合(S9dの接触終了)、判定部11は、ジェスチャ操作の種別を判定する。ジェスチャ操作の代表的なものとして、ドラッグ&ドロップ、フリック、スワイプ、ピンチイン/ピンチアウト、回転がある。判定部11は、タッチイベントの時系列推移をもとにジェスチャ操作の種別を判定する(S9f)。具体的には接触開始位置での滞在時間、移動開始後の移動速度、接触終了位置での滞在時間をもとにドラッグ&ドロップとフリックとスワイプを区別する。また接触点が2点であり、2点間の距離が所定距離以上変化している場合、ピンチイン/ピンチアウトと判定する。2点間の距離が所定距離以上変化せずに2点の位置が変化している場合、回転と判定する。
 判定部11は、接触点数、接触開始位置、接触終了位置およびジェスチャ種別をキーに、自動運転制御テーブルを参照する(S9g)。自動運転制御コマンドテーブル内に4つのキーに合致する制御コマンドが存在する場合(S9hのY)、判定部11は、制御コマンドを自動運転コントローラ20に発行する制御コマンドに決定する(S9i)。自動運転制御コマンドテーブル内に4つのキーに合致する制御コマンドが存在しない場合(S9hのN)、画像生成部12は表示部31にエラーメッセージを表示させる(S9s)。
 図6は、自動運転制御コマンドテーブル11aの一例を示す図である。自動運転制御コマンドテーブル11aは、判定部11の中に構築される。以下、本実施の形態では接触開始位置が、模式図内の自車マークである例を説明する。図6に示す自動運転制御コマンドテーブル11aは接触終了位置として他車マーク、緊急車両マーク、歩行者マーク、レーン、路肩、交差点、及び特定エリアを規定している。ジェスチャ操作としてドラッグ&ドロップ、フリック/スワイプ、ピンチイン/ピンチアウト、及び回転を規定している。
 ユーザが自車マークをドラッグして他車マークにドロップすると、追従/隊列走行を指示するコマンドが発行される。ユーザが自車マークをドラッグして緊急車両(救急車など)マークにドロップした場合において、緊急車両マークの位置が自車マークの位置より右側の場合は左寄せ一時停車を指示するコマンドが発行される。緊急車両マークの位置が自車マークの位置より左側の場合は右寄せ一時停車を指示するコマンドが発行される。ユーザが自車マークをドラッグして歩行者マークにドロップすると、歩行者の横に停車することを指示するコマンドが発行される。
 ユーザが自車マークをドラッグして他のレーンにドロップすると、交差点近辺でない場合、レーンへの車線変更を指示するコマンドが発行される。交差点近辺の場合でドロップされたレーンが右折レーンの場合、右折レーンへの車線変更と右折を指示するコマンドが発行される。交差点近辺の場合でドロップされたレーンが左折レーンの場合、左折レーンへの車線変更と左折を指示するコマンドが発行される。
 ユーザが自車マークをドラッグして路肩にドロップすると、路肩に駐車することを指示するコマンドが発行される。ユーザが自車マークをドラッグして交差点内の右折後レーンの入口にドロップすると、右折を指示するコマンドが発行される。ユーザが自車マークをドラッグして交差点内の左折後レーンの入口にドロップすると、左折を指示するコマンドが発行される。
 ユーザが自車マークをドラッグしてレーン、交差点、路肩以外の特定エリアにドロップすると、特定エリアに応じたコマンドが発行される。例えば、特定エリアへの一時退避を指示するコマンドが発行される。また特定エリアが道路案内標識内の地名や地域名が表示されたエリアである場合、地名や地域名に対応する目的地へのルート変更を指示するコマンドが発行される。また地名や地域名に対応する経由地の設定を指示するコマンドが発行されてもよい。また特定エリアが道路案内標識内の道路や道路名が表示されたエリアである場合、道路を通るルートにルート変更を指示するコマンドが発行される。また特定エリアが有料道路の出口案内標識が表示されたエリアである場合、出口から降りることを指示するコマンドが発行されてもよい。
 ユーザが自車マークをフリック/スワイプすると、その自車マークの移動方向および移動距離に応じて車速変更を指示するコマンドが発行されてもよい。例えば、上方向にスワイプで速度アップ、下方向にスワイプで速度ダウン、移動距離が大きいほど速度変更量が大きくなる設定でもよい。またユーザが自車マークをフリック/スワイプすると、その自車マークの移動方向および移動距離に応じて先行車との車間距離の変更を指示するコマンドが発行されてもよい。例えば、上方向にスワイプで車間距離短縮、下方向にスワイプで車間距離拡大、移動距離が大きいほど距離変更量が大きくなる設定でもよい。
 ユーザが自車マークをフリック/スワイプした場合において、他レーンがある場合、レーンへの車線変更指示が発行されてもよい。またユーザが自車マークをフリック/スワイプした場合において、交差点近辺の場合でフリック/スワイプされたレーンが右折レーンの場合、右折レーンへの車線変更と右折を指示するコマンドが発行される。交差点近辺の場合でフリック/スワイプされたレーンが左折レーンの場合、左折レーンへの車線変更と左折を指示するコマンドが発行される。
 ユーザが自車マーク内の2点にタッチしてピンチイン/ピンチアウトすると、2点間の距離変更に応じて車速変更を指示するコマンドが発行される。例えば、ピンチインで速度ダウン、ピンチアウトで速度アップ、2点間の距離が大きいほど速度変更量が大きくなる設定でもよい。
 ユーザが自車マークと他車マークの2点にタッチしてピンチイン/ピンチアウトした場合において、自車と他車が追従走行中である場合、自車と他車との車間距離の変更を指示するコマンドが発行される。例えば、ピンチインで車間距離短縮、ピンチアウトで車間距離拡大、2点間の距離が大きいほど距離変更量が大きくなる設定でもよい。ユーザが自車マークと他車マークの2点にタッチしてピンチイン/ピンチアウトした場合において、自車と他車が追従走行中でない場合、自車と他車との一時的な車間距離の変更を指示するコマンドが発行される。この場合、時間経過に従い自車と他車が車間距離が変化しても、車間距離を一定に保つ制御は働かない。
 ユーザが自車マーク内の2点にタッチして回転させた場合において、交差点近辺である場合、その回転方向に応じて右折または左折を指示するコマンドが発行される。またユーザが自車マーク内の2点にタッチして回転させた場合において、駐車スペースの近辺である場合、その回転方向に応じて自車の方向転換を指示するコマンドが発行される。
 ユーザが自車マークと他車マークの2点にタッチして回転させた場合において、追従/隊列走行中である場合、自車と他車の位置を入れ替えることを指示するコマンドが発行される。ユーザが自車マークと他車マークの2点にタッチして回転させた場合において、追従/隊列走行中でない場合、自車が他車を追越すことを指示するコマンドが発行される。
 また、コンテキストに応じてコマンドに関する具体的な制御方法を変えてもよい。例えば、ユーザが自車マークを先行車(他車)マークの前に移動させた場合、同じく追越のコマンドになるが、コンテキストに応じて追越の仕方が変わってくる組み合わせであっても良い。例えば、通常、日本の交通ルール上右側車線から追い越すが、左側車線には走行している他車両がない場合左側車線から追い越しても良い。また、個人の嗜好性データを参考に運転者の嗜好性に合ったルートで追い越しても良い。なお、コマンドに関する具体的な制御方法は、例えば、経路、実行タイミング、速度等が考えられ、HMIコントローラ10の判定部11が決定してから具体的な制御方法を含めたコマンドを自動運転コントローラ20に送信しても良い。あるいは、コマンドを受け取った後、自動運転コントローラ20側で具体的な制御方法を決定しても良い。更に、HMIコントローラ10または自動運転コントローラ20で決められた具体的な制御方法の選択肢を表示部31に表示したり、図示しないスピーカーや振動部を含む報知部により運転者に聴覚的/触覚的に報知したりし、運転者に選択させても良い。
 以上に説明した図6に示す自動運転制御コマンドテーブル11aは、接触点数、接触開始位置、接触終了位置、及びジェスチャ種別が同一であっても、コンテキストに応じてコマンドの内容が変わってくる組み合わせを含んでいる。コンテキストとして自車周辺の環境情報が参照され、例えば、他車との相対位置、車線有無、交差点有無、追従/隊列走行中であるか否か、自車の向き等が参照される。なお、コンテキストを参照せずに接触点数、接触開始位置、接触終了位置、及びジェスチャ種別のみによって一意にコマンドが決定される設計であってもよい。例えば、ユーザが自車マークをフリック/スワイプしたとき、自車の周辺環境がどのような状態であってもグローバルに、速度変更を指示するコマンドが発行される設計であってもよい。
 以下、図6に示した自動運転制御コマンドテーブル11aに規定されたジェスチャ操作のいくつかの例を説明する。以下の例では表示部31及び入力部32が一体化したタッチパネルディスプレイを使用することを想定する。
 図7は、自車アイコンを他のレーンにドラッグ&ドロップするジェスチャ操作の例を示すフローチャートである。HMIコントローラ10の判定部11は、タッチパネルからタッチイベント(DOWN)を受信する(S20)。タッチイベント(DOWN)は、タッチパネルに対する指やペンによる非接触状態から接触状態への変化を表すイベントである。判定部11は、タッチイベント(DOWN)が検出された座標が自車アイコンの表示エリアの内部であるか否か判定する(S21)。表示エリアの外である場合(S21のN)、車線変更指示でないと判定して処理を終了する。
 表示エリアの内部である場合(S21のY)、判定部11はタッチパネルからタッチイベント(MOVE)を受信する(S22)。タッチイベント(MOVE)は、タッチパネルのある点に対する指やペンによる接触状態から、別の点に対する接触状態への変化を表すイベントである。その後、判定部11はタッチパネルからタッチイベント(UP)を受信する(S23)。タッチイベント(UP)は、タッチパネルに対する指やペンによる接触状態から非接触状態への変化を表すイベントである。
 判定部11は、タッチイベント(UP)が検出された座標が同一進行方向の他レーンであるか否か判定する(S24)。他レーンである場合(S24のY)、指示部13は車線変更指示コマンドを自動運転コントローラ20に発行する(S25)。他レーンでない場合(S24のN)、車線変更指示でないと判定して処理を終了する。
 図8は、図7のフローチャートに係るジェスチャ操作の一例を示す図である。図8の(a)に示す模式図には、第1レーンL1と第2レーンL2が表示されており、第1レーンL1上に自車アイコンV1が表示されている。なお自車、及び道路を含む周辺状況の表示形態には様々な表示形態が考えられる。実写映像を用いてもよいし、精緻なCG画像やアニメーション画像を用いてもよい。自車の表示もアイコンに限らず、よりシンプルなマークや文字で表示されてもよいし、実写映像で表示されてもよい。即ち、何らかの表示形態で画面内にオブジェクト表示されればよい。
 運転者が第1レーンL1から第2レーンL2に車線変更したい場合、図8の(a)に示すように第1レーンL1上の自車アイコンV1をドラッグし、図8の(b)に示すように第2レーンL2上に自車アイコンV1をドロップする。これにより、車線変更指示コマンドが発行される。
 図9は、自車アイコンをフリックするジェスチャ操作の例を示すフローチャートである。HMIコントローラ10の判定部11は、タッチパネルからタッチイベント(DOWN)を受信する(S20)。判定部11は、タッチイベント(DOWN)が検出された座標が自車アイコンの表示エリアの内部であるか否か判定する(S21)。表示エリアの外である場合(S21のN)、車線変更指示でないと判定して処理を終了する。
 表示エリアの内部である場合(S21のY)、判定部11は自車の進行方向に走行可能なレーンが複数あるか否か判定する(S212)。複数のレーンがある場合(S212のY)、画像生成部12は自車アイコンの左および/または右に、走行可能なレーンへのレーン変更指示用のドロップエリアを生成し、タッチパネルに表示させる(S213)。複数のレーンがない場合(S212のN)、ステップS213の処理をスキップする。
 判定部11は、進行方向の一定距離内に交差点があるか否か判定する(S214)。交差点がある場合(S214のY)、画像生成部12は自車アイコン若しくはレーン変更指示用のドロップエリアの左および/または右に、交差点で進路変更が可能な方向の進路変更指示用のドロップエリアを生成し、タッチパネルに表示させる(S215)。交差点がない場合(S214のN)、ステップS215の処理をスキップする。
 判定部11はタッチパネルからタッチイベント(UP)を受信する(S216)。判定部11は、タッチイベント(UP)が検出された座標がドロップエリア内であるか否か判定する(S217)。ドロップエリア内でない場合(S217のN)、車線変更指示でないと判定して処理を終了する。タッチイベント(UP)が検出された座標が車線変更指示用のドロップエリア内である場合(S217の車線変更指示用ドロップエリア)、指示部13は車線変更指示コマンドを自動運転コントローラ20に発行する(S218)。タッチイベント(UP)が検出された座標が進路変更指示用のドロップエリア内である場合(S217の進路変更指示用ドロップエリア)、指示部13は進路変更指示コマンドを自動運転コントローラ20に発行する(S219)。
 図10A,図10Bは、図9のフローチャートに係るジェスチャ操作の一例を示す図である。運転者が第1レーンL1から第2レーンL2に車線変更したい場合、図10Aの(a)に示すように第1レーンL1上の自車アイコンV1にタッチする。自車アイコンV1がタッチされると、図10Bの(b)に示すように第2レーンL2への車線変更指示用のドロップエリアA1が表示される。ユーザがこのドロップエリアA1にフリックすると、第2レーンL2への車線変更指示コマンドが発行される。
 図10Bの(a)に示すように前方に交差点がある場合においてユーザが自車アイコンV1にタッチすると、図10Bの(b)に示すように右側レーンへの車線変更指示用のドロップエリアA1、左側レーンへの車線変更指示用のドロップエリアA2、右折指示用のドロップエリアA3、及び左折指示用のドロップエリアA4が表示される。ユーザが、いずれかのドロップエリアにフリックすることにより、対応するコマンドが発行される。
 図11は、自車アイコンと他車アイコンの2点にタッチして回転させるジェスチャ操作の例を示すフローチャートである。HMIコントローラ10の判定部11は、タッチパネルから2点のタッチイベント(DOWN)を受信する(S38)。判定部11は、タッチイベント(DOWN)が検出された一方の1点の座標が自車アイコンの表示エリアの内部であるか否か判定する(S39)。自車アイコンの表示エリアの外である場合(S39のN)、追越指示でないと判定して処理を終了する。
 自車アイコンの表示エリアの内部である場合(S39のY)、判定部11は、タッチイベント(DOWN)が検出された他方の1点の座標が他車(先行車)アイコンの表示エリアの内部であるか否か判定する(S310)。他車(先行車)アイコンの表示エリアの外である場合(S310のN)、追越指示でないと判定して処理を終了する。
 他車(先行車)アイコンの表示エリアの内部である場合(S310のY)、判定部11はタッチパネルからタッチイベント(MOVE)を受信する(S311)。その後、判定部11はタッチパネルから2点のタッチイベント(UP)を受信する(S312)。判定部11は、自車アイコンのタッチイベント(UP)が検出された座標が、他車アイコンのタッチイベント(UP)が検出された座標の前方領域であるか否か判定する(S313)。自車アイコンが他車アイコンの前方である場合(S313のY)、指示部13は他車(先行車)アイコンに係る他車を追い越すための追越指示コマンドを自動運転コントローラ20に発行する(S314)。自車アイコンが他車アイコンの前方でない場合(S313のN)、追越指示でないと判定して処理を終了する。
 図12は、図11のフローチャートに係るジェスチャ操作の一例を示す図である。運転者が他車を追越したい場合、図12の(a)に示すように自車アイコンV1と他車アイコンV2を2本の指でタッチし、図12の(b)-図12の(c)に示すように自車アイコンV1と他車アイコンV2の前後を入れ替えてドロップする。これにより、追越指示コマンドが発行される。なお、追越指示コマンドを発行するためのジェスチャ操作として、上記以外の自車アイコンと他車アイコンの相対位置を変更する操作であってもよい。
 図13は、自車アイコンを他車アイコンにドラッグ&ドロップするジェスチャ操作の例を示すフローチャートである。HMIコントローラ10の判定部11は、タッチパネルからタッチイベント(DOWN)を受信する(S40)。判定部11は、タッチイベント(DOWN)が検出された座標が自車アイコンの表示エリアの内部であるか否か判定する(S41)。自車アイコンの表示エリアの外である場合(S41のN)、追従指示でないと判定して処理を終了する。
 自車アイコンの表示エリアの内部である場合(S41のY)、判定部11はタッチパネルからタッチイベント(MOVE)を受信する(S42)。その後、判定部11はタッチパネルからタッチイベント(UP)を受信する(S43)。
 判定部11は、タッチイベント(UP)が検出された座標が他車アイコンの表示エリアの内部であるか否か判定する(S44)。他車アイコンの表示エリアの内部である場合(S44のY)、指示部13は、他車アイコンに係る他車に追従走行するための追従指示コマンドを自動運転コントローラ20に発行する(S45)。画像生成部12は模式図内の自車アイコンと他車アイコンの間に、自車が他車を追従走行中であることを示す追従アイコンを表示させる(S46)。タッチイベント(UP)が検出された座標が他車アイコンの表示エリアの外である場合(S44のN)、追従指示コマンドでないと判定して処理を終了する。
 図14は、図13のフローチャートに係るジェスチャ操作の一例を示す図である。運転者が他車に追従走行したい場合、図14の(a)に示すように自車アイコンV1をドラッグし、図14の(b)に示すように他車アイコンV2上に自車アイコンV1をドロップする。これにより追従指示コマンドが発行され、図14の(c)に示すように自車アイコンV1と他車アイコンV2の間に、自車が他車を追従走行中であることを示す追従アイコンF1が表示されるようになる。追従アイコンF1はバネや紐といった自車と他車の紐付け状態を表すアイコンや二者を指す矢印であってもよいし、追従中などの文字説明であってもよい。また、表示位置は自車アイコンと他車アイコンの間以外であってもよい。なお、追従指示コマンドを発行するためのジェスチャ操作として、上記以外の自車アイコンと他車アイコンを紐付ける操作であってもよい。
 図15は、追従走行中において、自車アイコンと他車アイコンの2点にタッチしてピンチイン/ピンチアウトするジェスチャ操作の例を示すフローチャートである。HMIコントローラ10の判定部11は、タッチパネルから2点のタッチイベント(DOWN)を受信する(S412)。判定部11は、第1のタッチイベント(DOWN)が検出された座標が自車アイコンの表示エリアの内部であるか否か判定する(S413)。自車アイコンの表示エリアの外である場合(S413のN)、車間距離変更指示でないと判定して処理を終了する。
 第1のタッチイベント(DOWN)が検出された座標が自車アイコンの表示エリアの内部である場合(S413のY)、判定部11は、第2のタッチイベント(DOWN)が検出された座標が他車アイコンの表示エリアの内部であるか否か判定する(S414)。他車アイコンの表示エリアの外である場合(S414のN)、車間距離変更指示でないと判定して処理を終了する。
 第2のタッチイベント(DOWN)が検出された座標が他車アイコンの表示エリアの内部である場合(S414のY)、判定部11はタッチパネルからタッチイベント(MOVE)を受信する(S415)。その後、判定部11はタッチパネルから2点のタッチイベント(UP)を受信する(S416)。判定部11は、タッチイベント(UP)が検出された第3の座標と第4の座標間の距離と、タッチイベント(DOWN)が検出された第1の座標と第2の座標間の距離とを比較する(S417)。両者の距離が異なる場合(S417のY)、指示部13は、追従走行中の自車と他車間の距離を変更するための追従車間距離変更指示コマンドを自動運転コントローラ20に発行する(S418)。画像生成部12は模式図内の自車アイコンと他車アイコンとの車間距離を変更する(S419)。両者の距離が同じ場合(S417のN)、車間距離変更指示でないと判定して処理を終了する。
 図16は、図15のフローチャートに係るジェスチャ操作の一例を示す図である。運転者が追従走行中の自車と他車との車間距離を変更したい場合、図16の(a)に示すように自車アイコンV1と他車アイコンV2に2本の指でタッチする。その状態から図16の(b)に示すようにピンチインすると、自車と他車との車間距離を短くする車間距離変更指示コマンドが発行される。変更後の車間距離は自車アイコンV1と他車アイコンV2間の距離に応じて決定される。図16の(c)は車間距離変更後の模式図を示しており、図16の(a)と比較して自車アイコンV1と他車アイコンV2との車間距離が短くなっている。なお、自車アイコンV1と他車アイコンV2を2本の指でタッチした状態からピンチアウトすると、自車と他車との車間距離を長くする車間距離変更指示コマンドが発行される。なお、車間距離変更指示コマンドを発行するためのジェスチャ操作として、2本指でのピンチ操作以外の1本指での操作であってもよく、自車アイコンと他車アイコンの距離を変更する操作であればよい。
 図17は、追従走行中において、自車アイコンと他車アイコンの2点にタッチして回転させるジェスチャ操作の例を示すフローチャートである。ステップS412からステップS416までの処理は、図15のフローチャートと同じである。判定部11は、タッチイベント(UP)が検出された第3の座標と第4の座標間の中心点が、タッチイベント(DOWN)が検出された第1の座標と第2の座標間の中心点と同じであるか否か判定する(S427)。同じである場合(S427のY)、指示部13は、自車が他車に追従している追従走行を解除するための追従解除指示コマンドを自動運転コントローラ20に発行する(S428)。それと共に、指示部13は、他車を自車に追従させるための他車追従指示コマンドを、車車間通信を介して他車に送信する(S429)。なお中継装置を介して他車追従指示コマンドを他車に送信してもよい。画像生成部12は模式図内の自車(追従車)アイコンと他車(被追従車)アイコンを入れ替える(S430)。ステップS427において2つの中心点の位置が異なる場合(S427のN)、追従走行中の車両入替指示でないと判定して処理を終了する。
 図18は、図17のフローチャートに係るジェスチャ操作の一例を示す図である。運転者が追従走行中の自車と他車の位置を入れ替えたい場合、図18の(a)に示すように自車アイコンV1と他車アイコンV2を2本の指でタッチする。その状態から図18の(b)に示すように、自車アイコンV1と他車アイコンV2を入れ替えるように2本の指を回転させる。これにより追従走行中の自車と他車の位置を入れ替えるためのコマンドが発行される。図18の(c)は車両入替後の模式図を示しており、図18の(a)と比較して自車アイコンV1と他車アイコンV2の位置が逆になっている。なお図18の(a)-図18の(b)では仮想線L10と、自車アイコンV1と他車アイコンV2の中心点C2を模式図内に表示しているが、仮想線L10と中心点C2を表示しない例も可能である。追従走行の順番を定期的に入れ替えることにより、自車と他車の燃費を平準化できる。なお、追従解除指示コマンドを発行するために、上記以外の自車アイコンと他車アイコンの紐付けを取り消す操作であってもよい。また、追従関係変更指示コマンドを発行するためのジェスチャ操作として、上記以外の自車アイコンと他車アイコンの追従関係を入れ替える操作であってもよい。また、入れ替えボタンを自車アイコンまたは他車アイコンまたはそれらの間に表示し、入れ替えボタンを押すことで自車アイコンと他車アイコンを入れ替えてもよい。さらに、追従関係になってから、自動運転コントローラ20で定期的に入れ替える制御をしてもよい。
 図19は、自車アイコンをスワイプするジェスチャ操作の例を示すフローチャートである。HMIコントローラ10の判定部11は、タッチパネルからタッチイベント(DOWN)を受信する(S431)。判定部11は、タッチイベント(DOWN)が検出された座標が自車アイコンの表示エリアの内部であるか否か判定する(S432)。自車アイコンの表示エリアの外である場合(S432のN)、車間距離設定指示でないと判定して処理を終了する。
 自車アイコンの表示エリアの内部である場合(S432のY)、判定部11はタッチパネルからタッチイベント(MOVE)を受信する(S433)。画像生成部12は、自車と他車との車間距離を模式図内に表示する(S434)。タッチパネルからタッチイベント(UP)を受信しない間(S435のN)、ステップS433に遷移し、タッチイベント(MOVE)の受信と車間距離情報の表示を継続する(S433、S434)。即ち、自車アイコンと他車アイコンとの距離が変更されるに従い、画像生成部12は模式図内の車間距離情報をリアルタイムに更新する。
 タッチパネルからタッチイベント(UP)を受信すると(S435のY)、判定部11は、タッチイベント(UP)が検出された座標が、自車アイコンと同一車線上であり、他車アイコンの後方であるか否か判定する(S436)。同一車線上の他車アイコンの後方である場合(S436のY)、指示部13は、自車アイコンと他車アイコンとの距離に応じた車間距離を設定するための車間距離設定指示コマンドを自動運転コントローラ20に発行する(S437)。画像生成部12は模式図内に、設定された車間距離情報を表示する(S438)。タッチイベント(UP)が検出された座標が、同一車線上の他車アイコンの後方でない場合(S436のN)、車間距離設定指示でないと判定して処理を終了する。
 図20は、図19のフローチャートに係るジェスチャ操作の一例を示す図である。運転者が自車と他車との車間距離を設定したい場合、図20の(a)に示すように自車アイコンV1を図20の(b)に示すように上方向または下方向にスワイプする。スワイプ中は車間距離表示用のポップアップウインドウP1が表示される。図20の(c)に示すようにスワイプが終了すると、車間距離設定指示コマンドが発行される。ポップアップウインドウP1内に車間距離を設定する旨のメッセージが表示され、その後、ポップアップウインドウP1が消去される。
 図21は、自車アイコンを特定エリア(道路案内標識)にドラッグ&ドロップする例を示すフローチャートである。HMIコントローラ10の判定部11は、タッチパネルからタッチイベント(DOWN)を受信する(S50)。判定部11は、タッチイベント(DOWN)が検出された座標が自車アイコンの表示エリアの内部であるか否か判定する(S51)。表示エリアの外である場合(S51のN)、道路案内標識の内容に応じた操作指示でないと判定して処理を終了する。
 表示エリアの内部である場合(S51のY)、判定部11はタッチパネルからタッチイベント(MOVE)を受信する(S52)。その後、判定部11はタッチパネルからタッチイベント(UP)を受信する(S53)。
 判定部11は、タッチイベント(UP)が検出された座標が道路案内標識の表示エリアの内部であるか否か判定する(S54)。表示エリアの内部である場合(S54のY)、指示部13は道路案内標識の内容に応じたコマンドを自動運転コントローラ20に発行する(S55)。表示エリアの外である場合(S54のN)、道路案内標識の内容に応じた操作指示でないと判定して処理を終了する。
 図22は、図21のフローチャートに係るジェスチャ操作の一例を示す図である。運転者が交差点の行先案内標識S1内に表示されたいずれかの進路に進路変更したい場合、図22の(a)に示すように自車アイコンV1をドラッグし、図22の(b)に示すように自車アイコンV1を、行先案内標識S1内の所望の行先の地名「町田」N1上にドロップする。これにより、行先を経由地または目的地としたルートへのルート変更指示コマンドが発行される。
 以下、図5に戻り、ステップS9eの予測軌道/ルートの候補を描画する処理の詳細を説明する。
 図23は、図5のステップS9eにおいて、予測軌道/ルートの候補を描画する処理の一例を示すフローチャートである。HMIコントローラ10の判定部11は、タッチパネルから自車アイコンの移動通知を受信しているか否か判定する(S9ea)。受信している場合(S9eaのY)、判定部11は自車アイコンの移動位置がレーン上であるか否か判定する(S9eb)。レーン上である場合(S9ebのY)、判定部11は自車アイコンの移動位置が、自車アイコンの移動開始位置のレーンと異なるレーン上であるか否か判定する(S9ec)。異なるレーン上でない場合(同じレーン上である場合)(S9ecのN)、画像生成部12は、タッチパネルに表示された模式図内の予測軌道を消去する(S9ed)。ステップS9ebにおいて、自車アイコンの移動位置がレーン上でない場合も(S9ebのN)、画像生成部12は、タッチパネルに表示された模式図内の予測軌道を消去する(S9ed)。
 ステップS9ecにおいて、自車アイコンの移動位置が、自車アイコンの移動開始位置のレーンと異なるレーン上である場合(S9ecのY)、判定部11は自車アイコンの移動位置が、車線変更が可能なレーン上であるか否か判定する(S9ee)。車線変更が可能なレーン上でない場合(S9eeのN)、画像生成部12は、タッチパネルにエラー通知を描画する(S9ef)。車線変更が可能なレーン上である場合(S9eeのY)、指示部13は自動運転コントローラ20に、自車アイコンのタッチイベント座標を通知し、予測軌道を要求する(S9eg)。画像生成部12は、自動運転コントローラ20から取得した車線変更の予測軌道をタッチパネルに描画する(S9eh)。以上の処理がタッチパネルから自車アイコンの移動通知を受信しなくなるまで(S9eaのN)、継続される。
 図24は、図5のステップS9eにおいて、予測軌道/ルートの候補を描画する処理の別の例を示すフローチャートである。ステップS9eaからステップS9efまでの処理は、図23のフローチャートと同じである。車線変更が可能なレーン上である場合(S9eeのY)、判定部11は車線変更先のレーンに他車が存在するか否か判定する(S9ei)。他車が存在しない場合(S9eiのN)、画像生成部12は、加減速なしの車線変更の予測軌道をタッチパネルに描画する(S9ej)。
 車線変更先のレーンに他車が存在する場合(S9eiのY)、判定部11は自車アイコンの移動位置が、他車アイコンの前方であるか後方であるか判定する(S9ek)。他車アイコンの前方である場合(S9ekの前)、画像生成部12は、加速ありの車線変更の予測軌道をタッチパネルに描画する(S9el)。他車アイコンの後方である場合(S9ekの後)、画像生成部12は、減速ありの車線変更の予測軌道をタッチパネルに描画する(S9em)。自車アイコンの移動位置が、他車アイコンの内部である場合(S9ekの他車)、画像生成部12は、タッチパネルにエラー通知モードを描画する(S9en)。以上の処理がタッチパネルから自車アイコンの移動通知を受信しなくなるまで(S9eaのN)、継続される。
 図25A-図25Cは、図24のフローチャートに係るジェスチャ操作の一例を示す図である。図25AはステップS9ejの加減速なしの車線変更の予測軌道の例である。図25BはステップS9elの加速ありの車線変更の予測軌道の例である。図25CはステップS9emの減速ありの車線変更の予測軌道の例である。
 図26は、エラー表示画面の一例を示す図である。運転者が第1レーンL1から第2レーンL2に車線変更したい場合、図26の(a)に示すように第1レーンL1上の自車アイコンV1をドラッグし、図26の(b)に示すように第2レーンL2上に自車アイコンV1をドロップする。そのドロップ位置に他車の接近が検出された場合、図26の(c)に示すようにポップアップウインドウP1内にエラーメッセージ「後続車のためキャンセルされました」が表示され、自車アイコンV1が第1レーンL1に戻される。
 図27は、自車アイコンV1をドラッグしてから他車アイコンV2上にドロップするまでの間の表示例を示す図である。運転者が他車に追従走行したい場合、図27の(a)に示すように自車アイコンV1をドラッグする。自車アイコンV1をドラッグしてから他車アイコンV2上にドロップするまでの間、図27の(b)に示すように自車アイコンの元の位置に残像(点線の丸印など)V1aを表示させる。図27の(c)に示すように自車アイコンV1が他車アイコンV2上にドロップされると、残像V1aが消去される。図27の(d)に示すように追従走行が成立すると、自車アイコンV1と他車アイコンV2との間に追従アイコンF1が表示されるようになる。
 図28は、自車アイコンV1をドラッグしてから他車アイコンV2上にドロップするまでの間の別の表示例を示す図である。図28の(a)は、自車アイコンV1をドラッグしてから他車アイコンV2上にドロップするまでの間、道路エリアの周辺にドロップエリアを表示する例である。図28の(a)では道路エリアの上下左右に、取り消し用ドロップエリアD1、自宅にリルート用ドロップエリアD2、左折用ドロップエリアD3、右折用ドロップエリアD4が各々表示される。運転者はドロップエリアD11~D14のいずれかに自車アイコンV1をドロップすることにより、対応する操作を行うことができる。なおドロップエリアには、上記操作以外の操作を表示してもよく、例えば、ガソリンスタンドへのリルート、パーキングエリアへのリルート、サービスエリアへのリルート、追越、車線変更、ACC(Adaptive Cruise Control)、目標速度の加減速等の操作指示を表示してもよい。
 図28の(b)は、自車アイコンV1をドラッグしてから他車アイコンV2上にドロップするまでの間、道路など背景の色を変更(反転、薄くなど)し、ドロップが完了したら、元の色に戻す例である。図28の(c)は、自車アイコンV1をドラッグしてから他車アイコンV2上にドロップするまでの間、ドラッグ開始位置からドラッグ中の移動軌道(点線など)T1を表示し、ドロップが完了したら、軌道T1を消す例である。
 図29は、ドロップ不可エリアなどがある場合における、自車アイコンV1のドラッグ中の表示例を示す図である。運転者が他車に追従走行したい場合、図29の(a)に示すように自車アイコンV1をドラッグする。自車アイコンV1をドラッグした後において、ドロップ不可エリア(追従を拒否している車両、反対車線など)があったり、状況により追従操作が不可なとき、自車アイコンV1の色を変更(反転、薄くなど)する。他車アイコンV2へのドロップが不可の場合において、図29の(b)に示すように自車アイコンV1を他車アイコンV2上にドロップすると、図29の(c)に示すように自車アイコンV1が元の位置に戻され、「追従操作不可エリアです。」といったエラーメッセージを含むポップアップウインドウP3が表示される。
 図30A-図30Cは、ドロップ不可エリアなどがある場合における、自車アイコンV1のドラッグ中の別の表示例を示す図である。図30Aは、自車アイコンV1をドラッグした後において、追従操作が不可なとき、道路など背景の色を変更する例である。追従操作が可能な状況になれば、元の色に戻す。図30Bは、自車アイコンV1をドラッグした後において、ドロップ不可エリアの色を変更(反転、薄くなど)する例である。図30Cは、自車アイコンV1をドラッグした後において、ドロップ不可エリアがあったり、追従操作が不可なとき、エラー音や振動を通知する。
 図31は、ドラッグ操作を不可とする場合における表示例を示す図である。運転者が他車に追従走行したい場合、図31の(a)に示すように自車アイコンV1のドラッグ開始時において、操作開始不可な場合、図31の(b)に示すように自車アイコンV1の色を変更し、ドラッグ操作(アイコンの移動)ができない状態とする。さらに、「追従操作不可エリアです。」といったエラーメッセージを含むポップアップウインドウP3を表示する。
 図32A-図32Bは、ドラッグ操作を不可とする場合における別の表示例を示す図である。図32の(a)は、自車アイコンV1のドラッグ開始時において、操作開始不可な場合、道路など背景の色を変更する例である。追従操作が可能な状況になれば、元の色に戻す。図32の(b)は、自車アイコンV1のドラッグ開始時において、操作開始不可な場合、ドラッグ操作ができない状態で、エラー音や振動を通知する。
 図33は、自車アイコンをドロップしてから自車が追越を完了するまでの制御中の第1表示例を示す図である。運転者が先行車を追越したい場合、図33の(a)に示すように自車アイコンV1をドラッグし、図33の(b)に示すように他車アイコンV2の前方に自車アイコンV1をドロップする。他車アイコンV2の前方にドロップしてから追越が完了するまでの間、図33の(c)に示すように自車の状態(現在位置)をゴーストアイコンV1gで表示する。また移動中の軌道T1も表示する。追越が完了すると、図33の(d)に示すように自車のゴーストアイコンV1gと軌道T1が消去される。
 図34は、自車アイコンをドロップしてから自車が追越を完了するまでの制御中の第2表示例を示す図である。運転者が先行車を追越したい場合、図34の(a)に示すように自車アイコンV1をドラッグし、図34の(b)に示すように他車アイコンV2の前方に自車アイコンV1をドロップする。他車アイコンV2の前方にドロップしてから追越が完了するまでの間、図34の(c)に示すように移動先の自車アイコンV1の表示状態を変更する。図34の(c)では自車アイコンV1を点滅させる例を描いているが、色変更、サイズ変更、位置変更などを行ってもよい。追越が完了すると、図34の(d)に示すように自車アイコンV1の表示状態が元に戻る。
 図35は、自車アイコンをドロップしてから自車が追越を完了するまでの制御中の第3表示例を示す図である。運転者が先行車を追越したい場合、図35の(a)に示すように自車アイコンV1をドラッグし、図35の(b)に示すように他車アイコンV2の前方に自車アイコンV1をドロップする。他車アイコンV2の前方にドロップしてから追越が完了するまでの間、追加操作で次の指示をキューイング(現在の制御が完了後に行われる制御の予約)する。図35の(c)-図35の(d)では、追越制御中に車線変更を追加指示した場合の例を描いている。この場合、追越車線へ車線変更→他車の追い抜き→元の車線へ車線変更→追越車線へ車線変更となるが、最後の2つの制御を相殺して、追越車線へ車線変更→追い抜きとする。
 図36は、自車アイコンをドロップしてから自車が追越を完了するまでの制御中の第4表示例を示す図である。運転者が先行車を追越したい場合、図36の(a)に示すように自車アイコンV1をドラッグし、図36の(b)に示すように他車アイコンV2の前方に自車アイコンV1をドロップする。他車アイコンV2の前方にドロップしてから追越が完了するまでの間、図36の(c)-図36の(d)に示すように、自車アイコンV1を再度、ドラッグして元の位置にドロップした場合、次のように処理する。元の位置にドロップした時点で、追越車線への車線変更中または車線変更が完了している場合、元の車線への車線変更指示コマンドを送信する。元の位置にドロップした時点で、他車を追い抜き中、追い抜き後、または元の車線に車線変更中の場合、エラーメッセージ(例えば、「制御中のためその操作はできません」、「しばらくお待ちください」等)を表示する。
 以上説明したように本実施の形態によれば、タッチパネルに表示されたアイコンをジェスチャで移動させることにより、自動運転コントローラ20に種々の操作内容を伝達することができる。アイコンのジェスチャ操作は簡単な操作であり、運転者がステアリング51を回す、アクセルペダル53を踏み込むなどの従来の運転操作から解放される。運転者は、周辺状況の確認と操作指示をタッチパネル上で同時に行うことができるため、視線移動が発生しない。従って、誤操作する可能性が低下し、より安全な運転を実現できる。
 以上、本発明を実施の形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
 例えば、HMIコントローラ10は専用のLSIで実装する例を想定したが、表示装置30として使用するスマートフォンやタブレット等の携帯機器内のCPU(Central Processing Unit)を用いてHMIコントローラ10の機能を実現してもよい。この場合、表示装置30として使用する携帯機器と自動運転コントローラ20とが直接接続されることになる。またHMIコントローラ10の機能を、カーナビゲーション装置やディスプレイオーディオ等のヘッドユニット内のCPUで実現してもよい。またHMIコントローラ10を実装した専用のLSIをヘッドユニット内に含める構成でもよい。
 上述の実施の形態では、自車アイコンを接触開始位置とするジェスチャ操作の例をいくつか挙げた。以下、上述した例も含めて、自車アイコンを接触開始位置とするジェスチャ操作の例を列挙する。
 自車アイコンにタッチした後、同一レーン内の障害物のない前方にスワイプするジェスチャ操作で速度アップを指示するコマンドが発行される。障害物のない後方にスワイプするジェスチャ操作で速度ダウンを指示するコマンドが発行される。この場合、別途にユーザインタフェースを用意する必要がなく、スペースを節約できる。自車アイコンにタッチした後、右または左にスワイプするジェスチャ操作で、同一車線内における右寄せまたは左寄せを指示するコマンドが発行される。この場合、操作入力と結果表示を同一画面で実現でき、スペースを節約できる。
 自車アイコンをドラッグして他車アイコンにドロップするジェスチャ操作で、他車への追従走行またはACC(Adaptive Cruise Control)の開始を指示するコマンドが発行される。自車アイコンをドラッグして先行する他車アイコンの前にドロップするジェスチャ操作で追越を指示するコマンドが発行される。この場合、別途にユーザインタフェースを用意する必要がなく、スペースを節約できる。
 複数レーンがある場合において、自車アイコンをドラッグして他レーンにドロップするジェスチャ操作で他レーンへの車線変更を指示するコマンドが発行される。この場合、操作入力と結果表示を同一画面で実現でき、スペースを節約できる。他レーンに他車が存在する場合、他車アイコンの前にドロップするか他車アイコンの後ろにドロップするかによって、他車の前方に進入するか後方に侵入するかを指定できるようにしてもよい。右折専用レーンおよび/または左折専用レーンがある場合において、右折専用レーンまたは左折専用レーンに自車アイコンをドロップするジェスチャ操作で、レーン変更後に右折または左折を指示するコマンドが発行される。この場合、右折または左折操作を入力するステップを省くことができる。
 自車アイコンをドラッグして有料道路(例えば、高速道路)の入口アイコンにドロップするジェスチャ操作で、有料道路への進入を指示するコマンドが発行される。この場合、有料道路の入口アイコンに対して何を行うか入力するステップを省略できる。自車アイコンをドラッグして有料道路の入口レーンにドロップするジェスチャ操作で、有料道路への進入を指示するコマンドが発行される。この場合、操作入力と結果表示を同一画面で実現できる。
 自車アイコンをドラッグして有料道路の出口アイコンにドロップするジェスチャ操作で、有料道路からの退出を指示するコマンドが発行される。この場合、有料道路の出口アイコンに対して何を行うか入力するステップを省略できる。自車アイコンをドラッグして有料道路の出口レーンにドロップするジェスチャ操作で有料道路からの退出を指示するコマンドが発行される。この場合、操作入力と結果表示を同一画面で実現できる。
 高速道路の合流地点の加速車線において、自車アイコンをドラッグして走行車線にドロップするジェスチャ操作で、走行車線の後ろから来る車両の速度に応じて車両の前に侵入するか後ろに侵入するかを判断した上での合流制御を指示するコマンドが発行される。この場合、操作入力と結果表示を同一画面で実現できる。
 自車アイコンをドラッグして曲がりたい方向の道路にドロップするジェスチャ操作で、進路変更を指示するコマンドが発行される。この場合、操作入力と結果表示を同一画面で実現できる。例えば、右折レーンにドロップすると右折を指示するコマンドが発行される。自車アイコンをUの字を描くようにドラッグ&ドロップするジェスチャ操作で、Uターンを指示するコマンドが発行される。この場合、操作入力と結果表示を同一画面で実現できる。
 自車アイコンをドラッグして、目的地またはランドマークを示すアイコンにドラッグするジェスチャ操作で、目的地を変更する、または経由地を追加することを指示するコマンドが発行される。自宅を示すアイコンは画面上に常に表示するようにしておいてもよい。自車アイコンにタッチして進みたい方向にフリックするジェスチャ操作で、目的地を設定せずにフリックされた方向に向かって走行することを指示するコマンドが発行される。
 駐車場において、自車アイコンをドラッグして駐車したいブロック(店の入口付近などの大雑把な範囲で規定される)にドロップすると、ブロック内の空いている駐車スペースに駐車することを指示するコマンドが発行される。
 自車アイコンをドラッグして歩行者アイコン、ポストアイコン、バス停アイコンまたはタクシー乗り場アイコンにドロップすると、ドロップした場所に横付けすることを指示するコマンドが発行される。この場合、停車を指示するステップを減らすことができる。
 ドラッグ操作でPOI(Point of Interest)範囲を指定してもよい。例えば、探索範囲を指定した後、その範囲内のガソリンスタンドを探索することができる。自車アイコンをドラッグして、サービスエリアアイコンまたはパーキングエリアアイコンにドロップするジェスチャ操作で、駐車場を検索することを指示するコマンドが発行されてもよい。
 自車アイコンをドラッグして歩行者アイコンにドロップするジェスチャ操作で、歩行者をフロントランプで照らすことを指示するコマンドが発行される。この場合、フロントランプを点灯させる操作をするステップを減らすことができる。自車アイコンをドラッグして歩行者アイコンにドロップするジェスチャ操作で、歩行者に対してクラクションを鳴らすことを指示するコマンドが発行されてもよい。その際、歩行者の位置に応じてクラクションに指向性を持たせてもよい。この場合、クラクションを鳴らす操作をするステップを減らすことができる。
 自車アイコンをドラッグ中、または、ドロップ時、または、ドロップしてから制御コマンドに応じた処理が成立するまでの間、予想軌道を自動運転コントローラ20から受け取り、表示部31に描画するようにしてもよい。信号待ちであったり車線変更不可区間であったりして一時的に制御コマンドに応じた処理が不可の場合、画像生成部12は、制御コマンドに応じた処理が成立するまで「トライ中」などの表示を行い、実行可能になったタイミングで予想軌道を描画するようにしてもよい。自車アイコンをドラッグ中、または、ドロップしてから制御コマンドに応じた処理が成立するまでの間、画像生成部12はドロップしてから制御コマンドに応じた処理が成立するまでの予想所要時間や所要残時間を表示したりするようにしてもよい。一時的に制御コマンドに応じた処理が不可の場合、可能になるまで制御を続けるか、あきらめて制御を中止するか、あらかじめ設定できるようにしてもよい。あやまってドラッグ開始してしまったり、ドラッグ後に取り消し操作をしたいときのため、取り消し用のドロップ領域を設けてもよい。自車をドラッグ後、取り消し用のドロップ領域にドロップすることで、コマンドの発行を取りやめることができる。
 以上の説明において、自車アイコンをドロップした後、実行可能なアクションの候補が2種類以上ある場合はドロップ後に選択メニューを表示させてもよい。自車アイコンをドラッグしたとき、可能な全ての操作のガイダンスを画面上に表示させてもよい。自車アイコンをドラッグした後、確認ボタンを押下するまで、自車アイコンを離してもドラッグ状態を継続させてもよい。自車アイコンをドラッグした後、誤ってドロップした場合の訂正方法、確認方法をポップアップ画面で提示してもよい。自車アイコンをドラッグした後、ドロップできる位置に自車アイコンを移動させた場合とドロップできない位置に自車アイコンを移動させた場合とで異なる振動のハプティックフィードバックがかかるように、タッチパネルを設計してもよい。自車アイコンをドロップした際、画面の縮尺が自動調整されてもよい。例えば、少なくとも自車に最も近い他車が画面に含まれるように縮尺が自動調整されてもよい。これにより、他車などを簡単に見つけられ、より早く指示コマンドを発行できる。自車アイコンをドラッグした後、ドロップできる位置に自車アイコンを移動させた場合とドロップできない位置に自車アイコンを移動させた場合とで、自車アイコンの色が変わってもよい。自車アイコンをドラッグした際、ドロップ可能なエリアとドラッグ不可なエリアとで、異なる背景色としてもよい。なお、制御コマンドに対応するジェスチャ操作について、ドラッグアンドドロップなどで説明したが、タッチアンドタッチであってもよい。予め決められた操作であればよいが、運転者がカスタマイズ可能にしてもよい。また、表示部にて、ジェスチャ操作と制御コマンドの対応関係が分かるように、説明文やアイコンや矢印を表示したりガイドの表示や音声によるガイダンスをしたりしてもよい。
 なお、実施の形態は、以下の項目によって特定されてもよい。
 [項目1]
 表示部(31)に、自車を表す自車オブジェクトと自車の周辺状況を含む画像を出力する画像出力部(14a)と、
 表示部(31)に表示された画像内の自車オブジェクトの移動を伴うユーザによるジェスチャ操作を受け付ける操作信号入力部(14b)と、
 ジェスチャ操作に応じたコマンドを、自動運転の制御を行う自動運転制御部(20)に出力するコマンド出力部(14c)と、
 を有する運転支援装置(10)。
 これにより、自動運転に係る操作を直感的かつ簡便に行うことができる。
 [項目2]
 表示部(31)に表示された画像内において自車オブジェクトを、自車以外の所定の対象を表す非自車オブジェクトの位置に移動させるユーザのジェスチャ操作を操作信号入力部(14b)が受け付けると、コマンド出力部(14c)は、自車と所定の対象との相対的な位置関係を変更することを指示するコマンド、または自車から所定の対象へ通知を出力することを指示するコマンドを自動運転制御部(20)に出力する項目1に記載の運転支援装置(10)。
 自車以外の所定の対象は、他車、歩行者、障害物、または特定エリアであってもよい。
 これにより、自車以外の所定の対象に関連する操作を直感的かつ簡便に行うことができる。
 [項目3]
 表示部(31)に表示された画像内において自車オブジェクトを、自車以外の所定の対象を表す非自車オブジェクトが存在しない位置に移動させるユーザのジェスチャ操作を操作信号入力部(14b)が受け付けると、コマンド出力部(14c)は、ジェスチャ操作の終点位置に対応する場所に自車を移動させることを指示するコマンドを自動運転制御部(20)に出力する項目1に記載の運転支援装置(10)。
 これにより、自車以外の所定の対象に関連しない操作(例えば、車線変更や進路変更など)を直感的かつ簡便に行うことができる。
 [項目4]
 表示部(31)に表示された画像内において自車オブジェクトと、自車以外の所定の対象を表す非自車オブジェクトとの距離を変更するユーザのジェスチャ操作を操作信号入力部(14b)が受け付けると、コマンド出力部(14c)は、自車と所定の対象との距離を変更することを指示するコマンドを自動運転制御部(20)に出力する項目1に記載の運転支援装置(10)。
 これにより、自車と所定の対象との距離を変更する操作を直感的かつ簡便に行うことができる。
 [項目5]
 表示部(31)に表示された画像内の自車オブジェクトと、画像内において自車以外の所定の対象を表す非自車オブジェクトとを入れ替えるユーザのジェスチャ操作を操作信号入力部(14b)が受け付けると、コマンド出力部(14c)は、自車と所定の対象との相対的な位置関係を変更することを指示するコマンドを自動運転制御部(20)に出力する項目1に記載の運転支援装置(10)。
 これにより、自車と所定の対象との相対的な位置関係を変更する操作を直感的かつ簡便に行うことができる。
 [項目6]
 自車と自車以外の所定の対象が連携して動作している状態において、表示部に表示された画像内の自車オブジェクトを、自車オブジェクトと、自車以外の所定の対象を表す非自車オブジェクトとを結ぶ仮想線の外に移動させるユーザのジェスチャ操作を操作信号入力部(14b)が受け付けると、コマンド出力部(14c)は、連携を解除することを指示するコマンドを自動運転制御部に出力する項目1に記載の運転支援装置(10)。
 これにより、自車と所定の対象との連携を解除する操作を直感的かつ簡便に行うことができる。
 [項目7]
 コマンド出力部(14c)は、ジェスチャ操作を操作信号入力部(14b)が受け付けたときの自車の周辺状況に応じて、自動運転制御部(20)に出力するコマンドの内容を変更する項目1に記載の運転支援装置(10)。
 これにより、コンテキストに応じたコマンドを発行することができる。
 [項目8]
 画像出力部(14a)は、操作信号入力部(14b)がユーザのジェスチャ操作を受付不可な期間において、自車オブジェクトの表示態様が、ユーザのジェスチャ操作を受付可能な期間の表示態様と異なる画像を表示部(31)に出力する項目1から7のいずれかに記載の運転支援装置(10)。
 これにより、ユーザはジェスチャ操作の入力が有効な期間か無効な期間かを容易に認識することができる。
 [項目9]
 画像出力部(14a)は、自車以外の所定の対象を含む画像が表示部(31)に表示されるよう、自車オブジェクト、所定の対象を表す非自車オブジェクト、及び自車の周辺状況のサイズを変更する項目1から8のいずれかに記載の運転支援装置(10)。
 これにより、ユーザは非自車オブジェクトを含む画像を見ることができる。
 [項目10]
 画像を表示する表示装置(30)と、
 表示装置(30)に画像を出力する運転支援装置(10)と、を有し、
 運転支援装置(10)は、
 表示装置(30)に、自車を表す自車オブジェクトと自車の周辺状況を含む画像を出力する画像出力部(14a)と、
 表示装置(30)に表示された画像内の自車オブジェクトの移動を伴うユーザによるジェスチャ操作を受け付ける操作信号入力部(14b)と、
 ジェスチャ操作に応じたコマンドを、自動運転の制御を行う自動運転制御部(20)に出力するコマンド出力部(14c)と、
 を含む運転支援システム(10、30)。
 これにより、自動運転に係る操作を直感的かつ簡便に行うことができる。
 [項目11]
 表示部(31)に、自車を表す自車オブジェクトと自車の周辺状況を含む画像を出力するステップと、
 表示部(31)に表示された画像内の自車オブジェクトの移動を伴うユーザによるジェスチャ操作を受け付けるステップと、
 ジェスチャ操作に応じたコマンドを、自動運転の制御を行う自動運転制御部(20)に出力するステップと、
 を有する運転支援方法。
 これにより、自動運転に係る操作を直感的かつ簡便に行うことができる。
 [項目12]
 表示部(31)に、自車を表す自車オブジェクトと自車の周辺状況を含む画像を出力する処理と、
 表示部(31)に表示された画像内の自車オブジェクトの移動を伴うユーザによるジェスチャ操作を受け付ける処理と、
 ジェスチャ操作に応じたコマンドを、自動運転の制御を行う自動運転制御部(20)に出力する処理と、
 をコンピュータに実行させる運転支援プログラム。
 これにより、自動運転に係る操作を直感的かつ簡便に行うことができる。
 [項目13]
 表示部(31)に、自車を表す自車オブジェクトと自車の周辺状況を含む画像を出力する画像出力部(14a)と、
 表示部(31)に表示された画像内の自車オブジェクトの移動を伴うユーザによるジェスチャ操作を受け付ける操作信号入力部(14b)と、
 ジェスチャ操作に応じたコマンドを出力するコマンド出力部(14c)と、
 出力されたコマンドを実行する自動運転制御部(20)と、
 を有する自動運転車両(1)。
 これにより、自動運転に係る操作を直感的かつ簡便に行うことができる。
 本発明は、自動運転モードを搭載した車両に利用可能である。
 1 車両
 10 運転支援装置(HMIコントローラ)
 11 判定部
 11a 自動運転制御コマンドテーブル
 12 画像生成部
 13 指示部
 14 入出力部
 14a 画像出力部
 14b 操作信号入力部
 14c コマンド出力部
 14d 車両情報入力部
 20 自動運転制御装置(自動運転コントローラ)
 21 制御部
 22 記憶部
 23 入出力部
 30 表示装置
 31 表示部
 32 入力部
 40 検出部
 41 位置情報取得部
 42 センサ
 43 速度情報取得部
 44 地図情報取得部
 50 運転操作部
 51 ステアリング
 52 ブレーキペダル
 53 アクセルペダル
 54 ウインカスイッチ

Claims (10)

  1.  自車を表す自車オブジェクトと当該自車の周辺状況を含む画像を表示部に出力する画像出力部と、
     前記表示部に表示された画像内の前記自車オブジェクトを前記自車以外の所定の対象を表す非自車オブジェクトの位置に移動させるジェスチャ操作を受け付ける操作信号入力部と、
     前記自車と前記所定の対象との相対的な位置関係を変更することを指示する第一のコマンド、または前記自車から前記所定の対象へ通知を出力することを指示する第二のコマンドを自動運転の制御を行う自動運転制御部に出力するコマンド出力部とを備える運転支援装置。
  2.  自車を表す自車オブジェクトと当該自車の周辺状況を含む画像を表示部に出力する画像出力部と、
     前記表示部に表示された画像内の前記自車オブジェクトと当該画像内において前記自車以外の所定の対象を表す非自車オブジェクトとを入れ替えるジェスチャ操作を受け付ける操作信号入力部と、
     前記自車と前記所定の対象との相対的な位置関係を変更することを指示する第一のコマンドを自動運転の制御を行う自動運転制御部に出力するコマンド出力部とを備える運転支援装置。
  3.  前記画像出力部は、前記操作信号入力部がユーザのジェスチャ操作を受付不可な期間において、前記自車オブジェクトの表示態様が、ユーザのジェスチャ操作を受付可能な期間の表示態様と異なる画像を前記表示部に出力する請求項1または2に記載の運転支援装置。
  4.  前記画像出力部は、前記前記自車以外の所定の対象を含む画像が前記表示部に表示されるよう、前記自車オブジェクト、前記所定の対象を表す非自車オブジェクト、及び前記自車の周辺状況のサイズを変更する請求項1または2に記載の運転支援装置。
  5.  自車を表す自車オブジェクトと当該自車の周辺状況を含む画像を表示部に出力するステップと、
     前記表示部に表示された画像内の前記自車オブジェクトを前記自車以外の所定の対象を表す非自車オブジェクトの位置に移動させるジェスチャ操作を受け付けるステップと、
     前記自車と前記所定の対象との相対的な位置関係を変更することを指示する第一のコマンド、または前記自車から前記所定の対象へ通知を出力することを指示する第二のコマンドを自動運転の制御を行う自動運転制御部に出力するステップとを備える運転支援方法。
  6.  自車を表す自車オブジェクトと当該自車の周辺状況を含む画像を表示部に出力するステップと、
     前記表示部に表示された画像内の前記自車オブジェクトと当該画像内において前記自車以外の所定の対象を表す非自車オブジェクトとを入れ替えるジェスチャ操作を受け付けるステップと、
     前記自車と前記所定の対象との相対的な位置関係を変更することを指示する第一のコマンドを自動運転の制御を行う自動運転制御部に出力するステップとを備える運転支援方法。
  7.  前記自車以外前記自車以外
     画像を表示する表示装置と、
     前記表示装置に画像を出力する運転支援装置と、を備え、
     前記運転支援装置は、
     自車を表す自車オブジェクトと当該自車の周辺状況を含む画像を前記表示装置に出力する画像出力部と、
     前記表示装置に表示された画像内の前記自車オブジェクトを前記自車以外の所定の対象を表す非自車オブジェクトの位置に移動させるジェスチャ操作を受け付ける操作信号入力部と、
     前記自車と前記所定の対象との相対的な位置関係を変更することを指示する第一のコマンド、または前記自車から前記所定の対象へ通知を出力することを指示する第二のコマンドを自動運転の制御を行う自動運転制御部に出力するコマンド出力部と、
     を含む運転支援システム。
  8.  画像を表示する表示装置と、
     前記表示装置に画像を出力する運転支援装置と、を備え、
     前記運転支援装置は、
     自車を表す自車オブジェクトと当該自車の周辺状況を含む画像を前記表示装置に出力する画像出力部と、
     前記表示装置に表示された画像内の前記自車オブジェクトと当該画像内において前記自車以外の所定の対象を表す非自車オブジェクトとを入れ替えるジェスチャ操作を受け付ける操作信号入力部と、
     前記自車と前記所定の対象との相対的な位置関係を変更することを指示する第一のコマンドを自動運転の制御を行う自動運転制御部に出力するコマンド出力部と、
     を含む運転支援システム。
  9.  自車を表す自車オブジェクトと当該自車の周辺状況を含む画像を表示部に出力する画像出力部と、
     前記表示部に表示された画像内の前記自車オブジェクトを前記自車以外の所定の対象を表す非自車オブジェクトの位置に移動させるジェスチャ操作を受け付ける操作信号入力部と、
     前記自車と前記所定の対象との相対的な位置関係を変更することを指示する第一のコマンド、または前記自車から前記所定の対象へ通知を出力することを指示する第二のコマンドを出力するコマンド出力部と、
     前記出力されたコマンドを実行する自動運転制御部と、
     を備える自動運転車両。
  10.  自車を表す自車オブジェクトと当該自車の周辺状況を含む画像を表示部に出力する画像出力部と、
     前記表示部に表示された画像内の前記自車オブジェクトと当該画像内において前記自車以外の所定の対象を表す非自車オブジェクトとを入れ替えるジェスチャ操作を受け付ける操作信号入力部と、
     前記自車と前記所定の対象との相対的な位置関係を変更することを指示する第一のコマンドを出力するコマンド出力部と、
     前記出力された第一のコマンドを実行する自動運転制御部と、
     を備える自動運転車両。
PCT/JP2016/003379 2015-07-31 2016-07-19 運転支援装置、運転支援システム、運転支援方法及び自動運転車両 WO2017022195A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201680043621.5A CN107851395B (zh) 2015-07-31 2016-07-19 驾驶辅助装置、驾驶辅助系统、驾驶辅助方法、自动驾驶车辆以及非暂时性的记录介质
US15/328,012 US9828020B2 (en) 2015-07-31 2016-07-19 Driving support device, driving support system, and driving support method
DE112016003498.9T DE112016003498T5 (de) 2015-07-31 2016-07-19 Fahrtunterstützungsvorrichtung, fahrtunterstützungssytem, fahrtunterstützungsverfahren, und automatisch fahrendes fahrzeug
US15/793,762 US10532763B2 (en) 2015-07-31 2017-10-25 Driving support device, driving support system, and driving support method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-152847 2015-07-31
JP2015152847A JP5910903B1 (ja) 2015-07-31 2015-07-31 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US15/328,012 A-371-Of-International US9828020B2 (en) 2015-07-31 2016-07-19 Driving support device, driving support system, and driving support method
US15/793,762 Continuation US10532763B2 (en) 2015-07-31 2017-10-25 Driving support device, driving support system, and driving support method

Publications (1)

Publication Number Publication Date
WO2017022195A1 true WO2017022195A1 (ja) 2017-02-09

Family

ID=55808228

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/003379 WO2017022195A1 (ja) 2015-07-31 2016-07-19 運転支援装置、運転支援システム、運転支援方法及び自動運転車両

Country Status (5)

Country Link
US (2) US9828020B2 (ja)
JP (1) JP5910903B1 (ja)
CN (1) CN107851395B (ja)
DE (1) DE112016003498T5 (ja)
WO (1) WO2017022195A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11124188B2 (en) * 2018-05-16 2021-09-21 Ford Global Technologies, Llc Adaptive speed controller for motor vehicles and method for adaptive speed control

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3147831B1 (en) * 2014-05-22 2020-09-02 Sony Corporation Information processing device and information processing method
USD914047S1 (en) 2014-11-04 2021-03-23 Teenage Engineering Ab Display screen or portion thereof with graphical user interface
USD789955S1 (en) * 2014-11-04 2017-06-20 Teenage Engineering Ab Display screen or portion thereof with graphical user interface
JP5910904B1 (ja) * 2015-07-31 2016-04-27 パナソニックIpマネジメント株式会社 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
JP5957744B1 (ja) * 2015-07-31 2016-07-27 パナソニックIpマネジメント株式会社 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
CN108140311B (zh) * 2015-10-22 2021-08-24 日产自动车株式会社 停车辅助信息的显示方法及停车辅助装置
KR101745161B1 (ko) * 2015-10-28 2017-06-08 현대자동차주식회사 목적지 유형에 따른 차량의 제어 방법
USD799543S1 (en) * 2016-02-04 2017-10-10 Amazon Technologies, Inc. Display screen having an icon
WO2018066026A1 (ja) * 2016-10-03 2018-04-12 三菱電機株式会社 自動運転制御パラメータ変更装置および自動運転制御パラメータ変更方法
CN109844837A (zh) * 2016-10-26 2019-06-04 三菱电机株式会社 显示控制装置、显示装置及显示控制方法
JP2018100867A (ja) * 2016-12-20 2018-06-28 パイオニア株式会社 表示装置、制御方法、プログラム及び記憶媒体
CN106891831A (zh) * 2017-01-23 2017-06-27 斑马信息科技有限公司 辅助驾驶系统及其方法
US10094679B1 (en) * 2017-06-02 2018-10-09 International Business Machines Corporation Generating a navigation route referencing digital signage
US10899384B2 (en) * 2017-07-13 2021-01-26 Continental Automotive Systems, Inc. Trailer reverse assist with follow-me system
CN108334258A (zh) * 2018-04-11 2018-07-27 刘连波 自动驾驶辅助装置、自动驾驶辅助方法以及自动驾驶辅助系统
WO2020026402A1 (ja) * 2018-08-02 2020-02-06 三菱電機株式会社 車載情報装置および携帯端末との連携方法
EP3838700B1 (en) * 2018-08-13 2023-06-14 Nissan Motor Co., Ltd. Vehicle travel control method and travel control device
JP7072995B2 (ja) * 2018-09-12 2022-05-23 アルパイン株式会社 操作装置
US11760377B2 (en) 2019-02-26 2023-09-19 Harman International Industries, Incorporated Shape-shifting control surface for an autonomous vehicle
WO2020210934A1 (zh) * 2019-04-15 2020-10-22 深圳市大疆创新科技有限公司 一种自动驾驶的交互方法、设备、系统及可读存储介质
DE102019216953A1 (de) * 2019-11-04 2021-05-06 Volkswagen Aktiengesellschaft Steuerungsvorrichtung zum Abbruch oder zur zeitlich beschränkten Unterbrechung eines autonomen Fahrens
US11308800B2 (en) 2019-12-05 2022-04-19 Toyota Motor North America, Inc. Transport impact reporting based on sound levels
US11107355B2 (en) 2019-12-05 2021-08-31 Toyota Motor North America, Inc. Transport dangerous driving reporting
US10832699B1 (en) 2019-12-05 2020-11-10 Toyota Motor North America, Inc. Impact media sharing
US11873000B2 (en) 2020-02-18 2024-01-16 Toyota Motor North America, Inc. Gesture detection for transport control
JP7388329B2 (ja) * 2020-10-08 2023-11-29 トヨタ自動車株式会社 車両表示システム及び車両表示方法
WO2022205159A1 (zh) * 2021-03-31 2022-10-06 华为技术有限公司 一种车辆控制方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005041433A (ja) * 2003-07-25 2005-02-17 Denso Corp 車両誘導装置、および経路判定プログラム
JP2010198578A (ja) * 2009-02-27 2010-09-09 Toyota Motor Corp 移動軌跡生成装置
JP2013083520A (ja) * 2011-10-07 2013-05-09 Yazaki Corp 車両用表示装置
JP2015011458A (ja) * 2013-06-27 2015-01-19 株式会社デンソー 車両用情報提供装置

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3650946B2 (ja) 1996-09-27 2005-05-25 本田技研工業株式会社 自動走行車
JP2831992B2 (ja) 1998-01-14 1998-12-02 マツダ株式会社 車載電装品の制御装置
CN101033978B (zh) * 2007-01-30 2010-10-13 珠海市智汽电子科技有限公司 智能汽车辅助导航和自动兼辅助驾驶系统
DE102008051756A1 (de) * 2007-11-12 2009-05-14 Volkswagen Ag Multimodale Benutzerschnittstelle eines Fahrerassistenzsystems zur Eingabe und Präsentation von Informationen
WO2011149558A2 (en) * 2010-05-28 2011-12-01 Abelow Daniel H Reality alternate
US9555832B2 (en) * 2011-04-19 2017-01-31 Ford Global Technologies, Llc Display system utilizing vehicle and trailer dynamics
US8620032B2 (en) * 2011-05-10 2013-12-31 GM Global Technology Operations LLC System and method for traffic signal detection
KR20140031369A (ko) * 2011-06-17 2014-03-12 로베르트 보쉬 게엠베하 도로 위 차량의 차선 안내 시에 운전자를 보조하기 위한 방법 및 장치
US9227568B1 (en) * 2012-01-04 2016-01-05 Spirited Eagle Enterprises LLC System and method for managing driver sensory communication devices in a transportation vehicle
DE102012002304A1 (de) * 2012-02-06 2013-08-08 Audi Ag Vorrichtung zum automatisierten Führen eines Kraftwagens und Verfahren zum Betreiben eines Kraftwagens
DE102012002305A1 (de) * 2012-02-06 2013-08-22 Audi Ag Kraftwagen mit einer Fahrerassistenzeinrichtung und Verfahren zum Betreiben eines Kraftwagens
US9153084B2 (en) * 2012-03-14 2015-10-06 Flextronics Ap, Llc Destination and travel information application
CN102963322B (zh) * 2012-09-22 2015-04-22 仲玥 汽车行驶环境探测装置及其工作过程
JP6115278B2 (ja) * 2013-04-16 2017-04-19 株式会社デンソー 車両用表示装置
US9513702B2 (en) * 2013-07-15 2016-12-06 Lg Electronics Inc. Mobile terminal for vehicular display system with gaze detection
KR102051142B1 (ko) * 2014-06-13 2019-12-02 현대모비스 주식회사 차량용 운전자 위험 지수 관리 시스템 및 그 방법
CN104199451A (zh) * 2014-09-22 2014-12-10 江苏理工学院 红绿灯路口用无人驾驶车辆的通行控制系统及其工作方法
JP6486640B2 (ja) * 2014-10-09 2019-03-20 株式会社日立製作所 運転特性診断装置、運転特性診断システム、運転特性診断方法、情報出力装置、情報出力方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005041433A (ja) * 2003-07-25 2005-02-17 Denso Corp 車両誘導装置、および経路判定プログラム
JP2010198578A (ja) * 2009-02-27 2010-09-09 Toyota Motor Corp 移動軌跡生成装置
JP2013083520A (ja) * 2011-10-07 2013-05-09 Yazaki Corp 車両用表示装置
JP2015011458A (ja) * 2013-06-27 2015-01-19 株式会社デンソー 車両用情報提供装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11124188B2 (en) * 2018-05-16 2021-09-21 Ford Global Technologies, Llc Adaptive speed controller for motor vehicles and method for adaptive speed control

Also Published As

Publication number Publication date
CN107851395A (zh) 2018-03-27
US10532763B2 (en) 2020-01-14
CN107851395B (zh) 2021-06-25
US20180043923A1 (en) 2018-02-15
US20170225702A1 (en) 2017-08-10
US9828020B2 (en) 2017-11-28
JP5910903B1 (ja) 2016-04-27
JP2017030570A (ja) 2017-02-09
DE112016003498T5 (de) 2018-04-19

Similar Documents

Publication Publication Date Title
JP5910903B1 (ja) 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
JP6621032B2 (ja) 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
JP5957745B1 (ja) 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
US10604158B2 (en) Driving support device, driving support system and driving support method
JP5910904B1 (ja) 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
JP5866594B1 (ja) 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
US10656639B2 (en) Driving support device, driving support system, and driving support method
JP6090727B2 (ja) 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
JP6575915B2 (ja) 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
JP6681604B2 (ja) 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
JP6671019B2 (ja) 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム、自動運転車両及び自動運転制御システム
JP6558738B2 (ja) 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両
JP2017033524A (ja) 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 15328012

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16832478

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 112016003498

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16832478

Country of ref document: EP

Kind code of ref document: A1