WO2018078713A1 - 周辺情報判定装置および周辺情報判定方法 - Google Patents

周辺情報判定装置および周辺情報判定方法 Download PDF

Info

Publication number
WO2018078713A1
WO2018078713A1 PCT/JP2016/081519 JP2016081519W WO2018078713A1 WO 2018078713 A1 WO2018078713 A1 WO 2018078713A1 JP 2016081519 W JP2016081519 W JP 2016081519W WO 2018078713 A1 WO2018078713 A1 WO 2018078713A1
Authority
WO
WIPO (PCT)
Prior art keywords
intention
person
information
host vehicle
vehicle
Prior art date
Application number
PCT/JP2016/081519
Other languages
English (en)
French (fr)
Inventor
義典 上野
小畑　直彦
下谷　光生
中村　好孝
直志 宮原
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2018546962A priority Critical patent/JP6703128B2/ja
Priority to DE112016007376.3T priority patent/DE112016007376T5/de
Priority to CN201680090257.8A priority patent/CN109844838A/zh
Priority to PCT/JP2016/081519 priority patent/WO2018078713A1/ja
Priority to US16/325,101 priority patent/US20210163013A1/en
Publication of WO2018078713A1 publication Critical patent/WO2018078713A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/507—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking specific to autonomous vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q5/00—Arrangement or adaptation of acoustic signal devices
    • B60Q5/005—Arrangement or adaptation of acoustic signal devices automatically actuated
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0017—Planning or execution of driving tasks specially adapted for safety of other traffic participants
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4045—Intention, e.g. lane change or imminent movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/10—Historical data

Definitions

  • the present invention relates to a peripheral information determination device and a peripheral information determination method for controlling automatic driving of a vehicle.
  • Patent Document 1 when the vehicle detects a pedestrian, the intention of the driver is estimated from the driving operation by the driver, and the estimated intention of the driver is notified to the pedestrian.
  • a vehicle-mounted device that can be used has been proposed.
  • the vehicle can convey the driver's intention to the pedestrian, but the vehicle cannot recognize the pedestrian's intention.
  • the present invention has been made to solve the above-described problems, and provides a peripheral information determination device and a peripheral information determination method for performing vehicle control reflecting the intention of a person existing around the vehicle. Objective.
  • a peripheral information determination device includes a peripheral information acquisition unit that acquires peripheral information indicating a situation around the host vehicle from a peripheral information detection device that detects a situation around the host vehicle, and the vehicle surroundings included in the peripheral information.
  • a person estimation unit that estimates the person's intention or the instruction of the indicator from the person movement information, which is information indicating the movement of the person existing in the object or the movement of the indicator that simulates the movement of the person, and the surrounding information and the intention estimation unit.
  • a control unit that controls a travel control device that controls the travel of the host vehicle based on the estimation result, or a vehicle outside notification device that reports information to the outside of the host vehicle.
  • the intention estimation unit estimates the intention of a person existing around the host vehicle, and the control unit controls the travel control device or the vehicle outside notification device of the host vehicle based on the estimation result.
  • the traveling of the own vehicle reflecting the intention or the notification from the own vehicle becomes possible.
  • FIG. It is a figure which shows the structure of the vehicle control system which concerns on Embodiment 1.
  • FIG. It is a figure which shows the example of intention estimation execution place and a target person.
  • FIG. It is a figure which shows the example of the hardware constitutions of a periphery information determination apparatus.
  • 3 is a flowchart showing an operation of the peripheral information determination device according to the first embodiment. It is a figure for demonstrating operation
  • FIG. 10 is a diagram showing a configuration of a vehicle control system according to a third embodiment. It is a figure which shows the structure of the vehicle control system which concerns on Embodiment 4.
  • FIG. 10 is a diagram showing a configuration of a vehicle control system according to a third embodiment. It is a figure which shows the structure of the vehicle control system which concerns on Embodiment 4.
  • FIG. 1 is a diagram showing a configuration of a vehicle control system according to the first embodiment.
  • This vehicle control system includes a peripheral information determination device 10 that performs automatic driving of a vehicle, and a peripheral information detection device 20, a travel control device 30, and a vehicle outside notification device 40 connected thereto.
  • a vehicle equipped with the peripheral information determination system is referred to as “own vehicle”, and a vehicle other than the host vehicle is referred to as “other vehicle”.
  • the surrounding information detection device 20 is information indicating a situation around the own vehicle from output signals of sensing devices such as a camera 21, a sensor 22, a microphone 23, a communication device 24, and a navigation device 25 provided in the own vehicle. Information "is detected.
  • the peripheral information detected by the peripheral information detection device 20 is transmitted to the peripheral information determination device 10 and the travel control device 30.
  • the traveling control device 30 controls the braking / driving mechanism 31 and the steering mechanism 32 of the host vehicle based on the surrounding information received from the surrounding information detection device 20 and the control signal output from the surrounding information determination device 10, thereby To control the running.
  • the braking / driving mechanism 31 is a mechanism for controlling the traveling speed of the host vehicle and switching between forward and reverse, and includes, for example, an accelerator, a brake, a shift, and the like.
  • the steering mechanism 32 is a mechanism for bending the traveling direction of the host vehicle left and right, and includes, for example, steering.
  • the peripheral information determination device 10 includes a peripheral information acquisition unit 11, an intention estimation unit 12, and a control unit 13.
  • the peripheral information acquisition unit 11 acquires peripheral information from the peripheral information detection device 20.
  • images of the surroundings of the own vehicle taken by the camera 21, obstacles (including other vehicles, pedestrians, etc.) around the own vehicle detected by the sensor 22, and a microphone 23 (preferably a directional microphone) are acquired.
  • the voice around the own vehicle, the information acquired by the communication device 24 through communication, the position on the map of the own vehicle specified by the navigation device 25, the map information around the own vehicle, the planned travel route of the own vehicle, and the like are included.
  • Information acquired by the communication device 24 includes, for example, position information of other vehicles around the own vehicle obtained by inter-vehicle communication, and information on a pedestrian obtained by communication with a pedestrian mobile terminal (for example, a wristwatch type communication terminal). There are location information, traffic information (construction section information, traffic regulation information, etc.) obtained by road-to-vehicle communication. In addition, a pedestrian may operate the mobile terminal to actively transmit information such as whether he / she crosses a pedestrian crossing to the communication device 24 of the surrounding vehicle.
  • the term “pedestrian” is not limited to a person walking, but refers to a wide concept including, for example, a person pushing a stroller, a person traveling on a wheelchair or a bicycle.
  • the intention estimation unit 12 estimates the intention of a person existing in the vicinity of the own vehicle when the own vehicle approaches a specific place satisfying a predetermined condition (“intention estimation execution place”).
  • the place of intention estimation is a place where communication between the vehicle and a person outside the vehicle (for example, a pedestrian or a guide for traffic control) is required. For example, before the pedestrian crossing, before the lane restriction section, The entrance of the parking lot at the destination (or via-route), the inside of the parking lot, the exit of the parking lot, the front of the intersection without a signal, etc. are preliminarily defined as the place of intention estimation execution.
  • the intention estimator 12 uses the image of the vicinity of the host vehicle captured by the camera 21, the distance to the obstacle around the host vehicle acquired by the sensor 22, the position on the map of the host vehicle obtained from the navigation device 25, and the like. It can be determined whether or not the vehicle has approached the intention estimation execution place. The determination as to whether or not the host vehicle has approached the intention estimation execution location may be made based on whether or not the distance between the host vehicle and the intention estimation execution location is equal to or less than a predetermined threshold.
  • the intention estimation unit 12 is a person (hereinafter referred to as “target person”) that is a target of intention estimation in the vicinity of the host vehicle based on the peripheral information acquired by the peripheral information acquisition unit 11. Check whether or not exists.
  • the intention estimation unit 12 extracts “person motion information” indicating the motion of the target person from the surrounding information, and estimates the intention of the target person based on the extracted person motion information.
  • the information extracted as the person action information may be any information as long as the intention of the target person can be estimated. For example, a video that can recognize the pose, gesture, gaze direction, facial expression, etc.
  • the intention estimation unit 12 operates the mobile terminal.
  • the content is acquired as person action information.
  • the intention of the target person is to express the action of the target person such as “cross the road” or “stay without crossing the road”, “I want the vehicle to stop”, “pass the vehicle”
  • intentions such as “I want you to do it” and an intention to express a request for the vehicle.
  • the intention estimation unit 12 preferably estimates both.
  • the intention of “crossing the road” is also an expression of the intention of “the vehicle wants to stop”
  • the intention of “stopping without crossing the road” is an expression of the intention of “passing the vehicle”
  • the intention estimation unit 12 may estimate either one of the two types of intentions.
  • the control unit 13 controls the entire surrounding information determination device 10 and performs automatic driving control of the host vehicle by sending and receiving control information and control commands to the traveling control device 30. Moreover, the control part 13 can control the vehicle outside alerting
  • the control unit 13 uses the intention of the target person estimated by the intention estimation unit 12 for the control. Reflect.
  • FIG. 2 is a diagram illustrating an example of the relationship between the type of intention estimation execution place and the target person.
  • the intention estimating unit 12 sets the target person for intention estimation as a pedestrian around the pedestrian crossing.
  • the intention estimation part 12 makes the target person of intention estimation the guidance person who is carrying out traffic control. You may add the pedestrian in a parking lot to the target person of intention estimation.
  • the intention estimation unit 12 moves the target person of intention estimation to the driver of another vehicle who is about to enter the intersection or a traffic control guide To.
  • an indicator that simulates the movement of a person (for example, a person-shaped signboard that automatically swings a ramp at a construction site) is used instead of a guide at a traffic lane restriction zone, parking lot, or an intersection without a signal. It may be installed.
  • the indicator may be regarded as the target person.
  • the intention estimating unit 12 regards the shape, movement, and output sound of the indicator as a person's pose, gesture, and voice, and estimates the instruction represented by the indicator. That is, the intention estimation unit 12 extracts information indicating the shape and movement of the indicator as person motion information, and estimates an instruction represented by the indicator from the person motion information.
  • the control unit 13 controls the outside notification device 40 to notify the target person according to the intention estimation result.
  • the vehicle outside notification device 40 performs notification toward the outside of the host vehicle, and may be a horn or a headlight of the host vehicle.
  • a speaker that outputs sound outside the vehicle
  • a projection device that projects an image on the road surface
  • a communication device that transmits information to a portable terminal (for example, a wristwatch type communication terminal) of the target person may be used.
  • peripheral information determination device 10 the peripheral information acquisition unit 11, the intention estimation unit 12, and the control unit 13
  • the navigation device 25 and the surrounding information acquisition unit 11 may directly communicate without going through the surrounding information detection device 20.
  • FIG. 3 and 4 are diagrams each showing an example of a hardware configuration of the peripheral information determination device 10.
  • Each component (peripheral information acquisition unit 11, intention estimation unit 12, and control unit 13) of the peripheral information determination device 10 illustrated in FIG. 1 is realized by, for example, the processing circuit 50 illustrated in FIG. That is, the processing circuit 50 includes a peripheral information acquisition unit 11 that acquires peripheral information from the peripheral information detection device 20, and an indicator that simulates the movement of a person or a person existing around the host vehicle included in the peripheral information.
  • the intention estimation unit 12 that estimates the intention of the person or the instruction of the indicator from the person motion information that is information indicating the operation, and controls the travel control device 30 or the outside notification device 40 based on the surrounding information and the estimation result by the intention estimation unit.
  • Dedicated hardware may be applied to the processing circuit 50, or a processor (Central processing unit, central processing unit, processing unit, arithmetic unit, microprocessor, microcomputer, digital, which executes a program stored in the memory Signal Processor) may be applied.
  • the intention estimation unit 12 is not necessarily installed in the host vehicle, and may be realized as a service on the cloud connected to the peripheral information determination device 10 through a communication device.
  • the processing circuit 50 corresponds to, for example, a single circuit, a composite circuit, a programmed processor, a processor programmed in parallel, an ASIC, an FPGA, or a combination thereof. To do.
  • Each of the functions of each element of the peripheral information determination device 10 may be realized by a plurality of processing circuits, or these functions may be realized by a single processing circuit.
  • FIG. 4 shows a hardware configuration of the peripheral information determination apparatus 10 when the processing circuit 50 is configured using a processor.
  • the function of each element of the peripheral information determination device 10 is realized by a combination of software and the like (software, firmware, or software and firmware).
  • Software or the like is described as a program and stored in the memory 52.
  • the processor 51 as the processing circuit 50 implements the functions of the respective units by reading out and executing the program stored in the memory 52. That is, the surrounding information determination device 10 acquires, when executed by the processing circuit 50, person action information that is information indicating the action of a person existing around the own vehicle or the action of an indicator that simulates the movement of the person.
  • a process a process for estimating a person's intention or an instruction from the indicator from the person motion information, and a travel control device 30 for controlling the traveling of the host vehicle based on the estimated person's intention or an instruction from the indicator, or And a memory 52 for storing a program to be executed as a result of controlling the outside notification device 40 for notifying the outside of the host vehicle.
  • this program causes a computer to execute the operation procedure and method of each element of the peripheral information determination device 10.
  • the memory 52 is, for example, non-volatile or RAM (Random Access Memory), ROM (Read Only Memory), flash memory, EPROM (Erasable Programmable Read Only Memory), EEPROM (Electrically Erasable Programmable Read Only Memory), or the like. Volatile semiconductor memory, HDD (Hard Disk Drive), magnetic disk, flexible disk, optical disk, compact disk, mini disk, DVD (Digital Versatile Disk) and its drive device, etc., or any storage media used in the future May be.
  • RAM Random Access Memory
  • ROM Read Only Memory
  • flash memory EPROM (Erasable Programmable Read Only Memory), EEPROM (Electrically Erasable Programmable Read Only Memory), or the like.
  • Volatile semiconductor memory Volatile semiconductor memory, HDD (Hard Disk Drive), magnetic disk, flexible disk, optical disk, compact disk, mini disk, DVD (Digital Versatile Disk) and its drive device, etc., or any storage media used in the future May be.
  • the present invention is not limited to this, and a configuration may be adopted in which some elements of the peripheral information determination device 10 are realized by dedicated hardware and another part is realized by software or the like.
  • the functions of some elements are realized by the processing circuit 50 as dedicated hardware, and the processing circuit 50 as the processor 51 reads a program stored in the memory 52 for the other some elements.
  • the function can be realized by executing.
  • the peripheral information determination device 10 can realize the above-described functions by hardware, software, or the like, or a combination thereof.
  • FIG. 5 is a flowchart showing the operation of the peripheral information determination device 10.
  • 6 to 11 are diagrams for explaining the operation when the host vehicle approaches the pedestrian crossing as a specific example of the operation of the surrounding information determination device 10.
  • the operation of the peripheral information determination device 10 will be described with reference to FIGS. Note that the flow of FIG. 5 is executed when the traveling control device 30 is performing automatic driving of the host vehicle.
  • the intention estimation unit 12 of the surrounding information determination apparatus 10 confirms whether or not the own vehicle has approached the intention estimation execution location based on the surrounding information acquired by the surrounding information acquisition unit 11 when the own vehicle starts automatic driving. (Step S101).
  • the intention estimation unit 12 repeatedly executes step S101 while determining that the host vehicle is not approaching the intention estimation execution place (NO in step S101).
  • the intention estimation unit 12 determines that the host vehicle has approached the place of intention estimation (YES in step S101)
  • the intention estimation target person is located around the host vehicle based on the peripheral information acquired by the peripheral information acquisition unit 11. It is confirmed whether or not it exists (step S102). For example, as shown in FIG. 6, when the own vehicle 1 approaches the pedestrian crossing where the intention estimation is performed, the intention estimation unit 12 sets the pedestrian 2 near the pedestrian crossing as a target person for intention estimation.
  • step S102 If there is no target person around the vehicle (NO in step S102), the process returns to step S101. If the state in which the target person does not appear as it is continues, the own vehicle will pass through the intention estimation place while steps S101 and S102 are repeated.
  • step S102 If there is a target person around the host vehicle (YES in step S102), the control unit 13 controls the travel control device 30 to stop the host vehicle (step S103). In the example of FIG. 6, the host vehicle 1 stops at a stop line before the pedestrian crossing.
  • the intention estimation unit 12 estimates the intention of the target person based on the person action information extracted from the peripheral information (step S104). At this time, if the intention person does not display any intention (NO in step S105), the control unit 13 controls the vehicle outside notification device 40 to notify the object person of the intention to stop the host vehicle. Information for prompting the intention display of the target person is performed (step S106), and the process returns to step S104.
  • the notification in step S106 for example, a method of sounding a horn or turning on a headlight can be considered.
  • an image as shown in FIG. 7 is obtained as peripheral information from the camera 21 of the host vehicle 1.
  • the intention estimation part 12 extracts the image
  • the intention estimating unit 12 stops the pedestrian 2 and stops his vehicle. Estimated to have a will to cross.
  • the peripheral information determination device 10 stores the correspondence between the types of poses or gestures of a person and intentions for a plurality of countries so that the user can change the country setting.
  • the surrounding information determination device 10 determines the current country based on the position information of the host vehicle, and automatically changes the correspondence between the person's pose or gesture type and intention according to the country. Also good.
  • the control unit 13 controls the travel control device 30 to stop the host vehicle. (Step S108). Conversely, when the intention estimation unit 12 estimates that the target person has an intention to pass the host vehicle (NO in step S107), the control unit 13 controls the outside notification device 40, After notifying the target person that the subject vehicle is to be traveled (step S109), the subject vehicle is started to travel (step S110).
  • the notification in step S109 may be performed using horns or headlights as in step S106.
  • the notification proceeds in a method of projecting an image indicating the traveling direction on the road surface as shown in FIG. 10 or a headlight lighting pattern.
  • a method of indicating a direction a method of transmitting and displaying an image indicating that the host vehicle is moving forward, and the like are effective on the mobile terminal of the pedestrian 2 (for example, a wristwatch-type mobile terminal).
  • step S111 After step S108 or step S110, it is confirmed again whether the target person exists around the own vehicle (step S111). If the target person still exists (YES in step S111), the process returns to step S104.
  • the intention estimation unit 12 continues to estimate the intention of the person while the traveling control device 30 is traveling the host vehicle based on the estimated intention of the target person. become.
  • the intention estimation unit 12 continuously estimates the intention of the target person, so that even when the intention of the target person suddenly changes or the result of the previous intention estimation is incorrect, an appropriate action is taken. be able to. For example, in the example of FIG.
  • step S107 of the next loop the host vehicle 1 stops in step S108.
  • step S111 the host vehicle is driven (step S112), and the process returns to step S101.
  • the intention estimating unit 12 estimates the intention of a person existing around the own vehicle, and the control unit 13 is based on the estimation result. Therefore, it is possible to automatically drive the host vehicle reflecting the intention of the person.
  • the host vehicle when the host vehicle approaches the lane restriction section and there is a guider around the host vehicle, the host vehicle is switched between stopping and moving forward according to the traffic control guider's gesture (for example, a hand flag signal).
  • the traffic control guider's gesture for example, a hand flag signal
  • the host vehicle can automatically run according to the gesture of the parking lot guide.
  • the intention estimation unit 12 estimated only the intention of whether or not the target person wants to stop the host vehicle, but the guide person who is the target person performed a gesture indicating the direction in which the target person wants to move the host vehicle.
  • the direction of the host vehicle may be controlled by estimating the direction.
  • the intention estimation unit 12 estimates the intention of the target person, and the control unit 13 travels according to the estimation result. It was set as the structure which controls the control apparatus 30 or the notification apparatus 40 outside a vehicle.
  • the place where the intention estimation unit 12 estimates the intention of the target person is not necessarily limited.
  • the place where the intention estimation of the target person is performed by the intention estimation unit 12 is not limited. For example, it is performed while the host vehicle is traveling on a general road.
  • FIG. 12 is a flowchart showing the operation of the peripheral information determination apparatus according to the second embodiment.
  • the flow in FIG. 12 is obtained by replacing steps S101 and S102 in the flow in FIG. 5 with steps S101a and S102a, respectively.
  • the intention estimation unit 12 of the surrounding information determination device 10 determines whether or not there is a target person around the host vehicle based on the surrounding information acquired by the surrounding information acquisition unit 11 while the host vehicle is being automatically driven. (Step S101a).
  • the target person may be all pedestrians, but the necessity of estimating the intentions of pedestrians away from the roadway is low. For example, on the roadway in front of the host vehicle or on the roadway You may limit an object person to the pedestrian who exists in the position which faced.
  • the intention estimation unit 12 repeatedly executes step S101a when there is no target person around the host vehicle (NO in step S101a).
  • the intention estimation unit 12 confirms whether or not the host vehicle should be stopped based on the peripheral information acquired by the peripheral information acquisition unit 11. (Step S102a).
  • the situation in which the host vehicle should be stopped is, for example, when the subject person is on the track of the host vehicle or when the host vehicle is approaching the track of the host vehicle, the pedestrian is A situation where there is a risk of contact is considered.
  • step S102a If the situation is that the vehicle should be stopped (YES in step S102a), the process proceeds to step S103. Since the flow after step S103 is the same as that of FIG. 5, description thereof is omitted.
  • step S102a If it is not the situation where the host vehicle should be stopped (NO in step S102a), the process returns to step S101a. Therefore, even if the target person appears, if the situation is not to stop the host vehicle, only steps S101a and S102a are repeated, and the traveling of the host vehicle is continued.
  • the intention estimation unit 12 estimates the intention of the target person and controls the traveling control device 30 and the vehicle outside notification device 40 based on the result thereof at any place. Therefore, for example, even when there is a pedestrian who is going to cross the road at a place where there is no pedestrian crossing, the traveling control device 30 and the outside notification device 40 reflecting the intention of the pedestrian can be controlled.
  • FIG. 13 is a diagram illustrating a configuration of the vehicle control system according to the third embodiment.
  • the configuration of this vehicle control system is a configuration in which the intention estimation history recording unit 14 is provided in the peripheral information determination device 10 with respect to the configuration of FIG.
  • the intention estimation history recording unit 14 is a storage medium that records the person motion information input to the intention estimation unit 12 and a history of estimation results (intention estimation history) obtained by the intention estimation unit 12 estimating a person's intention.
  • the intention estimation history recording unit 14 may be configured as another hardware externally attached to the peripheral information determination device 10.
  • the intention estimation history recording unit 14 is not necessarily installed in the host vehicle, and may be realized as a service on the cloud connected to the peripheral information determination device 10 through a communication device.
  • the intention estimation history recording unit 14 By recording the intention estimation history in the intention estimation history recording unit 14, for example, it can be verified later whether or not the intention estimation with the target person by the intention estimation unit 12 was correct.
  • the intention estimation unit 12 may have a learning function for learning the correspondence between the action of the person and the intention represented by the information based on the information recorded in the intention estimation history recording unit 14. For example, in the loop of steps S104 to S111 in FIG. 5, if the determination result in step S107 changes halfway, it is estimated that the target person has taken a different action from the intention estimation result by the intention estimation unit 12, and the intention estimation There is a high possibility that the estimation result by the unit 12 is not correct. The intention estimation unit 12 learns such information, so that the accuracy of the estimation result by the intention estimation unit 12 can be increased.
  • the information stored in the intention estimation history recording unit 14 is uploaded to a server managed by the manufacturer of the peripheral information determination device 10, the information can be analyzed by the manufacturer, and the intention estimation unit 12 It can contribute to the improvement of the estimation algorithm.
  • FIG. 14 is a diagram illustrating a configuration of a vehicle control system according to the fourth embodiment.
  • the configuration of this vehicle control system is a configuration in which the intention transmission recording unit 15 is provided in the peripheral information determination device 10 with respect to the configuration of FIG.
  • the intention transmission recording unit 15 is a storage medium that stores an HMI (Human Machine Interface) sequence such as a gesture action of the target person and contents notified by the own vehicle using the vehicle outside notification device 40 as video and audio information.
  • the intention transmission recording unit 15 may also be configured as another hardware externally attached to the peripheral information determination device 10.
  • the intention transmission recording unit 15 is not necessarily installed in the host vehicle, and may be realized as a service on the cloud connected to the peripheral information determination device 10 through a communication device.
  • the intention transmission recording unit 15 can be used for the same purpose as a so-called drive recorder, and can store evidence such as when an accident occurs.
  • peripheral information determination device 10 peripheral information determination device, 11 peripheral information acquisition unit, 12 intention estimation unit, 13 control unit, 14 intention estimation history recording unit, 15 intention transmission recording unit, 20 peripheral information detection device, 21 camera, 22 sensor, 23 microphone, 24 Communication device, 25 navigation device, 30 travel control device, 31 braking / driving mechanism, 32 steering mechanism, 40 outside notification device, one's own vehicle, 2 pedestrian.

Abstract

周辺情報判定装置（１０）において、周辺情報取得部（１１）は、自車両周辺の状況を検出する周辺情報検出装置（２０）から自車両周辺の状況を示す周辺情報を取得する。意思推定部（１２）は、周辺情報に含まれる、自車両周辺に存在する人物の動作または人物の動きを模擬した指示器の動作を示す情報である人物動作情報から、人物の意思または指示器の指示を推定する。制御部（１３）は、周辺情報および意思推定部（１２）による推定結果に基づいて、自車両の走行を制御する走行制御装置（３０）、または、自車両の外側へ情報を報知する車外報知装置（４０）を制御する。

Description

周辺情報判定装置および周辺情報判定方法
　本発明は、車両の自動運転を制御するための周辺情報判定装置および周辺情報判定方法に関するものである。
　近年、周辺の状況に応じて車両を自動運転（自動走行）させる自動運転技術の開発が進んでいる。また、下記の特許文献１には、車両が歩行者を検知したときに、運転者による運転操作から当該運転者の意思を推定して、推定した運転者の意思を歩行者へ通知することができる車載装置が提案されている。
特開２００５－３３２２９７号公報
　歩行者が行き交う道路において車両の自動運転を実用化するためには、自動走行中の車両と歩行者との意思疎通が重要になる。例えば、自動走行中の車両が横断歩道の付近に立つ歩行者を検出して、横断歩道の手前で停止したものの、その歩行者に横断歩道を渡る意思が無いというような場合が考えられる。そのような場合、車両が歩行者の意思を認識できれば、自動的に走行を再開できるが、従来の車両は歩行者の意思を認識する手段を有していないため、横断歩道の手前で停止し続けて、交通渋滞を引き起こすおそれがある。
　特許文献１の技術では、車両が運転者の意思を歩行者へ伝えることはできるが、歩行者の意思を車両が認識することはできない。
　本発明は以上のような課題を解決するためになされたものであり、車両周辺に存在する人物の意思を反映した車両制御を行うための周辺情報判定装置および周辺情報判定方法を提供することを目的とする。
　本発明に係る周辺情報判定装置は、自車両周辺の状況を検出する周辺情報検出装置から自車両周辺の状況を示す周辺情報を取得する周辺情報取得部と、周辺情報に含まれる、自車両周辺に存在する人物の動作または人物の動きを模擬した指示器の動作を示す情報である人物動作情報から、人物の意思または指示器の指示を推定する意思推定部と、周辺情報および意思推定部による推定結果に基づいて、自車両の走行を制御する走行制御装置、または、自車両の外側へ情報を報知する車外報知装置を制御する制御部と、を備えるものである。
　本発明によれば、意思推定部が自車両周辺に存在する人物の意思を推定し、制御部がその推定結果に基づいて自車両の走行制御装置または車外報知装置を制御するため、当該人物の意思を反映した自車両の走行または自車両からの報知が可能になる。
　この発明の目的、特徴、局面、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。
実施の形態１に係る車両制御システムの構成を示す図である。 意思推定実施場所と対象人物の例を示す図である。 周辺情報判定装置のハードウェア構成の例を示す図である。 周辺情報判定装置のハードウェア構成の例を示す図である。 実施の形態１に係る周辺情報判定装置の動作を示すフローチャートである。 自車両が横断歩道の手前に近づいたときの周辺情報判定装置の動作を説明するための図である。 自車両が横断歩道の手前に近づいたときの周辺情報判定装置の動作を説明するための図である。 自車両が横断歩道の手前に近づいたときの周辺情報判定装置の動作を説明するための図である。 自車両が横断歩道の手前に近づいたときの周辺情報判定装置の動作を説明するための図である。 歩行者への報知の例を示す図である。 歩行者への報知の例を示す図である。 実施の形態２に係る周辺情報判定装置の動作を示すフローチャートである。 実施の形態３に係る車両制御システムの構成を示す図である。 実施の形態４に係る車両制御システムの構成を示す図である。
　＜実施の形態１＞
　図１は、実施の形態１に係る車両制御システムの構成を示す図である。この車両制御システムは、車両の自動運転を行う周辺情報判定装置１０と、それに接続された周辺情報検出装置２０、走行制御装置３０および車外報知装置４０とを含んでいる。以下、当該周辺情報判定システムを搭載する車両を「自車両」といい、自車両意外の車両を「他車両」という。
　周辺情報検出装置２０は、自車両に備え付けられたカメラ２１、センサ２２、マイク２３、通信装置２４、ナビゲーション装置２５などのセンシング装置の出力信号から、自車両周辺の状況を示す情報である「周辺情報」を検出する。周辺情報検出装置２０が検出した周辺情報は、周辺情報判定装置１０および走行制御装置３０に送信される。
　走行制御装置３０は、周辺情報検出装置２０から受信した周辺情報および周辺情報判定装置１０が出力する制御信号に基づいて、自車両の制駆動機構３１および操舵機構３２を制御することにより、自車両の走行を制御する。制駆動機構３１は、自車両の走行速度の制御および前進と後退の切り替えを行うための機構であり、例えばアクセル、ブレーキ、シフト等を含む。操舵機構３２は、自車両の進行方向を左右に曲げるための機構であり、例えばステアリング等を含む。
　図１に示すように、周辺情報判定装置１０は、周辺情報取得部１１、意思推定部１２および制御部１３を含んでいる。周辺情報取得部１１は、周辺情報検出装置２０から周辺情報を取得する。周辺情報には、カメラ２１が撮影した自車両周辺の映像、センサ２２が検出した自車両周辺の障害物（他車両、歩行者等を含む）、マイク２３（指向性マイクが好ましい）が取得した自車両周辺の音声、通信装置２４が通信で取得した情報、ナビゲーション装置２５が特定した自車両の地図上の位置や自車両周辺の地図情報、自車両の走行予定経路などが含まれる。
　通信装置２４が取得する情報としては、例えば、車車間通信によって得られる自車両周辺の他車両の位置情報、歩行者の携帯端末（例えば腕時計型の通信端末）との通信によって得られる歩行者の位置情報、路車間通信によって得られる交通情報（工事区間情報、通行規制情報等）などがある。また、歩行者が携帯端末を操作して、自己が横断歩道を渡るかどうかといった情報を、積極的に周囲の車両の通信装置２４へ送信できるようにしてもよい。
　なお、本明細書において「歩行者」とは、歩いている人物に限られず、例えばベビーカーを押している人物、車椅子や自転車に乗って通行している人物なども含む広い概念を指している。
　また、意思推定部１２は、自車両が予め定められた条件を満たす特定の場所（「意思推定実施場所」）に近づいたときに、自車両の周辺に存在する人物の意思を推定する。意思推定実施場所は、自車両と車外の人物（例えば歩行者や交通整理を行う誘導員など）との意思疎通が必要となる場所であり、例えば、横断歩道の手前、車線規制区間の手前、目的地（または経由地）の駐車場の入口、駐車場内、駐車場の出口、信号の無い交差点の手前などが、意思推定実施場所として予め規定されている。
　意思推定部１２は、カメラ２１が撮影した自車両周辺の映像や、センサ２２が取得した自車両周辺の障害物までの距離、ナビゲーション装置２５から得られる自車両の地図上の位置などから、自車両が意思推定実施場所に近づいたか否かを判定することができる。自車両が意思推定実施場所に近づいたか否かの判断は、自車両と意思推定実施場所との距離が予め定められた閾値以下になったか否かによって判断するとよい。
　自車両が意思推定実施場所に近づくと、意思推定部１２は、周辺情報取得部１１が取得した周辺情報に基づいて、自車両の近傍に意思推定の対象となる人物（「対象人物」という）が存在するか否かを確認する。そして対象人物の存在が検出されると、意思推定部１２は、周辺情報から対象人物の動作を示す「人物動作情報」を抽出し、抽出した人物動作情報に基づいて対象人物の意思を推定する。人物動作情報として抽出される情報は、対象人物の意思を推定できるものであれば任意の情報でよい。例えば、カメラ２１が撮影した対象人物のポーズ、ジェスチャー、視線の向き、表情などを認識できる映像、マイク２３を通して取得された対象人物の声を認識できる音声データなどが考えられる。また、対象人物が、携帯端末を操作して、横断歩道を渡るかどうかといった情報を入力し、周囲の車両の通信装置２４へ送信した場合には、意思推定部１２は、その携帯端末の操作内容を人物動作情報として取得する。
　ここで、対象人物の意思としては、「道路を横断する」、「道路を横断せず静止する」といった対象人物自らの行動を表す意思と、「車両に停止して欲しい」、「車両に通過して欲しい」といった対象人物から自車両への要望を表す意思との２種類がある。意思推定部１２は、その両方を推定することが好ましい。ただし、「道路を横断する」という意思は「車両に停止して欲しい」という意思の表れでもあり、「道路を横断せず静止する」という意思は「車両に通過して欲しい」という意思の表れでもあるため、意思推定部１２は、２種類の意思のいずれか片方を推定してもよい。
　制御部１３は、周辺情報判定装置１０の全体を制御すると共に、走行制御装置３０へ制御情報や制御コマンドを送受することで自車両の自動運転制御を行う。また、制御部１３は、車外報知装置４０を制御して、自車両の外へ向けて情報（警告、警報を含む）を報知することができる。
　特に、本実施の形態では、制御部１３は、走行制御装置３０が自車両を自動運転制御して意思推定実施場所を通過させるとき、その制御に、意思推定部１２が推定した対象人物の意思を反映させる。
　ここで、意思推定の対象人物は、意思推定実施場所の種類に応じて変わる。図２は、意思推定実施場所の種類と対象人物との関係の例を示す図である。図２に示すように、自車両が横断歩道の手前に近づいた場合、意思推定部１２は、意思推定の対象人物を横断歩道周辺の歩行者にする。また、自車両が車線規制区間の手前に近づいた場合、自車両が目的地の駐車場の入口に近づいた場合、自車両が駐車場内を走行中の場合、ならびに、自車両が駐車場の出口に近づいた場合には、意思推定部１２は、意思推定の対象人物を、交通整理を行っている誘導員にする。駐車場内の歩行者を意思推定の対象人物に加えてもよい。また、自車両が信号の無い交差点の手前に近づいた場合には、意思推定部１２は、意思推定の対象人物を、その交差点に進入しようとしている他車両の運転者、または交通整理の誘導員にする。
　また、車線規制区間、駐車場、信号のない交差点などにおいて、誘導員の代わりに、人物の動作を模擬した指示器（例えば、工事現場において自動でランプを振っている人物型の看板など)が設置されている場合がある。その場合には、指示器を対象人物とみなしてもよい。その場合、意思推定部１２は、指示器の形状、動きおよび出力音声を人物のポーズやジェスチャーおよび声とみなして、指示器が表している指示を推定する。すなわち、意思推定部１２は、指示器の形状や動きを示す情報を人物動作情報として抽出し、人物動作情報から指示器が表している指示を推定する。
　また、制御部１３は、意思推定部１２が対象人物の意思推定を行ったとき、車外報知装置４０を制御して、その対象人物に対し、意思の推定結果に応じた報知を行う。車外報知装置４０は、自車両の外部へ向けた報知を行うものであり、自車両のクラクションやヘッドライトなどでよいが、例えば、車外へ音声を出力するスピーカ、路面に画像を投射する投射装置、対象人物の携帯端末（例えば腕時計型の通信端末）へ情報を送信する通信機などでもよい。
　なお、周辺情報判定装置１０の構成要素（周辺情報取得部１１、意思推定部１２および制御部１３）の一部または全てが、周辺情報検出装置２０に内蔵されてもよい。また、ナビゲーション装置２５と周辺情報取得部１１は、周辺情報検出装置２０を介さずに直接通信を行ってもよい。
　図３および図４は、それぞれ周辺情報判定装置１０のハードウェア構成の一例を示す図である。図１に示した周辺情報判定装置１０の各構成要素（周辺情報取得部１１、意思推定部１２および制御部１３）は、例えば図３に示す処理回路５０により実現される。すなわち、処理回路５０は、周辺情報検出装置２０から周辺情報を取得する周辺情報取得部１１と、周辺情報に含まれる、自車両周辺に存在する人物の動作または人物の動きを模擬した指示器の動作を示す情報である人物動作情報から人物の意思または指示器の指示を推定する意思推定部１２と、周辺情報および意思推定部による推定結果に基づいて走行制御装置３０または車外報知装置４０を制御する制御部と、を備える。処理回路５０には、専用のハードウェアが適用されてもよいし、メモリに格納されるプログラムを実行するプロセッサ（Central Processing Unit、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、Digital Signal Processor）が適用されてもよい。意思推定部１２は必ずしも自車両に搭載されている必要はなく、通信装置を通じて周辺情報判定装置１０と接続されるクラウド上のサービスとして実現されていてもよい。
　処理回路５０が専用のハードウェアである場合、処理回路５０は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ、ＦＰＧＡ、またはこれらを組み合わせたものなどが該当する。周辺情報判定装置１０の各要素の機能のそれぞれは、複数の処理回路で実現されてもよいし、それらの機能がまとめて一つの処理回路で実現されてもよい。
　図４は、処理回路５０がプロセッサを用いて構成されている場合における周辺情報判定装置１０のハードウェア構成を示している。この場合、周辺情報判定装置１０の各要素の機能は、ソフトウェア等（ソフトウェア、ファームウェア、またはソフトウェアとファームウェア）との組み合わせにより実現される。ソフトウェア等はプログラムとして記述され、メモリ５２に格納される。処理回路５０としてのプロセッサ５１は、メモリ５２に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、周辺情報判定装置１０は、処理回路５０により実行されるときに、自車両周辺に存在する人物の動作または人物の動きを模擬した指示器の動作を示す情報である人物動作情報を取得する処理と、人物動作情報から人物の意思または指示器の指示を推定する処理と、推定された人物の意思または指示器の指示に基づいて、自車両の走行を制御する走行制御装置３０、または、自車両の外側へ情報を報知する車外報知装置４０を制御する処理と、が結果的に実行されることになるプログラムを格納するためのメモリ５２を備える。換言すれば、このプログラムは、周辺情報判定装置１０の各要素の動作の手順や方法をコンピュータに実行させるものであるともいえる。
　ここで、メモリ５２は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリー、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）などの、不揮発性または揮発性の半導体メモリ、ＨＤＤ（Hard Disk Drive）、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Digital Versatile Disc）およびそのドライブ装置等、または、今後使用されるあらゆる記憶媒体であってもよい。
　以上、周辺情報判定装置１０の各要素の機能が、ハードウェアおよびソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、周辺情報判定装置１０の一部の要素を専用のハードウェアで実現し、別の一部の要素をソフトウェア等で実現する構成であってもよい。例えば、一部の要素については専用のハードウェアとしての処理回路５０でその機能を実現し、他の一部の要素についてはプロセッサ５１としての処理回路５０がメモリ５２に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
　以上のように、周辺情報判定装置１０は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。
　図５は、周辺情報判定装置１０の動作を示すフローチャートである。また、図６～図１１は、周辺情報判定装置１０の動作の具体例として、自車両が横断歩道の手前に近づいたときの動作を説明するための図である。以下、図５～図１１に基づいて、周辺情報判定装置１０の動作を説明する。なお、図５のフローは、走行制御装置３０が自車両の自動運転を行っているときに実行される。
　周辺情報判定装置１０の意思推定部１２は、自車両の自動運転を開始すると、周辺情報取得部１１が取得した周辺情報に基づいて、自車両が意思推定実施場所に近づいたか否かを確認する（ステップＳ１０１）。意思推定部１２は、自車両が意思推定実施場所に近づいていないと判断している間は（ステップＳ１０１でＮＯ）、ステップＳ１０１を繰り返し実行する。
　意思推定部１２は、自車両が意思推定実施場所に近づいたと判断すると（ステップＳ１０１でＹＥＳ）、周辺情報取得部１１が取得した周辺情報に基づいて、自車両の周囲に意思推定の対象人物が存在するか否かを確認する（ステップＳ１０２）。例えば、図６のように、自車両１が意思推定実施場所である横断歩道の手前に近づいたとき、意思推定部１２は、横断歩道付近の歩行者２を意思推定の対象人物にする。
　自車両の周辺に対象人物が存在しなければ（ステップＳ１０２でＮＯ）、ステップＳ１０１へと戻る。そのまま対象人物が現れない状態が続けば、ステップＳ１０１，Ｓ１０２が繰り返されている間に、自車両は意思推定実施場所を通過することになる。
　自車両の周辺に対象人物が存在した場合（ステップＳ１０２でＹＥＳ）、制御部１３が走行制御装置３０を制御して、自車両を停止させる（ステップＳ１０３）。図６の例の場合、自車両１は、横断歩道の手前の停止線で停止する。
　続いて、意思推定部１２が、周辺情報から抽出した人物動作情報に基づいて、対象人物の意思を推定する（ステップＳ１０４）。このとき、対象人物が何の意思表示も行っていなければ（ステップＳ１０５でＮＯ）、制御部１３が、車外報知装置４０を制御して、対象人物に対し、自車両が停止する意思を伝えると共に対象人物の意思表示を促すための報知を行い（ステップＳ１０６）、ステップＳ１０４へ戻る。ステップＳ１０６における報知としては、例えば、クラクションを鳴らしたり、ヘッドライトを点灯させたりするなどの方法が考えられる。
　図６の例において、例えば、自車両１のカメラ２１から、周辺情報として図７のような映像が得られたとする。意思推定部１２は、図７の映像から、人物動作情報として、図８のような歩行者２の映像を抽出する。そして、意思推定部１２は、図９のように歩行者２の映像に対する画像解析を行い、歩行者２のポーズ、手の動きから分かるジェスチャー、視線の向き、表情などから、歩行者２の意思を推定する。例えば図８のように、歩行者２が笑顔で自車両の方を見ながら手を差し出している場合、意思推定部１２は、歩行者２が「お先にどうぞ」という意図のジェスチャーを行っていると判断し、歩行者２が自車両を停止させずに通過させようとしていると判断する。
　また、歩行者２が手を上に挙げたポーズをとっていたり、実際に横断歩道を渡りはじめたりした場合などには、意思推定部１２は、歩行者２が自車両を停止させて横断歩道を渡ろうとする意思を持っていると推定する。
　なお、人物のポーズまたはジェスチャーの種類とそれが表す意思との対応関係は、国によって異なる場合がある。そのため、周辺情報判定装置１０に、複数の国についての人物のポーズまたはジェスチャーの種類と意思との対応関係を記憶させておき、ユーザが国の設定を変更できるようにするとよい。あるいは、周辺情報判定装置１０が、自車両の位置情報に基づいて現在地の国を判定し、人物のポーズまたはジェスチャーの種類と意思との対応関係を国に応じて自動的に変更するようにしてもよい。
　意思推定部１２により、対象人物が自車両を止めたいという意思を持っていると推定された場合（ステップＳ１０７でＹＥＳ）、制御部１３は、走行制御装置３０を制御して、自車両の停止を継続する（ステップＳ１０８）。逆に、意思推定部１２により、対象人物が自車両を通過させたいという意思を持っていると推定された場合（ステップＳ１０７でＮＯ）、制御部１３は、車外報知装置４０を制御して、対象人物に対し、自車両を走行させる旨を示す報知を行った上で（ステップＳ１０９）、自車両の走行を開始させる（ステップＳ１１０）。
　ステップＳ１０９における報知も、ステップＳ１０６と同様にクラクションやヘッドライトを利用したものでよいが、例えば、図１０のように路面に進行方向を示す画像を投射する方法、またはヘッドライトのライティングパターンで進行方向を示す方法、図１１のように、歩行者２の携帯端末（例えば腕時計型の携帯端末）に、自車両が前進する旨の画像を送信して表示させる方法などが効果的である。
　ステップＳ１０８またはステップＳ１１０の後は、再び自車両の周辺に対象人物が存在するか否かを確認する（ステップＳ１１１）。まだ対象人物が存在する場合は（ステップＳ１１１でＹＥＳ）、ステップＳ１０４に戻る。ステップＳ１０４～Ｓ１１１のループによって、意思推定部１２は、推定した対象人物の意思に基づいて走行制御装置３０が自車両を走行させている間も、当該人物の意思の推定を継続して行うことになる。意思推定部１２が継続して対象人物の意思推定を行うことで、対象人物の意思が急に変わった場合や、先に行った意思推定の結果が誤っていた場合にも、適切に対処することができる。例えば、図８の例において、歩行者２が自車両１を止める意思（横断歩道を渡る意思）を示さずに、自車両１が前進し始めた後、歩行者２が横断歩道を渡り始めると、次のループのステップＳ１０７でＹＥＳと判断され、ステップＳ１０８で自車両１は停止する。
　その後、自車両１が意思推定実施場所を通過した場合や、対象人物がいなくなった場合（例えば図８の例で、歩行者２が横断歩道を渡ってしまった場合など）には、ステップＳ１１１でＮＯと判断される。その場合、自車両を走行させて（ステップＳ１１２）、ステップＳ１０１へと戻る。
　このように、本実施の形態の周辺情報判定装置１０によれば、意思推定部１２が、自車両周辺に存在する人物の意思を推定し、制御部１３が、その推定結果に基づいて自車両の走行を制御するため、当該人物の意思を反映した自車両の自動運転が可能になる。
　上の説明では、意思推定実施場所が横断歩道の手前である場合についての具体例を示したが、図２に示したように、本発明は、意思推定実施場所が、車線規制区間の手前や、目的地の駐車場の入口、駐車場内、駐車場の出口、信号の無い交差点の手前などである場合にも適用される。
　例えば、自車両が車線規制区間の手前に近づいたときに、自車両の周辺に誘導員がいれば、交通整理の誘導員のジェスチャー（例えば手旗信号）に合わせて自車両の停止と前進を切り替えることができる。
　また、自車両が、目的地の駐車場の入口、駐車場内、駐車場の出口に近づいたときにも、駐車場の誘導員のジェスチャーに合わせて、自車両を自動走行させることができる。上の例では、意思推定部１２が、対象人物が自車両を止めたいか否かの意思のみを推定したが、対象人物である誘導員が自車両を移動させたい方向を示すジェスチャーを行った場合に、その方向を推定して、自車両の進行方向を制御してもよい。
　さらに、自車両が信号の無い交差点の手前に近づいたときには、その交差点に侵入しようとしている他車両の運転者、または誘導員のジェスチャーに合わせて自車両の停止と走行を切り替えることができる。それにより、自車両と他車両がお互いに道を譲り合って動かなくなることが防止される。
　＜実施の形態２＞
　実施の形態１では、自車両が図２に例示したような意思推定実施場所に近づいたときに、意思推定部１２が対象人物の意思を推定し、制御部１３がその推定結果に応じて走行制御装置３０または車外報知装置４０を制御する構成とした。しかし、意思推定部１２が対象人物の意思推定を行う場所は、必ずしも制限されなくてもよい。実施の形態２では、意思推定部１２による対象人物の意思推定が行われる場所を制限せず、例えば、自車両が一般的な道路を走行している間などでも行われるようにする。
　図１２は、実施の形態２に係る周辺情報判定装置の動作を示すフローチャートである。図１２のフローは、図５のフローのステップＳ１０１，Ｓ１０２を、それぞれステップＳ１０１ａ，Ｓ１０２ａに置き換えたものである。
　周辺情報判定装置１０の意思推定部１２は、自車両の自動運転が行われている間、周辺情報取得部１１が取得した周辺情報に基づいて、自車両の周辺に対象人物が存在するか否かを確認する（ステップＳ１０１ａ）。実施の形態２では、対象人物を全ての歩行者としてもよいが、車道から離れた位置にいる歩行者の意思を推定する必要性は低いため、例えば、自車両前方の車道上または当該車道に面した位置にいる歩行者に対象人物を限定してもよい。
　意思推定部１２は、自車両の周辺に対象人物が存在しないときは（ステップＳ１０１ａでＮＯ）、ステップＳ１０１ａを繰り返し実行する。
　自車両の周辺に対象人物が現れると（ステップＳ１０１ａでＹＥＳ）、意思推定部１２は、周辺情報取得部１１が取得した周辺情報に基づいて、自車両を停止させるべき状況か否かを確認する（ステップＳ１０２ａ）。自車両を停止させるべき状況とは、例えば、対象人物である歩行者が自車両の進路上にいる場合や、自車両の進路に近づいている場合など、自車両を走行させ続けると歩行者に接触する恐れがある状況とすることが考えられる。
　自車両を停止させるべき状況であれば（ステップＳ１０２ａでＹＥＳ）、ステップＳ１０３へ進む。ステップＳ１０３以降のフローは、図５と同じであるため、それらの説明は省略する。
　自車両を停止させるべき状況でなければ（ステップＳ１０２ａでＮＯ）、ステップＳ１０１ａへと戻る。よって、対象人物が現れたとしても自車両を停止させるべき状況にならなければ、ステップＳ１０１ａ，Ｓ１０２ａが繰り返されるだけであり、自車両の走行は継続されることになる。
　実施の形態２の周辺情報判定装置１０によれば、意思推定部１２による対象人物の意思推定およびその結果に基づく走行制御装置３０および車外報知装置４０の制御が、あらゆる場所で行われる。よって、例えば、横断歩道のない場所で道路を横断しようとする歩行者がいた場合にも、その歩行者の意思を反映した走行制御装置３０および車外報知装置４０の制御が可能になる。
　＜実施の形態３＞
　図１３は、実施の形態３に係る車両制御システムの構成を示す図である。この車両制御システムの構成は、図１の構成に対し、周辺情報判定装置１０に、意思推定履歴記録部１４を設けた構成となっている。意思推定履歴記録部１４は、意思推定部１２に入力された人物動作情報および意思推定部１２が人物の意思を推定した推定結果の履歴（意思推定履歴）を記録する記憶媒体である。なお、意思推定履歴記録部１４は、周辺情報判定装置１０に外付けされる別のハードウェアとして構成されていてもよい。また、意思推定履歴記録部１４は必ずしも自車両に搭載されている必要はなく、通信装置を通じて周辺情報判定装置１０と接続されるクラウド上のサービスとして実現されていてもよい。
　意思推定履歴記録部１４に意思推定履歴が記録されることにより、例えば、意思推定部１２による対象人物との意思推定が正しかったか否かを後で検証することができる。
　また、意思推定部１２が、意思推定履歴記録部１４に記録された情報に基づいて、人物の動作とそれが表す意思との対応関係を学習する学習機能を持たせてもよい。例えば、図５におけるステップＳ１０４～Ｓ１１１のループにおいて、ステップＳ１０７での判定結果が途中で変わった場合は、対象人物が意思推定部１２による意思の推定結果と異なる行動をとったと推定され、意思推定部１２による推定結果が正しくなかった可能性が高い。そのような情報を意思推定部１２が学習することで、意思推定部１２による推定結果の精度を上げることができる。
　さらに、意思推定履歴記録部１４に格納された情報が、周辺情報判定装置１０のメーカーが管理するサーバーにアップロードされる構成にすれば、その情報をメーカー側で解析でき、意思推定部１２による意思推定のアルゴリズムの改善に寄与できる。
　＜実施の形態４＞
　図１４は、実施の形態４に係る車両制御システムの構成を示す図である。この車両制御システムの構成は、図１の構成に対し、周辺情報判定装置１０に、意思伝達記録部１５を設けた構成となっている。意思伝達記録部１５は、対象人物のジェスチャー動作、自車両が車外報知装置４０を用いて報知した内容などのＨＭＩ（Human Machine Interface）シーケンスを、映像や音声の情報として記憶する記憶媒体である。意思伝達記録部１５も、周辺情報判定装置１０に外付けされる別のハードウェアとして構成されていてもよい。また、意思伝達記録部１５は必ずしも自車両に搭載されている必要はなく、通信装置を通じて周辺情報判定装置１０と接続されるクラウド上のサービスとして実現されていてもよい。
　意思伝達記録部１５は、いわゆるドライブレコーダと同様の用途で用いることができ、例えば事故発生時などの証拠を保存することができる。
　なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略することが可能である。
　この発明は詳細に説明されたが、上記した説明は、すべての局面において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。
　１０　周辺情報判定装置、１１　周辺情報取得部、１２　意思推定部、１３　制御部、１４　意思推定履歴記録部、１５　意思伝達記録部、２０　周辺情報検出装置、２１　カメラ、２２　センサ、２３　マイク、２４　通信装置、２５　ナビゲーション装置、３０　走行制御装置、３１　制駆動機構、３２　操舵機構、４０　車外報知装置、１　自車両、２　歩行者。

Claims (16)

  1. 　自車両周辺の状況を検出する周辺情報検出装置から前記自車両周辺の状況を示す周辺情報を取得する周辺情報取得部と、
    　前記周辺情報に含まれる、前記自車両周辺に存在する人物の動作または人物の動きを模擬した指示器の動作を示す情報である人物動作情報から、前記人物の意思または前記指示器の指示を推定する意思推定部と、
    　前記周辺情報および前記意思推定部による推定結果に基づいて、前記自車両の走行を制御する走行制御装置、または、前記自車両の外側へ情報を報知する車外報知装置を制御する制御部と、
    を備えることを特徴とする周辺情報判定装置。
  2. 　前記周辺情報取得部は、前記人物動作情報として、前記自車両に搭載されたカメラが撮影した前記人物のポーズ、ジェスチャー、視線の向きおよび表情、前記指示器の形状および動きのうちの少なくとも１つ以上の情報を取得する
    請求項１に記載の周辺情報判定装置。
  3. 　前記意思推定部は、人物のポーズまたはジェスチャーの種類とそれが表す意思との対応関係、または指示器の形状または動きとそれが表す指示との対応関係を国ごとに変化させる
    請求項２に記載の周辺情報判定装置。
  4. 　前記周辺情報取得部は、前記人物動作情報として、前記自車両に搭載されたマイクを通して取得された前記人物または前記指示器が発する音声を取得する
    請求項１に記載の周辺情報判定装置。
  5. 　前記周辺情報取得部は、前記人物動作情報として、前記人物が持つ携帯端末から前記人物による前記携帯端末の操作内容を取得する
    請求項１に記載の周辺情報判定装置。
  6. 　前記意思推定部が推定する前記人物の意思は、前記人物自らの行動を表す意思を含む
    請求項１に記載の周辺情報判定装置。
  7. 　前記意思推定部が推定する前記人物の意思は、前記人物が道路を横断するか否かの意思を含む
    請求項６に記載の周辺情報判定装置。
  8. 　前記意思推定部が推定する前記人物の意思または前記指示器の指示は、前記人物または前記指示器から自車両への要望を表す意思または指示を含む
    請求項１に記載の周辺情報判定装置。
  9. 　前記意思推定部が推定する前記人物の意思または前記指示器の指示は、前記人物または前記指示器が前記自車両を止めたいのか否かの意思または意思を含む
    請求項８に記載の周辺情報判定装置。
  10. 　前記意思推定部が推定する前記人物の意思または前記指示器の指示は、前記人物または前記指示器が前記自車両を移動させたい方向を示す意思または意思を含む
    請求項８に記載の周辺情報判定装置。
  11. 　前記車外報知装置を用いて、前記人物に対し、前記意思推定部による推定結果に応じた報知を行う
    請求項１に記載の周辺情報判定装置。
  12. 　前記意思推定部は、前記意思推定部により推定された前記人物の意思または前記指示器の指示に基づいて前記走行制御装置が前記自車両を走行させている間も、当該人物の意思または当該指示器の指示の推定を継続して行う
    請求項１に記載の周辺情報判定装置。
  13. 　前記意思推定部に入力された人物動作情報および前記意思推定部による推定結果の履歴を記録する意思推定履歴記録部をさらに備える
    請求項１に記載の周辺情報判定装置。
  14. 　前記意思推定部は、前記意思推定履歴記録部を記録された情報に基づいて、人物の動作と当該人物の動作が表す意思との対応関係を学習する学習機能を有する
    請求項１３に記載の周辺情報判定装置。
  15. 　前記人物または前記指示器の動作、または、前記車外報知装置を用いて報知した内容を記憶する意思伝達記録部をさらに備える
    請求項１に記載の周辺情報判定装置。
  16. 　周辺情報判定装置における周辺情報判定方法であって、
    　前記周辺情報判定装置の周辺情報取得部が、自車両周辺に存在する人物の動作または人物の動きを模擬した指示器の動作を示す情報である人物動作情報を取得し、
    　前記周辺情報判定装置の意思推定部が、前記人物動作情報から前記人物の意思または前記指示器の指示を推定し、
    　前記周辺情報判定装置の制御部が、前記意思推定部が推定した前記人物の意思または前記指示器の指示に基づいて、前記自車両の走行を制御する走行制御装置、または、前記自車両の外側へ情報を報知する車外報知装置を制御する
    ことを特徴とする周辺情報判定方法。
PCT/JP2016/081519 2016-10-25 2016-10-25 周辺情報判定装置および周辺情報判定方法 WO2018078713A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2018546962A JP6703128B2 (ja) 2016-10-25 2016-10-25 周辺情報判定装置
DE112016007376.3T DE112016007376T5 (de) 2016-10-25 2016-10-25 Vorrichtung zur Bestimmung von Peripherie-Informationen und Verfahren zur Bestimmung von Peripherie-Informationen
CN201680090257.8A CN109844838A (zh) 2016-10-25 2016-10-25 周边信息判定装置及周边信息判定方法
PCT/JP2016/081519 WO2018078713A1 (ja) 2016-10-25 2016-10-25 周辺情報判定装置および周辺情報判定方法
US16/325,101 US20210163013A1 (en) 2016-10-25 2016-10-25 Peripheral-information determining apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/081519 WO2018078713A1 (ja) 2016-10-25 2016-10-25 周辺情報判定装置および周辺情報判定方法

Publications (1)

Publication Number Publication Date
WO2018078713A1 true WO2018078713A1 (ja) 2018-05-03

Family

ID=62024157

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/081519 WO2018078713A1 (ja) 2016-10-25 2016-10-25 周辺情報判定装置および周辺情報判定方法

Country Status (5)

Country Link
US (1) US20210163013A1 (ja)
JP (1) JP6703128B2 (ja)
CN (1) CN109844838A (ja)
DE (1) DE112016007376T5 (ja)
WO (1) WO2018078713A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020149500A (ja) * 2019-03-14 2020-09-17 本田技研工業株式会社 車両制御装置、車両制御方法、及びプログラム
CN111746399A (zh) * 2019-03-29 2020-10-09 本田技研工业株式会社 驾驶辅助装置
WO2020262453A1 (ja) * 2019-06-28 2020-12-30 株式会社小糸製作所 車両用情報表示システム、車両用情報表示装置、車両制御システム
WO2020261898A1 (ja) * 2019-06-25 2020-12-30 京セラ株式会社 画像処理装置、撮像装置、移動体、および画像処理方法
CN112368707A (zh) * 2018-07-04 2021-02-12 罗伯特·博世有限公司 对于车辆的周围环境中的危险的或者受危害的物体的快速识别
WO2021084618A1 (ja) * 2019-10-29 2021-05-06 三菱電機株式会社 運転支援装置および運転支援方法
JPWO2020065892A1 (ja) * 2018-09-27 2021-11-25 日産自動車株式会社 車両の走行制御方法及び走行制御装置
DE102022208527A1 (de) 2021-09-22 2023-03-23 Mitsubishi Electric Corporation Steuervorrichtung für Fahrzeug-Außen-Benachrichtigung, Fahrzeug-Außen-Benachrichtigungs-Steuersystem und Verfahren für Fahrzeug-Außen-Benachrichtigung

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017208728A1 (de) * 2017-05-23 2018-11-29 Audi Ag Verfahren zur Ermittlung einer Fahranweisung
CA3079092A1 (en) * 2017-11-02 2019-05-09 Damon Motors Inc. Anticipatory motorcycle safety system
JP6989418B2 (ja) * 2018-03-12 2022-01-05 矢崎総業株式会社 車載システム
JP7246219B2 (ja) * 2019-03-20 2023-03-27 株式会社小松製作所 作業現場の管理システム及び作業現場の管理方法
JP2021018073A (ja) * 2019-07-17 2021-02-15 本田技研工業株式会社 情報提供装置、情報提供方法、およびプログラム
CN110782705A (zh) * 2019-11-05 2020-02-11 北京百度网讯科技有限公司 用于自动驾驶车辆控制的通信方法、装置、设备及存储介质
CN113147751A (zh) * 2020-01-06 2021-07-23 奥迪股份公司 用于车辆的驾驶辅助系统、方法及可读存储介质
JP7331721B2 (ja) * 2020-02-07 2023-08-23 トヨタ自動車株式会社 自動運転車両の制御装置
US11290856B2 (en) 2020-03-31 2022-03-29 Toyota Motor North America, Inc. Establishing connections in transports
DE102020122023B3 (de) 2020-08-24 2022-02-17 Technische Universität Ilmenau Verfahren und Vorrichtung zur Echtzeit-Ermittlung der Sollgeschwindigkeit eines zumindest teilautonom fahrenden Fahrzeugs in Umgebungen mit Fußgängerverkehr
US11760388B2 (en) * 2021-02-19 2023-09-19 Argo AI, LLC Assessing present intentions of an actor perceived by an autonomous vehicle

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008282097A (ja) * 2007-05-08 2008-11-20 Toyota Central R&D Labs Inc 衝突危険度推定装置及びドライバ支援装置

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3574235B2 (ja) * 1995-08-31 2004-10-06 本田技研工業株式会社 車両の操舵力補正装置
JP2005332297A (ja) 2004-05-21 2005-12-02 Fujitsu Ten Ltd 運転者意志通知装置
CN102387941B (zh) * 2009-04-07 2015-04-22 沃尔沃技术公司 用于提升车辆的行车安全和效率的方法和系统
US8571786B2 (en) * 2009-06-02 2013-10-29 Toyota Jidosha Kabushiki Kaisha Vehicular peripheral surveillance device
JP2010287162A (ja) * 2009-06-15 2010-12-24 Aisin Aw Co Ltd 運転支援装置及びプログラム
WO2011114624A1 (ja) * 2010-03-17 2011-09-22 本田技研工業株式会社 車両の周辺監視装置
JP5786947B2 (ja) * 2011-09-20 2015-09-30 トヨタ自動車株式会社 歩行者行動予測装置および歩行者行動予測方法
US9727820B2 (en) * 2012-01-20 2017-08-08 Toyota Jidosha Kabushiki Kaisha Vehicle behavior prediction device and vehicle behavior prediction method, and driving assistance device
WO2013145216A1 (ja) * 2012-03-29 2013-10-03 トヨタ自動車株式会社 運転支援装置
JP6002833B2 (ja) * 2013-03-28 2016-10-05 本田技研工業株式会社 報知システム、電子装置、報知方法、およびプログラム
JP5530000B2 (ja) * 2013-05-08 2014-06-25 株式会社日立製作所 人横断支援通知システム及び人横断支援方法
US20160193999A1 (en) * 2013-07-19 2016-07-07 Honda Motor Co., Ltd. Vehicle travel safety device, vehicle travel safety method, and vehicle travel safety program
JP6429368B2 (ja) * 2013-08-02 2018-11-28 本田技研工業株式会社 歩車間通信システムおよび方法
EP2897014B1 (en) * 2014-01-16 2023-11-29 Volvo Car Corporation A vehicle adapted for autonomous driving and a method for detecting obstructing objects
KR101610544B1 (ko) * 2014-11-21 2016-04-07 현대자동차주식회사 차량의 자율 주행 시스템 및 방법
JP6128263B2 (ja) * 2016-05-23 2017-05-17 株式会社デンソー 車載装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008282097A (ja) * 2007-05-08 2008-11-20 Toyota Central R&D Labs Inc 衝突危険度推定装置及びドライバ支援装置

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11900685B2 (en) 2018-07-04 2024-02-13 Robert Bosch Gmbh Quick identification of hazardous or at-risk objects in the surroundings of a vehicle
JP7210618B2 (ja) 2018-07-04 2023-01-23 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツング 車両の周囲にある危険な対象物又は危険に晒されている対象物の迅速な識別
CN112368707A (zh) * 2018-07-04 2021-02-12 罗伯特·博世有限公司 对于车辆的周围环境中的危险的或者受危害的物体的快速识别
JP2021529396A (ja) * 2018-07-04 2021-10-28 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ 車両の周囲にある危険な対象物又は危険に晒されている対象物の迅速な識別
JPWO2020065892A1 (ja) * 2018-09-27 2021-11-25 日産自動車株式会社 車両の走行制御方法及び走行制御装置
JP7147858B2 (ja) 2018-09-27 2022-10-05 日産自動車株式会社 車両の走行制御方法及び走行制御装置
CN111688712A (zh) * 2019-03-14 2020-09-22 本田技研工业株式会社 车辆控制装置、车辆控制方法及存储介质
JP2020149500A (ja) * 2019-03-14 2020-09-17 本田技研工業株式会社 車両制御装置、車両制御方法、及びプログラム
JP7077255B2 (ja) 2019-03-14 2022-05-30 本田技研工業株式会社 車両制御装置、車両制御方法、及びプログラム
CN111746399A (zh) * 2019-03-29 2020-10-09 本田技研工业株式会社 驾驶辅助装置
WO2020261898A1 (ja) * 2019-06-25 2020-12-30 京セラ株式会社 画像処理装置、撮像装置、移動体、および画像処理方法
JP2021005169A (ja) * 2019-06-25 2021-01-14 京セラ株式会社 画像処理装置、撮像装置、移動体、および画像処理方法
EP3992048A4 (en) * 2019-06-25 2023-06-28 Kyocera Corporation Image processing device, imaging device, mobile body, and image processing method
JP7326041B2 (ja) 2019-06-25 2023-08-15 京セラ株式会社 画像処理装置、撮像装置、移動体、および画像処理方法
WO2020262453A1 (ja) * 2019-06-28 2020-12-30 株式会社小糸製作所 車両用情報表示システム、車両用情報表示装置、車両制御システム
JPWO2021084618A1 (ja) * 2019-10-29 2021-05-06
WO2021084618A1 (ja) * 2019-10-29 2021-05-06 三菱電機株式会社 運転支援装置および運転支援方法
JP7313465B2 (ja) 2019-10-29 2023-07-24 三菱電機株式会社 運転支援装置および運転支援方法
DE102022208527A1 (de) 2021-09-22 2023-03-23 Mitsubishi Electric Corporation Steuervorrichtung für Fahrzeug-Außen-Benachrichtigung, Fahrzeug-Außen-Benachrichtigungs-Steuersystem und Verfahren für Fahrzeug-Außen-Benachrichtigung

Also Published As

Publication number Publication date
US20210163013A1 (en) 2021-06-03
JP6703128B2 (ja) 2020-06-03
JPWO2018078713A1 (ja) 2019-03-07
CN109844838A (zh) 2019-06-04
DE112016007376T5 (de) 2019-07-25

Similar Documents

Publication Publication Date Title
WO2018078713A1 (ja) 周辺情報判定装置および周辺情報判定方法
US11670175B2 (en) Vehicle operation assistance
US10338594B2 (en) Navigation of autonomous vehicles to enhance safety under one or more fault conditions
JP7395529B2 (ja) 自律走行車の予測のテスト
JP6840240B2 (ja) 自律走行車の動的ルート決定
US9637118B2 (en) Processing apparatus, processing system, and processing method
US20200398743A1 (en) Method and apparatus for learning how to notify pedestrians
US9475422B2 (en) Communication between autonomous vehicle and external observers
JP4765566B2 (ja) 運転行動評価装置
US20200001779A1 (en) Method for communicating intent of an autonomous vehicle
JP2020506838A (ja) 車両の活動に基づくナビゲーション
JP2018079916A (ja) 自律走行車（ａｄｖ）用のビジュアルコミュニケーションシステム
US10752249B2 (en) Vehicle systems and methods for providing turn assistance at an intersection
CN109917783B (zh) 驾驶辅助装置
JP6604577B2 (ja) 運転支援方法およびそれを利用した運転支援装置、運転支援システム、自動運転制御装置、車両、プログラム
JP7256668B2 (ja) 制御装置、制御方法及びプログラム
JP2021147030A (ja) シナリオに基づく自動運転車両の制御
KR20210070387A (ko) 자율 주행 차량들에 대한 폴백 거동들을 구현하기 위한 시스템
US20210004010A1 (en) Hierarchical path decision system for planning a path for an autonomous driving vehicle
JP5146482B2 (ja) 交錯点マップ作成装置および交錯点マップ作成装置用のプログラム
JP2022080304A (ja) 車両アダプティブクルーズコントロールシステム、方法、および方法を実施するためのコンピュータプログラムとコンピュータ可読媒体
KR102359497B1 (ko) 단일 차량 동작용으로 설계된 자율 주행 시스템에 따른 차량 플래툰 구현
US20210291736A1 (en) Display control apparatus, display control method, and computer-readable storage medium storing program
AU2019348095A1 (en) Prompting method and system for vehicle, and vehicle
US20240025445A1 (en) Safety enhanced planning system with anomaly detection for autonomous vehicles

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018546962

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16920136

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 16920136

Country of ref document: EP

Kind code of ref document: A1