WO2019176310A1 - 車載システム - Google Patents

車載システム Download PDF

Info

Publication number
WO2019176310A1
WO2019176310A1 PCT/JP2019/002101 JP2019002101W WO2019176310A1 WO 2019176310 A1 WO2019176310 A1 WO 2019176310A1 JP 2019002101 W JP2019002101 W JP 2019002101W WO 2019176310 A1 WO2019176310 A1 WO 2019176310A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
passerby
information
processing unit
unit
Prior art date
Application number
PCT/JP2019/002101
Other languages
English (en)
French (fr)
Inventor
岡本　進一
賢太郎 大友
篤 石橋
悠 河原
正樹 斉藤
Original Assignee
矢崎総業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 矢崎総業株式会社 filed Critical 矢崎総業株式会社
Priority to DE112019001268.1T priority Critical patent/DE112019001268T5/de
Priority to CN201980012914.0A priority patent/CN111712865B/zh
Publication of WO2019176310A1 publication Critical patent/WO2019176310A1/ja
Priority to US16/988,803 priority patent/US20200372266A1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0027—Planning or execution of driving tasks using trajectory prediction for other traffic participants
    • B60W60/00274—Planning or execution of driving tasks using trajectory prediction for other traffic participants considering possible movement changes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/503—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking using luminous text or symbol displays in or on the vehicle, e.g. static text
    • B60Q1/5035—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking using luminous text or symbol displays in or on the vehicle, e.g. static text electronic displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/507—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking specific to autonomous vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/545—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking for indicating other traffic conditions, e.g. fog, heavy traffic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18—Propelling the vehicle
    • B60W30/18009—Propelling the vehicle related to particular drive situations
    • B60W30/181—Preparing for stopping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4026—Cycles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4045—Intention, e.g. lane change or imminent movement
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4047—Attentiveness, e.g. distracted by mobile phone
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4048—Field of view, e.g. obstructed view or direction of gaze

Definitions

  • the present invention relates to an in-vehicle system.
  • Patent Document 1 discloses an in-vehicle device that detects a positional relationship between a vehicle and a person using a sensor and rotates a movable device toward a person around the vehicle based on the detection result.
  • the present invention has been made in view of the above circumstances, and an object thereof is to provide an in-vehicle system capable of improving communication between a vehicle and a passerby.
  • an in-vehicle system includes a detection unit that detects gaze information of a passer-by based on an image obtained by imaging the front of the vehicle, and the gaze information of the passer-by detected by the detection unit. Based on the above, a determination unit that determines the operation of the vehicle, and an operation unit that performs processing according to the operation of the vehicle determined by the determination unit.
  • the passerby may be a person who may cross the front of the vehicle.
  • the determination unit determines an operation of the vehicle that gives way to the passer-by when the passer's line-of-sight information is toward the vehicle, and the operation unit includes the passer-by It is possible to perform processing for outputting the first information indicating that the road is given to the passerby.
  • the in-vehicle system further includes a first determination unit that determines whether the passer-by understands the first information output by the operation unit based on an image of the passer-by.
  • the determination unit determines an operation to stop the vehicle when the first determination unit determines that the passerby understands the first information, and the operation unit stops the vehicle. Processing according to the operation to be performed can be performed.
  • the pass-by person determines whether or not the passer is performing a behavior to give way based on an image of the passerby. 2 determining unit, and the determining unit determines an operation for causing the vehicle to travel when the second determining unit determines that the passer-by is making an action to give way.
  • movement which runs the said vehicle shall be performed.
  • the determination unit determines an operation to stop or slow down the vehicle when the second determination unit determines that the passerby is not performing an action to give way,
  • the unit may perform processing according to an operation of stopping or slowing down the vehicle.
  • the vehicle-mounted system can determine the operation of the vehicle based on the passer's line-of-sight information.
  • the in-vehicle system has an effect that communication between the vehicle and the passer-by can be improved based on the passer's line-of-sight information.
  • FIG. 1 is a block diagram illustrating a schematic configuration of an in-vehicle system according to the embodiment.
  • FIG. 2 is a diagram illustrating an example of a passerby detected by the in-vehicle system according to the embodiment.
  • FIG. 3 is a flowchart illustrating an example of control by the control device of the in-vehicle system according to the embodiment.
  • FIG. 4 is a flowchart showing an example of the first process shown in FIG.
  • FIG. 5 is a flowchart showing an example of the second process shown in FIG.
  • FIG. 6 is a flowchart showing an example of the third process shown in FIG.
  • An in-vehicle system 1 is a system applied to a vehicle V.
  • the vehicle V to which the in-vehicle system 1 is applied includes an electric vehicle (EV (Electric Vehicle)), a hybrid vehicle (HEV (Hybrid Electric Vehicle)), a plug-in hybrid vehicle (PHEV (Plug-in Hybrid Electric Vehicle)), and a gasoline vehicle.
  • EV Electric Vehicle
  • HEV Hybrid Electric Vehicle
  • PHEV Plug-in Hybrid Electric Vehicle
  • gasoline vehicle Any vehicle using a motor or an engine as a drive source, such as a diesel vehicle, may be used.
  • the driving of the vehicle V may be any of manual driving, semi-automatic driving, fully automatic driving, etc. by the driver.
  • the vehicle V may be any of a private car, a rental car, a sharing car, a bus, a taxi, and a ride share car owned by a so-called individual.
  • the vehicle V will be described as a vehicle capable of automatic operation (semi-automatic operation, fully automatic operation).
  • the in-vehicle system 1 estimates the intention of a signal from another vehicle after realizing so-called automatic driving in the vehicle V.
  • the in-vehicle system 1 is realized by mounting the components shown in FIG.
  • each structure of the vehicle-mounted system 1 is demonstrated in detail with reference to FIG.
  • the vehicle V may be referred to as “own vehicle”.
  • connection method between each component for transmission and reception of power supply, control signals, various information, etc. is a wiring material such as an electric wire or an optical fiber unless otherwise specified.
  • Wired connection for example, including optical communication via an optical fiber
  • wireless communication for example, wireless communication via an optical fiber
  • wireless connection such as non-contact power feeding
  • the in-vehicle system 1 is a system that realizes automatic driving in the vehicle V.
  • the in-vehicle system 1 is realized by mounting the components shown in FIG. Specifically, the in-vehicle system 1 includes a traveling system actuator 11, a detection device 12, a display device 13, an external display device 14, and a control device 15.
  • the traveling system actuator 11 is various devices for causing the vehicle V to travel.
  • the travel system actuator 11 typically includes a travel power train, a steering device, a braking device, and the like.
  • the traveling power train is a drive device that causes the vehicle V to travel.
  • the steering device is a device that steers the vehicle V.
  • the braking device is a device that brakes the vehicle V.
  • the detecting device 12 detects various information.
  • the detection device 12 detects vehicle state information, surrounding state information, and the like.
  • the vehicle state information is information representing the traveling state of the vehicle V.
  • the surrounding situation information is information representing the surrounding situation of the vehicle V.
  • the vehicle state information includes, for example, vehicle speed information of vehicle V, acceleration (vehicle longitudinal acceleration, vehicle width acceleration, vehicle roll acceleration, etc.) information, steering angle information, accelerator pedal operation amount (accelerator depression amount) information, brake Pedal operation amount (brake depression amount) information, shift position information, current value / voltage value information of each part, power storage amount information of the power storage device, and the like may be included.
  • Peripheral situation information includes, for example, peripheral image information obtained by imaging an external object such as the surrounding environment of the vehicle V, a person around the vehicle V, other vehicles, and obstacles, the presence / absence of an external object, a relative distance from the external object, a relative External object information representing speed, TTC (Time-To-Collision), white line information of the lane in which the vehicle V travels, traffic information of the travel path in which the vehicle V travels, current position information of the vehicle V (GPS Information) and the like.
  • an external object such as the surrounding environment of the vehicle V, a person around the vehicle V, other vehicles, and obstacles
  • TTC Time-To-Collision
  • white line information of the lane in which the vehicle V travels traffic information of the travel path in which the vehicle V travels
  • current position information of the vehicle V GPS Information
  • vehicle state detection unit 12a a vehicle state detection unit 12a, a communication module 12b, a GPS receiver 12c, an external camera 12d, and an external radar / sonar 12e.
  • the vehicle state detection unit 12a includes vehicle speed information, acceleration information, steering angle information, accelerator pedal operation amount information, brake pedal operation amount information, shift position information, current value / voltage value information, power storage amount information, and the like. Detect information.
  • the vehicle state detection unit 12a includes, for example, various detectors and sensors such as a vehicle speed sensor, an acceleration sensor, a steering angle sensor, an accelerator sensor, a brake sensor, a shift position sensor, and an ammeter / voltmeter.
  • the vehicle state detection unit 12a may include a processing unit itself such as an ECU (Electronic Control Unit) that controls each unit in the vehicle V.
  • ECU Electronic Control Unit
  • the communication module 12b transmits / receives information to / from external devices of the vehicle V such as other vehicles, road devices, cloud devices, and electronic devices possessed by persons outside the vehicle V by wireless communication. Thereby, the communication module 12b detects surrounding situation information including, for example, surrounding image information, external object information, traffic information, and the like.
  • the communication module 12b communicates with an external device by various types of wireless communication such as wide-area wireless and narrow-area wireless.
  • wide-area wireless systems include, for example, radio (AM, FM), TV (UHF, 4K, 8K), TEL, GPS, WiMAX (registered trademark), and the like.
  • narrow-band wireless systems include, for example, ETC / DSRC, VICS (registered trademark), wireless LAN, millimeter wave communication, and the like.
  • the GPS receiver 12c detects current position information indicating the current position of the vehicle V as the surrounding situation information.
  • the GPS receiver 12c acquires GPS information (latitude and longitude coordinates) of the vehicle V as current position information by receiving radio waves transmitted from GPS satellites.
  • the external camera 12d captures, as the surrounding situation information, an image around the vehicle V constituting the surrounding image information and an image of the traveling road surface of the vehicle V constituting the white line information.
  • An image includes a moving image, a still image, etc., for example.
  • the external camera 12d captures an image in front of the vehicle V.
  • the surrounding situation information includes, for example, a front image that can image a lane in which the vehicle V is traveling and another vehicle in front that travels in the opposite lane.
  • the surrounding situation information includes, for example, images of a lane ahead of the vehicle V and a sidewalk along the lane.
  • the peripheral situation information includes, for example, an image capable of discriminating a passer's face position, facial expression, line of sight, action and the like. Passers-by includes, for example, a pedestrian, a person who rides a bicycle, a person who has stopped.
  • the external radar / sonar 12e detects external object information using infrared rays, millimeter waves, ultrasonic waves, or the like as surrounding state information.
  • the external object information includes information about passersby such as sidewalks and roads.
  • the display device 13 is provided in the vehicle V and is visible to the driver, the passenger, and the like of the vehicle V.
  • the display device 13 includes a display device such as a liquid crystal display (Liquid Crystal Display) and an organic EL display (Organic Electro-Luminescence Display).
  • the display device 13 is used as, for example, a combination meter, a head-up display, a television, or the like of the vehicle V.
  • the display device 13 may be a known navigation device.
  • the external display device 14 is provided in the vehicle V and can display various information to a person outside the vehicle V.
  • the external display device 14 is visible to a person outside the vehicle V.
  • the external display device 14 includes, for example, the above display device provided in the vehicle V so that an external person can see.
  • the external display device 14 includes, for example, a display device that displays various information on a windshield, a side door, and the like of the vehicle V. In the present embodiment, the external display device 14 displays information such as images and messages to passers-by.
  • the control device 15 controls each part of the in-vehicle system 1 in an integrated manner.
  • the control device 15 may be shared by an electronic control unit that controls the entire vehicle V in an integrated manner.
  • the control device 15 executes various arithmetic processes for realizing the traveling of the vehicle V.
  • the control device 15 includes a CPU (Central Processing Unit), an MPU (Micro Processing Unit), an ASIC (Application Specific Integrated Circuit), an FPGA (Field Programmable Memory Processing), and a FPGA (Field Programmable Memory Processing). Random Access Memory) and an electronic circuit mainly composed of a well-known microcomputer including an interface.
  • the control device 15 is electrically connected to the traveling system actuator 11, the detection device 12, the display device 13, and the external display device 14.
  • the traveling system actuator 11, the detection device 12, the display device 13, and the external display device 14 may be electrically connected via an ECU (for example, a body ECU) that controls each part in the vehicle V. .
  • the control device 15 can send and receive various electric signals such as various detection signals and drive signals for driving the respective parts to and from each part.
  • control device 15 includes an interface unit 15A, a storage unit 15B, and a processing unit 15C in terms of functional concept.
  • the interface unit 15A, the storage unit 15B, and the processing unit 15C can mutually exchange various information with various devices that are electrically connected.
  • the interface unit 15A is an interface for transmitting and receiving various information to and from each unit of the in-vehicle system 1 such as the traveling system actuator 11 and the detection device 12.
  • the interface unit 15 ⁇ / b> A is configured to be electrically connectable to the display device 13 and the external display device 14.
  • the interface unit 15A has a function of wiredly communicating information with each unit via an electric wire and the like, a function of wirelessly communicating information with each unit via a wireless communication unit, and the like.
  • the storage unit 15B is an automatic driving system storage device.
  • the storage unit 15B can rewrite data such as a hard disk, an SSD (Solid State Drive), an optical disk, or a relatively large capacity storage device, or a RAM, flash memory, NVSRAM (Non Volatile Static Random Access Memory), etc.
  • a simple semiconductor memory may be used.
  • the storage unit 15B stores conditions and information necessary for various processes in the control device 15, various programs and applications executed by the control device 15, control data, and the like.
  • the storage unit 15B determines, for example, map information representing a map to be referred to when specifying the current position of the vehicle V based on the current position information detected by the GPS receiver 12c, and the behavior of a passerby described later.
  • the behavior information 150 to be used is stored in a database.
  • the storage unit 15B can also temporarily store, for example, various types of information detected by the detection device 12 and various types of information acquired by an acquisition unit 15C1 described later. In the storage unit 15B, these pieces of information are read as necessary by the processing unit 15C and the like.
  • the processing unit 15C executes various programs stored in the storage unit 15B on the basis of various input signals and the like, and outputs various output signals to each unit and realizes various functions by operating the program. This is the part that executes processing.
  • the processing unit 15C is functionally conceptually related to the acquisition unit 15C1, the first detection unit 15C2, the second detection unit 15C3, the determination unit 15C4, the travel control unit 15C5, the output control unit 15C6, and the first determination unit 15C7. And a second determination unit 15C8.
  • the acquisition unit 15 ⁇ / b> C ⁇ b> 1 is a part having a function capable of executing processing for acquiring various information used for various processing in the in-vehicle system 1.
  • the acquisition unit 15C1 acquires vehicle state information, surrounding state information, and the like detected by the detection device 12. For example, the acquisition unit 15C1 acquires peripheral situation information including an image ahead of the vehicle V.
  • the acquisition unit 15C1 can also store the acquired various types of information in the storage unit 15B.
  • the 1st detection part 15C2 is a part which has a function which can perform the process which detects a passer-by based on the image
  • the first detection unit 15C2 detects a passerby who may cross the front of the vehicle V.
  • Passers who may cross the front of the vehicle V include, for example, a person who is moving toward the road on which the vehicle V is traveling, a person who is stopped on the road side of the road, and the like.
  • the first detection unit 15C2 may be configured to detect a passerby when an object in front of the vehicle V is detected by the external radar / sonar 12e.
  • the vehicle V is traveling on the road R.
  • Two passers-by P1 and P2 are walking on the sidewalk W in front of the vehicle V.
  • the passerby P1 is walking on the sidewalk W toward the road R in front of the vehicle V.
  • the line-of-sight information E of the passerby P1 is heading toward the vehicle V.
  • the passerby P2 is walking on the sidewalk W in the same direction as the traveling direction of the vehicle V.
  • the line-of-sight information of the passerby P2 is not toward the vehicle V.
  • the line-of-sight information E is information that can identify the direction of the line of sight of the passersby P1 and P2.
  • the line-of-sight information E includes information indicating the direction of the line of sight of the passerby.
  • passersby P1 and P2 are included in the image captured by the external camera 12d of the in-vehicle system 1 in front of the vehicle V.
  • the first detection unit 15C2 detects a passerby P1 walking toward the road R as a target passerby as a passerby to be a target, based on a video (image) captured in front of the vehicle V. . Therefore, the first detection unit 15C2 can detect a passerby that needs attention from among a plurality of passersby existing in front of the vehicle V.
  • the second detection unit 15C3 has a function capable of executing processing for detecting the line-of-sight information of the passerby detected by the first detection unit 15C2 based on a video (image) captured in front of the vehicle V. It is a part that has.
  • the second detection unit 15C3 identifies feature points around the eyes such as the eyes, corners, and eyes of the passerby from the image, and detects line-of-sight information E that indicates the direction of the passer's line of sight.
  • the second detection unit 15C3 may specify the direction of the face, the head, and the like from the image, and detect the line-of-sight information E indicating the direction of the passersby's line of sight from the direction.
  • the determination unit 15C4 is a part having a function capable of executing a process of determining the operation of the vehicle V based on the passer's line-of-sight information detected by the second detection unit 15C3.
  • the determination unit 15C4 is configured to be able to execute a process for determining the operation of the vehicle V using, for example, various known artificial intelligence technologies and deep learning technologies.
  • the deciding unit 15C4 uses the algorithms, databases, and the like based on the results of learning the passerby's gaze information and the passerby's actions by various methods using artificial intelligence technology and deep learning technology, and the passerby's gaze information. The operation of the vehicle V in accordance with is determined.
  • the determination unit 15C4 determines the operation of the vehicle V according to the passer's line-of-sight information E based on the behavior information 150 and the like stored in the storage unit 15B.
  • the behavior information 150 is information that reflects the result of learning the relationship between the gaze information E of the passerby and the behavior by various methods using, for example, artificial intelligence technology or deep learning technology.
  • the behavior information 150 is information that is databased using various methods using artificial intelligence technology or deep learning technology in order to define the movement of the vehicle V according to the gaze information and behavior of the passerby. It is. An example in which the determination unit 15C4 determines the operation of the vehicle V will be described later.
  • the traveling control unit 15C5 is a part having a function capable of executing processing for controlling the traveling of the vehicle V based on the determination result of the determining unit 15C4.
  • the travel control unit 15C5 is an example of an operation unit.
  • the traveling control unit 15C5 controls the traveling system actuator 11 based on the information (vehicle state information, surrounding situation information, etc.) acquired by the acquiring unit 15C1 and executes various processes related to traveling of the vehicle V.
  • the traveling control unit 15C5 may control the traveling system actuator 11 via an ECU (for example, a body ECU).
  • the traveling control unit 15C5 of the present embodiment performs various processes related to the automatic driving of the vehicle V to automatically drive the vehicle V.
  • the automatic driving of the vehicle V by the traveling control unit 15C5 is automatically performed on the basis of the information acquired by the acquiring unit 15C1 in preference to the driving operation by the driver of the vehicle V or without depending on the driving operation by the driver. This is an operation in which the behavior of the vehicle V is controlled.
  • the automatic driving there are a semi-automatic driving in which a driving operation by the driver is interposed to some extent and a fully automatic driving in which the driving operation by the driver is not interposed. Examples of semi-automated driving include driving such as vehicle attitude stability control (VSC: Vehicle Stabilization Control), constant speed traveling and inter-vehicle distance control (ACC: Adaptive Cruise Control), lane maintenance assistance (LKA: Lane Keeping Assist), and the like. .
  • VSC Vehicle Stabilization Control
  • ACC Adaptive Cruise Control
  • LKA Lane Keeping Assist
  • Examples of the fully automatic operation include an operation in which the vehicle V automatically travels to the destination, and an operation in which a plurality of vehicles V are automatically traveled in a row.
  • the driver V may be absent from the vehicle V.
  • the travel control unit 15C5 of the present embodiment performs control in which the behavior of the vehicle V is reflected in the travel of the vehicle V by the determination unit 15C4 according to the line-of-sight information of the passerby.
  • the traveling control unit 15C5 performs the automatic driving of the vehicle V based also on the determination result by the determination unit 15C4.
  • the output control unit 15C6 is a part having a function capable of executing processing for outputting information indicating messages, images, etc. to passers-by.
  • the output control unit 15C6 is an example of an operation unit.
  • the output control unit 15C6 displays the first information for the passerby on the external display device 14 via the interface unit 15A.
  • the first information includes, for example, information indicating to give way to a passerby.
  • the output control unit 15C6 causes the external display device 14 to display second information indicating thanks to the passerby via the interface unit 15A.
  • the output control unit 15C6 describes a case where the first information, the second information, and the like are output to the external display device 14, but the present invention is not limited to this.
  • the output control unit 15C6 may output the first information, the second information, and the like from the audio output device, for example.
  • the external display device 14 displays, for example, information input from the output control unit 15C6 toward the outside of the vehicle V.
  • the external display device 14 can achieve communication between the passerby and the vehicle V side by displaying the first information, the second information, and the like to the passerby.
  • the first determination unit 15C7 has a function capable of executing a process of determining whether or not the passerby understands the first information output by the output control unit 15C6 based on an image obtained by capturing the target passerby. It is a part that has. For example, the first determination unit 15C7 understands the passerby of the first information when the facial expression, gesture, and the like of the target passerby can be detected from the image based on the action information 150 stored in the storage unit 15B. It is determined that For example, the behavior information 150 is information that reflects the results of learning facial expressions, gestures, and the like when it is understood that a passerby (person) is transmitted by various methods using artificial intelligence technology and deep learning technology. It is.
  • the first determination unit 15C7 can determine whether or not it has been possible to communicate to the target passerby that the way is to be given to the passerby.
  • the determination unit 15C4 can determine the operation of stopping or slowing down the vehicle V when the target passerby can be notified of giving way to the passerby.
  • the vehicle-mounted system 1 demonstrates the case where the vehicle V stops, it is not limited to this.
  • the determination unit 15C4 of the in-vehicle system 1 further determines whether or not the distance between the vehicle V and the passerby is a predetermined distance, and determines an operation of slowing the vehicle V when the distance is a predetermined distance. May be.
  • the second determination unit 15C8 performs a process of determining whether or not the passerby is performing an action to give way based on an image of the passerby when the target passer's line of sight is not facing the vehicle.
  • This part has an executable function. For example, if the second determination unit 15C8 can detect from the image an action that gives way to the target passer-by based on the action information 150 or the like stored in the storage unit 15B, the second determination part 15C8 takes the action that the passer-by gives the way. Determine that you are doing.
  • the behavior information 150 is information that reflects a result of learning a behavior when a passerby gives way by various methods using artificial intelligence technology or deep learning technology.
  • the behavior to give way includes a state in which a passerby is reaching forward.
  • the behavior information 150 includes information reflecting a result of learning a behavior when a passerby does not give way by various methods using artificial intelligence technology or deep learning technology. For example, when the passerby is performing a thank-you action, when the passerby is not stopped, and when the passerby's center of gravity is tilted forward, the second determination unit 15C8 It is determined that the passerby is not taking any action. That is, the first determination unit 15C7 can determine whether or not a passerby who is not looking at the vehicle V is performing an action to give way. As a result, the determination unit 15C4 can determine the operation of causing the vehicle V to travel when the passerby gives way.
  • the flowchart shown in FIG. 3 shows an example of a processing procedure of the in-vehicle system 1 according to a passerby in front of the vehicle V.
  • the processing procedure shown in FIG. 3 is realized by the processing unit 15C executing a program.
  • the processing procedure shown in FIG. 3 is repeatedly executed by the processing unit 15C.
  • the processing procedure shown in FIG. 3 is repeatedly executed by the processing unit 15C at a control cycle (clock unit) every several ms to several tens of ms.
  • the processing unit 15C of the control device 15 of the in-vehicle system 1 acquires an image in front of the vehicle V from the external camera 12d (step S11).
  • the processing unit 15C detects a passerby who may cross the front of the vehicle V from the acquired image (step S12).
  • the processing unit 15C detects a passerby from the image by pattern matching or the like.
  • the processing unit 15C detects, for example, a person heading for the road, a person stopped on the road side, and the like as passers-by who may cross.
  • the processing unit 15C functions as the first detection unit 15C2 by executing the process of step S12.
  • the processing unit 15C stores in the storage unit 15B a detection result indicating whether or not a passerby has been detected, the processing proceeds to step S13.
  • the detection result includes information regarding the passerby.
  • the processing unit 15C refers to the detection result of the storage unit 15B and determines whether or not a passerby has been detected (step S13). When it is determined that no passerby is detected (No in step S13), the processing unit 15C ends the processing procedure illustrated in FIG. If the processing unit 15C determines that a passerby has been detected (Yes in step S13), the processing proceeds to step S14.
  • the processing unit 15C detects the gaze information of the detected passerby (step S14). For example, the processing unit 15C detects the line-of-sight information of the target passer-by based on an image obtained by capturing the front of the vehicle V.
  • the processing unit 15C functions as the second detection unit 15C3 by executing the process of step S14.
  • the processing unit 15C stores the detected line-of-sight information in the storage unit 15B, the processing proceeds to step S15.
  • the processing unit 15C refers to the line-of-sight information in the storage unit 15B, and determines whether or not the passer-by's line-of-sight information is toward the vehicle V (step S15). For example, the processing unit 15C determines that the passer's line-of-sight information is heading toward the vehicle V when there is at least one line-of-sight information heading in a predetermined direction. If the processing unit 15C determines that the line-of-sight information of the passerby is toward the vehicle V (Yes in step S15), the processing proceeds to step S16.
  • the processing unit 15C executes a first process for determining a first action of the vehicle V that gives way to a passerby (step S16).
  • the first process is a process for determining and executing a process corresponding to a target passerby when the passer's line-of-sight information is directed toward the vehicle V.
  • the first process is a process for transmitting the intention to give way to the target passerby and executing the first operation of the vehicle V according to the reaction of the passerby.
  • the processing unit 15C functions as the determination unit 15C4 by executing the process of step S16. Details of the first process will be described later. When the execution of the first process ends, the processing unit 15C ends the processing procedure illustrated in FIG.
  • the processing unit 15C advances the process to step S17.
  • the processing unit 15C determines whether or not the passerby is performing an action to give way (step S17). For example, the processing unit 15C specifies the behavior of the passer-by based on an image of the passer-by when the target passer's line of sight is not facing the vehicle.
  • the processing unit 15C identifies, for example, an action that the passerby gives way, an action that the passerby gives thanks, an action that the passer does not stop, an action that the passerby's center of gravity moves forward, and the like.
  • the processing unit 15C determines that the passerby is taking action. For example, when the processing unit 15C identifies any of the behavior that the passer-by gives thanks, the behavior that the passer-by does not stop, and the behavior that the passer-by's center of gravity moves forward, the passer-by gives the way. It is determined that no action is taken.
  • the processing unit 15C functions as the second determination unit 15C8 by executing the process of step S17. If the processing unit 15C determines that the passerby is not performing an action to give way (No in step S17), the processing proceeds to step S18.
  • the processing unit 15C executes a second process for determining the second action of the vehicle V that gives way to a passerby (step S18).
  • the second process is a process for determining and executing a process of giving way to a target passerby when the line-of-sight information of the passerby is not directed toward the vehicle V.
  • the second process is a process for stopping the vehicle V and executing the second operation of the vehicle V according to the behavior of the passerby.
  • the processing unit 15C functions as the determination unit 15C4 by executing the process of step S18. Details of the second process will be described later. When the execution of the second process ends, the processing unit 15C ends the processing procedure illustrated in FIG.
  • step S17 If the processing unit 15C determines that the passerby is performing an action to give way (Yes in step S17), the processing proceeds to step S19.
  • the processing unit 15C executes a third process for determining the third operation of the vehicle V with respect to the passerby (step S19).
  • the third process is a process for executing the operation of the vehicle V corresponding to the behavior of the target passer-by when the line-of-sight information of the passer-by is not toward the vehicle V. For example, in the third process, when the target passer's line of sight is not directed toward the vehicle, the passer's line of sight information is checked again, and the vehicle V This is a process for executing three operations.
  • the processing unit 15C functions as the determination unit 15C4 by executing the process of step S19. Details of the third process will be described later. When the execution of the third process ends, the processing unit 15C ends the processing procedure illustrated in FIG.
  • the flowchart shown in FIG. 4 shows an example of a processing procedure for determining the first action of the vehicle V that gives way to a passerby.
  • the processing procedure shown in FIG. 4 is executed by the processing unit 15C when the processing unit 15C executes the process of step S16 shown in FIG.
  • the processing unit 15C returns to the processing procedure illustrated in FIG.
  • the processing unit 15C determines an operation to give way to a passerby (step S101).
  • the processing unit 15C outputs first information indicating that the passerby is given way (step S102).
  • the processing unit 15C causes the external display device 14 to display the first information.
  • the in-vehicle system 1 displays the first information such as “Please come first” to the passerby as a display giving way.
  • the processing unit 15C may cause the first information to be output from the audio output device to the outside of the vehicle V.
  • the processing unit 15C functions as the output control unit 15C6 by executing the process of step S102.
  • the processing unit 15C outputs the first information, the processing proceeds to step S103.
  • the processing unit 15C acquires an image ahead of the vehicle V from the external camera 12d (step S103).
  • the processing unit 15C determines whether the passerby understands the first information based on the acquired image (step S104). For example, the processing unit 15C understands the first information when the target passerby's facial expression, gesture, and the like can be extracted from the image by various techniques using artificial intelligence technology and deep learning technology. Is determined.
  • the processing unit 15C functions as the first determination unit 15C7 by executing step S104.
  • step S104 determines in step S104 that the target passerby does not understand (No in step S104)
  • the processing procedure illustrated in FIG. 4 is terminated. That is, when the target passerby does not understand the first information, the processing unit 15C executes the processing procedure illustrated in FIG. 3 again and determines the operation of the vehicle V again.
  • step S105 determines that the target passerby understands the first information (Yes in step S104).
  • the processing unit 15C executes a process corresponding to the operation for stopping the vehicle (step S105).
  • the processing unit 15 ⁇ / b> C executes a process for performing control for stopping the vehicle V.
  • the processing unit 15C functions as the travel control unit 15C5 by executing the process of step S105.
  • the processing unit 15C stops the vehicle V the processing proceeds to step S106.
  • the target passerby can start crossing ahead of the vehicle V when the vehicle V stops.
  • the processing unit 15C acquires an image ahead of the vehicle V from the external camera 12d (step S106).
  • the processing unit 15C determines whether the target passerby has finished crossing based on the acquired image (step S107). For example, the processing unit 15C detects the change in the position of the target passerby based on the acquired image, and can detect that the vehicle V has moved from one side to the other side of the road R on which the vehicle V travels. It is determined that the passerby has finished crossing.
  • the processing unit 15C When it is determined that the target passerby has not finished crossing (No in step S107), the processing unit 15C returns the process to step S106 described above. That is, the processing unit 15C repeats the processing from step S106 to step S107 to wait for the crossing of the target passerby to end. In addition, when the processing unit 15C detects that the target passerby does not start crossing, the processing procedure illustrated in FIG. 4 may be terminated and the processing procedure illustrated in FIG. 3 may be performed again.
  • step S107 When the processing unit 15C determines that the target passerby has finished crossing (Yes in step S107), the processing unit 15C advances the processing to step S108.
  • the processing unit 15C ends the output of the first information (step S108). For example, the processing unit 15C requests the external display device 14 to stop outputting the first information.
  • step S109 the processing proceeds to step S109.
  • the processing unit 15C executes a process according to the operation of causing the vehicle V to travel (step S109). For example, the processing unit 15C executes a process of performing control for causing the stopped vehicle V to travel.
  • the processing unit 15C functions as the travel control unit 15C5 by executing the process of step S109.
  • the in-vehicle system 1 described above performs an operation of giving way to the passer-by when the line-of-sight information of the passer-by in front of the vehicle V is toward the vehicle V. Therefore, the in-vehicle system 1 can improve the communication between the vehicle and the passer-by by communicating with the passer-by based on the line-of-sight information of the passer-by. For example, the in-vehicle system 1 improves safety even when the passerby crosses a road without a pedestrian crossing by checking the line-of-sight information of a passerby who may cross the front of the vehicle V Can be made.
  • the in-vehicle system 1 outputs the first information indicating that the passerby gives way to the passerby when the line-of-sight information of the passerby ahead of the vehicle V is toward the vehicle V. Therefore, the in-vehicle system 1 can improve the communication and safety between the vehicle and the passerby by telling the passerby that the way is given.
  • the in-vehicle system 1 When the in-vehicle system 1 outputs the first information to the passerby, the vehicle V is stopped when the passerby understands the first information. You can avoid that. Therefore, the in-vehicle system 1 can improve communication between the vehicle and a passerby by suppressing a decrease in convenience. Furthermore, if the passerby understands the first information and stops the vehicle V, the in-vehicle system 1 can maintain the stop of the vehicle V until the passer-by crosses.
  • the flowchart shown in FIG. 5 shows an example of a processing procedure for determining the second action of the vehicle V giving way to a passerby.
  • the processing procedure shown in FIG. 5 is executed by the processing unit 15C when the processing unit 15C executes the process of step S18 shown in FIG. That is, the processing procedure shown in FIG. 5 is executed when a passerby whose line-of-sight information is not directed toward the vehicle V is not performing an action to give way.
  • the processing unit 15C returns to the processing procedure illustrated in FIG.
  • the processing unit 15C determines an operation to stop the vehicle V because the passerby is not performing an action to give way (step S201).
  • the processing unit 15C executes a process corresponding to the operation for stopping the vehicle V (step S202).
  • the processing unit 15C executes a process for performing control to stop the traveling vehicle V.
  • the processing unit 15C functions as the travel control unit 15C5 by executing the process of step S202.
  • the processing unit 15C acquires an image ahead of the vehicle V from the external camera 12d (step S203).
  • the processing unit 15C determines whether the target passerby has finished crossing based on the acquired image (step S204). When it is determined that the target passerby has not finished crossing (No in step S204), the processing unit 15C returns the process to step S203 already described. That is, the processing unit 15C repeats the processing from step S203 to step S204, and waits for the crossing of the target passerby to end.
  • step S204 the processing unit 15C advances the processing to step S205.
  • the processing unit 15C executes a process according to the operation for causing the vehicle V to travel (step S205). For example, the processing unit 15C executes a process of performing control for causing the stopped vehicle V to travel.
  • the processing unit 15C functions as the travel control unit 15C5 by executing the process of step S205.
  • the in-vehicle system 1 described above performs an operation of stopping the vehicle V when the line-of-sight information of the passerby in front of the vehicle V is not toward the vehicle V and when the passerby is not performing an action to give way. Do. Therefore, the vehicle-mounted system 1 can improve communication with a passerby by determining the operation
  • the in-vehicle system 1 stops the vehicle V when the line-of-sight information of the target passerby is not facing the vehicle V in front of the vehicle V. For example, the in-vehicle system 1 tries to cross the road without noticing the vehicle V. Safety for passers-by can be improved.
  • the flowchart shown in FIG. 6 shows an example of a processing procedure for determining the third operation of the vehicle V for a passerby.
  • the processing procedure shown in FIG. 6 is executed by the processing unit 15C when the processing unit 15C executes the process of step S19 shown in FIG. That is, the processing procedure shown in FIG. 6 is executed when a passerby is performing an action to give way.
  • the processing unit 15C returns to the processing procedure illustrated in FIG.
  • the processing unit 15C acquires an image ahead of the vehicle V from the external camera 12d (step S301).
  • the processing unit 15C detects the line-of-sight information of the target passerby from the acquired image (step S302).
  • the processing unit 15C detects the line-of-sight information of the target passer-by based on an image obtained by capturing the front of the vehicle V.
  • the processing unit 15C functions as the second detection unit 15C3 by executing the process of step S302.
  • the processing unit 15C stores the detected line-of-sight information in the storage unit 15B, the processing proceeds to step S303.
  • the processing unit 15C refers to the line-of-sight information in the storage unit 15B, and determines whether or not the passer-by line of sight line information is toward the vehicle V (step S303). That is, the processing unit 15C confirms again the line-of-sight information of the passerby who has determined that the line-of-sight information is not toward the vehicle V. For example, a passerby tends to notice the vehicle V and not cross the road when the line-of-sight information is directed to the vehicle V from a state where the line-of-sight information is not directed to the vehicle V. When it is determined that the passer's line-of-sight information is directed toward the vehicle V (Yes in step S303), the processing unit 15C advances the process to step S304.
  • the processing unit 15C outputs second information indicating thanks to the passerby (step S304).
  • the processing unit 15C causes the external display device 14 to display the second information.
  • the processing unit 15C may output the second information from the sound output device to the outside of the vehicle V.
  • the processing unit 15C functions as the output control unit 15C6 by executing the process of step S304.
  • the processing proceeds to step S305.
  • the processing unit 15C acquires an image ahead of the vehicle V from the external camera 12d (step S305).
  • the processing unit 15C determines whether or not to end the output of the second information based on the acquired image (step S306). For example, the processing unit 15C determines that the output of the second information is to be terminated when a facial expression, a gesture, or the like of a passerby who understands the second information is detected based on an image ahead of the vehicle V. For example, the processing unit 15C may determine to end the output of the second information when a certain time has elapsed since the display of the second information has started. When it is determined that the output of the second information is not finished (No in step S306), the processing unit 15C returns the process to step S305 already described.
  • step S307 The processing unit 15C ends the output of the second information (step S307). For example, the processing unit 15C requests the external display device 14 to stop outputting the second information. When the processing unit 15C finishes outputting the second information, the processing proceeds to step S308.
  • the processing unit 15C executes a process according to the operation of causing the vehicle V to travel (step S308).
  • the processing unit 15 ⁇ / b> C performs a process of performing control for causing the vehicle V to travel or maintaining the travel of the vehicle V.
  • the processing unit 15C functions as the travel control unit 15C5 by executing the process of step S308.
  • step S309 determines whether or not the passerby is an action that does not cross the road based on the acquired image. For example, the processing unit 15C determines that the passerby does not cross the road when the passerby is not moving, or when the passerby is acting to give way.
  • step S309 If the processing unit 15C determines that the passerby does not cross the road (Yes in step S309), the processing unit 15C proceeds to step S308 already described.
  • the processing unit 15C performs a process according to the operation of causing the vehicle V to travel (step S308).
  • Step S310 When the processing unit 15C determines that the passerby is not an action that does not cross the road (No in Step S309), that is, when the passerby is an action that crosses the road, the process proceeds to Step S310.
  • the processing unit 15C executes a process corresponding to the operation for stopping the vehicle V (step S310).
  • the processing unit 15 ⁇ / b> C executes a process of performing control for stopping the vehicle V that is traveling or maintaining the stop of the vehicle V.
  • the processing unit 15C functions as the travel control unit 15C5 by executing the process of step S310.
  • the processing unit 15C stops the vehicle V the processing proceeds to step S311.
  • the processing unit 15C acquires an image ahead of the vehicle V from the external camera 12d (step S311).
  • the processing unit 15C determines whether the target passerby has finished crossing based on the acquired image (step S312). When it is determined that the target passerby has not finished crossing (No in step S312), the processing unit 15C returns the process to step S311 that has already been described. That is, the processing unit 15C repeats the processing from step S311 to step S312 to wait for the crossing of the target passerby to end.
  • the processing unit 15C determines that the target passerby has finished crossing (Yes in step S312), the processing unit 15C advances the processing to step S313.
  • the processing unit 15C executes a process corresponding to the operation for causing the vehicle V to travel (step S313).
  • the processing unit 15 ⁇ / b> C executes a process of controlling the vehicle V that is stopped or maintaining the vehicle V to travel.
  • the processing unit 15C functions as the travel control unit 15C5 by executing the process of step S313.
  • the processing unit 15C causes the vehicle V to travel, the processing procedure illustrated in FIG.
  • the in-vehicle system 1 described above has the sight line information and behavior of the passer-by when the sight line information of the passerby in front of the vehicle V is not directed toward the vehicle V and the passer-by is not performing an action to give way.
  • the operation of the vehicle V according to is performed. Therefore, the in-vehicle system 1 can improve the communication between the vehicle and the passerby by communicating with the passer-by even when the passer's line-of-sight information is not directed toward the vehicle V.
  • the in-vehicle system 1 causes the vehicle V to travel when the passerby performs an action of giving way when the line-of-sight information of the target passerby is not facing the vehicle V in front of the vehicle V. Therefore, even if the line-of-sight information is not directed toward the vehicle V, the in-vehicle system 1 further improves communication with the passer-by by confirming the line-of-sight information of the passerby and determining the operation of the vehicle V. The occurrence of accidents can be suppressed.
  • vehicle-mounted system 1 which concerns on embodiment of this invention mentioned above is not limited to embodiment mentioned above, A various change is possible in the range described in the claim.
  • the in-vehicle system 1 is described as being an automatic driving system without a driver, but is not limited thereto.
  • the in-vehicle system 1 may be mounted on a vehicle driven by the driver.
  • the in-vehicle system 1 may display information indicating the operation of the vehicle V determined based on the passer's line-of-sight information on the display device 13.
  • the in-vehicle system 1 may notify the driver that a passerby may cross.
  • the in-vehicle system 1 can make the driver recognize the determined operation of the vehicle V and improve safety.
  • 1st detection part 15C2 of said vehicle-mounted system 1 shall detect a passerby from the image which imaged the front of the vehicle V using the well-known artificial intelligence technique and the deep learning technique.
  • the 2nd detection part 15C3 of said vehicle-mounted system 1 shall detect the passerby's gaze information which the 1st detection part 15C2 detected from the image using a well-known artificial intelligence technique or a deep learning technique. .
  • the control device 15 described above may be configured such that each unit is configured separately, and each unit is connected so as to be able to exchange various electrical signals with each other. It may be realized by. Moreover, the program, application, various data, etc. which were demonstrated above may be updated suitably, and may be memorize

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Ophthalmology & Optometry (AREA)
  • Traffic Control Systems (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

車載システム（１）は、車両Ｖの前方を撮像した画像に基づいて通行人の視線情報を検出する検出部（１５Ｃ３）と、検出部（１５Ｃ３）が検出した通行人の視線情報に基づいて、車両Ｖの動作を決定する決定部（１５Ｃ４）と、決定部（１５Ｃ４）が決定した車両Ｖの動作に応じた処理を行う動作部（１５Ｃ５，１５Ｃ６）と、を備える。この結果、車載システム（１）は、通行人の視線情報に基づいて、車両と通行人との意思疎通を改善することができる、という効果を奏する。

Description

車載システム
　本発明は、車載システムに関する。
　従来の車両は、車両の周囲の歩行者に対して各種の報知を実行することにより、歩行者に対して与える不安感の軽減を図っている。例えば、特許文献１には、センサによって車両と人との位置関係を検知し、当該検知結果に基づき、車両周囲の人に向けて可動デバイスを回動させる車載装置が開示されている。
特開２０１５－１７４５４１号公報
　従来の車両は、歩行者に対して与える不安感の軽減を図っているが、歩行者から車両側に意思を伝えるという点で改善の余地がある。
　本発明は、上記の事情に鑑みてなされたものであって、車両と通行人との意思疎通を改善することができる車載システムを提供することを目的とする。
　上記目的を達成するために、本発明に係る車載システムは、車両の前方を撮像した画像に基づいて通行人の視線情報を検出する検出部と、前記検出部が検出した前記通行人の視線情報に基づいて、前記車両の動作を決定する決定部と、前記決定部が決定した前記車両の動作に応じた処理を行う動作部と、を備えることを特徴とする。
　また、上記車載システムでは、前記通行人は、前記車両の前方を横断する可能性がある人物であるものとすることができる。
　また、上記車載システムでは、前記決定部は、前記通行人の視線情報が前記車両に向かっている場合、前記通行人に道を譲る前記車両の動作を決定し、前記動作部は、前記通行人に道を譲ることを示す第１情報を前記通行人に対して出力する処理を行うものとすることができる。
　また、上記車載システムでは、前記通行人を撮像した画像に基づいて、前記動作部が出力させた前記第１情報を前記通行人が理解しているか否かを判定する第１判定部をさらに備え、前記決定部は、前記第１判定部によって前記通行人が前記第１情報を理解していると判定された場合、前記車両を停止させる動作を決定し、前記動作部は、前記車両を停止させる動作に応じた処理を行うものとすることができる。
　また、上記車載システムでは、前記通行人の視線が前記車両に向かっていない場合、前記通行人を撮像した画像に基づいて、前記通行人が道を譲る行動を行っているか否かを判定する第２判定部をさらに備え、前記決定部は、前記第２判定部によって前記通行人が道を譲る行動を行っていると判定された場合、前記車両を走行させる動作を決定し、前記動作部は、前記車両を走行させる動作に応じた処理を行うものとすることができる。
　また、上記車載システムでは、前記決定部は、前記第２判定部によって前記通行人が道を譲る行動を行っていないと判定された場合、前記車両を停止または徐行する動作を決定し、前記動作部は、前記車両を停止または徐行する動作に応じた処理を行うものとすることができる。
　本発明に係る車載システムは、通行人の視線情報に基づいて車両の動作を決定することができる。この結果、車載システムは、通行人の視線情報に基づいて、車両と通行人との意思疎通を改善することができる、という効果を奏する。
図１は、実施形態に係る車載システムの概略構成を表すブロック図である。 図２は、実施形態に係る車載システムが検出する通行人の一例を表す図である。 図３は、実施形態に係る車載システムの制御装置の制御の一例を表すフローチャート図である。 図４は、図３に示す第１処理の一例を表すフローチャート図である。 図５は、図３に示す第２処理の一例を表すフローチャート図である。 図６は、図３に示す第３処理の一例を表すフローチャート図である。
　以下に、本発明に係る実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。
［実施形態］
　図１に示す本実施形態の車載システム１は、車両Ｖに適用されたシステムである。車載システム１が適用される車両Ｖは、電気車両（ＥＶ（Ｅｌｅｃｔｒｉｃ　Ｖｅｈｉｃｌｅ））、ハイブリッド車両（ＨＥＶ（Ｈｙｂｒｉｄ　Ｅｌｅｃｔｒｉｃ　Ｖｅｈｉｃｌｅ））、プラグインハイブリッド車両（ＰＨＥＶ（Ｐｌｕｇ－ｉｎ　Ｈｙｂｒｉｄ　Ｅｌｅｃｔｒｉｃ　Ｖｅｈｉｃｌｅ））、ガソリン車両、ディーゼル車両など、駆動源としてモータ又はエンジンを用いるいずれの車両であってもよい。また、当該車両Ｖの運転は、運転者による手動運転、半自動運転、完全自動運転等、いずれであってもよい。また、当該車両Ｖは、いわゆる個人が所有する自家用車、レンタカー、シェアリングカー、バス、タクシー、ライドシェアカーのいずれであってもよい。
　以下の説明では、一例として、車両Ｖは、自動運転（半自動運転、完全自動運転）可能な車両であるものとして説明する。車載システム１は、車両Ｖにおいていわゆる自動運転を実現した上で、他車両の合図の意図を推測するものである。車載システム１は、図１に示す構成要素を車両Ｖに搭載することで実現される。以下、図１を参照して車載システム１の各構成について詳細に説明する。以下の説明において、車両Ｖを「自車両」と表記する場合がある。
　なお、図１に図示する車載システム１において、電力供給、制御信号、各種情報等の授受のための各構成要素間の接続方式は、特に断りのない限り、電線や光ファイバ等の配索材を介した有線による接続（例えば、光ファイバを介した光通信等も含む）、無線通信、非接触給電等の無線による接続のいずれであってもよい。
　以下の説明では、車載システム１は、自動運転システムである場合の一例について説明する。
　車載システム１は、車両Ｖにおいて自動運転を実現するシステムである。車載システム１は、図１に示す構成要素を車両Ｖに搭載することで実現される。具体的には、車載システム１は、走行系アクチュエータ１１と、検出装置１２と、表示装置１３と、外部表示装置１４と、制御装置１５とを備える。
　走行系アクチュエータ１１は、車両Ｖを走行させるための種々の機器である。走行系アクチュエータ１１は、典型的には、走行用パワートレーン、操舵装置、制動装置等を含んで構成される。走行用パワートレーンは、車両Ｖを走行させる駆動装置である。操舵装置は、車両Ｖの操舵を行う装置である。制動装置は、車両Ｖの制動を行う装置である。
　検出装置１２は、種々の情報を検出するものである。検出装置１２は、例えば、車両状態情報、周辺状況情報等を検出する。車両状態情報は、車両Ｖの走行状態を表す情報である。周辺状況情報は、車両Ｖの周辺状況を表す情報である。車両状態情報は、例えば、車両Ｖの車速情報、加速度（車両前後方向加速度、車両幅方向加速度、車両ロール方向加速度等）情報、操舵角情報、アクセルペダルの操作量（アクセル踏み込み量）情報、ブレーキペダルの操作量（ブレーキ踏み込み量）情報、シフトポジション情報、各部の電流値／電圧値情報、蓄電装置の蓄電量情報等を含んでいてもよい。周辺状況情報は、例えば、車両Ｖの周辺環境や車両Ｖの周辺の人物、他車両、障害物等の外部物体を撮像した周辺画像情報、外部物体の有無や当該外部物体との相対距離、相対速度、ＴＴＣ（Ｔｉｍｅ－Ｔｏ－Ｃｏｌｌｉｓｉｏｎ：接触余裕時間）等を表す外部物体情報、車両Ｖが走行する車線の白線情報、車両Ｖが走行する走行路の交通情報、車両Ｖの現在位置情報（ＧＰＳ情報）等を含んでいてもよい。
　図１に示す検出装置１２は、一例として、車両状態検出部１２ａ、通信モジュール１２ｂ、ＧＰＳ受信器１２ｃ、外部カメラ１２ｄ、外部レーダ／ソナー１２ｅを含んで構成されるものとして図示している。
　車両状態検出部１２ａは、車速情報、加速度情報、操舵角情報、アクセルペダルの操作量情報、ブレーキペダルの操作量情報、シフトポジション情報、電流値／電圧値情報、蓄電量情報等を含む車両状態情報を検出する。車両状態検出部１２ａは、例えば、車速センサ、加速度センサ、操舵角センサ、アクセルセンサ、ブレーキセンサ、シフトポジションセンサ、電流／電圧計等の種々の検出器、センサによって構成される。車両状態検出部１２ａは、車両Ｖにおいて各部を制御するＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ　Ｃｏｎｔｒｏｌ　Ｕｎｉｔ）等の処理部自体を含んでいてもよい。
　通信モジュール１２ｂは、他車両、路上機、クラウド機器、車両Ｖの外部の人物が所持する電子機器等、車両Ｖの外部機器との間で無線通信により相互に情報を送受信するものである。これにより、通信モジュール１２ｂは、例えば、周辺画像情報、外部物体情報、交通情報等を含む周辺状況情報を検出する。通信モジュール１２ｂは、例えば、広域無線、狭域無線等、種々の方式の無線通信により外部機器と通信する。ここで、広域無線の方式は、例えば、ラジオ（ＡＭ、ＦＭ）、ＴＶ（ＵＨＦ、４Ｋ、８Ｋ）、ＴＥＬ、ＧＰＳ、ＷｉＭＡＸ（登録商標）等である。また、狭域無線の方式は、例えば、ＥＴＣ／ＤＳＲＣ、ＶＩＣＳ（登録商標）、無線ＬＡＮ、ミリ波通信等である。
　ＧＰＳ受信器１２ｃは、周辺状況情報として、車両Ｖの現在位置を表す現在位置情報を検出する。ＧＰＳ受信器１２ｃは、ＧＰＳ衛星から送信される電波を受信することで、現在位置情報として、車両ＶのＧＰＳ情報（緯度経度座標）を取得する。
　外部カメラ１２ｄは、周辺状況情報として、周辺画像情報を構成する車両Ｖの周辺の画像や白線情報を構成する車両Ｖの走行路面の画像を撮像する。画像は、例えば、動画、静止画等を含む。外部カメラ１２ｄは、車両Ｖの前方の画像を撮像する。周辺状況情報は、例えば、車両Ｖが走行している車線及び対向車線を走行する前方の他車両を撮像可能な前方の画像を含む。周辺状況情報は、例えば、車両Ｖの前方の車線と当該車線に沿った歩道との画像を含む。周辺状況情報は、例えば、通行人の顔の位置、表情、視線、行動等を判別可能な画像を含む。通行人は、例えば、歩行者、自転車に乗る人、立ち止まっている人等を含む。
　外部レーダ／ソナー１２ｅは、周辺状況情報として、赤外線、ミリ波、超音波等を用いて外部物体情報を検出する。外部物体情報は、例えば、歩道、道路等の通行人の情報を含む。
　表示装置１３は、車両Ｖに設けられ、当該車両Ｖの運転者、搭乗者等から目視可能なものである。表示装置１３は、例えば、液晶ディスプレイ（Ｌｉｑｕｉｄ　Ｃｒｙｓｔａｌ　Ｄｉｓｐｌａｙ）、有機ＥＬディスプレイ（Ｏｒｇａｎｉｃ　Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ　Ｄｉｓｐｌａｙ）等の表示デバイスを含む。表示装置１３は、例えば、車両Ｖのコンビネーションメータ、ヘッドアップディスプレイ、テレビジョン等として用いられる。表示装置１３は、公知のナビゲーション装置であってもよい。
　外部表示装置１４は、車両Ｖに設けられ、当該車両Ｖの外部の人物に対して各種情報を表示可能なものである。外部表示装置１４は、車両Ｖの外部の人物が目視可能なものである。外部表示装置１４は、例えば、外部の人物が目視可能に車両Ｖに設けられた上記の表示デバイスを含む。外部表示装置１４は、例えば、車両Ｖのウインドシールド、サイドドア等に各種情報を表示する表示装置を含む。本実施形態では、外部表示装置１４は、通行人に対して、例えば、画像、メッセージ等の情報を表示する。
　制御装置１５は、車載システム１の各部を統括的に制御するものである。制御装置１５は、車両Ｖの全体を統括的に制御する電子制御ユニットによって兼用されてもよい。制御装置１５は、車両Ｖの走行を実現するための種々の演算処理を実行する。制御装置１５は、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＭＰＵ（Ｍｉｃｒｏ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）等の中央演算処理装置、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）及びインターフェースを含む周知のマイクロコンピュータを主体とする電子回路を含んで構成される。制御装置１５は、走行系アクチュエータ１１、検出装置１２、表示装置１３、及び、外部表示装置１４が電気的に接続される。制御装置１５は、車両Ｖにおいて各部を制御するＥＣＵ（例えばボディＥＣＵ等）を介して走行系アクチュエータ１１、検出装置１２、表示装置１３、及び、外部表示装置１４が電気的に接続されてもよい。制御装置１５は、各種の検出信号や各部を駆動させるための駆動信号等の各種の電気信号を各部との間で相互に授受することができる。
　具体的には、制御装置１５は、機能概念的に、インターフェース部１５Ａ、記憶部１５Ｂ、及び、処理部１５Ｃを含んで構成される。インターフェース部１５Ａ、記憶部１５Ｂ、及び、処理部１５Ｃは、電気的に接続されている各種機器との間で種々の情報を相互に授受することができる。
　インターフェース部１５Ａは、走行系アクチュエータ１１、検出装置１２等の車載システム１の各部と種々の情報を送受信するためのインターフェースである。また、インターフェース部１５Ａは、表示装置１３及び外部表示装置１４と電気的に接続可能に構成される。インターフェース部１５Ａは、各部との間で電線等を介して情報を有線通信する機能、各部との間で無線通信ユニット等を介して情報を無線通信する機能等を有している。
　記憶部１５Ｂは、自動運転系の記憶装置である。記憶部１５Ｂは、例えば、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）、光ディスクなどの比較的に大容量の記憶装置、あるいは、ＲＡＭ、フラッシュメモリ、ＮＶＳＲＡＭ（Ｎｏｎ　Ｖｏｌａｔｉｌｅ　Ｓｔａｔｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などのデータを書き換え可能な半導体メモリであってもよい。記憶部１５Ｂは、制御装置１５での各種処理に必要な条件や情報、制御装置１５で実行する各種プログラムやアプリケーション、制御データ等が格納されている。記憶部１５Ｂは、例えば、ＧＰＳ受信器１２ｃによって検出された現在位置情報に基づいて車両Ｖの現在位置を特定する際に参照する地図を表す地図情報、後述する通行人の行動を判定するために用いられる行動情報１５０等をデータベース化して記憶する。また、記憶部１５Ｂは、例えば、検出装置１２で検出された各種情報や後述する取得部１５Ｃ１によって取得された各種情報を一時的に記憶することもできる。記憶部１５Ｂは、処理部１５Ｃ等によってこれらの情報が必要に応じて読み出される。
　処理部１５Ｃは、各種入力信号等に基づいて、記憶部１５Ｂに記憶されている各種プログラムを実行し、当該プログラムが動作することにより各部に出力信号を出力し各種機能を実現するための種々の処理を実行する部分である。
　より詳細には、処理部１５Ｃは、機能概念的に、取得部１５Ｃ１、第１検出部１５Ｃ２、第２検出部１５Ｃ３、決定部１５Ｃ４、走行制御部１５Ｃ５、出力制御部１５Ｃ６、第１判定部１５Ｃ７、及び、第２判定部１５Ｃ８を含んで構成される。
　取得部１５Ｃ１は、車載システム１における各種処理に用いる種々の情報を取得する処理を実行可能な機能を有する部分である。取得部１５Ｃ１は、検出装置１２によって検出された車両状態情報、周辺状況情報等を取得する。例えば、取得部１５Ｃ１は、車両Ｖの前方の画像を含む周辺状況情報を取得する。取得部１５Ｃ１は、取得した各種情報を記憶部１５Ｂに格納することもできる。
　第１検出部１５Ｃ２は、車両Ｖの前方を撮像した映像（画像）に基づいて、通行人を検出する処理を実行可能な機能を有する部分である。第１検出部１５Ｃ２は、車両Ｖの前方を横断する可能性がある通行人を検出する。車両Ｖの前方を横断する可能性がある通行人は、例えば、車両Ｖが走行している道路に向かって移動している人物、当該道路の路側で立ち止まっている人物等を含む。なお、第１検出部１５Ｃ２は、外部レーダ／ソナー１２ｅによって車両Ｖの前方の物体を検出した場合に、通行人の検出を行うように構成してもよい。
　図２に示す一例では、車両Ｖは、道路Ｒを走行している。車両Ｖの前方の歩道Ｗには、２人の通行人Ｐ１，Ｐ２が歩行している。通行人Ｐ１は、車両Ｖの前方で道路Ｒに向かって歩道Ｗを歩行している。通行人Ｐ１の視線情報Ｅは、車両Ｖに向かっている。通行人Ｐ２は、車両Ｖの進行方向と同一の方向に向かって、歩道Ｗを歩行している。通行人Ｐ２の視線情報は、車両Ｖに向かっていない。ここで、視線情報Ｅとは、通行人Ｐ１，Ｐ２の視線の方向を識別可能な情報である。例えば、視線情報Ｅは、通行人の視線の方向を示す情報を含む。図２に示す場面では、車載システム１の外部カメラ１２ｄが車両Ｖの前方を撮像した画像には、通行人Ｐ１，Ｐ２が含まれる。第１検出部１５Ｃ２は、車両Ｖの前方を撮像した映像（画像）に基づいて、対象とすべき通行人として、道路Ｒに向かって歩行している通行人Ｐ１を対象の通行人として検出する。よって、第１検出部１５Ｃ２は、車両Ｖの前方に存在する複数の通行人のうち、注意が必要な通行人を検出することができる。
　図１に戻り、第２検出部１５Ｃ３は、車両Ｖの前方を撮像した映像（画像）に基づいて、第１検出部１５Ｃ２が検出した通行人の視線情報を検出する処理を実行可能な機能を有する部分である。第２検出部１５Ｃ３は、例えば、画像から通行人の目頭、目尻、瞳等の目の周囲の特徴点を特定し、通行人の視線の方向を示す視線情報Ｅを検出する。第２検出部１５Ｃ３は、例えば、画像から顔、頭部等の向きを特定し、当該向きから通行人の視線の方向を示す視線情報Ｅを検出してもよい。
　決定部１５Ｃ４は、第２検出部１５Ｃ３が検出した通行人の視線情報に基づいて、車両Ｖの動作を決定する処理を実行可能な機能を有する部分である。決定部１５Ｃ４は、例えば、種々の公知の人工知能（Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ）技術や深層学習（Ｄｅｅｐ　Ｌｅａｒｎｉｎｇ）技術を用いて、車両Ｖの動作を決定する処理を実行可能に構成される。決定部１５Ｃ４は、人工知能技術や深層学習技術を用いた様々な手法によって、通行人の視線情報と通行人の行動とを学習した結果に基づくアルゴリズム、データベース等を用いて、通行人の視線情報に応じた車両Ｖの動作を決定する。
　例えば、決定部１５Ｃ４は、記憶部１５Ｂに記憶されている行動情報１５０等に基づいて、通行人の視線情報Ｅに応じた車両Ｖの動作を決定する。行動情報１５０は、例えば、人工知能技術や深層学習技術を用いた様々な手法によって、通行人の視線情報Ｅと行動との関係等を学習した結果が反映された情報である。言い換えれば、行動情報１５０は、通行人の視線情報と行動とに応じた車両Ｖの動作を規定するために、人工知能技術や深層学習技術を用いた様々な手法を用いてデータベース化された情報である。なお、決定部１５Ｃ４が車両Ｖの動作を決定する一例については、後述する。
　走行制御部１５Ｃ５は、決定部１５Ｃ４の決定結果に基づいて車両Ｖの走行を制御する処理を実行可能な機能を有する部分である。走行制御部１５Ｃ５は、動作部の一例である。走行制御部１５Ｃ５は、取得部１５Ｃ１によって取得された情報（車両状態情報、周辺状況情報等）に基づいて走行系アクチュエータ１１を制御し車両Ｖの走行に関わる種々の処理を実行する。走行制御部１５Ｃ５は、ＥＣＵ（例えばボディＥＣＵ等）を介して走行系アクチュエータ１１を制御してもよい。本実施形態の走行制御部１５Ｃ５は、車両Ｖの自動運転に関わる種々の処理を実行し車両Ｖを自動運転する。
　走行制御部１５Ｃ５による車両Ｖの自動運転は、取得部１５Ｃ１によって取得された情報に基づいて、車両Ｖの運転者による運転操作に優先して、あるいは、運転者による運転操作によらずに自動で車両Ｖの挙動が制御される運転である。自動運転としては、運転者による運転操作をある程度介在させる半自動運転と、運転者による運転操作を介在させない完全自動運転とがある。半自動運転としては、例えば、車両姿勢安定制御（ＶＳＣ：Ｖｅｈｉｃｌｅ　Ｓｔａｂｉｌｉｔｙ　Ｃｏｎｔｒｏｌ）、定速走行・車間距離制御（ＡＣＣ：Ａｄａｐｔｉｖｅ　Ｃｒｕｉｓｅ　Ｃｏｎｔｒｏｌ）、車線維持支援（ＬＫＡ：Ｌａｎｅ　Ｋｅｅｐｉｎｇ　Ａｓｓｉｓｔ）等の運転が挙げられる。完全自動運転としては、例えば、自動で車両Ｖを目的地まで走行させる運転や複数の車両Ｖを自動で隊列走行させる運転等が挙げられる。完全自動運転の場合、車両Ｖに運転者自体が不在となる場合もありうる。そして、本実施形態の走行制御部１５Ｃ５は、決定部１５Ｃ４によって、通行人の視線情報に応じて車両Ｖの行動を、当該車両Ｖの走行に反映させた制御を行う。言い換えれば、走行制御部１５Ｃ５は、決定部１５Ｃ４による決定結果にも基づいて車両Ｖの自動運転を行う。
　出力制御部１５Ｃ６は、通行人に対するメッセージ、画像等を示す情報を出力する処理を実行可能な機能を有する部分である。出力制御部１５Ｃ６は、動作部の一例である。出力制御部１５Ｃ６は、通行人に対する第１情報を、インターフェース部１５Ａを介して外部表示装置１４に表示させる。第１情報は、例えば、通行人に道を譲ることを示す情報を含む。出力制御部１５Ｃ６は、通行人に対するお礼を示す第２情報を、インターフェース部１５Ａを介して外部表示装置１４に表示させる。本実施形態では、出力制御部１５Ｃ６は、第１情報、第２情報等を外部表示装置１４に出力させる場合について説明するが、これに限定されない。出力制御部１５Ｃ６は、例えば、第１情報、第２情報等を、音声出力装置から出力させてもよい。
　外部表示装置１４は、例えば、出力制御部１５Ｃ６から入力された情報を、車両Ｖの外部に向けて表示する。外部表示装置１４は、通行人に対して第１情報、第２情報等を表示することで、通行人と車両Ｖ側とのコミュニケーションを図ることができる。
　第１判定部１５Ｃ７は、対象の通行人を撮像した画像に基づいて、出力制御部１５Ｃ６が出力させた第１情報を通行人が理解しているか否かを判定する処理を実行可能な機能を有する部分である。例えば、第１判定部１５Ｃ７は、記憶部１５Ｂに記憶されている行動情報１５０等に基づいて、対象の通行人の表情、ジェスチャ等を画像から検出できた場合、第１情報を通行人が理解していると判定する。例えば、行動情報１５０は、人工知能技術や深層学習技術を用いた様々な手法によって、通行人（人物）が伝達されたことを理解した場合の表情、ジェスチャ等を学習した結果が反映された情報である。すなわち、第１判定部１５Ｃ７は、通行人に道を譲ることを対象の通行人に伝達できたか否かを判定することができる。この結果、決定部１５Ｃ４は、通行人に道を譲ることを対象の通行人に伝達できた場合に、車両Ｖを停止または徐行させる動作を決定することができる。なお、以下の説明では、車載システム１は、車両Ｖを停止する場合について説明するが、これに限定されない。例えば、車載システム１の決定部１５Ｃ４は、車両Ｖと通行人との距離が一定距離だけ離れているか否かをさらに判定し、一定距離だけ離れている場合に、車両Ｖを徐行させる動作を決定してもよい。
　第２判定部１５Ｃ８は、対象の通行人の視線が車両に向かっていない場合、通行人を撮像した画像に基づいて、当該通行人が道を譲る行動を行っているか否かを判定する処理を実行可能な機能を有する部分である。例えば、第２判定部１５Ｃ８は、記憶部１５Ｂに記憶されている行動情報１５０等に基づいて、対象の通行人の道を譲る行動を画像から検出できた場合、通行人が道を譲る行動を行っていると判定する。例えば、行動情報１５０は、人工知能技術や深層学習技術を用いた様々な手法によって、通行人が道を譲る場合の行動を学習した結果が反映された情報である。例えば、道を譲る行動は、通行人が手を前方に向けて伸ばしている状態を含む。また、例えば、行動情報１５０は、人工知能技術や深層学習技術を用いた様々な手法によって、通行人が道を譲らない場合の行動を学習した結果が反映された情報を含む。例えば、通行人がお礼の動作を行っている場合、通行人が立ち止まっていない場合、及び、通行人の重心が前に傾いている場合の少なくとも１つである場合、第２判定部１５Ｃ８は、通行人が道を譲る行動を行っていないと判定する。すなわち、第１判定部１５Ｃ７は、車両Ｖに視線を向けていない通行人が、道を譲る行動を行っているか否かを判定することができる。この結果、決定部１５Ｃ４は、通行人が道を譲っている場合に、車両Ｖを走行させる動作を決定することができる。
　次に、図３のフローチャート図を参照して、制御装置１５の処理部１５Ｃの制御の一例を説明する。図３に示すフローチャート図は、車両Ｖの前方の通行人に応じた車載システム１の処理手順の一例を示す。図３に示す処理手順は、処理部１５Ｃがプログラムを実行することによって実現される。図３に示す処理手順は、処理部１５Ｃによって繰り返し実行される。例えば、図３に示す処理手順は、処理部１５Ｃによって数ｍｓないし数十ｍｓ毎の制御周期（クロック単位）で繰り返し実行される。
　まず、車載システム１の制御装置１５の処理部１５Ｃは、車両Ｖの前方の画像を外部カメラ１２ｄから取得する（ステップＳ１１）。処理部１５Ｃは、取得した画像から車両Ｖの前方を横断する可能性がある通行人を検出する（ステップＳ１２）。例えば、処理部１５Ｃは、パターンマッチング等によって画像から通行人を検出する。そして、処理部１５Ｃは、例えば、道路に向かっている人物、道路の路側で立ち止まっている人物等を、横断する可能性がある通行人として検出する。処理部１５Ｃは、ステップＳ１２の処理を実行することにより、第１検出部１５Ｃ２として機能する。処理部１５Ｃは、通行人を検出したか否かを示す検出結果を記憶部１５Ｂに記憶すると、処理をステップＳ１３に進める。なお、検出結果は、通行人を検出した場合、当該通行人に関する情報を含む。
　処理部１５Ｃは、記憶部１５Ｂの検出結果を参照して、通行人を検出したか否かを判定する（ステップＳ１３）。処理部１５Ｃは、通行人を検出していないと判定した場合（ステップＳ１３でＮｏ）、図３に示す処理手順を終了させる。処理部１５Ｃは、通行人を検出したと判定した場合（ステップＳ１３でＹｅｓ）、処理をステップＳ１４に進める。
　処理部１５Ｃは、検出した通行人の視線情報を検出する（ステップＳ１４）。例えば、処理部１５Ｃは、車両Ｖの前方を撮像した画像に基づいて、対象の通行人の視線情報を検出する。処理部１５Ｃは、ステップＳ１４の処理を実行することにより、第２検出部１５Ｃ３として機能する。処理部１５Ｃは、検出した視線情報を記憶部１５Ｂに記憶すると、処理をステップＳ１５に進める。
　処理部１５Ｃは、記憶部１５Ｂの視線情報を参照して、通行人の視線情報が車両Ｖに向かっているか否かを判定する（ステップＳ１５）。例えば、処理部１５Ｃは、予め定められた方向に向かう視線情報が少なくとも１つ存在する場合、通行人の視線情報が車両Ｖに向かっていると判定する。処理部１５Ｃは、通行人の視線情報が車両Ｖに向かっていると判定した場合（ステップＳ１５でＹｅｓ）、処理をステップＳ１６に進める。
　処理部１５Ｃは、通行人に道を譲る車両Ｖの第１動作を決定する第１処理を実行する（ステップＳ１６）。第１処理は、通行人の視線情報が車両Ｖに向かっている場合に、対象の通行人に対応した処理を決定して実行するための処理である。例えば、第１処理は、対象の通行人に対して道を譲る意思を伝え、当該通行人の反応に応じた車両Ｖの第１動作を実行するための処理である。処理部１５Ｃは、ステップＳ１６の処理を実行することにより、決定部１５Ｃ４として機能する。なお、第１処理の詳細については、後述する。処理部１５Ｃは、第１処理の実行が終了すると、図３に示す処理手順を終了させる。
　処理部１５Ｃは、通行人の視線情報が車両Ｖに向かっていないと判定した場合（ステップＳ１５でＮｏ）、処理をステップＳ１７に進める。処理部１５Ｃは、画像に基づいて、通行人が道を譲る行動を行っているか否かを判定する（ステップＳ１７）。例えば、処理部１５Ｃは、対象の通行人の視線が車両に向かっていない場合の通行人を撮像した画像に基づいて、当該通行人の行動を特定する。処理部１５Ｃは、例えば、通行人が道を譲る行動、通行人がお礼を行う行動、通行人が立ち止まらない行動、及び、通行人の重心が前に移動する行動等を特定する。処理部１５Ｃは、通行人が道を譲る行動を特定した場合、通行人が道を譲る行動を行っていると判定する。例えば、処理部１５Ｃは、通行人がお礼を行う行動、通行人が立ち止まらない行動、及び、通行人の重心が前に移動する行動のいずれかの行動を特定した場合、通行人が道を譲る行動を行っていないと判定する。処理部１５Ｃは、ステップＳ１７の処理を実行することにより、第２判定部１５Ｃ８として機能する。処理部１５Ｃは、通行人が道を譲る行動を行っていないと判定した場合（ステップＳ１７でＮｏ）、処理をステップＳ１８に進める。
　処理部１５Ｃは、通行人に道を譲る車両Ｖの第２動作を決定する第２処理を実行する（ステップＳ１８）。第２処理は、通行人の視線情報が車両Ｖに向かっていない場合に、対象の通行人に道を譲る処理を決定して実行するための処理である。例えば、第２処理は、車両Ｖを停止させ、当該通行人の行動に応じた車両Ｖの第２動作を実行するための処理である。処理部１５Ｃは、ステップＳ１８の処理を実行することにより、決定部１５Ｃ４として機能する。なお、第２処理の詳細については、後述する。処理部１５Ｃは、第２処理の実行が終了すると、図３に示す処理手順を終了させる。
　処理部１５Ｃは、通行人が道を譲る行動を行っていると判定した場合（ステップＳ１７でＹｅｓ）、処理をステップＳ１９に進める。
　処理部１５Ｃは、通行人に対する車両Ｖの第３動作を決定する第３処理を実行する（ステップＳ１９）。第３処理は、通行人の視線情報が車両Ｖに向かっていない場合に、対象の通行人の行動に対応した車両Ｖの動作を実行するための処理である。例えば、第３処理は、対象の通行人の視線が車両に向かっていない場合に、通行人の視線情報を再度確認し、対象の通行人の視線情報と行動とに基づいて、車両Ｖの第３動作を実行するための処理である。処理部１５Ｃは、ステップＳ１９の処理を実行することにより、決定部１５Ｃ４として機能する。なお、第３処理の詳細については、後述する。処理部１５Ｃは、第３処理の実行が終了すると、図３に示す処理手順を終了させる。
　次に、図４のフローチャート図を参照して、制御装置１５の処理部１５Ｃが実行する第１処理の一例を説明する。図４に示すフローチャート図は、通行人に道を譲る車両Ｖの第１動作を決定する処理手順の一例を示す。図４に示す処理手順は、処理部１５Ｃが図３に示すステップＳ１６の処理を実行することで、処理部１５Ｃによって実行される。処理部１５Ｃは、図４に示す処理手順を終了すると、図３に示す処理手順に復帰する。
　処理部１５Ｃは、通行人に道を譲る動作を決定する（ステップＳ１０１）。処理部１５Ｃは、通行人に道を譲ることを示す第１情報を出力する（ステップＳ１０２）。例えば、処理部１５Ｃは、第１情報を外部表示装置１４に表示させる。この結果、車載システム１は、道を譲る表示として、例えば「お先にどうぞ」等の第１情報を通行人に対して表示する。例えば、処理部１５Ｃは、第１情報を音声出力装置から車両Ｖの外部に出力させてもよい。処理部１５Ｃは、ステップＳ１０２の処理を実行することにより、出力制御部１５Ｃ６として機能する。処理部１５Ｃは、第１情報を出力すると、処理をステップＳ１０３に進める。
　処理部１５Ｃは、車両Ｖの前方の画像を外部カメラ１２ｄから取得する（ステップＳ１０３）。処理部１５Ｃは、取得した画像に基づいて、通行人が第１情報を理解しているか否かを判定する（ステップＳ１０４）。例えば、処理部１５Ｃは、人工知能技術や深層学習技術を用いた様々な手法によって、対象の通行人の表情、ジェスチャ等を画像から抽出できた場合、通行人が第１情報を理解していると判定する。処理部１５Ｃは、ステップＳ１０４を実行することにより、第１判定部１５Ｃ７として機能する。
　処理部１５Ｃは、ステップＳ１０４で対象の通行人が理解していないと判定した場合（ステップＳ１０４でＮｏ）、図４に示す処理手順を終了させる。すなわち、処理部１５Ｃは、対象の通行人が第１情報を理解していない場合、図３に示す処理手順を再度実行し、車両Ｖの動作を決定し直す。
　また、処理部１５Ｃは、対象の通行人が第１情報を理解していると判定した場合（ステップＳ１０４でＹｅｓ）、処理をステップＳ１０５に進める。処理部１５Ｃは、車両を停止させる動作に応じた処理を実行する（ステップＳ１０５）。例えば、処理部１５Ｃは、車両Ｖを停止させる制御を行う処理を実行する。処理部１５Ｃは、ステップＳ１０５の処理を実行することにより、走行制御部１５Ｃ５として機能する。処理部１５Ｃは、車両Ｖを停止させると、処理をステップＳ１０６に進める。この結果、対象の通行人は、車両Ｖが停止すると、車両Ｖの前方の横断を開始することができる。
　処理部１５Ｃは、車両Ｖの前方の画像を外部カメラ１２ｄから取得する（ステップＳ１０６）。処理部１５Ｃは、取得した画像に基づいて、対象の通行人が横断を終えたか否かを判定する（ステップＳ１０７）。例えば、処理部１５Ｃは、取得した画像に基づいて対象の通行人の位置の変化を検出し、車両Ｖが走行する道路Ｒの一方側から他方側へ移動したことを検出できた場合に、対象の通行人が横断を終えたと判定する。
　処理部１５Ｃは、対象の通行人が横断を終えていないと判定した場合（ステップＳ１０７でＮｏ）、処理を既に説明したステップＳ１０６に戻す。すなわち、処理部１５Ｃは、ステップＳ１０６からステップＳ１０７の処理を繰り返すことで、対象の通行人の横断が終わるのを待つ。また、処理部１５Ｃは、対象の通行人が横断を開始しないことを検出した場合は、図４に示す処理手順を終了し、図３に示す処理手順を再度実行してもよい。
　処理部１５Ｃは、対象の通行人が横断を終えたと判定した場合（ステップＳ１０７でＹｅｓ）、処理をステップＳ１０８に進める。処理部１５Ｃは、第１情報の出力を終了させる（ステップＳ１０８）。例えば、処理部１５Ｃは、第１情報の出力の停止を外部表示装置１４に要求する。処理部１５Ｃは、第１情報の出力を終了させると、処理をステップＳ１０９に進める。
　処理部１５Ｃは、車両Ｖを走行させる動作に応じた処理を実行する（ステップＳ１０９）。例えば、処理部１５Ｃは、停止している車両Ｖを走行させる制御を行う処理を実行する。処理部１５Ｃは、ステップＳ１０９の処理を実行することにより、走行制御部１５Ｃ５として機能する。処理部１５Ｃは、車両Ｖを走行させると、図４に示す処理手順を終了させる。
　以上で説明した車載システム１は、車両Ｖの前方の通行人の視線情報が車両Ｖに向かっている場合、当該通行人に道を譲る動作を行う。よって、車載システム１は、通行人の視線情報に基づいて、通行人との意思疎通を図ることで、車両と通行人との意思疎通を改善することができる。例えば、車載システム１は、車両Ｖの前方を横断する可能性がある通行人の視線情報を確認することで、通行人が横断歩道のない道路を横断する場合であっても、安全性を向上させることができる。
　車載システム１は、車両Ｖの前方の通行人の視線情報が車両Ｖに向かっている場合、通行人に道を譲ることを示す第１情報を通行人に対して出力する。よって、車載システム１は、通行人に道を譲ることを伝えることで、車両と通行人との意思疎通及び安全性を向上させることができる。
　車載システム１は、第１情報を通行人に対して出力した場合、当該通行人が第１情報を理解している場合に、車両Ｖを停止することにしたので、車両Ｖを無闇に停止させることを回避できる。よって、車載システム１は、利便性の低下を抑制して、車両と通行人との意思疎通を改善することができる。さらに、車載システム１は、通行人が第１情報を理解している場合に車両Ｖを停止すると、当該通行人の横断が終了するまで、車両Ｖの停止を維持することができる。
　次に、図５のフローチャート図を参照して、制御装置１５の処理部１５Ｃが実行する第２処理の一例を説明する。図５に示すフローチャート図は、通行人に道を譲る車両Ｖの第２動作を決定する処理手順の一例を示す。図５に示す処理手順は、処理部１５Ｃが図３に示すステップＳ１８の処理を実行することで、処理部１５Ｃによって実行される。すなわち、図５に示す処理手順は、視線情報が車両Ｖに向かっていない通行人が道を譲る行動を行っていない場合に実行される。処理部１５Ｃは、図５に示す処理手順を終了すると、図３に示す処理手順に復帰する。
　処理部１５Ｃは、通行人が道を譲る行動を行っていないことから、車両Ｖを停止させる動作を決定する（ステップＳ２０１）。処理部１５Ｃは、車両Ｖを停止させる動作に応じた処理を実行する（ステップＳ２０２）。例えば、処理部１５Ｃは、走行している車両Ｖを停止させる制御を行う処理を実行する。処理部１５Ｃは、ステップＳ２０２の処理を実行することにより、走行制御部１５Ｃ５として機能する。処理部１５Ｃは、車両Ｖを停止させると、処理をステップＳ２０３に進める。
　処理部１５Ｃは、車両Ｖの前方の画像を外部カメラ１２ｄから取得する（ステップＳ２０３）。処理部１５Ｃは、取得した画像に基づいて、対象の通行人が横断を終えたか否かを判定する（ステップＳ２０４）。処理部１５Ｃは、対象の通行人が横断を終えていないと判定した場合（ステップＳ２０４でＮｏ）、処理を既に説明したステップＳ２０３に戻す。すなわち、処理部１５Ｃは、ステップＳ２０３からステップＳ２０４の処理を繰り返すことで、対象の通行人の横断が終わるのを待つ。
　処理部１５Ｃは、対象の通行人が横断を終えたと判定した場合（ステップＳ２０４でＹｅｓ）、処理をステップＳ２０５に進める。処理部１５Ｃは、車両Ｖを走行させる動作に応じた処理を実行する（ステップＳ２０５）。例えば、処理部１５Ｃは、停止している車両Ｖを走行させる制御を行う処理を実行する。処理部１５Ｃは、ステップＳ２０５の処理を実行することにより、走行制御部１５Ｃ５として機能する。処理部１５Ｃは、車両Ｖを走行させると、図５に示す処理手順を終了させる。
　以上で説明した車載システム１は、車両Ｖの前方の通行人の視線情報が車両Ｖに向かっていない場合、かつ、通行人が道を譲る行動を行っていない場合、車両Ｖを停止させる動作を行う。よって、車載システム１は、通行人の視線情報と行動とに基づいて、車両Ｖを停止させる動作を決定することで、通行人との意思疎通を改善することができる。
　車載システム１は、車両Ｖの前方で対象の通行人の視線情報が車両Ｖに向かっていない場合、車両Ｖを停止するようにしたので、例えば、車両Ｖに気付かずに道路を横断しようとしている通行人等に対する安全性を向上させることができる。
　次に、図６のフローチャート図を参照して、制御装置１５の処理部１５Ｃが実行する第３処理の一例を説明する。図６に示すフローチャート図は、通行人に対する車両Ｖの第３動作を決定する処理手順の一例を示す。図６に示す処理手順は、処理部１５Ｃが図３に示すステップＳ１９の処理を実行することで、処理部１５Ｃによって実行される。すなわち、図６に示す処理手順は、通行人が道を譲る行動を行っている場合に実行される。処理部１５Ｃは、図６に示す処理手順を終了すると、図３に示す処理手順に復帰する。
　処理部１５Ｃは、車両Ｖの前方の画像を外部カメラ１２ｄから取得する（ステップＳ３０１）。処理部１５Ｃは、取得した画像から対象の通行人の視線情報を検出する（ステップＳ３０２）。例えば、処理部１５Ｃは、車両Ｖの前方を撮像した画像に基づいて、対象の通行人の視線情報を検出する。処理部１５Ｃは、ステップＳ３０２の処理を実行することにより、第２検出部１５Ｃ３として機能する。処理部１５Ｃは、検出した視線情報を記憶部１５Ｂに記憶すると、処理をステップＳ３０３に進める。
　処理部１５Ｃは、記憶部１５Ｂの視線情報を参照して、通行人の視線情報が車両Ｖに向かっているか否かを判定する（ステップＳ３０３）。すなわち、処理部１５Ｃは、視線情報が車両Ｖに向かっていないと判定した通行人の視線情報を再度確認する。例えば、通行人は、車両Ｖに視線情報が向かっていない状態から、車両Ｖに視線情報が向かう状態に変化した場合、車両Ｖに気付いて道路を横断しない傾向にある。処理部１５Ｃは、通行人の視線情報が車両Ｖに向かっていると判定した場合（ステップＳ３０３でＹｅｓ）、処理をステップＳ３０４に進める。
　処理部１５Ｃは、通行人へのお礼を示す第２情報を出力する（ステップＳ３０４）。例えば、処理部１５Ｃは、第２情報を外部表示装置１４に表示させる。例えば、処理部１５Ｃは、第２情報を音声出力装置から車両Ｖの外部に出力してもよい。処理部１５Ｃは、ステップＳ３０４の処理を実行することにより、出力制御部１５Ｃ６として機能する。処理部１５Ｃは、第２情報を出力すると、処理をステップＳ３０５に進める。
　処理部１５Ｃは、車両Ｖの前方の画像を外部カメラ１２ｄから取得する（ステップＳ３０５）。処理部１５Ｃは、取得した画像に基づいて、第２情報の出力を終了するか否かを判定する（ステップＳ３０６）。例えば、処理部１５Ｃは、車両Ｖの前方の画像に基づいて、第２情報を理解した通行人の表情、ジェスチャ等を検出した場合に、第２情報の出力を終了すると判定する。例えば、処理部１５Ｃは、第２情報の表示を開始してから一定時間が経過した場合等に、第２情報の出力を終了すると判定してもよい。処理部１５Ｃは、第２情報の出力を終了しないと判定した場合（ステップＳ３０６でＮｏ）、処理を既に説明したステップＳ３０５に戻す。
　処理部１５Ｃは、第２情報の出力を終了すると判定した場合（ステップＳ３０６でＹｅｓ）、処理をステップＳ３０７に進める。処理部１５Ｃは、第２情報の出力を終了させる（ステップＳ３０７）。例えば、処理部１５Ｃは、第２情報の出力の停止を外部表示装置１４に要求する。処理部１５Ｃは、第２情報の出力を終了させると、処理をステップＳ３０８に進める。
　処理部１５Ｃは、車両Ｖを走行させる動作に応じた処理を実行する（ステップＳ３０８）。例えば、処理部１５Ｃは、車両Ｖを走行させる、あるいは、車両Ｖの走行を維持する制御を行う処理を実行する。処理部１５Ｃは、ステップＳ３０８の処理を実行することにより、走行制御部１５Ｃ５として機能する。処理部１５Ｃは、車両Ｖを走行させると、図６に示す処理手順を終了させる。
　また、処理部１５Ｃは、通行人の視線情報が車両Ｖに向かっていないと判定した場合（ステップＳ３０３でＮｏ）、処理をステップＳ３０９に進める。処理部１５Ｃは、取得した画像に基づいて、通行人が道を横断しない行動であるか否かを判定する（ステップＳ３０９）。例えば、処理部１５Ｃは、通行人が移動していない場合、通行人が道を譲る行動をしている場合等に、通行人が道を横断しない行動であると判定する。
　処理部１５Ｃは、通行人が道を横断しない行動であると判定した場合（ステップＳ３０９でＹｅｓ）、処理を既に説明したステップＳ３０８に進める。処理部１５Ｃは、車両Ｖを走行させる動作に応じた処理を実行する（ステップＳ３０８）。処理部１５Ｃは、車両Ｖを走行させると、図６に示す処理手順を終了させる。
　処理部１５Ｃは、通行人が道を横断しない行動ではないと判定した場合（ステップＳ３０９でＮｏ）、すなわち、通行人が道を横断する行動である場合、処理をステップＳ３１０に進める。処理部１５Ｃは、車両Ｖを停止させる動作に応じた処理を実行する（ステップＳ３１０）。例えば、処理部１５Ｃは、走行している車両Ｖを停止させる、あるいは、車両Ｖの停止を維持する制御を行う処理を実行する。処理部１５Ｃは、ステップＳ３１０の処理を実行することにより、走行制御部１５Ｃ５として機能する。処理部１５Ｃは、車両Ｖを停止させると、処理をステップＳ３１１に進める。
　処理部１５Ｃは、車両Ｖの前方の画像を外部カメラ１２ｄから取得する（ステップＳ３１１）。処理部１５Ｃは、取得した画像に基づいて、対象の通行人が横断を終えたか否かを判定する（ステップＳ３１２）。処理部１５Ｃは、対象の通行人が横断を終えていないと判定した場合（ステップＳ３１２でＮｏ）、処理を既に説明したステップＳ３１１に戻す。すなわち、処理部１５Ｃは、ステップＳ３１１からステップＳ３１２の処理を繰り返すことで、対象の通行人の横断が終わるのを待つ。
　処理部１５Ｃは、対象の通行人が横断を終えたと判定した場合（ステップＳ３１２でＹｅｓ）、処理をステップＳ３１３に進める。処理部１５Ｃは、車両Ｖを走行させる動作に応じた処理を実行する（ステップＳ３１３）。例えば、処理部１５Ｃは、停止している車両Ｖを走行させる、あるいは、車両Ｖの走行を維持する制御を行う処理を実行する。処理部１５Ｃは、ステップＳ３１３の処理を実行することにより、走行制御部１５Ｃ５として機能する。処理部１５Ｃは、車両Ｖを走行させると、図６に示す処理手順を終了させる。
　以上で説明した車載システム１は、車両Ｖの前方の通行人の視線情報が車両Ｖに向かっていない場合、かつ、通行人が道を譲る行動を行っていない場合、通行人の視線情報および行動に応じた車両Ｖの動作を行う。よって、車載システム１は、通行人の視線情報が車両Ｖに向かっていない場合でも、通行人との意思疎通を図ることで、車両と通行人との意思疎通を改善することができる。
　車載システム１は、車両Ｖの前方で対象の通行人の視線情報が車両Ｖに向かっていない場合、通行人が道を譲る行動を行っていると、車両Ｖを走行させる。よって、車載システム１は、視線情報が車両Ｖに向かっていなくても、通行人の視線情報を再度確認して車両Ｖの動作を決定することで、通行人との意思疎通をより一層改善し、事故の発生を抑制することができる。
　なお、上述した本発明の実施形態に係る車載システム１は、上述した実施形態に限定されず、請求の範囲に記載された範囲で種々の変更が可能である。
　上記の本実施形態では、車載システム１は、運転者がいない自動運転システムである場合について説明したが、これに限定されない。例えば、車載システム１は、運転者が運転する車両に搭載されてもよい。その場合、車載システム１は、通行人の視線情報に基づいて決定した車両Ｖの動作を示す情報を表示装置１３に表示してもよい。車載システム１は、通行人が横断する可能性があることを運転者に報知してもよい。この結果、車載システム１は、決定した車両Ｖの動作を運転者に認識させ、安全性を向上させることができる。
　上記の車載システム１の第１検出部１５Ｃ２は、公知の人工知能技術や深層学習技術を用いて、車両Ｖの前方を撮像した画像から通行人を検出するものとすることができる。上記の車載システム１の第２検出部１５Ｃ３は、公知の人工知能技術や深層学習技術を用いて、第１検出部１５Ｃ２が検出した通行人の視線情報を画像から検出するものとすることができる。
　以上で説明した制御装置１５は、各部が別体に構成され、当該各部が各種の電気信号を相互に授受可能に接続されることで構成されてもよく、一部の機能が他の制御装置によって実現されてもよい。また、以上で説明したプログラム、アプリケーション、各種データ等は、適宜、更新されてもよいし、車載システム１に対して任意のネットワークを介して接続されたサーバに記憶されていてもよい。以上で説明したプログラム、アプリケーション、各種データ等は、例えば、必要に応じてその全部又は一部をダウンロードすることも可能である。また、例えば、制御装置１５が備える処理機能については、その全部又は任意の一部を、例えば、ＣＰＵ等及び当該ＣＰＵ等にて解釈実行されるプログラムにて実現してもよく、また、ワイヤードロジック等によるハードウェアとして実現してもよい。
１　車載システム
１２　検出装置
１２ａ　車両状態検出部
１２ｂ　通信モジュール
１２ｃ　ＧＰＳ受信器
１２ｄ　外部カメラ
１２ｅ　外部レーダ／ソナー
１３　表示装置
１４　外部表示装置
１５　制御装置
１５０　行動情報
１５Ａ　インターフェース部
１５Ｂ　記憶部
１５Ｃ　処理部
１５Ｃ１　取得部
１５Ｃ２　第１検出部
１５Ｃ３　第２検出部（検出部）
１５Ｃ４　決定部
１５Ｃ５　走行制御部（動作部）
１５Ｃ６　出力制御部（動作部）
１５Ｃ７　第１判定部
１５Ｃ８　第２判定部
Ｖ　車両

Claims (6)

  1. 　車両の前方を撮像した画像に基づいて通行人の視線情報を検出する検出部と、
    　前記検出部が検出した前記通行人の視線情報に基づいて、前記車両の動作を決定する決定部と、
    　前記決定部が決定した前記車両の動作に応じた処理を行う動作部と、
    　を備えることを特徴とする車載システム。
  2. 　前記通行人は、前記車両の前方を横断する可能性がある人物である
    　請求項１に記載の車載システム。
  3. 　前記決定部は、前記通行人の視線情報が前記車両に向かっている場合、前記通行人に道を譲る前記車両の動作を決定し、
    　前記動作部は、前記通行人に道を譲ることを示す第１情報を前記通行人に対して出力する処理を行う
    　請求項１または２に記載の車載システム。
  4. 　前記通行人を撮像した画像に基づいて、前記動作部が出力させた前記第１情報を前記通行人が理解しているか否かを判定する第１判定部をさらに備え、
    　前記決定部は、前記第１判定部によって前記通行人が前記第１情報を理解していると判定された場合、前記車両を停止させる動作を決定し、
    　前記動作部は、前記車両を停止させる動作に応じた処理を行う
    　請求項３に記載の車載システム。
  5. 　前記通行人の視線が前記車両に向かっていない場合、前記通行人を撮像した画像に基づいて、前記通行人が道を譲る行動を行っているか否かを判定する第２判定部をさらに備え、
    　前記決定部は、前記第２判定部によって前記通行人が道を譲る行動を行っていると判定された場合、前記車両を走行させる動作を決定し、
    　前記動作部は、前記車両を走行させる動作に応じた処理を行う
    　請求項１から４のいずれか１項に記載の車載システム。
  6. 　前記決定部は、前記第２判定部によって前記通行人が道を譲る行動を行っていないと判定された場合、前記車両を停止または徐行する動作を決定し、
    　前記動作部は、前記車両を停止または徐行する動作に応じた処理を行う
    　請求項５に記載の車載システム。
PCT/JP2019/002101 2018-03-12 2019-01-23 車載システム WO2019176310A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE112019001268.1T DE112019001268T5 (de) 2018-03-12 2019-01-23 Fahrzeuginternes system
CN201980012914.0A CN111712865B (zh) 2018-03-12 2019-01-23 车载系统
US16/988,803 US20200372266A1 (en) 2018-03-12 2020-08-10 In-vehicle system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-043903 2018-03-12
JP2018043903A JP6989418B2 (ja) 2018-03-12 2018-03-12 車載システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/988,803 Continuation US20200372266A1 (en) 2018-03-12 2020-08-10 In-vehicle system

Publications (1)

Publication Number Publication Date
WO2019176310A1 true WO2019176310A1 (ja) 2019-09-19

Family

ID=67907637

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/002101 WO2019176310A1 (ja) 2018-03-12 2019-01-23 車載システム

Country Status (5)

Country Link
US (1) US20200372266A1 (ja)
JP (1) JP6989418B2 (ja)
CN (1) CN111712865B (ja)
DE (1) DE112019001268T5 (ja)
WO (1) WO2019176310A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005165422A (ja) * 2003-11-28 2005-06-23 Denso Corp 衝突可能性判定装置
WO2017126012A1 (ja) * 2016-01-18 2017-07-27 三菱電機株式会社 運転支援装置、運転支援方法及び運転支援プログラム
JP2018005793A (ja) * 2016-07-07 2018-01-11 株式会社デンソー 歩行者検出装置、歩行者検出方法
JP2018024291A (ja) * 2016-08-08 2018-02-15 株式会社デンソー 車外表示処理装置及び車外表示システム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001052293A (ja) * 1999-08-11 2001-02-23 Hiisuto Kk 車両走行時の情報案内システム
JP2005322297A (ja) * 2004-05-07 2005-11-17 Pioneer Electronic Corp 情報記録装置及び方法、情報再生装置及び方法、並びにコンピュータプログラム
JP4443327B2 (ja) * 2004-07-01 2010-03-31 パイオニア株式会社 情報表示装置
US7924146B2 (en) * 2009-04-02 2011-04-12 GM Global Technology Operations LLC Daytime pedestrian detection on full-windscreen head-up display
CN103858156B (zh) * 2011-10-18 2015-04-15 本田技研工业株式会社 车辆周围监测装置
DE102013207223A1 (de) * 2013-04-22 2014-10-23 Ford Global Technologies, Llc Verfahren zur Erkennung von nicht motorisierten Verkehrsteilnehmern
KR101901962B1 (ko) * 2013-11-08 2018-11-07 한국전자통신연구원 내비게이션을 이용한 자율 주행 제어 장치 및 그 방법
JP6206668B2 (ja) * 2013-11-14 2017-10-04 マツダ株式会社 車両用歩行者検出装置
US9586585B2 (en) * 2014-11-20 2017-03-07 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous vehicle detection of and response to traffic officer presence
WO2016098238A1 (ja) * 2014-12-19 2016-06-23 株式会社日立製作所 走行制御装置
CN107924195B (zh) * 2015-09-08 2020-11-10 苹果公司 意图识别
US9969326B2 (en) * 2016-02-22 2018-05-15 Uber Technologies, Inc. Intention signaling for an autonomous vehicle
JP6313355B2 (ja) * 2016-03-31 2018-04-18 株式会社Ｓｕｂａｒｕ 車両周囲監視装置
JP2017207859A (ja) * 2016-05-17 2017-11-24 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
DE112016007376T5 (de) * 2016-10-25 2019-07-25 Mitsubishi Electric Corporation Vorrichtung zur Bestimmung von Peripherie-Informationen und Verfahren zur Bestimmung von Peripherie-Informationen
CN106627149B (zh) * 2016-11-25 2023-09-26 未来汽车科技（深圳）有限公司 一种汽车仪表盘及控制方法
KR102648812B1 (ko) * 2016-12-15 2024-03-19 현대자동차주식회사 차량 및 그의 보행자 감지 알림 방법
CN206287926U (zh) * 2016-12-27 2017-06-30 广州市联奥信息科技有限公司 具备情绪表达能力的交互行车装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005165422A (ja) * 2003-11-28 2005-06-23 Denso Corp 衝突可能性判定装置
WO2017126012A1 (ja) * 2016-01-18 2017-07-27 三菱電機株式会社 運転支援装置、運転支援方法及び運転支援プログラム
JP2018005793A (ja) * 2016-07-07 2018-01-11 株式会社デンソー 歩行者検出装置、歩行者検出方法
JP2018024291A (ja) * 2016-08-08 2018-02-15 株式会社デンソー 車外表示処理装置及び車外表示システム

Also Published As

Publication number Publication date
US20200372266A1 (en) 2020-11-26
CN111712865A (zh) 2020-09-25
JP2019156087A (ja) 2019-09-19
JP6989418B2 (ja) 2022-01-05
DE112019001268T5 (de) 2020-12-03
CN111712865B (zh) 2022-05-03

Similar Documents

Publication Publication Date Title
CN109515434B (zh) 车辆控制装置、车辆控制方法及存储介质
EP3324556B1 (en) Visual communication system for autonomous driving vehicles (adv)
JP6613527B2 (ja) 車両制御装置、車両制御方法、およびプログラム
US20190071075A1 (en) Vehicle control system, vehicle control method, and vehicle control program
JP6592852B2 (ja) 車両制御装置、車両制御方法、およびプログラム
EP3536554B1 (en) Display system and in-vehicle system
CN111762113A (zh) 车辆控制装置、车辆控制方法及存储介质
CN110371018B (zh) 使用其他车辆车灯的信息改善车辆行为
KR20190007287A (ko) 차량 주행 시스템 및 차량
EP3835823B1 (en) Information processing device, information processing method, computer program, information processing system, and moving body device
CN104115198A (zh) 车辆合流辅助系统和方法
CN111830859A (zh) 车辆远程指示系统
JP2019014300A (ja) 車両制御システム、車両制御方法、およびプログラム
US20220364874A1 (en) Method of providing image by vehicle navigation device
EP4102323B1 (en) Vehicle remote control device, vehicle remote control system, vehicle remote control method, and vehicle remote control program
EP4273834A1 (en) Information processing device, information processing method, program, moving device, and information processing system
WO2022113772A1 (ja) 情報処理装置、情報処理方法、及び、情報処理システム
WO2019176310A1 (ja) 車載システム
CN112567427B (zh) 图像处理装置、图像处理方法和程序
CN111381592A (zh) 车辆控制方法、装置及车辆
KR20190070693A (ko) 자율주행장치 및 그의 제어 방법
WO2023021930A1 (ja) 車両用制御装置及び車両用制御方法
WO2022030270A1 (ja) 車両用表示制御装置、車両用表示制御システム、及び車両用表示制御方法
WO2019176311A1 (ja) 車載システム
WO2023171401A1 (ja) 信号処理装置、信号処理方法、および記録媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19767303

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 19767303

Country of ref document: EP

Kind code of ref document: A1