WO2020031695A1 - 情報処理装置、移動体、情報処理方法及びプログラム - Google Patents

情報処理装置、移動体、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2020031695A1
WO2020031695A1 PCT/JP2019/028967 JP2019028967W WO2020031695A1 WO 2020031695 A1 WO2020031695 A1 WO 2020031695A1 JP 2019028967 W JP2019028967 W JP 2019028967W WO 2020031695 A1 WO2020031695 A1 WO 2020031695A1
Authority
WO
WIPO (PCT)
Prior art keywords
driver
unit
face
vehicle
detection unit
Prior art date
Application number
PCT/JP2019/028967
Other languages
English (en)
French (fr)
Inventor
弘和 橋本
秀明 今井
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to JP2020536442A priority Critical patent/JP7382327B2/ja
Priority to US17/265,479 priority patent/US11590985B2/en
Priority to CN201980051421.8A priority patent/CN112534487B/zh
Priority to KR1020217002914A priority patent/KR20210043566A/ko
Priority to EP19846667.4A priority patent/EP3836119A4/en
Publication of WO2020031695A1 publication Critical patent/WO2020031695A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping

Definitions

  • the present disclosure relates to an information processing device, a moving object, an information processing method, and a program.
  • the present disclosure proposes an information processing device, a moving body, an information processing method, and a program that can change the content of notification to a driver according to the driver's recognition level of an object existing around the vehicle. .
  • the information processing device based on the data detected by the external detection unit, based on the external information detection unit that detects an object existing outside the moving body, based on the data detected by the internal detection unit
  • An internal information detection unit that detects the orientation of the driver's face inside the moving body, the position of the object detected by the external information detection unit, and the driver detected by the internal information detection unit
  • a determination unit that determines whether the direction of the face is the same direction, and an alert to the driver when the position of the object is not the same direction as the direction of the driver's face, the position of the object is
  • An output control unit that outputs more strongly than in the case where the direction of the driver's face is the same as the direction of the driver's face.
  • the content of notification to the driver can be changed according to the driver's degree of recognition of an object existing around the vehicle.
  • the effects described here are not necessarily limited, and may be any of the effects described in the present disclosure.
  • FIG. 1 is a block diagram illustrating a schematic configuration example of functions of a vehicle control system that is an example of a moving object control system to which the present technology can be applied. It is a figure showing an example of an arrangement position of a data acquisition part which acquires information outside a vehicle. It is a figure showing an example of an arrangement position of a data acquisition part which acquires in-vehicle information. It is a figure which shows an example of the direction of a driver's face, and the range of recognition. 5 is a flowchart illustrating an example of a process of an information processing method according to an embodiment of the present disclosure. It is a flowchart which shows an example of the procedure of the detection process of a driver's face direction.
  • FIG. 7 is a diagram illustrating an example of notification contents for a combination of the overall degree of safety and the degree of driver recognition according to the embodiment. It is a figure which shows an example of the direction of a driver's face typically.
  • FIG. 6 is a diagram illustrating an example of a notification method for a combination of the overall degree of safety and the degree of driver recognition according to the embodiment. It is a figure showing an example of an arrangement position of a display in a vehicle. It is a flowchart which shows an example of the procedure of the mapping process of the moving body detected and the driver's face direction by the modification of embodiment. It is a figure showing an example of the direction of a driver's face in a modification of an embodiment.
  • FIG. 2 is a hardware configuration diagram illustrating an example of a computer that realizes functions of the information processing apparatus according to the embodiment.
  • FIG. 1 is a block diagram illustrating a configuration example of a schematic function of a vehicle control system that is an example of a moving object control system to which the present technology can be applied.
  • a vehicle provided with the vehicle control system 100 is distinguished from other vehicles, the vehicle is referred to as a host vehicle or a host vehicle.
  • the vehicle control system 100 includes an input unit 101, a data acquisition unit 102, a communication unit 103, an in-vehicle device 104, an output control unit 105, an output unit 106, a drive system control unit 107, a drive system system 108, a body system control unit 109, and a body.
  • a system system 110, a storage unit 111, and an automatic operation control unit 112 are provided.
  • the input unit 101, the data acquisition unit 102, the communication unit 103, the output control unit 105, the drive system control unit 107, the body system control unit 109, the storage unit 111, and the automatic operation control unit 112 communicate with each other via a communication network 121. It is connected to the.
  • the communication network 121 is, for example, an in-vehicle communication network or a bus compliant with any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). .
  • CAN Controller Area Network
  • LIN Local Interconnect Network
  • LAN Local Area Network
  • FlexRay registered trademark
  • the description of the communication network 121 will be omitted.
  • the input unit 101 and the automatic operation control unit 112 perform communication via the communication network 121, it is described that the input unit 101 and the automatic operation control unit 112 simply perform communication.
  • the automatic driving control unit 112, the output control unit 105, the output unit 106, and the storage unit 111 correspond to an information processing device.
  • the input unit 101 includes a device used by a passenger to input various data or instructions.
  • the input unit 101 includes an operation device such as a touch panel, a button, a microphone, a switch, a lever, and the like, and an operation device that can be input by a method other than a manual operation using a voice or a gesture.
  • the input unit 101 may be a remote control device using infrared rays or other radio waves, or an externally connected device such as a mobile device or a wearable device compatible with the operation of the vehicle control system 100.
  • the input unit 101 generates an input signal based on data or an instruction input by a passenger and supplies the input signal to each unit of the vehicle control system 100.
  • the data acquisition unit 102 includes various sensors for acquiring data used for processing of the vehicle control system 100 and supplies the acquired data to each unit of the vehicle control system 100.
  • the data acquisition unit 102 includes various sensors for detecting the state of the own vehicle and the like.
  • the data acquisition unit 102 includes a gyro sensor, an acceleration sensor, an inertial measurement device (inertial measurement unit) (IMU), an accelerator pedal operation amount, a brake pedal operation amount, a steering wheel steering angle, and an engine.
  • IMU inertial measurement device
  • a sensor or the like for detecting a rotation speed, a motor rotation speed, a wheel rotation speed, or the like is provided.
  • the data acquisition unit 102 includes an external detection unit that is various sensors for detecting information outside the vehicle.
  • the data acquisition unit 102 includes an imaging device such as a time-of-flight (ToF) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the data acquisition unit 102 includes an environment sensor for detecting weather or weather, and a surrounding information detection sensor for detecting an object around the own vehicle.
  • the environment sensor includes, for example, a raindrop sensor, a fog sensor, a sunshine sensor, a snow sensor, and the like.
  • the surrounding information detection sensor includes, for example, an ultrasonic sensor, a radar, a LiDAR (Light Detection and Ranging, Laser Imaging and Ranging), a sonar, and the like.
  • the data acquisition unit 102 includes various sensors for detecting the current position of the vehicle. More specifically, for example, the data acquisition unit 102 includes a GNSS receiver that receives a GNSS signal from a GNSS (Global Navigation Satellite System) satellite.
  • GNSS Global Navigation Satellite System
  • the data acquisition unit 102 includes an internal detection unit which is various sensors for detecting information in the vehicle.
  • the data acquisition unit 102 collects an image capturing device (Driver ⁇ Monitering ⁇ System: hereinafter, referred to as DMS) for capturing an image of a driver, a biological sensor for detecting biological information of the driver, and sounds in a vehicle compartment. Microphone and the like.
  • the biological sensor is provided on, for example, a seat surface or a steering wheel, and detects biological information of a passenger sitting on a seat or a driver holding a steering wheel.
  • a camera or a ToF camera can be used as the DMS.
  • the DMS may be a line-of-sight sensor that detects the driver's line of sight.
  • the line-of-sight sensor for example, a sensor that irradiates infrared rays to the driver's eyes and detects the line of sight based on the position of the reflected light on the cornea and the position of the pupil can be used.
  • FIG. 2A is a diagram illustrating an example of an arrangement position of a data acquisition unit that acquires information outside a vehicle
  • FIG. 2B is a diagram illustrating an example of an arrangement position of a data acquisition unit that acquires information inside a vehicle.
  • imaging devices 7910, 7912, 7914, and 7916 for imaging the outside of the vehicle are provided on a front nose, a side mirror, and a rear bumper of a vehicle 7900 of the own vehicle, respectively.
  • An imaging device 7910 provided in the front nose mainly acquires an image in front of the vehicle 7900.
  • the imaging devices 7912 and 7914 provided in the side mirror mainly acquire an image of the side of the vehicle 7900.
  • the imaging device 7916 provided in the rear bumper mainly acquires an image behind the vehicle 7900.
  • the front nose imaging device 7910 may be provided above the windshield.
  • the imaging device 7916 of the rear bumper may be provided in the back door.
  • FIG. 2A shows an example of the imaging ranges a to d of the respective imaging devices 7910, 7912, 7914, 7916.
  • the imaging range a indicates the imaging range of the imaging device 7910 provided on the front nose
  • the imaging ranges b and c indicate the imaging ranges of the imaging devices 7912 and 7914 provided on the side mirrors, respectively.
  • the imaging range d indicates an imaging range of the imaging device 7916 provided in the rear bumper.
  • FIG. 2A shows an example of the arrangement position of the imaging devices 7910, 7912, 7914, and 7916, but may be an outside-vehicle information detection device 7920, 7922, 7924, 7926, 7928, 7930 other than the imaging device.
  • an ultrasonic sensor or a radar device which is an external information detection device 7920, 7922, 7924, 7926, 7928, 7930, may be disposed on the front, rear, side, corner, and upper portion of the windshield in the vehicle 7900.
  • a LiDAR device which is an external information detection device 7920, 7926, 7930, may be provided on the front nose, rear bumper, back door or upper windshield of the vehicle 7900.
  • the DMS 5030 is provided on the dashboard 5010 above the instrument panel 5020, and captures an image of the upper body including the driver's face sitting in the driver's seat.
  • the communication unit 103 communicates with the in-vehicle device 104 and various devices, servers, base stations, and the like outside the vehicle, and transmits and receives data supplied from each unit of the vehicle control system 100.
  • the data is supplied to each unit of the vehicle control system 100.
  • the communication protocol supported by the communication unit 103 is not particularly limited, and the communication unit 103 can support a plurality of types of communication protocols.
  • the communication unit 103 performs wireless communication with the in-vehicle device 104 by wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), WUSB (Wireless USB), or the like.
  • the communication unit 103 may be connected to a USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface), or MHL (MHL) via a connection terminal (and a cable if necessary) not shown.
  • Mobile High-definition Link
  • Mobile High-definition Link
  • the communication unit 103 communicates with a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or a network unique to an operator) via a base station or an access point. Perform communication. Further, for example, the communication unit 103 communicates with a terminal (for example, a terminal of a pedestrian or a store, or a terminal of a MTC (Machine Type Communication)) using a P2P (Peer To Peer) technology, for example, in the vicinity of the own vehicle. I do.
  • a device for example, an application server or a control server
  • an external network for example, the Internet, a cloud network, or a network unique to an operator
  • the communication unit 103 communicates with a terminal (for example, a terminal of a pedestrian or a store, or a terminal of a MTC (Machine Type Communication)) using a P2P (Peer To Peer) technology, for example, in the vicinity of the own vehicle
  • the communication unit 103 communicates between a vehicle (Vehicle to Vehicle), a road to vehicle (Vehicle to Infrastructure), a communication between a vehicle and a house (Vehicle to Home), and a vehicle to vehicle (Vehicle to Vehicle). ) Perform V2X communication such as communication.
  • the communication unit 103 includes a beacon receiving unit, receives a radio wave or an electromagnetic wave transmitted from a wireless station or the like installed on a road, and obtains information such as a current position, traffic congestion, traffic regulation, or required time. I do.
  • the in-vehicle device 104 includes, for example, a mobile device or a wearable device possessed by the passenger, an information device carried or attached to the own vehicle, a navigation device for searching for a route to an arbitrary destination, and the like.
  • the output control unit 105 controls output of various types of information to the driver.
  • the output control unit 105 generates an output signal including at least one of visual information (for example, image data) and auditory information (for example, audio data), and supplies the output signal to the output unit 106.
  • the output control unit 105 combines image data captured by different imaging devices of the data acquisition unit 102 to generate a bird's-eye view image or a panoramic image, and outputs an output signal including the generated image. It is supplied to the output unit 106.
  • the output control unit 105 generates voice data including a warning sound or a warning message that is an alert for a collision according to the degree of recognition of the driver's object, and outputs an output signal including the generated voice data.
  • the output control unit 105 generates image data in which a warning display or the like, which is an alert for a collision according to the degree of recognition of the driver, is superimposed on an external image captured by the imaging device of the data acquisition unit 102.
  • an output signal including the generated image data may be supplied to the output unit 106.
  • the objects include a moving object (moving object) and a stationary object.
  • the output control unit 105 may generate the voice data according to not only the recognition degree of the object but also the combination of the safety degree of the surrounding object with respect to the own vehicle and the recognition degree of the driver with respect to the object. At this time, the output control unit 105 may generate image data according to the combination of the degree of safety of the object and the degree of recognition of the driver in an external image.
  • the output unit 106 includes a device capable of outputting visual information or auditory information to a passenger of the vehicle.
  • the output unit 106 includes a display device, an instrument panel, an audio speaker, headphones, a wearable device such as an eyeglass-type display worn by a passenger, a projector, a lamp, and the like.
  • the display device included in the output unit 106 can display visual information in a driver's visual field such as a head-up display, a transmissive display, and a device having an AR (Augmented Reality) display function in addition to a device having a normal display.
  • the display device may be used.
  • the drive system control unit 107 controls the drive system 108 by generating various control signals and supplying them to the drive system 108. Further, the drive system control unit 107 supplies a control signal to each unit other than the drive system 108 as necessary, and notifies a control state of the drive system 108 and the like.
  • the drive system 108 includes various devices related to the drive system of the vehicle.
  • the driving system 108 includes a driving force generating device for generating driving force such as an internal combustion engine or a driving motor, a driving force transmitting mechanism for transmitting driving force to wheels, a steering mechanism for adjusting a steering angle, A braking device for generating a braking force, an ABS (Antilock Brake System), an ESC (Electronic Stability Control), an electric power steering device, and the like are provided.
  • the body system control unit 109 controls the body system 110 by generating various control signals and supplying them to the body system 110. Further, the body-system control unit 109 supplies a control signal to each unit other than the body-system system 110 as needed, and notifies a control state of the body-system system 110 and the like.
  • the body system 110 includes various body-system devices mounted on the vehicle body.
  • the body system 110 includes a keyless entry system, a smart key system, a power window device, a power seat, a steering wheel, an air conditioner, and various lamps (for example, a head lamp, a back lamp, a brake lamp, a blinker, a fog lamp, and the like). Etc. are provided.
  • the storage unit 111 includes, for example, a magnetic storage device such as a ROM (Read Only Memory), a RAM (Random Access Memory), and a HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, and a magneto-optical storage device. .
  • the storage unit 111 stores various programs and data used by each unit of the vehicle control system 100.
  • the storage unit 111 stores map data such as a three-dimensional high-accuracy map such as a dynamic map, a global map that is less accurate than the high-accuracy map and covers a wide area, and a local map that includes information around the own vehicle. Is stored.
  • the automatic driving control unit 112 performs control relating to automatic driving such as autonomous driving or driving support. Specifically, for example, the automatic driving control unit 112 may perform collision avoidance or impact mitigation of the own vehicle, follow-up running based on the following distance, vehicle speed maintaining running, own vehicle collision warning, or own vehicle lane departure warning and the like. It performs cooperative control with the aim of realizing the functions of ADAS (Advanced Driver Assistance System), including: In addition, for example, the automatic driving control unit 112 performs cooperative control for the purpose of autonomous driving in which the vehicle runs autonomously without depending on the operation of the driver.
  • the automatic driving control unit 112 includes a detection unit 131, a self-position estimation unit 132, a situation analysis unit 133, a planning unit 134, and an operation control unit 135.
  • the detection unit 131 detects various kinds of information necessary for controlling the automatic driving.
  • the detection unit 131 includes an external information detection unit 141 as an external information detection unit, an in-vehicle information detection unit 142 as an internal information detection unit, and a vehicle state detection unit 143.
  • the outside-of-vehicle information detection unit 141 performs detection processing of information outside the vehicle based on data or signals from each unit of the vehicle control system 100. For example, the outside-of-vehicle information detection unit 141 performs detection processing, recognition processing, tracking processing, and detection processing of the distance to the object around the own vehicle. Objects to be detected include, for example, vehicles, people, obstacles, structures, roads, traffic lights, traffic signs, road markings, and the like. Further, for example, the outside-of-vehicle information detection unit 141 performs a process of detecting an environment around the own vehicle. The surrounding environment to be detected includes, for example, weather, temperature, humidity, brightness, road surface conditions, and the like.
  • the out-of-vehicle information detection unit 141 uses the data indicating the result of the detection processing as the self-position estimation unit 132, the map analysis unit 151 of the situation analysis unit 133, the traffic rule recognition unit 152, the situation recognition unit 153, and the operation control unit 135. To the emergency avoidance unit 171 and the like.
  • the in-vehicle information detection unit 142 performs a process of detecting information in the vehicle based on data or signals from each unit of the vehicle control system 100.
  • the in-vehicle information detection unit 142 performs a driver recognition process, a driver state detection process, and the like.
  • the state of the driver to be detected includes, for example, physical condition, arousal level, concentration level, fatigue level, face direction, and the like.
  • the environment in the vehicle to be detected includes, for example, temperature, humidity, brightness, odor, and the like.
  • the in-vehicle information detection unit 142 supplies data indicating the result of the detection process to the situation recognition unit 153 of the situation analysis unit 133, the emergency avoidance unit 171 of the operation control unit 135, and the like.
  • the detection of the face direction by the in-vehicle information detection unit 142 is performed by recognizing the driver's face from the image data obtained by the DMS of the data acquisition unit 102 using machine learning.
  • the driver's face direction includes the gaze direction.
  • Shall be A camera is used as the DMS when detecting the direction of the face, while a gaze sensor is used as the DMS when detecting the gaze direction.
  • the vehicle state detection unit 143 performs detection processing of the state of the own vehicle based on data or signals from each unit of the vehicle control system 100.
  • the state of the subject vehicle to be detected includes, for example, speed, acceleration, steering angle, presence / absence and content of abnormality, driving operation state, power seat position and inclination, door lock state, and other in-vehicle devices. State and the like are included.
  • the vehicle state detection unit 143 supplies data indicating the result of the detection processing to the situation recognition unit 153 of the situation analysis unit 133, the emergency avoidance unit 171 of the operation control unit 135, and the like.
  • the self-position estimating unit 132 estimates the position and orientation of the own vehicle based on data or signals from each unit of the vehicle control system 100 such as the outside-of-vehicle information detecting unit 141 and the situation recognizing unit 153 of the situation analyzing unit 133. Perform processing. In addition, the self-position estimating unit 132 generates a local map used for estimating the self-position (hereinafter, referred to as a self-position estimation map) as necessary.
  • the self-position estimation map is, for example, a high-accuracy map using a technique such as SLAM (Simultaneous Localization and Mapping).
  • the self-position estimating unit 132 supplies data indicating the result of the estimation processing to the map analyzing unit 151, the traffic rule recognizing unit 152, the status recognizing unit 153, and the like of the status analyzing unit 133. Further, the self-position estimating unit 132 causes the storage unit 111 to store the self-position estimating map.
  • the situation analysis unit 133 performs analysis processing of the situation of the own vehicle and the surroundings.
  • the situation analysis unit 133 includes a map analysis unit 151, a traffic rule recognition unit 152, a situation recognition unit 153, a situation prediction unit 154, and a determination unit 155.
  • the map analysis unit 151 uses various data or signals from the various units of the vehicle control system 100 such as the self-position estimation unit 132 and the outside-of-vehicle information detection unit 141 as necessary, and executes various types of maps stored in the storage unit 111. Performs analysis processing and builds a map containing information necessary for automatic driving processing.
  • the map analysis unit 151 converts the constructed map into a traffic rule recognition unit 152, a situation recognition unit 153, a situation prediction unit 154, and a route planning unit 161, an action planning unit 162, and an operation planning unit 163 of the planning unit 134. To supply.
  • the traffic rule recognition unit 152 determines the traffic rules around the own vehicle based on data or signals from each unit of the vehicle control system 100 such as the self-position estimating unit 132, the outside-of-vehicle information detecting unit 141, and the map analyzing unit 151. Perform recognition processing. By this recognition processing, for example, the position and state of the signal around the own vehicle, the contents of traffic regulation around the own vehicle, the lanes that can travel, and the like are recognized.
  • the traffic rule recognition unit 152 supplies data indicating the result of the recognition processing to the situation prediction unit 154 and the like.
  • the situation recognition unit 153 converts data or signals from each unit of the vehicle control system 100 such as the self-position estimation unit 132, the outside-of-vehicle information detection unit 141, the in-vehicle information detection unit 142, the vehicle state detection unit 143, and the map analysis unit 151. Based on this, a process for recognizing the situation regarding the own vehicle is performed. For example, the situation recognition unit 153 performs recognition processing on the situation of the own vehicle, the situation around the own vehicle, the situation of the driver of the own vehicle, and the like.
  • the situation recognition unit 153 generates a local map (hereinafter, referred to as a situation recognition map) used to recognize the situation around the own vehicle and the direction of the driver's face.
  • the situation recognition map may be, for example, an occupancy grid map (Occupancy @ Grid @ Map) or a high-accuracy map using a technology such as SLAM.
  • the situation recognition map is used, for example, to match the coordinate system indicating information outside the vehicle acquired by the data acquisition unit 102 with the coordinate system indicating the direction of the driver's face acquired by the data acquisition unit 102. Spatial information.
  • the situation recognition map is represented, for example, by a coordinate system having the origin at the center of the rear wheel axis of the vehicle.
  • An object having a relative speed with respect to the own vehicle hereinafter, referred to as a moving object detected by the data acquisition unit 102 and the direction of the driver's face are mapped on the situation recognition map.
  • the situation of the own vehicle to be recognized includes, for example, the position, posture, and movement (for example, speed, acceleration, moving direction, etc.) of the own vehicle, and the presence / absence and content of an abnormality.
  • the situation around the subject vehicle to be recognized includes, for example, the type and position of the surrounding stationary object, the type, position and movement (eg, speed, acceleration, moving direction, etc.) of the surrounding moving object, and the surrounding road.
  • the configuration and the state of the road surface, and the surrounding weather, temperature, humidity, brightness, and the like are included.
  • the state of the driver to be recognized includes, for example, physical condition, arousal level, concentration level, fatigue level, face direction, eye movement, and driving operation.
  • the situation recognition unit 153 supplies data indicating the result of the recognition processing (including a situation recognition map as necessary) to the self-position estimation unit 132, the situation prediction unit 154, the determination unit 155, and the like.
  • the situation recognition unit 153 causes the storage unit 111 to store the situation recognition map.
  • the situation prediction unit 154 performs a situation prediction process for the own vehicle based on data or signals from each unit of the vehicle control system 100 such as the map analysis unit 151, the traffic rule recognition unit 152, and the situation recognition unit 153. For example, the situation prediction unit 154 performs prediction processing on the situation of the own vehicle, the situation around the own vehicle, the situation of the driver, and the like.
  • the situation of the subject vehicle to be predicted includes, for example, the behavior of the subject vehicle, occurrence of an abnormality, and a mileage that can be traveled.
  • the situation around the own vehicle to be predicted includes, for example, behavior of a moving body around the own vehicle, a change in a signal state, a change in an environment such as weather, and the like.
  • the situation of the driver to be predicted includes, for example, the behavior and physical condition of the driver.
  • the situation prediction unit 154 together with data from the traffic rule recognition unit 152 and the situation recognition unit 153, data indicating the result of the prediction processing, the determination unit 155, the route planning unit 161 of the planning unit 134, the action planning unit 162, and It is supplied to the operation planning unit 163 and the like.
  • the situation prediction unit 154 calculates the safety level for each moving object recognized by the situation recognition unit 153, and determines the overall safety level for the vehicle (hereinafter, referred to as the overall safety level). .
  • the degree of safety can be classified, for example, by calculating the time until the vehicle collides with the moving object (Time @ To ⁇ Collision: hereinafter referred to as TTC) and by the range of the TTC.
  • TTC Time @ To ⁇ Collision
  • the medium safety level is a case in which the moving object to be determined may collide with the own vehicle within the second period based on the time of the determination, and is not as urgent as the first period, but in order to avoid a collision with the moving object. This is a situation where some processing must be performed.
  • the high degree of security is a case where it is determined that the moving object to be determined may collide with the own vehicle within the third period, or a case where it is determined that there is no possibility that the moving object will collide with the own vehicle. If there is no possibility of collision, the TTC is assumed to be infinite, for example.
  • the first period is set to a period in which TTC is 0 seconds or more and 0.7 seconds or less
  • the second period is set to a period in which TTC is larger than 0.7 seconds and 1.4 seconds or less
  • a third period is set. Is set to the period when TTC is greater than 1.7 seconds. Note that this is an example, and the first period to the third period can be set to other ranges.
  • the situation prediction unit 154 calculates the moving direction and speed of the moving object detected by the outside-of-vehicle information detecting unit 141, and the moving direction, speed, and acceleration of the own vehicle detected by the vehicle state detecting unit 143. , The movement of the own vehicle and the moving object is predicted. As a result, the situation prediction unit 154 sets the moving body predicted to collide with the own vehicle in the first period to low safety, sets the moving body predicted to collide with the own vehicle in the second period to medium security, A moving object predicted not to collide with the vehicle or to collide with the own vehicle within the third period is defined as high security.
  • the situation prediction unit 154 determines the overall safety level of the moving objects with respect to the own vehicle. Specifically, the situation prediction unit 154 sets the one with the lowest safety level among the plurality of moving objects as the overall safety level. For example, the situation prediction unit 154 selects a moving object having the shortest TTC from among a plurality of moving objects as a representative moving object, and sets the safety level of the representative moving object as the overall safety level. The situation prediction unit 154 outputs information about the representative moving object and the overall risk level to the determination unit 155 and the output control unit 105.
  • the determination unit 155 determines whether the driver recognizes the representative moving object according to the position of the representative moving object with respect to the driver's face direction detected by the in-vehicle information detecting unit 142. The determination unit 155 determines whether or not the driver has recognized the representative moving object on the situation recognition map. For example, the determination unit 155 determines whether the position of the representative moving object is in the same direction as the direction of the face. If the position of the representative moving object is in the same direction as the direction of the face, the driver recognizes the moving object. It is determined that the driver does not recognize the moving object when the vehicle is not in the same direction.
  • the expression that the position of the representative moving object is in the same direction as the face direction means that the representative moving object exists in a predetermined range centered on the face direction.
  • FIG. 3 is a diagram illustrating an example of the direction of the driver's face and the range of recognition.
  • humans can confirm the color of a moving object existing within a range of ⁇ 35 degrees around the face direction D, that is, a range of 70 degrees as a whole. Have been done. Therefore, in this embodiment, 35 degrees ⁇ around the direction D of the driver's face, the range of total 70 degrees and recognition range R r, when moving object recognition range R r is present, the driver It is assumed that the moving object is recognized.
  • the determination unit 155 on the situational awareness map, about the direction D of the face, depending on whether the representative body is present in the recognition range R r in the range of 35 ° ⁇ , It is possible to determine whether or not the driver has recognized the representative moving object (hereinafter, also referred to as a recognition degree).
  • the determination unit 155 outputs the degree of recognition of the representative moving object by the driver to the emergency avoidance unit 171 and the output control unit 105.
  • the output control unit 105 outputs to the output unit 106 output information corresponding to a combination of the overall safety level and the degree of recognition of the representative moving object by the driver.
  • the output control unit 105 causes the audio speaker, which is the output unit 106, to output audio data including the notification content about the representative moving object. Further, the output control unit 105 may cause the display device serving as the output unit 106 to display image data around the own vehicle with the representative moving object highlighted.
  • the determination unit 155 outputs an instruction to stop outputting the notification content to the output control unit 105 at a predetermined timing.
  • the output control unit 105 stops outputting the notification content to the output unit 106.
  • the predetermined timing may be a time when the data acquisition unit 102 detects a voice indicating that the driver has recognized the representative moving object.
  • a predetermined timing may be set. As described above, by stopping the content of the notification at a predetermined timing, it is possible to reduce the troublesomeness of the notification by the driver.
  • the planning unit 134 creates a plan relating to the movement of the own vehicle based on the analysis result of the own vehicle and surrounding conditions.
  • the planning unit 134 includes a route planning unit 161, an action planning unit 162, and an operation planning unit 163.
  • the route planning unit 161 plans a route to a destination based on data or signals from each unit of the vehicle control system 100 such as the map analysis unit 151 and the situation prediction unit 154. For example, the route planning unit 161 sets a route from the current position to a specified destination based on the global map. In addition, for example, the route planning unit 161 appropriately changes the route based on conditions such as traffic congestion, accidents, traffic regulations, construction, and the like, and the physical condition of the driver. The route planning unit 161 supplies data indicating the planned route to the action planning unit 162 and the like.
  • the action planning unit 162 safely performs the route planned by the route planning unit 161 within the planned time based on data or signals from each unit of the vehicle control system 100 such as the map analysis unit 151 and the situation prediction unit 154. Plan your vehicle's behavior to drive. For example, the action planning unit 162 performs planning such as start, stop, traveling direction (for example, forward, backward, left turn, right turn, direction change, etc.), traveling lane, traveling speed, and passing. The action planning unit 162 supplies data indicating the planned action of the own vehicle to the operation planning unit 163 and the like.
  • the operation planning unit 163 performs the operation of the own vehicle for realizing the action planned by the action planning unit 162 based on data or signals from each unit of the vehicle control system 100 such as the map analysis unit 151 and the situation prediction unit 154. To plan. For example, the operation planning unit 163 plans acceleration, deceleration, a traveling trajectory, and the like. The operation planning unit 163 supplies data indicating the planned operation of the own vehicle to the acceleration / deceleration control unit 172 and the direction control unit 173 of the operation control unit 135.
  • the operation control unit 135 controls the operation of the own vehicle.
  • the operation control unit 135 includes an emergency avoidance unit 171, an acceleration / deceleration control unit 172, and a direction control unit 173.
  • the emergency avoidance unit 171 performs an emergency such as entry into a danger zone, a driver abnormality, a vehicle abnormality, etc. Perform a situation detection process. Further, the emergency avoidance unit 171 performs a process of detecting an emergency such as a collision or a contact based on the determination result by the determination unit 155. Specifically, the emergency avoidance unit 171 detects an emergency regarding a collision of the moving object with the own vehicle when the information of low safety is acquired from the situation recognition unit 153. When detecting the occurrence of an emergency, the emergency avoidance unit 171 plans the operation of the own vehicle to avoid an emergency such as a sudden stop or a sudden turn. The emergency avoidance unit 171 supplies data indicating the planned operation of the own vehicle to the acceleration / deceleration control unit 172, the direction control unit 173, and the like.
  • Acceleration / deceleration control section 172 performs acceleration / deceleration control for realizing the operation of the vehicle planned by operation planning section 163 or emergency avoidance section 171.
  • the acceleration / deceleration control unit 172 calculates a control target value of a driving force generation device or a braking device for achieving planned acceleration, deceleration, or sudden stop, and drives a control command indicating the calculated control target value. It is supplied to the system control unit 107.
  • the direction control unit 173 performs direction control for realizing the operation of the vehicle planned by the operation planning unit 163 or the emergency avoidance unit 171. For example, the direction control unit 173 calculates a control target value of the steering mechanism for realizing the traveling trajectory or the sharp turn planned by the operation planning unit 163 or the emergency avoidance unit 171, and performs control indicating the calculated control target value. The command is supplied to the drive system control unit 107.
  • FIG. 4 is a flowchart illustrating an example of a process of the information processing method according to the embodiment of the present disclosure.
  • the outside-of-vehicle information detection unit 141 acquires outside-of-vehicle information of the own vehicle from the data acquisition unit 102 (step S11).
  • the data acquisition unit 102 that detects information outside the vehicle is, for example, an imaging device or a surrounding information detection sensor.
  • the operable state is, for example, a state in which the engine is turned on or a state in which the power is turned on.
  • the outside-of-vehicle information detection unit 141 performs a detection process of a moving object that is an object having a relative speed with respect to the own vehicle using the outside-of-vehicle information (step S12), and determines whether or not the moving object exists as a result of the detection process. (Step S13).
  • the outside-of-vehicle information detection unit 141 determines whether or not a moving object exists, using, for example, image data captured at different times. If there is no moving object (No in step S13), the process returns to step S11.
  • the situation recognizing unit 153 predicts the detected movement of the moving object using the outside-of-vehicle information acquired from the data acquiring unit 102 (step S14).
  • Examples of the movement of the moving object include the current position (at the time of detection) with respect to the own vehicle, the speed, the moving direction, and the like.
  • the in-vehicle information detection unit 142 acquires the in-vehicle information from the DMS that is the data acquisition unit 102 (Step S15).
  • the DMS is, for example, a camera that images a region including the driver's face, and the in-vehicle information is image data of a driver driving the vehicle.
  • the in-vehicle information detection unit 142 performs a process of detecting the direction of the driver's face using the in-vehicle information (step S16).
  • FIG. 5 is a flowchart illustrating an example of a procedure of a process of detecting the direction of the driver's face.
  • the inside of the vehicle is imaged by the DMS inside the vehicle.
  • the DMS is arranged at a position where an image including a driver's face can be captured.
  • the in-vehicle information detection unit 142 determines whether a face has been detected in a frame captured by the DMS (step S51). If a face is not detected in the frame (No in step S51), the process waits until a face is detected.
  • the in-vehicle information detection unit 142 determines whether the temporary tracking has been performed (step S52).
  • the tentative tracking is for detecting a face in a frame sent from the DMS after the frame in which the face is detected. If the temporary tracking has not been performed (No in step S52), that is, if the face has been lost in the frame during the temporary tracking, the search is performed again (step S57). Then, the process returns to step S51.
  • the in-vehicle information detection unit 142 performs face detection using the frame acquired thereafter (step S53). Further, the in-vehicle information detection unit 142 performs tracking of the driver's face in the acquired frame (step S54). In the tracking, the driver's face is specified even if the orientation of the driver's face with respect to the DMS changes using information such as the arrangement relationship of the detected components of the driver's face.
  • the in-vehicle information detection unit 142 calculates the orientation of the driver's face using the information on the identified driver's face (step S55). As in the case of tracking, the in-vehicle information detection unit 142 determines the orientation of the face from the arrangement relationship of the components of the detected face of the driver in the frame based on the state in which the driver is sitting in the driver's seat and looking straight ahead. To identify. For example, the face can be rotated around an axis extending in the vertical direction, an axis extending in the horizontal direction, and an axis extending in the front-rear direction, so that the rotation angle around each axis is used. , The direction of the face can be specified.
  • the in-vehicle information detection unit 142 determines whether the driver's face cannot be detected during the tracking (step S56). If the face has been detected (Yes in step S56), the process returns to FIG. If the face has not been detected (No in step S56), the process proceeds to step S57, and the search is performed again. The above process is performed while the image data of the driver is captured by the data acquisition unit 102.
  • the situation recognition unit 153 performs mapping processing of the moving object detected in step S13 and the orientation of the driver's face detected in step S16 (step S17).
  • this mapping processing for example, the moving object and the direction of the driver's face are mapped on a situation recognition map, which is spatial information based on a predetermined position of the vehicle.
  • the predetermined position is, for example, the center of the rear wheel axis of the own vehicle.
  • the coordinate system that detects the moving object is different from the coordinate system that detects the direction of the driver's face, and the situation recognition unit 153 converts the data acquired in the two different coordinate systems into one coordinate system. Is to be mapped.
  • FIG. 6 is a diagram illustrating an example of a situation recognition map in the information processing method according to the embodiment. As shown in this figure, for example, the position of the moving body 210 and the face direction D of the driver dr are mapped on a situation recognition map having a coordinate system based on the center O of the rear wheel axis of the car. You.
  • the situation prediction unit 154 calculates the degree of safety for all moving objects mapped to the situation recognition map (step S18).
  • the situation prediction unit 154 uses the movement of the moving object predicted in step S14 and the movement of the own vehicle predicted from the information obtained by the vehicle state detection unit 143 to determine the degree of collision of the own vehicle with the moving object. Calculate the indicated safety level. If there are a plurality of moving objects, the degree of safety is calculated for each of the moving objects. For example, the situation prediction unit 154 predicts the motion of the moving object based on the position, speed, and moving direction of the moving object at the time when the calculation is performed on one moving object.
  • the situation prediction unit 154 predicts the movement of the own vehicle from the vehicle state detection unit 143 based on the speed, acceleration, and moving direction of the own vehicle. Then, the situation prediction unit 154 determines whether or not the own vehicle collides with the moving body, and when it predicts that the own vehicle collides with the moving body, calculates the TTC. Classify as medium or low security. For example, when the situation prediction unit 154 predicts that the vehicle does not collide with the moving object, or when the TTC is in the third period, the situation is classified as high security. When the TTC is in the second period, the situation prediction unit 154 classifies the situation as medium security, and when the TTC is in the first period, classifies the situation as low security.
  • the situation prediction unit 154 calculates the overall safety level (step S19). Specifically, the situation prediction unit 154 selects a moving object having the shortest TTC as the representative moving object from the calculated safety degrees, and sets the safety degree of the representative moving object as the overall safety degree. TTC is the time required until a collision as described above. Therefore, selecting a vehicle with the shortest TTC is to select a moving object that may collide first, and is a target that the driver needs to pay the most attention to. In other words, selecting the one with the shortest TTC narrows down one of the moving bodies that may possibly occur in the latest collision and facilitates the attention of the driver. The situation prediction unit 154 passes the calculated overall safety level and the safety level of the representative moving object to the output control unit 105 and the determination unit 155.
  • the determination unit 155 determines whether the position of the representative moving object matches the driver's face direction using the situation recognition map in which the safety level of the representative moving object and the driver's face direction are mapped.
  • the degree of recognition of the representative moving object is determined (step S20). Specifically, the determination unit 155, the context recognition map in determines whether the representative body is present within the purview R r of the driver. As shown in FIG. 3, the driver's recognition range Rr is, for example, a range of ⁇ 35 degrees around the driver's face direction D. When the representative moving object exists in the recognition range, the determination unit 155 assumes that the driver has recognized the representative moving object. When the representative moving object does not exist in the recognition range, the determining unit 155 determines that the driver has not recognized the representative moving object. The determination unit 155 passes the driver's recognition degree to the output control unit 105 and the emergency avoidance unit 171.
  • FIG. 7 is a diagram illustrating an example of notification contents for a combination of the overall degree of safety and the degree of driver recognition according to the embodiment.
  • the degree of security is classified into three categories of “high”, “medium” and “low”, and “Yes” indicating that the degree of recognition is recognized and “No” indicating that the degree of recognition is not recognized.
  • the content is classified into two, and the notification content is set for each combination.
  • notification contents a method of notifying a notification sound is illustrated. Note that the notification content may be an alert to the driver, and a notification using a haptic or a light other than the notification sound may be used.
  • an extremely weak notification sound is output from the audio speaker, which is the output unit 106, regardless of the degree of recognition.
  • the degree of security is medium and the degree of recognition is "presence”
  • a modest notification sound is output from the audio speaker.
  • the security level is medium and the recognition level is “absent”, a slightly stronger notification sound is output from the audio speaker.
  • an extremely strong notification sound is output from the audio speaker regardless of the degree of recognition.
  • the output control unit 105 notifies the output unit 106 of the determined notification content (Step S22).
  • the output unit 106 notifies according to the contents of the notification.
  • the emergency avoidance unit 171 determines whether an emergency stop is necessary based on the overall safety acquired from the determination unit 155 (step S23). For example, the emergency avoidance unit 171 determines that an emergency stop is necessary when the acquired overall safety level is low, and determines that the acquired overall safety level is high or medium. , It is determined that the emergency stop is unnecessary.
  • step S23 If the emergency stop is not required (No in step S23), the process returns to step S11. If an emergency stop is required (Yes in step S23), the emergency avoidance unit 171 creates an instruction to stop the vehicle urgently, and passes the created instruction to the acceleration / deceleration control unit 172 or the like. .
  • the acceleration / deceleration control unit 172 performs a control process for performing an emergency stop on the drive system control unit 107 based on the instruction (step S24). As a result, the drive system control unit 107 instructs the drive system system 108 to perform an emergency stop, and the vehicle stops in an emergency. Thus, the process ends.
  • FIG. 8 is a diagram schematically illustrating an example of the direction of the driver's face.
  • the direction D of the face of the driver dr faces outside through the windshield.
  • the moving body 210 (representative moving body) detected by the outside-of-vehicle information detecting section 141 and the face direction D of the driver dr detected by the inside-of-vehicle information detecting section 142 are shown in FIG. Is mapped to such a situation recognition map.
  • the determination unit 155 determines the degree of recognition of the representative moving body by the driver, and determines the content of the notification according to a combination of the degree of safety of the representative moving body and the degree of recognition of the driver.
  • the sound intensity is changed according to the combination of the overall safety level and the driver's recognition level.
  • the output control unit 105 can also provide auxiliary notification such as displaying the representative moving object in the image acquired by the data acquisition unit 102 with a frame on the display unit in the vehicle. Becomes For example, when the representative moving object is selected, the output control unit 105 may output an image obtained by adding information indicating the position of the representative moving object to image data showing the representative moving object to a display device in the vehicle. Good.
  • FIG. 9 is a diagram illustrating an example of a notification method for a combination of the overall degree of safety and the degree of driver recognition according to the embodiment.
  • the content of notification to the display device is added to the content of notification by sound in FIG.
  • a case is shown in which a representative moving object exists in the forward direction of the vehicle.
  • image data 270 captured by a front camera is displayed, and a representative moving object is surrounded by a frame 271 in the image data 270 and displayed. Therefore, when the driver hears a sound indicating the content of the notification, the driver can check the position of the representative moving object with respect to the own vehicle by checking the image data 270 of the display device.
  • the output control unit 105 can change the color of the frame line 271 according to the degree of security. For example, in the case of high security, the color of the frame 271 is green, in the case of medium security, the color of the frame 271 is yellow, and in the case of low security, the color of the frame 271 is Can be red. Of course, this is an example and other colors can be used. Further, the type of the frame line 271 can be changed or the thickness of the frame line 271 can be changed according to the degree of safety. Further, the frame line 271 can be displayed blinking. Also, the information indicating the position of the representative moving object may be an arrow or the like instead of the frame line 271.
  • the notification sound output from the audio speaker has no direction, but the direction can be added.
  • the output control unit 105 performs a sound image localization process on the notification sound based on the position of the representative moving object acquired from the outside-of-vehicle information detection unit 141 such that the sound image is located closer to the position of the representative moving object.
  • the notification sound may be output from an audio speaker in the vehicle.
  • the position of the representative moving object existing outside the vehicle is detected, the direction of the driver's face in the vehicle is detected, and whether or not the representative moving object is present in the driver's face direction is determined.
  • the content of notification to the driver was selected. Accordingly, when the representative moving object does not exist in the driver's face direction, a notification such as a stronger notification sound is issued as compared to when the representative moving object exists in the driver's face direction.
  • a notification such as a stronger notification sound is issued as compared to when the representative moving object exists in the driver's face direction.
  • the position of the representative moving object detected by the out-of-vehicle information detecting unit 141 and the direction of the driver's face detected by the in-vehicle information detecting unit 142 are determined. It mapped to the situation recognition map which is the same spatial information. Thus, the position of the representative moving object having different coordinate axes and the direction of the driver's face can be indicated on the same coordinate axis.
  • the case where the representative moving object is present in a predetermined range around the direction of the driver's face is determined as the direction of the driver's face. It is assumed that there is a representative moving object. Thereby, the range in which the driver can recognize the object is set as the face direction. As a result, it can be determined whether or not the driver has recognized the representative moving object, based on whether or not the representative moving object exists within a predetermined range centered on the face direction.
  • the direction of the driver's face is detected by the TOF sensor. As a result, the direction of the driver's face can be monitored with high accuracy even at night or in darkness in a tunnel.
  • the content of the notification is determined not only when the representative moving object exists in the direction of the driver's face but also according to the safety level indicating the possibility of the representative moving object colliding with the own vehicle. You can change it. For example, according to a combination of the degree of safety and the presence / absence of the representative moving object in the direction of the driver's face, a notification content for causing the driver to recognize the representative moving object is selected and output. This means that in the case of medium safety, when there is no representative moving object in the driver's face direction, a stronger sound is produced compared to when there is a representative moving object in the driver's face direction. Notification is given.
  • the notification can be performed with the content of alerting.
  • a notification such as a sound that is weaker than that in the case where the representative moving object exists in the direction of the driver's face at the medium safety level is performed.
  • the driver can be alerted within a range that does not bother the driver, and can give the driver attention to the representative moving object even when the driver does not recognize the representative moving object.
  • a notification such as a sound that is stronger than that in the case where the representative moving object does not exist in the direction of the driver's face in the medium safety level is performed.
  • a strong notification is made.
  • the acceleration / deceleration control unit 172 performs a brake operation or a handle operation for avoiding an emergency. As a result, it is possible to avoid the collision of the representative moving body with the own vehicle and to reduce the impact of the collision.
  • the output control unit 105 stops outputting the notification content at a predetermined timing after the notification content is output.
  • the predetermined timing is, for example, when the direction of the driver's face matches the position of the representative moving object, when the driver detects a voice that recognizes the representative moving object, or when the driver operates the steering wheel or the brake. If done.
  • the notification is stopped.
  • the output control unit 105 outputs the notification sound in the sound image localization. Accordingly, the direction of the notification sound in the vehicle felt by the driver matches the direction of the representative moving object. As a result, the driver can recognize the position of the representative moving body in the direction by the sound. In addition, the driver can grasp the position of the representative moving object in a short time as compared with a case where the position of the representative moving object is searched for in the dark.
  • the moving object with the shortest TTC is set as the representative moving object.
  • a moving object that has a high possibility of collision at the earliest time at that time is targeted for recognition by the driver. Since a moving object that has a higher possibility of colliding than a moving object that has a lower possibility of colliding is set as a target to be recognized by the driver, safety for the driver can be improved.
  • FIG. 10 is a diagram illustrating an example of an arrangement position of the display device in the vehicle.
  • the electronic room mirror 222 is a display device that displays an image captured by an imaging device provided behind the vehicle, and is provided near the center of the upper portion of the windshield.
  • the electronic room mirror 222 has the same function as the room mirror.
  • Electronic rearview mirror 222 displays information on the rear of the vehicle.
  • the electronic side mirror 224 is a display device that displays images captured by the imaging devices 7912 and 7914 provided on the side surface outside the vehicle in FIG. 2A, for example, and has the same function as the side mirror.
  • the electronic side mirror 224 is provided, for example, near the front of the window of the front door.
  • the electronic side mirror 224 displays information on the rear side of the vehicle.
  • the display device 226 for the car navigation system displays, in addition to the map information, an image captured by the imaging device 7916 provided in the back door or the back bumper in FIG. Therefore, here, a description will be given of a modification of the information processing apparatus capable of determining whether or not the driver also recognizes the representative moving object moved to the display device that displays the outside of the vehicle.
  • the situation recognition unit 153 detects from the in-vehicle information detection unit 142 whether the face direction is outside or inside the vehicle.
  • the situation recognition unit 153 uses the detection result of the outside-of-vehicle information detection unit 141 as a situation recognition map, and performs driving on this situation recognition map.
  • the direction of the person's face is the display device in the vehicle, the situation recognition unit 153 uses the image data in the front of the car (hereinafter, referred to as a front image in the car) as the situation recognition map. As shown in FIG.
  • the in-vehicle front image may be an image in which an area including a windshield, an electronic room mirror 222, an electronic side mirror 224, and a display device 226 for a car navigation system is captured. May be image data captured in a state where is not shown.
  • the situation recognition unit 153 displays the image data outside the vehicle at that time at the position of each display device in the image inside the vehicle, and maps the direction of the driver's face.
  • the determining unit 155 determines whether or not the representative moving object in the display device is within the range of the recognition of the driver. Note that the other configuration is the same as that described in the embodiment, and a description thereof will not be repeated.
  • FIG. 11 is a flowchart illustrating an example of a procedure of mapping processing of a detected moving body and a driver's face direction according to a modification of the embodiment.
  • the situation recognition unit 153 determines whether the driver's face direction is in the vehicle based on the information from the in-vehicle information detection unit 142 (Ste S71). If the face direction is not inside the vehicle (No in step S71), the situation recognizing unit 153 uses the outside-of-vehicle information indicating the external position of the vehicle acquired by the data acquiring unit 102 as a situation recognizing map. Then, the direction of the driver's face is mapped to the information outside the vehicle (step S73), and the process returns to FIG.
  • the situation recognition unit 153 uses the in-vehicle front image as a situation recognition map (step S74).
  • the situation recognition unit 153 superimposes and displays the image data of the outside of the vehicle at that time on the position of each display device of the in-vehicle front image (step S75). If the in-vehicle front image at that time has been captured, the processing in step S75 is not necessary. Thereafter, the direction of the driver's face is mapped to the in-vehicle front image (step S76), and the process returns to FIG. Note that other processes are the same as those described in the embodiment, and a description thereof will not be repeated.
  • FIG. 12 is a diagram showing an example of the direction of the driver's face in a modification of the embodiment.
  • the image of the rear of the vehicle is displayed on the display device 226 of the car navigation system in the vehicle while the vehicle is moving backward.
  • the moving object 210 is displayed in the image of the display device 226.
  • the face direction D of the driver dr looks at the display device 226 in the vehicle.
  • the moving body 210 (representative moving body) detected by the outside-of-vehicle information detecting section 141 and the direction D of the driver's face detected by the inside-of-vehicle information detecting section 142 are shown in FIG. Is mapped to such a situation recognition map.
  • the determination unit 155 determines that the driver dr recognizes the moving body 210.
  • the notification content is determined by the determination unit 155 in accordance with a combination of the degree of safety of the moving object 210 and the degree of recognition of the driver dr with respect to the representative moving object 210.
  • the case where the direction of the driver's face is detected by the DMS provided in the vehicle has been described.
  • a gaze sensor that directly detects the gaze direction of the driver instead of the gaze direction of the driver may be used as the DMS.
  • the line-of-sight sensor By using the line-of-sight sensor, the driver's line-of-sight direction can be detected with higher accuracy. This makes it possible to easily distinguish the line of sight through the window from the line of sight of the display device in the vehicle. Further, the distinction between the line of sight through the window and the line of sight of the display device in the vehicle may be determined based on the focal length of the eyes.
  • the DMS for recognizing the driver's face can be recognized not only in the dashboard 5010 above the instrument panel 5020 in FIG. 2B but also when the driver looks sideways or looks back.
  • a plurality of DMSs may be provided in the vehicle so as to achieve the above. Thereby, for example, when the driver's face cannot be recognized by the DMS provided in the dashboard 5010, the recognition is performed by using another DMS, and the orientation of the driver's face imaged by the other DMS is determined. It may be mapped to a recognition map.
  • an image captured by a camera monitoring system such as a side camera provided on a side surface of a vehicle or a back camera provided behind the vehicle is displayed on a display device in the vehicle.
  • CMS Camera Monitoring System
  • the representative moving object exists in the image captured by the CMS, it is determined whether the driver's face orientation is a display device in the vehicle. Thereafter, the in-vehicle front image is used as a situation recognition map, and the image captured by the CMS at that time is inserted into the display device in the situation confirmation map.
  • the degree of recognition of the driver with respect to the representative moving object is determined based on whether or not the moving object in the image of the display device is present in the direction of the driver's face.
  • the display area of the representative moving object captured by the CMS is in the direction of the driver's face. Accordingly, when the display area of the representative moving object is not in the direction of the driver's face, it is determined that the driver has not recognized the representative moving object. As a result, even when the driver is looking at the display device in the vehicle, if the display area of the representative moving object does not exist in the face direction, the driver can be alerted.
  • the gaze can be detected by the gaze sensor as the direction of the driver's face.
  • the gaze sensor can be specified with higher precision whether the driver is looking outside through the windshield or looking at the display device in the vehicle.
  • the position of the driver's line of sight in the display device can be specified with high accuracy, and the content of the notification to the driver can be made closer to that in accordance with the driver's recognition.
  • the technology according to the present disclosure (the present technology) can be applied not only to automobiles but also to various other products.
  • the technology according to the present disclosure may be realized as a device mounted on any type of moving object such as an electric vehicle, a hybrid electric vehicle, a motorcycle, a bicycle, personal mobility, an airplane, a drone, a ship, and a robot. Good.
  • FIG. 13 is a hardware configuration diagram illustrating an example of a computer that implements the functions of the information processing apparatus according to the embodiment.
  • the information processing apparatus including the automatic driving control unit 112, the output control unit 105, the output unit 106, and the storage unit 111 according to the embodiment described above is realized by the computer 1000.
  • the computer 1000 has a CPU 1100, a RAM 1200, a ROM (Read Only Memory) 1300, a HDD (Hard Disk Drive) 1400, a communication interface 1500, and an input / output interface 1600.
  • Each unit of the computer 1000 is connected by a bus 1050.
  • the CPU 1100 operates based on a program stored in the ROM 1300 or the HDD 1400, and controls each unit. For example, the CPU 1100 loads a program stored in the ROM 1300 or the HDD 1400 into the RAM 1200, and executes processing corresponding to various programs.
  • the ROM 1300 stores a boot program such as a BIOS (Basic Input Output System) executed by the CPU 1100 when the computer 1000 starts up, a program dependent on the hardware of the computer 1000, and the like.
  • BIOS Basic Input Output System
  • the HDD 1400 is a computer-readable recording medium for non-temporarily recording a program executed by the CPU 1100 and data used by the program.
  • HDD 1400 is a recording medium that records an information processing program according to the present disclosure, which is an example of program data 1450.
  • the communication interface 1500 is an interface for the computer 1000 to connect to the external network 1550 (for example, the Internet).
  • the CPU 1100 receives data from another device via the communication interface 1500 or transmits data generated by the CPU 1100 to another device.
  • the input / output interface 1600 is an interface for connecting the input / output device 1650 and the computer 1000.
  • the CPU 1100 receives data from an input device such as a keyboard or a mouse via the input / output interface 1600.
  • the CPU 1100 transmits data to an output device such as a display, a speaker, or a printer via the input / output interface 1600.
  • the input / output interface 1600 may function as a media interface that reads a program or the like recorded on a predetermined recording medium (media).
  • the medium is, for example, an optical recording medium such as a DVD (Digital Versatile Disc), a PD (Phase changeable rewritable disk), a magneto-optical recording medium such as an MO (Magneto-Optical disk), a tape medium, a magnetic recording medium, or a semiconductor memory. It is.
  • an optical recording medium such as a DVD (Digital Versatile Disc), a PD (Phase changeable rewritable disk), a magneto-optical recording medium such as an MO (Magneto-Optical disk), a tape medium, a magnetic recording medium, or a semiconductor memory. It is.
  • the CPU 1100 of the computer 1000 executes the information processing program loaded on the RAM 1200, thereby detecting the detection unit 131, the situation analysis unit 133, and the operation control unit. 135 and the functions of the output control unit 105 and the like.
  • the HDD 1400 stores an information processing program according to the present disclosure. Note that the CPU 1100 reads and executes the program data 1450 from the HDD 1400. However, as another example, the CPU 1100 may acquire these programs from another device via the external network 1550.
  • the present technology can also have the following configurations.
  • An external information detection unit that detects an object existing outside the moving body based on data detected by the external detection unit, Based on data detected by the internal detection unit, an internal information detection unit that detects the direction of the driver's face inside the moving body, A determination unit that determines whether the position of the object detected by the external information detection unit and the direction of the driver's face detected by the internal information detection unit are in the same direction, An alert to the driver when the position of the object is not in the same direction as the direction of the driver's face is stronger than when the position of the object is in the same direction as the direction of the driver's face.
  • An output control unit for outputting, Information processing device having (2) A position recognition unit that maps the position of the object detected by the external information detection unit and the direction of the driver's face detected by the internal information detection unit to the same spatial information, The information processing device according to (1), wherein the determination unit determines whether the position of the object and the direction of the driver's face are in the same direction using the mapped spatial information. (3) The determining unit determines that the position of the object and the direction of the driver's face are the same direction when the position of the object is within a predetermined range around the direction of the driver's face. The information processing device according to (2).
  • a display unit that displays image data captured by the external detection unit provided on a side surface or a rear part of the moving object, The information processing apparatus according to (1), wherein the determination unit determines using the direction of the driver's face on the display unit. (5) The information processing device according to (4), wherein the determination unit determines whether the position of the object in the image data displayed on the display unit is the same as the direction of the driver's face. (6) The internal information detection unit detects the driver's line of sight as the direction of the driver's face, The information processing device according to (5), wherein the determination unit determines the distinction between the line of sight through the window and the line of sight to the display unit based on the position of the line of sight of the driver.
  • the information processing device according to any one of (1) to (6), wherein the internal detection unit is a TOF sensor.
  • a situation prediction unit that predicts a collision prediction time of the object to the moving body from the movement of the moving body and the movement of the object, and classifies the object according to a safety level determined by the length of the collision prediction time.
  • the output control unit when the medium safety degree, the size of the alert when the position of the object is not the same direction as the direction of the face of the driver, the position of the object is the direction of the face of the driver.
  • the information processing apparatus according to any one of (1) to (7), wherein the size of the alert is larger than the size of the alert when the direction is the same.
  • the output control unit is configured to determine whether or not the position of the object is in the same direction as the direction of the driver's face when the safety is low, and when the object is in the medium security, The information processing apparatus according to (8), wherein the alert is larger than the alert when the position is not in the same direction as the direction of the driver's face.
  • the information processing device according to any one of (1) to (9), wherein the output control unit stops outputting the alert at a predetermined timing after outputting the alert.
  • the predetermined timing is that the driver's face is oriented in the direction of the object, that the driver has issued a voice indicating that the driver has recognized the object, or that the driver operates the steering wheel or the brake.
  • the information processing apparatus wherein the determination that the determination has been made is the timing at which the determination unit made the determination.
  • the output control unit outputs a notification sound as the alert, and performs a sound image localization process on the notification sound so that a sound image is located toward the position of the object with respect to the driver (1) to (11).
  • An information processing device according to any one of the above.
  • the determination unit when a plurality of the objects are detected by the external information detection unit, for the object having the shortest time to collide with the moving object, the position of the object and the direction of the driver's face The information processing apparatus according to any one of (1) to (12), wherein it is determined whether or not are in the same direction.
  • An external detection unit that detects an object existing outside the moving body, An internal detection unit that detects a driver inside the moving body, An external information detection unit that detects the object based on data detected by the external detection unit, Based on data detected by the internal detection unit, an internal information detection unit that detects the direction of the driver's face, A determination unit that determines whether the position of the object detected by the external information detection unit and the direction of the driver's face detected by the internal information detection unit are in the same direction, and the position of the object is An alert to the driver when not in the same direction as the direction of the driver's face, as compared to the case where the position of the object is in the same direction as the direction of the driver's face, an output control unit that strengthens the alert.
  • a moving object having (15) Based on the data detected by the external detection unit, detects an object existing outside the moving body, Based on the data detected by the internal detection unit, detects the direction of the driver's face inside the moving body, Determine whether the position of the object and the orientation of the driver's face are in the same direction, An alert to the driver when the position of the object is not in the same direction as the direction of the driver's face is stronger than when the position of the object is in the same direction as the direction of the driver's face.
  • REFERENCE SIGNS LIST 100 vehicle control system 101 input unit 102 data acquisition unit 105 output control unit 106 output unit 107 drive system control unit 108 drive system 109 body system control unit 110 body system system 111 storage unit 112 automatic operation control unit 121 communication network 131 detection unit 133 Situation analysis unit 134 Planning unit 135 Operation control unit 141 Out-of-vehicle information detection unit 142 In-vehicle information detection unit 143 Vehicle state detection unit 153 Situation recognition unit 154 Situation prediction unit 155 Judgment unit 171 Emergency avoidance unit 172 Acceleration / deceleration control unit 173 Direction control Unit 210 representative moving body 222 electronic room mirror 224 electronic side mirror 226 display device 5010 dashboard 5020 instrument panel 5030 DMS

Abstract

情報処理装置は、外部検知部によって検知されたデータに基づいて、移動体の外部に存在する物体を検出する外部情報検出部（１４１）と、内部検知部によって検知されたデータに基づいて、前記移動体の内部の運転者の顔の向きを検出する内部情報検出部（１４２）と、前記外部情報検出部（１４１）で検出された前記物体の位置と、前記内部情報検出部（１４２）で検出された前記運転者の顔の向きと、が同一方向であるかを判定する判定部（１５５）と、前記物体の位置が前記運転者の顔の向きと同一方向でない場合の前記運転者へのアラートを、前記物体の位置が前記運転者の顔の向きと同一方向である場合に比して、強く出力させる出力制御部（１０５）と、を有する。

Description

情報処理装置、移動体、情報処理方法及びプログラム
　本開示は、情報処理装置、移動体、情報処理方法及びプログラムに関する。
　運転中の運転者の覚醒度を判定し、覚醒度が低い場合に、車両の周辺の障害物と車両との衝突の可能性を示す危険度に応じて、スピーカから発する警報の音量を変更する技術が知られている。
特開２００９－１１６６９３号公報
　しかしながら、上記の従来技術では、運転者の覚醒度が高い場合には、処理がなされない。そのため、運転者の覚醒度が高い状態で、車両に衝突する可能性のある物体を運転者が認識していない場合には、警報が通知されず、その物体に対する運転者の認識が遅れてしまうという問題点がある。
　そこで、本開示では、車両の周辺に存在する物体に対する運転者の認識度に応じて、運転者への通知内容を変更することができる情報処理装置、移動体、情報処理方法及びプログラムを提案する。
　本開示によれば、情報処理装置は、外部検知部によって検知されたデータに基づいて、移動体の外部に存在する物体を検出する外部情報検出部と、内部検知部によって検知されたデータに基づいて、前記移動体の内部の運転者の顔の向きを検出する内部情報検出部と、前記外部情報検出部で検出された前記物体の位置と、前記内部情報検出部で検出された前記運転者の顔の向きと、が同一方向であるかを判定する判定部と、前記物体の位置が前記運転者の顔の向きと同一方向でない場合の前記運転者へのアラートを、前記物体の位置が前記運転者の顔の向きと同一方向である場合に比して、強く出力させる出力制御部と、を有する。
　本開示によれば、車両の周辺に存在する物体に対する運転者の認識度に応じて、運転者への通知内容を変更することができる。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な機能の構成例を示すブロック図である。 車外情報を取得するデータ取得部の配置位置の一例を示す図である。 車内情報を取得するデータ取得部の配置位置の一例を示す図である。 運転者の顔の向きと認識の範囲の一例を示す図である。 本開示の実施形態による情報処理方法の処理の一例を示すフローチャートである。 運転者の顔の向きの検出処理の手順の一例を示すフローチャートである。 実施形態による情報処理方法での状況認識用マップの一例を示す図である。 実施形態による全体安全度と運転者の認識度との組み合わせに対する通知内容との一例を示す図である。 運転者の顔の向きの一例を模式的に示す図である。 実施形態による全体安全度と運転者の認識度との組み合わせに対する通知方法の一例を示す図である。 車両内の表示装置の配置位置の一例を示す図である。 実施形態の変形例による検出した動体と運転者の顔の向きのマッピング処理の手順の一例を示すフローチャートである。 実施形態の変形例での運転者の顔の向きの一例を示す図である。 実施形態による情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。なお、以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
（実施形態）
［実施形態に係るシステムの構成］
　図１は、本技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な機能の構成例を示すブロック図である。
　なお、以下、車両制御システム１００が設けられている車両を他の車両と区別する場合、自車又は自車両と称する。
　車両制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、及び自動運転制御部１１２を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、及び自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＬＡＮ（Local　Area　Network）、又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワーク又はバス等からなる。なお、車両制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。
　なお、以下、車両制御システム１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２とが通信を行うと記載する。また、自動運転制御部１１２、出力制御部１０５、出力部１０６及び記憶部１１１が情報処理装置に相当する。
　入力部１０１は、搭乗者が各種のデータ又は指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及びレバー等の操作デバイス、並びに、音声又はジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータ又は指示等に基づいて入力信号を生成し、車両制御システム１００の各部に供給する。
　データ取得部１０２は、車両制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム１００の各部に供給する。
　例えば、データ取得部１０２は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（inertial　measurement　unit：ＩＭＵ）、及びアクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
　また、例えば、データ取得部１０２は、自車の外部の情報を検出するための各種のセンサである外部検知部を備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Time　Of　Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及びその他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、ＬｉＤＡＲ（Light　Detection　and　Ranging、Laser　Imaging　Detection　and　Ranging）、ソナー等からなる。
　さらに、例えば、データ取得部１０２は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。
　また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサである内部検知部を備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置（Driver　Monitering　System：以下、ＤＭＳという）、運転者の生体情報を検出する生体センサ、及び車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。ＤＭＳとして、カメラ又はＴｏＦカメラなどを用いることができる。特に、トンネル内又は夜間の暗闇でも高精度に運転者をモニタリングすることができるＴｏＦカメラを用いることが望ましい。また、ＤＭＳは、運転者の視線を検知する視線センサであってもよい。視線センサとして、例えば、赤外線を運転者の目に照射し、反射光の角膜上の位置と瞳孔の位置とに基づいて視線を検出するものなどを用いることができる。
　図２Ａは、車外情報を取得するデータ取得部の配置位置の一例を示す図であり、図２Ｂは、車内情報を取得するデータ取得部の配置位置の一例を示す図である。図２Ａに示されるように、車外を撮像する撮像装置７９１０，７９１２，７９１４，７９１６は、それぞれ自車の車両７９００のフロントノーズ、サイドミラー、リアバンパに設けられる。フロントノーズに備えられる撮像装置７９１０は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像装置７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパに備えられる撮像装置７９１６は、主として車両７９００の後方の画像を取得する。フロントノーズの撮像装置７９１０は、フロントガラスの上部に設けられてもよい。リアバンパの撮像装置７９１６は、バックドアに設けられてもよい。
　また、図２Ａには、それぞれの撮像装置７９１０，７９１２，７９１４，７９１６の撮像範囲ａ～ｄの一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像装置７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像装置７９１２，７９１４の撮像範囲を示す。また、撮像範囲ｄは、リアバンパに設けられた撮像装置７９１６の撮像範囲を示す。
　なお、図２Ａでは、撮像装置７９１０，７９１２，７９１４，７９１６の配置位置の例を示したが、撮像装置以外の車外情報検出装置７９２０，７９２２，７９２４，７９２６，７９２８，７９３０であってもよい。例えば、車両７９００のフロント、リア、サイド、コーナー及び車内のフロントガラスの上部に、車外情報検出装置７９２０，７９２２，７９２４，７９２６，７９２８，７９３０である超音波センサ又はレーダ装置を配置してもよい。さらに、車両７９００のフロントノーズ、リアバンパ、バックドア又は車室内のフロントガラスの上部に、車外情報検出装置７９２０，７９２６，７９３０であるＬｉＤＡＲ装置を設けてもよい。
　図２Ｂに示されるように、ＤＭＳ５０３０は、インストルメントパネル５０２０の上部のダッシュボード５０１０に設けられ、運転席に着座する運転者の顔を含む上半身を撮像する。
　図１に戻り、通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム１００の各部から供給されるデータを送信したり、受信したデータを車両制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である。
　例えば、通信部１０３は、無線ＬＡＮ、Bluetooth（登録商標）、ＮＦＣ（Near　Field　Communication）、又は、ＷＵＳＢ（Wireless　USB）等により、車内機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal　Serial　Bus）、ＨＤＭＩ（登録商標）（High-Definition　Multimedia　Interface）、又は、ＭＨＬ（Mobile　High-definition　Link）等により、車内機器１０４と有線通信を行う。
　さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Peer　To　Peer）技術を用いて、自車の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又はＭＴＣ（Machine　Type　Communication）端末）との通信を行う。さらに、例えば、通信部１０３は、車車間（Vehicle　to　Vehicle）通信、路車間（Vehicle　to　Infrastructure）通信、自車と家との間（Vehicle　to　Home）の通信、及び、歩車間（Vehicle　to　Pedestrian）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
　車内機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
　出力制御部１０５は、運転者に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。
　また、例えば、出力制御部１０５は、運転者の物体に対する認識度に応じて、衝突に対するアラートである警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。このとき、出力制御部１０５は、データ取得部１０２の撮像装置により撮像された外部の画像に、運転者の認識度に応じた衝突に対するアラートである警告表示等を重ね合せた画像データを生成し、生成した画像データを含む出力信号を出力部１０６に供給してもよい。物体には、移動している物体（動体）と、静止している物体と、が含まれる。
　出力制御部１０５は、物体の認識度だけではなく、自車に対する周囲の物体の安全度と運転者の物体に対する認識度との組み合わせに応じて音声データを生成してもよい。このとき、出力制御部１０５は、外部の画像に、物体の安全度と運転者の認識度との組み合わせに応じた画像データを生成してもよい。
　出力部１０６は、自車の搭乗者に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented　Reality）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
　駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。
　駆動系システム１０８は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Antilock　Brake　System）、ＥＳＣ（Electronic　Stability　Control）、並びに、電動パワーステアリング装置等を備える。
　ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号を供給し、ボディ系システム１１０の制御状態の通知等を行う。
　ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカ、フォグランプ等）等を備える。
　記憶部１１１は、例えば、ＲＯＭ（Read　Only　Memory）、ＲＡＭ（Random　Access　Memory）、ＨＤＤ（Hard　Disc　Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１１１は、車両制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。
　自動運転制御部１１２は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１２は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むＡＤＡＳ（Advanced　Driver　Assistance　System）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。
　検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、外部情報検出部である車外情報検出部１４１、内部情報検出部である車内情報検出部１４２、及び、車両状態検出部１４３を備える。
　車外情報検出部１４１は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部１４１は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。
　車内情報検出部１４２は、車両制御システム１００の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認識処理、及び運転者の状態の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、顔の向き等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
　車内情報検出部１４２による顔の向きの検出は、データ取得部１０２のＤＭＳによる撮像データから、機械学習を用いて運転者の顔を認識することによって行われる。なお、以下では、運転者の顔の向きを検出する場合を説明するが、通常、視線方向と顔の向きとが一致する場合が多いので、運転者の顔の向きには、視線方向が含まれるものとする。また、顔の向きを検出する場合には、ＤＭＳとして、カメラが用いられるが、視線方向を検出する場合には、ＤＭＳとして、視線センサが用いられる。
　車両状態検出部１４３は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
　自己位置推定部１３２は、車外情報検出部１４１、及び、状況分析部１３３の状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Simultaneous　Localization　and　Mapping）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。
　状況分析部１３３は、自車及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、及び、判定部１５５を備える。
　マップ解析部１５１は、自己位置推定部１３２及び車外情報検出部１４１等の車両制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
　交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。
　状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部１５３は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。
　また、状況認識部１５３は、自車の周囲の状況及び運転者の顔の向きの認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Occupancy　Grid　Map）であってもよいし、ＳＬＡＭ等の技術を用いた高精度なマップであってもよい。状況認識用マップは、例えば、データ取得部１０２で取得された自車の外部の情報を示す座標系と、データ取得部１０２で取得された運転者の顔の向きを示す座標系とを合わせるための空間情報である。状況認識用マップは、例えば、自車の後輪軸の中心を原点とした座標系で表される。この状況認識用マップに、データ取得部１０２で検出された自車に対して相対速度を有する物体（以下、動体と称する）と、運転者の顔の向きと、がマッピングされる。
　認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、並びに周囲の動体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、顔の向き、視線の動き、並びに、運転操作等が含まれる。
　状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２、状況予測部１５４、及び判定部１５５等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に記憶させる。
　状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２及び状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部１５４は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。
　予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
　状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２及び状況認識部１５３からのデータとともに、判定部１５５、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
　例えば、本実施形態では、状況予測部１５４は、状況認識部１５３で認識されたそれぞれの動体について安全度を算出し、自車に対する全体的な安全度（以下、全体安全度という）を判定する。安全度は、例えば自車が動体に衝突するまでの時間（Time　To　Collision：以下、ＴＴＣと称する）を算出し、ＴＴＣの範囲によって分類することができる。以下では、安全度として、例えば、低安全度、中安全度及び高安全度の３段階に分類する場合を例に挙げる。低安全度は、判定時を基準として、判定対象の動体が第１期間内に自車と衝突する可能性がある場合であり、緊急に停止又はハンドル操作などをしないと自車が動体と衝突してしまう状況の場合である。中安全度は、判定時を基準として、判定対象の動体が第２期間内に自車と衝突する可能性がある場合であり、第１期間ほど緊急ではないが、動体との衝突を避けるために何らかの処理をしないといけないような状況の場合である。高安全度は、判定対象の動体が第３期間内に自車と衝突する可能性があると判定された場合、あるいは動体が自車と衝突する可能性がないと判定された場合である。衝突する可能性がない場合には、ＴＴＣは例えば無限大であるとされる。例えば、第１期間は、ＴＴＣが０秒以上０．７秒以下の期間に設定され、第２期間は、ＴＴＣが０．７秒より大きく１．４秒以下の期間に設定され、第３期間は、ＴＴＣが１．７秒より大きい期間に設定される。なお、これは一例であり、第１期間～第３期間を他の範囲とすることもできる。
　安全度の算出に当たり、状況予測部１５４は、車外情報検出部１４１で検出された動体についての移動方向及び速さと、車両状態検出部１４３で検出される自車の移動方向、速さ及び加速度と、から自車と動体との動きを予測する。その結果、状況予測部１５４は、第１期間内に自車と衝突すると予測された動体を低安全度とし、第２期間内に自車と衝突すると予測された動体を中安全度とし、自車とは衝突しないあるいは第３期間内に自車と衝突すると予測された動体を高安全度とする。
　そして、状況予測部１５４は、検知されたすべての動体について安全度を算出した後、自車に対する動体の全体安全度を判定する。具体的には、状況予測部１５４は、複数の動体のうち、最も安全度の低いものを全体安全度とする。例えば、状況予測部１５４は、複数の動体のうち最もＴＴＣが短いものを代表動体として選択し、この代表動体の安全度を全体安全度とする。状況予測部１５４は、代表動体についての情報と全体的な危険度を判定部１５５及び出力制御部１０５に出力する。
　判定部１５５は、車内情報検出部１４２で検出された運転者の顔の向きに対する代表動体の存在位置にしたがって、運転者が代表動体を認識しているかを判定する。判定部１５５は、状況認識用マップ上で、運転者による代表動体の認識の有無を判定する。例えば、判定部１５５は、代表動体の位置が顔の向きと同一方向にあるかを判定し、代表動体の位置が顔の向きと同一方向にある場合に、運転者が動体を認識していると判定し、同一方向にない場合に、運転者が動体を認識していないと判定する。なお、この明細書では、代表動体の位置が顔の向きと同一方向にあるとは、顔の向きを中心にした所定の範囲に代表動体が存在することをいうものとする。
　図３は、運転者の顔の向きと認識の範囲の一例を示す図である。図３に示されるように、一般的に、人間は、顔の向きＤを中心として±３５度の範囲、すなわち全体で７０度の範囲に存在する動体について、色彩まで確認することができると言われている。そのため、本実施形態では、運転者の顔の向きＤを中心とした±３５度、全体で７０度の範囲を認識範囲Ｒrとし、認識範囲Ｒrに動体が存在する場合に、運転者は動体を認識しているものとする。そのため、一つの例としては、判定部１５５は、状況認識用マップ上で、顔の向きＤを中心にして、代表動体が±３５度の範囲の認識範囲Ｒrに存在するか否かによって、運転者による代表動体の認識の有無（以下、認識度ともいう）を判定することができる。
　判定部１５５は、運転者による代表動体の認識度を緊急事態回避部１７１及び出力制御部１０５に出力する。出力制御部１０５では、全体安全度と運転者による代表動体の認識度との組み合わせに応じた出力情報を出力部１０６に出力する。
　例えば、出力制御部１０５は、出力部１０６であるオーディオスピーカに、代表動体についての通知内容を含む音声データを出力させる。さらに、出力制御部１０５は、出力部１０６である表示装置に、代表動体を強調表示した自車の周囲の画像データを表示させてもよい。
　また、判定部１５５は、出力部１０６から通知内容が出力された後、所定のタイミングで通知内容の出力を停止する指示を出力制御部１０５に出力する。出力制御部１０５は、所定のタイミングで通知内容の出力を停止する指示を受領すると、出力部１０６への通知内容の出力を停止する。例えば車内情報検出部１４２によって検出された運転者の顔の向きが代表動体の方向に向いた場合を、所定のタイミングとすることができる。あるいは、データ取得部１０２によって運転者が代表動体を認識したことを示す音声を検出した場合を、所定のタイミングとすることができる。さらには、車両状態検出部１４３によって運転者によるハンドル操作又はブレーキ操作を検知した場合に、所定のタイミングとすることもできる。このように、所定のタイミングで通知内容を停止することで、運転者による通知の煩わしさを低減することができる。
　計画部１３４は、自車及び周囲の状況の分析結果に基づいて、自車の移動に関する計画を作成する。計画部１３４は、ルート計画部１６１、行動計画部１６２、及び、動作計画部１６３を備える。
　ルート計画部１６１は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。
　行動計画部１６２は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した自車の行動を示すデータを動作計画部１６３等に供給する。
　動作計画部１６３は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、走行軌道等の計画を行う。動作計画部１６３は、計画した自車の動作を示すデータを、動作制御部１３５の加減速制御部１７２及び方向制御部１７３等に供給する。
　動作制御部１３５は、自車の動作の制御を行う。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、及び、方向制御部１７３を備える。
　緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３の検出結果に基づいて、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。また、緊急事態回避部１７１は、判定部１５５による判定結果に基づいて、衝突、接触等の緊急事態の検出処理を行う。具体的には、緊急事態回避部１７１は、状況認識部１５３から低安全度の情報を取得した場合に、動体の自車への衝突についての緊急事態を検出する。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部１７１は、計画した自車の動作を示すデータを加減速制御部１７２及び方向制御部１７３等に供給する。
　加減速制御部１７２は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
　方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
［実施形態に係る情報処理手順］
　つぎに、このような車両制御システム１００での情報処理方法について説明する。図４は、本開示の実施形態による情報処理方法の処理の一例を示すフローチャートである。まず、自車が運転可能な状態になると、車外情報検出部１４１は、データ取得部１０２から自車の外部の車外情報を取得する（ステップＳ１１）。車外情報を検出するデータ取得部１０２は、例えば撮像装置又は周囲情報検出センサである。また、運転可能な状態は、例えばエンジンがかけられた状態又は電源がオンにされた状態である。
　車外情報検出部１４１は、車外情報を用いて、自車に対して相対速度を有する物体である動体の検出処理を行い（ステップＳ１２）、検出処理の結果、動体が存在するか否かを判定する（ステップＳ１３）。車外情報検出部１４１は、たとえば異なる時間に撮像した撮像データを用いて、動体が存在するかを判定する。動体が存在しない場合（ステップＳ１３でＮｏの場合）には、ステップＳ１１へと処理が戻る。
　動体が存在する場合（ステップＳ１３でＹｅｓの場合）には、状況認識部１５３は、データ取得部１０２から取得した車外情報を用いて、検出した動体の動きを予測する（ステップＳ１４）。動体の動きとして、現在（検出時）の自車に対する位置、速さ及び移動方向などが例示される。
　その後、車内情報検出部１４２は、データ取得部１０２であるＤＭＳから車内情報を取得する（ステップＳ１５）。ＤＭＳは、例えば運転者の顔を含む領域を撮像するカメラであり、車内情報は、車両を運転する運転者の撮像データである。ついで、車内情報検出部１４２は、車内情報を用いて、運転者の顔の向きの検出処理を行う（ステップＳ１６）。
　図５は、運転者の顔の向きの検出処理の手順の一例を示すフローチャートである。車内のＤＭＳによって車内が撮像される。ＤＭＳは、運転者の顔を含む領域を撮像することができる位置に配置される。車内情報検出部１４２は、ＤＭＳで撮像されたフレームで顔を検出したかを判定する（ステップＳ５１）。フレームで顔を検出しない場合（ステップＳ５１でＮｏの場合）には、顔を検出するまで待ち状態となる。
　フレームで顔を検出した場合（ステップＳ５１でＹｅｓの場合）には、車内情報検出部１４２は、仮トラッキングできたかを判定する（ステップＳ５２）。仮トラッキングは、顔を検出したフレーム以降にＤＭＳから送られてくるフレームでの顔の検出を行うものである。仮トラッキングできていない場合（ステップＳ５２でＮｏの場合）には、すなわち仮トラッキング中のフレームで顔を見失った場合には、再探索を行う（ステップＳ５７）。そして、ステップＳ５１へと戻る。
　一方、仮トラッキングできた場合（ステップＳ５２でＹｅｓの場合）には、車内情報検出部１４２は、その後に取得したフレームを用いて顔検出を行う（ステップＳ５３）。また、車内情報検出部１４２は、取得したフレームで運転者の顔のトラッキングを行う（ステップＳ５４）。トラッキングでは、検出した運転者の顔の構成部材の配置関係などの情報を用いて、ＤＭＳに対する運転者の顔の向きが変化した場合でも、運転者の顔を特定する。
　さらに、車内情報検出部１４２は、特定した運転者の顔の情報を用いて、運転者の顔の向きを算出する（ステップＳ５５）。トラッキングの場合と同様に、車内情報検出部１４２は、運転者が運転席に座って真正面を見た状態を基準として、フレーム中の検出した運転者の顔の構成部材の配置関係から顔の向きを特定する。例えば、顔は、上下方向に延在する軸、左右方向に延在する軸及び前後方向に延在する軸を中心にして回転することができるので、それぞれの軸の周りの回転角度を用いて、顔の向きを特定することができる。
　その後、車内情報検出部１４２は、トラッキング中に運転者の顔の検出ができなくなったかを判定する（ステップＳ５６）。顔の検出ができている場合（ステップＳ５６でＹｅｓの場合）には、処理が図４に戻る。顔の検出ができなかった場合（ステップＳ５６でＮｏの場合）には、ステップＳ５７へと処理が移り、再探索が行われる。以上の処理が、データ取得部１０２で運転者の画像データが撮像されている間に行われる。
　再び、図４に戻り、状況認識部１５３は、ステップＳ１３で検出した動体とステップＳ１６で検出した運転者の顔の向きのマッピング処理を行う（ステップＳ１７）。このマッピング処理では、例えば、自車の予め定められた位置を基準にした空間情報である状況認識用マップに、動体と、運転者の顔の向きと、がマッピングされる。予め定められた位置は、例えば、自車の車両の後輪軸の中心である。なお、動体を検出した座標系と、運転者の顔の向きを検出した座標系と、は異なるものであり、状況認識部１５３は、異なる２つの座標系で取得したデータを、１つの座標系にマッピングするものである。図６は、実施形態による情報処理方法での状況認識用マップの一例を示す図である。この図に示されるように、例えば、車の後輪軸の中心Ｏを基準とした座標系を有する状況認識用マップに、動体２１０の位置と、運転者ｄｒの顔の向きＤと、がマッピングされる。
　ついで、状況予測部１５４は、状況認識用マップにマッピングされたすべての動体について、安全度を算出する（ステップＳ１８）。ここでは、状況予測部１５４は、ステップＳ１４で予測した動体の動きと、車両状態検出部１４３で得られる情報から予測した自車の動きと、を用いて、自車が動体と衝突する度合いを示す安全度を算出する。複数の動体が存在する場合には、それぞれの動体について安全度を算出する。例えば、状況予測部１５４は、１つの動体について演算を行う時点における動体の位置、速さ、及び移動方向に基づいて、動体の動きを予測する。また、状況予測部１５４は、車両状態検出部１４３から自車の速度、加速度及び移動方向に基づいて、自車の動きを予測する。そして、状況予測部１５４は、自車が動体と衝突するか否かを判定し、自車が動体と衝突すると予測した場合には、ＴＴＣを算出し、ＴＴＣの属する範囲によって、高安全度、中安全度又は低安全度に分類する。例えば、状況予測部１５４は、自車が動体と衝突しないと予測した場合、あるいはＴＴＣが第３期間にある場合には、高安全度に分類する。状況予測部１５４は、ＴＴＣが第２期間にある場合には、中安全度に分類し、ＴＴＣが第１期間にある場合には、低安全度に分類する。
　すべての動体についての安全度が算出された後、状況予測部１５４は、全体安全度を算出する（ステップＳ１９）。具体的には、状況予測部１５４は、算出した安全度のうち、最もＴＴＣの短い動体を代表動体として選択し、この代表動体の安全度を全体安全度とする。ＴＴＣは、上記したように衝突までに要する時間である。そのため、最もＴＴＣが短いものを選択することは、最初に衝突する可能性のある動体を選択することであり、運転者にとって最も注意を払わなければならない対象となる。つまり、最もＴＴＣが短いものを選択することは、直近に生じうる衝突の可能性のある動体を１つ絞って、運転者の注意の喚起を容易にする。状況予測部１５４は、算出した全体安全度及び代表動体の安全度を出力制御部１０５及び判定部１５５に渡す。
　その後、判定部１５５は、代表動体の安全度と運転者の顔の向きとがマッピングされた状況認識用マップを用いて、代表動体の位置が運転者の顔の向きと一致するかによって、運転者の代表動体に対する認識度を判定する（ステップＳ２０）。具体的には、判定部１５５は、状況認識用マップ中で、運転者の認識範囲Ｒr内に代表動体が存在するかを判定する。図３に示したように、運転者の認識範囲Ｒrは、例えば運転者の顔の向きＤを中心にして±３５度の範囲である。代表動体が認識範囲に存在する場合には、判定部１５５は、運転者は代表動体を認識しているものとする。また、代表動体が認識範囲に存在しない場合には、判定部１５５は、運転者が代表動体を認識していないものとする。判定部１５５は、運転者の認識度を出力制御部１０５及び緊急事態回避部１７１に渡す。
　ついで、出力制御部１０５は、全体安全度と運転者の認識度との組み合わせに基づいて、出力部１０６への通知内容を決定する（ステップＳ２１）。図７は、実施形態による全体安全度と運転者の認識度との組み合わせに対する通知内容との一例を示す図である。この図では、安全度を「高」、「中」および「低」の３つに分類し、認識度を認識していることを示す「有」および認識していないことを示す「無」の２つに分類して、それぞれの組み合わせに対して、通知内容を設定している。通知内容として、通知音の通知の仕方を例示ししている。なお、通知内容は、運転者に対するアラートであればよく、通知音以外にもハプティクスまたはライトなどでの通知を用いてもよい。
　高安全度の場合には、認識度に関わらず極めて弱い通知音を出力部１０６であるオーディオスピーカから出力する。また、中安全度であり、認識度が「有」である場合には、控えめの通知音をオーディオスピーカから出力する。中安全度であり、認識度が「無」である場合には、少し強めの通知音をオーディオスピーカから出力する。低安全度の場合には、認識度に関わらず極めて強い通知音をオーディオスピーカから出力する。
　低安全度の場合には、認識度に関わらず極めて強い通知音を出力するようすることで、衝突の可能性が身近に迫っている場合には、運転者に対する警報的な通知を行うことができる。なお、通知音に関して、「きわめて弱い」、「控えめ」、「少し強め」および「強い」はこの順に音が強くなるものであり、この関係を満たす範囲において、音の強さを任意に設定することができる。
　このように、全体安全度と運転者の認識度との組み合わせに応じて通知音を変えることで、運転者に対して、必要以上の注意の喚起、又は注意すべき動体の見逃しなどが抑えられる。その結果、高安全度の場合又は中安全度で運転者が動体を認識している場合には、運転者に与える煩わしさを抑制しながら、運転者に注意を喚起することができる。また、中安全度で運転者が動体を認識していない場合又は低安全度の場合には、運転者に対して強い注意の喚起を促すことができる。
　出力制御部１０５は、決定した通知内容を出力部１０６に通知する（ステップＳ２２）。出力部１０６では、通知内容にしたがって通知する。
　また、緊急事態回避部１７１は、判定部１５５から取得した全体安全度から緊急停止が必要かを判定する（ステップＳ２３）。例えば、緊急事態回避部１７１は、取得した全体安全度が低安全度である場合には、緊急停止が必要であると判定し、取得した全体安全度が高安全度又は中安全度である場合には、緊急停止が不要であると判定する。
　緊急停止が必要でない場合（ステップＳ２３でＮｏの場合）には、処理がステップＳ１１へと戻る。また、緊急停止が必要である場合（ステップＳ２３でＹｅｓの場合）には、緊急事態回避部１７１は、自車を緊急停止させる指示を作成し、作成した指示を加減速制御部１７２などに渡す。加減速制御部１７２は、指示に基づいて駆動系制御部１０７に対して緊急停止を行うための制御処理を行う（ステップＳ２４）。これによって、駆動系制御部１０７は、駆動系システム１０８に対して緊急停止を指示し、自車が緊急停車する。以上によって、処理が終了する。
　図８は、運転者の顔の向きの一例を模式的に示す図である。この図に示されるように、運転者ｄｒの顔の向きＤは、フロントガラス越しに外部を向いている。この場合、車外情報検出部１４１で検出された動体２１０（代表動体）と、車内情報検出部１４２で検出された運転者ｄｒの顔の向きＤと、が、状況認識部１５３によって図６に示されるような状況認識用マップにマッピングされる。そして、判定部１５５によって、運転者の代表動体に対する認識度が判定され、代表動体の安全度と、運転者の認識度と、の組み合わせに応じて、通知内容が決定される。
　運転者がフロントガラス越し又はサイドガラス越しに外部を見ている場合には、動体の存在を音によって通知する方法が挙げられる。この場合には、図７に示したように、全体安全度と運転者の認識度との組み合わせによって、音の強さが変更されることになる。
　また、このとき、出力制御部１０５は、通知音に加えて、車内の表示部にデータ取得部１０２で取得した画像中の代表動体を枠線で囲んで表示するなどの補助的な通知も可能となる。例えば、出力制御部１０５は、代表動体が選択された場合には、代表動体が映った画像データに、代表動体の位置を示す情報を付加した画像を車内の表示装置に出力するようにしてもよい。
　図９は、実施形態による全体安全度と運転者の認識度との組み合わせに対する通知方法の一例を示す図である。ここでは、図７の音による通知内容に表示装置への通知内容を加えたものである。また、ここでは、車両の前方方向に代表動体が存在する場合を示している。表示装置には、前方のカメラで撮像した画像データ２７０が映し出され、画像データ２７０の中で代表動体が枠線２７１で囲まれて表示される。そのため、運転者は、通知内容を示す音が聞こえた場合に、表示装置の画像データ２７０を確認することで、代表動体の自車に対する位置を確認することが可能になる。
　出力制御部１０５は、安全度に応じて枠線２７１の色を変えることができる。例えば、高安全度の場合には、枠線２７１の色を緑色とし、中安全度の場合には、枠線２７１の色を黄色とし、低安全度の場合には、枠線２７１の色を赤色とすることができる。もちろん、これは一例であり、他の色とすることもできる。また、安全度に応じて、枠線２７１の種類を変えたり、枠線２７１の太さを変えたりすることもできる。さらに、枠線２７１を点滅表示させることもできる。また、代表動体の位置を示す情報として、枠線２７１ではなく、矢印などであってもよい。
　また、上記した例では、オーディオスピーカから出力される通知音に方向性はないが、方向性を付加することもできる。出力制御部１０５は、車外情報検出部１４１から取得した代表動体の位置に基づいて、運転者に対して代表動体の位置の方に音像が位置するように通知音を音像定位処理し、処理された通知音を車内のオーディオスピーカから出力してもよい。このように音像定位処理を施した通知音をオーディオスピーカから出力することで、運転者は、音像の位置の方に注意すべき動体が存在することを、音によって認識することができる。
　以上のように、実施形態では、車外に存在する代表動体の位置を検知し、車内の運転者の顔の向きを検知し、運転者の顔の向きに代表動体が存在するか否かで、運転者への通知内容を選択した。これによって、運転者の顔の向きに代表動体が存在しない場合には、運転者の顔の向きに代表動体が存在する場合に比して、強めの通知音を出すなどの通知が行われる。その結果、運転者の顔の向きに代表動体が存在する場合には、運転者に煩わしさを与えない程度の内容で通知を行いながら、運転者の顔の向きに代表動体が存在しない場合には、注意喚起を行う内容で通知を行うことができる。
　運転者の顔の向きに代表動体が存在するか否かの判定において、車外情報検出部１４１で検出した代表動体の位置と、車内情報検出部１４２で検出した運転者の顔の向きと、を同じ空間情報である状況認識用マップにマッピングした。これによって、異なる座標軸を持った代表動体の位置と運転者の顔の向きとを同じ座標軸上で示すことができる。
　また、運転者の顔の向きに代表動体が存在するか否かの判定において、運転者の顔の向きを中心にして所定の範囲に代表動体が存在する場合を、運転者の顔の向きに代表動体が存在する場合とした。これによって、運転者が物体を認識できる範囲が顔の向きとされる。その結果、顔の向きを中心とした所定の範囲に代表動体が存在するか否かによって、運転者が代表動体を認識しているか否かを判定することができる。
　運転者の顔の向きをＴＯＦセンサで検知するようにした。これによって、夜間又はトンネル内の暗闇でも、運転者の顔の向きを高精度にモニタリングすることができる。
　また、運転者への通知内容の選択において、運転者の顔の向きに代表動体が存在する場合だけでなく、代表動体の自車への衝突可能性を示す安全度に応じて、通知内容を変えることもできる。例えば、安全度と、運転者の顔の向きへの代表動体の存在の有無と、の組み合わせに応じて、運転者に代表動体を認識させるための通知内容を選択し、出力するようにした。これによって、中安全度の場合で、運転者の顔の向きに代表動体が存在しない場合には、運転者の顔の向きに代表動体が存在する場合に比して強めの音を出すなどの通知が行われる。その結果、中安全度の場合で、運転者の顔の向きに代表動体が存在する場合には、運転者に煩わしさを与えない程度の内容で通知を行いながら、運転者の顔の向きに代表動体が存在しない場合には、注意喚起を行う内容で通知を行うことができる。
　また、高安全度の場合には、中安全度で運転者の顔の向きに代表動体が存在する場合に比して弱めの音を出すなどの通知が行われる。その結果、運転者に対して煩わしさを与えない範囲で、注意喚起を行うことができ、万が一運転者が代表動体を認識していないときでも、代表動体に対する注意を運転者に与えることができる。
　さらに、低安全度の場合には、中安全度で運転者の顔の向きに代表動体が存在しない場合に比して強めの音を出すなどの通知が行われる。これによって、運転者の顔の向きに代表動体が存在していない場合だけでなく、運転者の顔の向きに代表動体が存在している場合でも、強い通知が行われる。その結果、運転者に代表動体の自車への衝突の可能性がすぐ身近に迫っていることを警報することができる。また、このとき、加減速制御部１７２によって、緊急事態を回避するためのブレーキ操作又はハンドル操作などが行われる。その結果、代表動体の自車への衝突を回避したり、衝突の衝撃を和らげたりすることができる。
　また、出力制御部１０５は、通知内容が出力された後、所定のタイミングで通知内容の出力が停止するようにした。所定のタイミングは、例えば、運転者の顔の向きが代表動体の位置と一致した場合、あるいは運転者による代表動体を認識した旨の音声を検知した場合、あるいは運転者によるハンドル又はブレーキの操作が行われた場合とすることができる。これによって、通知内容の原因となった代表動体の自車への衝突の可能性がなくなると、通知が停止される。その結果、通知内容の原因となった代表動体の自車への衝突の可能性がなくなった後も通知が継続される場合に比して、運転者へ与える煩わしさを低減することができる。
　出力制御部１０５は、通知音を音像定位で出力するようにした。これによって、運転者によって感じられる車内での通知音の方向が代表動体の方向と一致する。その結果、運転者は音によって代表動体の方向の位置を認識することができる。また、無闇に代表動体の位置を探す場合に比して、運転者は短時間で代表動体の位置を把握することができる。
　自車の周囲に複数の動体が存在する場合には、ＴＴＣが最も短い動体を代表動体とする。これによって、その時点で最も早い時間に衝突の可能性が高い動体が、運転者による認識の対象となる。衝突する可能性が遅い動体よりも衝突する可能性が早い動体を、運転者による認識の対象としたので、運転者に対する安全性を向上させることができる。
［実施形態の変形例］
　上記した説明では、運転者の顔の向きが窓越しに外部を向いている場合を前提としていた。しかし、運転者は、フロントガラス越しから見る外部の風景だけでなく、車両内の電子ルームミラー、電子サイドミラーあるいは車両の後退時に車両後方の映像を映す表示装置なども見ることがある。図１０は、車両内の表示装置の配置位置の一例を示す図である。電子ルームミラー２２２は、車両の後方に設けられた撮像装置で撮像された画像を映す表示装置であり、フロントガラス上部の中央付近に設けられる。電子ルームミラー２２２は、ルームミラーと同等の機能を有するものである。電子ルームミラー２２２には、車両の後方の情報が表示される。電子サイドミラー２２４は、例えば図２Ａの車両外部の側面に設けられた撮像装置７９１２，７９１４で撮像された画像を映す表示装置であり、サイドミラーと同等の機能を有するものである。電子サイドミラー２２４は、例えばフロントドアの窓の前方付近に設けられる。電子サイドミラー２２４には、車両の後ろ側面の情報が表示される。カーナビゲーションシステム用の表示装置２２６には、地図情報のほかに、後進時に、例えば図２Ａのバックドア又はバックバンパーに設けられた撮像装置７９１６で撮像された画像が表示される。そこで、ここでは、車両の外部を表示する表示装置に移された代表動体についても運転者が認識しているか否かを判定することができる情報処理装置の変形例について説明する。
　この変形例では、状況認識部１５３は、車内情報検出部１４２から顔の向きが車外であるか車内であるかを検知する。顔の向きが車外である場合には、実施形態で説明したように、状況認識部１５３は、車外情報検出部１４１での検出結果を状況認識用マップとして使用し、この状況認識用マップに運転者の顔の向きをマッピングする。また、状況認識部１５３は、顔の向きが車内の表示装置である場合には、車内前方の画像データ（以下、車内前方画像と称する）を状況認識用マップとして使用する。車内前方画像は、例えば図１０に示されるように、フロントガラス、電子ルームミラー２２２、電子サイドミラー２２４及びカーナビゲーションシステム用の表示装置２２６を含む領域が撮像された画像であればよく、運転者が映っていない状態で撮像された画像データでもよい。このとき、状況認識部１５３は、車内前方画像内の各表示装置の位置にその時点での車外の撮像データを表示させ、運転者の顔の向きをマッピングする。そして、判定部１５５は、表示装置内の代表動体が運転者の認識の範囲内にあるかを判定する。なお、その他の構成については、実施形態で説明したものと同様であるので、省略する。
　変形例では、図４のフローチャートのステップＳ１７の処理が実施形態とは異なる。図１１は、実施形態の変形例による検出した動体と運転者の顔の向きのマッピング処理の手順の一例を示すフローチャートである。
　検出した動体と運転者の顔の向きのマッピング処理では、まず、状況認識部１５３は、車内情報検出部１４２からの情報に基づいて、運転者の顔の向きは車内であるかを判定する（ステップＳ７１）。顔の向きが車内ではない場合（ステップＳ７１でＮｏの場合）には、状況認識部１５３は、データ取得部１０２で取得された自車の外部の位置を示す車外情報を状況認識用マップとして使用し（ステップＳ７２）、車外情報に運転者の顔の向きをマッピングし（ステップＳ７３）、処理が図４へと戻る。
　顔の向きが車内である場合（ステップＳ７１でＹｅｓの場合）には、状況認識部１５３は、車内前方画像を状況認識用マップとして使用する（ステップＳ７４）。状況認識部１５３は、車内前方画像の各表示装置の位置に、その時点での車外の撮像データを重ね合せて表示する（ステップＳ７５）。なお、その時点の車内前方画像を撮像している場合には、ステップＳ７５の処理は必要ない。その後、車内前方画像に運転者の顔の向きをマッピングし（ステップＳ７６）、処理が図４へと戻る。なお、その他の処理については、実施形態で説明したものと同様であるので、省略する。
　図１２は、実施形態の変形例での運転者の顔の向きの一例を示す図である。ここでは、車両は後進している状態で、車内のカーナビゲーションシステムの表示装置２２６には、車両後方の画像が表示されているものとする。表示装置２２６の画像内に動体２１０が表示されている。
　この図に示されるように、運転者ｄｒの顔の向きＤは、車内の表示装置２２６を見ている。この場合、車外情報検出部１４１で検出された動体２１０（代表動体）と、車内情報検出部１４２で検出された運転者の顔の向きＤとが、状況認識部１５３によって、例えば図１２に示されるような状況認識用マップにマッピングされる。この場合、車内の表示装置２２６の位置に、運転者ｄｒの顔の向きＤが向いているので、判定部１５５は、運転者ｄｒは動体２１０を認識していると判定する。そして、判定部１５５によって、動体２１０の安全度と、運転者ｄｒの代表動体２１０に対する認識度と、の組み合わせに応じて、通知内容が決定される。
　なお、上記した説明では、車内に設けられたＤＭＳによって、運転者の顔の向きを検出する場合を説明した。しかし、運転者の顔の向きではなく、直接に運転者の視線の向きを検出する視線センサをＤＭＳとして用いてもよい。視線センサを用いることで、より高精度に運転者の視線方向を検出することができる。これによって、窓越しの視線と車内の表示装置の視線を容易に区別することができる。また、窓越しの視線と車内の表示装置の視線の区別を目の焦点距離で判断してもよい。
　また、運転者の顔を認識するＤＭＳを、図２Ｂのインストルメントパネル５０２０上部のダッシュボード５０１０だけでなく、運転者が側方を見た場合あるいは後方を振り返って見た場合にも認識することができるように、車内に複数のＤＭＳを設けてもよい。これによって、例えばダッシュボード５０１０に設けられたＤＭＳで運転者の顔を認識できなかった場合に、他のＤＭＳを用いて認識を行い、この他のＤＭＳで撮像した運転者の顔の向きを状況認識用マップにマッピングしてもよい。
　変形例では、車両の側面に設けられたサイドカメラ又は車両の後方に設けられたバックカメラなどのカメラモニタリングシステム（Camera　Monitoring　System：以下、ＣＭＳという）で撮像された画像を車内の表示装置に表示した。ＣＭＳで撮像された画像内に代表動体が存在する場合に、運転者の顔の向きは、車内の表示装置か否かが判定される。その後、車内前方画像を状況認識用マップとして使用し、この状況確認用マップ内の表示装置内にその時点でのＣＭＳで撮像された画像をはめ込む。そして、運転者の顔の向きに表示装置の画像内の動体が存在するか否かで、運転者の代表動体に対する認識度を判定する。これによって、例えば運転者よりも前方に存在する動体だけでなく、運転者の側面及び後方に存在する動体であって、表示装置に表示される動体についても、運転者の認識度を判定することができる。その結果、運転者の側面又は後方に存在する代表動体についても、運転者に対して注意喚起を行うことができる。
　また、変形例では、ＣＭＳで捉えられた代表動体の表示領域が運転者の顔の向きにあるか否かが判定される。これによって、代表動体の表示領域が運転者の顔の向きにない場合には、運転者は代表動体を認識していないと判定される。その結果、車内の表示装置を運転者が見ている場合でも、その顔の向きに代表動体の表示領域が存在しない場合には、運転者に注意喚起を行うことができる。
　さらに、運転者の顔の向きとして視線センサで視線を検知することもできる。この場合には、運転者がフロントガラス越しに外部を見ているのか、車内の表示装置を見ているのかを、より高精度に特定することができる。また、表示装置内での運転者の視線の位置も、高精度に特定することができ、運転者に通知する通知内容を運転者の認識に従ったものに近づけることができる。
　なお、本開示に係る技術（本技術）は、自動車だけではなく他の様々な製品へ応用することができる。例えば、本開示に係る技術は、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
［実施形態の情報処理装置のハードウェア構成］
　図１３は、実施形態による情報処理装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。上述してきた実施形態に係る自動運転制御部１１２、出力制御部１０５、出力部１０６及び記憶部１１１を含む情報処理装置は、コンピュータ１０００によって実現される。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Read　Only　Memory）１３００、ＨＤＤ（Hard　Disk　Drive）１４００、通信インターフェイス１５００、及び入出力インターフェイス１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
　ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。
　ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Basic　Input　Output　System）等のブートプログラム、及びコンピュータ１０００のハードウェアに依存するプログラム等を格納する。
　ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、このプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る情報処理プログラムを記録する記録媒体である。
　通信インターフェイス１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、通信インターフェイス１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
　入出力インターフェイス１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインターフェイスである。例えば、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、キーボード又はマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイ、スピーカ又はプリンタ等の出力デバイスにデータを送信する。また、入出力インターフェイス１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインターフェイスとして機能してもよい。メディアとは、例えばＤＶＤ（Digital　Versatile　Disc）、ＰＤ（Phase　change　rewritable　Disk）等の光学記録媒体、ＭＯ（Magneto-Optical　disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、又は半導体メモリ等である。
　例えば、コンピュータ１０００が実施形態に係る情報処理装置として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされた情報処理プログラムを実行することにより、検出部１３１、状況分析部１３３、動作制御部１３５、及び出力制御部１０５等の機能を実現する。また、ＨＤＤ１４００には、本開示に係る情報処理プログラムが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
　なお、本技術は以下のような構成も取ることができる。
（１）
　外部検知部によって検知されたデータに基づいて、移動体の外部に存在する物体を検出する外部情報検出部と、
　内部検知部によって検知されたデータに基づいて、前記移動体の内部の運転者の顔の向きを検出する内部情報検出部と、
　前記外部情報検出部で検出された前記物体の位置と、前記内部情報検出部で検出された前記運転者の顔の向きと、が同一方向であるかを判定する判定部と、
　前記物体の位置が前記運転者の顔の向きと同一方向でない場合の前記運転者へのアラートを、前記物体の位置が前記運転者の顔の向きと同一方向である場合に比して、強く出力させる出力制御部と、
　を有する情報処理装置。
（２）
　前記外部情報検出部で検出された前記物体の位置と、前記内部情報検出部で検出された前記運転者の顔の向きと、を同じ空間情報にマッピングする状況認識部をさらに有し、
　前記判定部は、マッピングされた前記空間情報を用いて前記物体の位置と前記運転者の顔の向きとが同一方向であるかを判定する（１）に記載の情報処理装置。
（３）
　前記判定部は、前記運転者の顔の向きを中心にして所定の範囲に前記物体の位置が存在する場合に、前記物体の位置と前記運転者の顔の向きとが同一方向であると判定する（２）に記載の情報処理装置。
（４）
　前記移動体の側面又は後部に設けられる前記外部検知部によって撮像された画像データを表示する表示部をさらに有し、
　前記判定部は、前記表示部上での前記運転者の顔の向きを用いて判定する（１）に記載の情報処理装置。
（５）
　前記判定部は、前記表示部に表示された前記画像データ中の前記物体の位置と、前記運転者の顔の向きと、が同一であるかを判定する（４）に記載の情報処理装置。
（６）
　前記内部情報検出部は、前記運転者の顔の向きとして前記運転者の視線を検出し、
　前記判定部は、前記運転者の視線の位置で、窓越しの視線と前記表示部への視線との区別を判定する（５）に記載の情報処理装置。
（７）
　前記内部検知部は、ＴＯＦセンサである（１）から（６）のいずれか１つに記載の情報処理装置。
（８）
　前記移動体の動きと前記物体の動きとから前記物体の前記移動体への衝突予測時間を予測し、前記衝突予測時間の長さによって定められる安全度にしたがって前記物体を分類する状況予測部をさらに備え、
　前記出力制御部は、中安全度である場合で、前記物体の位置が前記運転者の顔の向きと同一方向でない場合のアラートの大きさは、前記物体の位置が前記運転者の顔の向きと同一方向である場合のアラートの大きさよりも大きくする（１）から（７）のいずれか１つに記載の情報処理装置。
（９）
　前記出力制御部は、低安全度である場合には、前記物体の位置が前記運転者の顔の向きと同一方向であるか否かにかかわらず、前記中安全度である場合で前記物体の位置が前記運転者の顔の向きと同一方向でない場合のアラートよりも大きくする（８）に記載の情報処理装置。
（１０）
　前記出力制御部は、前記アラートを出力した後の所定のタイミングで前記アラートの出力を停止する（１）から（９）のいずれか１つに記載の情報処理装置。
（１１）
　前記所定のタイミングは、前記運転者の顔の向きが前記物体の方向に向いたこと、前記運転者が前記物体を認識したことを示す音声を発したこと、あるいは運転者によるハンドル又はブレーキの操作が行われたことの判定が前記判定部によってなされたタイミングである（１０）に記載の情報処理装置。
（１２）
　前記出力制御部は、前記アラートとして通知音を出力し、前記運転者に対して前記物体の位置の方に音像が位置するように前記通知音を音像定位処理する（１）から（１１）のいずれか１つに記載の情報処理装置。
（１３）
　前記判定部は、前記外部情報検出部によって複数の前記物体が検出された場合に、前記移動体に衝突するまでの時間が最も短い物体について、前記物体の位置と前記運転者の顔の向きとが同一方向であるかを判定する（１）から（１２）のいずれか１つに記載の情報処理装置。
（１４）
　移動体の外部に存在する物体を検知する外部検知部と、
　前記移動体の内部の運転者を検知する内部検知部と、
　前記外部検知部によって検知されたデータに基づいて、前記物体を検出する外部情報検出部と、
　前記内部検知部によって検知されたデータに基づいて、前記運転者の顔の向きを検出する内部情報検出部と、
　前記外部情報検出部で検出された前記物体の位置と、前記内部情報検出部で検出された前記運転者の顔の向きと、が同一方向であるかを判定する判定部と
　前記物体の位置が前記運転者の顔の向きと同一方向でない場合の前記運転者へのアラートを、前記物体の位置が前記運転者の顔の向きと同一方向である場合に比して、強くする出力制御部と、
　を有する移動体。
（１５）
　外部検知部によって検知されたデータに基づいて、移動体の外部に存在する物体を検出し、
　内部検知部によって検知されたデータに基づいて、前記移動体の内部の運転者の顔の向きを検出し、
　前記物体の位置と、前記運転者の顔の向きと、が同一方向であるかを判定し、
　前記物体の位置が前記運転者の顔の向きと同一方向でない場合の前記運転者へのアラートを、前記物体の位置が前記運転者の顔の向きと同一方向である場合に比して、強く出力させる
　情報処理方法。
（１６）
　コンピュータに、
　外部検知部によって検知されたデータに基づいて、移動体の外部に存在する物体を検出するステップと、
　内部検知部によって検知されたデータに基づいて、前記移動体の内部の運転者の顔の向きを検出するステップと、
　前記物体の位置と、前記運転者の顔の向きと、が同一方向であるかを判定するステップと、
　前記物体の位置が前記運転者の顔の向きと同一方向でない場合の前記運転者へのアラートを、前記物体の位置が前記運転者の顔の向きと同一方向である場合に比して、強く出力させるステップと、
　を実行させるプログラム。
　１００　車両制御システム
　１０１　入力部
　１０２　データ取得部
　１０５　出力制御部
　１０６　出力部
　１０７　駆動系制御部
　１０８　駆動系システム
　１０９　ボディ系制御部
　１１０　ボディ系システム
　１１１　記憶部
　１１２　自動運転制御部
　１２１　通信ネットワーク
　１３１　検出部
　１３３　状況分析部
　１３４　計画部
　１３５　動作制御部
　１４１　車外情報検出部
　１４２　車内情報検出部
　１４３　車両状態検出部
　１５３　状況認識部
　１５４　状況予測部
　１５５　判定部
　１７１　緊急事態回避部
　１７２　加減速制御部
　１７３　方向制御部
　２１０　代表動体
　２２２　電子ルームミラー
　２２４　電子サイドミラー
　２２６　表示装置
５０１０　ダッシュボード
５０２０　インストルメントパネル
５０３０　ＤＭＳ

Claims (10)

  1. 　外部検知部によって検知されたデータに基づいて、移動体の外部に存在する物体を検出する外部情報検出部と、
    　内部検知部によって検知されたデータに基づいて、前記移動体の内部の運転者の顔の向きを検出する内部情報検出部と、
    　前記外部情報検出部で検出された前記物体の位置と、前記内部情報検出部で検出された前記運転者の顔の向きと、が同一方向であるかを判定する判定部と、
    　前記物体の位置が前記運転者の顔の向きと同一方向でない場合の前記運転者へのアラートを、前記物体の位置が前記運転者の顔の向きと同一方向である場合に比して、強く出力させる出力制御部と、
    　を有する情報処理装置。
  2. 　前記外部情報検出部で検出された前記物体の位置と、前記内部情報検出部で検出された前記運転者の顔の向きと、を同じ空間情報にマッピングする状況認識部をさらに有し、
    　前記判定部は、マッピングされた前記空間情報を用いて前記物体の位置と前記運転者の顔の向きとが同一方向であるかを判定する請求項１に記載の情報処理装置。
  3. 　前記判定部は、前記運転者の顔の向きを中心にして所定の範囲に前記物体の位置が存在する場合に、前記物体の位置と前記運転者の顔の向きとが同一方向であると判定する請求項２に記載の情報処理装置。
  4. 　前記移動体の側面又は後部に設けられる前記外部検知部によって撮像された画像データを表示する表示部をさらに有し、
    　前記判定部は、前記表示部上での前記運転者の顔の向きを用いて判定する請求項１に記載の情報処理装置。
  5. 　前記判定部は、前記表示部に表示された前記画像データ中の前記物体の位置と、前記運転者の顔の向きと、が同一であるかを判定する請求項４に記載の情報処理装置。
  6. 　前記内部情報検出部は、前記運転者の顔の向きとして前記運転者の視線を検出し、
    　前記判定部は、前記運転者の視線の位置で、窓越しの視線と前記表示部への視線との区別を判定する請求項５に記載の情報処理装置。
  7. 　前記内部検知部は、ＴＯＦセンサである請求項１に記載の情報処理装置。
  8. 　移動体の外部に存在する物体を検知する外部検知部と、
    　前記移動体の内部の運転者を検知する内部検知部と、
    　前記外部検知部によって検知されたデータに基づいて、前記物体を検出する外部情報検出部と、
    　前記内部検知部によって検知されたデータに基づいて、前記運転者の顔の向きを検出する内部情報検出部と、
    　前記外部情報検出部で検出された前記物体の位置と、前記内部情報検出部で検出された前記運転者の顔の向きと、が同一方向であるかを判定する判定部と
    　前記物体の位置が前記運転者の顔の向きと同一方向でない場合の前記運転者へのアラートを、前記物体の位置が前記運転者の顔の向きと同一方向である場合に比して、強くする出力制御部と、
    　を有する移動体。
  9. 　外部検知部によって検知されたデータに基づいて、移動体の外部に存在する物体を検出し、
    　内部検知部によって検知されたデータに基づいて、前記移動体の内部の運転者の顔の向きを検出し、
    　前記物体の位置と、前記運転者の顔の向きと、が同一方向であるかを判定し、
    　前記物体の位置が前記運転者の顔の向きと同一方向でない場合の前記運転者へのアラートを、前記物体の位置が前記運転者の顔の向きと同一方向である場合に比して、強く出力させる
    　情報処理方法。
  10. 　コンピュータに、
    　外部検知部によって検知されたデータに基づいて、移動体の外部に存在する物体を検出するステップと、
    　内部検知部によって検知されたデータに基づいて、前記移動体の内部の運転者の顔の向きを検出するステップと、
    　前記物体の位置と、前記運転者の顔の向きと、が同一方向であるかを判定するステップと、
    　前記物体の位置が前記運転者の顔の向きと同一方向でない場合の前記運転者へのアラートを、前記物体の位置が前記運転者の顔の向きと同一方向である場合に比して、強く出力させるステップと、
    　を実行させるプログラム。
PCT/JP2019/028967 2018-08-09 2019-07-24 情報処理装置、移動体、情報処理方法及びプログラム WO2020031695A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2020536442A JP7382327B2 (ja) 2018-08-09 2019-07-24 情報処理装置、移動体、情報処理方法及びプログラム
US17/265,479 US11590985B2 (en) 2018-08-09 2019-07-24 Information processing device, moving body, information processing method, and program
CN201980051421.8A CN112534487B (zh) 2018-08-09 2019-07-24 信息处理设备、移动体、信息处理方法和程序
KR1020217002914A KR20210043566A (ko) 2018-08-09 2019-07-24 정보 처리 장치, 이동체, 정보 처리 방법 및 프로그램
EP19846667.4A EP3836119A4 (en) 2018-08-09 2019-07-24 INFORMATION PROCESSING DEVICE, MOBILE BODY, INFORMATION PROCESSING METHOD AND PROGRAM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-150888 2018-08-09
JP2018150888 2018-08-09

Publications (1)

Publication Number Publication Date
WO2020031695A1 true WO2020031695A1 (ja) 2020-02-13

Family

ID=69414104

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/028967 WO2020031695A1 (ja) 2018-08-09 2019-07-24 情報処理装置、移動体、情報処理方法及びプログラム

Country Status (6)

Country Link
US (1) US11590985B2 (ja)
EP (1) EP3836119A4 (ja)
JP (1) JP7382327B2 (ja)
KR (1) KR20210043566A (ja)
CN (1) CN112534487B (ja)
WO (1) WO2020031695A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113307192A (zh) * 2020-02-26 2021-08-27 三菱物捷仕株式会社 处理装置、处理方法、通报系统及存储介质

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018214551A1 (de) * 2018-08-28 2020-03-05 Bayerische Motoren Werke Aktiengesellschaft Abbiegeassistent im Fahrzeug
CN112622916A (zh) * 2019-10-08 2021-04-09 株式会社斯巴鲁 车辆的驾驶辅助系统
JP7222343B2 (ja) * 2019-11-28 2023-02-15 トヨタ自動車株式会社 運転支援装置
JP2022142614A (ja) * 2021-03-16 2022-09-30 パナソニックＩｐマネジメント株式会社 安全確認支援装置、安全確認支援方法及び安全確認支援プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008041497A1 (en) * 2006-09-29 2008-04-10 Aisin Seiki Kabushiki Kaisha Alarm device for vehicle and alarm method for vehicle
JP2009116693A (ja) 2007-11-07 2009-05-28 Toyota Motor Corp 車線逸脱防止制御装置
JP2015108926A (ja) * 2013-12-04 2015-06-11 三菱電機株式会社 車両用運転支援装置
JP2017005726A (ja) * 2012-01-07 2017-01-05 ジョンソン・コントロールズ・ゲー・エム・ベー・ハー カメラ装置とその使用

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0761257B2 (ja) * 1990-02-23 1995-07-05 セントラル硝子株式会社 Ｖａ菌根菌の増殖方法
JPH0761257A (ja) * 1993-08-26 1995-03-07 Nissan Motor Co Ltd 車両用表示装置
JP2929927B2 (ja) 1993-12-14 1999-08-03 日産自動車株式会社 走行情報提供装置
US8406457B2 (en) * 2006-03-15 2013-03-26 Omron Corporation Monitoring device, monitoring method, control device, control method, and program
US7609150B2 (en) * 2006-08-18 2009-10-27 Motorola, Inc. User adaptive vehicle hazard warning apparatuses and method
EP2216764A4 (en) 2007-12-05 2012-07-25 Bosch Corp VEHICLE INFORMATION DISPLAY DEVICE
JP5354514B2 (ja) * 2008-03-31 2013-11-27 現代自動車株式会社 脇見運転検出警報システム
CN201307266Y (zh) * 2008-06-25 2009-09-09 韩旭 双目视线跟踪装置
US8384534B2 (en) * 2010-01-14 2013-02-26 Toyota Motor Engineering & Manufacturing North America, Inc. Combining driver and environment sensing for vehicular safety systems
JP5582008B2 (ja) * 2010-12-08 2014-09-03 トヨタ自動車株式会社 車両用情報伝達装置
CN103501406B (zh) * 2013-09-16 2017-04-12 北京智谷睿拓技术服务有限公司 图像采集系统及图像采集方法
CN103760968B (zh) * 2013-11-29 2015-05-13 理光软件研究所（北京）有限公司 数字标牌显示内容选择方法和装置
EP3203464A4 (en) * 2014-09-30 2018-12-12 Sony Corporation Control device, control method, and program
JP6394281B2 (ja) 2014-10-29 2018-09-26 株式会社デンソー 車載注意喚起システム、報知制御装置
US9598010B2 (en) * 2015-04-02 2017-03-21 Denso International America, Inc. Visual alert system
JP6563798B2 (ja) 2015-12-17 2019-08-21 大学共同利用機関法人自然科学研究機構 視覚認知支援システムおよび視認対象物の検出システム
JP2018067198A (ja) 2016-10-20 2018-04-26 矢崎総業株式会社 走行支援装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008041497A1 (en) * 2006-09-29 2008-04-10 Aisin Seiki Kabushiki Kaisha Alarm device for vehicle and alarm method for vehicle
JP2009116693A (ja) 2007-11-07 2009-05-28 Toyota Motor Corp 車線逸脱防止制御装置
JP2017005726A (ja) * 2012-01-07 2017-01-05 ジョンソン・コントロールズ・ゲー・エム・ベー・ハー カメラ装置とその使用
JP2015108926A (ja) * 2013-12-04 2015-06-11 三菱電機株式会社 車両用運転支援装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113307192A (zh) * 2020-02-26 2021-08-27 三菱物捷仕株式会社 处理装置、处理方法、通报系统及存储介质
EP3872787A1 (en) * 2020-02-26 2021-09-01 Mitsubishi Logisnext Co., Ltd. Processing device, processing method, notification system, and program
US11802032B2 (en) 2020-02-26 2023-10-31 Mitsubishi Logisnext Co., LTD. Processing device, processing method, notification system, and recording medium
CN113307192B (zh) * 2020-02-26 2024-02-06 三菱物捷仕株式会社 处理装置、处理方法、通报系统及存储介质

Also Published As

Publication number Publication date
JP7382327B2 (ja) 2023-11-16
KR20210043566A (ko) 2021-04-21
CN112534487B (zh) 2024-03-08
EP3836119A4 (en) 2021-10-06
US11590985B2 (en) 2023-02-28
JPWO2020031695A1 (ja) 2021-08-10
CN112534487A (zh) 2021-03-19
EP3836119A1 (en) 2021-06-16
US20210300401A1 (en) 2021-09-30

Similar Documents

Publication Publication Date Title
JP7136106B2 (ja) 車両走行制御装置、および車両走行制御方法、並びにプログラム
JP7382327B2 (ja) 情報処理装置、移動体、情報処理方法及びプログラム
US11873007B2 (en) Information processing apparatus, information processing method, and program
WO2019073920A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
US11377101B2 (en) Information processing apparatus, information processing method, and vehicle
JPWO2019181284A1 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
US11200795B2 (en) Information processing apparatus, information processing method, moving object, and vehicle
US20210027486A1 (en) Controller, control method, and program
US20220017093A1 (en) Vehicle control device, vehicle control method, program, and vehicle
WO2019044571A1 (ja) 画像処理装置、および画像処理方法、プログラム、並びに移動体
JPWO2019039281A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
US20200191975A1 (en) Information processing apparatus, self-position estimation method, and program
WO2020183892A1 (ja) 情報処理装置及び情報処理方法、並びに移動体装置
JP7192771B2 (ja) 情報処理装置、情報処理方法、プログラム、及び、車両
US20200357284A1 (en) Information processing apparatus and information processing method
JP7451423B2 (ja) 画像処理装置、画像処理方法および画像処理システム
WO2020129656A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
WO2020129689A1 (ja) 移動体制御装置、移動体制御方法、移動体、情報処理装置、情報処理方法、及び、プログラム
JP7367014B2 (ja) 信号処理装置、信号処理方法、プログラム、及び、撮像装置
WO2023068116A1 (ja) 車載通信装置、端末装置、通信方法、情報処理方法及び通信システム
WO2024009829A1 (ja) 情報処理装置、情報処理方法および車両制御システム
WO2023171401A1 (ja) 信号処理装置、信号処理方法、および記録媒体
WO2020116204A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19846667

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020536442

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019846667

Country of ref document: EP

Effective date: 20210309