WO2019117104A1 - 情報処理装置および情報処理方法 - Google Patents

情報処理装置および情報処理方法 Download PDF

Info

Publication number
WO2019117104A1
WO2019117104A1 PCT/JP2018/045369 JP2018045369W WO2019117104A1 WO 2019117104 A1 WO2019117104 A1 WO 2019117104A1 JP 2018045369 W JP2018045369 W JP 2018045369W WO 2019117104 A1 WO2019117104 A1 WO 2019117104A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
information
vehicle
request signal
detected
Prior art date
Application number
PCT/JP2018/045369
Other languages
English (en)
French (fr)
Inventor
周藤　泰広
寿夫 山崎
健太郎 土場
琢人 元山
承夏 梁
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US16/770,086 priority Critical patent/US20200357284A1/en
Publication of WO2019117104A1 publication Critical patent/WO2019117104A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B31/00—Predictive alarm systems characterised by extrapolation or other computation using updated historic data
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096783—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a roadside individual element
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096791—Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is another vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/161—Decentralised systems, e.g. inter-vehicle communication
    • G08G1/162—Decentralised systems, e.g. inter-vehicle communication event-triggered
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/40—Services specially adapted for particular environments, situations or purposes for vehicles, e.g. vehicle-to-pedestrians [V2P]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W88/00—Devices specially adapted for wireless communication networks, e.g. terminals, base stations or access point devices
    • H04W88/02—Terminal devices
    • H04W88/04—Terminal devices adapted for relaying to or from another terminal or user
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/402—Type
    • B60W2554/4029—Pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4041—Position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle

Definitions

  • the present technology relates to an information processing apparatus and an information processing method, and more particularly, to an information processing apparatus and an information processing method in which the recognition accuracy of an object present in the periphery is enhanced.
  • Patent Document 1 in a general automatic driving control system, an external sensor such as a camera or a millimeter wave radar is used to recognize an object such as a vehicle or a person around the vehicle to grasp the surrounding environment. It is described that automatic operation control is performed based on the result.
  • an external sensor such as a camera or a millimeter wave radar is used to recognize an object such as a vehicle or a person around the vehicle to grasp the surrounding environment. It is described that automatic operation control is performed based on the result.
  • An object of the present technology is to improve the recognition accuracy of an object present in the periphery.
  • an information processing apparatus including:
  • the object detection unit detects an object present in the periphery.
  • the object detection unit is configured using an external sensor such as a camera or a radar attached to a vehicle.
  • the transmission unit broadcasts a request signal for requesting information on an object not detected by the object detection unit.
  • the request signal may include information on a predetermined number of objects detected by the object detection unit.
  • the transmitter may be adapted to broadcast a request signal in the driver attention area.
  • the transmitting unit may be configured to broadcast the request signal at a location where the line of sight is poor.
  • the transmitting unit may be configured to broadcast a request signal when there is a possibility that an object may intrude in the traveling direction.
  • a request signal requesting information on an object not detected by the object detection unit is broadcasted, and a response signal including the information on the object is received. Therefore, it is possible to improve the recognition accuracy of objects present in the periphery.
  • the display of the surrounding environment is controlled based on the information of the position and the attribute of the predetermined number of objects detected by the object detection unit, and the object detection unit included in the response signal is not detected
  • the information processing apparatus may further include a display control unit that controls updating of the display of the surrounding environment based on the information of the position and the attribute of the object. This makes it possible to increase the accuracy of displaying the surrounding environment.
  • a receiving unit that receives, from an external device, a request signal including information on the position and attributes of a predetermined number of objects existing around the external device; When the predetermined number of objects does not include a predetermined object associated with itself, the transmission unit unicasts a response signal including information on the position and attribute of the predetermined object to the external device. In the device.
  • the reception unit receives, from the external device, a request signal including information on the position and the attribute of a predetermined number of objects existing around the external device. Then, when the predetermined number of objects are not included in the predetermined object, the transmission unit unicasts a response signal including information on the position and attribute of the predetermined object to the external device.
  • a response signal including information on the position and attribute of the predetermined object is transmitted to the external device. It is to cast. Therefore, in the external device, it is possible to improve the recognition accuracy of the object present in the periphery.
  • FIG. 1 shows an example in which objects 201 a and 201 b exist around the vehicle 200.
  • a vehicle means a car.
  • both of the objects 201a and 201b are people, but the objects present around the vehicle 200 are not limited to people, and may be bicycles, motorcycles, or other vehicles.
  • the objects 201a and 201b respectively carry smartphones 210a and 210b, which are portable terminals.
  • the smartphones 210a and 210b are associated with the objects 201a and 201b, respectively. That is, position information acquired by the GPS function of each of the smartphones 210a and 210b represents the position of the objects 201a and 201b.
  • the sender ID of each of the smartphones 210a and 210b is also an identification ID for identifying the objects 201a and 201b.
  • Vehicle 200 includes an object detection unit (not shown) using an external sensor such as a stereo camera, millimeter wave radar using millimeter waves, or LIDAR (Light Detection and Ranging) using a laser. , To detect objects in the vicinity. In the illustrated example, the object 201a is detected but the object 201b is not detected.
  • an external sensor such as a stereo camera, millimeter wave radar using millimeter waves, or LIDAR (Light Detection and Ranging) using a laser.
  • LIDAR Light Detection and Ranging
  • the object 201 b is in a poor position, the rain is fog, or the stereo camera or radar does not function sufficiently at night.
  • the vehicle 200 automatically broadcasts a request signal (radio wave collision) Sr that requests information of an object not detected by the object detection unit under a predetermined transmission condition.
  • the predetermined conditions include, for example, when the vehicle 200 is in the driving attention area, when the vehicle 200 is in a poor location, when an obstacle may intrude in the traveling direction of the vehicle 200, etc. included.
  • the vehicle 200 can determine whether it is in the driving attention area or not from the GPS position information and the map information.
  • the driving attention area may be one previously registered in the car navigation system, or may be arbitrarily set by the driver.
  • places with poor visibility include places that are raining, places that are fogged, places that are backlit, and the like.
  • places where there are obstacles that block the front, places where roads are narrow, places where there are hairpin curves, dark places, etc. are places where the prospect is not good.
  • the vehicle 200 can determine whether it is rain or fog, an obstacle is present, or a dark place based on the detection signal of the sensor. In addition, it can be determined from the GPS position information and the map information whether or not the hairpin curve.
  • the vehicle 200 can determine these cases based on the driver's steering wheel operation, the winker operation, the accelerator operation, and the like.
  • the request signal Sr includes information on a predetermined number of objects detected by the object detection unit.
  • FIG. 2 shows an exemplary configuration of the request signal.
  • the request signal Sr consists of a status part and an object list part following it.
  • the status section includes a sender ID which is a unique ID of the vehicle 200, information on a transmitter position and a moving speed, a message ID indicating a message type, and time information such as GPS time.
  • the message ID indicates that it is a request signal.
  • the object list unit includes object information of each of a predetermined number of objects detected by the object detection unit.
  • the object information of each object includes position information, attribute information, speed information as an option, and the like.
  • the position information indicates the position of the object, and is, for example, information of latitude, longitude, and altitude of the GPS coordinate system.
  • the attribute information indicates the type of an object, such as a person, a car, a motorcycle, a bicycle, or Unknown.
  • the velocity information indicates the moving velocity of the object.
  • the smartphones 210 a and 210 b receive the request signal Sr broadcasted from the vehicle 200.
  • the smartphones 210a and 210b determine whether the object list portion of the request signal includes the object information of the object with which the self is associated, and when it is not included, the response signal Sa including the object information of the object is , Unicast to the vehicle 200.
  • the object 201a has already been detected by the object detection unit of the vehicle 200, so the object list portion of the request signal Sr includes object information of the object 201a. Therefore, the smartphone 210a associated with the object 201a does not unicast the response signal Sa to the vehicle 100.
  • the object list portion of the request signal Sr does not include the object information of the object 201b. Therefore, the smartphone 210b associated with the object 201b unicasts the response signal Sa to the vehicle 100.
  • the response signal Sa also includes a status section and an object list section following it (see FIG. 2).
  • the status section includes a sender ID which is a unique ID of the object 201b, a message ID indicating a message type, and time information such as GPS time.
  • the message ID indicates that it is a response signal.
  • the object list portion further includes object information of the object 101b in addition to the object information included in the request signal. Note that only the object information of the object 201b may be included.
  • the vehicle 200 recognizes the presence of a predetermined number of objects detected by the object detection unit, and also recognizes an object not detected by the object detection unit based on the response signal Sa.
  • the object 201a is recognized by being detected by the object detection unit, but the object 201b is recognized by the response signal Sa transmitted in response to the broadcast request signal Sr. Thereby, in the vehicle 200, the recognition accuracy of the object present in the periphery becomes high.
  • the vehicle 200 uses a display unit, for example, a display panel of a car navigation system or a head-up display (HUD: Head-Up Display), based on the information on the position and attribute of a predetermined number of objects detected by the object detection unit. Display of the surrounding environment including display of these detected objects. In addition, the vehicle 200 updates the display of the surrounding environment so as to include the display of the object based on the information of the object included in the response signal Sa. As a result, the driver can perform driving after correctly recognizing the surrounding environment.
  • a display unit for example, a display panel of a car navigation system or a head-up display (HUD: Head-Up Display)
  • HUD Head-Up Display
  • the vehicle 200 can also consider the structure which performs driving control automatically based on the information of the object contained in response signal Sa. For example, when it is recognized that an object is present in the direction in which the vehicle 200 travels, control such as decelerating or stopping or sounding a horn may be performed.
  • this caution signal includes high and low risk information.
  • the smartphone displays an alert on the display screen or warns by sound or vibration. For example, when the risk is low, notification is made by vibration and beep sound, and when the risk is high, notification of approach of the vehicle is given by display (for example, display such as “during approaching vehicle”) and voice.
  • the smartphone receives the request signal Sr from the vehicle 200, based on the information on the transmitter position and the moving speed included in the status section of the request signal Sr, the risk of high or low risk such as a collision time approaching For example, if the risk is low, notify by vibration and beep sound, and if the risk is high, approach the vehicle by displaying (for example, a display such as “during approaching”) and sound It is also conceivable to notify. In addition, when it is determined that there is almost no risk, it is possible to only display the reception information of the request signal Sr in the notification field.
  • Communication between the vehicle 200 and the smartphones 210a and 210b is performed, for example, by communication between a car and a pedestrian (V2P).
  • V2P a pedestrian
  • V2V a pedestrian
  • Communication between the vehicle 100 and an object present in the vicinity thereof is not limited to V2X communication, and may be performed by other communication.
  • FIG. 3 is a block diagram showing a configuration example of a schematic function of a vehicle control system 100 to which the present technology is applied.
  • the vehicle provided with the vehicle control system 100 is distinguished from other vehicles, it is referred to as the own vehicle or the own vehicle.
  • the vehicle control system 100 includes an input unit 101, a data acquisition unit 102, a communication unit 103, an in-vehicle device 104, an output control unit 105, an output unit 106, a drive system control unit 107, a drive system 108, a body system control unit 109, and a body.
  • the system system 110, the storage unit 111, and the automatic driving control unit 112 are provided.
  • the input unit 101, the data acquisition unit 102, the communication unit 103, the output control unit 105, the drive system control unit 107, the body system control unit 109, the storage unit 111, and the automatic operation control unit 112 are connected via the communication network 121. Connected to each other.
  • the communication network 121 may be, for example, an on-vehicle communication network or bus conforming to any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). Become. In addition, each part of the vehicle control system 100 may be directly connected without passing through the communication network 121.
  • CAN Controller Area Network
  • LIN Local Interconnect Network
  • LAN Local Area Network
  • FlexRay registered trademark
  • each unit of the vehicle control system 100 performs communication via the communication network 121
  • the description of the communication network 121 is omitted.
  • the input unit 101 and the automatic driving control unit 112 communicate via the communication network 121, it is described that the input unit 101 and the automatic driving control unit 112 merely communicate.
  • the input unit 101 includes an apparatus used by a passenger for inputting various data and instructions.
  • the input unit 101 includes operation devices such as a touch panel, a button, a microphone, a switch, and a lever, and an operation device and the like that can be input by a method other than manual operation by voice or gesture.
  • the input unit 101 may be a remote control device using infrared rays or other radio waves, or an external connection device such as a mobile device or wearable device corresponding to the operation of the vehicle control system 100.
  • the input unit 101 generates an input signal based on data, an instruction, and the like input by the passenger, and supplies the input signal to each unit of the vehicle control system 100.
  • the data acquisition unit 102 includes various sensors for acquiring data used for processing of the vehicle control system 100 and supplies the acquired data to each unit of the vehicle control system 100.
  • the data acquisition unit 102 includes various sensors for detecting the state of the vehicle.
  • the data acquisition unit 102 includes a gyro sensor, an acceleration sensor, an inertia measurement device (IMU), an operation amount of an accelerator pedal, an operation amount of a brake pedal, a steering angle of a steering wheel, and an engine speed.
  • IMU inertia measurement device
  • a sensor or the like for detecting a motor rotation speed or a rotation speed of a wheel is provided.
  • the data acquisition unit 102 includes various sensors for detecting information outside the vehicle.
  • the data acquisition unit 102 includes an imaging device such as a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the data acquisition unit 102 includes an environment sensor for detecting weather, weather or the like, and an ambient information detection sensor for detecting an object around the vehicle.
  • the environment sensor includes, for example, a raindrop sensor, a fog sensor, a sunshine sensor, a snow sensor, and the like.
  • the ambient information detection sensor is made of, for example, an ultrasonic sensor, a radar, LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging), sonar or the like.
  • the data acquisition unit 102 includes various sensors for detecting the current position of the vehicle.
  • the data acquisition unit 102 includes a GNSS receiver or the like which receives a GNSS signal from a Global Navigation Satellite System (GNSS) satellite.
  • GNSS Global Navigation Satellite System
  • the data acquisition unit 102 includes various sensors for detecting information in the vehicle.
  • the data acquisition unit 102 includes an imaging device for imaging a driver, a biological sensor for detecting biological information of the driver, a microphone for collecting sound in a vehicle interior, and the like.
  • the biological sensor is provided, for example, on a seat or a steering wheel, and detects biological information of an occupant sitting on a seat or a driver holding the steering wheel.
  • the communication unit 103 communicates with the in-vehicle device 104 and various devices outside the vehicle, a server, a base station, etc., and transmits data supplied from each portion of the vehicle control system 100, and receives the received data. Supply to each part of 100.
  • the communication protocol supported by the communication unit 103 is not particularly limited, and the communication unit 103 can also support a plurality of types of communication protocols.
  • the communication unit 103 may be a wireless LAN.
  • Wireless communication with the in-vehicle device 104 is performed by Bluetooth (registered trademark), NFC (Near Field Communication), WUSB (Wireless USB), or the like.
  • the communication unit 103 may use a Universal Serial Bus (USB), a High-Definition Multimedia Interface (HDMI), or a Mobile High-definition (MHL) via a connection terminal (and a cable, if necessary) not shown. And wire communication with the in-vehicle device 104.
  • USB Universal Serial Bus
  • HDMI High-Definition Multimedia Interface
  • MHL Mobile High-definition
  • the communication unit 103 may communicate with an apparatus (for example, an application server or control server) existing on an external network (for example, the Internet, a cloud network, or a network unique to an operator) via a base station or an access point. Communicate. Also, for example, using the P2P (Peer To Peer) technology, the communication unit 103 may use a terminal (eg, a pedestrian or a shop terminal, or an MTC (Machine Type Communication) terminal) with a terminal existing near the host vehicle. Communicate. Furthermore, for example, the communication unit 103 may perform vehicle-to-vehicle communication, vehicle-to-infrastructure communication, vehicle-to-home communication, and vehicle-to-pedestrian communication.
  • an apparatus for example, an application server or control server
  • an external network for example, the Internet, a cloud network, or a network unique to an operator
  • the communication unit 103 may use a terminal (eg, a pedestrian or a shop terminal, or an MTC (Machine Type Communication) terminal)
  • V2X communication such as communication is performed.
  • the communication unit 103 includes a beacon receiving unit, receives radio waves or electromagnetic waves transmitted from radio stations installed on roads, and acquires information such as current position, traffic jam, traffic restriction, or required time. Do.
  • the in-vehicle device 104 includes, for example, a mobile device or wearable device owned by the passenger, an information device carried in or attached to the vehicle, and a navigation device for searching for a route to an arbitrary destination.
  • the output control unit 105 controls the output of various information to the passenger of the vehicle or the outside of the vehicle.
  • the output control unit 105 generates an output signal including at least one of visual information (for example, image data) and auditory information (for example, audio data), and supplies the generated output signal to the output unit 106.
  • the output control unit 105 combines image data captured by different imaging devices of the data acquisition unit 102 to generate an overhead image or a panoramic image, and an output signal including the generated image is generated.
  • the output unit 106 is supplied.
  • the output control unit 105 generates voice data including a warning sound or a warning message for danger such as collision, contact, entering a danger zone, and the like, and outputs an output signal including the generated voice data to the output unit 106.
  • Supply for example, the output control unit 105 generates voice data including a warning sound or a warning message for danger such as collision, contact, entering a danger zone, and the like, and outputs an output signal
  • the output unit 106 includes a device capable of outputting visual information or auditory information to the passenger of the vehicle or the outside of the vehicle.
  • the output unit 106 includes a display device, an instrument panel, an audio speaker, headphones, wearable devices such as a glasses-type display worn by a passenger, a projector, a lamp, and the like.
  • the display device included in the output unit 106 has visual information in the driver's field of vision, such as a head-up display, a transmissive display, and a device having an AR (Augmented Reality) display function, in addition to a device having a normal display. It may be an apparatus for displaying.
  • the drive system control unit 107 controls the drive system 108 by generating various control signals and supplying them to the drive system 108. In addition, the drive system control unit 107 supplies a control signal to each unit other than the drive system 108 as necessary, and notifies a control state of the drive system 108, and the like.
  • the drive system 108 includes various devices related to the drive system of the vehicle.
  • the drive system 108 includes a driving force generating device for generating a driving force of an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering mechanism for adjusting a steering angle.
  • a braking system that generates a braking force an antilock brake system (ABS), an electronic stability control (ESC), an electric power steering apparatus, and the like are provided.
  • the body control unit 109 controls the body system 110 by generating various control signals and supplying the control signals to the body system 110.
  • the body system control unit 109 supplies a control signal to each unit other than the body system 110, as required, to notify the control state of the body system 110, and the like.
  • the body system 110 includes various devices of the body system mounted on the vehicle body.
  • the body system 110 includes a keyless entry system, a smart key system, a power window device, a power seat, a steering wheel, an air conditioner, and various lamps (for example, headlamps, back lamps, brake lamps, blinkers, fog lamps, etc.) Etc.
  • the storage unit 111 includes, for example, a read only memory (ROM), a random access memory (RAM), a magnetic storage device such as a hard disk drive (HDD), a semiconductor storage device, an optical storage device, and a magneto-optical storage device. .
  • the storage unit 111 stores various programs, data, and the like used by each unit of the vehicle control system 100.
  • the storage unit 111 is map data such as a three-dimensional high-precision map such as a dynamic map, a global map that covers a wide area with lower accuracy than a high-precision map, and information around the vehicle.
  • map data such as a three-dimensional high-precision map such as a dynamic map, a global map that covers a wide area with lower accuracy than a high-precision map, and information around the vehicle.
  • the autonomous driving control unit 112 performs control regarding autonomous driving such as autonomous traveling or driving assistance. Specifically, for example, the automatic driving control unit 112 can avoid collision or reduce impact of the vehicle, follow-up traveling based on the distance between vehicles, vehicle speed maintenance traveling, collision warning of the vehicle, lane departure warning of the vehicle, etc. Coordinated control is carried out to realize the functions of the Advanced Driver Assistance System (ADAS), including: Further, for example, the automatic driving control unit 112 performs cooperative control for the purpose of automatic driving or the like that travels autonomously without depending on the driver's operation.
  • the automatic driving control unit 112 includes a detection unit 131, a self position estimation unit 132, a situation analysis unit 133, a planning unit 134, and an operation control unit 135.
  • the detection unit 131 detects various types of information necessary for control of automatic driving.
  • the detection unit 131 includes an out-of-vehicle information detection unit 141, an in-vehicle information detection unit 142, and a vehicle state detection unit 143.
  • the external information detection unit 141 performs detection processing of external information of the vehicle based on data or signals from each unit of the vehicle control system 100. For example, the external information detection unit 141 performs detection processing of an object around the host vehicle, recognition processing, tracking processing, and detection processing of the distance to the object.
  • the objects to be detected include, for example, vehicles, people, obstacles, structures, roads, traffic lights, traffic signs, road markings and the like.
  • the outside-of-vehicle information detection unit 141 performs a process of detecting the environment around the vehicle.
  • the surrounding environment to be detected includes, for example, weather, temperature, humidity, brightness, road surface condition and the like.
  • the information outside the vehicle detection unit 141 indicates data indicating the result of the detection process as the self position estimation unit 132, the map analysis unit 151 of the situation analysis unit 133, the traffic rule recognition unit 152, the situation recognition unit 153, and the operation control unit 135. Supply to the emergency situation avoidance unit 171 and the like.
  • the in-vehicle information detection unit 142 performs in-vehicle information detection processing based on data or signals from each unit of the vehicle control system 100.
  • the in-vehicle information detection unit 142 performs a driver authentication process and recognition process, a driver state detection process, a passenger detection process, an in-vehicle environment detection process, and the like.
  • the state of the driver to be detected includes, for example, physical condition, awakening degree, concentration degree, fatigue degree, gaze direction and the like.
  • the in-vehicle environment to be detected includes, for example, temperature, humidity, brightness, smell and the like.
  • the in-vehicle information detection unit 142 supplies data indicating the result of the detection process to the situation recognition unit 153 of the situation analysis unit 133, the emergency situation avoidance unit 171 of the operation control unit 135, and the like.
  • the vehicle state detection unit 143 detects the state of the vehicle based on data or signals from each unit of the vehicle control system 100.
  • the state of the vehicle to be detected includes, for example, speed, acceleration, steering angle, presence / absence of abnormality and contents, state of driving operation, position and inclination of power seat, state of door lock, and other in-vehicle devices. Status etc. are included.
  • the vehicle state detection unit 143 supplies data indicating the result of the detection process to the situation recognition unit 153 of the situation analysis unit 133, the emergency situation avoidance unit 171 of the operation control unit 135, and the like.
  • the self position estimation unit 132 estimates the position and orientation of the vehicle based on data or signals from each part of the vehicle control system 100 such as the external information detection unit 141 and the situation recognition unit 153 of the situation analysis unit 133. Do the processing. In addition, the self position estimation unit 132 generates a local map (hereinafter, referred to as a self position estimation map) used to estimate the self position, as necessary.
  • the self-location estimation map is, for example, a high-accuracy map using a technique such as SLAM (Simultaneous Localization and Mapping).
  • the self position estimation unit 132 supplies data indicating the result of the estimation process to the map analysis unit 151, the traffic rule recognition unit 152, the situation recognition unit 153, and the like of the situation analysis unit 133. In addition, the self position estimation unit 132 stores the self position estimation map in the storage unit 111.
  • the situation analysis unit 133 analyzes the situation of the vehicle and the surroundings.
  • the situation analysis unit 133 includes a map analysis unit 151, a traffic rule recognition unit 152, a situation recognition unit 153, and a situation prediction unit 154.
  • the map analysis unit 151 uses various data or signals stored in the storage unit 111 while using data or signals from each part of the vehicle control system 100 such as the self position estimation unit 132 and the external information detection unit 141 as necessary. Perform analysis processing and construct a map that contains information necessary for automatic driving processing.
  • the map analysis unit 151 is configured of the traffic rule recognition unit 152, the situation recognition unit 153, the situation prediction unit 154, the route planning unit 161 of the planning unit 134, the action planning unit 162, the operation planning unit 163, and the like. Supply to
  • the traffic rule recognition unit 152 uses traffic rules around the vehicle based on data or signals from each unit of the vehicle control system 100 such as the self position estimation unit 132, the outside information detection unit 141, and the map analysis unit 151. Perform recognition processing. By this recognition process, for example, the position and state of signals around the vehicle, the contents of traffic restriction around the vehicle, and the travelable lane are recognized.
  • the traffic rule recognition unit 152 supplies data indicating the result of the recognition process to the situation prediction unit 154 and the like.
  • the situation recognition unit 153 uses data or signals from each unit of the vehicle control system 100 such as the self position estimation unit 132, the outside information detection unit 141, the in-vehicle information detection unit 142, the vehicle state detection unit 143, and the map analysis unit 151. Based on the recognition processing of the situation regarding the vehicle. For example, the situation recognition unit 153 performs recognition processing of the situation of the own vehicle, the situation around the own vehicle, the situation of the driver of the own vehicle, and the like. In addition, the situation recognition unit 153 generates a local map (hereinafter referred to as a situation recognition map) used to recognize the situation around the host vehicle, as necessary.
  • the situation recognition map is, for example, an Occupancy Grid Map.
  • the situation of the vehicle to be recognized includes, for example, the position, posture, movement (for example, speed, acceleration, moving direction, etc.) of the vehicle, and the presence or absence and contents of abnormality.
  • the situation around the vehicle to be recognized includes, for example, the type and position of the surrounding stationary object, the type, position and movement of the surrounding moving object (eg, speed, acceleration, movement direction, etc.) Configuration and road surface conditions, as well as ambient weather, temperature, humidity, brightness, etc. are included.
  • the state of the driver to be recognized includes, for example, physical condition, alertness level, concentration level, fatigue level, movement of eyes, driving operation and the like.
  • the situation recognition unit 153 supplies data (including a situation recognition map, if necessary) indicating the result of the recognition process to the self position estimation unit 132, the situation prediction unit 154, and the like. In addition, the situation recognition unit 153 stores the situation recognition map in the storage unit 111.
  • the situation prediction unit 154 performs prediction processing of the situation regarding the own vehicle based on data or signals from each part of the vehicle control system 100 such as the map analysis unit 151, the traffic rule recognition unit 152, and the situation recognition unit 153. For example, the situation prediction unit 154 performs prediction processing of the situation of the vehicle, the situation around the vehicle, the situation of the driver, and the like.
  • the situation of the subject vehicle to be predicted includes, for example, the behavior of the subject vehicle, the occurrence of an abnormality, the travelable distance, and the like.
  • the situation around the vehicle to be predicted includes, for example, the behavior of the moving object around the vehicle, the change of the signal state, and the change of the environment such as the weather.
  • the driver's condition to be predicted includes, for example, the driver's behavior and physical condition.
  • the situation prediction unit 154 together with data from the traffic rule recognition unit 152 and the situation recognition unit 153, indicates data indicating the result of the prediction process, the route planning unit 161 of the planning unit 134, the action planning unit 162, and the operation planning unit 163. Supply to etc.
  • the route planning unit 161 plans a route to a destination based on data or signals from each unit of the vehicle control system 100 such as the map analysis unit 151 and the situation prediction unit 154. For example, the route planning unit 161 sets a route from the current position to the specified destination based on the global map. In addition, for example, the route planning unit 161 changes the route as appropriate based on traffic jams, accidents, traffic restrictions, conditions such as construction, the physical condition of the driver, and the like. The route planning unit 161 supplies data indicating the planned route to the action planning unit 162 and the like.
  • the action planning part 162 Based on data or signals from each part of the vehicle control system 100 such as the map analyzing part 151 and the situation predicting part 154, the action planning part 162 safely makes the route planned by the route planning part 161 within the planned time. Plan your vehicle's action to drive.
  • the action planning unit 162 performs planning of start, stop, traveling direction (for example, forward, backward, left turn, right turn, change of direction, etc.), travel lane, travel speed, overtaking, and the like.
  • the action plan unit 162 supplies data indicating the planned action of the host vehicle to the operation plan unit 163 or the like.
  • the operation plan unit 163 is data from each unit of the vehicle control system 100 such as the map analysis unit 151 and the condition prediction unit 154.
  • the action plan unit 162 plans the action of the vehicle for realizing the action planned.
  • the operation plan unit 163 plans acceleration, deceleration, a traveling track, and the like.
  • the operation planning unit 163 supplies data indicating the planned operation of the vehicle to the acceleration / deceleration control unit 172, the direction control unit 173, and the like of the operation control unit 135.
  • the operation control unit 135 controls the operation of the vehicle.
  • the operation control unit 135 includes an emergency situation avoidance unit 171, an acceleration / deceleration control unit 172, and a direction control unit 173.
  • the emergency situation avoidance unit 171 is based on the detection results of the external information detection unit 141, the in-vehicle information detection unit 142, and the vehicle state detection unit 143, collision, contact, entry into a danger zone, driver's abnormality, vehicle Perform detection processing of an emergency such as an abnormality.
  • the emergency situation avoidance unit 171 detects the occurrence of an emergency situation, it plans the operation of the own vehicle for avoiding an emergency situation such as a sudden stop or a sudden turn.
  • the emergency situation avoidance unit 171 supplies data indicating the planned operation of the host vehicle to the acceleration / deceleration control unit 172, the direction control unit 173, and the like.
  • the acceleration / deceleration control unit 172 performs acceleration / deceleration control for realizing the operation of the own vehicle planned by the operation planning unit 163 or the emergency situation avoidance unit 171. For example, the acceleration / deceleration control unit 172 calculates a control target value of a driving force generator or a braking device for achieving planned acceleration, deceleration, or sudden stop, and drives a control command indicating the calculated control target value. It is supplied to the system control unit 107.
  • the direction control unit 173 performs direction control for realizing the operation of the vehicle planned by the operation planning unit 163 or the emergency situation avoidance unit 171. For example, the direction control unit 173 calculates the control target value of the steering mechanism for realizing the traveling track or the sharp turn planned by the operation plan unit 163 or the emergency situation avoidance unit 171, and performs control indicating the calculated control target value. The command is supplied to the drive system control unit 107.
  • the data acquisition unit 102 and the detection unit 131 constitute an object detection unit that detects an object around the vehicle 200.
  • the communication unit 103 configures a communication unit that communicates with an object around the vehicle 200.
  • the output unit 106 constitutes a display unit that displays the surrounding environment.
  • the output control unit 105 configures a display control unit that controls the display of the surrounding environment based on the object information of the object detected by the object detection unit and the object information included in the response signal. .
  • the flowchart of FIG. 4 illustrates an example of the processing procedure of the vehicle 200.
  • the vehicle 200 starts processing when driving is started.
  • the vehicle 200 determines whether a broadcast condition of a request signal (radio wave collision) Sr requesting information on an object not detected by the object detection unit is satisfied.
  • a request signal radio wave collision
  • step ST4 the vehicle 200 displays on the display unit (for example, a display panel of a car navigation system or a head-up display) that the request signal has been broadcasted. This allows the driver to know that the request signal has been broadcast.
  • the display unit for example, a display panel of a car navigation system or a head-up display
  • step ST5 the vehicle 200 determines whether or not the response signal Sa has been received.
  • the vehicle 200 displays that the response signal has been received on the display unit in step ST6. Thereby, the driver can know that the response signal has been received.
  • step ST7 the vehicle 200 updates the surrounding environment information based on the information on the object included in the response signal.
  • step ST8 the display of the surrounding environment displayed on the display unit is updated.
  • the object is also displayed based on the information of the object included in the response signal.
  • step ST9 the vehicle 200 controls driving based on the information of the object included in the response signal. For example, when the object included in the response signal is positioned in the traveling direction of the vehicle 200, control such as deceleration or stop is performed.
  • step ST10 the vehicle 200 determines whether the driving has ended. If it is not the end of the operation, the process returns to step ST2 to perform the same process as described above. On the other hand, when the operation is ended, the process is ended in step ST11.
  • the flowchart of FIG. 5 shows an example of the processing procedure of the smartphone 210 (210a, 210b).
  • the smartphone 210 starts processing as the power is turned on.
  • the smartphone 210 determines whether a request signal has been received.
  • the smartphone 210 displays on the display unit that the request signal has been received. Thereby, a person who is the owner of the smartphone can know that the request signal has been received, and thus that there is a vehicle that has generated the request signal in the vicinity thereof.
  • step ST24 the smartphone 210 determines whether an object (person) with which the smartphone 210 is associated is included in the object list portion of the request signal. In this case, when the object list portion includes object information having the same position and attribute as the object (person) with which the self is associated, it is determined that the object list portion is included. When it is included, the smartphone 210 returns to step ST22 and performs the same process as described above.
  • the smartphone 210 transmits (unicasts) a response signal to the vehicle 200 at step ST25.
  • the response signal includes object information of an object (person) to which the self is associated.
  • the smartphone 210 displays on the display unit that the response signal has been transmitted.
  • a person who is the owner of the smartphone can turn attention to surrounding vehicles by knowing that he / she has sent a response signal, and thus that he / she has not been detected by the surrounding vehicles 200.
  • the smartphone 210 returns to step ST22 and performs the same process as described above.
  • FIG. 6A shows an example of a real environment.
  • the vehicle 200 comes into the intersection and uses the right turn.
  • an object (person) 201a exists on the left pedestrian crossing around the vehicle 200
  • an object (person) 201b exists on the right pedestrian crossing
  • an object (vehicle) 220a There are 220b.
  • FIG. 6 (b) shows a display example of the surrounding environment based on the detection of the object detection unit of the vehicle 200.
  • the object detection unit of the vehicle 200 the object (person) 201a and the objects (vehicles) 220a and 220b are detected, and the object (person) 201b is not detected.
  • the request signal including the object information of the detected objects is broadcasted to satisfy the broadcast condition of the request signal from the entrance of the intersection.
  • FIG. 6C shows a display example of the surrounding environment reconstructed by receiving the response signal.
  • a response signal is transmitted (unicast) to the vehicle 200 from the smartphone 210b associated with the object (person) 201b. Since the response signal includes object information of the object (person) 201b, the object (person) 201b is also displayed in the display example of the reconstructed surrounding environment, and the surrounding environment is correctly displayed.
  • the vehicle 200 shown in FIG. 1 broadcasts a request signal requesting information of an object not detected by the object detection unit, and receives a response signal including the information of the object. Therefore, the recognition accuracy of the object present around the vehicle 200 can be enhanced.
  • a terminal such as a smartphone associated with an object present around the vehicle 200 shown in FIG. 1 does not include information on the object associated with the request signal received from the vehicle 200, The information of the object is unicasted to the vehicle 200. Therefore, in the vehicle 200, it is possible to improve the recognition accuracy of objects present in the periphery.
  • the present technology can also be configured as follows.
  • an object detection unit that detects an object present in the periphery;
  • a transmitter for broadcasting a request signal for requesting information on an object not detected by the object detector;
  • An information processing apparatus comprising: a reception unit that receives a response signal including information on an object not detected by the object detection unit in response to the transmission of the request signal.
  • the transmission unit broadcasts the request signal in the driving attention area.
  • the information processing apparatus according to any one of (1) to (3), wherein the transmission unit broadcasts the request signal when there is a possibility that an object may intrude in the traveling direction.
  • the request signal includes information on a predetermined number of objects detected by the object detection unit.
  • the display of the surrounding environment is controlled based on the information of the position and the attribute of the predetermined number of objects detected by the object detection unit, and the object not detected by the object detection unit included in the response signal
  • the information processing apparatus according to any one of (1) to (5), further including: a display control unit configured to control update of the display of the peripheral environment based on information of a position and an attribute.
  • the transmitting unit is a caution for calling attention to the transmission destination of the response signal when the object not detected by the object detecting unit included in the response signal is positioned in the direction in which the vehicle advances.
  • the information processing apparatus according to any one of (1) to (6), which transmits a signal.
  • An information processing method comprising a receiving step of receiving a response signal including information of an object not detected in the object detecting step in response to the transmission of the request signal.
  • apparatus (10) a receiving step in which the receiving unit receives, from an external device, a request signal including information on the position and attribute of a predetermined number of objects existing around the external device; The transmitting step unicasts a response signal including information on the position and attribute of the predetermined object to the external device when the predetermined number of objects does not include the predetermined object associated with the predetermined number of objects.
  • Information processing method having.
  • Vehicle control system 200 Vehicle 201a, 201b: Object (person) 210a, 210b ... smartphone 220a, 220b ... object (vehicle)

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Atmospheric Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Computing Systems (AREA)
  • Emergency Management (AREA)
  • Traffic Control Systems (AREA)

Abstract

周辺に存在する物体の認識精度を高める。　物体検出部は、周辺に存在する物体を検出する。送信部は、物体検出部で検出されていない物体の情報を要求する要求信号をブロードキャストする。受信部は、要求信号の送信に対応して、物体検出部で検出されていない物体の情報を含む応答信号を受信する。例えば、表示制御部は、物体検出部で検出された所定数の物体の位置および属性の情報に基づいて周辺環境の表示を制御すると共に、応答信号に含まれる物体検出部で検出されていない物体の位置および属性の情報に基づいて周辺環境の表示の更新を制御する。

Description

情報処理装置および情報処理方法
　本技術は、情報処理装置および情報処理方法に関し、詳しくは、周辺に存在する物体の認識精度を高めるようにした情報処理装置および情報処理方法に関する。
　例えば、特許文献１等には、一般的な自動運転制御システムにおいて、カメラやミリ波レーダーなどの外界センサを用いて車両の周辺に存在する車両や人などの物体を認識して周辺環境を把握し、その結果に基づいて自動運転制御を行うことが記載されている。
特開２０１７－１６５２９６号公報
　外界センサを用いて車両の周辺に存在する車両や人などの物体を検出する場合、見通しの悪い位置にある物体、雨や霧などの天候下にある物体などで認識漏れが発生し、周辺環境の把握を正しく行い得ない可能性もある。
　本技術の目的は、周辺に存在する物体の認識精度を高めることにある。
　本技術の概念は、
　周辺に存在する物体を検出する物体検出部と、
　上記物体検出部で検出されていない物体の情報を要求する要求信号をブロードキャストする送信部と、
　上記要求信号の送信に対応して、上記物体検出部で検出されていない物体の情報を含む応答信号を受信する受信部を備える
　情報処理装置にある。
　本技術において、物体検出部により、周辺に存在する物体が検出される。例えば、物体検出部は、車両に取り付けられたカメラやレーダー等の外界センサを用いて構成される。送信部により、物体検出部で検出されていない物体の情報を要求する要求信号がブロードキャストされる。例えば、要求信号には、物体検出部で検出された所定数の物体の情報が含まれる、ようにされてもよい。
　例えば、送信部は、運転者注意区域で要求信号をブロードキャストする、ようにされてもよい。また、例えば、送信部は、見通しの悪い場所で要求信号をブロードキャストする、ようにされてもよい。また、例えば、送信部は、進行方向に物体が侵入してくる可能性がある場合に要求信号をブロードキャストする、ようにされてもよい。
　このように本技術においては、物体検出部で検出されていない物体の情報を要求する要求信号をブロードキャストし、該物体の情報を含む応答信号を受信するものである。そのため、周辺に存在する物体の認識精度を高めることが可能となる。
　なお、本技術において、例えば、物体検出部で検出された所定数の物体の位置および属性の情報に基づいて周辺環境の表示を制御すると共に、応答信号に含まれる物体検出部で検出されていない物体の位置および属性の情報に基づいて周辺環境の表示の更新を制御する表示制御部をさらに備える、ようにされてもよい。これにより、周辺環境表示の精度を高めることが可能となる。
　また、本技術の他の概念は、
　外部機器から、該外部機器の周辺に存在する所定数の物体の位置および属性の情報を含む要求信号を受信する受信部と、
　上記所定数の物体に自己が関連付けされている所定の物体が含まれていないとき、該所定の物体の位置および属性の情報を含む応答信号を上記外部機器にユニキャストする送信部を備える
　情報処理装置にある。
　本技術において、受信部により、外部機器から、この外部機器の周辺に存在する所定数の物体の位置および属性の情報を含む要求信号が受信される。そして、送信部により、所定数の物体に自己が関連付けされている所定の物体が含まれていないとき、該所定の物体の位置および属性の情報を含む応答信号が外部機器にユニキャストされる。
　このように本技術においては、外部機器の周辺に存在する所定数の物体に、所定の物体が含まれていないとき、この所定の物体の位置および属性の情報を含む応答信号を外部機器にユニキャストするものである。そのため、外部機器では、周辺に存在する物体の認識精度を高めることが可能となる。
　本技術によれば、周辺に存在する物体の認識精度を高めることができる。なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
車両の周辺に物体が存在している例を示す図である。 要求信号の構成を説明するための図である。 本技術が適用された車両制御システムの概略的な機能の構成例を示すブロック図である。 車両の処理手順の一例を示すフローチャートである。 スマートフォンの処理手順の一例を示すフローチャートである。 車両が交差点に進入する場合おける実環境と周辺環境表示の一例を説明するための図である。
　以下、発明を実施するための形態（以下、「実施の形態」とする）について説明する。なお、説明を以下の順序で行う。
　１．実施の形態
　２．変形例
　＜１．実施の形態＞
　［車両とその周辺に存在する物体］
　図１は、車両２００の周辺に物体２０１ａ，２０１ｂが存在している例を示している。なお、この実施の形態において、車両は自動車を意味するものとする。図示の例において、物体２０１ａ，２０１ｂはいずれも人であるが、車両２００の周辺に存在する物体は人に限定されるものではなく、自転車、バイク、あるいは他の車両等であってもよい。物体２０１ａ，２０１ｂは、それぞれ、携帯端末であるスマートフォン２１０ａ，２１０ｂを所持している。
　ここで、スマートフォン２１０ａ，２１０ｂは、それぞれ、物体２０１ａ，２０１ｂに関連付けされたものとなる。すなわち、スマートフォン２１０ａ，２１０ｂのそれぞれが持つＧＰＳ機能で取得される位置情報は、それぞれ、物体２０１ａ，２０１ｂの位置を表すものとなる。また、スマートフォン２１０ａ，２１０ｂのそれぞれが持つ送信者ＩＤは、それぞれ、物体２０１ａ，２０１ｂを識別する識別ＩＤともなる。
　車両２００は、ステレオカメラや、ミリ波を用いたミリ波レーダーあるいはレーザーを用いたＬＩＤＡＲ（Light Detection and Ranging）などの外界センサを用いた図示しない物体検出部を備えており、この物体検出部によって、周辺に存在する物体を検出する。図示の例においては、物体２０１ａは検出されているが、物体２０１ｂは検出されていない。
　物体２０１ｂが検出されていない原因としては種々考えられる。例えば、物体２０１ｂが見通しの悪い場所にある、雨は霧あるいは夜間でステレオカメラやレーダー等が十分に機能しない状態にある、などである。
　この実施の形態においては、車両２００は、所定の送信条件のもと、物体検出部で検出されていない物体の情報を要求する要求信号（電波クラクション）Ｓｒを、自動的にブロードキャストする。所定の条件には、例えば、車両２００が運転注意区域にいる場合、車両２００が見通しの悪い場所にいる場合、車両２００の進行方向に障害物が侵入してくる可能性がある場合、などが含まれる。
　例えば、運転注意区域には、交差点、Ｔ字路などがある。車両２００は、運転注意区域にあるか否かをＧＰＳ位置情報と地図情報などから判断可能である。運転注意区域は、予めカーナビゲーションシステムに登録されているものを使用してもよく、あるいは運転者が任意に設定可能としてもよい。
　また、例えば、見通しの悪い場所には、雨が降っている場所や霧が発生している場所、逆光状態にある場所などがある。また、この見通しの悪い場所としては、前方を遮る障害物がある場所、道路が狭い場所、ヘヤピンカーブ、暗い場所などがある。車両２００は、雨や霧か、障害物が存在するか、暗い場所かなどは、センサの検出信号に基づいて判断可能である。また、ヘヤピンカーブか否かは、ＧＰＳ位置情報と地図情報などから判断可能である。
　また、進行方向に急に障害物が侵入してくる場合には、追い越し時、左右折時、加速時などがある。車両２００は、これらの場合を、運転者のハンドル操作、ウインカー操作、アクセル操作等に基づいて判断可能である。
　なお、これら全ての場合に要求信号Ｓｒをブロードキャストする必要はなく、選択あるは設定されたいずれかの場合のみ、要求信号Ｓｒをブロードキャストする構成も考えられる。また、車両２００は、上述の所定の条件下で自動的に要求信号をブロードキャストするだけでなく、運転者の手動操作に応じて要求信号Ｓｒをブロードキャストすることも考えられる。
　要求信号Ｓｒには、物体検出部で検出された所定数の物体の情報が含まれる。図２は、要求信号の構成例を示している。要求信号Ｓｒは、ステータス部と、それに続く物体リスト部とからなっている。ステータス部には、車両２００の固有ＩＤである送信者ＩＤと、送信者位置および移動速度の情報と、メッセージ種別を示すメッセージＩＤと、さらにはＧＰＳ時刻等の時刻情報などが含まれる。要求信号の場合、メッセージＩＤは、要求信号であることを示す。
　また、物体リスト部には、物体検出部で検出された所定数の物体のそれぞれの物体情報が含まれる。各物体の物体情報は、位置情報、属性情報、オプションとしての速度情報などが含まれる。ここで、位置情報は、物体の位置を示し、例えば、ＧＰＳ座標系の緯度、経度、高度の情報である。また、属性情報は、例えば、人、車、バイク、自転車、不明（Unknown）など、物体の種別を示す。速度情報は、物体の移動速度を示す。
　スマートフォン２１０ａ，２１０ｂは、車両２００からブロードキャストされた要求信号Ｓｒを受信する。スマートフォン２１０ａ，２１０ｂは、要求信号の物体リスト部に、自己が関連付けされている物体の物体情報が含まれているか判断し、含まれていないときは、当該物体の物体情報を含む応答信号Ｓａを、車両２００にユニキャストする。
　図示の例において物体２０１ａは車両２００の物体検出部で既に検出されているので、要求信号Ｓｒの物体リスト部には、この物体２０１ａの物体情報が含まれている。そのため、物体２０１ａに関連付けられているスマートフォン２１０ａは、応答信号Ｓａを車両１００にユニキャストすることはない。
　一方、図示の例において物体２０１ｂは車両の物体検出部で検出されていないので、要求信号Ｓｒの物体リスト部には、この物体２０１ｂの物体情報は含まれていない。そのため、物体２０１ｂに関連付けられているスマートフォン２１０ｂは、応答信号Ｓａを車両１００にユニキャストする。
　応答信号Ｓａも、上述した要求信号Ｓｒと同様に、ステータス部と、それに続く物体リスト部とからなっている（図２参照）。ステータス部には、物体２０１ｂの固有ＩＤである送信者ＩＤと、メッセージ種別を示すメッセージＩＤと、さらにはＧＰＳ時刻等の時刻情報などが含まれる。応答信号の場合、メッセージＩＤは、応答信号であることを示す。物体リスト部には、要求信号に含まれている物体情報の他に、物体１０１ｂの物体情報がさらに含まれる。なお、物体２０１ｂの物体情報のみが含まれるようにされてもよい。
　車両２００は、物体検出部で検出された所定数の物体の存在を認識する他、応答信号Ｓａに基づいて物体検出部で検出されていない物体も認識する。図示の例においては、物体２０１ａは物体検出部で検出されることで認識されるが、物体２０１ｂは、ブロードキャストされた要求信号Ｓｒに対応して送られてくる応答信号Ｓａにより認識される。これにより、車両２００における、周辺に存在する物体の認識精度が高くなる。
　車両２００は、物体検出部で検出された所定数の物体の位置および属性の情報に基づいて、表示部、例えばカーナビゲーションシステムの表示パネル、あるいはヘッドアップディスプレイ（ＨＵＤ：Head-Up Display）に、これらの検出物体の表示を含む周辺環境の表示をする。また、車両２００は、応答信号Ｓａに含まれる物体の情報に基づいて、当該物体の表示を含むように、周辺環境の表示を更新する。これにより、運転者は、周辺環境を正しく認識した上での運転を行うことが可能となる。
　なお、車両２００は、応答信号Ｓａに含まれる物体の情報に基づいて、運転制御を自動的に行う構成も考えられる。例えば、車両２００が進む方向に物体が存在することが認識された場合には、減速あるいは停止する、あるいはクラクションを鳴らす等の制御が行われてもよい。
　また、例えば、車両２００が進む方向の物体に関連付けられているスマートフォンに、注意信号をユニキャストすることも考えられる。例えば、この注意信号には、リスクの高低の情報が含められる。この場合、スマートフォンは、表示画面に注意表示をするか、あるいは音あるいは振動によって注意を促すことが考えられる。例えば、リスクが低い場合には、振動とビープ音で通知し、リスクが高い場合には、表示（例えば、「車両接近中」などの表示）と音声で車両の接近を通知する。
　なお、スマートフォンは、車両２００から要求信号Ｓｒを受信した時点で、その要求信号Ｓｒのステータス部に含まれる送信者位置および移動速度の情報に基づいて、衝突時間が迫っている等のリスクの高低を自身で判断し、例えば、リスクが低い場合には、振動とビープ音で通知し、リスクが高い場合には、表示（例えば、「車両接近中」などの表示）と音声で車両の接近を通知することも考えられる。また、リスクがほとんどないと判断する場合には、通知欄に要求信号Ｓｒの受信情報を表示するだけとすることも可能である。
　車両２００とスマートフォン２１０ａ，２１０ｂとの間の通信は、例えば、自動車と歩行者間の通信 (V2P)で行われる。なお、周辺の物体が車両である場合には、自動車間の通信 (V2V)で行われる。なお、車両１００とその周辺に存在する物体との間の通信は、Ｖ２Ｘ通信に限定されるものではなく、その他の通信で行うことも考えられる。
　図３は、本技術が適用された車両制御システム１００の概略的な機能の構成例を示すブロック図である。
　なお、以下、車両制御システム１００が設けられている車両を他の車両と区別する場合、自車又は自車両と称する。
　車両制御システム１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、及び、自動運転制御部１１２を備える。入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、及び、自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Controller Area Network）、ＬＩＮ（Local Interconnect Network）、ＬＡＮ（Local Area Network）、又は、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、車両制御システム１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。
　なお、以下、車両制御システム１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２が通信を行うと記載する。
　入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、及び、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線若しくはその他の電波を利用したリモートコントロール装置、又は、車両制御システム１００の操作に対応したモバイル機器若しくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、車両制御システム１００の各部に供給する。
　データ取得部１０２は、車両制御システム１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、車両制御システム１００の各部に供給する。
　例えば、データ取得部１０２は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、及び、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、若しくは、車輪の回転速度等を検出するためのセンサ等を備える。
　また、例えば、データ取得部１０２は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Time Of Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、及び、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候又は気象等を検出するための環境センサ、及び、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダー、ＬｉＤＡＲ（Light Detection and Ranging、Laser Imaging Detection and Ranging）、ソナー等からなる。
　さらに、例えば、データ取得部１０２は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Global Navigation Satellite System）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。
　また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、及び、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座っている搭乗者又はステアリングホイールを握っている運転者の生体情報を検出する。
　通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、車両制御システム１００の各部から供給されるデータを送信したり、受信したデータを車両制御システム１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である
　例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）、又は、ＷＵＳＢ（Wireless USB）等により、車内機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal Serial Bus）、ＨＤＭＩ（High-Definition Multimedia Interface）、又は、ＭＨＬ（Mobile High-definition Link）等により、車内機器１０４と有線通信を行う。
　さらに、例えば、通信部１０３は、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Peer To Peer）技術を用いて、自車の近傍に存在する端末（例えば、歩行者若しくは店舗の端末、又は、ＭＴＣ（Machine Type Communication）端末）との通信を行う。さらに、例えば、通信部１０３は、車車間（Vehicle to Vehicle）通信、路車間（Vehicle to Infrastructure）通信、自車と家との間（Vehicle to Home）の通信、及び、歩車間（Vehicle to Pedestrian）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制又は所要時間等の情報を取得する。
　車内機器１０４は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、自車に搬入され若しくは取り付けられる情報機器、及び、任意の目的地までの経路探索を行うナビゲーション装置等を含む。
　出力制御部１０５は、自車の搭乗者又は車外に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）及び聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報及び聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像又はパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音又は警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。
　出力部１０６は、自車の搭乗者又は車外に対して、視覚情報又は聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Augmented Reality）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
　駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。
　駆動系システム１０８は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関又は駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Antilock Brake System）、ＥＳＣ（Electronic Stability Control）、並びに、電動パワーステアリング装置等を備える。
　ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号を供給し、ボディ系システム１１０の制御状態の通知等を行う。
　ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、パワーシート、ステアリングホイール、空調装置、及び、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウインカー、フォグランプ等）等を備える。
　記憶部１１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disc Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、及び、光磁気記憶デバイス等を備える。記憶部１１１は、車両制御システム１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、及び、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。
　自動運転制御部１１２は、自律走行又は運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１２は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、又は、自車のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、及び、動作制御部１３５を備える。
　検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３を備える。
　車外情報検出部１４１は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、自車の周囲の物体の検出処理、認識処理、及び、追跡処理、並びに、物体までの距離の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。また、例えば、車外情報検出部１４１は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、及び、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。
　車内情報検出部１４２は、車両制御システム１００の各部からのデータ又は信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認証処理及び認識処理、運転者の状態の検出処理、搭乗者の検出処理、及び、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向等が含まれる。検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
　車両状態検出部１４３は、車両制御システム１００の各部からのデータ又は信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無及び内容、運転操作の状態、パワーシートの位置及び傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、及び、動作制御部１３５の緊急事態回避部１７１等に供給する。
　自己位置推定部１３２は、車外情報検出部１４１、及び、状況分析部１３３の状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の位置及び姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。自己位置推定用マップは、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、及び、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。
　状況分析部１３３は、自車及び周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、及び、状況予測部１５４を備える。
　マップ解析部１５１は、自己位置推定部１３２及び車外情報検出部１４１等の車両制御システム１００の各部からのデータ又は信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
　交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置及び状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。
　状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、及び、マップ解析部１５１等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部１５３は、自車の状況、自車の周囲の状況、及び、自車の運転者の状況等の認識処理を行う。また、状況認識部１５３は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Occupancy Grid Map）とされる。
　認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、異常の有無及び内容等が含まれる。認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類及び位置、周囲の動物体の種類、位置及び動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成及び路面の状態、並びに、周囲の天候、気温、湿度、及び、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。
　状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２及び状況予測部１５４等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に記憶させる。
　状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２及び状況認識部１５３等の車両制御システム１００の各部からのデータ又は信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部１５４は、自車の状況、自車の周囲の状況、及び、運転者の状況等の予測処理を行う。
　予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、及び、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、及び、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動及び体調等が含まれる。
　状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２及び状況認識部１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、及び、動作計画部１６３等に供給する。
　ルート計画部１６１は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、及び、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。
　行動計画部１６２は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、及び、追い越し等の計画を行う。行動計画部１６２は、計画した自車の行動を示すデータを動作計画部１６３等に供給する
　動作計画部１６３は、マップ解析部１５１及び状況予測部１５４等の車両制御システム１００の各部からのデータ又は信号に基づいて、行動計画部１６２により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部１６３は、加速、減速、及び、走行軌道等の計画を行う。動作計画部１６３は、計画した自車の動作を示すデータを、動作制御部１３５の加減速制御部１７２及び方向制御部１７３等に供給する。
　動作制御部１３５は、自車の動作の制御を行う。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、及び、方向制御部１７３を備える。
　緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、及び、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部１７１は、計画した自車の動作を示すデータを加減速制御部１７２及び方向制御部１７３等に供給する。
　加減速制御部１７２は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、又は、急停車を実現するための駆動力発生装置又は制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
　方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３又は緊急事態回避部１７１により計画された走行軌道又は急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
　以上説明した車両制御システム１００において、データ取得部１０２および検出部１３１は、車両２００の周辺の物体を検出する物体検出部を構成する。また、この車両制御システム１００において、通信部１０３は、車両２００の周辺の物体と通信をする通信部を構成する。また、この車両制御システム１００において、出力部１０６は、周辺環境を表示する表示部を構成する。また、この車両制御システム１００において、出力制御部１０５は、物体検出部で検出された物体の物体情報や応答信号に含まれる物体情報に基づいて周辺環境の表示を制御する表示制御部を構成する。
　図４のフローチャートは、車両２００の処理手順の一例を示している。車両２００は、ステップＳＴ１において、運転開始に伴って処理を開始する。次に、車両２００は、ステップＳＴ２において、物体検出部で検出されていない物体の情報を要求する要求信号（電波クラクション）Ｓｒのブロードキャスト条件を満たすか否かを判断する。
　車両２００は、送信条件を満たすとき、ステップＳＴ３において、要求信号Ｓｒをブロードキャストする。次に、車両２００は、ステップＳＴ４において、表示部（例えばカーナビゲーションシステムの表示パネル、あるいはヘッドアップディスプレイ）に、要求信号のブロードキャストを行ったことを表示する。これにより、運転者は、要求信号のブロードキャストが行われたことを知ることができる。
　次に、車両２００は、ステップＳＴ５において、応答信号Ｓａを受信したか否かを判断する。応答信号Ｓａを受信したとき、車両２００は、ステップＳＴ６において、表示部に、応答信号を受信したことを表示する。これにより、運転者は、応答信号の受信があったことを知ることができる。
　次に、車両２００は、ステップＳＴ７において、応答信号に含まれる物体の情報に基づいて、周辺環境情報を更新する。そして、ステップＳＴ８において、表示部に表示されている周辺環境の表示を更新する。この場合、更新後の周辺環境の表示には、応答信号に含まれる物体の情報に基づいて、当該物体も表示されたものとなる。
　次に、車両２００は、ステップＳＴ９において、応答信号に含まれる物体の情報に基づいて、運転を制御する。例えば、応答信号に含まれる物体が車両２００の進行方向に位置する場合には、減速あるいは停止する等の制御をする。
　次に、車両２００は、ステップＳＴ１０の処理に移る。なお、上述のステップＳＴ２で要求信号の送信条件を満たしていないとき、あるいは、上述のステップＳＴ５で応答信号を受信しなかったときは、直ちに、このステップＳＴ１０の処理に移る。このステップＳＴ１０において、車両２００は、運転終了か否かを判断する。運転終了でないときは、ステップＳＴ２に戻って、上述した同様の処理をする。一方、運転終了であるときは、ステップＳＴ１１において、処理を終了する。
　図５のフローチャートは、スマートフォン２１０（２１０ａ，２１０ｂ）の処理手順の一例を示している。スマートフォン２１０は、ステップＳＴ２１において、電源オンに伴って、処理を開始する。次に、スマートフォン２１０は、ステップＳＴ２２において、要求信号を受信したか否かを判断する。要求信号を受信したとき、スマートフォン２１０は、ステップＳＴ２３において、表示部に、要求信号を受信したことを表示する。これにより、スマートフォンの所持者である人は、要求信号を受信したこと、従って自身の周辺に要求信号を発生した車両の存在があることを知ることができる。
　次に、ステップＳＴ２４において、スマートフォン２１０は、自己が関連付けられている物体（人）が、要求信号の物体リスト部に含まれているか判断する。この場合、物体リスト部に、自己が関連付けられている物体（人）と同じ位置および属性を持つ物体情報が含まれている場合には、含まれていると判断する。含まれているとき、スマートフォン２１０は、ステップＳＴ２２に戻って、上述したと同様の処理をする。
　ステップＳＴ２４で含まれていないとき、スマートフォン２１０は、ステップＳＴ２５において、応答信号を、車両２００に送信（ユニキャスト）する。この応答信号には、自己が関連付けられている物体（人）の物体情報が含まれる。そして、スマートフォン２１０は、ステップＳＴ２６において、表示部に、応答信号を送信したことを表示する。これにより、スマートフォンの所持者である人は、応答信号を送信したこと、従って周辺に位置する車両２００で自身が検出されていなかったことを知り、周辺の車両に注意を向けることができる。このステップＳＴ２６の処理の後、スマートフォン２１０は、ステップＳＴ２２に戻り、上述したと同様の処理をする。
　図６（ａ）は、実環境の一例を示している。この場合、車両２００が交差点に入ってきて右折を使用としている。この場合、車両２００の周辺には、左側横断歩道上に物体（人）２０１ａが存在し、右側横断歩道上に物体（人）２０１ｂが存在し、右側の対向車線上に物体（車両）２２０ａ，２２０ｂが存在している。
　図６（ｂ）は、車両２００の物体検出部の検出に基づく周辺環境の表示例を示している。この場合、車両２００の物体検出部では、物体（人）２０１ａと、物体（車両）２２０ａ，２２０ｂが検出されており、物体（人）２０１ｂは検出されていない。この場合、車両２００は交差点に進入することから要求信号のブロードキャスト条件を満たすために、これら検出された物体の物体情報を含む要求信号がブロードキャストされる。
　図６（ｃ）は、応答信号を受信して再構成した周辺環境の表示例を示している。この場合、物体（人）２０１ｂに関連付けられたスマートフォン２１０ｂから車両２００に応答信号が送信（ユニキャスト）される。この応答信号には、物体（人）２０１ｂの物体情報が含まれていることから、再構成した周辺環境の表示例には、物体（人）２０１ｂも表示され、周辺環境が正しく表示される。
　以上説明したように、図１に示す車両２００においては、物体検出部で検出されていない物体の情報を要求する要求信号をブロードキャストし、該物体の情報を含む応答信号を受信するものである。そのため、車両２００の周辺に存在する物体の認識精度を高めることができる。
　また、図１に示す車両２００の周辺に存在する物体に関連付けされているスマートフォン等の端末は、車両２００から受信される要求信号に自己が関連付けされている物体の情報が含まれていないとき、当該物体の情報を車両２００にユニキャストするものである。そのため、車両２００では、周辺に存在する物体の認識精度を高めることが可能となる。
　＜２．変形例＞
　なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。
　また、本技術は以下のような構成も取ることができる。
　（１）周辺に存在する物体を検出する物体検出部と、
　上記物体検出部で検出されていない物体の情報を要求する要求信号をブロードキャストする送信部と、
　上記要求信号の送信に対応して、上記物体検出部で検出されていない物体の情報を含む応答信号を受信する受信部を備える
　情報処理装置。
　（２）上記送信部は、運転注意区域で上記要求信号をブロードキャストする
　前記（１）に記載の情報処理装置。
　（３）上記送信部は、見通しの悪い場所で上記要求信号をブロードキャストする
　前記（１）または（２）に記載の情報処理装置。
　（４）上記送信部は、進行方向に物体が侵入してくる可能性がある場合に上記要求信号をブロードキャストする
　前記（１）から（３）のいずれかに記載の情報処理装置。
　（５）上記要求信号には、上記物体検出部で検出された所定数の物体の情報が含まれる
　前記（１）から（４）のいずれかに記載の情報処理装置。
　（６）上記物体検出部で検出された所定数の物体の位置および属性の情報に基づいて周辺環境の表示を制御すると共に、上記応答信号に含まれる上記物体検出部で検出されていない物体の位置および属性の情報に基づいて上記周辺環境の表示の更新を制御する表示制御部をさらに備える
　前記（１）から（５）のいずれかに記載の情報処理装置。
　（７）上記送信部は、上記応答信号に含まれる上記物体検出部で検出されていない物体が自己の車両が進む方向に位置するとき、上記応答信号の送信先に、注意を促すための注意信号を送信する
　前記（１）から（６）のいずれかに記載の情報処理装置。
　（８）物体検出部が、周辺に存在する物体を検出する物体検出ステップと、
　送信部が、上記物体検出ステップで検出されていない物体の情報を要求する要求信号をブロードキャストする送信ステップと、
　受信部が、上記要求信号の送信に対応して、上記物体検出ステップで検出されていない物体の情報を含む応答信号を受信する受信ステップを有る
　情報処理方法。
　（９）外部機器から、該外部機器の周辺に存在する所定数の物体の位置および属性の情報を含む要求信号を受信する受信部と、
　上記所定数の物体に自己が関連付けされている所定の物体が含まれていないとき、該所定の物体の位置および属性の情報を含む応答信号を上記外部機器にユニキャストする送信部を備える
　情報処理装置。
　（１０）受信部が、外部機器から、該外部機器の周辺に存在する所定数の物体の位置および属性の情報を含む要求信号を受信する受信ステップと、
　送信部が、上記所定数の物体に自己が関連付けされている所定の物体が含まれていないとき、該所定の物体の位置および属性の情報を含む応答信号を上記外部機器にユニキャストする送信ステップを有する
　情報処理方法。
　１００・・・車両制御システム
　２００・・・車両
　２０１ａ，２０１ｂ・・・物体（人）
　２１０ａ，２１０ｂ・・・スマートフォン
　２２０ａ，２２０ｂ・・・物体（車両）

Claims (10)

  1. 　周辺に存在する物体を検出する物体検出部と、
    　上記物体検出部で検出されていない物体の情報を要求する要求信号をブロードキャストする送信部と、
    　上記要求信号の送信に対応して、上記物体検出部で検出されていない物体の情報を含む応答信号を受信する受信部を備える
    　情報処理装置。
  2. 　上記送信部は、運転注意区域で上記要求信号をブロードキャストする
    　請求項１に記載の情報処理装置。
  3. 　上記送信部は、見通しの悪い場所で上記要求信号をブロードキャストする
    　請求項１に記載の情報処理装置。
  4. 　上記送信部は、進行方向に物体が侵入してくる可能性がある場合に上記要求信号をブロードキャストする
    　請求項１に記載の情報処理装置。
  5. 　上記要求信号には、上記物体検出部で検出された所定数の物体の情報が含まれる
    　請求項１に記載の情報処理装置。
  6. 　上記物体検出部で検出された所定数の物体の位置および属性の情報に基づいて周辺環境の表示を制御すると共に、上記応答信号に含まれる上記物体検出部で検出されていない物体の位置および属性の情報に基づいて上記周辺環境の表示の更新を制御する表示制御部をさらに備える
    　請求項１に記載の情報処理装置。
  7. 　上記送信部は、上記応答信号に含まれる上記物体検出部で検出されていない物体が自己の車両が進む方向に位置するとき、上記応答信号の送信先に、注意を促すための注意信号を送信する
    　請求項１に記載の情報処理装置。
  8. 　物体検出部が、周辺に存在する物体を検出する物体検出ステップと、
    　送信部が、上記物体検出ステップで検出されていない物体の情報を要求する要求信号をブロードキャストする送信ステップと、
    　受信部が、上記要求信号の送信に対応して、上記物体検出ステップで検出されていない物体の情報を含む応答信号を受信する受信ステップを有る
    　情報処理方法。
  9. 　外部機器から、該外部機器の周辺に存在する所定数の物体の位置および属性の情報を含む要求信号を受信する受信部と、
    　上記所定数の物体に自己が関連付けされている所定の物体が含まれていないとき、該所定の物体の位置および属性の情報を含む応答信号を上記外部機器にユニキャストする送信部を備える
    　情報処理装置。
  10. 　受信部が、外部機器から、該外部機器の周辺に存在する所定数の物体の位置および属性の情報を含む要求信号を受信する受信ステップと、
    　送信部が、上記所定数の物体に自己が関連付けされている所定の物体が含まれていないとき、該所定の物体の位置および属性の情報を含む応答信号を上記外部機器にユニキャストする送信ステップを有する
    　情報処理方法。
PCT/JP2018/045369 2017-12-15 2018-12-10 情報処理装置および情報処理方法 WO2019117104A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US16/770,086 US20200357284A1 (en) 2017-12-15 2018-12-10 Information processing apparatus and information processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017240146 2017-12-15
JP2017-240146 2017-12-15

Publications (1)

Publication Number Publication Date
WO2019117104A1 true WO2019117104A1 (ja) 2019-06-20

Family

ID=66820322

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/045369 WO2019117104A1 (ja) 2017-12-15 2018-12-10 情報処理装置および情報処理方法

Country Status (2)

Country Link
US (1) US20200357284A1 (ja)
WO (1) WO2019117104A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019127930B4 (de) * 2019-10-16 2022-01-20 Audi Ag Verfahren zur Positionsbestimmung eines nichtmotorisierten Verkehrsteilnehmers und Verkehrseinrichtung
EP4335121A1 (en) * 2021-05-05 2024-03-13 Telefonaktiebolaget LM Ericsson (publ) Methods and devices related to extended reality

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04199500A (ja) * 1990-11-29 1992-07-20 Nissan Motor Co Ltd 警報装置
JP2009009281A (ja) * 2007-06-27 2009-01-15 Ntt Docomo Inc 交通事故防止システム、サーバ装置及び交通事故防止方法
JP2009271766A (ja) * 2008-05-08 2009-11-19 Hitachi Ltd 自動車用障害物検知装置
WO2014192369A1 (ja) * 2013-05-31 2014-12-04 日立オートモティブシステムズ株式会社 車両用危険報知制御装置
JP2016224946A (ja) * 2016-05-26 2016-12-28 パナソニック株式会社 歩行者端末装置、車載端末装置、歩車間通信システム、ならびに歩車間通信方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7085812B1 (en) * 2001-08-06 2006-08-01 Bellsouth Intellectual Property Corporation System and method for selective application of email delivery options
US20070143417A1 (en) * 2005-12-15 2007-06-21 Daigle Brian K Instant messaging confirmation and receipt
JP5919541B2 (ja) * 2011-07-08 2016-05-18 パナソニックＩｐマネジメント株式会社 端末装置および通信システム
JP6448158B2 (ja) * 2015-05-29 2019-01-09 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 車載インフォテインメントとデータを交換するための方法、サーバ、モバイル端末、及び装置
JP6380284B2 (ja) * 2015-08-05 2018-08-29 株式会社Ｓｏｋｅｎ 位置検出装置、及び位置検出システム
US10049566B2 (en) * 2016-03-02 2018-08-14 Michael E. Shanahan Systems and methods for intra-vehicle pedestrian and infrastructure communication
DE102016224516A1 (de) * 2016-12-08 2018-06-14 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erkennen zumindest eines Fußgängers durch ein Fahrzeug
KR102334318B1 (ko) * 2017-09-19 2021-12-03 삼성전자주식회사 외부 이동 수단으로 릴레이 메시지를 전송하는 전자 장치 및 그 동작 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04199500A (ja) * 1990-11-29 1992-07-20 Nissan Motor Co Ltd 警報装置
JP2009009281A (ja) * 2007-06-27 2009-01-15 Ntt Docomo Inc 交通事故防止システム、サーバ装置及び交通事故防止方法
JP2009271766A (ja) * 2008-05-08 2009-11-19 Hitachi Ltd 自動車用障害物検知装置
WO2014192369A1 (ja) * 2013-05-31 2014-12-04 日立オートモティブシステムズ株式会社 車両用危険報知制御装置
JP2016224946A (ja) * 2016-05-26 2016-12-28 パナソニック株式会社 歩行者端末装置、車載端末装置、歩車間通信システム、ならびに歩車間通信方法

Also Published As

Publication number Publication date
US20200357284A1 (en) 2020-11-12

Similar Documents

Publication Publication Date Title
US11257374B2 (en) Information processing apparatus, information processing method, and moving object
US11873007B2 (en) Information processing apparatus, information processing method, and program
US11377101B2 (en) Information processing apparatus, information processing method, and vehicle
US11200795B2 (en) Information processing apparatus, information processing method, moving object, and vehicle
US11590985B2 (en) Information processing device, moving body, information processing method, and program
WO2019039281A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
US20220017093A1 (en) Vehicle control device, vehicle control method, program, and vehicle
WO2020129688A1 (ja) 車両制御装置、車両制御方法、車両、情報処理装置、情報処理方法、及び、プログラム
CN112534297A (zh) 信息处理设备和信息处理方法、计算机程序、信息处理系统以及移动设备
JP2019045364A (ja) 情報処理装置、自己位置推定方法、及び、プログラム
WO2019117104A1 (ja) 情報処理装置および情報処理方法
WO2019039280A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、車両
WO2020230693A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
JP2019100942A (ja) 移動体、測位システム、測位プログラム及び測位方法
WO2019097884A1 (ja) 情報処理装置と管理装置および方法とプログラム
WO2020129689A1 (ja) 移動体制御装置、移動体制御方法、移動体、情報処理装置、情報処理方法、及び、プログラム
WO2024048180A1 (ja) 情報処理装置、情報処理方法および車両制御システム
WO2023068116A1 (ja) 車載通信装置、端末装置、通信方法、情報処理方法及び通信システム
US20240054897A1 (en) Information processing device, information processing method, program, mobile device, and information processing system
WO2023171401A1 (ja) 信号処理装置、信号処理方法、および記録媒体
JPWO2020009060A1 (ja) 情報処理装置及び情報処理方法、コンピュータプログラム、並びに移動体装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18889582

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18889582

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP