WO2018180523A1 - 情報処理装置、情報処理方法、プログラム、及び、移動体 - Google Patents

情報処理装置、情報処理方法、プログラム、及び、移動体 Download PDF

Info

Publication number
WO2018180523A1
WO2018180523A1 PCT/JP2018/010125 JP2018010125W WO2018180523A1 WO 2018180523 A1 WO2018180523 A1 WO 2018180523A1 JP 2018010125 W JP2018010125 W JP 2018010125W WO 2018180523 A1 WO2018180523 A1 WO 2018180523A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound
moving object
moving
notification
control unit
Prior art date
Application number
PCT/JP2018/010125
Other languages
English (en)
French (fr)
Inventor
弘和 橋本
亮輔 田中
優樹 山本
徹 知念
Original Assignee
ソニー株式会社
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社, ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニー株式会社
Priority to CN201880019616.XA priority Critical patent/CN110431613B/zh
Priority to EP18775071.6A priority patent/EP3605499B1/en
Priority to US16/496,121 priority patent/US11317205B2/en
Priority to JP2019509238A priority patent/JP7091311B2/ja
Publication of WO2018180523A1 publication Critical patent/WO2018180523A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/12—Circuits for transducers, loudspeakers or microphones for distributing signals to two or more loudspeakers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R99/00—Subject matter not provided for in other groups of this subclass
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/02—Casings; Cabinets ; Supports therefor; Mountings therein
    • H04R1/025—Arrangements for fixing loudspeaker transducers, e.g. in a box, furniture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/403—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/01—Aspects of volume control, not necessarily automatic, in sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/13—Acoustic transducers and sound field adaptation in vehicles

Definitions

  • the present technology relates to an information processing device, an information processing method, a program, and a moving object, and in particular, an information processing device, an information processing method, a program, and a movement that accurately convey the position of a moving object around the moving object. About the body.
  • the present technology has been made in view of such a situation, and is capable of accurately transmitting the position of a moving body around a moving body such as a vehicle.
  • An information processing apparatus includes a moving body detection unit that detects a moving body around a moving body based on information input from a sensor, and moves the position of the moving body along with the movement of the detection position of the moving body.
  • a sound output control unit that moves the position of the sound image of the notification sound to be notified.
  • a motion prediction unit that predicts the motion of the moving object may be further provided, and the sound output control unit may further move the position of the sound image of the notification sound based on the predicted position of the moving object.
  • the sound output control unit sets the position of the sound image of the notification sound based on the first detection position of the moving object, and then the sound image of the notification sound based on the second detection position of the next moving object.
  • the position of the sound image of the notification sound can be set based on the predicted position of the moving object.
  • the motion prediction unit further predicts the movement of the moving body, and the sound output control unit moves the position of the sound image of the notification sound based on the predicted position of the moving body with respect to the predicted position of the moving body. Can be made.
  • the sound output control unit can control the volume of the notification sound based on the distance between the moving body and the moving body.
  • the voice output control unit can change the type of the notification sound according to the type of the moving object.
  • the voice output control unit can change the type of the notification sound for each moving object when there are a plurality of moving objects of the same type around the moving object.
  • a priority setting unit for setting a priority for the moving object may be further provided, and the audio output control unit may control the output of the notification sound for the plurality of moving objects based on the priority.
  • the audio output control unit can be controlled to preferentially output a notification sound for the moving object having a high priority.
  • the sound output control unit can control the volume of the notification sound based on the priority.
  • the priority setting unit can set the priority based on the degree of risk that the moving object collides with or comes into contact with the moving object.
  • the voice output control unit can be controlled to output the notification sound for the moving body within a predetermined range around the moving body.
  • the voice output control unit can control the vertical position of the sound image of the notification sound based on the vertical position of the moving body with respect to the plane on which the moving body exists.
  • the audio output control unit can control the position of the sound image of the notification sound in the vertical direction by controlling the output of audio from a plurality of speakers arranged at different heights in the moving body. .
  • the audio output control unit can control the output of audio from a plurality of speakers arranged to surround the driver of the moving body in the moving body.
  • the sound output control unit can move the position of the sound image of the notification sound with the movement of the detection position of the moving object with respect to the moving object.
  • An information processing method includes a moving object detection step of detecting a moving object around a moving object based on information input from a sensor, and the position of the moving object is determined along with the movement of the detection position of the moving object.
  • a sound output control step of moving the position of the sound image of the notification sound to be notified.
  • a program includes a moving object detection step for detecting a moving object around a moving object based on information input from a sensor, and a notification that notifies the position of the moving object as the detection position of the moving object moves. And causing the computer to execute a process including an audio output control step of moving the position of the sound image of the sound.
  • the moving body includes a sensor that is disposed on the main body and is used to detect a surrounding situation, a moving body detection unit that detects a surrounding moving body based on information input from the sensor, A voice output control unit that moves the position of the sound image of the notification sound that informs the position of the moving object as the detection position moves;
  • a moving body around a moving body is detected based on information input from a sensor, and a notification that informs the position of the moving body as the detection position of the moving body moves The position of the sound image moves.
  • the position of the moving body around the moving body can be accurately transmitted.
  • FIG. 1 It is a block diagram showing one embodiment of an in-vehicle system to which this art is applied. It is a figure which shows the 1st example of the installation position of a speaker. It is a flowchart for demonstrating 1st Embodiment of notification control processing. It is a graph which shows the control method of the volume of notification sound. It is a figure which shows the 1st output example of a notification sound. It is a figure which shows the 2nd output example of a notification sound. It is a figure which shows the 3rd output example of a notification sound. It is a figure which shows the 1st example of a motion of the bicycle used as notification object.
  • FIG. 1 is a block diagram illustrating an embodiment of an in-vehicle system to which the present technology is applied.
  • the in-vehicle system 10 is a system that is mounted on a vehicle and performs driving support.
  • the in-vehicle system 10 monitors the periphery of the vehicle and performs a process for preventing a collision or contact with a surrounding moving object (for example, a vehicle, a bicycle, a person, etc.). More specifically, the in-vehicle system 10 performs notification of the position of a moving body around the vehicle and control of a braking device such as a brake system for avoiding a collision or contact with the moving body.
  • the vehicle on which the in-vehicle system 10 is mounted is not particularly limited, and includes, for example, a three-wheel truck, a small truck, a small passenger car, a large passenger car, a large bus, a large truck, a large special vehicle, a small special vehicle, and the like.
  • a vehicle in which the in-vehicle system 10 is mounted is also referred to as a host vehicle, and vehicles other than the host vehicle are also referred to as other vehicles.
  • the in-vehicle system 10 includes a peripheral sensor 11, a vehicle information acquisition unit 12, an information processing unit 13, a display unit 14, an audio output unit 15, a braking control unit 16, and a braking device 17.
  • the surrounding sensor 11 includes various sensors used to detect the situation around the host vehicle.
  • the peripheral sensor 11 includes a camera (image sensor) that captures the periphery of the host vehicle, a short-range sensor used for detecting an object close to the host vehicle, a long-range sensor used for detecting an object far from the host vehicle, and the like.
  • Examples of the short distance sensor include an ultrasonic sensor.
  • Examples of the long distance sensor include a radar, a lidar, and a TOF (Time (of Flight) sensor.
  • peripheral sensor data data indicating information including a detection result (hereinafter referred to as peripheral sensor data) to the peripheral state detection unit 31 of the information processing unit 13.
  • peripheral image data an image taken by each camera of the peripheral sensor 11 is referred to as a peripheral image, and data indicating the peripheral image is referred to as peripheral image data.
  • peripheral image data is a kind of peripheral sensor data.
  • the vehicle information acquisition unit 12 includes various sensors used for predicting the movement of the host vehicle.
  • the vehicle information acquisition unit 12 includes a speed sensor, a steering angle sensor, a GNSS (Global Navigation Satellite System) receiver, and the like.
  • the vehicle information acquisition unit 12 acquires operation information of the direction indicator of the host vehicle, information indicating the gear position of the host vehicle, route information set in the navigation system, and the like.
  • the vehicle information acquisition unit 12 supplies the acquired sensor data and information (hereinafter collectively referred to as vehicle information) to the motion prediction unit 32.
  • the information processing unit 13 is configured by, for example, an ECU (Electronic Control Unit).
  • the information processing unit 13 includes a surrounding state detection unit 31, a motion prediction unit 32, a collision prediction unit 33, a priority setting unit 34, and an HMI (Human Machine Interface) control unit 35.
  • ECU Electronic Control Unit
  • HMI Human Machine Interface
  • the surrounding situation detection unit 31 detects the surrounding situation of the host vehicle based on the surrounding sensor data.
  • the surrounding situation detection unit 31 includes a space generation unit 41 and a moving object detection unit 42.
  • the space generation unit 41 generates a three-dimensional space map indicating the shape and position of an object around the host vehicle based on the surrounding sensor data.
  • the space generation unit 41 supplies the three-dimensional space map to the motion prediction unit 32 and the HMI control unit 35. Further, the space generation unit 41 supplies the peripheral image data of the peripheral sensor data to the HMI control unit 35.
  • the moving object detection unit 42 detects a moving object around the host vehicle based on the surrounding sensor data and the three-dimensional space map.
  • the moving object detection unit 42 supplies the detection result of the moving object to the motion prediction unit 32 and the HMI control unit 35.
  • the motion prediction unit 32 performs motion prediction of the host vehicle based on the vehicle information. In addition, the motion prediction unit 32 performs motion prediction of a moving object around the host vehicle based on the three-dimensional space map and the detection result of the moving object. The motion prediction unit 32 supplies the result of motion prediction of the host vehicle and the moving objects around the host vehicle to the collision prediction unit 33, the priority setting unit 34, and the HMI control unit 35.
  • the collision prediction unit 33 performs collision prediction of the moving body around the host vehicle based on the prediction result of the movement of the host vehicle and the moving body around the host vehicle.
  • the collision prediction unit 33 supplies the result of the collision prediction to the priority setting unit 34, the HMI control unit 35, and the braking control unit 16.
  • the priority setting unit 34 determines the priority (hereinafter referred to as notification priority) when notifying the position of each moving object based on the result of motion prediction of the host vehicle and the surrounding moving object and the result of collision prediction. Set).
  • the priority setting unit 34 supplies notification priority setting information to the HMI control unit 35.
  • the HMI control unit 35 controls the HMI of the own vehicle.
  • the HMI control unit 35 includes a display control unit 51 and an audio output control unit 52.
  • the display control unit 51 controls display of images (moving images and still images) on the display unit 14. For example, the display control unit 51 displays the situation around the host vehicle based on the three-dimensional space map, the detection result of the moving object around the host vehicle, and the motion prediction and the collision prediction result around the host vehicle. Peripheral monitoring image data for displaying the peripheral monitoring image shown is generated. The display control unit 51 supplies the periphery monitoring image data to the display unit 14 to display the periphery monitoring image.
  • the audio output control unit 52 controls the output of audio from the audio output unit 15. For example, the audio output control unit 52 determines the own vehicle based on the detection result of the moving object around the own vehicle, the result of motion prediction of the own vehicle and the moving object around the own vehicle, the result of the collision prediction, and the notification priority. The sound data for the notification sound for notifying the position of the moving body around the is generated. The audio output control unit 52 supplies the generated audio data to the audio output unit 15 and outputs a notification sound based on the audio data.
  • the sound output control unit 52 uses the sound image localization technique to localize the sound image of the notification sound near the position of the corresponding moving object, and the position of the sound image of the notification sound according to the movement of the moving object. Move.
  • the sound image localization technology is a technology that uses this sound image localization ability to control the position of a virtual sound source (sound image) perceived by a human by the time difference or volume difference of sounds output from a plurality of speakers. .
  • the display unit 14 includes, for example, various displays.
  • the display unit 14 displays various images such as a peripheral monitoring image under the control of the HMI control unit 35.
  • the audio output unit 15 is composed of, for example, a plurality of speakers provided in the own vehicle.
  • the sound output unit 15 outputs sound such as notification sound based on the sound data supplied from the sound output control unit 52.
  • the braking control unit 16 is configured by, for example, an ECU (Electronic Control Unit).
  • the braking control unit 16 controls the braking device 17 based on the collision prediction result by the collision prediction unit 33 to perform an emergency stop or the like of the host vehicle.
  • the braking device 17 is constituted by, for example, a brake system of the own vehicle.
  • FIG. 2 shows an arrangement example of speakers included in the audio output unit 15.
  • the audio output unit 15 includes four speakers, a speaker 111FL to a speaker 111BR.
  • the positions of the speakers 111FL to 111BR are schematically shown by dotted circles.
  • Speakers 111FL to 111BR are arranged in the vehicle 101 so as to surround the driver 102 sitting in the driver's seat. Specifically, the speaker 111FL is disposed on the left front side of the driver 102 and in the vicinity of the front end of the passenger seat door of the vehicle 101. The speaker 111FR is disposed on the right front side of the driver 102 and in the vicinity of the front end of the door of the driver's seat of the vehicle 101. The speaker 111BL is arranged at the left rear of the driver 102 and slightly ahead of the center of the door of the rear seat on the left side of the vehicle 101. The speaker 111BR is disposed on the right rear side of the driver 102 and slightly in front of the center of the rear seat door on the right side of the vehicle 101. The speakers 111FL to 111BR are all installed so as to face the interior of the vehicle 101. The driver 102 exists in a rectangular space with the speakers 111FL to 111BR as vertices.
  • speakers 111FL to 111BR are simply referred to as speakers 111 when it is not necessary to distinguish them individually.
  • This process is started when, for example, an operation for starting the vehicle 101 and starting driving is performed, for example, when an ignition switch, a power switch, a start switch, or the like of the vehicle 101 is turned on. Also, this process ends when, for example, an operation for ending driving is performed, for example, when an ignition switch, a power switch, a start switch, or the like of the vehicle 101 is turned off.
  • step S1 the information processing unit 13 acquires sensor information. Specifically, the surrounding state detection unit 31 acquires surrounding sensor data from each sensor of the surrounding sensor 11.
  • step S2 the space generation unit 41 performs a space generation process. That is, the space generation unit 41 generates (or updates) a three-dimensional space map indicating the shape, position, and the like of objects around the vehicle 101 based on the surrounding sensor data. It should be noted that the objects around the vehicle 101 include not only moving objects but also stationary objects (for example, buildings, road surfaces, etc.). The space generation unit 41 supplies the generated three-dimensional space map to the motion prediction unit 32 and the HMI control unit 35.
  • any method can be used as a method of generating the three-dimensional space map.
  • a technique such as SLAM (Simultaneous Localization and Mapping) is used.
  • the moving object detection unit 42 performs moving object detection. Specifically, the moving object detection unit 42 detects moving objects around the vehicle 101 based on the surrounding sensor data and the three-dimensional space map. For example, the moving object detection unit 42 detects the presence / absence of a moving object around the vehicle 101, the type, size, shape, position, and the like of the moving object. The moving object detection unit 42 supplies the detection result of the moving object to the motion prediction unit 32 and the HMI control unit 35.
  • the moving object to be detected includes not only a moving object that is actually moving, but also a moving object that is temporarily stationary such as a stopped vehicle, a bicycle, or a stopped pedestrian.
  • the moving object detection unit 42 can also detect a moving object around the vehicle 101 based only on the surrounding sensor data without using a three-dimensional space map, for example. In this case, the processes of step S2 and step S3 can be interchanged.
  • step S4 the moving object detection unit 42 determines whether there is a moving object in the vicinity based on the result of the process in step S3. For example, when the moving object detection unit 42 does not detect a moving object within a range (hereinafter referred to as a notification target range) having a radius centered on the vehicle 101 within a predetermined distance (hereinafter referred to as a notification target distance), It is determined that there is no moving object, and the process returns to step S1.
  • a notification target range a range having a radius centered on the vehicle 101 within a predetermined distance
  • steps S1 to S4 are repeatedly executed until it is determined that there is a moving object in the vicinity.
  • step S4 when a moving object is detected within the notification target range in step S4, the moving object detection unit 42 determines that a moving object exists in the vicinity, and the process proceeds to step S5.
  • step S5 the motion prediction unit 32 predicts the motion of the moving object. Specifically, the motion prediction unit 32 predicts the moving speed and moving direction of moving objects around the vehicle 101 based on the three-dimensional space map and the detection results of moving objects around the vehicle 101. The motion prediction unit 32 supplies the prediction result to the collision prediction unit 33, the priority setting unit 34, and the HMI control unit 35.
  • step S6 the collision prediction unit 33 performs collision prediction. Specifically, the collision prediction unit 33 determines whether or not the moving object around the vehicle 101 may collide with or come into contact with the vehicle 101 based on the prediction result of the moving object around the vehicle 101, and A time required for collision or contact of a moving object that may collide or contact is predicted (hereinafter referred to as collision prediction time).
  • the collision prediction unit 33 sets the risk level of the moving object.
  • the collision prediction unit 33, the stationary moving object, and the moving object moving in the direction away from the vehicle 101 are set to the risk level 1.
  • a moving object having a predicted collision time exceeding T1 seconds for example, 5 seconds
  • the predicted collision time is T1 seconds.
  • T2 seconds for example, 1 second
  • a moving object having a predicted collision time within T2 seconds is set to a risk level 4.
  • the collision prediction unit 33 supplies the result of collision prediction including the risk level of each moving object to the priority setting unit 34, the HMI control unit 35, and the braking control unit 16.
  • a moving object that is stationary and a moving object that is moving away from the vehicle 101 may be set to any one of the risk levels 2 to 4 based on the collision prediction time.
  • the risk level of each moving object may be set based on the distance to the vehicle 101. In this case, for example, the moving object closer to the vehicle 101 has a higher risk level.
  • step S8 the priority setting unit 34 sets a notification priority. Specifically, when a plurality of moving objects are detected within the notification target range, the priority setting unit 34 first selects a moving object to be notified from among them.
  • the priority setting unit 34 sets a moving object having the highest risk level as a notification target.
  • the moving object closest to the vehicle 101 is selected as the notification target.
  • the priority setting unit 34 selects a moving object having a risk level equal to or higher than a predetermined value as a notification target.
  • the priority setting unit 34 selects a predetermined number of moving objects with higher risk as notification targets.
  • the priority setting unit 34 sets all the moving objects within the notification target range as the notification target without selecting the notification target.
  • the priority setting unit 34 sets the priority order of the moving object to be notified (hereinafter referred to as a notification object moving object).
  • the priority setting unit 34 sets the priority order of the moving object to be notified in descending order of the risk level. Note that when moving objects having the same risk level exist, they may be set to the same priority order. For example, a moving object closer to the vehicle 101 may have a higher priority order.
  • the priority setting unit 34 sets all notification target moving objects to the same priority without setting the priority.
  • the priority setting unit 34 unconditionally selects the moving object as a notification target, for example.
  • the priority setting unit 34 supplies notification priority setting information to the HMI control unit 35.
  • This setting information includes information indicating the notification target moving object, and also includes information on the priority order of each notification target moving object.
  • step S9 the voice output control unit 52 generates voice data for notification sound based on the current position of the moving object.
  • the audio output control unit 52 sets the type of notification sound of each notification target moving object based on the type of each notification target moving object.
  • a notification sound is set so that the type of each notification target moving object can be easily identified.
  • a notification sound for a car is set to a “boo” sound reminiscent of a car horn of a car.
  • the notification sound for the motorbike is set to a “boom” sound reminiscent of the engine sound of the motorbike.
  • the notification sound for the bicycle is set to a sound “charincharin” reminiscent of the sound of a bicycle bell.
  • the notification sound for the person is set to a sound “tech tech” pronounced of the sound of the person walking.
  • the type of notification sound is changed so that each can be identified. For example, the notification sound pattern, tone color, tempo, and the like are changed for each notification target moving object.
  • the audio output control unit 52 sets the localization position of the sound image of the notification sound of each notification target moving object based on the current position of each notification target moving object. For example, the audio output control unit 52 sets the direction of the sound image of the notification sound of each notification target moving object to a direction in which each moving object exists with reference to a predetermined reference position.
  • the reference position is set, for example, at the center in the plane direction of the vehicle 101 or the position of the driver 102. Therefore, the direction of the sound image of the notification sound of each notification target moving body is set to the current direction (relative direction) of each notification target moving body with respect to the vehicle 101 (or the driver 102).
  • the audio output control unit 52 adjusts the position of the sound image of the notification sound of each notification target moving body in the distance direction according to the volume of the notification sound. For example, as shown in FIG. 4, the audio output control unit 52 is maximum when the distance to the vehicle 101 is 0 m and minimum when the distance to the notification target Dth, and is linear according to the distance to the vehicle 101 (own vehicle). The volume of the notification sound of each notification target moving object is set so as to be reduced to a minimum. Note that the maximum volume may be constant for all notification target moving objects, or may be changed depending on, for example, the priority order or type of the notification target moving object.
  • the audio output control unit 52 supplies each speaker 111 so that the notification sound of each notification target moving object becomes the set type sound and the sound image of the notification sound of each notification target moving object is localized at the set position. Audio data to be generated. At this time, for example, when there are a plurality of notification target moving objects in the same direction, the sound data is generated so that the output sound of one speaker 111 includes the notification sounds of the plurality of notification target moving objects.
  • step S10 the audio output unit 15 outputs a notification sound. That is, the audio output control unit 52 supplies the audio data generated in the process of step S ⁇ b> 9 to each speaker 111 of the audio output unit 15. Each speaker 111 outputs sound based on the sound data.
  • the notification sound for each notification target moving object is output as a sound corresponding to the type of each notification target moving object, and the sound image of each notification sound is the current state of each notification target moving object for the vehicle 101 (or the driver 102). Localize to a position corresponding to the direction and distance of the position.
  • a notification sound is generated so that a sound “boo-boo” can be heard from the direction of the automobile 151 with respect to the automobile 151 existing at the left front of the vehicle 101 in the notification target range R1.
  • a notification sound is output so that a sound “charing charin” can be heard from the direction of the bicycle 152 with respect to the bicycle 152 existing in the right front of the vehicle 101 within the notification target range R1.
  • a notification sound is output to the motorbike 153 existing on the left rear side of the vehicle 101 in the notification target range R ⁇ b> 1 so that a sound “boom bang” can be heard from the direction of the motor bike 153.
  • a notification sound is output to the person 154 who exists on the right rear side of the vehicle 101 in the notification target range R ⁇ b> 1 so that a sound “boom bang” can be heard from the direction of the person 154.
  • the driver 102 can easily grasp the type and position of the moving object around the vehicle 101.
  • the audio output control unit 52 may control the output of the notification sound according to the priority order of each notification target object.
  • notification sound of a notification target object having a high priority may be output with priority.
  • priority For example, as shown in FIG. 6, only the notification sound for the bicycle 152 with the highest priority may be output.
  • the volume of the notification sound for each notification target object may be adjusted according to the priority order. For example, the volume of the notification sound for the bicycle 152 with the highest priority is maximized, the volume of the notification sound for the automobile 151 with the second highest priority is increased second, and the motorbike 153 with the third highest priority. The sound volume of the notification sound for the person 154 having the lowest priority is made the smallest.
  • step S10 the notification sound whose output has been started in the process of step S10 continues at the same type and the same localization position until a notification sound is newly output or the notification control process ends in step S13 described later. Is output.
  • step S11 the braking control unit 16 determines whether or not an emergency stop is necessary. For example, the brake control unit 16 determines that there is no need for an emergency stop when there is no moving object of the risk level 4 in moving objects around the vehicle 101, and the process proceeds to step S12.
  • step S12 the voice output control unit 52 generates voice data for notification sound based on the predicted position of the moving object. Specifically, the voice output control unit 52 obtains the predicted position of each notification target moving body at the next timing of outputting the notification sound, based on the prediction result of the motion prediction unit 32. And the audio
  • step S13 the audio output unit 15 outputs a notification sound. That is, the audio output control unit 52 supplies the audio data generated in the process of step S ⁇ b> 12 to each speaker 111 of the audio output unit 15. Each speaker 111 outputs sound based on the sound data.
  • step S13 the notification sound whose output is started in the process of step S13 is the same type and the same localization position until the notification sound is newly output or the notification control process is ended in step S10 or next step S13. Is output continuously.
  • step S14 the moving object detection unit 42 determines whether it is time to perform moving object detection. If it is determined that it is not time to perform moving object detection, the process returns to step S12, and steps S12 to S14 are repeatedly executed until it is determined in step S14 that it is time to perform moving object detection.
  • the moving object detection unit 42 performs moving object detection based on the surrounding image data
  • the interval at which the moving object detection is performed is equal to or less than the frame rate of the surrounding image data.
  • the reason why the frame rate is set to be equal to or less than the frame rate of the peripheral image data is because, for example, it is assumed that the moving object detection is executed for every plurality of frames.
  • step S12 and step S13 the update position of the localization position of the sound image of the notification sound is equal to the execution interval of the moving object detection and is equal to or less than the frame rate of the surrounding image data. Even if the notification target moving object moves between the time when the notification sound is output based on the execution result of the moving object detection and the time when the notification sound is output based on the execution result of the next moving object detection, the notification sound The direction and volume of the sound image do not change. Therefore, as the notification target moving body moves, the direction and volume of the sound image of the notification sound change rapidly, and the driver 102 may feel uncomfortable or confused. Moreover, there is a possibility that a gap between the localization position of the sound image of the notification sound and the actual position of the notification target moving body may increase.
  • the notification sound is output based on the execution result of the moving object detection until the notification sound is output based on the execution result of the next moving object detection.
  • the localization position of the sound image of the notification sound is updated based on the predicted position of the notification target moving body. That is, after the position of the sound image of the notification sound is set based on the detection position of the moving object, the position of the sound image of the notification sound is set based on the detection position of the next moving object. Based on this, the position of the sound image of the notification sound is set. Thereby, the direction of the sound image of the notification sound and the update interval of the sound volume are shorter than the execution interval of the moving object detection.
  • the direction and volume of the sound image of the notification sound change more smoothly with the movement of the notification target moving body, and the driver 102 is prevented from feeling uncomfortable or confused.
  • the difference between the localization position of the sound image of the notification sound and the actual position of the moving object to be notified becomes small.
  • the notification target range R1 is a circular region having a center equal to the center C1 of the vehicle 101 and a radius equal to the communication target distance.
  • the notification target range R1 is defined by a line L1 extending from the center C1 in the direction of the speaker 111FL, a line L2 extending in the direction of the speaker 111FR, a line L3 extending in the direction of the speaker L111BL, and a line L4 extending in the direction of the speaker 111BR.
  • the four divided regions are referred to as a region R1F, a region R1L, a region R1R, and a region R1B, respectively.
  • Region R1F is a region in front of vehicle 101
  • region R1L is a region in the left direction of vehicle 101
  • region R1R is a region in the right direction of vehicle 101
  • region R1B is a region in the rear of vehicle 101.
  • the notification sound for the notification target moving object in the region R1F is output from the speaker 111FL and the speaker 111FR.
  • the notification sound for the notification target moving object in the region R1L is output from the speaker 111FL and the speaker 111BL.
  • the notification sound for the notification target moving object in the region R1R is output from the speaker 111FR and the speaker 111BR.
  • the notification sound for the notification target moving object in the region R1B is output from the speaker 111BL and the speaker 111BR.
  • the bicycle 171 enters the region R1R of the notification target range R1 from the right front of the vehicle 101 at time t0, moves in front of the vehicle 101 from right to left, and is notified at time t4. Out of range R1. Bicycle 171 reaches near the boundary between region R1R and region R1F at time t1, reaches near the front of vehicle 101 at time t2, and reaches near the boundary between region R1F and region R1L at time t3. ing.
  • FIG. 9 schematically shows changes in the direction and volume of the sound image of the notification sound when the localization position of the sound image of the notification sound with respect to the bicycle 171 is updated based only on the detection position of the bicycle 171.
  • the horizontal axis direction in the figure indicates the direction of the sound image of the notification sound
  • the vertical axis direction indicates the volume of the notification sound.
  • the output of the notification sound is started. Thereafter, the time advances, and the direction of the sound image of the notification sound moves from right to left as the bicycle 171 moves to the left.
  • the volume of the notification sound increases stepwise from time t0 to time t2, reaches its maximum during the period from time t2 to time t3, decreases stepwise from time t3 to time t5, and becomes zero at time t5. ing.
  • FIG. 10 schematically shows changes in the direction and volume of the sound image of the notification sound when the localization position of the sound image of the notification sound with respect to the bicycle 171 is updated based on both the detected position and the predicted position of the bicycle 171.
  • the horizontal axis direction in the figure indicates the direction of the sound image of the notification sound
  • the vertical axis direction indicates the volume of the notification sound.
  • the localization position of the notification sound is updated twice based on the predicted position of the bicycle 171 during each time.
  • the output of the notification sound is started, and thereafter, the time advances, and the direction of the sound image of the notification sound moves from right to left as the bicycle 171 moves to the left.
  • the volume of the notification sound increases stepwise from time t0 to time t2, reaches a maximum during the period from time t2 to the next notification sound localization position update timing, and then decreases stepwise until time t4. It is 0 at the update timing of the localization position of the next notification sound at time t4.
  • FIG. 11 shows a detailed example of the waveform of the output sound output from each speaker 111 when the bicycle 171 moves as shown in FIG.
  • the horizontal axis of FIG. 11 indicates time, the top waveform indicates the waveform of the output sound of the left front speaker 111FL, the second waveform indicates the waveform of the output sound of the right front speaker 111FR, and the third waveform. Indicates the waveform of the output sound of the left rear speaker 111BL, and the fourth waveform indicates the waveform of the output sound of the right rear speaker 111BR.
  • the horizontal axis of FIG. 11 indicates time, and the amplitude of the waveform indicates the volume of the output sound of each speaker 111.
  • the notification sound for the bicycle 171 is realized by synthesizing the output sound of the speaker 111FR and the output sound of the speaker 111BR. That is, the sound image of the notification sound for the bicycle 171 is localized in the direction of the bicycle 171 when viewed from the reference position (for example, the center of the vehicle 101 or the driver 102) by the output sound of the speaker 111FR and the output sound of the speaker 111BR. Moving. Further, the volume of the output sound of the speaker 111FR and the volume of the output sound of the speaker 111BR are adjusted so that the volume of the notification sound increases as the bicycle 171 approaches the reference position.
  • the notification sound for the bicycle 171 is realized by synthesizing the output sound of the speaker 111FL and the output sound of the speaker 111FR. That is, the sound image of the notification sound for the bicycle 171 is moved in the direction of the bicycle 171 when viewed from the reference position by the output sound of the speaker 111FL and the output sound of the speaker 111FR. Further, the volume of the output sound of the speaker 111FL and the output sound of the speaker 111FR is adjusted so that the volume of the notification sound increases as the bicycle 171 approaches the reference position, and the volume of the notification sound decreases as the distance from the reference position increases. .
  • the notification sound for the bicycle 171 is realized by synthesizing the output sound of the speaker 111FL and the output sound of the speaker 111BL. That is, the sound image of the notification sound for the bicycle 171 is moved in the direction of the bicycle 171 when viewed from the reference position by the output sound of the speaker 111FL and the output sound of the speaker 111BL. Further, the volume of the output sound of the speaker 111FL and the volume of the output sound of the speaker 111BL are adjusted so that the volume of the notification sound decreases as the bicycle 171 moves away from the reference position.
  • FIG. 13 shows a detailed example of the waveform of the output sound output from each speaker 111 when the bicycle 172 moves as shown in FIG.
  • the bicycle 172 enters the area R1B of the notification target range R1 from the left rear of the vehicle 101 at time t0, moves to the left from the rear of the vehicle 101 in the forward direction, and is notified at time t4. Out of range R1. Bicycle 172 reaches near the boundary between region R1B and region R1L at time t1, reaches the left side of vehicle 101 at time t2, and reaches near the boundary between region R1L and region R1F at time t3. ing.
  • the notification sound for the bicycle 172 is realized by synthesizing the output sound of the speaker 111BL and the output sound of the speaker 111BR. That is, the sound image of the notification sound for the bicycle 172 moves in the direction of the bicycle 172 when viewed from the reference position by the output sound of the speaker 111BL and the output sound of the speaker 111BR. Further, the volume of the output sound of the speaker 111BL and the volume of the output sound of the speaker 111BR is adjusted so that the volume of the notification sound increases as the bicycle 172 approaches the reference position.
  • the notification sound for the bicycle 172 is realized by combining the output sound of the speaker 111FL and the output sound of the speaker 111BL. That is, the sound image of the notification sound for the bicycle 172 moves in the direction of the bicycle 172 when viewed from the reference position by the output sound of the speaker 111FL and the output sound of the speaker 111BL. Further, the volume of the output sound of the speaker 111FL and the output sound of the speaker 111BL is adjusted so that the volume of the notification sound increases as the bicycle 172 approaches the reference position, and the volume of the notification sound decreases as the distance from the reference position increases. .
  • the notification sound for the bicycle 172 is realized by synthesizing the output sound of the speaker 111FL and the output sound of the speaker 111FR. That is, the sound image of the notification sound for the bicycle 172 moves in the direction of the bicycle 172 when viewed from the reference position by the output sound of the speaker 111FL and the output sound of the speaker 111FR. Further, the volume of the output sound of the speaker 111FL and the volume of the output sound of the speaker 111FR are adjusted so that the volume of the notification sound decreases as the bicycle 172 moves away from the reference position.
  • step S14 determines whether it is time to perform moving object detection. If it is determined in step S14 that it is time to perform moving object detection, the process returns to step S1.
  • steps S1 to S14 are repeatedly executed until it is determined in step S11 that an emergency stop is necessary.
  • step S11 for example, the braking control unit 16 determines that an emergency stop is necessary when there is a moving body of risk 4 in the moving body around the vehicle 101, and the process proceeds to step S15.
  • step S15 the braking control unit 16 controls the braking device 17 to urgently stop the vehicle 101. Thereby, the collision or contact with the moving body around the vehicle 101 is prevented.
  • the position of the sound image moves while the notification sound is continuously output in accordance with the movement of the moving object around the vehicle 101.
  • Different types of notification sounds are output for each moving object.
  • the position and type of moving objects around the vehicle 101 can be accurately transmitted to the driver 102.
  • the driver 102 can detect the danger reliably and quickly, and can avoid collision or contact with a moving object.
  • the movement of the own vehicle in addition to the movement of the moving object around the own vehicle, the movement of the own vehicle is predicted in comparison with the first embodiment, and the movement of the own vehicle and the surrounding moving object is predicted.
  • the difference is that collision prediction is performed based on the motion prediction result.
  • steps S101 to S105 processing similar to that in steps S1 to S5 in FIG. 3 is executed.
  • step S106 the motion prediction unit 32 acquires the vehicle information of the host vehicle (vehicle 101) from the vehicle information acquisition unit 12.
  • step S107 the motion prediction unit 32 predicts the motion of the host vehicle. Specifically, the motion prediction unit 32 predicts the moving speed and moving direction of the vehicle 101 based on the vehicle information. The motion prediction unit 32 supplies the prediction result to the collision prediction unit 33, the priority setting unit 34, and the HMI control unit 35.
  • step S108 the collision prediction unit 33 performs collision prediction. Specifically, the collision prediction unit 33 determines whether or not there is a possibility that the moving body around the vehicle 101 collides with or comes into contact with the vehicle 101 based on the prediction result of the movement of the vehicle 101 and the moving body around the vehicle 101. In addition, the collision prediction time of a moving object that may collide or come into contact is predicted.
  • step S109 the risk level of the moving object is set in the same manner as in step S7 of FIG.
  • the notification priority is set in the same manner as in step S7 of FIG.
  • the notification priority may be set in consideration of the result of motion prediction of the vehicle 101. For example, the priority of moving objects existing in the traveling direction of the vehicle 101 may be set higher.
  • steps S111 to S113 processing similar to that in steps S9 to S11 in FIG. 3 is executed.
  • step S114 the audio output control unit 52 generates audio data for notification sound based on the predicted positions of the host vehicle and the moving object. Specifically, the voice output control unit 52 obtains the predicted position of the vehicle 101 and each notification target moving object at the next timing of outputting the notification sound, based on the prediction result of the motion prediction unit 32. Then, the voice output control unit 52 uses the predicted relative position of each notification target object with respect to the vehicle 101 instead of the current position of each notification target moving object, similarly to the process of step S111, for each notification target moving object. Sound data for notification sound is generated.
  • steps S115 to S117 processing similar to that in steps S13 to S15 in FIG. 3 is executed.
  • the collision prediction and the notification priority are set based not only on the movement of the moving object but also on the movement of the vehicle 101, for example, notification to a moving object having a higher possibility of collision or contact is performed preferentially. Will come to be.
  • the relative position of each notification target object with respect to the vehicle 101 is predicted, and the localization position of the sound image of the notification sound is set based on the prediction result, so that the sound image of the notification sound is closer to each notification target object. Can be localized.
  • the number and arrangement of the speakers 111 are not limited to the example in FIG. 2 and can be changed.
  • the speakers when notifying about moving bodies in all horizontal directions around the host vehicle, the speakers may be arranged so that the driver exists in a space that surrounds the driver and has each speaker as a vertex. . Therefore, it is sufficient if there are at least three speakers.
  • the number of speakers can be two.
  • the speakers are arranged in more directions, the feeling of localization of the sound image of the notification sound increases, and the driver can more reliably grasp the position of the moving object.
  • FIG. 15 it is conceivable to arrange eight speakers 111 around the driver 102. In the figure, parts corresponding to those in FIG.
  • a speaker 111F, a speaker 111L, a speaker 111R, and a speaker 111B are added as compared with the example of FIG.
  • the speaker 111 ⁇ / b> F is disposed near the middle of the speaker 111 ⁇ / b> FL and the speaker 111 ⁇ / b> FR and near the center of the dashboard of the vehicle 101.
  • the speaker 111L is disposed near the middle between the speaker 111FL and the speaker 111BL and near the rear end of the door of the passenger seat of the vehicle 101.
  • the speaker 111 ⁇ / b> R is disposed near the middle between the speaker 111 ⁇ / b> FR and the speaker 111 ⁇ / b> BR and near the rear end of the door of the driver's seat of the vehicle 101.
  • the speaker 111B is disposed near the middle between the speaker 111BL and the speaker 111BR and near the center of the rear seat.
  • the speaker 111F and the speaker 111B, and the speaker 111L and the speaker 11R are arranged so as to face each other.
  • the audio output control unit 52 controls not only the horizontal position of the sound image of the notification sound for the own vehicle (or the driver) but also the position in the vertical direction (vertical direction). You may make it notify the position of the up-down direction of the moving body on the basis of the plane (for example, road surface) in which a driver
  • the position of the moving body in the vertical direction relative to the plane on which the host vehicle exists is, for example, the position of the moving body in a direction perpendicular to the road surface on which the host vehicle exists.
  • the position in the vertical direction with respect to the plane on which the host vehicle is present Is almost the same as the vehicle.
  • the position in the vertical direction with respect to the plane on which the host vehicle of the moving body exists is higher than that of the host vehicle.
  • the sound image of the notification sound for the moving object is localized upward.
  • the sound image of the notification sound for the moving body is localized downward.
  • FIG. 16 is a perspective view schematically showing the inside of the vehicle 101 as viewed from the left. In the figure, the same reference numerals are given to the portions corresponding to those in FIG.
  • a speaker 111FLU (not shown), a speaker 111FRU, a speaker 111FLD (not shown), a speaker 111FRD, a speaker 111BLD (not shown), and a speaker 111BRD are added as compared to the example of FIG.
  • the speaker 111FRU is located higher than the speaker 111FR and is arranged near the upper right end of the windshield of the vehicle 101.
  • the speaker 111FRD is disposed below the speaker 111FR and in the vicinity of the lower end of the door of the driver's seat.
  • the speaker 111BRD is disposed below the speaker 111BR and near the lower end of the right rear seat door.
  • the speaker 111FLU, the speaker 111FLD, and the speaker 111BLD are arranged on the left side of the vehicle 101 at a position substantially facing the speaker 111FRU, the speaker FRD, and the speaker 111BRD.
  • the speaker 111FLU, the speaker 111FRU, the speaker 111FLD, the speaker 111FRD, the speaker 111BLD, and the speaker 111BRD are all installed so as to face the interior of the vehicle 101.
  • the sound image of the notification sound can be localized at a position higher than the vehicle 101 (or the driver 102) by the output sound of the speaker 111FRU and the output sound of the speaker 111FR. Further, for example, the sound image of the notification sound can be localized at a position lower than the vehicle 101 (or the driver 102) by the output sound of the speaker 111FRU and the output sound of the speaker 111FR.
  • the information processing unit 13 can be divided into a plurality of parts, a part of the information processing unit 13 and the braking control unit 16 can be combined, or the braking control unit 16 can be included in the information processing unit 13.
  • the notification target range is set based on the distance from the vehicle 101.
  • the notification target range may be set based on the predicted collision time. That is, of the moving objects around the vehicle 101, a moving object whose predicted collision time is within a predetermined time may be set as a notification target.
  • the type of notification sound may be changed based on the priority and the risk level.
  • the type of notification sound may be set by user setting.
  • the present technology can also be applied to a moving body other than the vehicle exemplified above.
  • the present technology can be applied to a moving body such as a motorcycle, a bicycle, personal mobility, an airplane, a drone, a ship, a robot, a construction machine, and an agricultural machine (tractor).
  • FIG. 17 is a block diagram showing an example of the hardware configuration of a computer that executes the above-described series of processing by a program.
  • a CPU Central Processing Unit
  • ROM Read Only Memory
  • RAM Random Access Memory
  • an input / output interface 405 is connected to the bus 404.
  • An input unit 406, an output unit 407, a recording unit 408, a communication unit 409, and a drive 410 are connected to the input / output interface 405.
  • the input unit 406 includes an input switch, a button, a microphone, an image sensor, and the like.
  • the output unit 407 includes a display, a speaker, and the like.
  • the recording unit 408 includes a hard disk, a nonvolatile memory, and the like.
  • the communication unit 409 includes a network interface.
  • the drive 410 drives a removable recording medium 411 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory.
  • the CPU 401 loads, for example, the program recorded in the recording unit 408 to the RAM 403 via the input / output interface 405 and the bus 404 and executes the program. Is performed.
  • the program executed by the computer (CPU 401) can be provided by being recorded in, for example, a removable recording medium 411 as a package medium or the like.
  • the program can be provided via a wired or wireless transmission medium such as a local area network, the Internet, or digital satellite broadcasting.
  • the program can be installed in the recording unit 408 via the input / output interface 405 by attaching the removable recording medium 411 to the drive 410. Further, the program can be received by the communication unit 409 via a wired or wireless transmission medium and installed in the recording unit 408. In addition, the program can be installed in the ROM 402 or the recording unit 408 in advance.
  • the program executed by the computer may be a program that is processed in time series in the order described in this specification, or in parallel or at a necessary timing such as when a call is made. It may be a program for processing.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether all the components are in the same housing. Accordingly, a plurality of devices housed in separate housings and connected via a network and a single device housing a plurality of modules in one housing are all systems. .
  • the present technology can take a cloud computing configuration in which one function is shared by a plurality of devices via a network and is jointly processed.
  • each step described in the above flowchart can be executed by one device or can be shared by a plurality of devices.
  • the plurality of processes included in the one step can be executed by being shared by a plurality of apparatuses in addition to being executed by one apparatus.
  • a moving object detection unit that detects a moving object around the moving object based on information input from the sensor;
  • An information processing apparatus comprising: a sound output control unit configured to move a position of a sound image of a notification sound that informs the position of the moving object according to the movement of the detection position of the moving object.
  • a motion prediction unit that predicts the motion of the moving object;
  • the sound output control unit sets the position of the sound image of the notification sound based on the first detection position of the moving object, and then determines the sound image of the notification sound based on the second detection position of the next moving object.
  • the information processing apparatus wherein the position of the sound image of the notification sound is set based on the predicted position of the moving object before the position is set.
  • the motion prediction unit further predicts the movement of the moving object, The information processing apparatus according to (2) or (3), wherein the sound output control unit moves the position of the sound image of the notification sound based on the predicted position of the moving object with respect to the predicted position of the moving object.
  • the voice output control unit controls a volume of the notification sound based on a distance between the moving body and the moving body.
  • the information processing apparatus according to any one of (1) to (5), wherein the audio output control unit changes a type of the notification sound according to a type of the moving object.
  • the information output apparatus changes the type of the notification sound for each moving object when a plurality of moving objects of the same type exist around the moving object.
  • a priority setting unit for setting a priority for the moving object; The information processing apparatus according to any one of (1) to (7), wherein the audio output control unit controls output of a notification sound to the plurality of moving objects based on the priority.
  • the audio output control unit performs control so as to preferentially output a notification sound for the moving object having a high priority.
  • the information processing apparatus according to (8) or (9), wherein the audio output control unit controls a volume of the notification sound based on the priority.
  • the audio output control unit controls the position of the sound image of the notification sound in the vertical direction by controlling the output of audio from a plurality of speakers arranged at different heights in the moving body.
  • the audio output control unit controls output of audio from a plurality of speakers arranged to surround the driver of the moving body in the moving body. Any one of (1) to (14) The information processing apparatus described.
  • a sensor that is placed on the body and used to detect surrounding conditions;
  • a moving body detection unit for detecting a surrounding moving body based on information input from the sensor;
  • a moving body comprising: a sound output control unit that moves a position of a sound image of a notification sound that informs the position of the moving body as the detection position of the moving body moves.

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Otolaryngology (AREA)
  • Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Stereophonic System (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

本技術は、移動体の周辺の動体の位置を正確に伝えることができるようにする情報処理装置、情報処理方法、プログラム、及び、移動体に関する。 情報処理装置は、センサから入力される情報に基づいて移動体周辺の動体を検出する動体検出部と、前記動体の検出位置の移動に伴い、前記動体の位置を知らせる通知音の音像の位置を移動させる音声出力制御部とを備える。本技術は、例えば、動体への衝突又は接触を防止するための運転支援を行う装置、システム又は車両に適用できる。

Description

情報処理装置、情報処理方法、プログラム、及び、移動体
　本技術は、情報処理装置、情報処理方法、プログラム、及び、移動体に関し、特に、移動体の周辺の動体の位置を正確に伝えるようにした情報処理装置、情報処理方法、プログラム、及び、移動体に関する。
　従来、自車両の交差点の通過形態及び交差点への進入タイミング、並びに、他車両の交差点の通過形態及び交差点への進入タイミングに基づいて、他車両を案内する案内音声を出力するスピーカを選択することが提案されている（例えば、特許文献１参照）。
　また、従来、自車両又は運転者に対する障害物の方向に警報情報の音像を定位させることが提案されている（例えば、特許文献２参照）。
特開２００９－２４５３４０号公報 国際公開第２００８／０７５４０７号
　ところで、車両の周辺の動体との衝突又は接触を回避するために、より正確に動体の位置を伝えることが望まれている。
　本技術は、このような状況に鑑みてなされたものであり、車両等の移動体の周辺の動体の位置を正確に伝えることができるようにするものである。
　本技術の第１の側面の情報処理装置は、センサから入力される情報に基づいて移動体周辺の動体を検出する動体検出部と、前記動体の検出位置の移動に伴い、前記動体の位置を知らせる通知音の音像の位置を移動させる音声出力制御部とを備える。
　前記動体の動きを予測する動き予測部をさらに設け、前記音声出力制御部には、さらに前記動体の予測位置に基づいて、前記通知音の音像の位置を移動させることができる。
　前記音声出力制御部には、前記動体の第１の検出位置に基づいて前記通知音の音像の位置を設定してから、次の前記動体の第２の検出位置に基づいて前記通知音の音像の位置を設定するまでの間に、前記動体の予測位置に基づいて、前記通知音の音像の位置を設定させることができる。
　前記動き予測部には、前記移動体の動きをさらに予測させ、前記音声出力制御部には、前記移動体の予測位置に対する前記動体の予測位置に基づいて、前記通知音の音像の位置を移動させることができる。
　前記音声出力制御部には、前記移動体と前記動体との間の距離に基づいて、前記通知音の音量を制御させることができる。
　前記音声出力制御部には、前記動体の種類により前記通知音の種類を変更させることができる。
　前記音声出力制御部には、前記移動体周辺に同じ種類の動体が複数存在する場合、動体毎に前記通知音の種類を変更させることができる。
　前記動体に対する優先度を設定する優先度設定部をさらに設け、前記音声出力制御部には、前記優先度に基づいて、複数の前記動体に対する通知音の出力を制御させることができる。
　前記音声出力制御部には、前記優先度が高い前記動体に対する通知音を優先的に出力するように制御させることができる。
　前記音声出力制御部には、前記優先度に基づいて前記通知音の音量を制御させることができる。
　前記優先度設定部には、前記動体が前記移動体に衝突又は接触する危険度に基づいて、前記優先度を設定させることができる。
　前記音声出力制御部には、前記移動体の周囲の所定の範囲内の前記動体に対する前記通知音を出力するように制御させることができる。
　前記音声出力制御部には、前記移動体が存在する平面を基準とする前記動体の上下方向の位置に基づいて、前記通知音の音像の上下方向の位置を制御させることができる。
　前記音声出力制御部には、前記移動体において異なる高さに配置されている複数のスピーカからの音声の出力を制御することにより、前記通知音の音像の上下方向の位置を制御させることができる。
　前記音声出力制御部には、前記移動体において前記移動体の運転者の周囲を囲むように配置されている複数のスピーカからの音声の出力を制御させることができる。
　前記音声出力制御部には、前記移動体に対する前記動体の検出位置の移動に伴い、前記通知音の音像の位置を移動させることができる。
　本技術の第１の側面の情報処理方法は、センサから入力される情報に基づいて移動体周辺の動体を検出する動体検出ステップと、前記動体の検出位置の移動に伴い、前記動体の位置を知らせる通知音の音像の位置を移動させる音声出力制御ステップとを含む。
　本技術の第１の側面のプログラムは、センサから入力される情報に基づいて移動体周辺の動体を検出する動体検出ステップと、前記動体の検出位置の移動に伴い、前記動体の位置を知らせる通知音の音像の位置を移動させる音声出力制御ステップとを含む処理をコンピュータに実行させる。
　本技術の第２の側面の移動体は、本体に配置され周辺の状況の検出に用いるセンサと、前記センサから入力される情報に基づいて周辺の動体を検出する動体検出部と、前記動体の検出位置の移動に伴い、前記動体の位置を知らせる通知音の音像の位置を移動させる音声出力制御部とを備える。
　本技術の第１の側面又は第２の側面においては、センサから入力される情報に基づいて移動体周辺の動体が検出され、前記動体の検出位置の移動に伴い、前記動体の位置を知らせる通知音の音像の位置が移動する。
　本技術の第１の側面又は第２の側面によれば、移動体の周辺の動体の位置を正確に伝えることができる。
　なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
本技術を適用した車載システムの一実施の形態を示すブロック図である。 スピーカの設置位置の第１の例を示す図である。 通知制御処理の第１の実施形態を説明するためのフローチャートである。 通知音の音量の制御方法を示すグラフである。 通知音の第１の出力例を示す図である。 通知音の第２の出力例を示す図である。 通知音の第３の出力例を示す図である。 通知対象となる自転車の動きの第１の例を示す図である。 自転車の予測位置を用いない場合の通知音の音像の方向及び音量の変化を模式的に示す図である。 自転車の予測位置を用いた場合の通知音の音像の方向及び音量の変化を模式的に示す図である。 図８の自転車に対する通知音を出力するために各スピーカから出力される出力音の波形の例を示すグラフである。 通知対象となる自転車の動きの第２の例を示す図である。 図１２の自転車に対する通知音を出力するために各スピーカから出力される出力音の波形の例を示すグラフである。 通知制御処理の第２の実施形態を説明するためのフローチャートである。 スピーカの設置位置の第２の例を示す図である。 スピーカの設置位置の第３の例を示す図である。 コンピュータの構成例を示す図である。
　以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
　１．実施の形態
　２．変形例
　３．その他
　＜＜１．実施の形態＞＞
　＜１－１．車載システムの構成例＞
　図１は、本技術を適用した車載システムの一実施の形態を示すブロック図である。
　車載システム１０は、車両に搭載され、運転支援を行うシステムである。例えば、車載システム１０は、車両の周辺を監視し、周辺の動体（例えば、車両、自転車、人等）との衝突又は接触を防止するための処理を行う。より具体的には、車載システム１０は、車両の周辺の動体の位置の通知、及び、動体との衝突又は接触を回避するためのブレーキシステム等の制動装置の制御等を行う。
　なお、車載システム１０が搭載される車両は、特に限定されるものではなく、例えば、三輪トラック、小型トラック、小型乗用車、大型乗用車、大型バス、大型トラック、大型特殊車、小型特殊車等を含む。また、以下、車載システム１０が搭載されている車両を自車両とも称し、自車両以外の車両を他車両とも称する。
　車載システム１０は、周辺センサ１１、車両情報取得部１２、情報処理部１３、表示部１４、音声出力部１５、制動制御部１６、及び、制動装置１７を備える。
　周辺センサ１１は、自車両の周辺の状況の検出に用いる各種のセンサを備える。例えば、周辺センサ１１は、自車両の周辺を撮影するカメラ（画像センサ）、自車両に近い物体の検出に用いる近距離センサ、並びに、自車両から遠い物体の検出に用いる遠距離センサ等を備える。近距離センサとしては、例えば、超音波センサ等が挙げられる。遠距離センサとしては、例えば、レーダ、ライダ、ＴＯＦ（Time of Flight）センサ等が挙げられる。周辺センサ１１の各センサは、それぞれ検出結果を含む情報を示すデータ（以下、周辺センサデータと称する）を情報処理部１３の周辺状況検出部３１に供給する。
　なお、以下、周辺センサ１１の各カメラにより撮影された画像を周辺画像と称し、周辺画像を示すデータを周辺画像データと称する。周辺画像データは、周辺センサデータの一種である。
　車両情報取得部１２は、自車両の動きの予測に用いる各種のセンサ等を備える。例えば、車両情報取得部１２は、速度センサ、操舵角センサ、ＧＮＳＳ（Global Navigation Satellite System）受信機等を備える。また、車両情報取得部１２は、自車両の方向指示器の操作情報、自車両のギアの位置を示す情報、ナビゲーションシステムに設定されたルート情報等を取得する。車両情報取得部１２は、取得したセンサデータ及び情報（以下、車両情報と総称する）を動き予測部３２に供給する。
　なお、自車両に予め備えられているセンサを、周辺センサ１１及び車両情報取得部１２に用いるようにしてもよい。
　情報処理部１３は、例えば、ＥＣＵ（Electronic Control Unit）等により構成される。情報処理部１３は、周辺状況検出部３１、動き予測部３２、衝突予測部３３、優先度設定部３４、及び、ＨＭＩ（Human Machine Interface）制御部３５を備える。
　周辺状況検出部３１は、周辺センサデータに基づいて、自車両の周辺の状況の検出を行う。周辺状況検出部３１は、空間生成部４１及び動体検出部４２を備える。
　空間生成部４１は、周辺センサデータに基づいて、自車両の周辺の物体の形状や位置等を示す３次元空間マップを生成する。空間生成部４１は、３次元空間マップを動き予測部３２及びＨＭＩ制御部３５に供給する。また、空間生成部４１は、周辺センサデータのうち周辺画像データをＨＭＩ制御部３５に供給する。
　動体検出部４２は、周辺センサデータ及び３次元空間マップに基づいて、自車両の周辺の動体の検出を行う。動体検出部４２は、動体の検出結果を動き予測部３２及びＨＭＩ制御部３５に供給する。
　動き予測部３２は、車両情報に基づいて、自車両の動き予測を行う。また、動き予測部３２は、３次元空間マップ及び動体の検出結果に基づいて、自車両の周辺の動体の動き予測を行う。動き予測部３２は、自車両及び自車両の周辺の動体の動き予測の結果を、衝突予測部３３、優先度設定部３４、及び、ＨＭＩ制御部３５に供給する。
　衝突予測部３３は、自車両及び自車両の周辺の動体の動きの予測結果に基づいて、自車両の周辺の動体の衝突予測を行う。衝突予測部３３は、衝突予測の結果を優先度設定部３４、ＨＭＩ制御部３５、及び、制動制御部１６に供給する。
　優先度設定部３４は、自車両及び自車両の周辺の動体の動き予測の結果、並びに、衝突予測の結果に基づいて、各動体の位置を通知する際の優先度（以下、通知優先度と称する）を設定する。優先度設定部３４は、通知優先度の設定情報をＨＭＩ制御部３５に供給する。
　ＨＭＩ制御部３５は、自車両のＨＭＩの制御を行う。ＨＭＩ制御部３５は、表示制御部５１及び音声出力制御部５２を備える。
　表示制御部５１は、表示部１４による画像（動画及び静止画）の表示を制御する。例えば、表示制御部５１は、３次元空間マップ、自車両の周辺の動体の検出結果、並びに、自車両の周辺の動体の動き予測及び衝突予測の結果に基づいて、自車両の周辺の状況を示す周辺監視画像を表示するための周辺監視画像データを生成する。表示制御部５１は、周辺監視画像データを表示部１４に供給し、周辺監視画像を表示させる。
　音声出力制御部５２は、音声出力部１５からの音声の出力を制御する。例えば、音声出力制御部５２は、自車両の周辺の動体の検出結果、自車両及び自車両の周辺の動体の動き予測の結果、衝突予測の結果、及び、通知優先度に基づいて、自車両の周辺の動体の位置を通知する通知音用の音声データを生成する。音声出力制御部５２は、生成した音声データを音声出力部１５に供給し、音声データに基づく通知音を出力させる。
　また、音声出力制御部５２は、後述するように、音像定位技術を用いて、通知音の音像を対応する動体の位置付近に定位させるともに、動体の移動に応じて、通知音の音像の位置を移動させる。
　ここで、人間は、左右の耳に届く音の時間差により、音源の方向や距離を知覚する能力（音像定位能）を有している。音像定位技術とは、この音像定位能を利用して、複数のスピーカから出力される音の時間差や音量の違い等により、人間が知覚する仮想の音源（音像）の位置を制御する技術である。
　表示部１４は、例えば、各種のディスプレイ等により構成される。表示部１４は、ＨＭＩ制御部３５の制御の下に、周辺監視画像等の各種の画像を表示する。
　音声出力部１５は、例えば、自車両に設けられている複数のスピーカにより構成される。音声出力部１５は、音声出力制御部５２から供給される音声データに基づいて、通知音等の音声を出力する。
　制動制御部１６は、例えば、ＥＣＵ（Electronic Control Unit）等により構成される。制動制御部１６は、衝突予測部３３による衝突予測結果に基づいて、制動装置１７を制御して、自車両の緊急停止等を行う。
　制動装置１７は、例えば、自車両のブレーキシステム等により構成される。
　＜１－２．スピーカの配置例＞
　図２は、音声出力部１５が備えるスピーカの配置例を示している。
　例えば、音声出力部１５は、スピーカ１１１ＦＬ乃至スピーカ１１１ＢＲの４つのスピーカを備えている。なお、図２には、点線の円により、スピーカ１１１ＦＬ乃至スピーカ１１１ＢＲの位置が模式的に示されている。
　スピーカ１１１ＦＬ乃至スピーカ１１１ＢＲは、車両１０１の室内において、運転席に座っている運転者１０２を囲むように配置されている。具体的には、スピーカ１１１ＦＬは、運転者１０２の左前方であって、車両１０１の助手席のドアの前端付近に配置されている。スピーカ１１１ＦＲは、運転者１０２の右前方であって、車両１０１の運転席のドアの前端付近に配置されている。スピーカ１１１ＢＬは、運転者１０２の左後方であって、車両１０１の左側の後部座席のドアの中央よりやや前よりに配置されている。スピーカ１１１ＢＲは、運転者１０２の右後方であって、車両１０１の右側の後部座席のドアの中央よりやや前よりに配置されている。スピーカ１１１ＦＬ乃至スピーカ１１１ＢＲは、いずれも車両１０１の室内を向くように設置されている。そして、スピーカ１１１ＦＬ乃至スピーカ１１１ＢＲを頂点とする四角形の空間内に運転者１０２が存在する。
　なお、以下、スピーカ１１１ＦＬ乃至スピーカ１１１ＢＲを個々に区別する必要がない場合、単にスピーカ１１１と称する。
　＜１－３．通知制御処理の第１の実施形態＞
　次に、図３のフローチャートを参照して、車載システム１０により実行される通知制御処理について説明する。なお、ここでは、音声により車両１０１の周辺の動体の位置を通知する処理を中心に説明し、音声以外の画像等により通知する処理の説明は省略する。
　この処理は、例えば、車両１０１を起動し、運転を開始するための操作が行われたとき、例えば、車両１０１のイグニッションスイッチ、パワースイッチ、又は、スタートスイッチ等がオンされたとき開始される。また、この処理は、例えば、運転を終了するための操作が行われたとき、例えば、車両１０１のイグニッションスイッチ、パワースイッチ、又は、スタートスイッチ等がオフされたとき終了する。
　ステップＳ１において、情報処理部１３は、センサ情報を取得する。具体的には、周辺状況検出部３１は、周辺センサ１１の各センサから周辺センサデータを取得する。
　ステップＳ２において、空間生成部４１は、空間生成処理を行う。すなわち、空間生成部４１は、周辺センサデータに基づいて、車両１０１の周辺の物体の形状や位置等を示す３次元空間マップを生成する（或いは、更新する）。なお、車両１０１の周辺の物体には、動体だけでなく、静止物（例えば、建物、路面等）も含まれる。空間生成部４１は、生成した３次元空間マップを動き予測部３２及びＨＭＩ制御部３５に供給する。
　なお、３次元空間マップの生成方法には、任意の方法を用いることが可能である。例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等の技術が用いられる。
　ステップＳ３において、動体検出部４２は、動体検出を行う。具体的には、動体検出部４２は、周辺センサデータ及び３次元空間マップに基づいて、車両１０１の周辺の動体の検出を行う。例えば、動体検出部４２は、車両１０１の周辺の動体の有無、動体の種類、大きさ、形状、位置等の検出を行う。動体検出部４２は、動体の検出結果を動き予測部３２及びＨＭＩ制御部３５に供給する。
　なお、動体の検出方法には、任意の方法を用いることが可能である。また、検出対象となる動体には、実際に動いている動体だけでなく、停車中の車両や自転車、停止中の歩行者等の一時的に静止している動体も含まれる。
　さらに、動体検出部４２は、例えば、３次元空間マップを用いずに、周辺センサデータのみに基づいて、車両１０１の周辺の動体の検出を行うことも可能である。この場合、ステップＳ２とステップＳ３の処理を入れ替えることが可能である。
　ステップＳ４において、動体検出部４２は、ステップＳ３の処理の結果に基づいて、周辺に動体が存在するか否かを判定する。例えば、動体検出部４２は、車両１０１を中心とする半径が所定の距離（以下、通知対象距離と称する）の範囲（以下、通知対象範囲と称する）内において動体が検出されなかった場合、周辺に動体が存在しないと判定し、処理はステップＳ１に戻る。
　その後、周辺に動体が存在すると判定されるまで、ステップＳ１乃至ステップＳ４の処理が繰り返し実行される。
　一方、ステップＳ４において、動体検出部４２は、通知対象範囲内において動体が検出された場合、周辺に動体が存在する判定し、処理はステップＳ５に進む。
　ステップＳ５において、動き予測部３２は、動体の動きを予測する。具体的には、動き予測部３２は、３次元空間マップ、及び、車両１０１の周辺の動体の検出結果に基づいて、車両１０１の周辺の動体の移動速度及び移動方向等の予測を行う。動き予測部３２は、予測結果を、衝突予測部３３、優先度設定部３４、及び、ＨＭＩ制御部３５に供給する。
　なお、動き予測の方法には、任意の方法を用いることが可能である。
　ステップＳ６において、衝突予測部３３は、衝突予測を行う。具体的には、衝突予測部３３は、車両１０１の周辺の動体の動きの予測結果に基づいて、車両１０１の周辺の動体が車両１０１に衝突又は接触する可能性があるか否か、並びに、衝突又は接触する可能性のある動体の衝突又は接触するまでの所要時間（以下、衝突予測時間と称する）を予測する。
　ステップＳ７において、衝突予測部３３は、動体の危険度を設定する。例えば、衝突予測部３３、静止中の動体、及び、車両１０１から離れる方向に移動中の動体を危険度１に設定する。一方、衝突予測部３３、車両１０１に接近する方向に移動中の動体のうち、衝突予測時間がＴ１秒（例えば、５秒）を超える動体を危険度２に設定し、衝突予測時間がＴ１秒以内、かつ、Ｔ２秒（例えば１秒）を超える動体を危険度３に設定し、衝突予測時間がＴ２秒以内である動体を危険度４に設定する。衝突予測部３３は、各動体の危険度を含む衝突予測の結果を優先度設定部３４、ＨＭＩ制御部３５、及び、制動制御部１６に供給する。
　なお、静止中の動体、及び、車両１０１から離れる方向に移動中の動体についても、衝突予測時間に基づいて、危険度２乃至４のいずれかに設定するようにしてもよい。
　また、例えば、衝突予測時間の代わりに、車両１０１との間の距離に基づいて、各動体の危険度を設定するようにしてもよい。この場合、例えば、車両１０１に近い動体ほど危険度が高く設定される。
　ステップＳ８において、優先度設定部３４は、通知優先度を設定する。具体的には、優先度設定部３４は、通知対象範囲内において複数の動体が検出された場合、まずその中から通知対象とする動体を選択する。
　例えば、優先度設定部３４は、最も危険度が高い動体を通知対象に設定する。なお、最も危険度が高い動体が複数存在する場合、例えば、最も車両１０１から近い動体が通知対象に選択される。
　或いは、例えば、優先度設定部３４は、危険度が所定の値以上の動体を通知対象に選択する。
　或いは、例えば、優先度設定部３４は、危険度が上位の所定の数の動体を通知対象に選択する。
　或いは、例えば、優先度設定部３４は、通知対象の選択を行わずに、通知対象範囲内の動体を全て通知対象とする。
　次に、優先度設定部３４は、通知対象とした動体（以下、通知対象動体と称する）の優先順位を設定する。
　例えば、優先度設定部３４は、危険度が高い順に通知対象動体の優先順位を設定する。なお、危険度が同じ動体が存在する場合、それらを同じ優先順位に設定してもよいし、例えば、車両１０１に近い動体ほど、優先順位を高く設定するようにしてもよい。
　或いは、例えば、優先度設定部３４は、優先順位の設定を行わずに、全ての通知対象動体を同じ優先順位とする。
　なお、優先度設定部３４は、通知対象範囲内において１つの動体が検出された場合、例えば、その動体を無条件に通知対象に選択する。
　優先度設定部３４は、通知優先度の設定情報をＨＭＩ制御部３５に供給する。この設定情報は、通知対象動体を示す情報を含み、各通知対象動体の優先順位を設定した場合には、その情報も含む。
　ステップＳ９において、音声出力制御部５２は、動体の現在位置に基づいて、通知音用の音声データを生成する。
　例えば、音声出力制御部５２は、各通知対象動体の種類に基づいて、各通知対象動体の通知音の種類を設定する。このとき、各通知対象動体の種類が容易に識別できるように、通知音が設定される。例えば、自動車に対する通知音は、自動車のカーホーンを連想させる”ブーブー”という音に設定される。モータバイクに対する通知音は、モータバイクのエンジン音を連想させる”ブォンブォン”という音に設定される。自転車に対する通知音は、自転車のベルの音を連想させる”チャリンチャリン”という音に設定される。人に対する通知音は、人が歩いている音を連想させる”テクテク”という音に設定される。
　なお、同じ種類の通知対象動体が複数存在する場合、それぞれを識別できるように通知音の種類が変更される。例えば、通知対象動体毎に通知音のパターン、音色、テンポ等が変更される。
　また、音声出力制御部５２は、各通知対象動体の現在位置に基づいて、各通知対象動体の通知音の音像の定位位置を設定する。例えば、音声出力制御部５２は、各通知対象動体の通知音の音像の方向を、所定の基準位置を基準にして各動体が存在する方向に設定する。なお、基準位置は、例えば、車両１０１の平面方向の中心、或いは、運転者１０２の位置に設定される。従って、各通知対象動体の通知音の音像の方向が、車両１０１（又は運転者１０２）に対する各通知対象動体の現在の方向（相対方向）に設定される。
　また、音声出力制御部５２は、通知音の音量により、各通知対象動体の通知音の音像の距離方向の位置を調整する。例えば、図４に示されるように、音声出力制御部５２は、車両１０１までの距離が０ｍのとき最大、かつ、通知対象距離Ｄｔｈのとき最小となり、車両１０１（自車両）までの距離に従って線形に減少するように、各通知対象動体の通知音の音量を設定する。なお、最大音量は、全ての通知対象動体で一定にしてもよいし、例えば、通知対象動体の優先順位や種類により変化させるようにしてもよい。
　そして、音声出力制御部５２は、各通知対象動体の通知音が、設定した種類の音となり、各通知対象動体の通知音の音像が、設定した位置に定位するように、各スピーカ１１１に供給する音声データを生成する。このとき、例えば、同じ方向に複数の通知対象動体が存在する場合等に、１つのスピーカ１１１の出力音に、複数の通知対象動体の通知音が含まれるように、音声データが生成される。
　ステップＳ１０において、音声出力部１５は、通知音を出力する。すなわち、音声出力制御部５２は、ステップＳ９の処理で生成した音声データを音声出力部１５の各スピーカ１１１に供給する。各スピーカ１１１は、音声データに基づく音声を出力する。その結果、各通知対象動体に対する通知音が、各通知対象動体の種類に対応する音で出力されるとともに、各通知音の音像が、車両１０１（又は運転者１０２）に対する各通知対象動体の現在位置の方向及び距離に対応する位置に定位する。
　これにより、例えば、図５に示されるように、通知対象範囲Ｒ１内において車両１０１の左前方に存在する自動車１５１に対して、自動車１５１の方向から”ブーブー”という音が聞こえるように通知音が出力される。通知対象範囲Ｒ１内において車両１０１の右前方に存在する自転車１５２に対して、自転車１５２の方向から”チャリンチャリン”という音が聞こえるように通知音が出力される。通知対象範囲Ｒ１内において車両１０１の左後方に存在するモータバイク１５３に対して、モータバイク１５３の方向から”ブォンブォン”という音が聞こえるように通知音が出力される。通知対象範囲Ｒ１内において車両１０１の右後方に存在する人１５４に対して、人１５４の方向から”ブォンブォン”という音が聞こえるように通知音が出力される。
　これにより、運転者１０２は、車両１０１の周辺の動体の種類及び位置を容易に把握することができる。
　なお、音声出力制御部５２は、各通知対象物体の優先順位に従って通知音の出力を制御するようにしてもよい。
　例えば、優先順位が高い通知対象物体の通知音が優先的に出力されるようにしてもよい。例えば、図６に示されるように、最も優先順位が高い自転車１５２に対する通知音のみが出力されるようにしてもよい。
　或いは、例えば、図７に示されるように、優先順位に従って、各通知対象物体に対する通知音の音量を調整してもよい。例えば、最も優先順位が高い自転車１５２に対する通知音の音量が最も大きくされ、優先順位が２番目に高い自動車１５１に対する通知音の音量が２番目に大きくされ、優先順位が３番目に高いモータバイク１５３に対する通知音の音量が３番目に大きくされ、優先順位が最も低い人１５４に対する通知音の音量が最も小さくされる。
　なお、ステップＳ１０の処理において出力が開始された通知音は、後述するステップＳ１３において、新たに通知音の出力が行われるか、通知制御処理が終了するまで、同じ種類かつ同じ定位位置で継続して出力される。
　ステップＳ１１において、制動制御部１６は、緊急停止が必要であるか否かを判定する。例えば、制動制御部１６は、車両１０１の周辺の動体の中に危険度４の動体が存在しない場合、緊急停止の必要がないと判定し、処理はステップＳ１２に進む。
　ステップＳ１２において、音声出力制御部５２は、動体の予測位置に基づいて、通知音用の音声データを生成する。具体的には、音声出力制御部５２は、動き予測部３２の予測結果に基づいて、次に通知音を出力するタイミングにおける各通知対象動体の予測位置を求める。そして、音声出力制御部５２は、各通知対象動体の現在位置の代わりに予測位置に基づいて、ステップＳ９の処理と同様に、各通知対象動体に対する通知音用の音声データを生成する。
　なお、予測位置が通知対象範囲の外に出た通知対象動体の通知音については、出力を停止するようにしてもよいし、継続するようにしてもよい。
　ステップＳ１３において、音声出力部１５は、通知音を出力する。すなわち、音声出力制御部５２は、ステップＳ１２の処理で生成した音声データを音声出力部１５の各スピーカ１１１に供給する。各スピーカ１１１は、音声データに基づく音声を出力する。
　なお、ステップＳ１３の処理において出力が開始された通知音は、ステップＳ１０又は次にステップＳ１３において、新たに通知音の出力が行われるか、通知制御処理が終了するまで、同じ種類かつ同じ定位位置で継続して出力される。
　ステップＳ１４において、動体検出部４２は、動体検出を行うタイミングであるか否かを判定する。動体検出を行うタイミングでないと判定された場合、処理はステップＳ１２に戻り、ステップＳ１４において、動体検出を行うタイミングであると判定されるまで、ステップＳ１２乃至ステップＳ１４の処理が繰り返し実行される。
　例えば、動体検出部４２が、周辺画像データに基づいて動体検出を行う場合、動体検出を行う間隔は、周辺画像データのフレームレート以下となる。ここで、周辺画像データのフレームレート以下としたのは、例えば、複数フレーム毎に動体検出が実行される場合も想定されるからである。
　従って、ステップＳ１２及びステップＳ１３の処理が実行されなければ、通知音の音像の定位位置の更新間隔は、動体検出の実行間隔と等しくなり、周辺画像データのフレームレート以下となる。そして、動体検出の実行結果に基づいて通知音が出力されてから、次の動体検出の実行結果に基づいて通知音が出力されるまでの間に通知対象動体が移動しても、通知音の音像の方向及び音量は変化しない。従って、通知対象動体の移動に伴い、通知音の音像の方向や音量が急激に変化し、運転者１０２が違和感を覚えたり、混乱したりするおそれがある。また、通知音の音像の定位位置と、実際の通知対象動体の位置との間のズレが大きくなるおそれがある。
　一方、ステップＳ１２及びステップＳ１３の処理が実行されることにより、動体検出の実行結果に基づいて通知音が出力されてから、次の動体検出の実行結果に基づいて通知音が出力されるまでの間に、通知対象動体の予測位置に基づいて、通知音の音像の定位位置が更新される。すなわち、動体の検出位置に基づいて通知音の音像の位置が設定されてから、次の動体の検出位置に基づいて通知音の音像の位置が設定されるまでの間に、動体の予測位置に基づいて通知音の音像の位置が設定される。これにより、通知音の音像の方向及び音量の更新間隔が、動体検出の実行間隔より短くなる。その結果、通知対象動体の移動に伴い、通知音の音像の方向及び音量がより滑らかに変化するようになり、運転者１０２が違和感を覚えたり、混乱したりすることが防止される。また、通知音の音像の定位位置と、実際の通知対象動体の位置との間のズレが小さくなる。
　例えば、図８に示されるように、自転車１７１が、車両１０１の前方を右から左へ移動する場合について検討する。
　なお、通知対象範囲Ｒ１は、車両１０１の中心Ｃ１を中心とし、半径が通信対象距離と等しい円形の領域である。なお、以下、中心Ｃ１からスピーカ１１１ＦＬの方向に延びる線Ｌ１、スピーカ１１１ＦＲの方向に延びる線Ｌ２、スピーカＬ１１１ＢＬの方向に延びる線Ｌ３、及び、スピーカ１１１ＢＲの方向に延びる線Ｌ４により通知対象範囲Ｒ１を４分割した領域を、それぞれ領域Ｒ１Ｆ、領域Ｒ１Ｌ、領域Ｒ１Ｒ、及び、領域Ｒ１Ｂとする。領域Ｒ１Ｆは車両１０１の前方の領域であり、領域Ｒ１Ｌは車両１０１の左方向の領域であり、領域Ｒ１Ｒは車両１０１の右方向の領域であり、領域Ｒ１Ｂは車両１０１の後方の領域である。
　なお、領域Ｒ１Ｆ内の通知対象動体に対する通知音は、スピーカ１１１ＦＬ及びスピーカ１１１ＦＲから出力される。領域Ｒ１Ｌ内の通知対象動体に対する通知音は、スピーカ１１１ＦＬ及びスピーカ１１１ＢＬから出力される。領域Ｒ１Ｒ内の通知対象動体に対する通知音は、スピーカ１１１ＦＲ及びスピーカ１１１ＢＲから出力される。領域Ｒ１Ｂ内の通知対象動体に対する通知音は、スピーカ１１１ＢＬ及びスピーカ１１１ＢＲから出力される。
　図８の例では、自転車１７１は、時刻ｔ０において、車両１０１の右前方から通知対象範囲Ｒ１の領域Ｒ１Ｒに進入し、車両１０１の前方を右から左方向に移動し、時刻ｔ４において、通知対象範囲Ｒ１から出ている。また、自転車１７１は、時刻ｔ１において、領域Ｒ１Ｒと領域Ｒ１Ｆの境界付近に到達し、時刻ｔ２において、車両１０１の正面付近に到達し、時刻ｔ３において、領域Ｒ１Ｆと領域Ｒ１Ｌの境界付近に到達している。
　図９は、自転車１７１の検出位置のみに基づいて、自転車１７１に対する通知音の音像の定位位置を更新した場合の通知音の音像の方向及び音量の変化を模式的に示している。図内の横軸方向が、通知音の音像の方向を示し、縦軸方向が、通知音の音量を示している。
　時刻ｔ０において、通知音の出力が開始され、その後、時刻が進み、自転車１７１が左方向に移動するのに伴い、通知音の音像の方向が右から左に移動している。また、通知音の音量は、時刻ｔ０から時刻ｔ２まで段階的に上昇し、時刻ｔ２から時刻ｔ３までの期間に最大となり、時刻ｔ３乃至時刻ｔ５まで段階的に下降し、時刻ｔ５において０になっている。
　図１０は、自転車１７１の検出位置及び予測位置の両方に基づいて、自転車１７１に対する通知音の音像の定位位置を更新した場合の通知音の音像の方向及び音量の変化を模式的に示している。図９と同様に、図内の横軸方向が、通知音の音像の方向を示し、縦軸方向が、通知音の音量を示している。
　この例では、各時刻の間に、自転車１７１の予測位置に基づいて、２回通知音の定位位置が更新されている。時刻ｔ０において、通知音の出力が開始され、その後、時刻が進み、自転車１７１が左方向に移動するのに伴い、通知音の音像の方向が右から左に移動している。また、通知音の音量は、時刻ｔ０から時刻ｔ２まで段階的に上昇し、時刻ｔ２から次の通知音の定位位置の更新タイミングまでの期間に最大となり、その後時刻ｔ４まで段階的に下降し、時刻ｔ４の次の通知音の定位位置の更新タイミングにおいて０になっている。
　図１０の例を図９の例と比較すると、通知音の音像の方向及び音量がより滑らかに変化している。従って、運転者１０２が違和感を覚えたり、混乱したりすることが防止される。
　図１１は、図８に示されるように自転車１７１が移動した場合に、各スピーカ１１１から出力される出力音の波形の詳細な例を示している。図１１の横軸は時刻を示し、いちばん上の波形は左前方のスピーカ１１１ＦＬの出力音の波形を示し、２番目の波形は右前方のスピーカ１１１ＦＲの出力音の波形を示し、３番目の波形は左後方のスピーカ１１１ＢＬの出力音の波形を示し、４番目の波形は右後方のスピーカ１１１ＢＲの出力音の波形を示している。なお、図１１の横軸は時刻を示し、波形の振幅は各スピーカ１１１の出力音の音量を示している。
　時刻ｔ０から時刻ｔ１までの間、自転車１７１は領域Ｒ１Ｒ内にいるため、自転車１７１に対する通知音は、スピーカ１１１ＦＲの出力音及びスピーカ１１１ＢＲの出力音が合成されることにより実現される。すなわち、スピーカ１１１ＦＲの出力音及びスピーカ１１１ＢＲの出力音により、自転車１７１に対する通知音の音像が、基準位置（例えば、車両１０１の中心又は運転者１０２）から見て自転車１７１の方向に定位するように移動する。また、自転車１７１が基準位置に近づくにつれて通知音の音量が大きくなるように、スピーカ１１１ＦＲの出力音及びスピーカ１１１ＢＲの出力音の音量が調整される。
　時刻ｔ１から時刻ｔ３までの間、自転車１７１は領域Ｒ１Ｆ内にいるため、自転車１７１に対する通知音は、スピーカ１１１ＦＬの出力音及びスピーカ１１１ＦＲの出力音が合成されることにより実現される。すなわち、スピーカ１１１ＦＬの出力音及びスピーカ１１１ＦＲの出力音により、自転車１７１に対する通知音の音像が、基準位置から見て自転車１７１の方向に定位するように移動する。また、自転車１７１が基準位置に近づくにつれて通知音の音量が大きくなり、基準位置から遠ざかるにつれて通知音の音量が小さくなるように、スピーカ１１１ＦＬの出力音及びスピーカ１１１ＦＲの出力音の音量が調整される。
　時刻ｔ３から時刻ｔ４までの間、自転車１７１は領域Ｒ１Ｌ内にいるため、自転車１７１に対する通知音は、スピーカ１１１ＦＬの出力音及びスピーカ１１１ＢＬの出力音が合成されることにより実現される。すなわち、スピーカ１１１ＦＬの出力音及びスピーカ１１１ＢＬの出力音により、自転車１７１に対する通知音の音像が、基準位置から見て自転車１７１の方向に定位するように移動する。また、自転車１７１が基準位置から遠ざかるにつれて通知音の音量が小さくなるように、スピーカ１１１ＦＬの出力音及びスピーカ１１１ＢＬの出力音の音量が調整される。
　時刻ｔ４以降は、自転車１７１が通知対象範囲Ｒ１の外にいるため、自転車１７１に対する通知音は停止される。
　図１３は、図１２に示されるように自転車１７２が移動した場合に、各スピーカ１１１から出力される出力音の波形の詳細な例を示している。
　図１２の例では、自転車１７２は、時刻ｔ０において、車両１０１の左後方から通知対象範囲Ｒ１の領域Ｒ１Ｂに進入し、車両１０１の左側を後ろから前方向に移動し、時刻ｔ４において、通知対象範囲Ｒ１から出ている。また、自転車１７２は、時刻ｔ１において、領域Ｒ１Ｂと領域Ｒ１Ｌの境界付近に到達し、時刻ｔ２において、車両１０１の左隣りに到達し、時刻ｔ３において、領域Ｒ１Ｌと領域Ｒ１Ｆの境界付近に到達している。
　時刻ｔ０から時刻ｔ１までの間、自転車１７２は領域Ｒ１Ｂ内にいるため、自転車１７２に対する通知音は、スピーカ１１１ＢＬの出力音及びスピーカ１１１ＢＲの出力音が合成されることにより実現される。すなわち、スピーカ１１１ＢＬの出力音及びスピーカ１１１ＢＲの出力音により、自転車１７２に対する通知音の音像が、基準位置から見て自転車１７２の方向に定位するように移動する。また、自転車１７２が基準位置に近づくにつれて通知音の音量が大きくなるように、スピーカ１１１ＢＬの出力音及びスピーカ１１１ＢＲの出力音の音量が調整される。
　時刻ｔ１から時刻ｔ３までの間、自転車１７２は領域Ｒ１Ｌ内にいるため、自転車１７２に対する通知音は、スピーカ１１１ＦＬの出力音及びスピーカ１１１ＢＬの出力音が合成されることにより実現される。すなわち、スピーカ１１１ＦＬの出力音及びスピーカ１１１ＢＬの出力音により、自転車１７２に対する通知音の音像が、基準位置から見て自転車１７２の方向に定位するように移動する。また、自転車１７２が基準位置に近づくにつれて通知音の音量が大きくなり、基準位置から遠ざかるにつれて通知音の音量が小さくなるように、スピーカ１１１ＦＬの出力音及びスピーカ１１１ＢＬの出力音の音量が調整される。
　時刻ｔ３から時刻ｔ４までの間、自転車１７２は領域Ｒ１Ｆ内にいるため、自転車１７２に対する通知音は、スピーカ１１１ＦＬの出力音及びスピーカ１１１ＦＲの出力音が合成されることにより実現される。すなわち、スピーカ１１１ＦＬの出力音及びスピーカ１１１ＦＲの出力音により、自転車１７２に対する通知音の音像が、基準位置から見て自転車１７２の方向に定位するように移動する。また、自転車１７２が基準位置から遠ざかるにつれて通知音の音量が小さくなるように、スピーカ１１１ＦＬの出力音及びスピーカ１１１ＦＲの出力音の音量が調整される。
　時刻ｔ４以降は、自転車１７２が通知対象範囲Ｒ１の外にいるため、自転車１７２に対する通知音は停止される。
　図３に戻り、一方、ステップＳ１４において、動体検出を行うタイミングであると判定された場合、処理はステップＳ１に戻る。
　その後、ステップＳ１１において、緊急停止が必要であると判定されるまで、ステップＳ１乃至ステップＳ１４の処理が繰り返し実行される。
　一方、ステップＳ１１において、例えば、制動制御部１６は、車両１０１の周辺の動体の中に危険度４の動体が存在する場合、緊急停止の必要があると判定し、処理はステップＳ１５に進む。
　ステップＳ１５において、制動制御部１６は、制動装置１７を制御して、車両１０１を緊急停止させる。これにより、車両１０１の周辺の動体との衝突又は接触が防止される。
　その後、通知制御処理は終了する。
　以上のようにして、車両１０１の周辺の動体の移動に合わせて、通知音が継続して出力されながら音像の位置が移動する。また、動体毎に異なる種類の通知音が出力される。これにより、車両１０１の周辺の動体の位置や種類を正確に運転者１０２に伝えることができる。その結果、例えば、運転者１０２は、確実かつ迅速に危険を察知することができ、動体への衝突又は接触を回避することができる。
　＜１－５．通知制御処理の第２の実施形態＞
　次に、図１４のフローチャートを参照して、通知制御処理の第２の実施形態について説明する。
　通知制御処理の第２の実施の形態では、第１の実施の形態と比較して、自車両の周辺の動体の動きに加えて、自車両の動きが予測され、自車両及び周辺の動体の動きの予測結果に基づいて、衝突予測が行われる点が異なる。
　ステップＳ１０１乃至ステップＳ１０５において、図３のステップＳ１乃至ステップＳ５と同様の処理が実行される。
　ステップＳ１０６において、動き予測部３２は、車両情報取得部１２から自車両（車両１０１）の車両情報を取得する。
　ステップＳ１０７において、動き予測部３２は、自車両の動きを予測する。具体的には、動き予測部３２は、車両情報に基づいて、車両１０１の移動速度及び移動方向等の予測を行う。動き予測部３２は、予測結果を、衝突予測部３３、優先度設定部３４、及び、ＨＭＩ制御部３５に供給する。
　ステップＳ１０８において、衝突予測部３３は、衝突予測を行う。具体的には、衝突予測部３３は、車両１０１及び車両１０１の周辺の動体の動きの予測結果に基づいて、車両１０１の周辺の動体が車両１０１に衝突又は接触する可能性があるか否か、並びに、衝突又は接触する可能性のある動体の衝突予測時間を予測する。
　ステップＳ１０９において、図３のステップＳ７の処理と同様に、動体の危険度が設定される。
　ステップＳ１１０において、図３のステップＳ７の処理と同様に、通知優先度が設定される。このとき、例えば、車両１０１の動き予測の結果を考慮して、通知優先度を設定するようにしてもよい。例えば、車両１０１の進行方向に存在する動体の優先順位が高く設定されるようにしてもよい。
　その後、ステップＳ１１１乃至ステップＳ１１３において、図３のステップＳ９乃至ステップＳ１１と同様の処理が実行される。
　ステップＳ１１４において、音声出力制御部５２は、自車両及び動体の予測位置に基づいて、通知音用の音声データを生成する。具体的には、音声出力制御部５２は、動き予測部３２の予測結果に基づいて、次に通知音を出力するタイミングにおける車両１０１及び各通知対象動体の予測位置を求める。そして、音声出力制御部５２は、各通知対象動体の現在位置の代わりに、車両１０１に対する各通知対象物体の予測される相対位置に基づいて、ステップＳ１１１の処理と同様に、各通知対象動体に対する通知音用の音声データを生成する。
　その後、ステップＳ１１５乃至ステップＳ１１７において、図３のステップＳ１３乃至ステップＳ１５と同様の処理が実行される。
　このように、動体の動きだけでなく車両１０１の動きに基づいて、衝突予測や通知優先度の設定が行われるので、例えば、より衝突又は接触の可能性が高い動体に対する通知が優先的に行われるようになる。また、車両１０１に対する各通知対象物体の相対位置が予測され、その予測結果に基づいて、通知音の音像の定位位置が設定されることにより、より各通知対象物体に近い位置に通知音の音像を定位させることが可能になる。
　＜＜２．変形例＞＞
　以下、上述した本開示に係る技術の実施の形態の変形例について説明する。
　＜２－１．スピーカの数及び配置に関する変形例＞
　スピーカ１１１の数及び配置は、図２の例に限定されるものではなく、変更することが可能である。
　例えば、自車両の周辺の水平方向の全ての方向の動体について通知を行う場合、運転者の周囲を囲み、各スピーカを頂点とする空間内に運転者が存在するようにスピーカを配置すればよい。従って、少なくとも３つのスピーカがあればよい。
　また、例えば、自車両の正面方向等の特定の方向の動体のみを通知対象とする場合、スピーカの数を２つにすることも可能である。
　一方、より多くの方向にスピーカを配置した方が、通知音の音像の定位感が増し、運転者がより確実に動体の位置を把握することができる。例えば、図１５に示されるように、運転者１０２の周囲に８つのスピーカ１１１を配置することが考えられる。なお、図中、図２と対応する部分には、同じ符号を付している。
　この例では、図２の例と比較して、スピーカ１１１Ｆ、スピーカ１１１Ｌ、スピーカ１１１Ｒ、及び、スピーカ１１１Ｂが追加されている。スピーカ１１１Ｆは、スピーカ１１１ＦＬとスピーカ１１１ＦＲの中間付近であって、車両１０１のダッシュボードの中央付近に配置されている。スピーカ１１１Ｌは、スピーカ１１１ＦＬとスピーカ１１１ＢＬの中間付近であって、車両１０１の助手席のドアの後端付近に配置されている。スピーカ１１１Ｒは、スピーカ１１１ＦＲとスピーカ１１１ＢＲの中間付近であって、車両１０１の運転席のドアの後端付近に配置されている。スピーカ１１１Ｂは、スピーカ１１１ＢＬとスピーカ１１１ＢＲの中間付近であって、後部座席の中央付近に配置されている。スピーカ１１１Ｆとスピーカ１１１Ｂ、及び、スピーカ１１１Ｌとスピーカ１１Ｒは、それぞれ互いに対向するように配置されている。
　また、例えば、音声出力制御部５２が、自車両（又は運転者）に対する通知音の音像の水平方向の位置だけでなく、垂直方向（上下方向）の位置を制御することにより、自車両（又は運転者）が存在する平面（例えば、路面）を基準とする動体の上下方向の位置を通知するようにしてもよい。
　ここで、自車両が存在する平面を基準とする動体の上下方向の位置とは、例えば、自車両が存在する路面に対して垂直な方向の動体の位置のことである。例えば、自車両が上り坂を走行中の場合、同じ上り坂を走行中の先行車は、自車両より高度が高い位置に存在するものの、自車両が存在する平面を基準とする上下方向の位置は、自車両とほぼ同じとなる。一方、例えば、自車両が平坦な道を走行中に前方の上り坂に動体が存在する場合、その動体の自車両が存在する平面を基準とする上下方向の位置は、自車両より高くなる。
　そして、例えば、自車両が平坦な道を走行中に前方の上り坂に動体が存在する場合、その動体に対する通知音の音像が上方向に定位される。また、例えば、自車両が平坦な道を走行中に前方の下り坂に動体が存在する場合、その動体に対する通知音の音像が下方向に定位される。
　この場合、例えば、図１６に示されるように、複数のスピーカ１１１が、異なる高さに配置される。なお、図１６は、左方向から見た車両１０１の内部を模式的に示す透視図である。また、図中、図２と対応する部分には、同じ符号を付している。
　この例では、図２の例と比較して、スピーカ１１１ＦＬＵ（不図示）、スピーカ１１１ＦＲＵ、スピーカ１１１ＦＬＤ（不図示）、スピーカ１１１ＦＲＤ、スピーカ１１１ＢＬＤ（不図示）、及び、スピーカ１１１ＢＲＤが追加されている。
　スピーカ１１１ＦＲＵは、スピーカ１１１ＦＲより高い位置であって、車両１０１のウインドシールドの右上端付近に配置されている。スピーカ１１１ＦＲＤは、スピーカ１１１ＦＲの下方であって、運転席のドアの下端付近に配置されている。スピーカ１１１ＢＲＤは、スピーカ１１１ＢＲの下方であって、右側の後部座席のドアの下端付近に配置されている。なお、図示は省略するが、スピーカ１１１ＦＬＵ、スピーカ１１１ＦＬＤ、及び、スピーカ１１１ＢＬＤは、車両１０１の室内の左側において、スピーカ１１１ＦＲＵ、スピーカＦＲＤ、及び、スピーカ１１１ＢＲＤとほぼ対向する位置に配置されている。スピーカ１１１ＦＬＵ、スピーカ１１１ＦＲＵ、スピーカ１１１ＦＬＤ、スピーカ１１１ＦＲＤ、スピーカ１１１ＢＬＤ、及び、スピーカ１１１ＢＲＤは、いずれも車両１０１の室内を向くように設置されている。
　例えば、スピーカ１１１ＦＲＵの出力音及びスピーカ１１１ＦＲの出力音により、車両１０１（又は運転者１０２）より高い位置に通知音の音像を定位させることができる。また、例えば、スピーカ１１１ＦＲＵの出力音及びスピーカ１１１ＦＲの出力音により、車両１０１（又は運転者１０２）より低い位置に通知音の音像を定位させることができる。
　また、以上の説明では、１つの通知音につき、２つのスピーカからの出力音により音像の位置を制御する例を示したが、３以上のスピーカからの出力音により音像の位置を制御するようにしてもよい。
　＜２－２．システムの構成に関する変形例＞
　図１の車載システム１０の構成例は、その一例であり、必要に応じて変更することが可能である。
　例えば、情報処理部１３を複数に分割したり、情報処理部１３の一部と制動制御部１６とを組み合わせたり、制動制御部１６を情報処理部１３に含めたりすることが可能である。
　また、例えば、周辺センサデータの一部を、自車両の外部（例えば、車道沿い）に設けられたセンサから取得するようにすることが可能である。
　＜２－３．その他の変形例＞
　以上の説明では、通知対象範囲を車両１０１からの距離に基づいて設定する例を示したが、例えば、衝突予測時刻に基づいて設定するようにしてもよい。すなわち、車両１０１の周辺の動体のうち、衝突予測時刻が所定の時間内の動体を通知対象とするようにしてもよい。
　また、例えば、動体の種類以外にも、優先度や危険度に基づいて、通知音の種類を変更するようにしてもよい。
　さらに、例えば、ユーザ設定により通知音の種類を設定できるようにしてもよい。
　＜２－４．適用例＞
　本技術は、先に例示した車両以外の移動体にも適用することが可能である。例えば、本技術は、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）等の移動体に適用することが可能である。
　＜＜３．その他＞＞
　＜３－１　コンピュータの構成例＞
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
　図１７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
　コンピュータにおいて、CPU（Central Processing Unit）４０１，ROM（Read Only Memory）４０２，RAM（Random Access Memory）４０３は、バス４０４により相互に接続されている。
　バス４０４には、さらに、入出力インターフェース４０５が接続されている。入出力インターフェース４０５には、入力部４０６、出力部４０７、記録部４０８、通信部４０９、及びドライブ４１０が接続されている。
　入力部４０６は、入力スイッチ、ボタン、マイクロホン、撮像素子などよりなる。出力部４０７は、ディスプレイ、スピーカなどよりなる。記録部４０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部４０９は、ネットワークインターフェースなどよりなる。ドライブ４１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブル記録媒体４１１を駆動する。
　以上のように構成されるコンピュータでは、CPU４０１が、例えば、記録部４０８に記録されているプログラムを、入出力インターフェース４０５及びバス４０４を介して、RAM４０３にロードして実行することにより、上述した一連の処理が行われる。
　コンピュータ（CPU４０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブル記録媒体４１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　コンピュータでは、プログラムは、リムーバブル記録媒体４１１をドライブ４１０に装着することにより、入出力インターフェース４０５を介して、記録部４０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部４０９で受信し、記録部４０８にインストールすることができる。その他、プログラムは、ROM４０２や記録部４０８に、あらかじめインストールしておくことができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
　さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　＜３－２．構成の組み合わせ例＞
　本技術は、以下のような構成をとることもできる。
（１）
　センサから入力される情報に基づいて移動体周辺の動体を検出する動体検出部と、
　前記動体の検出位置の移動に伴い、前記動体の位置を知らせる通知音の音像の位置を移動させる音声出力制御部と
　を備える情報処理装置。
（２）
　前記動体の動きを予測する動き予測部を
　さらに備え、
　前記音声出力制御部は、さらに前記動体の予測位置に基づいて、前記通知音の音像の位置を移動させる
　前記（１）に記載の情報処理装置。
（３）
　前記音声出力制御部は、前記動体の第１の検出位置に基づいて前記通知音の音像の位置を設定してから、次の前記動体の第２の検出位置に基づいて前記通知音の音像の位置を設定するまでの間に、前記動体の予測位置に基づいて、前記通知音の音像の位置を設定する
　前記（２）に記載の情報処理装置。
（４）
　前記動き予測部は、前記移動体の動きをさらに予測し、
　前記音声出力制御部は、前記移動体の予測位置に対する前記動体の予測位置に基づいて、前記通知音の音像の位置を移動させる
　前記（２）又は（３）に記載の情報処理装置。
（５）
　前記音声出力制御部は、前記移動体と前記動体との間の距離に基づいて、前記通知音の音量を制御する
　前記（１）乃至（４）のいずれかに記載の情報処理装置。
（６）
　前記音声出力制御部は、前記動体の種類により前記通知音の種類を変更する
　前記（１）乃至（５）のいずれかに記載の情報処理装置。
（７）
　前記音声出力制御部は、前記移動体周辺に同じ種類の動体が複数存在する場合、動体毎に前記通知音の種類を変更する
　前記（６）に記載の情報処理装置。
（８）
　前記動体に対する優先度を設定する優先度設定部を
　さらに備え、
　前記音声出力制御部は、前記優先度に基づいて、複数の前記動体に対する通知音の出力を制御する
　前記（１）乃至（７）のいずれかに記載の情報処理装置。
（９）
　前記音声出力制御部は、前記優先度が高い前記動体に対する通知音を優先的に出力するように制御する
　前記（８）に記載の情報処理装置。
（１０）
　前記音声出力制御部は、前記優先度に基づいて前記通知音の音量を制御する
　前記（８）又は（９）に記載の情報処理装置。
（１１）
　前記優先度設定部は、前記動体が前記移動体に衝突又は接触する危険度に基づいて、前記優先度を設定する
　前記（８）乃至（１０）のいずれかに記載の情報処理装置。
（１２）
　前記音声出力制御部は、前記移動体の周囲の所定の範囲内の前記動体に対する前記通知音を出力するように制御する
　前記（１）乃至（１１）のいずれかに記載の情報処理装置。
（１３）
　前記音声出力制御部は、前記移動体が存在する平面を基準とする前記動体の上下方向の位置に基づいて、前記通知音の音像の上下方向の位置を制御する
　前記（１）乃至（１２）のいずれかに記載の情報処理装置。
（１４）
　前記音声出力制御部は、前記移動体において異なる高さに配置されている複数のスピーカからの音声の出力を制御することにより、前記通知音の音像の上下方向の位置を制御する
　前記（１３）に記載の情報処理装置。
（１５）
　前記音声出力制御部は、前記移動体において前記移動体の運転者の周囲を囲むように配置されている複数のスピーカからの音声の出力を制御する
　前記（１）乃至（１４）のいずれかに記載の情報処理装置。
（１６）
　前記音声出力制御部は、前記移動体に対する前記動体の検出位置の移動に伴い、前記通知音の音像の位置を移動させる
　前記（１）乃至（１５）のいずれかに記載の情報処理装置。
（１７）
　センサから入力される情報に基づいて移動体周辺の動体を検出する動体検出ステップと、
　前記動体の検出位置の移動に伴い、前記動体の位置を知らせる通知音の音像の位置を移動させる音声出力制御ステップと
　を含む情報処理方法。
（１８）
　センサから入力される情報に基づいて移動体周辺の動体を検出する動体検出ステップと、
　前記動体の検出位置の移動に伴い、前記動体の位置を知らせる通知音の音像の位置を移動させる音声出力制御ステップと
　を含む処理をコンピュータに実行させるためのプログラム。
（１９）
　本体に配置され周辺の状況の検出に用いるセンサと、
　前記センサから入力される情報に基づいて周辺の動体を検出する動体検出部と、
　前記動体の検出位置の移動に伴い、前記動体の位置を知らせる通知音の音像の位置を移動させる音声出力制御部と
　を備える移動体。
　１０　車載システム，　１１　周辺センサ，　１２　車両情報取得部，　１３　情報処理部，　１５　音声出力部，　３１　周辺状況検出部，　３２　動き予測部，　３３　衝突予測部，　３４　優先度設定部，　３５　ＨＭＩ制御部，　４２　動体検出部，　５２　音声出力制御部，　１０１　車両，　１０２　運転者，　１１１Ｆ乃至１１１ＢＲＤ　スピーカ

Claims (19)

  1. 　センサから入力される情報に基づいて移動体周辺の動体を検出する動体検出部と、
    　前記動体の検出位置の移動に伴い、前記動体の位置を知らせる通知音の音像の位置を移動させる音声出力制御部と
    　を備える情報処理装置。
  2. 　前記動体の動きを予測する動き予測部を
    　さらに備え、
    　前記音声出力制御部は、さらに前記動体の予測位置に基づいて、前記通知音の音像の位置を移動させる
    　請求項１に記載の情報処理装置。
  3. 　前記音声出力制御部は、前記動体の第１の検出位置に基づいて前記通知音の音像の位置を設定してから、次の前記動体の第２の検出位置に基づいて前記通知音の音像の位置を設定するまでの間に、前記動体の予測位置に基づいて、前記通知音の音像の位置を設定する
    　請求項２に記載の情報処理装置。
  4. 　前記動き予測部は、前記移動体の動きをさらに予測し、
    　前記音声出力制御部は、前記移動体の予測位置に対する前記動体の予測位置に基づいて、前記通知音の音像の位置を移動させる
    　請求項２に記載の情報処理装置。
  5. 　前記音声出力制御部は、前記移動体と前記動体との間の距離に基づいて、前記通知音の音量を制御する
    　請求項１に記載の情報処理装置。
  6. 　前記音声出力制御部は、前記動体の種類により前記通知音の種類を変更する
    　請求項１に記載の情報処理装置。
  7. 　前記音声出力制御部は、前記移動体周辺に同じ種類の動体が複数存在する場合、動体毎に前記通知音の種類を変更する
    　請求項６に記載の情報処理装置。
  8. 　前記動体に対する優先度を設定する優先度設定部を
    　さらに備え、
    　前記音声出力制御部は、前記優先度に基づいて、複数の前記動体に対する通知音の出力を制御する
    　請求項１に記載の情報処理装置。
  9. 　前記音声出力制御部は、前記優先度が高い前記動体に対する通知音を優先的に出力するように制御する
    　請求項８に記載の情報処理装置。
  10. 　前記音声出力制御部は、前記優先度に基づいて前記通知音の音量を制御する
    　請求項８に記載の情報処理装置。
  11. 　前記優先度設定部は、前記動体が前記移動体に衝突又は接触する危険度に基づいて、前記優先度を設定する
    　請求項８に記載の情報処理装置。
  12. 　前記音声出力制御部は、前記移動体の周囲の所定の範囲内の前記動体に対する前記通知音を出力するように制御する
    　請求項１に記載の情報処理装置。
  13. 　前記音声出力制御部は、前記移動体が存在する平面を基準とする前記動体の上下方向の位置に基づいて、前記通知音の音像の上下方向の位置を制御する
    　請求項１に記載の情報処理装置。
  14. 　前記音声出力制御部は、前記移動体において異なる高さに配置されている複数のスピーカからの音声の出力を制御することにより、前記通知音の音像の上下方向の位置を制御する
    　請求項１３に記載の情報処理装置。
  15. 　前記音声出力制御部は、前記移動体において前記移動体の運転者の周囲を囲むように配置されている複数のスピーカからの音声の出力を制御する
    　請求項１に記載の情報処理装置。
  16. 　前記音声出力制御部は、前記移動体に対する前記動体の検出位置の移動に伴い、前記通知音の音像の位置を移動させる
    　請求項１に記載の情報処理装置。
  17. 　センサから入力される情報に基づいて移動体周辺の動体を検出する動体検出ステップと、
    　前記動体の検出位置の移動に伴い、前記動体の位置を知らせる通知音の音像の位置を移動させる音声出力制御ステップと
    　を含む情報処理方法。
  18. 　センサから入力される情報に基づいて移動体周辺の動体を検出する動体検出ステップと、
    　前記動体の検出位置の移動に伴い、前記動体の位置を知らせる通知音の音像の位置を移動させる音声出力制御ステップと
    　を含む処理をコンピュータに実行させるためのプログラム。
  19. 　本体に配置され周辺の状況の検出に用いるセンサと、
    　前記センサから入力される情報に基づいて周辺の動体を検出する動体検出部と、
    　前記動体の検出位置の移動に伴い、前記動体の位置を知らせる通知音の音像の位置を移動させる音声出力制御部と
    　を備える移動体。
PCT/JP2018/010125 2017-03-29 2018-03-15 情報処理装置、情報処理方法、プログラム、及び、移動体 WO2018180523A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201880019616.XA CN110431613B (zh) 2017-03-29 2018-03-15 信息处理装置、信息处理方法、程序和移动物体
EP18775071.6A EP3605499B1 (en) 2017-03-29 2018-03-15 Information processing device, information processing method, program, and moving body
US16/496,121 US11317205B2 (en) 2017-03-29 2018-03-15 Information processing apparatus, information processing method, program, and mobile object
JP2019509238A JP7091311B2 (ja) 2017-03-29 2018-03-15 情報処理装置、情報処理方法、プログラム、及び、移動体

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017064276 2017-03-29
JP2017-064276 2017-03-29

Publications (1)

Publication Number Publication Date
WO2018180523A1 true WO2018180523A1 (ja) 2018-10-04

Family

ID=63677253

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/010125 WO2018180523A1 (ja) 2017-03-29 2018-03-15 情報処理装置、情報処理方法、プログラム、及び、移動体

Country Status (5)

Country Link
US (1) US11317205B2 (ja)
EP (1) EP3605499B1 (ja)
JP (1) JP7091311B2 (ja)
CN (1) CN110431613B (ja)
WO (1) WO2018180523A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020161117A (ja) * 2019-02-05 2020-10-01 ホンダ リサーチ インスティテュート ヨーロッパ ゲーエムベーハーＨｏｎｄａ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ Ｅｕｒｏｐｅ ＧｍｂＨ 動的環境内での人の行動を補助するための方法および対応するシステム
WO2023189084A1 (ja) * 2022-03-30 2023-10-05 パナソニックＩｐマネジメント株式会社 情報提示方法、情報提示装置、車両制御方法及び車両制御装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021048893A1 (ja) * 2019-09-09 2021-03-18 日本電信電話株式会社 集音放音装置、集音放音方法、およびプログラム
JP7279623B2 (ja) * 2019-11-26 2023-05-23 トヨタ自動車株式会社 情報処理装置、情報処理システム、およびプログラム
CN111783628B (zh) * 2020-06-29 2024-07-12 珠海格力电器股份有限公司 一种位置跟踪方法、装置、电子设备及存储介质
US11488472B2 (en) * 2020-10-15 2022-11-01 Ford Global Technologies, Llc Vehicle sound emission control
DE102022116023A1 (de) 2022-06-28 2023-12-28 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren zum Erzeugen eines Sounds eines Fahrzeugs, sowie ein Verfahren zum Erkennen eines Sounds mit einer Medienwiedergabeeinheit
WO2024087216A1 (zh) * 2022-10-28 2024-05-02 华为技术有限公司 一种控制方法、装置和运载工具

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001157300A (ja) * 1999-11-24 2001-06-08 Keio Gijuku 移動体仮想音響空間形成装置
JP2005329754A (ja) * 2004-05-18 2005-12-02 Nissan Motor Co Ltd 運転者知覚制御装置
WO2006109390A1 (ja) * 2005-03-31 2006-10-19 Pioneer Corporation 覚醒度低下防止装置、覚醒度低下防止方法、覚醒度低下防止用プログラム、および記録媒体
WO2008075407A1 (ja) 2006-12-19 2008-06-26 Pioneer Corporation 情報処理装置並びにその制御方法、制御プログラム及び記録媒体
JP2009042843A (ja) * 2007-08-06 2009-02-26 Nissan Motor Co Ltd 警報装置およびその方法
JP2009245340A (ja) 2008-03-31 2009-10-22 Aisin Aw Co Ltd 運転支援装置、運転支援方法及びコンピュータプログラム
JP2015057686A (ja) * 2012-12-21 2015-03-26 株式会社デンソー 注意喚起装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2689792B2 (ja) * 1991-10-30 1997-12-10 日産自動車株式会社 立体音場警報装置
EP1548683B1 (en) * 2003-12-24 2010-03-17 Pioneer Corporation Notification control device, system and method
US8212659B2 (en) * 2008-09-05 2012-07-03 Mazda Motor Corporation Driving assist device for vehicle
EP2797795A4 (en) * 2011-12-29 2015-08-26 Intel Corp SYSTEMS, METHODS AND APPARATUS FOR DIRECTING SOUND IN A VEHICLE
WO2014024247A1 (ja) * 2012-08-06 2014-02-13 三菱電機株式会社 車両接近報知装置
JP5668765B2 (ja) * 2013-01-11 2015-02-12 株式会社デンソー 車載音響装置
JP6188471B2 (ja) * 2013-07-26 2017-08-30 アルパイン株式会社 車両後側方警報装置、車両後側方警報方法および立体物検出装置
US9663031B2 (en) * 2013-10-21 2017-05-30 Harman International Industries, Inc. Modifying an audio panorama to indicate the presence of danger or other events of interest
JP5975579B2 (ja) * 2014-03-19 2016-08-23 富士重工業株式会社 車両接近通報装置
US20150365743A1 (en) * 2014-06-14 2015-12-17 GM Global Technology Operations LLC Method and apparatus for including sound from an external environment into a vehicle audio system
GB2534163B (en) * 2015-01-14 2017-11-22 Jaguar Land Rover Ltd Vehicle interface device
US20180096601A1 (en) * 2016-10-04 2018-04-05 Toyota Motor Engineering & Manufacturing North America, Inc. Collision alert system
US9896031B1 (en) * 2017-01-03 2018-02-20 Ford Global Technologies, Llc Spatial auditory alerts for a vehicle

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001157300A (ja) * 1999-11-24 2001-06-08 Keio Gijuku 移動体仮想音響空間形成装置
JP2005329754A (ja) * 2004-05-18 2005-12-02 Nissan Motor Co Ltd 運転者知覚制御装置
WO2006109390A1 (ja) * 2005-03-31 2006-10-19 Pioneer Corporation 覚醒度低下防止装置、覚醒度低下防止方法、覚醒度低下防止用プログラム、および記録媒体
WO2008075407A1 (ja) 2006-12-19 2008-06-26 Pioneer Corporation 情報処理装置並びにその制御方法、制御プログラム及び記録媒体
JP2009042843A (ja) * 2007-08-06 2009-02-26 Nissan Motor Co Ltd 警報装置およびその方法
JP2009245340A (ja) 2008-03-31 2009-10-22 Aisin Aw Co Ltd 運転支援装置、運転支援方法及びコンピュータプログラム
JP2015057686A (ja) * 2012-12-21 2015-03-26 株式会社デンソー 注意喚起装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3605499A4

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020161117A (ja) * 2019-02-05 2020-10-01 ホンダ リサーチ インスティテュート ヨーロッパ ゲーエムベーハーＨｏｎｄａ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ Ｅｕｒｏｐｅ ＧｍｂＨ 動的環境内での人の行動を補助するための方法および対応するシステム
WO2023189084A1 (ja) * 2022-03-30 2023-10-05 パナソニックＩｐマネジメント株式会社 情報提示方法、情報提示装置、車両制御方法及び車両制御装置

Also Published As

Publication number Publication date
JP7091311B2 (ja) 2022-06-27
EP3605499A1 (en) 2020-02-05
CN110431613B (zh) 2023-02-28
US20200100028A1 (en) 2020-03-26
CN110431613A (zh) 2019-11-08
EP3605499B1 (en) 2024-05-29
JPWO2018180523A1 (ja) 2020-02-06
EP3605499A4 (en) 2020-04-22
US11317205B2 (en) 2022-04-26

Similar Documents

Publication Publication Date Title
WO2018180523A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
EP3663155B1 (en) Autonomous driving system
US11492001B2 (en) Notification device
JP7067067B2 (ja) 信号機認識装置、及び自動運転システム
US9415775B2 (en) Drive assist apparatus, and drive assist method
JP7047763B2 (ja) 運転支援装置および方法、移動体、並びにプログラム
WO2018088224A1 (ja) 情報処理装置、情報処理方法、プログラム、及び、移動体
US20200326702A1 (en) Vehicle remote instruction system
US11873007B2 (en) Information processing apparatus, information processing method, and program
US11377101B2 (en) Information processing apparatus, information processing method, and vehicle
JP7139902B2 (ja) 報知装置
US11694408B2 (en) Information processing device, information processing method, program, and movable object
KR102060303B1 (ko) 자율 주행 제어 장치 및 방법
JP7129254B2 (ja) 運転支援方法及び運転支援装置
CN113492848B (zh) 用于自主驾驶车辆安全操作员的前方碰撞告警警报系统
US12051331B2 (en) System and method for a vehicle proximity alert
CN113353005B (zh) 用于处理自动驾驶系统与车辆之间的通信延迟的系统
WO2024038759A1 (ja) 情報処理装置、情報処理方法、及び、プログラム
WO2022209459A1 (ja) 自動運転制御装置、自動運転制御プログラム、提示制御装置及び提示制御プログラム
JP2009166700A (ja) 車両警報装置
WO2020116204A1 (ja) 情報処理装置、情報処理方法、プログラム、移動体制御装置、及び、移動体
JP2022155463A (ja) 自動運転制御装置、自動運転制御プログラム、提示制御装置及び提示制御プログラム
CN112513956A (zh) 包括用于将音频信号输出到机动车辆的乘员室中的装置的机动车辆

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18775071

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019509238

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018775071

Country of ref document: EP

Effective date: 20191029