WO2020110172A1 - 情報提示制御装置、情報提示装置及び情報提示制御方法、並びにプログラム及び記録媒体 - Google Patents

情報提示制御装置、情報提示装置及び情報提示制御方法、並びにプログラム及び記録媒体 Download PDF

Info

Publication number
WO2020110172A1
WO2020110172A1 PCT/JP2018/043395 JP2018043395W WO2020110172A1 WO 2020110172 A1 WO2020110172 A1 WO 2020110172A1 JP 2018043395 W JP2018043395 W JP 2018043395W WO 2020110172 A1 WO2020110172 A1 WO 2020110172A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
information
unit
sound
vehicle
Prior art date
Application number
PCT/JP2018/043395
Other languages
English (en)
French (fr)
Inventor
智治 粟野
木村　勝
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to CN201880099030.9A priority Critical patent/CN113016016A/zh
Priority to JP2019510722A priority patent/JP6587776B1/ja
Priority to PCT/JP2018/043395 priority patent/WO2020110172A1/ja
Priority to DE112018008107.9T priority patent/DE112018008107B4/de
Publication of WO2020110172A1 publication Critical patent/WO2020110172A1/ja
Priority to US17/222,211 priority patent/US11472432B2/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/26—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using acoustic output
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R99/00—Subject matter not provided for in other groups of this subclass
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/178—Warnings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18—Information management
    • B60K2360/186—Displaying information according to relevancy
    • B60K2360/1868—Displaying information according to relevancy according to driving situations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29—Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/15—Biometric patterns based on physiological signals, e.g. heartbeat, blood flow

Definitions

  • the present invention relates to an information presentation control device, an information presentation device and an information presentation control method, a program, and a recording medium.
  • Information display devices that display information for supporting vehicle driving operations are known.
  • electronic display devices for vehicles have advanced, and information presenting methods have become diversified.
  • Examples of the display device include an electronic instrument panel, a head-up display, and an electronic mirror.
  • the information necessary for driving here includes an image showing another vehicle approaching.
  • the amount of information provided increases, it is difficult for the driver to determine which of a plurality of information items should be urgently recognized, which may impair the driving operation. is there.
  • Patent Document 1 From the multiple images displayed on the electronic instrument panel, select the gaze image to be gazed to the driver, and move and display the marker so as to guide the gaze of the driver to the gaze image, and There has been proposed a vehicle display equipped with a reproduction means capable of reproducing localization sound corresponding to the movement position of the marker (Patent Document 1).
  • the line of sight is guided using the marker displayed on the display, and it takes time for the line of sight to be guided to the target image.
  • the position of the marker may change from moment to moment, and it is difficult to reproduce a localized sound corresponding to the moving position of the marker.
  • the information presentation control device of the present invention An information presentation control device for presenting information for driving assistance to a plurality of display devices and a voice output device mounted on a vehicle, An information analysis unit that calculates a degree of danger based on detection information about the attention target located around the vehicle, An image processing unit that causes a warning display on at least one display unit of the plurality of display units based on the degree of risk calculated by the information analysis unit, A voice processing unit for generating a caution sound to the voice output device based on the degree of risk calculated by the information analysis unit, The voice processing unit generates, as the attention sound, a sound whose sound image is controlled so that a virtual sound source is localized at a position of at least one display unit that performs the attention display.
  • the information presentation device of the present invention is An information presentation device for presenting information for driving assistance to a plurality of display devices and a voice output device mounted on a vehicle, An external situation detecting unit that detects a target of attention located around the vehicle, A risk level is calculated based on the detection information regarding the attention target obtained by the detection by the external situation detection unit, and a caution is issued to at least one display unit of the plurality of display units based on the calculated risk level. And an information presentation control device that causes the sound output device to generate a warning sound based on the calculated risk level.
  • the information presentation control device generates, as the alerting sound, a sound whose sound image is controlled so that a virtual sound source is localized at a position of at least one of the indicators for performing the alerting display.
  • the present invention it is possible to promptly direct the driver's line of sight to the display device that displays the information to be watched, and to promptly give the driver the information to be recognized.
  • FIG. 2 is a schematic diagram showing a vehicle equipped with the driving support device shown in FIG. 1.
  • FIG. 3 is a functional block diagram showing a configuration example of a computer used to implement the functions of the processing circuit shown in FIG. 1 by software.
  • FIG. 3 is a functional block diagram showing a configuration example of an external situation detection unit shown in FIG. 1.
  • FIG. 5 is a schematic diagram showing an image capturing direction of a camera that constitutes the image capturing section shown in FIG. 4.
  • FIG. 2 is a schematic diagram showing an example of an arrangement of display devices that form the display device group shown in FIG. 1.
  • FIG. 3 is a functional block diagram showing a configuration example of the audio output device shown in FIG. 1.
  • FIG. 3 is a functional block diagram showing a configuration example of a processing circuit shown in FIG. 1.
  • 10 is a flowchart showing an example of operation of the processing circuit shown in FIG. 9. It is a figure which shows notionally the example of operation
  • FIG. 1 shows a configuration example of a driving support device 10 including the information presentation device according to the first embodiment of the present invention.
  • the illustrated driving support device 10 is mounted on a vehicle 102, for example, as shown in FIG. 2, and includes an external situation detection unit 1, a vehicle information acquisition unit 2, a processing circuit 3, and a display unit group 5. And an audio output device 6.
  • the external situation detection unit 1, the vehicle information acquisition unit 2, and the processing circuit 3 constitute an information presentation device.
  • the processing circuit 3 shown in FIG. 1 has a function as a control unit of the information presentation device, and is also called an information presentation control device.
  • the function of the processing circuit 3 can be realized by hardware, but can also be realized by software, that is, a programmed computer.
  • FIG. 3 shows an example of the configuration of a computer used when it is realized by software.
  • the processing circuit 3 of FIG. 1 is configured by the processor 31 and the program memory 32 of FIG. 3, and the processor 31 operates as the processing circuit 3 of FIG. 1 by operating according to the program stored in the program memory 32.
  • the processing circuit 3 is connected to the storage device 4.
  • the storage device 4 may be configured by an HDD (hardware drive), an SSD (solid state drive), or the like.
  • the storage device 4 may be directly connected to the processing circuit 3 or may be connected via a network.
  • the external situation detection unit 1 acquires information indicating the situation around the vehicle 102 and outputs detection information Da regarding the attention target.
  • Targets of attention include other vehicles, people, and fixed structures located around the vehicle 102.
  • Other vehicles include motorcycles (passenger cars, trucks, buses, etc.), motorcycles, and bicycles.
  • the vehicle 102 on which the driving support device 10 is mounted may be referred to as “own vehicle”.
  • the external situation detection unit 1 includes an image pickup unit 11, a detection unit 12, a communication device 13, and a detection information processing unit 14.
  • the image capturing unit 11 captures an image around the vehicle 102 and outputs a video signal representing a video obtained by the image capturing.
  • the imaging unit 11 acquires a plurality of images around the vehicle 102 in different directions.
  • the image capturing unit 11 includes, for example, a plurality of cameras that capture images in the plurality of directions. For example, as illustrated in FIG. 5, the image capturing unit 11 captures a first camera 11a that captures the right front of the vehicle 102, a second camera 11b that captures the left front of the vehicle 102, and a rear right of the vehicle 102. It includes a third camera 11c and a fourth camera 11d that images the left rear of the vehicle 102.
  • the detection unit 12 detects an attention target located around the vehicle 102.
  • the detection unit 12 may include, for example, one or more of a lidar (Laser Imaging, Detection and Ranging), a millimeter wave radar, and an ultrasonic sensor.
  • the detection unit 12 detects the presence of attention targets or detects the distance to these attention targets.
  • the communicator 13 receives information about other vehicles provided from outside the vehicle 102.
  • the information regarding the other vehicle may include information indicating the position of the other vehicle and the direction and speed of movement. Provision from the outside of the vehicle 102 may be provided by direct communication from another vehicle or may be provided by communication via a base station.
  • the detection information processing unit 14 detects the detection information Da based on the video signal representing the video image captured by the imaging unit 11, the information obtained by the detection by the detection unit 12, and the information received by the communication device 13. Is generated and output.
  • the detection information Da output from the detection information processing unit 14 includes information representing an image of the situation around the vehicle 102, and information regarding the attention target located around the vehicle 102.
  • the information regarding the attention target may include information indicating the distance to the attention target, information indicating the position of the attention target, and the direction and speed of movement.
  • the vehicle information acquisition unit 2 acquires information (own vehicle information) Db regarding the vehicle 102.
  • the own vehicle information Db may include information indicating the position of the own vehicle and the moving direction and speed.
  • the information indicating the position of the own vehicle and the direction and speed of movement of the own vehicle may be obtained from, for example, a navigation system.
  • the processing circuit 3 controls the display group 5 and the voice output device 6 based on the detection information Da output from the external situation detection unit 1 and the own vehicle information Db output from the vehicle information acquisition unit 2. Specifically, the video signal Dc is generated and supplied to the display unit group 5 to control the video displayed on the display unit group 5, and the audio signal Dd is generated and supplied to the audio output device 6. The audio output of the audio output device 6 is controlled.
  • the display group 5 is controlled by the processing circuit 3 to display an image. That is, the processing circuit 3 supplies the video signal Dc to the display unit group 5, and the display unit group 5 displays a video according to the video signal Dc from the processing circuit 3.
  • the video displayed on the display unit group 5 is, for example, a video acquired by the external situation detection unit 1 and enhanced by the processing circuit 3 as necessary.
  • the display group 5 includes first to fourth indicators 5a to 5d provided on the dashboard 104, as shown in FIG. 6, for example.
  • Each of the first to fourth display devices 5a to 5d (denoted by reference numeral 5i) has a display unit 51 and a display control unit 52 that controls the display on the display unit 51, as shown in FIG. 7, for example. It may be one.
  • the display control unit 52 of the display 5i is supplied with the video signal Dci to be displayed on the display unit 51 of the display 51i out of the video signals Dc.
  • the first display 5a displays an image of the right front of the vehicle 102
  • the second display 5b displays an image of the left front of the vehicle 102
  • the third display 5c displays the image of the vehicle 102.
  • the right rear image of the vehicle 102 is displayed
  • the fourth display 5d displays the left rear image of the vehicle 102.
  • the first to fourth indicators 5a to 5d are provided corresponding to the first to fourth cameras 11a to 11d, respectively, and image pickup by the first to fourth cameras 11a to 11d, respectively. Display the image obtained in.
  • the first indicator 5a is provided so as to be located in a direction looking to the front right of the vehicle 102 or a direction close to the right looking from the driver.
  • the second indicator 5b is preferably provided so as to be located in a direction looking to the left front of the vehicle 102, or a direction close to it, as seen from the driver.
  • the third indicator 5c is provided so as to be positioned in a direction in which the right side mirror 112 is viewed by the driver or a direction close to the right side mirror 112.
  • the right side mirror 112 is what the driver sees when checking the situation on the right rear side of the vehicle 102.
  • the fourth indicator 5d is provided so as to be located in a direction in which the left side mirror 114 is viewed by the driver or a direction close thereto.
  • the left side mirror 114 is viewed by the driver when confirming the situation on the left rear side of the vehicle 102.
  • the first to fourth indicators 5a to 5d are the third indicator 5c, the first indicator 5a, and the second indicator 5b on the dashboard 104 from the right.
  • the fourth display devices 5d are arranged in this order.
  • the voice output device 6 is controlled by the processing circuit 3 and outputs a warning sound. That is, the processing circuit 3 supplies the audio signal Dd to the audio output device 6, and the audio output device 6 outputs a caution sound according to the audio signal Dd from the processing circuit 3.
  • the attention sound is for recognizing which one of the first to fourth indicators 5a to 5d should be watched.
  • the image of the attention sound is controlled so that the virtual sound source is localized at any one of the positions of the first to fourth display devices 5a to 5d. It is made to recognize which of the four display devices 5a to 5d should be watched.
  • the audio output device 6 may include, for example, as shown in FIG. 8, a plurality of speakers 6a to 6d and an audio output control unit 6e that controls audio output from the speakers 6a to 6d.
  • the audio output control unit 6e here includes an amplifier.
  • the audio output device 6 may be provided separately from the display devices 5a to 5d, that is, as a separate body.
  • FIG. 9 is a functional block diagram showing the configuration of the processing circuit 3 shown in FIG.
  • the illustrated processing circuit 3 includes an information analysis unit 302, a video processing unit 304, an audio data storage unit 306, and an audio processing unit 308.
  • the information analysis unit 302 acquires the detection information Da from the external situation detection unit 1.
  • the information analysis unit 302 detects an attention target located around the vehicle 102, such as another vehicle, a person, or a structure, based on the detection information Da from the external situation detection unit 1. Here, it is assumed that only one attention target is detected.
  • any of the following methods may be used, for example.
  • A1 A method using an image.
  • Patent Document 2 Patent No. 5930067.
  • A2 A method based on the detection result of the lidar (LIDAR).
  • LIDAR lidar
  • Patent Document 3 Japanese Patent No. 6381736
  • Patent Document 4 Patent No. 6289788.
  • the information analysis unit 302 calculates the degree of danger from the detection information Da regarding the attention target and the information regarding the own vehicle.
  • the risk is calculated, for example, from the position of the attention target and the direction and speed of the movement, and the position and the direction and speed of the movement of the own vehicle as it is (without changing the direction and the speed of the movement of the own vehicle). It is also possible to obtain the time until a collision occurs on the assumption that the vehicle has continued to travel, and calculate the reciprocal of the obtained time as the risk. If the subject of attention or the vehicle is changing direction of movement, this may be taken into consideration.
  • the target of attention is a fixed structure, the speed of movement of the target of attention may be set to zero, and the risk may be calculated from the position of the host vehicle and the direction and speed of movement.
  • the detection information Da from the external situation detection unit 1 includes information indicating the position and movement direction and speed of the attention target
  • the position and movement direction and speed of the attention target indicated in the information are used as the degree of danger. Can be used to calculate
  • the detection information Da from the external situation detection unit 1 does not include the information indicating the position of the attention target and the direction and speed of the movement, the position and movement of the attention target based on the information included in the detection information Da.
  • the direction and speed of may be calculated. For example, when the detection information Da includes an image including the distance to the attention target and the attention target, the position of the attention target and the moving direction and speed may be calculated based on these.
  • the position of the own vehicle and the direction and speed of the movement for calculating the risk the one indicated by the own vehicle information Db from the vehicle information acquisition unit 2 can be used.
  • the information analysis unit 302 also determines that the driver should be warned if the risk level calculated for the caution target is equal to or higher than the threshold value, and selects a display device that should perform the caution display.
  • the information analysis unit 302 supplies information indicating the selected display device to the video processing unit 304 and the audio processing unit 308.
  • the image processing unit 304 supplies the images obtained by the image pickup by the cameras 11a to 11d of the image pickup unit 11 to the corresponding display units 5a to 5d.
  • the video processing unit 304 includes an emphasis processing unit 314.
  • the enhancement processing unit 314 performs enhancement processing on the video displayed on the selected display device.
  • the emphasizing process is a process of making the attention target whose risk of collision is determined to be equal to or higher than the threshold value conspicuous. For example, any of the following methods may be used as the emphasis processing method.
  • (B1) Surround the target with a colored line.
  • (B2) Blur or erase images other than the target image.
  • the video subjected to the emphasis processing by the emphasis processing unit 314 is supplied to the selected display device. As a result, an alert display is displayed on the selected display device.
  • the voice processing unit 308 causes the voice output device 6 to generate a caution sound.
  • the voice processing unit 308 receives the voice data from the voice data storage unit 306, and outputs the sound represented by the voice data as the attention sound.
  • the voice processing unit 308 includes a sound image control unit 318.
  • the sound image control unit 318 generates, as the above-mentioned attention sound, a sound whose sound image is controlled so that the virtual sound source is localized at the position of the display device that performs the attention display.
  • the audio processing unit 308 performs signal processing on audio data to generate a sound whose sound image is controlled.
  • the audio data may be any data as long as it draws the driver's attention.
  • voice data for example, data representing any of the following voices can be used.
  • C1 Pure tone (sound represented by a single sine wave) C2 Human voice (voice message)
  • C3) Discord (think of noise) C4) Sound effect
  • any of the following methods may be used.
  • step ST11 the information analysis unit 302 detects the attention target using the detection information Da output from the external situation detection unit 1.
  • step ST12 the information analysis unit 302 acquires information regarding the attention target detected in step ST11.
  • step ST13 the information analysis unit 302 acquires information about the vehicle from the vehicle information acquisition unit 2. The process of step ST12 and the process of step ST13 can be performed in parallel. After step ST12 and step ST13, in step ST14, the information analysis unit 302 calculates the risk degree of the attention target from the information regarding the attention target and the information regarding the own vehicle.
  • step ST15 the information analysis unit 302 determines whether the degree of risk is greater than a predetermined threshold value. When it is determined that the value is larger than the threshold value, it is determined that the alert display should be performed, and information indicating the result of the determination is output (ST16). The information indicating the result of the determination that the caution display should be performed is output as a caution flag, for example.
  • the information analysis unit 302 selects a display device that should perform the attention display, and notifies the video processing unit 304 and the audio processing unit 308 of the selected display device.
  • the display device that should perform the attention display the display device that displays the image including the attention target whose risk level is determined to be greater than the threshold value is selected.
  • step ST18 the enhancement processing unit 314 of the video processing unit 304 performs enhancement processing on the video displayed on the selected display device based on the information generated in step ST16 and the information indicating the selection result in step ST17.
  • step ST19 the sound image control section 318 of the audio processing section 308 localizes the virtual sound source at the position of the selected display unit based on the information generated in step ST16 and the information indicating the selection result in step ST17.
  • Signal processing for controlling the sound image is performed.
  • the video subjected to the emphasis processing is displayed on the selected display device, and the audio generated as a result of the signal processing is reproduced by the audio output device 6.
  • FIG. 11 conceptually shows an example of the operation when the above processing is performed.
  • the image on the left front is displayed on the in-vehicle display.
  • the display 5b is selected, and the part of the approaching vehicle 108a is emphasized in the image displayed on the selected display 5b (AT2), and at the same time, the attention of the sound image in which the virtual sound source is localized at the position of the display 5b. Evoking sound is generated (AT3).
  • the driver 106 turns his/her line of sight to the display 5b located at the position of the virtual sound source (AT4).
  • the approaching vehicle 108a is surrounded by a line Em for emphasis, so that the driver looking at the line of sight can quickly recognize the approaching vehicle 108a.
  • the driver notices the approaching vehicle 108a displayed on the display 5b, and as a result, notices the actual approaching vehicle 108 as well, and performs a driving operation (a braking operation, a steering wheel turning operation, etc.) for avoiding a collision. ) Is possible.
  • the process of presenting information as described above is particularly effective, for example, when the approaching vehicle 108 is located in a blind spot for the driver, for example, when it is hidden behind the pillar 103 of the vehicle 102.
  • the attention target in the blind spot position for the driver tends to be difficult to recognize by direct sight and may be delayed to notice.
  • the driver 106 This is because the approaching vehicle 108b subjected to the emphasis process (AT2) can be recognized by directing the line of sight to the display 5b.
  • the emphasis process may be omitted. Even in this case, the driver can turn his/her line of sight to the display device and recognize the approaching vehicle displayed by indicating the display device to be watched by the attention sound.
  • the first to fourth display devices 5a to 5d constantly display the images obtained by the imaging by the first to fourth cameras, but in step ST15, the degree of risk is higher than the threshold value. Only when it is determined that the image is displayed, the image may be displayed. In this case, display the captured image on the direction in which the attention target is located (direction viewed from the driver), the direction in which the mirror that displays the attention target is located, or the display closest to these directions. May be.
  • the image is displayed on the display device 5a located to the front of the right.
  • the direction in which the right side mirror 112 (viewing the attention object on the right rear) is located (as viewed by the driver) Direction)
  • the image is displayed on the display device 5c located in the closest direction.
  • the display of the attention target may be started after the attention target is detected in step ST11, without displaying normally.
  • the procedure of the processing in this case is shown in FIG.
  • FIG. 12 is generally the same as FIG. 10, but steps ST21 and ST22 are added.
  • the information analysis unit 302 selects a display device that should display the detection target based on the detection result of the attention target, and notifies the video processing unit 304 of the selected display device.
  • the selection of the display device is also the direction in which the detected attention target is located (direction viewed from the driver), the direction in which the mirror showing the attention target is located, or the direction closest to these directions.
  • the video processing unit 304 starts displaying the video to be detected.
  • the display devices 5a to 5d may normally display other images.
  • the display of the navigation system may be used as any of the displays 5a to 5d.
  • the external situation detection unit 1 has the first to fourth cameras 11a to 11d for picking up images in different directions, and the first to fourth indicators 5a to 5d are respectively the first to fourth cameras. It corresponds to the four cameras 11a to 11d and displays the images obtained by the imaging by the corresponding cameras 11a to 11d, respectively.
  • the image displayed on each of the display devices 5a to 5d may be an image displayed when viewing in a direction different from the imaging direction of one of the cameras.
  • the right image is obtained from the images obtained by the plurality of cameras capturing different directions, without using the cameras capturing the same direction.
  • a front image may be generated.
  • the image obtained by the image capturing by the camera capturing the front direction and the image obtained by the image capturing by the camera capturing the right side may be combined to generate the image on the right front side.
  • the external situation detecting unit 1 may be any one as long as it generates a plurality of images in different directions displayed on the first to fourth display devices 5a to 5d.
  • the detection information processing unit 14 may combine the images obtained by imaging with a plurality of cameras to generate an image in a desired direction. Each display does not have to correspond to a camera. Further, the number of cameras does not have to be the same as the number of display devices.
  • FIG. 13 is a functional block diagram showing the configuration of the processing circuit 3b used in the second embodiment of the present invention.
  • the processing circuit 3b shown in FIG. 13 is generally the same as the processing circuit 3 shown in FIG. 9, but a priority determining unit 322 is added.
  • An information analysis unit 302b is provided instead of the information analysis unit 302, and a video processing unit 304b is provided instead of the video processing unit 304.
  • the information analysis unit 302b calculates a risk level for each attention target.
  • the priority determination unit 322 assigns a priority based on the calculated risk level. As a priority, a higher priority is assigned to a caution target that the driver should recognize more quickly.
  • E1 The higher the risk calculated by the information analysis unit 302, the higher the priority.
  • E2 Priorities (priorities) are given in advance in accordance with the types of attention target (vehicle, person, structure).
  • the priority determination unit 322 notifies the video processing unit 304b of the determined priority, and notifies the audio processing unit 308 of information indicating the display device having the highest priority determined.
  • the emphasis processing unit 314b of the video processing unit 304b performs the attention target emphasis process based on the notified priority.
  • any of the following methods may be used as the emphasis processing method based on the priority.
  • the emphasis processing is performed only on the display device that is displaying the video including the attention target having the highest priority.
  • F2 Highlighting is performed on all the display units displaying the image including the attention target. However, different emphasis is given according to the priority.
  • the sound image control unit 318 of the sound processing unit 308 performs sound image control based on the notified information indicating the display device having the highest priority. Specifically, sound image control is performed so that the virtual sound source is localized at the position of the display device having the highest priority.
  • FIG. 14 shows a configuration example of the driving support device 10c including the information presentation device according to the third embodiment of the present invention.
  • the driving support device 10c shown in FIG. 14 is generally the same as the driving support device 10 shown in FIG. 1 except that an internal situation detection unit 7 is added and a processing circuit 3c is provided instead of the processing circuit 3. ing.
  • the internal situation detection unit 7 includes an image pickup unit 71, a detection unit 72, and a detection information processing unit 73.
  • the image pickup unit 71 includes one or more cameras.
  • the camera images an occupant in the vehicle.
  • the passengers include a driver and other passengers (passengers).
  • the detection unit 72 detects the state of passengers in the vehicle.
  • the detection unit 72 may include a biosensor or a voice detector (microphone).
  • the biometric sensor may detect a heart rate of an occupant, for example, a driver.
  • the voice detector may be any one that detects the voice emitted by the passenger.
  • the detection information processing unit 73 supplies the information obtained by the image pickup by the image pickup unit 71 and the information obtained by the detection by the detection unit 72 to the processing circuit 3c as the detection information De.
  • FIG. 16 shows a configuration example of the processing circuit 3c shown in FIG.
  • the processing circuit 3c of FIG. 16 is generally the same as the processing circuit 3 of FIG. 9, but an occupant monitoring unit 332 is added, and a voice processing unit 308c is provided instead of the voice processing unit 308.
  • the passenger monitoring unit 332 a device generally called a driver monitoring system (DMS) can be used.
  • the passenger monitoring unit 332 determines the passenger's state from the detection information De obtained by the detection by the internal condition detecting unit 7.
  • any of the following methods may be used as the method of determining the passenger's state.
  • the in-vehicle camera analyzes the direction of the passenger's face or the direction of the line of sight to determine whether the passenger is aware of the approach of the attention target.
  • the degree of the driver's attention to driving is evaluated by detecting the heart rate with the biometric sensor.
  • G3 When a passenger other than the driver notices the danger and informs the driver of the danger by utterance or gesture, the fact is detected.
  • the voice processing unit 308c is generally the same as the voice processing unit 308 of FIG. 9, but a volume control unit 338 is added.
  • the volume control unit 338 controls the volume of the alert sound based on the state of the passenger of the own vehicle determined by the passenger monitoring unit 332.
  • the voice processing unit 308c causes the voice output device 6 to generate a sound at the volume controlled by the volume control unit 338.
  • the volume control unit 338 performs any of the following volume controls, for example.
  • H1 If the driver has already noticed a caution target located near the vehicle 102 and having a high degree of danger, the generation of the warning sound is stopped or the volume of the warning sound is reduced.
  • H2 When an occupant other than the driver notices a high-risk attention target located near the vehicle 102 and notifies the driver of the danger, the passenger is detected and the alert is issued. Stop the sound generation or reduce the volume of the alert sound.
  • H3 If the driver's attention is low, increase the volume.
  • the voice processing unit 308c includes the volume control unit 338 and controls the volume according to the state of the passenger.
  • the sound image control unit 318 may perform sound image control so as to change the position where the virtual sound source is localized. For example, instead of the processing of (h3) above, (H4) If the driver's attention is low, the sound image of the alert sound may be controlled so that the virtual sound source is localized at the driver's ear.
  • the voice processing unit 308c may be controlled so that the driver is more alerted by the alert sound.
  • the alert sound is intended to convey necessary information to the passenger (especially the driver), but it may cause discomfort to the passenger. Therefore, it is possible to prevent the passenger from feeling uncomfortable by stopping or reducing the sound when it is determined that the generation of the alerting sound is unnecessary from the passenger's situation.
  • the volume is increased or the sound image is controlled so that the virtual sound source is localized at the ear, thereby increasing the degree of alerting and promptly reducing the danger level. Can be made to recognize.
  • the detection information processing unit 14 is described as being a part of the external situation detecting unit 1, but it may be configured as a part of the processing circuit 3. In that case, the function of the detection information processing unit 14 may be realized by software, that is, a programmed computer shown in FIG.
  • the detection information processing unit 73 is described as being a part of the internal situation detecting unit 7, but it may be configured as a part of the processing circuit 3c. In that case, the function of the detection information processing unit 73 may be implemented by software, that is, a programmed computer shown in FIG.
  • 1 external condition detection unit 2 vehicle information acquisition unit, 3, 3b, 3c processing circuit, 4 storage device, 5 display group, 5a-5d display unit, 6 audio output device, 6a-6d speaker, 6e audio output control unit , 7 internal status detection unit, 10 information presentation device, 11 imaging unit, 11a-11d camera, 12 detection unit, 13 communication unit, 14 detection information processing unit, 31 processor, 32 program memory, 51 display unit, 52 display control unit , 71 imaging unit, 72 detection unit, 73 detection information processing unit, 102 vehicle, 104 dashboard, 106 driver, 112 side mirror, 114 side mirror, 114, 302b, 302, 302b information analysis unit, 304, 304b video processing unit, 306 audio Data storage unit, 308, 308b, 308c audio processing unit, 314 emphasis processing unit, 318 sound image control unit, 322 priority determination unit, 332 passenger monitoring unit, 338 volume control unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)

Abstract

車両に搭載された複数の表示器及び音声出力装置に、運転支援のための情報を提示させる情報提示制御方法において、車両の周辺に位置する注意対象に関する検出情報に基づいて危険度を算出し、算出された危険度に基づいて複数の表示器のうちの少なくとも一つの表示器に注意喚起表示を行わせ、算出された危険度に基づいて音声出力装置に注意喚起音を発生させる。注意喚起音として、注意喚起表示を行う表示器のうちの少なくとも一つの表示器の位置に仮想音源が定位されるように音像が制御された音を発生させる。運転者の視線を、注視すべき情報を表示している表示器に速やかに向けさせることができ、運転者に、認識すべき情報を迅速に与えることができる。

Description

情報提示制御装置、情報提示装置及び情報提示制御方法、並びにプログラム及び記録媒体
　本発明は情報提示制御装置、情報提示装置及び情報提示制御方法、並びにプログラム及び記録媒体に関する。
　車両の運転操作の支援のための情報を表示する情報提示装置が知られている。近年車両用の表示器の電子化が進み、情報提示方法が多様化している。表示器の例としては電子インストルメントパネル、ヘッドアップディスプレイ、電子ミラーがある。これらの表示器を用いることで、運転に必要な情報を運転者に見やすく、わかりやすく提供することが可能である。ここで言う運転に必要な情報には、接近している他の車両を示す映像が含まれる。一方、提供される情報の増加に伴い、運転者は複数の情報の中でどの情報が、緊急に認識すべき情報であるかを判断することが困難で、運転操作に支障を来たす可能性がある。
　電子インストルメントパネル上に表示されている複数の映像のうち、運転者に対して注視させるべき注視映像を選択し、運転者の視線を注視映像に誘導するようマーカを移動させて表示させるとともに、マーカの移動位置に対応した定位の音を再生可能な再生手段を備えた車両表示器が提案されている（特許文献１）。
特開２０１２－１１３６７２号公報（段落００１４、００２０、図４） 特許第５９３００６７号明細書 特許第６３８１７３６号明細書 特許第６２８９７８８号明細書
　特許文献１では、ディスプレイ上に表示されるマーカを用いて視線誘導を行っており、目的の映像に視線が誘導されるのに時間を要する。また、マーカの位置が時々刻々変化することがあり、マーカの移動位置に対応した定位の音を再生することが困難である。
　本発明の情報提示制御装置は、
　車両に搭載された複数の表示器及び音声出力装置に、運転支援のための情報を提示させる情報提示制御装置であって、
　前記車両の周辺に位置する注意対象に関する検出情報に基づいて危険度を算出する情報解析部と、
　前記情報解析部で算出された危険度に基づいて前記複数の表示器のうちの少なくとも一つの表示器に注意喚起表示を行わせる映像処理部と、
　前記情報解析部で算出された危険度に基づいて前記音声出力装置に注意喚起音を発生させる音声処理部とを有し、
　前記音声処理部は、前記注意喚起音として、前記注意喚起表示を行う表示器のうちの少なくとも一つの表示器の位置に仮想音源が定位されるように音像が制御された音を発生させる。
　本発明の情報提示装置は、
　車両に搭載された複数の表示器及び音声出力装置に、運転支援のための情報を提示させる情報提示装置であって、
　前記車両の周辺に位置する注意対象を検出する外部状況検出部と、
　前記外部状況検出部による検出で得られた前記注意対象に関する検出情報に基づいて危険度を算出し、算出された危険度に基づいて前記複数の表示器のうちの少なくとも一つの表示器に注意喚起表示を行わせ、算出された危険度に基づいて前記音声出力装置に注意喚起音を発生させる情報提示制御装置とを有し、
　前記情報提示制御装置は、前記注意喚起音として、前記注意喚起表示を行う表示器のうちの少なくとも一つの表示器の位置に仮想音源が定位されるように音像が制御された音を発生させる。
　本発明によれば、運転者の視線を、注視すべき情報を表示している表示器に速やかに向けさせることができ、運転者に、認識すべき情報を迅速に与えることができる。
本発明の実施の形態１の情報提示装置を備えた運転支援装置の構成例を示す機能ブロック図である。 図１に示される運転支援装置が搭載された車両を示す概略図である。 図１に示される処理回路の機能をソフトウェアで実現するために用いられるコンピュータの構成例を示す機能ブロック図である。 図１に示される外部状況検出部の構成例を示す機能ブロック図である。 図４に示される撮像部を構成するカメラの撮像方向を示す概略図である。 図１に示される表示器群を構成する表示器の配置の一例を示す概略図である。 図６に示される表示器の各々の構成例を示す機能ブロック図である。 図１に示される音声出力装置の構成例を示す機能ブロック図である。 図１に示される処理回路の構成例を示す機能ブロック図である。 図９に示される処理回路の動作の一例を示すフローチャートである。 図１に示される情報提示装置の動作の例を概念的に示す図である。 図９に示される処理回路の動作の他の例を示すフローチャートである。 本発明の実施の形態２で用いられる処理回路の構成を示す機能ブロック図である。 本発明の実施の形態３の情報提示装置を備えた運転支援装置の構成例を示す機能ブロック図である。 図１４に示される内部状況検出部の構成例を示す機能ブロック図である。 図１４に示される処理回路の構成例を示す機能ブロック図である。
実施の形態１．
　図１は、本発明の実施の形態１の情報提示装置を備えた運転支援装置１０の構成例を示す。
　図示の運転支援装置１０は、例えば図２に示されるように、車両１０２に搭載されるものであり、外部状況検出部１と、車両情報取得部２と、処理回路３と、表示器群５と、音声出力装置６とを有する。外部状況検出部１と、車両情報取得部２と、処理回路３とで情報提示装置が構成されている。
　図１に示される処理回路３は、情報提示装置の制御部としての機能を有するものであり、情報提示制御装置とも呼ばれる。
　処理回路３の機能は、ハードウェアで実現することもできるが、ソフトウェアで、即ちプログラムされたコンピュータで実現することもできる。ソフトウェアで実現する場合に用いられるコンピュータの構成例を図３に示す。図３のプロセッサ３１とプログラムメモリ３２とで図１の処理回路３が構成されており、プロセッサ３１がプログラムメモリ３２に記憶されたプログラムに従って動作を行うことで図１の処理回路３として動作する。
　処理回路３は、記憶装置４に接続されている。
　記憶装置４は、ＨＤＤ（ハードウェアドライブ）、ＳＳＤ（ソリッドステートドライブ）等で構成されていても良い。記憶装置４は、処理回路３に直接接続されていても良く、ネットワークを介して接続されていても良い。
　外部状況検出部１は、車両１０２の周辺の状況を表す情報を取得し、注意対象についての検出情報Ｄａを出力する。注意対象には、車両１０２の周辺に位置する他の車両、人、固定された構造物が含まれる。他の車両には、自動四輪車（乗用車、トラック、バス等）、自動二輪車、自転車が含まれる。「他の車両」との区別のため、運転支援装置１０が搭載されている車両１０２を「自車両」と言うことがある。
　外部状況検出部１は、図４に示されるように、撮像部１１と、検知部１２と、通信器１３と、検知情報処理部１４とを有する。
　撮像部１１は、車両１０２の周辺を撮像し、撮像により得られた映像を表す映像信号を出力する。撮像部１１は、車両１０２の周辺の複数の異なる方向の映像を取得する。撮像部１１は、例えば、それぞれ上記の複数の方向を撮像する複数のカメラを含む。
　撮像部１１は、例えば、図５に示すように、車両１０２の右前方を撮像する第１のカメラ１１ａ、車両１０２の左前方を撮像する第２のカメラ１１ｂ、車両１０２の右後方を撮像する第３のカメラ１１ｃ、及び車両１０２の左後方を撮像する第４のカメラ１１ｄを含む。
　検知部１２は、車両１０２の周辺に位置する注意対象を検知する。検知部１２は、例えば、ライダー（ＬＩＤＡＲ：Ｌａｓｅｒ　Ｉｍａｇｉｎｇ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）、ミリ波レーダー、超音波センサのいずれか一つ以上のものを含んでいても良い。検知部１２は、注意対象の存在を検出し、或いはこれらの注意対象までの距離を検出する。
　通信器１３は、車両１０２の外部から提供される、他の車両に関する情報を受信する。他の車両に関する情報は、当該他の車両の位置並びに移動の方向及び速度を示す情報を含んでいても良い。車両１０２の外部からの提供は、他の車両からの直接の通信による提供であっても良く、基地局を介しての通信による提供であっても良い。
　検知情報処理部１４は、撮像部１１での撮像で得られた映像を表す映像信号、検知部１２での検知で得られた情報、及び通信器１３で受信した情報に基づいて、検出情報Ｄａを生成して、出力する。
　検知情報処理部１４から出力される検出情報Ｄａには、車両１０２の周辺の状況の映像を表す情報、車両１０２の周辺に位置する注意対象に関する情報が含まれる。そのような注意対象に関する情報には、当該注意対象までの距離を示す情報、当該注意対象の位置並びに移動の方向及び速度を示す情報が含まれていても良い。
　車両情報取得部２は、車両１０２に関する情報（自車両情報）Ｄｂを取得する。自車両情報Ｄｂには、自車両の位置並びに移動の方向及び速度を示す情報が含まれていても良い。自車両の位置並びに自車両の移動の方向及び速度を示す情報は例えばナビゲーション・システムから得られるものであっても良い。
　処理回路３は、外部状況検出部１から出力される検出情報Ｄａ、及び車両情報取得部２から出力される自車両情報Ｄｂに基づいて、表示器群５及び音声出力装置６を制御する。具体的には、映像信号Ｄｃを生成して表示器群５に供給することで表示器群５において表示される映像を制御し、音声信号Ｄｄを生成して音声出力装置６に供給することで音声出力装置６における音声出力を制御する。
　表示器群５は、処理回路３により制御されて、映像を表示する。即ち、処理回路３が、表示器群５に映像信号Ｄｃを供給し、表示器群５は、処理回路３からの映像信号Ｄｃに応じて映像を表示する。
　表示器群５で表示される映像は、例えば、外部状況検出部１により取得され、処理回路３で必要に応じて強調処理された映像である。
　表示器群５は、例えば図６に示すように、ダッシュボード１０４上に設けられた第１乃至第４の表示器５ａ～５ｄを備える。
　第１乃至第４の表示器５ａ～５ｄの各々（符号５ｉで表す）は、例えば図７に示すように、表示部５１と、該表示部５１における表示を制御する表示制御部５２とを有するものであっても良い。
　表示器５ｉの表示制御部５２には、映像信号Ｄｃのうちの、表示器５１ｉの表示部５１で表示されるべき映像信号Ｄｃｉが供給される。
　例えば、第１の表示器５ａは、車両１０２の右前方の映像を表示し、第２の表示器５ｂは、車両１０２の左前方の映像を表示し、第３の表示器５ｃは、車両１０２の右後方の映像を表示し、第４の表示器５ｄは、車両１０２の左後方の映像を表示する。
　例えば、第１乃至第４の表示器５ａ～５ｄは、第１乃至第４のカメラ１１ａ～１１ｄに対応して設けられたものであり、それぞれ第１乃至第４のカメラ１１ａ～１１ｄでの撮像で得られた映像を表示する。
　第１の表示器５ａは、運転者から見て、車両１０２の右前方を見る方向、又はそれに近い方向に位置するように設けられているのが望ましい。
　第２の表示器５ｂは、運転者から見て、車両１０２の左前方を見る方向、又はそれに近い方向に位置するように設けられているのが望ましい。
　第３の表示器５ｃは、運転者から見て、右のサイドミラー１１２を見る方向、又はそれに近い方向に位置するように設けられているのが望ましい。右のサイドミラー１１２は、運転者が車両１０２の右後方の状況を確認する際に目視されるものである。
　第４の表示器５ｄは、運転者から見て、左のサイドミラー１１４を見る方向、又はそれに近い方向に位置するように設けられているのが望ましい。左のサイドミラー１１４は、運転者が車両１０２の左後方の状況を確認する際に目視されるものである。
　図６に示される例では、第１乃至第４の表示器５ａ～５ｄは、ダッシュボード１０４上に右から、第３の表示器５ｃ、第１の表示器５ａ、第２の表示器５ｂ、第４の表示器５ｄの順に並べられている。
　音声出力装置６は、処理回路３により制御されて、注意喚起音を出力する。即ち、処理回路３が、音声出力装置６に音声信号Ｄｄを供給し、音声出力装置６は、処理回路３からの音声信号Ｄｄに応じて注意喚起音を出力する。
　注意喚起音は、第１乃至第４の表示器５ａ～５ｄのうちのいずれを注視すべきかを認識させるものである。注意喚起音は、その仮想音源が第１乃至第４の表示器５ａ～５ｄのいずれかの位置に定位されるように音像が制御されたものであり、仮想音源の定位により、第１乃至第４の表示器５ａ～５ｄのうちのいずれを注視すべきかを認識させる。
　音声出力装置６は、例えば、図８に示すように、複数のスピーカ６ａ～６ｄと、該スピーカ６ａ～６ｄにおける音声出力を制御する音声出力制御部６ｅとを有するものであっても良い。ここでいう音声出力制御部６ｅには、増幅器が含まれる。音声出力装置６は、表示器５ａ～５ｄとは別に、即ち別体として、設けられたものであっても良い。
　図９は、図１の処理回路３の構成を示す機能ブロック図である。図示の処理回路３は、情報解析部３０２と、映像処理部３０４と、音声データ記憶部３０６と、音声処理部３０８とを有する。
　情報解析部３０２は、外部状況検出部１からの検出情報Ｄａを取得する。
　情報解析部３０２は、外部状況検出部１からの検出情報Ｄａに基づいて、車両１０２の周辺に位置する注意対象、例えば、他の車両、人、構造物等を検出する。ここでは、注意対象が一つだけ検出されたものとして説明する。
　車両１０２の周辺に位置する注意対象の検出の方法としては、例えば以下の方法のいずれを用いても良い。
（ａ１）　映像を用いた方法。例えば、特許文献２（特許第５９３００６７号明細書）に示される方法。
（ａ２）　ライダー（ＬＩＤＡＲ）での検出結果に基づく方法。例えば、特許文献３（特許第６３８１７３６号明細書）に示される方法。
（ａ３）　超音波センサでの検出結果に基づく方法。例えば、特許文献４（特許第６２８９７８８号明細書）に示される方法。
　情報解析部３０２は、注意対象に関する検出情報Ｄａ及び自車両に関する情報から危険度を算出する。
　危険度の算出は、例えば、注意対象の位置並びに移動の方向及び速度、並びに自車両の位置並びに移動の方向及び速度から、自車両がそのまま（自車両が移動の方向及び速度を変えることなく）走行を続けたと仮定したときに衝突するまでの時間を求め、求めた時間の逆数を危険度として算出しても良い。注意対象又は自車両が移動の向きを変えつつある場合には、そのことを考慮に入れても良い。注意対象が固定された構造物である場合、注意対象の移動の速度をゼロとし、自車両の位置並びに移動の方向及び速度から危険度の算出を行なえば良い。
　外部状況検出部１からの検出情報Ｄａに、注意対象の位置並びに移動の方向及び速度を示す情報が含まれる場合には、該情報に示される注意対象の位置並びに移動の方向及び速度を危険度の算出に用いることができる。
　外部状況検出部１からの検出情報Ｄａに、注意対象の位置並びに移動の方向及び速度を示す情報が含まれない場合には、検出情報Ｄａに含まれる情報に基づいて、注意対象の位置並びに移動の方向及び速度を算出しても良い。例えば、検出情報Ｄａに注意対象までの距離及び注意対象を含む映像が含まれる場合には、これらを元にして注意対象の位置並びに移動の方向及び速度を算出しても良い。
　危険度の算出のための自車両の位置並びに移動の方向及び速度としては、車両情報取得部２からの自車両情報Ｄｂで示されるものを用いることができる。
　情報解析部３０２はまた、注意対象について算出された危険度が閾値以上であれば、運転者に対し注意喚起を行うべきと判断し、注意喚起表示を行うべき表示器を選択する。
　表示器の選択においては、検出した注意対象を含む映像を表示している表示器を選択することとしても良い。
　情報解析部３０２は、選択した表示器を示す情報を映像処理部３０４及び音声処理部３０８に供給する。
　映像処理部３０４は、撮像部１１のカメラ１１ａ～１１ｄでの撮像で得られた映像をそれぞれ対応する表示器５ａ～５ｄに供給する。映像処理部３０４は、強調処理部３１４を含む。
　強調処理部３１４は、選択された表示器で表示される映像に対し、強調処理を施す。強調処理は、衝突の危険度が閾値以上と判断された注意対象が目立つようにする処理である。強調処理の方法としては、例えば以下の方法のいずれを用いても良い。
（ｂ１）　注意対象を色つきの線で囲む。
（ｂ２）　注意対象以外の映像をぼやかす、又は消す。
　強調処理部３１４で強調処理を施された映像は、選択された表示器に供給される。これにより、選択された表示器で、注意喚起表示が行われる。
　音声処理部３０８は、音声出力装置６に注意喚起音を発生させる。音声処理部３０８は、音声データ記憶部３０６から、音声データを受け、音声データで表される音を注意喚起音として出力させる。
　音声処理部３０８は、音像制御部３１８を含む。音像制御部３１８は、上記の注意喚起音として、注意喚起表示を行う表示器の位置に仮想音源が定位されるように音像が制御された音を発生させる。音声処理部３０８は、音声データに対し、音像が制御された音を発生させるための信号処理を行う。
　音声データは運転者の注意を喚起するものであれば如何なるものでも良い。音声データとしては、例えば以下の音声のいずれかを表すものを用いることができる。
（ｃ１）　純音(単一の正弦波で表される音)
（ｃ２）　人の声（音声メッセージ）
（ｃ３）　不協和音（雑音と感じられるもの）
（ｃ４）　効果音
　また、音像制御の方法としては、例えば以下の方法のいずれを用いても良い。
（ｄ１）　選択された表示器を挟む二つのスピーカを用いた振幅パニング処理
（ｄ２）　複数のスピーカを用いたクロストークキャンセル処理
（ｄ３）　複数のスピーカを用いた波面合成法（Ｗａｖｅ　Ｆｉｅｌｄ　Ｓｙｎｔｈｅｓｉｓ）
　以下、処理回路３による情報提示のための処理を図１０のフローチャートを参照して説明する。
　ステップＳＴ１１では、情報解析部３０２は、外部状況検出部１から出力される検出情報Ｄａを用いて注意対象の検出を行う。
　ステップＳＴ１２で、情報解析部３０２が、ステップＳＴ１１で検出された注意対象に関する情報を取得する。
　ステップＳＴ１３で、情報解析部３０２が、車両情報取得部２から自車両に関する情報を取得する。
　ステップＳＴ１２の処理と、ステップＳＴ１３の処理とは平行して行い得る。
　ステップＳＴ１２及びステップＳＴ１３の次に、ステップＳＴ１４で、情報解析部３０２が、注意対象に関する情報及び自車両に関する情報から注意対象についての危険度を算出する。
　ステップＳＴ１５で、情報解析部３０２が、危険度が予め定められた閾値よりも大きいか否かの判定を行う。
　閾値よりも大きいと判断した場合、注意喚起表示を行うべきと判断し、該判断の結果を示す情報を出力する（ＳＴ１６）。注意喚起表示を行うべきとの判断の結果を示す情報は例えば注意喚起フラグとして出力される。
　注意喚起フラグが出力されると、ステップＳＴ１７で、情報解析部３０２が、注意喚起表示を行うべき表示器を選択し、選択した表示器を、映像処理部３０４及び音声処理部３０８に通知する。
　注意喚起表示を行うべき表示器としては、危険度が閾値よりも大きいと判定された注意対象を含む映像を表示している表示器が選択される。
　ステップＳＴ１７の次に、ステップＳＴ１８の処理とステップＳＴ１９の処理とが行われる。
　ステップＳＴ１８では、映像処理部３０４の強調処理部３１４が、ステップＳＴ１６で生成された情報と、ステップＳＴ１７での選択結果を示す情報に基づき、選択された表示器で表示される映像に対する強調処理を行う。
　ステップＳＴ１９では、音声処理部３０８の音像制御部３１８が、ステップＳＴ１６で生成された情報と、ステップＳＴ１７での選択結果を示す情報に基づき、選択された表示器の位置に仮想音源が定位されるように音像を制御するための信号処理を行う。
　強調処理を施された映像は選択された表示器で表示され、信号処理の結果生成された音声は、音声出力装置６で再生される。
　上記の処理を行う場合の動作の一例を、図１１に概念的に示す。
　例えば、左前方に接近車両１０８があり（ＡＴ１）、この車両１０８と自車両１０２との衝突の危険度が閾値以上と判断された場合、車内の表示器のうち、左前方の映像を表示する表示器５ｂが選択され、選択された表示器５ｂで表示される映像のうち、接近車両１０８ａの部分が強調され（ＡＴ２）、同時に当該表示器５ｂの位置に仮想音源が定位された音像の注意喚起音が発生される（ＡＴ３）。
　注意喚起音に応じて、運転者１０６は、仮想音源の位置にある表示器５ｂに視線を向ける（ＡＴ４）。
　表示器５ｂに表示された映像中では、接近車両１０８ａが強調のための線Ｅｍで囲まれており、視線を向けた運転者は、接近車両１０８ａをいち早く認識することができる。
　このようにして運転者は、表示器５ｂに表示された接近車両１０８ａに気付き、その結果実際の接近車両１０８にも気付き、衝突回避のための運転操作（ブレーキを掛ける操作、ハンドルを回す操作等）をとることが可能である。
　このような情報提示の処理は、例えば、接近車両１０８が運転者にとって死角に位置する場合に、例えば自車両１０２のピラー１０３の陰に隠れている場合に、特に有効である。運転者にとって死角の位置にある注意対象は、直視によっては認識し難く、気付くのが遅れる傾向があるのに対し、注意喚起音によって、注視すべき表示器５ｂを示すことで、運転者１０６が当該表示器５ｂに視線を向け、強調処理（ＡＴ２）された接近車両１０８ｂを認識することができるためである。
　なお、強調処理を省略しても良い。その場合も、注意喚起音によって、注視すべき表示器を示すことで、運転者が当該表示器に視線を向け、表示された接近車両を認識することができる。
　上記の例では、第１乃至第４の表示器５ａ～５ｄが第１乃至第４のカメラでの撮像で得られた映像を常時表示しているが、ステップＳＴ１５で危険度が閾値よりも大きいと判断されたときにのみ、映像の表示を行うこととしても良い。
　この場合、注意対象の位置する方向（運転者から見た方向）又は注意対象を映すミラーの位置する方向、又はこれらの方向に最も近い方向に位置する表示器で撮像映像の表示を行うようにしても良い。
　例えば、前方のやや右寄りに位置する注意対象の危険度が閾値よりも大きいと判断された場合、右前方に位置する表示器５ａで映像表示を行う。
　同様に、後方のやや右寄りに位置する注意対象の危険度が閾値よりも大きいと判断された場合、右のサイドミラー１１２（右後方の注意対象を映す）の位置する方向（運転者から見た方向）に最も近い方向に位置する表示器５ｃで映像表示を行う。
　また、通常は表示を行わず、ステップＳＴ１１で注意対象が検出されてから注意対象の映像表示を開始することとしても良い。この場合の処理の手順を図１２に示す。
　図１２は、図１０と概して同じであるが、ステップＳＴ２１及びＳＴ２２が付加されている。
　ステップＳＴ２１では、情報解析部３０２が、注意対象の検出の結果に基づいて検出対象の表示を行うべき表示器を選択し、選択した表示器を、映像処理部３０４に通知する。
　この場合の表示器の選択も、上記と同様に、検出された注意対象の位置する方向（運転者から見た方向）又は注意対象を映すミラーの位置する方向、又はこれらの方向に最も近い方向に位置する表示器で撮像映像の表示を行うようにしても良い。
　例えば、前方のやや右寄りの方向に注意対象が検出された場合、右前方に位置する表示器５ａを選択する。同様に、後方のやや右寄りの方向に注意対象が検出された場合、右のサイドミラー１１２（右後方の注意対象を映す）の位置する方向（運転者から見た方向）に最も近い方向に位置する表示器５ｃを選択する。
　ステップＳＴ２２では、映像処理部３０４が、検出対象の映像表示を開始する。
　このような構成である場合、表示器５ａ～５ｄは、通常他の映像の表示を行うものであっても良い。例えばナビゲーション・システムの表示器を、表示器５ａ～５ｄのいずれかとして用いても良い。
　上記の構成では、外部状況検出部１が、互いに異なる方向を撮像する第１乃至第４のカメラ１１ａ～１１ｄを有し、第１乃至第４の表示器５ａ～５ｄは、それぞれ第１乃至第４のカメラ１１ａ～１１ｄに対応し、それぞれ対応するカメラ１１ａ～１１ｄでの撮像で得られた映像を表示する。
　代わりに、表示器５ａ～５ｄの各々で表示される映像は、いずれかのカメラの撮像方向とは異なる方向を見たときの映像を表示するものであっても良い。例えば、第１の表示器５ａで車両１０２の右前方の映像を表示する場合、同じ方向を撮像するカメラを用いず、異なる方向を撮像する複数のカメラでの撮像で得られた映像から、右前方の映像を生成しても良い。
　例えば前方向を撮像するカメラでの撮像で得られた映像と、右側方を撮像するカメラでの撮像で得られた映像を合成して、右前方の映像を生成しても良い。
　要するに、外部状況検出部１は、第１乃至第４の表示器５ａ～５ｄで表示される、複数の異なる方向の映像を生成するものであれば良い。
　この場合、複数のカメラでの撮像で得られた映像を、検知情報処理部１４で合成し、所望の方向の映像を生成するように構成すれば良い。表示器はそれぞれカメラに対応するものでなくても良い。また、カメラの数は表示器の数と同じでなくても良い。
実施の形態２．
　図１３は、本発明の実施の形態２で用いられる処理回路３ｂの構成を示す機能ブロック図である。
　図１３に示される処理回路３ｂは、図９に示される処理回路３と概して同じであるが、優先度決定部３２２が付加されている。また、情報解析部３０２の代わりに情報解析部３０２ｂが設けられ、映像処理部３０４の代わりに映像処理部３０４ｂが設けられている。
　情報解析部３０２ｂは、複数の注意対象を検出した場合、それぞれの注意対象について危険度を算出する。
　優先度決定部３２２は、情報解析部３０２ｂで複数の注意対象について危険度が算出されたら、算出された危険度を元に、優先度を付ける。優先度としては、運転者がより速やかに認識すべき注意対象ほど、より高い優先度が付けられる。
　優先度の付け方としては、例えば以下の方法のいずれを用いても良い。
（ｅ１）　情報解析部３０２が算出する危険度が大きいほど優先度を高くする。
（ｅ２）　注意対象の種類（車両、人、構造物）に応じてそれぞれ優先度（優先順位）を予め与えておく。
　優先度決定部３２２は、決定した優先度を映像処理部３０４ｂに通知し、決定した優先度が最も高い表示器を示す情報を音声処理部３０８に通知する。
　映像処理部３０４ｂの強調処理部３１４ｂは、通知された優先度に基づいて注意対象の強調処理を行う。
　優先度に基づいた強調処理の方法としては、例えば以下の方法のいずれを用いても良い。
（ｆ１）　優先度が最も高い注意対象を含む映像を表示している表示器でのみ強調処理を行なう。
（ｆ２）　注意対象を含む映像を表示しているすべての表示器で強調表示は行う。但し、優先度に応じて異なる強調を行う。
　優先度に応じて異なる強調としては、映像中の注意対象を囲む線の色又は太さを変えることが考えられる。この場合、優先度がより高い注意対象を囲む線をより目立つ色に、或いはより太い線にすることが考えられる。
　音声処理部３０８の音像制御部３１８は、通知された優先度が最も高い表示器を示す情報に基づいて音像制御を行う。具体的には、優先度が最も高い表示器の位置に仮想音源が定位されるように音像制御を行なう。
　本実施の形態により得られる効果について述べる。自車両の周囲に複数の注意対象が検出された場合、優先度に応じて互いに異なる強調表示を行うことで、複数の表示器のうちのどの表示器を優先して注視すべきかが認識しやくなり、運転者は速やかに適切な運転操作をすることが可能となる。
　また、優先度が最も高い表示器の位置に仮想音源が定位されるように音像を制御することで、最優先で注視すべき表示器の認識が容易となり、差し迫った危険に対する迅速な対応が可能となる。
実施の形態３．
　図１４は、本発明の実施の形態３の情報提示装置を備えた運転支援装置１０ｃの構成例を示す。
　図１４に示される運転支援装置１０ｃは、図１に示される運転支援装置１０と概して同じであるが、内部状況検出部７が付加されており、処理回路３の代わりに処理回路３ｃが設けられている。
　内部状況検出部７は、図１５に示されるように、撮像部７１と、検知部７２と、検知情報処理部７３とを含む。
　撮像部７１は１又は２以上のカメラを含む。カメラは、車内の搭乗者を撮像する。搭乗者には、運転者及びそれ以外の搭乗者（同乗者）が含まれる。
　検知部７２は、車内の搭乗者の状態を検知する。検知部７２には、生体センサ又は音声検出器（マイクロホン）を含んでいても良い。生体センサは、搭乗者、例えば運転者の心拍数を検出するものであっても良い。音声検出器は、搭乗者が発する音声を検出するものであれば良い。
　検知情報処理部７３は、撮像部７１での撮像で得られた情報及び検知部７２での検知で得られた情報を検出情報Ｄｅとして処理回路３ｃに供給する。
　図１６は、図１４の処理回路３ｃの構成例を示す。
　図１６の処理回路３ｃは、図９の処理回路３と概して同じであるが、搭乗者監視部３３２が付加されており、音声処理部３０８の代わりに音声処理部３０８ｃが設けられている。
　搭乗者監視部３３２としては、一般にドライバ・モニタリング・システム（ＤＭＳ）と呼ばれるものを用いることができる。搭乗者監視部３３２は、内部状況検出部７での検出で得られた検出情報Ｄｅから搭乗者の状態を判断する。
　搭乗者の状態の判断の方法としては、例えば以下の方法のいずれを用いても良い。
（ｇ１）　車内カメラで搭乗者の顔の向き、又は視線の向きを解析し、搭乗者が注意対象の接近に気付いているかを判断する。
（ｇ２）　生体センサで心拍数を検出することで、運転者の運転に対する注意力の度合いを評価する。
（ｇ３）　運転者以外の搭乗者が、危険に気付き、発話、仕草で運転者に危険を知らせている場合、そのことを検出する。
　音声処理部３０８ｃは、図９の音声処理部３０８と概して同じであるが、音量制御部３３８が付加されている。音量制御部３３８は、搭乗者監視部３３２で判断された自車両の搭乗者の状態に基づいて、注意喚起音の音量を制御する。
　音声処理部３０８ｃは音量制御部３３８により制御された音量で、音声出力装置６に音を発生させる。
　音量制御部３３８は、例えば以下のような音量制御のいずれかを行なう。
（ｈ１）　運転者が車両１０２の周辺に位置する、危険度が大きい注意対象に既に気付いているのであれば、注意喚起音の発生を停止し、又は注意喚起音の音量を小さくする。
（ｈ２）　運転者以外の搭乗者が、運転者が車両１０２の周辺に位置する、危険度が大きい注意対象に気付き、運転者に危険を知らせている場合、そのことを検出して、注意喚起音の発生を停止し、又は注意喚起音の音量を小さくする。
（ｈ３）　運転者の注意力が低い状態であれば音量を大きくする。
　上記の例では、音声処理部３０８ｃが、音量制御部３３８を備え、搭乗者の状態に応じて音量を制御する。代わりに、音像制御部３１８が、仮想音源が定位される位置を変えるように音像制御を行うこととして良い。例えば、上記（ｈ３）の処理の代わりに、
（ｈ４）　運転者の注意力が低い状態であれば、運転者の耳元に仮想音源が定位されるよう注意喚起音の音像を制御する
　こととしても良い。
　要するに、音声処理部３０８ｃは、運転者の注意力が低い状態であれば、運転者に対し注意喚起音による注意喚起の度合いがより強くなるように制御すれば良い。
　本実施の形態により得られる効果について述べる。
　注意喚起音は搭乗者（特に運転者）にとって必要な情報を伝えるためのものだが、搭乗者に不快感を与える可能性がある。
　そこで、搭乗者の状況から注意喚起音の発生が不要と判断されたら音を停止し或いは小さくすることで、搭乗者に不快感を与えないようにすることが可能である。
　また、運転者の注意力が低下している場合には、音量を大きくし、或いは仮想音源が耳元に定位されるように音像を制御することで、注意喚起の度合いを高め、危険度を速やかに認識させることが可能となる。
　上記の実施の形態１～３では、検知情報処理部１４が外部状況検出部１の一部であるとして説明したが、処理回路３の一部として構成しても良い。その場合、検知情報処理部１４の機能を、ソフトウェアで、即ち図３に示される、プログラムされたコンピュータで実現しても良い。
　上記の実施の形態３では、検知情報処理部７３が内部状況検出部７の一部であるとして説明したが、処理回路３ｃの一部として構成しても良い。その場合、検知情報処理部７３の機能を、ソフトウェアで、即ち図３に示される、プログラムされたコンピュータで実現しても良い。
　以上、本発明に係る情報提示装置及び情報提示制御装置について説明したが、情報提示装置で実施される情報提示方法、及び情報提示制御装置で実施される情報提示制御方法も本発明の一部を成す。また、これらの装置又は方法における処理をコンピュータに実行させるためのプログラム、及びそのようなプログラムを記録したコンピュータで読取可能な記録媒体も本発明の一部を成す。
　１　外部状況検出部、　２　車両情報取得部、　３，３ｂ，３ｃ　処理回路、　４　記憶装置、　５　表示器群、　５ａ～５ｄ　表示器、　６　音声出力装置、　６ａ～６ｄ　スピーカ、　６ｅ　音声出力制御部、　７　内部状況検出部、　１０　情報提示装置、　１１　撮像部、　１１ａ～１１ｄ　カメラ、　１２　検知部、　１３　通信部、　１４　検知情報処理部、　３１　プロセッサ、　３２　プログラムメモリ、　５１　表示部、　５２　表示制御部、　７１　撮像部、　７２　検知部、　７３　検知情報処理部、　１０２　車両、　１０４　ダッシュボード、　１０６　運転者、　１１２　サイドミラー、　１１４　サイドミラー、　３０２，３０２ｂ　情報解析部、　３０４，３０４ｂ　映像処理部、　３０６　音声データ記憶部、　３０８，３０８ｂ，３０８ｃ　音声処理部、　３１４　強調処理部、　３１８　音像制御部、　３２２　優先度決定部、　３３２　搭乗者監視部、　３３８　音量制御部。

Claims (17)

  1. 　車両に搭載された複数の表示器及び音声出力装置に、運転支援のための情報を提示させる情報提示制御装置であって、
    　前記車両の周辺に位置する注意対象に関する検出情報に基づいて危険度を算出する情報解析部と、
    　前記情報解析部で算出された危険度に基づいて前記複数の表示器のうちの少なくとも一つの表示器に注意喚起表示を行わせる映像処理部と、
    　前記情報解析部で算出された危険度に基づいて前記音声出力装置に注意喚起音を発生させる音声処理部とを有し、
    　前記音声処理部は、前記注意喚起音として、前記注意喚起表示を行う表示器のうちの少なくとも一つの表示器の位置に仮想音源が定位されるように音像が制御された音を発生させる
    　情報提示制御装置。
  2. 　前記危険度は、前記車両と、前記注意対象との衝突の危険度である
    　ことを特徴とする請求項１に記載の情報提示制御装置。
  3. 　前記映像処理部は、前記車両の周辺を撮像することで得られた映像であって、前記危険度が大きい注意対象が強調された映像を表示させる
    　ことを特徴とする請求項１又は２に記載の情報提示制御装置。
  4. 　前記情報解析部は、前記車両の周囲に複数の危険度が大きい注意対象を検出した場合に、前記複数の危険度が大きい注意対象に対してそれぞれ優先度を決定し、
    　前記映像処理部は、それぞれ前記複数の危険度が大きい注意対象を含む映像を前記少なくとも一つの表示器に表示させ、それぞれの注意対象について、前記優先度に応じた注意喚起表示を行わせる
    　ことを特徴とする請求項１から３のいずれか１項に記載の情報提示制御装置。
  5. 　前記音声処理部は、前記注意喚起音として、前記注意喚起表示を行う表示器のうちの前記優先度が最も高い検出対象を含む映像を表示している表示器の位置に仮想音源が定位されるように音像が制御された音を発生させる
    　ことを特徴とする請求項４に記載の情報提示制御装置。
  6. 　前記車両の内部の状況を検出することで得られた情報に基づいて、搭乗者の状態を判定する搭乗者監視部をさらに有し、
    　前記音声処理部は、前記搭乗者監視部による判定結果に基づいて、前記注意喚起音の出力を制御する
    　ことを特徴とする請求項１から５のいずれか１項に記載の情報提示制御装置。
  7. 　車両に搭載された複数の表示器及び音声出力装置に、運転支援のための情報を提示させる情報提示装置であって、
    　前記車両の周辺に位置する注意対象を検出する外部状況検出部と、
    　前記外部状況検出部による検出で得られた前記注意対象に関する検出情報に基づいて危険度を算出し、算出された危険度に基づいて前記複数の表示器のうちの少なくとも一つの表示器に注意喚起表示を行わせ、算出された危険度に基づいて前記音声出力装置に注意喚起音を発生させる情報提示制御装置とを有し、
    　前記情報提示制御装置は、前記注意喚起音として、前記注意喚起表示を行う表示器のうちの少なくとも一つの表示器の位置に仮想音源が定位されるように音像が制御された音を発生させる
    　情報提示装置。
  8. 　前記外部状況検出部は、前記車両の周辺を撮像する１又は２以上のカメラを有する
    　請求項７に記載の情報提示装置。
  9. 　前記情報提示制御装置は、前記注意喚起表示として、前記カメラによる撮像で得られた映像であって、前記車両との衝突の危険が高い注意対象が強調された映像を表示させる
    　ことを特徴とする請求項８に記載の情報提示装置。
  10. 　前記車両の内部の状況を検出する内部状況検出部をさらに有し、
    　前記情報提示制御装置は、前記内部状況検出部による検出で得られた搭乗者の状態に基づいて、前記注意喚起音の出力を制御する
    　ことを特徴とする請求項７から９のいずれか１項に記載の情報提示装置。
  11. 　前記内部状況検出部は、搭乗者を撮像するカメラ、搭乗者の発する音声を検出するマイクロホン、及び運転者の心拍数を検出するセンサの少なくとも一つを有する
    　ことを特徴とする請求項１０に記載の情報提示装置。
  12. 　前記複数の表示器の各々は、表示部と、前記表示部による表示を制御する表示制御部とを有する
    　ことを特徴とする請求項７から１１のいずれか１項に記載の情報提示装置。
  13. 　前記音声出力装置は、
    　複数のスピーカと、前記複数のスピーカによる音声の出力を制御する音声出力制御部とを有する
    　ことを特徴とする請求項７から１２のいずれか１項に記載の情報提示装置。
  14. 　前記音声出力装置は、前記表示器とは別に設けられた複数のスピーカを備える
    　ことを特徴とする請求項７から１３のいずれか１項に記載の情報提示装置。
  15. 　車両に搭載された複数の表示器及び音声出力装置に、運転支援のための情報を提示させる情報提示制御方法であって、
    　前記車両の周辺に位置する注意対象に関する検出情報に基づいて危険度を算出し、
    　算出された危険度に基づいて前記複数の表示器のうちの少なくとも一つの表示器に注意喚起表示を行わせ、
    　算出された危険度に基づいて前記音声出力装置に注意喚起音を発生させ、
    　前記注意喚起音として、前記注意喚起表示を行う表示器のうちの少なくとも一つの表示器の位置に仮想音源が定位されるように音像が制御された音を発生させる
    　情報提示制御方法。
  16. 　請求項１５に記載の情報提示制御方法における処理をコンピュータに実行させるプログラム。
  17. 　請求項１６に記載のプログラムを記録したコンピュータで読取り可能な記録媒体。
PCT/JP2018/043395 2018-11-26 2018-11-26 情報提示制御装置、情報提示装置及び情報提示制御方法、並びにプログラム及び記録媒体 WO2020110172A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201880099030.9A CN113016016A (zh) 2018-11-26 2018-11-26 信息提示控制装置、信息提示装置和信息提示控制方法、以及程序和记录介质
JP2019510722A JP6587776B1 (ja) 2018-11-26 2018-11-26 情報提示制御装置、情報提示装置及び情報提示制御方法、並びにプログラム及び記録媒体
PCT/JP2018/043395 WO2020110172A1 (ja) 2018-11-26 2018-11-26 情報提示制御装置、情報提示装置及び情報提示制御方法、並びにプログラム及び記録媒体
DE112018008107.9T DE112018008107B4 (de) 2018-11-26 2018-11-26 Informationsdarstellungssteuerungseinrichtung, informationsdarstellungseinrichtung, informationsdarstellungssteuerungsverfahren, programm und aufzeichnungsmedium
US17/222,211 US11472432B2 (en) 2018-11-26 2021-04-05 Information presentation control device, information presentation device, information presentation control method, and non-transitory computer-readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/043395 WO2020110172A1 (ja) 2018-11-26 2018-11-26 情報提示制御装置、情報提示装置及び情報提示制御方法、並びにプログラム及び記録媒体

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/222,211 Continuation US11472432B2 (en) 2018-11-26 2021-04-05 Information presentation control device, information presentation device, information presentation control method, and non-transitory computer-readable recording medium

Publications (1)

Publication Number Publication Date
WO2020110172A1 true WO2020110172A1 (ja) 2020-06-04

Family

ID=68159761

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/043395 WO2020110172A1 (ja) 2018-11-26 2018-11-26 情報提示制御装置、情報提示装置及び情報提示制御方法、並びにプログラム及び記録媒体

Country Status (5)

Country Link
US (1) US11472432B2 (ja)
JP (1) JP6587776B1 (ja)
CN (1) CN113016016A (ja)
DE (1) DE112018008107B4 (ja)
WO (1) WO2020110172A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220165073A1 (en) * 2019-02-22 2022-05-26 Panasonic Intellectual Property Management Co., Ltd. State detection device and state detection method
EP3822931B1 (en) * 2019-11-12 2023-12-27 Aptiv Technologies Limited A vehicle alert system for notifying a potentially dangerous driving situation to a driver
US11724641B2 (en) * 2021-01-26 2023-08-15 Ford Global Technologies, Llc Hazard condition warning for package delivery operation
JP2022148856A (ja) * 2021-03-24 2022-10-06 本田技研工業株式会社 車両用表示装置、表示制御方法、及びプログラム
IT202100008915A1 (it) * 2021-04-09 2022-10-09 St Microelectronics Srl Procedimento di elaborazione di segnali indicativi di un livello di attenzione di un individuo umano, corrispondenti sistema, veicolo e prodotto informatico
CN114454718B (zh) * 2022-01-21 2024-09-13 北京地平线机器人技术研发有限公司 信息显示方法和装置、电子设备和存储介质
US20230331235A1 (en) * 2022-04-18 2023-10-19 Qualcomm Incorporated Systems and methods of collaborative enhanced sensing

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000149167A (ja) * 1998-11-10 2000-05-30 Nissan Motor Co Ltd 警報装置
JP2001143191A (ja) * 1999-11-12 2001-05-25 Yazaki Corp 車両用情報処理方法、及びその装置、並びに車両
JP2018149894A (ja) * 2017-03-13 2018-09-27 マクセル株式会社 ヘッドアップディスプレイ装置

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5930067B2 (ja) 1980-11-27 1984-07-25 武好 前田 珍味食品の製造装置
JP3235522B2 (ja) * 1997-07-22 2001-12-04 トヨタ自動車株式会社 走行レーン逸脱警報装置
US8212659B2 (en) * 2008-09-05 2012-07-03 Mazda Motor Corporation Driving assist device for vehicle
WO2011114366A1 (ja) 2010-03-16 2011-09-22 三菱電機株式会社 路車協調型安全運転支援装置
JP5745827B2 (ja) 2010-11-29 2015-07-08 パイオニア株式会社 車両表示装置
JP5603835B2 (ja) * 2011-06-27 2014-10-08 クラリオン株式会社 車両周囲監視装置
CN202389288U (zh) * 2011-12-21 2012-08-22 浙江吉利汽车研究院有限公司 一种车辆邻车安全预警装置
JP2013143744A (ja) 2012-01-12 2013-07-22 Denso Corp 音像提示装置
DE112012005852T5 (de) * 2012-02-10 2014-11-27 Mitsubishi Electric Corporation Fahrerassistenzvorrichtung und Fahrerassistenzverfahren
US20150310313A1 (en) 2012-12-18 2015-10-29 Mitsubishi Electric Corporation Visibility estimation device, visibility estimation method, and safe driving support system
US9975483B1 (en) * 2013-02-08 2018-05-22 Amazon Technologies, Inc. Driver assist using smart mobile devices
CN103204123B (zh) * 2013-03-25 2015-07-08 中国电子科技集团公司第三十八研究所 一种车辆行人检测跟踪预警装置及其预警方法
US20170174129A1 (en) * 2014-03-06 2017-06-22 Sensedriver Technologies, Llc Vehicular visual information system and method
JP6394281B2 (ja) * 2014-10-29 2018-09-26 株式会社デンソー 車載注意喚起システム、報知制御装置
JP2016103249A (ja) * 2014-11-28 2016-06-02 富士通株式会社 運転支援装置および運転支援方法
KR101977090B1 (ko) * 2015-07-22 2019-05-10 엘지전자 주식회사 차량 제어 장치 및 이를 구비한 차량의 제어방법
JP2017182776A (ja) * 2016-03-29 2017-10-05 株式会社デンソー 車両周辺監視装置及びコンピュータプログラム
JP6778872B2 (ja) * 2016-06-28 2020-11-04 パナソニックＩｐマネジメント株式会社 運転支援装置及び運転支援方法
US10007854B2 (en) * 2016-07-07 2018-06-26 Ants Technology (Hk) Limited Computer vision based driver assistance devices, systems, methods and associated computer executable code
US20200377126A1 (en) 2016-10-03 2020-12-03 Mitsubishi Electric Corporation Information output control device and information output control method
CN106467112A (zh) * 2016-10-11 2017-03-01 斑马信息科技有限公司 车载辅助驾驶系统
US20180272894A1 (en) * 2017-03-27 2018-09-27 Alan Logan Vehicle occupancy alert system and method
JP6381736B1 (ja) 2017-05-24 2018-08-29 三菱電機株式会社 物体検知装置およびこれを用いた自動運転システム
CN107221196A (zh) * 2017-05-26 2017-09-29 广东中星电子有限公司 车辆驾驶风险评估方法、装置、系统及可读存储介质
CN110709729A (zh) 2017-06-06 2020-01-17 三菱电机株式会社 物体检测装置
US11494950B2 (en) * 2017-06-16 2022-11-08 Honda Motor Co., Ltd. Experience providing system, experience providing method, and experience providing program
KR102465970B1 (ko) * 2017-08-11 2022-11-10 삼성전자주식회사 주변 상황에 기초하여 음악을 재생하는 방법 및 장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000149167A (ja) * 1998-11-10 2000-05-30 Nissan Motor Co Ltd 警報装置
JP2001143191A (ja) * 1999-11-12 2001-05-25 Yazaki Corp 車両用情報処理方法、及びその装置、並びに車両
JP2018149894A (ja) * 2017-03-13 2018-09-27 マクセル株式会社 ヘッドアップディスプレイ装置

Also Published As

Publication number Publication date
JP6587776B1 (ja) 2019-10-09
DE112018008107T5 (de) 2021-07-15
US11472432B2 (en) 2022-10-18
US20210221396A1 (en) 2021-07-22
JPWO2020110172A1 (ja) 2021-02-15
DE112018008107B4 (de) 2022-05-19
CN113016016A (zh) 2021-06-22

Similar Documents

Publication Publication Date Title
WO2020110172A1 (ja) 情報提示制御装置、情報提示装置及び情報提示制御方法、並びにプログラム及び記録媒体
US10536791B2 (en) Vehicular sound processing system
KR20000070673A (ko) 차량 충돌 경고 시스템
JP6799391B2 (ja) 車両用方向提示装置
EP3495942B1 (en) Head-mounted display and control method thereof
JP2016181260A (ja) 適応型運転者支援
WO2022258150A1 (en) Computer-implemented method of assisting a driver, computer program product, driving assistance system, and vehicle
JP2005316704A (ja) 周囲状況通知装置、周囲状況通知方法
JP2000149167A (ja) 警報装置
JP7186233B2 (ja) ヘッドアップディスプレイ装置
JP4534788B2 (ja) 車両用運転支援装置
JP2016199124A (ja) 音場制御装置及び適用方法
JP7456490B2 (ja) 音データ処理装置および音データ処理方法
JP2023057058A (ja) 関連度依存の刺激変調を用いた支援システム
JP2013193734A (ja) 車両用リアビューモニタシステム
JP2020013369A (ja) 運転支援装置、運転支援システム、及び運転支援プログラム
JP2009286328A (ja) 障害物認知支援装置
JPH06321030A (ja) 車両用音声出力装置
US20230162609A1 (en) Reporting device, vehicle, and reporting control method
JP7332741B1 (ja) 安全支援装置
US11657709B2 (en) Safety confirmation support system and safety confirmation support method
JP2009214656A (ja) 車両の周辺視界支援装置
US20230048800A1 (en) Vehicular sound processing system with enhanced recognition of audible alerts from other vehicles
JP2024000144A (ja) 車両の警報装置
JP2024008333A (ja) 車両支援装置

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2019510722

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18941550

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 18941550

Country of ref document: EP

Kind code of ref document: A1