WO2019175956A1 - 表示制御装置、表示装置、及び表示制御方法 - Google Patents

表示制御装置、表示装置、及び表示制御方法 Download PDF

Info

Publication number
WO2019175956A1
WO2019175956A1 PCT/JP2018/009675 JP2018009675W WO2019175956A1 WO 2019175956 A1 WO2019175956 A1 WO 2019175956A1 JP 2018009675 W JP2018009675 W JP 2018009675W WO 2019175956 A1 WO2019175956 A1 WO 2019175956A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
vehicle
display
approaching
driver
Prior art date
Application number
PCT/JP2018/009675
Other languages
English (en)
French (fr)
Inventor
弥生 林
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to DE112018007063.8T priority Critical patent/DE112018007063T5/de
Priority to PCT/JP2018/009675 priority patent/WO2019175956A1/ja
Priority to JP2020505976A priority patent/JP6687306B2/ja
Priority to US16/976,880 priority patent/US20200406753A1/en
Priority to CN201880090949.1A priority patent/CN111886636A/zh
Publication of WO2019175956A1 publication Critical patent/WO2019175956A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/365—Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149—Instrument input by detecting viewing direction not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/166—Navigation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/167—Vehicle dynamics information
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/26—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using acoustic output
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Definitions

  • the present invention relates to a display control device and a display control method for controlling display of a head-up display (hereinafter referred to as “HUD”), and a display device provided with a HUD.
  • HUD head-up display
  • the vehicle HUD can display a video (also referred to as a “virtual image”) at the end of the driver's line of sight, the movement of the driver's line of sight can be reduced.
  • a video also referred to as a “virtual image”
  • AR augmented reality
  • Information regarding driving assistance can be provided to the driver by marking using the AR (see, for example, Patent Documents 1 and 2).
  • the vehicle display device detects a traffic light or sign in front of the vehicle, and if the detected traffic light or sign is outside the driver's effective field of view, within the driver's effective field of view in the HUD display area. And displaying a virtual image that emphasizes the presence of the detected traffic light or sign.
  • the effective visual field is a range in which a visual stimulus can be recognized within a human visual field range.
  • the vehicle night vision assistance device displays an image in front of the vehicle captured by the infrared camera on the main display, and a pedestrian exists in the image displayed on the main display. A warning is displayed on the HUD.
  • the vehicle night vision support device displays a warning on the HUD even when a pedestrian that is no longer present on the image displayed on the main display is present in the visual field range of the driver.
  • the object of virtual image display in the vehicle display device according to Patent Document 1 is only a stationary object, not a moving object such as another vehicle or a pedestrian. For this reason, the vehicle display device cannot notify the driver of an object approaching the host vehicle outside the driver's effective field of view.
  • the vehicle night vision support device determines whether or not a pedestrian is present in the driver's visual field range based on the relative position between the host vehicle and the pedestrian and the traveling direction of the host vehicle. presume. Therefore, pedestrians approaching the host vehicle from the direction opposite to the direction in which the host vehicle is heading when the host vehicle turns right or left or changes lanes are displayed on the image displayed on the main display and driving It is very likely that they do not exist both within the visual field range of the person. In this case, the vehicle night vision assistance device cannot notify the driver of an object approaching the host vehicle outside the driver's visual field range.
  • the driver's effective field of view is likely to concentrate in the direction going forward, and the driver is less likely to notice the presence of an object approaching the vehicle outside the effective field of view. Under such circumstances, conventionally, there has been a problem that the driver cannot be notified of the presence of an object that is likely not noticed by the driver.
  • the present invention has been made to solve the above-described problems, and has an object of notifying the driver of an object approaching the host vehicle outside the driver's effective field of view.
  • a display control device is a display control device for displaying information to be provided to a driver of a vehicle on a head-up display, and a signal of a course change to be made by the vehicle and a direction in which the vehicle is going from now on by a course change.
  • a host vehicle information acquisition unit for acquiring host vehicle information
  • a approaching object information acquisition unit for acquiring approaching object information indicating an approaching object approaching the vehicle in a predetermined range around the vehicle, and a driver of the vehicle
  • the effective visual field determination unit for determining the effective visual field of the vehicle, and based on the own vehicle information and the approaching object information, identify the approaching object approaching from the opposite side of the traveling direction of the approaching object of the approaching vehicle, When the vehicle changes its course based on the target specifying unit that targets the specified approaching object and the own vehicle information, the information on the target specified by the target specifying unit is effective.
  • a display information generation unit for generating display information to be displayed on the effective field of view of the determined driver through tough.
  • the present invention when the vehicle changes its course, information on an object approaching from the opposite side of the traveling direction of the vehicle is displayed in the driver's effective field of view.
  • the driver can be notified of the presence of an object that is likely not to exist.
  • FIG. 3 is a block diagram illustrating a configuration example of a display device according to Embodiment 1.
  • FIG. 6 is a diagram illustrating an example of effective visual field information in which a correspondence relationship between an internal factor, an external factor, and an effective visual field in the first embodiment is defined.
  • operator of the own vehicle in the condition shown by FIG. 4 is a flowchart illustrating an operation example of the display device according to the first embodiment. It is a flowchart which shows the operation example of the effective visual field determination part in step ST3 of FIG.
  • FIG. 6 is a diagram illustrating an example of an object according to Embodiment 1.
  • FIG. It is a figure which shows an example of the display information produced
  • FIG. 10 is a block diagram illustrating a configuration example of a display device according to Embodiment 2.
  • FIG. 10 is a block diagram illustrating a configuration example of a display device according to Embodiment 3.
  • FIG. 12 is a flowchart illustrating an operation example of the display device according to the third embodiment.
  • FIG. 20 is a diagram illustrating an example of an object in the third embodiment. It is a figure which shows an example of the display information produced
  • FIG. 1 is a block diagram illustrating a configuration example of the display device 100 according to the first embodiment.
  • the display device 100 When the driver's effective field of view, such as when turning left or right or when changing lanes, is very likely to be concentrated in the direction in which the vehicle is heading, the display device 100 is on the opposite side of the direction of travel.
  • the display highlighting the presence of the object is performed in the driver's effective field of view.
  • the display device 100 includes a display control device 101 and a HUD 114.
  • the display control apparatus 101 includes a host vehicle information acquisition unit 102, an approaching object information acquisition unit 103, an object identification unit 104, an effective visual field determination unit 105, and a display information generation unit 108.
  • the effective visual field determination unit 105 includes a driver information storage unit 106 and an effective visual field information storage unit 107.
  • the display information generation unit 108 includes an object storage unit 109.
  • the display device 100 is connected to a host vehicle information detection unit 110, an approaching object information detection unit 111, a driver information detection unit 112, and a travel information detection unit 113.
  • the host vehicle information detection unit 110 the approaching object information detection unit 111, the driver information detection unit 112, the travel information detection unit 113, and the HUD 114 are mounted on the vehicle.
  • the display control device 101 may be mounted on a vehicle or constructed as a server device outside the vehicle, and configured to exchange information between the server device and the vehicle information detection unit 110 on the vehicle side by wireless communication. But you can.
  • the own vehicle information detection unit 110 includes a direction indicator, a steering angle sensor that detects a steering angle, or a car navigation device that guides a planned travel route.
  • the host vehicle information detection unit 110 only needs to detect host vehicle information indicating a signal of a course change to be made by the host vehicle and a direction in which the vehicle is heading due to the course change.
  • the signal for changing the course shows a signal for turning the vehicle to the right, turning left, changing the lane to the right lane, and changing the lane to the left lane, for example, the timing when the direction indicator is operated by the driver.
  • the traveling direction indicates whether the host vehicle will turn right, turn left, change lane to the right lane, change lane to the left lane, for example, a planned travel route of the car navigation device.
  • the own vehicle information acquisition unit 102 acquires the own vehicle information from the own vehicle information detection unit 110.
  • the host vehicle information is information indicating the signal of the course change to be made by the host vehicle as described above and the direction in which the vehicle is heading due to the course change.
  • the own vehicle information acquisition unit 102 detects the presence / absence of a route change signal based on the own vehicle information, and when there is a route change signal, identifies the information indicating the direction in which the vehicle is heading due to this route change. Output to the unit 104.
  • the approaching object information detection unit 111 includes an outside camera that captures a predetermined range around the host vehicle.
  • the predetermined range is, for example, a circular range having a diameter of 50 m in front of the host vehicle.
  • the approaching object information detection unit 111 outputs a captured image or the like as approaching object detection information to the approaching object information acquisition unit 103.
  • the approaching object information acquisition unit 103 acquires approaching object detection information from the approaching object information detection unit 111.
  • the approaching object information acquisition unit 103 detects an approaching object that approaches the host vehicle within the predetermined range from the captured image that is approaching object detection information.
  • the approaching object information acquisition unit 103 identifies the position and type of the detected approaching object, generates approaching object information indicating the position and type of the approaching object, and outputs the approaching object information to the object identification unit 104.
  • the types of approaching objects are vehicles, bicycles, pedestrians, and the like.
  • the approaching object information acquisition unit 103 estimates moving directions of a vehicle, a bicycle, a pedestrian, and the like from a plurality of captured images taken in time series, and determines whether the vehicle is approaching.
  • the object specifying unit 104 acquires information indicating the traveling direction from the own vehicle information acquiring unit 102 and acquires approaching object information from the approaching object information acquiring unit 103.
  • the object specifying unit 104 specifies and specifies an approaching object approaching from the opposite side of the traveling direction of the approaching vehicle out of the approaching objects approaching the own vehicle based on the information indicating the traveling direction and the approaching object information.
  • the approaching object is the target.
  • the object specifying unit 104 generates object information indicating the position and type of the object, and outputs the object information and information indicating the traveling direction to the display information generating unit 108.
  • the human visual field range has an effective visual field that is a range in which a visual stimulus can be recognized.
  • the effective visual field of the driver is said to be 4 to 20 degrees, but the range varies depending on the driver's internal and external factors.
  • Internal factors are the driving characteristics of the driver, such as the driver's age and driving skill.
  • the external factors are vehicle travel environments such as vehicle speed, congestion, and number of lanes.
  • the driver information detection unit 112 includes an in-vehicle camera that captures an image for specifying the position of the driver in the vehicle and the individual driver.
  • the driver information detection unit 112 outputs the captured image or the like as driver information to the effective visual field determination unit 105.
  • the travel information detection unit 113 includes an acceleration sensor or the like that detects the vehicle speed of the host vehicle, an outside camera that detects the travel location, the degree of congestion, and the number of lanes of the host vehicle, a millimeter wave radar, or a map information database.
  • the travel information detection unit 113 outputs the vehicle speed and the like as travel information to the effective visual field determination unit 105.
  • the vehicle exterior camera of the travel information detection unit 113 may also be used as the vehicle exterior camera of the approaching object information detection unit 111.
  • driver information in which a correspondence relationship between the driver's face image and driving characteristic information is defined is registered in advance.
  • Driving characteristic information is information such as age and driving skill, which are internal factors that change the driver's effective visual field.
  • FIG. 2 is a diagram illustrating an example of effective visual field information in which a correspondence relationship between internal factors, external factors, and effective visual fields is defined in the first embodiment.
  • the effective visual field determination unit 105 acquires the driver information from the driver information detection unit 112 and also acquires the driving information from the driving information detection unit 113.
  • the effective visual field determination unit 105 determines the position of the driver's head from the captured image that is the driver information, and outputs the determined position to the display information generation unit 108 as the driver position information.
  • the effective visual field determination unit 105 detects the driver's face from the captured image that is the driver information, and the detected driver's face is registered with the driver's face information registered in the driver information storage unit 106 in advance. Identify individual drivers by comparison. Then, the effective visual field determination unit 105 acquires the driving characteristic information associated with the identified driver from the driver information storage unit 106.
  • the effective visual field determination unit 105 registers the driver characteristic information acquired from the driver information storage unit 106 and the travel information acquired from the travel information detection unit 113 in the effective visual field information storage unit 107 in advance. The driver's effective field of view is determined by comparison with internal and external factors. The effective visual field determination unit 105 outputs information indicating the determined effective visual field to the display information generation unit 108.
  • the effective visual field determination unit 105 has, for example, the number of vehicles, bicycles, pedestrians, and the like that appear in an image of the surroundings of the road, which is one of the driving environments, less than a predetermined threshold.
  • the road is identified as a low-congested road.
  • the effective field of view is 4 degrees because the internal factor is the driving beginner and the external factor is the highly congested road.
  • the effective field of view is 18 degrees because the internal factor is the young and the external factor is the single road.
  • the initial value of the effective visual field is set to 4 degrees, which is the narrowest of the range that is said to be the driver's effective visual field.
  • an object to be displayed on the HUD 114 is registered in advance.
  • the object is an arrow indicating the position of the object, a text or icon indicating the type of the object, a marker surrounding the object, or the like.
  • the display information generation unit 108 acquires the object information and the information indicating the traveling direction from the object specifying unit 104, and acquires the driver position information and the information indicating the effective field of view from the effective field determination unit 105.
  • the display information generation unit 108 specifies the type of objects to be displayed on the HUD 114, the number of displayed items, and the like from the objects registered in advance in the object storage unit 109 based on the object information and the information indicating the traveling direction. . Further, the display information generation unit 108 determines the display position of the object in the display range of the HUD 114 based on the driver position information and information indicating the effective visual field. Information indicating the display range of the HUD 114 is given to the display information generation unit 108 in advance. Then, the display information generation unit 108 generates display information in which the object is arranged at the display position, and outputs the display information to the HUD 114. A method for generating display information will be described later.
  • the HUD 114 acquires the display information from the display information generation unit 108 and projects the display information on the front window or combiner of the vehicle.
  • FIG. 3 is a bird's-eye view showing an example of a situation where the host vehicle 200 turns right after issuing a signal to change the course to the right in the first embodiment.
  • the other vehicle 201 exists on the left side of the road on which the own vehicle 200 will make a right turn
  • the other vehicles 202 and 203 exist on the right side
  • the other vehicle 204 is on the opposite lane of the road on which the own vehicle 200 travels straight. Exists.
  • FIG. 4 is a diagram showing a front view seen by the driver 210 of the host vehicle 200 in the situation shown in FIG.
  • the driver 210 side of the front window of the host vehicle 200 is a HUD display range 211 that is a display range of the HUD 114.
  • the driver 210 can see the other vehicles 201 and 202 through the front window.
  • FIG. 5 is a flowchart illustrating an operation example of the display device 100 according to the first embodiment.
  • the display device 100 repeats the operation shown in the flowchart of FIG.
  • step ST ⁇ b> 1 the host vehicle information acquisition unit 102 acquires host vehicle information including a signal indicating that the host vehicle 200 will turn right from the host vehicle information detection unit 110.
  • the host vehicle information acquisition unit 102 determines that the host vehicle 200 is to turn right based on the host vehicle information
  • the host vehicle information acquisition unit 102 outputs information on a traveling direction indicating that the host vehicle 200 is to turn right from now on to the object specifying unit 104.
  • the approaching object information acquisition unit 103 acquires approaching object detection information from the approaching object information detection unit 111, and approaches the host vehicle 200 in a predetermined approaching object detection range 205 based on the approaching object detection information.
  • the other vehicles 201, 202, and 204 to be detected are detected.
  • the approaching object information acquisition unit 103 indicates that the approaching object that approaches the host vehicle 200 in the approaching object detection range 205 is the other vehicle 201 on the left side of the host vehicle 200 and the other vehicles 202 and 204 on the right side of the host vehicle 200. Is output to the object specifying unit 104.
  • the effective visual field determination unit 105 acquires the driver information from the driver information detection unit 112 and also acquires the driving information from the driving information detection unit 113.
  • the effective visual field determination unit 105 determines the position and effective visual field of the driver 210 based on the driver information and the traveling information, and outputs the driver position information and information indicating the effective visual field to the display information generation unit 108.
  • FIG. 6 is a flowchart showing an operation example of the effective visual field determination unit 105 in step ST3 of FIG.
  • the effective visual field determination unit 105 acquires the driver information from the driver information detection unit 112.
  • the effective visual field determination unit 105 acquires travel information from the travel information detection unit 113.
  • step ST303 the effective visual field determination unit 105 determines the position of the head of the driver 210 based on the driver information acquired in step ST301.
  • step ST304 the effective visual field determination unit 105 identifies the driver 210 based on the driver information acquired in step ST301 and the face image registered in the driver information storage unit 106.
  • step ST305 the effective visual field determination unit 105 identifies the traveling environment of the host vehicle 200 based on the traveling information acquired in step ST302. In the example of FIG. 3, it is assumed that the traveling environment of the host vehicle 200 is specified as a low congestion road.
  • step ST306 the effective visual field determination unit 105 confirms whether or not the driving characteristic information associated with the driver 210 specified in step ST304 exists in the driver information storage unit 106. If the driving characteristic information exists in the driver information storage unit 106 (step ST306 “YES”), the effective visual field determination unit 105 proceeds to step ST307. On the other hand, the effective visual field determination unit 105 determines that the face information corresponding to the driver 210 does not exist in the driver information storage unit 106 in step ST304 and the individual cannot be identified, or the face image exists but the face image exists. If the driving characteristic information is not associated with (NO in step ST306), the process proceeds to step ST310. In step ST307, the effective visual field determination unit 105 acquires the driving characteristic information associated with the driver 210 from the driver information storage unit 106.
  • the driving characteristic information of the driver 210 in this example is information indicating that the driver is a beginner.
  • step ST308 the effective visual field determination unit 105 stores effective visual field information having internal factors and external factors corresponding to the driving environment specified in step ST305 and the driving characteristic information acquired in step ST306 in the effective visual field information storage unit 107. Check if it exists. The effective visual field determination unit 105 proceeds to step ST309 when the effective visual field information is present in the effective visual field information storage unit 107 (step ST308 “YES”), and proceeds to step ST310 when it does not exist (step ST308 “NO”).
  • the effective visual field determination unit 105 determines the effective visual field included in the effective visual field information having internal factors and external factors corresponding to the driving environment and driving characteristic information as the effective visual field of the driver 210.
  • the effective visual field determination unit 105 determines the effective visual field registered as an initial value in the effective visual field information storage unit 107 as the effective visual field of the driver 210.
  • the driver 210 since the driving environment, that is, the external factor is a low-congested road and the driving characteristic, that is, the internal factor is a driving beginner, the driver 210 has an effective field of view of 10 degrees.
  • step ST311 the effective visual field determination unit 105 outputs the head position of the driver 210 determined in step ST303 to the display information generation unit 108 as driver position information.
  • step ST312 the effective visual field determination unit 105 outputs information indicating the effective visual field of the driver 210 determined in step ST309 or step ST310 to the display information generation unit 108.
  • step ST ⁇ b> 4 the object specifying unit 104 acquires information indicating the traveling direction of the host vehicle 200 from the host vehicle information acquisition unit 102, and also approaches the object information acquisition unit 103 of the approaching vehicle information of the other vehicles 201, 202, and 204. Get from.
  • the object specifying unit 104 specifies the object based on these pieces of information, and outputs the object information and information indicating the traveling direction to the display information generating unit 108.
  • FIG. 7 is a flowchart showing an operation example of the object specifying unit 104 in step ST4 of FIG.
  • the object specifying unit 104 confirms whether or not the traveling direction information indicating that the host vehicle 200 will turn right is acquired from the host vehicle information acquiring unit 102.
  • the object specifying unit 104 proceeds to step ST402 when the traveling direction information is acquired (step ST401 “YES”), and repeats step ST401 when the information is not acquired (step ST401 “NO”).
  • step ST402 the object specifying unit 104 acquires approaching object information of the other vehicles 201, 202, and 204 from the approaching object information acquiring unit 103.
  • step ST403 the object specifying unit 104 determines whether there is an approaching object on the opposite side of the traveling direction of the host vehicle 200 based on the information on the traveling direction acquired in step ST401 and the approaching object information acquired in step ST402. Confirm whether or not. If there is an approaching object on the opposite side of the traveling direction (step ST403 “YES”), the object identifying unit 104 proceeds to step ST404, and if not present (step ST403 “NO”), proceeds to step ST405.
  • step ST404 the object specifying unit 104 specifies an approaching object that exists on the opposite side of the traveling direction as the object.
  • step ST405 the object specifying unit 104 determines that there is no object because there is no approaching object on the opposite side of the traveling direction.
  • the other vehicle 201 there is another vehicle 201 that is an approaching object on the side 205 a opposite to the traveling direction side from which the own vehicle 200 is about to go, based on the position of the own vehicle 200 that is about to enter the intersection. To do. Therefore, the other vehicle 201 is specified as the target object.
  • the other vehicle 202 and the other vehicle 204 which are approaching objects are not objects because the own vehicle 200 exists on the traveling direction side where the own vehicle 200 is about to go from the position of the own vehicle 200 as a reference.
  • step ST406 the object specifying unit 104 outputs object information indicating the other vehicle 201 that is the object specified in step ST404 to the display information generating unit 108.
  • step ST407 the object specifying unit 104 outputs information indicating the traveling direction acquired in step ST401 to the display information generating unit 108.
  • step ST5 the display information generation unit 108 acquires information indicating the traveling direction of the host vehicle 200 and target object information from the target object specifying unit 104, and information indicating driver position information and an effective field of view of the driver 210. Are obtained from the effective visual field determination unit 105.
  • the display information generation unit 108 generates display information based on these pieces of information and outputs the display information to the HUD 114.
  • FIG. 8 is a flowchart showing an operation example of the display information generation unit 108 in step ST5 of FIG.
  • the display information generation unit 108 confirms whether or not the object information has been acquired from the object specifying unit 104.
  • Display information generating section 108 proceeds to step ST502 when the object information is acquired (step ST501 “YES”), and repeats step ST501 when it is not acquired (step ST501 “NO”).
  • step ST502 the display information generation unit 108 acquires, from the host vehicle information acquisition unit 102, information on the traveling direction indicating that the host vehicle 200 will turn right.
  • step ST503 the display information generation unit 108 acquires driver position information indicating the position of the head of the driver 210 from the effective visual field determination unit 105.
  • step ST504 the display information generation unit 108 acquires information indicating the effective visual field of the driver 210 from the effective visual field determination unit 105.
  • step ST505 the display information generation unit 108 is based on the information indicating the traveling direction acquired in step ST502, the driver position information acquired in step ST503, and the information indicating the effective visual field acquired in step ST504.
  • the effective visual field of the driver 210 at is identified.
  • FIG. 9 shows an example of the positional relationship between the driver 210 and the effective visual field 212 in the situation shown in FIG. Since the traveling direction of the host vehicle 200 is the right direction and the effective field of view of the driver 210 is 10 degrees, the display information generation unit 108 uses the position of the head of the driver 210 as a reference. A range of 10 degrees on the right side is identified as the effective visual field 212.
  • the display information generation unit 108 includes the object information acquired in step ST501, the information indicating the traveling direction acquired in step ST502, the effective field of view 212 of the driver 210 specified in step ST505, and the predetermined HUD 114. Display information is generated based on the display range.
  • FIG. 10 shows an example of the object 213 in the first embodiment.
  • FIG. 11 is a diagram showing an example of display information generated in the situation shown in FIG.
  • the display information generation unit 108 is an object of a left-pointing arrow that represents that the other vehicle 201 is approaching from the left direction opposite to the traveling direction of the host vehicle 200 among the objects registered in the object storage unit 109. And the text object “car” are selected, and the two are combined to generate the object 213.
  • the object 213 is a display that notifies the driver 210 of the presence of the other vehicle 201, and is preferably a conspicuous color.
  • the display information generation unit 108 determines the position of the object 213 in the effective visual field 212 of the driver 210 and the HUD display range 211, and the display information including the content and position of the object 213. Is generated.
  • the position of the object 213 is determined so that the arrow of the object 213 faces the other actual vehicle 201 that can be seen through the windshield of the host vehicle 200.
  • the object type is a vehicle
  • the text object “car” is selected.
  • the object type is a pedestrian
  • the text object “pedestrian” is selected. Is selected.
  • step ST507 the display information generation unit 108 outputs the display information generated in step ST506 to the HUD 114.
  • step ST6 the HUD 114 acquires display information from the display information generation unit 108 and displays it in the HUD display range 211.
  • FIG. 12 shows a state in which an object 213 for notifying the existence of the other vehicle 201 is superimposed on the front landscape seen by the driver 210 of the host vehicle 200 in the situation shown in FIG.
  • the driver 210 is highly likely to be looking at the right side heading from now on, so there is a high possibility that the driver 210 is not aware of the other vehicle 201 approaching from the left side.
  • the driver 210 since the object 213 is displayed in the effective field of view 212 of the driver 210, the driver 210 can reliably recognize the object 213 and can recognize the presence of the other vehicle 201.
  • the display device 100 includes the HUD 114 and the display control device 101.
  • the display control apparatus 101 includes a host vehicle information acquisition unit 102, an approaching object information acquisition unit 103, an effective visual field determination unit 105, an object identification unit 104, and a display information generation unit 108.
  • the own vehicle information acquisition unit 102 acquires own vehicle information indicating a signal of a course change that the vehicle will perform from now on and a direction in which the vehicle will travel in the course change.
  • the approaching object information acquisition unit 103 acquires approaching object information indicating an approaching object approaching the vehicle in a predetermined range around the vehicle.
  • the effective visual field determination unit 105 determines the effective visual field of the driver of the vehicle.
  • the object specifying unit 104 specifies an approaching object that is approaching from the opposite side of the traveling direction of the approaching object that approaches the vehicle, and identifies the specified approaching object.
  • the object The display information generation unit 108 determines the effective field of view of the driver determined by the effective field of view determination unit 105 when the vehicle changes its course based on the own vehicle information. Display information to be displayed on the screen is generated. With this configuration, the display device 100 can notify the driver of the presence of an object that is likely not noticed by the driver.
  • the effective visual field determination unit 105 changes the effective visual field of the driver based on at least one of the driving characteristics of the driver or the driving environment of the vehicle.
  • the display device 100 can more accurately determine the current driver's effective visual field based on at least one of an internal factor or an external factor that changes the driver's effective visual field.
  • the display apparatus 100 can display the information of the target object in a more accurate effective visual field, the target object can be reliably notified by the driver.
  • FIG. FIG. 13 is a block diagram illustrating a configuration example of the display device 100a according to the second embodiment.
  • the display device 100a according to the second embodiment has a configuration in which the display information generation unit 108 in the display device 100 according to the first embodiment illustrated in FIG. 1 is changed to the display information generation unit 108a.
  • the same or corresponding parts as those in FIG. 13 are identical or corresponding parts as those in FIG.
  • the display information generation unit 108a includes a case where an object approaching from the opposite side of the traveling direction of the host vehicle is present within the display range of the HUD 114 and a case where the target object is present outside the display range. It is the structure which changes the display mode of the information of a thing.
  • FIG. 14 is an overhead view showing an example of a situation where the own vehicle 200 changes the lane to the right lane after giving a signal to change the course to the right in the second embodiment.
  • the other vehicle 201 exists in the left lane of the lane in which the host vehicle 200 has traveled
  • the other vehicles 202 and 203 exist in front of the lane in which the host vehicle 200 has traveled straight
  • the host vehicle 200 is now
  • the other vehicles 201 and 204 are going straight
  • the other vehicle 202 is going to change the lane to the left lane
  • the other vehicle 203 is going to change the lane to the right lane.
  • FIG. 15 is a diagram showing a forward scenery that can be seen by the driver 210 of the host vehicle 200 in the situation shown in FIG.
  • the driver 210 side of the front window of the host vehicle 200 is a HUD display range 211 that is a display range of the HUD 114.
  • the driver 210 can see the other vehicles 203 and 204 through the front window.
  • the display device 100a repeats the operation shown in the flowchart of FIG. Below, it demonstrates centering around the part from which operation
  • the approaching object information acquisition unit 103 includes an approaching object approaching the host vehicle 200 in the approaching object detection range 205, the other vehicle 203 heading from the front of the host vehicle 200 toward the left side, and the other vehicle 204 on the right side of the host vehicle 200.
  • the approaching object information indicating this is output to the object specifying unit 104.
  • the effective visual field determination unit 105 determines the position and effective visual field of the driver 210 based on the driver information acquired from the driver information detection unit 112 and the travel information acquired from the travel information detection unit 113.
  • the driver position information and the information indicating the effective visual field are output to the display information generation unit 108a.
  • the effective visual field determination unit 105 identifies that the young driver 210 is traveling on a three-lane road, and refers to the effective visual field information registered in the effective visual field information storage unit 107.
  • the effective field of view is determined to be 12 degrees.
  • the effective visual field determination unit 105 outputs information indicating the determined effective visual field of the driver 210 to the display information generation unit 108a.
  • the object specifying unit 104 includes information indicating the traveling direction of the host vehicle 200 acquired from the host vehicle information acquisition unit 102, and approaching object information of the other vehicles 203 and 204 acquired from the approaching object information acquisition unit 103. Based on the above, the other vehicle 203 existing on the opposite side 205a of the traveling direction of the host vehicle 200 is identified as the object. The object specifying unit 104 outputs object information indicating the specified other vehicle 203 to the display information generating unit 108a.
  • step ST5 the display information generation unit 108a converts the information indicating the traveling direction acquired from the object specifying unit 104, the object information, the driver position information acquired from the effective visual field determining unit 105, and the information indicating the effective visual field. Based on this, display information is generated and output to the HUD 114.
  • FIG. 16 is a flowchart showing an operation example of the display information generation unit 108a of the second embodiment in step ST5 of FIG. Steps ST501 to ST505 and ST507 in FIG. 16 are the same as steps ST501 to ST505 and ST507 in FIG.
  • the display information generation unit 108a determines that the object is the HUD 114 based on the object information acquired in step ST501, the effective field of view of the driver 210 specified in step ST505, and the predetermined display range of the HUD 114. Check if it is within the display range.
  • step ST510 “YES” When the target is within the display range of HUD 114 (step ST510 “YES”), display information generating section 108a proceeds to step ST511, and when the target is outside the display range of HUD 114 (step ST510 “NO”). It progresses to step ST512.
  • the display information generation unit 108a does not perform display for notifying the driver 210 of the presence of the target object.
  • the display information generation unit 108 does not have to perform display for notifying the driver 210 of the presence of an object within the effective visual field.
  • step ST511 the display information generation unit 108a, among objects registered in the object storage unit 109, notifies the driver 210 of the presence of the other vehicle 203 and the driver through the front window of the host vehicle 200.
  • the object to be displayed on the other vehicle 203 that is visible in 210 is displayed.
  • FIG. 17 shows an example of the objects 221 and 222 in the second embodiment.
  • 18 is a diagram illustrating an example of display information generated in the situation illustrated in FIG. In the situation shown in FIG. 14, the other vehicle 203 is within the HUD display range 211.
  • the display information generation unit 108 a arranges an object 221 for notifying the driver 210 of the presence of the other vehicle 203 in the effective visual field 220.
  • the display information generation unit 108a arranges the object 222 at a position that overlaps the other vehicle 203 that is visible to the driver 210 through the front window of the host vehicle 200 in the HUD display range 211.
  • the display information generation unit 108a generates display information including the contents and positions of the objects 221 and 222.
  • the object of the vehicle icon is selected because the type of the object is a vehicle. However, when the type of object is a pedestrian, the object of the pedestrian icon is selected.
  • an object 221 that notifies the presence of the other vehicle 203 and an object 222 that overlaps the actual other vehicle 203 are superimposed on the forward scenery seen by the driver 210 of the host vehicle 200 in the situation shown in FIG. 14. It is a figure which shows a state. Since the driver 210 is likely to be looking at the right side from now on, the possibility that the driver 210 is not aware of the other vehicle 203 changing to the left lane is high. In this situation, since the object 221 is displayed in the effective visual field 220 of the driver 210, the driver 210 can surely recognize the object 221 and can recognize the presence of the other vehicle 203. In addition, since the object 222 as a marker is displayed so as to be superimposed on the actual other vehicle 203, the driver 210 can more accurately recognize the presence of the other vehicle 203 emphasized by the object 222.
  • step ST512 display information generation section 108a notifies driver 210 of the presence of other vehicle 203 from the objects registered in object storage section 109, as in step ST506 in FIG. 8 of the first embodiment.
  • the object 221 to be selected is selected and placed in the effective visual field 220.
  • the display information generation unit 108a generates display information including the content and position of the object 221.
  • the display information generation unit 108a has a case where an object approaching from the opposite side of the traveling direction to which the host vehicle is going to be present is present within the display range of the HUD 114 and outside the display range. Depending on the case, the display mode of the object information is changed. With this configuration, the display device 100a can reliably notify the driver of the presence of an object that is likely not noticed by the driver.
  • the display information generation unit 108a displays information on an object through the HUD 114 when an object approaching from the opposite side of the traveling direction of the host vehicle is present in the display range of the HUD 114. Overlay the object visible to the driver. With this configuration, the display device 100a can directly display the marker superimposed on an object that is highly likely not noticed by the driver.
  • FIG. 20 is a block diagram illustrating a configuration example of the display device 100b according to the third embodiment.
  • the display device 100b according to the third embodiment has a configuration in which an audio information generation unit 120 and a speaker 121 are added to the display device 100 according to the first embodiment shown in FIG.
  • FIG. 20 the same or corresponding parts as those in FIG.
  • the audio information generation unit 120 generates audio information for outputting the information on the object identified by the object identification unit 104 when the host vehicle changes the course, and outputs the audio information to the speaker 121.
  • the voice information may be, for example, a voice having a content such as the position, type, or number of objects, or a meaningless sound.
  • the speaker 121 acquires audio information from the audio information generation unit 120 and outputs the audio information.
  • FIG. 21 is an overhead view showing an example of a situation in which the vehicle 200 turns left after issuing a signal to change the course to the left in the third embodiment.
  • the other vehicle 201 exists on the left side of the road on which the host vehicle 200 will turn left
  • the other vehicles 202 and 203 exist on the right side
  • the other vehicle 204 is on the opposite lane of the road on which the host vehicle 200 travels straight. Exists.
  • FIG. 22 is a diagram showing a forward scenery that can be seen by the driver 210 of the host vehicle 200 in the situation shown in FIG.
  • the driver 210 side of the front window of the host vehicle 200 is a HUD display range 211 that is a display range of the HUD 114.
  • the driver 210 can see the other vehicles 201 and 202 through the front window.
  • a speaker 121 is installed near the driver 210 of the host vehicle 200.
  • FIG. 23 is a flowchart illustrating an operation example of the display device 100b according to the third embodiment.
  • the display device 100b repeats the operation shown in the flowchart of FIG. Note that steps ST1 to ST6 in FIG. 23 are the same as steps ST1 to ST6 in FIG. Below, it demonstrates centering around the part from which operation
  • FIG. 23 is a flowchart illustrating an operation example of the display device 100b according to the third embodiment.
  • the display device 100b repeats the operation shown in the flowchart of FIG. Note that steps ST1 to ST6 in FIG. 23 are the same as steps ST1 to ST6 in FIG. Below, it demonstrates centering around the part from which operation
  • step ST ⁇ b> 2 the approaching object information acquisition unit 103 is based on the approaching object detection information acquired from the approaching object information detection unit 111, and the other vehicles 201 and 202 that approach the host vehicle 200 within a predetermined approaching object detection range 205. , 204 are detected. Then, the approaching object information acquisition unit 103 indicates that the approaching object that approaches the host vehicle 200 in the approaching object detection range 205 is the other vehicle 201 on the left side of the host vehicle 200 and the other vehicles 202 and 204 on the right side of the host vehicle 200. Is output to the object specifying unit 104.
  • the effective visual field determination unit 105 determines the position and effective visual field of the driver 210 based on the driver information acquired from the driver information detection unit 112 and the travel information acquired from the travel information detection unit 113.
  • the driver position information and the information indicating the effective visual field are output to the display information generation unit 108.
  • the effective visual field determination unit 105 identifies that the young driver 210 is traveling on a low-congested road, and refers to the effective visual field information registered in the effective visual field information storage unit 107.
  • the effective field of view is determined to be 18 degrees.
  • the effective visual field determination unit 105 outputs information indicating the determined effective visual field of the driver 210 to the display information generation unit 108.
  • the object specifying unit 104 includes information indicating the traveling direction of the host vehicle 200 acquired from the host vehicle information acquisition unit 102 and approaching objects of other vehicles 201, 202, and 204 acquired from the approaching object information acquisition unit 103. Based on the information, the other vehicles 202 and 204 existing on the opposite side 205a of the traveling direction of the host vehicle 200 are identified as the objects.
  • the object specifying unit 104 outputs the object information indicating the specified other vehicles 202 and 204 to the display information generating unit 108 and the sound information generating unit 120.
  • step ST5 the display information generation unit 108 converts the information indicating the traveling direction acquired from the object specifying unit 104, the object information, the driver position information acquired from the effective visual field determining unit 105, and the information indicating the effective visual field. Based on this, display information is generated and output to the HUD 114.
  • FIG. 24 is a diagram illustrating an example of the objects 231 and 232 according to the third embodiment.
  • FIG. 25 is a diagram illustrating an example of display information generated in the situation illustrated in FIG.
  • the display information generation unit 108 arranges an object 231 for notifying the driver 210 of the presence of the other vehicle 202 within the effective visual field 230 of the driver 210.
  • the display information generation unit 108 arranges an object 232 for notifying the driver 210 of the presence of the other vehicle 204 within the effective visual field 230 of the driver 210.
  • the display information generation unit 108 generates display information including the contents and positions of the objects 231 and 232.
  • FIG. 26 is a diagram illustrating a state in which objects 231 and 232 for notifying the existence of the other vehicles 202 and 204 are superimposed on the forward scenery seen by the driver 210 of the host vehicle 200 in the situation illustrated in FIG.
  • the driver 210 has a high possibility of seeing the left side heading from now on, so there is a high possibility that the driver 210 is not aware of the other vehicles 202 and 204 approaching from the right side.
  • the driver 210 can surely recognize the objects 231 and 232 and recognize the existence of the other vehicles 202 and 204. it can.
  • the audio information generation unit 120 generates audio information such as “There is a vehicle on the right hand” based on the object information acquired from the object specifying unit 104.
  • the audio information generation unit 120 outputs the generated audio information to the speaker 121.
  • the display information generation unit 108 acquires the object information from the object specifying unit 104
  • the audio information generation unit 120 also acquires the object information from the object specifying unit 104. Generate voice information.
  • the speaker 121 outputs the audio information acquired from the audio information generation unit 120 as audio.
  • the audio information generation unit 120 causes the speaker 121 to output a sound 233 such as “There is a vehicle on the right hand” that notifies the presence of the other vehicle 202.
  • the voice information generation unit 120 outputs, from the speaker 121, a voice such as “There is a vehicle in front of the right hand” that notifies the presence of the other vehicle 204 following the voice 233 such as “There is a vehicle on the right hand”.
  • the sound information generation unit 120 may output a sound such as “there is a vehicle in the right hand and the right hand front” from the speaker 121 to notify the existence of the other vehicles 202 and 204.
  • voice information generation part 120 may output the notification sound which alert
  • FIG. In the example of FIG. 26, since the type of the object is a vehicle, voice information such as “There is a vehicle on the right hand” is generated. However, when the type of the object is a pedestrian, Voice information such as “There is a person” is generated.
  • the display device 100b As described above, the display device 100b according to Embodiment 3 generates audio information for generating audio information for outputting the information of the object specified by the object specifying unit 104 when the vehicle changes its course.
  • a generation unit 120 is provided. With this configuration, the display device 100b can surely notify the driver of the presence of an object that is highly likely not noticed by the driver using the display and sound.
  • the display device 100b according to the third embodiment has a configuration in which the audio information generation unit 120 is combined with the display device 100 according to the first embodiment.
  • the audio information generation unit 120 includes the display device 100a according to the second embodiment.
  • the structure combined with may be sufficient.
  • the effective visual field determination unit 105 determines the effective visual field based on both the driving characteristics that are internal factors and the driving environment that is an external factor.
  • the effective visual field may be determined based on either one.
  • the effective visual field information storage unit 107 has either effective visual field information in which the correspondence between internal factors and effective visual fields is defined or effective visual field information in which the correspondence between external factors and effective visual fields is defined. Either one is registered. If there is a plurality of effective visual field information, the effective visual field determination unit 105 may select effective visual field information having a narrower effective visual field. For example, when the driver is a driving beginner and a younger generation, the effective visual field determination unit 105 gives priority to a driving beginner with a relatively narrow effective visual field.
  • the effective visual field determination unit 105 gives priority to the high congested road having a relatively narrow effective visual field.
  • the internal factor and the external factor are not limited to those illustrated in FIG. 2, but may be other factors.
  • the value of the effective visual field and the initial value are not limited to the values illustrated in FIG. 2 and may be other values.
  • the sensors constituting the host vehicle information detection unit 110, the approaching object information detection unit 111, the driver information detection unit 112, and the travel information detection unit 113 are not limited to those described above, and may be other sensors or the like. Also good.
  • the object displayed on the HUD 114 is not limited to those illustrated in FIGS. 10 and 17 and may be other figures.
  • the display control device 101 is configured to display information on the object on the HUD 114 when there is a signal to change the course.
  • the configuration may be such that the information on the object to be displayed on the HUD 114 is continuously updated based on the positional relationship between the host vehicle and the approaching object that changes from moment to moment until the end.
  • FIG. 27 and 28 are diagrams illustrating hardware configuration examples of the display devices 100, 100a, and 100b according to the embodiments.
  • the own vehicle information detection unit 110, the approaching object information detection unit 111, the driver information detection unit 112, and the travel information detection unit 113 in the display devices 100, 100a, and 100b are sensors 2.
  • the function is realized by a processing circuit.
  • the display devices 100, 100a, and 100b include processing circuits for realizing the above functions.
  • the processing circuit may be the processing circuit 1 as dedicated hardware, or may be the processor 3 that executes a program stored in the memory 4.
  • the driver information storage unit 106, the effective visual field information storage unit 107, and the object storage unit 109 in the display devices 100, 100a, and 100b are the memory 4.
  • the processing circuit 1 when the processing circuit is dedicated hardware, includes, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit). ), FPGA (Field Programmable Gate Array), or a combination thereof.
  • Functions of the own vehicle information acquisition unit 102, approaching object information acquisition unit 103, object identification unit 104, effective visual field determination unit 105, display information generation units 108 and 108a, and audio information generation unit 120 are realized by a plurality of processing circuits 1. Alternatively, the functions of the respective units may be combined and realized by one processing circuit 1.
  • the processing circuit is the processor 3, the own vehicle information acquisition unit 102, the approaching object information acquisition unit 103, the object specifying unit 104, the effective visual field determination unit 105, the display information generation units 108 and 108a.
  • Each function of the voice information generation unit 120 is realized by software, firmware, or a combination of software and firmware.
  • Software or firmware is described as a program and stored in the memory 4.
  • the processor 3 reads out and executes the program stored in the memory 4, thereby realizing the function of each unit. That is, the display devices 100, 100a, 100b include a memory 4 for storing a program that, when executed by the processor 3, results in the steps shown in the flowchart of FIG.
  • this program is a procedure or method of the own vehicle information acquisition unit 102, approaching object information acquisition unit 103, object identification unit 104, effective visual field determination unit 105, display information generation units 108 and 108a, and audio information generation unit 120. It can be said that it is what makes a computer execute.
  • the processor 3 is a CPU (Central Processing Unit), a processing device, an arithmetic device, a microprocessor, or the like.
  • the memory 4 may be a RAM (Random Access Memory), a ROM (Read Only Memory), an EPROM (Erasable Programmable ROM), or a nonvolatile or volatile semiconductor memory such as a flash memory, a hard disk, a flexible disk, or the like.
  • the magnetic disk may be a CD (Compact Disc) or a DVD (Digital Versatile Disc).
  • a part of the functions of the own vehicle information acquisition unit 102, the approaching object information acquisition unit 103, the object identification unit 104, the effective visual field determination unit 105, the display information generation units 108 and 108a, and the audio information generation unit 120 are partially described. It may be realized by dedicated hardware and partly realized by software or firmware. As described above, the processing circuits in the display devices 100, 100a, and 100b can realize the above-described functions by hardware, software, firmware, or a combination thereof.
  • the present invention can be freely combined with each embodiment, any component of each embodiment can be modified, or any component of each embodiment can be omitted.
  • the display device Since the display device according to the present invention notifies the driver of an object approaching the host vehicle outside the driver's effective field of view, it is suitable for a display device used for a driving support device that supports driving. ing.
  • 1 processing circuit, 2 sensors, 3 processor, 4 memory 100, 100a, 100b display device, 101 display control device, 102 own vehicle information acquisition unit, 103 approaching object information acquisition unit, 104 object identification unit, 105 effective field of view Determination unit, 106 Driver information storage unit, 107 Effective visual field information storage unit, 108, 108a Display information generation unit, 109 Object storage unit, 110 Own vehicle information detection unit, 111 Approaching object information detection unit, 112 Driver information detection unit , 113 driving information detection unit, 114 HUD, 120 audio information generation unit, 121 speaker, 200 own vehicle, 201-204 other vehicle, 205 approaching object detection range, 205a opposite side of traveling direction, 210 driver, 211 HUD display range 212, 220, 230 Effective field of view, 213 21,222,231,232 object, 233 voice.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Instrument Panels (AREA)

Abstract

自車両情報取得部（１０２）は、車両がこれから行う進路変更の合図とこの進路変更により車両がこれから向かう進行方向とを示す自車両情報を取得する。接近物情報取得部（１０３）は、車両の周囲の予め定められた範囲において車両に接近する接近物を示す接近物情報を取得する。有効視野決定部（１０５）は、車両の運転者の有効視野を決定する。対象物特定部（１０４）は、自車両情報及び接近物情報に基づいて、車両に接近する接近物のうちの車両がこれから向かう進行方向の反対側から接近する接近物を特定し、特定した接近物を対象物とする。表示情報生成部（１０８）は、自車両情報に基づいて、車両が進路変更する場合に、対象物特定部（１０４）により特定された対象物の情報を有効視野決定部（１０５）により決定された運転者の有効視野に表示させるための表示情報を生成する。

Description

表示制御装置、表示装置、及び表示制御方法
　この発明は、ヘッドアップディスプレイ（以下、「ＨＵＤ」と称する。）の表示を制御する表示制御装置及び表示制御方法、並びにＨＵＤを備えた表示装置に関するものである。
　車両用のＨＵＤは、運転者の視線の先に映像（「虚像」とも称する。）を表示できるため、運転者の視線移動を減少させることができる。最近では、現実世界に虚像を重畳表示させる拡張現実（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ、ＡＲ）技術の普及によって、ＨＵＤの表示範囲における現実の対象物の位置に虚像を重畳表示させて当該対象物をマーキングすることが可能である。ＡＲを利用したマーキングにより、運転者に対して運転支援に関する情報を提供することができる（例えば、特許文献１及び２参照）。
　例えば、特許文献１に係る車両用表示装置は、車両前方の信号機又は標識を検出し、検出した信号機又は標識が運転者の有効視野外にある場合、ＨＵＤの表示エリアにおける運転者の有効視野内に、検出した信号機又は標識の存在を強調する虚像を表示する。有効視野とは、人間の視野範囲のうちの視覚刺激を認識できる範囲である。
　また、例えば、特許文献２に係る車両用夜間視界支援装置は、赤外線カメラにより撮像された車両前方の画像をメインディスプレイに表示し、メインディスプレイに表示されている画像中に歩行者が存在する場合にＨＵＤに注意喚起表示を行う。この車両用夜間視界支援装置は、メインディスプレイに表示されている画像上に存在しなくなった歩行者が運転者の視野範囲内に存在する場合にも、ＨＵＤに注意喚起表示を行う。
特開２０１７－１４６７３７号公報 特開２０１１－９１５４９号公報
　特許文献１に係る車両用表示装置における虚像表示の対象物は、静止している物体のみであり、他車両及び歩行者等の移動している物体ではない。そのため、上記車両用表示装置は、運転者の有効視野外において自車両に接近してくる対象物を、運転者に報知することができない。
　特許文献２に係る車両用夜間視界支援装置は、自車両と歩行者との相対位置、及び自車両の走行方向とに基づいて、歩行者が運転者の視野範囲内に存在するか否かを推定する。そのため、自車両が右左折又は車線変更等をする際に自車両がこれから向かう進行方向とは反対の方向から自車両に接近してくる歩行者は、メインディスプレイに表示されている画像上及び運転者の視野範囲内の両方に存在しない可能性が非常に高い。その場合、上記車両用夜間視界支援装置は、運転者の視野範囲外において自車両に接近してくる対象物を、運転者に報知することができない。
　特に右左折時又は車線変更時においては、運転者の有効視野がこれから向かう方向へ集中する可能性が高く、運転者は有効視野外において自車両に接近してくる対象物の存在に気付きにくい。このような状況において、従来は、運転者が気付いていない可能性の高い対象物の存在を、運転者に報知することができないという課題があった。
　この発明は、上記のような課題を解決するためになされたもので、運転者の有効視野外において自車両に接近してくる対象物を、運転者に報知することを目的とする。
　この発明に係る表示制御装置は、車両の運転者へ提供する情報をヘッドアップディスプレイに表示させる表示制御装置であって、車両がこれから行う進路変更の合図と進路変更により車両がこれから向かう進行方向とを示す自車両情報を取得する自車両情報取得部と、車両の周囲の予め定められた範囲において車両に接近する接近物を示す接近物情報を取得する接近物情報取得部と、車両の運転者の有効視野を決定する有効視野決定部と、自車両情報及び接近物情報に基づいて、車両に接近する接近物のうちの車両がこれから向かう進行方向の反対側から接近する接近物を特定し、特定した接近物を対象物とする対象物特定部と、自車両情報に基づいて、車両が進路変更する場合に、対象物特定部により特定された対象物の情報を有効視野決定部により決定された運転者の有効視野に表示させるための表示情報を生成する表示情報生成部とを備えるものである。
　この発明によれば、車両が進路変更する場合に、車両がこれから向かう進行方向の反対側から接近する対象物の情報を、運転者の有効視野に表示させるようにしたので、運転者が気付いていない可能性の高い対象物の存在を、運転者に報知することができる。
実施の形態１に係る表示装置の構成例を示すブロック図である。 実施の形態１における内的要因、外的要因、及び有効視野の対応関係が定義された有効視野情報の一例を示す図である。 実施の形態１において、自車両が右へ進路変更する合図を出した後に右折する状況の一例を示す俯瞰図である。 図３に示される状況において自車両の運転者に見える前方風景を示す図である。 実施の形態１に係る表示装置の動作例を示すフローチャートである。 図５のステップＳＴ３における有効視野決定部の動作例を示すフローチャートである。 図５のステップＳＴ４における対象物特定部の動作例を示すフローチャートである。 図５のステップＳＴ５における表示情報生成部の動作例を示すフローチャートである。 図３に示される状況において運転者と有効視野の位置関係の一例を示す図である。 実施の形態１におけるオブジェクトの一例を示す図である。 図３に示される状況において生成される表示情報の一例を示す図である。 図３に示される状況において自車両の運転者に見える前方風景に、対象物の存在を報知する表示が重畳された状態を示す図である。 実施の形態２に係る表示装置の構成例を示すブロック図である。 実施の形態２において、自車両が右へ進路変更する合図を出した後に右側車線に車線変更する状況の一例を示す俯瞰図である。 図１４に示される状況において自車両の運転者に見える前方風景を示す図である。 図５のステップＳＴ５における実施の形態２の表示情報生成部の動作例を示すフローチャートである。 実施の形態２におけるオブジェクトの一例を示す図である。 図１４に示される状況において生成される表示情報の一例を示す図である。 図１４に示される状況において自車両の運転者に見える前方風景に、対象物の存在を報知する表示と、現実の対象物に重なる表示とが重畳された状態を示す図である。 実施の形態３に係る表示装置の構成例を示すブロック図である。 実施の形態３において、自車両が左へ進路変更する合図を出した後に左折する状況の一例を示す俯瞰図である。 図２１に示される状況において自車両の運転者に見える前方風景を示す図である。 実施の形態３に係る表示装置の動作例を示すフローチャートである。 実施の形態３におけるオブジェクトの一例を示す図である。 図２１に示される状況において生成される表示情報の一例を示す図である。 図２１に示される状況において自車両の運転者に見える前方風景に、対象物の存在を報知する表示が重畳された状態を示す図である。 各実施の形態に係る表示装置のハードウェア構成の一例を示す図である。 各実施の形態に係る表示装置のハードウェア構成の別の例を示す図である。
　以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
　図１は、実施の形態１に係る表示装置１００の構成例を示すブロック図である。表示装置１００は、右左折時及び車線変更時といった運転者の有効視野が車両がこれから向かう進行方向に集中している可能性が非常に高い場合に、認識が疎かになる上記進行方向の反対側から接近する対象物の存在を運転者に気付かせるために、運転者の有効視野に上記対象物の存在を強調する表示を行うものである。
　表示装置１００は、表示制御装置１０１及びＨＵＤ１１４を備える。表示制御装置１０１は、自車両情報取得部１０２、接近物情報取得部１０３、対象物特定部１０４、有効視野決定部１０５、及び表示情報生成部１０８を備える。有効視野決定部１０５は、運転者情報格納部１０６及び有効視野情報格納部１０７を備える。表示情報生成部１０８は、オブジェクト格納部１０９を備える。また、表示装置１００には、自車両情報検出部１１０、接近物情報検出部１１１、運転者情報検出部１１２、及び走行情報検出部１１３が接続される。
　なお、自車両情報検出部１１０、接近物情報検出部１１１、運転者情報検出部１１２、走行情報検出部１１３、及びＨＵＤ１１４は、車両に搭載されているものとする。一方、表示制御装置１０１は、車両に搭載されてもよいし、車外にサーバ装置として構築され、無線通信によってサーバ装置と車両側の自車両情報検出部１１０等との間で情報を授受する構成でもよい。
　自車両情報検出部１１０は、方向指示器、操舵角を検出する操舵角センサ、又は走行予定経路を案内するカーナビゲーション装置等で構成される。つまり、自車両情報検出部１１０は、自車両がこれから行う進路変更の合図とこの進路変更により車両がこれから向かう進行方向とを示す自車両情報を検出するものであればよい。進路変更の合図は、自車両の右折、左折、右側車線への車線変更、及び左側車線への車線変更の合図を示し、例えば運転者により方向指示器が操作されたタイミングを示す。進行方向は、これから自車両が右に曲がるのか、左に曲がるのか、右側車線へ車線変更するのか、左側車線へ車線変更するのかを示し、例えばカーナビゲーション装置の走行予定経路を示す。
　自車両情報取得部１０２は、自車両情報検出部１１０から自車両情報を取得する。自車両情報は、上述の通り自車両がこれから行う進路変更の合図とこの進路変更により車両がこれから向かう進行方向とを示す情報であり、方向指示器の点灯状態を示す情報、操舵角センサが検出した操舵角を示す情報、又はカーナビゲーション装置が案内中の走行予定経路を示す情報等である。自車両情報取得部１０２は、自車両情報に基づいて進路変更の合図の有無を検出し、進路変更の合図があったときにこの進路変更により車両がこれから向かう進行方向を示す情報を対象物特定部１０４へ出力する。
　接近物情報検出部１１１は、自車両の周囲の予め定められた範囲を撮像する車外カメラ等で構成される。予め定められた範囲は、例えば、自車両前方、直径５０ｍの円状範囲である。接近物情報検出部１１１は、撮像画像等を接近物検出情報として、接近物情報取得部１０３へ出力する。
　接近物情報取得部１０３は、接近物情報検出部１１１から接近物検出情報を取得する。接近物情報取得部１０３は、接近物検出情報である撮像画像から、上記予め定められた範囲において自車両に接近する接近物を検出する。また、接近物情報取得部１０３は、検出した接近物の位置と種類とを特定し、接近物の位置と種類とを示す接近物情報を生成して対象物特定部１０４へ出力する。接近物の種類は、車両、自転車、及び歩行者等である。例えば、接近物情報取得部１０３は、時系列で撮像された複数の撮像画像から車両、自転車、及び歩行者等の移動方向を推定し、自車両に接近しているか否かを判断する。
　対象物特定部１０４は、自車両情報取得部１０２から進行方向を示す情報を取得すると共に、接近物情報取得部１０３から接近物情報を取得する。対象物特定部１０４は、進行方向を示す情報及び接近物情報に基づいて、自車両に接近する接近物のうちの自車両がこれから向かう進行方向の反対側から接近する接近物を特定し、特定した接近物を対象物とする。対象物特定部１０４は、対象物の位置と種類とを示す対象物情報を生成し、対象物情報と進行方向を示す情報とを表示情報生成部１０８へ出力する。
　ところで、人間の視野範囲には、視覚刺激を認識できる範囲である有効視野がある。運転者の有効視野は、４度～２０度と言われているが、その範囲は運転者の内的要因及び外的要因に応じて変化する。内的要因とは、運転者の年齢及び運転熟練度等、運転者の運転特性である。外的要因とは、車速、混雑度及び車線数等、車両の走行環境である。
　運転者情報検出部１１２は、車内における運転者の位置と運転者個人を特定するための画像を撮像する車内カメラ等で構成される。運転者情報検出部１１２は、撮像画像等を運転者情報として、有効視野決定部１０５へ出力する。
　走行情報検出部１１３は、自車両の車速を検出する加速度センサ等と、自車両の走行場所、混雑度及び車線数を検出する車外カメラ、ミリ波レーダ又は地図情報データベース等とで構成される。走行情報検出部１１３は、車速等を走行情報として、有効視野決定部１０５へ出力する。なお、走行情報検出部１１３の車外カメラは、接近物情報検出部１１１の車外カメラと兼用されてもよい。
　運転者情報格納部１０６には、運転者の顔画像と運転特性情報との対応関係が定義された運転者情報が、予め登録されている。運転特性情報とは、運転者の有効視野が変化する内的要因である、年齢及び運転熟練度等の情報である。
　有効視野情報格納部１０７には、内的要因、外的要因、及び有効視野の対応関係が定義された有効視野情報が、予め登録されている。図２は、実施の形態１における内的要因、外的要因、及び有効視野の対応関係が定義された有効視野情報の一例を示す図である
　有効視野決定部１０５は、運転者情報検出部１１２から運転者情報を取得すると共に、走行情報検出部１１３から走行情報を取得する。有効視野決定部１０５は、運転者情報である撮像画像から、運転者の頭の位置を決定し、運転者位置情報として表示情報生成部１０８へ出力する。
　また、有効視野決定部１０５は、運転者情報である撮像画像から運転者の顔を検出し、検出した運転者の顔を運転者情報格納部１０６に予め登録されている運転者の顔情報と比較することによって運転者個人を特定する。そして、有効視野決定部１０５は、特定した運転者に対応付けられている運転特性情報を、運転者情報格納部１０６から取得する。
　さらに、有効視野決定部１０５は、運転者情報格納部１０６から取得した運転者特性情報、及び走行情報検出部１１３から取得した走行情報を、それぞれ、有効視野情報格納部１０７に予め登録されている内的要因及び外的要因と比較することによって、運転者の有効視野を決定する。有効視野決定部１０５は、決定した有効視野を示す情報を表示情報生成部１０８へ出力する。
　ここで、有効視野決定部１０５による走行環境の特定方法の一例を示す。有効視野決定部１０５は、走行環境の１つである道路の混雑度について、例えば、車両周囲が撮像された画像に写る車両、自転車、及び歩行者等の数が予め定められた閾値未満である場合に低混雑道路と特定し、閾値以上である場合に高混雑道路と特定する。図２の例では、運転初心者が高混雑道路を走行している場合、内的要因が運転初心者であり外的要因が高混雑道路であるので、有効視野は４度となる。また、若年層の運転者が単線道路を走行している場合、内的要因が若年層であり外的要因が単線道路であるので、有効視野は１８度となる。また、有効視野の初期値は、運転者の有効視野と言われている範囲のうちの最も狭い４度に設定されている。
　オブジェクト格納部１０９には、ＨＵＤ１１４に表示させるためのオブジェクトが予め登録されている。オブジェクトは、対象物の位置を示す矢印、対象物の種類を示すテキスト若しくはアイコン、又は対象物を囲むマーカ等である。
　表示情報生成部１０８は、対象物特定部１０４から対象物情報と進行方向を示す情報とを取得すると共に、有効視野決定部１０５から運転者位置情報と有効視野を示す情報とを取得する。表示情報生成部１０８は、対象物情報と進行方向を示す情報とに基づいて、オブジェクト格納部１０９に予め登録されているオブジェクトの中から、ＨＵＤ１１４に表示させるオブジェクトの種類及び表示個数等を特定する。また、表示情報生成部１０８は、運転者位置情報と有効視野を示す情報とに基づいて、ＨＵＤ１１４の表示範囲におけるオブジェクトの表示位置を決定する。ＨＵＤ１１４の表示範囲を示す情報は、表示情報生成部１０８に予め与えられているものとする。そして、表示情報生成部１０８は、オブジェクトを表示位置に配置した表示情報を生成し、ＨＵＤ１１４へ出力する。表示情報の生成方法については後述する。
　ＨＵＤ１１４は、表示情報生成部１０８から表示情報を取得し、車両のフロントウインドウ又はコンバイナに表示情報を投影する。
　次に、表示装置１００の動作例を説明する。
　ここでは、自車両が交差点を右折する場合を例に用いて、表示装置１００の動作を説明する。図３は、実施の形態１において、自車両２００が右へ進路変更する合図を出した後に右折する状況の一例を示す俯瞰図である。図３の例では、自車両２００がこれから右折する道路の左側に他車両２０１が存在、右側に他車両２０２，２０３が存在し、自車両２００が直進してきた道路の対向車線に他車両２０４が存在する。
　図４は、図３に示される状況において自車両２００の運転者２１０に見える前方風景を示す図である。図４の例では、自車両２００のフロントウインドウのうちの運転者２１０側が、ＨＵＤ１１４の表示範囲であるＨＵＤ表示範囲２１１になっている。運転者２１０は、フロントウインドウ越しに、他車両２０１，２０２が見える。
　図５は、実施の形態１に係る表示装置１００の動作例を示すフローチャートである。表示装置１００は、図５のフローチャートに示される動作を繰り返す。
　ステップＳＴ１において、自車両情報取得部１０２は、自車両２００がこれから右折することを示す合図を含む自車両情報を自車両情報検出部１１０から取得する。自車両情報取得部１０２は、自車両情報に基づき自車両２００がこれから右折すると判断した場合、自車両２００がこれから右折することを示す進行方向の情報を対象物特定部１０４へ出力する。
　ステップＳＴ２において、接近物情報取得部１０３は、接近物検出情報を接近物情報検出部１１１から取得し、接近物検出情報に基づいて、予め定められた接近物検出範囲２０５において自車両２００に接近する他車両２０１，２０２，２０４を検出する。そして、接近物情報取得部１０３は、接近物検出範囲２０５において自車両２００に接近する接近物が自車両２００の左側の他車両２０１及び右側の他車両２０２，２０４であることを示す接近物情報を対象物特定部１０４へ出力する。
　ステップＳＴ３において、有効視野決定部１０５は、運転者情報を運転者情報検出部１１２から取得すると共に、走行情報を走行情報検出部１１３から取得する。有効視野決定部１０５は、運転者情報及び走行情報に基づいて、運転者２１０の位置及び有効視野を決定し、運転者位置情報と有効視野を示す情報とを表示情報生成部１０８へ出力する。
　図６は、図５のステップＳＴ３における有効視野決定部１０５の動作例を示すフローチャートである。
　ステップＳＴ３０１において、有効視野決定部１０５は、運転者情報を運転者情報検出部１１２から取得する。ステップＳＴ３０２において、有効視野決定部１０５は、走行情報を走行情報検出部１１３から取得する。
　ステップＳＴ３０３において、有効視野決定部１０５は、ステップＳＴ３０１で取得した運転者情報に基づいて、運転者２１０の頭の位置を決定する。ステップＳＴ３０４において、有効視野決定部１０５は、ステップＳＴ３０１で取得した運転者情報と運転者情報格納部１０６に登録されている顔画像とに基づいて運転者２１０を特定する。
　ステップＳＴ３０５において、有効視野決定部１０５は、ステップＳＴ３０２で取得した走行情報に基づいて、自車両２００の走行環境を特定する。図３の例では、自車両２００の走行環境として、低混雑道路であることが特定されることとする。
　ステップＳＴ３０６において、有効視野決定部１０５は、ステップＳＴ３０４で特定した運転者２１０に対応付けられている運転特性情報が運転者情報格納部１０６に存在するか否かを確認する。有効視野決定部１０５は、運転者情報格納部１０６に運転特性情報が存在する場合（ステップＳＴ３０６“ＹＥＳ”）、ステップＳＴ３０７へ進む。一方、有効視野決定部１０５は、ステップＳＴ３０４で運転者情報格納部１０６内に運転者２１０に該当する顔画像が存在せず個人を特定できなかった場合、又は顔画像は存在したが当該顔画像に運転特性情報が対応付けられていない場合（ステップＳＴ３０６“ＮＯ”）、ステップＳＴ３１０へ進む。ステップＳＴ３０７において、有効視野決定部１０５は、運転者２１０に対応付けられている運転特性情報を、運転者情報格納部１０６から取得する。この例における運転者２１０の運転特性情報は、運転初心者であることを示す情報とする。
　ステップＳＴ３０８において、有効視野決定部１０５は、ステップＳＴ３０５で特定した走行環境及びステップＳＴ３０６で取得した運転特性情報に該当する内的要因及び外的要因をもつ有効視野情報が有効視野情報格納部１０７に存在するか否かを確認する。有効視野決定部１０５は、有効視野情報格納部１０７に有効視野情報が存在する場合（ステップＳＴ３０８“ＹＥＳ”）、ステップＳＴ３０９へ進み、存在しない場合（ステップＳＴ３０８“ＮＯ”）、ステップＳＴ３１０へ進む。
　ステップＳＴ３０９において、有効視野決定部１０５は、走行環境及び運転特性情報に該当する内的要因及び外的要因をもつ有効視野情報に含まれる有効視野を、運転者２１０の有効視野と決定する。一方、ステップＳＴ３１０において、有効視野決定部１０５は、有効視野情報格納部１０７に初期値として登録されている有効視野を、運転者２１０の有効視野と決定する。この例では、走行環境、つまり外的要因が低混雑道路であり、運転特性、つまり内的要因が運転初心者であるため、運転者２１０の有効視野は１０度である。
　ステップＳＴ３１１において、有効視野決定部１０５は、ステップＳＴ３０３で決定した運転者２１０の頭の位置を、運転者位置情報として表示情報生成部１０８へ出力する。ステップＳＴ３１２において、有効視野決定部１０５は、ステップＳＴ３０９又はステップＳＴ３１０で決定した運転者２１０の有効視野を示す情報を、表示情報生成部１０８へ出力する。
　ステップＳＴ４において、対象物特定部１０４は、自車両２００の進行方向を示す情報を自車両情報取得部１０２から取得すると共に、他車両２０１，２０２，２０４の接近物情報を接近物情報取得部１０３から取得する。対象物特定部１０４は、これらの情報に基づいて、対象物を特定し、対象物情報と進行方向を示す情報とを表示情報生成部１０８へ出力する。
　図７は、図５のステップＳＴ４における対象物特定部１０４の動作例を示すフローチャートである。
　ステップＳＴ４０１において、対象物特定部１０４は、自車両２００がこれから右折することを示す進行方向の情報を自車両情報取得部１０２から取得したか否かを確認する。対象物特定部１０４は、進行方向の情報を取得した場合（ステップＳＴ４０１“ＹＥＳ”）、ステップＳＴ４０２へ進み、取得していない場合（ステップＳＴ４０１“ＮＯ”）、ステップＳＴ４０１を繰り返す。
　ステップＳＴ４０２において、対象物特定部１０４は、他車両２０１，２０２，２０４の接近物情報を接近物情報取得部１０３から取得する。
　ステップＳＴ４０３において、対象物特定部１０４は、ステップＳＴ４０１で取得した進行方向の情報とステップＳＴ４０２で取得した接近物情報とに基づいて、自車両２００の進行方向の反対側に接近物が存在するか否かを確認する。対象物特定部１０４は、進行方向の反対側に接近物が存在する場合（ステップＳＴ４０３“ＹＥＳ”）、ステップＳＴ４０４へ進み、存在しない場合（ステップＳＴ４０３“ＮＯ”）、ステップＳＴ４０５へ進む。ステップＳＴ４０４において、対象物特定部１０４は、進行方向の反対側に存在する接近物を、対象物と特定する。一方、ステップＳＴ４０５において、対象物特定部１０４は、進行方向の反対側に接近物が存在しないので対象物が存在しないと判断する。図２の例では、交差点に進入しようとしている自車両２００の位置を基準として、この自車両２００がこれから向かおうとする進行方向側とは反対側２０５ａに、接近物である他車両２０１が存在する。そのため、他車両２０１が対象物と特定される。一方、接近物である他車両２０２及び他車両２０４は、自車両２００の位置を基準として、この自車両２００がこれから向かおうとする進行方向側に存在するので、対象物ではない。
　ステップＳＴ４０６において、対象物特定部１０４は、ステップＳＴ４０４で特定した対象物である他車両２０１を示す対象物情報を、表示情報生成部１０８へ出力する。ステップＳＴ４０７において、対象物特定部１０４は、ステップＳＴ４０１で取得した進行方向を示す情報を表示情報生成部１０８へ出力する。
　ステップＳＴ５において、表示情報生成部１０８は、自車両２００の進行方向を示す情報と対象物情報とを対象物特定部１０４から取得すると共に、運転者２１０の運転者位置情報と有効視野を示す情報とを有効視野決定部１０５から取得する。表示情報生成部１０８は、これらの情報に基づいて表示情報を生成し、ＨＵＤ１１４へ出力する。
　図８は、図５のステップＳＴ５における表示情報生成部１０８の動作例を示すフローチャートである。
　ステップＳＴ５０１において、表示情報生成部１０８は、対象物情報を対象物特定部１０４から取得したか否かを確認する。表示情報生成部１０８は、対象物情報を取得した場合（ステップＳＴ５０１“ＹＥＳ”）、ステップＳＴ５０２へ進み、取得していない場合（ステップＳＴ５０１“ＮＯ”）、ステップＳＴ５０１を繰り返す。
　ステップＳＴ５０２において、表示情報生成部１０８は、自車両２００がこれから右折することを示す進行方向の情報を自車両情報取得部１０２から取得する。ステップＳＴ５０３において、表示情報生成部１０８は、運転者２１０の頭の位置を示す運転者位置情報を、有効視野決定部１０５から取得する。ステップＳＴ５０４において、表示情報生成部１０８は、運転者２１０の有効視野を示す情報を、有効視野決定部１０５から取得する。
　ステップＳＴ５０５において、表示情報生成部１０８は、ステップＳＴ５０２で取得した進行方向を示す情報とステップＳＴ５０３で取得した運転者位置情報とステップＳＴ５０４で取得した有効視野を示す情報とに基づいて、自車両２００における運転者２１０の有効視野を特定する。ここで、図９に、図３に示される状況における運転者２１０と有効視野２１２の位置関係の一例を示す。表示情報生成部１０８は、自車両２００の進行方向が右方向であり、運転者２１０の有効視野が１０度であることから、運転者２１０の頭の位置を基準として、この運転者２１０の前方右側における１０度の範囲を、有効視野２１２と特定する。
　ステップＳＴ５０６において、表示情報生成部１０８は、ステップＳＴ５０１で取得した対象物情報とステップＳＴ５０２で取得した進行方向を示す情報とステップＳＴ５０５で特定した運転者２１０の有効視野２１２と予め定められたＨＵＤ１１４の表示範囲とに基づいて、表示情報を生成する。ここで、図１０に、実施の形態１におけるオブジェクト２１３の一例を示す。図１１は、図３に示される状況において生成される表示情報の一例を示す図である。表示情報生成部１０８は、オブジェクト格納部１０９に登録されているオブジェクトの中から、自車両２００の進行方向とは反対の左方向から他車両２０１が接近していることを表現する左向き矢印のオブジェクトと「車」というテキストのオブジェクトとを選択し、両者を組み合わせて、オブジェクト２１３を生成する。このオブジェクト２１３は、他車両２０１の存在を運転者２１０に報知する表示であり、目立つ色であることが好ましい。続いて、表示情報生成部１０８は、図１１のように、運転者２１０の有効視野２１２、かつ、ＨＵＤ表示範囲２１１におけるオブジェクト２１３の位置を決定し、オブジェクト２１３の内容と位置とを含む表示情報を生成する。図１１の例では、自車両２００のフロントガラス越しに見える現実の他車両２０１にオブジェクト２１３の矢印が向くよう、オブジェクト２１３の位置が決定される。
　なお、図１１の例では、対象物の種類が車両であるため「車」というテキストのオブジェクトが選択されたが、対象物の種類が歩行者である場合には「歩行者」というテキストのオブジェクトが選択される。
　ステップＳＴ５０７において、表示情報生成部１０８は、ステップＳＴ５０６で生成した表示情報をＨＵＤ１１４へ出力する。
　ステップＳＴ６において、ＨＵＤ１１４は、表示情報を表示情報生成部１０８から取得し、ＨＵＤ表示範囲２１１に表示する。ここで、図１２に、図３に示される状況において自車両２００の運転者２１０に見える前方風景に、他車両２０１の存在を報知するオブジェクト２１３が重畳された状態を示す。運転者２１０は、これから向かう右側を見ている可能性が高いため、左側から接近してくる他車両２０１に気付いていない可能性が高い。この状況において、オブジェクト２１３は、運転者２１０の有効視野２１２に表示されるため、運転者２１０は、オブジェクト２１３を確実に認知でき、他車両２０１の存在を認識することができる。
　以上のように、実施の形態１に係る表示装置１００は、ＨＵＤ１１４と、表示制御装置１０１とを備える。表示制御装置１０１は、自車両情報取得部１０２と、接近物情報取得部１０３と、有効視野決定部１０５と、対象物特定部１０４と、表示情報生成部１０８とを備える。自車両情報取得部１０２は、車両がこれから行う進路変更の合図と進路変更により車両がこれから向かう進行方向とを示す自車両情報を取得する。接近物情報取得部１０３は、車両の周囲の予め定められた範囲において車両に接近する接近物を示す接近物情報を取得する。有効視野決定部１０５は、車両の運転者の有効視野を決定する。対象物特定部１０４は、自車両情報及び接近物情報に基づいて、車両に接近する接近物のうちの車両がこれから向かう進行方向の反対側から接近する接近物を特定し、特定した接近物を対象物とする。表示情報生成部１０８は、自車両情報に基づいて、車両が進路変更する場合に、対象物特定部１０４により特定された対象物の情報を有効視野決定部１０５により決定された運転者の有効視野に表示させるための表示情報を生成する。この構成により、表示装置１００は、運転者が気付いていない可能性の高い対象物の存在を、運転者に報知することができる。
　また、実施の形態１の有効視野決定部１０５は、運転者の運転特性又は車両の走行環境の少なくとも一方に基づいて運転者の有効視野を変更する。この構成により、表示装置１００は、運転者の有効視野を変化させる内的要因又は外的要因の少なくとも一方に基づいて、現在の運転者の有効視野をより正確に決定することができる。また、表示装置１００は、より正確な有効視野に対象物の情報を表示させることができるので、対象物を、運転者により確実に報知することができる。
実施の形態２．
　図１３は、実施の形態２に係る表示装置１００ａの構成例を示すブロック図である。実施の形態２に係る表示装置１００ａは、図１に示された実施の形態１の表示装置１００のうちの表示情報生成部１０８が表示情報生成部１０８ａに変更された構成である。図１３において図１と同一又は相当する部分は、同一の符号を付し説明を省略する。
　実施の形態２の表示情報生成部１０８ａは、自車両がこれから向かう進行方向の反対側から接近する対象物が、ＨＵＤ１１４の表示範囲内に存在する場合と表示範囲外に存在する場合とで、対象物の情報の表示態様を変更する構成である。
　次に、表示装置１００ａの動作例を説明する。
　ここでは、自車両が右側車線へ車線変更する場合を例に用いて、表示装置１００ａの動作を説明する。図１４は、実施の形態２において、自車両２００が右へ進路変更の合図を出した後に右側車線に車線変更する状況の一例を示す俯瞰図である。図１４の例では、自車両２００が走行してきた車線の左側車線に他車両２０１が存在し、自車両２００が直進してきた車線の前方に他車両２０２，２０３が存在し、自車両２００がこれから車線変更する右側車線に他車両２０４が存在する。なお、他車両２０１，２０４は直進しており、他車両２０２は左側車線に車線変更しようとしており、他車両２０３は右側車線に車線変更しようとしている。
　図１５は、図１４に示される状況において自車両２００の運転者２１０に見える前方風景を示す図である。図１５の例では、自車両２００のフロントウインドウのうちの運転者２１０側が、ＨＵＤ１１４の表示範囲であるＨＵＤ表示範囲２１１になっている。運転者２１０は、フロントウインドウ越しに、他車両２０３，２０４が見える。
　実施の形態２の表示装置１００ａは、図５のフローチャートに示される動作を繰り返す。以下では、実施の形態１の表示装置１００と実施の形態２の表示装置１００ａとで動作が異なる部分を中心に説明する。
　ステップＳＴ２において、接近物情報取得部１０３は、接近物情報検出部１１１から取得した接近物検出情報に基づいて、予め定められた接近物検出範囲２０５において自車両２００に接近する他車両２０３，２０４を検出する。そして、接近物情報取得部１０３は、接近物検出範囲２０５において自車両２００に接近する接近物が自車両２００の前方から左側へ向かう他車両２０３と自車両２００の右側にいる他車両２０４であることを示す接近物情報を対象物特定部１０４へ出力する。
　ステップＳＴ３において、有効視野決定部１０５は、運転者情報検出部１１２から取得した運転者情報と走行情報検出部１１３から取得した走行情報とに基づいて、運転者２１０の位置及び有効視野を決定し、運転者位置情報と有効視野を示す情報とを表示情報生成部１０８ａへ出力する。図１４の例では、有効視野決定部１０５は、若年層の運転者２１０が三車線道路を走行していると特定し、有効視野情報格納部１０７に登録されている有効視野情報を参照して有効視野を１２度と決定する。有効視野決定部１０５は、決定した運転者２１０の有効視野を示す情報を、表示情報生成部１０８ａへ出力する。
　ステップＳＴ４において、対象物特定部１０４は、自車両情報取得部１０２から取得した自車両２００の進行方向を示す情報と、接近物情報取得部１０３から取得した他車両２０３，２０４の接近物情報とに基づいて、自車両２００の進行方向の反対側２０５ａに存在する他車両２０３を対象物と特定する。対象物特定部１０４は、特定した他車両２０３を示す対象物情報を表示情報生成部１０８ａへ出力する。
　ステップＳＴ５において、表示情報生成部１０８ａは、対象物特定部１０４から取得した進行方向を示す情報と対象物情報と、有効視野決定部１０５から取得した運転者位置情報と有効視野を示す情報とに基づいて、表示情報を生成し、ＨＵＤ１１４へ出力する。
　図１６は、図５のステップＳＴ５における実施の形態２の表示情報生成部１０８ａの動作例を示すフローチャートである。図１６のステップＳＴ５０１～ＳＴ５０５，ＳＴ５０７は、図８のステップＳＴ５０１～ＳＴ５０５，ＳＴ５０７と同じ動作である。
　ステップＳＴ５１０において、表示情報生成部１０８ａは、ステップＳＴ５０１で取得した対象物情報とステップＳＴ５０５で特定した運転者２１０の有効視野と予め定められたＨＵＤ１１４の表示範囲とに基づいて、対象物がＨＵＤ１１４の表示範囲内にあるか否かを確認する。表示情報生成部１０８ａは、対象物がＨＵＤ１１４の表示範囲内にある場合（ステップＳＴ５１０“ＹＥＳ”）、ステップＳＴ５１１へ進み、対象物がＨＵＤ１１４の表示範囲外にある場合（ステップＳＴ５１０“ＮＯ”）、ステップＳＴ５１２へ進む。
　なお、対象物が有効視野内にある場合、運転者２１０がその対象物に気付いている可能性が高い。そのため、表示情報生成部１０８ａは、その対象物の存在を運転者２１０に報知する表示を行わない。同様に、実施の形態１及び後述の実施の形態３においても、表示情報生成部１０８は、有効視野内にある対象物の存在を運転者２１０に報知する表示を行わなくてよい。
　ステップＳＴ５１１において、表示情報生成部１０８ａは、オブジェクト格納部１０９に登録されているオブジェクトの中から、他車両２０３の存在を運転者２１０に報知するオブジェクトと、自車両２００のフロントウインドウ越しに運転者２１０に見える現実の他車両２０３に重ねて表示させるオブジェクトとを選択する。ここで、図１７に、実施の形態２におけるオブジェクト２２１，２２２の一例を示す。図１８は、図１４に示される状況において生成される表示情報の一例を示す図である。図１４に示される状況において、他車両２０３は、ＨＵＤ表示範囲２１１内にある。表示情報生成部１０８ａは、他車両２０３の存在を運転者２１０に報知するためのオブジェクト２２１を、有効視野２２０内に配置する。また、表示情報生成部１０８ａは、ＨＵＤ表示範囲２１１において、自車両２００のフロントウインドウ越しに運転者２１０に見える現実の他車両２０３に重なる位置に、オブジェクト２２２を配置する。そして、表示情報生成部１０８ａは、オブジェクト２２１，２２２の内容と位置とを含む表示情報を生成する。
　なお、図１８の例では、対象物の種類が車両であるため車両アイコンのオブジェクトが選択されたが、対象物の種類が歩行者である場合には歩行者アイコンのオブジェクトが選択される。
　図１９は、図１４に示される状況において自車両２００の運転者２１０に見える前方風景に、他車両２０３の存在を報知するオブジェクト２２１と、現実の他車両２０３に重なるオブジェクト２２２とが重畳された状態を示す図である。運転者２１０は、これから向かう右側を見ている可能性が高いため、左側車線に車線変更してくる他車両２０３に気付いていない可能性が高い。この状況において、オブジェクト２２１は、運転者２１０の有効視野２２０に表示されるため、運転者２１０は、オブジェクト２２１を確実に認知でき、他車両２０３の存在を認識することができる。加えて、マーカとしてのオブジェクト２２２が現実の他車両２０３に重ねて表示されるため、運転者２１０は、オブジェクト２２２により強調された他車両２０３の存在をより的確に認識することができる。
　ステップＳＴ５１２において、表示情報生成部１０８ａは、実施の形態１の図８におけるステップＳＴ５０６と同様に、オブジェクト格納部１０９に登録されているオブジェクトの中から、他車両２０３の存在を運転者２１０に報知するオブジェクト２２１を選択し、有効視野２２０内に配置する。そして、表示情報生成部１０８ａは、オブジェクト２２１の内容と位置とを含む表示情報を生成する。
　以上のように、実施の形態２の表示情報生成部１０８ａは、自車両がこれから向かう進行方向の反対側から接近する対象物が、ＨＵＤ１１４の表示範囲内に存在する場合と表示範囲外に存在する場合とで、対象物の情報の表示態様を変更する。この構成により、表示装置１００ａは、運転者が気付いていない可能性の高い対象物の存在を、運転者により確実に報知することができる。
　また、実施の形態２の表示情報生成部１０８ａは、自車両がこれから向かう進行方向の反対側から接近する対象物が、ＨＵＤ１１４の表示範囲内に存在する場合、対象物の情報を、ＨＵＤ１１４越しに運転者に見える対象物に重ねる。この構成により、表示装置１００ａは、運転者が気付いていない可能性が高い対象物に直接マーカを重畳表示することができる。
実施の形態３．
　図２０は、実施の形態３に係る表示装置１００ｂの構成例を示すブロック図である。実施の形態３に係る表示装置１００ｂは、図１に示された実施の形態１の表示装置１００に対して音声情報生成部１２０及びスピーカ１２１が追加された構成である。図２０において図１と同一又は相当する部分は、同一の符号を付し説明を省略する。
　実施の形態３の音声情報生成部１２０は、自車両が進路変更する場合に、対象物特定部１０４により特定された対象物の情報を音声出力するための音声情報を生成し、スピーカ１２１へ出力する。音声情報とは、例えば、対象物の位置、種類又は個数といった内容の音声でもよいし、無意味音でもよい。
　スピーカ１２１は、音声情報を音声情報生成部１２０から取得し、音声出力する。
　次に、表示装置１００ｂの動作例を説明する。
　ここでは、自車両が交差点を左折する場合を例に用いて、表示装置１００ｂの動作を説明する。図２１は、実施の形態３において、自車両２００が左へ進路変更する合図を出した後に左折する状況の一例を示す俯瞰図である。図２１の例では、自車両２００がこれから左折する道路の左側に他車両２０１が存在、右側に他車両２０２，２０３が存在し、自車両２００が直進してきた道路の対向車線に他車両２０４が存在する。
　図２２は、図２１に示される状況において自車両２００の運転者２１０に見える前方風景を示す図である。図２２の例では、自車両２００のフロントウインドウのうちの運転者２１０側が、ＨＵＤ１１４の表示範囲であるＨＵＤ表示範囲２１１になっている。運転者２１０は、フロントウインドウ越しに、他車両２０１，２０２が見える。また、自車両２００の運転者２１０付近にスピーカ１２１が設置されている。
　図２３は、実施の形態３に係る表示装置１００ｂの動作例を示すフローチャートである。表示装置１００ｂは、図２３のフローチャートに示される動作を繰り返す。なお、図２３のステップＳＴ１～ＳＴ６は、図５のステップＳＴ１～ＳＴ６と同じ動作である。以下では、実施の形態１の表示装置１００と実施の形態３の表示装置１００ｂとで動作が異なる部分を中心に説明する。
　ステップＳＴ２において、接近物情報取得部１０３は、接近物情報検出部１１１から取得した接近物検出情報に基づいて、予め定められた接近物検出範囲２０５において自車両２００に接近する他車両２０１，２０２，２０４を検出する。そして、接近物情報取得部１０３は、接近物検出範囲２０５において自車両２００に接近する接近物が自車両２００の左側の他車両２０１及び右側の他車両２０２，２０４であることを示す接近物情報を対象物特定部１０４へ出力する。
　ステップＳＴ３において、有効視野決定部１０５は、運転者情報検出部１１２から取得した運転者情報と走行情報検出部１１３から取得した走行情報とに基づいて、運転者２１０の位置及び有効視野を決定し、運転者位置情報と有効視野を示す情報とを表示情報生成部１０８へ出力する。図２１の例では、有効視野決定部１０５は、若年層の運転者２１０が低混雑道路を走行していると特定し、有効視野情報格納部１０７に登録されている有効視野情報を参照して有効視野を１８度と決定する。有効視野決定部１０５は、決定した運転者２１０の有効視野を示す情報を、表示情報生成部１０８へ出力する。
　ステップＳＴ４において、対象物特定部１０４は、自車両情報取得部１０２から取得した自車両２００の進行方向を示す情報と、接近物情報取得部１０３から取得した他車両２０１，２０２，２０４の接近物情報とに基づいて、自車両２００の進行方向の反対側２０５ａに存在する他車両２０２，２０４を対象物と特定する。対象物特定部１０４は、特定した他車両２０２，２０４を示す対象物情報を表示情報生成部１０８及び音声情報生成部１２０へ出力する。
　ステップＳＴ５において、表示情報生成部１０８は、対象物特定部１０４から取得した進行方向を示す情報と対象物情報と、有効視野決定部１０５から取得した運転者位置情報と有効視野を示す情報とに基づいて、表示情報を生成し、ＨＵＤ１１４へ出力する。
　図２４は、実施の形態３におけるオブジェクト２３１，２３２の一例を示す図である。図２５は、図２１に示される状況において生成される表示情報の一例を示す図である。表示情報生成部１０８は、他車両２０２の存在を運転者２１０に報知するためのオブジェクト２３１を、運転者２１０の有効視野２３０内に配置する。また、表示情報生成部１０８は、他車両２０４の存在を運転者２１０に報知するためのオブジェクト２３２を、運転者２１０の有効視野２３０内に配置する。そして、表示情報生成部１０８は、オブジェクト２３１，２３２の内容と位置とを含む表示情報を生成する。
　図２６は、図２１に示される状況において自車両２００の運転者２１０に見える前方風景に、他車両２０２，２０４の存在を報知するオブジェクト２３１，２３２が重畳された状態を示す図である。運転者２１０は、これから向かう左側を見ている可能性が高いため、右側から接近してくる他車両２０２，２０４に気付いていない可能性が高い。この状況において、オブジェクト２３１，２３２は、運転者２１０の有効視野２３０に表示されるため、運転者２１０は、オブジェクト２３１，２３２を確実に認知でき、他車両２０２，２０４の存在を認識することができる。
　ステップＳＴ１１において、音声情報生成部１２０は、対象物特定部１０４から取得した対象物情報に基づいて、「右手に車両があります」等の音声情報を生成する。音声情報生成部１２０は、生成した音声情報を、スピーカ１２１へ出力する。表示情報生成部１０８が対象物特定部１０４から対象物情報を取得した場合に表示情報を生成するのと同様に、音声情報生成部１２０も、対象物特定部１０４から対象物情報を取得した場合に音声情報を生成する。
　ステップＳＴ１２において、スピーカ１２１は、音声情報生成部１２０から取得した音声情報を音声出力する。図２６の例では、音声情報生成部１２０は、他車両２０２の存在を報知する「右手に車両があります」等の音声２３３を、スピーカ１２１から出力させる。音声情報生成部１２０は、「右手に車両があります」等の音声２３３に続けて、他車両２０４の存在を報知する「右手前方に車両があります」等の音声を、スピーカ１２１から出力させる。なお、音声情報生成部１２０は、他車両２０２，２０４の存在を報知する「右手及び右手前方に車両があります」等の音声を、スピーカ１２１から出力させてもよい。または、音声情報生成部１２０は、対象物の存在を報知する報知音を、スピーカ１２１から出力させてもよい。
　なお、図２６の例では、対象物の種類が車両であるため「右手に車両があります」等の音声情報が生成されたが、対象物の種類が歩行者である場合には「右手に歩行者があります」等の音声情報が生成される。
　以上のように、実施の形態３に係る表示装置１００ｂは、車両が進路変更する場合に、対象物特定部１０４により特定された対象物の情報を音声出力するための音声情報を生成する音声情報生成部１２０を備える。この構成により、表示装置１００ｂは、表示と音声とによって、運転者が気付いていない可能性の高い対象物の存在を、運転者により確実に報知することができる。
　なお、実施の形態３の表示装置１００ｂは、音声情報生成部１２０が実施の形態１の表示装置１００に組み合わされた構成であったが、音声情報生成部１２０が実施の形態２の表示装置１００ａに組み合わされた構成でもよい。
　また、各実施の形態において、有効視野決定部１０５は、内的要因である運転特性と外的要因である走行環境の両方に基づいて有効視野を決定したが、内的要因又は外的要因のいずれか一方に基づいて有効視野を決定してもよい。その場合、有効視野情報格納部１０７には、内的要因と有効視野との対応関係が定義された有効視野情報、又は外的要因と有効視野との対応関係が定義された有効視野情報のいずれか一方が登録される。
　なお、有効視野情報が複数ある場合、有効視野決定部１０５は、有効視野が狭い方の有効視野情報を選択してもよい。例えば、運転者が運転初心者かつ若年層である場合、有効視野決定部１０５は、相対的に有効視野が狭い運転初心者を優先する。また、例えば、走行道路が高混雑道路かつ車速４０ｋｍ／ｈである場合、有効視野決定部１０５は、相対的に有効視野が狭い高混雑道路を優先する。
　また、内的要因及び外的要因は、図２に例示されたものに限らず、他の要因であってもよい。
　また、有効視野の値及び初期値は、図２に例示された値に限らず、他の値であってもよい。
　また、自車両情報検出部１１０、接近物情報検出部１１１、運転者情報検出部１１２、及び走行情報検出部１１３を構成するセンサ類は、上述したものに限らず、他のセンサ等であってもよい。
　また、各実施の形態において、ＨＵＤ１１４に表示されるオブジェクトは、図１０及び図１７等に例示されたものに限らず、他の図形等であってもよい。
　また、各実施の形態において、表示制御装置１０１は、進路変更の合図があったときにＨＵＤ１１４に対象物の情報を表示させる構成であったが、進路変更の合図があったときから進路変更が終わるまでの間、時々刻々と変化する自車両と接近物との位置関係に基づいて、ＨＵＤ１１４に表示させる対象物の情報を更新し続ける構成であってもよい。
　最後に、各実施の形態に係る表示装置１００，１００ａ，１００ｂのハードウェア構成例を説明する。図２７及び図２８は、各実施の形態に係る表示装置１００，１００ａ，１００ｂのハードウェア構成例を示す図である。表示装置１００，１００ａ，１００ｂにおける自車両情報検出部１１０、接近物情報検出部１１１、運転者情報検出部１１２及び走行情報検出部１１３は、センサ類２である。表示装置１００，１００ａ，１００ｂにおける自車両情報取得部１０２、接近物情報取得部１０３、対象物特定部１０４、有効視野決定部１０５、表示情報生成部１０８，１０８ａ、及び音声情報生成部１２０の各機能は、処理回路により実現される。即ち、表示装置１００，１００ａ，１００ｂは、上記各機能を実現するための処理回路を備える。処理回路は、専用のハードウェアとしての処理回路１であってもよいし、メモリ４に格納されるプログラムを実行するプロセッサ３であってもよい。表示装置１００，１００ａ，１００ｂにおける運転者情報格納部１０６、有効視野情報格納部１０７、及びオブジェクト格納部１０９は、メモリ４である。
　図２７に示されるように、処理回路が専用のハードウェアである場合、処理回路１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、又はこれらを組み合わせたものが該当する。自車両情報取得部１０２、接近物情報取得部１０３、対象物特定部１０４、有効視野決定部１０５、表示情報生成部１０８，１０８ａ、及び音声情報生成部１２０の機能を複数の処理回路１で実現してもよいし、各部の機能をまとめて１つの処理回路１で実現してもよい。
　図２８に示されるように、処理回路がプロセッサ３である場合、自車両情報取得部１０２、接近物情報取得部１０３、対象物特定部１０４、有効視野決定部１０５、表示情報生成部１０８，１０８ａ、及び音声情報生成部１２０の各機能は、ソフトウェア、ファームウェア、又はソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェア又はファームウェアはプログラムとして記述され、メモリ４に格納される。プロセッサ３は、メモリ４に格納されたプログラムを読みだして実行することにより、各部の機能を実現する。即ち、表示装置１００，１００ａ，１００ｂは、プロセッサ３により実行されるときに、図５等のフローチャートで示されるステップが結果的に実行されることになるプログラムを格納するためのメモリ４を備える。また、このプログラムは、自車両情報取得部１０２、接近物情報取得部１０３、対象物特定部１０４、有効視野決定部１０５、表示情報生成部１０８，１０８ａ、及び音声情報生成部１２０の手順又は方法をコンピュータに実行させるものであるとも言える。
　ここで、プロセッサ３とは、ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）、処理装置、演算装置、又はマイクロプロセッサ等のことである。
　メモリ４は、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ　Ｐｒｏｇｒａｍｍａｂｌｅ　ＲＯＭ）、又はフラッシュメモリ等の不揮発性もしくは揮発性の半導体メモリであってもよいし、ハードディスク又はフレキシブルディスク等の磁気ディスクであってもよいし、ＣＤ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ）又はＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）等の光ディスクであってもよい。
　なお、自車両情報取得部１０２、接近物情報取得部１０３、対象物特定部１０４、有効視野決定部１０５、表示情報生成部１０８，１０８ａ、及び音声情報生成部１２０の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェア又はファームウェアで実現するようにしてもよい。このように、表示装置１００，１００ａ，１００ｂにおける処理回路は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの組み合わせによって、上述の各機能を実現することができる。
　本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、各実施の形態の任意の構成要素の変形、又は各実施の形態の任意の構成要素の省略が可能である。
　この発明に係る表示装置は、運転者の有効視野外において自車両に接近してくる対象物を、運転者に報知するようにしたので、運転を支援する運転支援装置等に用いる表示装置に適している。
　１　処理回路、２　センサ類、３　プロセッサ、４　メモリ、１００，１００ａ，１００ｂ　表示装置、１０１　表示制御装置、１０２　自車両情報取得部、１０３　接近物情報取得部、１０４　対象物特定部、１０５　有効視野決定部、１０６　運転者情報格納部、１０７　有効視野情報格納部、１０８，１０８ａ　表示情報生成部、１０９　オブジェクト格納部、１１０　自車両情報検出部、１１１　接近物情報検出部、１１２　運転者情報検出部、１１３　走行情報検出部、１１４　ＨＵＤ、１２０　音声情報生成部、１２１　スピーカ、２００　自車両、２０１～２０４　他車両、２０５　接近物検出範囲、２０５ａ　進行方向の反対側、２１０　運転者、２１１　ＨＵＤ表示範囲、２１２，２２０，２３０　有効視野、２１３，２２１，２２２，２３１，２３２　オブジェクト、２３３　音声。

Claims (9)

  1. 　車両の運転者へ提供する情報をヘッドアップディスプレイに表示させる表示制御装置であって、
    　前記車両がこれから行う進路変更の合図と前記進路変更により前記車両がこれから向かう進行方向とを示す自車両情報を取得する自車両情報取得部と、
    　前記車両の周囲の予め定められた範囲において前記車両に接近する接近物を示す接近物情報を取得する接近物情報取得部と、
    　前記車両の運転者の有効視野を決定する有効視野決定部と、
    　前記自車両情報及び前記接近物情報に基づいて、前記車両に接近する前記接近物のうちの前記車両がこれから向かう進行方向の反対側から接近する接近物を特定し、特定した接近物を対象物とする対象物特定部と、
    　前記自車両情報に基づいて、前記車両が進路変更する場合に、前記対象物特定部により特定された前記対象物の情報を前記有効視野決定部により決定された前記運転者の有効視野に表示させるための表示情報を生成する表示情報生成部とを備えることを特徴とする表示制御装置。
  2. 　前記有効視野決定部は、前記運転者の運転特性又は前記車両の走行環境の少なくとも一方に基づいて前記運転者の有効視野を変更することを特徴とする請求項１記載の表示制御装置。
  3. 　前記自車両情報は、前記車両の方向指示器の点灯状態を示す情報、前記車両の操舵角を示す情報、又は前記車両の走行予定経路を示す情報の少なくとも１つであることを特徴とする請求項１記載の表示制御装置。
  4. 　前記進路変更は、前記車両の右折、左折、右側車線への車線変更、又は左側車線への車線変更であることを特徴とする請求項１記載の表示制御装置。
  5. 　前記表示情報生成部は、前記車両がこれから向かう進行方向の反対側から接近する前記対象物が、前記ヘッドアップディスプレイの表示範囲内に存在する場合と前記ヘッドアップディスプレイの表示範囲外に存在する場合とで、前記対象物の情報の表示態様を変更することを特徴とする請求項１記載の表示制御装置。
  6. 　前記表示情報生成部は、前記車両がこれから向かう進行方向の反対側から接近する前記対象物が、前記ヘッドアップディスプレイの表示範囲内に存在する場合、前記対象物の情報を、前記ヘッドアップディスプレイ越しに前記運転者に見える前記対象物に重ねることを特徴とする請求項５記載の表示制御装置。
  7. 　前記車両が進路変更する場合に、前記対象物特定部により特定された前記対象物の情報を音声出力するための音声情報を生成する音声情報生成部を備えることを特徴とする請求項１記載の表示制御装置。
  8. 　請求項１記載の表示制御装置と、
    　前記表示情報生成部により生成された前記表示情報を表示するヘッドアップディスプレイとを備える表示装置。
  9. 　車両の運転者へ提供する情報をヘッドアップディスプレイに表示させる表示制御方法であって、
    　自車両情報取得部が、前記車両がこれから行う進路変更の合図と前記進路変更により前記車両がこれから向かう進行方向とを示す自車両情報を取得し、
    　接近物情報取得部が、前記車両の周囲の予め定められた範囲において前記車両に接近する接近物を示す接近物情報を取得し、
    　有効視野決定部が、前記車両の運転者の有効視野を決定し、
    　対象物特定部が、前記自車両情報及び前記接近物情報に基づいて、前記車両に接近する前記接近物のうちの前記車両がこれから向かう進行方向の反対側から接近する接近物を特定し、特定した接近物を対象物とし、
    　表示情報生成部が、前記自車両情報に基づいて、前記車両が進路変更する場合に、前記対象物特定部により特定された前記対象物の情報を前記有効視野決定部により決定された前記運転者の有効視野に表示させるための表示情報を生成することを特徴とする表示制御方法。
PCT/JP2018/009675 2018-03-13 2018-03-13 表示制御装置、表示装置、及び表示制御方法 WO2019175956A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
DE112018007063.8T DE112018007063T5 (de) 2018-03-13 2018-03-13 Anzeigesteuervorrichtung, Anzeigevorrichtung und Anzeigesteuerverfahren
PCT/JP2018/009675 WO2019175956A1 (ja) 2018-03-13 2018-03-13 表示制御装置、表示装置、及び表示制御方法
JP2020505976A JP6687306B2 (ja) 2018-03-13 2018-03-13 表示制御装置、表示装置、及び表示制御方法
US16/976,880 US20200406753A1 (en) 2018-03-13 2018-03-13 Display control device, display device, and display control method
CN201880090949.1A CN111886636A (zh) 2018-03-13 2018-03-13 显示控制装置、显示装置和显示控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/009675 WO2019175956A1 (ja) 2018-03-13 2018-03-13 表示制御装置、表示装置、及び表示制御方法

Publications (1)

Publication Number Publication Date
WO2019175956A1 true WO2019175956A1 (ja) 2019-09-19

Family

ID=67908189

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/009675 WO2019175956A1 (ja) 2018-03-13 2018-03-13 表示制御装置、表示装置、及び表示制御方法

Country Status (5)

Country Link
US (1) US20200406753A1 (ja)
JP (1) JP6687306B2 (ja)
CN (1) CN111886636A (ja)
DE (1) DE112018007063T5 (ja)
WO (1) WO2019175956A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021075160A1 (ja) * 2019-10-17 2021-04-22 株式会社デンソー 表示制御装置、表示制御プログラム及び車載システム
JP2021066419A (ja) * 2019-10-17 2021-04-30 株式会社デンソー 表示制御装置、表示制御プログラム及び車載システム

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7190261B2 (ja) * 2018-04-27 2022-12-15 日立Astemo株式会社 位置推定装置
JP2020095565A (ja) * 2018-12-14 2020-06-18 トヨタ自動車株式会社 情報処理システム、プログラム、及び情報処理方法
JP6984624B2 (ja) * 2019-02-05 2021-12-22 株式会社デンソー 表示制御装置および表示制御プログラム
US11361490B2 (en) * 2020-08-18 2022-06-14 Here Global B.V. Attention guidance for ground control labeling in street view imagery
US20220058825A1 (en) * 2020-08-18 2022-02-24 Here Global B.V. Attention guidance for correspondence labeling in street view image pairs
CN115122910A (zh) * 2021-03-29 2022-09-30 本田技研工业株式会社 车辆用显示装置
CN113984087A (zh) * 2021-11-08 2022-01-28 维沃移动通信有限公司 导航方法、装置、电子设备和可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011128799A (ja) * 2009-12-16 2011-06-30 Panasonic Corp 運転者状態推定装置及び運転者状態推定方法
JP2014120113A (ja) * 2012-12-19 2014-06-30 Aisin Aw Co Ltd 走行支援システム、走行支援方法及びコンピュータプログラム
WO2016140192A1 (ja) * 2015-03-04 2016-09-09 三菱電機株式会社 車両用表示制御装置および車両用表示装置
JP2017182570A (ja) * 2016-03-31 2017-10-05 株式会社Ｓｕｂａｒｕ 周辺リスク表示装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011128799A (ja) * 2009-12-16 2011-06-30 Panasonic Corp 運転者状態推定装置及び運転者状態推定方法
JP2014120113A (ja) * 2012-12-19 2014-06-30 Aisin Aw Co Ltd 走行支援システム、走行支援方法及びコンピュータプログラム
WO2016140192A1 (ja) * 2015-03-04 2016-09-09 三菱電機株式会社 車両用表示制御装置および車両用表示装置
JP2017182570A (ja) * 2016-03-31 2017-10-05 株式会社Ｓｕｂａｒｕ 周辺リスク表示装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021075160A1 (ja) * 2019-10-17 2021-04-22 株式会社デンソー 表示制御装置、表示制御プログラム及び車載システム
JP2021066419A (ja) * 2019-10-17 2021-04-30 株式会社デンソー 表示制御装置、表示制御プログラム及び車載システム
JP7259802B2 (ja) 2019-10-17 2023-04-18 株式会社デンソー 表示制御装置、表示制御プログラム及び車載システム

Also Published As

Publication number Publication date
DE112018007063T5 (de) 2020-10-29
JPWO2019175956A1 (ja) 2020-05-28
CN111886636A (zh) 2020-11-03
JP6687306B2 (ja) 2020-04-22
US20200406753A1 (en) 2020-12-31

Similar Documents

Publication Publication Date Title
WO2019175956A1 (ja) 表示制御装置、表示装置、及び表示制御方法
JP6486474B2 (ja) 表示制御装置、表示装置及び表示制御方法
CN106462727B (zh) 车辆、车道终止检测系统和方法
JP4446204B2 (ja) 車両用ナビゲーション装置及び車両用ナビゲーションプログラム
JP4630066B2 (ja) ナビゲーション装置
EP2085944B1 (en) Driving assistance device, driving assistance method, and program
CN111919211A (zh) 用于改进转弯操纵中的空间和情景感知的转弯路径可视化
JP5464978B2 (ja) ナビゲーション装置及びレーン変更案内方法
US8543290B2 (en) Vehicle information providing device
CN104691447A (zh) 用于动态地聚焦车辆传感器的系统和方法
JP7476568B2 (ja) 重畳画像表示装置、重畳画像描画方法及びコンピュータプログラム
JP6651796B2 (ja) 運転支援装置
CN110803169B (zh) 用于在车辆中显示信息的系统和方法
TW202031538A (zh) 輔助駕駛方法和系統
US9383219B2 (en) Information display device and information display method
EP3330668B1 (en) Lane display device and lane display method
CN112740224A (zh) 道路环境信息的自动化众包
EP3550265B1 (en) Route guidance method and route guidance device
JP6448806B2 (ja) 表示制御装置、表示装置及び表示制御方法
JP2019164602A (ja) 逆走警告システム、逆走警告方法、及び逆走警告プログラム
US20170132925A1 (en) Method for operating an assistance system of a motor vehicle and assistance system
JP2015114931A (ja) 車両警告装置、サーバ装置および車両警告システム
JP2006098348A (ja) ナビゲーション装置
JP2016161483A (ja) 情報提供装置、及び情報提供プログラム
JP7512180B2 (ja) ナビゲーション装置および自車位置表示方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18909739

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020505976

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 18909739

Country of ref document: EP

Kind code of ref document: A1