WO2021039198A1 - 表示制御装置及び表示制御プログラム - Google Patents

表示制御装置及び表示制御プログラム Download PDF

Info

Publication number
WO2021039198A1
WO2021039198A1 PCT/JP2020/028037 JP2020028037W WO2021039198A1 WO 2021039198 A1 WO2021039198 A1 WO 2021039198A1 JP 2020028037 W JP2020028037 W JP 2020028037W WO 2021039198 A1 WO2021039198 A1 WO 2021039198A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
route guidance
display control
vehicle
content
Prior art date
Application number
PCT/JP2020/028037
Other languages
English (en)
French (fr)
Inventor
明彦 柳生
大祐 竹森
清水 泰博
一輝 小島
しおり 間根山
猛 羽藤
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2020116683A external-priority patent/JP7215466B2/ja
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Publication of WO2021039198A1 publication Critical patent/WO2021039198A1/ja
Priority to US17/671,115 priority Critical patent/US20220172652A1/en

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/002Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to project the image of a two-dimensional display, such as an array of light emitting or modulating elements or a CRT
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • G09G5/377Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Arrangement of adaptations of instruments
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968Systems involving transmission of navigation instructions to the vehicle
    • G08G1/0969Systems involving transmission of navigation instructions to the vehicle having a display in the form of a map
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00Command of the display device
    • G09G2310/08Details of timing specific for flat panels, other than clock recovery
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/10Automotive applications

Definitions

  • the disclosure according to this specification relates to a display control device and a display control program that control the display by the head-up display.
  • Patent Document 1 describes a vehicle display device that superimposes a guidance display such as an arrow for performing route guidance such as turning left or right on the foreground using a head-up display.
  • the vehicle display device of Patent Document 1 controls the timing at which the guidance display is started by using various conditions.
  • Patent Document 1 does not specify the details of the timing for ending the guidance display such as an arrow. Therefore, the timing for ending the guidance display is not set appropriately, and there is a risk that the information will be presented so as to give a sense of discomfort to the occupants.
  • the purpose of this disclosure is to provide a display control device and a display control program capable of presenting information that does not give a sense of discomfort to the occupants.
  • one disclosed aspect is a display control device used in a vehicle equipped with a navigation device for providing route guidance, which controls display by a head-up display, and is implemented by the navigation device.
  • the navigation information acquisition unit that acquires navigation information related to route guidance
  • the outside world information acquisition unit that acquires outside world information based on the recognition of the driving environment around the vehicle, and the guidance area where route guidance is performed by the navigation device.
  • the display control unit is provided with a display control unit that superimposes and displays the superposed content for guidance on the foreground by a head-up display, and the display control unit displays the outside world information without using the end notification for notifying the end of the route guidance in the navigation device. It is a display control device that ends the display of the superimposed content based on at least the end determination used.
  • one disclosed aspect is a display control program used in a vehicle equipped with a navigation device that provides route guidance and controls a display by a head-up display, and is implemented by the navigation device in at least one processing unit.
  • the navigation information related to the route guidance is acquired, the outside world information based on the recognition of the driving environment around the vehicle is acquired, and the superimposed content for route guidance is displayed in a head-up display in the guidance area where the route guidance is performed by the navigation device.
  • Processing including ending the display of the superimposed content based on the end determination using at least the outside world information without using the end notification that notifies the end of the route guidance in the navigation device by superimposing the display on the foreground. It is a display control program to be executed.
  • the superimposed content for route guidance is displayed at an appropriate timing without depending on the end timing of the route guidance in the navigation device. Can be terminated. According to the above, even if the superimposed content is used, it is possible to present information that does not give a sense of discomfort to the occupants.
  • one disclosed aspect is a display control device used in a vehicle and controlling a display by a screen display and a head-up display, and acquires external world information based on recognition of the driving environment around the vehicle.
  • the display control unit includes a display control unit for superimposing the superimposed content for route guidance on the foreground by a head-up display. It is a display control device that ends the display of the superimposed content based on the end determination using at least the outside world information, earlier than the end of the display of the route guidance image by.
  • one disclosed aspect is a display control device used in a vehicle equipped with a navigation device that provides route guidance and controls a display by a head-up display, and is related to route guidance performed by the navigation device.
  • a superposition that provides route guidance in a navigation information acquisition unit that acquires navigation information, an outside world information acquisition unit that acquires outside world information based on recognition of the driving environment around the vehicle, and a guidance area in which the navigation device displays a route guidance image on the screen.
  • the display control unit is provided with a display control unit that superimposes the content on the foreground by a head-up display, and the display control unit is based on an end determination using at least outside world information earlier than the navigation device ends the display of the route guidance image. It is a display control device that ends the display of superimposed content.
  • one aspect disclosed is a display control program used in a vehicle and controlling a display by a screen display and a head-up display, in which at least one processing unit is provided with the outside world based on recognition of the driving environment around the vehicle.
  • the superimposed content for route guidance is superimposed and displayed on the foreground by the head-up display, and the display of the route guidance image on the screen display is terminated.
  • it is a display control program that executes processing including ending the display of the superimposed content based on the end determination using at least the outside world information.
  • one disclosed aspect is a display control program used in a vehicle equipped with a navigation device that provides route guidance and controls a display by a head-up display, and is implemented by the navigation device in at least one processing unit.
  • the navigation device In the guidance area where the navigation information related to the route guidance is acquired, the outside world information based on the recognition of the driving environment around the vehicle is acquired, and the navigation device displays the route guidance image on the screen, the superimposed content for performing the route guidance is headed.
  • the display is superimposed on the foreground by the up display, and the processing including the termination of the display of the superimposed content based on the termination determination using at least the outside world information is performed earlier than the navigation device terminates the display of the route guidance image. It is a display control program.
  • the superimposed content for route guidance can be appropriately terminated at a timing earlier than the display termination of the route guidance image. According to the above, even if the superimposed content is used, it is possible to present information that does not give a sense of discomfort to the occupants.
  • one disclosed aspect is a display control device used in a vehicle equipped with a lane change function and controlling a display by a head-up display, and is an outside world that acquires outside world information based on recognition of the driving environment around the vehicle.
  • the superimposed content indicating the moving direction in the lane change is superimposed and displayed on the foreground by the head-up display, and superimposed based on the end judgment using at least the outside world information.
  • one disclosed aspect is a display control program used in a vehicle equipped with a lane change function and controlling a display by a head-up display, in which at least one processing unit is changed to a lane by the lane change function.
  • the outside world information based on the recognition of the driving environment around the vehicle is acquired, the superimposed content indicating the moving direction when changing lanes is superimposed and displayed on the foreground by the head-up display, and based on the end judgment using at least the outside world information.
  • the superimposed content indicating the moving direction in the lane change can be ended at an appropriate timing. According to the above, even if the superimposed content is used, it is possible to present information that does not give a sense of discomfort to the occupants.
  • FIG. 1 It is a figure which shows the whole image of the vehicle-mounted network including the HCU according to the first embodiment of the present disclosure. It is a figure which shows an example of the head-up display mounted on a vehicle. It is a figure which shows an example of the schematic structure of the HCU in the 1st Embodiment. It is a figure which shows the detail of the display transition of each in-vehicle display device in the right turn guidance scene. It is a figure which shows the specific example of the superimposed content and non-superimposed content displayed by the HUD in the route guidance scene shown in FIG. It is a figure for demonstrating the detail of the route guidance in the right turn scene in a multi-forked road.
  • FIG. 15 is a flowchart showing details of the display control process together with FIG.
  • FIG. 15 is a flowchart which shows the detail of the display control processing about the guidance of a self-propelled lane change.
  • FIG. 15 shows the whole image of the vehicle-mounted network in the second embodiment.
  • FIG. 15 shows an example of the schematic structure of the HCU of the second embodiment.
  • FIG. 23 It is a flowchart which shows the detail of the display control processing together with FIG. It is a figure which shows a specific example of the method of detecting the edge of a road in a guide area for each shape of a road forming an intersection. It is a figure which shows an example of the traveling route in which a vehicle is guided in the continuous route guidance at an intersection including a plurality of lanes. It is a figure for demonstrating the concept of the route guidance content in the continuous route guidance shown in FIG. 23. It is a figure which shows the display example of the route guidance content used for the route guidance when the intersection is outside the angle of view.
  • the function of the display control device according to the first embodiment of the present disclosure is realized by the HCU (Human Machine Interface Control Unit) 100 shown in FIGS. 1 and 2.
  • the HCU 100 comprises an HMI (Human Machine Interface) system 10 used in the vehicle A together with a head-up display (hereinafter, HUD) 20 and the like.
  • the HMI system 10 further includes a meter display 23, an operating device 26, a DSM (Driver Status Monitor) 27, and the like.
  • the HMI system 10 has an input interface function that accepts user operations by an occupant (for example, a driver) of vehicle A, and an output interface function that presents information to the driver.
  • the HMI system 10 is communicably connected to the communication bus 99 of the vehicle-mounted network 1 mounted on the vehicle A.
  • a peripheral monitoring sensor 30, a locator 40, a DCM49, a driving support ECU (Electronic Control Unit) 50, a navigation device 55, a steering ECU 61, a body ECU 63, and the like are connected to the communication bus 99.
  • These nodes connected to the communication bus 99 can communicate with each other. Specific nodes of these devices and ECUs may be directly electrically connected to each other and may be able to perform communication without going through the communication bus 99.
  • the front-rear (see Fig. 2 front Ze and rear Go) and left-right (see Fig. 2 side Yo) directions are defined with reference to the vehicle A stationary on a horizontal plane.
  • the front-rear direction is defined along the longitudinal direction (traveling direction) of the vehicle A.
  • the left-right direction is defined along the width direction of the vehicle A.
  • the vertical direction (see FIG. 2 upper Ue and lower Si) is defined along the vertical direction of the horizontal plane that defines the front-back direction and the left-right direction.
  • the description of the reference numeral indicating each direction may be omitted as appropriate.
  • the peripheral monitoring sensor 30 is an autonomous sensor that monitors the surrounding environment of the vehicle A.
  • the peripheral monitoring sensor 30 can be used to detect moving objects such as pedestrians, cyclists, non-human animals, and other vehicles, as well as falling objects on the road, guardrails, curbs, road markings, traveling lane markings, etc. It is possible to detect stationary objects such as road markings and road edges.
  • the peripheral monitoring sensor 30 provides the detection information of detecting an object around the vehicle A to the driving support ECU 50 and the like through the communication bus 99.
  • the peripheral monitoring sensor 30 has a front camera 31 and a millimeter wave radar 32 as a detection configuration for object detection.
  • the front camera 31 outputs at least one of the imaging data obtained by photographing the front range of the vehicle A and the analysis result of the imaging data as detection information.
  • a plurality of millimeter-wave radars 32 are arranged, for example, on the front and rear bumpers of the vehicle A at intervals from each other.
  • the millimeter wave radar 32 irradiates the millimeter wave or the quasi-millimeter wave toward the front range, the front side range, the rear range, the rear side range, and the like of the vehicle A.
  • the millimeter wave radar 32 generates detection information by a process of receiving reflected waves reflected by a moving object, a stationary object, or the like.
  • the peripheral monitoring sensor 30 may include detection configurations such as a rider and sonar.
  • the locator 40 generates highly accurate position information of vehicle A and the like by compound positioning that combines a plurality of acquired information.
  • the locator 40 includes a GNSS (Global Navigation Satellite System) receiver 41, an inertial sensor 42, a high-precision map database (hereinafter, high-precision map DB) 43, and a locator ECU 44.
  • GNSS Global Navigation Satellite System
  • the GNSS receiver 41 receives positioning signals transmitted from a plurality of artificial satellites (positioning satellites).
  • the inertial sensor 42 has, for example, a gyro sensor and an acceleration sensor.
  • the high-precision map DB 43 is mainly composed of a non-volatile memory, and stores map data (hereinafter, high-precision map data) having higher accuracy than the map data used in the navigation device 55.
  • the high-precision map data holds detailed information at least for information in the height (z) direction.
  • the high-precision map data includes information that can be used for advanced driving support and automatic driving, such as three-dimensional shape information of roads, information on the number of lanes, and information indicating the direction of travel allowed for each lane.
  • the locator ECU 44 has a configuration mainly including a microcomputer provided with a processor, RAM, a storage unit, an input / output interface, a bus connecting these, and the like.
  • the locator ECU 44 combines the positioning signal received by the GNSS receiver 41, the measurement result of the inertial sensor 42, the vehicle speed information output to the communication bus 99, and the like, and sequentially positions the own vehicle position, the traveling direction, and the like of the vehicle A.
  • the locator ECU 44 can provide the position information and the direction information of the vehicle A based on the positioning result to the navigation device 55, the HCU 100, the driving support ECU 50, etc. as the locator information.
  • the locator ECU 44 can provide the requested high-precision map data to the requesting ECU in response to a request from the HCU 100, the operation support ECU 50, and the like.
  • DCM (Data Communication Module) 49 is a communication module mounted on vehicle A.
  • the DCM49 transmits and receives radio waves to and from base stations around the vehicle A by wireless communication in accordance with communication standards such as LTE (Long Term Evolution) and 5G.
  • LTE Long Term Evolution
  • the driving support ECU 50 has a configuration mainly including a computer provided with a processor, RAM, a storage unit, an input / output interface, a bus connecting these, and the like.
  • the driving support ECU 50 has a driving support function that supports the driving operation of the driver.
  • the driving support ECU 50 enables advanced driving support of about level 2 at the automatic driving level specified by the American Society of Automotive Engineers of Japan.
  • the driving support ECU 50 has a driving environment recognition unit 51, a lane keeping control unit 52, and a lane change control unit 53 as functional units for driving support by executing a program by the processor.
  • the driving environment recognition unit 51 recognizes the driving environment around the vehicle A based on the detection information acquired from the peripheral monitoring sensor 30.
  • the driving environment recognition unit 51 recognizes and recognizes a road lane marking, a vehicle in front, a parallel vehicle, etc. as a target related to driving control in the lane maintenance control unit 52 and the lane change control unit 53. Generates relative position information of.
  • the driving environment recognition unit 51 can recognize a target related to route guidance in addition to a target directly related to driving control, and generates relative position information, type information, and the like of the recognized target. To do. More specifically, when the vehicle A approaches the intersection GAi (see FIG. 4), the traveling environment recognition unit 51 recognizes a target related to the intersection GAi (hereinafter referred to as an intersection target).
  • the intersection target is a target existing near or in front of the intersection GAi, and specifically, a road sign on the side of the road, a sidewalk line ROa, ROb, a stop line ROc, and the like.
  • the traveling environment recognition unit 51 can detect the edge of the road forming the intersection GAi, and can recognize the intersection of the two edges (hereinafter, edge intersection ROe, see FIG. 4). As an example, the traveling environment recognition unit 51 detects two edges on the front side and the turning side of the intersection GAi, and recognizes these edge intersection ROes as intersection targets.
  • the traveling environment recognition unit 51 is not limited to the crossroads, but at various types of intersections GAi such as multi-junctions, Y-shaped roads, T-shaped roads, and roundabouts (runabouts), the front side and turning side edges Ed1, Ed2 is detected (see FIGS. 6 to 9 and 22). Then, the traveling environment recognition unit 51 recognizes the edge intersection ROe of each of the detected edges Ed1 and Ed2.
  • the traveling environment recognition unit 51 recognizes a target related to such a branch merging point (hereinafter referred to as a point target).
  • the point target is a target existing near or in front of the branch confluence, and specifically, a signboard showing the distance to the branch confluence, a boundary line ROf between the main lane and the branch lane Lnj (FIG. 10). (See), and the terminal ROg of the branch point GAj (see FIG. 10) and the like.
  • the traveling environment recognition unit 51 outputs the intersection target information based on the recognition of the intersection target, the point target information based on the recognition of the point target, and the like to the communication bus 99.
  • the lane keeping control unit 52 is a functional unit that realizes the functions of LTC (Lane Trace Control) or LTA (Lane Tracing Assist) that controls the traveling of vehicle A in the lane.
  • the lane keeping control unit 52 generates a planned traveling locus that traces approximately the center of the traveling lane currently being traveled (hereinafter, own vehicle lane Lns, see FIG. 13) based on the driving environment recognition result by the driving environment recognition unit 51. To do.
  • the lane keeping control unit 52 links the LTC function with the ACC (Adaptive Cruise Control) function that causes the vehicle A to travel at a constant speed or follows the vehicle A, and travels along the own vehicle lane (hereinafter, traveling in the lane). Perform operation control to continue.
  • the lane keeping control unit 52 sequentially provides status information regarding the LTC function to the HCU 100 through the communication bus 99.
  • the lane change control unit 53 is a functional unit that realizes the function of LCA (Lane Change Assist) that controls the lane change of the vehicle A.
  • the lane keeping control unit 52 has a planned traveling locus PLC having a shape that smoothly connects the center of the own vehicle lane Lns and the center of the adjacent lane Lnd (see FIG. 13) based on the driving environment recognition result by the driving environment recognition unit 51. (See FIG. 13) is generated.
  • the lane change control unit 53 temporarily suspends the driving control of driving in the lane by the lane keeping control unit 52 based on the user operation instructing the execution of the lane change by the LCA function, and can leave the own lane Lns. To. Under such a state, the lane change control unit 53 automatically controls the steering angle of the steering wheel of the vehicle A according to the planned travel locus PLC to move the vehicle A from the own vehicle lane Lns to the adjacent lane Lnd.
  • the lane change control unit 53 sequentially provides the HCU 100 with status information related to the LCA function, shape information of the planned travel locus PLC, and the like via the communication bus 99.
  • the status information is information indicating whether the operating state of the LCA function is a start-up state immediately after the start-up, a standby state waiting for the start of lane change, or an execution state.
  • the navigation device 55 is an in-vehicle device that cooperates with the HMI system 10 to provide route guidance to a destination set by a driver or the like.
  • the navigation device 55 includes a map database for navigation (hereinafter referred to as a navigation map DB) 56 and a navigation display 57.
  • the navigation map DB 56 is mainly composed of a non-volatile memory, and stores map data (hereinafter referred to as navigation map data) used for route guidance.
  • the navigation map data includes link data, node data, and the like for roads.
  • the navigation map data and the high-precision map data are map data having different accuracy from each other.
  • the information recorded in the high-precision map data is more accurate and denser than the information recorded in the navigation map data.
  • the range of high-precision map data is limited to specific types of roads (for example, highways, etc.)
  • navigation map data is low-precision map data, but general roads. It is comprehensively maintained over a wide area including.
  • the navigation display 57 is an image display such as a liquid crystal display and an organic EL display.
  • the navigation display 57 is installed, for example, in the center of the upper surface of the instrument panel 9, the center cluster, or the like.
  • a route guidance image Png see FIGS. 4 and 10
  • a map image based on the navigation map data, route information toward the destination, and the like are displayed.
  • the navigation device 55 acquires the operation information input to the operation device 26, and sets a destination based on the user operation and a route to the destination. By approaching the guidance area GA included in the set route, the navigation device 55 guides the driver in the traveling direction of the vehicle A in the guidance area GA by combining the screen display by the navigation display 57, the voice message, and the like.
  • Guidance area GA is a point where route guidance is provided.
  • the guidance area GA is set so as to include an intersection GAi (see FIG. 4) for turning left and right, a branch confluence, and the like, and a range on the front side thereof. Further, the guide area GA may be set in the vicinity of the destination and the waypoint.
  • the navigation device 55 provides the HCU 100 with navigation information such as a start notification for notifying the start of route guidance, an end notification for notifying the end of route guidance, and detailed route information indicating the contents of the route guidance. To do.
  • the detailed route information includes, for example, position information and road shape information about an intersection GAi or a branch confluence, and direction information indicating a direction in which the vehicle A should travel at the intersection GAi or a branch confluence.
  • a user terminal such as a smartphone may be electrically connected to the in-vehicle network 1 or the HCU 100 by wire or wirelessly.
  • a user terminal may be connected to the display audio mounted on the vehicle A by wire or wirelessly.
  • the route to the destination is set in the application (navigation application, map application, etc.) executed on the user terminal based on the user operation.
  • the user terminal executes route guidance combining screen display, voice, and the like, and outputs navigation information to the HCU 100.
  • the user terminal or the user terminal and the display audio correspond to the "navigation device mounted on the vehicle A".
  • the steer ECU 61 is an ECU provided in the steering control system of the vehicle A, and has a configuration mainly including a microcontroller.
  • the steering ECU 61 controls the operation of the steering actuator based on at least one of the steering operation by the driver and the control command acquired from the driving support ECU 50, thereby defining the direction of the steering wheel and the traveling direction of the vehicle A.
  • the steering ECU 61 can provide the steering wheel rotation direction and rotation angle (steering wheel angle) or the steering wheel steering direction and actual steering angle as steering information to the driving support ECU 50, the HCU 100, and the like.
  • the body ECU 63 is a control device mainly including a microcontroller.
  • the body ECU 63 has at least a function of controlling the operation of the lighting device mounted on the vehicle A.
  • the body ECU 63 is electrically connected to the direction indicator switch 64.
  • the direction indicator switch 64 is a lever-shaped operation unit provided on the steering column unit 8. The body ECU 63 starts blinking one of the left and right direction indicators corresponding to the operation direction based on the detection of the user operation input to the direction indicator switch 64.
  • the direction indicator switch 64 has an on operation for instructing the lane change control unit 53 to execute the lane change control while the LTC function is activated. Entered.
  • a user operation in which the direction indicator switch 64 is half-pressed for a predetermined time is an on operation of the LCA function.
  • the body ECU 63 detects the input of the ON operation of the LCA function, the body ECU 63 outputs the ON operation information to the driving support ECU 50.
  • the body ECU 63 cooperates with the driving support ECU 50 to keep the direction indicator blinking during the execution period of the lane change by the LCA function.
  • the body ECU 63 provides the HCU 100 with operation information indicating the blinking operation state of the direction indicator through the communication bus 99.
  • the meter display 23 is an image display such as a liquid crystal display and an organic EL display.
  • the meter display 23 is installed in front of the driver's seat, and the display screen is directed to the headrest portion of the driver's seat.
  • the meter display 23 is electrically connected to the HCU 100, and sequentially acquires video data generated by the HCU 100.
  • the meter display 23 displays a pointer display image showing the vehicle speed, an indicator image showing the status information of each in-vehicle function, and the like on the display screen based on the video data.
  • the meter display 23 displays a TBT (Turn by Turn) image Pmg (see FIGS. 4 and 10) for route guidance, a status image showing the operating state of the driving support function, and the like on the display screen.
  • the status image includes, for example, a lane change image Pmc (see FIG. 13) that notifies the execution of the lane change in a scene where the lane change is performed by the LCA function.
  • the operation device 26 is an input unit that accepts user operations by a driver or the like.
  • the operation device 26 is input with a user operation for switching between starting and stopping, for example, for a driving support function and an automatic driving function.
  • the operation device 26 includes a steering switch provided on the spoke portion of the steering wheel, an operation lever provided on the steering column portion 8, a voice input device for detecting the driver's utterance, and the like.
  • the DSM27 has a configuration including a near-infrared light source, a near-infrared camera, and a control unit for controlling them.
  • the DSM 27 is installed in a posture in which the near-infrared camera is directed toward the headrest portion of the driver's seat, for example, on the upper surface of the steering column portion 8 or the upper surface of the instrument panel 9.
  • the DSM27 uses a near-infrared camera to photograph the head of the driver irradiated with near-infrared light by a near-infrared light source.
  • the image captured by the near-infrared camera is image-analyzed by the control unit.
  • the control unit extracts information such as the position of the eye point EP and the line-of-sight direction from the captured image, and sequentially outputs the extracted state information to the HCU 100.
  • the HUD 20 is electrically connected to the HCU 100 and sequentially acquires the video data generated by the HCU 100. Based on the video data, the HUD 20 presents various information related to the vehicle A, such as route information, sign information, and status information of each in-vehicle function, to the driver using the virtual image Vi.
  • the HUD 20 is housed in the storage space inside the instrument panel 9 below the windshield WS.
  • the HUD 20 projects the light formed as a virtual image Vi toward the projection range PA of the windshield WS.
  • the light projected on the windshield WS is reflected toward the driver's seat side in the projection range PA and is perceived by the driver.
  • the driver visually recognizes the display in which the virtual image Vi is superimposed on the foreground seen through the projection range PA.
  • the HUD 20 includes a projector 21 and a magnifying optical system 22.
  • the projector 21 has an LCD (Liquid Crystal Display) panel and a backlight.
  • the projector 21 is fixed to the housing of the HUD 20 with the display surface of the LCD panel facing the magnifying optical system 22.
  • the projector 21 displays each frame image of video data on the display surface of the LCD panel, and transmits and illuminates the display surface with a backlight to emit light formed as a virtual image Vi toward the magnifying optical system 22.
  • the magnifying optical system 22 is configured to include at least one optical element such as a concave mirror.
  • the magnifying optical system 22 projects the light emitted from the projector 21 onto the upper projection range PA while spreading it by reflection.
  • the angle of view VA is set in the HUD 20. Assuming that the virtual range in the space where the virtual image Vi can be imaged by the HUD 20 is the image plane IS, the angle of view VA is defined based on the virtual line connecting the driver's eye point EP and the outer edge of the image plane IS. The viewing angle.
  • the angle of view VA is an angle range in which the driver can visually recognize the virtual image Vi when viewed from the eye point EP. In the HUD 20, the horizontal angle of view (for example, about 10 to 12 °) in the horizontal direction is larger than the vertical angle of view (for example, about 4 to 5 °) in the vertical direction.
  • the front range that overlaps with the image plane IS is the range within the angle of view VA.
  • the HUD 20 displays the superimposed content CTs (see FIG. 5 etc.) and the non-superimposed content CTn (see FIG. 5 etc.) as virtual images Vi.
  • Superimposed content CTs are AR display objects used for augmented reality (AR) display.
  • the display position of the superimposed content CTs is associated with a specific superimposed object existing in the foreground, such as a specific position on the road surface, a vehicle in front, a pedestrian, and a road sign.
  • the superimposed content CTs are superimposed and displayed on a specific superimposed object in the foreground, and can be moved in the appearance of the driver following the superimposed object so as to be relatively fixed to the superimposed object.
  • the relative positional relationship between the driver's eye point EP, the superposed object in the foreground, and the superposed content CTs is continuously maintained. Therefore, the shape of the superimposed content CTs is continuously updated at a predetermined cycle according to the relative position and shape of the superimposed object.
  • the superimposed content CTs are displayed in a posture closer to horizontal than the non-superimposed content CTn, and have a display shape extended in the depth direction as seen from the driver, for example.
  • the non-superimposed content CTn is a non-AR display object excluding the superposed content CTs among the display objects superimposed and displayed in the foreground. Unlike the superimposed content CTs, the non-superimposed content CTn is displayed superimposed on the foreground without specifying the superimposed target.
  • the display position of the non-superimposed content CTn is not associated with a specific superimposition target.
  • the display position of the non-superimposed content CTn is a fixed position within the projection range PA (angle of view VA). Therefore, the non-superimposed content CTn is displayed as if it is relatively fixed to the vehicle configuration such as the windshield WS.
  • the shape of the non-superimposed content CTn is substantially constant. Due to the positional relationship between the vehicle A and the superposed target, even if the non-superimposed content CTn is used, a timing may occur in which the superposed content CTs are superposed and displayed.
  • the HCU 100 is an electronic control device that integrally controls the display by the in-vehicle display device such as the meter display 23 and the HUD 20 in the HMI system 10.
  • the HCU 100 mainly includes a computer including a processing unit 11, a RAM 12, a storage unit 13, an input / output interface 14, and a bus connecting them.
  • the processing unit 11 is hardware for arithmetic processing combined with the RAM 12.
  • the processing unit 11 has a configuration including at least one arithmetic core such as a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit).
  • the processing unit 11 may be configured to further include an FPGA (Field-Programmable Gate Array) and an IP core having other dedicated functions.
  • the RAM 12 may be configured to include a video RAM for video generation.
  • the processing unit 11 executes various processes for realizing the display control method of the present disclosure by accessing the RAM 12.
  • the storage unit 13 is configured to include a non-volatile storage medium.
  • Various programs (display control programs, etc.) executed by the processing unit 11 are stored in the storage unit 13.
  • the HCU 100 shown in FIGS. 1 to 3 has a plurality of functional units for controlling the superimposed display of the content by the HUD 20 by executing the display control program stored in the storage unit 13 by the processing unit 11.
  • the HCU 100 is constructed with functional units such as a viewpoint position specifying unit 71, a navigation information acquisition unit 72, a map data acquisition unit 73, a control information acquisition unit 74, a state information acquisition unit 75, and a display generation unit 76. ..
  • the viewpoint position specifying unit 71 identifies the position of the eye point EP of the driver seated in the driver's seat based on the state information acquired from the DSM 27.
  • the viewpoint position specifying unit 71 generates three-dimensional coordinates (hereinafter, eye point coordinates) indicating the position of the eye point EP, and sequentially provides the generated eye point coordinates to the display generation unit 76.
  • the navigation information acquisition unit 72 acquires navigation information from the navigation device 55 and provides the acquired navigation information to the display generation unit 76.
  • the navigation information acquisition unit 72 sequentially acquires the above-mentioned start notification, route detailed information, and end notification, and grasps the content of the route guidance implemented by the navigation device 55.
  • the map data acquisition unit 73 can acquire navigation map data and high-precision map data as map data used for generating superimposed content CTs by the display generation unit 76.
  • the map data acquisition unit 73 acquires high-precision map data from the locator ECU 44 together with the locator information in the road range where the high-precision map data is prepared.
  • the map data acquisition unit 73 acquires navigation map data to be used as a substitute for the high-precision map data in response to a request to the navigation device 55 in a road range where the high-precision map data is not yet developed.
  • the navigation device 55 preferentially acquires the high-precision map data over the navigation map data.
  • the navigation device 55 provides the acquired high-precision map data or navigation map data to the display generation unit 76.
  • the control information acquisition unit 74 acquires the outside world information based on the driving environment recognition and the status information of each of the LTC function and the LCA function from the driving support ECU 50.
  • the control information acquisition unit 74 sequentially provides the acquired external world information and status information to the display generation unit 76.
  • the control information acquisition unit 74 can acquire intersection target information and point target information mainly based on the detection information of the front camera 31 as external world information in the vicinity of the guidance area GA that provides route guidance.
  • the control information acquisition unit 74 acquires the left and right boundary recognition information of the own vehicle lane Lns (see FIG. 13) or the shape information of the planned traveling locus from the driving support ECU 50. To do.
  • the control information acquisition unit 74 When the LCA function is being executed by the driving support ECU 50, the control information acquisition unit 74 provides driving support such as boundary recognition information of the adjacent lane Lnd (see FIG. 13) and shape information of the planned traveling locus PLC (see FIG. 13). Obtained from ECU 50. In addition, the control information acquisition unit 74 acquires information indicating the relative position and shape of the boundary line ROf (see FIG. 13) between the own vehicle lane Lns and the adjacent lane Lnd as external world information.
  • driving support such as boundary recognition information of the adjacent lane Lnd (see FIG. 13) and shape information of the planned traveling locus PLC (see FIG. 13). Obtained from ECU 50.
  • the control information acquisition unit 74 acquires information indicating the relative position and shape of the boundary line ROf (see FIG. 13) between the own vehicle lane Lns and the adjacent lane Lnd as external world information.
  • the status information acquisition unit 75 acquires operation information related to the operation of the driver. Specifically, the state information acquisition unit 75 acquires the above-mentioned steering information from the steering ECU 61 as operation information indicating the steering operation. In addition, the state information acquisition unit 75 acquires operation information indicating the operation state (on and off) of the direction indicator from the body ECU 63. The state information acquisition unit 75 sequentially provides the acquired steering information and operation information to the display generation unit 76.
  • the display generation unit 76 controls the presentation of information to the driver by the meter display 23 and the HUD 20 by generating video data that is sequentially output to the meter display 23 and the HUD 20.
  • the display generation unit 76 draws the original image of each content displayed as a virtual image Vi on each frame image of the video data to be output toward the HUD 20.
  • the display generation unit 76 draws the original image in the frame image and the drawing shape according to the eye point EP and each position of the overlay target. To correct.
  • the superposed contents CTs are displayed at the positions and shapes that are correctly superposed on the superposed target when viewed from the eye point EP.
  • the display generation unit 76 repeats the simulation calculation for determining the image formation shape of the virtual image Vi on the image plane IS in order to make the superimposed content CTs follow the superposition target.
  • the display generation unit 76 reproduces the current traveling environment of the vehicle A in the virtual space based on the navigation information, the locator information, the map data, and the like.
  • the display generation unit 76 sets the own vehicle object at the reference position in the virtual three-dimensional space, associates the road model of the shape indicated by the high-precision map data with the own vehicle object based on the locator information, and creates the three-dimensional space. Map. Further, the display generation unit 76 sets the virtual viewpoint position at the virtual position corresponding to the driver's eye point EP in association with the own vehicle object.
  • the virtual viewpoint position with respect to the own vehicle object is sequentially corrected based on the latest eye point coordinates acquired by the viewpoint position specifying unit 71.
  • the display generation unit 76 arranges a virtual object on the road surface of the road model in the three-dimensional space.
  • the virtual object is an object that defines the shape of the superimposed content CTs.
  • the display generation unit 76 refers to the coordinate information of the image plane IS stored in advance in the storage unit 13 or the like with respect to the vehicle A, and defines the image plane IS between the virtual object and the virtual viewpoint position in the virtual space. To do.
  • the display generation unit 76 determines the shape of the virtual object projected onto the image plane IS as the imaged shape of the virtual image Vi along the virtual line of sight from the virtual viewpoint position toward the virtual object.
  • the display generation unit 76 takes into consideration the magnification and distortion of the magnifying optical system 22 and the projection range PA so that the virtual image Vi of the determined shape is imaged on the image plane IS, and displays the original image of the superimposed content CTs as an image. Draw on the data.
  • the display generation unit 76 maps the road model using the navigation map data when the high-precision map data cannot be acquired. In this case, the reproducibility and accuracy of the road model reproduced in the three-dimensional space will be lower than when the high-precision map data is used. Further, when the high-precision map data cannot be acquired, the display generation unit 76 can use the detection information of the front camera 31 provided through the driving support ECU 50 for mapping the road model together with the navigation map data. Specifically, stop lines ROc (see FIGS. 4 and 8), pedestrian crossing pedestrian lines ROa and ROb (see FIG. 4), left and right lane markings (border line ROf in FIG. 13), roadside edges, etc. are detected. The intersection and point markings are mapped to the road model. Such processing is correction processing for correcting the estimated position of the own vehicle by using the detection information of the front camera 31.
  • the display generation unit 76 displays the route guidance content CTsg, the route guidance icon CTng, and the like by the HUD 20 in the route guidance scene in the guidance area GA (see FIGS. 5 and 11). Further, the display generation unit 76 displays the LCA content CTlc, the LTC content CTlt, and the like by the HUD 20 in the scene in which the LCA function and the LTC function are operating (see FIG. 14).
  • the route guidance content CTsg are superimposed content CTs that provide route guidance in the guidance area GA.
  • the route guidance content CTsg has a double line shape, and the vicinity of each of the left and right lane markings is superimposed on the road surface of the traveling lane.
  • the route guidance content CTsg is displayed as if it is attached to the road surface, and due to the shape extending in a strip shape, the driving behavior to be selected in the guidance area GA, such as turning left or right, changing lanes, and going straight, in other words, the guidance area. Notify the driver of the driving route in GA.
  • the drawing shape of the route guidance content CTsg is updated at a predetermined update cycle so as to match the road surface shape seen from the eye point EP according to the traveling of the vehicle A.
  • the route guidance icon CTng (see FIGS. 5 and 11) is a non-superimposed content CTn, and is used for route guidance in the guidance area GA in the same manner as the route guidance content CTsg.
  • the route guidance icon CTng has a predetermined shape and is displayed at a position within the predetermined angle of view VA.
  • the route guidance icon CTng is an animation display in which a plurality of triangular shapes fly in the traveling direction of the vehicle A.
  • the route guidance icon CTng may be displayed together with the route guidance content CTsg (see FIG. 12), or may be displayed exclusively with the route guidance content CTsg (see FIG. 11).
  • the LTC content CTlt (see FIG. 14) are superimposed content CTs showing the planned traveling locus of the in-lane travel in the scene where the in-lane travel is performed by the LTC function.
  • the LTC content CTlt is displayed based on the status information indicating the execution status of the LTC function.
  • the LTC content CTlt has a single line shape, and the road surface of the traveling lane is superposed.
  • the LTC content CTlt Based on the boundary recognition information of the own vehicle lane Lns or the shape information of the planned traveling locus acquired by the control information acquisition unit 74, the LTC content CTlt has the road surface shape of the own vehicle lane Lns visually recognized in the angle of view VA.
  • the drawing shape is updated at a predetermined update cycle.
  • LCA content CTlc (see FIG. 14) is superimposed content CTs indicating the moving direction in the lane change in the scene where the lane change is performed by the LCA function.
  • the LCA content CTlc is displayed based on the status information indicating the execution status of the LCA function.
  • the LCA content CTlc is displayed in such a manner as to fill the road surface of the adjacent lane Lnd (see FIG. 14) to which the vehicle is moved when changing lanes.
  • the LCA content CTlc may be displayed in a band shape indicating the planned travel locus PLC (see FIG. 13).
  • the LCA content CTlc is displayed exclusively with the LTC content CTlt.
  • the LCA content CTlc is adjusted to the road surface shape of the adjacent lane Lnd visually recognized in the angle of view VA based on the boundary recognition information of the adjacent lane Lnd acquired by the control information acquisition unit 74 or the shape information of the planned traveling locus PLC. Then, the drawing shape is updated at a predetermined update cycle.
  • FIGS. 1 to 14 the details of the display transition of each in-vehicle display device in the scene of route guidance at the intersection GAi and the branch point GAj and the scene of changing the lane by the LCA function are shown in FIGS. 1 to 14 based on FIGS. 4 to 14. The following will be described with reference to 3.
  • the navigation device 55 sets the reference position GP based on the navigation map data.
  • the reference position GP at the intersection GAi is, for example, the central node of the intersection GAi in the navigation map data (see FIG. 4).
  • the reference position GP at the branch point GAj is, for example, the node closest to the terminal ROg of the branch point GAj (see FIG. 10).
  • the navigation device In the right turn guidance scene at the intersection GAi shown in FIGS. 4 and 5, the navigation device is located at a position (see point P1) where the remaining distance Dr to the reference position GP is a predetermined distance (for example, about 300 m on a general road). 55 starts guiding the right turn route. At the point P1, the navigation device 55 starts displaying the route guidance image PNG on the navigation display 57, and also provides the communication bus 99 with a start notification for notifying the start of the route guidance and detailed route information indicating the contents of the route guidance. Output.
  • the start notification and route detailed information output from the navigation device 55 are acquired as navigation information by the navigation information acquisition unit 72 at the HCU 100.
  • the display generation unit 76 starts displaying the TBT image Pmg on the meter display 23 and superimposing the route guidance content CTsg on the HUD 20.
  • the display generation unit 76 determines each drawing shape of the TBT image Pmg and the route guidance content CTsg based on the detailed route information. As described above, the TBT image Pmg and the route guidance content CTsg that perform the route guidance with substantially the same contents as the route guidance image Png at the timing substantially the same as the display start of the route guidance image PNG or at a timing slightly delayed. The display starts.
  • the driving support ECU 50 generates intersection target information related to the intersection GAi based on the approach of the vehicle A to the intersection GAi by the traveling environment recognition unit 51 and outputs the information to the communication bus 99.
  • the intersection target information output from the driving support ECU 50 is acquired as outside world information by the control information acquisition unit 74 at the HCU 100.
  • the display generation unit 76 sets the display start position of the route guidance icon CTng (see point P2) and the display end position of the route guidance content CTsg (see point P3) on the front side of the intersection GAi with reference to the intersection target. To do.
  • the point P2 may be farther from the reference position GP of the intersection GAi than the point P3, and may be at the same position as the point P3.
  • the display generation unit 76 continuously grasps the position of the own vehicle (vehicle A) with respect to the intersection GAi based on the locator information and the outside world information.
  • the display generation unit 76 starts drawing the original image of the route guidance icon CTng on the video data.
  • the HUD 20 is in a state in which both the route guidance content CTsg and the route guidance icon CTng are displayed as virtual images.
  • the display generation unit 76 stops drawing the original image of the route guidance content CTsg on the video data.
  • the display generation unit 76 ends the display of the route guidance content CTsg based on the end determination using the intersection target information (outside world information) without using the end notification from the navigation device 55.
  • the navigation device 55 ends the route guidance.
  • the distance from the reference position GP to the point P4 is, for example, about 30 to 50 m.
  • Point P4 is set, for example, at the position of the first node after passing the intersection GAi.
  • the navigation device 55 ends the display of the route guidance image PNG on the navigation display 57, and outputs a end notification notifying the end of the route guidance to the communication bus 99.
  • the end notification output from the navigation device 55 is acquired as navigation information by the navigation information acquisition unit 72.
  • the display generation unit 76 ends both the display of the TBT image Pmg by the meter display 23 and the display of the route guidance icon CTng by the HUD 20 at the point P4.
  • the display of the TBT image Pmg and the route guidance icon CTng is completed at substantially the same timing as the display end of the route guidance image PNG or at a timing slightly delayed.
  • the display generation unit 76 sets the conditions for establishing the display start determination of the non-superimposed content CTn and the conditions for establishing the display end determination of the superimposed content CTs.
  • the display generation unit 76 specifies a recognizable intersection target for each intersection GAi, and uses the specified intersection target as a reference to establish the above-mentioned start determination and end determination.
  • the display generation unit 76 uses external world information (intersection target information) indicating relative positions of stop lines ROc, sidewalk lines ROa, ROb, road signs, traffic lights, information signs, road structures, etc., which are intersection targets. Then, the start judgment and the end judgment are established. As another example, the display generation unit 76 uses the node of the intersection GAi or the edge intersection ROe of the road structure as a reference at the intersection GAi in which none of the stop line ROc, the sidewalk line ROa, ROb, the road sign, etc. is recognized. Then, the start judgment and the end judgment are established.
  • the display generation unit 76 can set the conditions of a plurality of patterns using the intersection target, the edge intersection ROe, etc. as the conditions for establishing the end determination. Specifically, the display generation unit 76 can make the establishment condition of the end determination that the own vehicle has crossed the stop line ROc or the sidewalk lines ROa and ROb (hereinafter, condition 1). Further, the display generation unit 76 ends that the distance to any one of the stop line ROc, the sidewalk line ROa, ROb, the road sign, and the intersection GAi node is less than the threshold value (hereinafter, condition 2). It can be used as a condition for establishing the judgment.
  • the display generation unit 76 can make the establishment condition of the end determination that the stop line ROc or the sidewalk lines ROa and ROb are exceeded and the steering wheel angle exceeds a predetermined angle (hereinafter, condition 3).
  • the display generation unit 76 establishes the end determination that the end position GEp (see FIGS. 6 and 7) set on the exit path from the intersection is out of the angle of view VA (hereinafter, condition 4).
  • condition 4 can be a condition.
  • the end position GEp is set at or near the position of the node closest to the intersection GAi among the nodes defining the exit route.
  • the display generation unit 76 further sets the condition for establishing the start determination corresponding to the set condition for establishing the end determination.
  • the display generation unit 76 can change the conditions for establishing the plurality of end determinations as described above based on the information related to at least one of the intersection GAi and the vehicle A. Specifically, the display generation unit 76 changes the conditions for establishing the end determination according to the shape of the intersection, the presence / absence of the stop line ROc, the direction of turning left / right at the intersection GAi, the superimposition accuracy of the superposed content CTs, and the like, and superimposes them. The overlay period of the content CTs can be adjusted.
  • the display generation unit 76 changes the conditions for establishing the end determination according to the road shape of the intersection GAi, which is the guidance area GA.
  • the route guidance content is more than the normal route guidance.
  • the conditions for establishing the end determination are changed so that the end of the CTsg display is delayed. That is, the display generation unit 76 delays the establishment of the end determination so that the display of the route guidance content CTsg is continued more than usual.
  • the display generation unit 76 sets the above condition 2 as an end condition.
  • the display generation unit 76 sets the above condition 1, condition 3 or condition 4 as the end condition.
  • the display generation unit 76 sets the above condition 1, condition 3 or condition 4 as the end condition.
  • the display time of the route guidance content CTsg is longer on the multi-junction and the Y-shaped road than on the simple intersection having a normal shape.
  • the route guidance content CTsg is hidden on the front side of the stop line ROc or the entrance of the intersection GAi, and it is unlikely that the departure direction will be unknown after entering the center of the intersection.
  • the route guidance content CTsg extends from the own vehicle side to the end position GEp (see FIG. 6) so as to stick to the road surface. It will be in a state of doing. Since the end position GEp set on the multi-forked road is set to the exit route from the intersection GAi, it is possible to turn right (or turn left) even if there are multiple directions in which the intersection GAi can turn right (or in the direction in which the vehicle can turn left). ) Of the multiple directions, it is a point where the correct direction to go can be specified.
  • the route guidance content CTsg is continuously displayed until the correct exit route enters the angle of view VA, and is, for example, diagonally to the right back direction (see the left figure in FIG. 6) or to the right front direction (Fig. 6 right). (See figure) can be conveyed to the driver in an easy-to-understand manner.
  • the route guidance content CTsg is on the own vehicle side up to the end position GEp (see FIG. 7) set on the exit road from the intersection GAi. It becomes a state of extending from. Therefore, in the route guidance content CTsg, the correct exit route is defined as to whether the Y-shaped junction is heading diagonally to the left back (see the left figure in FIG. 7) or diagonally to the right back (see the right figure in FIG. 7). You can tell the driver in an easy-to-understand manner until you enter the corner VA.
  • the display generation unit 76 changes or adjusts the conditions for establishing the end determination based on whether or not there is a stop line ROc (see FIG. 8) instructing a temporary stop at the entrance on the own vehicle side of the intersection GAi which is the guidance area GA. To do. Specifically, the display generation unit 76 sets the conditions for establishing the end determination so that when the stop line ROc is on the front side of the intersection GAi, the end of the display of the route guidance content CTsg is delayed as compared with the case where there is no stop line ROc. change.
  • the driver temporarily stops the vehicle A before the stop line ROc. Therefore, the route guidance content CTsg, even the superimposed content CTs, is unlikely to interfere with the driver's peripheral confirmation. Therefore, at the intersection GAi where the stop line ROc exists, even if the display period of the route guidance content CTsg is secured longer than at the intersection GAi where the stop line ROc does not exist, the driver is less likely to feel annoyed.
  • the display generation unit 76 When the display generation unit 76 is a simple intersection such as a T-junction and there is no stop line ROc, the above condition 2 is set as a condition for establishing the end determination. On the other hand, when there is a stop line ROc on the own vehicle side of the T-junction (see the left figure in FIG. 8), the display generation unit 76 sets the above condition 1 as the end condition instead of the above condition 2. As described above, the display generation unit 76 continues the superimposed display of the route guidance content CTsg until after the vehicle A enters the intersection GAi.
  • the display generation unit 76 adjusts to increase the predetermined angle of the handle angle set as the condition for establishing the end determination (see condition 3 above). Alternatively, adjustment is performed to move the end position GEp away from the intersection GAi (see condition 4 above). As described above, the superimposed display of the route guidance content CTsg is continued at least until after the vehicle A enters the intersection GAi, and it is more difficult to end than when there is no stop line ROc.
  • the end determination is established so that the display of the route guidance content CTsg ends later than when crossing the oncoming lane. Change the conditions. As an example, in a country or region where vehicle A is traveling on the left side, the display generation unit 76 sets the conditions for establishing the end determination so that the timing of ending the display of the route guidance content CTsg is later than that of the right turn scene in the left turn scene. To change.
  • the route guidance content CTsg ends the display earlier than the right turn of the vehicle A starts. Therefore, it is unlikely that the visibility of the oncoming vehicle traveling in the oncoming lane toward the own vehicle is obstructed by the route guidance content CTsg.
  • the route guidance content CTsg continues to be displayed until after the left turn of the vehicle A is started. In such a left turn scene, the route guidance content and the oncoming vehicle do not substantially overlap.
  • the display period of the route guidance content CTsg should be longer in the left turn scene than in the right turn scene.
  • the display generation unit 76 sets the conditions for establishing the end determination so that the timing of ending the display of the route guidance content CTsg is later than that of the left turn scene in the right turn scene. change. By adjusting the timing in this way, it is possible to display the route guidance content CTsg that does not easily interfere with the driver's peripheral confirmation.
  • the display generation unit 76 changes the conditions for establishing the end determination based on whether or not the high-precision map data used for generating the superimposed content CTs can be acquired. At the intersection GAi where the high-precision map data can be acquired, the display generation unit 76 can accurately superimpose and display the route guidance content CTsg as if it were attached to the road surface. On the other hand, at the intersection GAi where high-precision map data cannot be acquired, the route guidance content CTsg tends to shift with respect to the road surface, which in turn tends to be annoying.
  • the display generation unit 76 establishes the end determination so that the display of the route guidance content CTsg is continued longer when the high-precision map data can be acquired than when the high-precision map data cannot be acquired. To delay. Alternatively, the display generation unit 76 establishes the end determination so that the display period of the route guidance content CTsg is shorter when the high-precision map data cannot be acquired than when the high-precision map data can be acquired. Hurry up.
  • the display generation unit 76 determines whether or not there is information that can be used for generating the superimposed content CTs (hereinafter, camera recognition information) in the outside world information based on the detection information of the front camera 31.
  • the camera recognition information is generated by the driving environment recognition unit 51 of the driving support ECU 50 based on the image data of the front camera 31, and is sequentially provided to the control information acquisition unit 74.
  • the camera recognition information is, for example, external world information indicating the relative position of the intersection target and the point target.
  • the display generation unit 76 changes the conditions for establishing the end determination based on whether or not the camera recognition information that can be used to generate the route guidance content CTsg has been acquired. Specifically, the display generation unit 76 does not use the camera recognition information for generating the route guidance content CTsg when the route guidance content CTsg is generated using the camera recognition information even if the high-precision map data cannot be acquired. The position accuracy of the superimposed display can be improved as compared with the case. Therefore, when the camera recognition information can be acquired, the display generation unit 76 delays the establishment of the end determination so that the display of the route guidance content CTsg is less likely to be completed than when the camera recognition information cannot be acquired. .. Alternatively, the display generation unit 76 accelerates the establishment of the end determination when the camera recognition information has not been acquired, as compared with the case where the camera recognition information has been acquired.
  • the display generation unit 76 changes the conditions for establishing the end determination in three stages. Specifically, when the display generation unit 76 uses high-precision map data for drawing the route guidance content CTsg, the display generation unit 76 changes the conditions for establishing the end determination so that the display of the route guidance content CTsg is continued for the longest time. .. On the other hand, the display generation unit 76 uses the navigation map data for drawing the route guidance content CTsg, and when the camera recognition information is not acquired, the display of the route guidance content CTsg is finished in the shortest time. Set the conditions for establishing the end judgment.
  • the condition for establishing the end determination is medium.
  • the display period of the route guidance content CTsg in this case is shorter than the display period when the high-precision map data is used, and longer than the display period when the navigation map data is used without the camera recognition information.
  • the display generation unit 76 when the display generation unit 76 draws the route guidance content CTsg using the navigation map data in the absence of the camera recognition information, the display generation unit 76 sets the conditions for establishing any of the above end determinations. Further, when the display generation unit 76 draws the route guidance content CTsg using the navigation map data in the state where the camera is recognized, the determination value of the condition for satisfying the end condition is relaxed, and the superimposed display is continued for a long time. Further, when the display generation unit 76 uses the high-precision map data for drawing the superimposed content CTs, the display generation unit 76 does not substantially set the conditions for establishing the end determination. In this case, the display generation unit 76 continues the superimposed display of the route guidance content CTsg until the end notification is acquired by the navigation information acquisition unit 72.
  • the remaining distance Dr to the reference position GP is a predetermined distance (for example, about 1000 m on an expressway) (see point P1).
  • the navigation device 55 starts the guidance of the left branch. Even in the branch guidance scene, the navigation device 55 starts displaying the route guidance image PNG on the navigation display 57 at the point P1, and outputs a start notification and route detailed information to the HCU 100.
  • the display generation unit 76 starts displaying the TBT image Pmg on the meter display 23 and superimposing the route guidance content CTsg on the HUD 20 based on the start notification and the route detailed information acquired by the navigation information acquisition unit 72.
  • the TBT image Pmg and the route guidance content CTsg are started to be displayed together with the route guidance image Png, and are contents instructing the lane change to the branch lane Lnj like the route guidance image Png.
  • the driving support ECU 50 generates point target information related to the branch point GAj based on the approach of the vehicle A to the branch point GAj by the traveling environment recognition unit 51, and outputs the information to the HCU 100.
  • the point target information is acquired as outside world information by the control information acquisition unit 74 at the HCU 100.
  • the display generation unit 76 uses the point target as a reference, and uses the display start position of the route guidance icon CTng (see points P2 and P3) and the display end position of the route guidance content CTsg (see points P3 to P6) as a reference. Set to the front side of the position GP.
  • the point P3 is a position where at least a part of the vehicle A that has started lateral movement to the branch lane Lnj touches the boundary line ROf. ..
  • the point P4 is a position where the center or the center of gravity of the vehicle A is on the boundary line ROf.
  • Point P5 is a position where the entire vehicle A has crossed the boundary line ROf.
  • Point P6 is a position where the blinking of the direction indicator is turned off.
  • the display end position may be set to the front side by a predetermined distance (for example, about 30 to 100 m) of points P3 to P6.
  • the point P2 that can be used as the display start position of the route guidance content CTsg is set to a position farther from the reference position GP by a predetermined distance than the point P3.
  • the display generation unit 76 continuously grasps the position of the own vehicle with respect to the branch point GAj based on the locator information and the outside world information. When the vehicle A reaches the display end position (see point P3), the display generation unit 76 ends the display of the route guidance content CTsg. As described above, the display generation unit 76 ends the display of the route guidance content CTsg based on the end determination using the point target information (outside world information) without using the end notification from the navigation device 55.
  • the display generation unit 76 sets the display start position (see point P3) of the route guidance icon CTng at the display end position of the route guidance content CTsg. When the vehicle A reaches the display start position, the display generation unit 76 starts displaying the route guidance icon CTng instead of the route guidance content CTsg. The display generation unit 76 continues the route guidance by displaying the route guidance icon CTng at least during the period after the display of the route guidance content CTsg is finished.
  • the display generation unit 76 changes the visibility of the route guidance icon CTng during the display period of the route guidance icon CTng. Specifically, the display generation unit 76 changes the mode to reduce the visibility of the route guidance icon CTng. As an example, the display generation unit 76 changes from the highly visible route guidance icon CTng (hereinafter, first route guidance icon) to the less visible route guidance icon CTng (hereinafter, second route guidance icon). To switch.
  • the mode change for lowering the visibility is realized by, for example, reducing the display size, lowering the display brightness or the display saturation, suppressing or canceling the effect of animation or the like.
  • the display generation unit 76 executes a display transition from the first route guidance icon to the second route guidance icon, for example, at a point (for example, point P6) on the front side of the reference position GP.
  • the display generation unit 76 can appropriately change the execution point of the display transition that lowers the visibility. Further, the display generation unit 76 may change the mode in which the visibility of the route guidance icon CTng is continuously lowered. Further, the route guidance icon CTng (first route guidance icon) may be displayed from the point P2. In this case, at points P2 to P3, the route guidance content CTsg and the route guidance icon CTng are both displayed (see FIG. 12).
  • the navigation device 55 ends the route guidance.
  • the distance from the reference position GP to the point P7 is, for example, about 30 to 100 m.
  • the point P7 is set, for example, at the position of the first node after passing the reference position GP.
  • the navigation device 55 ends the display of the route guidance image PNG on the navigation display 57, and outputs a end notification notifying the end of the route guidance to the HCU 100.
  • the display generation unit 76 Based on the end notification acquired as navigation information by the navigation information acquisition unit 72, the display generation unit 76 displays the TBT image Pmg on the meter display 23 and the route guidance icon CTng on the HUD 20 at point P7. , End together. As described above, the display of the TBT image Pmg and the route guidance icon CTng (second route guidance icon) is also completed in accordance with the end of the display of the route guidance image PNG.
  • the display generation unit 76 also sets the conditions for establishing the display start determination of the non-superimposed content CTn and the conditions for establishing the display end determination of the superimposed content CTs even at the branch point GAj. Then, the display generation unit 76 establishes the start determination and the end determination by using the outside world information (point target information) indicating the relative position of the boundary line ROf or the end ROg which is the point target.
  • outside world information point target information
  • the display generation unit 76 can set the condition for establishing the end determination to be that it straddles the boundary line ROf of the branch lane Lnj (see points P3 and P4, hereinafter, condition 5).
  • the display generation unit 76 can use the fact that it has finished straddling the boundary line ROf of the branch lane Lnj (see point P5, hereinafter, condition 6) as a condition for establishing the end determination.
  • the display generation unit 76 can set that the direction indicator is turned off (see point P6, hereinafter, condition 7) as a condition for establishing the end determination.
  • the display generation unit 76 predicts the positions of the points P3 to P6, and can set the condition for establishing the end determination that the position reaches a position that is a predetermined distance before the points P3 to P6 (hereinafter, condition 8).
  • condition 8 the condition for establishing the start determination may be appropriately set according to the conditions for establishing the end determination.
  • the HCU 100 determines the timing at which the LCA function shifts to the execution state (see point P1) based on the status information of the LCA function acquired by the control information acquisition unit 74. Grasp.
  • the HCU 100 may grasp the timing at which the LCA function transitions from the off state to the activated state instead of the execution transition timing of the LCA function.
  • the display generation unit 76 starts displaying the lane change image Pmc on the meter display 23 and superimposing the LCA content CTlc on the HUD 20 based on the status information indicating the execution state of the LCA function.
  • Both the lane change image Pmc and the LCA content CTlc are contents indicating the moving direction of the vehicle A in the lane change.
  • the control information acquisition unit 74 acquires the outside world information indicating the relative position of the boundary line ROf between the own vehicle lane Lns and the adjacent lane Lnd.
  • the display generation unit 76 sets a display transition position (see points P2 to P6) for transitioning the superimposed content CTs from the LCA content CTlc to the LTC content CTlt by using the outside world information about the boundary line ROf.
  • point P2 is a position where at least a part of vehicle A that has started lateral movement to the adjacent lane Lnd touches the boundary line ROf.
  • the point P3 is a position where the center or the center of gravity of the vehicle A is on the boundary line ROf.
  • Point P4 is a position where the entire vehicle A has crossed the boundary line ROf.
  • Point P5 is a position where the control body of the operation control transitions from the LCA function to the LTC function.
  • Point P6 is a position where the blinking of the direction indicator is turned off. Any one of these points P2 to P6 is set as a display transition position by the display generation unit 76 (point P2 in FIG. 13).
  • the display generation unit 76 grasps the position of the vehicle A with respect to the boundary line ROf from the outside world information, and ends the display of the LCA content CTlc based on the end determination using at least the outside world information. Further, the display generation unit 76 continues the display of the lane change image Pmc on the meter display 23 until the blinking of the direction indicator is turned off. Therefore, when the display transition position is set to the points P2 to P5, the display generation unit 76 ends the display of the lane change image Pmc earlier than the end determination using at least the outside world information, and the LCA content CTlc. End the display of.
  • FIGS. 1 and 17 the details of the display control method for realizing the route guidance and the lane change guidance described so far, particularly the contents related to the display of the superimposed content CTs, are shown in FIGS. 1 and 17 based on the flowcharts shown in FIGS. This will be described below with reference to FIGS. 4 to 14.
  • the display control process shown in FIGS. 15 and 16 is started by the HCU 100 that has received the start notification from the navigation device 55.
  • S101 of the display control process shown in FIG. 15 detailed route information and the like necessary for displaying the TBT image Pmg, the route guidance content CTsg, and the like are acquired, and the process proceeds to S102.
  • S102 acquisition of the outside world information required for drawing the route guidance content CTsg, in other words, the outside world information used for the simulation calculation of the display layout of the superimposed content CTs, is started, and the process proceeds to S103.
  • S103 the map data used for the simulation calculation of the display layout of the superimposed content CTs is acquired, and the process proceeds to S104.
  • priority is given to the acquisition of the high-precision map data from the locator 40, and when there is no high-precision map data of the guidance area GA, the navigation map data of the guidance area GA is acquired from the navigation device 55.
  • S105 it is determined whether or not the high-precision map data used for generating the route guidance content CTsg has been acquired. If it is determined in S105 that the high-precision map data can be acquired, the process proceeds to S106. On the other hand, if it is determined in S105 that the high-precision map data cannot be acquired, the process proceeds to S107.
  • S107 it is determined whether or not the camera recognition information used for generating the route guidance content CTsg has been acquired. If it is determined in S107 that the camera recognition information has been acquired, the process proceeds to S108. On the other hand, if it is determined in S107 that the camera recognition information cannot be acquired, the process proceeds to S109.
  • the end determination is made so that the display is less likely to be completed than when the superimposed content CTs are generated using the navigation map data.
  • the conditions are changed (relaxed).
  • the condition of the end determination is changed (relaxed) so that the display is more difficult to end than when there is no camera recognition information.
  • the conditions for the end determination are changed according to the road shape of the guide area GA, the presence / absence of the stop line ROc, the direction of turning left / right, and the like.
  • S110 shown in FIG. 16 acquisition of steering information (operation information) including information such as steering wheel angle is started, and the process proceeds to S111. If the operation information is not used in the end determination condition set in S106, S108, or S109, S110 may be skipped.
  • S111 at least the outside world information is used to determine whether or not the end condition set in S106, S108 or S109 is satisfied. If it is determined in S111 that the end condition is satisfied, the process proceeds to S113. On the other hand, if it is determined in S111 that the end determination is not established, the process proceeds to S112.
  • S112 it is determined whether or not the end notification has been acquired from the navigation device 55. If it is determined in S112 that the end notification has not been acquired, the process returns to S110. As a result, the display of the route guidance content CTsg is continued. On the other hand, if it is determined in S112 that the end notification has been acquired, the process proceeds to S113.
  • the display of the route guidance content CTsg is terminated, and the display control process related to the route guidance is terminated.
  • the display of the route guidance content CTsg ends without waiting for the reception of the end notification from the navigation device 55. Even after the display of the route guidance content CTsg is completed, the display of the route guidance icon CTng and the TBT image Pmg is continued.
  • the display control process shown in FIG. 17 is started by, for example, the HCU 100 that has received the status information notifying the transition to the execution state of the LCA function.
  • S131 of the display control process shown in FIG. 17 the shape information of the planned traveling locus PLC in the scheduled lane change is acquired, and the process proceeds to S132.
  • S132 acquisition of the outside world information necessary for drawing the LCA content CTlc is started, and the process proceeds to S133.
  • S133 the map data of the road section including the entire planned travel locus PLC is acquired, and the process proceeds to S134.
  • priority is given to the acquisition of high-precision map data from the locator 40.
  • S134 the information acquired in S131 to S133 is used to start the display of the LCA content CTlc by the HUD 20, and the process proceeds to S135.
  • the superimposed display is switched from the LTC content CTlt to the LCA content CTlc.
  • the display of the lane change image Pmc on the meter display 23 is started together with the LCA content CTlc.
  • S135 the conditions for establishing the end determination for ending the display of the LCA content CTlc are set, and the process proceeds to S136.
  • S136 it is determined whether or not the end condition set in S135 is satisfied by using at least the outside world information. If it is determined in S136 that the end condition is satisfied, the process proceeds to S137. On the other hand, if it is determined in S136 that the end determination has not been established, S136 is repeated and the end determination is waited for.
  • S137 the display of the LCA content CTlc is terminated, the display of the LTC content CTlt is started, and the process proceeds to S138.
  • S138 it is determined whether or not the blinking of the direction indicator has been turned off, in other words, whether or not a series of lane changes have been completed. If it is determined in S138 that the turn signal is turned off, the process proceeds to S139.
  • S139 the display of the lane change image Pmc on the meter display 23 is terminated, and a series of display control processes are terminated. As described above, based on the end determination of S136 using at least the outside world information, the display of the LCA content CTlc is terminated earlier than the end of the display of the lane change image Pmc.
  • the route guidance content CTsg does not depend on the end timing of the route guidance in the navigation device 55.
  • the display can be terminated at an appropriate time. Based on the above, it is unlikely that the route guidance content CTsg will continue to be displayed at a prominent position even though the vehicle A has finished turning left or right. Therefore, even if the superimposed content CTs are used, it is possible to present information that does not give a sense of discomfort to the occupants such as the driver.
  • the route guidance content CTsg is appropriately displayed at a timing earlier than the display end of the route guidance image Png by performing the end determination using at least the outside world information around the vehicle A. obtain. According to the above, even if the superimposed content CTs are used, it is possible to present information that does not give a sense of discomfort to the occupants such as the driver.
  • the intersection GAi when the intersection GAi is set as the guidance area GA, the intersection target information related to the intersection GAi is acquired as the outside world information. Then, the display generation unit 76 ends the display of the route guidance content CTsg based on the end determination using the intersection target information. As described above, according to the use of the intersection target recognized by the traveling environment recognition unit 51, the display generation unit 76 can further optimize the display end timing of the route guidance content CTsg according to the traveling intersection GAi. ..
  • the display generation unit 76 sets the display of the route guidance content CTsg later than when it is not a complex intersection. , Change the conditions for establishing the end judgment. Therefore, the route guidance content CTsg can be superimposed on the road surface of the correct exit route from the intersection GAi. As a result, the route guidance content CTsg can perform route guidance that is easy for the driver to understand.
  • the display when the stop line ROc is on the front side of the intersection GAi which is the guidance area GA, the display is generated so that the display of the route guidance content CTsg ends later than when there is no stop line ROc.
  • Part 76 changes the conditions for establishing the end determination. Therefore, in a scene where the route guidance content CTsg is unlikely to be in the way due to the temporary stop of the vehicle A, the display period of the route guidance content CTsg is secured. As a result, route guidance that is easy for the driver to understand is implemented.
  • the vehicle when the vehicle does not cross the oncoming lane when turning right or left at the intersection GAi which is the guidance area GA, it is displayed so that the display of the route guidance content CTsg ends later than when crossing the oncoming lane.
  • the generation unit 76 changes the conditions for establishing the end determination. Based on the above, it is unlikely that the route guidance content CTsg obstructs the visibility of an oncoming vehicle in a right turn scene. Further, in a left turn scene where confirmation of an oncoming vehicle is not required, route guidance that is easy for the driver to understand is performed by securing a display period of the route guidance content CTsg.
  • the display generation unit 76 ends the display of the route guidance content CTsg based on the end determination using the point target information.
  • the display generation unit 76 further optimizes the display end timing of the route guidance content CTsg according to the branch point GAj during traveling. Can be transformed.
  • the display generation unit 76 is not limited to the branch point GAj, and can optimize the display end timing of the route guidance content CTsg even at the confluence point based on the end determination using the point target information.
  • control information acquisition unit 74 of the first embodiment can acquire the position information of the edge intersection ROe obtained by detecting the edge of the road in the guidance area GA as the outside world information. Then, the display generation unit 76 uses the position information of the edge intersection ROe for the end determination, and terminates the route guidance content CTsg based on the end determination. According to the use of the detection process derived from the road structure such as edge detection, the display generation unit 76 displays the route guidance content CTsg even in the guidance area GA in which a specific target such as a road marking and a road sign does not exist. Can be properly terminated.
  • the display generation unit 76 of the first embodiment can change the condition of the end determination according to the road shape of the guide area GA. Therefore, the display generation unit 76 can reduce the sense of incongruity while utilizing the advantages of the superimposed content CTs as needed.
  • the route guidance icon CTng is displayed as the non-superimposed content CTn that continues the route guidance in the period after the display of the route guidance content is completed. Then, the display generation unit 76 changes the mode in which the visibility of the route guidance icon CTng is lowered during the display period of the route guidance icon CTng. Therefore, the troublesomeness of the display is reduced by the process of lowering the visibility of the route guidance icon CTng while realizing the easy-to-understand route guidance by displaying the route guidance icon CTng.
  • the display of the LCA content CTlc indicating the moving direction in the lane change can be terminated at an appropriate timing by performing the termination determination using at least the outside world information around the vehicle A. Based on the above, it is unlikely that the LCA content CTlc will continue to be displayed in a prominent position even though the lane change of the vehicle A has been completed. Therefore, even if the superimposed content CTs are used, it is possible to present information that does not give a sense of discomfort to the occupants such as the driver.
  • the display generation unit 76 is earlier than the end of displaying the lane change image Pmc by the meter display 23, and is based on the end determination using the outside world information.
  • the display of CTlc is terminated. As described above, if the state of the LCA function can be confirmed visually by the meter display 23, the display end timing of the LCA content CTlc can be appropriately advanced so as not to give a sense of discomfort to the occupant.
  • navigation map data and high-precision map data having different accuracy are acquired as map data used for generating superimposed content CTs.
  • the display generation unit 76 can change the condition of the end determination based on whether or not the high-precision map data can be acquired. Based on the above, the display generation unit 76 can optimize the display end timing of the superimposed content CTs according to the accuracy of the map data.
  • the display generation unit 76 when the display generation unit 76 draws the superimposed content CTs using the high-precision map data, the display of the superimposed content CTs is less likely to be completed than when the superimposed content CTs are drawn using the navigation map data.
  • the condition of the end judgment is relaxed so as to be.
  • the display generation unit 76 can end the display of the superimposed content CTs at an early stage when it cannot be accurately superimposed on the road surface. Therefore, in a situation where the superimposed content CTs are likely to be disturbed due to the accuracy of the map data, the display generation unit 76 can appropriately stop the display of the superimposed content CTs.
  • the display generation unit 76 of the first embodiment displays the route guidance content CTsg as compared with the case where the camera recognition information is not used for content generation. Make it difficult to finish. According to the change of the condition for establishing the end determination, when the superimposition accuracy of the route guidance content CTsg is ensured, the display period of the route guidance content CTsg can be easily secured. As a result, route guidance that is easy for the driver to understand can be performed.
  • the operation information (steering information, etc.) related to the driver's operation is used for the end determination. Therefore, even after the vehicle A has moved to a position where the target such as the stop line ROc or the sidewalk lines ROa and ROb is outside the angle of view of the front camera 31, the display generation unit 76 still uses the route guidance content CTsg. The display can be terminated. As described above, by using the operation information for the end determination, the degree of freedom in setting the display end timing can be further improved.
  • the meter display 23 corresponds to the "screen display” and the front camera 31 corresponds to the "vehicle-mounted camera".
  • the control information acquisition unit 74 corresponds to the "external world information acquisition unit”
  • the state information acquisition unit 75 corresponds to the "operation information acquisition unit”
  • the display generation unit 76 corresponds to the "display control unit”
  • the HCU 100 Corresponds to "display control device”.
  • the route guidance content CTsg and the LCA content CTlc correspond to "superimposed content”
  • the route guidance icon CTng corresponds to "non-superimposed content”
  • the navigation map data corresponds to "low-precision map data”.
  • the LCA function corresponds to the "lane change function”
  • the relative position information of the edge intersection ROe corresponds to the "edge position information”
  • the stop line ROc corresponds to the "pause line”.
  • the second embodiment of the present disclosure shown in FIGS. 18 to 22 is a modification of the first embodiment.
  • the configuration of the HMI system 210 is different from that of the first embodiment.
  • the HMI system 210 has a function corresponding to the navigation device 55 (see FIG. 1) of the first embodiment, and has a navigation display 24 and a navigation map DB 25.
  • the navigation display 24 and the navigation map DB 25 have substantially the same configurations as the navigation display 57 and the navigation map DB 56 (see FIG. 1) of the first embodiment.
  • the HCU 100 shown in FIGS. 18 and 19 provides route guidance at intersection GAi and branch point GAj (see FIGS. 4 to 12) and guidance for changing lanes (see FIGS. 13 and 14). ) And.
  • the HCU 100 includes a navigation information generation unit 272 as a functional unit in addition to the viewpoint position identification unit 71, the map data acquisition unit 73, the control information acquisition unit 74, the state information acquisition unit 75, and the display generation unit 76.
  • the navigation information generation unit 272 sets a destination based on the user operation and a route to the destination by using the navigation map data acquired from the navigation map DB 25 and the locator information acquired from the locator ECU 44.
  • the navigation information generation unit 272 executes route guidance according to the set route.
  • the display generation unit 76 generates video data sequentially output to the navigation display 24, and controls the presentation of information to the driver by the navigation display 24.
  • the navigation information generation unit 272 and the display generation unit 76 display the traveling direction of the vehicle A in the guidance area GA on the navigation display 24 by approaching the guidance area GA (see FIG. 4 and the like) included in the set route.
  • the driver is guided by the route guidance image Png (see FIG. 4 and the like).
  • the navigation information generation unit 272 grasps the remaining distance Dr to the reference position GP of the guidance area GA included in the set route based on the locator information, and when the remaining distance Dr becomes less than the predetermined distance, FIGS. 20 and 21.
  • the HCU 100 is started to perform the display control process shown in 1.
  • the predetermined distance is about 300 m on a general road and about 1000 m on an expressway, as in the first embodiment.
  • the detailed route information of the guidance area GA generated by the navigation information generation unit 272 is obtained from the TBT image Pmg (see FIGS. 4 and 10) and the route guidance content CTsg (see FIGS. 4 and 10). (See FIGS. 5 and 11) and the like are prepared for drawing.
  • S202 and S203 the outside world information and the map data are acquired, and the process proceeds to S204.
  • S203 priority is given to the acquisition of high-precision map data from the locator 40, and when there is no high-precision map data, the navigation map data is acquired from the navigation map DB 25.
  • S211 it is determined whether or not the end condition set in S206, S208 or S209 is satisfied by using the outside world information (and operation information). If it is determined in S211 that the end condition is satisfied, the process proceeds to S212. In S212, the display of the route guidance content CTsg is terminated based on the establishment of the end determination in S211 and the process proceeds to S213.
  • S213 it is determined whether or not the vehicle A has reached the end point of the route guidance (see point P4 in FIG. 4). If it is determined in S213 that the vehicle A has reached the end point of the route guidance, the process proceeds to S214.
  • S214 both the display of the route guidance image PNG on the navigation display 24 and the display of the TBT image Pmg on the meter display 23 are terminated, and a series of display control processes are terminated.
  • the display of the route guidance content CTsg is terminated earlier than the end of the display of the route guidance image PNG based on the end determination of S211 using at least the outside world information.
  • the second embodiment described so far also has the same effect as that of the first embodiment, and by implementing the end determination using the outside world information, the route guidance content CTsg is at a timing earlier than the end of the display of the route guidance image Png. , Can be properly terminated. Based on the above, it is unlikely that the highly attractive route guidance content CTsg will continue to be displayed even after the end of the right or left turn. Therefore, it is possible to present information that does not give a sense of discomfort to the occupants such as the driver.
  • the HCU 100 provides guidance on the lane change by the same display control process (see FIGS. 15 and 16) as in the first embodiment in the scene where the lane change is performed by the LCA function. carry out.
  • the display end timing of the LCA content CTlc can be appropriately set based on the end determination using the outside world information. Based on the above, it is unlikely that the highly attractive LCA content CTlc will continue to be displayed even though the lane change has been completed. Therefore, even in the scene of changing lanes, it is possible to present information that does not give a sense of discomfort to occupants such as drivers.
  • the navigation display 24 corresponds to a "screen display".
  • the control information acquisition unit 74 acquires the relative position information of the edge intersection ROe on the front side and the turning side of the intersection GAi as the intersection target information.
  • the shape of such an intersection GAi is not limited to the crossroads.
  • the control information acquisition unit 74 receives edges Ed1 and Ed2 on the front side and the turning side at various intersections GAi such as a multi-junction (6 junctions), a Y-shaped road, a T-shaped road, and a runabout as shown in FIG. Can be detected and the relative position information of the edge intersection ROe can be acquired.
  • the navigation device 55 and the navigation information generation unit 272 of the above embodiment can carry out complex route guidance when right and left turns at a plurality of intersections GAi are continuous.
  • the second Route guidance considering a left turn is carried out in the first guidance area GA1.
  • the vehicle A in the guidance route GR generated by the navigation device 55 or the navigation information generation unit 272, in the approach section to the first intersection GAi, the vehicle A is the leftmost lane among the plurality of right turn lanes. To be guided to. This leftmost right turn lane is a lane connected to the left turn lane at the second intersection GAi.
  • the route guidance content CTsg Guidance is carried out by the route guidance content CTsg.
  • the route guidance content CTsg includes an approach portion CTg1 indicating a route to the intersection GAi, a position portion CTg2 indicating an approach position to the intersection GAi, and an exit direction portion CTg3 indicating an exit direction from the intersection GAi.
  • the detailed route information acquired by the HCU100 includes advance preparation information for instructing to change lanes to the leftmost right turn lane in the approach section due to a left turn at the second intersection GAi. It has been added. Based on such advance preparation information, the HCU 100 generates an approach portion CTg1 in a manner of inducing a lane change to the left side. If the lane change to the right turn lane at the left end is completed according to the guidance of the route guidance content CTsg, the vehicle A can smoothly make a left turn at the second intersection GAi.
  • the HCU displays the approach portion CTg1 as the superimposed content CTs, while displaying the position portion CTg2 and the exit direction portion CTg3 as the non-superimposed content CTn.
  • the approach portion CTg1 has a strip-shaped stretched shape attached to the road surface, similarly to the route guidance content CTsg (see FIG. 5) of the above embodiment.
  • the position portion CTg2 and the exit direction portion CTg3 are displayed at one of the four corners of the horizontally long rectangular angle of view VA closest to the intersection GAi.
  • the position portion CTg2 is displayed in a partial annular shape that emphasizes the corner of the angle of view VA, and emphasizes the intersection outside the angle of view VA.
  • the exit direction portion CTg3 is displayed in the shape of an arrow indicating the turning direction at the intersection GAi. When the left turn guidance is carried out at the intersection GAi, the exit direction portion CTg3 has a shape pointing to the left direction.
  • the conditions for establishing the end determination of the route guidance content CTsg are changed according to the presence / absence of the camera recognition information in addition to the presence / absence of the high-precision map data.
  • the presence / absence of the camera recognition information is not reflected in the change of the condition for establishing the end determination. That is, in the first modification, S107 and S108 (see FIG. 15) or S207 and S208 (see FIG. 20) in the display control process are omitted.
  • the display of the superimposed content has been completed based on the end determination using at least the outside world information.
  • the display control unit performs the end determination using at least the high-precision map data or the navigation map data and the position information of the own vehicle instead of the end determination using at least the outside world information. carry out. Then, the display control unit identifies the position of the own vehicle with respect to the guidance area based on the end determination using at least the high-precision map data or the navigation map data and the position information of the own vehicle, and ends the display of the superimposed content. Even by such processing, the display of the superimposed content can be appropriately terminated.
  • the stop line ROc, the sidewalk line ROa, ROb, the road sign, and the like are recognized mainly based on the detection information (captured image) of the front camera 31, and are provided to the HCU 100 as outside world information. Then, the display generation unit 76 performed the end determination using the information of these targets. However, for example, when information such as the stop line ROc and the sidewalk lines ROa and ROb is added to the navigation map data, the display generation unit 76 can further utilize these information to perform the end determination.
  • the conditions for establishing the end determination adopted by the display generation unit 76 may be determined based on the angle of view VA of the HUD 20. More specifically, when the angle of view VA of the HUD 20 is expanded to the depression angle side, the superimposition possible range of the superimposed content CTs is also expanded to the vicinity side of the own vehicle. As a result, even if the display end timing of the superimposed content CTs is delayed, the superimposed content CTs remain attached to the superimposed target. Therefore, it is preferable that the display end timing of the superimposed content CTs is set so as to coincide with the timing when the superimposed object frames out from the angle of view VA.
  • the route guidance content CTsg of the modification 3 of the above embodiment is superimposed and displayed in a manner that fills the road surface range corresponding to the guidance route.
  • the LCA content CTlc of the modified example 3 has a two-line shape extending from the own vehicle lane Lns toward the adjacent lane Lnd according to the shape of the planned traveling locus PLC.
  • the LTC content CTlt of the third modification is superimposed on the vicinity of the left and right lane markings of the own vehicle lane Lns, and has a two-line shape extending along each section line.
  • the route guidance content CTsg of the modification 4 of the above embodiment has a single linear shape that is superimposed on the center of the road surface of the traveling lane corresponding to the guidance route and extends in the traveling direction.
  • the LCA content CTlc of the modified example 4 has a single line shape showing the shape of the planned traveling locus PLC.
  • the LTC content CTlt of the modified example 4 is superimposed and displayed in a manner that fills the road surface of the own vehicle lane Lns.
  • the display mode of each superimposed content CTs may be changed as appropriate.
  • the modes of the route guidance content CTsg, the LCA content CTlc, and the LTC content CTlt may be the same as each other or different from each other.
  • the conditions for establishing the end determination of the route guidance content CTsg are changed according to the road shapes of the intersection GAi, the branch point GAj, and the confluence, and the presence / absence of high-precision map data and camera recognition information. Further, the conditions for establishing the end determination were changed depending on the presence / absence of the stop line ROc and the direction of turning left / right at the intersection GAi. However, at least a part of this information may not be used for changing or adjusting the conditions for establishing the end determination. Further, regardless of the road shape, the accuracy of the map data, and the like, the conditions for establishing the end determination may be constant.
  • the conditions for establishing the end determination of the LCA content CTlc may also be changed depending on whether or not the high-precision map data and the camera recognition information can be acquired.
  • the map data that can be acquired by the HCU 100 may be only one of the high-precision map data and the navigation map data. Further, in addition to the external world information and the operation information, other information acquired by the HCU 100 may be used for the end determination.
  • the imaging data used as the camera recognition information is not limited to the data captured by the front camera 31.
  • external world information based on image data captured by the rear camera, the front side camera, and the rear side camera may be used as camera recognition information for generating superimposed content.
  • Each content of the above embodiment has static elements such as display color, display brightness, and reference display shape, and dynamic elements such as blinking presence / absence, blinking cycle, animation presence / absence, and animation operation. May be changed as appropriate. Also, the static or dynamic elements of each content may be changeable according to the driver's preferences. Further, the traveling scene in which the route guidance display is illustrated in the description of the above embodiment and the modified example is an example. The HCU can perform route guidance display using both non-superimposed content and superposed content in a driving scene different from the above.
  • the HCU of the above embodiment uses the position information of the eye point detected by the DSM so that the superimposed content is superimposed on the superimposed object without deviation when viewed from the driver, and the virtual image light imaged as the superimposed content CTs.
  • the projection shape and projection position of the above were controlled sequentially.
  • the HCU of the modified example 5 of the above embodiment uses the setting information of the center of the reference eye point set in advance without using the detection information of the DSM, and the projected shape of the virtual image light imaged as the superimposed content and the projection shape of the virtual image light. Control the projection position.
  • the detection information of the gyro sensor provided in the HUD is further used to form a virtual image formed as superimposed content.
  • the projected shape and projected position of light are sequentially controlled.
  • the gyro sensor is a posture sensor that mainly detects the posture of the vehicle A in the pitch direction. According to the use of the attitude sensor that detects the vehicle attitude, the superimposed content can be superimposed on the superimposed object more accurately.
  • the HUD projector of Modification 7 is provided with an EL (ElectroLuminescence) panel instead of the LCD panel and the backlight. Further, instead of the EL panel, a projector using a display such as a plasma display panel, a cathode ray tube and an LED can be adopted for the HUD 20.
  • EL ElectroLuminescence
  • the HUD of Modification 8 is provided with a laser module (hereinafter, LSM) and a screen instead of the LCD and the backlight.
  • LSM includes, for example, a laser light source, a MEMS (Micro Electro Mechanical Systems) scanner, and the like.
  • the screen is, for example, a micromirror array or a microlens array.
  • a display image is drawn on the screen by scanning the laser beam emitted from the LSM.
  • the HUD projects the display image drawn on the screen onto the windshield by the magnifying optical element, and displays the virtual image in the air.
  • the HUD of Modification 9 is provided with a DLP (Digital Light Processing, registered trademark) projector.
  • a DLP projector has a digital mirror device (hereinafter, DMD) provided with a large number of micromirrors, and a projection light source that projects light toward the DMD.
  • the DLP projector draws a display image on the screen under the control of linking the DMD and the projection light source.
  • a projector using LCOS Liquid Crystal On Silicon
  • a holographic optical element is adopted as one of the optical systems for displaying the virtual image Vi in the air.
  • the HCU and the HUD are integrally configured. That is, the HUD control circuit is equipped with the HCU processing function. Further, in the modified example 13, an HCU is provided as a meter ECU.
  • the HCU 100 is provided with a camera image acquisition unit that acquires the imaged data obtained by capturing the foreground of the own vehicle, which is the imaged data of the front camera 31.
  • the display generation unit 76 generates video data obtained by superimposing original images such as route guidance content CTsg, LCA content CTlc, and LTC content CTlt on a real image of the foreground based on the captured data.
  • the HUD 20 displays a video in which each content is superimposed on a real image as a virtual image in the foreground.
  • a virtual image display in which the original image such as the content used for the AR display is superimposed on the real image may be performed.
  • each function provided by the HCU can be provided by the software and the hardware that executes the software, the hardware only, the hardware only, or a combination thereof. Further, when such a function is provided by an electronic circuit as hardware, each function can also be provided by a digital circuit including a large number of logic circuits or an analog circuit.
  • the form of the storage medium (persistent tangible computer reading medium, non-transitory tangible storage medium) for storing programs and the like that can realize the above display control method may be changed as appropriate.
  • the storage medium is not limited to the configuration provided on the circuit board, and may be provided in the form of a memory card or the like, inserted into the slot portion, and electrically connected to the control circuit of the HCU. ..
  • the storage medium may be an optical disk and a hard disk drive as a copy base of the program to the HCU.
  • the vehicle equipped with the HMI system is not limited to a general private car, but may be a vehicle for rent-a-car, a vehicle for a manned taxi, a vehicle for ride sharing, a freight vehicle, a bus, or the like. Further, the driverless vehicle used for the mobility service may be equipped with an HMI system including an HCU.
  • the vehicle equipped with the HMI system may be a right-hand drive vehicle or a left-hand drive vehicle.
  • the traffic environment in which the vehicle travels may be a traffic environment premised on left-hand traffic, or may be a traffic environment premised on right-hand traffic.
  • the lane keeping control and its related display according to the present disclosure are appropriately optimized according to the road traffic law of each country and region, the steering wheel position of the vehicle, and the like.
  • control unit and its method described in the present disclosure may be realized by a dedicated computer constituting a processor programmed to execute one or a plurality of functions embodied by a computer program.
  • the apparatus and method thereof described in the present disclosure may be realized by a dedicated hardware logic circuit.
  • the apparatus and method thereof described in the present disclosure may be realized by one or more dedicated computers configured by a combination of a processor that executes a computer program and one or more hardware logic circuits.
  • the computer program may be stored in a computer-readable non-transitional tangible recording medium as an instruction executed by the computer.

Abstract

HCUは、ナビゲーション装置を搭載する車両(A)において用いられ、ヘッドアップディスプレイによる表示を制御する表示制御装置の機能を有している。HCUは、ナビゲーション装置の経路案内に関連するナビ情報と、車両周囲の走行環境認識に基づく外界情報とを取得する。HCUは、ナビゲーション装置によって経路案内が行われる案内エリア(GA)において、経路案内コンテンツをヘッドアップディスプレイによって前景に重畳表示させる。そして、HCUは、ナビゲーション装置での経路案内の終了を通知する終了通知を利用することなく、外界情報を少なくとも用いた終了判定に基づき、経路案内コンテンツの表示を終了させる。

Description

表示制御装置及び表示制御プログラム 関連出願の相互参照
 この出願は、2019年8月23日に日本に出願された特許出願第2019-153138号、及び、2020年7月6日に日本に出願された特許出願第2020-116683号を基礎としており、基礎の出願の内容を、全体的に、参照により援用している。
 この明細書による開示は、ヘッドアップディスプレイによる表示を制御する表示制御装置及び表示制御プログラムに関する。
 例えば特許文献1には、右左折等の経路案内を行うための矢印等の誘導表示を、ヘッドアップディスプレイを用いて前景に重畳表示させる車両用表示装置が記載されている。特許文献1の車両用表示装置は、誘導表示を開始させるタイミングを、種々の条件を用いて制御する。
国際公開第2015/118859号
 特許文献1には、矢印等の誘導表示を終了させるタイミングの詳細が明示されていない。そのため、誘導表示を終了させるタイミングが適切に設定されず、乗員に違和感を与え易い情報提示となる虞があった。
 本開示は、乗員に違和感を与え難い情報提示が可能な表示制御装置及び表示制御プログラムの提供を目的とする。
 上記目的を達成するため、開示された一つの態様は、経路案内を行うナビゲーション装置を搭載する車両において用いられ、ヘッドアップディスプレイによる表示を制御する表示制御装置であって、ナビゲーション装置にて実施される経路案内に関連するナビ情報を取得するナビ情報取得部と、車両の周囲の走行環境認識に基づく外界情報を取得する外界情報取得部と、ナビゲーション装置による経路案内が行われる案内エリアにおいて、経路案内を行う重畳コンテンツをヘッドアップディスプレイによって前景に重畳表示させる表示制御部と、を備え、表示制御部は、ナビゲーション装置での経路案内の終了を通知する終了通知を利用することなく、外界情報を少なくとも用いた終了判定に基づき、重畳コンテンツの表示を終了させる表示制御装置とされる。
 また開示された一つの態様は、経路案内を行うナビゲーション装置を搭載する車両において用いられ、ヘッドアップディスプレイによる表示を制御する表示制御プログラムであって、少なくとも一つの処理部に、ナビゲーション装置にて実施される経路案内に関連するナビ情報を取得し、車両の周囲の走行環境認識に基づく外界情報を取得し、ナビゲーション装置による経路案内が行われる案内エリアにおいて、経路案内を行う重畳コンテンツをヘッドアップディスプレイによって前景に重畳表示させ、ナビゲーション装置での経路案内の終了を通知する終了通知を利用することなく、外界情報を少なくとも用いた終了判定に基づき、重畳コンテンツの表示を終了させる、ことを含む処理を実施させる表示制御プログラムとされる。
 これらの態様では、車両の周囲の外界情報を少なくとも用いた終了判定の実施により、経路案内を行う重畳コンテンツは、ナビゲーション装置での経路案内の終了タイミングに依拠することなく、適切なタイミングで表示を終了され得る。以上によれば、重畳コンテンツを用いていても、乗員に違和感を与え難い情報提示が可能になる。
 また開示された一つの態様は、車両において用いられ、画面表示器及びヘッドアップディスプレイによる表示を制御する表示制御装置であって、車両の周囲の走行環境認識に基づく外界情報を取得する外界情報取得部と、経路案内画像を画面表示器に画面表示させる案内エリアにおいて、経路案内を行う重畳コンテンツをヘッドアップディスプレイによって前景に重畳表示させる表示制御部と、を備え、表示制御部は、画面表示器による経路案内画像の表示を終了させるよりも早く、外界情報を少なくとも用いた終了判定に基づき、重畳コンテンツの表示を終了させる表示制御装置とされる。
 また開示された一つの態様は、経路案内を行うナビゲーション装置を搭載する車両において用いられ、ヘッドアップディスプレイによる表示を制御する表示制御装置であって、ナビゲーション装置にて実施される経路案内に関連するナビ情報を取得するナビ情報取得部と、車両の周囲の走行環境認識に基づく外界情報を取得する外界情報取得部と、ナビゲーション装置が経路案内画像を画面表示させる案内エリアにおいて、経路案内を行う重畳コンテンツをヘッドアップディスプレイによって前景に重畳表示させる表示制御部と、を備え、表示制御部は、ナビゲーション装置が経路案内画像の表示を終了させるよりも早く、外界情報を少なくとも用いた終了判定に基づき、重畳コンテンツの表示を終了させる表示制御装置とされる。
 また開示された一つの態様は、車両において用いられ、画面表示器及びヘッドアップディスプレイによる表示を制御する表示制御プログラムであって、少なくとも一つの処理部に、車両の周囲の走行環境認識に基づく外界情報を取得し、経路案内画像を画面表示器に画面表示させる案内エリアにおいて、経路案内を行う重畳コンテンツをヘッドアップディスプレイによって前景に重畳表示させ、画面表示器による経路案内画像の表示を終了させるよりも早く、外界情報を少なくとも用いた終了判定に基づき、重畳コンテンツの表示を終了させる、ことを含む処理を実施させる表示制御プログラムとされる。
 また開示された一つの態様は、経路案内を行うナビゲーション装置を搭載する車両において用いられ、ヘッドアップディスプレイによる表示を制御する表示制御プログラムであって、少なくとも一つの処理部に、ナビゲーション装置にて実施される経路案内に関連するナビ情報を取得し、車両の周囲の走行環境認識に基づく外界情報を取得し、ナビゲーション装置が経路案内画像を画面表示させる案内エリアにおいて、経路案内を行う重畳コンテンツをヘッドアップディスプレイによって前景に重畳表示させ、ナビゲーション装置が経路案内画像の表示を終了させるよりも早く、外界情報を少なくとも用いた終了判定に基づき、重畳コンテンツの表示を終了させる、ことを含む処理を実施させる表示制御プログラムとされる。
 これらの態様では、車両の周囲の外界情報を少なくとも用いた終了判定の実施により、経路案内を行う重畳コンテンツは、経路案内画像の表示終了よりも早いタイミングで、適切に表示を終了され得る。以上によれば、重畳コンテンツを用いていても、乗員に違和感を与え難い情報提示が可能になる。
 また開示された一つの態様は、車線変更機能を搭載する車両において用いられ、ヘッドアップディスプレイによる表示を制御する表示制御装置であって、車両の周囲の走行環境認識に基づく外界情報を取得する外界情報取得部と、車線変更機能による車線変更が行われるシーンにおいて、車線変更での移動方向を示す重畳コンテンツをヘッドアップディスプレイによって前景に重畳表示させ、外界情報を少なくとも用いた終了判定に基づき、重畳コンテンツの表示を終了させる表示制御部と、を備える表示制御装置とされる。
 また開示された一つの態様は、車線変更機能を搭載する車両において用いられ、ヘッドアップディスプレイによる表示を制御する表示制御プログラムであって、少なくとも一つの処理部に、車線変更機能による車線変更が行われるシーンにおいて、車両の周囲の走行環境認識に基づく外界情報を取得し、車線変更での移動方向を示す重畳コンテンツをヘッドアップディスプレイによって前景に重畳表示させ、外界情報を少なくとも用いた終了判定に基づき、重畳コンテンツの表示を終了させる、ことを含む処理を実施させる表示制御プログラムとされる。
 これらの態様では、車両の周囲の外界情報を少なくとも用いた終了判定の実施により、車線変更での移動方向を示す重畳コンテンツは、適切なタイミングで表示を終了され得る。以上によれば、重畳コンテンツを用いていても、乗員に違和感を与え難い情報提示が可能になる。
 尚、請求の範囲等における括弧内の参照番号は、後述する実施形態における具体的な構成との対応関係の一例を示すものにすぎず、技術的範囲を何ら制限するものではない。
本開示の第一実施形態によるHCUを含む車載ネットワークの全体像を示す図である。 車両に搭載されるヘッドアップディスプレイの一例を示す図である。 第一実施形態におけるHCUの概略的な構成の一例を示す図である。 右折案内のシーンにおける各車載表示デバイスの表示遷移の詳細を示す図である。 図4に示す経路案内のシーンにて、HUDにより表示される重畳コンテンツ及び非重畳コンテンツの具体例を示す図である。 多叉路での右折シーンにおける経路案内の詳細を説明するための図である。 Y字路での経路案内の詳細を説明するための図である。 一時停止のある交差点での経路案内の詳細を説明するための図である。 右折シーンと左折シーンとの経路案内を比較して説明するための図である。 左分岐案内のシーンにおける各車載表示デバイスの表示遷移の詳細を示す図である。 図10に示す経路案内のシーンにて、HUDにより表示される重畳コンテンツ及び非重畳コンテンツの具体例を示す図である。 図11に示す表示遷移の変形例を示す図である。 自動車線変更のシーンにおける各車載表示デバイスの表示遷移の詳細を示す図である。 図13に示す自動車線変更のシーンにて、HUDにより表示される重畳コンテンツの具体例を示す図である。 経路案内に関する表示制御処理の詳細を図16と共に示すフローチャートである。 図15と共に表示制御処理の詳細を示すフローチャートである。 自走車線変更の案内に関する表示制御処理の詳細を示すフローチャートである。 第二実施形態での車載ネットワークの全体像を示す図である。 第二実施形態のHCUの概略的な構成の一例を示す図である。 第二実施形態の経路案内に関する表示制御処理の詳細を図21と共に示すフローチャートである。 図20と共に表示制御処理の詳細を示すフローチャートである。 案内エリアにて道路のエッジを検出する方法の具体例を、交差点を形成する道路の形状毎に示す図である。 複数レーンを含む交差点での連続した経路案内において車両が誘導される走行経路の一例を示す図である。 図23に示す連続した経路案内での経路案内コンテンツの考え方を説明するための図である。 交差点が画角外にある場合の経路案内に用いる経路案内コンテンツの表示例を示す図である。
 以下、本開示の複数の実施形態を図面に基づいて説明する。尚、各実施形態において対応する構成要素には同一の符号を付すことにより、重複する説明を省略する場合がある。各実施形態において構成の一部分のみを説明している場合、当該構成の他の部分については、先行して説明した他の実施形態の構成を適用することができる。また、各実施形態の説明において明示している構成の組み合わせばかりではなく、特に組み合わせに支障が生じなければ、明示していなくても複数の実施形態の構成同士を部分的に組み合わせることができる。そして、複数の実施形態及び変形例に記述された構成同士の明示されていない組み合わせも、以下の説明によって開示されているものとする。
 (第一実施形態)
 本開示の第一実施形態による表示制御装置の機能は、図1及び図2に示すHCU(Human Machine Interface Control Unit)100によって実現されている。HCU100は、車両Aにおいて用いられるHMI(Human Machine Interface)システム10を、ヘッドアップディスプレイ(以下、HUD)20等と共に構成している。HMIシステム10には、メータディスプレイ23、操作デバイス26及びDSM(Driver Status Monitor)27等がさらに含まれている。HMIシステム10は、車両Aの乗員(例えばドライバ等)によるユーザ操作を受け付ける入力インターフェース機能と、ドライバへ向けて情報を提示する出力インターフェース機能とを備えている。
 HMIシステム10は、車両Aに搭載された車載ネットワーク1の通信バス99に通信可能に接続されている。通信バス99には、周辺監視センサ30、ロケータ40、DCM49、運転支援ECU(Electronic Control Unit)50、及びナビゲーション装置55、ステアECU61、ボディECU63等が接続されている。通信バス99に接続されたこれらのノードは、相互に通信可能である。これら装置及びECUのうちの特定ノード同士は、相互に直接的に電気接続され、通信バス99を介することなく通信を実施可能であってよい。
 尚、以下の説明における前後(図2 前方Ze及び後方Go参照)及び左右(図2 側方Yo参照)の各方向は、水平面上に静止させた車両Aを基準として規定される。具体的に、前後方向は、車両Aの長手方向(進行方向)に沿って規定される。また左右方向は、車両Aの幅方向に沿って規定される。さらに、上下(図2 上方Ue及び下方Si参照)の方向は、前後方向及び左右方向を規定した水平面の鉛直方向に沿って規定される。また、記載の簡略化のため、各方向を示す符号の記載を適宜省略する場合がある。
 周辺監視センサ30は、車両Aの周辺環境を監視する自律センサである。周辺監視センサ30は、自車周囲の検出範囲から、歩行者、サイクリスト、人間以外の動物、及び他車両等の移動物体、さらに路上の落下物、ガードレール、縁石、道路標識、走行区画線等の路面標示、及び道路端等の静止物体を検出可能である。周辺監視センサ30は、車両Aの周囲の物体を検出した検出情報を、通信バス99を通じて、運転支援ECU50等に提供する。
 周辺監視センサ30は、物体検出のための検出構成として、フロントカメラ31及びミリ波レーダ32を有している。フロントカメラ31は、車両Aの前方範囲を撮影した撮像データ、及び撮像データの解析結果の少なくとも一方を、検出情報として出力する。ミリ波レーダ32は、例えば車両Aの前後の各バンパーに互いに間隔を開けて複数配置されている。ミリ波レーダ32は、ミリ波又は準ミリ波を、車両Aの前方範囲、前側方範囲、後方範囲及び後側方範囲等へ向けて照射する。ミリ波レーダ32は、移動物体及び静止物体等で反射された反射波を受信する処理により、検出情報を生成する。尚、ライダ及びソナー等の検出構成が、周辺監視センサ30に含まれていてもよい。
 ロケータ40は、複数の取得情報を組み合わせる複合測位により、車両Aの高精度な位置情報等を生成する。ロケータ40は、GNSS(Global Navigation Satellite System)受信器41、慣性センサ42、高精度地図データベース(以下、高精度地図DB)43、及びロケータECU44を含む構成である。
 GNSS受信器41は、複数の人工衛星(測位衛星)から送信された測位信号を受信する。慣性センサ42は、例えばジャイロセンサ及び加速度センサを有している。高精度地図DB43は、不揮発性メモリを主体に構成されており、ナビゲーション装置55にて用いられる地図データよりも高精度な地図データ(以下、高精度地図データ)を記憶している。高精度地図データは、少なくとも高さ(z)方向の情報について、詳細な情報を保持している。高精度地図データには、道路の三次元形状情報、レーン数情報、各レーンに許容された進行方向を示す情報等、高度運転支援及び自動運転に利用可能な情報が含まれている。
 ロケータECU44は、プロセッサ、RAM、記憶部、入出力インターフェース、及びこれらを接続するバス等を備えたマイクロコンピュータを主体として含む構成である。ロケータECU44は、GNSS受信器41で受信する測位信号、慣性センサ42の計測結果、及び通信バス99に出力された車速情報等を組み合わせ、車両Aの自車位置及び進行方向等を逐次測位する。ロケータECU44は、測位結果に基づく車両Aの位置情報及び方角情報を、ロケータ情報として、ナビゲーション装置55、HCU100、運転支援ECU50等に提供可能である。ロケータECU44は、HCU100及び運転支援ECU50等からの要求に応じて、要求された高精度地図データを要求元のECUに提供可能である。
 DCM(Data Communication Module)49は、車両Aに搭載される通信モジュールである。DCM49は、LTE(Long Term Evolution)及び5G等の通信規格に沿った無線通信により、車両Aの周囲の基地局との間で電波を送受信する。DCM49の搭載により、車両Aは、インターネットに接続可能なコネクテッドカーとなる。DCM49は、クラウド上に設けられたサーバから、最新の高精度地図データを受信可能である。DCM49は、ロケータECU44と連携して、高精度地図DB43に格納された高精度地図データを、最新の情報に更新する。
 運転支援ECU50は、プロセッサ、RAM、記憶部、入出力インターフェース、及びこれらを接続するバス等を備えたコンピュータを主体として含む構成である。運転支援ECU50は、ドライバの運転操作を支援する運転支援機能を備えている。一例として、運転支援ECU50は、米国自動車技術会の規定する自動運転レベルにおいて、レベル2程度の高度な運転支援を可能にする。運転支援ECU50は、プロセッサによるプログラムの実行により、運転支援のための機能部として、走行環境認識部51、車線維持制御部52及び車線変更制御部53を有する。
 走行環境認識部51は、周辺監視センサ30から取得する検出情報に基づき、車両Aの周囲の走行環境を認識する。走行環境認識部51は、車線維持制御部52及び車線変更制御部53での運転制御に関連する物標として、道路の区画線、前走車及び並走車等を認識し、認識した物標の相対的な位置情報等を生成する。
 走行環境認識部51は、運転制御に直接的に関連する物標以外にも、経路案内に関連する物標を認識可能であり、認識した物標の相対的な位置情報及び種別情報等を生成する。詳記すると、走行環境認識部51は、車両Aが交差点GAi(図4参照)に接近する場合、交差点GAiに関連する物標(以下、交差点物標)を認識する。交差点物標は、交差点GAiの近傍又は手前側に存在する物標であり、具体的には、道路脇の道路標識、歩道線ROa,ROb及び停止線ROc等である。加えて走行環境認識部51は、交差点GAiを形成する道路のエッジを検出可能であり、二つのエッジの交点(以下、エッジ交点ROe,図4参照)を認識できる。一例として、走行環境認識部51は、交差点GAiの手前側且つ回頭側となる二つのエッジを検出し、これらのエッジ交点ROeを、交差点物標として認識する。走行環境認識部51は、十字路に限定されず、多叉路、Y字路、T字路及び環状交差点(ランナバウト)等、種々の形態の交差点GAiにおいて、手前側且つ回頭側の各エッジEd1,Ed2を検出する(図6~図9及び図22参照)。そして、走行環境認識部51は、検出した各エッジEd1,Ed2のエッジ交点ROeを認識する。
 また走行環境認識部51は、車両Aが分岐地点GAj(図10参照)又は合流地点に接近する場合、こうした分岐合流地点に関連する物標(以下、地点物標)を認識する。地点物標は、分岐合流地点の近傍又は手前側に存在する物標であり、具体的には、分岐合流地点までの距離を示す看板、本線レーン及び分岐レーンLnj間の境界線ROf(図10参照)、並びに分岐地点GAjの終端ROg(図10参照)等である。走行環境認識部51は、交差点物標の認識に基づく交差点物標情報、及び地点物標の認識に基づく地点物標情報等を、通信バス99に出力する。
 車線維持制御部52は、車両Aの車線内走行を制御するLTC(Lane Trace Control)又はLTA(Lane Tracing Assist)の機能を実現する機能部である。車線維持制御部52は、走行環境認識部51による走行環境の認識結果等に基づき、現在走行中の走行レーン(以下、自車レーンLns,図13参照)の概ね中央を辿る予定走行軌跡を生成する。車線維持制御部52は、車両Aの定速走行又は追従走行させるACC(Adaptive Cruise Control)機能に、LTC機能を連携させて、自車レーンに沿った走行(以下、車線内走行)を車両Aに継続させる運転制御を行う。車線維持制御部52は、LTC機能に関するステータス情報を、通信バス99を通じて、HCU100に逐次提供する。
 車線変更制御部53は、車両Aの車線変更を制御するLCA(Lane Change Assist)の機能を実現する機能部である。車線維持制御部52は、走行環境認識部51による走行環境の認識結果等に基づき、自車レーンLnsの中央と隣接レーンLnd(図13参照)の中央とを滑らかに結ぶ形状の予定走行軌跡PLC(図13参照)を生成する。車線変更制御部53は、LCA機能による車線変更の実行を指示するユーザ操作に基づき、車線維持制御部52による車線内走行の運転制御を一時的に中断させ、自車レーンLnsからの離脱を可能にする。こうした状態下、車線変更制御部53は、予定走行軌跡PLCに従い車両Aの操舵輪の舵角を自動制御することにより、自車レーンLnsから隣接レーンLndへと車両Aを移動させる。
 車線変更制御部53は、LCA機能に関するステータス情報と、予定走行軌跡PLCの形状情報等とを、通信バス99を通じて、HCU100に逐次提供する。ステータス情報は、LCA機能の作動状態が、起動直後の起動開始状態、車線変更開始を待機する待機状態、及び実行状態のいずれであるかを示す情報である。
 ナビゲーション装置55は、HMIシステム10と連携し、ドライバ等によって設定された目的地までの経路案内を実施する車載装置である。ナビゲーション装置55は、ナビゲーション用の地図データベース(以下、ナビ地図DB)56及びナビディスプレイ57を備えている。ナビ地図DB56は、不揮発性メモリを主体に構成されており、経路案内に使用する地図データ(以下、ナビ地図データ)を記憶している。ナビ地図データには、道路についてのリンクデータ及びノードデータ等が記載されている。
 ここで、ナビ地図データ及び高精度地図データは、互いに精度の異なる地図データである。特定の範囲について、高精度地図データに記録された情報は、ナビ地図データに記録された情報よりも高精度且つ高密度である。一方で、高精度地図データの整備された範囲が特定種別の道路(例えば、高速道路等)等に限定されるのに対し、ナビ地図データは、低精度の地図データではあるものの、一般道を含む広範囲について網羅的に整備されている。
 ナビディスプレイ57は、例えば液晶ディスプレイ及び有機ELディスプレイ等の画像表示器である。ナビディスプレイ57は、例えばインスツルメントパネル9の上面中央又はセンタークラスタ等に設置されている。ナビディスプレイ57の表示画面には、例えば経路案内画像Png(図4及び図10参照等)、ナビ地図データに基づくマップ画像及び目的地へ向けたルート情報等が表示される。
 ナビゲーション装置55は、操作デバイス26に入力された操作情報を取得し、ユーザ操作に基づく目的地と、当該目的地までの経路とを設定する。ナビゲーション装置55は、設定経路に含まれた案内エリアGAへの接近により、当該案内エリアGAにおける車両Aの進行方向を、ナビディスプレイ57による画面表示及び音声メッセージ等を組み合わせて、ドライバに案内する。
 案内エリアGAは、経路案内が行われるポイントである。案内エリアGAは、右左折を行う交差点GAi(図4参照)及び分岐合流地点等と、これらの手前側の範囲とを含むように設定される。さらに、目的地及び経由地の近傍に案内エリアGAが設定されてもよい。ナビゲーション装置55は、案内エリアGAにおいて、経路案内の開始を通知する開始通知、及び経路案内の終了を通知する終了通知、及び経路案内の内容を示す経路詳細情報等を、ナビ情報としてHCU100に提供する。経路詳細情報には、例えば交差点GAi又は分岐合流地点についての位置情報及び道路形状情報、並びに交差点GAi又は分岐合流地点にて車両Aが進むべき方向を示す方向情報が含まれている。
 ここで、ナビゲーション装置55に替えて、スマートフォン等のユーザ端末が、有線又は無線にて、車載ネットワーク1又はHCU100に電気接続されていてもよい。こうしたユーザ端末は、車両Aに搭載されたディスプレイオーディオと有線又は無線にて接続されていてもよい。ユーザ端末にて実行されるアプリケーション(ナビアプリ又は地図アプリ等)には、ユーザ操作に基づき、目的地までの経路が設定される。ユーザ端末は、ナビゲーション装置55と同様に、画面表示及び音声等を組み合わせた経路誘導と、HCU100へ向けたナビ情報の出力とを実行する。この場合、ユーザ端末又はユーザ端末及びディスプレイオーディが「車両Aに搭載されるナビゲーション装置」に相当する。
 ステアECU61は、車両Aの操舵制御システムに設けられたECUであり、マイクロコントローラを主体として含む構成である。ステアECU61は、ドライバによるステアリング操作及び運転支援ECU50より取得する制御コマンドの少なくとも一方に基づき、ステアリングアクチュエータの作動を制御することで、操舵輪の向き、ひいては車両Aの進行方向を規定する。ステアECU61は、ステアリングホイールの回転方向及び回転角度(ハンドル角)又は操舵輪の転舵方向及び実舵角を、操舵情報として運転支援ECU50及びHCU100等に提供可能である。
 ボディECU63は、マイクロコントローラを主体として含む制御装置である。ボディECU63は、車両Aに搭載された灯火装置の作動を制御する機能を少なくとも有している。ボディECU63は、方向指示スイッチ64と電気的に接続されている。方向指示スイッチ64は、ステアリングコラム部8に設けられたレバー状の操作部である。ボディECU63は、方向指示スイッチ64へ入力されるユーザ操作の検知に基づき、操作方向に対応した左右いずれかの方向指示器の点滅を開始させる。
 方向指示スイッチ64には、方向指示器の点滅作動を開始させる通常のユーザ操作に加えて、LTC機能が作動した状態にて、車線変更制御部53に車線変更制御の実施を指示するオン操作が入力される。一例として、方向指示スイッチ64を所定時間(例えば1~3秒程度)半押し状態とするユーザ操作が、LCA機能のオン操作とされている。ボディECU63は、LCA機能のオン操作の入力を検知すると、運転支援ECU50へ向けてオン操作情報を出力する。ボディECU63は、運転支援ECU50と連携し、LCA機能による自動車線変更の実行期間中において、方向指示器の点滅を継続させる。ボディECU63は、方向指示器の点滅の作動状態を示す作動情報を、通信バス99を通じてHCU100に提供する。
 次に、HMIシステム10に含まれるメータディスプレイ23、操作デバイス26、DSM27、HUD20及びHCU100の各詳細を順に説明する。
 メータディスプレイ23は、ナビディスプレイ57及びHUD20等と共に、複数の車載表示デバイスの一つとして、車両Aに搭載されている。メータディスプレイ23は、例えば液晶ディスプレイ及び有機ELディスプレイ等の画像表示器である。メータディスプレイ23は、運転席の正面に設置され、運転席のヘッドレスト部分に表示画面を向けている。メータディスプレイ23は、HCU100と電気的に接続されており、HCU100によって生成された映像データを逐次取得する。メータディスプレイ23は、映像データに基づき、車速を示す指針表示画像、及び各車載機能のステータス情報を示すインジケータ画像等を、表示画面に表示する。さらに、メータディスプレイ23は、経路案内を行うTBT(Turn by Turn)画像Pmg(図4及び図10参照)、及び運転支援機能の作動状態を示すステータス画像等を、表示画面に表示する。ステータス画像には、例えばLCA機能による車線変更が行われるシーンにおいて、車線変更の実施を通知する車線変更画像Pmc(図13参照)が含まれている。
 操作デバイス26は、ドライバ等によるユーザ操作を受け付ける入力部である。操作デバイス26には、例えば運転支援機能及び自動運転機能等について、起動及び停止の切り替えを行うユーザ操作が入力される。具体的には、ステアリングホイールのスポーク部に設けられたステアスイッチ、ステアリングコラム部8に設けられた操作レバー、及びドライバの発話を検出する音声入力装置等が、操作デバイス26に含まれる。
 DSM27は、近赤外光源及び近赤外カメラと、これらを制御する制御ユニットとを含む構成である。DSM27は、運転席のヘッドレスト部分に近赤外カメラを向けた姿勢にて、例えばステアリングコラム部8の上面又はインスツルメントパネル9の上面等に設置されている。DSM27は、近赤外光源によって近赤外光を照射されたドライバの頭部を、近赤外カメラによって撮影する。近赤外カメラによる撮像画像は、制御ユニットによって画像解析される。制御ユニットは、アイポイントEPの位置及び視線方向等の情報を撮像画像から抽出し、抽出した状態情報をHCU100へ向けて逐次出力する。
 HUD20は、HCU100と電気的に接続されており、HCU100によって生成された映像データを逐次取得する。HUD20は、映像データに基づき、経路情報、標識情報、及び各車載機能のステータス情報等、車両Aに関連する種々の情報を、虚像Viを用いてドライバに提示する。
 HUD20は、ウィンドシールドWSの下方にて、インスツルメントパネル9内の収容空間に収容されている。HUD20は、虚像Viとして結像される光を、ウィンドシールドWSの投影範囲PAへ向けて投影する。ウィンドシールドWSに投影された光は、投影範囲PAにおいて運転席側へ反射され、ドライバによって知覚される。ドライバは、投影範囲PAを通して見える前景に、虚像Viが重畳された表示を視認する。
 HUD20は、プロジェクタ21及び拡大光学系22を備えている。プロジェクタ21は、LCD(Liquid Crystal Display)パネル及びバックライトを有している。プロジェクタ21は、LCDパネルの表示面を拡大光学系22へ向けた姿勢にて、HUD20の筐体に固定されている。プロジェクタ21は、映像データの各フレーム画像をLCDパネルの表示面に表示し、当該表示面をバックライトによって透過照明することで、虚像Viとして結像される光を拡大光学系22へ向けて射出する。拡大光学系22は、凹面鏡等の光学素子を、少なくとも一つ含む構成である。拡大光学系22は、プロジェクタ21から射出された光を反射によって広げつつ、上方の投影範囲PAに投影する。
 HUD20には、画角VAが設定される。HUD20にて虚像Viを結像可能な空間中の仮想範囲を結像面ISとすると、画角VAは、ドライバのアイポイントEPと結像面ISの外縁とを結ぶ仮想線に基づき規定される視野角である。画角VAは、アイポイントEPから見て、ドライバが虚像Viを視認できる角度範囲となる。HUD20では、垂直方向における垂直画角(例えば4~5°程度)よりも、水平方向における水平画角(例えば10~12°程度)の方が大きくされている。アイポイントEPから見たとき、結像面ISと重なる前方範囲が画角VA内の範囲となる。
 HUD20は、重畳コンテンツCTs(図5等参照)及び非重畳コンテンツCTn(図5等参照)を、虚像Viとして表示する。重畳コンテンツCTsは、拡張現実(Augmented Reality,以下、AR)表示に用いられるAR表示物である。重畳コンテンツCTsの表示位置は、例えば路面の特定位置、前方車両、歩行者及び道路標識等、前景に存在する特定の重畳対象に関連付けられている。重畳コンテンツCTsは、前景中にある特定の重畳対象に重畳表示され、当該重畳対象に相対固定されているように、重畳対象を追って、ドライバの見た目上で移動可能である。即ち、ドライバのアイポイントEPと、前景中の重畳対象と、重畳コンテンツCTsとの相対的な位置関係は、継続的に維持される。そのため、重畳コンテンツCTsの形状は、重畳対象の相対位置及び形状に合わせて、所定の周期で更新され続ける。重畳コンテンツCTsは、非重畳コンテンツCTnよりも水平に近い姿勢で表示され、例えばドライバから見た奥行き方向に延伸した表示形状とされる。
 非重畳コンテンツCTnは、前景に重畳表示される表示物のうちで、重畳コンテンツCTsを除いた非AR表示物である。非重畳コンテンツCTnは、重畳コンテンツCTsとは異なり、重畳対象を特定されないで、前景に重畳表示される。非重畳コンテンツCTnの表示位置は、特定の重畳対象に関連付けられていない。非重畳コンテンツCTnの表示位置は、投影範囲PA(画角VA)内の決まった位置とされる。故に、非重畳コンテンツCTnは、ウィンドシールドWS等の車両構成に相対固定されているように表示される。加えて非重畳コンテンツCTnの形状は、実質的に一定とされる。尚、車両Aと重畳対象との位置関係に起因し、非重畳コンテンツCTnであっても、重畳コンテンツCTsの重畳対象に重畳表示されるタイミングが発生してもよい。
 HCU100は、HMIシステム10において、メータディスプレイ23及びHUD20等の車載表示デバイスによる表示を統合的に制御する電子制御装置である。HCU100は、処理部11、RAM12、記憶部13、入出力インターフェース14、及びこれらを接続するバス等を備えたコンピュータを主体として含む構成である。処理部11は、RAM12と結合された演算処理のためのハードウェアである。処理部11は、CPU(Central Processing Unit)及びGPU(Graphics Processing Unit)等の演算コアを少なくとも一つ含む構成である。処理部11は、FPGA(Field-Programmable Gate Array)及び他の専用機能を備えたIPコア等をさらに含む構成であってよい。RAM12は、映像生成のためのビデオRAMを含む構成であってよい。処理部11は、RAM12へのアクセスにより、本開示の表示制御方法を実現するための種々の処理を実行する。記憶部13は、不揮発性の記憶媒体を含む構成である。記憶部13には、処理部11によって実行される種々のプログラム(表示制御プログラム等)が格納されている。
 図1~図3に示すHCU100は、記憶部13に記憶された表示制御プログラムを処理部11によって実行することで、HUD20によるコンテンツの重畳表示を制御するための複数の機能部を有する。具体的に、HCU100には、視点位置特定部71、ナビ情報取得部72、地図データ取得部73、制御情報取得部74、状態情報取得部75及び表示生成部76等の機能部が構築される。
 視点位置特定部71は、DSM27から取得する状態情報に基づき、運転席に着座しているドライバのアイポイントEPの位置を特定する。視点位置特定部71は、アイポイントEPの位置を示す三次元の座標(以下、アイポイント座標)を生成し、生成したアイポイント座標を、表示生成部76に逐次提供する。
 ナビ情報取得部72は、ナビゲーション装置55からナビ情報を取得し、取得したナビ情報を表示生成部76に提供する。ナビ情報取得部72は、上述の開始通知、経路詳細情報、及び終了通知を逐次取得し、ナビゲーション装置55にて実施される経路案内の内容を把握する。
 地図データ取得部73は、表示生成部76にて重畳コンテンツCTsの生成に用いられる地図データとして、ナビ地図データ及び高精度地図データを取得可能である。地図データ取得部73は、高精度地図データの整備された道路範囲では、高精度地図データをロケータ情報と共にロケータECU44より取得する。地図データ取得部73は、高精度地図データが未整備の道路範囲において、ナビゲーション装置55への要求により、高精度地図データの代替として使用するナビ地図データを取得する。以上のように、ナビゲーション装置55は、高精度地図データをナビ地図データに対して優先的に取得する。ナビゲーション装置55は、取得した高精度地図データ又はナビ地図データを、表示生成部76に提供する。
 制御情報取得部74は、走行環境認識に基づく外界情報と、LTC機能及びLCA機能の各ステータス情報等とを運転支援ECU50より取得する。制御情報取得部74は、取得した外界情報及びステータス情報を表示生成部76に逐次提供する。制御情報取得部74は、経路案内を行う案内エリアGAの近傍にて、主としてフロントカメラ31の検出情報に基づく交差点物標情報及び地点物標情報を、外界情報として取得可能である。制御情報取得部74は、運転支援ECU50にてLTC機能が実行状態にある場合、自車レーンLns(図13参照)の左右の境界認識情報又は予定走行軌跡の形状情報等を運転支援ECU50より取得する。制御情報取得部74は、運転支援ECU50にてLCA機能が実行状態にある場合、隣接レーンLnd(図13参照)の境界認識情報及び予定走行軌跡PLC(図13参照)の形状情報等を運転支援ECU50より取得する。加えて制御情報取得部74は、自車レーンLns及び隣接レーンLnd間の境界線ROf(図13参照)について、相対位置及び形状を示す情報を、外界情報として取得する。
 状態情報取得部75は、ドライバの操作に関連する操作情報を取得する。具体的に、状態情報取得部75は、ステアリング操作を示す操作情報として、上述の操舵情報をステアECU61より取得する。加えて状態情報取得部75は、方向指示器の作動状態(オン及びオフ)を示す作動情報を、ボディECU63より取得する。状態情報取得部75は、取得した操舵情報及び作動情報を、表示生成部76に逐次提供する。
 表示生成部76は、メータディスプレイ23及びHUD20に逐次出力される映像データを生成することで、メータディスプレイ23及びHUD20によるドライバへの情報提示を制御する。表示生成部76は、虚像Viとして表示される各コンテンツの元画像を、HUD20へ向けて出力する映像データの個々のフレーム画像に描画する。表示生成部76は、重畳コンテンツCTs(図5等参照)の元画像をフレーム画像に描画する場合、アイポイントEP及び重畳対象の各位置に応じて、フレーム画像における元画像の描画位置及び描画形状を補正する。その結果、重畳コンテンツCTsは、アイポイントEPから見たとき、重畳対象に正しく重畳される位置及び形状で表示されるようになる。
 表示生成部76は、重畳コンテンツCTsを重畳対象に追従させるため、結像面ISにおける虚像Viの結像形状を決定するシミュレーション演算を繰り返す。表示生成部76は、ナビ情報、ロケータ情報及び地図データ等に基づき、車両Aの現在の走行環境を仮想空間中に再現する。表示生成部76は、仮想の三次元空間の基準位置に自車オブジェクトを設定し、高精度地図データの示す形状の道路モデルを、ロケータ情報に基づき、自車オブジェクトに関連付けて、三次元空間にマッピングする。さらに表示生成部76は、自車オブジェクトに関連付けて、ドライバのアイポイントEPに対応する仮想位置に、仮想視点位置を設定する。自車オブジェクトに対する仮想視点位置は、視点位置特定部71にて取得される最新のアイポイント座標に基づき、逐次補正される。
 表示生成部76は、三次元空間の道路モデルの路面上に、仮想オブジェクトを配置する。仮想オブジェクトは、重畳コンテンツCTsの形状を規定するオブジェクトである。表示生成部76は、記憶部13等に予め記憶された結像面ISの車両Aに対する座標情報を参照し、仮想空間中の仮想オブジェクトと仮想視点位置との間に、結像面ISを規定する。表示生成部76は、仮想視点位置から仮想オブジェクトへ向かう仮想視線に沿って、仮想オブジェクトを結像面ISに投影した形状を、虚像Viの結像形状として決定する。表示生成部76は、決定した形状の虚像Viが結像面ISに結像されるように、拡大光学系22及び投影範囲PAの拡大率及び歪みを考慮し、重畳コンテンツCTsの元画像を映像データに描画する。
 さらに、表示生成部76は、高精度地図データが取得できない場合、ナビ地図データを用いて道路モデルをマッピングする。この場合、三次元空間中に再現される道路モデルの再現度及び精度は、高精度地図データを使用した場合よりも低くなる。また、表示生成部76は、高精度地図データが取得できない場合、運転支援ECU50を通じて提供されるフロントカメラ31の検出情報を、ナビ地図データと共に道路モデルのマッピングに使用可能である。具体的には、停止線ROc(図4及び図8参照)、横断歩道の歩道線ROa,ROb(図4参照)、左右の区画線(図13 境界線ROf)及び路側のエッジ等、検出された交差点物標及び地点物標が道路モデルにマッピングされる。こうした処理は、フロントカメラ31の検出情報を用いて自車の推定位置を補正する補正処理となる。
 表示生成部76は、案内エリアGAでの経路案内のシーンにおいて、経路案内コンテンツCTsg及び経路案内アイコンCTng等を、HUD20によって表示させる(図5及び図11参照)。また表示生成部76は、LCA機能及びLTC機能が作動しているシーンにおいて、それぞれLCAコンテンツCTlc及びLTCコンテンツCTlt等を、HUD20によって表示させる(図14参照)。
 経路案内コンテンツCTsg(図5及び図11参照)は、案内エリアGAにおいて経路案内を行う重畳コンテンツCTsである。一例として、経路案内コンテンツCTsgは、二本線状を呈し、走行中のレーンの路面のうちで、左右の各区画線の近傍を重畳対象とされる。経路案内コンテンツCTsgは、路面に貼り付いたように表示され、細帯状に延伸する形状により、右左折、車線変更及び直進等、案内エリアGAにて選択すべき運転行動、換言すれば、案内エリアGAでの走行経路を、ドライバに通知する。経路案内コンテンツCTsgは、車両Aの走行に合わせて、アイポイントEPから見える路面形状に適合するように、所定の更新周期で描画形状を更新される。
 経路案内アイコンCTng(図5及び図11参照)は、非重畳コンテンツCTnであり、経路案内コンテンツCTsgと同様に、案内エリアGAでの経路案内に用いられる。経路案内アイコンCTngは、予め規定された形状で、予め規定された画角VA内の位置に表示される。一例として、経路案内アイコンCTngは、複数の三角形状が車両Aの進行方向へ向けて飛翔するようなアニメーション表示とされる。経路案内アイコンCTngは、経路案内コンテンツCTsgと共に表示されてもよく(図12参照)、又は経路案内コンテンツCTsgと排他的に表示されてもよい(図11参照)。
 LTCコンテンツCTlt(図14参照)は、LTC機能による車線内走行が行われるシーンにおいて、車線内走行の予定走行軌跡を示す重畳コンテンツCTsである。LTCコンテンツCTltは、LTC機能の実行状態を示すステータス情報に基づき表示される。一例として、LTCコンテンツCTltは、一本線状を呈し、走行中のレーンの路面を重畳対象とされる。LTCコンテンツCTltは、制御情報取得部74にて取得される自車レーンLnsの境界認識情報又は予定走行軌跡の形状情報等に基づき、画角VA内に視認される自車レーンLnsの路面形状に合わせて、所定の更新周期で描画形状を更新される。
 LCAコンテンツCTlc(図14参照)は、LCA機能による車線変更が行われるシーンにおいて、車線変更での移動方向を示す重畳コンテンツCTsである。LCAコンテンツCTlcは、LCA機能の実行状態を示すステータス情報に基づき表示される。一例として、LCAコンテンツCTlcは、自動車線変更での移動先となる隣接レーンLnd(図14参照)の路面を塗り潰すような様態で表示される。別の一例として、LCAコンテンツCTlcは、予定走行軌跡PLC(図13参照)を示す帯状に表示されてもよい。LCAコンテンツCTlcは、LTCコンテンツCTltと排他的に表示される。LCAコンテンツCTlcは、制御情報取得部74にて取得される隣接レーンLndの境界認識情報又は予定走行軌跡PLCの形状情報等に基づき、画角VA内に視認される隣接レーンLndの路面形状に合わせて、所定の更新周期で描画形状を更新される。
 次に、交差点GAi及び分岐地点GAjでの経路案内のシーンと、LCA機能による自動車線変更のシーンとにおける各車載表示デバイスの表示遷移の詳細を、図4~図14に基づき、図1~図3を参照しつつ、以下説明する。
 尚、経路案内が行われる交差点GAi及び分岐地点GAjでは、ナビゲーション装置55にて、ナビ地図データに基づく基準位置GPが設定される。交差点GAiにおける基準位置GPは、一例として、ナビ地図データにおける交差点GAiの中心ノードとされる(図4参照)。また、分岐地点GAjにおける基準位置GPは、一例として、分岐地点GAjの終端ROgに最も近いノードとされる(図10参照)。
 <交差点での経路案内シーン>
 図4及び図5に示す交差点GAiでの右折案内のシーンでは、基準位置GPまでの残距離Drが所定距離(一例として、一般道で300m程度)となる位置(ポイントP1参照)で、ナビゲーション装置55は、右折経路の案内を開始する。ナビゲーション装置55は、ポイントP1にて、ナビディスプレイ57による経路案内画像Pngの表示を開始させると共に、経路案内の開始を通知する開始通知及び経路案内の内容を示す経路詳細情報を、通信バス99に出力する。
 ナビゲーション装置55より出力された開始通知及び経路詳細情報は、HCU100にて、ナビ情報取得部72によりナビ情報として取得される。こうした開始通知に基づき、表示生成部76は、メータディスプレイ23によるTBT画像Pmgの表示と、HUD20による経路案内コンテンツCTsgの重畳表示とを開始させる。表示生成部76は、経路詳細情報に基づき、TBT画像Pmg及び経路案内コンテンツCTsgの各描画形状を決定する。以上により、経路案内画像Pngの表示開始と実質的に同じタイミングか、又は僅かに遅れたタイミングで、経路案内画像Pngと実質的に同じ内容の経路案内を行うTBT画像Pmg及び経路案内コンテンツCTsgの表示が開始される。
 運転支援ECU50は、車両Aの交差点GAiへの接近に基づき、交差点GAiに関連する交差点物標情報を走行環境認識部51にて生成し、通信バス99に出力する。運転支援ECU50より出力された交差点物標情報は、HCU100にて、制御情報取得部74により外界情報として取得される。
 表示生成部76は、交差点物標を基準として、経路案内アイコンCTngの表示開始位置(ポイントP2参照)、及び経路案内コンテンツCTsgの表示終了位置(ポイントP3参照)を、交差点GAiの手前側に設定する。尚、ポイントP2は、ポイントP3よりも、交差点GAiの基準位置GPから離れていてもよく、ポイントP3と同じ位置であってもよい。
 表示生成部76は、交差点GAiに対する自車(車両A)の位置をロケータ情報及び外界情報に基づき、継続的に把握する。表示生成部76は、車両Aが表示開始位置(ポイントP2参照)に到達すると、映像データへの経路案内アイコンCTngの元画像の描画を開始する。その結果、HUD20は、経路案内コンテンツCTsg及び経路案内アイコンCTngを共に虚像表示させた状態となる。表示生成部76は、車両Aが表示終了位置(ポイントP3参照)に到達すると、映像データへの経路案内コンテンツCTsgの元画像の描画を中止する。その結果、経路案内コンテンツCTsgが非表示となり、HUD20は、経路案内アイコンCTngのみによって経路案内を継続する状態となる。以上のように、表示生成部76は、ナビゲーション装置55からの終了通知を利用することなく、交差点物標情報(外界情報)を用いた終了判定に基づき、経路案内コンテンツCTsgの表示を終了させる。
 交差点GAiでの右折を完了した車両AがポイントP4に到達すると、ナビゲーション装置55は、経路案内を終了する。基準位置GPからポイントP4までの距離は、例えば30~50m程度とされる。ポイントP4は、例えば交差点GAiを通過した後の最初のノードの位置に設定される。ナビゲーション装置55は、ポイントP4にて、ナビディスプレイ57による経路案内画像Pngの表示を終了させると共に、経路案内の終了を通知する終了通知を、通信バス99に出力する。
 HCU100では、ナビゲーション装置55より出力された終了通知が、ナビ情報取得部72にてナビ情報として取得される。こうした終了通知に基づき、表示生成部76は、ポイントP4にて、メータディスプレイ23によるTBT画像Pmgの表示と、HUD20による経路案内アイコンCTngの表示とを、共に終了させる。以上により、経路案内画像Pngの表示終了と実質的に同じタイミングで、又は僅かに遅れたタイミングで、TBT画像Pmg及び経路案内アイコンCTngの表示が終了される。
 ここまで説明したように、表示生成部76は、非重畳コンテンツCTnの表示開始判定の成立条件と、重畳コンテンツCTsの表示終了判定の成立条件とを設定する。表示生成部76は、認識可能な交差点物標を交差点GAi毎に特定し、特定した交差点物標を基準として利用することにより、上述の開始判定及び終了判定を成立させる。
 一例として、表示生成部76は、交差点物標である停止線ROc、歩道線ROa,ROb、道路標識、信号機、案内看板及び道路構造等の相対位置を示す外界情報(交差点物標情報)を利用し、開始判定及び終了判定を成立させる。また別の一例として、表示生成部76は、停止線ROc、歩道線ROa,ROb及び道路標識等のいずれも認識されない交差点GAiにて、交差点GAiのノード又は道路構造のエッジ交点ROeを基準として利用し、開始判定及び終了判定を成立させる。
 表示生成部76は、交差点物標及びエッジ交点ROe等を利用した複数パターンの条件を、終了判定の成立条件に設定可能である。具体的に、表示生成部76は、停止線ROc又は歩道線ROa,RObを自車が超えたこと(以下、条件1)を、終了判定の成立条件にできる。また、表示生成部76は、停止線ROc、歩道線ROa,ROb、道路標識、及び交差点GAiのノードのいずれか一つまでの距離が閾値未満となったこと(以下、条件2)を、終了判定の成立条件にできる。さらに、表示生成部76は、停止線ROc又は歩道線ROa,RObを超え、且つ、ハンドル角が所定角度を超えたこと(以下、条件3)を、終了判定の成立条件にできる。加えて、表示生成部76は、交差点からの退出路に設定された終了位置GEp(図6及び図7照)が画角VA内から外れたこと(以下、条件4)を、終了判定の成立条件にできる。終了位置GEpは、一例として、退出路を規定するノードのうちで交差点GAiに最も近いノードの位置又はその近傍に設定される。表示生成部76は、終了条件の成立条件を設定すると、設定した終了判定の成立条件に対応した開始判定の成立条件を、さらに設定する。
 表示生成部76は、上述したような複数の終了判定の成立条件を、交差点GAi及び車両Aの少なくとも一方に関連する情報に基づき、変更可能である。具体的に、表示生成部76は、交差点形状、停止線ROcの有無、交差点GAiでの右左折の方向、及び重畳コンテンツCTsの重畳精度等に応じて、終了判定の成立条件を変更し、重畳コンテンツCTsの重畳期間を調整できる。
 <交差点形状に基づく重畳期間の変更>
 表示生成部76は、案内エリアGAとなる交差点GAiの道路形状に応じて、終了判定の成立条件を変更する。一例として、表示生成部76は、5叉路及び6叉路といった複雑交差点(図6参照)及びY字路(図7参照)等で経路案内を行う場合、通常の経路案内よりも経路案内コンテンツCTsgの表示の終了が遅くなるよう終了判定の成立条件を変更する。即ち、表示生成部76は、通常よりも経路案内コンテンツCTsgの表示が継続されるように、終了判定の成立を遅らせる。
 具体的に、表示生成部76は、交差点GAiが通常形状(十字路,T字路等)である場合、上記の条件2を終了条件として設定する。一方で、交差点GAiが複雑交差点(多叉路)である場合、表示生成部76は、上記の条件1、条件3又は条件4を終了条件として設定する。同様に、交差点GAiがY字路である場合も、表示生成部76は、上記の条件1、条件3又は条件4を終了条件として設定する。
 以上により、多叉路及びY字路においては、通常形状の単純交差点よりも、経路案内コンテンツCTsgの表示時間が長くされる。その結果、停止線ROc又は交差点GAiの入口よりも手前側において経路案内コンテンツCTsgが非表示となり、交差点中央への進入後、離脱方向が分からなくなる事態は、生じ難くなる。
 さらに詳細に説明すると、多叉路において上記の条件4が終了条件に設定された場合、経路案内コンテンツCTsgは、自車側から終了位置GEp(図6参照)まで、路面に貼り付くように延伸する様態となる。多叉路にて設定される終了位置GEpは、交差点GAiからの退出路に設定されているため、交差点GAiに右折可能方向(又は左折可能方向)が複数あっても、右折可能(又は左折可能)な複数の方向のうち、進むべき正しい方向を明示できる地点となる。故に、経路案内コンテンツCTsgは、正しい退出路が画角VA内に入るまで表示を継続され、例えば斜め右奥方向へ向かうのか(図6左図参照)、右手前方向に向かうのか(図6右図参照)を、ドライバに分かり易く伝えることができる。
 同様に、Y字路において上記の条件4が終了条件として設定された場合でも、経路案内コンテンツCTsgは、交差点GAiからの退出路に設定された終了位置GEp(図7参照)まで、自車側から延伸する様態となる。故に、経路案内コンテンツCTsgは、Y字路の分岐を斜め左奥方向へ向かうのか(図7左図参照)、斜め右奥方向へ向かうのか(図7右図参照)を、正しい退出路が画角VA内に入るまでドライバに分かり易く伝えることができる。
 <一時停止線の有無に基づく重畳期間の変更>
 表示生成部76は、案内エリアGAとなる交差点GAiの自車側の入口に一時停止を指示する停止線ROc(図8参照)があるか否かに基づき、終了判定の成立条件を変更又は調整する。具体的に、表示生成部76は、交差点GAiの手前側に停止線ROcがある場合、停止線ROcがない場合よりも、経路案内コンテンツCTsgの表示の終了が遅くなるよう終了判定の成立条件を変更する。
 ここで、停止線ROcが設定されている場合、ドライバは、停止線ROcの手前で車両Aを一時停止させる。そのため、経路案内コンテンツCTsgは、重畳コンテンツCTsであっても、ドライバの周辺確認の邪魔にはなり難い。故に、停止線ROcが存在する交差点GAiでは、停止線ROcが存在しない交差点GAiよりも、経路案内コンテンツCTsgの表示期間が長く確保されても、ドライバは、煩わしく感じ難い。
 表示生成部76は、例えばT字路等の単純交差点であり、且つ、停止線ROcがない場合、上記の条件2を終了判定の成立条件に設定する。一方で、T字路の自車側に停止線ROcがある場合(図8左図参照)、表示生成部76は、上記の条件2に替えて、上記の条件1を終了条件として設定する。以上により、表示生成部76は、車両Aの交差点GAiへの進入後まで、経路案内コンテンツCTsgの重畳表示を継続させる。
 また表示生成部76は、Y字路に停止線ROcがある場合(図8右図参照)、終了判定の成立条件に設定したハンドル角の所定角度を大きくする調整(上記の条件3参照)、又は終了位置GEpを交差点GAiから遠ざける調整(上記の条件4参照)等を実施する。以上により、経路案内コンテンツCTsgの重畳表示は、少なくとも車両Aの交差点GAiへの進入後まで継続され、且つ、停止線ROcがない場合よりも終了され難くなる。
 <右左折の方向に基づく重畳期間の変更>
 表示生成部76は、案内エリアGAとなる交差点GAiでの右左折にて対向車線を横切らない場合、対向車線を横切る場合よりも、経路案内コンテンツCTsgの表示の終了が遅くなるよう終了判定の成立条件を変更する。一例として、車両Aが左側通行となる国又は地域では、経路案内コンテンツCTsgの表示を終了させるタイミングが、左折シーンにおいて右折シーンよりも遅くなるように、表示生成部76は、終了判定の成立条件を変更する。
 この場合、車両Aが右折するとき(図9右図参照)、経路案内コンテンツCTsgは、車両Aの右回頭が開始されるよりも早く表示を終了される。故に、対向車線を自車に向かって走行する対向車の視認が経路案内コンテンツCTsgによって妨げてられる事態は、生じ難い。一方で、車両Aが左折するとき(図9左図参照)、経路案内コンテンツCTsgは、車両Aの左回頭が開始された後まで表示を継続される。こうした左折シーンでは、経路案内コンテンツと対向車と重なりは、実質的に生じない。加えて、ドライバが退出路にある横断歩道を目視したとしても、経路案内コンテンツCTsgは、こうした横断歩道の目視の妨げにはなり難い。故に、右折シーンよりも左折シーンにおいて、経路案内コンテンツCTsgの表示期間は、長くされるのがよい。
 尚、車両Aが右側通行となる国又は地域では、経路案内コンテンツCTsgの表示を終了させるタイミングが、右折シーンにおいて左折シーンよりも遅くなるように、表示生成部76は、終了判定の成立条件を変更する。こうしたタイミングの調整によれば、ドライバの周辺確認の邪魔になり難い経路案内コンテンツCTsgの表示が可能になる。
 <重畳精度に応じた重畳期間の変更>
 表示生成部76は、重畳コンテンツCTsの生成に用いられる高精度地図データが取得できているか否かに基づき、終了判定の成立条件を変更する。表示生成部76は、高精度地図データが取得できている交差点GAiでは、路面に貼り付いたように経路案内コンテンツCTsgを精度良く重畳表示できる。一方で、高精度地図データが取得できない交差点GAiでは、経路案内コンテンツCTsgは、路面に対してずれ易くなり、ひいては煩わしく感じられ易くなる。故に、表示生成部76は、高精度地図データが取得できている場合、高精度地図データが取得できていない場合よりも、経路案内コンテンツCTsgの表示が長く継続されるように、終了判定の成立を遅らせる。又は、表示生成部76は、高精度地図データが取得できていない場合、高精度地図データが取得できている場合よりも、経路案内コンテンツCTsgの表示期間が短くなるように、終了判定の成立を早める。
 加えて表示生成部76は、フロントカメラ31の検出情報に基づく外界情報の中に重畳コンテンツCTsの生成に利用可能な情報(以下、カメラ認識情報)があるか否かを判定する。カメラ認識情報は、上述したように、フロントカメラ31の撮像データに基づき、運転支援ECU50の走行環境認識部51にて生成され、制御情報取得部74に逐次提供される。カメラ認識情報は、例えば交差点物標及び地点物標の相対位置を示すような外界情報である。
 表示生成部76は、経路案内コンテンツCTsgの生成に利用可能なカメラ認識情報が取得できているか否かに基づき、終了判定の成立条件を変更する。具体的に、表示生成部76は、高精度地図データが取得できていなくても、カメラ認識情報を用いて経路案内コンテンツCTsgを生成する場合、カメラ認識情報を経路案内コンテンツCTsgの生成に用いない場合よりも、重畳表示の位置精度を良好にできる。故に、表示生成部76は、カメラ認識情報を取得できている場合、カメラ認識情報が取得できていない場合よりも、経路案内コンテンツCTsgの表示が終了され難くなるように、終了判定の成立を遅らせる。又は、表示生成部76は、カメラ認識情報が取得できていない場合、カメラ認識情報が取得できている場合よりも、終了判定の成立を早める。
 以上説明した高精度地図データの有無と、フロントカメラ31のカメラ認識情報の有無とに基づき、表示生成部76は、終了判定の成立条件を三段階に変更する。具体的に、表示生成部76は、経路案内コンテンツCTsgの描画に高精度地図データを用いている場合、経路案内コンテンツCTsgの表示が最も長く継続されるように、終了判定の成立条件を変更する。一方で、表示生成部76は、経路案内コンテンツCTsgの描画にナビ地図データを用いており、且つ、カメラ認識情報の取得がない場合、経路案内コンテンツCTsgの表示が最も短く終了されるように、終了判定の成立条件を設定する。対して、表示生成部76は、経路案内コンテンツCTsgの描画にナビ地図データを用いており、且つ、カメラ認識情報を用いて重畳位置を補正可能な場合には、終了判定の成立条件を中程度に設定する。この場合の経路案内コンテンツCTsgの表示期間は、高精度地図データを用いる場合の表示期間よりも短く、カメラ認識情報がない状態でナビ地図データを用いる場合の表示期間よりも長くなる。
 一例として、表示生成部76は、カメラ認識情報がない状態で、ナビ地図データを用いて経路案内コンテンツCTsgを描画する場合、上記のいずれかの終了判定の成立条件を設定する。また、表示生成部76は、カメラ認識がある状態でナビ地図データを用いて経路案内コンテンツCTsgを描画する場合、終了条件の成立条件の判定値を緩和し、重畳表示を長く継続させる。さらに、表示生成部76は、高精度地図データを重畳コンテンツCTsの描画に用いている場合、終了判定の成立条件を実質的に設定しない。この場合、表示生成部76は、ナビ情報取得部72にて終了通知が取得されるまで、経路案内コンテンツCTsgの重畳表示を継続させる。
 <分岐地点での経路案内シーン>
 図10~図12に示す分岐地点GAjでの左分岐案内のシーンでは、基準位置GPまでの残距離Drが所定距離(一例として、高速道路で1000m程度)となる位置(ポイントP1参照)で、ナビゲーション装置55は、左分岐の案内を開始する。分岐案内のシーンでも、ナビゲーション装置55は、ポイントP1にて、ナビディスプレイ57による経路案内画像Pngの表示を開始させると共に、開始通知及び経路詳細情報をHCU100へ向けて出力する。
 表示生成部76は、ナビ情報取得部72にて取得される開始通知及び経路詳細情報に基づき、メータディスプレイ23によるTBT画像Pmgの表示と、HUD20による経路案内コンテンツCTsgの重畳表示とを開始させる。TBT画像Pmg及び経路案内コンテンツCTsgは、経路案内画像Pngと共に表示を開始され、経路案内画像Pngと同様に分岐レーンLnjへの車線変更を指示する内容となる。
 運転支援ECU50は、車両Aの分岐地点GAjへの接近に基づき、分岐地点GAjに関連する地点物標情報を走行環境認識部51にて生成し、HCU100へ向けて出力する。地点物標情報は、HCU100にて、制御情報取得部74により外界情報として取得される。表示生成部76は、地点物標を基準として利用し、経路案内アイコンCTngの表示開始位置(ポイントP2,P3参照)、及び経路案内コンテンツCTsgの表示終了位置(ポイントP3~P6参照)を、基準位置GPの手前側に設定する。
 経路案内コンテンツCTsgの表示終了位置として利用可能なポイントP3~P6について詳記すると、ポイントP3は、分岐レーンLnjへの横移動を開始した車両Aの少なくとも一部が境界線ROfに接する位置である。ポイントP4は、車両Aの中心又は重心が境界線ROf上となる位置である。ポイントP5は、車両Aの全体が境界線ROfを跨ぎ終わった位置である。ポイントP6は、方向指示器の点滅がオフ状態となる位置である。さらに、表示終了位置は、ポイントP3~P6の所定距離(例えば、30~100m程度)だけ手前側に設定されてもよい。また、経路案内コンテンツCTsgの表示開始位置として利用可能なポイントP2は、ポイントP3よりも所定距離だけ基準位置GPから遠い位置に設定される。
 表示生成部76は、ロケータ情報及び外界情報に基づき、分岐地点GAjに対する自車の位置を継続的に把握する。表示生成部76は、表示終了位置(ポイントP3参照)に車両Aが到達すると、経路案内コンテンツCTsgの表示を終了させる。以上のように、表示生成部76は、ナビゲーション装置55からの終了通知を利用することなく、地点物標情報(外界情報)を用いた終了判定に基づき、経路案内コンテンツCTsgの表示を終了させる。
 表示生成部76は、経路案内コンテンツCTsgの表示終了位置に、経路案内アイコンCTngの表示開始位置(ポイントP3参照)を設定する。表示生成部76は、車両Aが表示開始位置に到達すると、経路案内コンテンツCTsgに替えて経路案内アイコンCTngの表示を開始させる。表示生成部76は、少なくとも経路案内コンテンツCTsgの表示を終了させた後の期間に経路案内アイコンCTngを表示させることで、経路案内を継続する。
 表示生成部76は、経路案内アイコンCTngの表示期間中において、経路案内アイコンCTngの視認性を変更する。具体的に、表示生成部76は、経路案内アイコンCTngの視認性を低くする様態変更を行う。一例として、表示生成部76は、視認性の高い様態の経路案内アイコンCTng(以下、第一経路案内アイコン)から、視認性の低い様態の経路案内アイコンCTng(以下、第二経路案内アイコン)への切り替えを行う。視認性を低くする様態変更は、例えば表示サイズを小さくすること、表示輝度又は表示彩度を低くすること、及びアニメーション等の効果を抑制又は中止すること等によって実現される。表示生成部76は、例えば基準位置GPの手前側の地点(例えばポイントP6)にて、第一経路案内アイコンから第二経路案内アイコンへの表示遷移を実施する。
 尚、表示生成部76は、視認性を低くする表示遷移の実施地点を適宜変更可能である。また、表示生成部76は、経路案内アイコンCTngの視認性を連続的に低くする様態変更を行ってもよい。さらに、経路案内アイコンCTng(第一経路案内アイコン)は、ポイントP2から表示を開始されてもよい。この場合、ポイントP2~P3において、経路案内コンテンツCTsg及び経路案内アイコンCTngが共に表示される(図12参照)。
 分岐レーンLnjへの車線変更を完了した車両Aが基準位置GPを通過してポイントP7に到達すると、ナビゲーション装置55は、経路案内を終了する。基準位置GPからポイントP7までの距離は、例えば30~100m程度とされる。ポイントP7は、例えば基準位置GPを通過した後の最初のノードの位置に設定される。ナビゲーション装置55は、ポイントP7にて、ナビディスプレイ57による経路案内画像Pngの表示を終了させると共に、経路案内の終了を通知する終了通知を、HCU100へ向けて出力する。
 表示生成部76は、ナビ情報取得部72にてナビ情報として取得される終了通知に基づき、ポイントP7にて、メータディスプレイ23によるTBT画像Pmgの表示と、HUD20による経路案内アイコンCTngの表示とを、共に終了させる。以上により、経路案内画像Pngの表示終了に合わせて、TBT画像Pmg及び経路案内アイコンCTng(第二経路案内アイコン)の表示も終了される。
 ここまで説明したように、表示生成部76は、分岐地点GAjにおいても、非重畳コンテンツCTnの表示開始判定の成立条件と、重畳コンテンツCTsの表示終了判定の成立条件とを設定する。そして表示生成部76は、地点物標である境界線ROf又は終端ROgの相対位置を示す外界情報(地点物標情報)を利用して、これら開始判定及び終了判定を成立させる。
 具体的に、表示生成部76は、分岐レーンLnjの境界線ROfを跨いだこと(ポイントP3,P4参照,以下、条件5)を終了判定の成立条件にできる。表示生成部76は、分岐レーンLnjの境界線ROfを跨たぎ終わったこと(ポイントP5参照,以下、条件6)を終了判定の成立条件にできる。表示生成部76は、方向指示器がオフとなったこと(ポイントP6参照,以下、条件7)を終了判定の成立条件にできる。表示生成部76は、ポイントP3~P6の位置を予測し、ポイントP3~P6よりも所定距離だけ手前となる位置に到達したこと(以下、条件8)を、終了判定の成立条件にできる。尚、分岐地点GAjにおいても、開始判定の成立条件は、終了判定の成立条件に応じて、適宜設定されてよい。
 <自動車線変更のシーン>
 図13及び図14に示す自動車線変更のシーンにおいて、HCU100は、制御情報取得部74にて取得されるLCA機能のステータス情報に基づき、LCA機能が実行状態に移行するタイミング(ポイントP1参照)を把握する。HCU100は、LCA機能の実行遷移タイミングに替えて、LCA機能がオフ状態から起動状態に遷移するタイミングを把握してもよい。
 表示生成部76は、LCA機能の実行状態を示すステータス情報に基づき、メータディスプレイ23による車線変更画像Pmcの表示と、HUD20によるLCAコンテンツCTlcの重畳表示とを開始させる。車線変更画像Pmc及びLCAコンテンツCTlcは共に、自動車線変更での車両Aの移動方向を示す内容となる。
 HCU100では、制御情報取得部74にて、自車レーンLns及び隣接レーンLnd間の境界線ROfの相対位置を示す外界情報が取得される。表示生成部76は、境界線ROfについての外界情報を利用して、LCAコンテンツCTlcからLTCコンテンツCTltへと、重畳コンテンツCTsを遷移させる表示遷移位置(ポイントP2~P6参照)を設定する。
 表示遷移位置として利用可能なポイントP2~P6について詳記すると、ポイントP2は、隣接レーンLndへの横移動を開始した車両Aの少なくとも一部が境界線ROfに接する位置である。ポイントP3は、車両Aの中心又は重心が境界線ROf上となる位置である。ポイントP4は、車両Aの全体が境界線ROfを跨ぎ終わった位置である。ポイントP5は、LCA機能からLTC機能に運転制御の制御主体が遷移する位置である。ポイントP6は、方向指示器の点滅がオフ状態となる位置である。これらポイントP2~P6のいずれか一つが、表示生成部76にて表示遷移位置として設定される(図13では、ポイントP2)。
 以上のように、表示生成部76は、境界線ROfに対する車両Aの位置を外界情報から把握し、外界情報を少なくとも用いた終了判定に基づき、LCAコンテンツCTlcの表示を終了させる。また表示生成部76は、メータディスプレイ23による車線変更画像Pmcの表示を、方向指示器の点滅がオフ状態となるまで継続させる。故に、表示遷移位置がポイントP2~P5に設定された場合では、表示生成部76は、車線変更画像Pmcの表示を終了させるよりも早く、外界情報を少なくとも用いた終了判定に基づき、LCAコンテンツCTlcの表示を終了させる。
 次に、ここまで説明した経路案内及び車線変更案内を実現する表示制御方法の詳細を、特に重畳コンテンツCTsの表示に関連する内容について、図15~図17に示すフローチャートに基づき、図1及び図4~図14を参照しつつ、以下説明する。
 図15及び図16に示す表示制御処理は、ナビゲーション装置55からの開始通知を受信したHCU100により開始される。図15に示す表示制御処理のS101では、TBT画像Pmg及び経路案内コンテンツCTsg等の表示に必要な経路詳細情報等を取得し、S102に進む。S102では、経路案内コンテンツCTsgの描画に必要となる外界情報、換言すれば、重畳コンテンツCTsの表示レイアウトのシミュレーション演算に用いる外界情報の取得を開始し、S103に進む。
 S103では、重畳コンテンツCTsの表示レイアウトのシミュレーション演算に用いる地図データを取得し、S104に進む。S103では、ロケータ40からの高精度地図データの取得を優先し、案内エリアGAの高精度地図データが無い場合、ナビゲーション装置55から案内エリアGAのナビ地図データを取得する。
 S104では、S101~S103にて取得される情報を利用し、HUD20による経路案内コンテンツCTsgの表示を開始させ、S105に進む。S104では、経路案内コンテンツCTsgと共に、メータディスプレイ23によるTBT画像Pmgの表示も開始させる。
 S105では、経路案内コンテンツCTsgの生成に用いられる高精度地図データが取得できているか否かを判定する。S105にて、高精度地図データを取得できていると判定した場合、S106に進む。一方で、S105にて、高精度地図データを取得できていないと判定した場合、S107に進む。
 S107では、経路案内コンテンツCTsgの生成に用いられるカメラ認識情報が取得できているか否かを判定する。S107にて、カメラ認識情報を取得できていると判定した場合、S108に進む。一方で、S107にて、カメラ認識情報を取得できていないと判定した場合、S109に進む。
 S106では、高精度地図データを使用する場合の終了判定の条件を設定し、S110に進む。対して、S108では、カメラ認識情報がある状態でナビ地図データを使用する場合の終了判定の成立条件を設定し、S110に進む。さらに、S109では、カメラ認識情報がない状態でナビ地図データの使用するときの終了判定の成立条件を設定し、S110に進む。
 上述したように、高精度地図データを用いて重畳コンテンツCTsを生成する場合には、ナビ地図データを用いて重畳コンテンツCTsを生成する場合よりも、表示が終了され難くなるように、終了判定の条件が変更(緩和)される。加えて、カメラ認識情報がある場合には、カメラ認識情報がない場合よりも表示が終了され難くなるように、終了判定の条件が変更(緩和)される。さらに、S106,S108及びS109では、案内エリアGAの道路形状、停止線ROcの有無、右左折の方向等に応じて、終了判定の条件が変更される。
 尚、S106では、終了条件を設定しなくてもよい。この場合、後述するように、終了条件の不成立(S111:NO)と終了通知の取得(S112:YES)とに基づき、経路案内コンテンツCTsgの表示は終了される。
 図16に示すS110では、ハンドル角等の情報を含む操舵情報(操作情報)の取得を開始し、S111に進む。尚、S106、S108又はS109にて設定した終了判定の条件に、操作情報が用いられない場合には、S110はスキップされてよい。
 S111では、外界情報を少なくとも用いて、S106、S108又はS109にて設定した終了条件が成立したか否かを判定する。S111にて、終了条件が成立したと判定した場合、S113に進む。一方で、S111にて、終了判定が成立していないと判定した場合、S112に進む。
 S112では、ナビゲーション装置55から終了通知を取得したか否かを判定する。S112にて、終了通知を取得していないと判定した場合、S110に戻る。その結果、経路案内コンテンツCTsgの表示が継続される。一方で、S112にて、終了通知を取得したと判定した場合、S113に進む。
 S113では、S111の終了判定の成立又はS112の終了通知の取得に基づき、経路案内コンテンツCTsgの表示を終了させて、経路案内に関する表示制御処理を終了する。S111にて終了判定が成立した場合、ナビゲーション装置55からの終了通知の受信を待たずに、経路案内コンテンツCTsgの表示は終了される。尚、経路案内コンテンツCTsgの表示終了後も、経路案内アイコンCTng及びTBT画像Pmgの表示は継続される。
 図17に示す表示制御処理は、例えばLCA機能の実行状態への遷移を通知するステータス情報を受信したHCU100により開始される。図17に示す表示制御処理のS131では、予定された車線変更における予定走行軌跡PLCの形状情報を取得し、S132に進む。S132では、LCAコンテンツCTlcの描画に必要となる外界情報の取得を開始し、S133に進む。S133では、予定走行軌跡PLCの全体を含む道路区間の地図データを取得し、S134に進む。S133でも、S103と同様に、ロケータ40からの高精度地図データの取得を優先する。
 S134では、S131~S133にて取得される情報を利用し、HUD20によるLCAコンテンツCTlcの表示を開始させ、S135に進む。S134では、LTCコンテンツCTltからLCAコンテンツCTlcへの重畳表示の切り替えが実施される。またS134では、LCAコンテンツCTlcと共に、メータディスプレイ23による車線変更画像Pmcの表示を開始させる。
 S135では、LCAコンテンツCTlcの表示を終了させる終了判定の成立条件を設定し、S136に進む。S136では、外界情報を少なくとも用いて、S135にて設定した終了条件が成立したか否かを判定する。S136にて、終了条件が成立したと判定した場合、S137に進む。一方で、S136にて、終了判定が成立していないと判定した場合、S136を繰り返し、終了判定の成立を待機する。
 S137では、LCAコンテンツCTlcの表示を終了させ、LTCコンテンツCTltの表示を開始させ、S138に進む。S138では、方向指示器の点滅がオフ状態となったか否か、換言すれば、一連の車線変更が完了したか否かを判定する。S138にて、方向指示器がオフ状態となったと判定した場合、S139に進む。S139では、メータディスプレイ23による車線変更画像Pmcの表示を終了させて、一連の表示制御処理を終了する。以上のように、外界情報を少なくとも用いたS136の終了判定に基づき、車線変更画像Pmcの表示終了よりも早く、LCAコンテンツCTlcの表示は終了される。
 ここまで説明した第一実施形態によれば、車両Aの周囲の外界情報を少なくとも用いた終了判定の実施により、経路案内コンテンツCTsgは、ナビゲーション装置55での経路案内の終了タイミングに依拠することなく、適切なタイミングで表示を終了され得る。以上によれば、車両Aの右左折が終わっているにもかかわらず、経路案内コンテンツCTsgが目立つ位置に表示され続ける事態は、生じ難くなる。したがって、重畳コンテンツCTsを用いていても、ドライバ等の乗員に違和感を与え難い情報提示が可能になる。
 加えて第一実施形態では、車両Aの周囲の外界情報を少なくとも用いた終了判定の実施により、経路案内コンテンツCTsgは、経路案内画像Pngの表示終了よりも早いタイミングで、適切に表示を終了され得る。以上によれば、重畳コンテンツCTsを用いていても、ドライバ等の乗員に違和感を与え難い情報提示が可能になる。
 また第一実施形態では、案内エリアGAとして交差点GAiが設定された場合、当該交差点GAiに関連する交差点物標情報が、外界情報として取得される。そして、表示生成部76は、交差点物標情報を用いた終了判定に基づき、経路案内コンテンツCTsgの表示を終了させる。以上のように、走行環境認識部51によって認識される交差点物標の利用によれば、表示生成部76は、走行する交差点GAiに合わせて、経路案内コンテンツCTsgの表示終了タイミングをいっそう最適化できる。
 さらに第一実施形態では、案内エリアGAとなる交差点GAiが予め規定された複雑交差点である場合、複雑交差点でない場合よりも、経路案内コンテンツCTsgの表示の終了が遅くなるよう、表示生成部76は、終了判定の成立条件を変更する。故に、経路案内コンテンツCTsgは、交差点GAiからの正しい退出路の路面に重畳され得る。その結果、経路案内コンテンツCTsgは、ドライバにとって分り易い経路案内を実施できる。
 加えて第一実施形態では、案内エリアGAとなる交差点GAiの手前側に停止線ROcがある場合、停止線ROcがない場合よりも、経路案内コンテンツCTsgの表示の終了が遅くなるよう、表示生成部76は、終了判定の成立条件を変更する。故に、車両Aの一時停止により、経路案内コンテンツCTsgが邪魔になり難いシーンでは、経路案内コンテンツCTsgの表示期間が確保される。その結果、ドライバにとって分かり易い経路案内が実施される。
 また第一実施形態では、案内エリアGAとなる交差点GAiでの右折又は左折にて対向車線を横切らない場合、対向車線を横切る場合よりも、経路案内コンテンツCTsgの表示の終了が遅くなるよう、表示生成部76は、終了判定の成立条件を変更する。以上によれば、右折シーンにおいて経路案内コンテンツCTsgが対向車の視認を妨げる事態は、生じ難くなる。また、対向車の確認が不要となる左折シーンでは、経路案内コンテンツCTsgの表示期間の確保により、ドライバにとって分かり易い経路案内が実施される。
 さらに第一実施形態では、案内エリアGAとして分岐地点GAjが設定された場合、当該分岐地点GAjに関連する地点物標情報が、外界情報として取得される。そして、表示生成部76は、地点物標情報を用いた終了判定に基づき、経路案内コンテンツCTsgの表示を終了させる。以上のように、走行環境認識部51によって認識される地点物標の利用によれば、表示生成部76は、走行中の分岐地点GAjに合わせて、経路案内コンテンツCTsgの表示終了タイミングをいっそう最適化できる。尚、表示生成部76は、分岐地点GAjに限定されず、合流地点においても、地点物標情報を用いた終了判定に基づき、経路案内コンテンツCTsgの表示終了タイミングを最適化できる。
 加えて第一実施形態の制御情報取得部74は、案内エリアGAの道路のエッジを検出してなるエッジ交点ROeの位置情報を外界情報として取得できる。そして、表示生成部76は、エッジ交点ROeの位置情報を終了判定に利用し、当該終了判定に基づき、経路案内コンテンツCTsgを終了させる。こうしたエッジ検出等、道路構造に由来する検出処理の利用によれば、路面標示及び道路標識等の特定の物標が存在しない案内エリアGAにおいても、表示生成部76は、経路案内コンテンツCTsgの表示を適切に終了させることができる。
 また第一実施形態の表示生成部76は、案内エリアGAの道路形状に応じて終了判定の条件を変更できる。故に、表示生成部76は、重畳コンテンツCTsの利点を必要に応じて活用しつつ、違和感の低減を図ることができる。
 さらに第一実施形態では、経路案内コンテンの表示が終了された後の期間に、経路案内を継続する非重畳コンテンツCTnとして、経路案内アイコンCTngが表示される。そして、表示生成部76は、経路案内アイコンCTngの表示期間において、経路案内アイコンCTngの視認性を低くする様態変更を行う。故に、経路案内アイコンCTngの表示によって分かり易い経路案内を実現しつつ、経路案内アイコンCTngの視認性を下げる処理によって、表示の煩わしさが軽減される。
 加えて第一実施形態では、車両Aの周囲の外界情報を少なくとも用いた終了判定の実施により、車線変更での移動方向を示すLCAコンテンツCTlcは、適切なタイミングで表示を終了され得る。以上によれば、車両Aの車線変更が終わっているにもかかわらず、LCAコンテンツCTlcが目立つ位置に表示され続ける事態は、生じ難くなる。したがって、重畳コンテンツCTsを用いていても、ドライバ等の乗員に違和感を与え難い情報提示が可能になる。
 また第一実施形態では、LCA機能による自動車線変更のシーンにおいて、表示生成部76は、メータディスプレイ23による車線変更画像Pmcの表示終了よりも早く、外界情報を用いた終了判定に基づき、LCAコンテンツCTlcの表示を終了させる。以上のように、メータディスプレイ23の視認によってLCA機能の状態が確認可能であれば、LCAコンテンツCTlcの表示終了タイミングを適切に早めて、乗員に違和感を与えないようにできる。
 さらに第一実施形態では、互いに精度の異なるナビ地図データ及び高精度地図データが、重畳コンテンツCTsの生成に用いられる地図データとして取得される。そして、表示生成部76は、高精度地図データの取得の可否に基づき終了判定の条件を変更できる。以上によれば、表示生成部76は、地図データの精度に応じて、重畳コンテンツCTsの表示終了タイミングを最適化できる。
 具体的に、表示生成部76は、高精度地図データを用いて重畳コンテンツCTsを描画する場合、ナビ地図データを用いて重畳コンテンツCTsを描画する場合よりも、重畳コンテンツCTsの表示が終了され難くなるように、終了判定の条件を緩和する。換言すれば、表示生成部76は、路面に精度よく重畳させることができない場合には、重畳コンテンツCTsの表示を早期に終了させ得る。故に、地図データの精度に起因し、重畳コンテンツCTsが邪魔に感じられる可能性が高い状況において、表示生成部76は、重畳コンテンツCTsの表示を適切に中止させることができる。
 加えて第一実施形態の表示生成部76は、フロントカメラ31の撮像データに基づくカメラ認識情報をコンテンツ生成に用いる場合、カメラ認識情報をコンテンツ生成に用いない場合よりも、経路案内コンテンツCTsgの表示を終了させ難くする。こうした終了判定の成立条件の変更によれば、経路案内コンテンツCTsgの重畳精度が確保される場合には、経路案内コンテンツCTsgの表示期間が確保され易くなる。その結果、ドライバにとって分かり易い経路案内が行われ得る。
 さらに第一実施形態では、外界情報に加えて、ドライバの操作に関連する操作情報(操舵情報等)が終了判定に用いられる。故に、例えば停止線ROcや歩道線ROa,RObのような物標がフロントカメラ31の画角外となるような位置に車両Aが移動した後でも、表示生成部76は、経路案内コンテンツCTsgの表示を終了させることができる。このように、終了判定への操作情報の利用によれば、表示終了タイミングの設定の自由度が、いっそう向上し得る。
 尚、第一実施形態では、メータディスプレイ23が「画面表示器」に相当し、フロントカメラ31が「車載カメラ」に相当する。また、制御情報取得部74が「外界情報取得部」に相当し、状態情報取得部75が「操作情報取得部」に相当し、表示生成部76が「表示制御部」に相当し、HCU100が「表示制御装置」に相当する。さらに、経路案内コンテンツCTsg及びLCAコンテンツCTlcが「重畳コンテンツ」に相当し、経路案内アイコンCTngが「非重畳コンテンツ」に相当し、ナビ地図データが「低精度地図データ」に相当する。そして、LCA機能が「車線変更機能」に相当し、エッジ交点ROeの相対位置情報が「エッジ位置情報」に相当し、停止線ROcが「一時停止線」に相当する。
 (第二実施形態)
 図18~図22に示す本開示の第二実施形態は、第一実施形態の変形例である。第二実施形態では、HMIシステム210の構成が第一実施形態とは異なっている。HMIシステム210は、第一実施形態のナビゲーション装置55(図1参照)に相当する機能を備えており、ナビディスプレイ24及びナビ地図DB25を有している。ナビディスプレイ24及びナビ地図DB25は、第一実施形態のナビディスプレイ57及びナビ地図DB56(図1参照)とそれぞれ実質同一の構成である。
 図18及び図19に示すHCU100は、第一実施形態と同様に、交差点GAi及び分岐地点GAjでの経路案内(図4~図12参照)と、自動車線変更の案内(図13及び図14参照)とを実施する。HCU100は、視点位置特定部71、地図データ取得部73、制御情報取得部74、状態情報取得部75及び表示生成部76に加えて、ナビ情報生成部272を機能部として備える。
 ナビ情報生成部272は、ナビ地図DB25より取得するナビ地図データと、ロケータECU44より取得するロケータ情報とを用いて、ユーザ操作に基づく目的地と、当該目的地までの経路とを設定する。ナビ情報生成部272は、設定経路に従った経路案内を実行する。表示生成部76は、HUD20及びメータディスプレイ23に加えて、ナビディスプレイ24に逐次出力される映像データを生成し、ナビディスプレイ24によるドライバへの情報提示を制御する。ナビ情報生成部272及び表示生成部76は、設定経路に含まれた案内エリアGA(図4等参照)への接近により、案内エリアGAにおける車両Aの進行方向を、ナビディスプレイ24に表示させた経路案内画像Png(図4等参照)により、ドライバに案内する。
 ナビ情報生成部272は、設定経路に含まれる案内エリアGAの基準位置GPまでの残距離Drをロケータ情報に基づき把握し、残距離Drが所定距離未満となったタイミングで、図20及び図21に示す表示制御処理をHCU100に開始させる。所定距離は、第一実施形態と同様に、一般道では300m程度、高速道路では1000m程度とされる。
 図20及び図21に示す表示制御処理のS201では、ナビ情報生成部272にて生成される案内エリアGAの経路詳細情報を、TBT画像Pmg(図4及び図10参照)及び経路案内コンテンツCTsg(図5及び図11参照)等の描画のために準備する。そして、S202及びS203では、外界情報及び地図データを取得し、S204に進む。S203では、ロケータ40からの高精度地図データの取得を優先し、高精度地図データが無い場合に、ナビ地図DB25からナビ地図データを取得する。
 S204では、S201~S203にて取得される情報を利用し、HUD20による経路案内コンテンツCTsgの表示を開始させ、S205に進む。S204では、ナビディスプレイ24による経路案内画像Png(図4及び図10参照)の表示、及びメータディスプレイ23によるTBT画像Pmgの表示も、合わせて開始される。
 S205~S209では、第一実施形態のS105~S109(図15参照)と同様に、高精度地図データの有無、及びカメラ認識情報の有無に応じた終了判定の成立条件を設定し、S210に進む。加えてS205~S209では、案内エリアGAの道路形状、停止線ROcの有無、及び右左折の方向等に応じて終了判定の成立条件を調整する。S210では、ドライバの操作情報の取得を開始し、S211に進む。
 S211では、外界情報(及び操作情報)を用いて、S206、S208又はS209にて設定した終了条件が成立したか否かを判定する。S211にて、終了条件が成立したと判定した場合、S212に進む。S212では、S211での終了判定の成立に基づき、経路案内コンテンツCTsgの表示を終了させて、S213に進む。
 S213では、車両Aが経路案内の終了地点(図4 ポイントP4参照)に到達したか否かを判定する。S213にて、車両Aが経路案内の終了地点に到達したと判定した場合、S214に進む。S214では、ナビディスプレイ24による経路案内画像Pngの表示、及びメータディスプレイ23によるTBT画像Pmgの表示を共に終了させて、一連の表示制御処理を終了する。以上のように、経路案内コンテンツCTsgの表示は、外界情報を少なくとも用いたS211の終了判定に基づき、経路案内画像Pngの表示終了よりも早く終了される。
 ここまで説明した第二実施形態でも、第一実施形態と同様の効果を奏し、外界情報を用いた終了判定の実施により、経路案内コンテンツCTsgは、経路案内画像Pngの表示終了よりも早いタイミングで、適切に表示を終了され得る。以上によれば、右左折の終了後にもかかわらず、誘目性の高い経路案内コンテンツCTsgが表示され続ける事態は、生じ難くなる。したがって、ドライバ等の乗員に違和感を与え難い情報提示が可能になる。
 加えて第二実施形態でも、HCU100は、LCA機能による自動車線変更が行われるシーンにて、第一実施形態と同様の表示制御処理(図15及び図16参照)により、自動車線変更の案内を実施する。その結果、外界情報を用いた終了判定に基づき、LCAコンテンツCTlcの表示終了タイミングも、適切に設定され得る。以上によれば、車線変更が終わっているにもかかわらず、誘目性の高いLCAコンテンツCTlcが表示され続ける事態は、生じ難くなる。したがって、自動車線変更のシーンにおいても、ドライバ等の乗員に違和感を与え難い情報提示が可能になる。尚、第二実施形態では、ナビディスプレイ24が「画面表示器」に相当する。
 (他の実施形態)
 以上、本開示の複数の実施形態及び変形例について説明したが、本開示は、上記実施形態及び変形例に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。
 上記実施形態にて説明したように、制御情報取得部74は、交差点GAiの手前側且つ回頭側となるエッジ交点ROeの相対位置情報を、交差点物標情報として取得する。こうした交差点GAiの形状は、十字路に限定されない。制御情報取得部74は、図22に示すような多叉路(6叉路)、Y字路、T字路及びランナバウト等、種々の交差点GAiにおいて、手前側且つ回頭側の各エッジEd1,Ed2を検出し、そのエッジ交点ROeの相対位置情報を取得できる。
 上記実施形態のナビゲーション装置55及びナビ情報生成部272は、複数の交差点GAiでの右左折が連続する場合、複合的な経路案内を実施可能である。一例として、図23に示すように、1つ目の案内エリアGA1となる交差点GAiでの右折と、2つ目の案内エリアGA2となる交差点GAiでの左折とが連続する場合、2つ目の左折を考慮した経路案内が、1つ目の案内エリアGA1にて実施される。
 具体的に、ナビゲーション装置55又はナビ情報生成部272にて生成される案内経路GRでは、1つ目の交差点GAiへのアプローチ区間において、車両Aは、複数の右折レーンのうちで最も左側のレーンに誘導される。この左端の右折レーンは、2つ目の交差点GAiの左折レーンと繋がるレーンである。複数の右折レーンのうちで左端以外のレーンを車両Aが走行している場合、図24に示すように、1つ目の交差点GAiへのアプローチ区間にて、左端の右折レーンへ向けた車線変更の誘導が、経路案内コンテンツCTsgによって実施される。
 詳記すると、経路案内コンテンツCTsgは、交差点GAiまでの経路を示すアプローチ部CTg1、交差点GAiへの進入位置を示す位置部CTg2、及び交差点GAiからの退出方向を示す出口方向部CTg3を含む様態となる。複合的な経路案内においては、HCU100にて取得される経路詳細情報に、2つ目の交差点GAiでの左折のため、アプローチ区間にて左端の右折レーンへの車線変更を指示する事前準備情報が付加されている。こうした事前準備情報に基づき、HCU100は、左側への車線変更を誘導する様態のアプローチ部CTg1を生成する。以上の経路案内コンテンツCTsgの誘導に従い、左端の右折レーンへの車線変更が完了していれば、車両Aは、2つ目の交差点GAiでの左折を円滑に実施できる。
 図25に示すように、案内エリアGAの道路形状及び勾配等に起因し、交差点GAiに到達する直前まで交差点GAiが画角VA外となる場合、経路案内コンテンツCTsgの様態を変更する。一例として、HCUは、アプローチ部CTg1を重畳コンテンツCTsとして表示させつつ、位置部CTg2及び出口方向部CTg3を非重畳コンテンツCTnとして表示させる。アプローチ部CTg1は、上記実施形態の経路案内コンテンツCTsg(図5参照)と同様に、路面に貼り付いた細帯状の延伸形状とされる。一方、位置部CTg2及び出口方向部CTg3は、横長矩形状の画角VAの四隅のうちで、交差点GAiに最も近い1つに表示される。位置部CTg2は、画角VAの隅を強調する部分円環状に表示され、画角VA外にある交差点を強調する。出口方向部CTg3は、交差点GAiでの回頭方向を指し示す矢印状に表示される。交差点GAiにて左折案内が実施される場合、出口方向部CTg3は、左方向を指し示す形状とされる。
 上記実施形態では、高精度地図データの有無に加えて、カメラ認識情報の有無に応じて、経路案内コンテンツCTsgの終了判定の成立条件が変更されていた。しかし、上記実施形態の変形例1では、終了判定の成立条件の変更に、カメラ認識情報の有無が反映されない。即ち、変形例1では、表示制御処理におけるS107及びS108(図15参照)、又はS207及びS208(図20参照)が省略される。
 上記実施形態では、外界情報を少なくとも用いた終了判定に基づき、重畳コンテンツの表示が終了されていた。しかし、上記実施形態の変形例2において、表示制御部は、外界情報を少なくとも用いた終了判定に替えて、高精度地図データ又はナビ地図データと自車の位置情報とを少なくとも用いた終了判定を実施する。そして、表示制御部は、高精度地図データ又はナビ地図データと自車の位置情報とを少なくとも用いた終了判定に基づき、案内エリアに対する自車の位置を特定し、重畳コンテンツの表示を終了させる。こうした処理によっても、重畳コンテンツの表示が適切に終了され得る。
 上記実施形態では、主にフロントカメラ31の検出情報(撮像画像)に基づき、停止線ROc、歩道線ROa,ROb及び道路標識等が認識され、外界情報としてHCU100に提供されていた。そして、表示生成部76は、これらの物標の情報を用いた終了判定を行なっていた。しかし、例えばナビ地図データに、停止線ROc及び歩道線ROa,ROb等の情報が付加されている場合、表示生成部76は、これらの情報をさらに利用して、終了判定を実施可能である。
 表示生成部76にて採用される終了判定の成立条件は、HUD20の画角VAに基づき、決定されてよい。詳記すると、HUD20の画角VAが俯角側へ拡大されると、重畳コンテンツCTsの重畳可能範囲も、自車の近傍側に拡大される。その結果、重畳コンテンツCTsの表示終了タイミングを遅くしても、重畳コンテンツCTsは、重畳対象に貼り付いた状態のままとなる。故に、重畳コンテンツCTsの表示終了タイミングは、重畳対象が画角VAからフレームアウトするタイミングと一致するように設定されるのがよい。
 上記実施形態の変形例3の経路案内コンテンツCTsgは、案内経路に該当する路面範囲を塗り潰すような様態で重畳表示される。また変形例3のLCAコンテンツCTlcは、予定走行軌跡PLCの形状に従い、自車レーンLnsから隣接レーンLndへ向けて延伸する二本線状の様態とされる。さらに、変形例3のLTCコンテンツCTltは、自車レーンLnsの左右の区画線近傍に重畳され、各区間線に沿って延伸する二本線状の様態とされる。
 上記実施形態の変形例4の経路案内コンテンツCTsgは、案内経路に該当する走行レーンの路面中央に重畳され、進行方向へ向けて延伸する一本線状の様態とされる。また変形例4のLCAコンテンツCTlcは、予定走行軌跡PLCの形状を示す一本線状の様態とされる。さらに、変形例4のLTCコンテンツCTltは、自車レーンLnsの路面を塗り潰すような様態で重畳表示される。
 以上の変形例3,4のように、各重畳コンテンツCTsの表示の様態は、適宜変更されてよい。また、経路案内コンテンツCTsg、LCAコンテンツCTlc及びLTCコンテンツCTltの各様態は、互いに同一であってもよく、又は互いに異なっていてもよい。
 上記実施形態では、交差点GAi、分岐地点GAj及び合流地点の道路形状、並びに高精度地図データ及びカメラ認識情報の有無等に応じて、経路案内コンテンツCTsgの終了判定の成立条件が変更されていた。さらに、停止線ROcの有無及び交差点GAiでの右左折の方向等に応じても、終了判定の成立条件が変更されていた。しかし、これらの情報の少なくとも一部は、終了判定の成立条件の変更又は調整に用いられなくてもよい。さらに、これら道路形状及び地図データの精度等に関わらず、終了判定の成立条件は、一定とされてよい。また、LCAコンテンツCTlcの終了判定の成立条件も、高精度地図データ及びカメラ認識情報が取得可能か否かに応じて、変更されてよい。加えて、HCU100が取得可能な地図データは、高精度地図データ及びナビ地図データのうちの一方のみであってもよい。また、終了判定には、外界情報及び操作情報に加えて、HCU100によって取得される他の情報が用いられてもよい。
 カメラ認識情報として用いられる撮像データは、フロントカメラ31によって撮影されたデータに限定されない。例えば、リヤカメラ、前側方カメラ及び後側方カメラによる撮像データに基づく外界情報が、カメラ認識情報として、重畳コンテンツの生成に用いられてよい。
 上記実施形態の各コンテンツは、表示色、表示輝度、基準となる表示形状等の静的な要素、さらに、点滅の有無、点滅の周期、アニメーションの有無、及びアニメーションの動作等の動的な要素を適宜変更されてよい。また、各コンテンツの静的又は動的な要素は、ドライバの嗜好に応じて変更可能であってよい。さらに、上記実施形態及び変形例の説明にて経路案内表示を例示した走行シーンは、一例である。上記のものとは異なる走行シーンにて、非重畳コンテンツ及び重畳コンテンツを併用した経路案内表示を、HCUは実施可能である。
 上記実施形態のHCUは、ドライバから見て重畳対象に重畳コンテンツがずれなく重畳されるように、DSMにて検出されるアイポイントの位置情報を用いて、重畳コンテンツCTsとして結像される虚像光の投影形状及び投影位置を逐次制御していた。しかし、上記実施形態の変形例5のHCUは、DSMの検出情報を用いることなく、予め設定された基準アイポイント中心の設定情報を用いて、重畳コンテンツとして結像される虚像光の投影形状及び投影位置を制御する。
 一方、上記実施形態の変形例6では、DSMにて検出されるアイポイントの位置情報に加えて、例えばHUDに設けられたジャイロセンサの検出情報をさらに用いて、重畳コンテンツとして結像される虚像光の投影形状及び投影位置が逐次制御される。ジャイロセンサは、主に車両Aのピッチ方向の姿勢を検出する姿勢センサである。こうした車両姿勢を検出する姿勢センサの利用によれば、重畳コンテンツは、いっそう正確に重畳対象に重畳され得る。
 変形例7のHUDのプロジェクタには、LCDパネル及びバックライトに替えて、EL(Electro Luminescence)パネルが設けられている。さらに、ELパネルに替えて、プラズマディスプレイパネル、ブラウン管及びLED等の表示器を用いたプロジェクタがHUD20には採用可能である。
 変形例8のHUDには、LCD及びバックライトに替えて、レーザモジュール(以下、LSM)及びスクリーンが設けられている。LSMは、例えばレーザ光源及びMEMS(Micro Electro Mechanical Systems)スキャナ等を含む構成である。スクリーンは、例えばマイクロミラーアレイ又はマイクロレンズアレイである。こうしたHUDでは、LSMから照射されるレーザ光の走査により、スクリーンに表示像が描画される。HUDは、スクリーンに描画された表示像を、拡大光学素子によってウィンドシールドに投影し、虚像を空中表示させる。
 変形例9のHUDには、DLP(Digital Light Processing,登録商標)プロジェクタが設けられている。DLPプロジェクタは、多数のマイクロミラーが設けられたデジタルミラーデバイス(以下、DMD)と、DMDに向けて光を投射する投射光源とを有している。DLPプロジェクタは、DMD及び投射光源を連携させた制御により、表示像をスクリーンに描画する。
 さらに、変形例10のHUDでは、LCOS(Liquid Crystal On Silicon)を用いたプロジェクタが採用されている。また変形例11のHUDには、虚像Viを空中表示させる光学系の一つに、ホログラフィック光学素子が採用されている。
 上記実施形態の変形例12では、HCUとHUDとが一体的に構成されている。即ち、HUDの制御回路には、HCUの処理機能が実装されている。また変形例13では、メータECUとして、HCUが設けられている。
 上記実施形態の変形例14では、フロントカメラ31の撮像データであって、自車の前景を撮像した撮像データを取得するカメラ画像取得部が、HCU100に設けられている。表示生成部76は、撮像データに基づく前景のリアル画像に、経路案内コンテンツCTsg、LCAコンテンツCTlc及びLTCコンテンツCTlt等の元画像を重ねてなる映像データを生成する。こうした映像データに基づき、HUD20は、リアル画像に各コンテンツを重ねた映像を、前景に虚像として表示させる。以上のように、HUD20の画角VAが十分でない場合、AR表示に用いられるコンテンツ等の元画像をリアル画像に重ねた虚像表示が実施されてもよい。
 上記実施形態にて、HCUによって提供されていた各機能は、ソフトウェア及びそれを実行するハードウェア、ソフトウェアのみ、ハードウェアのみ、あるいはそれらの複合的な組合せによっても提供可能である。さらに、こうした機能がハードウェアとしての電子回路によって提供される場合、各機能は、多数の論理回路を含むデジタル回路、又はアナログ回路によっても提供可能である。
 また、上記の表示制御方法を実現可能なプログラム等を記憶する記憶媒体(持続的有形コンピュータ読み取り媒体,non-transitory tangible storage medium)の形態も、適宜変更されてよい。例えば記憶媒体は、回路基板上に設けられた構成に限定されず、メモリカード等の形態で提供され、スロット部に挿入されて、HCUの制御回路に電気的に接続される構成であってよい。さらに、記憶媒体は、HCUへのプログラムのコピー基となる光学ディスク及びのハードディスクドライブ等であってもよい。
 HMIシステムを搭載する車両は、一般的な自家用の乗用車に限定されず、レンタカー用の車両、有人タクシー用の車両、ライドシェア用の車両、貨物車両及びバス等であってもよい。さらに、モビリティサービスに用いられるドライバーレス車両に、HCUを含むHMIシステムが搭載されてもよい。
 HMIシステムを搭載する車両は、右ハンドル車両であってもよく、又は左ハンドル車両であってもよい。さらに、車両が走行する交通環境は、左側通行を前提とした交通環境であってもよく、右側通行を前提とした交通環境であってもよい。本開示による車線維持制御及びその関連表示は、それぞれの国及び地域の道路交通法、さらに車両のハンドル位置等に応じて適宜最適化される。
 本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の装置及びその手法は、専用ハードウェア論理回路により、実現されてもよい。もしくは、本開示に記載の装置及びその手法は、コンピュータプログラムを実行するプロセッサと一つ以上のハードウェア論理回路との組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。

Claims (22)

  1.  経路案内を行うナビゲーション装置(55)を搭載する車両(A)において用いられ、ヘッドアップディスプレイ(20)による表示を制御する表示制御装置であって、
     前記ナビゲーション装置にて実施される経路案内に関連するナビ情報を取得するナビ情報取得部(72)と、
     前記車両の周囲の走行環境認識に基づく外界情報を取得する外界情報取得部(74)と、
     前記ナビゲーション装置による経路案内が行われる案内エリア(GA)において、経路案内を行う重畳コンテンツ(CTsg)を前記ヘッドアップディスプレイによって前景に重畳表示させる表示制御部(76)と、を備え、
     前記表示制御部は、前記ナビゲーション装置での経路案内の終了を通知する終了通知を利用することなく、前記外界情報を少なくとも用いた終了判定に基づき、前記重畳コンテンツの表示を終了させる表示制御装置。
  2.  車両(A)において用いられ、画面表示器(24)及びヘッドアップディスプレイ(20)による表示を制御する表示制御装置であって、
     前記車両の周囲の走行環境認識に基づく外界情報を取得する外界情報取得部(74)と、
     経路案内画像(Png)を前記画面表示器に画面表示させる案内エリア(GA)において、経路案内を行う重畳コンテンツ(CTsg)を前記ヘッドアップディスプレイによって前景に重畳表示させる表示制御部(76)と、を備え、
     前記表示制御部は、前記画面表示器による前記経路案内画像の表示を終了させるよりも早く、前記外界情報を少なくとも用いた終了判定に基づき、前記重畳コンテンツの表示を終了させる表示制御装置。
  3.  経路案内を行うナビゲーション装置(55)を搭載する車両(A)において用いられ、ヘッドアップディスプレイ(20)による表示を制御する表示制御装置であって、
     前記ナビゲーション装置にて実施される経路案内に関連するナビ情報を取得するナビ情報取得部(72)と、
     前記車両の周囲の走行環境認識に基づく外界情報を取得する外界情報取得部(74)と、
     前記ナビゲーション装置が経路案内画像(Png)を画面表示させる案内エリア(GA)において、経路案内を行う重畳コンテンツ(CTsg)を前記ヘッドアップディスプレイによって前景に重畳表示させる表示制御部(76)と、を備え、
     前記表示制御部は、前記ナビゲーション装置が前記経路案内画像の表示を終了させるよりも早く、前記外界情報を少なくとも用いた終了判定に基づき、前記重畳コンテンツの表示を終了させる表示制御装置。
  4.  前記案内エリアは、前記車両が右左折を行う予定の交差点(GAi)である請求項1~3のいずれか一項に記載の表示制御装置。
  5.  前記外界情報取得部は、前記交差点に関連する物標の認識に基づく交差点物標情報を、前記外界情報として取得し、
     前記表示制御部は、前記交差点物標情報を用いた前記終了判定に基づき、前記重畳コンテンツの表示を終了させる請求項4に記載の表示制御装置。
  6.  前記表示制御部は、前記案内エリアとなる前記交差点が予め規定された複雑交差点である場合、前記交差点が前記複雑交差点でない場合よりも、前記重畳コンテンツの表示の終了が遅くなるよう前記終了判定の成立条件を変更する請求項4又は5に記載の表示制御装置。
  7.  前記表示制御部は、前記案内エリアとなる前記交差点の手前側に一時停止線(ROc)がある場合、前記一時停止線がない場合よりも、前記重畳コンテンツの表示の終了が遅くなるよう前記終了判定の成立条件を変更する請求項4~6のいずれか一項に記載の表示制御装置。
  8.  前記表示制御部は、前記案内エリアとなる前記交差点での右折又は左折にて対向車線を横切らない場合、前記対向車線を横切る場合よりも、前記重畳コンテンツの表示の終了が遅くなるよう前記終了判定の成立条件を変更する請求項4~7のいずれか一項に記載の表示制御装置。
  9.  前記案内エリアは、前記車両が車線変更を行う予定の分岐合流地点であり、
     前記外界情報取得部は、前記分岐合流地点に関連する物標の認識に基づく地点物標情報を、前記外界情報として取得し、
     前記表示制御部は、前記地点物標情報を用いた前記終了判定に基づき、前記重畳コンテンツの表示を終了させる請求項1~8のいずれか一項に記載の表示制御装置。
  10.  前記外界情報取得部は、前記案内エリアの道路のエッジを検出してなるエッジ位置情報を前記外界情報として取得し、
     前記表示制御部は、前記エッジ位置情報を用いた前記終了判定に基づき、前記重畳コンテンツの表示を終了させる請求項1~9のいずれか一項に記載の表示制御装置。
  11.  前記表示制御部は、前記案内エリアの道路形状に応じて前記終了判定の成立条件を変更する請求項1~10のいずれか一項に記載の表示制御装置。
  12.  前記表示制御部は、
     少なくとも前記重畳コンテンツの表示を終了させた後の期間に、経路案内を継続する非重畳コンテンツ(CTng)を表示させ、
     前記非重畳コンテンツの表示期間において、前記非重畳コンテンツの視認性を低くする様態変更を行う請求項1~11のいずれか一項に記載の表示制御装置。
  13.  車線変更機能を搭載する車両(A)において用いられ、ヘッドアップディスプレイ(20)による表示を制御する表示制御装置であって、
     前記車両の周囲の走行環境認識に基づく外界情報を取得する外界情報取得部(74)と、
     前記車線変更機能による車線変更が行われるシーンにおいて、車線変更での移動方向を示す重畳コンテンツ(CTlc)を前記ヘッドアップディスプレイによって前景に重畳表示させ、前記外界情報を少なくとも用いた終了判定に基づき、前記重畳コンテンツの表示を終了させる表示制御部(76)と、を備える表示制御装置。
  14.  画面表示器(23)の表示をさらに制御する表示制御装置であって、
     前記表示制御部は、
     前記車線変更機能による車線変更が行われるシーンにおいて、車線変更の実施を通知する車線変更画像(Pmc)を前記画面表示器に画面表示させ、
     前記画面表示器による前記車線変更画像の表示を終了させるよりも早く、前記外界情報を少なくとも用いた終了判定に基づき、前記重畳コンテンツの表示を終了させる請求項13に記載の表示制御装置。
  15.  前記表示制御部にて前記重畳コンテンツの生成に用いられる地図データとして、互いに精度の異なる低精度地図データ及び高精度地図データを取得する地図データ取得部(73)、をさらに備え、
     前記表示制御部は、前記重畳コンテンツの生成に用いられる前記高精度地図データが取得できているか否かに基づき、前記終了判定の条件を変更する請求項1~14のいずれか一項に記載の表示制御装置。
  16.  前記表示制御部は、前記高精度地図データを用いて前記重畳コンテンツを生成する場合、前記低精度地図データを用いて前記重畳コンテンツを生成する場合よりも、前記重畳コンテンツの表示が終了され難くなるように、前記終了判定の成立条件を変更する請求項15に記載の表示制御装置。
  17.  前記外界情報取得部は、前記車両に搭載された車載カメラ(31)の撮像データに基づくカメラ認識情報を、前記外界情報として取得し、
     前記表示制御部は、前記撮像データに基づく前記カメラ認識情報を用いて前記重畳コンテンツを生成する場合、前記カメラ認識情報を前記重畳コンテンツの生成に用いない場合よりも、前記重畳コンテンツの表示が終了され難くなるように、前記終了判定の成立条件を変更する請求項1~16のいずれか一項に記載の表示制御装置。
  18.  前記車両の乗員の操作に関連する操作情報を取得する操作情報取得部(75)、をさらに備え、
     前記表示制御部は、前記外界情報に加えて前記操作情報を用いた前記終了判定に基づき、前記重畳コンテンツの表示を終了させる請求項1~17のいずれか一項に記載の表示制御装置。
  19.  経路案内を行うナビゲーション装置(55)を搭載する車両(A)において用いられ、ヘッドアップディスプレイ(20)による表示を制御する表示制御プログラムであって、
     少なくとも一つの処理部(11)に、
     前記ナビゲーション装置にて実施される経路案内に関連するナビ情報を取得し(S101)、
     前記車両の周囲の走行環境認識に基づく外界情報を取得し(S102)、
     前記ナビゲーション装置による経路案内が行われる案内エリア(GA)において、経路案内を行う重畳コンテンツ(CTsg)を前記ヘッドアップディスプレイによって前景に重畳表示させ(S104)、
     前記ナビゲーション装置での経路案内の終了を通知する終了通知を利用することなく、前記外界情報を少なくとも用いた終了判定に基づき、前記重畳コンテンツの表示を終了させる(S111,S113)、
     ことを含む処理を実施させる表示制御プログラム。
  20.  車両(A)において用いられ、画面表示器(24)及びヘッドアップディスプレイ(20)による表示を制御する表示制御プログラムであって、
     少なくとも一つの処理部(11)に、
     前記車両の周囲の走行環境認識に基づく外界情報を取得し(S202)、
     経路案内画像(Png)を前記画面表示器に画面表示させる案内エリア(GA)において、経路案内を行う重畳コンテンツを前記ヘッドアップディスプレイによって前景に重畳表示させ(S204)、
     前記画面表示器による前記経路案内画像の表示を終了させるよりも早く、前記外界情報を少なくとも用いた終了判定に基づき、前記重畳コンテンツの表示を終了させる(S212)、
     ことを含む処理を実施させる表示制御プログラム。
  21.  経路案内を行うナビゲーション装置(55)を搭載する車両(A)において用いられ、ヘッドアップディスプレイ(20)による表示を制御する表示制御プログラムであって、
     少なくとも一つの処理部(11)に、
     前記ナビゲーション装置にて実施される経路案内に関連するナビ情報を取得し(S101)、
     前記車両の周囲の走行環境認識に基づく外界情報を取得し(S102)、
     前記ナビゲーション装置が経路案内画像(Png)を画面表示させる案内エリア(GA)において、経路案内を行う重畳コンテンツ(CTsg)を前記ヘッドアップディスプレイによって前景に重畳表示させ(S104)、
     前記ナビゲーション装置が前記経路案内画像の表示を終了させるよりも早く、前記外界情報を少なくとも用いた終了判定に基づき、前記重畳コンテンツの表示を終了させる(S111,S113)、
     ことを含む処理を実施させる表示制御プログラム。
  22.  車線変更機能を搭載する車両(A)において用いられ、ヘッドアップディスプレイ(20)による表示を制御する表示制御プログラムであって、
     少なくとも一つの処理部(11)に、
     前記車線変更機能による車線変更が行われるシーンにおいて、前記車両の周囲の走行環境認識に基づく外界情報を取得し(S132)、
     車線変更での移動方向を示す重畳コンテンツ(CTlc)を前記ヘッドアップディスプレイによって前景に重畳表示させ(S134)、
     前記外界情報を少なくとも用いた終了判定に基づき、前記重畳コンテンツの表示を終了させる(S136,S137)、
     ことを含む処理を実施させる表示制御プログラム。
PCT/JP2020/028037 2019-08-23 2020-07-20 表示制御装置及び表示制御プログラム WO2021039198A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/671,115 US20220172652A1 (en) 2019-08-23 2022-02-14 Display control device and display control program product

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2019153138 2019-08-23
JP2019-153138 2019-08-23
JP2020116683A JP7215466B2 (ja) 2019-08-23 2020-07-06 表示制御装置及び表示制御プログラム
JP2020-116683 2020-07-06

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/671,115 Continuation US20220172652A1 (en) 2019-08-23 2022-02-14 Display control device and display control program product

Publications (1)

Publication Number Publication Date
WO2021039198A1 true WO2021039198A1 (ja) 2021-03-04

Family

ID=74684657

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/028037 WO2021039198A1 (ja) 2019-08-23 2020-07-20 表示制御装置及び表示制御プログラム

Country Status (2)

Country Link
US (1) US20220172652A1 (ja)
WO (1) WO2021039198A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11828615B2 (en) * 2020-08-06 2023-11-28 Thinkware Corporation AR processing device, augmented reality-based route guidance method and electronic device
JP2022041288A (ja) * 2020-08-31 2022-03-11 トヨタ自動車株式会社 車両用表示装置、表示方法及びプログラム
JP2022060081A (ja) * 2020-10-02 2022-04-14 株式会社Subaru 走行制御装置
JP2022063933A (ja) * 2020-10-13 2022-04-25 株式会社Subaru 車両の表示装置
DE102021202666A1 (de) * 2021-03-18 2022-09-22 Volkswagen Aktiengesellschaft Dynamischer AR-Hinweis
JP2022184350A (ja) * 2021-06-01 2022-12-13 マツダ株式会社 ヘッドアップディスプレイ装置
US20230290156A1 (en) * 2022-03-11 2023-09-14 GM Global Technology Operations LLC System and method for providing lane identification on an augmented reality display

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006284458A (ja) * 2005-04-01 2006-10-19 Denso Corp 運転支援情報表示システム
JP2013029330A (ja) * 2011-07-26 2013-02-07 Jvc Kenwood Corp ナビゲーション装置、ナビゲーション方法、および、プログラム
JP2015011458A (ja) * 2013-06-27 2015-01-19 株式会社デンソー 車両用情報提供装置
JP2018173399A (ja) * 2017-03-31 2018-11-08 アイシン・エィ・ダブリュ株式会社 表示装置及びコンピュータプログラム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007121001A (ja) * 2005-10-26 2007-05-17 Matsushita Electric Ind Co Ltd ナビゲーション装置
JP2008309529A (ja) * 2007-06-12 2008-12-25 Panasonic Corp ナビゲーション装置、ナビゲーション方法、及びナビゲーション用プログラム
DE112018004583T5 (de) * 2017-11-17 2020-08-27 Aisin Aw Co., Ltd. Anzeigevorrichtung und Computerprogramm

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006284458A (ja) * 2005-04-01 2006-10-19 Denso Corp 運転支援情報表示システム
JP2013029330A (ja) * 2011-07-26 2013-02-07 Jvc Kenwood Corp ナビゲーション装置、ナビゲーション方法、および、プログラム
JP2015011458A (ja) * 2013-06-27 2015-01-19 株式会社デンソー 車両用情報提供装置
JP2018173399A (ja) * 2017-03-31 2018-11-08 アイシン・エィ・ダブリュ株式会社 表示装置及びコンピュータプログラム

Also Published As

Publication number Publication date
US20220172652A1 (en) 2022-06-02

Similar Documents

Publication Publication Date Title
WO2021039198A1 (ja) 表示制御装置及び表示制御プログラム
JP7063316B2 (ja) 表示制御装置及び表示制御プログラム
JP7464096B2 (ja) 表示制御装置及び表示制御プログラム
WO2020261781A1 (ja) 表示制御装置、表示制御プログラム、および持続的有形コンピュータ読み取り媒体
WO2021006060A1 (ja) 表示制御装置および表示制御プログラム
JP7218822B2 (ja) 表示制御装置
WO2020208989A1 (ja) 表示制御装置及び表示制御プログラム
WO2020225990A1 (ja) 表示制御装置及び表示制御プログラム
US11850940B2 (en) Display control device and non-transitory computer-readable storage medium for display control on head-up display
JP7338735B2 (ja) 表示制御装置及び表示制御プログラム
JP7215466B2 (ja) 表示制御装置及び表示制御プログラム
JP7243660B2 (ja) 表示制御装置及び表示制御プログラム
JP7173078B2 (ja) 表示制御装置及び表示制御プログラム
JP7111121B2 (ja) 表示制御装置及び表示制御プログラム
JP7092158B2 (ja) 表示制御装置及び表示制御プログラム
JP7234650B2 (ja) 表示制御装置及び表示制御プログラム
JP2021006805A (ja) 表示制御装置及び表示制御プログラム
JP2021049968A (ja) 表示制御装置および表示制御プログラム
JP7259802B2 (ja) 表示制御装置、表示制御プログラム及び車載システム
JP7255443B2 (ja) 表示制御装置及び表示制御プログラム
JP7088152B2 (ja) 表示制御装置、および表示制御プログラム
JP7063345B2 (ja) 表示制御装置及び表示制御プログラム
WO2021075160A1 (ja) 表示制御装置、表示制御プログラム及び車載システム
WO2020246114A1 (ja) 表示制御装置および表示制御プログラム
JP2020183192A (ja) 表示制御装置及び表示制御プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20858636

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20858636

Country of ref document: EP

Kind code of ref document: A1