WO2019230270A1 - 表示制御装置、表示制御プログラム、およびその持続的有形コンピュータ読み取り媒体 - Google Patents

表示制御装置、表示制御プログラム、およびその持続的有形コンピュータ読み取り媒体 Download PDF

Info

Publication number
WO2019230270A1
WO2019230270A1 PCT/JP2019/017326 JP2019017326W WO2019230270A1 WO 2019230270 A1 WO2019230270 A1 WO 2019230270A1 JP 2019017326 W JP2019017326 W JP 2019017326W WO 2019230270 A1 WO2019230270 A1 WO 2019230270A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
virtual image
display control
condition
vehicle
Prior art date
Application number
PCT/JP2019/017326
Other languages
English (en)
French (fr)
Inventor
智 堀畑
靖 作間
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Publication of WO2019230270A1 publication Critical patent/WO2019230270A1/ja
Priority to US17/092,586 priority Critical patent/US11367417B2/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37Details of the operation on graphic patterns
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/166Navigation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/167Vehicle dynamics information
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/175Autonomous driving
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/177Augmented reality
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/178Warnings
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80Arrangements for controlling instruments
    • B60K35/81Arrangements for controlling instruments for controlling displays
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/04Changes in size, position or resolution of an image
    • G09G2340/0464Positioning
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/10Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/12Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/10Automotive applications

Definitions

  • the present disclosure relates to a display control device that controls display of a virtual image, a display control program, and a persistent tangible computer-readable medium thereof.
  • Patent Document 1 discloses a vehicle navigation system in which an information transmitter used for presenting information such as route guidance is displayed as a virtual image on the foreground of an occupant using a head-up display.
  • the head-up display of Patent Document 1 can project light that becomes a virtual image over a wide range of the windshield. Therefore, in a situation where the information transmission element overlaps an obstacle such as a preceding vehicle, the information transmission element is moved to a display position that does not overlap the obstacle.
  • the present disclosure is intended to provide a display control device, a display control program, and a continuous tangible computer-readable medium thereof capable of displaying a virtual image that is less likely to mislead passengers.
  • a display control device that is used in a vehicle and controls display of a virtual image superimposed on a superimposition target in a foreground of an occupant is a condition determination that determines whether a preset interruption condition is satisfied. And a display control unit that interrupts the display of the virtual image when the condition determination unit determines that the interruption condition is satisfied.
  • a display control program that is used in a vehicle and controls display of a virtual image superimposed on a superimposition target in a foreground of an occupant includes at least one processing unit with a preset interruption condition A condition determining unit that determines whether the interruption condition is satisfied, and a display control unit that interrupts the display of the virtual image when the condition determining unit determines that the interruption condition is satisfied.
  • a persistent tangible computer readable medium comprising computer-implemented instructions, the instructions being used in a vehicle and of a virtual image superimposed on a superposition object in a foreground of an occupant
  • the instruction controls display of the virtual image when it is determined that a predetermined interruption condition is satisfied, and the condition determination unit determines that the interruption condition is satisfied. Interrupting the display.
  • a scene that cannot correctly superimpose a virtual image on a superimposition target can be set as an interruption condition. Therefore, according to the control for stopping the virtual image display based on the determination of establishment of the interruption condition, the virtual image display can be interrupted in a scene where correct superimposed display is difficult. Therefore, it is possible to display a virtual image that is difficult to misunderstand the passenger.
  • the drawing It is a block diagram showing the overall image of the in-vehicle configuration related to the virtual image display system, It is a figure showing an example of information presentation using a far virtual image and a near virtual image, It is a figure which shows the state by which AR display by a distant image was interrupted based on establishment of interruption conditions, It is a flowchart which shows the detail of the display control process implemented with a display control apparatus with FIG. 5, It is a flowchart which shows the detail of a display control process with FIG.
  • the display control apparatus 100 includes the virtual image display system 10 used in the vehicle A together with a head-up display (hereinafter, “HUD”) device 30 and the like.
  • the virtual image display system 10 displays a virtual image Vi to be superimposed on a foreground superimposition target of an occupant (for example, a driver) of the vehicle A, such as another vehicle, a pedestrian, and a cyclist.
  • the virtual image display system 10 presents various information related to the vehicle A to the driver by augmented reality (Augmented Reality, hereinafter referred to as “AR”) display using the virtual image Vi.
  • AR Augmented Reality
  • the display control device 100 can communicate with other in-vehicle configurations via a communication bus of the in-vehicle network.
  • a navigation information providing unit 21, an ADAS information providing unit 22, a host vehicle information providing unit 26, a driver information providing unit 27, an in-vehicle device 40, and the like are directly or indirectly electrically connected to the communication bus.
  • the navigation information providing unit 21 includes at least a navigation device mounted on the vehicle A, and includes a map database and a GNSS (Global Navigation Satellite System) receiver.
  • the map database stores a large amount of map data for route guidance by the navigation device.
  • the GNSS receiver receives positioning signals transmitted from a plurality of artificial satellites.
  • the navigation information providing unit 21 measures the current position of the vehicle A based on the positioning signal received by the GNSS receiver.
  • the navigation information providing unit 21 sequentially outputs GNSS reception information indicating the current position of the vehicle A and the reception status of the positioning signal to the communication bus and provides the display control device 100 with the GNSS reception information.
  • the GNSS reception information includes the number of satellites receiving the positioning signal, the signal level (intensity) of the positioning signal, and the reliability of the position information based on a predetermined algorithm, as information indicating the reception status of the positioning signal. ing.
  • the navigation information providing unit 21 displays the map data about the vehicle A and the traveling direction read from the map database and the route information to the destination as map route information. This is provided to the control device 100.
  • the navigation information providing unit 21 reroutes indicating that the re-route is being performed and completed. Information is provided to the display control apparatus 100.
  • the ADAS information providing unit 22 includes at least a locator 23, an external sensor 24, a driving support control system 25, and the like.
  • the locator 23 is a highly accurate position information indicating the lane on which the vehicle A travels by a composite positioning in which the GNSS reception information provided from the navigation information providing unit 21 is combined with measurement information such as the inertial sensor and the external sensor 24. Is generated.
  • the locator 23 provides highly accurate position information to the driving support control system 25, the display control device 100, and the like.
  • the external sensor 24 includes a front camera, a millimeter wave and quasi-millimeter wave radar, a lidar, a sonar, and the like.
  • the external sensor 24 detects a stationary object and a moving object from the periphery of the vehicle A, particularly from the front range of the vehicle A.
  • the outside sensor 24 provides outside world sensing information indicating an object detection result to the locator 23, the driving support control system 25, and the display control device 100.
  • the driving support control system 25 uses the highly accurate position information from the locator 23 and the outside world sensing information from the outside world sensor 24 to support the driving operation of the driver.
  • the driving support control system 25 has functional units that realize automatic driving functions such as ACC (Adaptive Cruise Control), LTC (lane trace control), LKA (Lane Keeping Assist), and the like.
  • the driving support control system 25 has a functional unit that realizes a collision avoidance function such as FCW (Forward collision) and AEB (Automatic emergency braking).
  • FCW Forward collision
  • AEB Automatic emergency braking
  • the own vehicle information providing unit 26 includes a plurality of in-vehicle sensors that measure the state of the vehicle A.
  • the own vehicle information providing unit 26 provides information such as the shift position of the transmission of the vehicle A to the display control device 100 as own vehicle movement information in addition to the current vehicle speed, acceleration, angular velocity, vehicle posture, and the like of the vehicle A. To do.
  • the driver information providing unit 27 includes at least a driver status monitor (hereinafter referred to as “DSM”) mounted on the vehicle A, and includes a near-infrared light source, a near-infrared camera, and an image analysis unit. ing.
  • the driver information providing unit 27 acquires information such as a driver's eye point EP, line-of-sight direction, and eye opening degree by analyzing a face image captured using a near-infrared camera.
  • the driver information providing unit 27 provides the acquired driver sensing information to the display control apparatus 100.
  • the in-vehicle device 40 is an electronic control unit mounted on the vehicle A, and is electrically connected to in-vehicle displays such as a combination meter 41, a multi-information display (MID) 42, and a center information display (CID) 43.
  • in-vehicle displays such as a combination meter 41, a multi-information display (MID) 42, and a center information display (CID) 43.
  • MID multi-information display
  • CID center information display
  • the in-vehicle device 40 integrally controls information presentation to the driver in response to a control request to each in-vehicle display.
  • the in-vehicle device 40 outputs a superimposed display control request to the display control device 100 in a scene that requires information presentation by virtual image display.
  • the HUD device 30 is electrically connected to the display control device 100, and acquires video data generated by the display control device 100.
  • the HUD device 30 is configured by a projector, a screen, a magnifying optical system, and the like.
  • the HUD device 30 is accommodated in an accommodation space in the instrument panel below the windshield WS.
  • the HUD device 30 projects the light of the display image formed as the virtual image Vi toward the projection range PA of the windshield WS.
  • the light projected toward the windshield WS is reflected toward the driver's seat in the projection range PA and is perceived by the driver.
  • the driver visually recognizes the display in which the virtual image Vi is superimposed on the superimposition target in the foreground that can be seen through the projection range PA.
  • the projection range PA onto which light is projected by the HUD device 30 is a limited partial area of the entire surface of the windshield WS, and is an area where the virtual image Vi is displayed on the driver's appearance.
  • the projection range PA includes a near virtual image display area PA2 and a far virtual image display area PA1.
  • the near virtual image display area PA2 is narrower than the far virtual image display area PA1, and is located, for example, at the lower left or lower right of the far virtual image display area PA1.
  • the light projected on the near virtual image display area PA2 is imaged as a near virtual image Vi2.
  • the light projected on the far virtual image display area PA1 is imaged as a far virtual image Vi1.
  • the near virtual image Vi2 and the far virtual image Vi1 shown in FIGS. 1 and 2 are formed at different positions in the front-rear direction and the vertical direction of the vehicle A, respectively.
  • the near-virtual image Vi2 is formed closer to the driver than the far-virtual image Vi1, and specifically, is formed in a space of about 2 to 3 meters in front of the vehicle A from the driver's eye point EP.
  • the near-virtual image Vi2 mainly presents information indicating the state of the vehicle A to the driver by non-AR display. As an example, a turn-by-turn icon 11 instructing the execution of a left / right turn, a speed display 12 indicating the vehicle speed, and the like are displayed as a near-virtual image Vi2.
  • the far virtual image Vi1 is formed at a position farther from the windshield WS than the near virtual image Vi2, specifically, in a space of about 10 to 20 meters in front of the vehicle A from the eye point EP.
  • the distant virtual image Vi1 is superimposed on a superimposition target in the foreground (for example, a road surface, a forward vehicle, etc.), and realizes the above-described AR display.
  • the AR route 13 or the like indicating the travel route set in the navigation device is displayed as the far-virtual image Vi1.
  • the control circuit of the display control apparatus 100 is mainly configured by a computer having a processing unit 61, a RAM 62, a memory device 63, and an input / output interface.
  • the processing unit 61 includes at least one of a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit).
  • the memory device 63 stores various programs executed by the processing unit 61.
  • a plurality of application programs (50a to 50e) for generating AR content displayed as a virtual image, a presentation management program for controlling the virtual image display in an integrated manner, and the like are stored as a display control program.
  • the display control apparatus 100 includes a common information generation block 71 and an integrated display control block 73 as functional blocks based on the presentation management program.
  • the common information generation block 71 acquires information used in common by the superimposed display applications 50a to 50e and the integrated display control block 73 from the communication bus. Specifically, GNSS reception information, map route information, reroute information, high-accuracy position information, external sensing information, driving support control information, own vehicle motion information, driver sensing information, and superimposed display control requests are common. Obtained by the information generation block 71. Based on the acquired information, the common information generation block 71 calculates parameters necessary for correcting the superimposed display. In addition, the common information generation block 71 abstracts the acquired information.
  • the information acquired by the common information generation block 71 includes emergency information with high urgency.
  • emergency information For example, in the driving support control information, control information related to the operation of FCW and AEB, control information related to the operation of LKA (lane departure notification), and the like are set in advance as emergency information.
  • LKA lane departure notification
  • out of the external sensing information lane change vehicle approach detection information immediately before the host vehicle (vehicle A), merged vehicle detection information, and the like are set in advance as emergency information.
  • the superimposed display applications 50a to 50e Based on the information provided by the common information generation block 71, the superimposed display applications 50a to 50e generate AR content related to the ADAS function and the cockpit function, and set the display flag thereof.
  • Each of the superimposed display applications 50a to 50e is associated with the ACC function, the LKA function, the FCW function, and the navigation device of the driving support control system.
  • Each of the superimposed display applications 50a to 50e individually determines AR content and non-AR content to be displayed as a virtual image according to the provided information, and issues a display request to the integrated display control block 73.
  • the integrated display control block 73 generates video data of the far virtual image Vi1 and the near virtual image Vi2 using information provided from the common information generation block 71 based on display requests from the superimposed display applications 50a to 50e.
  • the integrated display control block 73 includes a display mediation unit 74, a superimposed display correction unit 75, and a drawing output unit 76.
  • the display mediation unit 74 is a functional unit that adjusts AR content and non-AR content displayed as the far-virtual image Vi1 and the near-virtual image Vi2.
  • the display mediation unit 74 selects high-priority AR content and non-AR content from the acquired display requests, and uses them as virtual image display targets.
  • the emergency information described above is assigned the highest priority in advance. With these settings, AR content that notifies urgent information is virtually always displayed and is quickly displayed.
  • the display arbitration unit 74 determines whether the interruption condition and the resumption condition are satisfied based on various information provided from the common information generation block 71, and determines the interruption and resumption of the AR display using the far virtual image Vi1.
  • the interruption condition is set in advance so as to be associated with a scene in which it is difficult to accurately superimpose on the superimposition target, a scene that does not require AR display, a scene in which AR display interferes with the driver, and the like. Specifically, the stopping and retreating of the vehicle A, which will be described later, a decrease in the reliability of the vehicle position information accompanying the deterioration of the reception status of the positioning signal, the re-routing accompanying the departure from the planned traveling route, and the driver turning off operation, etc.
  • the resumption condition is determined after the interruption condition is established.
  • the display mediation unit 74 sets the content associated with the interrupt condition established immediately before as the restart condition.
  • the above interruption condition and resumption condition are respectively provided with an exclusion condition and a restriction condition.
  • the display mediation unit 74 does not establish the interruption condition when the exclusion condition is met.
  • the display mediation unit 74 does not establish the restart condition when the restriction condition is met.
  • the superimposition display correction unit 75 acquires parameters for superimposition display correction calculated by the common information generation block 71, and generates correction information of the video data of the far virtual image Vi1.
  • the correction information is information for adjusting the imaging position of the far imaginary image Vi1 on a virtual line that three-dimensionally connects the superimposition target and the eye point EP and correctly superimposing the far imaginary image Vi1 on the superposition target.
  • the superimposed display correction unit 75 sequentially generates correction information in consideration of the relative position of the overlapping target, the position of the eye point EP, the vehicle posture, and the like.
  • the rendering output unit 76 generates video data by rendering the original image of the content selected by the display mediation unit 74 for each of the far virtual image Vi1 and the near virtual image Vi2.
  • the drawing output unit 76 adjusts the drawing position and drawing shape of the original image in each frame based on the correction information from the superimposed display correction unit 75 for the video data of the far-virtual image Vi1.
  • the drawing output unit 76 sequentially outputs the generated video data to the HUD device 30 in a predetermined video format.
  • the drawing output unit 76 interrupts the display of the far-virtual image Vi1 among the virtual images Vi when the display mediation unit 74 determines that the interruption condition is satisfied by the control of each video data. On the other hand, the drawing output unit 76 continues displaying the near virtual image Vi2. When the display of the far imaginary image Vi1 is interrupted, the drawing output unit 76 notifies the driver of the discontinuation of the display of the far imaginary image Vi1 by the near imaginary image Vi2. As an example, the drawing output unit 76 displays the interruption notification icon 15 (see FIG. 3) indicating the discontinuation of the display of the far virtual image Vi1 as the near virtual image Vi2. Further, the drawing output unit 76 resumes the display of the distant virtual image Vi ⁇ b> 1 when the display arbitration unit 74 determines that the resumption condition is satisfied.
  • the drawing output unit 76 has the content corresponding to the emergency information when the emergency information is acquired in the common information generation block 71.
  • the AR content is notified by the distant image Vi1. For example, a lane departure notification on a winding road, a lane change vehicle entry notification, a vehicle merging notification, and the like are displayed in a virtual image as highly urgent AR content regardless of the AR display on / off setting.
  • the integrated display control block 73 determines that the interruption condition is satisfied when the vehicle stops or when a certain time has elapsed after the vehicle stops. For example, when the AR display using the far-virtual image Vi1 is continued at the intersection where the left-right turn guidance is provided, there is a possibility that the visual recognition of the surrounding situation by the driver may be hindered by the far-virtual image Vi1. In order to avoid such a driver's attention reduction, the integrated display control block 73 establishes an interruption condition based on the stoppage determination, and stops the display of the far virtual image Vi1.
  • stop determination is that the shift position is parking “P”, that the vehicle speed is zero or below a certain value, that the traffic light nearest to the front is “red”, that the stop line is detected, the brake of the preceding vehicle Based on lighting of the lamp and stop of the preceding vehicle.
  • the stop determination may be based on a stop for a certain time (X seconds or more), for example. This certain time can be changed based on the presence or absence of a preceding vehicle, that is, whether or not the vehicle is the first vehicle in the vehicle group stopped at the intersection. For example, when the host vehicle is the leading vehicle, there is little discomfort in the AR display.
  • the AR display is superimposed on the preceding vehicle, so that the driver is likely to feel uncomfortable. Therefore, when the preceding vehicle is detected, the fixed time used for the stop determination is adjusted to be shorter than when the preceding vehicle is not detected.
  • the laws and regulations related to transportation differ depending on the country and region. For example, in the United States, even if it is a red light, it is possible to turn right after stopping. Therefore, even if the latest traffic light is “red”, the integrated display control block 73 does not establish the interruption condition if the vehicle A is scheduled to turn right. Thus, an exclusion condition can be set as the interruption condition. According to the setting of the exclusion condition according to the country and region where the vehicle A is used, the display stop of the far-virtual image Vi1 at an undesirable timing is avoided.
  • the integrated display control block 73 sets the travel determination as the restart condition when the stop determination is set as the interruption condition.
  • the traveling determination is based on, for example, that the shift position is the drive “D”, the vehicle speed is not zero, or is a certain value or more.
  • the vehicle stops at a position away from an intersection scheduled to turn left or right, and the remaining distance to the intersection is equal to or greater than a certain distance The display is resumed at the stop timing of the stop condition.
  • the integrated display control block 73 determines whether the interruption condition is satisfied as the reroute is performed in the navigation device. For example, when the driver intentionally ignores the route guidance and travels on a route different from the route being guided, the AR route 13 displayed as the distant image Vi1 is easy to make the driver feel annoyed and is deleted early. It is desirable. Therefore, the integrated display control block 73 performs re-search execution determination when the reroute execution in the navigation device is estimated, and stops the display of the far virtual image Vi1. Reroute execution estimation (research execution determination) is performed when a sign deviating from the route indicated by the route information is detected.
  • the integrated display control block 73 recognizes the traveling lane of the vehicle A before the intersection based on the highly accurate position information, and compares it with the left / right turn information indicated by the route information. Predict movement. If the route predicted from the travel lane is different from the route indicated by the route information, the integrated display control block 73 estimates reroute execution. As another example, the integrated display control block 73 can estimate the reroute implementation based on a comparison between the operating state of the direction indicator and the route indicated by the route information. As described above, the integrated display control block 73 establishes the interruption condition based on the reroute execution estimation, and stops the display of the far virtual image Vi1 before entering the intersection.
  • the integrated display control block 73 sets the acquisition of new route information searched by the reroute as the resumption condition when the reroute execution estimation is set as the interruption condition. According to such restart condition setting, display of the AR route 13 is resumed at the timing when new route information is acquired from the navigation information providing unit 21. Note that the integrated display control block 73 may use acquisition of map route information for notifying reroute execution as an interruption condition instead of the reroute execution estimation.
  • the integrated display control block 73 determines that the interruption condition is satisfied when the vehicle A is moving backward. In the situation where the driver is moving the vehicle A backward, the virtual image display ahead is not necessary. When the shift position is reverse “R”, the integrated display control block 73 establishes the interruption condition based on the reverse determination, and stops the display of the far virtual image Vi1.
  • the integrated display control block 73 sets the travel determination as the restart condition in the same manner as the stop determination when the reverse determination is an interruption condition. According to the setting of such a restart condition, the display of the far virtual image Vi1 is restarted at the timing when the normal traveling of the vehicle A is started. For example, in the vehicle A that can be displayed superimposed on the rear window, the projection of the virtual image on the rear window may be continued even during reverse. According to such control, the driver can visually recognize the virtual image projected on the rear window through the rearview mirror.
  • the integrated display control block 73 determines that the interruption condition is satisfied when the reception status of the positioning signal is not good.
  • the integrated display control block 73 establishes the interruption condition based on the reception status determination, and stops the display of the far-virtual image Vi1.
  • the reception status determination is determined based on the GNSS reception information provided by the navigation information providing unit 21.
  • the integrated display control block 73 performs a low reliability determination of the position information due to a poor reception state by appropriately combining the plurality of conditions.
  • the integrated display control block 73 sets the reliability determination of the position information reliability by the recovery of the reception status as the restart condition when the low reliability determination of the position information is set as the interruption condition.
  • the reliability assurance judgment the reliability of the position information is no longer “low”, the number of satellites receiving positioning signals has exceeded a certain number, and the signal level of positioning signals has exceeded a certain value. Based on that.
  • the AR display using the far virtual image Vi1 is restarted at a timing when the accuracy of the position information is ensured.
  • the driver is forced to immediately respond to the instruction of the AR route 13 and is easily confused. Therefore, even if the integrated display control block 73 performs the reliability ensuring determination, if the distance to the guide point such as an intersection is less than a certain value, the resumption condition is not satisfied.
  • a restriction condition can be set as the restart condition. According to the setting of the limiting condition, the resumption of display of the far-virtual image Vi1 at an undesired timing is avoided.
  • the integrated display control block 73 determines that the interruption condition is satisfied when an off operation input by a vehicle occupant such as a driver is received.
  • the input object of the off operation is, for example, a steering switch 45 provided in the spoke portion of the staying wheel, a CID 43 display screen for displaying a map of the navigation device, and the like.
  • the steering switch 45 is, for example, a push switch.
  • the display screen of the CID 43 displays, for example, an enlargement cancel button 44 for ending the display of the intersection enlarged view. Such a touch operation of pressing the enlargement release button 44 is an off operation.
  • the integrated display control block 73 establishes the interruption condition based on the off operation, and stops the display of the far virtual image Vi1.
  • the integrated display control block 73 sets the ON operation as a restart condition.
  • the input object of the on operation is the steering switch 45 as in the on operation.
  • the integrated display control block 73 establishes the restart condition based on the ON operation to the steering switch 45, and restarts the display of the far virtual image Vi1.
  • the off operation and the on operation which are manual inputs as described above, are given priority over the on display control (excluding emergency) and the off control based on the judgment of the system side. For example, when there is an input of an off operation, the integrated display control block 73 deletes the display of the AR content determined to be on by the system side.
  • a temporary off operation and a permanent off operation are set as the off operation.
  • the temporary off operation is, for example, a touch operation of the enlargement release button 44 and a push-down operation of the steering switch 45. According to the temporary off operation, for example, the display of the AR route 13 at one guidance intersection is erased, and the display of the AR route 13 at the next guidance intersection is normally performed.
  • the permanent off operation is an operation of continuously pressing the steering switch 45 twice, an operation of pressing and holding the steering switch 45, or the like. According to the permanent off operation, the AR display using the far virtual image Vi1 is stopped until an input of the on operation is performed or the display control device 100 is restarted.
  • the display control processing shown in FIG. 4 and FIG. 5 is started based on, for example, an event occurrence flag setting by each superimposed display application 50a to 50e, such as approaching an intersection that requires route guidance, or a display request by the in-vehicle device 40.
  • S101 it is determined whether or not there is AR content to be displayed as the distant virtual image Vi1. If it is determined in S101 that there is no AR content, the determination in S101 is repeated. If it is determined in S101 that there is AR content, the process proceeds to S102. In S102, the AR content is displayed as a distant virtual image Vi1 (AR display on), and the process proceeds to S103.
  • stop determination is performed. If it is determined in S103 that the vehicle is stopped, the process proceeds to S105. On the other hand, when it determines with not stopping in S103, it progresses to S104 and implements reverse determination. If it is determined in S104 that the shift position is “R”, the process proceeds to S105.
  • S105 the display of the distant virtual image Vi1 started in S102 is interrupted (AR display off), and the process proceeds to S106.
  • travel determination is performed. If it is determined in S106 that the vehicle is not traveling, the traveling determination in S106 is repeated. If it is determined in S106 that the vehicle is traveling, the process proceeds to S107. In S107, the display of the distant virtual image Vi1 interrupted in S105 is resumed (AR display on), and the process returns to S103.
  • the process proceeds to S108.
  • the positioning signal reception status is determined. If it is determined in S108 that the positioning signal reception status is good, the process proceeds to S112. On the other hand, if it is determined in S108 that the positioning signal reception status is not good, the process proceeds to S109.
  • S109 the display of the distant image Vi1 is interrupted (AR display off), and the process proceeds to S110.
  • S110 the reception status determination is performed again. If it is determined at S110 that the positioning signal reception status has not recovered, the reception status determination at S110 is repeated. If it is determined in S110 that the reception status has recovered, the process proceeds to S111. In S111, the display of the distant virtual image Vi1 interrupted in S109 is resumed (AR display on), and the process proceeds to S112.
  • the execution schedule of the reroute is estimated.
  • the process proceeds to S116.
  • the process proceeds to S113.
  • the display of the far virtual image Vi1 is interrupted (AR display off), and the process proceeds to S114.
  • the completion of the reroute is waited, and based on the completion of the reroute, the process proceeds to S115.
  • the display of the distant virtual image Vi1 interrupted in S113 is resumed (AR display on), and the process proceeds to S116.
  • the erasing condition is a condition set in advance, for example, passing through a guidance intersection where route guidance is performed, or remaining distance to the guidance intersection being less than 10 m. If it is determined in S116 that the erasure condition is satisfied, the process proceeds to S117. In S117, the display of the far-virtual image Vi1 is completed (AR display off), and a series of display control processing ends.
  • the process proceeds to S118.
  • the display of the far virtual image Vi1 is continued (AR display on), and the process returns to S103.
  • the determination of a plurality of types of interruption conditions and resumption conditions is repeated, and the AR display is started and stopped according to the situation.
  • the off control process shown in FIG. 6 is started together with the display control process, and is performed in parallel with the display control process.
  • S131 of the off control process it is determined whether or not there is AR content to be displayed as the far virtual image Vi1. If it is determined in S131 that there is no AR content, the determination in S131 is repeated. If it is determined in S131 that there is AR content, the process proceeds to S132. In S132, the AR content is displayed as a distant virtual image Vi1 (AR display on), and the process proceeds to S133.
  • S133 it is determined whether or not the enlargement release button 44 or the steering switch 45 is turned off. If it is determined in S133 that there is no off operation, the process proceeds to S134. In S134, it is determined whether an erasure condition is satisfied. If it is determined in S134 that the erasure condition is satisfied, the process proceeds to S135, the display of the far virtual image Vi1 is completed (AR display off), and the series of off control processes is terminated. On the other hand, if it is determined in S134 that the erasure condition is not satisfied, the process returns to S133.
  • S133 If it is determined in S133 that there is an off operation, the process proceeds to S136. In S136, the type of the off operation is determined. If it is determined in S136 that a permanent off operation has been input, the process proceeds to S137. In S137, the setting is switched to a basic setting that does not display the far-virtual image Vi1 (AR display permanently off), and the off control process is terminated.
  • S 7 is started based on execution of AR display OFF by the display control process or the OFF control process.
  • S141 of the off control process the display of the far virtual image Vi1 is stopped (AR display off), and the process proceeds to S142.
  • S142 it is determined whether or not the steering switch 45 is turned on. If it is determined in S143 that there is no ON operation, the process of S142 is repeated. If it is determined in S142 that an on operation has been performed, the process proceeds to S143. In S143, the display of the AR content that has been stopped is resumed (AR display on), and the on control process is terminated.
  • the emergency display process shown in FIG. 8 is repeatedly performed when the display control apparatus 100 is operated.
  • S161 of the emergency display process the acquisition of emergency information is waited by determining whether there is AR content with a high degree of urgency. If the emergency information is acquired in S161 and it is determined that AR content with a high degree of urgency has occurred, the process proceeds to S162.
  • S162 the AR content whose urgency level is “high” is displayed as the far virtual image Vi1 (AR display on), and the process proceeds to S163.
  • the display of the AR content started in S162 is completed based on the establishment of a predetermined condition such as the passage of a predetermined time from the start of display and the passage of the alerting point, and the emergency display process is terminated.
  • a scene in which the far virtual image Vi1 cannot be correctly superimposed on the superimposition target can be set as the interruption condition. Therefore, according to the control for interrupting the AR display based on the determination of the establishment of the interrupt condition, the display of the far virtual image Vi1 can be interrupted in a scene where correct superimposed display is difficult. Therefore, it is possible to display a virtual image that does not mislead the driver.
  • vehicle A stoppage determination, reverse determination, positioning signal reception situation deterioration, reroute execution, and the like are used as interruption conditions.
  • the AR display in these scenes may be inaccurate or unnecessary. Therefore, if these are used as interruption conditions, driver discomfort and annoyance with respect to the AR display can be reduced.
  • the AR display by the far virtual image Vi1 is stopped by the driver's off operation. Therefore, the driver's discomfort and annoyance due to the AR display can be further suppressed.
  • the interrupted AR display is restarted based on the establishment of the restart condition.
  • the information display by AR display using the far-virtual image Vi1 can be appropriately restarted by returning to the state in which the superimposed display can be correctly performed.
  • the display control apparatus 100 can implement easy-to-understand information presentation using the AR display in many scenes by shortening the interruption period of the AR display.
  • the AR display stopped by the driver can be restarted by an ON operation based on the driver determination.
  • AR display using the far-virtual image Vi1 can acquire high usability.
  • the distant image Vi1 that presents the emergency information is substantially forcibly displayed even when the interruption condition is satisfied. Therefore, highly urgent information can be quickly recognized by the driver. According to the above, even if the display control apparatus 100 interrupts the AR display by system determination and driver determination, the advantage of virtual image display that suppresses viewpoint movement and increases the information acquisition speed of the driver when emergency information occurs is , Can be fully demonstrated.
  • the non-AR display by the near virtual image Vi2 is continued.
  • Such non-AR display using the near-virtual image Vi2 does not require correct superimposition on the superimposition target. Therefore, even if the non-AR display continues to be displayed during the period when the interruption condition is satisfied, it is difficult for the driver to feel uncomfortable.
  • the continuation of the display of the near virtual image Vi2 for example, information such as the vehicle speed is maintained in a state that can be easily acquired by the driver. Therefore, display control that erases the far-virtual image Vi1 and does not erase the near-virtual image Vi2 is suitable for both reducing driver misunderstanding and ensuring driver usability.
  • the interruption of the AR display using the far virtual image Vi1 is notified to the driver by the interruption notification icon 15 that is the near virtual image Vi2. Therefore, the intentional interruption of the AR display can be recognized by the driver. Therefore, a situation in which the interruption of the AR display based on the establishment of the interruption condition is mistaken as a failure of the virtual image display system 10 is avoided.
  • the common information generation block 71 corresponds to an “information acquisition unit”
  • the display mediation unit 74 corresponds to a “condition determination unit”
  • the drawing output unit 76 corresponds to a “display control unit”.
  • a plurality of interruption conditions and resumption conditions are determined by a series of display control processes (see FIGS. 4 and 5).
  • the display control device may determine whether a plurality of interruption conditions and resumption conditions are satisfied by individual display control processing (see FIGS. 9 to 12).
  • the display control device may be configured to determine only one interruption condition and resumption condition.
  • the display control process shown in FIG. 9 is performed.
  • stop determination (S103) is performed as an interruption condition
  • travel determination (S105) is performed as a restart condition.
  • the integrated display control block stops the display of the AR content based on the determination that the vehicle is stopped, and redisplays the AR content once deleted based on the determination that the vehicle is traveling.
  • the display control process shown in FIG. 10 is performed.
  • the reroute execution schedule is estimated as an interruption condition (S112), and the completion of the reroute is determined as a resumption condition (S114).
  • the integrated display control block stops the display of the AR content when the execution of the reroute is estimated, and redisplays the once deleted AR content based on acquisition of new route information.
  • the display control process shown in FIG. 11 is performed.
  • reverse determination (S104) is performed as an interruption condition
  • travel determination (S106) is performed as a resumption condition.
  • the integrated display control block stops displaying the AR content based on the determination that the shift position is “R”, and redisplays the AR content once erased based on the determination that the shift position is “D”. .
  • the display control process shown in FIG. 12 is performed.
  • the positioning signal reception status is determined as the interruption condition and the resumption condition (S108 and S110).
  • the integrated display control block stops the display of the AR content based on the deterioration of the reception status, and redisplays the AR content once erased based on the recovery of the reception status.
  • At least one of a voice recognition function and a gesture recognition function is provided in, for example, an in-vehicle device.
  • the integrated display control block of the display control device can accept an OFF operation and an ON operation by at least one of voice and gesture, and performs display stop and restart of AR content based on an input by voice or gesture.
  • the HUD device 30 (see FIG. 1) of the above embodiment is a bifocal projection device that can form a far virtual image and a near virtual image at completely different positions.
  • the HUD device according to the sixth modification of the above embodiment is a single focus type projection device. More specifically, the image plane of the virtual image light projected by the HUD device according to the modified example 6 is inclined to the front of the vehicle as it goes upward. A virtual image formed in the vicinity of the lower edge in the imaging plane is referred to as a “near virtual image”, and non-AR display is performed. On the other hand, a virtual image formed upward from the center of the imaging plane is referred to as a “far virtual image”, and AR display is performed.
  • the display of the distant virtual image is interrupted based on the determination of the establishment of the interruption condition, and the interruption notification icon 15 (see FIG. 3) is displayed as a near virtual image.
  • the shape of the interruption notification icon 15 is not limited to a circular or elliptical light emitting spot, and may be changed as appropriate.
  • the far virtual image and the near virtual image are not distinguished.
  • the display of the AR virtual image for performing the AR display among the plurality of virtual images is interrupted based on the determination of establishment of the interruption condition.
  • the display of the non-AR virtual image that performs the non-AR display is continued. Then, the display interruption of the AR virtual image is notified by the non-AR virtual image.
  • display of all virtual images is interrupted based on determination of establishment of the interruption condition.
  • the notification of the interruption of the AR display by the non-AR display or the near virtual image may not be performed.
  • the interruption of the AR display may be implemented by a display using voice and CID 43 (see FIG. 1).
  • the steering switch related to the on operation and the off operation may not be a push switch as in the above embodiment.
  • the configuration of the steering switch and the display setting switching logic based on the operation input to the switch can be appropriately changed. For example, by pressing the steering switch, both AR display and non-AR display on, AR display off and non-AR display off, and both AR display and non-AR display off are cyclically switched. Also good. According to the above, only the AR display is deleted by pressing the steering switch once, and both the AR display and the non-AR display are deleted by further pressing (pressing the steering switch twice). Then, by further pressing the staying switch, both the R display and the non-AR display are displayed again.
  • the staying switch may be configured to have a plurality of switching positions. With such a configuration, changing the position of the staying switch switches between turning on both AR display and non-AR display, turning off AR display and turning off non-AR display, and turning off both AR display and non-AR display. It becomes possible.
  • the far virtual image (AR virtual image) once hidden is automatically redisplayed based on the determination that the restart condition is satisfied.
  • the restart condition may not be set.
  • the re-display of the far virtual image (AR virtual image) may not be performed until the ON operation is input.
  • AR content for notifying emergency information is not limited to the information exemplified in the above embodiment. Further, the integrated display control block may be installed so as not to perform the virtual image display of the AR content that notifies the emergency information.
  • the optical configuration of the HUD device can be changed as appropriate.
  • the projector may employ a configuration including a laser light source, a MEMS scanner, and the like.
  • DLP Digital Light Processing, registered trademark
  • DMD Digital Micromirror Device
  • a projector using LCOS (Liquid Crystal On On Silicon) or the like, a liquid crystal projector having a liquid crystal panel and an LED light source, or the like can be used in the HUD device.
  • the display control device of the above embodiment is provided as an electronic control unit separate from the HUD device.
  • each function of the display control device may be implemented in, for example, a control circuit provided in the HUD device, or may be implemented in a control circuit provided in a combination meter.
  • each function provided by the control circuit of the display control device in the above embodiment can be provided by software and hardware that executes the software, only software, only hardware, or a combination thereof.
  • each function can also be provided by a digital circuit including a large number of logic circuits or an analog circuit.
  • non-transitory tangible storage media such as a flash memory and a hard disk can be used for a memory device that stores a display control program and the like.
  • the form of such a storage medium may be changed as appropriate.
  • the storage medium is in the form of a memory card or the like, and may be configured to be inserted into a slot portion provided in the display control device and electrically connected to the control circuit.
  • the storage medium is not limited to the above-described memory device of the in-vehicle device, and may be an optical disk that is a copy base of the program to the memory device, a hard disk drive of a general-purpose computer, or the like.
  • control unit and the method described in the present disclosure are realized by a dedicated computer provided by configuring a processor and a memory programmed to execute one or more functions embodied by a computer program. May be.
  • control unit and the method thereof described in the present disclosure may be realized by a dedicated computer provided by configuring a processor with one or more dedicated hardware logic circuits.
  • control unit and the method thereof described in the present disclosure are based on a combination of a processor and a memory programmed to execute one or more functions and a processor configured by one or more hardware logic circuits. It may be realized by one or more configured dedicated computers.
  • the computer program may be stored in a computer-readable non-transition tangible recording medium as instructions executed by the computer.
  • each section is expressed as S101, for example.
  • each section can be divided into a plurality of subsections, while a plurality of sections can be combined into one section.
  • each section configured in this manner can be referred to as a device, module, or means.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Navigation (AREA)
  • Instrument Panels (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

車両(A)において用いられ、乗員の前景中にある重畳対象に重畳される虚像(Vi)の表示を制御する表示制御装置は、予め設定された中断条件の成立を判定する条件判定部(74)と、前記条件判定部にて前記中断条件が成立していると判定された場合に、前記虚像の表示を中断する表示制御部(76)とを備える。

Description

表示制御装置、表示制御プログラム、およびその持続的有形コンピュータ読み取り媒体 関連出願の相互参照
 本出願は、2018年5月29日に出願された日本特許出願番号2018-102455号に基づくもので、ここにその記載内容を援用する。
 本開示は、虚像の表示を制御する表示制御装置、表示制御プログラム、およびその持続的有形コンピュータ読み取り媒体に関するものである。
 従来、例えば特許文献1には、経路案内等の情報提示に用いられる情報伝達子を、ヘッドアップディスプレイによって乗員の前景に虚像表示させる車両用ナビゲーションシステムが開示されている。特許文献1のヘッドアップディスプレイは、フロントガラスの広範囲に虚像となる光を投影可能である。故に、先行車等の障害物に情報伝達子が重なるような状況では、情報伝達子は、障害物と重ならない表示位置まで移動される。
 特許文献1のように、障害物と重ならない位置まで虚像の表示位置を移動させてしまうと、例えば経路案内等の情報伝達子は、右左折等を行うべき交差点とは異なった場所に重畳表示されてしまう。このように、正しく重畳できないシーンでも継続されてしまう虚像表示は、乗員の誤解の要因となり得た。
特開2005-69799号公報
 本開示は、乗員に誤解を与え難い虚像表示が可能な表示制御装置、表示制御プログラムおよびその持続的有形コンピュータ読み取り媒体を提供することを目的とする。
 本開示の第一の態様において、車両において用いられ、乗員の前景中にある重畳対象に重畳される虚像の表示を制御する表示制御装置は、予め設定された中断条件の成立を判定する条件判定部と、前記条件判定部にて前記中断条件が成立していると判定された場合に、前記虚像の表示を中断する表示制御部とを備える。
 本開示の第二の態様において、車両において用いられ、乗員の前景中にある重畳対象に重畳される虚像の表示を制御する表示制御プログラムは、少なくとも一つの処理部を、予め設定された中断条件の成立を判定する条件判定部、前記条件判定部にて前記中断条件が成立していると判定された場合に、前記虚像の表示を中断する表示制御部、として機能させる。
 本開示の第三の態様において、コンピュータによって実施される命令を備える持続的有形コンピュータ読み取り媒体であって、当該命令は、車両において用いられ、乗員の前景中にある重畳対象に重畳される虚像の表示を制御するものであり、当該命令は、予め設定された中断条件の成立を判定することと、前記条件判定部にて前記中断条件が成立していると判定された場合に、前記虚像の表示を中断することとを備える。
 これらの態様では、重畳対象に正しく虚像を重畳できないようなシーンが、中断条件として設定可能となる。故に、中断条件の成立判定に基づき虚像表示を停止する制御によれば、正しい重畳表示が困難なシーンにおいては、虚像表示は中断され得る。したがって、乗員に誤解を与え難い虚像表示が可能になる。
 本開示についての上記目的およびその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。その図面は、
虚像表示システムに関連する車載構成の全体像を示すブロック図であり、 遠虚像及び近虚像を用いた情報提示の一例を示す図であり、 中断条件の成立に基づき遠虚像によるAR表示が中断された状態を示す図であり、 表示制御装置にて実施される表示制御処理の詳細を図5と共に示すフローチャートであり、 表示制御処理の詳細を図4と共に示すフローチャートであり、 表示制御装置にて実施されるオフ制御処理の詳細を示すフローチャートであり、 表示制御装置にて実施されるオン制御処理の詳細を示すフローチャートであり、 表示制御装置にて実施される緊急表示処理の詳細を示すフローチャートであり、 停車判定を中断条件に用いた変形例1の表示制御処理の詳細を示すフローチャートであり、 走行経路の再検索実施判定を中断条件に用いた変形例2の表示制御処理の詳細を示すフローチャートであり、 後退判定を中断条件に用いた変形例3の表示制御処理の詳細を示すフローチャートであり、 位置情報の低信頼度判定を中断条件に用いた変形例4の表示制御処理の詳細を示すフローチャートである。
 本開示の一実施形態による表示制御装置100は、車両Aにおいて用いられる虚像表示システム10を、ヘッドアップディスプレイ(Head Up Display,以下、「HUD」)装置30等と共に構成している。虚像表示システム10は、車両Aの乗員(例えばドライバ)の前景の重畳対象、例えば他車両、歩行者及びサイクリスト等に重畳される虚像Viを表示する。虚像表示システム10は、虚像Viを用いた拡張現実(Augmented Reality,以下「AR」)表示により、車両Aに関連する種々の情報をドライバに提示する。
 表示制御装置100は、車載ネットワークの通信バスを介して、他の車載構成と相互に通信可能である。通信バスには、例えばナビ情報提供部21、ADAS情報提供部22、自車情報提供部26、ドライバ情報提供部27及び車載装置40等が直接的又は間接的に電気接続されている。
 ナビ情報提供部21は、車両Aに搭載されたナビゲーション装置を少なくとも含む構成であり、地図データベース及びGNSS(Global Navigation Satellite System)受信器を有している。地図データベースは、ナビゲーション装置による経路案内のための地図データを大量に記憶している。GNSS受信器は、複数の人工衛星から送信された測位信号を受信する。
 ナビ情報提供部21は、GNSS受信器で受信した測位信号に基づき、車両Aの現在位置を測位する。ナビ情報提供部21は、車両Aの現在位置と測位信号の受信状況とを示すGNSS受信情報を、通信バスに逐次出力し、表示制御装置100に提供する。GNSS受信情報には、測位信号の受信状況を示す情報として、測位信号を受信している衛星数、測位信号の信号レベル(強度)、及び所定のアルゴリズムに基づく位置情報の信頼度等が含まれている。
 ナビ情報提供部21は、ナビゲーション装置に目的地が設定されている場合、地図データベースから読み出した車両Aの周囲及び進行方向の地図データと、目的地までのルート情報とを、地図経路情報として表示制御装置100に提供する。加えてナビ情報提供部21は、ナビゲーション装置に設定されたルートから車両Aが逸脱し、ルートの再検索(以下、「リルート」)が実施される場合に、リルートの実施中及び完了を示すリルート情報を表示制御装置100に提供する。
 ADAS情報提供部22は、ロケータ23、外界センサ24及び運転支援制御システム25等を少なくとも含む構成である。ロケータ23は、ナビ情報提供部21から提供されるGNSS受信情報に、慣性センサ及び外界センサ24等の計測情報を組み合わせた複合測位により、車両Aが走行するレーンを示すような高精度な位置情報を生成する。ロケータ23は、高精度な位置情報を、運転支援制御システム25及び表示制御装置100等に提供する。
 外界センサ24は、フロントカメラ、ミリ波及び準ミリ波レーダ、ライダ並びにソナー等を含む構成である。外界センサ24は、車両Aの周囲、特に車両Aの前方範囲から、静止物体及び移動物体を検出する。外界センサ24は、物体の検出結果を示す外界センシング情報を、ロケータ23、運転支援制御システム25及び表示制御装置100に提供する。
 運転支援制御システム25は、ロケータ23による高精度な位置情報及び外界センサ24による外界センシング情報を用いて、ドライバの運転操作を支援する。運転支援制御システム25は、ACC(Adaptive Cruise Control)、LTC(lane trace control)、LKA(Lane Keeping Assist)等の自動運転機能を実現する機能部を有している。加えて運転支援制御システム25は、FCW(Forward collision warning)及びAEB(Automatic emergency braking)等の衝突回避機能を実現する機能部を有している。運転支援制御システム25は、各機能部による運転支援制御情報を、表示制御装置100に提供する。
 自車情報提供部26は、車両Aの状態を計測する複数の車載センサを含む構成である。自車情報提供部26は、車両Aの現在の車速、加速度、角速度及び車両姿勢等に加えて、車両Aの変速機のシフトポジション等の情報を、自車運動情報として表示制御装置100に提供する。
 ドライバ情報提供部27は、車両Aに搭載されたドライバステータスモニタ(Driver Status Monitor,以下、「DSM」)を少なくとも含む構成であり、近赤外光源、近赤外カメラ及び画像解析部を有している。ドライバ情報提供部27は、近赤外カメラを用いて撮像した顔画像の解析により、ドライバのアイポイントEP、視線方向及び開眼度等の情報を取得する。ドライバ情報提供部27は、取得したドライバのセンシング情報を表示制御装置100に提供する。
 車載装置40は、車両Aに搭載された電子制御ユニットであり、コンビネーションメータ41、マルチインフォメーションディスプレイ(MID)42及びセンターインフォメーションディスプレイ(CID)43等の車載表示器と電気的に接続されている。例えばCID43の表示画面には、地図データ及び目的地へ向けたルート情報等がナビゲーション装置によって表示される。CID43の表示画面は、ドライバ等によるタッチ操作が可能なタッチパネルとされている。車載装置40は、各車載表示器への制御要求により、ドライバへの情報提示を統合的に制御する。加えて車載装置40は、虚像表示による情報提示を必要とするシーンにおいて、重畳表示の制御要求を表示制御装置100へ向けて出力する。
 HUD装置30は、表示制御装置100と電気的に接続されており、表示制御装置100にて生成された映像データを取得する。HUD装置30は、プロジェクタ、スクリーン及び拡大光学系等によって構成されている。HUD装置30は、ウィンドシールドWSの下方にて、インスツルメントパネル内の収容空間に収容されている。
 HUD装置30は、虚像Viとして結像される表示像の光を、ウィンドシールドWSの投影範囲PAへ向けて投影する。ウィンドシールドWSへ向けて投影された光は、投影範囲PAにおいて運転席側へ反射され、ドライバによって知覚される。ドライバは、投影範囲PAを通して見える前景中の重畳対象に、虚像Viが重畳された表示を視認する。
 HUD装置30によって光を投影される投影範囲PAは、ウィンドシールドWS全面のうちの限られた一部の領域であり、ドライバの見た目上で虚像Viが表示される領域である。投影範囲PAには、図2に示すように、近虚像表示エリアPA2及び遠虚像表示エリアPA1が含まれている。近虚像表示エリアPA2は、遠虚像表示エリアPA1よりも狭く、例えば遠虚像表示エリアPA1の左下又は右下に位置している。近虚像表示エリアPA2に投影された光は、近虚像Vi2として結像される。一方で、遠虚像表示エリアPA1に投影された光は、遠虚像Vi1として結像される。
 図1及び図2に示す近虚像Vi2及び遠虚像Vi1は、車両Aの前後方向及び上下方向のそれぞれにおいて、互いに異なる位置に結像される。近虚像Vi2は、遠虚像Vi1よりもドライバの近傍に結像され、具体的には、ドライバのアイポイントEPから車両Aの前方向に2~3メートル程度の空間中に結像される。近虚像Vi2は、主に車両Aの状態を示す情報等を、非AR表示によってドライバに提示する。一例として、右左折の実施を指示するターンバイターンアイコン11及び車速を示すスピード表示12等が、近虚像Vi2として表示される。
 遠虚像Vi1は、近虚像Vi2よりもウィンドシールドWSから遠い位置、具体的には、アイポイントEPから車両Aの前方向に10~20メートル程度の空間中に結像される。遠虚像Vi1は、ドライバの見かけ上にて、前景中の重畳対象(例えば路面や前走車等)に重畳され、上述のAR表示を実現する。一例として、ナビゲーション装置に設定された走行経路を示すARルート13等が、遠虚像Vi1として表示される。
 図1に示す表示制御装置100は、HUD装置30による虚像Viの表示を制御する電子制御ユニットである。表示制御装置100の制御回路は、処理部61、RAM62、メモリ装置63及び入出力インターフェースを有するコンピュータを主体に構成されている。処理部61は、CPU(Central Processing Unit)及びGPU(Graphics Processing Unit)等を少なくとも一つを含む構成である。
 メモリ装置63には、処理部61によって実行される種々のプログラムが格納されている。メモリ装置63には、虚像表示されるARコンテンツを生成する複数のアプリケーションプログラム(50a~50e)、及び虚像表示を統合的に制御する提示管理プログラム等が、表示制御プログラムとして記憶されている。表示制御装置100は、提示管理プログラムに基づく機能ブロックとして、共通情報生成ブロック71及び統合表示制御ブロック73を有する。
 共通情報生成ブロック71は、各重畳表示アプリケーション50a~50e及び統合表示制御ブロック73にて共通で使用される情報を、通信バスから取得する。具体的には、GNSS受信情報、地図経路情報、リルート情報、高精度な位置情報、外界センシング情報、運転支援制御情報、自車運動情報、ドライバのセンシング情報及び重畳表示の制御要求等が、共通情報生成ブロック71によって取得される。共通情報生成ブロック71は、取得した情報に基づき、重畳表示の補正に必要なパラメータを算出する。加えて共通情報生成ブロック71は、取得した情報の抽象化等を実施する。
 共通情報生成ブロック71にて取得される情報の中には、緊急性の高い緊急情報が含まれている。例えば、運転支援制御情報のうちで、FCW及びAEBの作動に関連する制御情報、並びにLKAの作動に関連する制御情報(車線逸脱通知)等が緊急情報として予め設定されている。さらに、外界センシング情報のうちで、自車両(車両A)の直前への車線変更車両の進入検知情報、合流車両の検知情報等も、緊急情報として予め設定されている。
 共通情報生成ブロック71によって提供される情報に基づき、重畳表示アプリケーション50a~50eは、ADAS機能及びコクピット機能に関連したARコンテンツの生成と、その表示フラグの設定とを実施する。各重畳表示アプリケーション50a~50eは、運転支援制御システムのACC機能、LKA機能及びFCW機能、さらにナビゲーション装置等と関連付けられている。各重畳表示アプリケーション50a~50eは、提供された情報に応じて、虚像表示させるARコンテンツ及び非ARコンテンツを個別に決定し、統合表示制御ブロック73に対して表示要求を行う。
 統合表示制御ブロック73は、各重畳表示アプリケーション50a~50eからの表示要求に基づき、共通情報生成ブロック71から提供される情報を用いて、遠虚像Vi1及び近虚像Vi2それぞれの映像データを生成する。統合表示制御ブロック73は、表示調停部74、重畳表示補正部75及び描画出力部76を有している。
 表示調停部74は、遠虚像Vi1及び近虚像Vi2として表示するARコンテンツ及び非ARコンテンツを調整する機能部である。表示調停部74は、取得した表示要求の中から、優先度の高いARコンテンツ及び非ARコンテンツを選別し、虚像表示の対象とする。上述の緊急情報には、最も高い優先度が予め割り振られている。こうした設定により、緊急情報を通知するARコンテンツは、実質必ず表示対象とされ、迅速に表示される。
 表示調停部74は、共通情報生成ブロック71から提供される種々の情報に基づき、中断条件及び再開条件の各成立判定を行い、遠虚像Vi1を用いたAR表示の中断と再開とを決定する。中断条件は、重畳対象への正確な重畳が困難であるシーン、AR表示が不要なシーン、AR表示がドライバの邪魔になるシーン等と紐づくように、予め設定されている。具体的には、後述する車両Aの停車及び後退、測位信号の受信状況悪化に伴う自車位置情報の信頼度の低下、予定走行経路からの離脱に伴うリルートの実施、並びにドライバのオフ操作等が、中断条件として設定されている。一方で、再開条件は、中断条件の成立後に判定される。表示調停部74は、直前に成立した中断条件に関連付く内容を、再開条件に設定する。以上の中断条件及び再開条件には、それぞれ除外条件及び制限条件が設けられている。表示調停部74は、除外条件に該当する場合、中断条件を成立させない。同様に、表示調停部74は、制限条件に該当する場合には、再開条件を成立させない。
 重畳表示補正部75は、共通情報生成ブロック71にて算出された重畳表示補正のためのパラメータ等を取得し、遠虚像Vi1の映像データの補正情報を生成する。補正情報は、重畳対象とアイポイントEPとを3次元的に結ぶ仮想線上に、遠虚像Vi1の結像位置を調整し、遠虚像Vi1を重畳対象に正しく重畳させるための情報である。重畳表示補正部75は、重畳対象の相対位置、アイポイントEPの位置及び車両姿勢等を考慮した補正情報を逐次生成する。
 描画出力部76は、遠虚像Vi1及び近虚像Vi2のそれぞれについて、表示調停部74によって選別されたコンテンツの元画像を描画してなる映像データを生成する。描画出力部76は、遠虚像Vi1の映像データについて、重畳表示補正部75による補正情報に基づき、各フレームにおける元画像の描画位置及び描画形状を調整する。描画出力部76は、生成した各映像データを、予め規定された映像フォーマットにて、HUD装置30へ逐次出力する。
 描画出力部76は、各映像データの制御により、表示調停部74にて中断条件が成立していると判定された場合に、虚像Viのうちで遠虚像Vi1の表示を中断する。一方で、描画出力部76は、近虚像Vi2の表示を継続する。描画出力部76は、遠虚像Vi1の表示を中断している場合に、遠虚像Vi1の表示中断を近虚像Vi2によってドライバに通知する。一例として、描画出力部76は、遠虚像Vi1の表示中断を示す中断通知アイコン15(図3参照)を、近虚像Vi2として表示する。さらに描画出力部76は、表示調停部74にて再開条件が成立していると判定された場合に、中断していた遠虚像Vi1の表示を再開する。
 描画出力部76は、中断条件の成立に基づいて遠虚像Vi1の表示を中断していても、共通情報生成ブロック71にて緊急情報の取得があった場合には、緊急情報に対応する内容のARコンテンツを、遠虚像Vi1によって通知する。例えば、ワインディングロード等での車線逸脱通知、車線変更車両の進入通知、及び車両合流通知等が、AR表示のオンオフ設定に関係なく、緊急性の高いARコンテンツとして虚像表示される。
 次に、中断条件の成立に基づき遠虚像Vi1によるAR表示を中断する複数の走行シーンを、図1及び図2に基づき具体的に説明する。
 <停車時>
 統合表示制御ブロック73は、停車中又は停車後に一定時間が経過した場合に、中断条件の成立を判定する。例えば右左折の案内を行う交差点にて遠虚像Vi1によるAR表示が継続された場合、ドライバによる周辺状況の視認が遠虚像Vi1によって妨げられる虞がある。こうしたドライバの注意力低下を回避するために、統合表示制御ブロック73は、停車判定に基づき中断条件を成立させて、遠虚像Vi1の表示を停止する。
 停車判定は、例えばシフトポジションがパーキング「P」であること、車速がゼロ又は一定値以下であること、前方直近の信号機が「赤」であること、一時停止線の検知、前走車のブレーキランプの点灯、及び前走車の停止等に基づく。加えて、停車判定は、例えば一定時間(X秒以上)の停止に基づいてもよい。この一定時間は、先行車の有無、即ち、交差点にて停車した車両群の先頭車両か否かに基づき、変更可能である。例えば、自車が先頭車両の場合、AR表示の違和感は少ない。一方で、先頭車両ではない場合、先行車にAR表示が重畳されるため、ドライバの違和感が生じ易い。故に、先行車が検知されている場合、先行車が検知されていない場合よりも、停車判定に用いる一定時間は、短く調整される。
 ここで、交通に関連する法規は、国及び地域によって異なっている。例えば米国であれば、赤信号であっても一旦停止後に右折が可能である。故に、統合表示制御ブロック73は、直近の信号機が「赤」である場合でも、車両Aが右折予定であれば中断条件を成立させない。このように、中断条件には、除外条件が設定可能である。車両Aを使用する国及び地域に応じた除外条件の設定によれば、好ましくないタイミングでの遠虚像Vi1の表示停止が回避される。
 統合表示制御ブロック73は、停車判定を中断条件とした場合、走行判定を再開条件として設定する。走行判定は、例えばシフトポジションがドライブ「D」であること、車速がゼロでない又は一定値以上であること等に基づく。こうした再開条件の設定によれば、例えば交通量が多く、右左折予定の交差点から離れた位置で停車し、交差点までの残距離が一定距離以上あるシーンにおいて、一旦消去された遠虚像Vi1のAR表示は、停車状況の解除タイミングにて再開される。
 <リルート実施予定時>
 統合表示制御ブロック73は、ナビゲーション装置におけるリルート実施に伴い、中断条件の成立を判定する。例えばドライバが意図的に経路案内を無視し、案内中の経路とは異なるルートを走行する場合、遠虚像Vi1として表示されるARルート13は、ドライバに煩わしさを感じさせ易く、早期に消去されることが望ましい。故に、統合表示制御ブロック73は、ナビゲーション装置でのリルート実施を推定した場合に、再検索実施判定を行い、遠虚像Vi1の表示を停止する。リルート実施の推定(再検索実施判定)は、ルート情報の示す経路から外れる兆候を検知した場合に行われる。
 具体的に、統合表示制御ブロック73は、高精度な位置情報に基づき、交差点手前での車両Aの走行レーンを認識し、ルート情報の示す右左折情報と比較することで、交差点における車両Aの動きを予測する。そして、走行レーンから予測される経路と、ルート情報の示す経路とが異なる場合、統合表示制御ブロック73は、リルート実施を推定する。また別の例として、統合表示制御ブロック73は、方向指示器の作動状態と、ルート情報の示す経路との比較に基づき、リルート実施を推定できる。以上により、統合表示制御ブロック73は、リルート実施推定に基づき中断条件を成立させて、遠虚像Vi1の表示を交差点進入前に停止する。
 統合表示制御ブロック73は、リルート実施推定を中断条件とした場合、リルートによって探索された新たなルート情報の取得を再開条件として設定する。こうした再開条件の設定によれば、ナビ情報提供部21から新たなルート情報を取得したタイミングで、ARルート13の表示が再開される。尚、統合表示制御ブロック73は、リルート実施推定に替えて、リルート実施を通知する地図ルート情報の取得を、中断条件として用いてもよい。
 <後退時>
 統合表示制御ブロック73は、車両Aが後退中である場合に、中断条件の成立を判定する。ドライバが車両Aを後退させている状況では、前方の虚像表示は不要である。統合表示制御ブロック73は、シフトポジションがリバース「R」である場合に、後退判定に基づき中断条件を成立させて、遠虚像Vi1の表示を停止する。
 統合表示制御ブロック73は、後退判定を中断条件とした場合、停車判定と同様に走行判定を再開条件として設定する。こうした再開条件の設定によれば、車両Aの通常走行が開始されたタイミングで、遠虚像Vi1の表示が再開される。尚、例えばリアウィンドへの重畳表示が可能な車両Aにおいては、後退中もリアウィンドへの虚像の投影は、継続されてよい。こうした制御によれば、ドライバは、ルームミラー越しにリアウィンドに投影された虚像を視認できる。
 <GNSS受信状況の不良時>
 統合表示制御ブロック73は、測位信号の受信状況が良好でない場合に、中断条件の成立を判定する。測位信号の受信状況が悪く、自車位置の精度が確保できない場合、特に都市部等において、ARルート13は、交差点位置に正しく重畳されなくなる。こうした事態を回避するために、統合表示制御ブロック73は、受信状況判定に基づき中断条件を成立させて、遠虚像Vi1の表示を停止する。受信状況判定は、ナビ情報提供部21によって提供されるGNSS受信情報に基づいて判定される。具体的に、低信頼度判定には、所定アルゴリズムに基づく信頼度「低」の情報を取得していること、測位信号を受信している衛星数が一定数未満であること、及び測位信号の信号レベルが一定値未満であること、等の条件が用いられる。統合表示制御ブロック73は、これら複数の条件を適宜組み合わせて、受信状況の不良による位置情報の低信頼度判定を行う。
 統合表示制御ブロック73は、位置情報の低信頼度判定を中断条件とした場合、受信状況の回復による位置情報の信頼度確保判定を再開条件として設定する。信頼度確保判定は、位置情報の信頼度が「低」でなくなったこと、測位信号を受信している衛星数が一定数以上になったこと、及び測位信号の信号レベルが一定値以上になったこと等に基づく。こうした再開条件の設定によれば、遠虚像Vi1によるAR表示は、位置情報の精度が確保されたタイミングで再開される。
 ここで、交差点の直前(例えば100m以内等)でARルート13の表示が急に再開された場合、ドライバは、ARルート13の指示への即座の対応を迫られてしまい、戸惑いを覚え易い。故に、統合表示制御ブロック73は、信頼度確保判定を行っても、交差点等の案内地点までの距離が一定値未満である場合には、再開条件を成立させない。このように、再開条件には、制限条件が設定可能である。制限条件の設定によれば、好ましくないタイミングでの遠虚像Vi1の表示再開が回避される。
 <オフ操作の入力時>
 統合表示制御ブロック73は、ドライバ等の車両乗員によるオフ操作の入力があった場合に、中断条件の成立を判定する。オフ操作の入力対象は、例えばステイリングホイールのスポーク部に設けられたステアリングスイッチ45、及びナビゲーション装置の地図表示を行うCID43表示画面等である。ステアリングスイッチ45は、例えば押圧スイッチである。CID43の表示画面は、例えば交差点拡大図の表示を終了するための拡大解除ボタン44を表示している。こうした拡大解除ボタン44を押すタッチ操作が、オフ操作とされる。統合表示制御ブロック73は、オフ操作に基づき中断条件を成立させて、遠虚像Vi1の表示を停止する。
 統合表示制御ブロック73は、オン操作を再開条件として設定する。オン操作の入力対象は、オン操作と同様にステアリングスイッチ45である。統合表示制御ブロック73は、ステアリングスイッチ45へのオン操作に基づき再開条件を成立させて、遠虚像Vi1の表示を再開する。
 以上のようなマニュアル入力であるオフ操作及びオン操作は、システム側の判断に基づくAR表示のオン制御(緊急時を除く)及びオフ制御に対して優先される。例えば、オフ操作の入力があった場合、統合表示制御ブロック73は、システム側でオン判定されたARコンテンツの表示を消去する。
 加えて、オフ操作として、一時オフ操作と永久オフ操作とが設定されている。一時オフ操作は、例えば拡大解除ボタン44のタッチ操作、及びステアリングスイッチ45の押し下げ操作等である。一時オフ操作によれば、例えば一つの案内交差点におけるARルート13の表示が消去され、次の案内交差点でのARルート13の表示は、通常実施される。
 対して、永久オフ操作は、ステアリングスイッチ45を連続して2回押下する操作、又はステアリングスイッチ45を長押しする操作等である。永久オフ操作によれば、遠虚像Vi1を用いたAR表示は、オン操作の入力があるまで、又は表示制御装置100が再起動されるまで停止された状態となる。
 以上説明したAR表示の中断及び再開を実現するために表示制御装置100によって実施される複数の処理の詳細を、図4~図8に基づき、図1を参照しつつ説明する。
 図4及び図5に示す表示制御処理は、例えば経路案内を必要とする交差点の接近等、各重畳表示アプリケーション50a~50eによるイベント発生のフラグ設定、又は車載装置40による表示要求等に基づき開始される。
 S101では、遠虚像Vi1として表示するARコンテンツの有無を判定する。S101にて、ARコンテンツが無いと判定した場合、S101の判定を繰り返す。そして、S101にて、ARコンテンツがあると判定した場合に、S102に進む。S102では、ARコンテンツを遠虚像Vi1として表示し(AR表示オン)、S103に進む。
 S103では、停車判定を実施する。S103にて、停車中であると判定した場合、S105に進む。一方で、S103にて、停車中でないと判定した場合、S104に進み、後退判定を実施する。S104にて、シフトポジションが「R」であると判定した場合、S105に進む。
 S105では、S102にて開始した遠虚像Vi1の表示を中断し(AR表示オフ)、S106に進む。S106では、走行判定を実施する。S106にて、走行中でないと判定した場合、S106の走行判定を繰り返す。そして、S106にて、走行中であると判定した場合、S107に進む。S107では、S105にて中断した遠虚像Vi1の表示を再開し(AR表示オン)、S103に戻る。
 一方、S104にて、シフトポジションが「R」でないと判定した場合、S108に進む。S108では、測位信号の受信状況判定を実施する。S108にて、測位信号の受信状況が良好であると判定した場合、S112に進む。一方で、S108にて、測位信号の受信状況が良好でないと判定した場合、S109に進む。
 S109では、遠虚像Vi1の表示を中断し(AR表示オフ)、S110に進む。S110では、受信状況判定を再び実施する。S110にて、測位信号の受信状況が回復していないと判定した場合、S110の受信状況判定を繰り返す。S110にて、受信状況が回復したと判定した場合、S111に進む。S111では、S109にて中断した遠虚像Vi1の表示を再開し(AR表示オン)、S112に進む。
 S112では、リルートの実施予定を推定する。S112にて、リルート実施を推定しない場合、S116に進む。一方で、S112にて、リルート実施を推定した場合、S113に進む。S113では、遠虚像Vi1の表示を中断し(AR表示オフ)、S114に進む。S114では、リルートの完了を待機し、リルートの完了に基づき、S115に進む。S115では、S113にて中断した遠虚像Vi1の表示を再開し(AR表示オン)、S116に進む。
 S116では、遠虚像Vi1の消去条件が成立しているか否かを判定する。消去条件は、予め設定された条件であり、例えばルート案内を行う案内交差点を通過した、又は案内交差点までの残距離が10m未満となった等である。S116にて消去条件が成立したと判定した場合、S117に進む。S117では、遠虚像Vi1の表示を完了し(AR表示オフ)、一連の表示制御処理を終了する。
 一方、S116にて、消去条件が成立していないと判定した場合、S118に進む。S118では、遠虚像Vi1の表示を継続し(AR表示オン)、S103に戻る。以上により、消去条件の成立まで、複数種類の中断条件及び再開条件の判定を繰り返し、AR表示の開始及び停止を状況に応じて実施する。
 図6に示すオフ制御処理は、表示制御処理と共に開始され、表示制御処理と併行実施される。オフ制御処理のS131では、遠虚像Vi1として表示するARコンテンツの有無を判定する。S131にて、ARコンテンツが無いと判定した場合、S131の判定を繰り返す。そして、S131にて、ARコンテンツがあると判定した場合に、S132に進む。S132では、ARコンテンツを遠虚像Vi1として表示し(AR表示オン)、S133に進む。
 S133では、拡大解除ボタン44又はステアリングスイッチ45へのオフ操作の有無を判定する。S133にて、オフ操作が無いと判定した場合、S134に進む。S134では、消去条件が成立しているか否かを判定する。S134にて消去条件が成立したと判定した場合、S135に進み、遠虚像Vi1の表示を完了し(AR表示オフ)、一連のオフ制御処理を終了する。一方で、S134にて、消去条件が成立していないと判定した場合、S133に戻る。
 S133にて、オフ操作があると判定した場合、S136に進む。S136では、オフ操作の種類を判別する。S136にて、永久オフ操作が入力されたと判定した場合、S137に進む。S137では、遠虚像Vi1の表示を実施しない基本設定に切り替え(AR表示永久オフ)、オフ制御処理を終了する。
 一方、S136にて、一時オフ操作が入力されたと判定した場合、S138に進む。S138では、表示中の遠虚像Vi1を消去し(AR表示一時オフ)、S131に戻る。以上により、ARコンテンツの表示を指示する信号が再び取得されると、遠虚像Vi1の表示が再開される。尚、表示制御処理と重複するS131,S132,S134,S135の各実施は適宜省略されてもよい。
 図7に示すオン制御処理は、表示制御処理又はオフ制御処理によるAR表示オフの実施に基づき開始される。オフ制御処理のS141では、遠虚像Vi1の表示を停止させた状態とし(AR表示オフ)、S142に進む。S142では、ステアリングスイッチ45へのオン操作の有無を判定する。S143にて、オン操作が無いと判定した場合、S142の処理を繰り返す。S142にて、オン操作があったと判定した場合、S143に進む。S143では、停止していたARコンテンツの表示を再開し(AR表示オン)、オン制御処理を終了する。
 図8に示す緊急表示処理は、表示制御装置100の作動時において、繰り返し実施される。緊急表示処理のS161では、緊急度の高いARコンテンツの有無の判定により、緊急情報の取得を待機する。そして、S161にて、緊急情報を取得し、緊急度の高いARコンテンツが発生したと判定した場合、S162に進む。S162では、緊急度が「高」となるARコンテンツを遠虚像Vi1として表示し(AR表示オン)、S163に進む。S163では、例えば表示開始からの一定時間の経過及び注意喚起地点の通過等、所定条件の成立に基づき、S162にて開始したARコンテンツの表示を完了し、緊急表示処理を終了する。
 ここまで説明した本実施形態では、重畳対象に正しく遠虚像Vi1を重畳できないようなシーンが、中断条件として設定可能となる。故に、中断条件の成立判定に基づきAR表示を中断する制御によれば、正しい重畳表示が困難なシーンにおいては、遠虚像Vi1の表示は中断され得る。したがって、ドライバに誤解を与え難い虚像表示が可能になる。
 加えて本実施形態では、車両Aの停車判定、後退判定、測位信号の受信状況の悪化、及びリルートの実施等が中断条件として用いられている。これらのシーンでのAR表示は、正確性を欠いていたり、不要であったりする。故に、これらを中断条件として用いれば、AR表示に対するドライバの不快感及び煩わしさ等が低減され得る。
 また本実施形態では、ドライバがAR表示を好まないようなシーンでは、ドライバのオフ操作によって遠虚像Vi1によるAR表示が停止される。故に、AR表示に起因したドライバの不快感及び煩わしさは、いっそう抑制可能となる。
 さらに本実施形態では、中断条件に基づくAR表示の中断後、再開条件の成立に基づき、中断されていたAR表示が再開される。こうした表示制御であれば、正しく重畳表示可能な状況への復帰により、遠虚像Vi1を用いたAR表示による情報提示が、適切に再開され得る。以上によれば、表示制御装置100は、AR表示の中断期間を短縮させて、AR表示を用いた理解容易な情報提示を多くのシーンにおいて実施できる。
 加えて本実施形態では、ドライバによって停止されたAR表示は、ドライバ判断に基づくオン操作により、再開可能となっている。こうした表示設定であれば、遠虚像Vi1を用いたAR表示は、高いユーザビリティを獲得できる。
 また本実施形態では、緊急情報を提示する遠虚像Vi1は、中断条件の成立下においても、実質強制的に表示される。故に、緊急度の高い情報は、ドライバに迅速に認知され得る。以上によれば、システム判断及びドライバ判断によってAR表示を中断させる表示制御装置100であっても、緊急情報の発生時においては、視点移動を抑えてドライバの情報取得速度を高める虚像表示の利点は、十分に発揮可能となる。
 さらに本実施形態では、中断条件の成立によって遠虚像Vi1によるAR表示が中断された場合でも、近虚像Vi2による非AR表示は、継続される。こうした近虚像Vi2による非AR表示は、重畳対象への正しい重畳を要求されないため、中断条件の成立期間に表示され続けても、ドライバへの違和感を惹起し難い。そして、近虚像Vi2の表示継続によれば、例えば車速等の情報は、ドライバにとって取得容易な状態に維持される。したがって、遠虚像Vi1を消去し、近虚像Vi2を消去しない表示制御は、ドライバの誤解の低減と、ドライバのユーザビリティの確保との両立に好適となる。
 加えて本実施形態では、遠虚像Vi1を用いたAR表示の中断が、近虚像Vi2である中断通知アイコン15によってドライバに通知される。故に、AR表示の意図的な中断が、ドライバに認知され得る。したがって、中断条件の成立に基づくAR表示の中断が虚像表示システム10の故障と誤認される事態は、回避される。
 尚、第一実施形態では、共通情報生成ブロック71が「情報取得部」に相当し、表示調停部74が「条件判定部」に相当し、描画出力部76が「表示制御部」に相当する。
(他の実施形態)
 以上、本開示の一実施形態について説明したが、本開示は、上記実施形態に限定して解釈されるものではなく、本開示の要旨を逸脱しない範囲内において種々の実施形態及び組み合わせに適用することができる。
 上記実施形態では、複数の中断条件及び再開条件が一連の表示制御処理(図4及び図5参照)によって判定されていた。しかし、表示制御装置は、複数の中断条件及び再開条件の成立を個別の表示制御処理(図9~図12参照)で判定してもよい。或いは、表示制御装置は、一つの中断条件及び再開条件のみを判定する形態であってもよい。
 例えば上記実施形態の変形例1では、図9に示す表示制御処理が実施される。図9に示す表示制御処理では、中断条件として停車判定(S103)を実施し、再開条件として走行判定(S105)を実施する。統合表示制御ブロックは、停車中である旨の判定に基づきARコンテンツの表示を停止し、走行中である旨の判定に基づき、一旦消去したARコンテンツを再表示する。
 また変形例2では、図10に示す表示制御処理が実施される。図10に示す表示制御処理では、中断条件としてリルートの実施予定を推定し(S112)、再開条件としてリルートの完了を判定する(S114)。統合表示制御ブロックは、リルートの実施を推定した場合にARコンテンツの表示を停止し、新たなルート情報の取得に基づき、一旦消去したARコンテンツを再表示する。
 さらに変形例3では、図11に示す表示制御処理が実施される。図11に示す表示制御処理では、中断条件として後退判定(S104)を実施し、再開条件として走行判定(S106)を実施する。統合表示制御ブロックは、シフトポジションが「R」である旨の判定に基づきARコンテンツの表示を停止し、シフトポジションが「D」である旨の判定に基づき、一旦消去したARコンテンツを再表示する。
 また変形例4では、図12に示す表示制御処理が実施される。図12に示す表示制御処理では、中断条件及び再開条件として、測位信号の受信状況を判定する(S108及びS110)。統合表示制御ブロックは、受信状況の悪化に基づきARコンテンツの表示を停止し、受信状況の回復に基づき、一旦消去したARコンテンツを再表示する。
 上記実施形態の変形例5では、音声認識機能及びジェスチャー認識機能の少なくとも一方が、例えば車載装置等に設けられている。表示制御装置の統合表示制御ブロックは、音声及びジェスチャーの少なくとも一方によるオフ操作及びオン操作を受け付け可能であり、音声又はジェスチャーによる入力に基づき、ARコンテンツの表示停止と表示再開とを実施する。
 上記実施形態のHUD装置30(図1参照)は、遠虚像及び近虚像を全く異なる位置に結像可能な二焦点方式の投影装置であった。しかし、上記実施形態の変形例6のHUD装置は、単焦点方式の投影装置である。詳記すると、変形例6のHUD装置によって投影される虚像光の結像面は、上方向へ向かうに従って車両の前方向に傾斜した姿勢である。結像面のうちで下縁近傍に結像される虚像が「近虚像」とされ、非AR表示を行う。一方で、結像面の中央から上方に結像される虚像が「遠虚像」とされ、AR表示を行う。こうした変形例6でも、中断条件の成立判定に基づき、遠虚像の表示が中断され、中断通知アイコン15(図3参照)が、近虚像によって表示される。尚、中断通知アイコン15の形状は、円形状又は楕円形状の発光スポットに限定されず、適宜変更されてよい。
 さらに、上記実施形態の変形例7では、遠虚像及び近虚像が区別されていない。変形例7では、中断条件の成立判定に基づき、複数の虚像のうちで、AR表示を行うAR虚像の表示が中断される。一方で、非AR表示を行う非AR虚像の表示は、継続される。そして、非AR虚像により、AR虚像の表示中断を通知する。
 また、上記実施形態の変形例8では、中断条件の成立判定に基づき、全ての虚像の表示が中断される。尚、非AR表示又は近虚像によるAR表示の中断の通知は、実施されなくてもよい。例えば、AR表示の中断は、音声及びCID43(図1参照)による表示等によって実施されてもよい。
 オン操作及びオフ操作に関連するステアリングスイッチは、上記実施形態のような押圧スイッチでなくてもよい。ステアリングスイッチの構成、及び当該スイッチへの操作入力に基づく表示設定の切替ロジックは、適宜変更可能である。例えば、ステアリングスイッチの押圧操作により、AR表示及び非AR表示の両方のオン、AR表示のオフ及び非AR表示のオフ、並びにAR表示及び非AR表示の両方のオフが、サイクリックに切り替えられてもよい。以上によれば、ステアリングスイッチを一度押す操作によってAR表示のみが消去され、ステアリングスイッチをさらに押す(二度押す)操作により、AR表示及び非AR表示の両方が消去される。そして、ステイリングスイッチをさらに押す操作により、R表示及び非AR表示の両方が再び表示される。
 またステイリングスイッチは、複数の切替ポジションを有する構成であってもよい。こうした構成であれば、ステイリングスイッチのポジションの変更により、AR表示及び非AR表示の両方のオン、AR表示のオフ及び非AR表示のオフ、並びにAR表示及び非AR表示の両方のオフが切り替え可能となる。
 上記実施形態では、再開条件の成立判定に基づき、一旦非表示とされた遠虚像(AR虚像)が自動的に再表示された。しかし、再開条件は、設定されなくてもよい。又は、オン操作の入力があるまで、遠虚像(AR虚像)の再表示は、実施されなくてもよい。
 緊急情報を通知するARコンテンツは、上記実施形態にて例示した情報に限定されない。さらに、緊急情報を通知するARコンテンツの虚像表示を実施させない設置が、統合表示制御ブロックにおいて可能であってもよい。
 HUD装置の光学的な構成は、適宜変更可能である。例えばプロジェクタには、レーザ光源及びMEMSスキャナ等を含む構成が採用されていてもよい。或いは、DMD(Digital Micromirror Device)を用いたDLP(Digital Light Processing,登録商標)が、プロジェクタに採用されてもよい。さらに、LCOS(Liquid Crystal On Silicon)等を用いたプロジェクタ、液晶パネル及びLED光源を有する液晶プロジェクタ等が、HUD装置に採用可能である。
 上記実施形態の表示制御装置は、HUD装置とは別体の電子制御ユニットとして設けられていた。しかし、上記表示制御装置の各機能は、例えばHUD装置に設けられた制御回路に実装されていてもよく、又はコンビネーションメータに設けられた制御回路等に実装されていてもよい。
 さらに、上記実施形態にて表示制御装置の制御回路により提供された各機能は、ソフトウェア及びそれを実行するハードウェア、ソフトウェアのみ、ハードウェアのみ、あるいはそれらの複合的な組合せによっても提供可能である。こうした機能がハードウェアである電子回路によって提供される場合、各機能は、多数の論理回路を含むデジタル回路、又はアナログ回路によっても提供可能である。
 表示制御プログラム等を記憶するメモリ装置等には、フラッシュメモリ及びハードディスク等の種々の非遷移的実体的記憶媒体(non-transitory tangible storage medium)が採用可能である。こうした記憶媒体の形態も、適宜変更されてよい。例えば記憶媒体は、メモリカード等の形態であり、表示制御装置に設けられたスロット部に挿入されて、制御回路に電気的に接続される構成であってよい。さらに記憶媒体は、上述のような車載装置のメモリ装置に限定されず、当該メモリ装置へのプログラムのコピー基となる光学ディスク及び汎用コンピュータのハードディスクドライブ等であってもよい。
 本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリーを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の制御部及びその手法は、一つ以上の専用ハードウエア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の制御部及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリーと一つ以上のハードウエア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。
 ここで、この出願に記載されるフローチャート、あるいは、フローチャートの処理は、複数のセクション(あるいはステップと言及される)から構成され、各セクションは、たとえば、S101と表現される。さらに、各セクションは、複数のサブセクションに分割されることができる、一方、複数のセクションが合わさって一つのセクションにすることも可能である。さらに、このように構成される各セクションは、デバイス、モジュール、ミーンズとして言及されることができる。
 本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。

Claims (9)

  1.  車両(A)において用いられ、乗員の前景中にある重畳対象に重畳される虚像(Vi)の表示を制御する表示制御装置であって、
     予め設定された中断条件の成立を判定する条件判定部(74)と、
     前記条件判定部にて前記中断条件が成立していると判定された場合に、前記虚像の表示を中断する表示制御部(76)と、を備える表示制御装置。
  2.  前記条件判定部は、前記車両の停車判定、前記車両の後退判定、前記車両の位置情報の低信頼度判定、及び前記車両の走行経路の再検索実施判定、の少なくとも一つに基づき、前記中断条件が成立したと判定する請求項1に記載の表示制御装置。
  3.  前記条件判定部は、前記乗員による操作の入力に基づき、前記中断条件が成立したと判定する請求項1又は2に記載の表示制御装置。
  4.  前記条件判定部は、前記中断条件の成立後に、前記中断条件に関連付けられた再開条件の成立を判定し、
     前記表示制御部は、前記条件判定部にて前記再開条件が成立していると判定された場合に、中断していた前記虚像の表示を再開する請求項1~3のいずれか一項に記載の表示制御装置。
  5.  緊急性が高いとして予め規定された緊急情報を取得する情報取得部(71)、をさらに備え、
     前記表示制御部は、前記中断条件の成立に基づき前記虚像の表示を中断していても、前記情報取得部による前記緊急情報の取得があった場合には、前記緊急情報を前記虚像によって通知する請求項1~4のいずれか一項に記載の表示制御装置。
  6.  前記虚像には、遠虚像(Vi1)及び当該遠虚像よりも前記乗員の近傍に結像される近虚像(Vi2)が含まれ、
     前記表示制御部は、前記中断条件の成立に基づき、前記遠虚像の表示を中断し、前記近虚像の表示を継続する請求項1~5のいずれか一項に記載の表示制御装置。
  7.  前記表示制御部は、前記遠虚像の表示が中断されている場合に、前記遠虚像の表示の中断を前記近虚像によって通知する請求項6に記載の表示制御装置。
  8.  車両(A)において用いられ、乗員の前景中にある重畳対象に重畳される虚像(Vi)の表示を制御する表示制御プログラムであって、
     少なくとも一つの処理部(61)を、
     予め設定された中断条件の成立を判定する条件判定部(74)、
     前記条件判定部にて前記中断条件が成立していると判定された場合に、前記虚像の表示を中断する表示制御部(76)、として機能させる表示制御プログラム。
  9.  コンピュータによって実施される命令を備える持続的有形コンピュータ読み取り媒体であって、当該命令は、車両(A)において用いられ、乗員の前景中にある重畳対象に重畳される虚像(Vi)の表示を制御するものであり、当該命令は、
     予め設定された中断条件の成立を判定することと、
     前記条件判定部にて前記中断条件が成立していると判定された場合に、前記虚像の表示を中断することと、
     を備える持続的有形コンピュータ読み取り媒体。
     
     
PCT/JP2019/017326 2018-05-29 2019-04-24 表示制御装置、表示制御プログラム、およびその持続的有形コンピュータ読み取り媒体 WO2019230270A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/092,586 US11367417B2 (en) 2018-05-29 2020-11-09 Display control device and non-transitory tangible computer-readable medium therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018102455A JP6933189B2 (ja) 2018-05-29 2018-05-29 表示制御装置、及び表示制御プログラム
JP2018-102455 2018-05-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/092,586 Continuation US11367417B2 (en) 2018-05-29 2020-11-09 Display control device and non-transitory tangible computer-readable medium therefor

Publications (1)

Publication Number Publication Date
WO2019230270A1 true WO2019230270A1 (ja) 2019-12-05

Family

ID=68697613

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/017326 WO2019230270A1 (ja) 2018-05-29 2019-04-24 表示制御装置、表示制御プログラム、およびその持続的有形コンピュータ読み取り媒体

Country Status (3)

Country Link
US (1) US11367417B2 (ja)
JP (1) JP6933189B2 (ja)
WO (1) WO2019230270A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11465504B2 (en) * 2020-02-19 2022-10-11 Honda Motor Co., Ltd. Control device, vehicle, computer-readable storage medium, and control method

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11555711B2 (en) * 2020-04-11 2023-01-17 Harman Becker Automotive Systems Gmbh Systems and methods for augmented reality in a vehicle
JP2023035243A (ja) * 2021-08-31 2023-03-13 トヨタ自動車株式会社 車両用表示制御装置、車両用表示制御方法及び車両用表示制御プログラム
DE102021126195A1 (de) 2021-10-08 2023-04-13 Bayerische Motoren Werke Aktiengesellschaft Projektionsanzeigevorrichtung für zusätzliche Fahrerinformationen im Innenspiegel über Reflexion an der Heckscheibe

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0367730A (ja) * 1989-08-08 1991-03-22 Nippondenso Co Ltd 車両用表示装置
JPH10100739A (ja) * 1996-09-27 1998-04-21 Fujitsu Ten Ltd ヘッドアップディスプレイ装置
JP2005297810A (ja) * 2004-04-13 2005-10-27 Denso Corp 車両用表示システム及びプログラム
JP2009190520A (ja) * 2008-02-13 2009-08-27 Toyota Motor Corp 車両用表示装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4085928B2 (ja) 2003-08-22 2008-05-14 株式会社デンソー 車両用ナビゲーションシステム
JP6176478B2 (ja) 2013-04-26 2017-08-09 日本精機株式会社 車両情報投影システム
US9908048B2 (en) * 2013-06-08 2018-03-06 Sony Interactive Entertainment Inc. Systems and methods for transitioning between transparent mode and non-transparent mode in a head mounted display
JP5983547B2 (ja) * 2013-07-02 2016-08-31 株式会社デンソー ヘッドアップディスプレイ及びプログラム
KR101510050B1 (ko) * 2014-04-15 2015-04-07 현대자동차주식회사 차량 주행 제어 장치 및 방법
JP6372402B2 (ja) * 2015-03-16 2018-08-15 株式会社デンソー 画像生成装置
KR20170015112A (ko) * 2015-07-30 2017-02-08 삼성전자주식회사 자율 주행 차량 및 그의 동작 방법
JP6519435B2 (ja) * 2015-10-16 2019-05-29 株式会社デンソー 報知管理装置及び報知管理方法
US10191541B2 (en) * 2016-06-30 2019-01-29 Sony Interactive Entertainment Inc. Augmenting virtual reality content with real world content
US10082869B2 (en) * 2017-02-03 2018-09-25 Qualcomm Incorporated Maintaining occupant awareness in vehicles
JP6601441B2 (ja) * 2017-02-28 2019-11-06 株式会社デンソー 表示制御装置及び表示制御方法
JP6953539B2 (ja) * 2017-09-21 2021-10-27 マクセル株式会社 ヘッドアップディスプレイ装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0367730A (ja) * 1989-08-08 1991-03-22 Nippondenso Co Ltd 車両用表示装置
JPH10100739A (ja) * 1996-09-27 1998-04-21 Fujitsu Ten Ltd ヘッドアップディスプレイ装置
JP2005297810A (ja) * 2004-04-13 2005-10-27 Denso Corp 車両用表示システム及びプログラム
JP2009190520A (ja) * 2008-02-13 2009-08-27 Toyota Motor Corp 車両用表示装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11465504B2 (en) * 2020-02-19 2022-10-11 Honda Motor Co., Ltd. Control device, vehicle, computer-readable storage medium, and control method

Also Published As

Publication number Publication date
JP2019206255A (ja) 2019-12-05
JP6933189B2 (ja) 2021-09-08
US11367417B2 (en) 2022-06-21
US20210056934A1 (en) 2021-02-25

Similar Documents

Publication Publication Date Title
WO2019230270A1 (ja) 表示制御装置、表示制御プログラム、およびその持続的有形コンピュータ読み取り媒体
US20210372810A1 (en) Display control device, display control method, and non-transitory tangible computer-readable medium therefor
WO2020261781A1 (ja) 表示制御装置、表示制御プログラム、および持続的有形コンピュータ読み取り媒体
US20210104212A1 (en) Display control device, and nontransitory tangible computer-readable medium therefor
US11803053B2 (en) Display control device and non-transitory tangible computer-readable medium therefor
JP2005202678A (ja) 走行支援装置
JP6665605B2 (ja) 表示制御装置及び表示制御方法
JPWO2015001815A1 (ja) 運転支援装置
WO2020166252A1 (ja) 表示制御装置、表示制御プログラム、および持続的有形コンピュータ読み取り媒体
US20210016793A1 (en) Control apparatus, display apparatus, movable body, and image display method
JP5327025B2 (ja) 車両用走行案内装置、車両用走行案内方法及びコンピュータプログラム
WO2020003750A1 (ja) 車両用表示制御装置、車両用表示制御方法、及び制御プログラム
US11850940B2 (en) Display control device and non-transitory computer-readable storage medium for display control on head-up display
WO2020189238A1 (ja) 車両用表示制御装置、車両用表示制御方法、車両用表示制御プログラム
WO2019189515A1 (en) Control apparatus, display apparatus, movable body, and image display method
US20230373309A1 (en) Display control device
JP2020126478A (ja) 表示制御装置及び表示制御プログラム
JP7173078B2 (ja) 表示制御装置及び表示制御プログラム
JP7302311B2 (ja) 車両用表示制御装置、車両用表示制御方法、車両用表示制御プログラム
JP7318431B2 (ja) 表示制御装置及び表示制御プログラム
JP2021037895A (ja) 表示制御システム、表示制御装置、および表示制御プログラム
JP2021006805A (ja) 表示制御装置及び表示制御プログラム
JP2020047289A (ja) 車両用表示制御装置及び車両用表示ユニット
JP2020118545A (ja) 表示制御装置及び表示制御プログラム
JP2019148935A (ja) 表示制御装置及びヘッドアップディスプレイ装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19812166

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19812166

Country of ref document: EP

Kind code of ref document: A1