WO2017026223A1 - 表示システム - Google Patents

表示システム Download PDF

Info

Publication number
WO2017026223A1
WO2017026223A1 PCT/JP2016/070768 JP2016070768W WO2017026223A1 WO 2017026223 A1 WO2017026223 A1 WO 2017026223A1 JP 2016070768 W JP2016070768 W JP 2016070768W WO 2017026223 A1 WO2017026223 A1 WO 2017026223A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
image
display
distance
information
Prior art date
Application number
PCT/JP2016/070768
Other languages
English (en)
French (fr)
Inventor
祥太 野尻
祐作 中村
誉規 杉浦
昌幸 安形
Original Assignee
株式会社デンソー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2015157228A external-priority patent/JP6424775B2/ja
Priority claimed from JP2016108960A external-priority patent/JP6350596B2/ja
Application filed by 株式会社デンソー filed Critical 株式会社デンソー
Publication of WO2017026223A1 publication Critical patent/WO2017026223A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks

Definitions

  • This disclosure relates to a display system mounted on a vehicle.
  • Patent Document 1 discloses a display screen of a display device that displays an image of a front field of view in order to make a driver recognize a reference preceding vehicle that is a reference preceding vehicle when running control using inter-vehicle communication is performed. The point which performs the display for making a reference
  • standard precedent vehicle recognized is described above.
  • Patent Document 2 describes that a warning is issued to perform brake control and the position of an obstacle is displayed when the distance is less than the inter-vehicle control distance corresponding to the vehicle running speed and road surface condition.
  • JP 2014-89510 A Japanese Patent Laid-Open No. 11-59355
  • the present disclosure has been made in view of the above-described problems, and an object of the present disclosure is to provide a display system that identifies a traveling state of another vehicle existing around the own vehicle and recognizes the driver, and An object of the present invention is to provide a display system that allows a driver to recognize the distance to other vehicles existing around the vehicle.
  • the display system is mounted on a vehicle and includes a detection unit, an acquisition unit, and a display unit.
  • the detection unit detects another vehicle that is another vehicle existing around the vehicle.
  • An acquisition part acquires the other vehicle information which is the information which shows the driving state of an other vehicle, when an other vehicle is detected by the detection part.
  • the display unit generates an other vehicle image that is an image representing the traveling state of the other vehicle based on the other vehicle information acquired by the acquisition unit, and associates the generated other vehicle image with the other vehicle while the driver's seat of the vehicle. It is displayed so as to be superimposed on the scenery seen through the windshield.
  • a display system is mounted on a vehicle, and detects another vehicle that is another vehicle existing around the vehicle, and when the other vehicle is detected by the detection unit, the other vehicle
  • the other vehicle that generates the other vehicle image that is the image representing the traveling state of the other vehicle based on the other vehicle information acquired by the acquisition unit that acquires the other vehicle information that is information indicating the traveling state of the vehicle
  • a display unit that displays the image on a display device so as to be superimposed on a captured image captured by the in-vehicle camera while associating the image with another vehicle.
  • the display system is a system that is mounted on a vehicle and displays various types of information, and includes an other vehicle detection unit, a distance specifying unit, and an image display unit.
  • the other vehicle detection unit detects other vehicles existing around the vehicle.
  • specification part specifies the distance to the other vehicle detected by the other vehicle detection part.
  • the image display unit displays a distance image representing information related to the distance to the other vehicle specified by the distance specifying unit so as to be superimposed on a scenery seen through the windshield from the driver's seat of the vehicle.
  • the above display system allows the driver to recognize the distance to other vehicles existing around the host vehicle.
  • a display system is a system that is mounted on a vehicle and displays various types of information, and is detected by an other vehicle detection unit that detects other vehicles existing around the vehicle, and an other vehicle detection unit.
  • a distance specifying unit that specifies the distance to the other vehicle and a distance image that represents information related to the distance to the other vehicle specified by the distance specifying unit are displayed on the display device so as to be superimposed on the captured image captured by the in-vehicle camera.
  • An image display unit is a system that is mounted on a vehicle and displays various types of information, and is detected by an other vehicle detection unit that detects other vehicles existing around the vehicle, and an other vehicle detection unit.
  • the above display system allows the driver to recognize the distance to other vehicles existing around the host vehicle.
  • FIG. 1 is a block diagram illustrating a configuration of a vehicle according to an embodiment of the present disclosure.
  • FIG. 2 is an explanatory diagram showing the driver's seat of the vehicle
  • FIG. 3 is a flowchart showing a HUD display process according to the first embodiment of the present disclosure.
  • FIG. 4 is a flowchart showing display display processing according to the first embodiment of the present disclosure.
  • FIG. 5 is an explanatory diagram of the HUD display process.
  • FIG. 6 is an explanatory diagram of the HUD display process.
  • FIG. 7 is an explanatory diagram of the HUD display process.
  • FIG. 8 is an explanatory diagram showing the configuration of the HUD.
  • FIG. 9 is an explanatory diagram of the HUD display process.
  • FIG. 10 is a flowchart illustrating a first information display process according to the second embodiment of the present disclosure.
  • FIG. 11 is a flowchart illustrating a second information display process according to the second embodiment of the present disclosure.
  • FIG. 12 is a flowchart illustrating a third information display process according to the second embodiment of the present disclosure.
  • FIG. 13 is a flowchart showing a fourth information display process according to the second embodiment of the present disclosure.
  • FIG. 14 is an explanatory diagram of the information display process.
  • the vehicle 1 shown in FIG. 1 includes a camera 11, a radar 12, a sonar 13, a vehicle speed sensor 14, a yaw rate sensor 15, a communication unit 16, a head-up display (hereinafter referred to as HUD) 18, and a HUD control device 19.
  • a human machine interface control unit hereinafter referred to as HCU 20
  • a display device 21 The display device 21.
  • the camera 11 is provided with one or more, and images the periphery of the vehicle 1.
  • the camera 11 outputs the captured image to the HCU 20.
  • the radar 12 detects an object existing around the vehicle 1 by transmitting electromagnetic waves such as radio waves around the vehicle 1 and receiving the reflected waves.
  • the radar 12 outputs the detection result to the HCU 20.
  • the sonar 13 detects an object existing around the vehicle 1 by transmitting sound waves around the vehicle 1 and receiving the reflected waves.
  • the sonar 13 outputs the detection result to the HCU 20.
  • the vehicle speed sensor 14 detects the traveling speed of the vehicle 1.
  • the vehicle speed sensor 14 outputs the detection result to the HCU 20.
  • the yaw rate sensor 15 detects the yaw rate that is the rotational angular velocity of the vehicle 1 in the turning direction.
  • the yaw rate sensor 15 outputs the detection result to the HCU 20.
  • the communication unit 16 is a device that performs inter-vehicle communication with the other vehicle 100.
  • the other vehicle 100 is a vehicle that exists around the vehicle 1.
  • the communication unit 16 can also perform communication with the center 200.
  • the HUD 18 is a device that projects various images onto the windshield 1a of the vehicle 1 and displays these images so as to be superimposed on the scenery seen from the driver's seat of the vehicle 1 over the display area 19a of the windshield 1a.
  • the HUD 18 includes a liquid crystal panel, a backlight that illuminates and transmits the liquid crystal panel, and a concave mirror that reflects an image generated by the light of the backlight transmitted through the liquid crystal panel toward the windshield 1a. Then, as shown in FIG. 2, the HUD 18 displays the image so as to be superimposed on the scenery seen through the display area 19 a located in front of the driver's seat.
  • the display area 19a has a first display area 19b and a second display area 19c.
  • the first display area 19b is a part of the display area where information is reflected on the windshield 1a, and is an area defined on a path from the eye range ER to the point of sight.
  • the gazing point is a point in the traveling direction that the driver of the vehicle 1 should watch, for example, a space in the traveling direction or a preceding vehicle.
  • the second display area 19c is a part of a display area where light representing an image is reflected on the windshield 1a, and is an area defined below the first display area 19b along the vehicle height direction of the vehicle 1. is there.
  • the second display area 19c is an area defined so as to be out of the light path from the user's eye to the gazing point and to be non-overlapping with the first display area 19b.
  • the HUD 18 includes a video projector 18a, an optical unit 18b, a control device 18c, and a case 18d.
  • the video projector 18a is a device that emits and projects light representing various types of information.
  • the video projector 18a is a single liquid crystal display.
  • the liquid crystal display has a first light emitting unit and a second light emitting unit.
  • the first light emitting unit emits light projected on the first display area 19b.
  • the second light emitting unit emits light projected on the second display area 19c.
  • the optical unit 18b is configured to project the light representing the image from the image projector 10 onto the windshield 1a with a specific size.
  • the optical unit 18b includes a reflecting mirror 18e and a lens 18f.
  • the reflecting mirror 18e has at least one mirror and reflects light representing an image from the image projector 18a.
  • the lens 18f enlarges or reduces the light representing the image from the image projector 18a.
  • the case 18d is disposed in the dashboard 1b of the vehicle 1.
  • the case 18d is a housing that is partially opened.
  • the case 18d houses the image projector 18a and the optical unit 18b.
  • the case 18d may be provided with a cover so as to cover the opening.
  • the cover referred to here transmits light.
  • an image projected from the image projector 18a and passed through the openings of the optical unit 18b and the case 18d is projected onto the windshield 1a.
  • the image projected on the windshield 1a is a virtual image VI formed in front of the vehicle 1 in the eye range ER.
  • the light from the first light emitting unit is reflected by the first display area 19b and is formed as a virtual image VI_1 in front of the vehicle 1.
  • the virtual image VI_1 projected on the windshield 1a can be visually recognized by the driver without moving the line of sight from the gaze object present on the traveling path of the vehicle 1.
  • the light from the second light emitting unit is reflected by the second display region 19c, and is formed as a virtual image VI_2 at a position closer to the eye range ER than the formation position of the virtual image VI_1.
  • the HUD control device 19 includes a known microcomputer centered on a CPU and a memory.
  • the memory is a semiconductor memory such as a RAM, a ROM, or a flash memory.
  • the HUD control device 19 displays an image on the HUD 18 based on a command from the HCU 20.
  • the HUD control device 19 Various functions of the HUD control device 19 are realized by the CPU executing a program stored in a non-transitional physical recording medium.
  • the memory corresponds to a non-transitional tangible recording medium that stores a program. Further, by executing this program, a method corresponding to the program is executed.
  • the number of microcomputers constituting the HUD control device 19 may be one or plural. Further, some or all of the functions executed by the HUD control device 19 may be configured by hardware using one or a plurality of ICs.
  • the HCU 20 includes a known microcomputer centered on a CPU and a memory.
  • the memory is a semiconductor memory such as a RAM, a ROM, or a flash memory.
  • the HCU 20 executes various processes such as a HUD display process and a display display process based on the acquired various signals. The HUD display process and the display display process will be described later.
  • the HCU 20 Various functions of the HCU 20 are realized by the CPU executing a program stored in a non-transitional physical recording medium.
  • the memory corresponds to a non-transitional tangible recording medium that stores a program. Further, by executing this program, a method corresponding to the program is executed.
  • the number of microcomputers constituting the HCU 20 may be one or more. Further, some or all of the functions executed by the HCU 20 may be configured by hardware using one or a plurality of ICs.
  • the display device 21 is a device having a display screen 21a such as a liquid crystal display or an organic EL display capable of displaying an image.
  • the display device 21 is installed in a place where the driver of the vehicle 1 can visually recognize.
  • the HUD display process and display display process executed by the HCU 20 will be described. Note that either the HUD display process or the display display process may be selected and executed, for example, according to a user instruction, or both may be executed simultaneously.
  • the HUD display process is a process of displaying various information such as a travel route for causing the vehicle 1 to travel while avoiding an obstacle so as to be superimposed on the scenery seen through the display area 19a.
  • the HCU 20 determines whether there is another vehicle 100 around the vehicle 1.
  • the other vehicle 100 is detected from an image captured by the camera 11.
  • a well-known image processing technique is used.
  • the other vehicle 100 can be detected using the detection results of the radar 12 and the sonar 13. Note that the identification of the other vehicle 100 is comprehensively determined using, for example, the detected size or moving speed of the object. If it is determined that there is no other vehicle 100 around the vehicle 1, S110 is executed again. On the other hand, when it is determined that the other vehicle 100 exists around the vehicle 1, the process proceeds to S120.
  • the HCU 20 determines whether other vehicle information can be obtained through communication.
  • the vehicle 1 and the other vehicle 100 can communicate using inter-vehicle communication and the other vehicle 100 can transmit other vehicle information to the vehicle 1 by communication
  • the other vehicle information can be obtained by communication. It is judged that.
  • the case where other vehicle information can be obtained through communication with the center 200 is also included.
  • the other vehicle information is information indicating the traveling state of the other vehicle 100.
  • Examples of the running state of the vehicle include vehicle driving settings and vehicle behavior. Examples of vehicle driving settings include automatic driving that automatically performs all driving operations related to vehicle driving, driving assistance that supports a part of driving operations, and manual driving that performs driving based on the driving operation of the driver. It is done.
  • Examples of vehicle behavior include lane change, acceleration / deceleration, and right / left turn. If it is determined that other vehicle information is not available through communication, the process proceeds to S160. On the other hand, when it is determined that other vehicle information can be obtained through communication, information regarding the operation mode of the other vehicle 100 and information regarding the behavior of the other vehicle 100 are acquired as the other vehicle information.
  • the operation modes include an automatic operation mode for performing automatic operation, a driving support mode for performing driving support, and a manual mode for performing manual operation. Thereafter, the process proceeds to S125.
  • the HCU 20 determines whether other vehicle information is available using the on-vehicle sensor. For example, the behavior of the other vehicle 100 is detected from an image captured by the camera 11. At this time, a well-known image processing technique is used. In addition, the behavior of the other vehicle 100 can be detected using the detection results of the radar 12 and the sonar 13. For example, the HCU 20 determines that the other vehicle 100 performs a lane change when the relative position between the vehicle 1 and the other vehicle 100 changes by a predetermined value or more in the left-right direction.
  • the HCU 20 also detects the other vehicle 100 when the relative position between the vehicle 1 and the other vehicle 100 changes in the front-rear direction by a predetermined value or more, or when the relative speed between the vehicle 1 and the other vehicle 100 changes by a predetermined value or more. Is determined to perform acceleration / deceleration. Also, the HCU 20 determines that the other vehicle 100 makes a right / left turn when blinking blinker is detected from the captured image. If other vehicle information is available using the in-vehicle sensor, the process proceeds to S180. If other vehicle information is not available using the in-vehicle sensor, the process proceeds to S160.
  • the HCU 20 determines whether the other vehicle 100 is in the automatic driving mode. Specifically, the HCU 20 determines whether or not the other vehicle 100 is in the automatic driving mode with reference to the information related to the driving mode of the other vehicle 100 included in the other vehicle information obtained in S120. When it is determined that the other vehicle 100 is in the automatic driving mode, the process proceeds to S140. On the other hand, when it is determined that the other vehicle 100 is not in the automatic driving mode, the process proceeds to S135.
  • the HCU 20 determines whether or not the other vehicle 100 is in the driving support mode. Specifically, the HCU 20 determines whether or not the other vehicle 100 is in the driving support mode with reference to information regarding the driving mode of the other vehicle 100 included in the other vehicle information obtained in S120. When it is determined that the other vehicle 100 is in the driving support mode, the process proceeds to S170. On the other hand, when it is determined that the other vehicle 100 is not in the driving support mode, the process proceeds to S150.
  • the HCU 20 displays an operation mode image. Specifically, the HCU 20 creates an operation mode image representing information indicating that the other vehicle 100 is traveling in the automatic operation mode, and displays the operation mode image on the HUD control device 19. For example, the HCU 20 creates an image representing characters “AUTO MODE” as an operation mode image and displays the image on the HUD control device 19. As illustrated in FIG. 5, for example, the driving mode image is displayed so as to be superimposed on the scenery seen through the display area 19 a located in front of the driver's seat while being associated with the other vehicle 100 by being arranged in the vicinity of the other vehicle 100. The The driving mode image corresponds to the other vehicle image.
  • the driving mode image is displayed in the first display area 19b, and the host vehicle image is displayed in the second display area 19c. That is, the HCU 20 acquires the own vehicle information.
  • the own vehicle information is information indicating the traveling state of the vehicle 1.
  • the HCU 20 generates a vehicle image based on the vehicle information.
  • the own vehicle image is an image showing the traveling state of the vehicle 1 and represents the driving setting and behavior of the vehicle 1. For example, as illustrated in FIG. 5, the HCU 20 creates an image representing the characters “ACC” and “60 km / h” as a vehicle image and causes the HUD control device 19 to display the image.
  • ACC is an abbreviation for adaptive cruise control.
  • HCU20 acquires from the vehicle-mounted sensor and various ECU with which the vehicle 1 is provided.
  • the HCU 20 creates a behavior information image representing the information regarding the behavior of the other vehicle 100 and displays the behavior information image on the HUD control device 19.
  • the behavior information image an image representing information related to the lane change of the other vehicle 100 as illustrated in FIG. 5, information regarding acceleration / deceleration of the other vehicle 100 as illustrated in FIG. 6, and another vehicle as illustrated in FIG. Information on 100 left and right turns.
  • the HCU 20 creates an image representing the characters “to the right lane soon” as a behavior information image and displays it on the HUD control device 19 as illustrated in FIG. 5. .
  • the HCU 20 creates an image representing the characters “BRAKE” as a behavior information image and displays it on the HUD control device 19 as illustrated in FIG. 6. Further, as for the information related to the right / left turn of the other vehicle 100, the HCU 20 creates an image representing the characters “turn right soon” as a behavior information image and displays it on the HUD control device 19 as illustrated in FIG.
  • the behavior information image is displayed so as to be superimposed on the scenery seen through the display area 19a located in front of the driver's seat.
  • the behavior information image corresponds to the other vehicle image.
  • the HCU 20 may be configured to display the plurality of other vehicles 100 as illustrated in FIG. A behavior information image is displayed for each. For example, when other vehicle information is acquired from the preceding vehicle, the HCU 20 performs behavior information including an image representing the characters “BRAKE” and an image representing an arrow indicating the position of the preceding vehicle, as illustrated in FIG. An image is created and displayed on the HUD control device 19.
  • the preceding vehicle is a vehicle that travels ahead of the preceding vehicle.
  • the preceding vehicle is also a vehicle that travels in front of two or more vehicles.
  • the HCU 20 may display a bird's eye view image using the display device 21.
  • the HCU 20 generates a bird's-eye view image by converting a captured image captured by the camera 11 into a bird's-eye view viewed from a preset virtual viewpoint, and generates an operation mode image and
  • the behavior information image is displayed on the display device 21 so as to be superimposed on the bird's eye view image.
  • the behavior information image of the preceding vehicle is displayed on the HCU 20, and the behavior information image of the preceding vehicle and the bird's eye view displayed on the display device 21 are displayed. Displays the operation mode image.
  • the driving mode image of the vehicle ahead is not displayed on the HCU 20, so that in the area where the driver's field of view must be observed.
  • the amount of information can be reduced.
  • the driving mode image of the preceding vehicle corresponds to the first image.
  • the bird's-eye view image map is displayed on the display device 21, even if the traveling state of the preceding vehicle can be acquired, the behavior information image of the preceding vehicle need not be displayed on the HCU 20. As a result, the amount of information in the front view area of the driver can be further suppressed.
  • the behavior information image of the preceding vehicle corresponds to the second image. Thereafter, the process proceeds to S110.
  • the HCU 20 displays an operation mode image. Specifically, the HCU 20 creates an operation mode image representing information indicating that the other vehicle 100 is traveling in the manual operation mode, and causes the HUD control device 19 to display the operation mode image. For example, as illustrated in FIG. 5, the HCU 20 creates an image representing characters “MANUAL MODE” as an operation mode image and causes the HUD control device 19 to display the image. Further, the HCU 20 displays the own vehicle image and the behavior information image on the HUD control device 19 in the same manner as S140. Moreover, HCU20 may display a bird's-eye view image on the display apparatus 21 similarly to S140. Thereafter, the process proceeds to S110.
  • the HCU 20 displays an operation mode image. Specifically, the HCU 20 creates an operation mode image representing information indicating that the operation mode of the other vehicle 100 is unknown and causes the HUD control device 19 to display the operation mode image. For example, as illustrated in FIG. 7, the HCU 20 creates an image representing the characters “UNKNOWN” as an operation mode image and causes the HUD control device 19 to display the image. Moreover, you may make it show that the driving mode of the other vehicle 100 is unknown by displaying nothing. Further, the HCU 20 displays the vehicle image on the HUD control device 19 in the same manner as in S140.
  • the behavior information image is not displayed because the behavior of the other vehicle 100 is unknown, but the HCU 20 creates a behavior information image representing information indicating that the behavior of the other vehicle 100 is unknown, and performs HUD control. It may be displayed on the device 19. Thereafter, the process proceeds to S110.
  • the HCU 20 displays an operation mode image. Specifically, the HCU 20 creates a driving mode image representing information indicating that the other vehicle 100 is traveling in the driving support mode, and causes the HUD control device 19 to display the driving mode image. For example, as illustrated in FIG. 6, the HCU 20 creates an image representing characters “SEMI AUTO MODE” as an operation mode image and causes the HUD control device 19 to display the image.
  • Driving assistance includes ACC and LKA. LKA is an abbreviation for Lane Keeping Assist System. When both ACC and LKA are performed, the HCU 20 may create an image representing the characters “SEMI AUTO MODE” as an operation mode image and display it on the HUD control device 19.
  • the HCU 20 may create an image representing the characters “ACC” as an operation mode image and cause the HUD control device 19 to display the image.
  • the HCU 20 may create an image representing the characters “LKA” as an operation mode image and cause the HUD control device 19 to display the image.
  • the HCU 20 displays the own vehicle image and the behavior information image on the HUD control device 19 in the same manner as S140.
  • HCU20 may display a bird's-eye view image on the display apparatus 21 similarly to S140. Thereafter, the process proceeds to S110.
  • the HCU 20 displays an operation mode image. Specifically, the HCU 20 creates an operation mode image representing information indicating that the operation mode of the other vehicle 100 is unknown and causes the HUD control device 19 to display the operation mode image. For example, as illustrated in FIG. 7, the HCU 20 creates an image representing the characters “UNKNOWN” as an operation mode image and causes the HUD control device 19 to display the image. Moreover, you may make it show that the driving mode of the other vehicle 100 is unknown by displaying nothing. Further, the HCU 20 displays the own vehicle image and the behavior information image on the HUD control device 19 in the same manner as S140. Moreover, HCU20 may display a bird's-eye view image on the display apparatus 21 similarly to S140. Thereafter, the process proceeds to S110.
  • an operation mode image representing information indicating that the operation mode of the other vehicle 100 is unknown and causes the HUD control device 19 to display the operation mode image. For example, as illustrated in FIG. 7, the HCU 20 creates an image representing the characters “UNKNOWN” as an operation
  • the HCU 20 functions as a display system by executing HUD display processing.
  • the HCU 20 functions as a detection unit by executing S110 of the HUD display process.
  • the HCU 20 functions as an acquisition unit by executing S120 and S130 of the HUD display process.
  • the HCU 20 functions as a display unit by executing the SUD, S150, S160, S170, and S180 of the HUD display process.
  • the display display process is a process of displaying various information such as a travel route for traveling the vehicle 1 while avoiding an obstacle on the display screen 21 a of the display device 21 so as to be superimposed on a captured image captured by the camera 11. is there.
  • the HCU 20 determines whether there is another vehicle 100 around the vehicle 1. Note that the processing content of S210 is the same as the processing content of S110. If it is determined that there is no other vehicle 100 around the vehicle 1, S210 is executed again. On the other hand, when it is determined that the other vehicle 100 exists around the vehicle 1, the process proceeds to S220.
  • the HCU 20 determines whether other vehicle information can be obtained through communication. Note that the processing content of S220 is the same as the processing content of S120. When it is determined that other vehicle information is not available through communication, the process proceeds to S260. On the other hand, when it is determined that other vehicle information can be obtained through communication, information regarding the operation mode of the other vehicle 100 and information regarding the behavior of the other vehicle 100 are acquired as the other vehicle information. Thereafter, the process proceeds to S225.
  • the HCU 20 determines whether other vehicle information is available using the on-vehicle sensor.
  • the processing content of S225 is the same as the processing content of S125. If other vehicle information is available using the in-vehicle sensor, the process proceeds to S280. If other vehicle information is not available using the in-vehicle sensor, the process proceeds to S260.
  • the HCU 20 determines whether or not the other vehicle 100 is in the automatic operation mode. Note that the processing content of S230 is the same as the processing content of S130. When it is determined that the other vehicle 100 is in the automatic driving mode, the process proceeds to S240. On the other hand, when it is determined that the other vehicle 100 is not in the automatic driving mode, the process proceeds to S235.
  • the HCU 20 determines whether the other vehicle 100 is in the driving support mode.
  • the processing content of S235 is the same as the processing content of S135.
  • the process proceeds to S270.
  • the process proceeds to S250.
  • the HCU 20 displays an operation mode image. Specifically, the HCU 20 creates an operation mode image representing information indicating that the other vehicle 100 is traveling in the automatic operation mode, and causes the display device 21 to display the operation mode image.
  • the HCU 20 creates a behavior information image representing information related to the behavior of the other vehicle 100 and causes the display device 21 to display the behavior information image.
  • the HCU 20 may be configured to display the plurality of other vehicles 100 as illustrated in FIG. A behavior information image is displayed for each. The HCU 20 may create a vehicle image and display it on the display device 21. Thereafter, the process proceeds to S210.
  • the HCU 20 displays an operation mode image. Specifically, the HCU 20 creates an operation mode image representing information indicating that the other vehicle 100 is traveling in the manual mode, and displays the operation mode image on the display device 21. Further, the HCU 20 displays the behavior information image on the display device 21 as in S240. The HCU 20 may create a vehicle image and display it on the display device 21. Thereafter, the process proceeds to S210.
  • the HCU 20 displays an operation mode image. Specifically, the HCU 20 creates an operation mode image representing information indicating that the operation mode of the other vehicle 100 is unknown and causes the display device 21 to display the operation mode image. Moreover, you may make it show that the driving mode of the other vehicle 100 is unknown by displaying nothing.
  • the behavior information image is not displayed because the behavior of the other vehicle 100 is unknown, but the HCU 20 creates a behavior information image representing information indicating that the behavior of the other vehicle 100 is unknown, and displays the behavior information image. 21 may be displayed.
  • the HCU 20 may create a vehicle image and display it on the display device 21. Thereafter, the process proceeds to S210.
  • the HCU 20 displays an operation mode image. Specifically, the HCU 20 creates a driving mode image representing information indicating that the other vehicle 100 is traveling in the driving support mode and causes the display device 21 to display the driving mode image. Further, the HCU 20 displays the behavior information image on the display device 21 as in S240. The HCU 20 may create a vehicle image and display it on the display device 21. Thereafter, the process proceeds to S210.
  • the HCU 20 displays an operation mode image. Specifically, the HCU 20 creates an operation mode image representing information indicating that the operation mode of the other vehicle 100 is unknown and causes the HUD control device 19 to display the operation mode image. Moreover, you may make it show that the driving mode of the other vehicle 100 is unknown by displaying nothing.
  • the HCU 20 displays the behavior information image on the display device 21 as in S240.
  • the HCU 20 may create a vehicle image and display it on the display device 21. Thereafter, the process proceeds to S210.
  • the HCU 20 functions as a display system by executing display display processing.
  • the HCU 20 functions as a detection unit by executing S210 of the display display process. Further, the HCU 20 functions as an acquisition unit by executing the display display processing S220 and S230. Further, the HCU 20 functions as a display unit by executing the display display processes S240, S250, S260, S270, and S280.
  • an operation mode image representing information related to the operation mode of the other vehicle 100 is displayed so as to be superimposed on the scenery seen through the display area 19a.
  • the operation mode image may be displayed on the display screen 21 a of the display device 21 so as to be superimposed on the captured image captured by the camera 11. Therefore, the driving state of the other vehicle 100 existing around the vehicle 1 can be identified and recognized by the driver.
  • the first information display process to the fourth information display process executed by the HCU 20 will be described in order.
  • the first information display process to the fourth information display process for example, one or more processes are appropriately selected and executed in accordance with the instruction from the user, the detection status by various sensors, and the communication status with the other vehicle 100, for example. Good.
  • the first information display process is a process for displaying a distance image representing information about the distance to the other vehicle 100 so as to be superimposed on a landscape seen through the region 19a using information acquired by the in-vehicle sensor or the in-vehicle camera.
  • the HCU 20 determines whether there is another vehicle 100 around the vehicle 1.
  • the other vehicle 100 is detected from an image captured by the camera 11.
  • a well-known image processing technique is used.
  • the other vehicle 100 can be detected using the detection results of the radar 12 and the sonar 13. Note that the identification of the other vehicle 100 is comprehensively determined using, for example, the detected size or moving speed of the object.
  • S1110 is executed again.
  • the process proceeds to S1120.
  • the HCU 20 determines whether the distance can be measured from the sensor or the camera image. For example, the distance to the other vehicle 100 is calculated using detection results obtained by the radar 12 and the sonar 13. Further, the distance to the other vehicle 100 is calculated using an image captured by the camera 11. At this time, a well-known image processing technique is used. Thus, when the distance to the other vehicle 100 can be calculated, it is determined that the distance can be measured from the sensor or the camera image. If it is determined that the distance can be measured from the sensor or the camera image (S1120: YES), the process proceeds to S1130. On the other hand, if it is determined from the sensor or camera image that the distance cannot be measured (S1120: NO), the process proceeds to S1140.
  • the distance from the other vehicle 100 is superimposed on the real field of view on the HUD 18.
  • the HCU 20 creates a distance image representing information related to the distance to the other vehicle 100 and causes the HUD control device 19 to display the distance image.
  • the HCU 20 calculates the distance to the obstacle, creates an image representing information on the distance to the obstacle as a distance image, and performs HUD control. It is displayed on the device 19.
  • the distance to the obstacle may be calculated using the detection result of the radar 12 or the sonar 13, or the distance to the obstacle may be calculated using the image captured by the camera 11.
  • the HCU 20 creates an image representing the distance to the other vehicle 100 or an obstacle such as “150 m”, “60 m”, or “35 m” as a distance image and displays the image on the HUD control device 19. As illustrated in FIG. 14, the distance image is displayed so as to be superimposed on the scenery seen through the area 19 a located in front of the driver's seat. Thereafter, the process proceeds to S1110.
  • the HCU 20 creates an unmeasurable image representing information indicating that the distance to the other vehicle 100 cannot be measured, and causes the HUD control device 19 to display the image.
  • the HCU 20 creates an image representing the characters “distance cannot be measured” as an unmeasurable image and causes the HUD control device 19 to display the image.
  • the unmeasurable image is displayed so as to be superimposed on the scenery seen through the area 19a located in front of the driver's seat. Thereafter, the process proceeds to S1110.
  • the distance image displayed in said S1130 it is good to employ
  • 0 to 50 m is display content at 5 m intervals
  • 50 to 100 m is display content at 10 m intervals
  • 100 m or more is display content at 50 m intervals.
  • the numerical value indicating the distance and the color and size of the character may be changed according to the distance to the other vehicle 100 or the like.
  • the HCU 20 is mounted on the vehicle by executing the first information display process and functions as an information display device that displays various types of information. Further, the HCU 20 functions as an other vehicle detection unit that detects other vehicles existing around the vehicle 1 by executing S1110. Further, the HCU 20 functions as a distance specifying unit that specifies the distance to the other vehicle 100 by executing S1120. Further, the HCU 20 functions as an image display unit that displays the distance image so as to be superimposed on the scenery seen through the region 19a by executing S1130 and S1140.
  • the second information display process is a process of displaying the distance image representing the information about the distance to the other vehicle 100 so as to be superimposed on the scenery seen through the region 19a using the information acquired through communication with the other vehicle 100. is there.
  • the HCU 20 determines whether there is another vehicle 100 around the vehicle 1. Since the processing content of S1210 is the same as the processing content of S1110, detailed description thereof is omitted here. When it is determined that there is no other vehicle 100 around the vehicle 1 (S1210: NO), S1210 is executed again. On the other hand, when it is determined that there is another vehicle 100 around the vehicle 1 (S1210: YES), the process proceeds to S1220.
  • S1220 it is determined whether the HCU 20 can communicate with the other vehicle 100 directly or indirectly.
  • the vehicle 1 and the other vehicle 100 can communicate with each other using inter-vehicle communication, it is determined that the vehicle 1 and the other vehicle 100 can directly communicate with each other. Further, when the vehicle 1 and the other vehicle 100 can communicate with each other via the center 200, it is determined that the vehicle 1 and the other vehicle 100 can communicate with each other indirectly.
  • the process proceeds to S1230.
  • S1250 the process proceeds to S1250.
  • S1230 it is determined whether the distance can be calculated from the communication information.
  • HCU20 acquires the information which shows the position of the other vehicle 100 as communication information by communicating with the other vehicle 100 directly or indirectly, Based on the acquired communication information, the distance from the vehicle 1 to the other vehicle 100 is obtained. calculate. Thus, when the distance to the other vehicle 100 can be calculated, it is determined that the distance can be calculated from the communication information. When it is determined that the distance can be calculated from the communication information (S1230: YES), the process proceeds to S1240. On the other hand, when it is determined that the distance cannot be calculated from the communication information (S1230: NO), the process proceeds to S1250.
  • the HCU 20 functions as an information display device that is mounted on the vehicle and displays various types of information by executing the second information display process. Further, the HCU 20 functions as an other vehicle detection unit that detects other vehicles existing around the vehicle 1 by executing S1210. Moreover, HCU20 functions as a distance specific
  • the third information display process uses the information acquired by the in-vehicle sensor or the in-vehicle camera to superimpose a distance image representing information on the distance to the other vehicle 100 on the captured image captured by the camera 11. This is a process of displaying on the display screen 21a.
  • the HCU 20 determines whether there is another vehicle 100 around the vehicle 1. Since the processing content of S1310 is the same as the processing content of S1110, detailed description thereof is omitted here. When it is determined that there is no other vehicle 100 around the vehicle 1 (S1310: NO), S1310 is executed again. On the other hand, when it is determined that the other vehicle 100 exists around the vehicle 1 (S1310: YES), the process proceeds to S1320.
  • the HCU 20 determines whether the distance can be measured from the sensor or the camera image. Since the processing content of S1320 is the same as the processing content of S1120, detailed description thereof is omitted here. If it is determined that the distance can be measured from the sensor or the camera image (S1120: YES), the process proceeds to S1130. On the other hand, if it is determined from the sensor or camera image that the distance cannot be measured (S1120: NO), the process proceeds to S1140.
  • the distance from the other vehicle 100 is superimposed on the camera image of the display device 21.
  • the HCU 20 creates a distance image representing information related to the distance to the other vehicle 100 and causes the display device 21 to display the distance image.
  • the HCU 20 calculates the distance to the obstacle and creates an image representing the information related to the distance to the obstacle as a distance image. 21 is displayed.
  • the distance to the obstacle may be calculated using the detection result of the radar 12 or the sonar 13, or the distance to the obstacle may be calculated using the image captured by the camera 11.
  • the HCU 20 creates an image representing the distance to the other vehicle 100 or an obstacle such as “150 m”, “60 m”, or “35 m” as a distance image and displays the image on the display device 21.
  • the distance image is displayed on the display screen 21 a of the display device 21 so as to be superimposed on the captured image as the camera image captured by the camera 11 as the in-vehicle camera. Thereafter, the process proceeds to S1310.
  • the HCU 20 creates an unmeasurable image representing information indicating that the distance to the other vehicle 100 cannot be measured and causes the display device 21 to display it.
  • the HCU 20 creates an image representing the characters “distance cannot be measured” as an unmeasurable image and causes the display device 21 to display the image.
  • the unmeasurable image is displayed on the display screen 21a of the display device 21 so as to be superimposed on the captured image as the camera image captured by the camera 11 as the in-vehicle camera. Thereafter, the process proceeds to S1310.
  • the distance image displayed in said S1330 it is good to employ
  • 0 to 50 m is display content at 5 m intervals
  • 50 to 100 m is display content at 10 m intervals
  • 100 m or more is display content at 50 m intervals.
  • the numerical value indicating the distance and the color and size of the character may be changed according to the distance to the other vehicle 100 or the like.
  • the HCU 20 functions as an information display device that is mounted on the vehicle and displays various types of information by executing the third information display process. Further, the HCU 20 functions as an other vehicle detection unit that detects other vehicles existing around the vehicle 1 by executing S1310. Moreover, HCU20 functions as a distance specific
  • the fourth information display process uses information acquired through communication with the other vehicle 100 to display a distance image representing information on the distance to the other vehicle 100 so as to be superimposed on the captured image captured by the camera 11. This is processing to be displayed on the display screen 21 a of the device 21.
  • the HCU 20 determines whether there is another vehicle 100 around the vehicle 1. Since the processing content of S1410 is the same as the processing content of S1110, detailed description thereof is omitted here. If it is determined that there is no other vehicle 100 around the vehicle 1 (S1410: NO), S1410 is executed again. On the other hand, when it is determined that the other vehicle 100 exists around the vehicle 1 (S1410: YES), the process proceeds to S1420.
  • S1420 it is determined whether the HCU 20 can communicate with the other vehicle 100 directly or indirectly. Since the processing content of S1420 is the same as the processing content of S1220, detailed description thereof is omitted here. If it is determined that communication with the other vehicle 100 is possible directly or indirectly (S1420: YES), the process proceeds to S1430. On the other hand, when it is determined that communication with the other vehicle 100 is not possible directly or indirectly (S1420: NO), the process proceeds to S1450.
  • S1430 it is determined whether the distance can be calculated from the communication information. Since the processing content of S1430 is the same as the processing content of S1230, detailed description thereof is omitted here. If it is determined that the distance can be calculated from the communication information (S1430: YES), the process proceeds to S1440. On the other hand, when it is determined that the distance cannot be calculated from the communication information (S1430: NO), the process proceeds to S1450.
  • the HCU 20 is mounted on the vehicle by executing the fourth information display process, and functions as an information display device that displays various types of information. Further, the HCU 20 functions as an other vehicle detection unit that detects other vehicles existing around the vehicle 1 by executing S1410. Moreover, HCU20 functions as a distance specific
  • a distance image representing information related to the distance to the other vehicle 100 is displayed so as to be superimposed on the scenery seen through the area 19a.
  • the distance image may be displayed on the display screen 21 a of the display device 21 so as to be superimposed on the captured image captured by the camera 11. Therefore, the driver can recognize the distance to the other vehicle 100.
  • a plurality of functions of one constituent element in the above embodiment may be realized by a plurality of constituent elements, or a single function of one constituent element may be realized by a plurality of constituent elements. Further, a plurality of functions possessed by a plurality of constituent elements may be realized by one constituent element, or one function realized by a plurality of constituent elements may be realized by one constituent element. Moreover, you may abbreviate
  • the present disclosure can be realized in various forms such as a program for causing a computer to function as the display system, a medium on which the program is recorded, and a display method.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Instrument Panels (AREA)
  • Traffic Control Systems (AREA)

Abstract

本開示の表示システムは、車両(1)に搭載され、検出部(20)と、取得部(20)と、表示部(20)と、を備える。検出部は、車両の周囲に存在する他の車両である他車両(100)を検出する。取得部は、検出部によって他車両が検出された場合に、他車両の走行状態示す情報である他車情報を取得する。表示部は、取得部によって取得された他車情報に基づき他車両の走行状態を表す画像である他車画像を生成し、生成した他車画像を、他車両と対応付けながら、車両の運転席からフロントガラス越しに見える景色に重畳するよう表示する。なお、表示部が、他車画像を、車載カメラによって撮像される撮像画像に重畳するよう表示装置に表示するようにしてもよい。

Description

表示システム 関連出願の相互参照
 本出願は、2015年8月7日に出願された日本特許出願番号2015-157227号、2015年8月7日に出願された日本特許出願番号2015-157228号、及び2016年5月31日に出願された日本特許出願番号2016-108960号に基づくもので、ここにその記載内容を援用する。
 本開示は、車両に搭載される表示システムに関する。
 特許文献1には、車車間通信を利用した走行制御を実行する際に、基準となる先行車両である基準先行車両を運転者に認識させるため、前方視界の画像を表示する表示装置の表示画面上に、基準先行車両を認識させるための表示を行う点が記載されている。
 特許文献2には、車の走行速度及び路面状況に応じた車間制御距離以下になった際に警報を発しブレーキ制御を行い且つ障害物の位置の表示を行う点が記載されている。
特開2014-89510号公報 特開平11-59355号公報
 上記特許文献1に記載の技術では、基準先行車両を運転者に認識させることはできるものの、基準先行車両を含めた各先行車両の運転モードや挙動などの走行状態までは運転者に認識させることはできなかった。
 上記特許文献2に記載の技術では、車間制御距離以下になった際に障害物の位置の表示を行うものの、障害物までの距離を運転者に認識させることはできなかった。このことは、車間制御距離以下になる前であっても同様である。
 本開示は、上記のような課題に鑑みなされたものであり、その目的とするところは、自車両の周囲に存在する他車両の走行状態を識別して運転者に認識させる表示システム、及び自車両の周囲に存在する他車両までの距離を運転者に認識させる表示システムを提供することにある。
 本開示の第1態様による表示システムは、車両に搭載され、検出部と、取得部と、表示部と、を備える。検出部は、車両の周囲に存在する他の車両である他車両を検出する。取得部は、検出部によって他車両が検出された場合に、他車両の走行状態を示す情報である他車情報を取得する。表示部は、取得部によって取得された他車情報に基づき他車両の走行状態を表す画像である他車画像を生成し、生成した他車画像を、他車両と対応付けながら、車両の運転席からフロントガラス越しに見える景色に重畳するよう表示する。
 上記表示システムによれば、自車両の周囲に存在する他車両の走行状態を識別して運転者に認識させることができる。
 本開示の第2態様による表示システムは、車両に搭載され、車両の周囲に存在する他の車両である他車両を検出する検出部と、検出部によって他車両が検出された場合に、他車両の走行状態を示す情報である他車情報を取得する取得部と、取得部によって取得された他車情報に基づき他車両の走行状態を表す画像である他車画像を生成し、生成した他車画像を、他車両と対応付けながら、車載カメラによって撮像される撮像画像に重畳するよう表示装置に表示する表示部と、を備える。
 上記表示システムによれば、自車両の周囲に存在する他車両の走行状態を識別して運転者に認識させることができる。
 本開示の第3態様による表示システムは、車両に搭載され、各種情報を表示するシステムであって、他車両検出部と、距離特定部と、画像表示部と、を備える。他車両検出部は、車両の周囲に存在する他車両を検出する。距離特定部は、他車両検出部によって検出された他車両までの距離を特定する。画像表示部は、距離特定部によって特定された他車両までの距離に関する情報を表す距離画像を車両の運転席からフロントガラス越しに見える景色に重畳するよう表示する。
 上記表示システムによれば、自車両の周囲に存在する他車両までの距離を運転者に認識させることができる。
 本開示の第4態様による表示システムは、車両に搭載され、各種情報を表示するシステムであって、車両の周囲に存在する他車両を検出する他車両検出部と、他車両検出部によって検出された他車両までの距離を特定する距離特定部と、距離特定部によって特定された他車両までの距離に関する情報を表す距離画像を、車載カメラによって撮像される撮像画像に重畳するよう表示装置に表示する画像表示部と、を備える。
 上記表示システムによれば、自車両の周囲に存在する他車両までの距離を運転者に認識させることができる。
 本開示についての上記目的およびその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。その図面は、
図1は、本開示の一実施形態による車両の構成を示すブロック図であり、 図2は、車両の運転席を表す説明図であり、 図3は、本開示の第1実施形態によるHUD表示処理を示すフローチャートであり、 図4は、本開示の第1実施形態によるディスプレイ表示処理を示すフローチャートであり、 図5は、HUD表示処理の説明図であり、 図6は、HUD表示処理の説明図であり、 図7は、HUD表示処理の説明図であり、 図8は、HUDの構成を示す説明図であり、 図9は、HUD表示処理の説明図であり、 図10は、本開示の第2実施形態による第1情報表示処理を示すフローチャートであり、 図11は、本開示の第2実施形態による第2情報表示処理を示すフローチャートであり、 図12は、本開示の第2実施形態による第3情報表示処理を示すフローチャートであり、 図13は、本開示の第2実施形態による第4情報表示処理を示すフローチャートであり、 図14は、情報表示処理の説明図である。
 以下、本開示の実施形態について図面を参照しながら説明する。
 (第1実施形態)
 図1に示す車両1は、カメラ11と、レーダ12と、ソナー13と、車速センサ14と、ヨーレートセンサ15と、通信部16と、ヘッドアップディスプレイ(以下HUD)18と、HUD制御装置19と、ヒューマンマシンインタフェース・コントロール・ユニット(以下HCU20)と、表示装置21と、を備える。
 カメラ11は、1個または複数個備えられており、車両1の周囲を撮像する。カメラ11は、撮像した画像をHCU20へ出力する。
 レーダ12は、車両1の周囲に電波等の電磁波を送信し、その反射波を受信することによって、車両1の周囲に存在する物体を検知する。レーダ12は、検知結果をHCU20へ出力する。
 ソナー13は、車両1の周囲に音波を送信し、その反射波を受信することによって車両1の周囲に存在する物体を検知する。ソナー13は、検知結果をHCU20へ出力する。
 車速センサ14は、車両1の走行速度を検出する。車速センサ14は、検出結果をHCU20へ出力する。
 ヨーレートセンサ15は、車両1の旋回方向への回転角速度であるヨーレートを検出する。ヨーレートセンサ15は、検出結果をHCU20へ出力する。
 通信部16は、他車両100との間で車車間通信を実施する装置である。他車両100は、車両1の周囲に存在する車両である。また、通信部16は、センタ200との間で通信を実施することも可能である。
 HUD18は、車両1のフロントガラス1aに種々の画像を投影し、これらの画像を車両1の運転席からフロントガラス1aの表示領域19a越しに見える景色に重畳するように表示する装置である。HUD18は、液晶パネル、液晶パネルを透過照明するバックライト、液晶パネルを透過したバックライトの光によって生成される像をフロントガラス1aに向けて反射する凹面鏡等によって構成される。そして、HUD18は、図2に示すように、運転席前方に位置する表示領域19a越しに見える景色に画像を重畳するよう表示する。表示領域19aは、第一表示領域19bと、第二表示領域19cとを有する。第一表示領域19bとは、フロントガラス1aにおいて情報が反射される表示領域の一部分であり、アイレンジERから注視点へと向かう経路上に規定された領域である。注視点とは、車両1の運転者が注視すべき進行方向上のポイントであり、例えば、進行方向上の空間や先行車両などである。第二表示領域19cとは、フロントガラス1aにおいて像を表す光が反射される表示領域の一部分であり、車両1の車高方向に沿って第一表示領域19bの下側に規定された領域である。すなわち、第二表示領域19cは、利用者の眼から注視点へと向かう光の経路上から外れ、且つ、第一表示領域19bとは非重複となるように規定された領域である。
 HUD18は、図8に示すように、映像投射器18aと、光学部18bと、制御装置18cと、ケース18dと、を備えている。
 映像投射器18aは、各種情報を表す光を発光して投射する機器である。映像投射器18aは、一台の液晶ディスプレイである。液晶ディスプレイには、第1発光部および第2発光部が規定されている。第1発光部は、第一表示領域19bに投射される光を発光する。第2発光部は、第二表示領域19cに投射される光を発光する。
 光学部18bは、映像投射器10からの映像を表す光が、特定の大きさでフロントガラス1aに投影されるように設けられた構成である。光学部18bは、反射鏡18eと、レンズ18fとを備えている。反射鏡18eは、少なくとも一つの鏡を有し、映像投射器18aからの映像を表す光を反射する。レンズ18fは、映像投射器18aからの映像を表す光を拡大または縮小する。
 ケース18dは、車両1のダッシュボード1b内に配置される。このケース18dは、一部が開口した筐体である。ケース18dには、映像投射器18aおよび光学部18bが収納される。なお、ケース18dには、開口を覆うようにカバーが設けられていても良い。ここで言うカバーは、光を透過するものである。
 HUD18では、映像投射器18aから投射され、光学部18bおよびケース18dの開口を通過した映像がフロントガラス1aに投影される。このフロントガラス1aに投影される映像は、アイレンジERにおいて車両1の前方に形成された虚像VIとなる。第1発光部からの光は、第一表示領域19bにて反射され、車両1の前方に虚像VI_1として形成される。このようなHUD18では、フロントガラス1aに投影された虚像VI_1を、車両1の進行路上に存在する注視物から視線を移動させることなく運転者に視認させることが可能となる。第2発光部からの光は、第二表示領域19cにて反射され、虚像VI_1の形成位置よりもアイレンジERに近い位置にて虚像VI_2として形成される。
 HUD制御装置19は、CPU及びメモリを中心とする周知のマイクロコンピュータを備える。メモリは、RAM、ROM、フラッシュメモリ等の半導体メモリである。HUD制御装置19は、HCU20からの指令に基づきHUD18に画像を表示させる。
 HUD制御装置19の各種機能は、CPUが非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリが、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムの実行により、プログラムに対応する方法が実行される。なお、HUD制御装置19を構成するマイクロコンピュータの数は1つでも複数でもよい。また、HUD制御装置19が実行する機能の一部または全部を、一つあるいは複数のIC等によりハードウェア的に構成してもよい。
 HCU20は、CPU及びメモリを中心とする周知のマイクロコンピュータを備える。メモリは、RAM、ROM、フラッシュメモリ等の半導体メモリである。HCU20は、取得した各種信号に基づき、HUD表示処理やディスプレイ表示処理などの各種処理を実行する。HUD表示処理およびディスプレイ表示処理については後述する。
 HCU20の各種機能は、CPUが非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリが、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムの実行により、プログラムに対応する方法が実行される。なお、HCU20を構成するマイクロコンピュータの数は1つでも複数でもよい。また、HCU20が実行する機能の一部または全部を、一つあるいは複数のIC等によりハードウェア的に構成してもよい。
 表示装置21は、画像を表示可能である液晶ディスプレイ、有機ELディスプレイ等の表示画面21aを有する装置である。表示装置21は、車両1のドライバが視認可能な場所に設置される。
 次に、HCU20が実行するHUD表示処理およびディスプレイ表示処理について説明する。なお、HUD表示処理およびディスプレイ表示処理は、例えば、ユーザによる指示により、何れか一方を選択して実行するようにしてもよいし、双方を同時に実行するようにしてもよい。
 まず、HCU20が実行するHUD表示処理について図3のフローチャートを用いて説明する。
 HUD表示処理は、障害物を回避しながら車両1を走行させるための走行ルートなどの各種情報を表示領域19a越しに見える景色に重畳するよう表示する処理である。
 最初のステップS110では、HCU20が、車両1の周囲に他車両100が存在するか否かを判断する。例えば、カメラ11による撮像画像から他車両100を検知する。この際、周知の画像処理技術を用いる。また、レーダ12やソナー13による検知結果を用いて他車両100を検知することもできる。なお、他車両100の識別については、例えば検知した物体の大きさや移動速度等を用いて総合的に判断する。車両1の周囲に他車両100が存在しないと判断された場合には、S110を再度実行する。一方、車両1の周囲に他車両100が存在すると判断された場合には、S120に移行する。
 S120では、HCU20が、他車情報を通信にて入手可能か否かを判断する。ここでは、車両1と他車両100とが車車間通信を用いて通信可能であり且つ他車両100が他車情報を車両1に通信で送信可能である場合に他車情報を通信にて入手可能であると判断する。センタ200との通信により他車情報を入手可能である場合も含まれる。他車情報とは、他車両100の走行状態を示す情報である。車両の走行状態としては、車両の運転設定や、車両の挙動が挙げられる。車両の運転設定としては、車両の走行に係る運転操作の全部を自動的に行う自動運転、運転操作の一部を支援する運転支援、運転者の運転動作に基づいて走行を行う手動運転が挙げられる。車両の挙動としては、レーン変更、加減速、右左折などが挙げられる。他車情報を通信にて入手可能ではないと判断された場合には、S160に移行する。一方、他車情報を通信にて入手可能であると判断された場合には、他車情報として、他車両100の運転モードに関する情報および他車両100の挙動に関する情報を取得する。運転モードには、自動運転を行う自動運転モード、運転支援を行う運転支援モード、手動運転を行うマニュアルモードがある。その後、S125に移行する。
 S125では、HCU20が、他車情報を、車載センサを用いて入手可能であるか否かを判断する。例えば、カメラ11による撮像画像から他車両100の挙動を検知する。この際、周知の画像処理技術を用いる。また、レーダ12やソナー13による検知結果を用いて他車両100の挙動を検知することもできる。例えば、HCU20は、車両1と他車両100との相対位置が左右方向に所定値以上変化した場合に、他車両100がレーン変更を行うと判断する。また、HCU20は、車両1と他車両100との相対位置が前後方向に所定値以上変化した場合、または、車両1と他車両100との相対速度が所定値以上変化した場合に、他車両100が加減速を行うと判断する。また、HCU20は、撮像画像中からウインカー点滅を検出した場合に、他車両100が右左折を行うと判断する。他車情報を、車載センサを用いて入手可能である場合には、S180に移行する。他車情報を、車載センサを用いて入手不可能である場合には、S160に移行する。
 S130では、HCU20が、他車両100が自動運転モードであるか否かを判断する。具体的には、HCU20が、S120で入手した他車情報に含まれる他車両100の運転モードに関する情報を参照して、他車両100が自動運転モードであるか否かを判断する。他車両100が自動運転モードであると判断された場合には、S140に移行する。一方、他車両100が自動運転モードではないと判断された場合には、S135に移行する。
 S135では、HCU20が、他車両100が運転支援モードであるか否かを判断する。具体的には、HCU20が、S120で入手した他車情報に含まれる他車両100の運転モードに関する情報を参照して、他車両100が運転支援モードであるか否かを判断する。他車両100が運転支援モードであると判断された場合には、S170に移行する。一方、他車両100が運転支援モードではないと判断された場合には、S150に移行する。
 S140では、HCU20が、運転モード画像を表示する。具体的には、HCU20が、他車両100が自動運転モードで走行中である旨を示す情報を表す運転モード画像を作成してHUD制御装置19に表示させる。例えば、HCU20が、「AUTO MODE」という文字を表す画像を運転モード画像として作成してHUD制御装置19に表示させるといった具合である。運転モード画像は、図5に例示するように、例えば他車両100近傍に配置することで他車両100と対応付けながら、運転席前方に位置する表示領域19a越しに見える景色に重畳するよう表示される。運転モード画像は、他車画像に該当する。
 このとき、運転モード画像は、第一表示領域19bに表示され、第二表示領域19cには、自車画像が表示される。すなわち、HCU20が、自車情報を取得する。自車情報は、車両1の走行状態を示す情報である。HCU20が、自車情報に基づき自車画像を生成する。自車画像は、車両1の走行状態を示す画像であり、車両1の運転設定や挙動を表す。例えば、HCU20が、図5に例示するように、「ACC」や「60km/h」という文字を表す画像を自車画像として作成してHUD制御装置19に表示させるといった具合である。ACCは、アダプティブクルーズコントロールの略である。車両1の運転設定や挙動については、HCU20が、車両1が備える車載センサおよび各種ECUから取得する。
 なお、他車情報として他車両100の挙動に関する情報が入手された場合には、HCU20が、他車両100の挙動に関する情報を表す挙動情報画像を作成してHUD制御装置19に表示させる。挙動情報画像としては、図5に例示するような他車両100のレーン変更に関する情報を表す画像、図6に例示するような他車両100の加減速に関する情報、図7に例示するような他車両100の右左折に関する情報が挙げられる。例えば、他車両100のレーン変更に関する情報については、HCU20が、図5に例示するように、「まもなく右レーンへ」という文字を表す画像を挙動情報画像として作成してHUD制御装置19に表示させる。また、他車両100の加減速に関する情報については、HCU20が、図6に例示するように、「BRAKE」という文字を表す画像を挙動情報画像として作成してHUD制御装置19に表示させる。また、他車両100の右左折に関する情報については、HCU20が、図7に例示するように、「まもなく右折」という文字を表す画像を挙動情報画像として作成してHUD制御装置19に表示させる。挙動情報画像は、運転席前方に位置する表示領域19a越しに見える景色に重畳するよう表示される。挙動情報画像は、他車画像に該当する。
 また、車両1が走行する車線上の前方に存在する複数台の他車両100から他車情報をそれぞれ取得した場合には、HCU20が、図6に例示するように、複数台の他車両100のそれぞれに対して挙動情報画像を表示する。例えば、先々行車両から他車情報を取得した場合には、HCU20が、図6に例示するように、「BRAKE」という文字を表す画像と先々行車両の位置を示す矢印を表す画像とからなる挙動情報画像を作成してHUD制御装置19に表示させる。先々行車両は、先行車両の前方を走行する車両である。また、先々行車両は、自車両の2台以上前を走行する車両でもある。このとき、HCU20が、表示装置21を用いて鳥瞰図画像を表示するようにしてもよい。具体的には、図9に例示するように、HCU20が、カメラ11によって撮像される撮像画像を予め設定された仮想視点から見た鳥瞰図に変換することで鳥瞰図画像を生成し、運転モード画像および挙動情報画像を鳥瞰図画像に重畳するよう表示装置21に表示する。このように、前方に存在する複数台の他車両100の情報を表示する際、HCU20には先々行車両の挙動情報画像を表示し、表示装置21に表示する鳥瞰図には先々行車両の挙動情報画像及び運転モード画像を表示する。なお、先々行車両の運転モードが、自車両の走行に影響を与える可能性は低いため、HCU20に先々行車両の運転モード画像を表示しないことで、ドライバの視界の前方という注視しなければならない領域における情報量を抑えることができる。先々行車両の運転モード画像は第一画像に該当する。さらに、表示装置21に鳥瞰画像図を表示する場合は、先々行車両の走行状態が取得できたとしても、HCU20には先々行車両の挙動情報画像を表示しなくてもよい。これにより、より一層ドライバの前方視界領域における情報量を抑制することができる。先々行車両の挙動情報画像は第二画像に該当する。その後、S110に移行する。
 S150では、HCU20が、運転モード画像を表示する。具体的には、HCU20が、他車両100が手動運転モードで走行中である旨を示す情報を表す運転モード画像を作成してHUD制御装置19に表示させる。例えば、HCU20が、図5に例示するように、「MANUAL MODE」という文字を表す画像を運転モード画像として作成してHUD制御装置19に表示させるといった具合である。また、HCU20が、S140と同様に、自車画像および挙動情報画像をHUD制御装置19に表示させる。また、HCU20が、S140と同様に、鳥瞰図画像を表示装置21に表示させてもよい。その後、S110に移行する。
 S160では、HCU20が、運転モード画像を表示する。具体的には、HCU20が、他車両100の運転モードが不明である旨を示す情報を表す運転モード画像を作成してHUD制御装置19に表示させる。例えば、HCU20が、図7に例示するように、「UNKNOWN」という文字を表す画像を運転モード画像として作成してHUD制御装置19に表示させるといった具合である。また、何も表示しないことで他車両100の運転モードが不明である旨を示すようにしてもよい。また、HCU20が、S140と同様に、自車画像をHUD制御装置19に表示させる。なお、挙動情報画像については、他車両100の挙動が不明であるため、表示させないが、HCU20が、他車両100の挙動が不明である旨を示す情報を表す挙動情報画像を作成してHUD制御装置19に表示させてもよい。その後、S110に移行する。
 S170では、HCU20が、運転モード画像を表示する。具体的には、HCU20が、他車両100が運転支援モードで走行中である旨を示す情報を表す運転モード画像を作成してHUD制御装置19に表示させる。例えば、HCU20が、図6に例示するように、「SEMI AUTO MODE」という文字を表す画像を運転モード画像として作成してHUD制御装置19に表示させるといった具合である。運転支援としては、ACCおよびLKAがある。LKAは、レーンキーピングアシストシステムの略である。ACCおよびLKAの双方が行われている場合には、HCU20が、「SEMI AUTO MODE」という文字を表す画像を運転モード画像として作成してHUD制御装置19に表示させるようにしてもよい。ACCが行われている場合には、HCU20が、「ACC」という文字を表す画像を運転モード画像として作成してHUD制御装置19に表示させるようにしてもよい。LKAが行われている場合には、HCU20が、「LKA」という文字を表す画像を運転モード画像として作成してHUD制御装置19に表示させるようにしてもよい。また、HCU20が、S140と同様に、自車画像および挙動情報画像をHUD制御装置19に表示させる。また、HCU20が、S140と同様に、鳥瞰図画像を表示装置21に表示させてもよい。その後、S110に移行する。
 S180では、HCU20が、運転モード画像を表示する。具体的には、HCU20が、他車両100の運転モードが不明である旨を示す情報を表す運転モード画像を作成してHUD制御装置19に表示させる。例えば、HCU20が、図7に例示するように、「UNKNOWN」という文字を表す画像を運転モード画像として作成してHUD制御装置19に表示させるといった具合である。また、何も表示しないことで他車両100の運転モードが不明である旨を示すようにしてもよい。また、HCU20が、S140と同様に、自車画像および挙動情報画像をHUD制御装置19に表示させる。また、HCU20が、S140と同様に、鳥瞰図画像を表示装置21に表示させてもよい。その後、S110に移行する。
 なお、HCU20は、HUD表示処理を実行することにより、表示システムとして機能する。また、HCU20は、HUD表示処理のS110を実行することにより、検出部として機能する。また、HCU20は、HUD表示処理のS120およびS130を実行することにより、取得部として機能する。また、HCU20は、HUD表示処理のS140、S150、S160、S170およびS180を実行することにより、表示部として機能する。
 次に、HCU20が実行するディスプレイ表示処理について図4のフローチャートを用いて説明する。
 ディスプレイ表示処理は、障害物を回避しながら車両1を走行させるための走行ルートなどの各種情報を、カメラ11によって撮像される撮像画像に重畳するよう表示装置21の表示画面21aに表示する処理である。
 最初のステップS210では、HCU20が、車両1の周囲に他車両100が存在するか否かを判断する。なお、S210の処理内容については、S110の処理内容と同様である。車両1の周囲に他車両100が存在しないと判断された場合には、S210を再度実行する。一方、車両1の周囲に他車両100が存在すると判断された場合には、S220に移行する。
 S220では、HCU20が、他車情報を通信にて入手可能か否かを判断する。なお、S220の処理内容については、S120の処理内容と同様である。他車情報を通信にて入手可能ではないと判断された場合には、S260に移行する。一方、他車情報を通信にて入手可能であると判断された場合には、他車情報として、他車両100の運転モードに関する情報および他車両100の挙動に関する情報を取得する。その後、S225に移行する。
 S225では、HCU20が、他車情報を、車載センサを用いて入手可能であるか否かを判断する。S225の処理内容については、S125の処理内容と同様である。他車情報を、車載センサを用いて入手可能である場合には、S280に移行する。他車情報を、車載センサを用いて入手不可能である場合には、S260に移行する。
 S230では、HCU20が、他車両100が自動運転モードであるか否かを判断する。なお、S230の処理内容については、S130の処理内容と同様である。他車両100が自動運転モードであると判断された場合には、S240に移行する。一方、他車両100が自動運転モードではないと判断された場合には、S235に移行する。
 S235では、HCU20が、他車両100が運転支援モードであるか否かを判断する。S235の処理内容については、S135の処理内容と同様である。他車両100が運転支援モードであると判断された場合には、S270に移行する。一方、他車両100が運転支援モードではないと判断された場合には、S250に移行する。
 S240では、HCU20が、運転モード画像を表示する。具体的には、HCU20が、他車両100が自動運転モードで走行中である旨を示す情報を表す運転モード画像を作成して表示装置21に表示させる。なお、他車情報として他車両100の挙動に関する情報が入手された場合には、HCU20が、他車両100の挙動に関する情報を表す挙動情報画像を作成して表示装置21に表示させる。また、車両1が走行する車線上の前方に存在する複数台の他車両100から他車情報をそれぞれ取得した場合には、HCU20が、図6に例示するように、複数台の他車両100のそれぞれに対して挙動情報画像を表示する。HCU20が、自車画像を作成して表示装置21に表示させるようにしてもよい。その後、S210に移行する。
 S250では、HCU20が、運転モード画像を表示する。具体的には、HCU20が、他車両100がマニュアルモードで走行中である旨を示す情報を表す運転モード画像を作成して表示装置21に表示させる。また、HCU20が、S240と同様に、挙動情報画像を表示装置21に表示させる。HCU20が、自車画像を作成して表示装置21に表示させるようにしてもよい。その後、S210に移行する。
 S260では、HCU20が、運転モード画像を表示する。具体的には、HCU20が、他車両100の運転モードが不明である旨を示す情報を表す運転モード画像を作成して表示装置21に表示させる。また、何も表示しないことで他車両100の運転モードが不明である旨を示すようにしてもよい。なお、挙動情報画像については、他車両100の挙動が不明であるため、表示させないが、HCU20が、他車両100の挙動が不明である旨を示す情報を表す挙動情報画像を作成して表示装置21に表示させてもよい。HCU20が、自車画像を作成して表示装置21に表示させるようにしてもよい。その後、S210に移行する。
 S270では、HCU20が、運転モード画像を表示する。具体的には、HCU20が、他車両100が運転支援モードで走行中である旨を示す情報を表す運転モード画像を作成して表示装置21に表示させる。また、HCU20が、S240と同様に、挙動情報画像を表示装置21に表示させる。HCU20が、自車画像を作成して表示装置21に表示させるようにしてもよい。その後、S210に移行する。
 S280では、HCU20が、運転モード画像を表示する。具体的には、HCU20が、他車両100の運転モードが不明である旨を示す情報を表す運転モード画像を作成してHUD制御装置19に表示させる。また、何も表示しないことで他車両100の運転モードが不明である旨を示すようにしてもよい。HCU20が、S240と同様に、挙動情報画像を表示装置21に表示させる。HCU20が、自車画像を作成して表示装置21に表示させるようにしてもよい。その後、S210に移行する。
 なお、HCU20は、ディスプレイ表示処理を実行することにより、表示システムとして機能する。また、HCU20は、ディスプレイ表示処理のS210を実行することにより、検出部として機能する。また、HCU20は、ディスプレイ表示処理のS220およびS230を実行することにより、取得部として機能する。また、HCU20は、ディスプレイ表示処理のS240、S250、S260、S270およびS280を実行することにより、表示部として機能する。
 以上詳述した実施形態によれば、以下の効果が得られる。
 すなわち、本実施形態では、他車両100の運転モードに関する情報を表す運転モード画像を表示領域19a越しに見える景色に重畳するよう表示する。なお、運転モード画像を、カメラ11によって撮像される撮像画像に重畳するよう表示装置21の表示画面21aに表示するようにしてもよい。したがって、車両1の周囲に存在する他車両100の走行状態を識別して運転者に認識させることができる。
 (第2実施形態)
 次に、本開示の第2実施形態による表示システムについて図10から図14を用いて説明する。本実施形態では、表示システムとして機能するHCU20が実行する情報表示処理が、第1実施形態と異なっており、第1実施形態と同様の構成要素については、第1実施形態と同じ符号を用いる。
 本実施形態において、HCU20が実行する第1情報表示処理から第4情報表示処理について順に説明する。なお、第1情報表示処理から第4情報表示処理については、例えば、ユーザによる指示や各種センサによる検出状況、他車両100との通信状況に応じて、一つ以上の処理を適宜選択して実行するとよい。
 まず、HCU20が実行する第1情報表示処理について図10のフローチャートおよび図14を用いて説明する。
 第1情報表示処理は、車載センサや車載カメラが取得した情報を用いて、他車両100までの距離に関する情報を表す距離画像を領域19a越しに見える景色に重畳するよう表示する処理である。
 最初のステップS1110では、HCU20が、車両1の周囲に他車両100が存在するか否か判断する。例えば、カメラ11による撮像画像から他車両100を検知する。この際、周知の画像処理技術を用いる。また、レーダ12やソナー13による検知結果を用いて他車両100を検知することもできる。なお、他車両100の識別については、例えば検知した物体の大きさや移動速度等を用いて総合的に判断する。車両1の周囲に他車両100が存在しないと判断された場合には(S1110:NO)、S1110を再度実行する。一方、車両1の周囲に他車両100が存在すると判断された場合には(S1110:YES)、S1120に移行する。
 S1120では、HCU20が、センサもしくはカメラ画像より距離を測定可能か否か判断する。例えば、レーダ12やソナー13による検知結果を用いて他車両100までの距離を算出する。また、カメラ11による撮像画像を用いて他車両100までの距離を算出する。この際、周知の画像処理技術を用いる。このように、他車両100までの距離を算出可能である場合には、センサもしくはカメラ画像より距離を測定可能であると判断する。センサもしくはカメラ画像より距離を測定可能であると判断された場合には(S1120:YES)、S1130に移行する。一方、センサもしくはカメラ画像より距離を測定可能ではないと判断された場合には(S1120:NO)、S1140に移行する。
 S1130では、HUD18にて実視野へ他車両100との距離を重畳表示する。具体的には、HCU20が、他車両100までの距離に関する情報を表す距離画像を作成してHUD制御装置19に表示させる。なお、落下物や駐車車両などの障害物が検出された場合には、HCU20が、障害物までの距離を算出し、障害物までの距離に関する情報を表す画像を距離画像として作成してHUD制御装置19に表示させる。レーダ12やソナー13による検知結果を用いて障害物までの距離を算出してもよいし、カメラ11による撮像画像を用いて障害物までの距離を算出してもよい。例えば、HCU20が、「150m」や「60m」、「35m」という他車両100や障害物までの距離を表す画像を距離画像として作成してHUD制御装置19に表示させるといった具合である。距離画像は、図14に例示するように、運転席前方に位置する領域19a越しに見える景色に重畳するよう表示される。その後、S1110に移行する。
 S1140では、HUD18にて実視野へ他車両100との距離を測定不能であることを重畳表示する。具体的には、HCU20が、他車両100までの距離を測定できない状態である旨を示す情報を表す測定不能画像を作成してHUD制御装置19に表示させる。例えば、HCU20が、「距離測定不能」という文字を表す画像を測定不能画像として作成してHUD制御装置19に表示させるといった具合である。また、何も表示しないことで他車両100までの距離が測定できない状態である旨を示すようにしてもよい。測定不能画像は、運転席前方に位置する領域19a越しに見える景色に重畳するよう表示される。その後、S1110に移行する。
 なお、上記S1130にて表示させる距離画像については、他車両100等までの距離に応じた表示態様を採用するとよい。例えば、0~50mは5m間隔の表示内容、50~100mは10m間隔の表示内容、100m以上は50m間隔の表示内容といった具合である。また、他車両100等までの距離に応じて、距離を示す数値や文字の色彩や大きさを変更するようにしてもよい。
 なお、HCU20は、第1情報表示処理を実行することにより、車両に搭載され、各種情報を表示する情報表示装置として機能する。また、HCU20は、S1110を実行することにより、車両1の周囲に存在する他車両を検出する他車両検出部として機能する。また、HCU20は、S1120を実行することにより、他車両100までの距離を特定する距離特定部として機能する。また、HCU20は、S1130およびS1140を実行することにより、距離画像を領域19a越しに見える景色に重畳するよう表示する画像表示部として機能する。
 次に、HCU20が実行する第2情報表示処理について図11のフローチャートおよび図14を用いて説明する。
 第2情報表示処理は、他車両100との通信を介して取得した情報を用いて、他車両100までの距離に関する情報を表す距離画像を領域19a越しに見える景色に重畳するよう表示する処理である。
 最初のステップS1210では、HCU20が、車両1の周囲に他車両100が存在するか否かを判断する。なお、S1210の処理内容については、S1110の処理内容と同様であるので、ここではその詳細な説明は省略する。車両1の周囲に他車両100が存在しないと判断された場合には(S1210:NO)、S1210を再度実行する。一方、車両1の周囲に他車両100が存在すると判断された場合には(S1210:YES)、S1220に移行する。
 S1220では、HCU20が、他車両100と直接または間接に通信可能か否か判断する。ここでは、車両1と他車両100とが車車間通信を用いて通信可能である場合には、他車両100と直接に通信可能であると判断する。また、車両1と他車両100とがセンタ200を介して通信可能である場合には、他車両100と間接に通信可能であると判断する。他車両100と直接または間接に通信可能であると判断された場合には(S1220:YES)、S1230に移行する。一方、他車両100と直接または間接に通信可能ではないと判断された場合には(S1220:NO)、S1250に移行する。
 S1230では、通信情報より距離を算出可能か否か判断する。ここでは、HCU20が、他車両100と直接または間接に通信することで他車両100の位置を示す情報を通信情報として取得し、取得した通信情報に基づき、車両1から他車両100までの距離を算出する。このように、他車両100までの距離を算出可能である場合には、通信情報より距離を算出可能であると判断する。通信情報より距離を算出可能であると判断された場合には(S1230:YES)、S1240に移行する。一方、通信情報より距離を算出可能ではないと判断された場合には(S1230:NO)、S1250に移行する。
 S1240では、HUD18にて実視野へ他車両100との距離を重畳表示する。なお、S1240の処理内容については、S1130の処理内容と同様であるので、ここではその詳細な説明は省略する。その後、S1210に移行する。
 S1250では、HUD18にて実視野へ他車両100との距離を測定不能であることを重畳表示する。なお、S1250の処理内容については、S1140の処理内容と同様であるので、ここではその詳細な説明は省略する。その後、S1210に移行する。
 なお、HCU20は、第2情報表示処理を実行することにより、車両に搭載され、各種情報を表示する情報表示装置として機能する。また、HCU20は、S1210を実行することにより、車両1の周囲に存在する他車両を検出する他車両検出部として機能する。また、HCU20は、S1220およびS1230を実行することにより、他車両100までの距離を特定する距離特定部として機能する。また、HCU20は、S1240およびS1250を実行することにより、距離画像を領域19a越しに見える景色に重畳するよう表示する画像表示部として機能する。
 まず、HCU20が実行する第3情報表示処理について図12のフローチャートおよび図14を用いて説明する。
 第3情報表示処理は、車載センサや車載カメラが取得した情報を用いて、他車両100までの距離に関する情報を表す距離画像を、カメラ11によって撮像される撮像画像に重畳するよう表示装置21の表示画面21aに表示する処理である。
 最初のステップS1310では、HCU20が、車両1の周囲に他車両100が存在するか否か判断する。なお、S1310の処理内容については、S1110の処理内容と同様であるので、ここではその詳細な説明は省略する。車両1の周囲に他車両100が存在しないと判断された場合には(S1310:NO)、S1310を再度実行する。一方、車両1の周囲に他車両100が存在すると判断された場合には(S1310:YES)、S1320に移行する。
 S1320では、HCU20が、センサもしくはカメラ画像より距離を測定可能か否か判断する。なお、S1320の処理内容については、S1120の処理内容と同様であるので、ここではその詳細な説明は省略する。センサもしくはカメラ画像より距離を測定可能であると判断された場合には(S1120:YES)、S1130に移行する。一方、センサもしくはカメラ画像より距離を測定可能ではないと判断された場合には(S1120:NO)、S1140に移行する。
 S1330では、表示装置21のカメラ画像へ他車両100との距離を重畳表示する。具体的には、HCU20が、他車両100までの距離に関する情報を表す距離画像を作成して表示装置21に表示させる。なお、落下物や駐車車両などの障害物が検出された場合には、HCU20が、障害物までの距離を算出し、障害物までの距離に関する情報を表す画像を距離画像として作成して表示装置21に表示させる。レーダ12やソナー13による検知結果を用いて障害物までの距離を算出してもよいし、カメラ11による撮像画像を用いて障害物までの距離を算出してもよい。例えば、HCU20が、「150m」や「60m」、「35m」という他車両100や障害物までの距離を表す画像を距離画像として作成して表示装置21に表示させるといった具合である。距離画像は、図14に例示するように、車載カメラとしてのカメラ11によって撮像されるカメラ画像としての撮像画像に重畳するよう表示装置21の表示画面21aに表示される。その後、S1310に移行する。
 S1340では、表示装置21のカメラ画像へ他車両100との距離を測定不能であることを重畳表示する。具体的には、HCU20が、他車両100までの距離を測定できない状態である旨を示す情報を表す測定不能画像を作成して表示装置21に表示させる。例えば、HCU20が、「距離測定不能」という文字を表す画像を測定不能画像として作成して表示装置21に表示させるといった具合である。また、何も表示しないことで他車両100までの距離が測定できない状態である旨を示すようにしてもよい。測定不能画像は、車載カメラとしてのカメラ11によって撮像されるカメラ画像としての撮像画像に重畳するよう表示装置21の表示画面21aに表示される。その後、S1310に移行する。
 なお、上記S1330にて表示させる距離画像については、他車両100等までの距離に応じた表示態様を採用するとよい。例えば、0~50mは5m間隔の表示内容、50~100mは10m間隔の表示内容、100m以上は50m間隔の表示内容といった具合である。また、他車両100等までの距離に応じて、距離を示す数値や文字の色彩や大きさを変更するようにしてもよい。
 なお、HCU20は、第3情報表示処理を実行することにより、車両に搭載され、各種情報を表示する情報表示装置として機能する。また、HCU20は、S1310を実行することにより、車両1の周囲に存在する他車両を検出する他車両検出部として機能する。また、HCU20は、S1320を実行することにより、他車両100までの距離を特定する距離特定部として機能する。また、HCU20は、S1330およびS1340を実行することにより、距離画像を、カメラ11によって撮像される撮像画像に重畳するよう表示装置21の表示画面21aに表示する画像表示部として機能する。
 次に、HCU20が実行する第4情報表示処理について図13のフローチャートおよび図14を用いて説明する。
 第4情報表示処理は、他車両100との通信を介して取得した情報を用いて、他車両100までの距離に関する情報を表す距離画像を、カメラ11によって撮像される撮像画像に重畳するよう表示装置21の表示画面21aに表示する処理である。
 最初のステップS1410では、HCU20が、車両1の周囲に他車両100が存在するか否かを判断する。なお、S1410の処理内容については、S1110の処理内容と同様であるので、ここではその詳細な説明は省略する。車両1の周囲に他車両100が存在しないと判断された場合には(S1410:NO)、S1410を再度実行する。一方、車両1の周囲に他車両100が存在すると判断された場合には(S1410:YES)、S1420に移行する。
 S1420では、HCU20が、他車両100と直接または間接に通信可能か否か判断する。なお、S1420の処理内容については、S1220の処理内容と同様であるので、ここではその詳細な説明は省略する。他車両100と直接または間接に通信可能であると判断された場合には(S1420:YES)、S1430に移行する。一方、他車両100と直接または間接に通信可能ではないと判断された場合には(S1420:NO)、S1450に移行する。
 S1430では、通信情報より距離を算出可能か否か判断する。なお、S1430の処理内容については、S1230の処理内容と同様であるので、ここではその詳細な説明は省略する。通信情報より距離を算出可能であると判断された場合には(S1430:YES)、S1440に移行する。一方、通信情報より距離を算出可能ではないと判断された場合には(S1430:NO)、S1450に移行する。
 S1440では、表示装置21のカメラ画像へ他車両100との距離を重畳表示する。なお、S1440の処理内容については、S1330の処理内容と同様であるので、ここではその詳細な説明は省略する。その後、S1410に移行する。
 S1450では、表示装置21のカメラ画像へ他車両100との距離を測定不能であることを重畳表示する。なお、S1450の処理内容については、S1340の処理内容と同様であるので、ここではその詳細な説明は省略する。その後、S1410に移行する。
 なお、HCU20は、第4情報表示処理を実行することにより、車両に搭載され、各種情報を表示する情報表示装置として機能する。また、HCU20は、S1410を実行することにより、車両1の周囲に存在する他車両を検出する他車両検出部として機能する。また、HCU20は、S1420およびS1430を実行することにより、他車両100までの距離を特定する距離特定部として機能する。また、HCU20は、S1440およびS1450を実行することにより、距離画像を、カメラ11によって撮像される撮像画像に重畳するよう表示装置21の表示画面21aに表示する画像表示部として機能する。
 以上詳述した第2実施形態によれば、以下の効果が得られる。
 すなわち、本実施形態では、他車両100までの距離に関する情報を表す距離画像を領域19a越しに見える景色に重畳するよう表示する。なお、距離画像を、カメラ11によって撮像される撮像画像に重畳するよう表示装置21の表示画面21aに表示するようにしてもよい。したがって、他車両100までの距離を運転者に認識させることができる。
 (他の実施形態)
 以上、本開示の一実施形態について説明したが、本開示は上記実施形態に限定されるものではなく、以下のような様々な態様にて実施することが可能である。
 上記実施形態における1つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、1つの構成要素が有する1つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、1つの構成要素によって実現したり、複数の構成要素によって実現される1つの機能を、1つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。
 上述した表示システムと表示装置の他、当該表示システムとしてコンピュータを機能させるためのプログラム、このプログラムを記録した媒体、表示方法など、種々の形態で本開示を実現することもできる。

 

Claims (21)

  1.  車両(1)に搭載される表示システムであって、
     前記車両の周囲に存在する他の車両である他車両(100)を検出する検出部(20)と、
     前記検出部によって前記他車両が検出された場合に、前記他車両の走行状態を示す情報である他車情報を取得する取得部(20)と、
     前記取得部によって取得された前記他車情報に基づき前記他車両の走行状態を表す画像である他車画像を生成し、生成した他車画像を、前記他車両と対応付けながら、前記車両の運転席からフロントガラス越しに見える景色に重畳するよう表示する表示部(20)と、を備える
     表示システム。
  2.  請求項1に記載の表示システムであって、
     前記取得部は、前記車両の走行状態を示す情報である自車情報を取得し、
     前記表示部は、前記取得部によって取得された前記自車情報に基づき前記車両の走行状態を表す画像である自車画像を生成し、前記他車画像を、前記車両の運転席からフロントガラス越しに見える景色のうち相対的に遠距離の景色に重畳するよう表示し、前記自車画像を、前記車両の運転席からフロントガラス越しに見える景色のうち相対的に近距離の景色に重畳するよう表示する
     表示システム。
  3.  請求項1または請求項2に記載の表示システムであって、
     前記表示部は、車載カメラ(11)によって撮像される撮像画像を予め設定された仮想視点から見た鳥瞰図に変換することで鳥瞰図画像を生成し、前記他車画像を前記鳥瞰図画像に重畳するよう表示装置(21)に表示する
     表示システム。
  4.  請求項3に記載の表示システムであって、
     前記表示部は、前記車両の2台以上前を走行する他車両を先々行車両とし、前記先々行車両から他車情報を取得した場合には、前記他車情報に対応する前記他車画像を前記鳥瞰図画像に重畳するよう前記表示装置に表示するとともに、前記他車画像を前記車両の運転席からフロントガラス越しに見える景色に重畳するよう表示するが、このとき、前記他車画像のうち前記先々行車両の走行状態としての運転モードを示す画像である第一画像および前記先々行車両の走行状態としての挙動に関する情報を表す画像である第二画像については、少なくとも前記第一画像を前記車両の運転席からフロントガラス越しに見える景色に重畳するよう表示することを行わない
     表示システム。
  5.  車両(1)に搭載される表示システムであって、
     前記車両の周囲に存在する他の車両である他車両(100)を検出する検出部(20)と、
     前記検出部によって前記他車両が検出された場合に、前記他車両の走行状態を示す情報である他車情報を取得する取得部(20)と、
     前記取得部によって取得された前記他車情報に基づき前記他車両の走行状態を表す画像である他車画像を生成し、生成した他車画像を、前記他車両と対応付けながら、車載カメラ(11)によって撮像される撮像画像に重畳するよう表示装置(21)に表示する表示部(20)と、を備える
     表示システム。
  6.  請求項1~請求項5の何れか1項に記載の表示システムであって、
     前記走行状態には、車両の走行に係る運転操作の全部を自動的に行う自動運転、前記運転操作の一部を支援する運転支援、または運転者の運転動作に基づいて走行を行う手動運転の少なくとも一つが含まれる
     表示システム。
  7.  請求項1~請求項6の何れか1項に記載の表示システムであって、
     前記走行状態には、車両の挙動として、レーン変更、加減速または右左折のうちの少なくとも何れか一つが含まれる
     表示システム。
  8.  車両(1)に搭載され、各種情報を表示する表示システムであって、
     前記車両の周囲に存在する他車両(100)を検出する他車両検出部(20)と、
     前記他車両検出部によって検出された他車両までの距離を特定する距離特定部(20)と、
     前記距離特定部によって特定された他車両までの距離に関する情報を表す距離画像を前記車両の運転席からフロントガラス越しに見える景色に重畳するよう表示する画像表示部(20)と、
     を備える表示システム。
  9.  請求項8に記載の表示システムにおいて、
     前記距離特定部は、車載センサ(12,13)による検出信号に基づき前記他車両までの距離を特定する
     表示システム。
  10.  請求項8に記載の表示システムにおいて、
     前記距離特定部は、車載カメラ(11)による撮像画像に基づき前記他車両までの距離を特定する
     表示システム。
  11.  請求項8に記載の表示システムにおいて、
     前記距離特定部は、前記他車両の位置を示す情報を取得し、取得した前記他車両の位置を示す情報に基づき前記他車両までの距離を特定する
     表示システム。
  12.  請求項8~請求項11の何れか1項に記載の表示システムにおいて、
     前記画像表示部は、前記距離画像を前記他車両までの距離に応じた表示態様にて前記車両の運転席からフロントガラス越しに見える景色に重畳するよう表示する
     表示システム。
  13.  車両(1)に搭載され、各種情報を表示する表示システムであって、
     前記車両の周囲に存在する他車両(100)を検出する他車両検出部(20)と、
     前記他車両検出部によって検出された他車両までの距離を特定する距離特定部(20)と、
     前記距離特定部によって特定された他車両までの距離に関する情報を表す距離画像を、車載カメラ(11)によって撮像される撮像画像に重畳するよう表示装置(21)に表示する画像表示部(20)と、
     を備える表示システム。
  14.  請求項13に記載の表示システムにおいて、
     前記距離特定部は、車載センサ(12,13)による検出信号に基づき前記他車両までの距離を特定する
     表示システム。
  15.  請求項13に記載の表示システムにおいて、
     前記距離特定部は、車載カメラ(11)による撮像画像に基づき前記他車両までの距離を特定する
     表示システム。
  16.  請求項13に記載の表示システムにおいて、
     前記距離特定部は、前記他車両の位置を示す情報を取得し、取得した前記他車両の位置を示す情報に基づき前記他車両までの距離を特定する
     表示システム。
  17.  請求項13~請求項16の何れか1項に記載の表示システムにおいて、
     前記画像表示部は、前記距離画像を前記他車両までの距離に応じた表示態様にて前記撮像画像に重畳するよう前記表示装置に表示する
     表示システム。
  18.  請求項1に記載の表示システムを備える車両。
  19.  請求項5に記載の表示システムを備える車両。
  20.  請求項8に記載の表示システムを備える車両。
  21.  請求項13に記載の表示システムを備える車両。
     

     
PCT/JP2016/070768 2015-08-07 2016-07-14 表示システム WO2017026223A1 (ja)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2015157227 2015-08-07
JP2015157228A JP6424775B2 (ja) 2015-08-07 2015-08-07 情報表示装置
JP2015-157227 2015-08-07
JP2015-157228 2015-08-07
JP2016-108960 2016-05-31
JP2016108960A JP6350596B2 (ja) 2015-08-07 2016-05-31 表示システム

Publications (1)

Publication Number Publication Date
WO2017026223A1 true WO2017026223A1 (ja) 2017-02-16

Family

ID=57983143

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/070768 WO2017026223A1 (ja) 2015-08-07 2016-07-14 表示システム

Country Status (1)

Country Link
WO (1) WO2017026223A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018216552A1 (ja) * 2017-05-22 2018-11-29 日本精機株式会社 ヘッドアップディスプレイ装置
JP2020042612A (ja) * 2018-09-12 2020-03-19 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61211139A (ja) * 1985-03-15 1986-09-19 Nissan Motor Co Ltd 車両用表示装置
JP2008094377A (ja) * 2006-09-14 2008-04-24 Toyota Motor Corp 車両用表示装置
JP2009026003A (ja) * 2007-07-18 2009-02-05 Denso Corp 運転支援システム
JP2009074888A (ja) * 2007-09-20 2009-04-09 Alpine Electronics Inc 車間距離計測装置
JP2014089510A (ja) * 2012-10-29 2014-05-15 Toyota Motor Corp 先行車両表示装置
JP2015101311A (ja) * 2013-11-28 2015-06-04 日本精機株式会社 車両情報投影システム
JP2015143929A (ja) * 2014-01-31 2015-08-06 アイシン・エィ・ダブリュ株式会社 車両用通信装置、車両用通信プログラム、車両用通信方法、車両用通信システム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61211139A (ja) * 1985-03-15 1986-09-19 Nissan Motor Co Ltd 車両用表示装置
JP2008094377A (ja) * 2006-09-14 2008-04-24 Toyota Motor Corp 車両用表示装置
JP2009026003A (ja) * 2007-07-18 2009-02-05 Denso Corp 運転支援システム
JP2009074888A (ja) * 2007-09-20 2009-04-09 Alpine Electronics Inc 車間距離計測装置
JP2014089510A (ja) * 2012-10-29 2014-05-15 Toyota Motor Corp 先行車両表示装置
JP2015101311A (ja) * 2013-11-28 2015-06-04 日本精機株式会社 車両情報投影システム
JP2015143929A (ja) * 2014-01-31 2015-08-06 アイシン・エィ・ダブリュ株式会社 車両用通信装置、車両用通信プログラム、車両用通信方法、車両用通信システム

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018216552A1 (ja) * 2017-05-22 2018-11-29 日本精機株式会社 ヘッドアップディスプレイ装置
JP2020042612A (ja) * 2018-09-12 2020-03-19 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
JP7086798B2 (ja) 2018-09-12 2022-06-20 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム

Similar Documents

Publication Publication Date Title
JP6350596B2 (ja) 表示システム
JP6825709B2 (ja) 周囲車両表示方法及び周囲車両表示装置
US11198439B2 (en) Vehicle control device, vehicle control method, and storage medium
JP6254554B2 (ja) 情報提示システム
US10254539B2 (en) On-vehicle device, method of controlling on-vehicle device, and computer-readable storage medium
US20190077411A1 (en) Traveling assist device
US20180244153A1 (en) Vehicle information projecting system and vehicle information projecting method
US10410514B2 (en) Display device for vehicle and display method for vehicle
KR20200016958A (ko) 주차 지원 방법 및 주차 지원 장치
WO2017018192A1 (ja) 情報表示装置
JP2017016200A (ja) 画像処理装置、画像表示システム及び画像処理方法
WO2019038904A1 (ja) 周囲車両表示方法及び周囲車両表示装置
JP2016224712A (ja) 車両の運転支援装置、及び運転支援方法
WO2016013167A1 (ja) 車両用表示制御装置
JP2024029051A (ja) 車載表示装置、方法およびプログラム
US20210323403A1 (en) Image control apparatus, display apparatus, movable body, and image control method
WO2019189393A1 (en) Image control apparatus, display apparatus, movable body, and image control method
WO2017026223A1 (ja) 表示システム
US20230373309A1 (en) Display control device
JP7400242B2 (ja) 車両用表示制御装置および車両用表示制御方法
JP2023112053A (ja) 画像処理装置
JP2021028206A (ja) 表示制御装置、表示制御方法、および表示制御プログラム
JP6424775B2 (ja) 情報表示装置
JP7263962B2 (ja) 車両用表示制御装置および車両用表示制御方法
JP2017174043A (ja) 表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16834920

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16834920

Country of ref document: EP

Kind code of ref document: A1