WO2018139433A1 - 車両用表示装置 - Google Patents

車両用表示装置 Download PDF

Info

Publication number
WO2018139433A1
WO2018139433A1 PCT/JP2018/001909 JP2018001909W WO2018139433A1 WO 2018139433 A1 WO2018139433 A1 WO 2018139433A1 JP 2018001909 W JP2018001909 W JP 2018001909W WO 2018139433 A1 WO2018139433 A1 WO 2018139433A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
notification
display
vehicle
virtual
Prior art date
Application number
PCT/JP2018/001909
Other languages
English (en)
French (fr)
Inventor
誠 秦
勇希 舛屋
Original Assignee
日本精機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本精機株式会社 filed Critical 日本精機株式会社
Publication of WO2018139433A1 publication Critical patent/WO2018139433A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/02—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the way in which colour is displayed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/38—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory with means for controlling the display position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof

Definitions

  • the present invention relates to a vehicle display device that projects a display image on a light transmissive member and visually recognizes a virtual image of the display image reflected by the light transmissive member.
  • a conventional display device for a vehicle generates augmented reality (AR: Augmented Reality) in which information or the like is added / emphasized to a real scene by displaying an image to be superimposed on a landscape in front of the host vehicle, and drives the vehicle It is possible to contribute to safe and comfortable vehicle operation by accurately providing desired information while suppressing the movement of the user's line of sight as much as possible.
  • AR Augmented Reality
  • the display is the specific object. Since there is a high affinity with objects and a sense of unity is born, there is a possibility that the user may not notice the emphasized image, or may take time to notice.
  • an object of the present invention is to provide a vehicle display device that allows a user to quickly recognize a display superimposed on an object by paying attention to the above problems.
  • a display device for a vehicle includes an image generation unit that generates an image reflecting the front information included in a predetermined area among the front information acquired by the front information acquisition unit;
  • the image display unit having a display surface capable of displaying the image generated by the image generation unit, and the image so that a user sitting in a driver's seat can visually recognize a virtual image by reflecting the image by a translucent member of a vehicle. Projecting toward the translucent member of the vehicle, and the image generating unit is based on information from a viewpoint position acquiring unit that acquires the position of the user's viewpoint and the front information acquiring unit.
  • the position of the notification object is specified from the front information, and at least a part of the virtual image of the notification display image corresponding to the notification object among the virtual images of the image is superimposed on the notification object with respect to the notification object. Shi And displaying to have had portions.
  • the block diagram which shows the example of a structure of the display apparatus for vehicles of this invention.
  • (A) is a figure which shows 1st Embodiment of the landscape and virtual image which can be seen from the user who sits in the driver
  • (b) is the elapsed time of the virtual image of a notification object and a notification display image.
  • the figure which shows the variation
  • the flowchart which shows operation
  • (A) is a figure which shows 2nd Embodiment of the landscape and virtual image which can be seen from the user sitting in the driver
  • (b) is the elapsed time of the virtual image of a notification object and a notification display image.
  • (c) is a figure which shows the variation
  • (A) is a figure which shows 3rd Embodiment of the landscape and virtual image which can be seen from the user sitting in the driver
  • (b) is the elapsed time of the virtual image of a notification target object and a notification display image.
  • (c) is a figure which shows the variation
  • (A) is a figure which shows 4th Embodiment of the landscape and virtual image which can be seen from the user sitting in the driver
  • (b) is the elapsed time of the virtual image of a notification target object and a notification display image.
  • (c) is a figure which shows the variation
  • (A) is a figure which shows 5th Embodiment of the landscape and virtual image which can be seen from the user who sits in the driver
  • (b) is the elapsed time of the virtual image of a notification object and a notification display image.
  • (c) is a figure which shows the variation
  • the z-axis is defined in the vehicle front-rear direction with the traveling direction of the vehicle 1 as the vehicle front direction, and the y-axis in the vertical direction.
  • the x-axis is defined in the left-right direction (vehicle left-right direction) facing the front direction of the vehicle.
  • the x-axis direction represents the vehicle left direction
  • the y-axis positive direction represents the upper side in the vertical direction
  • the z-axis positive direction represents the vehicle front direction.
  • the vehicle display device 10 includes an image display unit 20, an image generation unit 30, and a projection unit 50.
  • the vehicle display device 10 includes a viewpoint position acquisition unit 40 including a vehicle interior image acquisition unit 41 and a vehicle interior image analysis unit 42, and a front information acquisition unit including a front image acquisition unit 61 and a front image analysis unit 62. 60, and a line-of-sight detection unit 70 including a line-of-sight image acquisition unit 71 and a line-of-sight image analysis unit 72 are further provided.
  • the image display unit 20 has a display surface capable of displaying an image. Of this display surface, an area where an image can be displayed is referred to as a display area, for example.
  • An example of the display surface is a liquid crystal panel having a plurality of pixels.
  • An example of the image display unit 20 is, for example, a liquid crystal panel module 20 including the liquid crystal panel and a driving circuit for the liquid crystal panel.
  • the image display unit 20 when a signal representing an image generated by the image generation unit 30 is input, the image display unit 20 outputs at least a part of the display surface according to the input signal in the display area of the display surface. An image is displayed using pixels.
  • the liquid crystal panel module 20 is used as an example of the image display unit 20 as appropriate, but the image display unit 20 may be another display device.
  • the image display unit 20 may be a self-luminous display panel module such as an organic EL (Electro-Luminescence) element, or a reflective type such as DMD (Digital-Micromirror Device) or LCoS (Liquid-Crystal-on Silicon) (registered trademark). It may be a display panel module or a scanning display device that scans with laser light.
  • the viewpoint position acquisition unit 40 includes, for example, a vehicle interior image acquisition unit 41 and a vehicle interior image analysis unit 42.
  • the viewpoint position acquisition unit 40 acquires the position 100 of the viewpoint of the user sitting in the driver's seat of the vehicle 1.
  • the position 100 of the viewpoint of the user sitting in the driver's seat of the vehicle 1 is also referred to as the user viewpoint position 100.
  • the viewpoint position acquisition unit 40 is configured to be able to acquire the user viewpoint position 100 in at least one direction of the x-axis direction and the y-axis direction.
  • the viewpoint position acquisition unit 40 may be configured to be able to acquire the user viewpoint position 100 in both the x-axis direction and the y-axis direction.
  • the user viewpoint position 100 on the x axis, the y axis, and the z axis may be acquired.
  • the vehicle interior image acquisition unit 41 is, for example, a vehicle camera that captures an image of the vehicle interior.
  • the vehicle interior image acquisition unit 41 may be, for example, a common vehicle camera attached for the purpose of preventing vehicle theft or the like, or a vehicle camera dedicated to the vehicle display device 10.
  • the vehicle interior image acquisition unit 41 preferably captures the user viewpoint position 100 from the lower side in the vertical direction than the user viewpoint position 100, and may be attached to the steering handle 3 or the like, for example.
  • the vehicle interior image acquisition unit 41 is preferably capable of infrared imaging so that the user viewpoint position 100 can be acquired even when the vehicle interior is dark.
  • the viewpoint position acquisition unit 40 may be, for example, a stereo camera.
  • the vehicle interior image acquisition unit 41 outputs the acquired vehicle interior image to the vehicle interior image analysis unit 42, for example.
  • the vehicle interior image analysis unit 42 analyzes the input image of the vehicle interior using, for example, known image processing, a pattern matching method, and the like.
  • the vehicle interior image analysis unit 42 analyzes the input image ahead of the vehicle, and if the input image of the vehicle interior includes the face of the user sitting in the driver's seat, for example, the real space of the user viewpoint position 100
  • the user viewpoint position 100 is obtained by specifying the coordinates (y, z) at.
  • the vehicle interior image analysis unit 42 outputs the acquired user viewpoint position 100 to the image generation unit 30 via the bus 5 such as CAN (Controller ⁇ Area Network) bus communication, for example.
  • CAN Controller ⁇ Area Network
  • the vehicle interior image analysis unit 42 may be provided, for example, in a vehicle camera, and the image generation unit 30 may include the function of the vehicle interior image analysis unit 42.
  • the viewpoint position acquisition unit 40 acquires the user viewpoint position 100 in the vertical direction by the in-vehicle camera, and acquires the user viewpoint position 100 in the vehicle front-rear direction by inputting a signal from a sensor (not shown) that detects the seat position. May be. Further, the image generation unit 30 may directly input the user viewpoint position 100 from the vehicle interior image analysis unit 42 without using the bus 5.
  • the front information acquisition unit 60 includes, for example, a front image acquisition unit 61 and a front image analysis unit 62.
  • the forward information acquisition unit 60 is, for example, the position information on the road lane in the forward direction of the vehicle, the position information of other vehicles and obstacles existing in the forward direction of the vehicle, the information on the road sign in the forward direction of the vehicle, etc. Get information.
  • the front image acquisition unit 61 is, for example, a camera outside the vehicle that captures an image in front of the vehicle.
  • the front image acquisition unit 61 may be, for example, a shared vehicle camera used for a drive recorder or the like, or a vehicle camera dedicated to the vehicle display device 10.
  • the camera outside the vehicle may be a monocular camera, but the camera outside the vehicle is preferably a stereo camera in order to accurately obtain the distance between the object existing in front of the vehicle and the vehicle 1. Further, the camera outside the vehicle may be capable of infrared imaging so that an image ahead of the vehicle can be taken even when the vehicle front is dark.
  • the front image acquisition unit 61 outputs, for example, the acquired front image of the vehicle to the front image analysis unit 62.
  • the front image analysis unit 62 analyzes the input image ahead of the vehicle using, for example, known image processing, a pattern matching method, or the like.
  • the forward image analysis unit 62 analyzes the input image in front of the vehicle to obtain forward information about the road shape ahead of the vehicle (lane, white line, stop line, pedestrian crossing, road width, number of lanes, intersection, curve, branch) Road). Further, the front image analysis unit 62 analyzes the input image in front of the vehicle, so that the position and size of other vehicles, obstacles, etc. existing in front of the vehicle, the distance from the vehicle 1, and relative to the vehicle 1 Get forward information such as speed. For example, the front image analysis unit 62 outputs the acquired front information to the image generation unit 30 via the bus 5.
  • the front image analysis unit 62 may be provided, for example, in a camera outside the vehicle, and the image generation unit 30 may include the function of the front image analysis unit 62. Further, the image generation unit 30 may directly input the front information from the front image analysis unit 62 without using the bus 5.
  • the front information acquisition unit 60 includes a laser radar, a millimeter wave radar, an ultrasonic sensor, or other known sensors instead of the front image acquisition unit 61 or in combination with the front image acquisition unit 61. Also good.
  • the front image analysis unit 62 inputs data output from a laser radar, a millimeter wave radar, an ultrasonic sensor, a known sensor, or the like instead of the image in front of the vehicle or in combination with the image in front of the vehicle.
  • the forward information as described above may be acquired by analyzing the above.
  • the line-of-sight detection unit 70 includes, for example, a line-of-sight image acquisition unit 71 and a line-of-sight image analysis unit 72.
  • the line-of-sight detection unit 70 detects the line of sight of a user sitting in the driver's seat of the vehicle 1.
  • the line-of-sight detection unit 70 is configured to be able to detect the user's line of sight at least in the forward direction.
  • the line-of-sight image acquisition unit 71 is, for example, an in-vehicle camera that captures an image of the user's face (particularly the eyeball).
  • the line-of-sight image acquisition unit 71 may be, for example, a common in-vehicle camera attached for the purpose of preventing vehicle theft or the like, or an in-vehicle camera dedicated to the vehicle display device 10.
  • the vehicle interior image acquisition unit 41 may also be used.
  • the vehicle interior image acquisition unit 41 may be attached to the steering handle 3 or the like. Or you may provide in the spectacles with which a user's head is equipped.
  • the line-of-sight image acquisition unit 71 can perform infrared imaging so that an image of the user's face can be acquired even when the vehicle interior is dark.
  • the line-of-sight image acquisition unit 71 outputs, for example, the acquired image of the user's face to the line-of-sight image analysis unit 72.
  • the line-of-sight image analysis unit 72 analyzes the input image of the user's face using, for example, known image processing, pattern matching techniques, and the like.
  • the line-of-sight image analysis unit 72 analyzes the input image of the user's face, and when the input user's face image includes the user's eyeball (black eye), by specifying the user's line of sight, Get user gaze.
  • the line-of-sight image analysis unit 72 outputs the acquired line of sight of the user to the image generation unit 30 via the bus 5 such as CAN bus communication.
  • the line-of-sight image analysis unit 72 may be provided, for example, in a vehicle camera, and the image generation unit 30 may include the function of the line-of-sight image analysis unit 72. Further, the image generation unit 30 may directly input the user viewpoint position 100 from the line-of-sight image analysis unit 72 without using the bus 5.
  • the vehicle interior image acquisition unit 41, the front image acquisition unit 61, and the line-of-sight image acquisition unit 71 are illustrated as being attached to another place of the vehicle 1, but this is not necessarily limited thereto.
  • the vehicle interior image acquisition unit 41, the front image acquisition unit 61, and the line-of-sight image acquisition unit 71 may be attached to the same location of the vehicle 1.
  • the vehicle interior image acquisition unit 41, the front image acquisition unit 61, and the line-of-sight image acquisition unit 71 may be provided in one same casing.
  • the image generation unit 30 includes a processing unit 31 and a storage unit 32.
  • the processing unit 31 includes, for example, one or a plurality of microprocessors, a microcontroller, an ASIC (Application Specific Integrated Circuit), an FPGA (Field-Programmable Gate Array), and any other IC (Integrated Circuit).
  • the storage unit 32 is, for example, a rewritable RAM (Random Access Memory), a read only ROM (Read Only Memory), an erasable program read only EEPROM (Electrically Erasable Programmable Read-Only Memory), or a nonvolatile memory. It has one or a plurality of memories capable of storing programs and / or data such as a flash memory.
  • the image generation unit 30 generates an image to be displayed by the image display unit 20 when the processing unit 31 executes a program stored in the storage unit 32, for example.
  • the image generation unit 30 can notify the user that there are notification objects such as other vehicles and obstacles on the road ahead of the vehicle, for example, according to the front information input from the front information acquisition unit 60.
  • a notification mark (a notification display image of the present invention) can be included in the generated image.
  • the image generation unit 30 generates, for example, a navigation mark that can provide route information to the user from a navigation device (not shown) via the bus 5 or according to a signal input directly. Can be included.
  • the image generation unit 30 is configured to, for example, the remaining fuel amount, the current vehicle speed, the fuel consumption, the information input via the bus 5 or directly from another ECU (Electronic Control Unit) not shown. Other information such as vehicle information such as the remaining battery level can be further included in the generated image. Note that the image generation unit 30 may generate an image including only this other information.
  • the image generation unit 30 determines a use area, which is a part used for displaying an image, of the display area of the display surface of the image display unit 20 according to the user viewpoint position 100 input from the viewpoint position acquisition unit 40. . At this time, the position of the notification object is specified, and the use area of the display surface is also determined.
  • the user viewpoint position 100, the position of the notification object, and the user's line of sight, and the user viewpoint position 100, the position of the notification object, and the user's line of sight A table in which parameters for determining the use area are associated is stored.
  • the image generation unit 30 refers to the table by the processing unit 31 to determine the user viewpoint position 100 to be input, the position of the notification object, and the use area corresponding to the user's line of sight.
  • the image generation unit 30 determines the use area corresponding to the input user viewpoint position 100, the position of the notification object, and the user's line of sight, for example, when the processing unit 31 calculates an arithmetic expression.
  • the projection unit 50 projects the image displayed by the image display unit 20 toward the light transmissive member 2 such as the window shield 2 of the vehicle 1.
  • the light 80 constituting the projected image is reflected by the window shield 2 into the vehicle interior.
  • the light 80 constituting the image is also referred to as image light 80.
  • the projection unit 50 projects an image so that the image light 80 reflected by the window shield 2 enters toward the user viewpoint position 100.
  • the light transmissive member 2 of the vehicle 1 may be a combiner provided in the vehicle 1.
  • the user sitting in the driver's seat can visually recognize the virtual image 310 formed on the front side of the vehicle from the window shield 2 when the image light 80 enters the user viewpoint position 100.
  • the user can visually recognize the virtual image 310 in a state where at least a part of the scenery seen through the window shield 2 and the virtual image 310 are superimposed.
  • the virtual image 310 include a virtual image notification mark 320 that is a virtual image of the notification mark that is the notification display image of the present invention described above, a speed limit display 330 that is a virtual image of the speed limit, and a virtual image mark such as the other marks described above. Is included.
  • the virtual image notification mark 320 is a mark that displays “!” In a triangle, but the virtual image notification mark is not limited to the present embodiment.
  • FIG. 2 shows an example of a landscape and a virtual image 310 that a user sitting in the driver's seat of the vehicle 1 can see through the window shield 2.
  • a three-lane road that extends in front of the vehicle and other vehicles (front vehicles) 90 that are in front of the vehicle are shown.
  • the notification target is the forward vehicle 90.
  • the virtual image 310 includes a virtual image notification mark 320.
  • the virtual image notification mark 320 is visually recognized by the user so as to have a portion that does not partially overlap the preceding vehicle 90.
  • the virtual image 310 includes a speed limit display 330 and a current speed display 340 of the vehicle 1.
  • the region 300 is a region 300 corresponding to the use region on the display surface of the image display unit 20.
  • the area 300 corresponding to the use area on the display surface of the image display unit 20 is also referred to as a virtual image area 300. That is, the virtual image area 300 is an area where the user can visually recognize the virtual image 310.
  • the operation of the vehicle display device 10 is performed, for example, for a predetermined waiting time when the power of the vehicle 1 is turned on, when an engine (not shown) is driven, or when the power of the vehicle 1 is turned on or the engine is driven. It starts after time has passed.
  • step S01 the forward information acquisition unit 60 acquires the forward information.
  • step S02 the viewpoint position acquisition unit 40 acquires the user viewpoint position 100.
  • step S03 the line-of-sight detection unit 70 detects the user's line of sight.
  • steps S01 to S03 are not necessarily in this order, and the order may be changed.
  • step S03 may omit this step S03, when it is not necessary to judge that a user's eyes
  • step S04 the image generation unit 30 generates an image including other marks such as a notification mark and a speed limit display according to the forward information acquired by the forward information acquisition unit 60 in step S01. .
  • the image generation unit 30 does not need to generate an image according to the user viewpoint position 100 and the user's line of sight in step S04 when it is not necessary to determine that the user's line of sight faces the notification target 90.
  • step S05 the image generation unit 30 displays the display surface of the image display unit 20 in accordance with the user viewpoint position 100 acquired by the viewpoint position acquisition unit 40 in step S02, the user viewpoint position 100 acquired in step S03, and the user's line of sight.
  • the use area is determined in the display area. Note that step S04 and step S05 are not necessarily in this order, and the order may be changed.
  • step S06 the image display unit 20 displays the image generated in step S04 using the use area determined by the image generation unit 30 in step S05.
  • the flow returns to the start.
  • a predetermined waiting time is required until the flow returns to the start after the execution of the process of step S06. Time may be inserted.
  • FIG. 2 displays a part of the virtual image 320 of the notification display image so as to have a portion that does not overlap the notification target 90 with respect to the preceding vehicle 90 that is the notification target, and the area of the portion that does not overlap
  • the predetermined time is constant without changing with the passage of time.
  • 2A shows an example in which the virtual image 320 of the notification display image is displayed on the lower side with respect to the notification object 90, but the display is not limited to this, and the display is displayed anywhere around the notification object 90. You may do it. Further, the virtual image 320 of the notification display image may be displayed so as not to be superimposed on the notification target 90 at all.
  • FIG. 4 shows a second embodiment of the present invention, in which the image generation unit 30 is configured so that a part of a virtual image 320 of the notification display image is a notification target object 90 with respect to a forward vehicle 90 that is a notification target.
  • a superimposed display in which there is no portion that does not overlap, and a display that has a portion in which at least a portion does not overlap with the notification object (as shown in FIG. 4A, the virtual image 320 of the notification display image is the notification object 90. And does not need to be superimposed at all).
  • this switching display is repeated alternately.
  • the display is started from a display having a non-overlapping portion.
  • the display is started from the display in which the virtual image 320 is superimposed on the notification object 90. And the time which displays the part which is not superimposed may be made to increase with progress of time. Or the time which displays the part which does not overlap with a superimposition display may be equal.
  • FIG. 4A shows an example in which a virtual image 320 of the notification display image is displayed on the lower side with respect to the notification object 90, but the display is not limited to this, and the display is displayed anywhere around the notification object 90. You may do it.
  • FIG. 5 shows a third embodiment of the present invention, in which the image generating unit 30 is configured such that a part of a virtual image 320 of the notification display image is a notification target 90 with respect to a forward vehicle 90 that is a notification target.
  • the change in the non-overlapping portion may be one in which two values are alternately repeated, or the non-overlapping area is randomly selected as shown in FIG. 5C. It may change.
  • the time to change may also change arbitrarily, and may change for every fixed time.
  • the virtual image 320 of the notification display image may be a display that moves away from or approaches the notification target 90 in stages.
  • 5A shows an example in which a virtual image 320 of the notification display image is displayed on the lower side with respect to the notification object 90, but the display is not limited thereto, and the display is displayed anywhere around the notification object 90. You may do it.
  • FIG. 6 shows a fourth embodiment of the present invention
  • the image generation unit 30 is configured so that a part of a virtual image 320 of the notification display image is a notification target object 90 with respect to a forward vehicle 90 that is a notification target.
  • it includes a superimposed display and a display in which at least a portion that does not overlap with the notification object continuously changes.
  • the change of the non-overlapping portion may be a continuous change.
  • the change time may change as shown in FIG. Or as shown in FIG.6 (c), it is good also as the display which continued the display which has a superimposition display between a continuous change, and the display which has a part which at least one part does not superimpose for a fixed time.
  • FIG. 6A shows an example in which a virtual image 320 of the notification display image is displayed on the lower side with respect to the notification object 90, but the display is not limited to this, and the display is displayed anywhere around the notification object 90. You may do it.
  • FIG. 7 shows a fifth embodiment of the present invention.
  • the image generation unit 30 determines that the user has visually recognized the virtual image 320 of the notification display image targeted by the visual line detection unit 70
  • FIG. The last control is continued only for the period of t1-t2 in 7 (b), and after that, the area of the non-overlapping portion of the virtual image 320 of the notification display image is reduced, and then the overlapping display without the non-overlapping portion is made. It is.
  • display is performed so as to reduce the portion that does not gradually overlap as shown in FIG. 6B, or the superimposed display is sharply displayed at t2 as shown in FIG. 6C. Also good.
  • FIG. 7A illustrates an example in which a virtual image 320 of the notification display image is displayed on the lower side with respect to the notification target 90, but the display is not limited to this, and the display is displayed anywhere around the notification target 90. You may do it.
  • the notification target object 90 which displays the virtual image 320 of a notification display image was a front vehicle
  • the notification target object 90 is not limited to the front vehicle 90, and has shown in figure. There may be no pedestrians or obstacles.
  • a virtual image of the notification display image may be displayed in advance. For example, it is possible to recognize that a virtual image on which a user is not superimposed is a person or a car by predetermining only a person and a car as a notification object.
  • the image generation unit 30 displays only the most dangerous notification object 90 so that at least a part of the virtual image 320 of the notification display image has a portion that does not overlap with the notification object 90. It may be a thing. The most dangerous judgment may be made, for example, based on the distance between the vehicle 1 and the notification object 90. In this case, the closest notification object 90 is the most dangerous notification object 90. Moreover, when displaying the virtual image 320 of a some alert display image with respect to the some alerting
  • the virtual image 320 of the notification display image may be rotated and displayed in a state where the virtual image 320 of the notification display image is displayed so as to have at least a portion that does not overlap the notification target object 90. Note that when the virtual image 320 of the notification display image is superimposed on the notification object 90, the virtual image 320 of the notification display image may be rotated and displayed. As described above, the virtual image 320 of the notification display image can be easily visually recognized by performing the display in which the virtual image 320 of the notification display image rotates.
  • At least one of the brightness, color, and luminance of the virtual image 320 may be changed in a state in which the virtual image 320 of the notification display image is displayed so as to have a portion that is not at least partially superimposed on the notification object 90.
  • the change in brightness can be realized by changing the transmittance of each pixel of the liquid crystal display element.
  • the color change can be realized by changing the transmittance of the pixel for each color filter of the liquid crystal display element.
  • the change in luminance can be realized by changing the luminance (brightness) of the backlight light source. Note that the brightness, color, and luminance may be changed individually or in combination.
  • the imaging distance of the virtual image 320 of the notification display image may be changed in a state where the virtual image 320 of the notification display image is displayed so as to have at least a portion that does not overlap the notification target object 90.
  • the imaging distance can be changed by the optical components constituting the projection unit 50.
  • the virtual image 320 changes in the z-axis direction, so that the user can quickly recognize it.
  • the present invention relates to a display device for a vehicle, and is suitable for a display device for a vehicle that superimposes and displays a virtual image on a notification object.
  • DESCRIPTION OF SYMBOLS 1 ... Vehicle 2 ... Window shield 10 ... Display apparatus for vehicles 20 ... Image display part, liquid crystal panel module 30 ... Image generation part 40 ... Viewpoint position acquisition part 41 ... Car Indoor image acquisition unit 42 ... Vehicle interior image analysis unit 50 ... Projection unit 70 ... Gaze detection unit 71 ... Gaze image acquisition unit 72 ... Gaze image analysis unit 80 ... Image light 90 ..
  • Notification object 100 ... user viewpoint position 210 ... display area 220 ... use area 300 ... virtual image area 310 ... virtual image 320 ... virtual image of notification display image (virtual image notification mark) 400 ... Overlapping distance range

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Optics & Photonics (AREA)
  • Instrument Panels (AREA)

Abstract

報知対象物に重畳する報知表示画像をユーザーが素早く認知可能な車両用表示装置を提供する。　前方情報取得部６０が取得する前方情報のうち所定領域内に含まれる前方情報を反映させた画像を生成する画像生成部３０と、画像生成部３０が生成する前記画像を表示可能な表示面を有する画像表示部２０と、前記車両の透光部材２で前記画像が反射されることによって、運転席に座るユーザーが虚像を視認できるように、前記画像を車両１の透光部材２に向けて投影する投影部５０と、を備え、画像生成部３０は、前記ユーザーの視点の位置を取得する視点位置取得部４０と前方情報取得部６０との情報に基づいて前記前方情報から報知対象物９０の位置を特定し、報知対象物９０に対して前記画像の虚像のうち報知対象物９０に対応する報知表示画像３２０の虚像の少なくとも一部が報知対象物９０と重畳しない部分を有するように表示するものである。

Description

車両用表示装置
　本発明は、透光部材に表示画像を投影し、前記透光部材で反射される前記表示画像の虚像を視認させる車両用表示装置に関する。
　従来の車両用表示装置は、自車両前方の風景に重畳する画像を重ねて表示することで、実景に情報などを付加・強調した拡張現実（ＡＲ：Augmented Reality）を生成し、車両を運転するユーザーの視線移動を極力抑えつつ、所望の情報を的確に提供することで、安全で快適な車両運行に寄与することができるものである。
　前記車両用表示装置が表示する画像の一つとして、車両前方に存在する特定の対象物を囲んで強調する強調画像があり、ユーザーに対象物の存在を認識させるものが、特許文献１に記載されている。
特表２００４－５３５９７１号公報
　従来の車両用表示装置は、前記特定の対象物に重畳して強調表示する強調画像が、前記特定の対象物に対して完全に重畳するように表示した場合に、その表示が前記特定の対象物との親和性が高く一体感が生まれてしまうため、前記ユーザーが前記強調画像に気づかない、又は気づくのに時間を要してしまうといった問題点が生じる可能性があった。
　そこで本発明は、前記問題点に着目し、対象物に重畳する表示をユーザーが素早く認知可能な車両用表示装置を提供することを目的とする。
　上記目的を達成するため、本発明に係る車両用表示装置は、前方情報取得部が取得する前方情報のうち所定領域内に含まれる前記前方情報を反映させた画像を生成する画像生成部と、前記画像生成部が生成する前記画像を表示可能な表示面を有する画像表示部と、車両の透光部材で前記画像が反射されることによって運転席に座るユーザーが虚像を視認できるように前記画像を前記車両の前記透光部材に向けて投影する投影部と、を備え、前記画像生成部は、前記ユーザーの視点の位置を取得する視点位置取得部と前記前方情報取得部との情報に基づいて前記前方情報から報知対象物の位置を特定し、前記報知対象物に対して前記画像の虚像のうち前記報知対象物に対応する報知表示画像の虚像の少なくとも一部が前記報知対象物と重畳しない部分を有するように表示することを特徴とする。
　本発明によれば、対象物に重畳する表示をユーザーが素早く認知可能な車両用表示装置を提供することができる。
本発明の車両用表示装置の構成の例を示すブロック図。 （ａ）は同発明の車両用表示装置を備える車両の運転席に座るユーザーから見える風景及び虚像の第１実施形態を示す図、（ｂ）は報知対象物と報知表示画像の虚像の経過時間Ｔによる重畳しない部分の面積Ｖの変異を示す図。 同発明の車両用表示装置の動作を示すフローチャート。 （ａ）は同発明の車両用表示装置を備える車両の運転席に座るユーザーから見える風景及び虚像の第２実施形態を示す図、（ｂ）は報知対象物と報知表示画像の虚像の経過時間Ｔによる重畳しない部分の面積Ｖの変異を示す図、（ｃ）は（ｂ）とは異なる報知対象物と報知表示画像の虚像の経過時間による面積の変異を示す図。 （ａ）は同発明の車両用表示装置を備える車両の運転席に座るユーザーから見える風景及び虚像の第３実施形態を示す図、（ｂ）は報知対象物と報知表示画像の虚像の経過時間Ｔによる重畳しない部分の面積Ｖの変異を示す図、（ｃ）は（ｂ）とは異なる報知対象物と報知表示画像の虚像の経過時間Ｔによる面積Ｖの変異を示す図。 （ａ）は同発明の車両用表示装置を備える車両の運転席に座るユーザーから見える風景及び虚像の第４実施形態を示す図、（ｂ）は報知対象物と報知表示画像の虚像の経過時間Ｔによる重畳しない部分の面積Ｖの変異を示す図、（ｃ）は（ｂ）とは異なる報知対象物と報知表示画像の虚像の経過時間による面積の変異を示す図。 （ａ）は同発明の車両用表示装置を備える車両の運転席に座るユーザーから見える風景及び虚像の第５実施形態を示す図、（ｂ）は報知対象物と報知表示画像の虚像の経過時間Ｔによる重畳しない部分の面積Ｖの変異を示す図、（ｃ）は（ｂ）とは異なる報知対象物と報知表示画像の虚像の経過時間Ｔによる重畳しない部分の面積Ｖの変異を示す図。
　以下に説明する好ましい実施形態は、本発明を容易に理解するために用いられている。従って、当業者は、本発明が、以下に説明される実施形態によって不当に限定されないことを留意すべきである。
　図１を参照して、本発明の車両用表示装置１０の全体の構成の例を説明する。以下の説明を容易にするために、図１に示されるように、実空間において、例えば、車両１の進行方向を車両前方向とした車両前後方向にｚ軸を規定し、鉛直方向にｙ軸を規定し、車両前方向を向いて左右方向（車両左右方向）にｘ軸を規定する。このとき、ｘ軸方向は車両左方向を表し、ｙ軸正方向は鉛直方向上側を表し、ｚ軸正方向は車両前方向を表す。
　図１に示されるように、車両用表示装置１０は、画像表示部２０と画像生成部３０と投影部５０とを備える。また、車両用表示装置１０は、車室内画像取得部４１と車室内画像解析部４２とを含む視点位置取得部４０と、前方画像取得部６１と前方画像解析部６２とを含む前方情報取得部６０と、視線画像取得部７１と視線画像解析部７２とを含む視線検出部７０とをさらに備えている。
　画像表示部２０は、画像を表示可能な表示面を有する。この表示面のうち、画像を表示可能な領域を、例えば、表示領域という。前記表示面の一例は、複数の画素を有する液晶パネルである。画像表示部２０の一例は、例えば、前記液晶パネルとこの液晶パネルの駆動回路とを有する液晶パネルモジュール２０である。
　画像表示部２０は、例えば、画像生成部３０によって生成される画像を表す信号を入力したときに、前記表示面の前記表示領域のうち、入力した信号に応じて前記表示面の少なくとも一部の画素を用いて画像を表示する。なお、以下の説明において、適宜、画像表示部２０の例として液晶パネルモジュール２０を用いて説明するが、画像表示部２０は他の表示機器であってもよい。例えば、画像表示部２０は、有機ＥＬ（Electro Luminescence）素子等の自発光表示パネルモジュールであってもよく、ＤＭＤ（Digital Micromirror Device）、ＬＣｏＳ（Liquid Crystal on Silicon）（登録商標）等の反射型表示パネルモジュールであってもよく、レーザー光を走査する走査型表示装置等であってもよい。
　視点位置取得部４０は、例えば、車室内画像取得部４１と車室内画像解析部４２とを含む。視点位置取得部４０は、車両１の運転席に座るユーザーの視点の位置１００を取得する。以下、車両１の運転席に座るユーザーの視点の位置１００を、ユーザー視点位置１００とも呼ぶ。視点位置取得部４０は、ｘ軸方向及びｙ軸方向の少なくとも１方向におけるユーザー視点位置１００を取得可能に構成される。視点位置取得部４０は、ｘ軸方向及びｙ軸方向の双方向におけるユーザー視点位置１００を取得可能に構成されてもよい。あるいは、ｘ軸、ｙ軸及びｚ軸におけるユーザー視点位置１００を取得可能に構成されてもよい。
　車室内画像取得部４１は、例えば、車室内の画像を撮像する車内カメラである。車室内画像取得部４１は、例えば、車両盗難等を防止する目的で取り付けられる共用の車内カメラ等であってもよく、車両用表示装置１０専用の車内カメラ等であってもよい。車室内画像取得部４１は、ユーザー視点位置１００をユーザー視点位置１００よりも鉛直方向下側から撮像することが好ましく、例えば、ステアリングハンドル３等に取り付けられていてもよい。また、車室内画像取得部４１は、車室内が暗いときであってもユーザー視点位置１００を取得できるように赤外線撮像が可能であることが好ましい。さらに、視点位置取得部４０を少なくともｙ軸方向におけるユーザー視点位置１００を取得可能に構成するために、視点位置取得部４０は、例えば、ステレオカメラ等であってもよい。車室内画像取得部４１は、例えば、取得した車室内の画像を車室内画像解析部４２に出力する。
　車室内画像解析部４２は、例えば、公知の画像処理、パターンマッチング手法等を用いて、入力した車室内の画像を解析する。車室内画像解析部４２は、入力した車両前方の画像を解析した結果、入力した車室内の画像に運転席に座るユーザーの顔が含まれているときは、ユーザー視点位置１００の例えば、実空間における座標（ｙ，ｚ）を特定することによって、ユーザー視点位置１００を取得する。車室内画像解析部４２は、例えば、取得したユーザー視点位置１００を、ＣＡＮ（Controller Area Network）バス通信等のバス５を介して、画像生成部３０に出力する。ここで、車室内画像解析部４２は、例えば、車内カメラの中に含まれて設けられていてもよく、画像生成部３０が車室内画像解析部４２の機能を含んでもよい。また、視点位置取得部４０は、車内カメラによって鉛直方向におけるユーザー視点位置１００を取得し、シート位置を検出する図示されていないセンサから信号を入力することによって車両前後方向におけるユーザー視点位置１００を取得してもよい。さらに、画像生成部３０は、バス５を介さずに車室内画像解析部４２からユーザー視点位置１００を直接入力してもよい。
　前方情報取得部６０は、例えば、前方画像取得部６１と前方画像解析部６２とを含む。前方情報取得部６０は、例えば、車両前方向の道路の車線の位置情報、車両前方向に存在する他の車両及び障害物等の位置情報、車両前方向の道路標識の情報等の車両前方の情報を取得する。
　前方画像取得部６１は、例えば、車両前方の画像を撮像する車外カメラである。前方画像取得部６１は、例えば、ドライブレコーダー等に用いられている共用の車外カメラ等であってもよく、車両用表示装置１０専用の車外カメラ等であってもよい。また、車外カメラは、単眼カメラであってもよいが、車両前方に存在する物体と車両１との距離を正確に取得するために、車外カメラはステレオカメラであることが好ましい。また、車外カメラは、車両前方が暗いときであっても車両前方の画像を撮像できるように、赤外線撮像が可能であってもよい。前方画像取得部６１は、例えば、取得した車両前方の画像を前方画像解析部６２に出力する。
　前方画像解析部６２は、例えば、公知の画像処理、パターンマッチング手法等を用いて、入力した車両前方の画像を解析する。前方画像解析部６２は、入力した車両前方の画像を解析することによって、車両前方の道路形状に関する前方情報（車線、白線、停止線、横断歩道、道路の幅員、車線数、交差点、カーブ、分岐路等）を取得する。また、前方画像解析部６２は、入力した車両前方の画像を解析することによって、車両前方に存在する他の車両、障害物等の位置、大きさ、車両１との距離、車両１との相対速度等の前方情報を取得する。前方画像解析部６２は、例えば、取得した前方情報をバス５を介して、画像生成部３０に出力する。ここで、前方画像解析部６２は、例えば、車外カメラの中に含まれて設けられていてもよく、画像生成部３０が前方画像解析部６２の機能を含んでもよい。また、画像生成部３０は、バス５を介さずに前方画像解析部６２から前方情報を直接入力してもよい。
　また、前方情報取得部６０は、前方画像取得部６１の代わりに、又は前方画像取得部６１と併せて、レーザーレーダー、ミリ波レーダー、超音波センサ、又は他の公知のセンサ等を有してもよい。このとき、前方画像解析部６２は、車両前方の画像の代わりに、又は車両前方の画像と併せて、レーザーレーダー、ミリ波レーダー、超音波センサ、又は公知のセンサ等が出力するデータを入力して解析することによって、上述したような前方情報を取得してもよい。
　視線検出部７０は、例えば、視線画像取得部７１と視線画像解析部７２とを含む。視線検出部７０は、車両１の運転席に座るユーザーの視線を検出する。視線検出部７０は、少なくとも前方方向におけるユーザーの視線を検出可能に構成される。
　視線画像取得部７１は、例えば、ユーザーの顔面（特に、眼球）の画像を撮像する車内カメラである。視線画像取得部７１は、例えば、車両盗難等を防止する目的で取り付けられる共用の車内カメラ等であってもよく、車両用表示装置１０専用の車内カメラ等であってもよい。車室内画像取得部４１と兼用してもよく、例えば、ステアリングハンドル３等に取り付けられていてもよい。あるいは、ユーザーの頭に装着される眼鏡に設けてもよい。また、視線画像取得部７１は、車室内が暗いときであってもユーザーの顔面の画像を取得できるように赤外線撮像が可能であることが好ましい。視線画像取得部７１は、例えば、取得したユーザーの顔面の画像を視線画像解析部７２に出力する。
　視線画像解析部７２は、例えば、公知の画像処理、パターンマッチング手法等を用いて、入力したユーザーの顔面の画像を解析する。視線画像解析部７２は、入力したユーザーの顔面の画像を解析した結果、入力したユーザーの顔面の画像にユーザーの眼球（黒目）が含まれているときは、ユーザーの視線を特定することによって、ユーザーの視線を取得する。視線画像解析部７２は、例えば、取得したユーザーの視線を、ＣＡＮバス通信等のバス５を介して、画像生成部３０に出力する。ここで、視線画像解析部７２は、例えば、車内カメラの中に含まれて設けられていてもよく、画像生成部３０が視線画像解析部７２の機能を含んでもよい。さらに、画像生成部３０は、バス５を介さずに視線画像解析部７２からユーザー視点位置１００を直接入力してもよい。
　さらに、図１では、車室内画像取得部４１、前方画像取得部６１及び視線画像取得部７１が、車両１の別の場所に取り付けられているように表されているが、必ずしもこの限りではなく、車室内画像取得部４１、前方画像取得部６１及び視線画像取得部７１が車両１の同じ場所に取り付けられていてもよい。また、車室内画像取得部４１、前方画像取得部６１及び視線画像取得部７１は１つの同じ筐体に設けられていてもよい。
　画像生成部３０は、処理部３１と記憶部３２とを含む。処理部３１は、例えば、１又は複数のマイクロプロセッサ、マイクロコントローラ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、任意の他のＩＣ（Integrated Circuit）等を有する。記憶部３２は、例えば、書き換え可能なＲＡＭ（Random Access Memory）、読み出し専用のＲＯＭ（Read Only Memory）、消去可能なプログラム読み出し専用のＥＥＰＲＯＭ（Electrically Erasable Programmable Read-Only Memory）、不揮発性メモリであるフラッシュメモリ等のプログラム及び／又はデータを記憶可能な１又は複数のメモリを有する。
　画像生成部３０は、例えば、記憶部３２に記憶されているプログラムを処理部３１が実行することによって、画像表示部２０が表示する画像を生成する。画像生成部３０は、前方情報取得部６０から入力する前方情報に応じて、例えば、車両前方の道路に他の車両、障害物等の報知対象物が存在することをユーザーに対して報知可能な報知マーク（本発明の報知表示画像）を、生成する画像に含ませることができる。また、画像生成部３０は、図示されていないナビゲーション装置からバス５を介して、又は直接入力する信号に応じて、例えば、ルート情報をユーザーに対して提供可能なナビゲーションマークを、生成する画像に含ませることができる。加えて、画像生成部３０は、図示されていない他のＥＣＵ（Electronic Control Unit）等からバス５を介して、又は直接入力する情報に応じて、例えば、燃料残量、現在の車速、燃費、バッテリの残量等の車両情報等の他の情報を、生成した画像にさらに含ませることができる。なお、画像生成部３０は、この他の情報のみを含んだ画像を生成してもよい。
　また、画像生成部３０は、視点位置取得部４０から入力するユーザー視点位置１００に応じて、画像表示部２０の表示面の表示領域のうち画像の表示に使用する部分である使用領域を決定する。この際、報知対象物の位置を特定し、前記表示面の使用領域も決定する。
　例えば、画像生成部３０の記憶部３２には、ユーザー視点位置１００、前記報知対象物の位置及びユーザーの視線と、そのユーザー視点位置１００、前記報知対象物の位置及びユーザーの視線に対応した前記使用領域を決定するためのパラメータとが対応付けられたテーブルが記憶されている。画像生成部３０は、例えば、処理部３１がテーブルを参照することによって、入力するユーザー視点位置１００、前記報知対象物の位置及びユーザーの視線に対応した前記使用領域を決定する。
　また、画像生成部３０は、例えば、処理部３１が演算式を演算することによって、入力するユーザー視点位置１００、前記報知対象物の位置及びユーザーの視線に対応した前記使用領域を決定する。
　投影部５０は、画像表示部２０が表示する画像を、車両１のウィンドウシールド２等の透光部材２に向けて投影する。投影された画像を構成する光８０は、ウィンドウシールド２によって車室内に反射される。以下、画像を構成する光８０を画像光８０とも呼ぶ。投影部５０は、ウィンドウシールド２によって反射される画像光８０が、ユーザー視点位置１００に向かって入射するように、画像を投影する。また、車両１の透光部材２は、車両１に設けられるコンバイナであってもよい。
　運転席に座るユーザーは、画像光８０がユーザー視点位置１００に入射することによって、ウィンドウシールド２より車両前方側に結像される虚像３１０を視認することができる。ユーザーは、例えば、ウィンドウシールド２越しに見える景色の少なくとも一部と、虚像３１０とが、重畳した状態で虚像３１０を視認することができる。この虚像３１０には、例えば、上述した本発明の報知表示画像である報知マークの虚像である虚像報知マーク３２０、制限速度の虚像である制限速度表示３３０及び上述した他のマーク等の虚像マーク等が含まれる。本実施形態では、虚像報知マーク３２０は、三角形内に「！」を表示するマークであるが、虚像報知マークは、本実施形態に限定されない。
　図２には、車両１の運転席に座るユーザーが、ウィンドウシールド２越しに見える風景及び虚像３１０の例が示されている。図２に示される例において、ウィンドウシールド２越しに見える風景の例として、車両前方に延びる３車線道路等及び車両前方に存在する他の車両（前方車両）９０が示されている。図２に示されるウィンドウシールド２越しに見える風景の例において、報知対象物は、前方車両９０である。虚像３１０には、虚像報知マーク３２０が含まれている。図２に示される例において、虚像報知マーク３２０は、前方車両９０に対して一部が重畳しない部分を有するようにユーザーに視認される。また、図２に示される例において、虚像３１０に、制限速度表示３３０と、現在の車両１の速度表示３４０が含まれている。
　また、図２に示される例において、領域３００は、画像表示部２０の表示面における前記使用領域に対応する領域３００である。以下、画像表示部２０の表示面における前記使用領域に対応する領域３００を虚像領域３００とも呼ぶ。すなわち、虚像領域３００は、ユーザーが虚像３１０を視認可能な領域である。
　図３を参照して、車両用表示装置１０の動作の例を説明する。車両用表示装置１０の動作は、例えば、車両１の電源がＯＮされたとき、図示されていないエンジンが駆動されたとき、又は、車両１の電源がＯＮもしくはエンジンが駆動されたときから所定待機時間が経過した後等に開始される。
　ステップＳ０１では、前方情報取得部６０が前方情報を取得する。ステップＳ０２では、視点位置取得部４０がユーザー視点位置１００を取得する。
　ステップＳ０３では、視線検出部７０がユーザーの視線を検出する。なお、ステップＳ０１からステップＳ０３は、必ずしもこの順番である必要はなく、順番が入れ替わってもよい。また、ステップＳ０３は、ユーザーの視線が報知対象物９０を向いたと判断する必要がない場合、このステップＳ０３を省略してもよい。
　ステップＳ０４では、画像生成部３０は、ステップＳ０１で前方情報取得部６０によって取得された前方情報に応じて、例えば、報知マーク、制限速度表示などの他のマーク等を含ませた画像を生成する。なお、画像生成部３０は、ステップＳ０４は、ユーザーの視線が報知対象物９０を向いたと判断する必要がない場合、ユーザー視点位置１００とユーザーの視線に応じた画像を生成する必要はない。
　ステップＳ０５では、画像生成部３０は、ステップＳ０２の視点位置取得部４０、ステップＳ０３の視線検出部７０によって取得されたユーザー視点位置１００、ユーザーの視線に応じて、画像表示部２０の表示面の表示領域のうち使用領域を決定する。なお、ステップＳ０４及びステップＳ０５は、必ずしもこの順番である必要はなく、順番が入れ替わってもよい。
　ステップＳ０６では、画像表示部２０は、ステップＳ０５で画像生成部３０によって決定された前記使用領域を用いて、ステップＳ０４で生成された画像を表示する。ステップＳ０６の処理を実行すると、フローはスタートに戻る。ここで、図３に示されるフローチャートが、予め設定された所定間隔毎に繰り返して実行されるように、ステップＳ０６の処理の実行が終了した後フローがスタートに戻るまでの間に、所定の待機時間が挿入されていてもよい。
　図２、図４から図７を参照して、報知対象物９０と報知表示画像の虚像３２０との関係について説明する。
　図２は、報知対象物である前方車両９０に対して、報知表示画像の虚像３２０の一部が報知対象物９０に対して重畳しない部分を有するように表示しており、重畳しない部分の面積は、所定の時間は、時間の経過に伴い変化することなく一定である。なお、図２（ａ）では報知対象物９０に対して下側に報知表示画像の虚像３２０を表示した例を記載しているが、これに限らず報知対象物９０の周辺であればどこに表示しても良い。また、報知表示画像の虚像３２０は、報知対象物９０に対して全く重畳しないように表示しても良い。
　図４は、本発明の第２実施形態を示すものであり、画像生成部３０は、報知対象物である前方車両９０に対して、報知表示画像の虚像３２０の一部が報知対象物９０に対して重畳しない部分が存在しない重畳表示と、少なくとも一部が前記報知対象物と重畳しない部分を有する表示（図４の（ａ）のように、報知表示画像の虚像３２０は、報知対象物９０に全く重畳していなくとも良い）とを切り換えて表示する。また、この切り換え表示を交互に繰り返すものである。交互に繰り返すタイミングは、図４（ｂ）のように、重畳しない部分を有する表示から表示を開始する。そして、この例では、重畳しない部分を表示する時間が、時間の経過とともに減少させてもよい。あるいは、図４（ｃ）のように、虚像３２０が報知対象物９０に重畳した表示から表示を開始する。そして、重畳しない部分を表示する時間が、時間の経過とともに増加させてもよい。あるいは、重畳表示と重畳しない部分を表示する時間が均等であってもよい。
　また、図４（ａ）では報知対象物９０に対して下側に報知表示画像の虚像３２０を表示した例を記載しているが、これに限らず報知対象物９０の周辺であればどこに表示しても良い。
　図５は、本発明の第３実施形態を示すものであり、画像生成部３０は、報知対象物である前方車両９０に対して、報知表示画像の虚像３２０の一部が報知対象物９０に対して、少なくとも一部が報知対象物９０と重畳しない部分が変化するものである。重畳しない部分の変化は、図５（ｂ）に示すように、２つの値を交互に繰り返すものであってもよいし、あるいは、図５（ｃ）に示すように、重畳しない面積をランダムに変化するものであっても良い。また、変化する時間も任意に変化しても良いし、一定時間毎に変化するものであっても良い。また、段階的に報知表示画像の虚像３２０が報知対象物９０から離れる、あるいは、近づく表示であっても良い。
　また、図５（ａ）では報知対象物９０に対して下側に報知表示画像の虚像３２０を表示した例を記載しているが、これに限らず報知対象物９０の周辺であればどこに表示しても良い。
　図６は、本発明の第４実施形態を示すものであり、画像生成部３０は、報知対象物である前方車両９０に対して、報知表示画像の虚像３２０の一部が報知対象物９０に対して、重畳表示と、少なくとも一部が前記報知対象物と重畳しない部分が連続的に変化する表示を含むものである。重畳しない部分の変化は、図６（ｂ）に示すように、連続的な変化を繰り返すものであってもよい。この場合、変化の時間は、図６（ｂ）のように変化してもよい。あるいは、図６（ｃ）に示すように、連続的な変化の間に重畳表示や少なくとも一部が重畳しない部分を有する表示を一定時間継続した表示としてもよい。
　また、図６（ａ）では報知対象物９０に対して下側に報知表示画像の虚像３２０を表示した例を記載しているが、これに限らず報知対象物９０の周辺であればどこに表示しても良い。
　図７は、本発明の第５実施形態を示すものであり、画像生成部３０は、視線検出部７０により前記ユーザーが対象となる報知表示画像の虚像３２０を視認したと判断した場合Ｗ、図７（ｂ）のｔ１－ｔ２の期間だけ、直前の制御を継続し、その後、報知表示画像の虚像３２０の重畳しない部分の面積を減少させた後、重畳しない部分が存在しない重畳表示とするものである。重畳表示に移行するには、図６（ｂ）のように、徐々に重畳しない部分を減らすように表示するか、図６（ｃ）のようにｔ２において、急峻に重畳表示するものであっても良い。
　また、図７（ａ）では報知対象物９０に対して下側に報知表示画像の虚像３２０を表示した例を記載しているが、これに限らず報知対象物９０の周辺であればどこに表示しても良い。
　また、前記各実施形態では、報知表示画像の虚像３２０を表示する報知対象物９０は、前方車両であったが、報知対象物９０は、前方車両９０に限定されるものではなく、図示していない歩行者や障害物などでもよい。また、どのような報知対象物に対して、報知表示画像の虚像を表示するかは、予め定めておいてもよい。例えば、人、車のみを報知対象物として予め定めておくことで、ユーザーも重畳していない虚像が、人もしくは車であることと認識することができる。
　画像生成部３０は、報知対象物９０が複数存在した場合、もっとも危険な報知対象物９０にのみ報知表示画像の虚像３２０の少なくとも一部が報知対象物９０と重畳しない部分を有するように表示するものであってもよい。もっとも危険との判断は、例えば、車両１と報知対象物９０との距離によって、判断しても良い。この場合、もっとも近接した報知対象物９０がもっとも危険な報知対象物９０となる。また、複数の報知対象物９０に対して、複数の報知表示画像の虚像３２０を表示する場合、複数の報知表示画像の虚像３２０は、報知表示画像の虚像３２０の変化を同期させるものである。なお、報知表示画像の虚像３２０が３つ以上存在する場合は、少なくとも２つの報知表示画像の虚像３２０の変化が同期すればよい。
　また、報知表示画像の虚像３２０を報知対象物９０に少なくとも一部が重畳しない部分を有するように表示した状態で、報知表示画像の虚像３２０を回転表示してもよい。なお、報知表示画像の虚像３２０が、報知対象物９０に重畳した場合に報知表示画像の虚像３２０を回転表示してもよい。このように、報知表示画像の虚像３２０が回転する表示を行うことで、報知表示画像の虚像３２０を視認しやすくなる。
　また、報知表示画像の虚像３２０を報知対象物９０に少なくとも一部が重畳しない部分を有するように表示した状態で、虚像３２０の明度、色及び輝度のうち少なくともいずれかを変化させてもよい。明度の変化は、画像表示部２０が液晶表示素子の場合は、液晶表示素子の画素毎の透過率を変化させることで実現できる。色の変化は、液晶表示素子の場合は、液晶表示素子のカラーフィルター毎の画素の透過率を変化させることで実現できる。輝度の変化は、液晶表示素子の場合は、バックライト光源の輝度（明るさ）を変化させることで実現ができる。なお、明度、色及び輝度は、個別に変化させても良いし、複合的に変化させても良い。
　また、報知表示画像の虚像３２０を報知対象物９０に少なくとも一部が重畳しない部分を有するように表示した状態で、報知表示画像の虚像３２０の結像距離を変化させてもよい。投影部５０を構成する光学部品によって、結像距離を変化させることができる。この場合、図１に示すように、虚像３２０がｚ軸方向に変化することで、ユーザーが素早く認知することが可能となる。
　本発明は、上述の例示的な実施形態に限定されず、また、当業者は、上述の例示的な実施形態を特許請求の範囲に含まれる範囲まで、容易に変更することができるであろう。
　本発明は、車両用表示装置に関し、報知対象物に虚像を重畳表示する車両用表示装置に好適である。
　　１・・・車両
　　２・・・ウィンドウシールド
　１０・・・車両用表示装置
　２０・・・画像表示部，液晶パネルモジュール
　３０・・・画像生成部
　４０・・・視点位置取得部
　４１・・・車室内画像取得部
　４２・・・車室内画像解析部
　５０・・・投影部
　７０・・・視線検出部
　７１・・・視線画像取得部
　７２・・・視線画像解析部
　８０・・・画像光
　９０・・・報知対象物
１００・・・ユーザー視点位置
２１０・・・表示領域
２２０・・・使用領域
３００・・・虚像領域
３１０・・・虚像
３２０・・・報知表示画像の虚像（虚像報知マーク）
４００・・・重畳距離範囲

Claims (12)

  1. 前方情報取得部が取得する前方情報のうち所定領域内に含まれる前記前方情報を反映させた画像を生成する画像生成部と、前記画像生成部が生成する前記画像を表示可能な表示面を有する画像表示部と、車両の透光部材で前記画像が反射されることによって、運転席に座るユーザーが虚像を視認できるように、前記画像を前記車両の前記透光部材に向けて投影する投影部と、を備え、前記画像生成部は、前記ユーザーの視点の位置を取得する視点位置取得部と前記前方情報取得部との情報に基づいて前記前方情報から報知対象物の位置を特定し、前記報知対象物に対して前記画像の虚像のうち前記報知対象物に対応する報知表示画像の虚像の少なくとも一部が前記報知対象物と重畳しない部分を有するように表示することを特徴とする車両用表示装置。
  2. 前記画像生成部は、前記報知表示画像の虚像の前記重畳しない部分が所定の時間一定であることを特徴とする請求項１に記載の車両用表示装置。
  3. 前記画像生成部は、前記報知表示画像の虚像を前記報知対象物に対し重畳表示と少なくとも一部が前記報知対象物と重畳しない部分を有する表示とを切り換えることを特徴とする請求項１又は２に記載の車両用表示装置。
  4. 前記画像生成部は、前記報知表示画像の虚像の前記報知対象物と重畳しない部分が変化することを特徴とする請求項１又は３に記載の車両用表示装置。
  5. 前記画像生成部は、前記報知表示画像の虚像の前記報知対象物と重畳しない部分が時間の経過に従って変化することを特徴とする請求項１、３又は４のいずれかに記載の車両用表示装置。
  6. 前記画像生成部は、予め定められた前記報知対象物に対して、前記報知表示画像の虚像の少なくとも一部が前記報知対象物と重畳しない部分を有するように表示したことを特徴とする請求項１から５のいずれかに記載の車両用表示装置。
  7. 前記画像生成部は、前記報知対象物が複数存在した場合、もっとも危険な前記報知対象物にのみ前記報知表示画像の虚像の少なくとも一部が前記報知対象物と重畳しない部分を有するように表示することを特徴とする請求項１から６のいずれかに記載の車両用表示装置。
  8. 前記画像生成部は、前記報知対象物が複数存在し、前記各報知対象物に対して前記報知表示画像の虚像を複数表示する場合、少なくとも２つの前記報知表示画像の虚像の変化を同期させることを特徴とする請求項１から６のいずれかに記載の車両用表示装置。
  9. 前記ユーザーの視線を検出する視線検出部を備え、前記画像生成部は、前記ユーザーの視線が前記報知対象物に向いたと判断した場合、前記報知対象物に対応する前記報知表示画像の虚像の少なくとも一部が前記報知対象物と重畳しない部分を有するように所定時間表示した後、前記報知表示画像の虚像を前記報知対象物に重畳する位置に表示することを特徴とする請求項１から８のいずれかに記載の車両用表示装置。
  10. 前記画像生成部は、前記報知表示画像の虚像を前記報知対象物に少なくとも一部が重畳しない部分を有するように表示した状態で、前記報知表示画像の虚像を回転表示することを特徴とする請求項１から９のいずれかに記載の車両用表示装置。
  11. 前記画像生成部は、前記報知表示画像の虚像を前記報知対象物に少なくとも一部が重畳しない部分を有するように表示した状態で、明度、色及び輝度のうち少なくともいずれかを変化させることを特徴とする請求項１から１０のいずれかに記載の車両用表示装置。
  12. 前記画像生成部は、前記報知表示画像の虚像を前記報知対象物に少なくとも一部が重畳しない部分を有するように表示した状態で、前記報知表示画像の虚像の結像距離を変化させることを特徴とする請求項１から１１のいずれかに記載の車両用表示装置。
PCT/JP2018/001909 2017-01-30 2018-01-23 車両用表示装置 WO2018139433A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017014795 2017-01-30
JP2017-014795 2017-01-30

Publications (1)

Publication Number Publication Date
WO2018139433A1 true WO2018139433A1 (ja) 2018-08-02

Family

ID=62979062

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/001909 WO2018139433A1 (ja) 2017-01-30 2018-01-23 車両用表示装置

Country Status (1)

Country Link
WO (1) WO2018139433A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015187806A (ja) * 2014-03-27 2015-10-29 日本精機株式会社 車両用警報装置
JP2016215720A (ja) * 2015-05-15 2016-12-22 カルソニックカンセイ株式会社 車両用ヘッドアップディスプレイ装置
JP2017013590A (ja) * 2015-06-30 2017-01-19 日本精機株式会社 ヘッドアップディスプレイ装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015187806A (ja) * 2014-03-27 2015-10-29 日本精機株式会社 車両用警報装置
JP2016215720A (ja) * 2015-05-15 2016-12-22 カルソニックカンセイ株式会社 車両用ヘッドアップディスプレイ装置
JP2017013590A (ja) * 2015-06-30 2017-01-19 日本精機株式会社 ヘッドアップディスプレイ装置

Similar Documents

Publication Publication Date Title
US20170336629A1 (en) Information processing system and information display apparatus
JP6413207B2 (ja) 車両用表示装置
JP6409337B2 (ja) 表示装置
JP6806097B2 (ja) 画像表示装置及び画像表示方法
US10409062B2 (en) Vehicle display device
US10185152B2 (en) Vehicle display device
US11525694B2 (en) Superimposed-image display device and computer program
JP4943367B2 (ja) 車両用情報表示装置
JP6504431B2 (ja) 画像表示装置、移動体、画像表示方法及びプログラム
JP6796806B2 (ja) 表示システム、情報提示システム、表示システムの制御方法、プログラム、及び移動体
JPWO2020036108A1 (ja) 車両用表示システム及び車両
JP2016159656A (ja) 車両用表示装置
JPWO2017145546A1 (ja) 投写型表示装置、投写表示方法、及び、投写表示プログラム
JP2017149335A (ja) 運転支援情報表示装置
WO2016013167A1 (ja) 車両用表示制御装置
WO2018180596A1 (ja) 車両用表示装置
JP2018091908A (ja) ヘッドアップディスプレイ装置
JP2019202589A (ja) 表示装置
JP2006273002A (ja) 車両用監視装置
JP2019206262A (ja) 表示装置
WO2018030320A1 (ja) 車両用表示装置
WO2018139433A1 (ja) 車両用表示装置
JP2018019155A (ja) 車両用表示制御装置、車両用表示システム、車両用表示制御方法およびプログラム
JP6909404B2 (ja) ヘッドアップディスプレイ
JP2019207632A (ja) 表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18744530

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18744530

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP