WO2020111036A1 - 表示装置 - Google Patents

表示装置 Download PDF

Info

Publication number
WO2020111036A1
WO2020111036A1 PCT/JP2019/046082 JP2019046082W WO2020111036A1 WO 2020111036 A1 WO2020111036 A1 WO 2020111036A1 JP 2019046082 W JP2019046082 W JP 2019046082W WO 2020111036 A1 WO2020111036 A1 WO 2020111036A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
abnormal state
display
vehicle
front target
Prior art date
Application number
PCT/JP2019/046082
Other languages
English (en)
French (fr)
Inventor
誠 秦
勇希 舛屋
Original Assignee
日本精機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本精機株式会社 filed Critical 日本精機株式会社
Priority to JP2020557724A priority Critical patent/JP7435465B2/ja
Publication of WO2020111036A1 publication Critical patent/WO2020111036A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof

Definitions

  • the present invention relates to a display device.
  • Patent Document 1 discloses a display device that displays an image visually recognized by a viewer (mainly a driver of the vehicle) as a virtual image that overlaps with a landscape in front of the vehicle.
  • the display device disclosed in Patent Document 1 detects the position of a front target existing in front of the vehicle and displays a notification image for notifying the presence of the front target.
  • the notification image is displayed in the same manner as in the normal state.
  • the present invention has been made in view of the above circumstances, and can prevent misunderstanding that the front target is normally detected when the front target is not normally detected.
  • An object is to provide a display device.
  • a display device for displaying a superimposed image visually recognized by a viewer as a virtual image overlapping with a front view of a vehicle,
  • An acquisition unit that acquires detection information for specifying the position of the front target of the vehicle from the detection unit, Based on the detection information acquired by the acquisition unit within a predetermined period, a specifying unit that specifies an abnormal state in which the position of the front target cannot be normally specified, It is possible to display a notification image that controls the image displayed in the display area of the superimposed image, specifies the position of the front target based on the detection information acquired by the acquisition unit, and notifies the existence of the front target.
  • Display control means When the abnormal state is specified by the specifying unit, the display control unit displays an instruction image indicating that the abnormal state has occurred in a mode with lower visibility than the notification image.
  • the present invention it is possible to prevent the misunderstanding that the front target is normally detected when the front target is not normally detected.
  • FIG. 1 It is a figure for explaining the mounting mode in the vehicle of the head up display (HUD) device concerning one embodiment of the present invention.
  • It is a block diagram of a display system for vehicles. It is a flow chart which shows an example of display control processing.
  • (A) is a schematic diagram for explaining a normal state in front object detection
  • (b) and (c) are schematic diagrams for explaining an abnormal state in front object detection.
  • It is a figure which shows the example of a display of a notification image.
  • (A) And (b) is a figure which shows the example of a display of an instruction image.
  • (A) And (b) is a figure which shows the example of a display of an instruction image.
  • the display device is a HUD (Head-Up Display) device 10 included in the vehicle display system 100 shown in FIG.
  • the HUD device 10 is provided inside the dashboard 2 of the vehicle 1, and not only information about the vehicle 1 (hereinafter referred to as vehicle information) but also information other than vehicle information is integrated.
  • vehicle information includes not only information on the vehicle 1 itself but also information on the outside of the vehicle 1 related to the operation of the vehicle 1.
  • the vehicle display system 100 is a system configured in the vehicle 1, and includes a HUD device 10, a front target detection unit 40, a viewpoint detection unit 50, and an ECU (Electronic Control Unit) 60.
  • the HUD device 10 emits the display light L toward the windshield 3, as shown in FIG.
  • the display light L reflected by the windshield 3 travels toward the user 4 side.
  • the user 4 can view the image represented by the display light L displayed in front of the windshield 3 as the virtual image V by placing the viewpoint in the eye box 5. Thereby, the user 4 can observe the virtual image V by superimposing it on the front landscape.
  • the HUD device 10 includes a display unit 20 and a control unit 30 shown in FIG. 2, and a reflection unit (not shown).
  • the display unit 20 displays the superimposed image visually recognized by the user 4 as the virtual image V under the control of the control unit 30.
  • the display unit 20 includes, for example, a TFT (Thin Film Transistor) type LCD (Liquid Crystal Display), a backlight for illuminating the LCD from behind, and the like.
  • the backlight is composed of, for example, an LED (Light Emitting Diode).
  • the display unit 20 Under the control of the control unit 30, the display unit 20 generates the display light L by the LCD illuminated by the backlight displaying an image.
  • the generated display light L is emitted toward the windshield 3 after being reflected by the reflecting portion.
  • the reflector is composed of, for example, two mirrors, a folding mirror and a concave mirror.
  • the folding mirror folds the display light L emitted from the display unit 20 and directs it toward the concave mirror.
  • the concave mirror expands the display light L from the folding mirror and reflects it toward the windshield 3.
  • the virtual image V visually recognized by the user 4 is an enlarged image of the image displayed on the display unit 20. Note that the number of mirrors that form the reflecting portion can be arbitrarily changed according to the design.
  • displaying the image visually recognized by the user 4 as the virtual image V on the display unit 20 is also referred to as “displaying a superimposed image”.
  • the control unit 30 controls the display of the display unit 20 is also referred to as “controlling the display of the superimposed image”.
  • the display unit 20 is not limited to one using an LCD as long as it can display a superimposed image, and may be an OLED (Organic Light Emitting Diodes), a DMD (Digital Micromirror Device), an LCOS (Liquid Crystal On Silicon), or the like. A display device may be used.
  • the control unit 30 controls the entire operation of the HUD device 10 including the operation of the display unit 20.
  • the control unit 30 includes a processing unit 31 that performs each process according to the operation program, a ROM (Read Only Memory) that stores the operation program and various image data in advance, and a RAM (Random Access) that temporarily stores the calculation result and the like.
  • the processing unit 31 includes one or a plurality of microprocessors, microcontrollers, ASICs (Application Specific Integrated Circuits), FPGAs (Field-Programmable Gate Arrays), and the like. At least a part of the storage unit 32 may be built in the processing unit 31.
  • control unit 30 controls the display of a notification image W and an instruction image C described later in the display area of the virtual image V.
  • the dotted frame shown by the virtual image V in FIG. 5 and the like indicates the display area of the virtual image V
  • the notification image W and the instruction image C are images visually recognized as virtual images in the display area. This is synonymous with displaying the notification image W and the instruction image C in the display area of the superimposed image on the display unit 20 that displays the superimposed image visually recognized by the user 4 as the virtual image V.
  • Other functions of the control unit 30 will be described later.
  • the control unit 30 is communicatively connected to each of the display unit 20, the front target detection unit 40, the viewpoint detection unit 50, and the ECU 60 via the bus 6.
  • a system such as CAN (Controller Area Network), Ethernet, MOST (Media Oriented Systems Transport), LVDS (Low Voltage Differential Signaling) and the like can be applied.
  • the front target detection unit 40 detects the front target F, and is configured by one or a plurality of combinations of the imaging device and the sensor group described below.
  • the image capturing device captures an image of a front scene including a road surface on which a vehicle 1 (hereinafter, also referred to as the own vehicle 1) travels, and includes, for example, a stereo camera.
  • the image capturing apparatus performs image analysis of the captured image data by a known method such as a pattern matching method using an image analysis unit (not shown), thereby identifying the type and size of the front target F and determining the own vehicle
  • the distance from 1 to the front target F and the direction of the front target F with respect to the vehicle 1 are calculated.
  • the imaging device can also calculate the relative speed of the front target F with respect to the own vehicle 1 by differentiating the distance with respect to time.
  • the sensor group includes, for example, a ranging sensor such as LIDAR (Laser Imaging Detection And Ranging) that measures the distance from the vehicle 1 to the front target F, a sonar that detects the front target, an ultrasonic sensor, a millimeter wave radar, or the like. Composed. The sensor group detects the distance from the own vehicle 1 to the front target F and the direction of the front target F with respect to the own vehicle 1.
  • LIDAR Laser Imaging Detection And Ranging
  • the control unit 30 determines the distance from the vehicle 1 to the front target F, the direction of the front target F with respect to the own vehicle 1, the type and size of the front target F, and the like from the front target detection unit 40 configured as described above.
  • the detection information shown is acquired, and the position of the front target F in the display area of the virtual image V is specified (calculated) based on the acquired detection information.
  • the front target detection unit 40 may calculate the position of the front target F, and the control unit 30 may directly acquire the detection information indicating the position from the front target detection unit 40.
  • the control unit 30 attaches identification information (ID) to each of the plurality of frontal targets F, and based on the position information corresponding to the ID, The position of a predetermined front target F is specified.
  • the front target F is, for example, a preceding vehicle, a pedestrian, an obstacle, etc. existing in front of the vehicle 1.
  • the viewpoint detection unit 50 has a known configuration that detects the viewpoint position (including the line-of-sight direction) of the user 4, and for example, an infrared camera that captures the face of the user 4 and data of images captured by the infrared camera (imaging data ).
  • the viewpoint position analysis unit specifies the viewpoint position of the user 4 by performing image analysis on the imaged data by a known method such as a pattern matching method, and supplies information indicating the viewpoint position to the control unit 30.
  • the ECU 60 controls each part of the vehicle 1, and supplies vehicle information about the own vehicle 1 to the control unit 30.
  • the vehicle information regarding the host vehicle 1 is, for example, vehicle speed, engine speed, warning information (fuel decrease, engine hydraulic pressure abnormality, etc.).
  • the control unit 30 controls the display of the superimposed image based on the vehicle information acquired from the ECU 60, and displays the image V1 indicating the predetermined vehicle information in the display area of the virtual image V as shown in FIG.
  • the control unit 30 displays the virtual image V based on the information on the position of the front target F identified based on the detection information from the front target detection unit 40 and the information on the viewpoint position of the user 4 input from the viewpoint detection unit 50.
  • the display position of the notification image W in the area is calculated, and the display operation of the display unit 20 is controlled. As a result, the control unit 30 superimposes and displays the notification image W at a desired position on the front target F in the real scene.
  • the control unit 30 calculates the position of the front target F, for example, as two-dimensional (orthogonal coordinates or polar coordinates) data based on the detection information from the front target detection unit 40.
  • the control unit 30 may be capable of 3D display using 3D image data stored in advance in the ROM of the storage unit 32. In this case, the position of the front target F may be calculated as three-dimensional data.
  • the configuration of the vehicle display system 100 is as described above.
  • Display control processing Subsequently, while displaying the notification image W for notifying the presence of the front target F, and in the case of an abnormal state in which it can be considered that the detection accuracy of the front target detection unit 40 has deteriorated, an abnormal state has occurred.
  • a display control process for displaying the instruction image C indicating the will be described with reference to FIG.
  • the display control process is executed by the control unit 30, and is continuously executed in a state where the ignition of the vehicle 1 is turned on, for example.
  • control unit 30 When the display control process is started, the control unit 30 first acquires detection information from the front target detection unit 40 at a predetermined acquisition cycle (step S1).
  • the control unit 30 determines whether or not an abnormal state, which is a state in which the position of the front target F cannot be normally identified, has occurred based on the detection information acquired within a predetermined period. (Step S2).
  • the abnormal state specified by the method described later has not occurred (step S2; No)
  • the control unit 30 specifies the position of the front target F based on the detection information acquired in step S1.
  • the notification image W is superimposed and displayed at a desired position on the front target F in the real scene (step S3).
  • FIG. 5 shows an example in which the front target F is a pedestrian.
  • the notification image W may have any display form as long as it can notify the presence of the front target F, and may or may not be superimposed on the front target F in the real scene.
  • the form of the notification image W may be different from that of a later-described instruction image C. Further, when there are a plurality of detected front targets F, the control unit 30 displays the notification image W corresponding to each of the plurality of front targets F.
  • FIGS. 4B and 4C show an abnormal state.
  • the position of the front target F indicated by the detection information P can be represented by, for example, two-dimensional or three-dimensional coordinate data, but is schematically shown in one dimension in the drawing.
  • the control unit 30 can normally acquire the detection information P within a predetermined period A (for example, a period of several seconds) that is set as a period longer than the acquisition period, which is equal to or less than the predetermined number of times.
  • the case where the control unit 30 cannot normally acquire the detection information P means that the detection information P itself cannot be acquired at the timing of the acquisition cycle as shown in FIG. P is missing), or the signal strength of the detection information P is smaller than a predetermined strength, or as shown in FIG. 4C, the detection information P is acquired, but the acquired detection information P is acquired. Is an error value.
  • the case of indicating an error value means that a part of the data forming the detection information P is missing, or that the position indicated by the currently acquired detection information P is relative to the position indicated by the previously detected detection information P. This is the case, for example, when it exceeds a predetermined threshold value.
  • the control unit 30 estimates the abnormal area in which the abnormal state occurs and specifies the degree of the abnormal state that has occurred (step S4). For example, the control unit 30 calculates the estimated movement amount of the front target F based on the difference between the positions indicated by the plurality of pieces of detection information P acquired immediately before the abnormal state occurs, and calculates the estimated movement amount and the abnormal state. The abnormal area is estimated based on the period in which the occurrence of. In addition, the control unit 30 determines the display position in the display area of the virtual image V of the instruction image C indicating the estimated abnormal area. The display position may be a position corresponding to the position indicated by the detection information P acquired immediately before the abnormal state occurs.
  • control unit 30 may simply use an area having a size previously stored in the storage unit 32 as the abnormal area. Further, the control unit 30 specifies the degree of the abnormal state according to the number of times that the detection information P can be normally acquired during the period in which the abnormal state occurs. It can be said that the smaller the number of times the detection information P can be normally acquired in the period, the higher the degree of the abnormal state.
  • the control unit 30 refers to table data stored in advance in the storage unit 32 and configured to correspond to the number of times the detection information P can be normally acquired and the degree (level) of the abnormal state. , Specify the degree of abnormal condition.
  • the control unit 30 may calculate the degree of the abnormal state by using mathematical formula data that can calculate the degree of the abnormal state according to the number of times that the detection information P can be normally acquired.
  • the control unit 30 determines whether or not there are a plurality of front targets F in which an abnormal state has occurred (step S5), and when there are not a plurality of front targets F (step S5; No), an abnormal state has occurred.
  • the instruction image C indicating the abnormal region estimated in step 4 is displayed for one front target F which is the target (step S6).
  • FIG. 6A shows an example in which the front target F as a pedestrian illustrated in FIG. 5 is hidden behind the building 7. If an abnormal state occurs with respect to the predetermined front target F while the notification image W for notifying the predetermined front target F is being displayed, instead of the displayed notification image W (erasing the notification image W). Then, it is preferable to display the instruction image C.
  • the instruction image C is displayed with a lower visibility than the notification image W.
  • the mode with low visibility is, for example, (a) a mode in which the luminance, brightness, and saturation are lower than the notification image W, or (b) the instruction image C is colder than the notification image W displayed in warm color.
  • the instruction image C may be any image as long as it has an image different from the notification image W, and may be, for example, a frame image, a filled image, an icon image showing exclamation marks or arrows, a text image, or the like. is there.
  • the instruction image C may not be displayed at all.
  • control unit 30 estimates the moving direction or the moving direction and the moving amount of the front target F based on the difference between the positions indicated by the plurality of pieces of detection information P acquired immediately before the abnormal state occurs, and the instruction image C 6B, the instruction image C may be enlarged or deformed in accordance with the estimated movement direction of the front target F or the movement direction and the movement amount, as shown in FIG. 6B.
  • the control unit 30 displays the instruction image C including an image indicating the abnormal area and an image (for example, an arrow-shaped image) indicating the estimated movement direction or movement direction and movement amount of the front target F. Good.
  • step S5 When there are a plurality of front targets F in which an abnormal state has occurred (step S5; Yes), as shown in FIG.
  • the instruction image C shown is displayed, and the visibility is controlled according to the degree of abnormality (step S7).
  • FIG. 7A shows a case where there are a first front object F and a second front object F (not shown) as a plurality of front objects F in front of the vehicle 1, and the first front object F is on the back side of the building 7. Is hidden, and the second front object F is hidden behind the building 8.
  • the control unit 30 displays, as the instruction image C, the first instruction image C1 for the first front object F and the second instruction image C2 for the second front object F. Further, the control unit 30 displays the first instruction image C1 and the second instruction image C2 with higher visibility as the degree of the abnormal state specified in step S4 is higher.
  • FIG. 7A shows a case where there are a first front object F and a second front object F (not shown) as a plurality of front objects F in front of the vehicle 1, and the first front object F is on the back side of the building 7. Is hidden, and the second front object F is hidden behind the building 8.
  • the control unit 30 displays, as the instruction image C, the first instruction image C1 for the first front object F
  • the degree of abnormal state of the second instruction image C2 is higher than that of the first instruction image C1, and the visibility of the second instruction image C2 is higher than that of the first instruction image C1. It is an example displayed in a mode.
  • the aspect in which the second instruction image C2 has higher visibility than the first instruction image C1 means, for example, (f) the second instruction image C2 has higher luminance, lightness, and saturation, or ) A mode in which the second instruction image C2 is displayed in a warm color with respect to the first instruction image C1 displayed in a cold color, (K) A mode in which the second instruction image C2 has a lower transparency, or The predetermined image (icon image or text image) that is not included in the first instruction image C1 is not included in the second instruction image C2.
  • each of the plurality of instruction images C is displayed in a mode capable of notifying the moving direction or the moving direction and the moving amount estimated as described above. May be.
  • the visibility of the instruction image C may be controlled according to the degree of the abnormal state. Further, as shown in FIG. 7B, the visibility of the instruction image C is controlled according to the degree of the abnormal state in the instruction image C showing one abnormal area corresponding to one front target F. Good.
  • the control unit 30 may specify the degree of the abnormal state according to the number of times that the detection information P can be normally acquired for each period obtained by dividing the period in which the abnormal state occurs.
  • FIG. 7B shows that in the display area of the instruction image C, the degree of the abnormal state at the central portion is higher than that at the left and right end portions.
  • the control unit 30 determines whether the front target F corresponding to the detection information acquired in step S1 is outside the display area of the virtual image V (step S8), and the front target is determined. If F is outside the display area of the virtual image V (step S8; Yes), the displayed notification image W or instruction image C is erased (step S9). For example, the control unit 30 estimates the moving direction or the moving direction and the moving amount of the front target F based on the difference between the positions indicated by the plurality of pieces of detection information P acquired in time series, and the front target F is outside the display area. It is determined whether or not there is (including that a part of the front target F is outside the display area). When the front target F is not outside the display area of the virtual image V (step S8; No), the control unit 30 performs the process from step S1 again. The above display control process is continuously executed until the HUD device 10 is turned off, for example.
  • the control unit 30 displays at least the instruction image C regarding the front target F closest to the own vehicle 1. You may do so. For example, the control unit 30 displays only one instruction image C regarding the front target F that is closest to the own vehicle 1 when the abnormal state is specified for the three front targets F, or from the own vehicle 1. Control may be performed such that only one instruction image C regarding the front target F having the longest distance is not displayed. (Ii) Further, the control unit 30 displays the notification image W or the instruction image C when the vehicle speed of the own vehicle 1 or the relative speed of the front target F with respect to the own vehicle 1 is equal to or higher than a predetermined speed, and the speed is less than the predetermined speed.
  • control may be performed such that the notification image W or the instruction image C is not displayed.
  • the control unit 30 displays the instruction image. You may perform control which does not display C.
  • the control unit 30 specifies that the user 4 is viewing the notification image W or the instruction image C based on the viewpoint information from the viewpoint detection unit 50, the notification image W or the instruction image C is displayed. May be deleted.
  • the front target detection unit 40 may be configured to receive detection information for identifying the position of the front target F from the outside of the vehicle 1 and supply the received detection information to the control unit 30.
  • the front target detection unit 40 of the configuration has a communication between the vehicle 1 and the wireless network (V2N: Vehicle To Network), a communication between the vehicle 1 and another vehicle (V2V: Vehicle To Vehicle), a communication between the vehicle 1 and a pedestrian. It may be composed of various modules that enable communication (V2P: Vehicle To Pedestrian) and communication between the vehicle 1 and the roadside infrastructure (V2I: Vehicle To roadside Infrastructure).
  • the forward target detection unit 40 is a communication module that can directly access a WAN (Wide Area Network), an external device (such as a mobile router) that can access the WAN, or an access point of a public wireless LAN (Local Area Network). It may be equipped with a communication module or the like for communication and may be used for Internet communication, or may be equipped with a GPS controller that calculates the position of the vehicle 1 based on a GPS (Global Positioning System) signal received from an artificial satellite or the like. .. With these configurations, V2N communication is possible. (Ii) Further, the front target detection unit 40 may include a wireless communication module that conforms to a predetermined wireless communication standard, and may perform V2V or V2P communication.
  • the forward target detection unit 40 has a communication device that wirelessly communicates with the roadside infrastructure, and is installed as an infrastructure from, for example, a base station of a driving safety support system (DSSS: Driving Safety Support Systems). You may acquire the front information of the vehicle 1 via a roadside apparatus. This enables V2I communication.
  • DSSS Driving Safety Support Systems
  • the front target detection unit 40 may be configured to enable V2X (Vehicle To Everything) communication between the vehicle 1 and the outside of the vehicle 1. Then, the front target detection unit 40 is configured by a combination of a plurality of devices among the above-described image pickup device, sensor group, and various modules that enable communication by V2X, and a detection unit controls detection information from each of the plurality of devices. It may be configured to supply to 30. When the configuration is adopted, the control unit 30 may identify that an abnormal state has occurred when some of the plurality of types of detection information that can be obtained from the plurality of devices cannot be obtained. Good. The type of detection information is arbitrary as long as it is information used to identify the position of the front target F.
  • V2X Vehicle To Everything
  • the control unit 30 becomes detection information for identifying the position of the front target F such as a pedestrian or a preceding vehicle acquired from the front target detection unit 40 and an occlusion factor acquired from the front target detection unit 40.
  • Occurrence of an abnormal state, estimation of an abnormal region, and specification of an abnormal degree may be performed based on the detection information for specifying the position or size of the buildings 7, 8.
  • the instruction image C may be displayed. Needless to say.
  • the front target F is not limited to an actual object such as a pedestrian or a preceding vehicle, but may be information specified in front of the vehicle 1.
  • the forward target F may be a POI (Point of Interest) such as a destination or facility preset by the user 4 with a car navigation device or the like, or may be road information of a predetermined location on the road. ..
  • an instruction image C indicating that an abnormal state has occurred may be displayed instead of the notification image W for notifying the POI or road information.
  • the road information referred to here may be information according to information indicated by various road signs such as guide signs, warning signs, regulation signs, and instruction signs.
  • the instruction image C is an image showing an abnormal area
  • the present invention is not limited to this.
  • the instruction image C may not be an abnormal area but may be an icon image or a text image that simply indicates that an abnormality has occurred.
  • the projection target of the display light L is not limited to the windshield 3, and may be a combiner including a plate-shaped half mirror, a hologram element, and the like.
  • the display device that executes the above display control process is not limited to the HUD device 10.
  • the display device may be configured as a head mounted display (HMD: Head Mounted Display) mounted on the head of the user 4 of the vehicle 1. Then, in the image displayed by the HMD as a virtual image, the display control of the notification image W and the instruction image C may be executed by the same method as described above. That is, the display device is not limited to one mounted in the vehicle 1 and may be any device used in the vehicle 1.
  • the HUD device 10 (an example of a display device) described above displays a superimposed image visually recognized by the user 4 (an example of a viewer) as a virtual image V that overlaps with a landscape in front of the vehicle 1.
  • the HUD device 10 includes a control unit 30 that functions as an acquisition unit, a specification unit, and a display control unit.
  • the acquisition unit acquires detection information for specifying the position of the front target F of the vehicle 1 from the front target detection unit 40 (an example of the detection unit).
  • the specifying unit specifies an abnormal state in which the position of the front target F cannot be normally specified based on the detection information acquired by the acquiring unit within the predetermined period A.
  • the display control unit controls the image displayed in the display area of the superimposed image, specifies the position of the front target F based on the detection information acquired by the acquisition unit, and notifies the existence of the front target F.
  • the image W can be displayed.
  • the display control unit displays the instruction image C indicating that the abnormal state has occurred in a mode with lower visibility than the notification image W.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Instrument Panels (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Traffic Control Systems (AREA)

Abstract

正常に前方対象が検知できていない場合に、正常に前方対象が検知されているとの誤解を与えてしまうことを防止することができる表示装置を提供する。 表示装置は、車両の前方風景と重なる虚像Ｖを表示し、取得手段、特定手段及び表示制御手段を備える。取得手段は、車両の前方対象の位置を特定するための検出情報を前方検出部から取得する。特定手段は、取得手段が所定期間内に取得した検出情報に基づき、前方対象の位置を正常に特定することができない状態である異常状態を特定する。表示制御手段は、虚像Ｖの表示領域内に表示される画像の制御を行い、前方対象を報知する報知画像を表示可能である。表示制御手段は、異常状態が特定された場合、報知画像よりも視認性が低い態様で、異常状態が発生していることを示す指示画像Ｃを表示する。

Description

表示装置
　本発明は、表示装置に関する。
　従来の表示装置として、特許文献１には、車両の前方風景と重なる虚像として視認者（主に車両の運転者）に視認される画像を表示するものが開示されている。特許文献１に開示された表示装置は、車両の前方に存在する前方対象の位置を検出し、当該前方対象の存在を報知する報知画像を表示する。
特許第６３９４９４０号公報
　例えば、自車両と前方対象の間に障害物がある状態（オクルージョン）が生じ、前方対象の位置を特定するための検出情報が正常に取得できない場合に正常時と同じ態様で報知画像を表示すると、正常に前方対象が検知されているとの誤解を与える虞がある。
　本発明は、上記実情に鑑みてなされたものであり、正常に前方対象が検知できていない場合に、正常に前方対象が検知されているとの誤解を与えてしまうことを防止することができる表示装置を提供することを目的とする。
　上記目的を達成するため、本発明に係る表示装置は、
　車両の前方風景と重なる虚像として視認者に視認される重畳画像を表示する表示装置であって、
　前記車両の前方対象の位置を特定するための検出情報を検出手段から取得する取得手段と、
　前記取得手段が所定期間内に取得した前記検出情報に基づき、前方対象の位置を正常に特定することができない状態である異常状態を特定する特定手段と、
　前記重畳画像の表示領域内に表示される画像の制御を行い、前記取得手段が取得した前記検出情報に基づいて前方対象の位置を特定し、当該前方対象の存在を報知する報知画像を表示可能な表示制御手段と、を備え、
　前記表示制御手段は、前記特定手段によって前記異常状態が特定された場合、前記報知画像よりも視認性が低い態様で、前記異常状態が発生していることを示す指示画像を表示する。
　本発明によれば、正常に前方対象が検知できていない場合に、正常に前方対象が検知されているとの誤解を与えてしまうことを防止することができる。
本発明の一実施形態に係るヘッドアップディスプレイ（ＨＵＤ）装置の車両への搭載態様を説明するための図である。 車両用表示システムのブロック図である。 表示制御処理の一例を示すフローチャートである。 （ａ）は、前方対象検出における正常状態を説明するための模式図であり、（ｂ）及び（ｃ）は、前方対象検出における異常状態を説明するための模式図である。 報知画像の表示例を示す図である。 （ａ）及び（ｂ）は、指示画像の表示例を示す図である。 （ａ）及び（ｂ）は、指示画像の表示例を示す図である。
　本発明の一実施形態に係る表示装置について図面を参照して説明する。
　本実施形態に係る表示装置は、図２に示す車両用表示システム１００に含まれるＨＵＤ（Head-Up Display）装置１０である。ＨＵＤ装置１０は、図１に示すように、車両１のダッシュボード２の内部に設けられ、車両１に関する情報（以下、車両情報と言う。）だけでなく、車両情報以外の情報も統合的にユーザ４（主に車両１の運転者）に報知する。なお、車両情報は、車両１自体の情報だけでなく、車両１の運行に関連した車両１の外部の情報も含む。
　車両用表示システム１００は、車両１内において構成されるシステムであり、ＨＵＤ装置１０と、前方対象検出部４０と、視点検出部５０と、ＥＣＵ（Electronic Control Unit）６０とを備える。
　ＨＵＤ装置１０は、図１に示すように、フロントガラス３に向けて表示光Ｌを射出する。フロントガラス３で反射した表示光Ｌは、ユーザ４側へと向かう。ユーザ４は、視点をアイボックス５内におくことで、フロントガラス３の前方に表示される表示光Ｌが表す画像を、虚像Ｖとして視認することができる。これにより、ユーザ４は、虚像Ｖを前方風景と重畳させて観察することができる。
　ＨＵＤ装置１０は、図２に示す表示部２０及び制御部３０と、図示しない反射部とを備える。
　表示部２０は、制御部３０の制御により、虚像Ｖとしてユーザ４に視認される重畳画像を表示する。表示部２０は、例えば、ＴＦＴ（Thin Film Transistor）型のＬＣＤ（Liquid Crystal Display）や、ＬＣＤを背後から照明するバックライト等を有する。バックライトは、例えばＬＥＤ（Light Emitting Diode）から構成されている。表示部２０は、制御部３０の制御の下で、バックライトに照明されたＬＣＤが画像を表示することにより表示光Ｌを生成する。生成した表示光Ｌは、反射部で反射した後に、フロントガラス３に向けて射出される。反射部は、例えば、折り返しミラーと凹面鏡の二枚の鏡から構成される。折り返しミラーは、表示部２０から射出された表示光Ｌを折り返して凹面鏡へと向かわせる。凹面鏡は、折り返しミラーからの表示光Ｌを拡大しつつ、フロントガラス３に向けて反射させる。これにより、ユーザ４に視認される虚像Ｖは、表示部２０に表示されている画像が拡大されたものとなる。なお、反射部を構成する鏡の枚数は設計に応じて任意に変更可能である。
　なお、以下では、虚像Ｖとしてユーザ４に視認される画像を表示部２０が表示することを「重畳画像を表示する」とも言う。また、制御部３０が表示部２０の表示制御を行うことを「重畳画像の表示制御を行う」とも言う。また、表示部２０は、重畳画像を表示することができれば、ＬＣＤを用いたものに限られず、ＯＬＥＤ（Organic Light Emitting Diodes）、ＤＭＤ（Digital Micro mirror Device）、ＬＣＯＳ（Liquid Crystal On Silicon）などの表示デバイスを用いたものであってもよい。
　制御部３０は、表示部２０の動作を含むＨＵＤ装置１０の全体動作を制御する。制御部３０は、動作プログラムに従って各処理を行う処理部３１と、当該動作プログラムや各種の画像データを予め記憶するＲＯＭ（Read Only Memory）や、演算結果などを一時的に記憶するＲＡＭ（Random Access Memory）などから構成される記憶部３２と、を備える。処理部３１は、１つ又は複数の、マイクロプロセッサ、マイクロコントローラ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）などから構成される。なお、記憶部３２の少なくとも一部は、処理部３１に内蔵されていてもよい。特に、制御部３０は、虚像Ｖの表示領域内において、後述の報知画像Ｗや指示画像Ｃの表示を制御する。なお、図５等で虚像Ｖが示している点線の枠は、虚像Ｖの表示領域を示し、報知画像Ｗや指示画像Ｃは、当該表示領域内に虚像として視認される画像である。これは、虚像Ｖとしてユーザ４に視認される重畳画像を表示する表示部２０において、当該重畳画像の表示領域内に報知画像Ｗや指示画像Ｃが表示されることと同義である。制御部３０の他の機能については後に述べる。
　制御部３０は、表示部２０、前方対象検出部４０、視点検出部５０及びＥＣＵ６０の各々と、バス６を介して通信可能に接続される。当該通信としては、例えば、ＣＡＮ（Controller Area Network）、Ｅｔｈｅｒｎｅｔ、ＭＯＳＴ（Media Oriented Systems Transport）、ＬＶＤＳ（Low Voltage Differential Signaling）などの方式を適用可能である。
　前方対象検出部４０は、前方対象Ｆを検出するものであり、次に述べる撮像装置とセンサ群のうち、１又は複数の組み合わせから構成される。撮像装置は、車両１（以下、自車１とも言う。）が走行する路面を含む前方風景を撮像するものであり、例えばステレオカメラなどで構成される。撮像装置は、撮像した画像のデータを、図示しない画像解析部を用いて、パターンマッチング法などの公知の手法により画像解析することで、前方対象Ｆの種類や大きさを特定するとともに、自車１から前方対象Ｆまでの距離と、自車１に対する前方対象Ｆの方向とを算出する。また、撮像装置は、当該距離を時間微分することで、自車１に対する前方対象Ｆの相対速度も算出することができる。センサ群は、例えば、自車１から前方対象Ｆまでの距離を測定するＬＩＤＡＲ（Laser Imaging Detection And Ranging)などの測距センサや、前方対象を検出するソナー、超音波センサ、ミリ波レーダ等から構成される。センサ群は、自車１から前方対象Ｆまでの距離と、自車１に対する前方対象Ｆの方向とを検出する。
　制御部３０は、上記のように構成される前方対象検出部４０から、自車１から前方対象Ｆまでの距離、自車１に対する前方対象Ｆの方向、前方対象Ｆの種類や大きさなどを示す検出情報を取得し、取得した検出情報に基づいて、虚像Ｖの表示領域内における前方対象Ｆの位置を特定（算出）する。なお、前方対象検出部４０において前方対象Ｆの位置を算出し、制御部３０は、当該位置を示す検出情報を前方対象検出部４０から直接取得してもよい。また、制御部３０は、前方対象検出部４０が検出した前方対象Ｆが複数ある場合には、複数の前方対象Ｆの各々に識別情報（ＩＤ）を付し、ＩＤに対応する位置情報により、所定の前方対象Ｆの位置を特定する。なお、前方対象Ｆは、例えば、自車１の前方に存在する先行車、歩行者、障害物などである。
　視点検出部５０は、ユーザ４の視点位置（視線方向も含む）を検出する公知の構成であり、例えば、ユーザ４の顔を撮像する赤外線カメラと、赤外線カメラで撮像した画像のデータ（撮像データ）を解析する視点位置解析部と、を有する。視点位置解析部は、撮像データをパターンマッチング法などの公知の手法により画像解析することで、ユーザ４の視点位置を特定し、当該視点位置を示す情報を制御部３０に供給する。
　ＥＣＵ６０は、車両１の各部を制御するものであり、自車１に関する車両情報を制御部３０に供給する。自車１に関する車両情報は、例えば、車速、エンジン回転数、警告情報（燃料低下や、エンジン油圧異常など）などである。制御部３０は、ＥＣＵ６０から取得した車両情報に基づいて重畳画像の表示制御を行い、図５に示すように、虚像Ｖの表示領域内に所定の車両情報を示す画像Ｖ１を表示する。
　制御部３０は、前方対象検出部４０からの検出情報に基づき特定した前方対象Ｆの位置に関する情報と、視点検出部５０から入力されるユーザ４の視点位置に関する情報とに基づき、虚像Ｖの表示領域内における報知画像Ｗの表示位置を演算し、表示部２０の表示動作を制御する。これにより、制御部３０は、実景における前方対象Ｆに対する所望の位置に報知画像Ｗを重畳表示させる。制御部３０は、前方対象検出部４０からの検出情報に基づき、前方対象Ｆの位置を、例えば、二次元（直交座標や極座標）データとして算出する。なお、制御部３０は、記憶部３２のＲＯＭに予め記憶された３Ｄ画像データを用い、３Ｄ表示が可能であってもよい。この場合、前方対象Ｆの位置を、三次元データとして算出してもよい。車両用表示システム１００の構成は以上である。
（表示制御処理）
　続いて、前方対象Ｆの存在を報知する報知画像Ｗを表示するとともに、前方対象検出部４０の検出精度が低下したと見做せる異常状態である場合には、異常状態が発生していることを示す指示画像Ｃを表示する表示制御処理について図３を参照して説明する。表示制御処理は、制御部３０によって実行され、例えば、車両１のイグニッションがオンされた状態において継続して実行される。
　表示制御処理を開始すると、まず、制御部３０は、前方対象検出部４０から所定の取得周期で検出情報を取得する（ステップＳ１）。
　続いて、制御部３０は、予め定めた所定期間内に取得した検出情報に基づき、前方対象Ｆの位置を正常に特定することができない状態である異常状態が発生しているか否かを判別する（ステップＳ２）。後述の手法で特定される異常状態が発生していない（ステップＳ２；Ｎｏ）、つまり正常状態である場合、制御部３０は、ステップＳ１で取得した検出情報に基づき前方対象Ｆの位置を特定し、図５に示すように、実景における前方対象Ｆに対する所望の位置に報知画像Ｗを重畳表示させる（ステップＳ３）。図５は、前方対象Ｆが歩行者である例を示している。なお、報知画像Ｗは、前方対象Ｆの存在を報知することができれば、その表示態様は任意であり、実景における前方対象Ｆに重畳していても、重畳していなくともよい。また、報知画像Ｗは、後述の指示画像Ｃと形態が異なっていればよい。また、制御部３０は、検出された前方対象Ｆが複数ある場合は、複数の前方対象Ｆの各々に対応して報知画像Ｗを表示する。
　ここで、異常状態の特定手法について説明する。図４（ａ）～（ｃ）は、一つの前方対象Ｆについて、所定の取得周期（例えばフレームレート）毎に取得される検出情報Ｐの時系列を模式的に表したものであり、図４（ａ）は正常状態を、図４（ｂ）及び（ｃ）は異常状態を示している。なお、検出情報Ｐが示す前方対象Ｆの位置は、例えば、二次元又は三次元の座標データで表すことができるが、図中では模式的に一次元で示している。制御部３０は、前記の取得周期よりも長い期間として予め定められた所定期間Ａ（例えば、数秒の期間）内において、正常に検出情報Ｐを取得することができた回数が所定回数以下である場合に、異常状態が発生していると特定する。制御部３０が正常に検出情報Ｐを取得することができない場合とは、図４（ｂ）に示すように、取得周期のタイミングにおいて検出情報Ｐ自体を取得することができなかった場合（検出情報Ｐの取りこぼしがあった場合）、又は検出情報Ｐの信号強度が所定の強度よりも小さかった場合や、図４（ｃ）に示すように、検出情報Ｐは取得したが、取得した検出情報Ｐがエラー値を示す場合である。エラー値を示す場合とは、検出情報Ｐを構成するデータの一部が欠損している場合や、現在取得した検出情報Ｐが示す位置が前回以前に取得した検出情報Ｐが示す位置に対して予め定めた閾値を超えていた場合などである。
　異常状態が発生している場合（ステップＳ２；Ｙｅｓ）、制御部３０は、異常状態が発生する異常領域を推定するとともに、発生した異常状態の程度を特定する（ステップＳ４）。例えば、制御部３０は、異常状態が発生する直前に取得した、複数の検出情報Ｐが示す位置の差分に基づいて、前方対象Ｆの推定移動量を算出し、算出した推定移動量と異常状態が発生している期間とに基づき異常領域を推定する。併せて、制御部３０は、推定した異常領域を示す指示画像Ｃの虚像Ｖの表示領域内における表示位置を決定する。当該表示位置は、異常状態が発生する直前に取得した検出情報Ｐが示す位置に応じた位置であればよい。なお、制御部３０は、異常領域として、単に、予め記憶部３２に記憶しておいた大きさの領域を用いてもよい。また、制御部３０は、異常状態の程度を、異常状態が発生している期間における、正常に検出情報Ｐを取得することができた回数に応じて特定する。当該期間において、正常に検出情報Ｐを取得することができた回数が少なければ少ないほど、異常状態の程度が高いと言える。例えば、制御部３０は、記憶部３２に予め記憶された、正常に検出情報Ｐを取得することができた回数と異常状態の程度（レベル）とが対応して構成されるテーブルデータを参照し、異常状態の程度を特定する。なお、制御部３０は、正常に検出情報Ｐを取得することができた回数に応じて異常状態の程度を算出可能な数式データを用いて、異常状態の程度を算出してもよい。
　続いて、制御部３０は、異常状態が発生している前方対象Ｆが複数あるか否か判別し（ステップＳ５）、当該前方対象Ｆが複数ない場合（ステップＳ５；Ｎｏ）、異常状態の発生対象である一つの前方対象Ｆについて、図６（ａ）に示すように、ステップ４で推定した異常領域を示す指示画像Ｃを表示する（ステップＳ６）。図６（ａ）は、図５に例示する歩行者としての前方対象Ｆが、建物７の裏側に隠れてしまった例を示している。なお、所定の前方対象Ｆを報知する報知画像Ｗの表示中に、当該所定の前方対象Ｆについての異常状態が発生した場合は、表示されていた報知画像Ｗに代えて（報知画像Ｗを消去して）、指示画像Ｃを表示することが好ましい。
　指示画像Ｃは、報知画像Ｗよりも視認性が低い態様で表示される。視認性が低い態様とは、例えば、（ア）報知画像Ｗよりも輝度、明度、彩度が低い態様や、（イ）暖色で表示される報知画像Ｗに対して指示画像Ｃのほうが寒色で表示される態様や、（ウ）報知画像Ｗよりも透明度が高い態様や、（エ）報知画像Ｗに含まれていた所定画像（アイコン画像やテキスト画像）が、指示画像Ｃでは無くなる態様などである。また、指示画像Ｃは、報知画像Ｗと異なる形態の画像であれば任意であり、例えば、枠状の画像、塗りつぶし状の画像、エクスクラメーションマークや矢印などを示すアイコン画像、テキスト画像などである。なお、報知画像Ｗよりも視認性が低い他の態様として、指示画像Ｃを全く表示しなくともよい。
　また、制御部３０は、異常状態が発生する直前に取得した、複数の検出情報Ｐが示す位置の差分に基づいて、前方対象Ｆの移動方向あるいは移動方向及び移動量を推定し、指示画像Ｃを表示する際に、図６（ｂ）に示すように、推定した前方対象Ｆの移動方向あるいは移動方向及び移動量に応じて指示画像Ｃを拡大したり変形させたりしてもよい。なお、制御部３０は、異常領域を示す画像と、推定した前方対象Ｆの移動方向あるいは移動方向及び移動量を示す画像（例えば矢印状の画像）とから構成される指示画像Ｃを表示してもよい。
　異常状態が発生している前方対象Ｆが複数ある場合（ステップＳ５；Ｙｅｓ）、異常状態の発生対象である複数の前方対象Ｆの各々について、図７（ａ）に示すように、異常領域を示す指示画像Ｃを表示するとともに、異常の程度に応じて視認性を制御する（ステップＳ７）。
　図７（ａ）は、自車１の前方に複数の前方物体Ｆとして、図示しない第１の前方物体Ｆ及び第２の前方物体Ｆがある場合、建物７の裏側に第１の前方物体Ｆが隠れ、建物８の裏側に第２の前方物体Ｆが隠れてしまった例を示している。この場合、制御部３０は、指示画像Ｃとして、第１の前方物体Ｆについて第１の指示画像Ｃ１を表示し、第２の前方物体Ｆについて第２の指示画像Ｃ２を表示する。また、制御部３０は、第１の指示画像Ｃ１と第２の指示画像Ｃ２とを、ステップＳ４で特定した異常状態の程度が高いものほど視認性を高く表示する。図７（ａ）は、第１の指示画像Ｃ１よりも第２の指示画像Ｃ２のほうが異常状態の程度が高く、第１の指示画像Ｃ１よりも第２の指示画像Ｃ２のほうが視認性が高い態様で表示されている例である。第１の指示画像Ｃ１よりも第２の指示画像Ｃ２のほうが視認性が高い態様とは、例えば、（カ）第２の指示画像Ｃ２のほうが輝度、明度、彩度が高い態様や、（キ）寒色で表示される第１の指示画像Ｃ１に対して第２の指示画像Ｃ２のほうが暖色で表示される態様や、（ク）第２の指示画像Ｃ２のほうが透明度が低い態様や、（ケ）第１の指示画像Ｃ１には含まれていない所定画像（アイコン画像やテキスト画像）が、第２の指示画像Ｃ２に含まれるでは無くなる態様などである。
　なお、異常状態の発生対象である前方対象Ｆが３つ以上ある場合についても同様である。また、異常状態の発生対象である前方対象Ｆが複数ある場合も、複数の指示画像Ｃの各々を、前述のように推定された移動方向あるいは移動方向及び移動量を報知可能な態様で表示してもよい。
　また、異常状態の発生対象である前方対象Ｆが１つである場合についても、異常状態の程度に応じて指示画像Ｃの視認性を制御してもよい。さらには、図７（ｂ）に示すように、１つの前方対象Ｆに対応する１つの異常領域を示す指示画像Ｃ内において、異常状態の程度に応じて指示画像Ｃの視認性を制御してもよい。例えば、制御部３０は、当該異常状態の程度を、異常状態が発生している期間を分割した期間毎に、正常に検出情報Ｐを取得することができた回数に応じて特定すればよい。図７（ｂ）は、指示画像Ｃの表示領域のうち、左右両端部に比べて中央部の異常状態の程度が高いことを示している。
　ステップＳ３、Ｓ６、Ｓ７の実行後、制御部３０は、ステップＳ１で取得した検出情報に応じた前方対象Ｆが虚像Ｖの表示領域外にあるか否かを判別し（ステップＳ８）、前方対象Ｆが虚像Ｖの表示領域外にある場合（ステップＳ８；Ｙｅｓ）、表示していた報知画像Ｗ又は指示画像Ｃを消去する（ステップＳ９）。例えば、制御部３０は、時系列で取得した複数の検出情報Ｐが示す位置の差分に基づいて、前方対象Ｆの移動方向あるいは移動方向及び移動量を推定し、前方対象Ｆが表示領域外にある（前方対象Ｆの一部が表示領域外にあることを含む）か否かを判別する。前方対象Ｆが虚像Ｖの表示領域外にない場合（ステップＳ８；Ｎｏ）、制御部３０は、再びステップＳ１の処理から実行する。以上の表示制御処理は、例えばＨＵＤ装置１０がオフされるまで継続して実行される。
（ｉ）なお、以上の表示制御処理において、制御部３０は、複数の前方対象Ｆについて異常状態を特定した場合、少なくとも、自車１からの距離が最も近い前方対象Ｆに関する指示画像Ｃを表示するようにしてもよい。例えば、制御部３０は、３つの前方対象Ｆについて異常状態が特定した場合、自車１からの距離が最も近い前方対象Ｆに関する１つの指示画像Ｃだけを表示する、又は、自車１からの距離が最も遠い前方対象Ｆに関する１つの指示画像Ｃだけを表示しない、といった制御を行ってもよい。（ｉｉ）また、制御部３０は、自車１の車速あるいは自車１に対する前方対象Ｆの相対速度が、所定速度以上の場合に報知画像Ｗ又は指示画像Ｃを表示し、当該所定速度未満の場合には報知画像Ｗ又は指示画像Ｃを表示しない、といった制御を行ってもよい。（ｉｉｉ）また、制御部３０は、虚像Ｖの表示領域内に表示されているコンテンツ画像（報知画像Ｗや車両情報を示す画像Ｖ１を含む）の数が所定数以上の場合には、指示画像Ｃを表示しない制御を行ってもよい。（ｉｖ）また、制御部３０は、視点検出部５０からの視点情報に基づき、ユーザ４が報知画像Ｗ又は指示画像Ｃを視認していると特定した場合には、報知画像Ｗ又は指示画像Ｃを消去するようにしてもよい。
　以上の（ｉ）～（ｉｖ）の制御を追加することで、条件に応じて報知画像Ｗや指示画像Ｃを表示することができるとともに、情報過多によりユーザ４に煩雑さを与えることを抑制することができる。
　なお、本発明は以上の実施形態、変形例、及び図面によって限定されるものではない。本発明の要旨を変更しない範囲で、適宜、変更（構成要素の削除も含む）を加えることが可能である。
　以上では、前方対象検出部４０が自車１から前方対象Ｆをセンシングする構成例を説明したが、これに限られない。前方対象検出部４０は、自車１の外部から前方対象Ｆの位置を特定するための検出情報を受信し、受信した検出情報を制御部３０に供給する構成であってもよい。当該構成の前方対象検出部４０は、車両１とワイヤレスネットワークとの通信（Ｖ２Ｎ：Vehicle To cellular Network）、車両１と他車両との通信（Ｖ２Ｖ：Vehicle To Vehicle）、車両１と歩行者との通信（Ｖ２Ｐ：Vehicle To Pedestrian）、車両１と路側のインフラとの通信（Ｖ２Ｉ：Vehicle To roadside Infrastructure）を可能とする各種モジュールから構成すればよい。例えば、（ｉ）前方対象検出部４０は、ＷＡＮ（Wide Area Network）に直接アクセスできる通信モジュール、ＷＡＮにアクセス可能な外部装置（モバイルルータなど）や公衆無線ＬＡＮ（Local Area Network）のアクセスポイント等と通信するための通信モジュールなどを備え、インターネット通信を行ってもよいし、人工衛星などから受信したＧＰＳ（Global Positioning System）信号に基づいて車両１の位置を算出するＧＰＳコントローラを備えていてもよい。これらの構成により、Ｖ２Ｎによる通信が可能である。（ｉｉ）また、前方対象検出部４０は、所定の無線通信規格に準拠した無線通信モジュールを備え、Ｖ２ＶやＶ２Ｐによる通信を行ってもよい。（ｉｉｉ）また、前方対象検出部４０は、路側のインフラと無線通信する通信装置を有し、例えば、安全運転支援システム（ＤＳＳＳ：Driving Safety Support Systems）の基地局から、インフラストラクチャーとして設置された路側無線装置を介して、車両１の前方情報を取得してもよい。これによりＶ２Ｉによる通信が可能となる。
　つまり、前方対象検出部４０は、車両１と車両１の外部との間でＶ２Ｘ(Vehicle To Everything）による通信を可能とする構成であってもよい。そして、前方対象検出部４０が、前記の撮像装置やセンサ群、Ｖ２Ｘによる通信を可能とする各種モジュールのうち、複数の装置の組み合わせから構成され、当該複数の装置の各々から検出情報を制御部３０に供給する構成としてもよい。当該構成を採用した場合、制御部３０は、当該複数の装置から取得可能な複数種類の検出情報のうち、一部が取得できなかった場合に、異常状態が発生していると特定してもよい。なお、検出情報の種別は、前方対象Ｆの位置を特定するために用いられる情報であれば、任意である。
　以上では、所定の前方対象Ｆに係る検出情報に基づき、当該所定の前方対象Ｆの位置検出に関する異常が発生していることを特定した例を説明したが、これに限られない。例えば、制御部３０は、前方対象検出部４０から取得した、歩行者や先行車などの前方対象Ｆの位置を特定するための検出情報と、前方対象検出部４０から取得した、オクルージョン要因となる建物７、８などの位置や大きさを特定するための検出情報とに基づき、異常状態の発生、異常領域の推定、異常程度の特定を行ってもよい。また、実際にオクルージョン要因となる建物７、８が存在しているか否かにかかわらず、上記の表示制御処理で異常状態の発生が特定できた場合は、指示画像Ｃを表示してもよいことは言うまでもない。
　また、前方対象Ｆは、歩行者や先行車などの実在する物体に限られず、車両１の前方で特定される情報であってもよい。例えば、前方対象Ｆは、ユーザ４がカーナビゲーション装置などで予め設定した目的地や施設などのＰＯＩ（Point of Interest）であってもよいし、道路上における所定箇所の道路情報であってもよい。そして、異常状態が発生した場合は、ＰＯＩや道路情報を報知するための報知画像Ｗに代えて、異常状態が発生していることを示す指示画像Ｃを表示するようにしてもよい。なお、ここで言う道路情報とは、案内標識、警戒標識、規制標識、指示標識などの各種の道路標識が示す情報に準じた情報であればよい。
　以上では、指示画像Ｃが異常領域を示す画像である例を示したが、これに限られない。例えば、指示画像Ｃは、異常領域を示すものでなく、単に異常が発生していることを示すアイコン画像やテキスト画像であってもよい。
　表示光Ｌの投射対象は、フロントガラス３に限定されず、板状のハーフミラー、ホログラム素子等により構成されるコンバイナであってもよい。また、以上の表示制御処理を実行する表示装置としては、ＨＵＤ装置１０に限られない。表示装置は、車両１のユーザ４の頭部に装着されるヘッドマウントディスプレイ（ＨＭＤ：Head Mounted Display）として構成されてもよい。そして、ＨＭＤが虚像として表示する画像において、報知画像Ｗや指示画像Ｃの表示制御を、前述と同様な手法で実行してもよい。つまり、表示装置は、車両１に搭載されているものに限られず、車両１で使用されるものであればよい。
　以上に説明したＨＵＤ装置１０（表示装置の一例）は、車両１の前方風景と重なる虚像Ｖとしてユーザ４（視認者の一例）に視認される重畳画像を表示する。ＨＵＤ装置１０は、取得手段、特定手段及び表示制御手段として機能する制御部３０を備える。取得手段は、車両１の前方対象Ｆの位置を特定するための検出情報を前方対象検出部４０（検出手段の一例）から取得する。特定手段は、取得手段が所定期間Ａ内に取得した検出情報に基づき、前方対象Ｆの位置を正常に特定することができない状態である異常状態を特定する。表示制御手段は、重畳画像の表示領域内に表示される画像の制御を行い、取得手段が取得した検出情報に基づいて前方対象Ｆの位置を特定し、当該前方対象Ｆの存在を報知する報知画像Ｗを表示可能である。表示制御手段は、特定手段によって異常状態が特定された場合、報知画像Ｗよりも視認性が低い態様で、異常状態が発生していることを示す指示画像Ｃを表示する。
　このように指示画像Ｃを表示することで、ユーザ４はセンシング精度が低下していることを認識することができる。つまり、正常に前方対象Ｆが検知できていない場合に、正常に前方対象Ｆが検知されているとの誤解をユーザ４に与えてしまうことを防止することができる。
　以上の説明では、本発明の理解を容易にするために、公知の技術的事項の説明を適宜省略した。
　１００…車両用表示システム
　　１０…ＨＵＤ装置
　　２０…表示部
　　３０…制御部
　　４０…前方対象検出部
　　５０…視点検出部
　　６０…ＥＣＵ
　　　１…車両、２…ダッシュボード、３…フロントガラス
　　　４…ユーザ、５…アイボックス、６…バス
　　　７，８…建物
　　　Ｆ…前方対象
　　　Ｌ…表示光
　　　Ｖ…虚像
　　Ｖ１…車両情報を示す画像
　　　Ｗ…報知画像
　　　Ｃ…指示画像（Ｃ１…第１の指示画像、Ｃ２…第２の指示画像）

Claims (8)

  1. 　車両の前方風景と重なる虚像として視認者に視認される重畳画像を表示する表示装置であって、
    　前記車両の前方対象の位置を特定するための検出情報を検出手段から取得する取得手段と、
    　前記取得手段が所定期間内に取得した前記検出情報に基づき、前方対象の位置を正常に特定することができない状態である異常状態を特定する特定手段と、
    　前記重畳画像の表示領域内に表示される画像の制御を行い、前記取得手段が取得した前記検出情報に基づいて前方対象の位置を特定し、当該前方対象の存在を報知する報知画像を表示可能な表示制御手段と、を備え、
    　前記表示制御手段は、前記特定手段によって前記異常状態が特定された場合、前記報知画像よりも視認性が低い態様で、前記異常状態が発生していることを示す指示画像を表示する、
    　表示装置。
  2. 　前記表示制御手段は、前記報知画像の表示中に前記異常状態が特定された場合、前記報知画像を消去して前記指示画像を表示する、
    　請求項１に記載の表示装置。
  3. 　前記表示制御手段は、複数の前方対象について前記異常状態が特定された場合、少なくとも、前記車両からの距離が最も近い前方対象に関する前記指示画像を表示する、
    　請求項１又は２に記載の表示装置。
  4. 　前記特定手段は、前記取得手段が所定期間内に取得した前記検出情報に基づき、前記異常状態の程度を特定し、
    　前記表示制御手段は、複数の前方対象について前記異常状態が特定された場合、前記異常状態の程度が高いものを示す前記指示画像ほど視認性を高く表示する、
    　請求項１乃至３のいずれか１項に記載の表示装置。
  5. 　前記特定手段は、前記取得手段が所定期間内に取得した前記検出情報に基づき、前記異常状態が発生する異常領域を推定し、
    　前記表示制御手段は、前記指示画像として前記異常領域を示す画像を表示する、
    　請求項１乃至４のいずれか１項に記載の表示装置。
  6. 　前記特定手段は、前記取得手段が所定期間内に取得した前記検出情報に基づき、前記異常領域における前方対象の移動方向を推定し、
    　前記表示制御手段は、前記特定手段によって推定された移動方向を報知可能な態様で前記指示画像を表示する、
    　請求項５に記載の表示装置。
  7. 　前記特定手段は、所定期間内において、前記取得手段が前記検出情報を正常に取得した回数が所定回数以下である場合に、前記異常状態が生じていると特定する、
    　請求項１乃至６のいずれか１項に記載の表示装置。
  8. 　前記指示画像は、前記報知画像と異なる形態で表示される、
    　請求項１乃至７のいずれか１項に記載の表示装置。
PCT/JP2019/046082 2018-11-28 2019-11-26 表示装置 WO2020111036A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020557724A JP7435465B2 (ja) 2018-11-28 2019-11-26 表示装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-222882 2018-11-28
JP2018222882 2018-11-28

Publications (1)

Publication Number Publication Date
WO2020111036A1 true WO2020111036A1 (ja) 2020-06-04

Family

ID=70853926

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/046082 WO2020111036A1 (ja) 2018-11-28 2019-11-26 表示装置

Country Status (2)

Country Link
JP (1) JP7435465B2 (ja)
WO (1) WO2020111036A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022062480A (ja) * 2020-10-08 2022-04-20 トヨタ自動車株式会社 車両表示システム及び車両表示方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004330972A (ja) * 2003-05-09 2004-11-25 Honda Motor Co Ltd 車両の走行安全装置
JP2005106651A (ja) * 2003-09-30 2005-04-21 Mazda Motor Corp 車両用情報提供装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004330972A (ja) * 2003-05-09 2004-11-25 Honda Motor Co Ltd 車両の走行安全装置
JP2005106651A (ja) * 2003-09-30 2005-04-21 Mazda Motor Corp 車両用情報提供装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022062480A (ja) * 2020-10-08 2022-04-20 トヨタ自動車株式会社 車両表示システム及び車両表示方法
US11741920B2 (en) 2020-10-08 2023-08-29 Toyota Jidosha Kabushiki Kaisha Vehicle display system and vehicle display method
JP7388329B2 (ja) 2020-10-08 2023-11-29 トヨタ自動車株式会社 車両表示システム及び車両表示方法

Also Published As

Publication number Publication date
JPWO2020111036A1 (ja) 2021-11-04
JP7435465B2 (ja) 2024-02-21

Similar Documents

Publication Publication Date Title
US11752870B2 (en) Vehicle
US11247605B2 (en) Image projection apparatus configured to project an image on a road surface
US9818206B2 (en) Display device
EP3330117B1 (en) Vehicle display device
US20200051435A1 (en) Information processing apparatus, information processing method, program, and movable object
US20180031834A1 (en) Vehicle display device
JP2015099469A (ja) 車両情報投影システム
CN108702488B (zh) 投影型显示装置、投影显示方法、计算机可读取存储介质
CN109968977B (zh) 显示系统
US11176749B2 (en) In-vehicle display device three-dimensional image generation
JP2016112984A (ja) 車両用虚像表示システム、ヘッドアップディスプレイ
JP2019202589A (ja) 表示装置
CN114466761A (zh) 平视显示器及图像显示系统
WO2020111036A1 (ja) 表示装置
JP7459883B2 (ja) 表示制御装置、ヘッドアップディスプレイ装置、及び方法
JPWO2018030320A1 (ja) 車両用表示装置
JP2019206262A (ja) 表示装置
JP2020047153A (ja) 表示装置
WO2020040276A1 (ja) 表示装置
JP2019077340A (ja) ヘッドアップディスプレイ装置
JP2018167669A (ja) ヘッドアップディスプレイ装置
JP7063571B2 (ja) 表示制御装置、表示システム及び表示制御方法
JP2019207632A (ja) 表示装置
JP7338632B2 (ja) 表示装置
JP2019110390A (ja) 車両周辺監視装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19891007

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020557724

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19891007

Country of ref document: EP

Kind code of ref document: A1