WO2016166887A1 - 表示制御装置、表示システム、表示制御方法および表示制御プログラム - Google Patents

表示制御装置、表示システム、表示制御方法および表示制御プログラム Download PDF

Info

Publication number
WO2016166887A1
WO2016166887A1 PCT/JP2015/061863 JP2015061863W WO2016166887A1 WO 2016166887 A1 WO2016166887 A1 WO 2016166887A1 JP 2015061863 W JP2015061863 W JP 2015061863W WO 2016166887 A1 WO2016166887 A1 WO 2016166887A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
obstacle
relative distance
displayed
information
Prior art date
Application number
PCT/JP2015/061863
Other languages
English (en)
French (fr)
Inventor
脩平 太田
敬 平野
太郎 熊谷
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2015/061863 priority Critical patent/WO2016166887A1/ja
Priority to JP2017512169A priority patent/JP6223630B2/ja
Priority to DE112015006458.3T priority patent/DE112015006458B4/de
Priority to CN201580078931.6A priority patent/CN107710751B/zh
Priority to US15/561,346 priority patent/US10410423B2/en
Publication of WO2016166887A1 publication Critical patent/WO2016166887A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/211Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays producing three-dimensional [3D] effects, e.g. stereoscopic images
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/29Instruments characterised by the way in which information is handled, e.g. showing information on plural displays or prioritising information according to driving conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80Arrangements for controlling instruments
    • B60K35/81Arrangements for controlling instruments for controlling displays
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/165Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/156Mixing image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/18Information management
    • B60K2360/186Displaying information according to relevancy
    • B60K2360/1868Displaying information according to relevancy according to driving situations
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/33Illumination features
    • B60K2360/334Projection means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2004Aligning objects, relative positioning of parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/361Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background

Definitions

  • the present invention relates to a display control device, a display system, a display control method, and a display control program for controlling a display device that can display a display object as a stereoscopic image on a real landscape.
  • a HUD (Head Up Display) type display device mounted on a vehicle can confirm necessary information without almost removing the line of sight from the foreground visual field while the driver is driving (see, for example, Patent Document 1).
  • HUDs that can display a three-dimensional stereoscopic image by adding a depth direction to the display position of information have been proposed (see, for example, Patent Document 2).
  • the display object of the stereoscopic image is displayed by being superimposed on the object of the real scenery, so that the parallax between the display object and the object is eliminated, so that the driver can visually recognize the information more intuitively.
  • the display device moves the display position of the display object to a position in the depth direction similar to that of the obstacle when the penetration through the display object of the planar image occurs.
  • the visibility of the display object is improved by overlapping the display with the object, the display object of the flat image is targeted for display in this display device, and the penetration of the display object of the stereoscopic image is considered. Absent. Therefore, there is still a problem that a phenomenon in which a stereoscopic image display object penetrates an obstacle occurs.
  • the present invention has been made to solve the above-described problems, and an object of the present invention is to prevent a phenomenon in which a display object is displayed through an obstacle in a display device capable of displaying a three-dimensional stereoscopic image.
  • a display control device controls a display device that can display a display object as a stereoscopic image on a real landscape, and includes an information acquisition unit that acquires information on a moving object and surroundings, and information acquisition The relative distance between the display obstacle and the moving object is estimated using the information acquired by the unit, and it is determined whether or not there is a display obstacle between the display object and the moving object displayed superimposed on the actual landscape.
  • An information analysis unit to determine, and a display determination unit that changes the display mode of the display object according to the amount of change in the relative distance when it is determined by the information analysis unit that a display obstacle exists between the display object and the moving object
  • a display instruction unit for instructing the display device to display the display object in the display mode changed by the display determination unit.
  • the display when there is a display obstacle between a display object that is displayed superimposed on the actual landscape and the moving object, the display is performed according to the amount of change in the relative distance between the display obstacle and the moving object. Since the display mode of the object is changed, it is possible to prevent a phenomenon in which the display object is displayed through the display obstacle in the display device capable of displaying a three-dimensional stereoscopic image.
  • FIG. 3 is a flowchart showing an operation of the display control apparatus according to the first embodiment.
  • 3 is a diagram illustrating a positional relationship among a display object, a vehicle, and a display obstacle in the first embodiment.
  • FIG. 5 is a diagram illustrating an example in which a display mode of a display object is changed in Embodiment 1.
  • FIG. 2 is a hardware configuration diagram of the display system according to Embodiment 1.
  • FIG. It is a block diagram which shows the structural example of the display system which concerns on Embodiment 2 of this invention.
  • 10 is a diagram illustrating an example in which a display mode of a display object is changed in Embodiment 2.
  • FIG. 10 is a flowchart illustrating an operation of the display control apparatus according to the second embodiment. It is a block diagram which shows the structural example of the display system which concerns on Embodiment 3 of this invention.
  • 14 is a flowchart illustrating an operation of the display control apparatus according to the third embodiment.
  • FIG. 1 It is a figure which shows the example of a display mode change of a display thing in case the classification of a display obstruction is climbing in Embodiment 3.
  • FIG. It is a figure which shows the example of a display mode change of the display thing in case the classification of a display obstruction is the roadside installation in Embodiment 3.
  • FIG. It is a figure which shows the example of a display mode change of the display thing in case the classification of a display obstruction is Embodiment in Embodiment 3.
  • FIG. 1 is a block diagram showing a configuration example of a display system according to Embodiment 1 of the present invention.
  • the display system is mounted on a vehicle and includes a HUD 1 capable of displaying a display object as a three-dimensional stereoscopic image or a two-dimensional planar image, and a display control device 10 that controls the HUD 1. .
  • the display controller 10 includes at least one of an in-vehicle camera 2, an out-of-vehicle camera 3, a GPS (Global Positioning System) receiver 4, a CAN (Controller Area Network) 5, a car navigation device 6, and a laser radar 7 as peripheral devices. Are connected.
  • GPS Global Positioning System
  • CAN Controller Area Network
  • the HUD 1 displays a display object as a stereoscopic image or a planar image in accordance with an instruction from the display control device 10 to be described later.
  • the HUD 1 has a configuration in which, for example, an image of a display object is displayed on a high-brightness liquid crystal display, and the display object is visually recognized by a driver by reflecting the screen of the liquid crystal display with a half mirror.
  • the half mirror may be a windshield of a vehicle, a combiner installed between the windshield and the driver, or the like. With this configuration, the driver can see the actual scenery seen through the windshield and the display object overlapping each other.
  • the display control device 10 acquires the positional relationship between the host vehicle, the display object, and the display obstacle using the information acquisition unit 11 that acquires information about the host vehicle and the surroundings of the host vehicle from peripheral devices, and the information acquired by the information acquisition unit 11.
  • the information analysis unit 12 to be analyzed, the display determination unit 13 that changes the display mode of the display object according to the positional relationship analyzed by the information analysis unit 12, and the display item that is displayed in the display mode changed by the display determination unit 13
  • a display instruction unit 14 for instructing the HUD 1.
  • the display object is an image displayed on the HUD 1.
  • the display object is, for example, navigation information output from the car navigation device 6, and the navigation information includes a guidance arrow indicating the direction of turning at the next guidance point, the distance to the next guidance point, the name of the guidance point, highway traveling There are information signs indicating the parking area or junction at the time, and the name of the destination.
  • the display object is information such as the inter-vehicle distance between the host vehicle and the preceding vehicle detected by the outside camera 3 or the laser radar 7, for example.
  • the display object is CAN information such as the speed, steering angle, fuel remaining amount, or warning of the own vehicle transmitted and received between the in-vehicle devices through the CAN 5. Note that the information content of the display object is not limited to these examples, and may be anything as long as it can be displayed on the HUD 1.
  • the display mode includes the information content of the display object, the display position, the display shape, the size, the dimension of the image (planar image, stereoscopic image), and the like.
  • a stereoscopic image is a display object that appears to have a depth for the driver, and a planar image is a display object that appears to have no depth displayed only on a predetermined plane.
  • a display object displayed as a stereoscopic image on the HUD 1 is called a “stereoscopic display object”, and a display object displayed as a planar image is called a “planar display object”.
  • the HUD 1 uses, for example, an illusion that uses a right-eye image and a left-eye image to make a display object a two-dimensional image or a three-dimensional image.
  • the display position is a position visually recognized by the driver of the display object displayed by the HUD 1.
  • the HUD 1 can change the display position of the display object in the depth direction, the up-down direction, and the left-right direction as viewed from the driver.
  • the depth direction is a direction from the driver side toward the front of the vehicle.
  • the HUD 1 changes the display position of the display object using the above-described illusion, or changes the display position of the display object by moving a projector or a half mirror.
  • the display shape is the shape of the display object displayed by the HUD 1.
  • the display mode changing method is not limited to the above example.
  • FIG. 2A shows an example in which the display object is displayed as a planar image.
  • the HUD 1 superimposes and displays a planar display object 102a such as “Proceeding Vehicle 60 km / h” indicating that the front vehicle 101 is traveling at 60 km / h, for example, in an actual scenery in front of the vehicle where the forward vehicle 101 exists.
  • a planar display object 102a such as “Proceeding Vehicle 60 km / h” indicating that the front vehicle 101 is traveling at 60 km / h, for example, in an actual scenery in front of the vehicle where the forward vehicle 101 exists.
  • the driver can visually recognize the flat display object 102a with almost no line of sight from the foreground visual field.
  • the front vehicle 101 and the plane are in accordance with the relative distance between the front vehicle 101 and the host vehicle.
  • a parallax occurs between the display object 102a and the display object 102a.
  • the display object is displayed as a stereoscopic image is shown in FIG.
  • the HUD 1 changes the display position according to the relative distance between the front vehicle 101 and the host vehicle so that the three-dimensional display object 102b is displayed on the front vehicle 101, whereby the front vehicle 101 and the three-dimensional display object 102b are changed. Since the parallax is eliminated, the driver can intuitively understand the contents of the stereoscopic display object 102b.
  • FIG. 3A shows an example when the display object is displayed as a planar image
  • FIG. 3B shows an example when the display object is displayed as a stereoscopic image
  • the arrow-shaped flat display object 104a and the three-dimensional display object 104b are guide arrows that indicate the direction in which the host vehicle turns at the next guide point.
  • the three-dimensional display object 104b displayed in a three-dimensional manner superimposed on the road 103 as shown in FIG. 3B.
  • the driver can intuitively understand the direction and place of the next turn.
  • the information acquisition unit 11 acquires information about the own vehicle or the vicinity of the own vehicle from the in-vehicle camera 2, the outside camera 3, the GPS receiver 4, the CAN 5, the car navigation device 6, and the laser radar 7.
  • vehicle information the information on the own vehicle
  • peripheral information the information around the own vehicle
  • the information analysis unit 12 analyzes the vehicle information and the surrounding information acquired by the information acquisition unit 11, determines a display object to be displayed on the HUD 1, and outputs it to the display determination unit 13. It is assumed that initial display form information defining an initial display form for each type of display object is stored in the display control device 10 in advance.
  • the information analysis unit 12 analyzes the vehicle information and surrounding information acquired by the information acquisition unit 11, and determines the situation of the own vehicle, the situation around the own vehicle, and the situation of drivers and passengers in the own vehicle. To do.
  • the information analysis unit 12 determines whether or not there is a display obstacle around the host vehicle based on the situation around the host vehicle. If there is a display obstacle, the information analysis unit 12 Estimate and store the relative distance and type. And the information analysis part 12 acquires the information of the display position of the display thing currently displayed on HUD1 from the display judgment part 13, judges whether there is a display obstacle between a display thing and the own vehicle, The relative distance and the determination result are output to the display determination unit 13.
  • the display obstacle is, for example, a vehicle existing around the host vehicle, a roadside installation such as a guard rail, or an uphill, and is an obstacle that may be displayed so that the display can penetrate.
  • the situation of the host vehicle is, for example, the speed, steering angle, current position, or traveling direction of the host vehicle.
  • the information analysis unit 12 is, for example, a captured image inside the host vehicle captured by the in-vehicle camera 2, a captured image around the host vehicle captured by the outside camera 3, GPS information received from the GPS satellite by the GPS receiver 4, and transmission / reception through the CAN 5
  • the situation of the host vehicle is determined using the CAN information to be performed, the navigation information generated by the car navigation device 6 or the like.
  • the situation around the host vehicle includes, for example, the position of other vehicles around the host vehicle, the presence and position of roadside installations such as guardrails, the number of road lanes, the degree of road bending, or road conditions such as uphill and downhill Etc.
  • the information analysis unit 12 is, for example, a captured image around the host vehicle captured by the outside camera 3, GPS information of the GPS receiver 4, CAN information of CAN 5, map information of the car navigation device 6, or tertiary detected by the laser radar 7. The situation around the host vehicle is determined using the original information.
  • the driver's situation is, for example, the driver's line of sight or the position of the head.
  • the information analysis part 12 judges a driver
  • the display determination unit 13 is information such as display object information displayed on the HUD 1, a relative distance between the display obstacle and the host vehicle, and a determination result as to whether or not there is a display obstacle between the display object and the host vehicle. Is received from the information analysis unit 12.
  • the display determination unit 13 sets and stores the display form of the display object based on these pieces of information, and outputs it to the display instruction unit 14. A display mode setting method by the display determination unit 13 will be described later.
  • the display instruction unit 14 receives information in which the display form of the display object is set from the display determination unit 13. Then, the display instruction unit 14 instructs the HUD 1 to display the display object in the display form set by the display determination unit 13.
  • indication part 14 may output the instruction
  • the display shape may be an instruction that gradually changes or an instruction that changes instantaneously.
  • the display control device 10 repeats the operations shown in this flowchart until the vehicle engine is turned on and then turned off, or until the display control device 10 or the HUD 1 is turned on and turned off.
  • the information analysis unit 12 has already received information on the display object to be displayed on the HUD 1 from the peripheral device via the information acquisition unit 11, and outputs the display object information to the display determination unit 13.
  • the display determination unit 13 sets the display form based on the initial display form information of the display object, and the display instruction unit 14 issues an instruction to the HUD 1 to display the display object in the display form, for example, FIG. ),
  • the three-dimensional display object 104b is displayed on the road 103 ahead of the host vehicle.
  • the information acquisition unit 11 acquires vehicle information and peripheral information from the peripheral device, and outputs the vehicle information and the peripheral information to the information analysis unit 12 (step ST101).
  • the information analysis unit 12 receives and analyzes vehicle information and surrounding information from the information acquisition unit 11 (step ST102), and estimates a relative distance between a display obstacle such as a preceding vehicle and the host vehicle.
  • the relative distance estimated here is, for example, the shortest distance from the rear end portion of the display obstacle such as the forward vehicle to the front end portion of the host vehicle.
  • the information analysis part 12 acquires the information of the display position of the display thing currently displayed on HUD1 from the display judgment part 13, and whether a display obstruction exists between this display thing and the own vehicle. Is determined (step ST103).
  • the information analysis unit 12 outputs information such as a relative distance between the display obstacle and the host vehicle and a determination result to the display determination unit 13. Note that the information analysis unit 12 also determines that there is no display obstacle between the display object and the host vehicle even when the display obstacle cannot be recognized in front of the host vehicle.
  • step ST103 the information analysis unit 12 determines whether or not there is a display obstacle between the display object and the host vehicle.
  • the information analysis unit 12 enters between the display object and the host vehicle. It may be determined whether or not there is a display obstacle.
  • the information analysis unit 12 may make a determination based on the interval between the display object and the driver in the own vehicle, not between the display object and the own vehicle.
  • the display object is displayed at any position in the distance A from 0 m to 20 m ahead of the host vehicle 100, although it depends on the type. Therefore, as the initial display form information of the display object, the display position is set somewhere in the distance A from 0 m to 20 m ahead of the host vehicle 100.
  • the information analysis unit 12 determines whether or not a penetration has occurred by determining whether or not a display obstacle such as the forward vehicle 101a exists between the host vehicle 100 and the three-dimensional display object 105. .
  • the information analysis unit 12 may determine whether a display obstacle exists between the driver of the host vehicle 100 and the three-dimensional display object 105. In the determination in step ST103, the farthest side of the display object as viewed from the host vehicle is the position of the display object, and the foremost side of the display obstacle is the position of the display obstacle.
  • the information analysis unit 12 may determine whether there is a possibility that a display obstacle exists between the host vehicle 100 and the three-dimensional display object 105. For example, the distance A between 0 m and 20 m ahead of the host vehicle 100 is set as the display mode change distance, and the information analysis unit 12 determines whether the display obstacle such as the forward vehicle 101a is within the distance A that is the display mode change distance. By judging whether or not, it is judged whether or not there is a possibility of a penetration.
  • the display object is not displayed at the distance B from 20 m to 40 m ahead of the host vehicle 100. Therefore, even if the forward vehicle 101c exists at this distance B, the display object does not penetrate the forward vehicle 101c. However, if the relative distance from the host vehicle 100 changes greatly in a short time due to sudden deceleration of the preceding vehicle 101c, the preceding vehicle 101c may immediately enter the distance A. Therefore, in order to prevent the display object from penetrating more reliably, in addition to the distance A ahead of 0 m to 20 m of the host vehicle 100, the distance B ahead of 20 m to 40 m may be set as the display mode change distance. desirable. Note that the distances A and B shown in FIG. 5 are examples, and the display mode change distance is not limited to these values.
  • FIG. 6 shows a display mode change example of the display object.
  • FIG. 6A when the three-dimensional display object 105a is displayed at a position overlapping the front vehicle 101 that is a display obstacle, a phenomenon that the three-dimensional display object 105a is displayed so as to penetrate the front vehicle 101 occurs. Occur.
  • FIG. 7A shows a state in which the stereoscopic display object 105a is displayed through the forward vehicle 101 as viewed from the driver of the host vehicle.
  • the information analysis unit 12 determines that a display obstacle exists between the display object and the host vehicle, a phenomenon in which the display object is displayed so as to penetrate the display obstacle as shown in FIG. is happening.
  • the display control apparatus 10 performs the processing after step ST104 to eliminate the penetration and prevent the recurrence or prevent the penetration.
  • step ST103 When it is determined by the information analysis unit 12 that a display obstacle exists between the display object and the host vehicle, or when it is determined that a display obstacle exists within the display mode change distance (step ST103 “YES”).
  • the display determination unit 13 stores the relative distance between the display obstacle and the host vehicle. Further, the display determination unit 13 calculates the relative distance between the display obstacle stored in the previous time and the own vehicle, and the change amount of the relative distance between the display obstacle received from the current information analysis unit 12 and the own vehicle. It is determined whether or not the amount of change is equal to or less than a predetermined first threshold (step ST104).
  • the display determination unit 13 sets the display object displayed by the HUD 1 as a stereoscopic image and sets a predetermined distance before the display obstacle.
  • the display mode is set so as to display at the position (step ST106). This is because if the change in the relative distance is small, the display object and the display obstacle are less likely to overlap immediately, and it is better to display the display object as close to the initial display position as possible. Because it is good. In addition, since the relative distance between the display obstacle and the host vehicle is unlikely to change suddenly, even if the display object is displayed as a stereoscopic image, the possibility of a penetration phenomenon is low.
  • the display determination unit 13 determines, for example, a “predetermined position before the display obstacle” based on the position of the display obstacle used for estimating the relative distance and the predetermined distance. You only have to set it.
  • FIG. 6B shows an example in which the three-dimensional display object 105 b is displayed at a predetermined position before the front vehicle 101.
  • the three-dimensional display object 105a in FIG. 6A is displayed at the same position as that of the preceding vehicle 101, so that the penetration phenomenon occurs. However, the three-dimensional display object 105b in FIG. The phenomenon does not occur.
  • a three-dimensional display object 105b viewed from the driver of the host vehicle is shown in FIG.
  • FIGS. 6B, 6C, and 6D the amount of change in the relative distance between the preceding vehicle 101 and the host vehicle 100 is indicated by arrows of relative distance changes 110, 111, and 112. The longer this arrow, the greater the amount of change in the relative distance.
  • step ST104 when the change amount of the relative distance between the display obstacle and the host vehicle is larger than the first threshold value (step ST104 “NO”), the display determination unit 13 sets the change amount of the relative distance in advance to the second threshold value. It is determined whether or not the following is true (step ST105). The second threshold value is larger than the first threshold value.
  • the display determination unit 13 uses the display object displayed by the HUD 1 as a three-dimensional image and puts it at a predetermined position in front of the host vehicle.
  • a display mode is set so as to display (step ST107). This is because when the amount of change in the relative distance is large, there is a high possibility that the display object and the display obstacle will immediately overlap, and it is better to display the display object as close to the host vehicle as possible. . By displaying the display object at a position away from the display obstacle, even if the relative distance between the display obstacle and the host vehicle changes abruptly, it is unlikely that a penetration phenomenon will occur. For example, the display determination unit 13 sets a “predetermined position in front of the host vehicle” with reference to the position of the host vehicle used for estimating the relative distance and a predetermined distance. Good.
  • FIG. 6C shows an example in which the three-dimensional display object 105 c is displayed at a predetermined position in front of the host vehicle 100.
  • the 3D display object 105c is displayed closer to the host vehicle 100 than the 3D display object 105a in FIG. 6A and the 3D display object 105b in FIG. 6B.
  • the display position of the stereoscopic display object 105c shown in FIG. 6C corresponds to the “first position”.
  • step ST105 “NO” when the amount of change in the relative distance between the display obstacle and the host vehicle is larger than the second threshold value (step ST105 “NO”), the display determination unit 13 uses the display object displayed on the HUD 1 as a plane image, and drives A display mode is set so as to display at a predetermined position in front of the person (step ST108). This is because there is a possibility that a sufficient space for displaying a stereoscopic image cannot be secured between the display obstacle and the host vehicle when the amount of change in the relative distance is larger, for example, when the front vehicle that is a display obstacle suddenly decelerates. Because there is.
  • the display determination unit 13 may, for example, “drive” based on the position of the host vehicle used for estimation of the relative distance, the position of the driver analyzed by the information analysis unit 12, and a predetermined distance. What is necessary is just to set the "predetermined position ahead of a person".
  • FIG. 6 (d) shows an example in which the flat display object 105 d is displayed at a predetermined position in front of the driver of the host vehicle 100.
  • the flat display object 105d is displayed at a position about several meters ahead of the driver, and thus does not overlap the display obstacle and does not penetrate.
  • the display position of the flat display object 105d shown in FIG. 6D corresponds to “a position closer to the moving body than the first position”.
  • the display determination unit 13 instructs the display instruction unit 14 on the display mode information set in any of steps ST106, ST107, and ST108.
  • Display instruction unit 14 outputs an instruction to display a display object on HUD 1 based on the display mode instructed from display determination unit 13 (step ST109).
  • the HUD 1 displays the display object as a stereoscopic image or a planar image at the instructed display position according to the instruction of the display instruction unit 14.
  • the information acquisition unit 11 waits until a predetermined time (for example, 1 second) elapses from the time when information is acquired in the previous step ST101 (step ST110), and then returns to step ST101 to acquire new information. To do. That is, in the flowchart of FIG. 4, it is determined whether to change the display mode of the display object based on the amount of change per second of the relative distance between the display obstacle and the host vehicle.
  • a predetermined time for example, 1 second
  • step ST103 “YES” When it is determined for the first time that a display obstacle exists between the display object and the host vehicle, or when it is determined for the first time that a display obstacle exists within the display mode change distance (step ST103 “YES”), the previous time Since the relative distance between the displayed obstacle and the host vehicle is not stored, the display determination unit 13 stores the initial relative distance, and then skips steps ST104 to ST109 and proceeds to the process of step ST110.
  • the display determination unit 13 that has received the determination result outputs an instruction to return the display mode of the display object to the initial display mode to the display instruction unit 14, and the display instruction unit 14 receives the initial instruction from the display determination unit 13.
  • An instruction to display the display object on the HUD 1 based on the display mode is output (step ST111).
  • the display control device 10 instructs the HUD 1 to display a three-dimensional display object representing a guide arrow superimposed on the road at an initial display position 10 m ahead of the host vehicle.
  • the information analysis unit 12 recognizes a front vehicle that is a display obstacle 8 m ahead of the host vehicle and determines that a display obstacle exists within the display mode change distance (step ST103 “YES”).
  • the display determination unit 13 receives the relative distance and the determination result from the information analysis unit 12, calculates the change amount of the relative distance between the previous time and the current time, and the change amount of the relative distance is larger than the first threshold value (step ST104 “NO”). Then, it is determined that it is equal to or less than the second threshold value (step ST105 “YES”), and the display mode is set so as to display the stereoscopic image of the guide arrow 3 m ahead of the host vehicle (step ST107). Based on the display mode set by the display determination unit 13, the display instruction unit 14 instructs the HUD 1 to change the position at which the guide arrow is displayed as a stereoscopic image from 10 m ahead of the host vehicle to 3 m ahead (step ST109). ).
  • step ST103 the information analysis unit 12 determines that the preceding vehicle has approached the host vehicle (step ST103 “YES”).
  • the display determination unit 13 receives the relative distance and the determination result from the information analysis unit 12, and calculates the amount of change in the relative distance between the previous time and the current time (step ST104).
  • the display determination unit 13 A display mode is set so as to display a planar image of a guide arrow 3 m ahead of the driver (step ST108). Based on the display mode set by the display determination unit 13, the display instruction unit 14 changes the guide arrow from a stereoscopic image to a planar image, and sets the position for displaying the planar image from 3 m ahead of the host vehicle to 3 m of the driver. HUD1 is instructed to change forward (step ST109).
  • step ST104 when the amount of change in the relative distance between the preceding vehicle and the host vehicle is equal to or less than the first threshold value (step ST104 “YES”), the display determination unit 13 displays a three-dimensional image of the guidance arrow 3 m before the preceding vehicle.
  • the display mode is set so as to do this (step ST106).
  • the display instruction unit 14 instructs the HUD 1 to change the position at which the stereoscopic image of the guide arrow is displayed to 3 m before the preceding vehicle (step ST109).
  • the display determination unit 13 outputs an instruction for returning the display mode of the guide arrow to the display instruction unit 14 (step ST111).
  • the display instruction unit 14 instructs the HUD 1 to display the guidance arrow as a stereoscopic image 10 m ahead of the host vehicle, which is the initial display position.
  • the display mode change method when the own vehicle and the display obstacle approached so far was explained, the display mode may be changed as follows when the own vehicle and the display obstacle move away. Good.
  • a third threshold value and a fourth threshold value smaller than the third threshold value are determined in advance with respect to the change amount of the relative distance.
  • the display determination unit 13 displays the display object as a stereoscopic image at a predetermined position in front of the host vehicle, the change amount of the relative distance between the host vehicle and the display obstacle is larger than the third threshold value and the front of the host vehicle.
  • the display object displayed on the HUD 1 is set as a stereoscopic image, and the display mode is set so as to be displayed at a predetermined position before the display obstacle.
  • the display determination unit 13 displays the display object as a planar image at a predetermined position in front of the driver
  • the change amount of the relative distance between the host vehicle and the display obstacle is equal to or less than the third threshold value.
  • the display object displayed on the HUD 1 is set as a stereoscopic image, and the display mode is set to be displayed at a predetermined position in front of the host vehicle.
  • the display determination unit 13 may determine the necessity of changing the display mode using only one of the third threshold value and the fourth threshold value.
  • a hardware configuration example of the display control apparatus 10 will be described with reference to FIG.
  • a memory 41 a CPU (Central Processing Unit) 42, an input device 43, and a HUD 1 are connected.
  • Information output by peripheral devices such as the outside camera 3 mounted on the vehicle is input to the input device 43.
  • the input device 43 is the information acquisition unit 11.
  • the CPU 42 executes functions of the information analysis unit 12, the display determination unit 13, and the display instruction unit 14 by executing the display control program stored in the memory 41.
  • Information output by the CPU 42 is input to the HUD 1, and the display object is presented to the driver by the HUD 1 displaying and displaying the display object according to the information.
  • the display system is configured to include the HUD 1 that can display the display object as a stereoscopic image superimposed on the actual landscape, and the display control device 10 that controls the HUD 1, and performs display control.
  • the apparatus 10 estimates the relative distance between the display obstacle and the vehicle using the information acquisition unit 11 that acquires the vehicle and surrounding information, and the information acquired by the information acquisition unit 11, and is displayed so as to be superimposed on the actual landscape.
  • An information analysis unit 12 that determines whether or not a display obstacle exists between the display object and the vehicle, and the information analysis unit 12 determines that a display obstacle exists between the display object and the vehicle
  • the display determination unit 13 changes the display mode of the display object according to the amount of change in the relative distance
  • the display instruction unit 14 instructs the HUD 1 to display the display object in the display mode changed by the display determination unit 13. I made it In HUD1 capable of displaying three-dimensional stereoscopic image can be displayed object is to prevent the phenomenon that appears to penetrate the display obstacle, it is possible to improve the visibility.
  • the information analysis unit 12 may determine whether there is a display obstacle that may come between the display object superimposed on the actual scenery and the vehicle. Thereby, the penetration phenomenon can be prevented more reliably.
  • the display determination unit 13 compares the change amount of the relative distance with the first threshold value, and when the change amount of the relative distance is larger than the first threshold value, the display object is displayed in advance in front of the vehicle. Since the configuration is such that it is determined to display as a stereoscopic image at the determined first position, it is possible to prevent a phenomenon in which the display object is displayed so as to penetrate the display obstacle even when the relative distance is significantly reduced.
  • the display determination unit 13 compares the change amount of the relative distance with the second threshold value that is larger than the first threshold value, and displays the display object when the change amount of the relative distance is larger than the second threshold value. Since it is determined to display as a planar image at a position closer to the vehicle than the first position, it is possible to prevent a phenomenon in which the display object is displayed so as to penetrate the display obstacle even when the relative distance sharply decreases. it can.
  • the display determination unit 13 is configured to restore the display mode of the display object when the relative distance is equal to or greater than a predetermined distance (for example, the display mode change distance).
  • a predetermined distance for example, the display mode change distance.
  • FIG. FIG. 9 is a block diagram showing a configuration example of the display control apparatus 10 according to Embodiment 2 of the present invention. 9, parts that are the same as or correspond to those in FIG. 1 are given the same reference numerals, and descriptions thereof are omitted.
  • the information analysis unit 22 and the display determination unit 23 of the display control apparatus 10 according to the second embodiment are new functions to the information analysis unit 12 and the display determination unit 13 of the display control apparatus 10 of the first embodiment shown in FIG. The point that is added is different.
  • Embodiment 2 when the display mode of the display object is set to a plane image, not only the amount of change in the relative distance between the display obstacle and the host vehicle but also the relative distance value itself is considered.
  • FIG. 10 shows a display mode change example of the display object according to the second embodiment.
  • the relative distance change 210 between the front vehicle 201 and the host vehicle 200 which is a display obstacle
  • the display object 202a is displayed in front of the host vehicle as a stereoscopic image.
  • the relative distance gradually decreases, such as when the vehicle stops due to a red light or when there is a traffic jam, and there is no space for displaying a stereoscopic image between the preceding vehicle and the host vehicle, only the relative distance change 210 is used.
  • the display mode is set, there is a possibility that the three-dimensional display object 202a may penetrate the front vehicle 201 as shown in FIG. Therefore, as shown in FIG. 10B, when the relative distance between the preceding vehicle 201 and the host vehicle 200 is small, the display object is switched by switching the display mode of the guide arrow from the three-dimensional display object 202a to the flat display object 202b. Can be prevented from being displayed so as to penetrate the display obstacle.
  • the information analysis unit 22 performs the same processing as the information analysis unit 12 of the first embodiment.
  • the information analysis unit 22 compares the relative distance received from the information acquisition unit 11 with a predetermined relative distance threshold, and displays a determination result as to whether or not the relative distance is smaller than the relative distance threshold.
  • the relative distance threshold is desirably a distance that prevents the display object from penetrating the display obstacle when the display object is displayed as a stereoscopic image in front of the host vehicle.
  • a different relative distance threshold may be set for each type of display object.
  • the display determination unit 23 includes information on the display object displayed on the HUD 1, a relative distance between the display obstacle and the host vehicle, and a determination result as to whether or not a display obstacle exists between the display object and the host vehicle. In addition, information on the determination result of whether or not the relative distance is smaller than the relative distance threshold is received from the information analysis unit 22.
  • the display determination unit 23 uses the display displayed by the HUD 1 as a planar image, and displays the front of the driver. A display mode is set so that display is performed at a predetermined position.
  • the display determination unit 23 sets the display mode according to the relative distance as in the first embodiment.
  • steps ST101 to ST111 shown in FIG. 11 are the same as those in the flowchart shown in FIG.
  • the information analysis unit 22 analyzes the vehicle information and the surrounding information in step ST102 and recognizes a display obstacle in front of the host vehicle, the information analysis unit 22 estimates the relative distance between the display obstacle and the host vehicle in step ST201, It is determined whether the distance is smaller than a relative distance threshold.
  • the display determination unit 23 displays the display object displayed on the HUD 1 as a flat image and displays it at a predetermined position in front of the driver.
  • a mode is set (step ST108).
  • step ST201 “NO” when the relative distance is greater than or equal to the relative distance threshold (step ST201 “NO”), the information analysis unit 22 determines whether there is a display obstacle between the display object and the host vehicle, or the display mode change distance. It is determined whether or not there is a display obstacle (step ST103). Even when the information analysis unit 22 cannot recognize the display obstacle ahead of the host vehicle, it is determined that the relative distance is equal to or greater than the relative distance threshold. Since the processing after step ST103 is the same as that of the first embodiment, description thereof is omitted.
  • step ST103 is performed after the process of step ST201. However, the process of step ST103 may be performed first.
  • the display determination unit 23 determines that the amount of change in the relative distance between the preceding vehicle, which is a display obstacle, and the host vehicle is greater than the first threshold value (step ST104 “NO”) and equal to or less than the second threshold value. (Step ST105 “YES”), it is assumed that the display mode is set to display a 3D image of the guidance arrow 3 m ahead of the host vehicle (step ST107), and the HUD 1 displays the display object according to the setting.
  • step ST201 the information analysis unit 22 determines that the preceding vehicle approaches 3 m ahead of the host vehicle, and the relative distance 3 m is greater than the predetermined relative distance threshold 4 m. Assume that it is determined to be small (step ST201 “YES”). Receiving this determination result, the display determination unit 23 sets the display mode so that a plane image of the guide arrow is displayed 3 m ahead of the driver of the host vehicle regardless of the amount of change in the relative distance between the host vehicle and the preceding vehicle. (Step ST108).
  • the display instructing unit 14 changes the guide arrow from a stereoscopic image to a planar image, and sets the position for displaying the planar image from 3m ahead of the host vehicle to 3m of the driver.
  • HUD1 is instructed to change forward (step ST109).
  • the information analysis unit 22 determines whether the relative distance is smaller than the relative distance threshold, and the display determination unit 23 determines that the relative distance is greater than the relative distance threshold by the information analysis unit 22. If it is determined that the display object is smaller, the display object is determined to be displayed as a planar image at a position closer to the host vehicle than the first position, regardless of the amount of change in the relative distance. Considering the relative distance, a plane image can be displayed when there is no space for displaying a stereoscopic image. As a result, the phenomenon that the display object is displayed so as to penetrate the display obstacle can be prevented more reliably, and the visibility can be improved.
  • FIG. 12 is a block diagram showing a configuration example of the display control apparatus 10 according to Embodiment 3 of the present invention.
  • the same or corresponding parts as in FIG. The information analysis unit 32 and the display determination unit 33 of the display control device 10 according to the third embodiment are newly added to the information analysis unit 12 and the information analysis unit 12 of the display control device 10 of the first embodiment shown in FIG. The point that is added is different.
  • the display information according to the type of the display obstacle is displayed so that the driver can display the information on the display object. Make it more intuitive.
  • steps ST101 to ST111 shown in FIG. 13 are the same as those in the flowchart shown in FIG.
  • the information analysis unit 32 analyzes the peripheral information received from the information acquisition unit 11, determines the type and shape of the display obstacle, and outputs the information to the display determination unit 33 (step ST301).
  • the display determination unit 33 changes the display mode of the display object according to the information such as the type and shape of the display obstacle received from the information analysis unit 32 (steps ST302 to ST304).
  • the information analysis unit 32 determines the shape of the display obstacle based on the captured image of the outside camera 3, the map information of the car navigation device 6, the three-dimensional information of the laser radar 7, or the like. Further, when the type of the display obstacle is a vehicle, the information analysis unit 32 determines the position where the vehicle that becomes the display obstacle exists based on the captured image of the outside camera 3 or the three-dimensional information of the laser radar 7. . Furthermore, when the type of the displayed obstacle is a vehicle, the information analysis unit 32 determines information on the traveling direction such that the host vehicle turns right at the next guidance point based on the navigation information of the car navigation device 6.
  • the display determination unit 33 sets the display object displayed on the HUD 1 as a stereoscopic image, and further increases the elevation angle of the display object to move upward.
  • the display mode is set so as to face (step ST302).
  • FIG. 14 shows an example of changing the display mode of the display object when the type of the display obstacle is uphill.
  • the uphill 301 is displayed when a flat display object 302 a such as a guide arrow is displayed at a predetermined position in front of the host vehicle 300.
  • a guide arrow is displayed as a three-dimensional display object 302b, and the elevation angle of the three-dimensional display object 302b is changed upward to prevent penetration.
  • the stereoscopic display object 302b is displayed in a display shape along the uphill 301, the driver can intuitively understand the content of the guidance guidance for climbing the uphill 301.
  • the display determination unit 33 increases the elevation angle of the three-dimensional display object 302b as the amount of change in the relative distance between the host vehicle 300 and the uphill 301 increases, that is, as the speed of entering the uphill 301 increases. Good. As a result, the phenomenon in which the stereoscopic display object 302b is displayed so as to penetrate the uphill 301 is further less likely to occur.
  • the display determination unit 33 uses the display object displayed by the HUD 1 as a stereoscopic image, and further sets the display shape of the display object on the road surface.
  • the display mode is set according to the object (step ST303).
  • FIG. 15 shows an example of changing the display mode of a display object when the type of the display obstacle is a roadside installation.
  • a roadside installation 303 such as a guard rail in front of the host vehicle 300
  • a three-dimensional display 304a such as a guide arrow is initially displayed at a predetermined position in front of the host vehicle 300. If displayed in a mode, there is a possibility that the roadside installation object 303 will be penetrated. Therefore, as shown in FIG. 15B or FIG. 15C, the display position and the display shape of the guide arrow are changed so as to have a display mode such as the three-dimensional display objects 304b and 304c, thereby preventing penetration. . Further, since the three-dimensional display objects 304b and 304c are displayed in a display shape along the roadside installation object 303, the driver can intuitively understand the traveling direction.
  • the display determination unit 33 uses the display object displayed by the HUD 1 as a stereoscopic image, and further sets the display position of the display object in either the left or right direction.
  • the moved display mode is set (step ST304). At that time, the display determination unit 33 may determine whether to move the display position in the left or right direction based on the content of the display object.
  • FIG. 16 shows a display mode change example of the display object when the type of the display obstacle is a vehicle.
  • the display object is a three-dimensional display object 307a with a right-pointing guide arrow indicating that a right turn is made at the next guide point
  • the three-dimensional display object 307a is originally on the lane on which the host vehicle 300 is traveling and It is displayed in front of the host vehicle 300.
  • the forward vehicle 305 that is a display obstacle is present in front of the lane in which the host vehicle 300 is traveling, the stereoscopic display object 307a is displayed so as to overlap the forward vehicle 305. There is a possibility of piercing.
  • the display determination unit 33 moves the display position of the three-dimensional display object 307a to the lane on the right and displays it as the three-dimensional display object 307b. Thereby, the driver of the own vehicle 300 can visually recognize the guide arrow on the right side of the original display position, and can intuitively understand the traveling direction.
  • the display determining unit 33 may determine the moving direction of the display position based on the content of the display object, such as moving the right-pointing guide arrow to the right and moving the left-pointing arrow to the left. Good.
  • the display determination unit 33 When not only the forward vehicle 305 exists in the lane in which the host vehicle 300 is traveling but also the forward vehicle 306 exists in the adjacent lane, the display determination unit 33 The direction in which there is a space in which the stereoscopic display object 307a can be displayed in front of the host vehicle 300 may be set as the display position movement destination and displayed as the stereoscopic display object 307c. Note that if there is no space in which the stereoscopic display object 307a can be displayed in front of the host vehicle 300, the display determination unit 33 may not move the stereoscopic display object 307a. In this case, the display position in the front-rear direction of the three-dimensional display object 307a is changed according to the amount of change in the relative distance between the host vehicle 300 and the preceding vehicle 305.
  • the display determination unit 33 increases the amount of change in the relative distance between the host vehicle 300 and the preceding vehicles 305 and 306, that is, the greater the approach speed with the preceding vehicles 305 and 306, the greater the amount of the three-dimensional display objects 307b and 307c.
  • the movement distance in the left-right direction may be increased.
  • the change amount of the relative distance between the preceding vehicle 305 and the host vehicle 300 is indicated by an arrow of the relative distance change amount 310.
  • the display determination unit 33 receives road lane information obtained by the information analysis unit 32 analyzing the captured image of the outside camera 3 or the map information of the car navigation device 6.
  • the display position of the display object may be changed to either the left or right direction based on the lane information.
  • the lane information may include information on the number of lanes on the road on which the host vehicle is traveling and information on the lane position on which the host vehicle is traveling, and further may include information for identifying a right / left turn dedicated lane. For example, if the road on which your vehicle is traveling is divided into multiple lanes around the intersection and you are going to make a right turn at this intersection, your vehicle will need to move to the right lane or right turn lane to make a right turn .
  • the display determination unit 33 moves the display position of the display object to the right lane or the right turn lane, thereby preventing a phenomenon in which the display object is displayed so as to penetrate the vehicle ahead, and at the same time, the direction of travel to the driver. To understand intuitively.
  • step ST104 Since the processing after step ST104 is the same as that in the first embodiment, description thereof is omitted.
  • the display determination unit 33 may combine the display modes of steps ST302 to ST304.
  • the display determination unit 33 determines the relative relationship between the display obstacle and the host vehicle.
  • the display mode changing process (steps ST104 to ST108) considering the amount of change in distance may be skipped and the process may proceed to step ST109.
  • the information analysis unit 32 compares the display position of the display object after the display mode is changed with the position of the display obstacle, and there is no display obstacle between the host vehicle and the display object. If it is determined that no penetration occurs, the process proceeds to step ST109. On the other hand, the information analysis unit 32 determines that a penetration occurs if there is a display obstacle between the host vehicle and the display object, and proceeds to the process of step ST104.
  • the display mode changing process (steps ST301 to ST304) corresponding to the type of the displayed obstacle is performed first, and thereafter, the amount of change in the relative distance between the displayed obstacle and the host vehicle is calculated.
  • the corresponding display mode changing process (steps ST104 to ST108) is performed, the processes of steps ST104 to ST108 may be performed first.
  • the information analysis unit 32 determines the type of the display obstacle, and the display determination unit 33 displays the display mode when displaying the display object as a stereoscopic image. Therefore, it is possible to suppress the occurrence of a phenomenon in which a display object is displayed so as to penetrate a display obstacle. In addition, the contents of the display object can be intuitively understood by the driver.
  • the display determination unit 33 is configured so that the elevation angle of the display object displayed as a stereoscopic image is upward when the type of the display obstacle is uphill. Occurrence of a phenomenon displayed so as to penetrate an uphill can be suppressed. In addition, it is possible to make the driver intuitively understand climbing uphill.
  • the display determination unit 33 is configured to match the shape of the display object displayed as a stereoscopic image with the shape of the roadside installation object when the type of the display obstacle is the roadside installation object.
  • the traveling direction of the host vehicle can be intuitively understood by the driver.
  • the display determination unit 33 is configured to set the position of the display object to be displayed as a stereoscopic image when the type of the display obstacle is a vehicle to the left or right position of the vehicle. Therefore, even when there is no space for displaying the display object as a stereoscopic image in front of the host vehicle, it can be displayed without penetrating at either the left or right position.
  • the display determination unit 33 determines whether to change the position of the display object to be displayed as a stereoscopic image to the left or right based on the lane information of the road on which the host vehicle is traveling. Since it was set as the structure which carries out, the display thing can be moved and displayed in the same direction as the advancing direction of the own vehicle, and it can make a driver
  • the present invention is not limited to the vehicle, and a person, a railroad, a ship, an aircraft, or the like. You may mount in the mobile body containing.
  • the display control device 10 may be a device mounted on a moving body or a portable information terminal brought into the moving body.
  • the display device is not limited to the HUD 1 and may be any device that can display a stereoscopic image and a planar image such as HMD (Head Mounted Display), for example.
  • peripheral devices such as the in-vehicle camera 2 may be those mounted on the moving body, or may be those provided in any of the display control device 10, HUD1, or HMD.
  • the present invention can be freely combined with each embodiment, modified with any component in each embodiment, or omitted with any component in each embodiment. Is possible.
  • the display control apparatus controls the display apparatus capable of displaying a stereoscopic image such as HUD or HMD. Suitable for use in.
  • 1 HUD display device
  • 2 vehicle camera 3 vehicle camera
  • 4 GPS receiver 5 CAN, 6 car navigation device, 7 laser radar
  • 10 display control device 11 information acquisition unit, 12, 22, 32 information analysis unit , 13, 23, 33 display judgment unit
  • 14 display instruction unit 40 bus, 41 memory, 42 CPU, 43 input device, 100, 200, 300 own vehicle, 101, 101a, 101b, 101c, 201, 305, 306 ahead Vehicle, 102a, 104a, 105d, 202b, 302a flat display object, 102b, 104b, 105, 105a-105c, 202a, 302b, 304a-304c, 307a-307c three-dimensional display object, 103 road, 110-112, 210, 310 Relative distance change, 301 climb , 303 roadside installed objects.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Instrument Panels (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

HUDは、表示物を立体映像または平面映像として現実の風景に重ねて表示する。表示制御装置は、移動体および周辺の情報を取得して表示障害物と移動体との相対距離を推定し、表示物と移動体との間に表示障害物が存在する、または存在する可能性があると判断した場合に、相対距離の変化量に応じて表示物の表示態様を変更し、HUDに指示する。

Description

表示制御装置、表示システム、表示制御方法および表示制御プログラム
 この発明は、表示物を立体映像として現実の風景に重ねて表示可能な表示装置を制御する表示制御装置、表示システム、表示制御方法および表示制御プログラムに関するものである。
 車両に搭載されたHUD(Head Up Display)型の表示装置は、運転者が運転中の前景視野から視線をほとんど外すことなく、必要な情報を確認できる(例えば、特許文献1参照)。近年、情報の表示位置に奥行き方向を加え、三次元の立体映像を表示可能なHUDが提案されている(例えば、特許文献2参照)。このHUDにおいて立体映像の表示物を現実風景の対象物に重畳させて表示することで、表示物と対象物の視差がなくなるため、運転者はより直感的に情報の視認が可能となる。また、例えば車両が曲がる方向を示す矢印等の図形を交差点の道路に重畳させて立体的に表示することにより、運転者の前方に二次元の平面映像を表示した場合に比べて、運転者は次に曲がる方向と場所を直感的に理解することが可能となる。
特開2004-302643号公報 特開2006-31618号公報
 しかし、状況によっては、立体映像の表示物を視認することが運転者の負荷となる可能性があり、その一例として、立体映像の表示物が実在する障害物を突き抜けるように視認されてしまう現象が挙げられる。これは、運転者と表示物との間に前方車両等の障害物が存在する場合に、運転者は本来ならば障害物の陰となり視認できないはずの表示物を、まるで障害物を突き抜けて存在するかのような態様で視認できてしまうという現象である。この状況下では、運転者は表示物の視認に違和感を覚えるため、直感的に情報を理解できない恐れがある。
 上記特許文献1に係る表示装置は、平面映像の表示物による障害物への突き抜けが発生する場合、表示物の表示位置を障害物と同程度の奥行き方向の位置へ移動させて表示物と障害物とを重ねて表示することにより表示物の視認性を向上させているものの、この表示装置では平面映像の表示物が表示対象にされており、立体映像の表示物の突き抜けについては考慮されていない。そのため、依然として、障害物に対して立体映像の表示物が突き抜けてしまう現象が起こるという課題があった。
 この発明は、上記のような課題を解決するためになされたもので、三次元の立体映像を表示可能な表示装置において表示物が障害物を突き抜けるように表示される現象を予防することを目的とする。
 この発明に係る表示制御装置は、表示物を立体映像として現実の風景に重ねて表示可能な表示装置を制御するものであって、移動体および周辺の情報を取得する情報取得部と、情報取得部が取得した情報を用いて表示障害物と移動体との相対距離を推定し、現実の風景に重ねて表示される表示物と移動体との間に表示障害物が存在するか否かを判断する情報解析部と、情報解析部により表示物と移動体との間に表示障害物が存在すると判断された場合に相対距離の変化量に応じて表示物の表示態様を変更する表示判断部と、表示判断部が変更した表示態様で表示物を表示するよう表示装置に指示する表示指示部とを備えるものである。
 この発明によれば、現実の風景に重ねて表示される表示物と移動体との間に表示障害物が存在する場合に、表示障害物と移動体との相対距離の変化量に応じて表示物の表示態様を変更するようにしたので、三次元の立体映像を表示可能な表示装置において表示物が表示障害物を突き抜けるように表示される現象を予防することができる。
この発明の実施の形態1に係る表示システムの構成例を示すブロック図である。 HUDが表示物を平面映像または立体映像として表示した場合の例を示す図である。 HUDが表示物を平面映像または立体映像として表示した場合の別の例を示す図である。 実施の形態1に係る表示制御装置の動作を示すフローチャートである。 実施の形態1において表示物、車両および表示障害物の位置関係を説明する図である。 実施の形態1において表示物の表示態様を変更した例を示す図である。 図6(a)と図6(b)の表示物を自車両の運転者から見た様子を示す図である。 実施の形態1に係る表示システムのハードウエア構成図である。 この発明の実施の形態2に係る表示システムの構成例を示すブロック図である。 実施の形態2において表示物の表示態様を変更した例を示す図である。 実施の形態2に係る表示制御装置の動作を示すフローチャートである。 この発明の実施の形態3に係る表示システムの構成例を示すブロック図である。 実施の形態3に係る表示制御装置の動作を示すフローチャートである。 実施の形態3において表示障害物の種別が登り坂である場合の表示物の表示態様変更例を示す図である。 実施の形態3において表示障害物の種別が路側設置物である場合の表示物の表示態様変更例を示す図である。 実施の形態3において表示障害物の種別が車両である場合の表示物の表示態様変更例を示す図である。
 以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態1.
 図1は、この発明の実施の形態1に係る表示システムの構成例を示すブロック図である。表示システムは車両に搭載されるものであって、表示物を三次元の立体映像または二次元の平面映像として表示することが可能なHUD1と、HUD1を制御する表示制御装置10とを備えている。表示制御装置10には、周辺機器として、車内カメラ2、車外カメラ3、GPS(Global Positioning System)受信機4、CAN(Controller Area Network)5、カーナビゲーション装置6およびレーザレーダ7のうちの少なくとも1つが接続される。
 HUD1は、後述する表示制御装置10からの指示に従って、表示物を立体映像または平面映像として表示する。このHUD1は、例えば、表示物の画像を高輝度の液晶ディスプレイに表示し、その液晶ディスプレイの画面をハーフミラーで反射することにより、表示物を運転者に視認させる構成である。ハーフミラーは、車両のフロントガラスでもよいし、フロントガラスと運転者との間に設置されるコンバイナ等でもよい。この構成により、運転者には、フロントガラス等を通して見える現実の風景と表示物とが重なって見える。
 表示制御装置10は、自車両および自車両周辺の情報を周辺機器から取得する情報取得部11と、情報取得部11が取得した情報を用いて自車両と表示物と表示障害物の位置関係を解析する情報解析部12と、情報解析部12が解析した位置関係に応じて表示物の表示態様を変更する表示判断部13と、表示判断部13が変更した表示態様で表示物を表示するようHUD1に指示する表示指示部14とを備えている。
 表示物とは、HUD1に表示される映像である。表示物は、例えばカーナビゲーション装置6が出力するナビゲーション情報等であり、ナビゲーション情報としては次の案内地点で曲がる方向を表す案内矢印、次の案内地点までの距離、案内地点の名称、高速道路走行時のパーキングエリアまたはジャンクション等を表す案内標識、および目的地の名称等がある。また、表示物は、例えば車外カメラ3またはレーザレーダ7が検出した自車両と前方車両との車間距離等の情報である。また、表示物は、CAN5を通じて車載機器間で送受信されている自車両の速度、操舵角、燃料残量、または警告等のCAN情報である。なお、表示物の情報内容はこれらの例に限定されるものではなく、HUD1に表示可能なものであれば何でもよい。
 表示態様とは、表示物の情報内容、表示位置、表示形状、大きさ、および映像の次元(平面映像、立体映像)等である。
 立体映像とは、運転者にとって奥行きがあるように見える表示物のことであり、平面映像とは、ある定められた平面上にのみ表示される奥行きがないように見える表示物のことである。表示物をHUD1に立体映像として表示したものを「立体表示物」、平面映像として表示したものを「平面表示物」と呼ぶ。
 HUD1は、例えば、右眼用画像と左眼用画像を用いた錯視を利用して、表示物を平面映像にしたり立体映像にしたりする。
 表示位置とは、HUD1が表示する表示物の運転者によって視認される位置である。HUD1は、運転者から見て奥行き方向、上下方向および左右方向に、表示物の表示位置を変更可能とする。奥行き方向は、運転者側から車両前方に向かう方向である。HUD1は、例えば、上述の錯視を利用して表示物の表示位置を変更したり、プロジェクタまたはハーフミラー等の移動により表示物の表示位置を変更したりする。
 表示形状とは、HUD1が表示する表示物の形状である。
 右眼用画像と左眼用画像における表示物の形状を変更することで、HUD1が表示したときに表示物の仰角を変更したり、回転させたり、屈曲させたりする。
 なお、表示形態の変更方法は、上記例に限定されるものではない。
 ここで、図2(a)に表示物を平面映像として表示した場合の例を示す。HUD1が、前方車両101が存在する車両前方の現実の風景に、例えば前方車両101が60km/hで走行していることを示す「Proceeding Vehicle 60km/h」等の平面表示物102aを重ねて表示することにより、運転者は、前景視野からほとんど視線を外すことなく平面表示物102aを視認できる。ただし、図2(a)の例のように、平面表示物102aの奥行き方向の表示位置を常に一定位置にした場合、前方車両101と自車両との相対距離に応じて、前方車両101と平面表示物102aとの間に視差が生じる。
 他方、表示物を立体映像として表示した場合の例を、図2(b)に示す。HUD1が、前方車両101に立体表示物102bが重ねて表示されるように表示位置を前方車両101と自車両との相対距離に応じて変更することにより、前方車両101と立体表示物102bとの視差がなくなるため、運転者は直感的に立体表示物102bの内容を理解できる。
 図3(a)に表示物を平面映像として表示した場合の例を示し、図3(b)に表示物を立体映像として表示した場合の例を示す。矢印状の平面表示物104aと立体表示物104bは、次の案内地点において自車両が曲がる方向を示す案内矢印である。図3(a)のように予め定められた一定位置の平面に表示した平面表示物104aに比べ、図3(b)のように道路103に重畳させ立体的に表示した立体表示物104bの方が、運転者は次に曲がる方向と場所を直感的に理解できる。
 次に、表示制御装置10の詳細を説明する。
 情報取得部11は、自車両または自車両周辺の情報を、車内カメラ2、車外カメラ3、GPS受信機4、CAN5、カーナビゲーション装置6およびレーザレーダ7から取得する。以下では、自車両の情報を「車両情報」と呼び、自車両周辺の情報を「周辺情報」と呼ぶ。
 情報解析部12は、情報取得部11が取得した車両情報および周辺情報を解析して、HUD1に表示させる表示物を判断して表示判断部13へ出力する。なお、表示物の種別ごとに初期の表示形態を定義した初期表示形態情報が、表示制御装置10に予め記憶されているものとする。
 また、情報解析部12は、情報取得部11が取得した車両情報および周辺情報を解析し、自車両の状況、自車両周辺の状況、ならびに自車両内の運転者および同乗者等の状況を判断する。
 さらに、情報解析部12は、自車両周辺の状況に基づいて自車両周辺に表示障害物が存在するか否か判断し、表示障害物が存在する場合にはこの表示障害物と自車両との相対距離と種別を推定し、記憶する。そして情報解析部12は、表示判断部13からHUD1に表示させている表示物の表示位置の情報を取得し、表示物と自車両との間に表示障害物があるか否かを判断し、相対距離と判断結果等を表示判断部13へ出力する。
 表示障害物とは、例えば、自車両周辺に存在する車両、ガードレール等の路側設置物、または登り坂等であり、表示物が突き抜けるように表示される可能性のある障害物である。
 自車両の状況とは、例えば、自車両の速度、操舵角、現在位置、または進行方向等である。情報解析部12は、例えば、車内カメラ2が撮像する自車両内の撮像画像、車外カメラ3が撮像する自車両周辺の撮像画像、GPS受信機4がGPS衛星から受信するGPS情報、CAN5を通じて送受信されるCAN情報、またはカーナビゲーション装置6が生成するナビゲーション情報等を用いて、自車両の状況を判断する。
 自車両周辺の状況とは、例えば、自車両周辺の他車両の位置、ガードレール等の路側設置物の有無および位置、道路のレーン数、道路の曲がり度合い、または登り坂および下り坂等の道路状況等である。情報解析部12は、例えば、車外カメラ3が撮像する自車両周辺の撮像画像、GPS受信機4のGPS情報、CAN5のCAN情報、カーナビゲーション装置6の地図情報、またはレーザレーダ7が検出する三次元情報等を用いて、自車両周辺の状況を判断する。
 運転者の状況とは、例えば、運転者の視線、または頭部の位置等である。情報解析部12は、車内カメラ2が撮像する自車両内の撮像画像を用いて、運転者の状況を判断し、運転者の位置を推定する。
 表示判断部13は、HUD1に表示する表示物の情報、表示障害物と自車両との相対距離、および表示物と自車両との間に表示障害物があるか否かの判断結果等の情報を情報解析部12から受け取る。そして表示判断部13は、これらの情報に基づいて、表示物の表示形態を設定して記憶すると共に、表示指示部14へ出力する。表示判断部13による表示形態の設定方法は後述する。
 表示指示部14は、表示判断部13から表示物の表示形態を設定した情報を受け取る。そして表示指示部14は、表示判断部13が設定した表示形態で表示物を表示するようHUD1に指示する。
 なお、表示指示部14は、表示物の表示態様を変更する際、表示物の表示位置が徐々に変化するような指示をHUD1に出力してもよいし、表示位置が瞬間的に変化するような指示をHUD1に出力してもよい。表示形状も同様に、徐々に変化するような指示でもよいし、瞬間的に変化するような指示でもよい。
 次に、図4に示すフローチャートを用いて、実施の形態1の表示制御装置10の動作を説明する。表示制御装置10は、車両のエンジンがONされてからOFFされるまでの間、または表示制御装置10もしくはHUD1がONされてからOFFされるまでの間、このフローチャートに示された動作を繰り返す。
 また、以下の説明では、すでに、情報解析部12が情報取得部11を経由して周辺機器からHUD1に表示する表示物の情報を受け取って、表示判断部13に表示物の情報を出力し、表示判断部13がこの表示物の初期表示形態情報に基づいて表示形態を設定し、表示指示部14が表示物をその表示態様で表示するようHUD1に指示を出した状態、例えば図3(b)のように自車両前方の道路103に立体表示物104bが表示されている状態とする。
 情報取得部11は、周辺機器から車両情報および周辺情報を取得して、情報解析部12へ出力する(ステップST101)。
 情報解析部12は、情報取得部11から車両情報および周辺情報を受け取って解析し(ステップST102)、前方車両等の表示障害物と自車両との相対距離を推定する。ここで推定する相対距離は、例えば、前方車両等の表示障害物の後端部から自車両の前端部までの最短距離とする。
 また、情報解析部12は、表示判断部13からHUD1に現在表示させている表示物の表示位置の情報を取得し、この表示物と自車両との間に表示障害物が存在するか否かを判断する(ステップST103)。情報解析部12は、表示障害物と自車両との相対距離および判断結果等の情報を表示判断部13へ出力する。なお、情報解析部12は、自車両の前方に表示障害物を認識できなかった場合も、表示物と自車両との間に表示障害物がないと判断する。
 上記説明では、ステップST103において情報解析部12が、表示物と自車両との間に表示障害物が存在するか否かを判断しているが、表示物と自車両との間に入る可能性がある表示障害物が存在するか否かを判断してもよい。また、情報解析部12は、表示物と自車両との間ではなく、表示物と自車両内の運転者との間を基準にして判断してもよい。
 ここで、図5を用いて、ステップST103において情報解析部12が行う判断方法を説明する。
 実施の形態1においては、表示物は、その種別にもよるが、自車両100の0m~20m前方までの距離Aのうちのいずれかの位置に表示されるものとする。従って、表示物の初期表示形態情報としても、自車両100の0m~20m前方までの距離Aのどこかに表示位置が設定されている。
 HUD1に表示させる立体表示物105と自車両100との間に前方車両101aが存在すると、表示物が前方車両101aを突き抜けるように表示される現象が起こる。一方、前方車両101bは立体表示物105より前方に存在しているので突き抜けは起こらない。
 表示物の突き抜けを予防するためには、表示物の表示位置を前方車両101aより自車両100側に変更する必要がある。そこで、情報解析部12において、自車両100と立体表示物105との間に前方車両101a等の表示障害物が存在するか否かを判断することによって、突き抜けが起きているか否かを判断する。なお、情報解析部12は、自車両100の運転者と立体表示物105との間に表示障害物が存在するか否かを判断してもよい。ステップST103の判断では、自車両からみて表示物の最も奥側を表示物の位置とし、表示障害物の最も手前側を当該表示障害物の位置とする。
 あるいは、情報解析部12において、自車両100と立体表示物105との間に表示障害物が存在する可能性があるか否かを判断するようにしてもよい。例えば、自車両100の0m~20m前方の距離Aを表示態様変更距離として設定しておき、情報解析部12は前方車両101a等の表示障害物が表示態様変更距離である距離A内にあるか否かを判断することによって、突き抜けが起きる可能性があるか否かを判断する。
 他方、実施の形態1において、自車両100の20m~40m前方までの距離Bには、表示物は表示されない。そのため、この距離Bに前方車両101cが存在したとしても、表示物が前方車両101cを突き抜けることはない。しかし、前方車両101cが急減速するなどして自車両100との相対距離が短時間に大きく変化した場合、すぐに前方車両101cが距離Aに入る可能性がある。従って、表示物の突き抜けをより確実に予防するためには、表示態様変更距離として、自車両100の0m~20m前方の距離Aに加えて20m~40m前方の距離Bも設定しておくことが望ましい。
 なお、図5に示した距離A,Bは一例であり、表示態様変更距離はこれらの値に限定されるものではない。
 ここで、図6に表示物の表示態様変更例を示す。図6(a)に示すように、立体表示物105aが表示障害物である前方車両101と重なる位置に表示された場合、この立体表示物105aが前方車両101を突き抜けるように表示される現象が起こる。図7(a)に、立体表示物105aが前方車両101を突き抜けて表示される現象を、自車両の運転者から見た様子を示す。
 情報解析部12において表示物と自車両との間に表示障害物が存在すると判断された場合、図6(a)で示すように、表示物が表示障害物を突き抜けるように表示される現象が起こっている。
 あるいは、情報解析部12において表示態様変更距離内に表示障害物が存在すると判断された場合、表示物の表示位置を変更しないと表示障害物を突き抜けるように表示される現象が起こる可能性がある。
 そこで、表示制御装置10はステップST104以降の処理を行って、突き抜けを解消して再発を防止する、あるいは突き抜けを予防する。
 情報解析部12において表示物と自車両との間に表示障害物が存在すると判断された場合、または表示態様変更距離内に表示障害物が存在すると判断された場合(ステップST103“YES”)、表示判断部13は、表示障害物と自車両との相対距離を記憶する。また、表示判断部13は、前回記憶した表示障害物と自車両との相対距離、および今回情報解析部12から受け取った表示障害物と自車両との相対距離の変化量を算出し、相対距離の変化量が予め定められている第一閾値以下であるか否かを判断する(ステップST104)。
 表示判断部13は、相対距離の変化量が第一閾値以下である場合(ステップST104“YES”)、HUD1が表示している表示物を立体映像とし、表示障害物より手前の予め定められた位置に表示するよう表示態様を設定する(ステップST106)。これは、相対距離の変化量が小さい場合は、すぐに表示物と表示障害物が重なる可能性が低く、可能な限り表示物の初期表示位置に近い、表示障害物の近くに表示した方がよいためである。また、表示障害物と自車両との相対距離が急激に変化する可能性が低いので、表示物を立体映像として表示したとしても突き抜け現象が起こる可能性は低い。
 なお、表示判断部13は、例えば、相対距離の推定に用いられた表示障害物の位置と、予め定められた距離とを基準にして、「表示障害物より手前の予め定められた位置」を設定すればよい。
 図6(b)に、立体表示物105bを前方車両101より手前の予め定められた位置に表示した例を示す。図6(a)の立体表示物105aは前方車両101と同じ位置に表示されるため突き抜け現象が起きるが、図6(b)の立体表示物105bは前方車両101より手前に表示されるため突き抜け現象は起こらない。自車両の運転者から見た立体表示物105bを、図7(b)に示す。
 また、図6(b)、図6(c)、図6(d)において前方車両101と自車両100との相対距離の変化量を、相対距離変化量110,111,112の矢印で示す。この矢印が長いほど相対距離の変化量が大きいことを表す。
 一方、表示障害物と自車両との相対距離の変化量が第一閾値より大きい場合(ステップST104“NO”)、表示判断部13は、相対距離の変化量が予め定められている第二閾値以下であるか否かを判断する(ステップST105)。第二閾値は、第一閾値よりも大きい値とする。
 表示判断部13は、相対距離の変化量が第二閾値以下である場合(ステップST105“YES”)、HUD1が表示している表示物を立体映像とし、自車両前方の予め定められた位置に表示するよう表示態様を設定する(ステップST107)。これは、相対距離の変化量が大きい場合は、すぐに表示物と表示障害物が重なる可能性が高く、可能な限り表示障害物から離して自車両の近くに表示した方がよいためである。表示障害物から離れた位置に表示物を表示しておくことにより、表示障害物と自車両との相対距離が急激に変化したとしても、突き抜け現象が起こる可能性は低い。
 なお、表示判断部13は、例えば、相対距離の推定に用いられた自車両の位置と、予め定められた距離とを基準にして、「自車両前方の予め定められた位置」を設定すればよい。
 図6(c)に、立体表示物105cを自車両100の前方の予め定められた位置に表示した例を示す。立体表示物105cは、図6(a)の立体表示物105aおよび図6(b)の立体表示物105bに比べて、自車両100の近くに表示される。
 図6(c)に示す立体表示物105cの表示位置が「第一位置」に相当する。
 一方、表示障害物と自車両との相対距離の変化量が第二閾値より大きい場合(ステップST105“NO”)、表示判断部13は、HUD1が表示している表示物を平面映像とし、運転者前方の予め定められた位置に表示するよう表示態様を設定する(ステップST108)。これは、相対距離の変化量がさらに大きい場合、例えば表示障害物である前方車両が急減速した場合、立体映像を表示する十分な空間が表示障害物と自車両との間に確保できない可能性があるためである。
 なお、表示判断部13は、例えば、相対距離の推定に用いられた自車両の位置と、情報解析部12が解析した運転者の位置と、予め定められた距離とを基準にして、「運転者前方の予め定められた位置」を設定すればよい。
 図6(d)に、平面表示物105dを自車両100の運転者前方の予め定められた位置に表示した例を示す。一般的なHUD1においては、平面表示物105dは、運転者の前方数メートル程度の位置に表示されるため、表示障害物に重ならず突き抜けない。
 図6(d)に示す平面表示物105dの表示位置が、「第一位置より移動体に近い位置」に相当する。
 表示判断部13は、ステップST106,ST107,ST108のいずれかにおいて設定した表示態様の情報を、表示指示部14へ指示する。
 表示指示部14は、表示判断部13から指示された表示態様に基づき、HUD1に表示物を表示するよう指示を出力する(ステップST109)。HUD1は、表示指示部14の指示に従い、表示物を立体映像または平面映像として、指示された表示位置に表示する。
 情報取得部11は、先のステップST101において情報を取得した時点から予め定められた時間(例えば、1秒)が経過するまで待ち(ステップST110)、その後にステップST101へ戻って新たな情報を取得する。つまり、図4のフローチャートでは、表示障害物と自車両との相対距離の1秒あたりの変化量に基づいて、表示物の表示態様を変更するか否か判断していることになる。
 なお、表示物と自車両との間に表示障害物が存在すると初めて判定されたとき、または表示態様変更距離内に表示障害物が存在すると初めて判断されたとき(ステップST103“YES”)、前回の表示障害物と自車両との相対距離は記憶されていないので、表示判断部13は初回の相対距離を記憶した後、ステップST104~ST109をスキップして、ステップST110の処理へ進む。
 また、表示物と自車両との間に表示障害物が存在しないと初めて判定されたとき、または表示態様変更距離内に表示障害物が存在しないと初めて判断されたとき(ステップST103“NO”)、この判断結果を受け付けた表示判断部13は、表示物の表示態様を初期表示態様に復帰させる指示を表示指示部14へ出力し、表示指示部14は、表示判断部13から指示された初期表示態様に基づきHUD1に表示物を表示するよう指示を出力する(ステップST111)。
 次に、図4のフローチャートを用いて説明した処理について、以下に具体例を用いて説明する。ここでは、表示制御装置10からHUD1に指示して、自車両より10m前方の初期表示位置に案内矢印を表す立体表示物を道路に重ねて表示させているものとする。
 このとき、情報解析部12が、自車両より8m前方に表示障害物となる前方車両を認識し、表示態様変更距離内に表示障害物が存在すると判断したとする(ステップST103“YES”)。
 表示判断部13は、情報解析部12から相対距離と判断結果を受け取り、前回と今回の相対距離の変化量を算出し、相対距離の変化量が第一閾値より大きく(ステップST104“NO”)、第二閾値以下と判断し(ステップST105“YES”)、自車両の3m前方に案内矢印の立体映像を表示するよう表示態様を設定する(ステップST107)。
 表示指示部14は、表示判断部13により設定された表示態様に基づいて、案内矢印を立体映像として表示させる位置を、自車両の10m前方から3m前方に変更するようHUD1に指示する(ステップST109)。
 その後ステップST101へ戻ってステップST103まで処理がなされ、今回のステップST103において情報解析部12が、上記前方車両が自車両に近づいたことを判断したとする(ステップST103“YES”)。表示判断部13は、情報解析部12から相対距離と判断結果を受け取り、前回と今回の相対距離の変化量を算出する(ステップST104)。
 前方車両と自車両との相対距離の変化量が第一閾値より大きく(ステップST104“NO”)、かつ第二閾値より大きい場合(ステップST105“NO”)、表示判断部13は、自車両の運転者の3m前方に案内矢印の平面映像を表示するよう表示態様を設定する(ステップST108)。表示指示部14は、表示判断部13により設定された表示態様に基づいて、案内矢印を立体映像から平面映像に変更し、この平面映像を表示させる位置を自車両の3m前方から運転者の3m前方に変更するようHUD1に指示する(ステップST109)。
 あるいは、前方車両と自車両との相対距離の変化量が第一閾値以下である場合(ステップST104“YES”)、表示判断部13は、上記前方車両の3m手前に案内矢印の立体映像を表示するよう表示態様を設定する(ステップST106)。表示指示部14は、表示判断部13により設定された表示態様に基づいて、案内矢印の立体映像を表示させる位置を前方車両の3m手前に変更するようHUD1に指示する(ステップST109)。
 また、上記前方車両が表示態様変更距離から外れた場合(ステップST103“NO”)、表示判断部13は、案内矢印の表示態様を復帰させる指示を表示指示部14へ出力する(ステップST111)。表示指示部14は案内矢印を、初期表示位置である自車両より10m前方に立体映像として表示させるようHUD1に指示する。
 なお、ここまでは自車両と表示障害物とが近づいたときの表示態様変更方法について説明したが、反対に自車両と表示障害物とが遠ざかるときに以下のように表示態様を変更してもよい。
 例えば、相対距離の変化量に対して第三閾値、および第三閾値より小さな第四閾値を予め定めておく。表示判断部13は、自車両前方の予め定められた位置に表示物を立体映像として表示させている際、自車両と表示障害物との相対距離の変化量が第三閾値より大きく自車両前方に十分な表示空間がある場合に、HUD1が表示している表示物を立体映像とし、表示障害物より手前の予め定められた位置に表示するよう表示態様を設定する。
 また、表示判断部13は、運転者前方の予め定められた位置に表示物を平面映像として表示させている際、自車両と表示障害物との相対距離の変化量が第三閾値以下かつ第四閾値より大きく自車両前方に十分な表示空間がある場合に、HUD1が表示している表示物を立体映像とし、自車両前方の予め定められた位置に表示するよう表示態様を設定する。
 なお、表示判断部13は、第三閾値と第四閾値のいずれか一方のみを用いて表示態様変更の必要性を判断してもよい。
 次に、図8を参照して、表示制御装置10のハードウエア構成例を説明する。バス40には、メモリ41、CPU(Central Processing Unit)42、入力装置43およびHUD1が接続されている。
 車両に搭載された車外カメラ3等の周辺機器が出力した情報は、入力装置43に入力される。入力装置43は情報取得部11である。
 CPU42は、メモリ41に記憶された表示制御プログラムを実行することにより、情報解析部12、表示判断部13および表示指示部14としての機能を実現する。
 CPU42が出力した情報はHUD1に入力され、HUD1がその情報に従い表示物を表示出力することで当該表示物が運転者に提示される。
 以上より、実施の形態1によれば、表示システムは、表示物を立体映像として現実の風景に重ねて表示可能なHUD1と、このHUD1を制御する表示制御装置10を備える構成であり、表示制御装置10は、車両および周辺の情報を取得する情報取得部11と、情報取得部11が取得した情報を用いて表示障害物と車両との相対距離を推定し、現実の風景に重ねて表示される表示物と車両との間に表示障害物が存在するか否かを判断する情報解析部12と、情報解析部12により表示物と車両との間に表示障害物が存在すると判断された場合に相対距離の変化量に応じて表示物の表示態様を変更する表示判断部13と、表示判断部13が変更した表示態様で表示物を表示するようHUD1に指示する表示指示部14とを備える構成にしたので、三次元の立体映像を表示可能なHUD1において表示物が表示障害物を突き抜けるように表示される現象を予防することができ、視認性の向上が可能になる。
 なお、情報解析部12は、現実の風景に重畳される表示物と車両との間に入ってくる可能性のある表示障害物が存在するか否かを判断してもよい。これにより、より確実に突き抜け現象を予防することができる。
 また、実施の形態1によれば、表示判断部13は、相対距離の変化量を第一閾値と比較し、相対距離の変化量が第一閾値より大きい場合に、表示物を車両前方の予め定められた第一位置に立体映像として表示するよう判断する構成にしたので、相対距離が大幅に減少した場合でも表示物が表示障害物を突き抜けるように表示される現象を予防することができる。
 また、実施の形態1によれば、表示判断部13は、相対距離の変化量を第一閾値より大きな第二閾値と比較し、相対距離の変化量が第二閾値より大きい場合に表示物を第一位置より車両に近い位置に平面映像として表示するよう判断する構成にしたので、相対距離が急激に減少した場合でも表示物が表示障害物を突き抜けるように表示される現象を予防することができる。
 また、実施の形態1によれば、表示判断部13は、相対距離が予め定められた距離(例えば、表示態様変更距離)以上である場合に表示物の表示態様を復帰する構成にしたので、表示態様を変更する必要がない場合、本来の表示態様で表示物を表示して視認性を向上させることができる。
実施の形態2.
 図9は、この発明の実施の形態2に係る表示制御装置10の構成例を示すブロック図である。図9において図1と同一または相当する部分は同一の符号を付し説明を省略する。実施の形態2に係る表示制御装置10の情報解析部22と表示判断部23は、図1に示した実施の形態1の表示制御装置10の情報解析部12と表示判断部13に新たな機能が追加されている点が異なる。
 実施の形態2では、表示物の表示態様を平面映像に設定するとき、表示障害物と自車両との相対距離の変化量だけでなく、相対距離の値そのものも考慮する。
 図10に、実施の形態2による表示物の表示態様変更例を示す。図10(a)に示すように、表示障害物である前方車両201と自車両200との相対距離変化量210が第一閾値より大きく、かつ第二閾値以下である場合、案内矢印である立体表示物202aは立体映像として自車両前方に表示される。例えば赤信号で車両が停車する際または渋滞時など緩やかに相対距離が減少していき、前方車両と自車両との間に立体映像を表示する空間がなくなる場合、相対距離変化量210のみに応じて表示態様を設定していたのでは、図10(a)に示すように立体表示物202aが前方車両201を突き抜けてしまう可能性がある。そこで、図10(b)に示すように、前方車両201と自車両200との相対距離が小さい場合に、立体表示物202aから平面表示物202bへ案内矢印の表示態様を切り替えることで、表示物が表示障害物を突き抜けるように表示される現象を予防することができる。
 情報解析部22は、上記実施の形態1の情報解析部12と同様の処理を行う。加えて情報解析部22は、情報取得部11から受け取った相対距離を、予め定められている相対距離閾値と比較し、相対距離が相対距離閾値より小さいか否かの判断結果を表示判断部23へ出力する。相対距離閾値は、自車両前方に表示物を立体映像として表示したときに表示物が表示障害物を突き抜けない距離であることが望ましい。また、表示物は種別に応じて表示の大きさが異なるため、表示物の種別ごとに異なる相対距離閾値が定められていてもよい。
 表示判断部23は、HUD1に表示する表示物の情報、表示障害物と自車両との相対距離、および表示物と自車両との間に表示障害物が存在するか否かの判断結果等に加えて、相対距離が相対距離閾値より小さいか否かの判断結果の情報を、情報解析部22から受け取る。表示判断部23は、情報解析部22において表示障害物と自車両との相対距離が相対距離閾値より小さいと判断された場合、HUD1が表示している表示物を平面映像とし、運転者前方の予め定められた位置に表示するよう表示態様を設定する。一方、表示障害物と自車両との相対距離が相対距離閾値以上であると判断された場合、表示判断部23は上記実施の形態1と同様に相対距離に応じて表示態様を設定する。
 次に、図11に示すフローチャートを用いて、実施の形態2の表示制御装置10の動作を説明する。なお、図11に示すステップST101~ST111は、実施の形態1の図4に示したフローチャートと同一であるため説明を省略する。
 情報解析部22は、ステップST102において車両情報および周辺情報を解析し、自車両の前方に表示障害物を認識した場合、ステップST201においてこの表示障害物と自車両との相対距離を推定し、相対距離が相対距離閾値より小さいか否かを判断する。相対距離が相対距離閾値より小さい場合(ステップST201“YES”)、表示判断部23は、HUD1が表示している表示物を平面映像とし、運転者前方の予め定められた位置に表示するよう表示態様を設定する(ステップST108)。
 一方、相対距離が相対距離閾値以上である場合(ステップST201“NO”)、情報解析部22は、表示物と自車両との間に表示障害物が存在するか否か、または表示態様変更距離内に表示障害物が存在するか否かを判断する(ステップST103)。情報解析部22において自車両の前方に表示障害物を認識できなかった場合も、相対距離が相対距離閾値以上であると判断する。
 ステップST103以降の処理は、上記実施の形態1と同様であるため説明を省略する。
 なお、図11に示したフローチャートでは、ステップST201の処理を行った後でステップST103の処理を行っているが、先にステップST103の処理を行ってもよい。
 図11のフローチャートを用いて説明した処理について、以下に具体例を用いて説明する。ここでは、表示判断部23において、表示障害物である前方車両と自車両との相対距離の変化量が第一閾値より大きく(ステップST104“NO”)、かつ第二閾値以下であると判断され(ステップST105“YES”)、自車両の3m前方に案内矢印の立体映像を表示するよう表示態様が設定され(ステップST107)、HUD1がその設定に従い表示物を表示しているものとする。
 その後ステップST101へ戻ってステップST201まで処理がなされ、今回のステップST201において情報解析部22が、上記前方車両が自車両より3m前方まで近づいて、相対距離3mが予め定められた相対距離閾値4mより小さいと判断したとする(ステップST201“YES”)。
 この判断結果を受け取った表示判断部23は、自車両と前方車両との相対距離の変化量に関係なく、自車両の運転者の3m前方に案内矢印の平面映像を表示するよう表示態様を設定する(ステップST108)。
 表示指示部14は、表示判断部23により設定された表示態様に基づいて、案内矢印を立体映像から平面映像に変更し、この平面映像を表示させる位置を自車両の3m前方から運転者の3m前方に変更するようHUD1に指示する(ステップST109)。
 以上より、実施の形態2によれば、情報解析部22は、相対距離が相対距離閾値より小さいか否かを判断し、表示判断部23は、情報解析部22により相対距離が相対距離閾値より小さいと判断された場合、相対距離の変化量に関係なく、表示物を第一位置より自車両に近い位置に平面映像として表示するよう判断する構成にしたので、表示障害物と自車両との相対距離を考慮し、立体映像を表示する空間がないときは平面映像を表示させることができる。これにより、表示物が表示障害物を突き抜けるように表示される現象をより確実に予防することができ、視認性の向上が可能になる。
実施の形態3.
 図12は、この発明の実施の形態3に係る表示制御装置10の構成例を示すブロック図である。図12において図1と同一または相当する部分は同一の符号を付し説明を省略する。実施の形態3に係る表示制御装置10の情報解析部32と表示判断部33は、図1に示した実施の形態1の表示制御装置10の情報解析部12と情報解析部12に新たな機能が追加されている点が異なる。
 実施の形態3では、表示物が表示障害物を突き抜けるように表示される現象を予防するだけでなく、表示障害物の種別に応じた表示態様で表示させることで、運転者に表示物の情報をより直感的に理解させる。
 次に、図13に示すフローチャートを用いて、実施の形態3の表示制御装置10の動作を説明する。なお、図13に示すステップST101~ST111は、実施の形態1の図4に示したフローチャートと同一であるため説明を省略する。
 情報解析部32は、情報取得部11から受け取った周辺情報を解析して、表示障害物の種別および形状等を判断し、その情報を表示判断部33へ出力する(ステップST301)。表示判断部33は、情報解析部32から受け取った表示障害物の種別および形状等の情報に応じて、表示物の表示態様を変更する(ステップST302~ST304)。
 ここでは、表示障害物の種別として登り坂、ガードレール等の路側設置物、および車両の3種類を例に挙げて説明する。
 なお、情報解析部32は、表示障害物の形状を、車外カメラ3の撮像画像、カーナビゲーション装置6の地図情報、またはレーザレーダ7の三次元情報等に基づいて判断する。また、情報解析部32は、表示障害物の種別が車両の場合に、車外カメラ3の撮像画像またはレーザレーダ7の三次元情報等に基づいて表示障害物となる車両が存在する位置を判断する。さらに、情報解析部32は、表示障害物の種別が車両の場合に、カーナビゲーション装置6のナビゲーション情報に基づいて、自車両が次の案内地点を右折するといった進行方向に関する情報を判断する。
 表示障害物の種別が登り坂である場合(ステップST301“登り坂”)、表示判断部33は、HUD1が表示している表示物を立体映像とし、さらに表示物の仰角を大きくして上方向を向くように表示態様を設定する(ステップST302)。
 図14に、表示障害物の種別が登り坂である場合の表示物の表示態様変更例を示す。図14(a)に示すように、自車両300の前方に登り坂301がある場合、案内矢印等の平面表示物302aを自車両300の前方の予め定められた位置に表示させると登り坂301を突き抜けてしまう可能性がある。そこで、図14(b)に示すように、案内矢印を立体表示物302bとして表示させ、さらに立体表示物302bの仰角を上方向に変更することで、突き抜けを予防する。また、立体表示物302bが登り坂301に沿った表示形状で表示されることになるため、運転者は登り坂301を登るという誘導案内の内容を直感的に理解できる。
 また、表示判断部33は、自車両300と登り坂301との相対距離の変化量が大きいほど、つまり、登り坂301への進入速度が大きいほど、立体表示物302bの仰角を大きくしてもよい。これにより、立体表示物302bが登り坂301を突き抜けるように表示される現象がさらに起こりにくくなる。
 表示障害物の種別が路側設置物である場合(ステップST301“路側設置物”)、表示判断部33は、HUD1が表示している表示物を立体映像とし、さらに表示物の表示形状を路面設置物に沿った表示態様に設定する(ステップST303)。
 図15に、表示障害物の種別が路側設置物である場合の表示物の表示態様変更例を示す。図15(a)に示すように、自車両300の前方にガードレール等の路側設置物303がある場合、案内矢印等の立体表示物304aを自車両300の前方の予め定められた位置に初期表示態様で表示させると路側設置物303を突き抜けてしまう可能性がある。そこで、図15(b)または図15(c)に示すように、案内矢印の表示位置および表示形状を変更して立体表示物304b,304cのような表示態様にすることで、突き抜けを予防する。また、立体表示物304b,304cが路側設置物303に沿った表示形状で表示されることになるため、運転者は進行方向を直感的に理解できる。
 表示障害物の種別が車両である場合(ステップST301“車両”)、表示判断部33は、HUD1が表示している表示物を立体映像とし、さらに表示物の表示位置を左右いずれかの方向に移動させた表示態様に設定する(ステップST304)。その際、表示判断部33は、表示位置を左右いずれの方向に移動させるか、表示物の内容に基づいて判断してもよい。
 図16に、表示障害物の種別が車両である場合の表示物の表示態様変更例を示す。
 例えば、表示物が、次の案内地点で右折することを示す右向きの案内矢印の立体表示物307aである場合、本来であればこの立体表示物307aは自車両300が走行しているレーン上かつ自車両300より前方に表示される。しかし、図16(a)に示すように自車両300が走行しているレーンの前方に表示障害物である前方車両305が存在する場合、立体表示物307aが前方車両305に重なって表示されて突き抜けてしまう可能性がある。そのため、表示判断部33は、立体表示物307aの表示位置を右隣のレーンへ移動させ、立体表示物307bとして表示させる。これにより、自車両300の運転者は、本来の表示位置の右側で案内矢印を視認でき、進行方向を直感的に理解できる。
 なお、表示判断部33は、右向きの案内矢印を右方向へ移動させ、左向きの案内矢印を左方向へ移動させるというように、表示物の内容に基づいて表示位置の移動方向を判断してもよい。
 また、図16(b)に示すように、自車両300が走行しているレーンに前方車両305が存在するだけでなく、隣のレーンにも前方車両306が存在する場合、表示判断部33は、自車両300の前方において立体表示物307aを表示可能な空間がある方向を、表示位置の移動先に設定し、立体表示物307cとして表示させてもよい。
 なお、自車両300の前方において立体表示物307aを表示可能な空間がない場合、表示判断部33は、立体表示物307aを移動させなくてもよい。この場合は自車両300と前方車両305との相対距離の変化量に応じて立体表示物307aの前後方向の表示位置が変更される。
 さらに、表示判断部33は、自車両300と前方車両305,306との相対距離の変化量が大きいほど、つまり、前方車両305,306との接近速度が大きいほど、立体表示物307b,307cの左右方向の移動距離を大きくしてもよい。なお、図16において前方車両305と自車両300との相対距離の変化量は、相対距離変化量310の矢印で示す。
 また、表示障害物の種別が車両である場合、表示判断部33は、情報解析部32が車外カメラ3の撮像画像またはカーナビゲーション装置6の地図情報を解析して得た道路のレーン情報を受け取り、レーン情報に基づいて表示物の表示位置を左右いずれかの方向に変更してもよい。レーン情報としては、自車両が走行している道路のレーン数および自車両が走行しているレーン位置の情報を含み、さらに右左折専用レーン等を識別する情報を含んでもよい。
 例えば、自車両が走行している道路が交差点周辺にて複数レーンに分かれておりこの交差点を右折しようとしている場合、自車両は右折のために右側のレーンまたは右折専用レーンに移動する必要がある。このとき、表示判断部33が表示物の表示位置を右側のレーンまたは右折専用レーンに移動させることで、表示物が前方車両に突き抜けるように表示される現象を予防すると同時に、運転者に進行方向を直感的に理解させる。
 ステップST104以降の処理は、上記実施の形態1と同様であるため説明を省略する。
 なお、説明は省略するが、自車両300の前方に複数の種別の表示障害物が存在する場合、表示判断部33はステップST302~ST304の表示態様を組み合わせてもよい。
 また、ステップST302~ST304において表示障害物の種別に応じて表示態様を変更した結果、表示物による表示障害物の突き抜けが起こらなくなる場合、表示判断部33は、表示障害物と自車両との相対距離の変化量を考慮した表示態様の変更処理(ステップST104~ST108)をスキップして、ステップST109の処理へ進んでもよい。
 例えば、情報解析部32は、ステップST302~ST304の後、表示態様変更後の表示物の表示位置と表示障害物の位置とを比較し、自車両と表示物との間に表示障害物がなければ突き抜けは起こらないと判断し、ステップST109の処理へ進む。一方、情報解析部32は、自車両と表示物との間に表示障害物があれば突き抜けが起こると判断し、ステップST104の処理へ進む。
 また、図13に示したフローチャートでは、表示障害物の種別に応じた表示態様の変更処理(ステップST301~ST304)を先に行い、その後に表示障害物と自車両との相対距離の変化量に応じた表示態様の変更処理(ステップST104~ST108)を行っているが、先にステップST104~ST108の処理を行ってもよい。
 以上より、実施の形態3によれば、情報解析部32は、表示障害物の種別を判断し、表示判断部33は、表示物を立体映像として表示するときの表示態様を表示障害物の種別に応じて変更するように構成したので、表示物が表示障害物を突き抜けるように表示される現象の発生を抑制することができる。また、表示物の内容を運転者に直感的に理解させることができる。
 また、実施の形態3によれば、表示判断部33は、表示障害物の種別が登り坂である場合に立体映像として表示する表示物の仰角を上方向にする構成にしたので、表示物が登り坂を突き抜けるように表示される現象の発生を抑制することができる。また、登り坂を登ることを運転者に直感的に理解させることができる。
 また、実施の形態3によれば、表示判断部33は、表示障害物の種別が路側設置物である場合に立体映像として表示する表示物の形状を路側設置物の形状に合わせる構成にしたので、表示物が登り坂を突き抜けるように表示される現象の発生を抑制することができる。また、自車両の進行方向を運転者に直感的に理解させることができる。
 また、実施の形態3によれば、表示判断部33は、表示障害物の種別が車両である場合に立体映像として表示する表示物の位置を前記車両の左右いずれかの位置にする構成にしたので、自車両の前方に表示物を立体映像として表示する空間がない場合でも左右いずれかの位置において突き抜けせずに表示させることができる。
 また、実施の形態3によれば、表示判断部33は、自車両が走行している道路のレーン情報に基づいて、立体映像として表示する表示物の位置を左右いずれの位置に変更するか判断する構成にしたので、自車両の進行方向と同じ方向に表示物を移動させて表示することができ、自車両の進行方向を運転者に直感的に理解させることができる。
 なお、この発明の各実施の形態では、HUD1と表示制御装置10とを備える表示システムを車両に搭載した例を説明したが、車両に限定されるものではなく、人、鉄道、船舶または航空機等を含む移動体に搭載してもよい。また、表示制御装置10は、移動体に搭載された機器でもよいし、移動体内に持ち込まれる携帯情報端末でもよい。表示装置は、HUD1に限定されるものではなく、例えばHMD(Head Mounted Display)のような立体映像および平面映像を表示可能なものであればよい。さらに、車内カメラ2等の周辺機器は、移動体に搭載されているものを使用してもよいし、表示制御装置10、HUD1またはHMDのいずれかに備わっているものを使用してもよい。
 上記説明以外にも、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、各実施の形態の任意の構成要素の変形、または各実施の形態の任意の構成要素の省略が可能である。
 この発明に係る表示制御装置は、表示物が表示障害物を突き抜けるように表示される現象を予防するようにしたので、HUDまたはHMDなどの立体映像を表示可能な表示装置を制御する表示制御装置に用いるのに適している。
 1 HUD(表示装置)、2 車内カメラ、3 車外カメラ、4 GPS受信機、5 CAN、6 カーナビゲーション装置、7 レーザレーダ、10 表示制御装置、11 情報取得部、12,22,32 情報解析部、13,23,33 表示判断部、14 表示指示部、40 バス、41 メモリ、42 CPU、43 入力装置、100,200,300 自車両、101,101a,101b,101c,201,305,306 前方車両、102a,104a,105d,202b,302a 平面表示物、102b,104b,105,105a~105c,202a,302b,304a~304c,307a~307c 立体表示物、103 道路、110~112,210,310 相対距離変化量、301 登り坂、303 路側設置物。

Claims (13)

  1.  表示物を立体映像として現実の風景に重ねて表示可能な表示装置を制御する表示制御装置であって、
     移動体および周辺の情報を取得する情報取得部と、
     前記情報取得部が取得した情報を用いて表示障害物と前記移動体との相対距離を推定し、現実の風景に重ねて表示される前記表示物と前記移動体との間に前記表示障害物が存在するか否かを判断する情報解析部と、
     前記情報解析部により前記表示物と前記移動体との間に前記表示障害物が存在すると判断された場合に前記相対距離の変化量に応じて前記表示物の表示態様を変更する表示判断部と、
     前記表示判断部が変更した表示態様で前記表示物を表示するよう前記表示装置に指示する表示指示部とを備えることを特徴とする表示制御装置。
  2.  前記表示判断部は、前記相対距離の変化量を第一閾値と比較し、前記相対距離の変化量が前記第一閾値より大きい場合、前記表示物を前記移動体の前方の予め定められた第一位置に立体映像として表示するよう判断することを特徴とする請求項1記載の表示制御装置。
  3.  前記表示判断部は、前記相対距離の変化量を前記第一閾値より大きな第二閾値と比較し、前記相対距離の変化量が前記第二閾値より大きい場合、前記表示物を前記第一位置より前記移動体に近い位置に平面映像として表示するよう判断することを特徴とする請求項2記載の表示制御装置。
  4.  前記情報解析部は、前記相対距離が相対距離閾値より小さいか否かを判断し、
     前記表示判断部は、前記情報解析部により前記相対距離が前記相対距離閾値より小さいと判断された場合、前記相対距離の変化量に関係なく、前記表示物を前記第一位置より前記移動体に近い位置に平面映像として表示するよう判断することを特徴とする請求項2記載の表示制御装置。
  5.  前記情報解析部は、前記表示障害物の種別を判断し、
     前記表示判断部は、前記表示物を立体映像として表示するときの表示態様を前記表示障害物の種別に応じて変更することを特徴とする請求項1記載の表示制御装置。
  6.  前記表示判断部は、前記表示障害物の種別が登り坂である場合、立体映像として表示する前記表示物の仰角を上方向にすることを特徴とする請求項5記載の表示制御装置。
  7.  前記表示判断部は、前記表示障害物の種別が路側設置物である場合、立体映像として表示する前記表示物の形状を前記路側設置物の形状に合わせることを特徴とする請求項5記載の表示制御装置。
  8.  前記表示判断部は、前記表示障害物の種別が車両である場合、立体映像として表示する前記表示物の位置を前記車両の左右いずれかの位置にすることを特徴とする請求項5記載の表示制御装置。
  9.  前記移動体は車両であって、
     前記表示判断部は、前記移動体が走行している道路のレーン情報に基づいて、立体映像として表示する前記表示物の位置を左右いずれの位置に変更するか判断することを特徴とする請求項8記載の表示制御装置。
  10.  前記表示判断部は、前記相対距離が予め定められた距離以上である場合に前記表示物の表示態様を復帰することを特徴とする請求項1記載の表示制御装置。
  11.  表示物を立体映像として現実の風景に重ねて表示可能な表示装置と、
     請求項1記載の表示制御装置とを備える表示システム。
  12.  表示物を立体映像として現実の風景に重ねて表示可能な表示装置を制御する表示制御装置が行う表示制御方法であって、
     情報取得部が、移動体および周辺の情報を取得し、
     情報解析部が、前記情報を用いて表示障害物と前記移動体との相対距離を推定し、現実の風景に重ねて表示される前記表示物と前記移動体との間に前記表示障害物が存在するか否かを判断し、
     表示判断部が、前記表示物と前記移動体との間に前記表示障害物が存在すると判断された場合に前記相対距離の変化量に応じて前記表示物の表示態様を変更し、
     表示指示部が、前記変更した表示態様で前記表示物を表示するよう前記表示装置に指示することを特徴とする表示制御方法。
  13.  表示物を立体映像として現実の風景に重ねて表示可能な表示装置の制御を、コンピュータに実行させるための表示制御プログラムであって、
     情報取得部に、移動体および周辺の情報を取得させる手順と、
     情報解析部に、前記情報を用いて表示障害物と前記移動体との相対距離を推定し、現実の風景に重ねて表示される前記表示物と前記移動体との間に前記表示障害物が存在するか否かを判断させる手順と、
     表示判断部に、前記表示物と前記移動体との間に前記表示障害物が存在すると判断された場合に前記相対距離の変化量に応じて前記表示物の表示態様を変更させる手順と、
     表示指示部に、前記変更した表示態様で前記表示物を表示するよう前記表示装置に指示させる手順とを備えることを特徴とする表示制御プログラム。
PCT/JP2015/061863 2015-04-17 2015-04-17 表示制御装置、表示システム、表示制御方法および表示制御プログラム WO2016166887A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
PCT/JP2015/061863 WO2016166887A1 (ja) 2015-04-17 2015-04-17 表示制御装置、表示システム、表示制御方法および表示制御プログラム
JP2017512169A JP6223630B2 (ja) 2015-04-17 2015-04-17 表示制御装置、表示システム、表示制御方法および表示制御プログラム
DE112015006458.3T DE112015006458B4 (de) 2015-04-17 2015-04-17 Anzeigesteuervorrichtung, Anzeigesystem, Anzeigesteuerverfahren und Anzeigesteuerprogramm
CN201580078931.6A CN107710751B (zh) 2015-04-17 2015-04-17 显示控制装置、显示系统及显示控制方法
US15/561,346 US10410423B2 (en) 2015-04-17 2015-04-17 Display control device for controlling stereoscopic display of superimposed display object, display system, display control method and computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/061863 WO2016166887A1 (ja) 2015-04-17 2015-04-17 表示制御装置、表示システム、表示制御方法および表示制御プログラム

Publications (1)

Publication Number Publication Date
WO2016166887A1 true WO2016166887A1 (ja) 2016-10-20

Family

ID=57126424

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/061863 WO2016166887A1 (ja) 2015-04-17 2015-04-17 表示制御装置、表示システム、表示制御方法および表示制御プログラム

Country Status (5)

Country Link
US (1) US10410423B2 (ja)
JP (1) JP6223630B2 (ja)
CN (1) CN107710751B (ja)
DE (1) DE112015006458B4 (ja)
WO (1) WO2016166887A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018180597A1 (ja) * 2017-03-31 2018-10-04 日本精機株式会社 注意喚起装置
WO2019003929A1 (ja) * 2017-06-30 2019-01-03 パナソニックIpマネジメント株式会社 表示システム、情報提示システム、表示システムの制御方法、プログラムと記録媒体、及び移動体装置
JP2020064047A (ja) * 2018-10-15 2020-04-23 三星電子株式会社Samsung Electronics Co.,Ltd. コンテンツを視覚化する装置及び方法
JP2021512392A (ja) * 2017-09-26 2021-05-13 アウディ アクチェンゲゼルシャフトAudi Ag バーチャルコンテンツを表示するためのヘッドマウント式電子ディスプレイ装置の操作方法およびバーチャルコンテンツを表示するためのディスプレイシステム
JP2021534464A (ja) * 2018-10-10 2021-12-09 ネイバーラボス コーポレーション 画像を地面に位置させて運転手の視点に拡張現実を実現する3次元拡張現実ヘッドアップディスプレイ
JP7397152B2 (ja) 2018-10-10 2023-12-12 ネイバーラボス コーポレーション 画像を地面に位置させて運転手の視点に拡張現実を実現する3次元拡張現実ヘッドアップディスプレイ

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6754425B2 (ja) * 2015-05-30 2020-09-09 レイア、インコーポレイテッドLeia Inc. 車両監視システム
US20180356641A1 (en) * 2015-12-01 2018-12-13 Nippon Seiki Co., Ltd. Head-up display
WO2018037645A1 (ja) * 2016-08-24 2018-03-01 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
KR101979277B1 (ko) * 2017-07-25 2019-05-16 엘지전자 주식회사 차량용 사용자 인터페이스 장치 및 차량
DE102018204254B4 (de) * 2018-03-20 2020-12-03 Volkswagen Aktiengesellschaft Verfahren zur Berechnung einer Einblendung von Zusatzinformationen für eine Anzeige auf einer Anzeigeeinheit, Vorrichtung zur Durchführung des Verfahrens sowie Kraftfahrzeug und Computerprogramm
JP7042443B2 (ja) * 2018-06-21 2022-03-28 パナソニックIpマネジメント株式会社 映像表示システム、映像表示方法、プログラム、及び移動体
US11480968B1 (en) * 2018-08-29 2022-10-25 Amazon Technologies, Inc. System for dynamic positioning of an autonomous mobile device with respect to a user
CN109300322B (zh) * 2018-10-31 2021-05-04 百度在线网络技术(北京)有限公司 引导线绘制方法、装置、设备和介质
GB2584609B (en) * 2019-05-03 2021-10-20 Jaguar Land Rover Ltd Controller for a vehicle
DE102019206490B3 (de) * 2019-05-06 2020-03-26 Volkswagen Aktiengesellschaft Parkassistenzsystem für ein Kraftfahrzeug, Verfahren zur Einparkunterstützung für ein Kraftfahrzeug, Computerprogramm und computerlesbares Speichermedium
CN110276988A (zh) * 2019-06-26 2019-09-24 重庆邮电大学 一种基于碰撞预警算法的辅助驾驶系统
WO2020261642A1 (ja) * 2019-06-27 2020-12-30 パナソニックIpマネジメント株式会社 表示制御装置、画像表示システム、移動体、表示制御方法及びプログラム
CN111856417B (zh) * 2020-07-20 2023-07-21 中国第一汽车股份有限公司 车载毫米波雷达的性能分析方法、装置、终端及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005069799A (ja) * 2003-08-22 2005-03-17 Denso Corp 車両用ナビゲーションシステム
JP2010221830A (ja) * 2009-03-23 2010-10-07 Toshiba Corp 車載用表示システム、表示方法及び車両
JP2011064760A (ja) * 2009-09-15 2011-03-31 Nippon Seiki Co Ltd 車両用表示装置
JP2015069656A (ja) * 2013-09-30 2015-04-13 本田技研工業株式会社 3次元(3−d)ナビゲーション

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08197981A (ja) 1995-01-23 1996-08-06 Aqueous Res:Kk 車輌用表示装置
JP4134785B2 (ja) 2003-03-28 2008-08-20 株式会社デンソー 表示装置
CN100487380C (zh) * 2004-06-10 2009-05-13 株式会社电装 用于根据外部环境改变显示位置的显示方法和装置
JP4389708B2 (ja) 2004-07-21 2009-12-24 株式会社デンソー 車両用表示装置およびその表示方法
JP2009008722A (ja) * 2007-06-26 2009-01-15 Univ Of Tsukuba 3次元ヘッドアップディスプレイ装置
JP4735732B2 (ja) 2009-03-25 2011-07-27 富士ゼロックス株式会社 円筒部材の製造装置、及び円筒部材の製造方法
JP2010256878A (ja) * 2009-03-30 2010-11-11 Equos Research Co Ltd 情報表示装置
JP5184677B2 (ja) 2011-06-29 2013-04-17 三菱電機株式会社 画像表示システム
EP2964753B1 (en) * 2013-03-07 2018-04-25 Baylor College of Medicine Targeting cd138 in cancer
US20160054563A9 (en) 2013-03-14 2016-02-25 Honda Motor Co., Ltd. 3-dimensional (3-d) navigation
DE102014219575A1 (de) * 2013-09-30 2015-07-23 Honda Motor Co., Ltd. Verbesserte 3-Dimensionale (3-D) Navigation
WO2015060193A1 (ja) * 2013-10-22 2015-04-30 日本精機株式会社 車両情報投影システム及び投影装置
JP6485732B2 (ja) * 2014-12-10 2019-03-20 株式会社リコー 情報提供装置、情報提供方法及び情報提供用制御プログラム
KR101916993B1 (ko) * 2015-12-24 2018-11-08 엘지전자 주식회사 차량용 디스플레이 장치 및 그 제어방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005069799A (ja) * 2003-08-22 2005-03-17 Denso Corp 車両用ナビゲーションシステム
JP2010221830A (ja) * 2009-03-23 2010-10-07 Toshiba Corp 車載用表示システム、表示方法及び車両
JP2011064760A (ja) * 2009-09-15 2011-03-31 Nippon Seiki Co Ltd 車両用表示装置
JP2015069656A (ja) * 2013-09-30 2015-04-13 本田技研工業株式会社 3次元(3−d)ナビゲーション

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018180597A1 (ja) * 2017-03-31 2018-10-04 日本精機株式会社 注意喚起装置
JPWO2018180597A1 (ja) * 2017-03-31 2020-02-13 日本精機株式会社 注意喚起装置
JP7047837B2 (ja) 2017-03-31 2022-04-05 日本精機株式会社 注意喚起装置
WO2019003929A1 (ja) * 2017-06-30 2019-01-03 パナソニックIpマネジメント株式会社 表示システム、情報提示システム、表示システムの制御方法、プログラムと記録媒体、及び移動体装置
JP2021512392A (ja) * 2017-09-26 2021-05-13 アウディ アクチェンゲゼルシャフトAudi Ag バーチャルコンテンツを表示するためのヘッドマウント式電子ディスプレイ装置の操作方法およびバーチャルコンテンツを表示するためのディスプレイシステム
JP7138175B2 (ja) 2017-09-26 2022-09-15 アウディ アクチェンゲゼルシャフト バーチャルコンテンツを表示するためのヘッドマウント式電子ディスプレイ装置の操作方法およびバーチャルコンテンツを表示するためのディスプレイシステム
JP2021534464A (ja) * 2018-10-10 2021-12-09 ネイバーラボス コーポレーション 画像を地面に位置させて運転手の視点に拡張現実を実現する3次元拡張現実ヘッドアップディスプレイ
JP7183393B2 (ja) 2018-10-10 2022-12-05 ネイバーラボス コーポレーション 画像を地面に位置させて運転手の視点に拡張現実を実現する3次元拡張現実ヘッドアップディスプレイ
JP7397152B2 (ja) 2018-10-10 2023-12-12 ネイバーラボス コーポレーション 画像を地面に位置させて運転手の視点に拡張現実を実現する3次元拡張現実ヘッドアップディスプレイ
JP2020064047A (ja) * 2018-10-15 2020-04-23 三星電子株式会社Samsung Electronics Co.,Ltd. コンテンツを視覚化する装置及び方法
US11656091B2 (en) 2018-10-15 2023-05-23 Samsung Electronics Co., Ltd. Content visualizing method and apparatus
JP7303691B2 (ja) 2018-10-15 2023-07-05 三星電子株式会社 コンテンツを視覚化する装置及び方法

Also Published As

Publication number Publication date
JPWO2016166887A1 (ja) 2017-11-02
DE112015006458T5 (de) 2018-01-04
US10410423B2 (en) 2019-09-10
CN107710751B (zh) 2020-01-10
JP6223630B2 (ja) 2017-11-01
US20180061134A1 (en) 2018-03-01
CN107710751A (zh) 2018-02-16
DE112015006458B4 (de) 2019-05-23

Similar Documents

Publication Publication Date Title
JP6223630B2 (ja) 表示制御装置、表示システム、表示制御方法および表示制御プログラム
US9771022B2 (en) Display apparatus
US9884625B2 (en) Vehicle traveling control device
EP3367336B1 (en) Parking space line detection method and device
JP6547836B2 (ja) 駐車支援方法及び駐車支援装置
KR102042371B1 (ko) 주차 스페이스 검출 방법 및 장치
JP6107590B2 (ja) ヘッドアップディスプレイ装置
KR20200131832A (ko) 정보 처리 장치, 이동 장치 및 방법, 그리고 프로그램
CN113165510A (zh) 显示控制装置、方法和计算机程序
JP2005297810A (ja) 車両用表示システム及びプログラム
JP2023112053A (ja) 画像処理装置
JP2020075558A (ja) 車両制御方法及び車両制御装置
WO2020158601A1 (ja) 表示制御装置、方法、及びコンピュータ・プログラム
CN115123209A (zh) 驾驶辅助装置
JP5200990B2 (ja) 運転支援装置
WO2020147962A1 (en) Head-up display system
CN114207691B (zh) 车辆驾驶辅助系统、站点侧驾驶辅助装置和车载驾驶辅助装置
JP2020121607A (ja) 表示制御装置、方法、及びコンピュータ・プログラム
WO2021076734A1 (en) Method for aligning camera and sensor data for augmented reality data visualization
CN117406440A (zh) 虚拟图像显示装置
JP2020106911A (ja) 表示制御装置、方法、及びコンピュータ・プログラム
JP2020086882A (ja) 表示制御装置、方法、及びコンピュータ・プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15889225

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017512169

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15561346

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112015006458

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15889225

Country of ref document: EP

Kind code of ref document: A1