WO2018078732A1 - 表示制御装置、表示装置および表示制御方法 - Google Patents

表示制御装置、表示装置および表示制御方法 Download PDF

Info

Publication number
WO2018078732A1
WO2018078732A1 PCT/JP2016/081662 JP2016081662W WO2018078732A1 WO 2018078732 A1 WO2018078732 A1 WO 2018078732A1 JP 2016081662 W JP2016081662 W JP 2016081662W WO 2018078732 A1 WO2018078732 A1 WO 2018078732A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
display
future
control device
control unit
Prior art date
Application number
PCT/JP2016/081662
Other languages
English (en)
French (fr)
Inventor
下谷 光生
中村 好孝
直志 宮原
小畑 直彦
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to US16/320,456 priority Critical patent/US10933745B2/en
Priority to JP2018546979A priority patent/JP6591087B2/ja
Priority to CN201680090191.2A priority patent/CN109844837A/zh
Priority to DE112016007380.1T priority patent/DE112016007380T5/de
Priority to PCT/JP2016/081662 priority patent/WO2018078732A1/ja
Publication of WO2018078732A1 publication Critical patent/WO2018078732A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968Systems involving transmission of navigation instructions to the vehicle
    • G08G1/0969Systems involving transmission of navigation instructions to the vehicle having a display in the form of a map
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10Path keeping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/175Autonomous driving
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • B60W2556/50External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data

Definitions

  • the present invention relates to a technique for controlling an indicator used in a vehicle that can be driven by automatic driving.
  • Patent Document 1 discloses a technique for notifying the next action of the host vehicle.
  • the calculation control unit receives information on the position of another vehicle that is automatically driving around by vehicle-to-vehicle communication, and displays the vehicle and the other vehicles on the screen of the display unit of the vehicle. Marks are displayed with relative positional relationships.
  • the mark indicating the own vehicle and the other vehicle is a pentagon having a single acute angle, and the direction in which the acute angle is directed indicates the traveling direction of the own vehicle and the other vehicle.
  • Patent Document 1 discloses a technique for notifying the next action taken by another vehicle. Specifically, the arithmetic control unit receives travel plan information from another vehicle, and sets the relative positional relationship between marks indicating the host vehicle and the other vehicle based on the travel plan of the other vehicle.
  • the arithmetic control unit notifies by voice the action to be taken next by the own vehicle and the other vehicle. For example, voices such as “Join the right lane”, “Move to the left lane”, “Stop 100 meters ahead”, etc. are output for the next action taken by the vehicle.
  • Patent Document 2 discloses a technique for notifying a driver of a vehicle control operation state.
  • the driving assistance device responds to the accelerator pedal operation reaction force control according to the risk potential indicating the degree of approach between the host vehicle and the front obstacle, and the possibility of contact between the host vehicle and the front obstacle.
  • Automatic braking control When the automatic braking control shifts from the low operating state to the high operating state while the operating reaction force is generated in the accelerator pedal according to the risk potential, the driving operation assisting device A pulse-shaped additional reaction force is generated from the pedal, and a single alarm sound is generated.
  • An object of the present invention is to visually provide users with future movements of a vehicle with concreteness.
  • a display control apparatus is a display control apparatus that controls a display device used in a vehicle that can travel in automatic driving, and acquires information on a travel control plan created by the automatic driving control apparatus of the vehicle.
  • the information acquisition unit and the vehicle's future movement planned by the driving control plan are visually displayed to the user by superimposing a vehicle object, which is a display object simulating the vehicle shape, on a landscape related to the future movement.
  • a control unit for controlling the display unit is a display control apparatus that controls a display device used in a vehicle that can travel in automatic driving, and acquires information on a travel control plan created by the automatic driving control apparatus of the vehicle.
  • the information acquisition unit and the vehicle's future movement planned by the driving control plan are visually displayed to the user by superimposing a vehicle object, which is a display object simulating the vehicle shape, on a landscape related to the future movement.
  • a control unit for controlling the display unit for controlling the display unit.
  • a display control method is a method for controlling a display device used in a vehicle capable of traveling in an automatic operation, and acquiring information on a travel control plan created by the automatic operation control device of the vehicle; In order to visually provide the user with the future movement of the vehicle planned by the driving control plan by superimposing the vehicle object, which is a display object simulating the vehicle shape, on the landscape related to the future movement, Controlling the indicator.
  • the future movement of the vehicle is visually provided by superimposing the vehicle object, which is a display object simulating the vehicle shape, on the landscape related to the future movement. For this reason, it is easy to understand the future movement of the vehicle more specifically.
  • FIG. 1 is a block diagram for explaining a display control apparatus according to Embodiment 1 and an application example thereof. It is a figure which shows an example of the real scenery seen through a windshield. It is a figure explaining the state by which the vehicle object was superimposed on the real scenery of FIG. 2 with the head-up display.
  • 6 is a diagram for explaining display according to Embodiment 1.
  • FIG. 3 is a flowchart for explaining the operation of the display control apparatus according to the first embodiment.
  • 4 is a block diagram illustrating a configuration of a control unit of the display control apparatus according to Embodiment 1.
  • FIG. 4 is a flowchart for explaining an operation of a control unit of the display control apparatus according to the first embodiment.
  • FIG. 3 is a hardware configuration diagram of the display control apparatus according to Embodiment 1.
  • FIG. 6 is another hardware configuration diagram of the display control apparatus according to the first embodiment. 6 is a diagram for explaining another operation of the display control apparatus according to Embodiment 1.
  • FIG. 12 is a block diagram illustrating a display control apparatus according to Embodiment 3 and an application example thereof. 10 is a diagram for explaining display according to Embodiment 4.
  • FIG. 12 is a block diagram illustrating a display control apparatus according to Embodiment 3 and an application example thereof.
  • FIG. 10 is a block diagram illustrating a configuration of a control unit of a display control apparatus according to Embodiment 4.
  • FIG. 14 is a flowchart for explaining the operation of the control unit of the display control apparatus according to the fourth embodiment. It is a figure explaining the method of determining the display position of a vehicle object regarding the display control apparatus which concerns on Embodiment 5.
  • FIG. 10 is a block diagram illustrating a configuration of a control unit of a display control apparatus according to Embodiment 5.
  • FIG. 10 is a flowchart for explaining the operation of a control unit of a display control apparatus according to Embodiment 5.
  • FIG. 20 is a diagram for explaining display according to the sixth embodiment.
  • FIG. 20 is a diagram for explaining display according to the sixth embodiment.
  • FIG. 10 is a block diagram illustrating a configuration of a control unit of a display control device according to a sixth embodiment.
  • 18 is a flowchart for explaining the operation of a control unit of a display control apparatus according to a sixth embodiment.
  • FIG. 20 is a block diagram illustrating a configuration of a control unit of a display control device according to a seventh embodiment. 18 is a flowchart for explaining the operation of the control unit of the display control apparatus according to the seventh embodiment.
  • FIG. 20 is a block diagram illustrating a configuration of a control unit of a display control apparatus according to Embodiment 8.
  • FIG. 20 is a diagram for explaining display according to the eighth embodiment.
  • FIG. 20 is a diagram for explaining display according to the eighth embodiment.
  • FIG. 20 is a diagram for explaining display according to the eighth embodiment.
  • FIG. 20 is a diagram for explaining display according to the eighth embodiment.
  • FIG. 20 is a diagram for explaining display according to the eighth embodiment.
  • FIG. 20 is a diagram for explaining display according to the eighth embodiment.
  • FIG. 20 is a diagram for explaining display according to the eighth embodiment.
  • FIG. 20 is a diagram for explaining display according to the eighth embodiment.
  • 25 is a flowchart for explaining the operation of the control unit of the display control apparatus according to the eighth embodiment.
  • FIG. 25 is a block diagram illustrating a configuration of a control unit of a display control device according to Embodiment 9.
  • FIG. 38 is a diagram for explaining display according to the ninth embodiment.
  • FIG. 38 is a diagram for explaining display according to the ninth embodiment.
  • FIG. 38 is a flowchart for explaining the operation of the control unit of the display control apparatus according to the ninth embodiment.
  • FIG. 38 is a block diagram illustrating a display control apparatus according to Embodiment 10 and an application example thereof.
  • 38 is a block diagram illustrating a screen configuration example of a display according to Embodiment 10.
  • FIG. 38 is a diagram for explaining display according to the tenth embodiment.
  • FIG. 38 is a diagram for explaining another display according to the tenth embodiment.
  • FIG. 38 is a block diagram illustrating a configuration of a control unit of a display control device according to Embodiment 10.
  • 32 is a flowchart for explaining the operation of a control unit of the display control apparatus according to the tenth embodiment.
  • FIG. 38 is a block diagram illustrating a display control apparatus according to Embodiment 10 and an application example thereof.
  • 38 is a block diagram illustrating a screen configuration example of a display according to Embodiment 10.
  • FIG. 38 is a diagram
  • FIG. 38 is a block diagram illustrating a display control apparatus according to Embodiment 11 and an application example thereof.
  • FIG. 38 is a diagram for explaining display according to the eleventh embodiment.
  • FIG. 38 is a diagram for explaining display according to the eleventh embodiment.
  • FIG. 38 is a diagram for explaining display according to the eleventh embodiment.
  • FIG. 38 is a diagram for explaining display according to the eleventh embodiment.
  • 32 is a block diagram illustrating a configuration of a control unit of a display control device according to Embodiment 11.
  • FIG. 32 is a flowchart for explaining the operation of the control unit of the display control apparatus according to the eleventh embodiment.
  • FIG. 1 is a block diagram illustrating a display control apparatus 150 according to Embodiment 1 and an application example thereof.
  • the display control device 150 is a device that controls the display device 110 that is used in a vehicle that can travel in automatic driving.
  • the display control device 150 and the display device 110 are provided in a vehicle.
  • the vehicle may be a moving body.
  • the vehicle is not limited by the vehicle type, the driving method, the energy type, and the like, and may be any of a gasoline vehicle, an electric vehicle, a hybrid vehicle, and the like.
  • a vehicle to which the display control device 150 is applied may be referred to as a host vehicle, and a vehicle other than the host vehicle may be referred to as another vehicle.
  • the display control device 150 can constitute the display device 100 by being combined with the display device 110.
  • the display device 100 can constitute an HMI (Human-Machine-Interface) device by itself or in combination with other devices.
  • FIG. 1 shows an example in which the display device 100 constitutes an HMI device together with the acoustic device 101 and the operation device 102.
  • the HMI device in FIG. 1 is a device that outputs information for the user and accepts an operation by the user. Specifically, information is visually provided by the display device 100, and information is audibly provided by the acoustic device 101.
  • a user operation on the display device 100 and the sound device 101 is received by the operation device 102.
  • the operation device 102 corresponds to any operation device such as a touch panel, a switch, and a button. In the following, it is assumed that the user is a driver, but the user may be a passenger.
  • FIG. 1 illustrates a traveling drive system 10, a driving operation device 20, an automatic driving control device 30, a host vehicle position detection device 40, and a surrounding situation detection device 50 for illustration.
  • the traveling drive system 10 is a device for traveling the vehicle, and includes an acceleration device, a steering device, and a braking device.
  • the driving system 10 may include a device used for driving the vehicle, for example, a blinker.
  • the traveling drive system 10 is under the control of the automatic operation control device 30.
  • the traveling drive system 10 detects the operation state of the traveling drive system 10 by various sensors, and supplies the detection result to the automatic driving control device 30. Such information is used when the automatic driving control device 30 controls the traveling drive system 10.
  • the automatic driving control device 30 autonomously controls the driving system 10.
  • the state in which the vehicle has driving authority may be expressed as the state in which the automatic driving control device 30 has driving authority.
  • the driver of the vehicle controls the traveling drive system 10 by operating the driving operation device 20.
  • the driving operation device 20 is a device used by a driver to drive a vehicle.
  • the driving operation device 20 includes a device for the driver to operate the traveling drive system 10, for example, a steering wheel, an accelerator pedal, and a brake pedal.
  • the driving operation device 20 includes a device for the driver to input an instruction related to driving to the vehicle, for example, a handle lever and a winker lever.
  • the content of the operation performed by the driving operation device 20 is input to the automatic driving control device 30.
  • the automatic driving control device 30 controls the traveling drive system 10 based on the operation content.
  • the automatic operation control device 30 has a map database 31.
  • the database may be referred to as DB.
  • the map DB 31 is for automatic driving, has high-precision map data, and also has data useful for automatic driving, such as road data.
  • the road data is data relating to the clarity of the lane markings drawn on the road surface.
  • the map DB 31 may be provided on the Internet, and in this case, the automatic operation control device 30 accesses the map DB 31 via the Internet.
  • the automatic operation control device 30 creates a relatively long-term travel control plan for the planned travel route of the vehicle by referring to the map DB 31.
  • the planned travel route can be set as a road network within a predetermined range from the current position of the host vehicle detected by the host vehicle position detection device 40.
  • the guidance route set by the navigation system may be set as the planned travel route.
  • the own vehicle position detection device 40 is constituted by a GPS (Global Positioning System) receiver or the like, detects the current position of the own vehicle, that is, the own vehicle position, and supplies the detection result to the automatic driving control device 30.
  • the current position can be expressed by latitude, longitude and altitude, for example.
  • the own vehicle position detection device 40 may be configured to obtain the own vehicle position from information such as an acceleration sensor, a gyroscope, and a vehicle speed signal instead of or in addition to the GPS reception information.
  • the automatic driving control device 30 creates a relatively short-term driving control plan based on the information on the surrounding state of the own vehicle in addition to the information on the map DB 31 and the information on the own vehicle position.
  • the surrounding situation is detected by the surrounding situation detection device 50.
  • the surrounding state detection device 50 detects the surrounding state of the vehicle and supplies the detection result to the automatic driving control device 30.
  • the surrounding state detection device 50 includes sensing devices such as a millimeter wave radar, an ultrasonic sensor, a laser radar, and a camera, and acquires information used for automatic driving by these sensing devices. For example, information on the positions of lanes (in other words, lane markings on the road surface), other vehicles, pedestrians, buildings, and obstacles is acquired.
  • the position information of the lane line for example, from the difference in distance to the left and right lane lines
  • the surrounding situation detection device 50 may acquire information on the surrounding situation of the host vehicle using an in-vehicle communication device. Specifically, information on traffic conditions, road conditions, etc. by inter-vehicle communication that is communication between the vehicle and other vehicles, road-to-vehicle communication that is communication between the vehicle and the roadside device, broadcast reception, etc. Is possible to get.
  • the surrounding situation information detected by the surrounding situation detection device 50 is used by the automatic driving control device 30 for collision avoidance, lane maintenance (in other words, lane maintenance), and the like.
  • the short-term traveling control plan relates to the detection range of the surrounding state detection device 50.
  • the long-term travel control plan covers a range exceeding the detection range of the surrounding state detection device 50, and relates to a future long-term travel that can be assumed based on the map DB 31 and the like. Also, since the short-term travel control plan is created based on the surrounding situation information, the short-term travel control plan is more detailed than the long-term travel control plan.
  • the travel control plan includes information on the planned travel path.
  • a relatively long travel schedule trajectory is given by the long-term travel control plan
  • a relatively short travel schedule trajectory is given by the short-term travel control plan.
  • the short-term travel planned trajectory is more detailed than the long-term travel planned trajectory.
  • the short-term scheduled travel path is created with an accuracy that can identify the position of the vehicle in the lane.
  • the planned driving trajectory can be created by a function with time as a variable. For this reason, by substituting a value at a certain time, it is possible to obtain information regarding where the vehicle is located on the planned travel locus at that time. According to this, the future position of the vehicle at the future time can be estimated by substituting the value of the future time.
  • the future time is a time that comes after the current time.
  • the future position is a point in the real space where the vehicle is estimated to arrive at a future time.
  • the future position can be expressed by latitude, longitude and altitude, for example.
  • the travel control plan includes information on the control plan of the travel drive system 10 when traveling the travel planned trajectory, for example, information on the control plans of the acceleration device, the steering device, and the braking device. It may also include a blinker control plan.
  • the display device 110 is a head-up display (HUD) using a windshield in front of the driver's seat.
  • the display device 110 may be referred to as a HUD 110.
  • the HUD 110 provides an image displayed by the HUD 110 to the driver as a virtual image. Specifically, when the HUD 110 projects an image toward the windshield, the projected image is projected as a virtual image in a real scene that can be seen through the windshield. For this reason, it looks as if the display image exists in the scenery in front of the vehicle. In other words, an image obtained by superimposing the image output by the HUD 110 on the image of the real scenery is provided to the driver, and the driver recognizes the superimposed image.
  • Embodiment 1 a HUD having a specification in which the virtual image distance, that is, the distance of the virtual image seen from the driver (more specifically, the distance in the vertical direction) is constant is used as the HUD 110.
  • FIG. 2 shows an example of a real scene that can be seen over the windshield 200.
  • FIG. 3 shows a state where the display object 210 is superimposed on the real scenery of FIG. 2 by the HUD 110.
  • the display control device 150 controls the HUD 110. Specifically, the display control device 150 generates image data to be displayed by the HUD 110 and supplies the generated image data to the HUD 110. The HUD 110 performs a display operation based on the supplied image data.
  • a display object 210 simulating a vehicle shape is displayed by the HUD 110.
  • the vehicle shape to be simulated is the shape of the own vehicle, but is not limited to this example.
  • the display object 210 in FIG. 3 simulates a rear view of the vehicle.
  • the display object 210 may be referred to as a vehicle object 210.
  • the display control device 150 sets the display position of the vehicle object 210 in the display area by the HUD 110, in other words, the display area of the virtual image, and generates image data for displaying the vehicle object 210 at the display position.
  • the display control device 150 has a function of displaying the future movement of the host vehicle by the vehicle object 210.
  • FIG. FIG. 4 illustrates a situation in which the vehicle 1 changes lanes according to the travel control plan, in other words, according to the planned travel path, as shown in the lower part of the drawing.
  • a real scene that can be seen over the windshield 200 and a vehicle object 210 displayed by the HUD 110 are illustrated.
  • the scales t10 to t14 on the time axis in the middle of the drawing are shown in accordance with the position of the vehicle 1 in the lower part of the drawing. For this reason, the length of Td on the time axis (the length between t11 and t12 and the length between t13 and t14 corresponds) may not be equally illustrated.
  • the vehicle object 210 is displayed at a future position at a future time. Therefore, a pseudo (in other words, virtual) situation at a future time is visually provided through the windshield 200.
  • the future position can be estimated based on the travel control plan, more specifically, based on the travel schedule trajectory.
  • the vehicle 1 is planning to approach the center line while traveling in the left lane.
  • the vehicle object 210 is displayed at a position close to the actual center line seen through the windshield 200.
  • Td is the difference between the current time and the future time.
  • Td is fixed to 5 seconds and cannot be changed, but is not limited to this example.
  • the vehicle object 210 is displayed at the future position at the future time t12 + Td.
  • the vehicle 1 is planned to straddle the center line.
  • the vehicle object 210 is displayed so as to overlap the actual center line seen through the windshield 200.
  • the vehicle object 210 is displayed at a future position at a future time t10 + Td.
  • the vehicle object 210 is displayed so as to be located in the actual left lane that can be seen through the windshield 200 at time t10.
  • FIG. 4 representatively shows the display at time t14.
  • the vehicle object 210 is displayed in the same manner even in the situation of a right or left turn.
  • the display control device 150 includes an information acquisition unit 151 and a control unit 152.
  • the information acquisition unit 151 acquires various types of information used for the operation of the display control device 150. According to the operation flow S100 illustrated in FIG. 5, in step S110, the information acquisition unit 151 acquires information on the travel control plan created by the automatic driving control device 30 from the automatic driving control device 30.
  • the control unit 152 performs various processes in the display control device 150.
  • the control unit 152 visually indicates the future movement of the vehicle 1 planned by the travel control plan acquired in step S ⁇ b> 110 to the user using the display of the vehicle object 210.
  • the display 110 here, the HUD 110
  • the control unit 152 controls the HUD 110 so as to superimpose the vehicle object 210 on a real landscape over the windshield 200 that is a landscape related to future movement.
  • FIG. 6 shows a block diagram for explaining the configuration of the control unit 152
  • FIG. 7 shows a more specific flowchart of the operation of the control unit 152 (that is, the above step S120).
  • the control unit 152 includes a future position specifying unit 1521, a display position determining unit 1522, and an image data generating unit 1523.
  • the future position specifying unit 1521 specifies the future position of the vehicle 1 in step S121.
  • the future position specifying unit 1521 acquires information on the future position of the vehicle 1 at the future time by substituting the value of the future time into a function that represents the planned travel locus.
  • step S122 the display position determination unit 1522 determines the display position of the vehicle object 210 in the display area by the HUD 110, in other words, in the virtual image display area.
  • the display area 205 of the HUD 110 is set at the position shown in FIG. In this case, the position of the display area 205 in the range of the windshield 200 is known.
  • the position of the lane marking in the range of the windshield 200 can be specified by the surrounding state detection device 50.
  • the position of the lane marking in the range of the windshield 200 can be specified by the surrounding state detection device 50 capturing a landscape with the front camera and performing lane marking recognition on the captured image.
  • the position of the lane marking in the range of the display area 205 is specified.
  • the future position of the vehicle 1 can be specified in the positional relationship with the lane marking by the future position specifying unit 1521.
  • the display position of the vehicle object 210 is reflected by reflecting the positional relationship between the future position of the vehicle 1 and the lane marking in the positional relationship between the display position of the vehicle object 210 and the actual lane marking in the range of the display area 205. Can be determined.
  • the display position determination unit 1522 for example, the positional relationship between the windshield 200 and the display area 205, the position of the lane line in the range of the windshield 200, the position of the future position and the lane line of the vehicle 1. Based on the relationship information, the display position of the vehicle object 210 in the display area 205 is determined. Thereby, the vehicle object 210 can be displayed at a future position in the real scenery. In the first embodiment, the display position of the vehicle object 210 is constant in the vertical direction of the display area 205.
  • the surrounding situation information is acquired from the surrounding situation detection device 50 by the information acquisition unit 151 and supplied to the display position determination unit 1522.
  • the information acquisition unit 151 may acquire the peripheral state information supplied from the peripheral state detection device 50 to the automatic driving control device 30 from the automatic driving control device 30.
  • step S123 the image data generation unit 1523 displays image data for displaying the vehicle object 210 at the display position determined by the display position determination unit 1522 (an image corresponding to the entire display area 205). Data). Then, the image data generation unit 1523 outputs the generated image data to the HUD 110.
  • the display image is updated by repeating the operation flow S120 of FIG. 7 or by repeating the operation flow S100 of FIG. As a result, the future movement of the vehicle 1 is visually provided to the user by the change in the display position of the vehicle object 210.
  • the display control device 150 performs display control based on the travel control plan, it is sufficient if a travel control plan is created. For this reason, the display control described above can be executed even in a completely automatic driving state (a state where the automatic driving control device 30 performs all of acceleration, steering and braking, and the driver is not involved in driving at all). is there. In other words, the above display control can be executed regardless of whether the driver has the driving authority.
  • FIG. 9 shows a hardware configuration diagram of the display control device 150.
  • the display control device 150 includes a processor 161, a memory 162, and an external interface 163.
  • the interface may be expressed as IF.
  • the processor 161, the memory 162, and the external IF 163 are connected to each other via a bus.
  • the processor may be referred to as a microprocessor, a microcomputer, a CPU (Central Processing Unit), an arithmetic device, or a DSP (Digital Signal Processor).
  • the memory 162 corresponds to any storage medium such as a semiconductor memory, a magnetic disk, a flexible disk, an optical disk, a compact disk, a mini disk, and a DVD.
  • semiconductor memory is, for example, any non-volatile or volatile ROM (Read Only Memory), RAM (Random Access Memory), flash memory, EPROM (Erasable Programmable ROM), EEPROM (Electrically Erasable Programmable ROM), etc. This corresponds to a semiconductor memory.
  • the external IF 163 is an IF circuit for connecting the display control device 150 and an external device, for example, a communication circuit.
  • the external device include all external devices such as the automatic operation control device 30, the surrounding state detection device 50, and the HUD 110.
  • the display control device 150 and the automatic operation control device 30 can be connected without using the external IF 163
  • the automatic operation control device 30 is connected to a bus, for example. That is, there is an external device that can be connected to the display control device 150 without using the external IF 163 due to connection specifications.
  • Various functions of the display control device 150 are realized by the processor 161 reading and executing a program stored in the memory 162 (in other words, software, firmware, or a combination thereof).
  • the processor 161 executes a program for the control unit 152 (more specifically, a program for the future position specifying unit 1521, the display position determining unit 1522, and the image data generating unit 1523)
  • the function of the control unit 152 More specifically, functions of the future position specifying unit 1521, the display position determining unit 1522, and the image data generating unit 1523
  • the function of the information acquisition unit 151 is realized by the processor 161 executing a program for the information acquisition unit 151. Note that when the external IF 163 is used, the function of the information acquisition unit 151 is realized by the processor 161 cooperating with the external IF 163.
  • the function of the display control device 150 is realized by the processor 161 executing the program.
  • the function of the display control device 150 can be realized by a dedicated processing circuit 171.
  • the processing circuit 171 can be any circuit such as a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), an FPGA (Field Programmable Gate Array), or a combination of these. This corresponds to the processing circuit. It is also possible to include the external IF 163 in the processing circuit 171.
  • FIGS. 9 and 10 may be combined. That is, some functions of the display control device 150 are realized by the processor 161 executing a program stored in the memory 162, and the remaining functions of the display control device 150 are realized by the dedicated processing circuit 171. is there.
  • the future movement of the vehicle 1 is visually provided by superimposing the vehicle object 210, which is a display object simulating the vehicle shape, on a landscape related to the future movement. For this reason, it is easy to understand the future movement of the vehicle 1 more specifically. As a result, for example, a sense of security with respect to the future movement of the vehicle 1 can be provided.
  • the display position of the vehicle object 210 is constant in the vertical direction of the display area 205 (see FIG. 4). For this reason, the future movement of the vehicle 1 is expressed only for the lateral movement component. On the other hand, it is also possible to express the future movement of the vehicle 1 with respect to both the lateral movement component and the longitudinal movement component. However, even if only the lateral movement component is expressed, it is possible to fully understand the future movement of the vehicle 1. Further, the processing amount for determining the display position of the vehicle 1 can be reduced as compared with the case where both the lateral motion component and the longitudinal motion component are expressed. Note that examples expressing both the lateral motion component and the longitudinal motion component will be described more specifically in the fourth and fifth embodiments.
  • the display device 100 can be provided at low cost by using a HUD having a specification with a constant virtual image distance as the HUD 110.
  • the future position specifying unit 1521 specifies the future position of the vehicle 1 at the future time by substituting the value of the future time into the function representing the planned travel locus. At that time, the future time is assumed to be time t0 + Td at a time interval Td from the current time t0 as the starting point.
  • the current time t0 that is the starting point is, for example, the time ta at which the value of the future time is substituted into the function that represents the planned travel locus.
  • a time after the substitution time ta may be defined as the current time t0.
  • the time tb when the vehicle object 210 is actually displayed is defined as the current time t0.
  • the current time t0 is the time when the process of determining the display position of the vehicle object (step S122) is executed, the time when the process of generating image data (step S123) is executed, or the image data is supplied to the HUD 110. It may be a time. Alternatively, an arbitrary time between the times ta and tb may be defined as the current time t0.
  • an arbitrary time tc before the substitution time ta may be defined as the current time t0. However, it is necessary to define the time tc so that the future time tc + Td in that case does not become a past time than the substitution time ta. That is, tc is defined to satisfy ta ⁇ tc + Td, in other words, tc> ta ⁇ Td.
  • the current time t0 is considered with reference to the time ta at which the value of the future time is substituted into the function representing the scheduled travel locus.
  • this is merely for convenience of explanation. That is, the current time t0 can be defined within a range that is substantially recognized as the current time.
  • the starting point for specifying the future position of the vehicle 1 is the current time t0. Since the current time t0 and the current position of the vehicle 1 at the current time t0 correspond to each other, the process of specifying the future position is performed using the current position of the vehicle 1 at the current time t0 as the starting point. It can be understood that this is a process to be performed. Similar to the definition of the current time t0, the current position for specifying the future position can be specified within a range that is substantially recognized as the current position.
  • the future position of the vehicle 1 may be defined by a spatial interval Sd instead of the temporal interval Td.
  • the future position of the vehicle 1 may be defined as the position where the vehicle 1 is scheduled to arrive at a spatial interval Sd from the starting point.
  • the spatial interval Sd can be defined as, for example, a distance of 50 m forward or 100 m forward in the front direction of the current position or along the planned travel path from the current position.
  • FIG. 11 shows a display example of the vehicle object 210.
  • the future time which is the time to reach the future position
  • the future position of the vehicle 1 can be specified by substituting the estimated future time value into a function that represents the scheduled travel path.
  • FIG. 12 is a block diagram illustrating the display control device 150B according to the second embodiment and an application example thereof.
  • the display control device 150B has a configuration in which an adjustment unit 153B is added to the display control device 150 according to the first embodiment.
  • the display control device 150B can constitute the display device 100B by being combined with the display device 110 (here, the HUD 110).
  • Other configurations in FIG. 12 are the same as those in FIG.
  • the adjustment unit 153B adjusts the time interval Td that defines the difference between the future position and the starting point according to the user instruction. Specifically, the user uses the operating device 102 to input a set value for Td. Or you may make it input the increase / decrease with respect to the present value of Td.
  • the user instruction is transmitted from the controller device 102 to the adjustment unit 153B.
  • the adjustment unit 153B updates the value of Td according to the acquired user instruction, and supplies the updated value of Td to the control unit 152. Thereby, the control part 152 operate
  • the spatial interval can be changed by the user.
  • the same effect as in the first embodiment can be obtained. Further, according to the second embodiment, it is possible to adjust how much future the vehicle object 210 is to express, so that it is possible to respond to user preferences, for example.
  • FIG. 13 is a block diagram illustrating the display control device 150C according to the third embodiment and an application example thereof.
  • the display control device 150C has a configuration in which an adjustment unit 153C is added to the display control device 150 according to the first embodiment.
  • the display control device 150C can constitute the display device 100C by being combined with the display device 110 (here, the HUD 110). According to FIG. 13, an adjustment reference information supply device 400 is added to the configuration of FIG.
  • the adjusting unit 153C adjusts which of the temporal interval Td and the spatial interval Sd is used, for example, according to the traveling situation.
  • the traveling speed of the vehicle 1 is given as an example of the traveling situation.
  • the adjusting unit 153C determines that the traveling speed is less than the speed threshold for adjusting the interval
  • the adjusting unit 153C causes the control unit 152 to identify the spatial position Sd when specifying the future position of the vehicle 1.
  • the adjustment unit 153C determines that the traveling speed is equal to or higher than the threshold value
  • the adjustment unit 153C causes the control unit 152 to use the temporal interval Td.
  • the speed threshold is, for example, 20 km / h.
  • the adjustment reference information supply device 400 corresponds to, for example, a speed sensor of the vehicle 1, and the speed sensor supplies information on the traveling speed of the vehicle 1 to the adjustment unit 153 ⁇ / b> C as adjustment reference information.
  • the adjusting unit 153C may adjust which of the temporal interval Td and the spatial interval Sd is used according to the surrounding situation.
  • a traffic jam level is given as an example of the surrounding situation.
  • the adjustment unit 153C determines that the congestion level is less than the congestion level threshold value for interval adjustment, the adjustment unit 153C causes the control unit 152 to identify the spatial position when the future position of the vehicle 1 is specified. Use Sd.
  • the adjustment unit 153C determines that the traffic congestion level is equal to or higher than the threshold value, the adjustment unit 153C causes the control unit 152 to use the temporal interval Td.
  • the adjustment reference information supply device 400 corresponds to, for example, the surrounding situation detection device 50, and the surrounding situation detection device 50 supplies traffic information related to the planned travel path to the adjustment unit 153C as adjustment reference information.
  • the adjusting unit 153C may adjust which of the temporal interval Td and the spatial interval Sd is used according to the driver situation.
  • the driver's attention level is given as an example of the driver situation.
  • the driver's attention level is determined, for example, from the viewpoint of drowsiness, not looking aside, and calm (in other words, not excited).
  • the adjustment unit 153C determines that the driver's attention level is less than the attention level threshold for adjusting the interval, the adjustment unit 153C causes the control unit 152 to set the spatial interval Sd when specifying the future position of the vehicle 1. Make it available.
  • the adjustment unit 153C determines that the attention level is equal to or higher than the threshold value, the adjustment unit 153C causes the control unit 152 to use the temporal interval Td.
  • the adjustment reference information supply device 400 corresponds to the driver information detection device, and the driver information detection device supplies the driver's attention level information to the adjustment unit 153C as adjustment reference information.
  • the driver information detection device has, for example, an in-vehicle camera that captures the driver as a sensor, detects the movement of the driver's eyes and face by analyzing the captured image of the camera, and detects the driver's line of sight The driver's attention level is determined from the direction and the direction of the face.
  • the sensor of the driver information detection device only needs to detect the behavior of the driver. For this reason, other sensors may be used.
  • Other sensors include, for example, a sound collecting microphone that acquires a driver's voice, a biological sensor provided on a steering wheel, and an electroencephalogram sensor.
  • the adjusting unit 153C may determine which one of the temporal interval Td and the spatial interval Sd to use based on two or more of the driving situation, the surrounding situation, and the driver situation.
  • the adjusting unit 153C may have the function of the adjusting unit 153B according to Embodiment 2, that is, the function of adjusting the temporal interval Td and the spatial interval Sd according to a user instruction.
  • the value of Td or Sd may be changed. That is, in the first embodiment, the future position of the vehicle 1 is fixedly set 5 seconds later or 100 m ahead, in other words, Td or Sd is constant.
  • the adjustment unit 153C may change the value of Td or Sd based on one or more information of the driving situation, the surrounding situation, and the driver situation.
  • Td or Sd may be set longer as the speed of the vehicle 1 is higher. According to this, the change in the movement of the vehicle 1 can be displayed earlier as the speed increases.
  • Td or Sd may be set short. For example, when a preceding vehicle exists 50m ahead, Td or Sd may be shortened. According to these, since the near future is displayed rather than the distant future, it is less likely to be confused by surrounding vehicles.
  • Td or Sd may be set longer. According to this, since the change of the movement of the vehicle 1 can be displayed early, the recognition time of the driver can be ensured.
  • the display of the vehicle object 210 is controlled so that the future movement of the vehicle 1 is expressed only for the lateral movement component.
  • the display of the vehicle object 210 is controlled so that the future movement of the vehicle 1 is expressed for both the lateral movement component and the longitudinal movement component.
  • FIG. 14 illustrates a situation where the vehicle 1 changes lanes to avoid obstacles (not shown) as shown in the lower part of the drawing.
  • a real scene seen through the windshield 200 and a vehicle object 210 displayed by the HUD 110 are illustrated.
  • the scales t30 to t34 on the time axis in the middle of the figure are shown in accordance with the position of the vehicle 1 in the lower part of the figure. For this reason, the lengths of Td on the time axis (the lengths between t30 and t31, between t31 and t32, between t32 and t33, and between t33 and t34) may not be equally illustrated.
  • the vehicle 1 is traveling in the left lane, and temporarily decelerates at time t31. Thereafter, the vehicle 1 starts changing lanes while increasing the speed. At time t32, the vehicle 1 is traveling at a position close to the center line. At time t33, the vehicle 1 straddles the center line, and then the vehicle 1 accelerates as it enters the right lane. It is assumed that the vehicle 1 reaches the target speed at time t34 and is maintained thereafter.
  • FIG. 14 and 4 are common in that the lane change is common, the horizontal position component of the display position of the vehicle object 210 in FIG. 14 (hereinafter also referred to as the horizontal position) is shown in FIG. Can be set in the same way as Therefore, hereinafter, a vertical position component of the display position of the vehicle object 210 (hereinafter also referred to as a vertical position) will be described.
  • the future position at the future time t31 is closer to the current position at the current time t30 than when the vehicle speed is maintained.
  • the vertical position of the vehicle object 210 is set closer to the lower side of the windshield 200 (in other words, the lower side of the display area 205).
  • the future position at the future time t34 is far from the current position at the current time t33 as compared with the case where the vehicle speed is maintained.
  • the vertical position of the vehicle object 210 is set closer to the upper side of the windshield 200 (in other words, the upper side of the display area 205).
  • the vehicle object 210 When the current time is t34, the vehicle object 210 is displayed at the future position at the future time t34 + Td. As described above, since the vehicle 1 maintains a constant speed after the time t34, the future position at the future time t34 + Td is closer to the current position at the current time t34 than when accelerating at the time t33 to t34. For this reason, the vertical position of the vehicle object 210 is set at a position farther from the upper side of the windshield 200 than the display position at time t33.
  • the vehicle object 210 is displayed in the same manner even in the situation of a right or left turn.
  • the perspective of the future position can be expressed by controlling the vertical position of the vehicle object 210.
  • FIG. 15 shows a block diagram of the control unit 152D according to Embodiment 4, and FIG. 16 shows a flowchart of the operation of the control unit 152D.
  • the control unit 152D is applied to a display control device in place of the control unit 152 described above.
  • the control unit 152D includes a future position specifying unit 1521, a display position determining unit 1522D, and an image data generating unit 1523.
  • step S121 the future position specifying unit 1521 specifies the future position of the vehicle 1 as in the first embodiment.
  • step S122D the display position determination unit 1522D determines the display position of the vehicle object 210 in the display area 205 by the HUD 110.
  • the display position determination unit 1522D according to Embodiment 4 determines the horizontal position and the vertical position of the vehicle object 210.
  • the display position determination unit 1522D determines the lateral position of the vehicle object 210 as in step S122 described in the first embodiment.
  • the display position determination unit 1522D determines the vertical position of the vehicle object 210 according to the distance between the future position of the vehicle 1 and the current position. Specifically, the display position determination unit 1522D sets the vertical position of the vehicle object 210 closer to the lower side of the display area 205 as the future position is closer to the current position. In other words, the display position determination unit 1522D sets the vertical position of the vehicle object 210 closer to the upper side of the display area 205 as the future position is farther from the current position.
  • the display position determination unit 1522D can acquire information on the current position of the vehicle 1 from the scheduled travel path.
  • the display position determination unit 1522D may acquire information on the current position directly from the vehicle position detection device 40 or via the automatic driving control device 30.
  • step S123 the image data generation unit 1523 generates image data for displaying the vehicle object 210 at the display position determined by the display position determination unit 1522D. Then, the image data generation unit 1523 outputs the generated image data to the HUD 110.
  • the same effect as in the first embodiment can be obtained.
  • the future movement of the vehicle 1 can be expressed more specifically.
  • the horizontal position and the vertical position of the vehicle object 210 are determined by a method different from that of the fourth embodiment. A method according to Embodiment 5 will be described with reference to FIG.
  • the future position of the vehicle 1 is specified as, for example, the position E1 in the real scenery.
  • the position E1 in the real scene corresponds to the position E2 in the photographed image.
  • the correspondence relationship between the shooting range and the range of the windshield 200 can be defined.
  • the position of the display area 205 of the HUD 110 is known in the range of the windshield 200.
  • the position E1 in the real scene that is, the information on the future position of the vehicle 1 can be converted into the information on the position E3 in the display area 205 of the HUD 110. Therefore, the display position of the vehicle object 210, that is, the horizontal position and the vertical position can be determined from the future position of the vehicle 1.
  • FIG. 18 shows a block diagram of the control unit 152E according to Embodiment 5, and FIG. 19 shows a flowchart of the operation of the control unit 152E.
  • the control unit 152E is applied to a display control device instead of the control unit 152 described above.
  • the control unit 152E includes a future position specifying unit 1521, a display position determining unit 1522E, and an image data generating unit 1523.
  • the future position specifying unit 1521 specifies the future position of the vehicle 1 in step S121 as in the first embodiment.
  • step S122E the display position determination unit 1522E determines the display position of the vehicle object 210 in the display area 205 by the HUD 110.
  • the association between the future position and the display position of the vehicle object 210 can be given by, for example, a function having information on the future position and information on the shooting conditions of the front camera as variables.
  • the display position determination unit 1522E determines the display position of the vehicle object 210, that is, the horizontal position and the vertical position by substituting information on the future position into the function.
  • step S123 the image data generation unit 1523 generates image data for displaying the vehicle object 210 at the display position determined by the display position determination unit 1522E. Then, the image data generation unit 1523 outputs the generated image data to the HUD 110.
  • the same effect as in the first embodiment can be obtained. Moreover, according to Embodiment 5, the future movement of the vehicle 1 can be expressed more specifically.
  • the display form of the vehicle object 210 is changed according to the future movement of the vehicle 1. Specifically, the display size of the vehicle object 210 is controlled according to the difference between the current position and the future position of the vehicle 1.
  • FIG. An example is shown in FIG. As can be seen by comparing FIG. 20 with FIG. 14 described above, in the sixth embodiment, the vehicle object 210 is displayed larger as the future position is closer to the current position (refer to the display at the current time t30). The vehicle object 210 is displayed smaller as it is farther from the current position (see display at the current time t33). As a result, it is possible to express the perspective of the future position.
  • FIG. 21 shows a block diagram of the control unit 152F according to Embodiment 6, and FIG. 22 shows a flowchart of the operation of the control unit 152F.
  • the control unit 152F is applied to a display control device in place of the control unit 152 described above.
  • the control unit 152F has a configuration in which a display form determination unit 1524F is added to the control unit 152E according to the fifth embodiment.
  • the future position specifying unit 1521 specifies the future position of the vehicle 1 in step S121, as in the first embodiment.
  • the display position determination unit 1522E determines the display position of the vehicle object 210 as in the fifth embodiment.
  • step S124F the display form determination unit 1524F determines the display size of the vehicle object 210 according to the vertical position determined in step S122E. Specifically, the display form determination unit 1524F sets the display size of the vehicle object to be smaller as the vertical position is closer to the upper side of the display area 205 (that is, the future position is farther from the current position). In other words, the display form determination unit 1524F sets the display size of the vehicle object to be larger as the vertical position is closer to the lower side of the display area (that is, the future position is closer to the current position).
  • step S123 the image data generating unit 1523 displays image data for displaying the vehicle object 210 at the display position determined by the display position determining unit 1522E with the display size determined by the display form determining unit 1524F. Is generated. Then, the image data generation unit 1523 outputs the generated image data to the HUD 110.
  • the same effect as in the first embodiment can be obtained. Moreover, according to Embodiment 6, the future movement of the vehicle 1 can be expressed more specifically.
  • the function of the display form determination unit 1524F is applied to the fifth embodiment.
  • the function of the display form determination unit 1524F can be applied to other embodiments.
  • FIG. 23 shows a block diagram of the control unit 152G according to Embodiment 7, and FIG. 24 shows a flowchart of the operation of the control unit 152G.
  • the control unit 152G is applied to a display control device instead of the control unit 152 described above.
  • the control unit 152G includes a future position specifying unit 1521, a display position determining unit 1522G, and an image data generating unit 1523.
  • the future position specifying unit 1521 specifies the future position of the vehicle 1 in step S121, as in the first embodiment.
  • step S122G the display position determination unit 1522G determines the display position of the vehicle object 210 in the display area by the HUD 110. Specifically, the display position determination unit 1522G determines the virtual image distance according to the distance between the future position of the vehicle 1 and the current position. That is, as described above, the longer the future position is from the current position, the longer the virtual image distance is set. Then, display position determination unit 1522G determines the display position of vehicle object 210 in the display area defined for the set virtual image distance, as in the fifth embodiment.
  • step S123 the image data generation unit 1523 generates image data for displaying the vehicle object 210 at the display position determined by the display position determination unit 1522G (that is, the virtual image distance, the vertical position, and the horizontal position). . Then, the image data generation unit 1523 outputs the generated image data to the HUD 110.
  • the same effect as in the first embodiment can be obtained. Moreover, according to Embodiment 7, the future movement of the vehicle 1 can be expressed more specifically. Further, since the size of the vehicle object 210 looks different depending on the virtual image distance, it is possible to express a perspective without controlling the display size of the vehicle object 210 as in the sixth embodiment.
  • the function of the display position determination unit 1522G is applied to the fifth embodiment in the seventh embodiment, the function of the display position determination unit 1522G can be applied to other embodiments.
  • FIG. 25 shows a block diagram of a control unit 152H according to the eighth embodiment.
  • the control unit 152H is applied to a display control device instead of the control unit 152 described above.
  • the control unit 152H has a configuration in which a display form determination unit 1524H is added to the control unit 152E according to the fifth embodiment.
  • the display form determining unit 1524H displays the display form of the vehicle object 210 so that the portion corresponding to the outside lamp in the vehicle object 210 appears to be turned on or blinking.
  • FIG. 26 An example is shown in FIG. In FIG. 26, the vehicle 1 travels similarly to FIG.
  • the display form determination unit 1524H displays the position corresponding to the brake lamp in the vehicle object 210 to notify the pumping brake.
  • the display form for notifying the pumping brake is an animation display in which a portion corresponding to the brake lamp appears to be repeatedly turned on and off.
  • a separate display form for the pumping brake may be used.
  • the visible display form (see FIG. 29) is applied to the vehicle object 210. This display mode is the same for blinking of the blinker lamp at the time of turning left or right.
  • the blinker lamp is generally used as a hazard lamp.
  • the display form determination unit 1524H includes the vehicle object 210.
  • the display form in which the portions corresponding to the left and right blinker lamps are blinking simultaneously is applied to the vehicle object 210.
  • the display form determination unit 1524H sets the vehicle object 210 to a display form having an effect line corresponding to future movement. For example, when the vehicle 1 is accelerating at a future time, the display mode illustrated in FIG. 30 is applied to the display at the current time. Moreover, FIG.31 and FIG.32 is illustrated as an effect line showing a left turn and a right turn. The effect line may be displayed as an animation.
  • FIG. 33 shows a flowchart of the operation of the control unit 152H.
  • the future position specifying unit 1521 specifies the future position of the vehicle 1 in step S121 as in the first embodiment.
  • the display position determination unit 1522E determines the display position of the vehicle object 210 as in the fifth embodiment.
  • step S124H the display form determination unit 1524H determines the display form of the vehicle object 210 according to the movement of the vehicle 1 at the future position specified in step S121. Specifically, the display form determination unit 1524H can determine the movement of the vehicle 1 at the future position from the control plan information of the acceleration device, the steering device, and the braking device included in the travel control plan. is there. Therefore, the display form determination unit 1524H determines the display form of the vehicle object 210 based on the determination result.
  • speed plan information can be obtained by the first derivative of the function representing the travel schedule trajectory.
  • acceleration plan information can be obtained by second-order differentiation. Information on the speed plan and acceleration plan thus obtained may be used.
  • step S123 the image data generation unit 1523 displays image data for displaying the vehicle object 210 at the display position determined by the display position determination unit 1522E in the display form determined by the display form determination unit 1524H. Is generated. Then, the image data generation unit 1523 outputs the generated image data to the HUD 110.
  • the same effect as in the first embodiment can be obtained. Moreover, according to Embodiment 8, the future movement of the vehicle 1 can be expressed more specifically.
  • the function of the display form determining unit 1524H is applied to the fifth embodiment, but the function of the display form determining unit 1524H can be applied to other embodiments.
  • FIG. 34 shows a block diagram of the control unit 152I according to the ninth embodiment.
  • the control unit 152I is applied to a display control device instead of the control unit 152 described above.
  • the control unit 152I has a configuration in which a display form determination unit 1524I is added to the control unit 152E according to the fifth embodiment.
  • the display form determination unit 1524I controls the display form of the vehicle object 210 so that the visibility of the vehicle object 210 becomes higher as the degree of change in the future movement of the vehicle 1 is larger.
  • the visibility of the vehicle object 210 can be changed by various controls, and specific examples are shown in FIGS.
  • the display form determination unit 1524I uses the vehicle object 210 for the large movement. Increase the display size. Further, when a larger movement exceeding the larger threshold value Vb (> Va) is planned, the display form determination unit 1524I increases the display size of the vehicle object 210 for the larger movement.
  • the display size of the vehicle object 210 is changed in three stages as described above.
  • the display size of the vehicle object 210 is changed in two stages.
  • the threshold value Va may be adopted instead of the threshold value Vb.
  • the display form determination unit 1524I does not display the vehicle object 210 for the small movement.
  • the display form determination unit 1524I sets the vehicle object 210 to be transparent.
  • the display form determination unit 1524I may instruct the image data generation unit 1523 to stop generating or outputting image data.
  • the threshold value Va may be adopted instead of the threshold value Vb. According to the control example (c), the processing amount and power consumption of the display control device and the like can be reduced as compared with the case where the vehicle object 210 is always displayed.
  • the display form determination unit 1524I gives the vehicle object 210 the large movement. Apply highlighting.
  • highlighting is provided by drawing the vehicle object 210 with a bold line, but the drawing line may be changed to a color with high visibility, or the vehicle object 210 may be painted with a color with high visibility. Good.
  • the threshold value Va may be adopted instead of the threshold value Vb.
  • the display form determination unit 1524I draws the vehicle object 210 with a broken line for the small movement. According to this, when the degree of change exceeds the threshold value Vb, the visibility of the vehicle object 210 is relatively high.
  • the threshold value Va may be adopted instead of the threshold value Vb.
  • the display form determination unit 1524I when a small movement whose degree of change is less than the threshold value Vb is planned in the travel control plan, the display form determination unit 1524I increases the transparency of the vehicle object 210 for the small movement. In addition, when a smaller movement is planned that is smaller than the smaller threshold value Va ( ⁇ Vb), the display form determination unit 1524I further increases the transparency of the vehicle object 210 for the smaller movement. According to this, when the degree of change exceeds the thresholds Va and Vb, the visibility of the vehicle object 210 is relatively high. Note that only one of the thresholds Va and Vb may be adopted to change the transparency in two steps. Moreover, you may change the hue of the vehicle object 210 instead of transparency.
  • the display form determination unit 1524I changes the vehicle object 210 to a simple shape for the small movement. According to this, when the degree of change exceeds the threshold value Vb, the visibility of the vehicle object 210 is relatively high. Note that, unlike FIG. 36, another simple shape may be employed, or the threshold value Va may be employed instead of the threshold value Vb.
  • the display form of the vehicle object 210 may be changed.
  • the case where it accelerates includes the case where it changes from a stop state to a driving state.
  • the case where the vehicle decelerates includes a case where the traveling state changes from the traveling state to the stopped state.
  • changing the traveling direction includes changing the lane and turning left and right.
  • the motion of the vehicle 1 may be decomposed into a lateral motion component and a longitudinal motion component, and the magnitude of acceleration of one or both motion components may be compared with a threshold value.
  • the travel schedule trajectory is expressed by a function having time as a variable, and therefore, acceleration plan information can be obtained by second-order differentiation of the function representing the travel schedule trajectory.
  • FIG. 37 shows a flowchart of the operation of the control unit 152I.
  • the future position specifying unit 1521 specifies the future position of the vehicle 1 in step S121 as in the first embodiment.
  • the display position determination unit 1522E determines the display position of the vehicle object 210 as in the fifth embodiment.
  • step S124I the display form determination unit 1524I determines the display form of the vehicle object 210 based on the degree of change in the movement of the vehicle 1 at the future position specified in step S121. Specifically, the display form determination unit 1524I specifies the acceleration of the vehicle 1 at the future position by substituting the future time into an expression obtained by second-order differentiation of a function representing the planned travel path. Then, the display form determination unit 1524I compares the specified acceleration magnitude with a threshold value, and determines the display form of the vehicle object 210 based on the comparison result.
  • step S123 the image data generation unit 1523 displays image data for displaying the vehicle object 210 at the display position determined by the display position determination unit 1522E in the display mode determined by the display mode determination unit 1524I. Is generated. Then, the image data generation unit 1523 outputs the generated image data to the HUD 110.
  • the same effect as in the first embodiment can be obtained. Further, according to the ninth embodiment, the future movement of the vehicle 1 can be expressed more specifically.
  • the function of the display mode determination unit 1524I is applied to the fifth embodiment, but the function of the display mode determination unit 1524I can be applied to other embodiments.
  • FIG. 38 is a block diagram for explaining the display control device 150J according to the tenth embodiment and an application example thereof.
  • the display control device 150J includes an information acquisition unit 151 similar to that in the first embodiment and a control unit 152J according to the tenth embodiment.
  • the display control device 150J can constitute the display device 100J by being combined with the display 110J (here, the LCD 110J).
  • a background image data supply device 500 is added to the configuration of FIG.
  • the LCD 110J constitutes a meter cluster by arranging its screen in front of the driver's seat.
  • the screen of the LCD 110J may be arranged at another location, for example, a center console between the front of the driver seat and the front of the passenger seat.
  • FIG. 39 shows a configuration example of the screen of the LCD 110J (in other words, the display area).
  • various meters 231, blinker indicator lamps 232 and 233, and a brake indicator lamp 234 are displayed in the display area 225 a on the right side of the screen 225.
  • the future movement of the vehicle 1 is displayed using the vehicle object 210 in the display area 225b on the left side of the screen 225. It is assumed that the vehicle object 210 is arranged at the center of the left display area 225b.
  • the landscape on which the vehicle object 210 is superimposed is an image of the surrounding landscape at the future position, and the image of the surrounding landscape is supplied from the background image data supply device 500.
  • the image of the surrounding landscape is, for example, an image that simulates the surrounding landscape by computer graphics used in a navigation image.
  • the background image data supply apparatus 500 corresponds to a navigation system or a configuration block that creates a navigation image in the navigation system.
  • a photographed image photographed by a camera outside the vehicle 1 may be used as an image of the surrounding scenery.
  • the photographed image for the surrounding scenery is not limited to the photographed image as it is, but also an image that has undergone some kind of image processing (for example, processing for making it resemble computer graphics).
  • the background image data supply apparatus 500 corresponds to an outside camera system or a combination of an outside camera and an image processing system.
  • the processing load for creating a landscape image on which the vehicle object 210 is superimposed can be reduced as compared with the computer graphics image.
  • FIG. 40 A display example of the LCD 110J will be described with reference to FIG. 40, the vehicle 1 travels in the same manner as in FIG.
  • the brake indicator light 234 on the screen is lit.
  • the vehicle 1 is planned to blink the blinker lamp at time t32, the situation is expressed by a display form in which the portion corresponding to the blinker lamp in the vehicle object 210 appears to blink. ing.
  • the blinker indicator lamp 233 on the screen does not blink.
  • the blinker indicator lamp 233 on the screen is blinking.
  • the blinker indicator lamp 233 on the screen is flashing.
  • the situation of the vehicle 1 at the future time t34 + Td is displayed. That is, since the vehicle 1 is planning to travel in the right lane at time t34, the situation is displayed.
  • FIG. 40 as in the case of the HUD 110, the future movement of the vehicle 1 is displayed by the rear view of the vehicle 1.
  • various viewpoints for viewing the vehicle 1 can be set.
  • FIG. 41 shows an example of a top view. Display can also be performed by bird's-eye view or the like. By making the viewpoints switchable, the same content can be provided in various expressions.
  • FIG. 42 shows a block diagram of the control unit 152J
  • FIG. 43 shows a flowchart of the operation of the control unit 152J.
  • the control unit 152J includes a future position specifying unit 1521, a display form determining unit 1524H, and an image data generating unit 1523J.
  • step S121 the future position specifying unit 1521 specifies the future position of the vehicle 1 in the same manner as in the first embodiment.
  • step S124H the display form determination unit 1524H determines the display form of the vehicle object 210 as in the eighth embodiment.
  • step S123J the image data generation unit 1523J obtains, from the background image data supply apparatus 500, background image data as background image data, centered on the future position specified in step S121. Then, the image data generation unit 1523J generates data of an image in which the vehicle object 210 is arranged in the display form determined in step S124H at the center of the acquired background image. Thereafter, the image data generation unit 1523J outputs the generated image data to the LCD 110J.
  • image data generation unit 1523J generates image data of the entire screen 225, but description of generation of an image for the right display area 225a is omitted here.
  • the same effect as in the first embodiment can be obtained.
  • the future movement of the vehicle 1 can be displayed with various viewpoints.
  • a display apparatus can be provided at low cost compared with HUD110.
  • the LCD existing in the vehicle can be used as the LCD 110J, the introduction cost is low.
  • the eighth embodiment is applied to the display by the LCD 110J, but other embodiments can be applied to the display by the LCD 110J.
  • FIG. 44 is a block diagram illustrating display control apparatus 150K according to the eleventh embodiment and an application example thereof.
  • the display control device 150K includes an information acquisition unit 151 similar to that in the first embodiment and a control unit 152K according to the eleventh embodiment.
  • the display control device 150K can be combined with the LCD 110J to constitute the display device 100K.
  • an organic electroluminescence display, a HUD, or the like can be used as the display. 44.
  • Other configurations in FIG. 44 are the same as those in FIG.
  • the peripheral situation detection device 50 expresses that the lane marking that divides the lane has been recognized by displaying the peripheral situation notification object 251 for the lane marking.
  • the lane marking peripheral state notification object 251 is, for example, a blue band-shaped display object.
  • the display form of the surrounding situation notification object 251 may be changed according to the lane marking detection accuracy. For example, the surrounding situation notification object 251 is displayed with a broken line due to a decrease in detection accuracy.
  • the surrounding situation notification object 251 is displayed so that the positional relationship between the lane markings in the real space and the vehicle 1 is reflected in the positional relationship between the surrounding situation notification object 251 and the vehicle object 210.
  • a surrounding situation notification object 252 for the preceding vehicle is further displayed. That is, the peripheral situation detection device 50 expresses that the preceding vehicle has been recognized by displaying the surrounding situation notification object 252 for the preceding vehicle.
  • the surrounding situation notification object 252 for the preceding vehicle is, for example, a display object that simulates the shape of the vehicle.
  • the design of the surrounding situation notification object 252 for the preceding vehicle is preferably easily distinguished from the vehicle object 210 for the vehicle 1.
  • the surrounding situation notification object 252 is displayed so that the positional relationship between the preceding vehicle and the vehicle 1 in the real space is reflected in the positional relationship between the surrounding situation notification object 252 and the vehicle object 210.
  • a recognized obstacle or the like may be further notified by the surrounding state notification object.
  • the standby notification object 253 is further displayed.
  • the standby notification object 253 is a display object indicating that the automatic driving control target (braking device in this case) controlled in the automatic driving is ready to be operated by the automatic driving control device 30.
  • the design and display position of the standby notification object 253 for the braking device are not limited to the example of FIG. It is preferable to change the design and display position of the standby notification object for each automatic operation control target.
  • the standby notification object 254 may be displayed to blink during the operation advance notice period (the above 5 seconds) and to be lit during operation.
  • FIG. 49 shows a block diagram of the control unit 152K
  • FIG. 50 shows a flowchart of the operation of the control unit 152K.
  • the control unit 152K includes a future position specifying unit 1521, a notification object management unit 1525K, and an image data generation unit 1523K.
  • the future position specifying unit 1521 specifies the future position of the vehicle 1 in step S121 as in the first embodiment.
  • step S125K the notification object management unit 1525K determines whether or not to display the peripheral state notification object and the standby notification object.
  • the notification object management unit 1525K acquires the peripheral state information used by the automatic driving control device 30 for automatic driving via the information acquiring unit 151.
  • the surrounding situation information is acquired from the surrounding situation detection device 50
  • the surrounding situation information supplied from the surrounding situation detection device 50 to the automatic driving control device 30 may be acquired from the automatic driving control device 30.
  • the notification object management unit 1525K includes an image data generation unit so that the peripheral state notification object is included in the display image of the recognized object (in the above example, the lane marking and the preceding vehicle) recorded in the peripheral state information. Direct to 1523K.
  • the notification object management unit 1525K performs automatic driving control via the information acquisition unit 151 on whether or not the automatic driving control target controlled in the automatic driving is ready to be operated by the automatic driving control device 30. Obtained from the device 30. Then, the notification object management unit 1525K instructs the image data generation unit 1523K to include the standby notification object in the display image for the automatic driving control target ready for operation.
  • the image data generation unit 1523K obtains, from the background image data supply device 500, image data of the surrounding scenery centered on the future position specified in step S121 as background image data. Then, the image data generation unit 1523K generates display image data in which the vehicle object 210 is arranged at the center of the acquired background image. Further, the image data generation unit 1523K adds the display image to the peripheral state notification object and the standby notification object according to the instruction issued from the notification object management unit 1525K in step S125K. Thereafter, the image data generation unit 1523K outputs the generated image data to the LCD 110J.
  • the image data generation unit 1523K generates image data of the entire screen 225, but description of generation of an image for the right display area 225a is omitted here.
  • the same effect as in the tenth embodiment can be obtained. Further, the operation status of various devices related to automatic driving can be confirmed by displaying the peripheral status notification object and the standby notification object. As a result, it is possible to give a sense of security with respect to control related to automatic driving, for example.
  • the peripheral status notification object and the standby notification object can be applied to the first to tenth embodiments.
  • the display control device is provided in the vehicle.
  • some or all of the functions of the display control device may be configured by at least one of an information terminal brought into the vehicle and a server on the Internet.
  • the information terminal is a personal computer, a smartphone, or the like.
  • the communication function of the information terminal may be used for accessing the server.
  • the display unit of the information terminal can be used as a display for displaying a vehicle object.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Human Computer Interaction (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Instrument Panels (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

表示制御装置は、自動運転で走行可能な車両で利用される表示器を制御する。表示制御装置は情報取得部と制御部とを含んでいる。情報取得部は、車両の自動運転制御装置によって作成された走行制御計画の情報を取得する。制御部は、走行制御計画によって計画されている車両の将来の動きを、車両形状を模擬した表示オブジェクトである車両オブジェクトを将来の動きに関わる風景に重畳することによって、ユーザに視覚的に提供するように、表示器を制御する。

Description

表示制御装置、表示装置および表示制御方法
 本発明は、自動運転で走行可能な車両で利用される表示器を制御する技術に関する。
 特許文献1には、自車が次にとる行動を報知する技術が開示されている。具体的には、演算制御部が、車車間通信によって周囲を自動走行している他車の位置の情報を受信して、自車の表示部の画面に、自車および周囲の他車を示すマークを相対的な位置関係をもって表示する。自車および他車を示すマークは単一の鋭角を有した五角形であり、当該鋭角が向いている方向が自車および他車の進行方向を示している。
 また、特許文献1には、他車が次にとる行動を報知する技術が開示されている。具体的には、演算制御部が、他車から走行計画の情報を受信して、他車の走行計画に基づいて、自車および他車を示すマークの相対的な位置関係を設定する。
 また、演算制御部は、自車および他車が次にとる行動を音声によって報知する。例えば、自車が次にとる行動について「右車線に合流します」、「左車線に移ります」、「100m先で停止します」等の音声が出力される。
 特許文献2には、車両の制御作動状態を運転者に予告する技術が開示されている。具体的には、運転操作補助装置は、自車と前方障害物との接近度合を表すリスクポテンシャルに応じたアクセルペダル操作反力制御と、自車と前方障害物との接触の可能性に応じた自動制動制御とを行う。リスクポテンシャルに応じてアクセルペダルに操作反力が発生している状態で、自動制動制御が低作動状態から高作動状態に移行する場合、運転操作補助装置は、移行よりも所定時間前に、アクセルペダルからパルス状の付加反力を発生させるとともに、単発的な警報音を発生させる。
特開平10-105885号公報 特開2007-45175号公報
 特許文献1の技術によれば、自車および他車が次にとる行動が簡略的に報知されるだけである。このため、運転者は自車がどの位置でどのような行動をとるのかについての具体性を理解しにくいと考えられる。また、特許文献2の技術によれば、自動制動制御が高作動状態に移行する状況が予測されなければ、報知は行われない。
 本発明は、車両の将来の動きを具体性をもってユーザに視覚的に提供することを目的とする。
 本発明に係る表示制御装置は、自動運転で走行可能な車両で利用される表示器を制御する表示制御装置であって、車両の自動運転制御装置によって作成された走行制御計画の情報を取得する、情報取得部と、走行制御計画によって計画されている車両の将来の動きを、車両形状を模擬した表示オブジェクトである車両オブジェクトを将来の動きに関わる風景に重畳することによって、ユーザに視覚的に提供するように、表示器を制御する、制御部とを含んでいる。
 本発明に係る表示制御方法は、自動運転で走行可能な車両で利用される表示器を制御する方法であって、車両の自動運転制御装置によって作成された走行制御計画の情報を取得することと、走行制御計画によって計画されている車両の将来の動きを、車両形状を模擬した表示オブジェクトである車両オブジェクトを将来の動きに関わる風景に重畳することによって、ユーザに視覚的に提供するように、表示器を制御することとを含んでいる。
 本発明によれば、車両の将来の動きを、車両形状を模擬した表示オブジェクトである車両オブジェクトを将来の動きに関わる風景に重畳することによって、視覚的に提供する。このため、車両の将来の動きをより具体的に理解しやすい。
 本発明の目的、特徴、態様、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。
実施の形態1に係る表示制御装置およびそれの適用例を説明するブロック図である。 ウィンドシールド越しに見える現実風景の一例を示す図である。 図2の現実風景に、ヘッドアップディスプレイによって車両オブジェクトが重畳された状態を説明する図である。 実施の形態1に係る表示を説明する図である。 実施の形態1に係る表示制御装置の動作を説明するフローチャートである。 実施の形態1に係る表示制御装置の制御部の構成を説明するブロック図である。 実施の形態1に係る表示制御装置の制御部の動作を説明するフローチャートである。 実施の形態1に係る表示制御装置に関し、車両オブジェクトの表示位置を決定する手法を説明する図である。 実施の形態1に係る表示制御装置のハードウェア構成図である。 実施の形態1に係る表示制御装置の他のハードウェア構成図である。 実施の形態1に係る表示制御装置の他の動作を説明する図である。 実施の形態2に係る表示制御装置およびそれの適用例を説明するブロック図である。 実施の形態3に係る表示制御装置およびそれの適用例を説明するブロック図である。 実施の形態4に係る表示を説明する図である。 実施の形態4に係る表示制御装置の制御部の構成を説明するブロック図である。 実施の形態4に係る表示制御装置の制御部の動作を説明するフローチャートである。 実施の形態5に係る表示制御装置に関し、車両オブジェクトの表示位置を決定する手法を説明する図である。 実施の形態5に係る表示制御装置の制御部の構成を説明するブロック図である。 実施の形態5に係る表示制御装置の制御部の動作を説明するフローチャートである。 実施の形態6に係る表示を説明する図である。 実施の形態6に係る表示制御装置の制御部の構成を説明するブロック図である。 実施の形態6に係る表示制御装置の制御部の動作を説明するフローチャートである。 実施の形態7に係る表示制御装置の制御部の構成を説明するブロック図である。 実施の形態7に係る表示制御装置の制御部の動作を説明するフローチャートである。 実施の形態8に係る表示制御装置の制御部の構成を説明するブロック図である。 実施の形態8に係る表示を説明する図である。 実施の形態8に係る表示を説明する図である。 実施の形態8に係る表示を説明する図である。 実施の形態8に係る表示を説明する図である。 実施の形態8に係る表示を説明する図である。 実施の形態8に係る表示を説明する図である。 実施の形態8に係る表示を説明する図である。 実施の形態8に係る表示制御装置の制御部の動作を説明するフローチャートである。 実施の形態9に係る表示制御装置の制御部の構成を説明するブロック図である。 実施の形態9に係る表示を説明する図である。 実施の形態9に係る表示を説明する図である。 実施の形態9に係る表示制御装置の制御部の動作を説明するフローチャートである。 実施の形態10に係る表示制御装置およびそれの適用例を説明するブロック図である。 実施の形態10に係る表示器の画面構成例を説明するブロック図である。 実施の形態10に係る表示を説明する図である。 実施の形態10に係る他の表示を説明する図である。 実施の形態10に係る表示制御装置の制御部の構成を説明するブロック図である。 実施の形態10に係る表示制御装置の制御部の動作を説明するフローチャートである。 実施の形態11に係る表示制御装置およびそれの適用例を説明するブロック図である。 実施の形態11に係る表示を説明する図である。 実施の形態11に係る表示を説明する図である。 実施の形態11に係る表示を説明する図である。 実施の形態11に係る表示を説明する図である。 実施の形態11に係る表示制御装置の制御部の構成を説明するブロック図である。 実施の形態11に係る表示制御装置の制御部の動作を説明するフローチャートである。
 <実施の形態1>
 <全体構成>
 図1に、実施の形態1に係る表示制御装置150およびそれの適用例を説明するブロック図を示す。表示制御装置150は、自動運転で走行可能な車両で利用される表示器110を制御する装置である。ここでは、表示制御装置150および表示器110は、車両に備え付けられているものとする。なお、車両は、移動体であればよい。具体的には、車両は、車種、駆動方式、エネルギー種別等によって制限されるものではなく、例えば、ガソリン車、電気自動車、ハイブリッド車等のいずれであってもよい。以下では、表示制御装置150が適用される車両を自車と呼び、自車以外の車両を他車と呼ぶ場合もある。
 表示制御装置150は、表示器110と組み合わされることによって、表示装置100を構成することができる。また、表示装置100は、それ単独で、または、他の装置と組み合わされることによって、HMI(Human Machine Interface)装置を構成することができる。図1には、表示装置100が、音響装置101および操作装置102と共に、HMI装置を構成する例を示している。図1のHMI装置は、ユーザに向けた情報を出力すると共に、ユーザによる操作を受け付ける装置である。具体的には、表示装置100によって視覚的に情報が提供され、音響装置101によって聴覚的に情報が提供される。また、表示装置100および音響装置101に対するユーザ操作が、操作装置102によって受け付けられる。操作装置102は、タッチパネル、スイッチ、ボタン等のあらゆる操作装置が該当する。以下ではユーザは運転者であるとするが、ユーザは同乗者であってもよい。
 図1には、説明のために、走行駆動系10と、運転操作装置20と、自動運転制御装置30と、自車位置検出装置40と、周辺状況検出装置50とを図示している。
 走行駆動系10は、車両を走行させるための装置であり、加速装置と操舵装置と制動装置とを含んでいる。走行駆動系10に、車両の走行に利用する装置、例えばウィンカーを含める場合もある。走行駆動系10は自動運転制御装置30の制御下にある。また、走行駆動系10は、走行駆動系10の動作状況を各種センサによって検出し、検出結果を自動運転制御装置30に供給する。かかる情報は、自動運転制御装置30が走行駆動系10を制御する際に利用される。
 走行駆動系10の制御権限、換言すれば車両の運転権限が、車両に付与されている場合、自動運転制御装置30が自律的に走行駆動系10を制御する。かかる点に鑑みると、車両が運転権限を有している状態を、自動運転制御装置30が運転権限を有している状態と表現してもよい。これに対し、当該車両の運転者が運転権限を有する場合、運転者が運転操作装置20を操作することによって走行駆動系10を制御する。
 運転操作装置20は、運転者が車両を運転するために利用する装置である。運転操作装置20は、運転者が走行駆動系10を操作するための装置、例えばハンドルとアクセルペダルとブレーキペダルとを含んでいる。また、運転操作装置20は、運転者が運転に関連した指示を車両に入力するための装置、例えばハンドルレバーとウィンカーレバーとを含んでいる。運転操作装置20によって行われた操作内容は自動運転制御装置30に入力される。運転者が運転権限を有する場合、その操作内容に基づいて自動運転制御装置30が走行駆動系10を制御する。
 自動運転制御装置30は、地図データベース31を有している。以下では、データベースをDBと表記する場合もある。地図DB31は、自動運転用のものであり、高精度な地図データを有し、さらには自動運転に有用なデータ、例えば道路データも有している。道路データは、道路面に描画された区画線の明瞭度等に関するデータである。なお、地図DB31はインターネット上に設けられていてもよく、この場合、自動運転制御装置30はインターネットを介して地図DB31にアクセスすることになる。
 自動運転制御装置30は、地図DB31を参照することによって、自車の走行予定経路について、相対的に長期の走行制御計画を作成する。走行予定経路は、自車位置検出装置40によって検出された自車の現在位置から、予め定められた範囲内の道路網として設定可能である。あるいは、ナビゲーションシステムによって設定された案内経路を、走行予定経路に設定してもよい。
 ここで、自車位置検出装置40は、GPS(Global Positioning System)受信機等によって構成され、自車の現在位置、すなわち自車位置を検出し、検出結果を自動運転制御装置30に供給する。現在位置は例えば、緯度、経度および高度によって表現できる。自車位置検出装置40は、GPS受信情報に代えてまたは加えて、加速度センサ、ジャイロ、車速信号等の情報から、自車位置を求めるように、構成されてもよい。
 自動運転制御装置30は、地図DB31の情報および自車位置の情報に加え、自車の周辺状況の情報に基づいて、相対的に短期の走行制御計画を作成する。周辺状況は周辺状況検出装置50によって検出される。
 周辺状況検出装置50は、自車の周辺状況を検出し、検出結果を自動運転制御装置30に供給する。周辺状況検出装置50は、ミリ波レーダ、超音波センサ、レーザレーダ、カメラ等のセンシング装置を有しており、これらのセンシング装置によって、自動運転に利用する情報を取得する。例えば、車線(換言すれば道路面の区画線)、他車、歩行者、建物、障害物等の位置の情報が取得される。ここで、区画線の位置情報から(例えば左右の区画線までの距離の差から)、車線内における自車の位置情報を取得することが可能である。また、移動する物体については、その移動速度が検出される。周辺状況検出装置50は、車載通信機によって、自車の周辺状況の情報を取得してもよい。具体的には、自車と他車との間の通信である車車間通信、自車と路側機との間の通信である路車間通信、放送受信等によって、渋滞具合、道路状態等の情報を取得することが可能である。
 周辺状況検出装置50によって検出された周辺状況情報は、自動運転制御装置30によって衝突回避、車線維持(換言すればレーン維持)等に利用される。かかる点に鑑みると、短期の走行制御計画は、周辺状況検出装置50の検出範囲程度に関する。他方、長期の走行制御計画は、周辺状況検出装置50の検出範囲を超える範囲を対象としており、地図DB31等に基づいて想定可能な将来的な長期の走行に関する。また、短期の走行制御計画は周辺状況情報に基づいて作成されるので、短期の走行制御計画は長期の走行制御計画に比べて詳細である。
 走行制御計画は、走行予定軌跡の情報を含む。走行予定軌跡において、上記の長期の走行制御計画によって相対的に長期の走行予定軌跡が与えられ、上記の短期の走行制御計画によって相対的に短期の走行予定軌跡が与えられる。上記のように短期の走行制御計画は長期の走行制御計画に比べて詳細であるので、短期の走行予定軌跡は長期の走行予定軌跡に比べて詳細である。例えば、短期の走行予定軌跡は、車線内における自車の位置を特定可能な精度で作成される。
 走行予定軌跡は、時刻を変数とする関数によって作成することができる。このため、或る時刻の値を代入することによって、その時刻に車両が走行予定軌跡上のどこに位置しているかに関する情報を得ることができる。これによれば、将来時刻の値を代入することによって、その将来時刻における車両の将来位置を推定することができる。ここで、将来時刻とは、現在時刻よりも後に到来する時刻のことである。また、将来位置とは、将来時刻において車両が到達すると推定される現実空間の地点である。将来位置は例えば、緯度、経度および高度によって表現できる。
 また、走行制御計画は、走行予定軌跡を進行する場合における走行駆動系10の制御計画の情報、例えば加速装置と操舵装置と制動装置とのそれぞれの制御計画の情報を含んでいる。また、ウィンカーの制御計画を含んでもよい。
 <表示器110>
 表示器110は、運転席前方のウィンドシールドを利用したヘッドアップディスプレイ(HUD)とする。以下では、表示器110をHUD110と呼ぶ場合もある。HUD110は、HUD110が表示する画像を運転者に虚像によって提供する。具体的には、HUD110がウィンドシールドに向けて画像を投射すると、その投射画像が、ウィンドシールド越しに見える現実風景に、虚像として映し出される。このため、あたかも表示画像が車両前方の風景の中に存在しているかのように見える。換言すれば、現実風景の像に、HUD110によって出力された像が重畳された像が、運転者に提供され、運転者はその重畳像を認識することになる。
 実施の形態1では、HUD110として、虚像距離すなわち運転者から見える虚像の距離(より具体的には縦方向の距離)が一定である仕様のHUDを用いるものとする。
 図2に、ウィンドシールド200越しに見える現実風景の一例を示す。図3に、図2の現実風景に、HUD110によって表示オブジェクト210が重畳された状態を示す。
 <表示制御装置150>
 表示制御装置150は、HUD110を制御する。具体的には、表示制御装置150は、HUD110によって表示する画像のデータを生成し、生成した画像データをHUD110に供給する。HUD110は、供給された画像データに基づいて表示動作を行う。
 図3に示したように、HUD110によって、車両形状を模擬した表示オブジェクト210を表示するものとする。模擬する車両形状は自車の形状とするが、この例に限定されるものではない。図3の表示オブジェクト210は、車両の背面視を模擬している。以下では、表示オブジェクト210を車両オブジェクト210と呼ぶ場合もある。この場合、表示制御装置150は、HUD110による表示領域、換言すれば虚像の表示領域における車両オブジェクト210の表示位置を設定し、その表示位置に車両オブジェクト210を表示するための画像データを生成する。
 特に、表示制御装置150は、車両オブジェクト210によって自車の将来の動きを表示する機能を有している。図4に一例を示す。図4は、図面下段に示すように、車両1が走行制御計画に従って、換言すれば走行予定軌跡に従って、車線を変更する状況について図示している。図4の上段には、ウィンドシールド200越しに見える現実風景と、HUD110によって表示された車両オブジェクト210とを図示している。なお、図面中段の時間軸におけるt10~t14の目盛りは、図面下段における車両1の位置に合わせて示している。このため、時間軸においてTdの長さ(t11,t12間およびt13,t14間の長さが該当する)が等しく図示されていない場合がある。
 ここで、ウィンドシールド200越しには現在時刻における現実風景が見える。これに対し、車両オブジェクト210は将来時刻における将来位置に表示されている。このため、ウィンドシールド200越しに、将来時刻における疑似的な(換言すれば仮想的な)状況が視覚的に提供される。上記のように、将来位置は走行制御計画に基づいて、より具体的には走行予定軌跡に基づいて推定可能である。
 図4を参照すると、現在時刻が車線変更を開始する時刻t11の場合、車両オブジェクト210は将来時刻t11+Td(=t12)における将来位置に表示されている。すなわち、走行予定軌跡によれば、将来時刻t11+Td(=t12)において、車両1は左車線を走行しつつ中央線の側に寄る計画である。これに対応して、現在時刻t11において、車両オブジェクト210はウィンドシールド200越しに見える現実の中央線に寄った位置に表示される。
 なお、Tdは現在時刻と将来時刻との差分である。ここでは、Tdは5秒に固定され変更不可であるものとするが、この例に限定されるものではない。
 現在時刻がt12の場合、車両オブジェクト210は将来時刻t12+Tdにおける将来位置に表示されている。将来時刻t12+Tdにおいて、車両1は中央線を跨いでいる計画である。これに対応して、現在時刻t12において、車両オブジェクト210はウィンドシールド200越しに見える現実の中央線に重なるように表示される。
 時刻t14において車線変更が終了する計画である場合、現在時刻t14-Td(=t13)において、車両オブジェクト210は将来時刻t14における将来位置に表示されている。すなわち、現在時刻t13(=t14-td)において、車両オブジェクト210はウィンドシールド200越しに見える現実の右車線内に位置するように、表示される。
 車両1が同じ車線を走行している状況についても同様である。具体的には、車線変更を開始する前の時刻t10(<t11)において、車両オブジェクト210は将来時刻t10+Tdにおける将来位置に表示されている。この場合、将来位置は現在走行中の左車線内に在るので、車両オブジェクト210は、時刻t10においてウィンドシールド200越しに見える現実の左車線内に位置するように、表示される。車線変更が終了した後の時刻においても同様であり、図4では時刻t14における表示を代表的に図示している。
 なお、例えば右左折の状況においても、車両オブジェクト210は同様に表示される。
 以下、表示制御装置150をより具体的に説明する。図1に示すように、表示制御装置150は情報取得部151と制御部152とを含んでいる。
 情報取得部151は、表示制御装置150の動作に利用する各種の情報を取得する。図5に示す動作フローS100によれば、ステップS110において、情報取得部151は、自動運転制御装置30によって作成された走行制御計画の情報を、自動運転制御装置30から取得する。
 制御部152は、表示制御装置150内の各種の処理を行う。特に、図5に示すように、ステップS120において、制御部152は、ステップS110で取得した走行制御計画によって計画されている車両1の将来の動きを、車両オブジェクト210の表示を使ってユーザに視覚的に提供するように、表示器110(ここではHUD110)を制御する。特に、制御部152は、車両オブジェクト210を、将来の動きに関わる風景であるウィンドシールド200越しの現実風景に重畳するように、HUD110を制御する。
 図6に制御部152の構成を説明するブロック図を示し、図7に制御部152の動作(すなわち上記ステップS120)のより具体的なフローチャートを示す。図6によれば、制御部152は、将来位置特定部1521と、表示位置決定部1522と、画像データ生成部1523とを含んでいる。
 図7の動作フローS120によれば、ステップS121において、将来位置特定部1521が車両1の将来位置を特定する。例えば、将来位置特定部1521は、走行予定軌跡を表す関数に将来時刻の値を代入することによって、その将来時刻における車両1の将来位置の情報を取得する。特に短期の走行予定軌跡を利用することによって、車両1の将来位置を区画線との位置関係において特定することが可能である。なお、現在時刻をt0とし、将来時刻をt0+Tdとし、Tdは5秒とする。
 ステップS122において、表示位置決定部1522がHUD110による表示領域、換言すれば虚像の表示領域における車両オブジェクト210の表示位置を決定する。
 ここで図8を参照する。ウィンドシールド200越しに見て、HUD110の表示領域205が図8に示す位置に設定されているとする。この場合、ウィンドシールド200の範囲における表示領域205の位置は既知である。
 また、ウィンドシールド200の範囲における区画線の位置は、周辺状況検出装置50によって特定可能である。例えば、周辺状況検出装置50が前方カメラで風景を撮影しその撮影画像に対して区画線認識を行うことによって、ウィンドシールド200の範囲における区画線の位置を特定可能である。
 そうすると、表示領域205の範囲における区画線の位置が特定される。
 一方、上記のように将来位置特定部1521によって、車両1の将来位置を区画線との位置関係において特定することが可能である。
 そうすると、車両1の将来位置と区画線との位置関係を、表示領域205の範囲における車両オブジェクト210の表示位置と現実の区画線との位置関係に反映させることによって、車両オブジェクト210の表示位置を決定することができる。
 かかる点に鑑み、表示位置決定部1522は、例えば、ウィンドシールド200と表示領域205との位置関係と、ウィンドシールド200の範囲における区画線の位置と、車両1の将来位置と区画線との位置関係との情報に基づいて、表示領域205における車両オブジェクト210の表示位置を決定する。これにより、車両オブジェクト210を、現実風景における将来位置に表示することができる。なお、実施の形態1では、車両オブジェクト210の表示位置は表示領域205の縦方向において一定とする。
 なお、周辺状況情報は、情報取得部151によって周辺状況検出装置50から取得され、表示位置決定部1522に供給されるものとする。但し、情報取得部151は、周辺状況検出装置50から自動運転制御装置30に供給された周辺状況情報を、自動運転制御装置30から取得してもよい。
 図6および図7に戻り、画像データ生成部1523はステップS123において、表示位置決定部1522によって決定された表示位置に車両オブジェクト210を表示するための画像データ(表示領域205の全体に対応する画像データ)を生成する。そして、画像データ生成部1523は、生成した画像データをHUD110へ出力する。
 図7の動作フローS120が繰り返されることによって、または、図5の動作フローS100が繰り返されることによって、表示画像が更新される。その結果、車両オブジェクト210の表示位置の変化によって、車両1の将来の動きがユーザに視覚的に提供される。
 なお、表示制御装置150は走行制御計画に基づいて表示制御を行うので、走行制御計画が作成されていれば足りる。このため、完全な自動運転の状態(加速と操舵と制動との全てを自動運転制御装置30が行い、運転者が運転に全く関与しない状態)でなくても、上記の表示制御を実行可能である。換言すれば、上記の表示制御は、運転権限を車両と運転者とのいずれか有しているかとは関係なく、実行可能である。
 <表示制御装置150のハードウェア構成>
 図9に、表示制御装置150のハードウェア構成図を示す。図9の例によれば、表示制御装置150は、プロセッサ161と、メモリ162と、外部インタフェース163とを含んでいる。以下では、インタフェースをIFと表記する場合もある。プロセッサ161とメモリ162と外部IF163とは、バスを介して互いに接続されている。但し、この接続形態に限定されるものではない。プロセッサは、マイクロプロセッサ、マイクロコンピュータ、CPU(Central Processing Unit)、演算装置、DSP(Digital Signal Processor)と呼ばれる場合もある。
 メモリ162は、例えば、半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD等、あらゆる記憶媒体が該当する。上記の半導体メモリとは、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、フラッシュメモリ、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)等の、不揮発性または揮発性のあらゆる半導体メモリが該当する。
 外部IF163は、表示制御装置150と外部装置とを接続するためのIF回路、例えば通信回路である。外部装置は、例えば、自動運転制御装置30、周辺状況検出装置50、HUD110等のあらゆる外部装置が該当する。但し、例えば表示制御装置150と自動運転制御装置30とが外部IF163を介さずに接続可能な仕様であれば、自動運転制御装置30は例えばバスに接続される。すなわち、接続仕様上、外部IF163を介さずに表示制御装置150と接続可能な外部装置もある。
 プロセッサ161が、メモリ162に格納されているプログラム(換言すればソフトウェア、ファームウェアまたはそれらの組み合わせ)を読み出して実行することによって、表示制御装置150の各種機能が実現される。例えば、プロセッサ161が制御部152用の(より具体的には、将来位置特定部1521、表示位置決定部1522および画像データ生成部1523用の)プログラムを実行することによって、制御部152の機能(より具体的には、将来位置特定部1521、表示位置決定部1522および画像データ生成部1523の機能)が実現される。また、プロセッサ161が、情報取得部151用のプログラムを実行することによって、情報取得部151の機能が実現される。なお、外部IF163を利用する場合、プロセッサ161が外部IF163と協働することによって、情報取得部151の機能が実現される。
 上記では、プロセッサ161がプログラムを実行することによって、表示制御装置150の機能を実現するものとした。これに対し、図10に示すように、表示制御装置150の機能を専用の処理回路171によって実現することも可能である。処理回路171は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)、これらを組み合わせた回路、等のあらゆる処理回路が該当する。処理回路171に外部IF163を含ませることも可能である。
 また、図9と図10の構成を組み合わせてもよい。すなわち、表示制御装置150の一部の機能を、メモリ162に格納されているプログラムをプロセッサ161が実行することによって実現し、表示制御装置150の残りの機能を専用の処理回路171によって実現するのである。
 <効果>
 表示制御装置150によれば、車両1の将来の動きを、車両形状を模擬した表示オブジェクトである車両オブジェクト210を将来の動きに関わる風景に重畳することによって、視覚的に提供する。このため、車両1の将来の動きをより具体的に理解しやすい。その結果、例えば車両1の将来の動きに対する安心感を与えることができる。
 また、車両1の将来の動きが理解しやすく表現されるので、運転者が不用意に運転操作を行うことを防止することができ、その不用意な運転操作に対して割り込み処理が発生することを防止することができる。その結果、割り込み処理による処理負荷の増加を防止することができる。
 かかる効果を、図4を再度参照して、車線変更が行われる状況を例に挙げて説明する。ハンドルを所定角度以上に操作すること、または、ウィンカーレバーを操作することが、運転権限を車両から運転者に移行させることを要求する操作に割り当てられているとする。この場合において、運転者が車線変更のための運転操作を不用意に行ったとする。そうすると、自動運転制御装置30は、その操作が運転権限移行要求であるか否かを運転者に問い合わせるための割り込み処理を発生させる。しかし、車両1の将来の動きが理解しやすく表現されることによって、運転者は計画された車線変更が実行されることを適切に認識することができるので、車線変更のための運転操作を行おうとする動機が抑制される。このため、不用意な操作に対して上記のような割り込み処理が発生することを防止することができる。その結果、割り込み処理による処理負荷の増加を防止することができる。
 ハンドルを所定角度以上に操作すること、または、ウィンカーレバーを操作することが、他の要求に関する操作、例えば自動運転の完全な解除を要求する操作に割り当てられている場合についても同様である。
 また、実施の形態4等で説明するように車両1が将来、減速することが理解しやすく表現されることによって、運転者がブレーキペダルを操作しようとする動機が抑制される。このため、ブレーキペダルを所定量以上踏み込むことが、運転権限移行要求等のための操作に割り当てられている場合にも、上記と同様の効果が得られる。
 実施の形態1では、車両オブジェクト210の表示位置は表示領域205の縦方向において一定とした(図4参照)。このため、車両1の将来の動きを横方向動き成分についてのみ表現される。これに対し、車両1の将来の動きを横方向動き成分と前後方向動き成分との両方について表現することも可能である。但し、横方向動き成分についてのみ表現する場合であっても、車両1の将来の動きを十分に理解することはできる。また、横方向動き成分と前後方向動き成分との両方について表現する場合に比べて、車両1の表示位置を決定するための処理量が少なくて済む。なお、横方向動き成分と前後方向動き成分との両方について表現する例については、実施の形態4,5においてより具体的に説明する。
 また、HUD110として、虚像距離が一定である仕様のHUDを用いることにより、表示装置100を低コストで提供することができる。
 <将来位置の特定について>
 ここで、将来位置の特定について説明を加える。上記のように、将来位置特定部1521は、走行予定軌跡を表す関数に将来時刻の値を代入することによって、その将来時刻における車両1の将来位置を特定する。その際、将来時刻は、その起点としての現在時刻t0から時間的な間隔Tdを置いた時刻t0+Tdであるものとした。
 起点となる現在時刻t0は例えば、走行予定軌跡を表す関数に将来時刻の値を代入するタイミングの時刻taである。
 但し、上記代入時刻taよりも後の時刻を、現在時刻t0として規定してもよい。例えば、車両オブジェクト210が実際に表示される時刻tbを、現在時刻t0として規定する。ここで、制御部152およびHUD110が各種処理のために費やす処理時間は、仕様等に基づいて予測することが可能である。このため、時刻ta,tb間の時間差Δtabの値を予め規定しておくことができる。その結果、現在時刻t0はt0=ta+Δtabによって算出可能である。
 同様に、現在時刻t0は、車両オブジェクトの表示位置を決定する処理(ステップS122)を実行する時刻、画像データを生成する処理(ステップS123)を実行する時刻、または、画像データをHUD110に供給する時刻であってもよい。あるいは、上記時刻ta,tb間の任意の時刻を、現在時刻t0に規定してもよい。
 また、上記代入時刻taよりも前の任意の時刻tcを、現在時刻t0に規定してもよい。但し、その場合の将来時刻tc+Tdが上記代入時刻taよりも過去の時刻にならないように、時刻tcを規定する必要がある。すなわち、tcは、ta<tc+Td、換言すればtc>ta-Tdを満足するように規定される。
 上記では、走行予定軌跡を表す関数に将来時刻の値を代入するタイミングの時刻taを基準にして、現在時刻t0を考察したが、これは説明の便宜に過ぎない。すなわち、現在時刻t0は、実質的に現在時刻として認められる範囲において規定することができる。
 さて、上記の将来位置を特定する処理(ステップS121)では、車両1の将来位置を特定するための起点を現在時刻t0とした。現在時刻t0と、現在時刻t0における車両1の現在位置とは、互いに対応するので、将来位置を特定する処理を、現在時刻t0における車両1の現在位置を起点にして車両1の将来位置を特定する処理であると理解することが可能である。なお、現在時刻t0の規定と同様に、将来位置を特定するための現在位置は、実質的に現在位置として認められる範囲において規定することができる。
 また、車両1の将来位置を、時間的な間隔Tdに代えて、空間的な間隔Sdによって規定してもよい。すなわち、車両1の将来位置を、上記起点から空間的な間隔Sdを置いて車両1が到達する予定の位置として規定してもよい。空間的な間隔Sdは例えば、現在位置の正面方向において、または、現在位置から走行予定軌跡に沿って、前方50mまたは前方100mの距離として規定することができる。図11に、車両オブジェクト210の表示例を示す。
 図11において例えば時刻t22を参照すると、現在時刻t22(換言すれば、現在時刻t22における現在位置)から距離Sd先における将来位置で車両1は中央線を跨ぐ計画である場合、現在時刻t22ではそのような状況が車両オブジェクト210の表示を使って視覚的に提供される。ここで、将来位置に到達する時刻である将来時刻は、例えば車両1が現在の速度を維持して走行するとの仮定の下、推定することが可能である。推定した将来時刻の値を、走行予定軌跡を表す関数に代入すれば、車両1の将来位置を特定することができる。
 <実施の形態2>
 実施の形態1では、将来位置とその起点との差分を規定する時間的な間隔Tdの値が変更不可であるものとした。これに対し、実施の形態2では、Tdの値をユーザが変更できるようにする。
 図12に、実施の形態2に係る表示制御装置150Bおよびそれの適用例を説明するブロック図を示す。表示制御装置150Bは、実施の形態1に係る表示制御装置150に調整部153Bを追加した構成を有している。表示制御装置150Bは、表示器110(ここではHUD110)と組み合わされることによって、表示装置100Bを構成することができる。図12においてその他の構成は図1と同様である。
 調整部153Bは、将来位置とその起点との差分を規定する時間的な間隔Tdを、ユーザ指示に従って調整する。具体的には、ユーザは操作装置102を使って、Tdの設定値を入力する。あるいは、Tdの現在値に対する増減を入力するようにしてもよい。かかるユーザ指示は、操作装置102から、調整部153Bに伝達される。調整部153Bは、取得したユーザ指示に従ってTdの値を更新し、Tdの更新値を制御部152に供給する。これにより、制御部152は、ユーザによって指示されたTdに基づいて、実施の形態1と同様に動作する。
 同様に、将来位置とその起点との差分が空間的な間隔によって規定される場合も、空間的な間隔をユーザによって変更することができる。
 実施の形態2によれば、実施の形態1と同様の効果が得られる。また、実施の形態2によれば、車両オブジェクト210にどの程度の将来について表現させるかを調整することができるので、例えばユーザの好みに応えることができる。
 <実施の形態3>
 実施の形態1,2では、将来位置とその起点との差分を規定する間隔として、時間的な間隔Tdと空間的な間隔Sdとのうちのいずれか一方のみを利用した。これに対し、実施の形態3では、時間的な間隔Tdと空間的な間隔Sdとを様々な状況に応じて動的に切り替える。
 図13に、実施の形態3に係る表示制御装置150Cおよびそれの適用例を説明するブロック図を示す。表示制御装置150Cは、実施の形態1に係る表示制御装置150に調整部153Cが追加された構成を有している。表示制御装置150Cは、表示器110(ここではHUD110)と組み合わされることによって、表示装置100Cを構成することができる。図13によれば、調整参考情報供給装置400が、図1の構成に追加されている。
 調整部153Cは、時間的な間隔Tdと空間的な間隔Sdとのいずれを利用するのかを、例えば走行状況に応じて調整する。ここでは、走行状況の一例として車両1の走行速度を挙げる。具体的には、調整部153Cが走行速度は間隔調整用の速度閾値未満であると判別した場合、調整部153Cは制御部152に、車両1の将来位置を特定する際に空間的な間隔Sdを利用させる。逆に、調整部153Cが走行速度は上記閾値以上であると判別した場合、調整部153Cは制御部152に時間的な間隔Tdを利用させる。速度閾値は例えば20km/hである。
 この場合、調整参考情報供給装置400は例えば車両1の速度センサが該当し、速度センサは車両1の走行速度の情報を調整参考情報として調整部153Cに供給する。
 調整部153Cは、時間的な間隔Tdと空間的な間隔Sdとのいずれを利用するのかを、周辺状況に応じて調整してもよい。ここでは、周辺状況の一例として渋滞レベルを挙げる。具体的には、調整部153Cが渋滞レベルは間隔調整用の渋滞レベル閾値未満であると判別した場合、調整部153Cは制御部152に、車両1の将来位置を特定する際に空間的な間隔Sdを利用させる。逆に、調整部153Cが渋滞レベルは上記閾値以上であると判別した場合、調整部153Cは制御部152に時間的な間隔Tdを利用させる。
 この場合、調整参考情報供給装置400は例えば周辺状況検出装置50が該当し、周辺状況検出装置50は走行予定軌跡に関連する渋滞の情報を調整参考情報として調整部153Cに供給する。
 調整部153Cは、時間的な間隔Tdと空間的な間隔Sdとのいずれを利用するのかを、運転者状況に応じて調整してもよい。ここでは、運転者状況の一例として運転者の注意レベルを挙げる。運転者の注意レベルは、例えば、眠気があるか、脇見運転をしていないか、および、冷静であるか(換言すれば興奮していないか)の観点から決定される。調整部153Cが運転者の注意レベルは間隔調整用の注意レベル閾値未満であると判別した場合、調整部153Cは制御部152に、車両1の将来位置を特定する際に空間的な間隔Sdを利用させる。逆に、調整部153Cが注意レベルは上記閾値以上であると判別した場合、調整部153Cは制御部152に時間的な間隔Tdを利用させる。
 この場合、調整参考情報供給装置400は運転者情報検出装置が該当し、運転者情報検出装置は運転者の注意レベルの情報を調整参考情報として調整部153Cに供給する。運転者情報検出装置は例えば、運転者を撮影する車内カメラをセンサとして有しており、当該カメラの撮影画像を解析することによって運転者の眼球および顔の動きを検出し、運転者の視線の方向および顔の向きから運転者の注意レベルを判別する。運転者情報検出装置のセンサは、運転者の挙動を検出できればよい。このため、他のセンサを利用してもよい。他のセンサとして、例えば、運転者の音声を取得する集音マイク、ハンドルに設けられた生体センサ、および、脳波センサが挙げられる。
 調整部153Cは、走行状況と周辺状況と運転者状況とのうちの2つ以上に基づいて、時間的な間隔Tdと空間的な間隔Sdとのいずれを利用するのかを決定してもよい。
 実施の形態3によれば、実施の形態1と同様の効果が得られる。
 なお、調整部153Cは、実施の形態2に係る調整部153Bの機能、すなわち時間的な間隔Tdおよび空間的な間隔Sdをユーザ指示に従って調整する機能を有していてもよい。
 また、上記したような時間的な間隔Tdと空間的な間隔Sdとの選択的な利用に代えてまたは加えて、TdまたはSdの値を変化させてもよい。すなわち、本実施の形態1では、車両1の将来位置を5秒後または前方100mのように固定的に設定した、換言するとTdまたはSdを一定とした。これに対し、調整部153Cは、走行状況と周辺状況と運転者状況とのうちの1つまたは2つ以上の情報に基づいて、TdまたはSdの値を変化させてもよい。
 例えば、車両1の速度が大きいほど、TdまたはSdを長く設定してもよい。これによれば、速度が速いほど、早めに車両1の動きの変化を表示することができる。
 また、例えば車両1の周辺に他車が多い場合、TdまたはSdを短く設定してもよい。また、例えば50m先に先行車両が存在する場合、TdまたはSdを短くしてもよい。これらによれば、遠い未来よりも近い未来が表示されることになるので、周辺の車両に惑わされることが少なくなる。
 また、運転者の注意レベルが下がっていることが検出された場合、TdまたはSdを長く設定してもよい。これによれば、早めに車両1の動きの変化を表示することができるので、運転者の認知時間を確保することができる。
 <実施の形態4>
 実施の形態1では、車両1の将来の動きを横方向動き成分についてのみ表現するように、車両オブジェクト210の表示を制御した。これに対し、実施の形態4では、車両1の将来の動きを横方向動き成分と前後方向動き成分との両方について表現するように、車両オブジェクト210の表示を制御する。
 図14に一例を示す。図14は、図面下段に示すように、車両1が障害物等(図示せず)を回避するために車線を変更する状況について図示している。図14の上段には、ウィンドシールド200越しに見える現実風景と、HUD110によって表示された車両オブジェクト210とを図示している。なお、図面中段の時間軸におけるt30~t34の目盛りは、図面下段における車両1の位置に合わせて示している。このため、時間軸においてTdの長さ(t30,t31間、t31,t32間、t32,t33間およびt33,t34間の長さが該当する)が等しく図示されていない場合がある。
 図14において走行制御計画によれば、車両1は、左車線を走行しており、時刻t31において一旦減速する。その後、車両1は速度を上げつつ車線変更を開始する。時刻t32において、車両1は中央線に寄った位置を走行している。そして、時刻t33において車両1は中央線を跨ぎ、その後、車両1は右車線への進入とともに加速している。時刻t34において車両1は目的速度に達し、その後はその速度が維持されるものとしている。
 まず図14と図4の走行予定軌跡は車線変更という点で共通するので、図14において車両オブジェクト210の表示位置の横方向位置成分(以下、横方向位置と呼ぶ場合もある)は、図4と同様に設定できる。このため、以下では、車両オブジェクト210の表示位置の縦方向位置成分(以下、縦方向位置と呼ぶ場合もある)について説明する。
 図14を参照すると、現在時刻がt30の場合、車両オブジェクト210は将来時刻t31(=t30+Td)における将来位置に表示されている。上記のように時刻t31において車両1は減速するので、車速を維持する場合と比べて、将来時刻t31における将来位置は現在時刻t30における現在位置に近い。かかる状況を表現するため、車両オブジェクト210の縦方向位置は、ウィンドシールド200の下辺(換言すれば表示領域205の下辺)寄りに設定される。
 現在時刻がt31の場合、車両オブジェクト210は将来時刻t32(=t31+Td)における将来位置に表示されている。上記のように時刻t31の後、車速を上げるので、車両オブジェクト210の縦方向位置は、時刻t31における表示位置に比べて、ウィンドシールド200の下辺から離れた位置に設定される。
 現在時刻がt32の場合、車両オブジェクト210は将来時刻t33(=t32+Td)における将来位置に表示されている。なお、時刻t32~t33の間は車速が一定であるものとし、このため時刻t32,t33における車両オブジェクト210の縦方向位置は同じである。
 現在時刻がt33の場合、車両オブジェクト210は将来時刻t34(=t33+Td)における将来位置に表示されている。上記のように車両1は右車線に進入した後に加速するので、車速を維持する場合に比べて、将来時刻t34における将来位置は現在時刻t33における現在位置から遠い。かかる状況を表現するため、車両オブジェクト210の縦方向位置は、ウィンドシールド200の上辺(換言すれば表示領域205の上辺)寄りに設定される。
 現在時刻がt34の場合、車両オブジェクト210は将来時刻t34+Tdにおける将来位置に表示されている。上記のように車両1は時刻t34の後、一定速度を維持するので、時刻t33~t34において加速する場合に比べて、将来時刻t34+Tdにおける将来位置は現在時刻t34における現在位置に近い。このため、車両オブジェクト210の縦方向位置は、時刻t33における表示位置に比べて、ウィンドシールド200の上辺から離れた位置に設定される。
 なお、例えば右左折の状況においても、車両オブジェクト210は同様に表示される。
 このように実施の形態4では、車両オブジェクト210の縦方向位置を制御することによって、将来位置の遠近感を表現することができる。
 図15に実施の形態4に係る制御部152Dのブロック図を示し、図16に制御部152Dの動作についてのフローチャートを示す。制御部152Dは、既述の制御部152に代えて、表示制御装置に適用される。制御部152Dは、将来位置特定部1521と、表示位置決定部1522Dと、画像データ生成部1523とを含んでいる。
 図16の動作フローS120Dによれば、ステップS121において将来位置特定部1521が、実施の形態1と同様に、車両1の将来位置を特定する。
 次に、ステップS122Dにおいて、表示位置決定部1522DがHUD110による表示領域205における車両オブジェクト210の表示位置を決定する。特に、実施の形態4に係る表示位置決定部1522Dは、車両オブジェクト210の横方向位置と縦方向位置を決定する。
 具体的には、表示位置決定部1522Dは、実施の形態1で説明したステップS122と同様に、車両オブジェクト210の横方向位置を決定する。
 また、表示位置決定部1522Dは、車両1の将来位置と現在位置との距離に応じて、車両オブジェクト210の縦方向位置を決定する。具体的には、表示位置決定部1522Dは、将来位置が現在位置に近いほど、車両オブジェクト210の縦方向位置を表示領域205の下辺寄りに設定する。換言すれば、表示位置決定部1522Dは、将来位置が現在位置から遠いほど、車両オブジェクト210の縦方向位置を表示領域205の上辺寄りに設定する。
 ここで、表示位置決定部1522Dは、車両1の現在位置の情報を、走行予定軌跡から取得することができる。あるいは、表示位置決定部1522Dは、自車位置検出装置40から直接または自動運転制御装置30を介して、現在位置の情報を取得してもよい。
 その後ステップS123において、画像データ生成部1523が、表示位置決定部1522Dによって決定された表示位置に車両オブジェクト210を表示するための画像データを生成する。そして、画像データ生成部1523は、生成した画像データをHUD110へ出力する。
 実施の形態4によれば、実施の形態1と同様の効果が得られる。また、実施の形態4によれば、車両1の将来の動きをより具体的に表現することができる。
 <実施の形態5>
 実施の形態5では、実施の形態4とは別の手法によって、車両オブジェクト210の横方向位置および縦方向位置を決定する。実施の形態5に係る手法を、図17を参照して説明する。
 車両1の将来位置が例えば現実風景中の位置E1であると特定されたものとする。また、車両1の前方カメラで現実風景を撮影した場合、現実風景中の位置E1が撮影画像中の位置E2に対応するものとする。一般的に、撮影方向、撮影範囲等に基づいて、現実風景中の位置E1の情報と撮影画像中の位置E2の情報との対応関係を規定することができる。同様に、撮影範囲とウィンドシールド200の範囲との対応関係を規定することもできる。また、ウィンドシールド200の範囲においてHUD110の表示領域205の位置は既知である。そうすると、現実風景中の位置E1すなわち車両1の将来位置の情報を、HUD110の表示領域205内の位置E3の情報に変換することができる。したがって、車両1の将来位置から、車両オブジェクト210の表示位置すなわち横方向位置および縦方向位置を決定することができる。
 図18に実施の形態5に係る制御部152Eのブロック図を示し、図19に制御部152Eの動作についてのフローチャートを示す。制御部152Eは、既述の制御部152に代えて、表示制御装置に適用される。制御部152Eは、将来位置特定部1521と、表示位置決定部1522Eと、画像データ生成部1523とを含んでいる。
 図19の動作フローS120Eによれば、ステップS121において将来位置特定部1521が、実施の形態1と同様に、車両1の将来位置を特定する。
 次に、ステップS122Eにおいて、表示位置決定部1522EがHUD110による表示領域205における車両オブジェクト210の表示位置を決定する。上記説明に鑑みると、将来位置と車両オブジェクト210の表示位置との対応付けは例えば、将来位置の情報および前方カメラによる撮影条件の情報を変数とする関数によって与えることが可能である。これによれば、表示位置決定部1522Eは、その関数に将来位置の情報等を代入することによって、車両オブジェクト210の表示位置すなわち横方向位置および縦方向位置を決定する。
 その後ステップS123において、画像データ生成部1523が、表示位置決定部1522Eによって決定された表示位置に車両オブジェクト210を表示するための画像データを生成する。そして、画像データ生成部1523は、生成した画像データをHUD110へ出力する。
 実施の形態5によれば、実施の形態1と同様の効果が得られる。また、実施の形態5によれば、車両1の将来の動きをより具体的に表現することができる。
 <実施の形態6>
 実施の形態6では、車両オブジェクト210の表示形態を、車両1の将来の動きに応じて変化させる。具体的には、車両1の現在位置と将来位置と差分に応じて、車両オブジェクト210の表示サイズを制御する。図20に一例を示す。図20を既述の図14と比較すれば分かるように、実施の形態6では将来位置が現在位置に近いほど車両オブジェクト210を大きく表示し(現在時刻t30における表示を参照)、逆に将来位置が現在位置から遠いほど車両オブジェクト210を小さく表示する(現在時刻t33における表示を参照)。これにより将来位置の遠近感を表現することができる。
 図21に実施の形態6に係る制御部152Fのブロック図を示し、図22に制御部152Fの動作についてのフローチャートを示す。制御部152Fは、既述の制御部152に代えて、表示制御装置に適用される。制御部152Fは、実施の形態5に係る制御部152Eに表示形態決定部1524Fを追加した構成を有している。
 図22の動作フローS120Fによれば、ステップS121において将来位置特定部1521が、実施の形態1と同様に、車両1の将来位置を特定する。次に、ステップS122Eにおいて表示位置決定部1522Eが、実施の形態5と同様に、車両オブジェクト210の表示位置を決定する。
 次に、ステップS124Fにおいて表示形態決定部1524Fが、上記ステップS122Eで決定した縦方向位置に応じて、車両オブジェクト210の表示サイズを決定する。具体的には、表示形態決定部1524Fは、縦方向位置が表示領域205の上辺に近いほど(すなわち将来位置が現在位置から遠いほど)、車両オブジェクトの表示サイズを小さく設定する。換言すれば、表示形態決定部1524Fは、縦方向位置が表示領域の下辺に近いほど(すなわち将来位置が現在位置に近いほど)、車両オブジェクトの表示サイズを大きく設定する。
 その後ステップS123において、画像データ生成部1523が、表示位置決定部1522Eによって決定された表示位置に、表示形態決定部1524Fによって決定された表示サイズで以て、車両オブジェクト210を表示するための画像データを生成する。そして、画像データ生成部1523は、生成した画像データをHUD110へ出力する。
 実施の形態6によれば、実施の形態1と同様の効果が得られる。また、実施の形態6によれば、車両1の将来の動きをより具体的に表現することができる。
 実施の形態6では表示形態決定部1524Fの機能を実施の形態5に応用したが、表示形態決定部1524Fの機能は他の実施の形態に応用することも可能である。
 <実施の形態7>
 実施の形態7では、HUD110として、虚像距離が可変である仕様のHUDを用いる場合について説明する。具体的には、車両1の将来位置が現在位置から遠いほど虚像距離を長くし、逆に将来位置が現在位置に近いほど虚像距離を短くする。これにより将来位置の遠近感を表現する。
 図23に実施の形態7に係る制御部152Gのブロック図を示し、図24に制御部152Gの動作についてのフローチャートを示す。制御部152Gは、既述の制御部152に代えて、表示制御装置に適用される。制御部152Gは、将来位置特定部1521と、表示位置決定部1522Gと、画像データ生成部1523とを含んでいる。
 図24の動作フローS120Gによれば、ステップS121において将来位置特定部1521が、実施の形態1と同様に、車両1の将来位置を特定する。
 次に、ステップS122Gにおいて、表示位置決定部1522GがHUD110による表示領域における車両オブジェクト210の表示位置を決定する。具体的には、表示位置決定部1522Gは、車両1の将来位置と現在位置との距離に応じて、虚像距離を決定する。すなわち、上記のように、将来位置が現在位置から遠いほど、虚像距離を長く設定する。そして、表示位置決定部1522Gは、設定した虚像距離に対して規定される表示領域において、車両オブジェクト210の表示位置を、実施の形態5と同様にして決定する。
 その後ステップS123において、画像データ生成部1523が、表示位置決定部1522Gによって決定された表示位置(すなわち虚像距離、縦方向位置および横方向位置)に車両オブジェクト210を表示するための画像データを生成する。そして、画像データ生成部1523は、生成した画像データをHUD110へ出力する。
 実施の形態7によれば、実施の形態1と同様の効果が得られる。また、実施の形態7によれば、車両1の将来の動きをより具体的に表現することができる。また、虚像距離に応じて車両オブジェクト210の大きさが違って見えるので、実施の形態6のように車両オブジェクト210の表示サイズを制御しなくても、遠近感を表現することができる。
 実施の形態7では表示位置決定部1522Gの機能を実施の形態5に応用したが、表示位置決定部1522Gの機能は他の実施の形態に応用することも可能である。
 <実施の形態8>
 実施の形態8では、車両オブジェクト210の表示形態を、車両1の将来の動きに応じて変化させる。図25に実施の形態8に係る制御部152Hのブロック図を示す。制御部152Hは、既述の制御部152に代えて、表示制御装置に適用される。制御部152Hは、実施の形態5に係る制御部152Eに表示形態決定部1524Hを追加した構成を有している。
 走行制御計画において車外ランプの点灯または点滅が計画されている場合、表示形態決定部1524Hは、車両オブジェクト210において車外ランプに対応する箇所が点灯または点滅して見えるように、車両オブジェクト210の表示形態を設定する。図26に一例を示す。図26では車両1は図14と同様に走行する。
 図26によれば、時刻t31において車両1は減速に伴って車外ランプであるブレーキランプを点灯させる計画である。このため、表示形態決定部1524Hは、現在時刻t30(=t31-Td)の表示に関し、車両オブジェクト210のうちでブレーキランプに対応する箇所が点灯しているように見える表示形態を、車両オブジェクト210に適用する。
 ここで、設定長さ(例えば3秒)以上の制動が計画されている場合、表示形態決定部1524Hは、車両オブジェクト210のうちでブレーキランプに対応する箇所を、ポンピングブレーキを通知するための表示形態に設定する。ポンピングブレーキを通知するための表示形態は、例えば図27に示すように、ブレーキランプに対応する箇所が点灯および消灯を繰り返しているように見えるアニメーション表示である。あるいは、図28に示すように、ポンピングブレーキ用の別個の表示形態を用いてもよい。
 図26に戻り、時刻t32,t33において車両1は車線変更に伴って車外ランプであるウィンカーランプを点滅させる計画である。このため、表示形態決定部1524Hは、現在時刻t31(=t32-Td),t32(=t33-Td)の表示に関し、車両オブジェクト210のうちでウィンカーランプに対応する箇所が点滅しているように見える表示形態(図29参照)を、車両オブジェクト210に適用する。かかる表示形態は、右左折時におけるウィンカーランプの点滅についても同様である。
 ウィンカーランプは一般的にハザードランプとしても利用される。例えば車両1が路側帯に停車する計画があり、その際にハザードランプを点滅させる(具体的には、左右のウィンカーランプを同時に点滅させる)場合、表示形態決定部1524Hは、車両オブジェクト210のうちで左右のウィンカーランプに対応する箇所が同時に点滅しているように見える表示形態を、車両オブジェクト210に適用する。
 また、表示形態決定部1524Hは、車両オブジェクト210を、将来の動きに対応する効果線を有した表示形態に設定する。例えば将来時刻において車両1が加速をしている場合、現在時刻での表示に図30に例示した表示形態が適用される。また、左折および右折を表す効果線として、図31および図32が例示される。なお、効果線をアニメーション表示してもよい。
 なお、表示形態のこられの例のうちの一部のみを採用してもよいし、あるいは他の表示形態を採用してもよい。
 図33に制御部152Hの動作についてのフローチャートを示す。図33の動作フローS120Hによれば、ステップS121において将来位置特定部1521が、実施の形態1と同様に、車両1の将来位置を特定する。次に、ステップS122Eにおいて表示位置決定部1522Eが、実施の形態5と同様に、車両オブジェクト210の表示位置を決定する。
 次に、ステップS124Hにおいて表示形態決定部1524Hが、ステップS121で特定された将来位置における車両1の動きに応じて、車両オブジェクト210の表示形態を決定する。具体的には、表示形態決定部1524Hは、将来位置における車両1の動きを、走行制御計画に含まれている、加速装置と操舵装置と制動装置の制御計画の情報から判別することが可能である。そこで、表示形態決定部1524Hは、その判別結果に基づいて、車両オブジェクト210の表示形態を決定する。
 なお、走行予定軌跡は時刻を変数とする関数によって表現されているので、走行予定軌跡を表す関数の一階微分によって、速度計画の情報を得ることができる。また、二階微分によって、加速度計画の情報を得ることができる。そのようにして得られた速度計画および加速度計画の情報を利用してもよい。
 その後ステップS123において、画像データ生成部1523が、表示位置決定部1522Eによって決定された表示位置に、表示形態決定部1524Hによって決定された表示形態で以て、車両オブジェクト210を表示するための画像データを生成する。そして、画像データ生成部1523は、生成した画像データをHUD110へ出力する。
 実施の形態8によれば、実施の形態1と同様の効果が得られる。また、実施の形態8によれば、車両1の将来の動きをより具体的に表現することができる。
 実施の形態8では表示形態決定部1524Hの機能を実施の形態5に応用したが、表示形態決定部1524Hの機能は他の実施の形態に応用することも可能である。
 <実施の形態9>
 実施の形態9では、車両オブジェクト210の表示形態を、車両1の将来の動きの変化度合いに応じて変化させる。図34に実施の形態9に係る制御部152Iのブロック図を示す。制御部152Iは、既述の制御部152に代えて、表示制御装置に適用される。制御部152Iは、実施の形態5に係る制御部152Eに表示形態決定部1524Iを追加した構成を有している。
 表示形態決定部1524Iは、車両1の将来の動きの変化度合いが大きいほど、車両オブジェクト210の視認性がより高くなるように、車両オブジェクト210の表示形態を制御する。車両オブジェクト210の視認性は様々な制御によって変化させることができ、図35~図36に具体例を示す。
 図35に示すように、制御例(a)によれば、走行制御計画において変化度合いが閾値Vaを上回る大きな動きが計画されている場合、表示形態決定部1524Iはその大きな動きについて車両オブジェクト210の表示サイズを大きくする。また、より大きな閾値Vb(>Va)を上回る更に大きな動きが計画されている場合、表示形態決定部1524Iはその更に大きな動きについて車両オブジェクト210の表示サイズをより大きくする。
 制御例(a)では、上記のように、車両オブジェクト210の表示サイズを3段階で変化させる。これに対し、制御例(b)では、車両オブジェクト210の表示サイズを2段階で変化させる。なお、制御例(b)において、閾値Vbではなく、閾値Vaを採用してもよい。
 制御例(c)によれば特に、走行制御計画において変化度合いが閾値Vbを下回る小さな動きが計画されている場合、表示形態決定部1524Iは、その小さな動きについて車両オブジェクト210が表示させない。例えば、表示形態決定部1524Iは、車両オブジェクト210を透明に設定する。あるいは、表示形態決定部1524Iが、画像データ生成部1523に対して、画像データの生成または出力を停止するように指示してもよい。なお、制御例(c)において、閾値Vbではなく、閾値Vaを採用してもよい。制御例(c)によれば、車両オブジェクト210を常時表示させる場合に比べて、表示制御装置等の処理量および消費電力を削減することができる。
 図36に示すように、制御例(d)によれば、走行制御計画において変化度合いが閾値Vbを上回る大きな動きが計画されている場合、表示形態決定部1524Iはその大きな動きについて車両オブジェクト210に強調表示を適用する。図36では車両オブジェクト210を太線で描画することによって強調表示を提供するが、描画線を視認性の高い色に変更してもよいし、あるいは車両オブジェクト210を視認性の高い色で塗ってもよい。なお、制御例(d)において、閾値Vbではなく、閾値Vaを採用してもよい。
 制御例(e)によれば、走行制御計画において変化度合いが閾値Vbを下回る小さな動きが計画されている場合、表示形態決定部1524Iはその小さな動きについて車両オブジェクト210を破線で描画する。これによれば、変化度合いが閾値Vbを上回る場合に、車両オブジェクト210の視認性が相対的に高くなる。なお、制御例(e)において、閾値Vbではなく、閾値Vaを採用してもよい。
 制御例(f)によれば、走行制御計画において変化度合いが閾値Vbを下回る小さな動きが計画されている場合、表示形態決定部1524Iはその小さな動きについて車両オブジェクト210の透明度を上げる。また、より小さな閾値Va(<Vb)を下回る更に小さな動きが計画されている場合、表示形態決定部1524Iはその更に小さな動きについて車両オブジェクト210の透明度をさらに上げる。これによれば、変化度合いが閾値Va,Vbを上回る場合に、車両オブジェクト210の視認性が相対的に高くなる。なお、閾値Va,Vbの一方のみを採用して、透明度を2段階で変化させてもよい。また、透明度の代わりに、車両オブジェクト210の色相を変化させてもよい。
 制御例(g)によれば、走行制御計画において変化度合いが閾値Vbを下回る小さな動きが計画されている場合、表示形態決定部1524Iはその小さな動きについて車両オブジェクト210を簡易形状に変化させる。これによれば、変化度合いが閾値Vbを上回る場合に、車両オブジェクト210の視認性が相対的に高くなる。なお、図36とは違えて、他の簡易形状を採用してもよいし、閾値Vbではなく閾値Vaを採用してもよい。
 なお、表示形態のこられの例のうちの一部のみを採用してもよいし、あるいは他の表示形態を採用してもよい。また、変化させる表示形態を組み合わせてもよい。また、表示形態を4段階以上あるいは連続的に変化させてもよい。また、図35および図36では説明の便宜上、共通の閾値Va,Vbを適用したが、変化させる表示形態ごとに、異なる閾値を適用してもよい。
 ここで、車両1の動きの変化度合いは、例えば車両1の加速度の大きさ(換言すれば加速度の絶対値)によって表現することができる。すなわち、加速する場合、減速する場合、および、進行方向を変更する場合において加速度(の大きさ)が変化するので、加速度の大きさに応じて(例えば閾値Va=0.2G、閾値Vb=0.4G)車両オブジェクト210の表示形態を変化させればよい。なお、加速する場合には、停車状態から走行状態に変化する場合が含まれる。同様に、減速する場合には、走行状態から停車状態に変化する場合が含まれる。また、進行方向を変更する場合には、車線を変更する場合、および、右左折する場合が含まれる。
 車両1の動きを横方向動き成分と前後方向動き成分とに分解し、一方または両方の動き成分の加速度の大きさを閾値と比較してもよい。
 上記のように、走行予定軌跡は時刻を変数とする関数によって表現されているので、走行予定軌跡を表す関数の二階微分によって、加速度計画の情報を得ることができる。
 図37に制御部152Iの動作についてのフローチャートを示す。図37の動作フローS120Iによれば、ステップS121において将来位置特定部1521が、実施の形態1と同様に、車両1の将来位置を特定する。次に、ステップS122Eにおいて表示位置決定部1522Eが、実施の形態5と同様に、車両オブジェクト210の表示位置を決定する。
 次に、ステップS124Iにおいて表示形態決定部1524Iが、ステップS121で特定された将来位置における車両1の動きの変化度合いに基づいて、車両オブジェクト210の表示形態を決定する。具体的には、表示形態決定部1524Iは、将来位置における車両1の加速度を、走行予定軌跡を表す関数を二階微分した式に将来時刻を代入することによって、特定する。そして、表示形態決定部1524Iは、特定した加速度の大きさを閾値と比較し、その比較結果に基づいて車両オブジェクト210の表示形態を決定する。
 その後ステップS123において、画像データ生成部1523が、表示位置決定部1522Eによって決定された表示位置に、表示形態決定部1524Iによって決定された表示形態で以て、車両オブジェクト210を表示するための画像データを生成する。そして、画像データ生成部1523は、生成した画像データをHUD110へ出力する。
 実施の形態9によれば、実施の形態1と同様の効果が得られる。また、実施の形態9によれば、車両1の将来の動きをより具体的に表現することができる。
 実施の形態9では表示形態決定部1524Iの機能を実施の形態5に応用したが、表示形態決定部1524Iの機能は他の実施の形態に応用することも可能である。
 <実施の形態10>
 実施の形態10では、表示器が液晶ディスプレイ(LCD)である場合を説明する。但し、表示器は有機エレクトロルミネセンスディスプレイ等であってもよい。図38に、実施の形態10に係る表示制御装置150Jおよびそれの適用例を説明するブロック図を示す。表示制御装置150Jは、実施の形態1と同様の情報取得部151と、実施の形態10に係る制御部152Jとを含んでいる。表示制御装置150Jは、表示器110J(ここではLCD110J)と組み合わされることによって、表示装置100Jを構成することができる。図38によれば、背景画像データ供給装置500が、図1の構成に追加されている。
 LCD110Jはここでは、その画面が運転席正面に配置されることによって、メータクラスタを構成するものとする。但し、LCD110Jの画面は他の箇所、例えば運転席正面と助手席正面との間のセンターコンソールに配置されてもよい。図39にLCD110Jの画面(換言すれば表示領域)の構成例を示す。図39によれば、画面225の右側の表示領域225aに、各種メータ231と、ウィンカー表示灯232,233と、ブレーキ表示灯234とが表示される。画面225の左側の表示領域225bには、車両1の将来の動きが車両オブジェクト210を使って表示される。車両オブジェクト210は左側の表示領域225bの中心に配置されるものとする。
 ここで、車両オブジェクト210が重畳される風景は将来位置の周辺風景の画像であり、周辺風景の画像は背景画像データ供給装置500から供給される。周辺風景の画像は例えば、ナビゲーション画像で利用されるようなコンピューターグラフィックスによって周辺風景を模擬した画像である。この場合、背景画像データ供給装置500は、ナビゲーションシステム、または、ナビゲーションシステムのうちでナビゲーション画像を作成する構成ブロックが該当する。
 あるいは、周辺風景の画像として、車両1の車外カメラによって撮影された撮影画像を利用してもよい。周辺風景用の撮影画像は、撮影したそのままの画像のみならず、撮影後に何らかの画像処理(例えばコンピューターグラフィックスに似せるための処理)を施した画像も該当するものとする。この場合、背景画像データ供給装置500は、車外カメラシステム、または、車外カメラと画像処理システムとの組み合わせが該当する。
 撮影画像を利用することにより、コンピューターグラフィックス画像よりも、臨場感を出すことができる。また、撮影画像によれば、コンピューターグラフィックス画像に比べて、車両オブジェクト210を重畳する風景画像を作成するための処理負荷が小さくて済む。
 図40を参照して、LCD110Jの表示例を説明する。なお、図40では車両1は図14と同様に走行する。
 現在時刻がt30の場合、LCD110Jの画面には将来時刻t31(=t30+Td)における車両1の状況が表示されている。すなわち、時刻t31において車両1は左車線を走行している計画であるので、その状況が表示されている。また、時刻t31において車両1は減速する計画であるので、その状況が、車両オブジェクト210のうちでブレーキランプに対応する箇所が点灯しているように見える表示形態によって、表現されている。但し、車両1は現在時刻t30では未だ減速していないので、画面のブレーキ表示灯234は点灯していない。
 現在時刻がt31の場合、画面のブレーキ表示灯234が点灯している。現在時刻t31において、将来時刻t32(=t31+Td)における車両1の状況が表示されている。すなわち、時刻t32において車両1は中央線に寄った位置を走行している計画であるので、その状況が表示されている。また、時刻t32において車両1はウィンカーランプを点滅させている計画であるので、その状況が、車両オブジェクト210のうちでウィンカーランプに対応する箇所が点滅しているように見える表示形態によって、表現されている。但し、車両1は現在時刻t31では未だウィンカーランプを点滅させていないので、画面のウィンカー表示灯233は点滅していない。
 現在時刻がt32の場合、画面のウィンカー表示灯233が点滅している。現在時刻t32において、将来時刻t33(=t32+Td)における車両1の状況が表示されている。すなわち、時刻t33において車両1は中央線を跨ぐ位置を走行している計画であるので、その状況が表示されている。また、時刻t33において車両1はウィンカーランプを点滅させている計画であるので、その状況が表現されている。
 現在時刻がt33の場合、画面のウィンカー表示灯233が点滅している。現在時刻t33において、将来時刻t34(=t33+Td)における車両1の状況が表示されている。すなわち、時刻t34において車両1は右車線を走行している計画であるので、その状況が表示されている。
 現在時刻がt34の場合、将来時刻t34+Tdにおける車両1の状況が表示されている。すなわち、時刻t34において車両1は右車線を走行している計画であるので、その状況が表示されている。
 図40では、HUD110の場合と同様に、車両1の背面視によって車両1の将来の動きを表示しているが、LCD110Jによれば車両1を見る視点を様々に設定することができる。図41に上面視の例を示す。鳥瞰視等によって表示を行うこともできる。視点を切り替え可能とすることによって、同じ内容を様々な表現によって提供することができる。
 図42に制御部152Jのブロック図を示し、図43に制御部152Jの動作についてのフローチャートを示す。制御部152Jは、将来位置特定部1521と、表示形態決定部1524Hと、画像データ生成部1523Jとを含んでいる。
 図43の動作フローS120Jによれば、ステップS121において将来位置特定部1521が、実施の形態1と同様に、車両1の将来位置を特定する。次に、ステップS124Hにおいて表示形態決定部1524Hが、実施の形態8と同様に、車両オブジェクト210の表示形態を決定する。
 次に、ステップS123Jにおいて、画像データ生成部1523Jが、上記ステップS121によって特定された将来位置を中心にした周辺風景の画像データを、背景画像のデータとして、背景画像データ供給装置500から取得する。そして、画像データ生成部1523Jは、取得した背景画像の中心に、上記ステップS124Hによって決定した表示形態で以て、車両オブジェクト210が配置された画像のデータを生成する。その後、画像データ生成部1523Jは、生成した画像データをLCD110Jへ出力する。
 なお、画像データ生成部1523Jは、画面225全体の画像データを生成するものとするが、ここでは右側の表示領域225a用の画像の生成については説明を省略する。
 実施の形態10によれば、実施の形態1と同様の効果が得られる。また、LCD110Jによれば、車両1の将来の動きを、視点を様々に切り替えて表示することができる。また、LCD110Jによれば、HUD110に比べて、表示装置を低コストで提供することができる。また、LCD110Jとして車両に既設のLCDを利用することが可能であるので、導入コストが低く済む。
 実施の形態10では実施の形態8をLCD110Jによる表示に応用したが、他の実施の形態をLCD110Jによる表示に応用することも可能である。
 <実施の形態11>
 実施の形態11では、自動運転に関わる各種装置の動作状況を視覚的に提供するための技術を説明する。図44に、実施の形態11に係る表示制御装置150Kおよびそれの適用例を説明するブロック図を示す。表示制御装置150Kは、実施の形態1と同様の情報取得部151と、実施の形態11に係る制御部152Kとを含んでいる。表示制御装置150Kは、LCD110Jと組み合わされることによって、表示装置100Kを構成することができる。なお、表示器として、有機エレクトロルミネセンスディスプレイ、HUD等を用いることも可能である。図44においてその他の構成は図38と同様である。
 図45~図48を参照して、表示例を説明する。図45では、周辺状況検出装置50が、車線を区画する区画線を認識済みであることを、区画線用の周辺状況通知オブジェクト251を表示することによって、表現している。区画線用の周辺状況通知オブジェクト251は例えば、青色の帯状の表示オブジェクトである。区画線の検出精度に応じて、周辺状況通知オブジェクト251の表示形態を変化させてもよい。例えば、検出精度の低下により、周辺状況通知オブジェクト251を破線で表示する。周辺状況通知オブジェクト251は、現実空間における区画線と車両1との位置関係が、当該周辺状況通知オブジェクト251と車両オブジェクト210との位置関係に反映されるように、表示されている。
 図46では、先行車両用の周辺状況通知オブジェクト252がさらに表示されている。すなわち、周辺状況検出装置50が先行車両を認識済みであることを、先行車両用の周辺状況通知オブジェクト252を表示することによって、表現している。先行車両用の周辺状況通知オブジェクト252は例えば、車両の形状を模擬した表示オブジェクトである。先行車両用の周辺状況通知オブジェクト252のデザインは、車両1用の車両オブジェクト210と区別しやすいことが好ましい。周辺状況通知オブジェクト252は、現実空間における先行車両と車両1との位置関係が、当該周辺状況通知オブジェクト252と車両オブジェクト210との位置関係に反映されるように、表示されている。
 なお、周辺状況通知オブジェクトによって、認識済みの障害物等をさらに通知するようにしてもよい。
 図47では、スタンバイ通知オブジェクト253がさらに表示されている。スタンバイ通知オブジェクト253は、自動運転において制御される自動運転制御対象(ここでは制動装置)が自動運転制御装置30によって稼働される準備ができていることを示す表示オブジェクトである。制動装置用のスタンバイ通知オブジェクト253のデザインおよび表示位置は、図47の例に限定されるものではない。自動運転制御対象ごとに、スタンバイ通知オブジェクトのデザインおよび表示位置を変えるのが好ましい。
 図47のスタンバイ通知オブジェクト253は、制動装置が実際に稼働する前に(例えば5秒前に)、図48に示すデザインのスタンバイ通知オブジェクト254に変化する。これにより、制動装置が実際に稼働することを予告することができる。スタンバイ通知オブジェクト254を、稼働予告期間(上記の5秒間)では点滅させ、稼働中には点灯させるように表示してもよい。
 図49に制御部152Kのブロック図を示し、図50に制御部152Kの動作についてのフローチャートを示す。制御部152Kは、将来位置特定部1521と、通知オブジェクト管理部1525Kと、画像データ生成部1523Kとを含んでいる。
 図49の動作フローS120Kによれば、ステップS121において将来位置特定部1521が、実施の形態1と同様に、車両1の将来位置を特定する。
 次に、ステップS125Kにおいて、通知オブジェクト管理部1525Kが、周辺状況通知オブジェクトおよびスタンバイ通知オブジェクトを表示させるか否かを判別する。
 具体的には、通知オブジェクト管理部1525Kは、自動運転制御装置30が自動運転で利用する周辺状況情報を、情報取得部151を介して取得する。なお、周辺状況情報は周辺状況検出装置50から取得するものとするが、周辺状況検出装置50から自動運転制御装置30に供給された周辺状況情報を、自動運転制御装置30から取得してもよい。そして、通知オブジェクト管理部1525Kは、周辺状況情報に記録されている認識済み物(上記では区画線および先行車両を例示した)について、周辺状況通知オブジェクトを表示画像に含ませるように画像データ生成部1523Kに指示する。
 また、通知オブジェクト管理部1525Kは、自動運転において制御される自動運転制御対象が自動運転制御装置30によって稼働される準備ができているか否かの情報を、情報取得部151を介して自動運転制御装置30から取得する。そして、通知オブジェクト管理部1525Kは、稼働準備ができている自動運転制御対象について、スタンバイ通知オブジェクトを表示画像に含ませるように画像データ生成部1523Kに指示する。
 次に、画像データ生成部1523Kは、上記ステップS121によって特定された将来位置を中心にした周辺風景の画像データを、背景画像のデータとして、背景画像データ供給装置500から取得する。そして、画像データ生成部1523Kは、取得した背景画像の中心に、車両オブジェクト210が配置された表示画像のデータを生成する。さらに、画像データ生成部1523Kは、上記ステップS125Kにおいて通知オブジェクト管理部1525Kから発行された指示に従って、周辺状況通知オブジェクトおよびスタンバイ通知オブジェクトを、表示画像を加える。その後、画像データ生成部1523Kは、生成した画像データをLCD110Jへ出力する。
 なお、画像データ生成部1523Kは、画面225全体の画像データを生成するものとするが、ここでは右側の表示領域225a用の画像の生成については説明を省略する。
 実施の形態11によれば、実施の形態10と同様の効果が得られる。また、周辺状況通知オブジェクトおよびスタンバイ通知オブジェクトの表示によって、自動運転に関わる各種装置の動作状況を確認することができる。その結果、例えば自動運転に関わる制御に対する安心感を与えることができる。
 周辺状況通知オブジェクトおよびスタンバイ通知オブジェクトは、実施の形態1~10に応用することも可能である。
 <変形例>
 上記では、表示制御装置が車両に備え付けられているものとした。これに対し、表示制御装置の機能の一部または全部が、車両内に持ち込まれた情報端末機と、インターネット上のサーバとのうちの少なくとも1つによって構成されてもよい。なお、情報端末機とは、パーソナルコンピュータ、スマートフォン、等である。インターネット上のサーバを利用する場合、当該サーバへのアクセスに情報端末機の通信機能を利用してもよい。また、情報端末機の表示部を、車両オブジェクトを表示するための表示器として利用することも可能である。
 本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略することが可能である。
 本発明は詳細に説明されたが、上記した説明は、すべての態様において、例示であって、この発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。
 1 車両、30 自動運転制御装置、50 周辺状況検出装置、100~100C,100J,100K 表示装置、110 表示器(ヘッドアップディスプレイ)、110J 表示器(液晶ディスプレイ)、150~150C,150J,150K 表示制御装置、151 情報取得部、152,152D~152K 制御部、153B,153C 調整部、200 ウィンドシールド、205,225 表示領域、210 車両オブジェクト、251,252 周辺状況通知オブジェクト、253,254 スタンバイ通知オブジェクト、400 調整参考情報供給装置、500 背景画像データ供給装置、Sd 空間的な間隔、Td 時間的な間隔。

Claims (26)

  1.  自動運転で走行可能な車両で利用される表示器を制御する表示制御装置であって、
     前記車両の自動運転制御装置によって作成された走行制御計画の情報を取得する、情報取得部と、
     前記走行制御計画によって計画されている前記車両の将来の動きを、車両形状を模擬した表示オブジェクトである車両オブジェクトを前記将来の動きに関わる風景に重畳することによって、ユーザに視覚的に提供するように、前記表示器を制御する、制御部と
    を備える表示制御装置。
  2.  前記車両オブジェクトが重畳される前記風景は、運転席前方のウィンドシールド越しに見える現実風景であり、
     前記表示器は、前記現実風景に虚像として前記車両オブジェクトを表示するヘッドアップディスプレイである、
    請求項1に記載の表示制御装置。
  3.  前記制御部は、前記現実風景において前記車両の将来位置を特定し、特定した将来位置に前記車両オブジェクトを表示するように前記ヘッドアップディスプレイを制御する、請求項2に記載の表示制御装置。
  4.  前記制御部は、前記車両の将来位置を前記走行制御計画に基づいて特定し、前記将来位置が前記車両の現在位置から遠いほど虚像距離が長くなるように前記ヘッドアップディスプレイを制御する、請求項2に記載の表示制御装置。
  5.  前記車両オブジェクトが重畳される前記風景は、前記車両の将来位置の周辺風景を模擬した風景画像であり、
     前記制御部は、前記車両の前記将来位置を前記走行制御計画に基づいて特定し、前記風景画像上に前記車両オブジェクトが重畳された画像を表示するように前記表示器を制御する、
    請求項1に記載の表示制御装置。
  6.  前記車両オブジェクトが重畳される前記風景は、前記車両の将来位置の周辺風景の撮影画像であり、
     前記制御部は、前記車両の前記将来位置を前記走行制御計画に基づいて特定し、前記撮影画像上に前記車両オブジェクトが重畳された画像を表示するように前記表示器を制御する、
    請求項1に記載の表示制御装置。
  7.  前記制御部は、前記車両の前記将来の動きを横方向動き成分と前後方向動き成分との両方について表現するように、前記車両オブジェクトの表示を制御する、請求項1に記載の表示制御装置。
  8.  前記制御部は、前記車両の前記将来の動きを横方向動き成分についてのみ表現するように、前記車両オブジェクトの表示を制御する、請求項1に記載の表示制御装置。
  9.  前記制御部は、前記車両オブジェクトの表示形態を、前記車両の前記将来の動きに応じて変化させる、請求項1に記載の表示制御装置。
  10.  前記制御部は、前記車両の将来位置を前記走行制御計画に基づいて特定し、前記将来位置が前記車両の現在位置から遠いほど前記車両オブジェクトが小さく表示されるように前記表示器を制御する、請求項9に記載の表示制御装置。
  11.  車外ランプの点灯または点滅が計画されている場合、前記制御部は、前記車両オブジェクトのうちで前記車外ランプに対応する箇所が点灯または点滅しているように見える表示形態を、前記車両オブジェクトに適用する、請求項9に記載の表示制御装置。
  12.  設定長さ以上の制動が計画されている場合、前記制御部は、前記車両オブジェクトのうちでブレーキランプに対応する箇所を、ポンピングブレーキを通知するための表示形態に制御する、請求項11に記載の表示制御装置。
  13.  ウィンカーランプの点滅が計画されている場合、前記制御部は、前記車両オブジェクトのうちでウィンカーランプに対応する箇所が点滅しているように見える表示形態を、前記車両オブジェクトに適用する、請求項11に記載の表示制御装置。
  14.  前記制御部は、前記車両オブジェクトを、前記将来の動きに対応する効果線を有した表示形態に制御する、請求項9に記載の表示制御装置。
  15.  前記制御部は、前記車両オブジェクトの表示形態を、前記車両の前記将来の動きの変化度合いに応じて変化させる、請求項1に記載の表示制御装置。
  16.  前記変化度合いが閾値を上回る大きな動きが計画されている場合、前記制御部は、前記大きな動きについて前記車両オブジェクトの視認性がより高くなるように、前記表示器を制御する、請求項15に記載の表示制御装置。
  17.  前記変化度合いが閾値を下回る小さな動きが計画されている場合、前記制御部は、前記小さな動きについて前記車両オブジェクトが表示されないように、前記表示器を制御する、請求項15に記載の表示制御装置。
  18.  前記制御部は、前記自動運転制御装置が前記自動運転で利用する周辺状況情報を取得し、前記周辺状況情報に記録されている認識済み物を通知するための周辺状況通知オブジェクトを表示するように前記表示器を制御する、請求項1に記載の表示制御装置。
  19.  前記制御部は、前記認識済み物と前記車両との位置関係が、前記周辺状況通知オブジェクトと前記車両オブジェクトとの位置関係に反映されるように、前記表示器を制御する、請求項18に記載の表示制御装置。
  20.  前記制御部は、前記自動運転において制御される自動運転制御対象が前記自動運転制御装置によって稼働される準備ができていることを示す表示オブジェクトであるスタンバイ通知オブジェクトを表示するように、前記表示器を制御する、請求項1に記載の表示制御装置。
  21.  前記制御部は、前記車両の将来位置を前記走行制御計画に基づいて特定し、前記将来位置に応じて前記車両オブジェクトの表示位置を決定し、
     前記将来位置は、予め規定された起点から間隔を置いて前記車両が到達する予定の位置である、
    請求項1に記載の表示制御装置。
  22.  前記予め規定された起点は、前記将来位置を特定する際の現在時刻または前記現在時刻における前記車両の現在位置である、請求項21に記載の表示制御装置。
  23.  前記間隔をユーザ指示に従って調整する調整部をさらに備える、請求項21に記載の表示制御装置。
  24.  前記間隔として時間的な間隔と空間的な間隔とのいずれを利用するのかを、走行状況と周辺状況と運転者状況とのうちの少なくとも1つに応じて調整する、調整部をさらに備える、請求項21に記載の表示制御装置。
  25.  請求項1に記載の表示制御装置と、
     前記表示制御装置の制御によって前記車両オブジェクトの表示を行う表示器と
    を備える表示装置。
  26.  自動運転で走行可能な車両で利用される表示器を制御する方法であって、
     前記車両の自動運転制御装置によって作成された走行制御計画の情報を取得することと、
     前記走行制御計画によって計画されている前記車両の将来の動きを、車両形状を模擬した表示オブジェクトである車両オブジェクトを前記将来の動きに関わる風景に重畳することによって、ユーザに視覚的に提供するように、前記表示器を制御することと
    を備える表示制御方法。
PCT/JP2016/081662 2016-10-26 2016-10-26 表示制御装置、表示装置および表示制御方法 WO2018078732A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US16/320,456 US10933745B2 (en) 2016-10-26 2016-10-26 Display control apparatus, display apparatus, and display control method
JP2018546979A JP6591087B2 (ja) 2016-10-26 2016-10-26 表示制御装置、表示装置および表示制御方法
CN201680090191.2A CN109844837A (zh) 2016-10-26 2016-10-26 显示控制装置、显示装置及显示控制方法
DE112016007380.1T DE112016007380T5 (de) 2016-10-26 2016-10-26 Anzeigekontrollvorrichtung, Anzeigevorrichtung und Anzeigekontrollverfahren
PCT/JP2016/081662 WO2018078732A1 (ja) 2016-10-26 2016-10-26 表示制御装置、表示装置および表示制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/081662 WO2018078732A1 (ja) 2016-10-26 2016-10-26 表示制御装置、表示装置および表示制御方法

Publications (1)

Publication Number Publication Date
WO2018078732A1 true WO2018078732A1 (ja) 2018-05-03

Family

ID=62024457

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/081662 WO2018078732A1 (ja) 2016-10-26 2016-10-26 表示制御装置、表示装置および表示制御方法

Country Status (5)

Country Link
US (1) US10933745B2 (ja)
JP (1) JP6591087B2 (ja)
CN (1) CN109844837A (ja)
DE (1) DE112016007380T5 (ja)
WO (1) WO2018078732A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020064402A (ja) * 2018-10-16 2020-04-23 トヨタ自動車株式会社 表示装置
CN111619572A (zh) * 2019-02-27 2020-09-04 操纵技术Ip控股公司 车道改变助手
WO2020196676A1 (ja) * 2019-03-26 2020-10-01 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、車両制御装置、および方法、並びにプログラム
JP2020163931A (ja) * 2019-03-28 2020-10-08 トヨタ自動車株式会社 車両用表示装置
JPWO2020230612A1 (ja) * 2019-05-15 2020-11-19

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020262453A1 (ja) * 2019-06-28 2020-12-30 株式会社小糸製作所 車両用情報表示システム、車両用情報表示装置、車両制御システム
DE102019217922B4 (de) * 2019-11-20 2023-08-03 Robert Bosch Gmbh Verfahren zum Betrieb eines Fahrzeugs
JP7357284B2 (ja) * 2020-02-12 2023-10-06 パナソニックIpマネジメント株式会社 描画システム、表示システム、移動体、描画方法及びプログラム
JP6979096B2 (ja) * 2020-02-28 2021-12-08 本田技研工業株式会社 注意喚起装置、及び注意喚起方法
CN111301168B (zh) * 2020-03-30 2021-09-03 广州小鹏汽车科技有限公司 一种车辆泊车方法和装置
FR3118259B1 (fr) * 2020-12-17 2024-01-19 Valeo Comfort & Driving Assistance Dispositif d’alerte anticollision et véhicule automobile comprenant un tel dispositif
JP7476845B2 (ja) * 2021-04-27 2024-05-01 トヨタ自動車株式会社 情報処理装置、情報処理方法及びプログラム
US11598960B1 (en) 2022-04-28 2023-03-07 Beta Air, Llc Systems and methods for a heads-up display for an electric aircraft

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007272350A (ja) * 2006-03-30 2007-10-18 Honda Motor Co Ltd 車両用運転支援装置
JP2011096064A (ja) * 2009-10-30 2011-05-12 Equos Research Co Ltd 運転アシストシステム
JP2015049059A (ja) * 2013-08-30 2015-03-16 アイシン・エィ・ダブリュ株式会社 進路案内表示システム、方法およびプログラム
JP2016045705A (ja) * 2014-08-22 2016-04-04 トヨタ自動車株式会社 車載装置、車載装置の制御方法及び車載装置の制御プログラム
WO2016152553A1 (ja) * 2015-03-26 2016-09-29 修一 田山 車輌用画像表示システム及び方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3650946B2 (ja) 1996-09-27 2005-05-25 本田技研工業株式会社 自動走行車
EP1083076A3 (en) * 1999-09-07 2005-01-12 Mazda Motor Corporation Display apparatus for vehicle
JP4169022B2 (ja) 2005-08-05 2008-10-22 日産自動車株式会社 車両用運転操作補助装置および車両用運転操作補助装置を備える車両
US20090112452A1 (en) * 2007-10-25 2009-04-30 Gm Global Technology Operations, Inc. Vehicle navigation system with real time traffic image display
JP4614005B2 (ja) * 2009-02-27 2011-01-19 トヨタ自動車株式会社 移動軌跡生成装置
US8924150B2 (en) * 2010-12-29 2014-12-30 GM Global Technology Operations LLC Vehicle operation and control system for autonomous vehicles on full windshield display
JP5810842B2 (ja) * 2011-11-02 2015-11-11 アイシン・エィ・ダブリュ株式会社 レーン案内表示システム、方法およびプログラム
US8994558B2 (en) * 2012-02-01 2015-03-31 Electronics And Telecommunications Research Institute Automotive augmented reality head-up display apparatus and method
US20140309930A1 (en) * 2013-04-15 2014-10-16 Flextronics Ap, Llc Automatic camera image retrieval based on route traffic and conditions
US9827907B2 (en) * 2013-07-05 2017-11-28 Clarion Co., Ltd. Drive assist device
US9126694B2 (en) * 2013-07-15 2015-09-08 Honeywell International Inc. Display systems and methods for providing displays having an integrated autopilot functionality
EP3693203B1 (en) * 2014-12-10 2022-05-18 Ricoh Company, Ltd. Controller, display, method and carrier means for information provision
JP5910903B1 (ja) * 2015-07-31 2016-04-27 パナソニックIpマネジメント株式会社 運転支援装置、運転支援システム、運転支援方法、運転支援プログラム及び自動運転車両

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007272350A (ja) * 2006-03-30 2007-10-18 Honda Motor Co Ltd 車両用運転支援装置
JP2011096064A (ja) * 2009-10-30 2011-05-12 Equos Research Co Ltd 運転アシストシステム
JP2015049059A (ja) * 2013-08-30 2015-03-16 アイシン・エィ・ダブリュ株式会社 進路案内表示システム、方法およびプログラム
JP2016045705A (ja) * 2014-08-22 2016-04-04 トヨタ自動車株式会社 車載装置、車載装置の制御方法及び車載装置の制御プログラム
WO2016152553A1 (ja) * 2015-03-26 2016-09-29 修一 田山 車輌用画像表示システム及び方法

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020064402A (ja) * 2018-10-16 2020-04-23 トヨタ自動車株式会社 表示装置
US11390293B2 (en) 2018-10-16 2022-07-19 Toyota Jidosha Kabushiki Kaisha Display device for displaying a system confidence level of an automatic drive control
JP7205154B2 (ja) 2018-10-16 2023-01-17 トヨタ自動車株式会社 表示装置
US11634150B2 (en) 2018-10-16 2023-04-25 Toyota Jidosha Kabushiki Kaisha Display device
CN111619572A (zh) * 2019-02-27 2020-09-04 操纵技术Ip控股公司 车道改变助手
WO2020196676A1 (ja) * 2019-03-26 2020-10-01 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、車両制御装置、および方法、並びにプログラム
JP2020163931A (ja) * 2019-03-28 2020-10-08 トヨタ自動車株式会社 車両用表示装置
JPWO2020230612A1 (ja) * 2019-05-15 2020-11-19
WO2020230612A1 (ja) * 2019-05-15 2020-11-19 日産自動車株式会社 表示制御方法及び表示制御装置
JP7359205B2 (ja) 2019-05-15 2023-10-11 日産自動車株式会社 表示制御方法及び表示制御装置

Also Published As

Publication number Publication date
US20190263263A1 (en) 2019-08-29
JP6591087B2 (ja) 2019-10-16
CN109844837A (zh) 2019-06-04
JPWO2018078732A1 (ja) 2019-02-14
US10933745B2 (en) 2021-03-02
DE112016007380T5 (de) 2019-07-25

Similar Documents

Publication Publication Date Title
JP6591087B2 (ja) 表示制御装置、表示装置および表示制御方法
US10293748B2 (en) Information presentation system
CN109484299B (zh) 控制增强现实显示装置的显示的方法、装置、存储介质
US9649936B2 (en) In-vehicle device, control method of in-vehicle device, and computer-readable storage medium
JP6544320B2 (ja) 自動運転車両の制御システム及び制御方法
JP4807263B2 (ja) 車両用表示装置
US11900812B2 (en) Vehicle control device
WO2020261781A1 (ja) 表示制御装置、表示制御プログラム、および持続的有形コンピュータ読み取り媒体
US20200377126A1 (en) Information output control device and information output control method
US11525694B2 (en) Superimposed-image display device and computer program
CA3071358A1 (en) Display control method and display control device
WO2019008764A1 (ja) 駐車支援方法及び駐車支援装置
US20190001886A1 (en) Method for enriching a field of view of a driver of a transportation vehicle with additional information, device for use in an observer transportation vehicle, device for use in an object, and transportation vehicle
EP3775780A1 (en) Control apparatus, display apparatus, movable body, and image display method
WO2020189238A1 (ja) 車両用表示制御装置、車両用表示制御方法、車両用表示制御プログラム
WO2019189515A1 (en) Control apparatus, display apparatus, movable body, and image display method
JP2023138849A (ja) 提示制御装置及び提示制御プログラム
JP2021149319A (ja) 表示制御装置、表示制御方法およびプログラム
JP2018045273A (ja) 表示装置
JP7302311B2 (ja) 車両用表示制御装置、車両用表示制御方法、車両用表示制御プログラム
JP7318431B2 (ja) 表示制御装置及び表示制御プログラム
JP2021006805A (ja) 表示制御装置及び表示制御プログラム
JP2020138609A (ja) 車両用表示制御装置、車両用表示制御方法、車両用表示制御プログラム
JP7484959B2 (ja) 車両用報知制御装置及び車両用報知制御方法
JP2020138610A (ja) 車両用表示制御装置、車両用表示制御方法、車両用表示制御プログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018546979

Country of ref document: JP

Kind code of ref document: A

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16920265

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 16920265

Country of ref document: EP

Kind code of ref document: A1