WO2022070820A1 - 情報処理装置、情報処理方法、プログラム、及び投影装置 - Google Patents

情報処理装置、情報処理方法、プログラム、及び投影装置 Download PDF

Info

Publication number
WO2022070820A1
WO2022070820A1 PCT/JP2021/033100 JP2021033100W WO2022070820A1 WO 2022070820 A1 WO2022070820 A1 WO 2022070820A1 JP 2021033100 W JP2021033100 W JP 2021033100W WO 2022070820 A1 WO2022070820 A1 WO 2022070820A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
line
information
projection
information processing
Prior art date
Application number
PCT/JP2021/033100
Other languages
English (en)
French (fr)
Inventor
浩二 長田
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to CN202180065451.1A priority Critical patent/CN116194974A/zh
Priority to JP2022553746A priority patent/JPWO2022070820A1/ja
Priority to KR1020237009195A priority patent/KR20230074481A/ko
Priority to EP21875122.0A priority patent/EP4224456A4/en
Priority to US18/245,913 priority patent/US20230356653A1/en
Publication of WO2022070820A1 publication Critical patent/WO2022070820A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/02Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments
    • B60Q1/24Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments for lighting other areas than only the way ahead
    • B60Q1/247Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to illuminate the way ahead or to illuminate other areas of way or environments for lighting other areas than only the way ahead for illuminating the close surroundings of the vehicle, e.g. to facilitate entry or exit
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/525Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking automatically indicating risk of collision between vehicles in traffic or with pedestrians, e.g. after risk assessment using the vehicle sensor data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/525Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking automatically indicating risk of collision between vehicles in traffic or with pedestrians, e.g. after risk assessment using the vehicle sensor data
    • B60Q1/535Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking automatically indicating risk of collision between vehicles in traffic or with pedestrians, e.g. after risk assessment using the vehicle sensor data to prevent rear-end collisions, e.g. by indicating safety distance at the rear of the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2400/00Special features or arrangements of exterior signal lamps for vehicles
    • B60Q2400/50Projected symbol or information, e.g. onto the road or car body

Definitions

  • the present technology relates to an information processing device, an information processing method, a program, and a projection device applicable to display control of a projection pattern projected from a vehicle onto a road surface.
  • Patent Document 1 describes a predictive travel locus display device that displays the predicted travel locus of a vehicle on the ground surface.
  • the predicted traveling locus of the vehicle is calculated from the steering angle of the steering wheel of the vehicle and the forward / backward information indicating the forward / backward movement of the vehicle. Then, the irradiation angle of the laser light emitter mounted on the vehicle is controlled, and the predicted traveling locus is drawn on the ground surface (paragraphs [0021] [0022] [0023] of Patent Document 1 and FIG. 7 and the like).
  • the purpose of the present technology is to provide an information processing device, an information processing method, a program, and a projection device capable of enhancing safety during operation.
  • the information processing apparatus includes an acquisition unit and a projection control unit.
  • the acquisition unit acquires surrounding environment information regarding the environment around the vehicle.
  • the projection control unit controls the display of the projection pattern projected from the projection unit mounted on the vehicle onto the road surface around the vehicle based on the surrounding environment information.
  • a projection pattern is projected onto the surrounding road surface from a projection unit provided on the vehicle.
  • the display of this projection pattern is controlled based on the surrounding environment information regarding the environment around the vehicle. As a result, for example, the situation where the vehicle is placed can be presented inside and outside the vehicle via the projection pattern, and the safety during driving can be enhanced.
  • the information processing method is an information processing method executed by a computer system, and includes acquiring peripheral environment information regarding the environment around the vehicle. Based on the surrounding environment information, the display of the projection pattern projected from the projection unit mounted on the vehicle onto the road surface around the vehicle is controlled.
  • a program causes a computer system to perform the following steps.
  • the projection device includes a projection unit, an acquisition unit, and a projection control unit.
  • the projection unit is mounted on the vehicle and projects a projection pattern on the road surface around the vehicle.
  • the acquisition unit acquires surrounding environment information regarding the environment around the vehicle.
  • the projection control unit controls the display of the projection pattern projected from the projection unit based on the surrounding environment information.
  • FIG. 1 is a schematic view showing the appearance of a vehicle equipped with a projection device according to a first embodiment of the present technology.
  • 1A is a perspective view showing a configuration example of the vehicle 1
  • FIG. 1B is a top view of the vehicle 1 from above.
  • the vehicle 1 is equipped with a projection device 100 that projects an image on the road surface around the vehicle 1.
  • the projection device 100 has a plurality of projection units 10.
  • the projection unit 10 is an element (projector) that projects an image by irradiating the road surface with light.
  • the image projected from the projection unit 10 onto the road surface around the vehicle 1 is referred to as a projection pattern.
  • FIGS. 1A and 1B eight projection portions 10a to 10h provided on the vehicle 1 are schematically illustrated.
  • the projection portions 10a to 10d and the projection portions 10e to 10h are arranged symmetrically with each other on the left side and the right side of the bottom portion of the vehicle 1.
  • the projection units 10a and 10e are arranged at the bottom of the front side of the vehicle 1 (for example, the lower part of the front bumper), and project a projection pattern in front of the vehicle 1, for example.
  • the projection portions 10b and 10f are arranged at the bottom of the front side of the front door, and the projection portions 10c and 10g are arranged at the bottom of the rear side of the rear door.
  • the projection units 10b and 10f and the projection units 10c and 10g project a projection pattern on the side of the vehicle 1, for example.
  • the projection units 10d and 10h are arranged at the bottom of the rear side of the vehicle 1 (for example, the lower part of the rear bumper), and project a projection pattern to the rear of the vehicle 1, for example.
  • each projection unit 10 is shown as protruding from the vehicle body for convenience so that the position of each projection unit 10 (projector) in the top view of the vehicle 10 can be known.
  • the projection unit 10 is housed in the lower part of the vehicle body and is installed so as not to be seen from the upper part. This makes it possible to mount the projection device 100 without spoiling the appearance of the vehicle 10.
  • each projection unit 10 may be installed so as to project from the vehicle body. This makes it possible to expand the range in which the projection pattern can be projected, for example.
  • the projection unit 10 (projection units 10a and 10e in FIG. 1) that projects a pattern in front of the vehicle 10 may be installed on the front surface of the vehicle body.
  • the projection unit 10 is provided around the headlight (upper side, lower side, left side, right side, etc. of the headlight) and around the fog lamp (upper side, lower side, left side, right side, etc. of the fog lamp). You may.
  • the projection portion 10 may be provided at the position of the front grille, the central portion of the entire vehicle body, or the like.
  • the left front and right front projection patterns may be projected from one projection unit 10.
  • the projection unit 10 (projection units 10b, 10c, 10f, and 10g in FIG. 1) that projects a pattern on the side of the vehicle 10 is the bottom of the side mirror and the lower side of the B pillar that separates the front and rear doors (vehicle). It may be provided in the center in the front-back direction of the. Further, for example, the projection unit 10 (projection units 10d and 10h in FIG. 1) that projects a pattern behind the vehicle 10 may be installed on the rear surface of the vehicle body. Specifically, the periphery of the brake lamp (upper side, lower side, left side, right side, etc. of the brake lamp), the periphery of the license plate (upper side, lower side, left side, right side, etc.
  • the projection unit 10 may be provided on the portion or the like. Further, the left rear and right rear projection patterns may be projected from one projection unit 10. In addition, the projection unit 10 may be appropriately arranged at a position where a desired projection pattern can be projected.
  • FIG. 2 is a schematic diagram showing an example of a projection pattern.
  • FIG. 3 is a schematic diagram showing an example of a scene in which a projection pattern is projected.
  • a plurality of projection modes are selected according to the situation in which the vehicle 1 operates, and the projection pattern 2 corresponding to the projection mode is projected.
  • 2A to 2D schematically show a projection pattern 2 projected in each projection mode of a normal driving mode, a low-speed driving mode, a reverse mode, and a parking mode.
  • the modes other than the parking mode are the modes in which the vehicle 1 actually travels.
  • the line pattern 3 extending in a line shape is used as the projection pattern 2. Therefore, the projection pattern 2 includes a line-shaped pattern (line pattern 3).
  • the line pattern 3 is, for example, a continuous band-shaped pattern. Alternatively, the line pattern 3 may be configured by arranging small patterns in a line shape at regular intervals.
  • the line pattern 3 includes a line-shaped first pattern projected in front of the traveling direction 4 of the vehicle 1 and a line-shaped second pattern projected in the rear of the traveling direction 4.
  • .. 2A to 2C schematically show an arrow indicating the traveling direction 4 of the vehicle 1.
  • the size of the arrow represents the speed of the vehicle 1.
  • the pattern projected forward with respect to the traveling direction 4 is the first pattern, and the pattern projected backward is the second pattern.
  • a third pattern (center line 3b described later) projected on the road surface around the central portion of the vehicle 1 (road surface extending from the lower side to the side of the vehicle 1) is used.
  • the predicted locus 5 that the vehicle 1 is predicted to pass through and the passing locus 6 through which the vehicle 1 passes are calculated, respectively.
  • the predicted locus 5 and the passing locus 6 are represented using the first pattern and the second pattern. That is, the first pattern is generated as a line pattern 3 representing the predicted locus 5 of the vehicle 1, and the second pattern is generated as the line pattern 3 representing the passing locus of the vehicle 1.
  • FIG. 2A shows an example of the projection pattern 2 projected in the normal driving mode.
  • the upper and lower views of FIG. 2A are schematic views of the vehicle 1 as viewed from the side and above.
  • the normal driving mode is, for example, a projection mode selected when the vehicle 1 is driving normally forward without slowing down.
  • the normal driving mode is selected, for example, when the vehicle 1 travels at a speed faster than a typical slow speed (eg, less than 10 km / h). Therefore, the normal driving mode is usually used when driving forward in the driving lane instead of driving that requires slow driving such as a stop operation, a right turn operation, a left turn operation, or a parking operation.
  • each line 3a to 3c is configured as a pair of line patterns 3 projected on the left side and the right side of the vehicle 1.
  • the front line 3a is a line pattern 3 projected on the road surface in front of the vehicle 1.
  • the left and right front lines 3a are projected from, for example, the projection units 10a and 10e shown in FIG.
  • the central line 3b is a line pattern 3 projected from below the vehicle 1 onto the side road surface.
  • the left center line 3b is projected, for example, from projections 10b and 10c, and the right center line 3b is projected, for example, from projections 10f and 10g.
  • the rear line 3c is a line pattern 3 projected on the road surface behind the vehicle 1.
  • the left and right rear lines 3c are projected from, for example, projection units 10d and 10h.
  • the correspondence between the lines 3a to 3c and the projection unit 10 is not limited to the above example, and for example, one line pattern 3 can be projected using two projection units 10.
  • the line pattern 3 shown in FIG. 2A is projected while the vehicle 1 is traveling forward. Therefore, in the normal driving mode, the front line 3a becomes a line-shaped first pattern projected forward in the traveling direction of the vehicle 1, and is generated as a line pattern 3 representing the predicted locus 5 of the vehicle 1. Specifically, the line shape of the front line 3a is set so as to represent the predicted locus 5 of the front tire of the vehicle 1. Further, in the normal driving mode, the rear line 3c becomes a line-shaped second pattern projected rearward in the traveling direction of the vehicle 1, and is generated as a line pattern 3 representing the passing locus 6 of the vehicle 1. Specifically, the line shape of the rear line 3c is set so as to represent the passing locus 6 of the rear tire of the vehicle 1. Further, in the normal driving mode, the central line 3b (third pattern) is used as a line-shaped illumination that illuminates both sides of the central portion of the vehicle 1.
  • FIG. 3A schematically illustrates a scene to which the normal driving mode is applied.
  • a front line 3a representing a predicted locus 5, a rear line 3c representing a passing locus 6, and a central line 3b serving as line-shaped lighting are used.
  • a central line 3b serving as line-shaped lighting.
  • a line pattern 3 representing a predicted locus 5, a passing locus 6, and the like is projected around the vehicle 1.
  • FIG. 2B shows an example of the projection pattern 2 projected in the low speed driving mode.
  • the upper and lower views of FIG. 2B are schematic views of the vehicle 1 as viewed from the side and above.
  • the low-speed driving mode is, for example, a projection mode selected when the vehicle 1 is driving forward while driving slowly. Therefore, the low-speed driving mode is used for driving that requires slow driving, such as a stop operation, a right turn operation, a left turn operation, or a parking operation.
  • the projection pattern 2 three types of line patterns 3 of the front line 3a, the center line 3b, and the rear line 3c are projected as the projection pattern 2, as in the normal driving mode described above.
  • the line pattern 3 shown in FIG. 2B is projected while the vehicle 1 is traveling forward, as in FIG. 2A. Therefore, in the low-speed driving mode, the front line 3a becomes a line-shaped first pattern projected forward in the traveling direction of the vehicle 1, and is generated as a line pattern 3 representing the predicted locus 5 of the vehicle 1. Specifically, the line shape of the front line 3a is set so as to represent the predicted locus 5 of the front tire of the vehicle 1. Further, in the low-speed driving mode, the rear line 3c becomes a line-shaped second pattern projected rearward in the traveling direction of the vehicle 1, and is generated as a line pattern 3 representing the passing locus 6 of the vehicle 1. Specifically, the line shape of the rear line 3c is set so as to represent the passing locus 6 of the rear tire of the vehicle 1.
  • the central line 3b (third pattern) is generated as a line pattern 3 representing the predicted locus 5 of the vehicle 1.
  • the central line 3b is set so that the line shape represents the predicted locus 5 of the rear tire of the vehicle 1. This makes it possible to clearly indicate to pedestrians and the like the locus that the rear tire is expected to pass when the vehicle 1 slowly moves forward. This makes it possible to suppress the risk of getting caught when turning left or right.
  • FIG. 3B schematically shows a state of driving of the vehicle 1a in the parking lot as an example of a scene in which the low-speed driving mode is applied.
  • the vehicle 1a is moving forward from the parking space on the right side in the figure so as to leave the garage.
  • a front line 3a representing the predicted locus 5 of the front tire
  • a center line 3b representing the predicted locus 5 of the rear tire are projected on the road surface around the vehicle 1a, respectively.
  • the rear line 3c showing the passing locus 6 of the rear tire of the vehicle 1a is not shown.
  • the front line 3a may be set to represent the vehicle width of the vehicle 1.
  • the distance between the right and left lines is set to the maximum width of the vehicle body of the vehicle 1. This makes it possible to encourage steering wheel operation and the like with an awareness of the vehicle width.
  • FIG. 2C shows an example of the projection pattern 2 projected in the reverse mode.
  • the reverse mode is a projection mode selected when the vehicle 1 is traveling backward (backward traveling).
  • the reverse mode is used, for example, when parking in the reverse direction in a parking operation or the like.
  • the reverse mode as the projection pattern 2, three types of line patterns 3 of the front line 3a, the center line 3b, and the rear line 3c are projected, as in each of the driving modes described above.
  • the line pattern 3 shown in FIG. 2C is projected while the vehicle 1 is traveling in reverse. Therefore, in the reverse mode, the front line 3a becomes a line-shaped second pattern projected to the rear in the traveling direction of the vehicle 1. In this case, the front line 3a is generated as a line pattern 3 representing the passing locus 6 of the vehicle 1. Specifically, the line shape of the front line 3a is set so as to represent the passing locus 6 of the front tire of the vehicle 1. Further, in the reverse mode, the rear line 3c becomes the first line-shaped pattern projected forward in the traveling direction of the vehicle 1. In this case, the rear line 3c is generated as a line pattern 3 representing the predicted locus 5 of the vehicle 1. Specifically, the line shape of the rear line 3c is set so as to represent the predicted locus 5 of the rear tire of the vehicle 1.
  • the central line 3b (third pattern) is generated as a line pattern 3 representing the predicted locus 5 of the vehicle 1.
  • the central line 3b is set so that the line shape represents the predicted locus 5 of the front tire of the vehicle 1. This makes it possible to clearly indicate to pedestrians and the like the locus that the front tires are expected to pass when the vehicle 1 moves backward. This makes it possible to suppress the risk of getting caught in the parking lot.
  • FIG. 3B schematically shows a state of driving of the vehicle 1b in the parking lot as an example of a scene to which the reverse mode is applied.
  • the vehicle 1b is moving backward to park in the parking space on the left side in the figure.
  • a rear line 3c representing the predicted locus 5 of the rear tire and a center line 3b representing the predicted locus 5 of the front tire are projected on the road surface around the vehicle 1b, respectively.
  • the front line 3a showing the passing locus 6 of the front tire of the vehicle 1b is not shown.
  • the rear line 3c may be set to represent the vehicle width of the vehicle 1. This makes it possible to perform a back operation or the like while checking the vehicle width.
  • FIG. 2D shows an example of the projection pattern 2 projected in the parking mode.
  • the parking mode is a projection mode selected when the shift position of the vehicle 1 is parking ("P"), that is, when the vehicle 1 is in the stopped state.
  • the above-mentioned line pattern 3 is not displayed, and a lighting pattern (hereinafter referred to as a stop pattern 7) that surrounds the entire circumference of the vehicle 1 is projected as the projection pattern 2.
  • the front lighting 7a, the side lighting 7b, and the rear lighting 7c are used as the stop pattern 7.
  • Each of the lights 7a to 7c is a gradation pattern in which the color becomes lighter as the distance from the vehicle 1 increases.
  • the design of the stop pattern 7 is not limited.
  • the projection pattern 2 includes a stop pattern 7 different from the line pattern 3.
  • the stop pattern 7 is an example of another pattern.
  • the projection mode is not limited to the above-mentioned projection mode, and other modes may be set. For example, a Welcome light mode that displays a predetermined lighting pattern when the driver unlocks the vehicle 1, opens the door, starts the engine, or the like may be set.
  • FIG. 4 is a block diagram showing a configuration example of the projection device 100 according to the first embodiment.
  • the projection device 100 includes the projection unit 10, the vehicle information sensor unit 11, the driver monitoring camera 12, the surrounding environment sensor unit 13, the storage unit 15, and the controller 20.
  • the projection unit 10 is an element that irradiates light to project the projection pattern 2, and is configured to be able to change the shape, color, and the like of the projection pattern 2.
  • a projector that emits a laser beam as irradiation light is used as the projection unit 10.
  • the laser beam By using the laser beam, it is possible to display the projection pattern 2 having high brightness over a long distance.
  • an LED light source, a lamp light source, or the like may be used.
  • the method of modulating the irradiation light is not limited, and for example, a transmissive liquid crystal panel, a light modulation element using a MEMS (Micro Electro Mechanical Systems), or the like is used. Further, by combining a phase modulation element or the like using a reflective liquid crystal panel or the like, it is possible to perform projection such that light is concentrated in a predetermined range. This makes it possible to significantly improve the brightness of the projection pattern 2.
  • the specific configuration of the projection unit 10 is not limited, and for example, a projection light capable of modulating the irradiation light, a laser light source, or the like may be used.
  • the vehicle information sensor unit 11 has a sensor that detects information regarding the state of each unit of the vehicle 1. Specifically, a steering angle sensor for detecting the steering angle of the handle, a speed sensor for detecting the traveling speed of the vehicle 1, and an acceleration sensor for detecting the acceleration applied to the vehicle 1 are provided. Further, the vehicle information sensor unit 11 has an accelerator opening sensor for detecting the opening degree of the accelerator and a brake opening degree sensor for detecting the opening degree of the brake (brake strength). Further, the vehicle information sensor unit 11 has an accelerator pedal pressure sensor that detects the pressure of depression on the accelerator pedal (the operating force of the accelerator), and a brake pedal pressure sensor that detects the pressure of depression on the brake pedal (the operating force of the brake). Have. These pressure sensors may be sensors that detect the total pressure value applied to the pedal, or may be sensors that detect the pressure distribution.
  • the vehicle information sensor unit 11 has a shift position sensor that detects the position (shift position) of the shift lever, and a side brake sensor that detects the on / off of the side brake.
  • a shift position sensor that detects the position (shift position) of the shift lever
  • a side brake sensor that detects the on / off of the side brake.
  • an ignition sensor that detects the on / off of the ignition switch
  • a winker sensor that detects the on / off of the winker (direction indicator)
  • a hazard sensor that detects the on / off of the hazard lamp, the on / off of the headlight, and the high beam.
  • a light sensor or the like for detecting the switching of / low beam (passing) may be provided.
  • any sensor that detects information about the vehicle 1 may be used as the vehicle information sensor unit 11.
  • the driver monitoring camera 12 is a camera that photographs the driver of the vehicle 1, and is provided inside the vehicle 1 so that the driver can be photographed from the front, for example.
  • the driver surveillance camera 12 for example, a digital camera equipped with an image pickup element such as CMOS or CCD is used.
  • the image taken by the driver surveillance camera 12 is used as data for detecting the line-of-sight direction of the driver.
  • the surrounding environment sensor unit 13 has a sensor that detects the state of the surrounding environment of the vehicle 1.
  • the peripheral environment sensor unit 13 is provided with an object detection sensor for detecting an object around the vehicle 1.
  • an object detection sensor for example, a camera that photographs the periphery of the vehicle 1 is used.
  • a front camera, a rear camera, a left camera, and a right camera installed on the front, rear, left side, and right side of the vehicle 1 are used.
  • the cameras installed on the front, back, left, and right capture the scenery of the vehicle traveling around the vehicle 1.
  • an all-around camera or the like capable of photographing the entire circumference of the vehicle 1 using a fisheye lens or the like may be used.
  • the object detection sensor a radar sensor, an ultrasonic sensor, a LiDAR sensor or the like that detects front / rear / left / right may be used. With these sensors, the position of an object around the vehicle 1 and the like are detected.
  • the type of the object detection sensor is not limited, and for example, a camera and another ranging sensor may be used in combination.
  • the storage unit 15 is a non-volatile storage device.
  • a recording medium using a solid-state element such as an SSD (Solid State Drive) or a magnetic recording medium such as an HDD (Hard Disk Drive) is used.
  • the type of recording medium used as the storage unit 15 is not limited, and for example, any recording medium for recording data non-temporarily may be used.
  • the storage unit 15 stores a control program for controlling the overall operation of the projection device 100.
  • the control program corresponds to the program according to the present embodiment.
  • the storage unit 15 functions as a recording medium that can be read by a computer in which the program is recorded.
  • the storage unit 15 stores data for designating the shape, color, and the like of the projection pattern 2.
  • the type of data stored in the storage unit 15 is not limited, and arbitrary data necessary for the operation of the projection device 100 may be stored.
  • the controller 20 controls the operation of each block of the projection device 100.
  • the controller 20 has a hardware configuration necessary for a computer such as a CPU and a memory (RAM, ROM). Various processes are executed by the CPU loading the control program stored in the storage unit 15 into the RAM and executing the control program.
  • the controller 20 functions as an information processing device according to the present embodiment.
  • controller 20 for example, a device such as a PLD (Programmable Logic Device) such as an FPGA (Field Programmable Gate Array) or another device such as an ASIC (Application Specific Integrated Circuit) may be used. Further, for example, a processor such as a GPU (Graphics Processing Unit) may be used as the controller 20.
  • a PLD Programmable Logic Device
  • FPGA Field Programmable Gate Array
  • ASIC Application Specific Integrated Circuit
  • a processor such as a GPU (Graphics Processing Unit) may be used as the controller 20.
  • the CPU of the controller 20 executes the program according to the present embodiment, and as functional blocks, the vehicle information acquisition unit 21, the trajectory calculation unit 22, the projection image determination unit 23, the video data generation unit 24, and the line of sight.
  • the detection unit 25 and the surrounding environment recognition unit 26 are realized.
  • the information processing method according to the present embodiment is executed by these functional blocks.
  • dedicated hardware such as an IC (integrated circuit) may be appropriately used.
  • these functional blocks may be realized by another computer or the like capable of communicating with the controller 20.
  • the vehicle information acquisition unit 21 acquires information (vehicle information) about the vehicle 1 detected by each sensor of the vehicle information sensor unit 11.
  • vehicle information acquisition unit 21 acquires speed-related information regarding the speed of the vehicle 1.
  • the speed-related information includes information indicating acceleration / deceleration that changes with the speed and speed of the vehicle 1, and information related to operations (accelerator operation / brake operation) that change their physical quantities.
  • speed information representing the speed of the vehicle 1 and acceleration information representing the acceleration of the vehicle 1 are acquired.
  • the detection results of the speed sensor and the acceleration sensor are read as speed information and acceleration information.
  • accelerator information and brake information are acquired as speed-related information.
  • the accelerator information includes the opening degree of the accelerator and the pressure of depressing the accelerator pedal (accelerator operating force).
  • Brake information includes the opening degree of the brake and the pressure of depressing the brake pedal (brake operating force).
  • the detection results of the accelerator opening sensor and the accelerator pedal pressure sensor are read as the accelerator opening and the operating force.
  • the detection results of the brake opening sensor and the brake pedal pressure sensor are read as the opening of the brake and the operating force.
  • the vehicle information acquisition unit 21 acquires the traveling state information regarding the traveling state of the vehicle 1.
  • the running state information shift lever information and side brake information are acquired.
  • the shift lever information includes information indicating the state of the shift position of the vehicle 1.
  • the side brake information includes information indicating the state of the side brake of the vehicle 1.
  • the detection results of the shift position sensor and the side brake sensor are read as shift lever information and side brake information.
  • the vehicle information acquisition unit 21 acquires steering angle information indicating the steering angle of the steering wheel.
  • the detection result of the steering angle sensor is read as steering angle information.
  • the vehicle information acquisition unit 21 acquires winker information (direction indicator information) related to the operation of the winker.
  • the winker information is information indicating on / off of the right and left indicator.
  • the detection results of each sensor constituting the vehicle information sensor unit 11 are appropriately acquired.
  • the locus calculation unit 22 calculates the predicted locus 5 and the passing locus 6 (see FIGS. 2 and 3) of the vehicle 1.
  • the locus calculation unit 22 estimates the predicted locus 5 that the vehicle 1 is predicted to pass based on the steering angle information, the speed information, and the acceleration information of the vehicle 1.
  • the locus of the front tire (or the rear tire) predicted when the vehicle 1 advances at the current steering angle, speed, and acceleration is estimated.
  • correction may be appropriately performed according to the centrifugal force, the grip force of the tire, and the like.
  • the locus of the center of the vehicle 1 may be estimated.
  • the method of estimating the predicted locus 5 is not limited, and for example, a technique such as a locus prediction process used in automatic driving or the like can be applied.
  • the passing locus 6 through which the vehicle 1 has passed is calculated.
  • the passing locus 6 of the front tire (or the rear tire) is calculated from the records of the steering angle, speed, and acceleration of the vehicle 1.
  • a technique such as dead reckoning can be used.
  • GPS positioning, WiFi positioning, or the like may be used.
  • the method of estimating the passing locus 6 is not limited, and for example, any processing that can reproduce the locus of the vehicle 1 may be used.
  • the locus calculation unit 22 functions as a prediction locus calculation unit and a passing locus calculation unit.
  • the projection image determination unit 23 determines the display contents and display parameters of the projection pattern 2, and outputs the data of the projection pattern 2. This process is a process of controlling the display of the projection pattern 2.
  • the process of controlling the display of the projection pattern 2 is, for example, the process of setting the display parameters of the projection pattern 2. Typically, parameters such as color, width, length, and blinking of the line pattern 3 (see FIGS. 2A to 2C) are set.
  • the projection image determination unit 23 controls the display of the projection pattern 2 projected from the projection unit 10 mounted on the vehicle 1 onto the road surface around the vehicle 1 based on the surrounding environment information.
  • the surrounding environment information is information acquired by the surrounding environment recognition unit 26, which will be described later, based on the output of the peripheral environment sensor unit 13, and is information representing the conditions of surrounding roads and other vehicles.
  • the first and second patterns include a pair of lines projected on the left side and the right side of the vehicle.
  • the projection image determination unit 23 displays the target line projected on the target lane side of the first pattern (front line 3a) to which the lane of the vehicle 1 is changed, based on the surrounding environment information. Is controlled.
  • the lane change is a driving operation of moving from a running lane to an adjacent lane across a boundary line dividing a lane.
  • the lane change includes a driving operation for changing lanes while traveling in a plurality of lanes, a driving operation for entering the merging destination lane in the merging lane, a driving operation for entering the shoulder, and the like.
  • the lane to which such a driving operation is moved is the target lane.
  • the display parameter of the target line projected on the side of the front line 3a closer to the target lane is controlled by using information (peripheral environment information) of the vehicle traveling around the vehicle 1. ..
  • the contents of the surrounding environment information and the display control of the target line will be described in detail later.
  • the projection image determination unit 23 controls the shape of the line pattern 3 so as to represent the locus (predicted locus 5 and passing locus 6) of the vehicle 1 calculated by the locus calculation unit 22. Specifically, the projection image determination unit 23 generates a first pattern representing the predicted locus 5. That is, the shape of the front line 3a is set to the shape along the predicted locus 5. Further, the projected image determination unit 23 generates a second pattern representing the passing locus 6. That is, the shape of the rear line 3c is set to the shape along the passing locus 6. Further, the distance between the left side line and the right side line in the front line 3a (or the rear line 3c) may be set to represent the width of the vehicle. In the present embodiment, the projection image determination unit 23 corresponds to the projection control unit.
  • the video data generation unit 24 generates video data to be output to each projection unit 10 based on the data of the projection pattern 2 output from the projection image determination unit 23. For example, a frame image showing the shape of the projection pattern 2 when viewed from above the vehicle 1 is generated. For this frame image, a process of correcting distortion, brightness bias, etc. due to projection is executed according to the projection angle of each projection unit 10. A series of frame images in which distortion and the like are corrected in this way becomes video data. In addition, arbitrary image processing or the like for properly projecting the projection pattern 2 may be executed.
  • the line-of-sight detection unit 25 detects the driver's line-of-sight direction based on the image of the driver taken by the driver monitoring camera 12.
  • the method of detecting the line-of-sight direction is not limited, and for example, a pupil method for detecting the line of sight from the direction of the driver's pupil (black eye) is used. In addition, any method that can detect the line-of-sight direction using the image of the driver may be used. Further, instead of the line-of-sight direction, the direction of the driver's face or the like may be detected. In this case, the angle at which the driver rotates his face to the left and right is detected.
  • the line-of-sight detection unit 25 outputs line-of-sight information indicating the driver's line-of-sight direction or face direction information indicating the driver's face direction to the projection image determination unit 23.
  • FIG. 5 is a block diagram showing a configuration example of the surrounding environment recognition unit 26.
  • the surrounding environment recognition unit 26 executes recognition processing regarding the surrounding environment of the vehicle 1 based on the output of the peripheral environment sensor unit 13. Then, an object (pedestrian, other vehicle, curb, etc.) existing around the vehicle 1 is detected, and various information (peripheral environment information) regarding the surrounding environment is calculated. That is, the surrounding environment recognition unit 26 calculates and acquires the surrounding environment information regarding the environment around the vehicle.
  • the surrounding environment recognition unit 26 corresponds to the acquisition unit.
  • the surrounding environment recognition unit 26 includes an object detection unit 30, a relative velocity calculation unit 31, a lane detection unit 32, and a space recognition unit 33.
  • the object detection unit 30 detects an object around the vehicle 1 based on the detection result of the surrounding environment sensor unit 13.
  • a learning device that executes image recognition processing using, for example, machine learning is used.
  • image recognition processing using, for example, machine learning
  • a camera is provided as the peripheral environment sensor unit 13
  • an image taken by the camera is input to the object detection unit 30.
  • the object in the input image is detected and its attribute is specified by using the reference information generated in advance by learning.
  • the reference information is, for example, dictionary information stored in association with the type and feature of the object.
  • a DNN Deep Neural Network
  • the recognition model information or the like is used as the reference information.
  • an object around the vehicle 1 is detected, and the attributes of the object such as a car (for example, a vehicle type such as a large vehicle such as a passenger car, a truck, and a bus), a motorcycle, a bicycle, and a person are specified.
  • a serial number ID is assigned to each of the detected objects.
  • the position in the image is specified for each detected object.
  • the distance (relative distance) from the position in the image to the object may be calculated.
  • the object detection unit 30 outputs ID information, attribute information, distance information, and position information for each object.
  • the relative velocity calculation unit 31 calculates the relative velocity of the object with respect to the vehicle 1 based on the information about the object output from the object detection unit 30. For example, for each object, the change in distance per unit time is calculated, and the relative speed with respect to the own vehicle (vehicle 1) is calculated from the change in distance.
  • the relative velocity calculation unit 31 outputs ID information, attribute information, distance information, position information, and velocity information for each object.
  • the lane detection unit 32 detects a lane (lane) on the road on which the vehicle 1 travels. For example, a process of recognizing a white line (a boundary line that separates a lane of a road) or a process of detecting a curb from an image of a road taken by cameras provided on the front, rear, left, and right of the vehicle 1 by using an edge detection process or the like. Is executed.
  • the area between the white line and the curb is detected as a traveling lane in which the vehicle 1 travels.
  • an adjacent lane adjacent to the traveling lane 40, a road shoulder region, or the like may be detected.
  • Information indicating a lane area is output from the lane detection unit 32.
  • the space recognition unit 33 recognizes the situation of the surrounding space of the vehicle 1 based on the detection results of the object detection unit 30 and the lane detection unit 32. Specifically, the adjacent lane is specified from the travel lane information and the like output from the lane detection unit 32. Further, information such as the position and size of other vehicles running on the adjacent lane is extracted from the output of the object detection unit 30. Then, the position and size of the empty space are calculated using the extracted information.
  • the empty space is, for example, a space in which no other vehicle exists. Further, using the information on the position and size of the empty space, it is determined whether or not there is a space in which the own vehicle 1 can change the lane (that is, a movable space in which the vehicle 1 can enter in the target lane).
  • This determination result is output as information on the presence or absence of movable space. Further, it is determined whether or not there is a traveling lane of the own vehicle 1 and an object (typically another vehicle) in the lane next to or next to the traveling lane, and the information of the object in each lane is calculated as the lane status information.
  • the space recognition unit 33 outputs vacant space information (position / size), information indicating the presence / absence of movable space, and lane status information.
  • the outputs of the relative speed calculation unit 31 and the space recognition unit 33 are the final outputs of the surrounding environment recognition unit 26. Therefore, the peripheral environment recognition unit 26 outputs information regarding ID information, attribute information, distance information (relative distance), position information, and velocity information (relative velocity) about the object. Further, free space information, information indicating movable space, and lane status information are output. All of these information correspond to surrounding environment information.
  • the relative velocity calculation unit 31 calculates the relative velocity of the detected object.
  • the output of the surrounding environment recognition unit 26 is the ID information, the distance information, the position information, and the velocity information of the object.
  • FIG. 6 is a flowchart showing a basic operation example of the projection device 100.
  • the process shown in FIG. 6 is, for example, a loop process that is repeatedly executed during the operation of the projection device 100.
  • the vehicle 1 is traveling forward and the normal driving mode (or low-speed driving mode) is selected as the projection mode of the projection pattern 2.
  • the vehicle information acquisition unit 21 acquires speed-related information (step 101). Specifically, from the sensors provided in each part of the vehicle 1, speed information, acceleration information, accelerator information (accelerator opening / operating force), and brake information (brake opening / operating force) are used as speed-related information. ) Is read. At this time, running state information (shift lever information, side brake information), steering angle information, and the like are also read.
  • the locus calculation unit 22 calculates the locus of the vehicle 1 (predicted locus 5 and passing locus 6) (step 102).
  • the projection mode normal driving mode, low-speed driving mode
  • the predicted locus 5 of the front tire of the vehicle 1 and the passage of the rear tire are selected.
  • the locus 6 is calculated.
  • the surrounding environment recognition unit 26 executes various processes for recognizing the surrounding environment, and calculates the surrounding environment information (step 103).
  • traffic condition information representing the traffic condition around the vehicle 1 including the target lane for which the lane of the vehicle 1 is changed is calculated.
  • the traffic condition information includes information indicating the empty space of the target lane. This is the above-mentioned free space information and information indicating the movable space.
  • the traffic condition information includes arrangement information of other vehicles traveling around the vehicle 1. This is, for example, distance information, position information, and lane status information of an object determined to be a vehicle based on attribute information.
  • the traffic condition information includes information on the relative speed of another vehicle with respect to the vehicle 1. This is, for example, speed information of an object determined to be a car. When the attribute information is not detected, the position information and the velocity information of the object are simply detected.
  • FIG. 7 is a schematic diagram showing a state in front of the vehicle 1 when changing lanes.
  • the traveling lane 40a in which the vehicle 1 is traveling joins the adjacent lane 40b on the right side of the traveling lane 40a. Therefore, in front of the vehicle 1, the traveling lane 40a is gradually narrowed, and the driver needs to change (merge) to the adjacent lane 40b on the right side before the traveling lane 40a disappears.
  • the object detection unit 30 detects another vehicle 50 traveling in the adjacent lane 40.
  • the truck traveling on the right front of the vehicle 1 is detected as the other vehicle 50.
  • another vehicle 50 (not shown) on the side or rear of the vehicle 1 can also be detected.
  • the position information, the distance information, and the like regarding each of the other vehicles 50 are calculated.
  • the relative speed calculation unit 31 calculates the relative speed (speed information) with respect to the vehicle 1 from the movement amount of the other vehicle 50 and the like.
  • the lane detection unit 32 detects the boundary line 51 (solid line on the left side and dotted line on the right side) that divides the lanes, and calculates information representing the region of the traveling lane 40a. Further, the space recognition unit 33 detects the adjacent lane 40b adjacent to the region of the traveling lane 40a, and the position of the empty space 52 (the shaded area in the figure) based on the position information of the other vehicle 50 in the adjacent lane 40b. And the size is calculated. Further, the space recognition unit 33 determines whether or not there is a sufficiently large empty space 52 at a position where the vehicle 1 can move. In the example shown in FIG.
  • the space recognition unit 33 calculates lane status information indicating information (spatial arrangement, etc.) of another vehicle 50 in the adjacent lane 40b.
  • the projection image determination unit 23 detects the preliminary operation for changing the lane (step 104).
  • the preliminary operation for changing the lane is, for example, an operation performed immediately before the driver changes the lane, and is an operation for moving the line of sight or the head in order to visually recognize the side for changing the lane (right side in FIG. 7).
  • the line-of-sight detection unit 25 shown in FIG. 4 constantly monitors the line-of-sight direction or the direction of the face of the driver.
  • the projection image determination unit 23 tracks the driver's line-of-sight movement based on the detection result of the line-of-sight detection unit 25, and confirms the left side or the right side through the side mirror or directly visually (preliminary operation for changing the lane). The presence or absence of is detected.
  • information indicating the confirmation direction (left side and left side) visually confirmed by the driver is calculated at the same time.
  • step 105 it is determined whether or not the preliminary operation for changing the lane is detected. For example, when the preliminary operation is not detected (No in step 105), the projection image determination unit 23 executes a normal display process for the projection pattern 2 (step 106).
  • the normal display process is, for example, a display process used when the lane is not changed. In this process, the left and right lines constituting the front line 3a and the rear line 3c are set to the same display parameters (color, width, length, blinking).
  • the lane change display process is a display process used when a lane change is performed. Specifically, among the front lines 3a (first pattern), the display parameter of the target line projected on the target lane side to be changed is according to the above-mentioned traffic condition information (surrounding environment information). Set. In the example shown in FIG. 7, the adjacent lane 40b on the right side of the traveling lane 40a is the target lane 41. Further, of the front lines 3a, the line on the right side close to the target lane 41 is the target line 53. As described above, in the present embodiment, it is determined whether or not to execute the display control of the target line 53 based on the change in the line-of-sight direction.
  • the method of detecting the preliminary operation is not limited. For example, a winker operation performed at a certain speed or higher may be detected as a preliminary operation. Further, both the change in the line-of-sight direction and the winker operation may be detected as preliminary movements. For example, if the winker operation is not detected within a certain period of time after the change in the line-of-sight direction is detected, the lane change display process may be switched to the normal display process. As a result, a situation in which the front line 3a is unnecessarily changed is avoided.
  • the change risk due to the lane change of the vehicle 1 is estimated based on the traffic condition information.
  • the change risk is a parameter indicating the possibility of contact, collision, or the like with another vehicle 50, for example, when the vehicle 1 changes lanes.
  • the change risk is set low.
  • the smaller the movable space or the farther the movable space is the higher the change risk is set.
  • the setting is higher than when the movable space exists.
  • the change risk is set higher as the distance from the other vehicle 50 is shorter.
  • the higher the relative speed with the other vehicle 50 existing behind the higher the change risk is set.
  • the larger the relative speed with the other vehicle 50 existing in front the lower the change risk is set.
  • the setting is higher than when the other vehicle 50 is present only in the rear or the front.
  • the change risk for example, the total value calculated for each item is used.
  • a cost map or the like may be generated from the arrangement or relative speed of the other vehicle 50, and the value of the cost in the movable space may be estimated as the change risk.
  • information such as a winker of another vehicle 50, information on movement prediction, and the like may be used.
  • the change risk may be estimated according to the situation of the lane or the like adjacent to the back side of the target lane 41 when viewed from the vehicle 1.
  • the method for estimating the change risk is not limited, and for example, any method capable of estimating the possibility of contact or collision with another vehicle 50 may be used.
  • the projection image determination unit 23 executes a process of controlling the color or blinking of the target line 53 based on the change risk. Specifically, the color corresponding to the change risk is set as the color of the target line 53. Alternatively, when the change risk exceeds a certain value, an instruction to blink the target line 53 is output. In this case, the blinking speed and the like may be set according to the change risk. As a result, it becomes possible to sufficiently support the driving operation of lane change, and it becomes possible to greatly improve the safety of lane change.
  • FIG. 8 is a schematic diagram showing an example of the front line 3a projected when the lane is changed.
  • the front line 3a shown in FIGS. 8A to 8C is projected when the preliminary operation for changing the lane is detected.
  • the line projected on the right side (upper side in the figure) of the vehicle 1 is the target line 53.
  • FIG. 8A is a forward line 3a projected when the lane change is safe.
  • the color of the target line 53 is set to, for example, green.
  • the line on the opposite side of the target line 53 (the line on the left side of the vehicle 1) is set to, for example, a color (white or the like) used in normal display processing. This also applies to FIGS. 8B and 8C.
  • FIG. 8B is a front line 3a projected when attention needs to be paid to the lane change.
  • the color of the target line 53 is set to, for example, orange (orange).
  • FIG. 8C is a front line 3a projected when a lane change is dangerous. In this case, the color of the target line 53 is set to, for example, red.
  • the safety level (safety, caution, danger, etc.) of the lane change is determined, for example, by executing the above-mentioned threshold processing for the change risk. For example, if the change risk is 0% to 30% of the maximum value, the safety level is determined to be "safe”, and if the change risk is 30% to 70%, the safety level is determined to be "caution”. If the change risk is 70% to 100%, the safety level is judged to be "dangerous".
  • the range for determining the change risk can be set arbitrarily.
  • the change risk is determined by dividing it into a plurality of levels, and the target line 53 is set to a different color for each determined level. This allows the driver to easily recognize the safety level of the lane change while looking ahead. Further, in addition to the control of changing the color of the target line 53, blinking or the like may be controlled. In this case, when the change risk exceeds a certain value, a process such as blinking the target line 53 is executed. This makes it possible to reliably inform the driver of the safety level of the lane change. In addition, processing such as changing the width or length of the target line 53 may be performed according to the change risk.
  • the display of the center line 3b and the rear line 3c may be controlled. Specifically, the display of the center line 3b and the rear line 3c projected on the same side as the target line 53, that is, the target lane 41 side of the lane change is controlled. For example, when the preliminary operation for changing the lane is detected, the line on the target lane 41 side of the center line 3b and the rear line 3c is blinking in orange. This functions as a sign similar to, for example, a direction instruction by a winker, and it is possible to inform the other vehicle 50 that the vehicle 1 is changing lanes. In addition, control may be executed to change the colors of the center line 3b and the rear line 3c according to the change risk.
  • the video data generation unit 24 outputs the data to each projection unit 10 based on the data of the line pattern 3 (front line 3a and rear line 3c).
  • Video data is generated (step 108). For example, a frame image representing the line pattern 3 is generated. Video data is generated by executing correction processing for this frame image according to the projection angle of the projection unit 10. The generated video data is output to each projection unit 10. Then, each projection unit 10 provided on the vehicle 1 projects the corresponding line pattern 3 based on the video data (step 109). For example, the projection units 10a and 10e shown in FIG. 1 project the front line 3a, the projection units 10b, 10c, 10f, and 10g project the center line 3b, and the projection units 10d and 10h project the rear line 3c.
  • FIG. 9 is a schematic diagram showing an example of lane change in the merging lane.
  • 9A to 9D show the process of changing the lane for the vehicle 1 to join the main line in order from the approach lane connected to the main line in four stages.
  • the dotted line in the figure represents, for example, the range where the headlight of the vehicle 1 is illuminated.
  • the vehicle 1 traveling in the approach lane (traveling lane 40a) is approaching the confluence section where the approach lane and the main line are connected.
  • the main line is a two-lane road, and here, the lane on the left side of the main line (adjacent lane 40b) is the target lane 41 for which the lane is changed.
  • the projection pattern 2 of the vehicle 1 is a pattern set by the normal display process. For example, the front line 3a is set to white, the center line 3b is set to blue, and the rear line 3c is set to red.
  • the preliminary operation for changing the lane is detected, and the lane change display process is started.
  • the adjacent lane 40b is set as the target lane 41 from the direction in which the driver turns his / her line of sight or the direction instructed by the winker.
  • another vehicle 50a traveling on the right front side of the vehicle 1 and another vehicle 50b traveling on the right rear side are detected.
  • the target line 53 is set to orange (see FIG. 8B).
  • the line on the opposite side of the target line 53 of the front line 3a is set to a normal display color (white). Further, since the lane change display process has started, the center line 3b and the rear line 3c are also changed to orange.
  • the other vehicle 50b which had been rear right until then, is traveling on the side of the vehicle 1. Therefore, there is a high possibility that the vehicle 1 will collide when the lane is changed. Therefore, the change risk is determined to be a dangerous level. Therefore, the target line 53 is set to red (see FIG. 8C). In this way, since the red target line 53 is projected on the side where the lane is changed, the driver can recognize that the lane change is dangerous while keeping the line of sight forward.
  • FIG. 9D another vehicle 50b, which had been on the side until then, overtakes vehicle 1 and is traveling in front of the right. Further, another vehicle 50c is detected behind the other vehicle 50b.
  • the target line 53 is set to green (see FIG. 8C). This makes it possible for the driver to confirm that the lane can be changed without changing the line-of-sight direction.
  • the color of the portion of the target line 53 projected in the confluence section (that is, the portion up to the end of the traveling lane 40a) is set to green, and the portion beyond that is set to another color (for example,). (Orange) is set.
  • the portion projected in the confluence section is a portion where the vehicle 1 can travel.
  • the portion beyond the confluence section is a portion where the vehicle 1 cannot travel.
  • the travelable range is detected by detecting the position where the front line 3a is distorted by an obstacle (guardrail or the like) (see FIG. 19).
  • the travelable range may be detected from the map information of the surrounding area, the GPS positioning information, and the like.
  • the line on the opposite side of the target line 53 is also color-coded by the same method.
  • the target line 53 is color-coded into a portion where the vehicle 1 can travel and a portion where the vehicle 1 cannot travel. Then, the display control according to the change risk is applied to the portion where the vehicle 1 can travel. As a result, it is possible to present the distance to the end position of the merging section to the driver, and it is possible to provide support for measuring the timing of lane change.
  • the projection pattern 2 is projected from the projection unit 10 provided on the vehicle 1 onto the surrounding road surface.
  • the display of the projection pattern 2 is controlled based on the surrounding environment information regarding the environment around the vehicle 1. As a result, for example, the situation where the vehicle 1 is placed can be presented inside and outside the vehicle 1 via the projection pattern 2, and the safety during driving can be enhanced.
  • the display of the front line 3a projected on the target side of the lane change is controlled by using the surrounding environment information in which the vehicle 1 travels. Since the front line 3a is projected in front of the driver, the driver can check the presence or absence of a vehicle behind, the distance, the relative speed, etc. while keeping an eye on the front, enabling safe lane change and merging. It will be possible to provide it to many people.
  • FIG. 10 is a block diagram showing a configuration example of the projection device according to the second embodiment.
  • the projection device 200 includes a projection unit 210, a vehicle information sensor unit 211, a peripheral environment sensor unit 213, a storage unit 215, and a controller 220.
  • the projection unit 210, the vehicle information sensor unit 211, and the storage unit 215 are configured in the same manner as the projection unit 10, the vehicle information sensor unit 11, and the storage unit 15 shown in FIG. 4, for example.
  • the surrounding environment sensor unit 213 has a sensor for detecting the state of the surrounding environment of the vehicle 1.
  • the peripheral environment sensor unit 213 is provided with a rear sensor (rear camera, radar sensor, ultrasonic sensor, LiDAR sensor, etc. installed at the rear of the vehicle 1) for detecting an object behind the vehicle 1. Be done.
  • a sensor front camera, side camera, etc. similar to the peripheral environment sensor unit 213 shown in FIG. 4 may be provided.
  • the controller 220 controls the operation of each block included in the projection device 200.
  • the CPU of the controller 220 executes the program according to the present embodiment stored in the storage unit 215, so that the vehicle information acquisition unit 221, the trajectory calculation unit 222, and the projection image determination unit 223 are functional blocks.
  • the video data generation unit 224, and the surrounding environment recognition unit 226 are realized.
  • the vehicle information acquisition unit 221, the locus calculation unit 222, and the video data generation unit 224 are configured in the same manner as, for example, the vehicle information acquisition unit 21, the locus calculation unit 22, and the video data generation unit 24 shown in FIG. ..
  • the projection image determination unit 223 determines the display contents and display parameters of the projection pattern 2, and outputs the data of the projection pattern 2.
  • the projection image determination unit 223 estimates the collision risk with the following vehicle based on the following vehicle information, and discontinuously changes the second pattern according to the collision risk.
  • the following vehicle information is information about a following vehicle traveling behind the vehicle 1, and is peripheral environment information calculated by the peripheral environment recognition unit 226 described later.
  • the collision risk is a parameter indicating the possibility that the following vehicle collides with the vehicle 1.
  • the display parameter of the second pattern is set to change stepwise according to the level of collision risk.
  • FIG. 11 is a block diagram showing a configuration example of the surrounding environment recognition unit 226.
  • the surrounding environment recognition unit 226 executes recognition processing regarding the surrounding environment of the vehicle 1 based on the output of the peripheral environment sensor unit 213. Then, an object (pedestrian, other vehicle, curb, etc.) existing around the vehicle 1 is detected, and various information about the object is calculated.
  • the surrounding environment recognition unit 226 has an object detection unit 230 and a relative velocity calculation unit 231.
  • the object detection unit 230 detects distance information, position information, and the like of objects around the vehicle 1.
  • the relative speed calculation unit 231 detects the relative speed of each object with respect to the vehicle 1.
  • the object detection unit 230 and the relative speed calculation unit 231 are configured in the same manner as the object detection unit 30 and the relative speed calculation unit 31 shown in FIG. 4, for example.
  • the relative speed calculation unit 231 calculates the relative speed of the following vehicle. That is, the surrounding environment recognition unit 226 calculates the following vehicle information regarding the following vehicle of the vehicle 1 based on the detection result of the rear camera or the like. Therefore, the surrounding environment recognition unit 226 calculates and acquires the following vehicle information.
  • the following vehicle information includes ID information of the following vehicle, attribute information, distance information representing the inter-vehicle distance (or position information representing the relative position), and speed information representing the relative speed.
  • the following vehicles include automobiles, motorcycles, bicycles, and the like.
  • FIG. 12 is a flowchart showing a basic operation example of the projection device 200.
  • FIG. 13 is a schematic diagram showing an example of a rear pattern according to the collision risk.
  • the process shown in FIG. 13 is, for example, a loop process that is repeatedly executed during the operation of the projection device 200. Further, this process may be executed when the following vehicle is detected, when the relative speed of the following vehicle is high, or when the distance between the following vehicle and the vehicle is short, and the like.
  • the vehicle information acquisition unit 221 acquires speed-related information (step 201), and then the locus calculation unit 222 calculates the locus of the vehicle 1 (predicted locus 5 and passing locus 6) (step 202). Then, the surrounding environment recognition unit 226 detects the following vehicle and calculates the following vehicle information (step 203).
  • the projected image determination unit 223 estimates the collision risk (step 204). For example, the collision risk is set to a higher value as the relative distance to the following vehicle is shorter and the relative speed to the following vehicle is faster. As an example, the relative velocity / relative distance is calculated as the collision risk. Alternatively, the collision risk may be calculated from either the relative distance or the relative velocity. Further, the collision risk may be calculated in consideration of the deceleration amount of the own vehicle 1 by referring to the brake information or the like.
  • the first threshold value is, for example, a threshold value for detecting a case where the collision risk is relatively high.
  • the first threshold value is set to, for example, a value of about 30% to 50% of the maximum value of the collision risk.
  • the first threshold value can be set as appropriate.
  • the projection image determination unit 223 determines that the second pattern is projected in the normal display (step 206).
  • the normal display is a display method (normal display process) in a normal brake operation.
  • FIG. 13A schematically shows a display example of the second pattern (rear line 3c) in the normal display.
  • the rear line 3c set to a relatively narrow width is projected.
  • the rear line 3c is set to red, which is the same system as the brake lamp 35, for example.
  • the second threshold value is, for example, a threshold value for detecting a state in which the collision risk is sufficiently high. For example, a value of 50% or more of the maximum value of collision risk is set as a second threshold value. In addition, the second threshold value can be set as appropriate.
  • the projection image determination unit 223 determines that the width of the second pattern is displayed with a relatively thick fixed width (step 208). It can be said that this method is a method of statically emphasizing and displaying the second pattern.
  • the width of the second pattern is set to the maximum width.
  • the width of the second pattern may be set to a width of about 90% or 80% of the maximum width.
  • FIG. 13B schematically shows a display example of the second pattern (rear line 3c) displayed in a thick width.
  • the rear line 3c set to a fixed width thicker than the normal display is projected.
  • the thick rear line 3c is projected in addition to the brake lamp 35, it is possible to emphasize to the following vehicle that the risk of collision with the vehicle 1 is increasing.
  • the projection image determination unit 223 determines that the second pattern is projected in the blinking display (step 209).
  • the blinking display is a display method in which the second pattern is blinked and displayed, and can be said to be a method in which the second pattern is dynamically emphasized and displayed.
  • FIG. 13C schematically shows a display example of the second pattern (rear line 3c) in the blinking display.
  • the width of the rear line 3c is set to be the same as or wider than the fixed width of FIG. 13B. Then, at least a part of the rear line 3c is displayed so as to blink.
  • the rear line 3c when a part of the rear line 3c blinks, it is possible to display that the blinking part moves. That is, the rear line 3c may be displayed as an animation. As a result, in addition to the brake lamp 35, the blinking rear line 3c is projected, so that it is possible to sufficiently emphasize and convey that there is a risk of collision with the vehicle 1. As a result, it is possible to effectively call attention to the following vehicle or the like.
  • step 208 the video output to each projection unit 210 by the video data generation unit 224 based on the set data.
  • Data is generated (step 210).
  • each projection unit 210 provided on the vehicle 1 projects the corresponding line pattern 3 based on the video data (step 211).
  • the projected image determination unit 223 determines the width of the second pattern when the collision risk is equal to or greater than the first threshold value and less than or equal to the second threshold value larger than the first threshold value. Increase and blink the second pattern if the collision risk is greater than or equal to the second threshold. This makes it possible to inform the following vehicle of the possibility of a collision with the vehicle 1 in front in an easy-to-understand manner.
  • the degree of braking operation or the like may be used. For example, the greater the strength of the brake, the higher the deceleration of the vehicle 1, and therefore the higher the collision risk is set. This makes it possible to sufficiently avoid a collision with a following vehicle.
  • the discontinuous display control of the second pattern according to the collision risk has been described.
  • the projection image determination unit 223 estimates the degree of braking operation performed by the driver. Then, a process of gradually changing the display of the rear pattern according to the degree of braking operation is executed. This process is, for example, a process of executing the process shown in FIG. 12 by using the degree of braking operation of the vehicle 1 instead of the collision risk.
  • the pattern (rear line) that is a warning display to the following vehicle was switched and displayed.
  • a warning sound for example, toward the following vehicle by using a directional speaker or the like.
  • an auditory warning sound is transmitted along with a warning such as a blinking display, it is possible to effectively convey the braking operation and the collision risk.
  • a rear line 3c (second pattern) that displays the trajectory of the wheels and the like is projected behind the traveling vehicle 1.
  • This second pattern is switched between a display in which the line width is thickened (see FIG. 13B) and a blinking display (see FIG. 13C) according to the risk of collision with the following vehicle.
  • FIG. 13B a display in which the line width is thickened
  • FIG. 13C a blinking display
  • a pair of line patterns 3 representing the vehicle width of the vehicle 1 are projected as the first pattern (typically, the front line 3a) projected forward in the traveling direction of the vehicle 1. Therefore, the first pattern functions as an extension of the vehicle width. Then, the display of the line pattern 3 corresponding to the vehicle width is controlled based on the positional relationship between the vehicle 1 and the surrounding objects. By displaying the extension line of the vehicle width on the road surface in this way, it is possible to present the distance to surrounding objects in an easy-to-understand manner, and it is possible to assist the driver in recognizing the vehicle width.
  • FIG. 14 is a block diagram showing a configuration example of the projection device according to the third embodiment.
  • the projection device 300 includes a projection unit 310, a vehicle information sensor unit 311, a peripheral environment sensor unit 313, a storage unit 315, and a controller 320.
  • the projection unit 310, the vehicle information sensor unit 311, the peripheral environment sensor unit 313, and the storage unit 315 are, for example, the projection unit 10, the vehicle information sensor unit 11, the peripheral environment sensor unit 13, and the storage unit 15 shown in FIG. It is configured in the same way as.
  • the controller 320 controls the operation of each block included in the projection device 300.
  • the CPU of the controller 320 executes the program according to the present embodiment stored in the storage unit 315, so that the vehicle information acquisition unit 321 and the trajectory calculation unit 322 and the projection image determination unit 323 are functional blocks.
  • the video data generation unit 324, and the surrounding environment recognition unit 326 are realized.
  • the vehicle information acquisition unit 321, the locus calculation unit 322, and the video data generation unit 324 are configured in the same manner as, for example, the vehicle information acquisition unit 21, the locus calculation unit 22, and the video data generation unit 24 shown in FIG. ..
  • the projection image determination unit 323 determines the display contents and display parameters of the projection pattern 2, and outputs the data of the projection pattern 2.
  • the projection image determination unit 323 generates a pair of lines representing the vehicle width of the vehicle 1 as the front line 3a (first pattern).
  • the vehicle width of the vehicle 1 is, for example, the maximum width of the vehicle body. Alternatively, the width including the side mirrors and the like may be used as the vehicle width. For example, when the width of each line constituting the front line 3a is sufficiently narrow (for example, less than 10 cm), the distance between the centers of each line (center width) is set to the vehicle width of the vehicle 1.
  • the distance between the edges (outer width) outside the vehicle 1 of each line is set to the vehicle width of the vehicle 1.
  • the distance between the lines may be set according to the shape of each line and the like so that the width of the vehicle 1 can be represented.
  • the front line 3a is set to a shape representing the predicted locus 5 of the vehicle 1 as in the above embodiment.
  • the front line 3a representing the vehicle width will be referred to as a vehicle width line.
  • the lines projected on the right side and the left side of the vehicle 1 are described as the right line and the left line, respectively.
  • the projection image determination unit 323 individually controls the display of a pair of lines based on the positional relationship information representing the positional relationship between the object around the vehicle 1 and the vehicle 1.
  • the positional relationship information is information that can represent the positional relationship between an object (another vehicle, a pedestrian, a curb, a guardrail, a white line on a road, etc.) existing in the environment around the vehicle 1 and the vehicle 1. It is the surrounding environment information acquired by the surrounding environment recognition unit 326. For example, the distance between the object and the vehicle 1, and the relative position and the relative direction of the object as seen from the vehicle 1 are positional relationship information. Further, the position information of the vehicle 1 and the object may be used as it is as the position relationship information.
  • the projection image determination unit 323 detects, for example, the approach between the vehicle 1 and the object, the displacement of the vehicle 1 with respect to the object, and the like, based on the positional relationship between the vehicle 1 and the object. Display parameters (typically color and blinking) for the right and left lines are set to represent such detection results, respectively. This point will be described in detail later.
  • a projection pattern 2 (hereinafter referred to as a boundary line pattern) representing a boundary line 51 that divides the lane in which the vehicle 1 travels is generated.
  • This boundary line pattern is generated using, for example, the detection result of the white line detected by the lane detection unit 332 described later. Further, for example, when the posture change of the vehicle 1 can be detected, a process of correcting the boundary line pattern according to the posture change of the vehicle 1 is executed.
  • FIG. 15 is a block diagram showing a configuration example of the surrounding environment recognition unit 326.
  • the surrounding environment recognition unit 326 detects objects (pedestrians, other vehicles, curbs, etc.) existing around the vehicle 1 based on the output of the peripheral environment sensor unit 313, and the positional relationship of each object as peripheral environment information. Calculate the information.
  • the surrounding environment recognition unit 326 includes a projection status determination unit 330, a lane detection unit 332, and a space recognition unit 333.
  • the projection status determination unit 330 detects the vehicle width line from the front image taken by the front camera with the vehicle width line (projection pattern 2) projected. In the process of detecting the vehicle width line, the data (shape, color, width, length, blinking, etc.) of the vehicle width line (front line 3a) output from the projection image determination unit 323 is used. This makes it possible to detect the vehicle width line reflected in the front image with high accuracy. Similarly, the projection status determination unit 330 detects the boundary line pattern from the front image.
  • the projection status determination unit 330 determines the situation in front of the vehicle 1 by utilizing how the detected vehicle width line is projected on the road surface. For example, when the vehicle width line is projected without distortion (refraction or the like), the road surface in front is determined to be flat. Alternatively, if the vehicle width line is distorted, it is determined that there is an obstacle in front of the vehicle. When it is determined that there is an obstacle, information indicating a distorted portion of the right line and the left line constituting the vehicle width line is calculated. Specifically, the position of the bent portion in each line (for example, the position of 1/4 from the tip) is calculated. This information is positional relationship information indicating the relative position of the obstacle with respect to the vehicle 1.
  • the projection status determination unit 330 detects the position of the obstacle on the line by detecting the distortion of the line from the image (front image) obtained by capturing the line (right line and left line) as the position ring shape information. do. By using the distortion of the line in the captured image of the line, it is possible to easily detect an obstacle existing in the course of the vehicle 1.
  • the projection status determination unit 330 corresponds to the second detection unit.
  • the projection status determination unit 330 outputs the detection result of the projection pattern 2 (vehicle width line and boundary line pattern) in front and the relative position of the obstacle.
  • the lane detection unit 332 is configured in the same manner as the lane detection unit 32 shown in FIG. 5, for example, and detects a lane (lane) on the road on which the vehicle 1 travels. More specifically, a process of detecting objects such as white lines and curbs on the road is executed, and their positions are detected.
  • the white line and the curb are boundary lines 51 representing the range in which the vehicle 1 should travel. Therefore, it can be said that the lane detection unit 332 detects the relative position of the boundary line 51 as the positional relationship information of the object.
  • the space recognition unit 333 recognizes the situation of the surrounding space of the vehicle 1 based on the detection results of the projection status determination unit 330 and the lane detection unit 332.
  • the distance between the boundary line 51 and the vehicle width line is calculated based on the position information of the boundary line 51 of the traveling lane 40 in which the vehicle 1 travels and the position information of the vehicle width line. For example, the distance between the right line and the right boundary line 51 of the vehicle 1 and the distance between the left line and the left boundary line 51 of the vehicle 1 are calculated respectively. This process is executed based on the front image taken of the front of the vehicle 1.
  • the space recognition unit 333 detects the distance between the boundary line 51 and the line from the image obtained by simultaneously capturing the boundary line 51 and the line (right line and left line). By using an image in which both the boundary line 51 and the line are taken, it is possible to easily calculate the distance of each line.
  • the space recognition unit 333 corresponds to the first detection unit.
  • the distance between the boundary line 51 and each line representing the vehicle width represents the distance to the lane of the vehicle 1, that is, the distance between the vehicle 1 and the boundary line 51.
  • the space recognition unit 333 determines whether or not these distances are within a predetermined threshold value.
  • the space recognition unit 333 calculates the amount of deviation of the boundary line pattern with respect to the actual boundary line 51 (white line or curb) from the position information between the boundary line 51 of the traveling lane and the boundary line pattern. This deviation amount is used in the projected image determination unit 323 for calibrating the position of the boundary line pattern.
  • the space recognition unit 333 outputs the distance between the boundary line 51 and the line, the determination result thereof, and the amount of deviation of the boundary line pattern.
  • the outputs of the projection status determination unit 330 and the space recognition unit 333 are the final outputs of the surrounding environment recognition unit 326. Therefore, the surrounding environment recognition unit 326 outputs projection status information (information indicating the presence or absence of distortion of the vehicle width line and position information of the distortion location (obstacle)). Further, the distance between the boundary line 51 and the line, the determination result, and the deviation amount of the boundary line pattern are output.
  • the method of detecting the position of an object around the vehicle 1 is not limited. For example, SLAM (Simultaneous Localization and Mapping) technology or the like that self-generates a three-dimensional map around the vehicle 1 may be used. Further, the object detection unit shown in FIG. 5 or the like may be provided, and the position and distance of the object may be detected by using a radar sensor, an ultrasonic sensor, a LiDAR sensor or the like.
  • FIG. 16 is a flowchart showing a basic operation example of the projection device 300.
  • the process shown in FIG. 16 is, for example, a loop process that is repeatedly executed during the operation of the projection device 300.
  • a front line 3a that is a vehicle width line is provided. It is executed as a controlled object.
  • a process targeting the rear line 3c generated as the vehicle width line may be executed.
  • the vehicle information acquisition unit 321 acquires speed-related information (step 301), and then the locus calculation unit 222 calculates the locus of the vehicle 1 (predicted locus 5 and passing locus 6) (step 302).
  • the peripheral environment recognition unit 326 recognizes the positional relationship between the vehicle 1 and the surrounding objects, and executes a process of calculating the positional relationship information (step 303). Specifically, the projection status determination unit 330 calculates the positional relationship information between the boundary line 51 and the vehicle width line (distance between the boundary line 51 and the line and the determination result). Further, when an obstacle exists on the vehicle width line by the space recognition unit 333, the positional relationship information with respect to the obstacle (information indicating the presence or absence of distortion of the vehicle width line, and the position of the distorted portion (obstacle)). Information) is calculated.
  • the projection image determination unit 323 sets the display parameters of the vehicle width line 8 (step 304). For example, when it is determined that the distance between the boundary line 51 and the vehicle width line (right line and left line) is smaller than a predetermined threshold value, the settings such as color and blinking of the determined line are changed. (See FIGS. 17 and 18). This makes it possible to warn the driver when the vehicle 1 is at the end of the lane (close to the boundary line 51) or the like. Also, for example, when an obstacle is detected on the vehicle width line (right line and left line), the color and blinking of the line where the obstacle is detected are set so that the position of the detected obstacle can be known. Is changed (see FIGS. 19 and 20).
  • the projection image determination unit 323 executes a process for performing normal display (normal display process).
  • the video data generation unit 324 generates video data to be output to each projection unit 310 based on the projected image data (step 305). Then, each projection unit 210 provided on the vehicle 1 projects the corresponding line pattern 3 based on the video data (step 306).
  • the processing when approaching the boundary line 51 and the case where an obstacle is detected will be specifically described.
  • FIG. 17 is a schematic diagram showing an example of a scene in which a vehicle width line is projected.
  • FIG. 17A schematically illustrates the scenery seen by the driver when the vehicle 1 is traveling straight on a road (travel lane 40a) with one lane on each side.
  • a vehicle width line 8 front line 3a representing the vehicle width is projected as a projection pattern 2 in front of the vehicle 1.
  • the lines projected on the right side and the left side of the vehicle 1 are the right line 8R and the left line 8L.
  • a boundary line pattern 9 representing the boundary line 51 of the traveling lane 40a is projected on the front of the vehicle 1.
  • boundary line pattern 9a projected on the right side in the figure is projected so as to overlap with the white line (center line) representing the boundary with the oncoming lane.
  • boundary line pattern 9b projected on the left side of the figure is projected so as to overlap the curb that is the boundary with the sidewalk.
  • the projection image determination unit 323 controls the color or blinking of each line based on the positional relationship between the boundary line 51 and the right line 8R and the left line 8L.
  • the distance between the boundary line 51 and each line representing the vehicle width (hereinafter referred to as an approach distance) is used as an index showing the positional relationship.
  • the distance between the right line 8R and the right boundary line 51 (white line) (the approach distance on the right side) and the distance between the left line 8L and the left boundary line 51 (curb) (the approach distance on the left side).
  • the arrows representing each are illustrated.
  • the arrow indicating the approach distance may or may not be displayed as the projection pattern 2.
  • the space recognition unit 333 determines whether or not the approach distances on the right side and the left side are lower than a predetermined threshold value. Then, the projection image determination unit 323 sets the color and the presence / absence of blinking of the right line 8R and the left line 8L according to the determination result regarding the approach distance. In FIG. 17A, it is determined that the approach distances on the right side and the left side are larger than a predetermined threshold value.
  • the colors of the right line 8R and the left line 8L are both set to the colors used in the normal display processing (for example, white or bluish colors). Further, the colors of the boundary line patterns 9a and 9b are also set to the colors (for example, green) used in the normal display processing.
  • the projected image determination unit 323 sets the color of the right line 8R to a color different from the color of the normal display process (for example, orange).
  • the border line pattern 9a on the right side is set to a color different from the color of the normal display process (for example, red) together with the right line 8R.
  • the right line 8R and the boundary line pattern 9a may be set to blink.
  • the approach distance on the left side is determined to be larger than a predetermined threshold value. Therefore, the colors of the left line 8L and the left boundary line pattern 9b do not change.
  • the present embodiment when the distance between the boundary line 51 and the right line 8R or the left line 8L is smaller than a predetermined threshold value, a process of changing the color of the line or blinking the line is executed. ..
  • This makes it possible to inform the driver in an easy-to-understand manner that the vehicle width line 8 is approaching an oncoming lane, a sidewalk, or the like.
  • FIG. 18 is a schematic diagram showing an example of the vehicle width line 8 according to the approach distance.
  • the approach distance is determined in three stages, and the color of the vehicle width line 8 (front line 3a) is set to a different color in each stage.
  • Such a determination process can be executed, for example, by a threshold value process using two threshold values.
  • FIG. 18A is a vehicle width line 8 projected when the approach distances on the right side and the left side are both within a safe range.
  • the colors of the right line 8R and the left line 8L are set to, for example, normal display colors (white or bluish colors). This is, for example, the same setting as in FIG. 17A.
  • FIG. 18A is a vehicle width line 8 projected when the approach distances on the right side and the left side are both within a safe range.
  • the colors of the right line 8R and the left line 8L are set to, for example, normal display colors (white or bluish colors). This is, for example, the same setting as in FIG. 17A
  • the approach distance on the right side is a range to be noted, and the approach distance on the left side is a safe range.
  • the color of the right line 8R of the vehicle width line 8 is set to, for example, orange.
  • the color of the left line 8L is not changed.
  • the approach distance on the right side is determined to be a dangerous range, and the approach distance on the left side is determined to be a safe range.
  • the color of the right line 8R of the vehicle width line 8 is set to, for example, red.
  • the color of the left line 8L is not changed.
  • blinking or the like may be controlled.
  • the target line is set to orange to blink, and in the dangerous range, the target line is set to red to increase the frequency of blinking. This enables the driver to reliably recognize the safety level and the like of the current traveling position while looking ahead.
  • the display of the vehicle width line 8 may be controlled by using the output of a proximity sensor (distance measuring sensor such as a radar sensor). For example, when approaching an object (guardrail, other vehicle, etc.) in the vicinity of the vehicle 1, the color of the line on the side where the approach is detected is changed and blinks. This makes it possible to prevent contact accidents not only in front of the vehicle 1 but also on the sides and rear of the vehicle 1.
  • a proximity sensor distance measuring sensor such as a radar sensor
  • FIG. 19 is a schematic diagram showing a display example of the vehicle width line 8 projected on an obstacle.
  • FIG. 19 schematically illustrates a scene in which the vehicle width line 8 intersects the obstacle 55 in front of the vehicle 1.
  • the right line 8R intersects the rectangular parallelepiped obstacle 55a.
  • the right line 8R projected along the ground surface is bent at a point where the side surface of the obstacle 55a touches the ground surface, and is projected on the side surface of the obstacle 55a.
  • the projection status determination unit 330 detects a point (refraction point P1) in which the right line 8R is distorted based on the original shape of the right line 8R.
  • This refraction point P1 is used as position information of the obstacle 55a.
  • the portion in front of the refraction point P1 is the intersection portion 56 that intersects the obstacle 55a.
  • the intermediate portion of the left line 8L intersects the obstacle 55b placed on the ground surface with the cylindrical curved surface facing up.
  • the projection status determination unit 330 detects the refraction point P2 from the front and the refraction point P3 from the rear where the left line 8L is distorted based on the original shape of the left line 8L.
  • the refraction points P2 and P3 are used as position information of the obstacle 55b. Further, the portion between the refraction points P2 and P3 becomes the intersecting portion 56 with the obstacle 55b.
  • the projection image determination unit 323 color-codes the right line 8R and the left line 8L into an intersection 56 with the obstacle 55 and another portion based on the position (refraction point) of the obstacle 55. ..
  • the color of the intersection 56 in front of the refraction point P1 is set to red
  • the color behind the inflection point P1 is set to the normal display color.
  • the color of the intersecting portion 56 sandwiched between the refraction points P2 and P3 is set to red, and the portion before the refraction point P2 and the portion behind the refraction point P3 are normally displayed. Set to color. This makes it possible to inform the driver of the existence and position of the obstacle 55 that may come into contact with the vehicle 1 in an easy-to-understand manner.
  • FIG. 20 is a schematic diagram showing an example of a vehicle width line 8 projected when an obstacle 55 is detected.
  • the safety level of the obstacle 55 is determined in three stages, and the color of the vehicle width line 8 (front line 3a) is set to a different color in each stage.
  • the safety level of the obstacle 55 is set to be smaller (more dangerous), for example, the closer the distance to the obstacle 55 is, or the longer the length of the obstacle 55 (intersection portion 56) is. Further, the higher the traveling speed of the vehicle 1, the lower the safety level is set.
  • the method for determining the safety level for the obstacle 55 is not limited.
  • FIG. 20A is a vehicle width line 8 projected when, for example, an obstacle 55 is not detected and is safe.
  • the colors of the right line 8R and the left line 8L are set to the normal display colors (white or bluish colors) throughout. Even when the obstacle 55 is detected, the color of each line may not be changed if the positions are sufficiently separated.
  • FIG. 20B is a vehicle width line 8 projected when the safety level of the obstacle 55 is a level to be noted.
  • an obstacle is detected at a position relatively distant from the vehicle 1.
  • the color of the intersecting portion 56 of the right line 8R and the left line 8L is set to, for example, orange. Alternatively, the intersection 56 is set to blink.
  • the colors other than the intersecting portion 56 are set to, for example, the colors of the normal display.
  • FIG. 20C is a vehicle width line 8 projected when the safety level of the obstacle 55 is a dangerous level.
  • an obstacle is detected in the vicinity of the vehicle 1.
  • the color of the intersecting portion 56 is set to, for example, red.
  • the blinking speed of the intersection 56 is set high.
  • Colors other than the intersection 56 are set to, for example, normal display colors. Not limited to this, for example, the color or the like other than the intersection 56 may be changed to arouse the existence of the dangerous obstacle 55.
  • the vehicle width interval is important in various scenes such as whether or not to enter a narrow road, the difference in thread from an oncoming vehicle, the running position in the lane, and the width of the guardrail or the wall.
  • Examples of auxiliary means for accurately recognizing the vehicle width include corner poles and fender mirrors, but these auxiliary tools are rarely used in recent years because they spoil the appearance.
  • the recognition of vehicle width largely depends on the driver's "familiarity".
  • the vehicle width line 8 representing the vehicle width is projected by projecting light.
  • the display of the right line 8R and the left line 8L of the vehicle width line 8 is controlled according to the positional relationship between the object in the surrounding environment and the vehicle 1. This makes it possible to intuitively present to the driver, for example, information that the current traveling position is close to the white line and information that the driver is likely to come into contact with an obstacle. As a result, it is possible to improve the driving safety of the driver and to support the driver to obtain a correct sense of width.
  • the projection unit 310 for projecting the projection pattern 2 can be configured to fit in the main body of the vehicle 1. Therefore, by using the projection device 300, it is possible to provide a vehicle width sensation assisting device that does not affect the appearance. ⁇ Other embodiments>
  • the present technology is not limited to the embodiments described above, and various other embodiments can be realized.
  • a pattern representing a vehicle locus is set mainly as a line pattern.
  • the present invention is not limited to this, and for example, a straight line pattern extending along the front-rear direction of the vehicle 1 can be fixedly used. Alternatively, a pattern in which the tips of the left and right lines are closed may be used. In addition, a line pattern of any shape, size, and color may be used as the projection pattern.
  • a single controller is taken as an example.
  • the controller may be configured separately, and the information processing apparatus according to the present technology may be realized by any computer connected to the controller via wired or wireless.
  • the information processing method according to the present technology may be executed by a cloud server.
  • the information processing method according to the present technology may be executed in conjunction with the controller and another computer.
  • the information processing method and program according to the present technology can be executed not only in a computer system composed of a single computer but also in a computer system in which a plurality of computers operate in conjunction with each other.
  • the system means a set of a plurality of components (devices, modules (parts), etc.), and it does not matter whether or not all the components are in the same housing. Therefore, a plurality of devices housed in separate housings and connected via a network, and one device in which a plurality of modules are housed in one housing are both systems.
  • the information processing method and program execution related to this technology by a computer system are executed when, for example, acquisition of surrounding environment information, control of projection pattern display, etc. are executed by a single computer, and each process is executed by a different computer. Includes both when it is done. Further, the execution of each process by a predetermined computer includes having another computer execute a part or all of the process and acquiring the result.
  • the information processing method and program related to this technology can be applied to the configuration of cloud computing in which one function is shared by a plurality of devices via a network and processed jointly.
  • this technology can also adopt the following configurations.
  • the acquisition unit that acquires the surrounding environment information about the environment around the vehicle, and An information processing device including a projection control unit that controls the display of a projection pattern projected from the projection unit mounted on the vehicle to the road surface around the vehicle based on the surrounding environment information.
  • the information processing apparatus according to (1) The projection pattern includes a line-shaped first pattern projected forward in the traveling direction of the vehicle and a line-shaped second pattern projected rearward in the traveling direction. Information processing equipment.
  • the first pattern includes a pair of lines projected on the left and right sides of the vehicle.
  • the projection control unit is an information processing device that controls the display of the target line projected on the target lane side of the vehicle to be changed in the lane of the first pattern based on the surrounding environment information.
  • the surrounding environment information includes traffic condition information representing the traffic condition around the vehicle including the target lane.
  • the projection control unit is an information processing device that estimates a change risk due to a lane change of the vehicle based on the traffic condition information and controls the color or blinking of the target line based on the change risk.
  • the traffic condition information is an information processing device including information representing an empty space in the target lane, information on the arrangement of other vehicles traveling around the vehicle, and information on the relative speed of the other vehicle with respect to the vehicle.
  • the information processing apparatus is an information processing device that determines the change risk by dividing it into a plurality of levels and sets the target line to a different color for each of the determined levels.
  • the information processing apparatus according to any one of (3) to (6).
  • the projection control unit is an information processing device that color-codes the target line into a portion where the vehicle can travel and a portion where the vehicle cannot travel.
  • the information processing apparatus according to any one of (3) to (7), and further.
  • a line-of-sight detection unit for detecting the line-of-sight direction of the driver driving the vehicle is provided.
  • the projection control unit is an information processing device that determines whether or not to execute display control of the target line based on the change in the line-of-sight direction.
  • the information processing apparatus according to any one of (2) to (8).
  • the surrounding environment information includes the following vehicle information regarding the following vehicle of the vehicle.
  • the projection control unit is an information processing device that estimates a collision risk with the following vehicle based on the following vehicle information and discontinuously changes the second pattern according to the collision risk.
  • the following vehicle information is an information processing device that includes information on at least one of a relative distance and a relative speed between the vehicle and the following vehicle. (11) The information processing apparatus according to (9) or (10).
  • the projection control unit increases the width of the second pattern and increases the collision risk.
  • An information processing device that blinks the second pattern when it is equal to or higher than the second threshold value.
  • the surrounding environment information includes positional relationship information indicating a positional relationship between an object around the vehicle and the vehicle.
  • the projection control unit is an information processing device that generates a pair of lines representing the width of the vehicle as the first pattern and individually controls the display of the pair of lines based on the positional relationship information.
  • the object is a boundary line representing a range in which the vehicle should travel.
  • the projection control unit is an information processing device that controls the color or blinking of the line based on the positional relationship between the boundary line and the line.
  • the information processing apparatus according to (13).
  • the acquisition unit has a first detection unit that detects the distance between the boundary line and the line from an image obtained by simultaneously capturing the boundary line and the line as the positional relationship information.
  • the projection control unit is an information processing device that changes the color of the line or blinks the line when the distance between the boundary line and the line is smaller than a predetermined threshold value.
  • the information processing apparatus according to any one of (12) to (14).
  • the acquisition unit has a second detection unit that detects the position of an obstacle on the line by detecting the distortion of the line from the image obtained by capturing the line as the positional relationship information.
  • the projection control unit is an information processing device that color-codes the line into an intersection with the obstacle and another portion based on the position of the obstacle.
  • the information processing apparatus according to any one of (2) to (15), and further. It is provided with a prediction locus calculation unit that calculates a prediction locus predicted that the vehicle will pass.
  • the projection control unit is an information processing device that generates the first pattern representing the predicted locus.
  • the information processing apparatus according to any one of (2) to (16), and further. It is provided with a passing locus calculation unit that calculates the passing locus that the vehicle has passed.
  • the projection control unit is an information processing device that generates the second pattern representing the passing locus.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)
  • Traffic Control Systems (AREA)

Abstract

本技術の一形態に係る情報処理装置は、取得部と、投影制御部とを具備する。前記取得部は、車両の周辺の環境に関する周辺環境情報を取得する。前記投影制御部は、前記周辺環境情報に基づいて、前記車両に搭載された投影部から前記車両の周辺の路面に投影される投影パターンの表示を制御する。これにより運転時の安全性を高めることが可能となる。

Description

情報処理装置、情報処理方法、プログラム、及び投影装置
 本技術は、車両から路面に投影される投影パターンの表示制御に適用可能な情報処理装置、情報処理方法、プログラム、及び投影装置に関する。
 特許文献1には、車両の予測走行軌跡を地表面に表示する予測走行軌跡表示装置が記載されている。この装置では、車両のステアリングホイールの操舵角と、車両の前進・後退を示す前進/後退情報から、車両の予測走行軌跡が算出される。そして車両に搭載されたレーザ発光器の照射角度が制御され、予測走行軌跡が地表面に描画される(特許文献1の明細書段落[0021][0022][0023]、図7等)。
特開2006-036005号公報
 このように、車両の進行方向を提示することで、車両の内外に注意を促すことが可能である。実際の交通環境では、車両の進行方向の他にも様々な対象に注意を向ける必要があり、運転時の安全性を高めることが可能な技術が求められている。
 以上のような事情に鑑み、本技術の目的は、運転時の安全性を高めることが可能な情報処理装置、情報処理方法、プログラム、及び投影装置を提供することにある。
 上記目的を達成するため、本技術の一形態に係る情報処理装置は、取得部と、投影制御部とを具備する。
 前記取得部は、車両の周辺の環境に関する周辺環境情報を取得する。
 前記投影制御部は、前記周辺環境情報に基づいて、前記車両に搭載された投影部から前記車両の周辺の路面に投影される投影パターンの表示を制御する。
 この情報処理装置では、車両に設けられた投影部から周辺の路面に投影パターンが投影される。この投影パターンの表示が車両の周辺の環境に関する周辺環境情報に基づいて制御される。これにより、例えば車両がおかれた状況等を、投影パターンを介して車両の内外に提示することが可能となり、運転時の安全性を高めることが可能となる。
 本技術の一形態に係る情報処理方法は、コンピュータシステムにより実行される情報処理方法であって、車両の周辺の環境に関する周辺環境情報を取得することを含む。
 前記周辺環境情報に基づいて、前記車両に搭載された投影部から前記車両の周辺の路面に投影される投影パターンの表示が制御される。
 本技術の一形態に係るプログラムは、コンピュータシステムに以下のステップを実行させる。
 車両の周辺の環境に関する周辺環境情報を取得するステップ。
 前記周辺環境情報に基づいて、前記車両に搭載された投影部から前記車両の周辺の路面に投影される投影パターンの表示を制御するステップ。
 本技術の一形態に係る投影装置は、投影部と、取得部と、投影制御部とを具備する。
 前記投影部は、車両に搭載され、前記車両の周辺の路面に投影パターンを投影する。
 前記取得部は、前記車両の周辺の環境に関する周辺環境情報を取得する。
 前記投影制御部は、前記周辺環境情報に基づいて、前記投影部から投影される前記投影パターンの表示を制御する。
本技術の第1の実施形態に係る投影装置を搭載した車両の外観を示す模式図である。 投影パターンの一例を示す模式図である。 投影パターンが投影されるシーンの一例を示す模式図である。 第1の実施形態に係る投影装置の構成例を示すブロック図である。 周辺環境認識部の構成例を示すブロック図である。 投影装置の基本的な動作例を示すフローチャートである。 レーン変更を行う際の車両の前方の様子を示す模式図である。 レーン変更を行う際に投影される前方ラインの一例を示す模式図である。 合流車線におけるレーン変更の一例を示す模式図である。 第2の実施形態に係る投影装置の構成例を示すブロック図である。 周辺環境認識部の構成例を示すブロック図である。 投影装置の基本的な動作例を示すフローチャートである。 衝突リスクに応じた後方パターンの一例を示す模式図である。 第3の実施形態に係る投影装置の構成例を示すブロック図である。 周辺環境認識部の構成例を示すブロック図である。 投影装置の基本的な動作例を示すフローチャートである。 車幅ラインが投影されたシーンの一例を示す模式図である。 接近距離に応じた車幅ラインの一例を示す模式図である。 障害物に投影される車幅ラインの表示例を示す模式図である。 障害物が検出された場合に投影される車幅ラインの一例を示す模式図である。
 以下、本技術に係る実施形態を、図面を参照しながら説明する。
 <第1の実施形態>
 図1は、本技術の第1の実施形態に係る投影装置を搭載した車両の外観を示す模式図である。図1Aは、車両1の構成例を示す斜視図であり、図1Bは、車両1を上方から上面図である。車両1には、車両1の周辺の路面に図像を投影する投影装置100が搭載される。
 投影装置100は、複数の投影部10を有する。投影部10は、路面に対して光を照射することで図像を投影する素子(投影機)である。以下では、投影部10から車両1の周辺の路面に投影される図像を投影パターンと記載する。投影装置100では、各投影部10から投影される投影パターンを個別に制御することが可能である。投影部10の具体的な構成については後述する。
 図1A及び図1Bには、車両1に設けられた8つの投影部10a~10hが模式的に図示されている。図1に示す例では、車両1の底部の左側及び右側に投影部10a~10dと投影部10e~10hとが互いに左右対称となるように配置される。
 投影部10a及び10eは、車両1の前側の底部(例えばフロントバンパーの下部)に配置され、例えば車両1の前方に投影パターンを投影する。投影部10b及び10fは、フロントドアの前側の底部に配置され、投影部10c及び10gは、リアドアの後側の底部に配置される。投影部10b及び10fと投影部10c及び10gは、例えば車両1の側方に投影パターンを投影する。投影部10d及び10hは、車両1の後側の底部(例えばリアバンパーの下部)に配置され、例えば車両1の後方に投影パターンを投影する。
 なお図1Bでは、車両10の上面図における各投影部10(投影機)の位置がわかるように、便宜上、各投影部10が車体から飛び出しているように図示されている。実際の構成では、投影部10は車体下部に収容され、上部からは見えないように設置される。これにより、車両10の外観を損なうことなく投影装置100を実装することが可能となる。
 あるいは、図1Bに示すように、各投影部10が車体から突出するように設置されてもよい。これにより、例えば投影パターンを投影することが可能な範囲を拡大するといったことが可能となる。
 投影部10の配置や数等は限定されない。
 例えば車両10の前方にパターンを投影する投影部10(図1では投影部10a及び10e)は、車体前面に設置されてもよい。具体的には、ヘッドライトの周辺(ヘッドライトの上側、下側、左側、及び右側等)や、フォグランプの周辺(フォグランプの上側、下側、左側、及び右側等)に投影部10が設けられてもよい。また、フロントグリルの位置や、車体全面の中央部分等に投影部10が設けられてもよい。また1台の投影部10から左前方及び右前方の投影パターンが投影されてもよい。
 また例えば車両10の側方にパターンを投影する投影部10(図1では投影部10b、10c、10f、及び10g)は、サイドミラーの底部や、前後のドアを区切るBピラーの下側(車両 の前後方向の中央)に設けられてもよい。
 また例えば車両10の後方にパターンを投影する投影部10(図1では投影部10d及び10h)は、車体後面に設置されてもよい。具体的には、ブレーキランプの周辺(ブレーキランプの上側、下側、左側、及び右側等)、ナンバープレートの周辺(ナンバープレートの上側、下側、左側、及び右側等)、あるいは車体後面の中央部分等に投影部10が設けられてもよい。また1台の投影部10から左後方及び右後方の投影パターンが投影されてもよい。
 この他、投影部10は、所望の投影パターンが投影可能な位置に適宜配置されてよい。
 図2は、投影パターンの一例を示す模式図である。図3は、投影パターンが投影されるシーンの一例を示す模式図である。
 本実施形態では、車両1が動作する状況に応じて、複数の投影モードが選択され、投影モードに応じた投影パターン2が投影される。図2A~図2Dには、通常ドライビングモード、低速ドライビングモード、リバースモード、及びパーキングモードの各投影モードで投影される投影パターン2が模式的に図示されている。
 複数の投影モードのうちパーキングモード以外のモードは、実際に車両1が走行するモードである。このように車両1が走行するモード(図2A~図2C)では、投影パターン2としてライン状に伸びたラインパターン3が用いられる。従って、投影パターン2には、ライン状のパターン(ラインパターン3)が含まれる。ラインパターン3は、例えば連続した帯状のパターンである。あるいは小さなパターンを一定の間隔でライン状に配置することでラインパターン3が構成されてもよい。
 本実施形態では、ラインパターン3は、車両1の進行方向4の前方に投影されるライン状の第1のパターンと、進行方向4の後方に投影されるライン状の第2のパターンとを含む。
 図2A~図2Cには、車両1の進行方向4を示す矢印が模式的に図示されている。矢印の大きさは、車両1の速度を表している。この進行方向4に対して前方に投影されるパターンが第1のパターンであり、後方に投影されるパターンが第2のパターンである。
 また本実施形態では、車両1の中央部の周辺の路面(車両1の下方から側方にかけた路面)に投影される第3のパターン(後述する中央ライン3b)が用いられる。
 後述するように、投影装置100では、車両1が通過すると予測される予測軌跡5と、車両1が通過した通過軌跡6とがそれぞれ算出される。この予測軌跡5及び通過軌跡6が、第1のパターン及び第2のパターンを用いて表される。すなわち、第1のパターンは、車両1の予測軌跡5を表すラインパターン3として生成され、第2のパターンは、車両1の通過軌跡を表すラインパターン3として生成される。
 以下では、ラインパターン3が用いられる通常ドライビングモード、低速ドライビングモード、リバースモード、及び、ラインパターン3以外のパターンが用いられるパーキングモードについてそれぞれ説明する。
 図2Aには、通常ドライビングモードで投影される投影パターン2の一例が示されている。図2Aの上側及び下側の図は、車両1を側方及び上方から見た模式図である。
 ここで、通常ドライビングモードとは、例えば車両1が徐行することなく通常の前進走行をしている際に選択される投影モードである。通常ドライビングモードは、例えば一般的な徐行速度(例えば時速10km未満)よりも速い速度で車両1が走行する際に選択される。従って通常ドライビングモードは、停止操作、右折操作、左折操作、あるいは駐車操作等の徐行が必要な走行ではなく、走行車線を前進走行するような場合に用いられる。
 通常ドライビングモードでは、投影パターン2として、前方ライン3a、中央ライン3b、及び後方ライン3cの3種類のラインパターン3が投影される。各ライン3a~3cは、車両1の左側及び右側に投影される1対のラインパターン3として構成される。
 前方ライン3aは、車両1の前方の路面に投影されるラインパターン3である。左側及び右側の前方ライン3aは、例えば図1に示す投影部10a及び10eから投影される。
 中央ライン3bは、車両1の下方から側方の路面に投影されるラインパターン3である。左側の中央ライン3bは、例えば投影部10b及び10cから投影され、右側の中央ライン3bは、例えば投影部10f及び10gから投影される。
 後方ライン3cは、車両1の後方の路面に投影されるラインパターン3である。左側及び右側の後方ライン3cは、例えば投影部10d及び10hから投影される。
 なお、各ライン3a~3cと投影部10との対応は上記した例に限定されず、例えば2つの投影部10を用いて1つのラインパターン3を投影するといった構成も可能である。
 上記したように、図2Aに示すラインパターン3は、車両1が前進走行中に投影される。
 従って、通常ドライビングモードでは、前方ライン3aは、車両1の進行方向の前方に投影されるライン状の第1のパターンとなり、車両1の予測軌跡5を表すラインパターン3として生成される。具体的には、前方ライン3aのライン形状が、車両1のフロントタイヤの予測軌跡5を表すように設定される。
 また、通常ドライビングモードでは、後方ライン3cは、車両1の進行方向の後方に投影されるライン状の第2のパターンとなり、車両1の通過軌跡6を表すラインパターン3として生成される。具体的には、後方ライン3cのライン形状が、車両1のリアタイヤの通過軌跡6を表すように設定される。
 また、通常ドライビングモードでは、中央ライン3b(第3のパターン)は、車両1の中央部の両側を照らすライン状の照明として用いられる。
 図3Aには、通常ドライビングモードが適用されるシーンが模式的に図示されている。ここでは、走行車線を比較的早い速度で走行する車両1の周辺の路面に、予測軌跡5を表す前方ライン3a、通過軌跡6を表す後方ライン3c、及びライン状の照明となる中央ライン3bとがそれぞれ投影される。
 このように、車両1の周辺には、予測軌跡5や通過軌跡6等を表すラインパターン3が投影される。これにより、車外の歩行者や他車両のドライバー等に車両1の進行方向や走行履歴を明示的に伝えることが可能となるとともに、走行中の車両1を効果的に演出することも可能となる。
 図2Bには、低速ドライビングモードで投影される投影パターン2の一例が示されている。図2Bの上側及び下側の図は、車両1を側方及び上方から見た模式図である。
 ここで、低速ドライビングモードとは、例えば車両1が徐行しながら前進走行をしている際に選択される投影モードである。従って低速ドライビングモードは、例えば停止操作、右折操作、左折操作、あるいは駐車操作等の徐行が必要な走行を行う場合に用いられる。
 低速ドライビングモードでは、上記した通常ドライビングモードと同様に、投影パターン2として、前方ライン3a、中央ライン3b、及び後方ライン3cの3種類のラインパターン3が投影される。
 図2Bに示すラインパターン3は、図2Aと同様に、車両1が前進走行中に投影される。
 従って、低速ドライビングモードでは、前方ライン3aは、車両1の進行方向の前方に投影されるライン状の第1のパターンとなり、車両1の予測軌跡5を表すラインパターン3として生成される。具体的には、前方ライン3aのライン形状が、車両1のフロントタイヤの予測軌跡5を表すように設定される。
 また、低速ドライビングモードでは、後方ライン3cは、車両1の進行方向の後方に投影されるライン状の第2のパターンとなり、車両1の通過軌跡6を表すラインパターン3として生成される。具体的には、後方ライン3cのライン形状が、車両1のリアタイヤの通過軌跡6を表すように設定される。
 また、低速ドライビングモードでは、中央ライン3b(第3のパターン)は、車両1の予測軌跡5を表すラインパターン3として生成される。具体的には、中央ライン3bは、ライン形状が、車両1のリアタイヤの予測軌跡5を表すように設定される。
 これにより、車両1がゆっくりと前進した場合に、リアタイヤが通過すると予測される軌跡を歩行者等に明示することが可能となる。これにより、右左折時の巻き込みの危険性等を抑制することが可能となる。
 図3Bには、低速ドライビングモードが適用されるシーンの一例として、車両1aの駐車場での運転の様子が模式的に図示されている。車両1aは、図中の右側の駐車スペースから前進して出庫するように移動している。このように、停車していた車両1aが前進する場合には、徐行運転となるため、低速ドライビングモードが用いられる。
 ここでは、車両1aの周辺の路面に、フロントタイヤの予測軌跡5を表す前方ライン3a、及びリアタイヤの予測軌跡5を表す中央ライン3bがそれぞれ投影される。なお、図3Bでは、車両1aのリアタイヤの通過軌跡6を表す後方ライン3cの図示が省略されている。
 このように、車両1aの周辺には、フロントタイヤ及びリアタイヤの予測軌跡5等を表すラインパターン3が投影される。これにより、歩行者に注意を促すとともに、巻き込みや接触等のアクシデントの発生を十分に回避することが可能となる。
 また前方ライン3aは、車両1の車幅を表すように設定されてもよい。例えば、右側及び左側のラインの間隔が、車両1の車体の最大幅に設定される。これにより、車幅を意識したハンドル操作等を促すことが可能となる。
 図2Cには、リバースモードで投影される投影パターン2の一例が示されている。
 ここで、リバースモードとは、車両1が後進走行(バック走行)をしている際に選択される投影モードである。リバースモードは、例えば駐車操作等において、後進して駐車を行う場合等に用いられる。
 リバースモードでは、上記した各ドライビングモードと同様に、投影パターン2として、前方ライン3a、中央ライン3b、及び後方ライン3cの3種類のラインパターン3が投影される。
 図2Cに示すラインパターン3は、車両1が後進走行中に投影される。
 従って、リバースモードでは、前方ライン3aは、車両1の進行方向の後方に投影されるライン状の第2のパターンとなる。この場合、前方ライン3aは、車両1の通過軌跡6を表すラインパターン3として生成される。具体的には、前方ライン3aのライン形状が、車両1のフロントタイヤの通過軌跡6を表すように設定される。
 また、リバースモードでは、後方ライン3cは、車両1の進行方向の前方に投影されるライン状の第1のパターンとなる。この場合、後方ライン3cは、車両1の予測軌跡5を表すラインパターン3として生成される。具体的には、後方ライン3cのライン形状が、車両1のリアタイヤの予測軌跡5を表すように設定される。
 また、リバースモードでは、中央ライン3b(第3のパターン)は、車両1の予測軌跡5を表すラインパターン3として生成される。具体的には、中央ライン3bは、ライン形状が、車両1のフロントタイヤの予測軌跡5を表すように設定される。
 これにより、車両1が後進した場合に、フロントタイヤが通過すると予測される軌跡を歩行者等に明示することが可能となる。これにより、駐車時の巻き込みの危険性等を抑制することが可能となる。
 図3Bには、リバースモードが適用されるシーンの一例として、車両1bの駐車場での運転の様子が模式的に図示されている。車両1bは、図中の左側の駐車スペースに後進して駐車するように移動している。
 ここでは、車両1bの周辺の路面に、リアタイヤの予測軌跡5を表す後方ライン3c、及びフロントタイヤの予測軌跡5を表す中央ライン3bがそれぞれ投影される。なお、図3Bでは、車両1bのフロントタイヤの通過軌跡6を表す前方ライン3aの図示が省略されている。
 このように、車両1bの周辺には、フロントタイヤ及びリアタイヤの予測軌跡5等を表すラインパターン3が投影されるため、バック操作時の巻き込みや接触等のアクシデントの発生を十分に回避することが可能となる。
 また、前進動作の場合と同様に、後方ライン3cは、車両1の車幅を表すように設定されてもよい。これにより、車幅を確認しながらバック操作等を行うことが可能となる。
 図2Dには、パーキングモードで投影される投影パターン2の一例が示されている。
 ここで、パーキングモードとは、車両1のシフトポジションがパーキング("P")である場合、すなわち車両1が停車状態にある場合に選択される投影モードである。
 パーキングモードでは、上記したラインパターン3は表示されず、投影パターン2として車両1の全周を囲うような照明のパターン(以下では停車パターン7と記載する)が投影される。ここでは、停車パターン7として前方照明7a、側方照明7b、及び後方照明7cとが用いられる。各照明7a~7cは、車両1から離れるにつれて色が薄くなるグラデーションパターンである。なお停車パターン7のデザイン等は限定されない。
 このように、投影パターン2は、ラインパターン3とは異なる停車パターン7を含む。本実施形態では、停車パターン7は、他のパターンの一例である。
 停車パターン7を用いることで、車両1がシフトポジションをパーキングに設定して停車していること、すなわち車両1が移動しない状態であることを車外の歩行者等に伝えることが可能である。これにより、例えば歩行者や他車両が、車両1の周辺を安心して通過することが可能となる。
 なお、上記した投影モードに限定されず、他のモードが設定されてもよい。例えばドライバーが車両1の鍵を開けた場合や、ドアを開けた場合、あるいはエンジンを始動した場合等に所定の照明パターンを表示するWelcomライトモード等が設定されてもよい。
 図4は、第1の実施形態に係る投影装置100の構成例を示すブロック図である。
 投影装置100は、上記した投影部10と、車両情報センサ部11と、ドライバー監視カメラ12と、周辺環境センサ部13と、記憶部15と、コントローラ20とを有する。
 投影部10は、光を照射して投影パターン2を投影する素子であり、投影パターン2の形状や色等を変化させることができるように構成される。
 投影部10としては、例えば照射光としてレーザ光を出射するプロジェクタが用いられる。レーザ光を用いることで輝度の高い投影パターン2を遠くまで表示することが可能である。なおレーザ光源の他に、LED光源やランプ光源等が用いられてもよい。
 照射光を変調する方法は限定されず、例えば透過型の液晶パネルやMEMS(Micro Electro Mechanical Systems)等を用いた光変調素子が用いられる。また、反射型の液晶パネル等を用いた位相変調素子等を組み合わせることで、所定の範囲に光が集中するような投影が可能となる。これにより、投影パターン2の輝度を大幅に向上することが可能となる。
 この他、投影部10の具体的な構成は限定されず、例えば照射光を変調することが可能なプロジェクションライトや、レーザ光源等が用いられてもよい。
 車両情報センサ部11は、車両1の各部の状態に関する情報を検出するセンサを有する。
 具体的には、ハンドルの操舵角を検出する舵角センサ、車両1の走行速度を検出する速度センサ、車両1にかかる加速度を検出する加速度センサが設けられる。
 また、車両情報センサ部11は、アクセルの開度を検出するアクセル開度センサ、及びブレーキの開度(ブレーキの強さ)を検出するブレーキ開度センサを有する。
 また、車両情報センサ部11は、アクセルペダルに対する踏み込みの圧力(アクセルの操作力)を検出するアクセルペダル圧力センサ、及びブレーキペダルに対する踏み込みの圧力(ブレーキの操作力)を検出するブレーキペダル圧力センサを有する。これらの圧力センサは、ペダルに加わる全体の圧力値を検出するセンサであってもよいし、圧力分布を検出するセンサでもよい。
 また、車両情報センサ部11は、シフトレバーのポジション(シフトポジション)を検出するシフトポジションセンサ、及びサイドブレーキのオン/オフを検出するサイドブレーキセンサを有する。
 また、イグニッションスイッチのオン/オフを検出するイグニッションセンサ、ウィンカー(方向指示器)のオン/オフを検出するウィンカーセンサ、ハザードランプのオン/オフを検出するハザードセンサ、ヘッドライトのオン/オフやハイビーム/ロービーム(パッシング)の切り替えを検出するライトセンサ等が設けられてもよい。
 この他、車両1に関する情報を検出する任意のセンサが、車両情報センサ部11として用いられてよい。
 ドライバー監視カメラ12は、車両1のドライバーを撮影するカメラであり、例えばドライバー を正面から撮影可能なように車両1の内部に設けられる。ドライバー監視カメラ12としては、例えばCMOSやCCD等の撮像素子を備えたデジタルカメラが用いられる。
 本実施形態では、後述するように、ドライバー監視カメラ12により撮影された画像が、ドライバーの視線方向を検出するデータとして用いられる。
 周辺環境センサ部13は、車両1の周辺環境の状態を検出するセンサを有する。
 本実施形態では、周辺環境センサ部13として、車両1の周辺の物体を検出するための物体検出センサが設けられる。
 物体検出センサとしては、例えば車両1の周辺を撮影するカメラが用いられる。例えば、車両1の前部、後部、左側、右側に設置された前方カメラ、後方カメラ、左側カメラ、右側カメラが用いられる。これら前後左右に設置されたカメラにより、車両1の周辺を走行する車両等が映る景色が撮影される。あるいは、魚眼レンズ等を用いて車両1の全周を撮影可能な全周カメラ等が用いられてもよい。
 また物体検出センサとして、前後左右を検知するレーダセンサ、超音波センサ、LiDARセンサ等が用いられてもよい。これらのセンサにより、車両1の周辺にある物体の位置等が検出される。
 この他、物体検出センサの種類等は限定されず、例えばカメラとその他の測距センサ等が組み合わせて用いられてもよい。
 記憶部15は、不揮発性の記憶デバイスである。記憶部15としては、例えばSSD(Solid State Drive)等の固体素子を用いた記録媒体や、HDD(Hard Disk Drive)等の磁気記録媒体が用いられる。この他、記憶部15として用いられる記録媒体の種類等は限定されず、例えば非一時的にデータを記録する任意の記録媒体が用いられてよい。
 記憶部15には、投影装置100の全体の動作を制御するための制御プログラムが記憶される。制御プログラムは、本実施形態に係るプログラムに相当する。また記憶部15は、プログラムが記録されているコンピュータが読み取り可能な記録媒体として機能する。
 また、記憶部15には、投影パターン2の形状や色等を指定するデータが記憶される。この他、記憶部15に記憶されるデータの種類等は限定されず、投影装置100の動作に必要な任意のデータが格納されてよい。
 コントローラ20は、投影装置100が有する各ブロックの動作を制御する。コントローラ20は、例えばCPUやメモリ(RAM、ROM)等のコンピュータに必要なハードウェア構成を有する。CPUが記憶部15に記憶されている制御プログラムをRAMにロードして実行することにより、種々の処理が実行される。コントローラ20は、本実施形態に係わる情報処理装置として機能する。
 コントローラ20として、例えばFPGA(Field Programmable Gate Array)等のPLD(Programmable Logic Device)、その他ASIC(Application Specific Integrated Circuit)等のデバイスが用いられてもよい。また例えばGPU(Graphics Processing Unit)等のプロセッサがコントローラ20として用いられてもよい。
 本実施形態では、コントローラ20のCPUが本実施形態に係るプログラムを実行することで、機能ブロックとして、車両情報取得部21、軌跡算出部22、投影画像決定部23、映像データ生成部24、視線検出部25、及び周辺環境認識部26が実現される。そしてこれらの機能ブロックにより、本実施形態に係る情報処理方法が実行される。なお各機能ブロックを実現するために、IC(集積回路)等の専用のハードウェアが適宜用いられてもよい。また、これらの機能ブロックは、コントローラ20と通信可能な他のコンピュータ等により実現されてもよい。
 車両情報取得部21は、車両情報センサ部11の各センサにより検出された車両1に関する情報(車両情報)を取得する。
 本実施形態では、車両情報取得部21により、車両1の速度に関する速度関連情報が取得される。速度関連情報には、車両1の速度や速度とともに変化する加速・減速を表す情報や、それらの物理量を変化させる操作(アクセル操作・ブレーキ操作)に関する情報が含まれる。
 速度関連情報として、車両1の速度を表す速度情報、及び車両1の加速度を表す加速度情報が取得される。例えば、速度センサ及び加速度センサの検出結果が、速度情報及び加速度情報として読み込まれる。
 また速度関連情報として、アクセル情報及びブレーキ情報が取得される。このうちアクセル情報には、アクセルの開度、アクセルペダルに対する踏み込みの圧力(アクセルの操作力)が含まれる。ブレーキ情報には、ブレーキの開度、ブレーキペダルに対する踏み込みの圧力(ブレーキの操作力)が含まれる。例えば、アクセル開度センサ及びアクセルペダル圧力センサの検出結果が、アクセルの開度及び操作力として読み込まれる。またブレーキ開度センサ及びブレーキペダル圧力センサの検出結果が、ブレーキの開度及び操作力として読み込まれる。
 また、車両情報取得部21により、車両1の走行状態に関する走行状態情報が取得される。走行状態情報としては、シフトレバー情報及びサイドブレーキ情報が取得される。このうち、シフトレバー情報には、車両1のシフトポジションの状態を示す情報が含まれる。またサイドブレーキ情報には、車両1のサイドブレーキの状態を示す情報が含まれる。例えば、シフトポジションセンサ及びサイドブレーキセンサの検出結果が、シフトレバー情報及びサイドブレーキ情報として読み込まれる。
 また、車両情報取得部21により、ハンドルの操舵角を示す操舵角情報が取得される。例えば、舵角センサの検出結果が、操舵角情報として読み込まれる。
 また、車両情報取得部21により、ウィンカーの操作に関するウィンカー情報(方向指示器情報)が取得される。ウィンカー情報は、右側及び左側の指示器のオン/オフを表す情報である。
 この他、車両情報センサ部11を構成する各センサの検出結果が適宜取得される。
 軌跡算出部22は、車両1の予測軌跡5及び通過軌跡6(図2及び図3参照)を算出する。
 本実施形態では、軌跡算出部22により、車両1の操舵角情報、速度情報、及び加速度情報に基づいて、車両1が通過すると予測される予測軌跡5が推定される。ここでは、例えば現在の操舵角・速度・加速度で車両1が進行した場合に予測されるフロントタイヤ(あるいはリヤタイヤ)の軌跡が推定される。この時、遠心力やタイヤのグリップ力等に応じた補正が適宜実行されてもよい。
 なおタイヤの予測軌跡5に代えて、例えば車両1の中心の軌跡等が推定されてもよい。
 予測軌跡5を推定する方法は限定されず、例えば自動運転等で用いられる軌跡予測処理等の技術が適用可能である。
 また、本実施形態では、車両1の挙動を記録することで、車両1が通過した通過軌跡6が算出される。ここでは、車両1の操舵角・速度・加速度の記録から、フロントタイヤ(あるいはリヤタイヤ)の通過軌跡6が算出される。この処理には、例えばデッドレコニング等の技術を用いることが可能である。あるいはGPS測位やWiFi測位等が用いられてもよい。
 また例えば、予測軌跡5を記録して通過軌跡6として用いることも可能である。
 通過軌跡6を推定する方法は限定されず、例えば車両1の軌跡を再現可能な任意の処理が用いられてよい。
 本実施形態では、軌跡算出部22は、予測軌跡算出部及び通過軌跡算出部として機能する。
 投影画像決定部23は、投影パターン2の表示内容や表示パラメータを決定し、投影パターン2のデータを出力する。この処理は、投影パターン2の表示を制御する処理である。
 本開示において、投影パターン2の表示を制御する処理とは、例えば投影パターン2の表示パラメータを設定する処理である。典型的には、ラインパターン3(図2A~図2C参照)の色、幅、長さ、明滅等のパラメータが設定される。
 投影装置100では、投影画像決定部23により、周辺環境情報に基づいて、車両1に搭載された投影部10から車両1の周辺の路面に投影される投影パターン2の表示が制御される。周辺環境情報は、周辺環境センサ部13の出力に基づいて後述する周辺環境認識部26により取得される情報であり、周辺の道路や他車両の状況等を表す情報である。
 上記したように、投影パターン2のうち、第1及び第2のパターン(ここでは、前方ライン3a及び後方ライン3c)には、車両の左側及び右側に投影される1対のラインが含まれる。
 本実施形態では、投影画像決定部23により、周辺環境情報に基づいて、第1のパターン(前方ライン3a)のうち車両1のレーン変更の対象となる対象レーン側に投影される対象ラインの表示が制御される。
 ここでレーン変更とは、車線(レーン)を区切る境界線をまたいで、走行中のレーンから隣のレーンに移動する運転操作である。レーン変更には、複数車線を走行中に車線を変更する運転操作や、合流車線において合流先の車線に進入する運転操作、あるいは路肩へ進入する運転操作等が含まれる。このような運転操作の移動先となるレーンが対象レーンとなる。
 投影画像決定部23では、前方ライン3aのうち対象レーンに近い側に投影される対象ラインの表示パラメータが、車両1の周辺を走行する車両等の情報(周辺環境情報)を用いて制御される。
 周辺環境情報や対象ラインの表示制御の内容については、後に詳しく説明する。
 また投影画像決定部23では、軌跡算出部22により算出された車両1の軌跡(予測軌跡5及び通過軌跡6)を表すようにラインパターン3の形状が制御される。
 具体的には、投影画像決定部23により、予測軌跡5を表す第1のパターンが生成される。すなわち、前方ライン3aの形状が予測軌跡5に沿った形状に設定される。
 また、投影画像決定部23により、通過軌跡6を表す第2のパターンが生成される。すなわち、後方ライン3cの形状が通過軌跡6に沿った形状に設定される。
 また前方ライン3a(又は後方ライン3c)における、左側及び右側のラインの間隔は、車両 の車幅を表すように設定されてもよい。
 本実施形態では、投影画像決定部23は、投影制御部に相当する。
 映像データ生成部24は、投影画像決定部23から出力された投影パターン2のデータに基づいて、各投影部10に出力する映像データをそれぞれ生成する。
 例えば、車両1の上方から見た場合の投影パターン2の形状を表すフレーム画像が生成される。このフレーム画像に対して、各投影部10の投影角度等に応じて、投影に伴う歪みや明るさの偏り等を補正する処理が実行される。このように歪み等が補正された一連のフレーム画像が、映像データとなる。
 この他、投影パターン2を適正に投影するための任意の画像処理等が実行されてもよい。
 視線検出部25は、ドライバー監視カメラ12により撮影されたドライバーの画像に基づいて、ドライバーの視線方向を検出する。視線方向を検出する方法は限定されず、例えば、ドライバーの瞳孔(黒目)の向きから視線を検出する瞳孔法等が用いられる。この他、ドライバーの画像を用いて視線方向を検出可能な任意の方法が用いられてよい。
 また視線方向に代えて、ドライバーの顔の向き等が検出されてもよい。この場合、ドライバーが左右に顔を回転させた角度等が検出される。
 視線検出部25からは、ドライバーの視線方向を表す視線情報、又はドライバーの顔向きを表す顔向き情報が投影画像決定部23に出力される。
 図5は、周辺環境認識部26の構成例を示すブロック図である。
 周辺環境認識部26は、周辺環境センサ部13の出力に基づいて、車両1の周辺環境に関する認識処理を実行する。そして車両1の周辺に存在する物体(歩行者、他車両、縁石等)を検出し、周辺環境に関する各種の情報(周辺環境情報)を算出する。すなわち、周辺環境認識部26は、車両の周辺の環境に関する周辺環境情報を算出して取得する。
 本実施形態では、周辺環境認識部26は、取得部に相当する。
 図5に示すように、周辺環境認識部26は、物体検出部30と、相対速度算出部31と、レーン検出部32と、空間認識部33とを有する。
 物体検出部30は、周辺環境センサ部13の検出結果に基づいて、車両1の周辺の物体を検出する。物体検出部30としては、例えば機械学習等を用いて画像認識処理を実行する学習器が用いられる。
 例えば、周辺環境センサ部13としてカメラが設けられる構成では、カメラにより撮影された画像が物体検出部30に入力される。
 この場合、予め学習により生成された参照情報を用いて、入力された画像中の物体が検出され、その属性が特定される。参照情報は、例えば物体の種類と特徴とを対応付けて記憶した辞書情報である。また、学習器としてDNN(Deep Neural Network)等が用いられる場合には、認識モデル情報等が参照情報として用いられる。この処理では、車両1の周辺の物体が検出されるとともに、車(例えば乗用車、トラック、バス等の大型車といった車の種類)、自動二輪車、自転車、人等の物体の属性が特定される。検出された物体については、例えば通し番号のIDがそれぞれ付与される。
 また、検出された各物体について、画像中の位置が特定される。この時、画像中の位置から物体までの距離(相対距離)が算出されてもよい。
 物体検出部30からは、各物体についてのID情報、属性情報、距離情報、位置情報が出力される。
 相対速度算出部31は、物体検出部30から出力された物体に関する情報に基づいて、車両1に対する物体の相対速度を算出する。
 例えば、各物体について、単位時間当たりの距離の変化が算出され、距離の変化から自車(車両1)に対する相対速度が算出される。
 相対速度算出部31からは、各物体についてのID情報、属性情報、距離情報、位置情報、及び速度情報が出力される。
 レーン検出部32は、車両1が走行する道路上のレーン(車線)を検出する。例えば、車両1の前後左右に設けられたカメラにより撮影された道路の画像から、エッジ検出処理等を用いて白線(道路の通行帯を分離する境界線)を認識する処理や縁石を検出する処理が実行される。この白線や縁石等の間の領域が車両1が走行する走行レーンとして検出される。この他、走行レーン40に隣接する隣接レーンや、路肩の領域等が検出されてもよい。
 レーン検出部32からは、レーンの領域を示す情報が出力される。
 空間認識部33は、物体検出部30及びレーン検出部32の検出結果に基づいて、車両1の周辺空間の状況を認識する。
 具体的には、レーン検出部32から出力された走行レーンの情報等から隣接レーンが特定される。また物体検出部30の出力から、隣接レーン上を走る他の車両の位置、大きさ等の情報が抽出される。そして抽出された情報を用いて、空きスペースの位置と大きさが算出される。ここで空きスペースとは、例えば他の車両が存在しないスペースである。
 また、空きスペースの位置・大きさの情報を用いて、自車両1がレーン変更(レーンチェンジ)できるスペース(すなわち対象レーンで車両1が入ることができる移動可能スペース)があるかどうかが判定される。この判定結果は、移動可能スペース有無の情報として出力される。
 また、自車両1の走行レーン、隣やその隣のレーンにある物体(典型的には他の車両)の有無を判定し、各レーンにおける物体の情報をレーン状況情報として算出する。
 空間認識部33からは、空きスペース情報(位置・大きさ)、移動可能スペースの有無を示す情報、レーン状況情報が出力される。
 本実施形態では、図5に示すように、相対速度算出部31及び空間認識部33の出力が周辺環境認識部26の最終的な出力となる。従って、周辺環境認識部26からは、物体についてのID情報、属性情報、距離情報(相対距離)、位置情報、及び速度情報(相対速度)に関する情報が出力される。さらに、空きスペース情報、移動可能スペースを示す情報、及びレーン状況情報が出力される。これらの情報は、いずれも周辺環境情報に相当する。
 また周辺環境センサ部13として、カメラ以外のレーダセンサ、超音波センサ、LiDARセンサ等が用いられる場合、物体検出部30により物体の位置及び距離が検出され、検出された物体にIDが付与される。この際、物体の属性情報は出力されない。
 そして、相対速度算出部31により、検出された物体の相対速度が算出される。この場合、周辺環境認識部26(相対速度算出部31)の出力は、物体のID情報、距離情報、位置情報、及び速度情報となる。なおレーダセンサが用いられる場合は、その出力から物体検出だけではなく相対速度も検出可能である。
 図6は、投影装置100の基本的な動作例を示すフローチャートである。図6に示す処理は、例えば、投影装置100の動作中に繰り返し実行されるループ処理である。ここでは、車両1が前進走行をしており、投影パターン2の投影モードとして通常ドライビングモード(又は低速ドライビングモード)が選択されているものとする。
 まず、車両情報取得部21により、速度関連情報が取得される(ステップ101)。
 具体的には、車両1の各部に設けられたセンサから、速度関連情報として、速度情報、加速度情報、アクセル情報(アクセルの開度・操作力)、及びブレーキ情報(ブレーキの開度・操作力)が読み込まれる。
 またこの時、走行状態情報(シフトレバー情報、サイドブレーキ情報)、及び操舵角情報等も読み込まれる。
 次に、軌跡算出部22により、車両1の軌跡(予測軌跡5及び通過軌跡6)が算出される(ステップ102)。
 ここでは、図2A及び図2Bに示すように、前進走行中に用いられる投影モード(通常ドライビングモード、低速ドライビングモード)が選択されており、車両1のフロントタイヤの予測軌跡5、及びリアタイヤの通過軌跡6が算出される。
 次に、周辺環境認識部26により、周辺環境を認識する各種の処理が実行され、周辺環境情報が算出される(ステップ103)。
 本実施形態では、周辺環境情報として、車両1のレーン変更の対象となる対象レーンを含む車両1の周辺の交通状況を表す交通状況情報が算出される。
 交通状況情報には、対象レーンの空きスペースを表す情報が含まれる。これは、上記した空きスペース情報及び移動可能スペースを示す情報である。また交通状況情報には、車両1の周辺を走行する他車両の配置情報が含まれる。これは、例えば属性情報により車と判定された物体の距離情報、位置情報、及びレーン状況情報である。また、交通状況情報には、車両1に対する他車両の相対速度に関する情報が含まれる。これは、例えば車と判定された物体の速度情報である。なお、属性情報が検出されない場合等には、単に物体の位置情報や速度情報が検出される。
 図7は、レーン変更を行う際の車両1の前方の様子を示す模式図である。ここでは、車両1が走行している走行レーン40aが、走行レーン40aの右側の隣接レーン40bに合流する。従って、車両1の前方では、走行レーン40aが徐々に狭くなっており、ドライバーは、走行レーン40aがなくなる前に、右側の隣接レーン40bにレーン変更(合流)する必要がある。
 周辺環境認識部26では、例えば物体検出部30により、隣接レーン40を走行する他車両50が検出される。ここでは、車両1の右前方を走行するトラックが他車両50として検出される。この他、車両1の側方や後方の他車両50(図示省略)も検出可能である。そして各他車両50に関する位置情報、距離情報等がそれぞれ算出される。
 また相対速度算出部31により、他車両50の移動量等から車両1に対する相対速度(速度情報)が算出される。
 またレーン検出部32により、レーンを分ける境界線51(左側の実線や右側の点線)が検出され、走行レーン40aの領域を表す情報が算出される。
 さらに空間認識部33により、走行レーン40aの領域に隣接する隣接レーン40bが検出され、隣接レーン40bにおける他車両50の位置情報等に基づいて、空きスペース52(図中の斜線の領域)の位置及び大きさが算出される。
 また空間認識部33では、車両1が移動可能な位置に十分な大きさの空きスペース52が存在するか否かが判定される。図7に示す例では、例えば右前方の他車両50との距離が近く、車両1が入るスペースがない(移動可能スペースがない)と判定される。
 また空間認識部33では、隣接レーン40bにおける他車両50の情報(空間配置等)を示すレーン状況情報が算出される。
 図6に戻り、投影画像決定部23により、レーン変更の予備動作が検出される(ステップ104)。レーン変更の予備動作とは、例えばドライバーがレーン変更をする直前に行う動作であり、レーン変更をする側(図7では右側)を目視するために視線あるいは頭部を動かす動作である。
 本実施形態では、図4に示す視線検出部25により、ドライバーの視線方向又は顔の向きが常時モニタリングされる。投影画像決定部23は、視線検出部25の検出結果に基づいて、ドライバーの視線移動を追跡し、サイドミラー越し又は直接目視で、左側方あるいは右側方を確認する動作(レーン変更の予備動作)の有無が検出される。
 また、予備動作が検出された場合には、同時にドライバーが目視により確認した確認方向(左側及び左側)を示す情報が算出される。
 次に、レーン変更の予備動作が検出されたか否かが判定される(ステップ105)。
 例えば、予備動作が検出されなかった場合(ステップ105のNo)、投影画像決定部23では、投影パターン2についての通常表示処理が実行される(ステップ106)。
 通常表示処理とは、例えばレーン変更を行わない場合に用いられる表示処理である。この処理では、前方ライン3a及び後方ライン3cを構成する左右の各ラインが同じ表示パラメータ(色、幅、長さ、明滅)に設定される。
 予備動作が検出された場合(ステップ105のYes)、投影画像決定部23では、投影パターン2についてのレーン変更表示処理が実行される(ステップ107)。
 レーン変更表示処理は、レーン変更が行われる場合に用いられる表示処理である。具体的には、前方ライン3a(第1のパターン)のうち、レーン変更の対象となる対象レーン側に投影される対象ラインの表示パラメータが、上記した交通状況情報(周辺環境情報)に応じて設定される。
 図7に示す例では、走行レーン40aの右側の隣接レーン40bが、対象レーン41となる。また前方ライン3aのうち、対象レーン41に近い右側のラインが対象ライン53となる。
 このように、本実施形態では、視線方向の変化に基づいて、対象ライン53の表示制御を実行するか否かが判定される。
 なお、予備動作を検出する方法は限定されない。例えば一定以上の速度で行われるウィンカー操作等が予備動作として検出されてもよい。また、視線方向の変化とウィンカー操作との両方が予備動作として検出されてもよい。例えば視線方向の変化が検出されてから一定時間内にウィンカー操作が検出されない場合には、レーン変更表示処理を通常表示処理に切り替えてもよい。これにより、前方ライン3aを不必要に変化させるといった事態が回避される。
 レーン変更表示処理の内容について具体的に説明する。
 本実施形態では、交通状況情報に基づいて車両1のレーン変更に伴う変更リスクが推定される。変更リスクは、例えば車両1がレーン変更を行った場合に、他車両50との接触や衝突等が発生する可能性を示すパラメータである。
 例えば、車両1がレーン変更をすることが可能な空きスペース52(移動可能スペース)が存在した場合、変更リスクは低く設定される。一方で移動可能スペースが小さいほど、あるいは移動可能スペースが離れているほど、変更リスクは高く設定される。また、移動可能スペースが存在しない場合、移動可能スペースが存在する場合に比べ高く設定される。
 また例えば、隣接レーン40において、他車両50が検出されている場合、他車両50との距離が近いほど変更リスクは高く設定される。また後方に存在する他車両50との相対速度が大きいほど、変更リスクは高く設定される。逆に前方に存在する他車両50との相対速度が大きいほど、変更リスクは低く設定される。また側方に他車両が存在する場合には、後方や前方にのみ他車両50が存在する場合に比べ高く設定される。
 変更リスクとしては、例えば各項目ごとに算出された合算値が用いられる。
 あるいは、他車両50の配置や相対速度からコストマップ等が生成され、移動可能スペースにおけるコストの値が変更リスクとして推定されてもよい。
 また、他車両50のウィンカー等の情報や移動予測の情報等が用いられてもよい。
 また、対象レーン41の状況に加えて、車両1から見て対象レーン41の奥側に隣接するレーン等の状況に応じて変更リスクが推定されてもよい。
 この他、変更リスクを推定する方法は限定されず、例えば他車両50との接触や衝突の可能性を推定可能な任意の方法が用いられてよい。
 投影画像決定部23では、変更リスクに基づいて対象ライン53の色又は明滅を制御する処理が実行される。具体的には、変更リスクに対応する色が、対象ライン53の色として設定される。あるいは、変更リスクが一定の値を超えた場合等に、対象ライン53を明滅させる旨の指示が出力される。この場合、明滅の早さ等が変更リスクに応じて設定されてもよい。
 これにより、レーン変更の運転操作を十分にサポートすることが可能となり、レーン変更の安全性を大幅に高めることが可能となる。
 図8は、レーン変更を行う際に投影される前方ライン3aの一例を示す模式図である。図8A~図8Cに示す前方ライン3aは、レーン変更の予備動作が検出された場合に投影される。ここでは、前方ライン3aのうち車両1の右側(図中の上側)に投影されるラインが対象ライン53となっている。
 図8Aは、レーン変更が安全である場合に投影される前方ライン3aである。この場合、対象ライン53の色は、例えば緑色に設定される。なお対象ライン53の反対側のライン(車両1の左側のライン)は、例えば通常表示処理で用いられる色(白色等)に設定される。これは、図8B及び図8Cでも同様である。
 図8Bは、レーン変更に注意が必要である場合に投影される前方ライン3aである。この場合、対象ライン53の色は、例えばオレンジ色(橙色)に設定される。
 図8Cは、レーン変更が危険である場合に投影される前方ライン3aである。この場合、対象ライン53の色は、例えば赤色に設定される。
 レーン変更の安全レベル(安全・注意・危険等)は、例えば、上記した変更リスクについての閾値処理を実行することで判定される。例えば、変更リスクがその最大値の0%~30%の場合には安全レベルが"安全"と判定され、変更リスクが30%~70%の場合には安全レベルが"注意"と判定され、変更リスクが70%~100%の場合には安全レベルが"危険"と判定される。もちろん、変更リスクを判定する範囲等は任意に設定可能である。
 このように、本実施形態では、変更リスクを複数のレベルにわけて判定し、判定されたレベルごとに対象ライン53が異なる色に設定される。これにより、ドライバーは前方を見たままでレーン変更の安全レベルを容易に認識することが可能となる。
 また対象ライン53の色を変化させる制御に加えて、明滅等が制御されてもよい。この場合、変更リスクがある値を超えた場合には、対象ライン53を明滅させるといった処理が実行される。これにより、ドライバーに対して、レーン変更の安全レベルを確実に知らせることが可能となる。
 この他、変更リスクに応じて、対象ライン53の幅や長さを変更するといった処理が行われてもよい。
 また前方ライン3aの対象ライン53に加えて、中央ライン3bや後方ライン3cの表示が制御されてもよい。具体的には、対象ライン53と同じ側、すなわちレーン変更の対象レーン41側に投影される中央ライン3b及び後方ライン3cの表示が制御される。
 例えば、レーン変更の予備動作が検出された時点で、中央ライン3b及び後方ライン3cの対象レーン41側のラインがオレンジ色で明滅表示される。これは、例えばウィンカーによる方向指示と同様のサインとして機能し、他車両50に対して車両1がレーン変更を行う旨を伝えることが可能となる。
 この他、中央ライン3b及び後方ライン3cの色等を変更リスクに応じて変化させる制御が実行されてもよい。
 図6に戻り、通常表示処理、又はレーン変更表示処理が完了すると、映像データ生成部24により、ラインパターン3(前方ライン3a及び後方ライン3c)のデータに基づいて、各投影部10に出力する映像データが生成される(ステップ108)。例えば、ラインパターン3を表すフレーム画像が生成される。このフレーム画像に対して、投影部10の投影角度等に応じた補正処理を実行することで映像データが生成される。生成された映像データは、各投影部10にそれぞれ出力される。
 そして車両1に設けられた各投影部10により、映像データに基づいて対応するラインパターン3がそれぞれ投影される(ステップ109)。例えば、図1に示す投影部10a及び10eにより前方ライン3aが投影され、投影部10b、10c、10f、10gにより中央ライン3bが投影され、投影部10d及び10hにより後方ライン3cが投影される。
 図9は、合流車線におけるレーン変更の一例を示す模式図である。図9A~図9Dには、本線に接続される進入レーンから、車両1が本線に合流するためのレーン変更を行う過程が4段階に分けて順番に図示されている。また図中の点線は、例えば車両1のヘッドライトが照射される範囲を表している。
 図9Aでは、進入レーン(走行レーン40a)を走行している車両1が、進入レーンと本線とが接続する合流区間に進入している。本線は2車線の道路であり、ここでは、本線左側のレーン(隣接レーン40b)が、レーン変更の対象となる対象レーン41となる。
 合流区間に進入した段階では、レーン変更の予備動作が検出されておらず、車両1の投影パターン2は、通常表示処理により設定されたパターンである。例えば前方ライン3aは白色、中央ライン3bは青色、後方ライン3cは赤色に設定される。
 図9Bでは、レーン変更の予備動作が検出され、レーン変更表示処理が開始されている。この時、ドライバーが視線を向けた方向やウィンカーの指示方向から、隣接レーン40bが対象レーン41として設定される。
 また対象レーン41において車両1の右前方を走行する他車両50aと右後方を走行する他車両50bとが検出される。この時、車両1の右側には移動可能スペースがあるものの、他車両50bとの距離が比較的近いため、変更リスクは注意レベルであると判定される。従って、対象ライン53は、オレンジ色に設定される(図8B参照)。
 一方で、前方ライン3aの対象ライン53の反対側のラインは、通常の表示色(白色)に設定される。
 また、レーン変更表示処理が開始されたため、中央ライン3b及び後方ライン3cもオレンジ色に変更される。
 図9Cでは、それまで右後方にいた他車両50bが、車両1の側方を走行している。このため、車両1がレーン変更を行うと衝突する可能性が高い。このため、変更リスクは危険レベルであると判定される。従って、対象ライン53は、赤色に設定される(図8C参照)。
 このように、レーン変更をする側に赤い対象ライン53が投影されるため、ドライバーは視線を前方に向けたまま、レーン変更が危険であることを認識可能となる。
 図9Dでは、それまで側方にいた他車両50bが、車両1を追い越して右前方を走行している。また他車両50bの後方には、他車両50cが検出される。ここでは他車両Cの位置が十分に遠くまた相対速度も低いものとして、変更リスクは安全レベルであると判定される。従って、対象ライン53は、緑色に設定される(図8C参照)。
 これにより、ドライバーは、視線方向を変えることなくレーン変更が可能な状態となったことを確認することが可能となる。
 また図9Dでは、対象ライン53の内、合流区間内に投影される部分(すなわち走行レーン40aの末端までの部分)の色が緑色に設定され、それよりも先の部分は他の色(例えばオレンジ色)に設定される。合流区間内に投影される部分は、車両1が走行可能な部分である。また合流区間よりも先の部分は、車両1が走行できない部分である。
 例えば前方ライン3aを撮影した画像において前方ライン3aが障害物(ガードレール等)により歪んだ位置を検出することで、走行可能な範囲が検出される(図19参照)。あるいは、周辺の地図情報とGPS測位の情報等から走行可能な範囲が検出されてもよい。
 なお、図9Dでは、対象ライン53と反対側のラインも同様の手法で色分けされる。
 このように、本実施形態では、対象ライン53を車両1が走行できる部分と車両1が走行できない部分とに色分けされる。そして、車両1が走行できる部分に対して、変更リスクに応じた表示の制御が適用される。
 これにより、合流区間の終了位置までの距離等を、ドライバーに提示することが可能となり、レーン変更のタイミング等を計るサポートを行うことが可能となる。
 以上、本実施形態に係るコントローラ20では、車両1に設けられた投影部10から周辺の路面に投影パターン2が投影される。この投影パターン2の表示が車両1の周辺の環境に関する周辺環境情報に基づいて制御される。これにより、例えば車両1がおかれた状況等を、投影パターン2を介して車両1の内外に提示することが可能となり、運転時の安全性を高めることが可能となる。
 自動車を運転中、車線の変更や合流を行う場合、前方の確認をしながら、側方や斜め後方の車両との距離と相対速度を把握し、車線変更のタイミングを決定する必要がある。また交通状況によってはこのような作業を瞬時に行う必要がある。例えば夜間は、相対速度を瞬間的に判断することが難しい場合があり得る。一方で側方や斜め後方を注視していると、前方確認が疎かとなり、交通事故やヒヤリハットにつながる危険性がある。このような車線変更時の危険性を低減する方法として、電子ミラーや、車内のインストルメントパネル上に警告や相対速度等を表示する方法も考えられるが、いずれも視線の移動を伴い、依然として前方の安全確認がおろそかになる恐れがある。
 本実施形態では、車両1が走行する周辺環境情報を用いて、レーン変更の対象となる側に投影される前方ライン3aの表示が制御される。前方ライン3aは、ドライバーの正面に投影されているため、ドライバーは前方を注視したまま、後方車両の有無や、距離、相対速度等をドライバー確認することが可能となり、安全な車線変更や合流を多くの人々に提供することが可能となる。
 <第2の実施形態>
 本技術に係る第2の実施形態の投影装置について説明する。これ以降の説明では、上記の実施形態で説明した投影装置100における構成及び作用と同様な部分については、その説明を省略又は簡略化する。
路面表示装置(後続車への注意
車輪の軌跡を路面に表示することで、運転手の課題を解決する
 図10は、第2の実施形態に係る投影装置の構成例を示すブロック図である。
 本実施形態では、周辺環境情報を用いた投影パターン2の表示制御として、車両1の後続車両に関する情報(後続車両情報)から推定された衝突リスクに応じて、走行方向の後方に投影される第2のパターンの表示が段階的に制御される。
 図10に示すように、投影装置200は、投影部210と、車両情報センサ部211と、周辺環境センサ部213と、記憶部215と、コントローラ220とを有する。このうち、投影部210、車両情報センサ部211、及び記憶部215は、例えば図4に示す投影部10、車両情報センサ部11、及び記憶部15と同様に構成される。
 周辺環境センサ部213は、車両1の周辺環境の状態を検出するセンサを有する。
 本実施形態では、周辺環境センサ部213として、車両1の後方の物体を検出するための後方センサ(車両1の後部に設置された後方カメラ、レーダセンサ、超音波センサ、LiDARセンサ等)が設けられる。
 この他、図4に示す周辺環境センサ部213と同様のセンサ(前方カメラや側方カメラ等)が設けられてもよい。
 コントローラ220は、投影装置200が有する各ブロックの動作を制御する。本実施形態では、コントローラ220のCPUが、記憶部215に記憶された本実施形態に係るプログラムを実行することで、機能ブロックとして、車両情報取得部221、軌跡算出部222、投影画像決定部223、映像データ生成部224、及び周辺環境認識部226が実現される。
 このうち、車両情報取得部221、軌跡算出部222、及び映像データ生成部224は、例えば図4に示す車両情報取得部21、軌跡算出部22、及び映像データ生成部24と同様に構成される。
 投影画像決定部223は、投影パターン2の表示内容や表示パラメータを決定し、投影パターン2のデータを出力する。
 本実施形態では、投影画像決定部223は、後続車両情報に基づいて前記後続車両との衝突リスクを推定し、前記衝突リスクに応じて第2のパターンを不連続に変化させる。
 ここで、後続車両情報とは、車両1の後方を走行する後続車両に関する情報であり、後述する周辺環境認識部226により算出される周辺環境情報である。
 また衝突リスクとは、後続車両が車両1に衝突する可能性等を表すパラメータである。
 投影画像決定部223では、例えば衝突リスクのレベルに合わせて第2のパターンの表示パラメータが段階的に変化するように設定される。
 図11は、周辺環境認識部226の構成例を示すブロック図である。
 周辺環境認識部226は、周辺環境センサ部213の出力に基づいて、車両1の周辺環境に関する認識処理を実行する。そして車両1の周辺に存在する物体(歩行者、他車両、縁石等)を検出し、物体に関する各種の情報を算出する。
 周辺環境認識部226は、物体検出部230と、相対速度算出部231とを有する。物体検出部230は、車両1の周辺の物体の距離情報や位置情報等を検出する。相対速度算出部231は、各物体の車両1に対する相対速度を検出する。
 物体検出部230及び相対速度算出部231は、例えば図4に示す物体検出部30及び相対速度算出部31と同様に構成される。
 本実施形態では、物体検出部230により車両1の周辺の物体のうち、特に車両1の後方の後続車両が検出され、その距離情報や位置情報が算出される。そして相対速度算出部231により、後続車両の相対速度が算出される。
 すなわち、周辺環境認識部226では、後方カメラ等の検出結果に基づいて、車両1の後続車両に関する後続車両情報が算出される。従って、周辺環境認識部226は、後続車両情報を算出して取得する。後続車両情報には、後続車両のID情報、属性情報、車間距離を表す距離情報(又は相対位置を表す位置情報)、及び相対速度を表す速度情報が含まれる。なお後続車両には、自動車、自動二輪車、及び自転車等が含まれる。
 図12は、投影装置200の基本的な動作例を示すフローチャートである。図13は、衝突リスクに応じた後方パターンの一例を示す模式図である。
 図13に示す処理は、例えば、投影装置200の動作中に繰り返し実行されるループ処理である。またこの処理は、後続車両が検出された場合や、後続車両の相対速度が速い場合、あるいは後続車両との車間距離が近い場合等に実行されてもよい。
 まず、車両情報取得部221により、速度関連情報が取得され(ステップ201)、その後、軌跡算出部222により、車両1の軌跡(予測軌跡5及び通過軌跡6)が算出される(ステップ202)。そして、周辺環境認識部226により、後続車両が検出され後続車両情報が算出される(ステップ203)。
 次に、投影画像決定部223により、衝突リスクが推定される(ステップ204)。
 衝突リスクは、例えば後続車両との相対距離が近いほど、また後続車両との相対速度が速いほど高い値に設定される。一例として、相対速度/相対距離が衝突リスクとして算出される。あるいは、相対距離及び相対速度のどちらか一方から衝突リスクが算出されてもよい。またブレーキ情報等を参照して自車両1の減速量等を加味した衝突リスクが算出されてもよい。
 次に、衝突リスクが第1の閾値以上であるか否かが判定される(ステップ205)。第1の閾値は、例えば衝突リスクが比較的高い場合を検出するための閾値である。第1の閾値は、例えば衝突リスクの最大値の30%~50%程度の値に設定される。
 この他、第1の閾値は適宜設定可能である。
 衝突リスクが第1の閾値未満である場合(ステップ205のNo)、投影画像決定部223により、通常表示で第2のパターンを投影する旨が決定される(ステップ206)。通常表示とは、通常のブレーキ操作における表示方法(通常表示処理)である。
 図13Aには、通常表示における第2のパターン(後方ライン3c)の表示例が模式的に図示されている。ここでは、比較的細い幅に設定された後方ライン3cが投影される。また後方ライン3cは、例えばブレーキランプ35と同系統の赤色に設定される。
 図12に戻り、衝突リスクが第1の閾値以上である場合(ステップ205のYes)、衝突リスクが第2の閾値以上であるか否かが判定される(ステップ207)。第2の閾値は、例えば衝突リスクが十分に高い状態を検出する閾値である。例えば衝突リスクの最大値の50%以上の値が第2の閾値として設定される。
 この他、第2の閾値は適宜設定可能である。
 衝突リスクが第2の閾値未満である場合(ステップ207のNo)、投影画像決定部223により第2のパターンの幅を比較的太い固定幅で表示する旨が決定される(ステップ208)。この方法は、第2のパターンを静的に強調して表示する方法であるといえる。
例えば第2のパターンの幅が最大幅に設定される。あるいは、第2のパターンの幅が最大幅の90%や80%程度の幅に設定されてもよい。
 図13Bには、太い幅で表示された第2のパターン(後方ライン3c)の表示例が模式的に図示されている。ここでは、通常表示よりも太い固定幅に設定された後方ライン3cが投影される。これにより、ブレーキランプ35に加えて太い後方ライン3cが投影されるため、車両1に対する衝突リスクが高まっていることを後続車両に強調して伝えることが可能となる。
 図12に戻り、衝突リスクが第2の閾値以上である場合(ステップ207のYes)、投影画像決定部223により、明滅表示で第2のパターンを投影する旨が決定される(ステップ209)。
 明滅表示とは、第2のパターンを明滅させて表示させる表示方法であり、第2のパターンを動的に強調して表示する方法であるといえる。
 図13Cには、明滅表示における第2のパターン(後方ライン3c)の表示例が模式的に図示されている。明滅表示では、例えば後方ライン3cの幅が図13Bの固定幅と同じか、それ以上の幅に設定される。そして後方ライン3cの少なくとも一部が明滅するように表示される。また後方ライン3cの一部が明滅する場合、明滅する部分が移動するような表示も可能である。すなわち後方ライン3cは、アニメーションとして表示されてもよい。これにより、ブレーキランプ35に加えて明滅する後方ライン3cが投影されるため、車両1に衝突する危険性があることを十分に強調して伝えることが可能となる。この結果、後続車両等に対して効果的に注意を喚起することが可能となる。
 図12に戻り、ステップ206、ステップ208、及びステップ209において、第
2のパターンの表示が設定された後、映像データ生成部224により、設定されたデータに基づいて各投影部210に出力する映像データが生成される(ステップ210)。そして、車両1に設けられた各投影部210により、映像データに基づいて対応するラインパターン3がそれぞれ投影される(ステップ211)。
 このように、本実施形態では、投影画像決定部223は、衝突リスクが第1の閾値以上でありかつ第1の閾値よりも大きい第2の閾値未満である場合、第2のパターンの幅を大きくし、衝突リスクが第2の閾値以上である場合、第2のパターンを明滅させる。
 これにより、後続車両に対して、前方にいる車両1との衝突の可能性を分かりやすく伝えることが可能となる。
 衝突リスクを算出する際に、ブレーキ操作の度合い等が用いられてもよい。例えば、ブレーキの強さが大きいほど、車両1の減速度が上昇するため、衝突リスクが高く設定される。これにより、後続車両との衝突等を十分に回避することが可能となる。
 図12に示す動作例では、衝突リスクに応じた第2のパターンの不連続な表示制御について説明した。衝突リスクに代えて、例えば車両1におけるブレーキ操作の度合いに応じて、第2のパターンを不連続に制御することも可能である。
 具体的には、投影画像決定部223により、ドライバーが行ったブレーキ操作の度合いが推定される。そして、ブレーキ操作の度合いに応じて後方パターンの表示を段階的に変化させる処理が実行される。この処理は、例えば図12に示す処理を、衝突リスクの代わりに、車両1のブレーキ操作の度合いを用いて実行する処理である。
 また図12等を参照して説明した処理では、後続車両への警告表示となるパターン(後方ライン)が切り替えて表示された。これに加えて、例えば後続車両に向けて、指向性スピーカー等を用いて警告音を発することも可能である。この場合、明滅表示等の警告とともに、聴覚的な警告音が伝えられるため、ブレーキ操作や衝突リスクを効果的に伝えることが可能となる。
 信号や渋滞の最後尾等において、停止した自動車に後続車両が衝突するといった事故が報告されている。このような事故を防ぐ対策として、「ポンピングブレーキ操舵でブレーキランプを点滅させる」といった操作や、「ハザードを点ける」といった操作が、自己防衛手段として推奨されている。このような操作を自動化する方法として、例えば、後続車両を監視し、追突の危険がある場合は、自動的にハザードランプを点滅させるといった手法が考えられる。一方でこのような操作は、十分な効果を発揮しない場合もあり、後続車のドライバーに自車両が停止していることを気が付かせる、効果的な警告方法等が求められている。
 本実施形態では、走行する車両1の後方に車輪の軌跡等を表示する後方ライン3c(第2のパターン)が投影される。この第2のパターンが、後続車両との衝突リスクに応じて、線幅を太くする表示(図13B参照)や、明滅表示(図13C参照)に切り替えられる。このように、静的な表示だけでなく、動的な表示を用いて、後続車両のドライバーに前方への注意を促すことが可能となる。これにより、後続車両との衝突等の発生を十分に回避することが可能となる。
 <第3の実施形態>
 本実施形態では、車両1の進行方向の前方に投影される第1のパターン(典型的には、前方ライン3a)として、車両1の車幅を表す1対のラインパターン3が投影される。従って、第1のパターンは、車幅の延長線として機能する。そして車幅に対応するラインパターン3の表示が、車両1とその周辺の物体との位置関係に基づいて制御される。
 このように、車幅の延長線を路面に表示することで、周辺の物体との距離等をわかりやすく提示することが可能となり、運転手の車幅認識を補助することが可能となる。
 図14は、第3の実施形態に係る投影装置の構成例を示すブロック図である。
 図14に示すように、投影装置300は、投影部310と、車両情報センサ部311と、周辺環境センサ部313と、記憶部315と、コントローラ320とを有する。このうち、投影部310、車両情報センサ部311、周辺環境センサ部313、及び記憶部315は、例えば図4に示す投影部10、車両情報センサ部11、周辺環境センサ部13、及び記憶部15と同様に構成される。
 コントローラ320は、投影装置300が有する各ブロックの動作を制御する。本実施形態では、コントローラ320のCPUが、記憶部315に記憶された本実施形態に係るプログラムを実行することで、機能ブロックとして、車両情報取得部321、軌跡算出部322、投影画像決定部323、映像データ生成部324、及び周辺環境認識部326が実現される。
 このうち、車両情報取得部321、軌跡算出部322、及び映像データ生成部324は、例えば図4に示す車両情報取得部21、軌跡算出部22、及び映像データ生成部24と同様に構成される。
 投影画像決定部323は、投影パターン2の表示内容や表示パラメータを決定し、投影パターン2のデータを出力する。
 本実施形態では、投影画像決定部323により、前方ライン3a(第1のパターン)として車両1の車幅を表す1対のラインが生成される。
 車両1の車幅とは、例えば車両本体の最大の横幅である。あるいは、サイドミラー等を含めた横幅が車幅として用いられてもよい。
 例えば、前方ライン3aを構成する各ラインの幅が十分に細い場合(例えば10cm未満)、各ラインの中心の間隔(中心幅)が車両1の車幅に設定される。また各ラインの幅が比較的太い場合(例えば10cm以上)には、各ラインの車両1に対して外側となる端縁の間隔(外幅)が車両1の車幅に設定される。この他、車両1の車幅を表すことが可能なように、各ラインの形状等に応じて、ライン間の間隔が設定されてよい。
 なお、前方ライン3aは、上記の実施形態と同様に、車両1の予測軌跡5を表す形状に設定される。
 以下では、車幅を表す前方ライン3aを車幅ラインと記載する。また車幅ライン(前方ライン3a)の内、車両1の右側及び左側に投影されるラインをそれぞれ右ライン及び左ラインと記載する。
 さらに投影画像決定部323では、車両1の周辺の物体と車両1との位置関係を表す位置関係情報に基づいて1対のラインの表示が個別に制御される。
 位置関係情報とは、車両1の周辺の環境に存在する物体(他車両、歩行者、縁石、ガードレール、道路の白線等)と、車両1との位置関係を表すことが可能な情報であり、周辺環境認識部326により取得される周辺環境情報である。例えば、物体と車両1との距離、車両1からみた物体の相対位置や相対方位は、位置関係情報となる。また車両1及び物体の位置情報がそのまま、位置関係情報として用いられてもよい。
 投影画像決定部323では、例えば車両1と物体の位置関係を基に、車両1と物体との接近や物体に対する車両1のずれ等が検出される。このような検出結果を表すように、右ライン及び左ラインの表示パラメータ(典型的には色及び明滅)がそれぞれ設定される。この点については、後に詳しく説明する。
 また本実施形態では、車幅ラインに加えて、車両1が走行するレーンを区切る境界線51を表す投影パターン2(以下境界線パターンと記載する)が生成される。この境界線パターンは、例えば後述するレーン検出部332により検出された白線の検出結果を用いて生成される。また例えば車両1の姿勢変化等が検出可能な場合には、車両1の姿勢変化に応じて境界線パターンを補正するといった処理が実行される。
 図15は、周辺環境認識部326の構成例を示すブロック図である。
 周辺環境認識部326は、周辺環境センサ部313の出力に基づいて、車両1の周辺に存在する物体(歩行者、他車両、縁石等)を検出し、周辺環境情報として各物体についての位置関係情報を算出する。
 図15に示すように、周辺環境認識部326は、投影状況判定部330と、レーン検出部332と、空間認識部333とを有する。
 投影状況判定部330は、車幅ライン(投影パターン2)が投影された状態で前方カメラにより撮影された前方画像から、車幅ラインを検出する。
 車幅ラインを検出する処理では、投影画像決定部323から出力された車幅ライン(前方ライン3a)のデータ(形状、色、幅、長さ、明滅等)が用いられる。これにより、前方画像に映る車幅ラインを高精度に検出することが可能である。
 同様に投影状況判定部330は、前方画像から境界線パターンを検出する
 また投影状況判定部330では、検出された車幅ラインが、路面上にどのような形で投影されているかを利用して、車両1の前方の状況を判定する。例えば、車幅ラインが歪み(屈折等)なく投影されている場合、前方の路面は平坦であると判定される。あるいは、車幅ラインが歪んでいる場合には、前方に障害物が存在すると判定される。
 障害物があると判定された場合は、車幅ラインを構成する右ライン及び左ラインのうち、歪んでいる部分を示す情報が算出される。具体的には、各ラインにおける曲がっている箇所の位置(例えば、先端から1/4の位置等)が算出される。この情報は、車両1に対する障害物の相対位置を表す位置関係情報となる。
 このように、投影状況判定部330は、位置環形情報として、ライン(右ライン及び左ライン)を撮影した画像(前方画像)からラインの歪みを検出することでライン上の障害物の位置を検出する。ラインを撮影した画像内でのラインの歪みを利用することで、車両1の進路上に存在する障害物を容易に検出することが可能である。
 本実施形態では、投影状況判定部330は、第2の検出部に相当する。
 投影状況判定部330からは、前方の投影パターン2(車幅ライン及び境界線パターン)の検出結果及び障害物の相対位置が出力される。
 レーン検出部332は、例えば図5に示すレーン検出部32と同様に構成され、車両1が走行する道路上のレーン(車線)を検出する。より詳しくは、道路上の白線や縁石等の物体を検出する処理が実行され、それらの位置が検出される。白線や縁石は、車両1が走行するべき範囲を表す境界線51である。従って、レーン検出部332では、物体の位置関係情報として、境界線51の相対位置が検出されるともいえる。
 空間認識部333は、投影状況判定部330及びレーン検出部332の検出結果に基づいて、車両1の周辺空間の状況を認識する。
 本実施形態では、車両1が走行する走行レーン40の境界線51の位置情報と、車幅ラインの位置情報とに基づいて、境界線51と車幅ラインとの距離が算出される。例えば、右ラインと車両1の右側の境界線51との距離、及び左ラインと車両1の左側の境界線51との距離が、それぞれ算出される。この処理は、車両1の前方を撮影した前方画像に基づいて実行される。
 このように、空間認識部333は、境界線51とライン(右ライン及び左ライン)とを同時に撮影した画像から境界線51とラインとの距離を検出する。境界線51及びラインがともに撮影された画像を利用することで、各ラインの距離を容易に算出することが可能である。
 本実施形態では、空間認識部333は、第1の検出部に相当する。
 境界線51と車幅を表す各ラインとの距離は、車両1のレーンまでの距離、すなわち車両1と境界線51との距離を表す。空間認識部333では、これらの距離が所定の閾値以内かどうかがそれぞれ判定される。
 また、空間認識部333は、走行レーンの境界線51と境界線パターンとの位置情報から、実際の境界線51(白線や縁石)に対する境界線パターンのずれ量が算出される。このずれ量は、投影画像決定部323において、境界線パターンの位置のキャリブレーションに用いられる。
 空間認識部333からは、境界線51とラインとの距離及びその判定結果、及び境界線パターンのずれ量が出力される。
 本実施形態では、図15に示すように、投影状況判定部330及び空間認識部333の出力が周辺環境認識部326の最終的な出力となる。従って、周辺環境認識部326からは、投影状況情報(車幅ラインの歪みの有無を示す情報、及び歪み箇所(障害物)の位置情報)が出力される。また、境界線51とラインとの距離と判定結果、及び境界線パターンのずれ量が出力される。
 なお、車両1の周辺の物体の位置等を検出する方法は限定されない。例えば、車両1の周辺の立体地図を自己生成するSLAM(Simultaneous Localization and Mapping)技術等が用いられてもよい。
 また、図5等に示す物体検出部が設けられ、レーダセンサ、超音波センサ、LiDARセンサ等を用いて、物体の位置及び距離が検出されてもよい。
 図16は、投影装置300の基本的な動作例を示すフローチャートである。
 図16に示す処理は、例えば、投影装置300の動作中に繰り返し実行されるループ処理である、典型的には、車両1が前進走行している場合に、車幅ラインとなる前方ライン3aを制御対象として実行される。なお、車両1が後進走行している場合には、車幅ラインとして生成された後方ライン3cを対象とした処理が実行されてもよい。
 まず、車両情報取得部321により、速度関連情報が取得され(ステップ301)、その後、軌跡算出部222により、車両1の軌跡(予測軌跡5及び通過軌跡6)が算出される(ステップ302)。
 次に、周辺環境認識部326により、車両1と周辺の物体との位置関係を認識して、位置関係情報を算出する処理が実行される(ステップ303)。
 具体的には、投影状況判定部330により、境界線51と車幅ラインとの位置関係情報(境界線51とラインとの距離と判定結果)が算出される。
 また、空間認識部333により、車幅ライン上に障害物が存在する場合には、その障害物に対する位置関係情報(車幅ラインの歪みの有無を示す情報、及び歪み箇所(障害物)の位置情報)が算出される。
 次に、投影画像決定部323により、車幅ライン8の表示パラメータが設定される(ステップ304)。
 例えば、境界線51と車幅ライン(右ライン及び左ライン)との距離が所定の閾値よりも小さいと判定されている場合、その判定が出たラインについての色や明滅等の設定が変更される(図17及び図18参照)。これにより、車両1がレーンの端によっている(境界線51に接近している)場合等に、その旨をドライバーに警告することが可能となる。
 また例えば、車幅ライン(右ライン及び左ライン)上で障害物が検出された場合、検出された障害物の位置がわかるように、障害物が検出されたラインについての色や明滅等の設定が変更される(図19及び図20参照)。これにより、車両1がそのまま進行した場合に、接触する危険性のある障害物の存在を事前にドライバーに警告することが可能となる。
 なお、境界線51との接近や障害物等が検出されなかった場合、投影画像決定部323では、通常の表示を行う処理(通常表示処理)が実行される。
 次に、映像データ生成部324により、投影画像データに基づいて各投影部310に出力する映像データが生成される(ステップ305)。そして、車両1に設けられた各投影部210により、映像データに基づいて対応するラインパターン3がそれぞれ投影される(ステップ306)。
 以下では、境界線51との接近時の処理、及び障害物が検出された場合について具体的に説明する。
 図17は、車幅ラインが投影されたシーンの一例を示す模式図である。
 図17Aには、車両1が片側1車線の道路(走行レーン40a)を直進している場合に、ドライバーから見える景色が模式的に図示されている。
 ここでは、車両1の前方に投影パターン2として車幅を表す車幅ライン8(前方ライン3a)が投影される。このうち、車両1の右側及び左側に投影されるラインが、右ライン8R及び左ライン8Lとなる。
 また車両1の前方には、走行レーン40aの境界線51を表す境界線パターン9が投影される。このうち、図中の右側に投影される境界線パターン9aは、対向車線との境界を表す白線(センターライン)と重なるように投影される。また図中の左側に投影される境界線パターン9bは、歩道との境界となる縁石と重なるように投影される。
 本実施形態では、投影画像決定部323により、境界線51と右ライン8R及び左ライン8Lとの位置関係に基づいて、各ラインの色又は明滅が制御される。具体的には、境界線51と車幅を表す各ラインとの距離(以下接近距離と記載する)が位置関係を表す指標として用いられる。
 また図17Aには、右ライン8Rと右側の境界線51(白線)との距離(右側の接近距離)、及び左ライン8Lと左側の境界線51(縁石)との距離(左側の接近距離)を表す矢印がそれぞれ図示されている。なお、接近距離を表す矢印は、投影パターン2として表示されてもよいし、表示されなくてもよい。
 上記したように、空間認識部333では、この右側及び左側の接近距離が、所定の閾値よりも低いか否かが判定される。そして投影画像決定部323により、接近距離に関する判定結果に応じて、右ライン8R及び左ライン8Lの色や明滅の有無が設定される。
 図17Aでは、右側及び左側の接近距離は、所定の閾値よりも大きいと判定される。この場合、右ライン8R及び左ライン8Lの色は、ともに通常表示処理で用いられる色(例えば白色や青系統の色)に設定される。また、境界線パターン9a及び9bの色も通常表示処理で用いられる色(例えば緑色等)に設定される。
 図17Bでは、図17Aに示す状態よりも車両1が右側に寄って走行しており、右ライン8Rと右側の境界線51との接近距離が、所定の閾値よりも小さいと判定される。この場合、投影画像決定部323により、右ライン8Rの色が通常表示処理の色とは異なる色(例えばオレンジ色)に設定される。また図17Bに示す例では、右ライン8Rとともに、右側の境界線パターン9aも通常表示処理の色とは異なる色(例えば赤色)に設定される。あるいは、右ライン8R及び境界線パターン9aが明滅するように設定されてもよい。
 なお、左側の接近距離は、所定の閾値より大きいと判定される。このため、左ライン8L及び左側の境界線パターン9bの色は変化しない。
 このように、本実施形態では、境界線51と右ライン8R又は左ライン8Lとの距離が所定の閾値よりも小さい場合、そのラインの色を変化させる、又はラインを明滅させる処理が実行される。
 これにより、車幅ライン8が対向車線や歩道等に接近している旨をドライバーに分かりやすく伝えることが可能となる。この結果、ドライバーに対して現在の走行位置が適正であるか否かを直観的に認識させることが可能となり、安全な運転を実現すること可能となる。さらに、車幅を意識した運転を促すことが可能となり、ドライバーが適正な車幅間隔を身に着けるためのサポートをすることが可能となる。
 図18は、接近距離に応じた車幅ライン8の一例を示す模式図である。ここでは、接近距離が3段階に分けて判定され、各段階で車幅ライン8(前方ライン3a)の色が異なる色に設定される。このような判定処理は、例えば2つの閾値を用いた閾値処理により実行可能である。
 図18Aは、右側及び左側の接近距離がともに安全な範囲である場合に投影される車幅ライン8である。この場合、右ライン8R及び左ライン8Lの色は、例えば通常表示の色(白色や青系統の色)に設定される。これは、例えば図17Aと同様の設定である。
 図18Bでは、右側の接近距離が注意するべき範囲であると判定され、左側の接近距離が安全な範囲であると判定される。この場合、車幅ライン8のうち右ライン8Rの色は、例えばオレンジ色に設定される。なお左ライン8Lの色は変更されない。
 図18Cでは、右側の接近距離が危険な範囲であると判定され、左側の接近距離が安全な範囲であると判定される。この場合、車幅ライン8のうち右ライン8Rの色は、例えば赤色に設定される。なお左ライン8Lの色は変更されない。
 また対象ライン53の色を変化させる制御に加えて、明滅等が制御されてもよい。この場合、例えば注意するべき範囲では、対象となるラインをオレンジ色に設定して明滅させ、危険な範囲では、対象となるラインを赤色に設定して明滅の頻度を増加させる。
 これにより、ドライバーは前方を見たままで、現在の走行位置の安全レベル等を確実に認識することが可能となる。
 また接近距離を判定する方法以外にも、近接センサ(レーダーセンサ等の測距センサ)等の出力を用いて、車幅ライン8の表示が制御されてもよい。例えば、車両1の近傍にある物体(ガードレールや他車両等)と接近した場合に、接近が検出された側のラインの色が変更され明滅される。これにより、例えば車両1の前方のみならず、側方や後方等での接触事故等を未然に防止することが可能となる。
 図19は、障害物に投影される車幅ライン8の表示例を示す模式図である。図19には、車両1の前方で車幅ライン8が障害物55と交差するシーンが模式的に図示されている。
 例えば車幅ライン8のうち、右ライン8Rが直方体状の障害物55aと交差している。地表面に沿って投影された右ライン8Rは、障害物55aの側面が地表面に接する箇所で折れ曲がり、障害物55aの側面に投影されている。
 この場合、投影状況判定部330により、右ライン8Rの本来の形状をもとに、右ライン8Rが歪んでいる点(屈折点P1)が検出される。この屈折点P1が、障害物55aの位置情報として用いられる。また屈折点P1よりも前方の部分は、障害物55aと交差する交差部分56となる。
 また例えば、車幅ライン8のうち、左ライン8Lの中間部分が円筒状の曲面を上にして地表面に置かれた障害物55bと交差している。ここでは、左ライン8Lの障害物55bの曲面と交差する交差部分56のみが歪んでおり、交差部分の前方及び後方の部分は適正に投影されている。
 この場合、投影状況判定部330により、左ライン8Lの本来の形状をもとに、左ライン8Lが歪んでいる前方よりの屈折点P2と後方よりの屈折点P3とが検出される。この屈折点P2及びP3が障害物55bの位置情報として用いられる。また屈折点P2及びP3の間の部分が障害物55bのある交差部分56となる。
 このように、交差部分56が検出された場合、車幅ライン8が障害物55上に投影されているとして、車幅ライン8の表示が制御される。具体的には、投影画像決定部323により、障害物55の位置(屈折点)に基づいて、右ライン8R及び左ライン8Lが障害物55との交差部分56と他の部分とに色分けされる。
 例えば、右ライン8Rについては、屈折点P1よりも前方の交差部分56の色が赤色に設定され、屈折点P1よりも後方の部分が通常表示の色に設定される。また例えば、左ライン8Lについては、屈折点P2及びP3で挟まれた交差部分56の色が赤色に設定され、屈折点P2よりも前方の部分及び屈折点P3よりも後方の部分が通常表示の色に設定される。
 これにより、車両1が進行した場合に接触する可能性のある障害物55の存在やその位置を、ドライバーに分かりやすく伝えることが可能となる。
 図20は、障害物55が検出された場合に投影される車幅ライン8の一例を示す模式図である。ここでは、障害物55についての安全レベルが3段階に分けて判定され、各段階で車幅ライン8(前方ライン3a)の色が異なる色に設定される。障害物55の安全レベルは、例えば障害物55との距離が近いほど、あるいは障害物55(交差部分56)の長さが大きいほど小さく(より危険である)と設定される。また車両1の走行速度が高いほど、安全レベルが低く設定される。この他、障害物55についての安全レベルを判定する方法は限定されない。
 図20Aは、例えば障害物55が検出されておらず安全である場合に投影される車幅ライン8である。この場合、右ライン8R及び左ライン8Lの色は、全体にわたって通常表示の色(白色や青系統の色)に設定される。なお障害物55が検出された場合であっても、その位置が十分に離れている場合等には、各ラインの色が変更されなくてもよい。
 図20Bは、障害物55の安全レベルが注意するべきレベルである場合に投影される車幅ライン8である。ここでは、車両1から比較的離れた位置で障害物が検出される。この場合、右ライン8R及び左ライン8Lのうち交差部分56の色は、例えばオレンジ色に設定される。あるいは交差部分56が明滅するように設定される。なお交差部分56以外の色は、例えば通常表示の色に設定される。
 図20Cは、障害物55の安全レベルが危険なレベルである場合に投影される車幅ライン8である。ここでは、車両1の近傍で障害物が検出される。この場合、交差部分56の色は、例えば赤色に設定される。あるいは交差部分56の明滅の早さが高く設定される。
 交差部分56以外の色は、例えば通常表示の色に設定される。これに限定されず、例えば交差部分56以外の色等を変更して危険な障害物55の存在を喚起してもよい。
 自動車運転の基本的なスキルとして、車幅感覚が挙げられる。車幅間隔は、狭い道への侵入可否、対向車両とのスレ違い、車線内での走行位置、ガードレールや壁などへの幅寄せといった様々なシーンで重要となる。車幅を正確に認識するための補助手段としては、例えばコーナーポールや、フェンダーミラーが挙げられるが、これらの補助具は、外観を損ねるといった理由から、近年ではほとんど用いられなくなっている。
 また車幅感覚が得やすいように、前方視界を広く確保した車両が増えているものの、車幅の認識は、ドライバーの"慣れ"に大きく依存している。
 本実施形態では、光を投影して車幅を表す車幅ライン8が投影される。そして車幅ライン8の右ライン8R及び左ライン8Lの表示が、周辺環境にある物体と車両1との位置関係に応じて制御される。これにより、例えば現在の走行位置が白線に寄っているといった情報や、障害物に接触しそうであるといった情報を、ドライバーに直観的に提示することが可能となる。これにより、ドライバーの運転の安全性を高めるとともに、正しい車幅感覚を獲得するためのサポートができる。
 また投影パターン2を投影するための投影部310は、車両1の本体に収まるように構成可能である。このため投影装置300を用いることで、外観に影響しない、車幅感覚補助器具を提供することが可能となる。
 <その他の実施形態>
 本技術は、以上説明した実施形態に限定されず、他の種々の実施形態を実現することができる。
 上記の実施形態では、主にラインパターンとして、車両の軌跡(通過軌跡や予測軌跡)を表すパターンが設定された。これに限定されず、例えば車両1の前後方向に沿って伸びる直線のパターンを固定して用いることも可能である。あるいは、左右のラインの先端が閉じたパターン等が用いられてもよい。この他、任意の形状、サイズ、色のラインパターンが投影パターンとしてもちいられてよい。
 上記では、本技術に係る情報処理装置の一実施形態として、単体のコントローラを例に挙げた。しかしながら、コントローラは別に構成され、有線又は無線を介してコントローラに接続される任意のコンピュータにより、本技術に係る情報処理装置が実現されてもよい。例えばクラウドサーバにより、本技術に係る情報処理方法が実行されてもよい。あるいはコントローラと他のコンピュータとが連動して、本技術に係る情報処理方法が実行されてもよい。
 すなわち本技術に係る情報処理方法、及びプログラムは、単体のコンピュータにより構成されたコンピュータシステムのみならず、複数のコンピュータが連動して動作するコンピュータシステムにおいても実行可能である。なお本開示において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれもシステムである。
 コンピュータシステムによる本技術に係る情報処理方法、及びプログラムの実行は、例えば周辺環境情報の取得、投影パターンの表示の制御等が、単体のコンピュータにより実行される場合、及び各処理が異なるコンピュータにより実行される場合の両方を含む。また所定のコンピュータによる各処理の実行は、当該処理の一部または全部を他のコンピュータに実行させその結果を取得することを含む。
 すなわち本技術に係る情報処理方法及びプログラムは、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成にも適用することが可能である。
 以上説明した本技術に係る特徴部分のうち、少なくとも2つの特徴部分を組み合わせることも可能である。すなわち各実施形態で説明した種々の特徴部分は、各実施形態の区別なく、任意に組み合わされてもよい。また上記で記載した種々の効果は、あくまで例示であって限定されるものではなく、また他の効果が発揮されてもよい。
 本開示において、「同じ」「等しい」「直交」等は、「実質的に同じ」「実質的に等しい」「実質的に直交」等を含む概念とする。例えば「完全に同じ」「完全に等しい」「完全に直交」等を基準とした所定の範囲(例えば±10%の範囲)に含まれる状態も含まれる。
 なお、本技術は以下のような構成も採ることができる。
(1)車両の周辺の環境に関する周辺環境情報を取得する取得部と、
 前記周辺環境情報に基づいて、前記車両に搭載された投影部から前記車両の周辺の路面に投影される投影パターンの表示を制御する投影制御部と
 を具備する情報処理装置。
(2)(1)に記載の情報処理装置であって、
 前記投影パターンは、前記車両の進行方向の前方に投影されるライン状の第1のパターンと、前記進行方向の後方に投影されるライン状の第2のパターンとを含む、
 情報処理装置。
(3)(2)に記載の情報処理装置であって、
 前記第1のパターンは、前記車両の左側及び右側に投影される1対のラインを含み、
 前記投影制御部は、前記周辺環境情報に基づいて、前記第1のパターンのうち前記車両のレーン変更の対象となる対象レーン側に投影される対象ラインの表示を制御する
 情報処理装置。
(4)(3)に記載の情報処理装置であって、
 前記周辺環境情報は、前記対象レーンを含む前記車両の周辺の交通状況を表す交通状況情報を含み、
 前記投影制御部は、前記交通状況情報に基づいて前記車両のレーン変更に伴う変更リスクを推定し、前記変更リスクに基づいて前記対象ラインの色又は明滅を制御する
 情報処理装置。
(5)(4)に記載の情報処理装置であって、
 前記交通状況情報は、前記対象レーンの空きスペースを表す情報、前記車両の周辺を走行する他車両の配置情報、及び前記車両に対する前記他車両の相対速度に関する情報を含む
 情報処理装置。
(6)(4)又は(5)に記載の情報処理装置であって、
 前記投影制御部は、前記変更リスクを複数のレベルにわけて判定し、前記判定されたレベルごとに前記対象ラインを異なる色に設定する
 情報処理装置。
(7)(3)から(6)のうちいずれか1つに記載の情報処理装置であって、
 前記投影制御部は、前記対象ラインを前記車両が走行できる部分と前記車両が走行できない部分とに色分けする
 情報処理装置。
(8)(3)から(7)のうちいずれか1つに記載の情報処理装置であって、さらに、
 前記車両を運転するドライバーの視線方向を検出する視線検出部を具備し、
 前記投影制御部は、前記視線方向の変化に基づいて、前記対象ラインの表示制御を実行するか否かを判定する
 情報処理装置。
(9)(2)から(8)のうちいずれか1つに記載の情報処理装置であって、
 前記周辺環境情報は、前記車両の後続車両に関する後続車両情報を含み、
 前記投影制御部は、前記後続車両情報に基づいて前記後続車両との衝突リスクを推定し、前記衝突リスクに応じて前記第2のパターンを不連続に変化させる
 情報処理装置。
(10)(9)に記載の情報処理装置であって、
 前記後続車両情報は、前記車両と前記後続車両との相対距離及び相対速度の少なくとも一方の情報を含む
 情報処理装置。
(11)(9)又は(10)に記載の情報処理装置であって、
 前記投影制御部は、前記衝突リスクが第1の閾値以上でありかつ前記第1の閾値よりも大きい第2の閾値未満である場合、前記第2のパターンの幅を大きくし、前記衝突リスクが前記第2の閾値以上である場合、前記第2のパターンを明滅させる
 情報処理装置。
(12)(2)から(11)のうちいずれか1つに記載の情報処理装置であって、
 前記周辺環境情報は、前記車両の周辺の物体と前記車両との位置関係を表す位置関係情報を含み、
 前記投影制御部は、前記第1のパターンとして前記車両の車幅を表す1対のラインを生成し、前記位置関係情報に基づいて前記1対のラインの表示を個別に制御する
 情報処理装置。
(13)(12)に記載の情報処理装置であって、
 前記物体は、前記車両が走行するべき範囲を表す境界線であり、
 前記投影制御部は、前記境界線と前記ラインとの位置関係に基づいて、前記ラインの色又は明滅を制御する
 情報処理装置。
(14)(13)に記載の情報処理装置であって、
 前記取得部は、前記位置関係情報として、前記境界線と前記ラインとを同時に撮影した画像から前記境界線と前記ラインとの距離を検出する第1の検出部を有し、
 前記投影制御部は、前記境界線と前記ラインとの距離が所定の閾値よりも小さい場合、前記ラインの色を変化させる、又は前記ラインを明滅させる
 情報処理装置。
(15)(12)から(14)のうちいずれか1つに記載の情報処理装置であって、
 前記取得部は、前記位置関係情報として、前記ラインを撮影した画像から前記ラインの歪みを検出することで前記ライン上の障害物の位置を検出する第2の検出部を有し、
 前記投影制御部は、前記障害物の位置に基づいて、前記ラインを前記障害物との交差部分と他の部分とに色分けする
 情報処理装置。
(16)(2)から(15)のうちいずれか1つに記載の情報処理装置であって、さらに、
 前記車両が通過すると予測される予測軌跡を算出する予測軌跡算出部を具備し、
 前記投影制御部は、前記予測軌跡を表す前記第1のパターンを生成する
 情報処理装置。
(17)(2)から(16)のうちいずれか1つに記載の情報処理装置であって、さらに、
 前記車両が通過した通過軌跡を算出する通過軌跡算出部を具備し、
 前記投影制御部は、前記通過軌跡を表す前記第2のパターンを生成する
 情報処理装置。
(18)車両の周辺の環境に関する周辺環境情報を取得し、
 前記周辺環境情報に基づいて、前記車両に搭載された投影部から前記車両の周辺の路面に投影される投影パターンの表示を制御する
 ことをコンピュータシステムが実行する情報処理方法。
(19)車両の周辺の環境に関する周辺環境情報を取得するステップと、
 前記周辺環境情報に基づいて、前記車両に搭載された投影部から前記車両の周辺の路面に投影される投影パターンの表示を制御するステップと
 をコンピュータシステムに実行させるプログラム。
(20)車両に搭載され、前記車両の周辺の路面に投影パターンを投影する投影部と、
 前記車両の周辺の環境に関する周辺環境情報を取得する取得部と、
 前記周辺環境情報に基づいて、前記投影部から投影される前記投影パターンの表示を制御する投影制御部と
 を具備する投影装置。
 1、1a、1b…車両
 2…投影パターン
 3…ラインパターン
 3a…前方ライン
 3c…後方ライン
 3b…中央ライン
 4…進行方向
 5…予測軌跡
 6…通過軌跡
 8L…左ライン
 8R…右ライン
 8…車幅ライン
 10、10a~10h、210、310…投影部
 12…ドライバー監視カメラ
 13、213、313…周辺環境センサ部
 20、220、320…コントローラ
 22、222、322…軌跡算出部
 23、223、323…投影画像決定部
 26、226、326…周辺環境認識部
 41…対象レーン
 51…境界線
 53…対象ライン
 55、55a、55b…障害物
 100、200、300…投影装置

Claims (20)

  1.  車両の周辺の環境に関する周辺環境情報を取得する取得部と、
     前記周辺環境情報に基づいて、前記車両に搭載された投影部から前記車両の周辺の路面に投影される投影パターンの表示を制御する投影制御部と
     を具備する情報処理装置。
  2.  請求項1に記載の情報処理装置であって、
     前記投影パターンは、前記車両の進行方向の前方に投影されるライン状の第1のパターンと、前記進行方向の後方に投影されるライン状の第2のパターンとを含む、
     情報処理装置。
  3.  請求項2に記載の情報処理装置であって、
     前記第1のパターンは、前記車両の左側及び右側に投影される1対のラインを含み、
     前記投影制御部は、前記周辺環境情報に基づいて、前記第1のパターンのうち前記車両のレーン変更の対象となる対象レーン側に投影される対象ラインの表示を制御する
     情報処理装置。
  4.  請求項3に記載の情報処理装置であって、
     前記周辺環境情報は、前記対象レーンを含む前記車両の周辺の交通状況を表す交通状況情報を含み、
     前記投影制御部は、前記交通状況情報に基づいて前記車両のレーン変更に伴う変更リスクを推定し、前記変更リスクに基づいて前記対象ラインの色又は明滅を制御する
     情報処理装置。
  5.  請求項4に記載の情報処理装置であって、
     前記交通状況情報は、前記対象レーンの空きスペースを表す情報、前記車両の周辺を走行する他車両の配置情報、及び前記車両に対する前記他車両の相対速度に関する情報を含む
     情報処理装置。
  6.  請求項4に記載の情報処理装置であって、
     前記投影制御部は、前記変更リスクを複数のレベルにわけて判定し、前記判定されたレベルごとに前記対象ラインを異なる色に設定する
     情報処理装置。
  7.  請求項3に記載の情報処理装置であって、
     前記投影制御部は、前記対象ラインを前記車両が走行できる部分と前記車両が走行できない部分とに色分けする
     情報処理装置。
  8.  請求項3に記載の情報処理装置であって、さらに、
     前記車両を運転するドライバーの視線方向を検出する視線検出部を具備し、
     前記投影制御部は、前記視線方向の変化に基づいて、前記対象ラインの表示制御を実行するか否かを判定する
     情報処理装置。
  9.  請求項2に記載の情報処理装置であって、
     前記周辺環境情報は、前記車両の後続車両に関する後続車両情報を含み、
     前記投影制御部は、前記後続車両情報に基づいて前記後続車両との衝突リスクを推定し、前記衝突リスクに応じて前記第2のパターンを不連続に変化させる
     情報処理装置。
  10.  請求項9に記載の情報処理装置であって、
     前記後続車両情報は、前記車両と前記後続車両との相対距離及び相対速度の少なくとも一方の情報を含む
     情報処理装置。
  11.  請求項9に記載の情報処理装置であって、
     前記投影制御部は、前記衝突リスクが第1の閾値以上でありかつ前記第1の閾値よりも大きい第2の閾値未満である場合、前記第2のパターンの幅を大きくし、前記衝突リスクが前記第2の閾値以上である場合、前記第2のパターンを明滅させる
     情報処理装置。
  12.  請求項2に記載の情報処理装置であって、
     前記周辺環境情報は、前記車両の周辺の物体と前記車両との位置関係を表す位置関係情報を含み、
     前記投影制御部は、前記第1のパターンとして前記車両の車幅を表す1対のラインを生成し、前記位置関係情報に基づいて前記1対のラインの表示を個別に制御する
     情報処理装置。
  13.  請求項12に記載の情報処理装置であって、
     前記物体は、前記車両が走行するべき範囲を表す境界線であり、
     前記投影制御部は、前記境界線と前記ラインとの位置関係に基づいて、前記ラインの色又は明滅を制御する
     情報処理装置。
  14.  請求項13に記載の情報処理装置であって、
     前記取得部は、前記位置関係情報として、前記境界線と前記ラインとを同時に撮影した画像から前記境界線と前記ラインとの距離を検出する第1の検出部を有し、
     前記投影制御部は、前記境界線と前記ラインとの距離が所定の閾値よりも小さい場合、前記ラインの色を変化させる、又は前記ラインを明滅させる
     情報処理装置。
  15.  請求項12に記載の情報処理装置であって、
     前記取得部は、前記位置関係情報として、前記ラインを撮影した画像から前記ラインの歪みを検出することで前記ライン上の障害物の位置を検出する第2の検出部を有し、
     前記投影制御部は、前記障害物の位置に基づいて、前記ラインを前記障害物との交差部分と他の部分とに色分けする
     情報処理装置。
  16.  請求項2に記載の情報処理装置であって、さらに、
     前記車両が通過すると予測される予測軌跡を算出する予測軌跡算出部を具備し、
     前記投影制御部は、前記予測軌跡を表す前記第1のパターンを生成する
     情報処理装置。
  17.  請求項2に記載の情報処理装置であって、さらに、
     前記車両が通過した通過軌跡を算出する通過軌跡算出部を具備し、
     前記投影制御部は、前記通過軌跡を表す前記第2のパターンを生成する
     情報処理装置。
  18.  車両の周辺の環境に関する周辺環境情報を取得し、
     前記周辺環境情報に基づいて、前記車両に搭載された投影部から前記車両の周辺の路面に投影される投影パターンの表示を制御する
     ことをコンピュータシステムが実行する情報処理方法。
  19.  車両の周辺の環境に関する周辺環境情報を取得するステップと、
     前記周辺環境情報に基づいて、前記車両に搭載された投影部から前記車両の周辺の路面に投影される投影パターンの表示を制御するステップと
     をコンピュータシステムに実行させるプログラム。
  20.  車両に搭載され、前記車両の周辺の路面に投影パターンを投影する投影部と、
     前記車両の周辺の環境に関する周辺環境情報を取得する取得部と、
     前記周辺環境情報に基づいて、前記投影部から投影される前記投影パターンの表示を制御する投影制御部と
     を具備する投影装置。
PCT/JP2021/033100 2020-10-01 2021-09-09 情報処理装置、情報処理方法、プログラム、及び投影装置 WO2022070820A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN202180065451.1A CN116194974A (zh) 2020-10-01 2021-09-09 信息处理装置、信息处理方法、程序和投影装置
JP2022553746A JPWO2022070820A1 (ja) 2020-10-01 2021-09-09
KR1020237009195A KR20230074481A (ko) 2020-10-01 2021-09-09 정보 처리 장치, 정보 처리 방법, 프로그램 및 투영 장치
EP21875122.0A EP4224456A4 (en) 2020-10-01 2021-09-09 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD, PROGRAM AND PROJECTION DEVICE
US18/245,913 US20230356653A1 (en) 2020-10-01 2021-09-09 Information processing apparatus, information processing method, program, and projection apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020167178 2020-10-01
JP2020-167178 2020-10-01

Publications (1)

Publication Number Publication Date
WO2022070820A1 true WO2022070820A1 (ja) 2022-04-07

Family

ID=80950371

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/033100 WO2022070820A1 (ja) 2020-10-01 2021-09-09 情報処理装置、情報処理方法、プログラム、及び投影装置

Country Status (6)

Country Link
US (1) US20230356653A1 (ja)
EP (1) EP4224456A4 (ja)
JP (1) JPWO2022070820A1 (ja)
KR (1) KR20230074481A (ja)
CN (1) CN116194974A (ja)
WO (1) WO2022070820A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003231450A (ja) * 2002-02-07 2003-08-19 Toyota Motor Corp 移動体用安全装置
JP2006036005A (ja) 2004-07-27 2006-02-09 Matsushita Electric Ind Co Ltd 予測走行軌跡表示装置
WO2016114048A1 (ja) * 2015-01-13 2016-07-21 日立マクセル株式会社 映像投射装置
WO2020067113A1 (ja) * 2018-09-25 2020-04-02 株式会社小糸製作所 灯具システムおよび車両用灯具

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013222467A1 (de) * 2013-11-06 2015-05-07 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Querführungsunterstützung eines Kraftfahrzeugs
DE112014006874T5 (de) * 2014-08-19 2017-05-04 Mitsubishi Electric Corporation Straßenfläche-Beleuchtungseinrichtung
US9855886B2 (en) * 2015-07-16 2018-01-02 Honda Motor Co., Ltd. Physical tire tracks coupled to headlights
KR101908309B1 (ko) * 2017-04-12 2018-10-16 엘지전자 주식회사 차량용 램프
US11235805B2 (en) * 2019-02-28 2022-02-01 International Business Machines Corporation Adaptive vehicle-proximity guidance

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003231450A (ja) * 2002-02-07 2003-08-19 Toyota Motor Corp 移動体用安全装置
JP2006036005A (ja) 2004-07-27 2006-02-09 Matsushita Electric Ind Co Ltd 予測走行軌跡表示装置
WO2016114048A1 (ja) * 2015-01-13 2016-07-21 日立マクセル株式会社 映像投射装置
WO2020067113A1 (ja) * 2018-09-25 2020-04-02 株式会社小糸製作所 灯具システムおよび車両用灯具

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4224456A4

Also Published As

Publication number Publication date
CN116194974A (zh) 2023-05-30
EP4224456A1 (en) 2023-08-09
JPWO2022070820A1 (ja) 2022-04-07
KR20230074481A (ko) 2023-05-30
EP4224456A4 (en) 2024-04-03
US20230356653A1 (en) 2023-11-09

Similar Documents

Publication Publication Date Title
US11914381B1 (en) Methods for communicating state, intent, and context of an autonomous vehicle
US10688993B2 (en) Vehicle control system with traffic driving control
US9487139B1 (en) Determining a driver alert level for a vehicle alert system and method of use
CN109515434B (zh) 车辆控制装置、车辆控制方法及存储介质
US10981507B1 (en) Interactive safety system for vehicles
JP6395393B2 (ja) 車両の運転支援装置
JP4309843B2 (ja) 車両の衝突を阻止する方法および装置
US20080049150A1 (en) Method of determining the passage of a vehicle through a gap
GB2538572A (en) Safety system for a vehicle to detect and warn of a potential collision
WO2019235327A1 (ja) 車両の運転支援制御装置、運転支援システムおよび運転支援制御方法
CN109455137B (zh) 驾驶支援装置及驾驶支援方法
JP6604388B2 (ja) 表示装置の制御方法および表示装置
US11364842B2 (en) Notification device
KR20210127267A (ko) 차량 및 그 제어방법
JP7440237B2 (ja) 表示装置
WO2022070820A1 (ja) 情報処理装置、情報処理方法、プログラム、及び投影装置
US20240010122A1 (en) Information processing apparatus, information processing method, program, and projection apparatus
US11607996B2 (en) Apparatus for assisting driving, vehicle having the same, and method of controlling the same
JP2022140032A (ja) 運転支援装置及び車両
CN116802709A (zh) 显示控制装置和显示控制方法
KR102591199B1 (ko) 차량 및 그 제어방법
CN112638736A (zh) 车辆中的转弯辅助
JP2020166479A (ja) 運転支援装置
US20230064724A1 (en) Danger notification method, danger notification device, and non-transitory storage medium
WO2023194793A1 (ja) 情報提供装置及び情報提供方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21875122

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022553746

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021875122

Country of ref document: EP

Effective date: 20230502