WO2022254570A1 - 投射制御装置および投射制御方法 - Google Patents

投射制御装置および投射制御方法 Download PDF

Info

Publication number
WO2022254570A1
WO2022254570A1 PCT/JP2021/020787 JP2021020787W WO2022254570A1 WO 2022254570 A1 WO2022254570 A1 WO 2022254570A1 JP 2021020787 W JP2021020787 W JP 2021020787W WO 2022254570 A1 WO2022254570 A1 WO 2022254570A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature
attention
caution
projection control
requiring
Prior art date
Application number
PCT/JP2021/020787
Other languages
English (en)
French (fr)
Inventor
圭作 福田
光生 下谷
直志 宮原
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2021/020787 priority Critical patent/WO2022254570A1/ja
Priority to US18/286,767 priority patent/US20240127725A1/en
Priority to JP2023525209A priority patent/JP7466774B2/ja
Publication of WO2022254570A1 publication Critical patent/WO2022254570A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2400/00Special features or arrangements of exterior signal lamps for vehicles
    • B60Q2400/50Projected symbol or information, e.g. onto the road or car body
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00Aspects of interface with display user
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/10Automotive applications

Definitions

  • the present disclosure relates to technology for projecting an image from a vehicle onto a road surface or the like.
  • headlight systems that control the direction of light emitted from headlights in consideration of the shape of the road in front of the vehicle, and images such as graphics and symbols on the road surface in front of the vehicle.
  • Various techniques for controlling the light emitted from the vehicle have been proposed, such as a driving support device that projects a .
  • features requiring attention it is possible to alert the driver to the presence of features that should be paid attention to when driving the vehicle (hereinafter referred to as "features requiring attention").
  • features requiring attention do not allow the driver to intuitively grasp the three-dimensional shape of the attention-requiring feature.
  • caution feature such as at night or in bad weather, there is a demand for a technology that allows the driver to easily grasp the three-dimensional shape of the caution feature.
  • the present disclosure has been made in order to solve the above-described problems, and alerts the driver of the presence of the caution-requiring feature while allowing the driver of the vehicle to intuitively grasp the three-dimensional shape of the caution-requiring feature. It is an object of the present invention to provide a projection control device capable of
  • the projection control device includes a caution feature detection unit that detects a caution feature that is a feature that has a three-dimensional shape that affects the running of the vehicle, and a caution feature detection unit that detects the three-dimensional shape of the caution feature.
  • An illusion image generation unit that generates an illusion image that evokes memories, a warning determination unit that determines whether or not to call attention to a caution-requiring feature, and a position corresponding to the position of the caution-requiring feature that is judged to require attention.
  • a projection control unit for projecting an optical illusion image using a projection device.
  • FIG. 1 is a diagram showing the configuration of a projection control system according to Embodiment 1;
  • FIG. FIG. 2 is a diagram showing an example of a road on which a vehicle is traveling;
  • FIG. It is a figure which shows the example of the scenery ahead of the own vehicle.
  • FIG. 4 is a diagram for explaining an example of the operation of the projection control system;
  • FIG. 10 is a diagram showing an example of an optical illusion image projected in front of the own vehicle; It is a figure which shows the example of a convex-shaped optical illusion image. It is a figure which shows the example of a convex-shaped optical illusion image.
  • FIG. 1 is a diagram showing the configuration of a projection control system according to Embodiment 1;
  • FIG. FIG. 2 is a diagram showing an example of a road on which a vehicle is traveling;
  • FIG. It is a figure which shows the example of the scenery ahead of the own vehicle.
  • It is a figure which shows the example of a convex-shaped
  • FIG. 4 is a diagram for explaining an example of the operation of the projection control system; FIG. It is a figure which shows the example of a concave-shaped optical illusion image.
  • FIG. 4 is a diagram for explaining an example of the operation of the projection control system;
  • FIG. FIG. 4 is a diagram for explaining an example of the operation of the projection control system;
  • FIG. FIG. 4 is a diagram for explaining an example of the operation of the projection control system;
  • FIG. 4 is a diagram for explaining an example of the operation of the projection control system;
  • FIG. 4 is a flow chart showing the operation of the projection control apparatus according to Embodiment 1;
  • 2 is a diagram showing an example hardware configuration of a projection control apparatus;
  • FIG. 2 is a diagram showing an example hardware configuration of a projection control apparatus;
  • FIG. 10 is a diagram showing the configuration of a projection control system according to Embodiment 2;
  • FIG. 9 is a flow chart showing the operation of the projection control apparatus according to Embodiment 2;
  • FIG. 10 is a diagram showing the configuration of a projection control system according to Embodiment 3;
  • 10 is a flow chart showing the operation of the projection control apparatus according to Embodiment 3;
  • 10 is a flow chart showing a modified example of the projection control apparatus according to Embodiment 3;
  • FIG. 13 is a diagram showing the configuration of a projection control system according to Embodiment 4;
  • 10 is a flow chart showing the operation of a projection control device according to Embodiment 4;
  • FIG. 1 is a diagram showing the configuration of a projection control system according to Embodiment 1.
  • FIG. This projection control system is mounted on a vehicle, and projects an image onto the road surface or the like for alerting the driver of the existence of a feature requiring attention around the vehicle.
  • a caution-requiring feature is defined as a feature having a three-dimensional shape that affects the running of the vehicle (for example, becomes an obstacle to running).
  • a vehicle equipped with a projection control system is referred to as "own vehicle”.
  • the projection control system includes a projection control device 10, and a peripheral detection device 21 and a projection device 22 connected thereto.
  • the peripheral detection device 21 is an in-vehicle device that has a function of detecting features existing around the own vehicle. It can be configured by an image analysis device or the like that detects a feature from an image of the surroundings of the vehicle captured by a camera (including a camera). The surrounding detection device 21 can also detect the position (distance and direction from the host vehicle) and shape of the detected feature. In addition to the function of detecting features, the surroundings detection device 21 may also have a function of detecting information about the environment around the vehicle (for example, brightness, temperature, weather, etc.).
  • the projection device 22 is an in-vehicle device that projects an image onto the road surface around the vehicle.
  • the projection device 22 may be a device dedicated to image projection, or may be a device that projects an image using laser light emitted by a headlight.
  • the projection control device 10 is an in-vehicle device that controls the projection device 22 based on the feature detection result by the periphery detection device 21 .
  • the projection control device 10 does not necessarily have to be permanently installed in the own vehicle. may be Also, part of the functions of the projection control device 10 may be implemented on a server installed outside the host vehicle and capable of communicating with the projection control device 10 .
  • the projection control device 10 includes a caution-requiring feature detection unit 11 , an illusion image generation unit 12 , a warning determination unit 13 and a projection control unit 14 .
  • a feature requiring attention detection unit 11 detects a feature requiring attention (a feature having a three-dimensional shape that affects the running of the vehicle) around the own vehicle based on the detection result of the feature by the surrounding detection device 21. do.
  • Features that need attention include road structures that have a level difference (height or depth) of a certain size or more with respect to the road on which the vehicle is traveling, such as median strips, curbs, sidewalks, gutters, etc. is assumed.
  • road surfaces with specific conditions such as snow-covered roads, frozen roads, puddle roads, gravel roads, rutted roads, slit roads, sunken roads, cracked roads, etc.
  • objects that are not fixed to the road such as vehicles parked on the road and poles at road construction sites, can also be attention-requiring features.
  • the optical illusion image generating unit 12 generates an optical illusion image that evokes the three-dimensional shape of the caution-requiring feature detected by the caution-requiring feature detection unit 11 .
  • the illusion image generated by the illusion image generation unit 12 is an image in which a feature appears to exist due to the illusion when viewed by the driver of the own vehicle.
  • the optical illusion image can be generated, for example, by a drawing method conforming to the one-point perspective drawing method with reference to the driver's eye position (eyepoint).
  • the optical illusion image should evoke the rough three-dimensional shape of the caution feature (e.g., a convex shape, a concave shape, etc.), and should not reproduce the actual three-dimensional shape of the caution feature. It doesn't have to be.
  • the illusion image generation unit 12 may generate an illusion image that looks like a convex shape. good.
  • the illusion image generation unit 12 may generate an illusion image that looks like a concave shape.
  • the optical illusion image generator 12 may generate an optical illusion image of an arbitrary shape that evokes snow cover, ice surface, puddles, gravel, ruts, slits, depressions, cracks, and the like. may If the caution-requiring feature detection unit 11 can detect the actual three-dimensional shape of the caution-requiring feature, the illusion image generation unit 12 may generate an illusion image simulating the actual three-dimensional shape.
  • the caution determination unit 13 determines whether or not to call attention to the caution feature detected by the caution feature detection unit 11 .
  • the alert determination unit 13 determines whether or not it is necessary to alert the driver of the vehicle to the existence of the attention-requiring feature.
  • a caution-requiring feature determined by the caution determination unit 13 to require attention may be referred to as a "warning target feature".
  • the urgency of a caution-requiring feature can be used as a criterion for judging whether or not to call attention. Since a caution feature located close to the vehicle is highly urgent, the attention determination unit 13 calls attention to a caution feature whose distance from the vehicle is equal to or less than a predetermined threshold value (for example, 100 m). It may be judged as a target feature. In addition, the caution determination unit 13 calculates the arrival time to the attention-requiring feature from the traveling speed of the own vehicle, and alerts the attention-requiring feature for which the arrival time is equal to or less than a predetermined threshold value (for example, 7 seconds). It may be judged as a target feature.
  • a predetermined threshold value for example, 100 m
  • the above threshold does not have to be a fixed value, and the threshold may be increased as the traveling speed of the own vehicle is higher, or as the braking distance of the own vehicle is longer.
  • the braking distance of the own vehicle depends on the traveling speed of the own vehicle and the friction coefficient of the road surface.
  • the threshold may be changed according to the type (attribute) of the caution-required feature. For example, the threshold value may be increased so that attention is called early for a caution-requiring feature that is difficult to visually determine, such as a frozen road surface.
  • the alerting determination unit 13 determines whether or not to alert the attention-requiring feature based on the level of automatic driving performed by the own vehicle (automatic driving level defined by SAE (Society of Automotive Engineers)). You can judge. For example, when level 4 or 5 automatic driving is being carried out, the driver does not need to monitor the behavior of the own vehicle or the surrounding conditions, so the attention calling determination unit 13 determines that it is not necessary to call attention to the attention-requiring features. You can judge. When Level 3 automated driving is being implemented, whether or not to call attention to a caution-requiring feature may be determined according to the specifications of the automated driving device, or the driver may You may enable it to set which it judges.
  • SAE Society of Automotive Engineers
  • the difficulty of recognizing a caution-requiring feature can be used as a criterion for judging whether or not to call attention. For example, it is difficult for the driver to recognize a feature requiring attention that is partly or wholly hidden behind snow, mud, roadside trees, or the like, and therefore, it is highly necessary to call attention to the feature. Therefore, the caution determination unit 13 may determine a caution-requiring feature of which a certain percentage (for example, 50%) or more cannot be visually recognized from the own vehicle as a caution target feature.
  • a certain percentage for example, 50%
  • the alert determination unit 13 may determine that it is necessary to alert the attention-requiring feature when the brightness around the vehicle is equal to or less than a predetermined threshold value. Further, when the headlights or sidelights (small lamps) of the vehicle are lit, it is likely that the surroundings of the vehicle are dark. It may be determined that it is necessary to call attention to a caution-required feature when the side lights are on.
  • the driver's degree of recognition of the attention-requiring feature can also be used as a criterion for judging whether or not to call attention.
  • a driver sensing device (not shown) of the own vehicle determines the driver's degree of recognition of the attention-requiring feature from the movement of the driver's line of sight, and the alert determination unit 13, based on the determination result, It may be determined whether or not to call attention to the attention-requiring features.
  • the caution determination unit 13 may determine a caution-requiring feature whose degree of recognition by the driver is equal to or less than a predetermined threshold as a caution target feature.
  • the projection control unit 14 controls the projection device 22 to display an image on the road surface for alerting the existence of the attention-requiring feature (attention target feature) determined by the attention alert determination unit 13 to require attention. etc. Specifically, the projection control unit 14 uses the projection device 22 to project the illusion image generated by the illusion image generation unit 12 onto a position corresponding to the position of the alert target feature.
  • the ⁇ position corresponding to the position of the target feature to be alerted'' is not limited to the same position as the target feature to be alerted, but a position where the position of the target feature to be alerted can be grasped by illuminating the optical illusion image. I wish I had.
  • the "position corresponding to the position of the attention target feature" includes the vicinity of the attention target feature, such as the perimeter of the attention target feature and the position adjacent to the attention target feature.
  • Embodiment 1 a specific example of the operation of the projection control system according to Embodiment 1 will be described.
  • an own vehicle equipped with a projection control system is traveling on a road as shown in FIG.
  • FIG. 2 there is a median strip on the right side of the lane in which the vehicle is running. From the driver's seat of the own vehicle, the scenery as shown in FIG. 3 can be seen ahead.
  • the periphery detection device 21 detects the median strip as a feature around the vehicle. Since the median strip has a three-dimensional shape that affects the running of the vehicle, the caution feature detection unit 11 of the projection control device 10 detects the median strip detected by the periphery detection device 21 as a caution feature. do.
  • the illusion image generation unit 12 generates an illusion image that reminds us of the three-dimensional shape of the median strip, which is a feature requiring attention. Since the median strip protrudes from the road surface, the illusion image generator 12 generates, for example, a convex-shaped illusion image as shown in FIG. 4 as the illusion image for the median strip.
  • H, W and D in the figure indicate the "apparent" height (or depth), width and depth of the illusory image, respectively, and do not represent the planar dimensions of the illusory image.
  • the attention calling determination unit 13 determines whether or not to call attention to the median strip, which is a feature requiring attention. For example, when the alert determination unit 13 determines that it is necessary to alert a feature that requires attention at a distance of 100 m or less from the own vehicle, the alert determination unit 13 selects the part of the median strip up to 100 m from the own vehicle. is determined to be a warning target feature.
  • the projection control unit 14 controls the projection device 22 to project the illusion image generated by the illusion image generation unit 12 at a position corresponding to the position of the median strip, which is the feature to be alerted. For example, as shown in FIG. 5, when the projection control unit 14 projects the optical illusion image of FIG. Objects appear to exist. As a result, the driver is alerted to the median strip, and the driver can intuitively grasp the three-dimensional shape of the median strip.
  • the driver of the own vehicle can intuitively grasp the three-dimensional shape of the caution-requiring feature and call attention to the presence of the caution-requiring feature. is possible.
  • FIGS. 4 and 6 show a trapezoidal prism image as an example of a convex illusion image, but the invention is not limited to this.
  • an image of a triangular prism as shown in FIG. , etc. may also be used.
  • the type of optical illusion image to be used may be changed according to the type of the alert target feature. In other words, a different illusion image may be used for each type of alert target feature.
  • FIG. 6 shows an example in which a plurality of illusory images are projected side by side along the median strip, but one illusory image that extends long along the median strip may be projected.
  • the optical illusion image may have a continuous shape or a discontinuous shape (a shape divided into a plurality of pieces).
  • the optical illusion image of the median may be projected between the rightmost lane and the median, or may be projected at a position spaced from the median, for example, at a position adjacent to the rightmost lane.
  • a feature requiring attention may have a concave shape such as a gutter or a sunken road surface.
  • the road on which the vehicle is traveling has a median strip on the right side and a side ditch on the left side.
  • a convex optical illusion image is generated as an optical illusion image calling attention to the presence of a divider
  • a concave optical illusion image as shown in FIG. 10 is generated as an optical illusion image calling attention to the presence of a gutter.
  • the alert determination unit 13 projects the convex-shaped illusion image to the position corresponding to the position of the median strip, and projects the concave-shaped illusion image to the position corresponding to the position of the side ditch. do.
  • the apparent height (or depth) H of the illusion image may be changed according to the height of the alert target feature. That is, the value of the apparent height H of the illusion image for alerting the feature may be increased as the height of the feature to be alerted increases.
  • the road surface in a specific state can also be a caution feature.
  • an optical illusion image may be projected on the entire road surface of the lane on which the vehicle is traveling, as shown in FIG. 11 .
  • the optical illusion image of the road surface may be projected along the outside of the lane in which the host vehicle is traveling.
  • the road surface illusion image may be projected only in a certain range near the road surface change point.
  • the illusory image of the road surface may be projected only when the vehicle passes near the road surface change point.
  • projection of the illusion image may be moderated, such as by lowering the brightness of the illusion image of the road surface.
  • the alert determination unit 13 stops projecting the illusion image of the road surface, or alerts the user to the falling object. It is preferable to project an illusionary image that performs
  • the projection control device 10 first confirms whether or not its own operation mode is set to an operation mode (illusion image projection mode) in which attention is called by projecting an illusion image (step S101). If the illusionary image projection mode is not set (NO in step S101), the projection control device 10 waits until the illusionary image projection mode is set.
  • the feature requiring caution detection unit 11 acquires the detection result of the feature from the surroundings detection device 21 (step S102), and detects the ground around the vehicle. It is checked whether or not an object has been detected (step S103). If a feature is detected around the own vehicle (YES in step S103), the attention-requiring feature detection unit 11 determines whether the feature is a caution-requiring feature based on the shape of the feature. (Step S104).
  • step S104 the alert determination unit 13 determines whether it is necessary to alert the caution-requiring feature (step S105). That is, in step S105, it is determined whether or not the attention-requiring feature is a caution-requiring target feature.
  • step S105 If it is determined that the attention-requiring feature is the attention-requiring feature (YES in step S105), the illusion image generator 12 generates an illusion image reminiscent of the three-dimensional shape of the attention-requiring feature (step S106). Then, the projection control unit 14 controls the projection device 22 to project the illusion image generated by the illusion image generation unit 12 at a position corresponding to the position of the caution target feature. is alerted (step S107). If NO is determined in any of steps S103, S104 and S105, steps S106 and S107 are not performed.
  • step S101 the projection control apparatus 10 repeatedly executes the above operations.
  • step S101 switching between on and off of the illusionary image projection mode
  • the switching of the operation mode in step S101 may be performed by the user, or may be performed automatically by the projection control device 10.
  • Methods for the user to switch the operation mode of the projection control apparatus 10 include a method using hardware keys such as physical switches and a method using software keys such as GUI (Graphical User Interface).
  • the illusionary image projection mode may be turned on.
  • the illusionary image projection mode may be turned on when the brightness around the own vehicle or around the alert target feature falls below a certain value.
  • the brightness of the surroundings of the own vehicle or the caution target feature may be measured by the illuminance sensor of the own vehicle, or may be estimated from the brightness of the image captured by the camera as the attention-requiring feature detection unit 11. .
  • the projection control device 10 may automatically switch the operation mode based on the behavior of the host vehicle. For example, when the attention-requiring feature detection unit 11 detects that the road surface condition of the road on which the vehicle is traveling is bad, and the sensor of the vehicle detects the behavior of the vehicle, such as swaying or slipping, The optical illusion image projection mode may be turned on.
  • the projection control unit 14 may change the display mode of the illusion image when a predetermined condition is satisfied. For example, when the driver's degree of recognition of the alert target feature is smaller than a predetermined threshold, or when the proportion of the portion of the alert target feature that cannot be visually recognized from the own vehicle is greater than a predetermined threshold. , the projection control unit 14 may highlight the illusion image that calls attention to the attention target feature. In addition, the degree of emphasis may be increased as the driver's degree of recognition of the attention target feature decreases, or as the percentage of the portion of the attention target feature that cannot be visually recognized from the own vehicle increases.
  • the mode of highlighting may be any mode such as brightness enhancement display, blinking display, enlarged display, animation display, or the like.
  • the illusionary image generation unit 12 may deform the illusionary image to be generated according to various conditions.
  • the illusion image generator 12 may change the illusion figure according to the height of the driver's eye point (the height of the seat of the vehicle). Specifically, when the driver's eye point is high, the apparent height H and depth D of the illusion image should be increased. The apparent height H and depth D of the illusory image are reduced when the traveling speed of the own vehicle is low, and the apparent height H and depth D of the illusory image are increased when the traveling speed of the own vehicle is high. You may
  • FIG. 16 and 17 are diagrams showing examples of the hardware configuration of the projection control apparatus 10, respectively.
  • Each function of the components of the projection control apparatus 10 shown in FIG. 1 is implemented by, for example, a processing circuit 50 shown in FIG. That is, the projection control device 10 detects a caution feature that is a feature having a three-dimensional shape that affects the running of the vehicle, generates an illusion image that evokes the three-dimensional shape of the caution feature, A processing circuit 50 for judging whether or not to call attention to a caution-requiring feature and projecting an optical illusion image at a position corresponding to the position of the caution-requiring feature for which it is judged necessary to call attention by using the projection device 22. Prepare.
  • the processing circuit 50 may be dedicated hardware, or a processor (central processing unit (CPU: Central Processing Unit), processing device, arithmetic device, microprocessor, microcomputer, etc.) that executes a program stored in a memory. Also called a DSP (Digital Signal Processor)).
  • CPU Central Processing Unit
  • DSP Digital Signal Processor
  • the processing circuit 50 may be, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), an FPGA (Field-Programmable Gate Array), or a combination of these.
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array
  • FIG. 17 shows an example of the hardware configuration of the projection control apparatus 10 when the processing circuit 50 is configured using a processor 51 that executes programs.
  • the functions of the components of the projection control apparatus 10 are implemented by software or the like (software, firmware, or a combination of software and firmware).
  • Software or the like is written as a program and stored in the memory 52 .
  • the processor 51 implements the function of each part by reading and executing the program stored in the memory 52 . That is, the projection control device 10, when executed by the processor 51, performs processing for detecting a feature requiring attention, which is a feature having a three-dimensional shape that affects the running of the vehicle, and three-dimensional detection of the feature requiring attention.
  • a memory 52 is provided for storing a program that results in the execution of the process of projecting an optical illusion image using the device 22 .
  • this program causes a computer to execute the procedures and methods of operation of the constituent elements of the projection control apparatus 10 .
  • the memory 52 is, for example, a non-volatile or Volatile semiconductor memory, HDD (Hard Disk Drive), magnetic disk, flexible disk, optical disk, compact disk, mini disk, DVD (Digital Versatile Disc) and their drive devices, etc., or any storage media that will be used in the future.
  • HDD Hard Disk Drive
  • magnetic disk flexible disk
  • optical disk compact disk
  • mini disk mini disk
  • DVD Digital Versatile Disc
  • the present invention is not limited to this, and a configuration may be employed in which some components of the projection control apparatus 10 are implemented by dedicated hardware and other components are implemented by software or the like.
  • the functions of some of the components are realized by the processing circuit 50 as dedicated hardware, and the processing circuit 50 as a processor 51 executes the programs stored in the memory 52 for some of the other components. Its function can be realized by reading and executing it.
  • the projection control apparatus 10 can implement the functions described above using hardware, software, etc., or a combination thereof.
  • FIG. 18 is a diagram showing the configuration of a projection control system according to Embodiment 2.
  • FIG. The configuration of the projection control system shown in FIG. 18 is obtained by providing a positioning device 23 and a map data storage device 24 in place of the periphery detection device 21 in the configuration shown in FIG. 1 of the first embodiment.
  • the positioning device 23 is based on positioning signals obtained from GNSS (global navigation satellite system) and information obtained from sensors of the vehicle (for example, speed sensor, acceleration sensor, direction sensor, etc.), the position and progress of the vehicle. Calculate direction.
  • GNSS global navigation satellite system
  • the positioning device 23 is highly accurate enough to identify the lane in which the vehicle is traveling, specifically, it is capable of identifying the position of the vehicle on the order of several tens of centimeters.
  • the map data storage device 24 is a storage medium that stores map data including information such as the position and shape of road lanes and the position and shape of features existing around the road (including three-dimensional shapes).
  • the map data stored in the map data storage device 24 is assumed to be high-precision map data in which the positions and shapes of lanes and features are described with accuracy on the order of several tens of centimeters.
  • the map data stored in the map data storage device 24 may be used for map matching processing for correcting the position of the own vehicle calculated by the positioning device 23 .
  • the attention-requiring feature detection unit 11 uses the position information of the own vehicle calculated by the positioning device 23 and the map data of the surroundings of the own vehicle stored in the map data storage device 24, which is included in the map data. Based on the information on the position and three-dimensional shape of the object, a caution-requiring feature around the own vehicle is detected.
  • FIG. 19 is a flow chart showing the operation of the projection control device according to the second embodiment.
  • step S102 of the flowchart of FIG. 15 shown in Embodiment 1 is replaced with steps S111 and S112 below.
  • step S ⁇ b>111 the caution-required feature detection unit 11 acquires the position information of the own vehicle from the positioning device 23 .
  • step S ⁇ b>112 the attention-requiring feature detection unit 11 searches for features around the host vehicle from the map data stored in the map data storage device 24 .
  • step S112 If a feature around the host vehicle is detected in step S112 (YES in step S112), the feature requiring caution detection unit 11 detects the feature as a required feature based on the information on the shape of the feature included in the map data. It is determined whether or not it is a caution feature (step S104).
  • FIG. 18 shows an example in which the projection control system does not include the periphery detection device 21, but the projection control system of the second embodiment may also be provided with the periphery detection device 21.
  • the projection control system does not include the periphery detection device 21, for example, it is not possible to check whether a feature requiring attention is obscured by snow or mud.
  • the periphery detection device 21 in the projection control system of the second embodiment, it is possible to realize functions equivalent to those of the first embodiment.
  • the periphery detection device 21 detects the lane markings, and the positioning device 23 calculates the It is also possible to correct the position of the own vehicle, thereby improving the calculation accuracy of the position of the own vehicle.
  • FIG. 20 is a diagram showing the configuration of a projection control system according to Embodiment 3.
  • FIG. The configuration of the projection control system shown in FIG. 20 is different from the configuration shown in FIG. 15 is added.
  • the caution feature information storage unit 15 stores caution feature information including position information of the caution feature.
  • the attention-requiring feature information may include information such as the type and shape of the caution-requiring feature in addition to the position information of the caution-requiring feature. Storing the information on the caution feature in the caution feature information storage unit 15 is called "registration".
  • the setting device 25 is a device for registering caution features in the caution feature information storage unit 15 . That is, the caution feature information storage unit 15 acquires and stores the caution feature information from the setting device 25 .
  • the setting device 25 is a device of the user of the projection control device 10, such as a mobile phone or a smart phone, or an infrastructure device (infrastructure device), such as a security camera.
  • the setting device 25 may be any device that can be authenticated by the projection control device 10 .
  • the method by which the setting device 25 acquires the caution feature information and registers it in the caution feature information storage unit 15 is not restricted.
  • the setting device 25 is a device of the user
  • the setting device 25 extracts and acquires the information of the caution feature from the map data storage device (not shown) according to the user's operation, and the acquired information is It may be registered in the feature information storage unit 15 .
  • the setting device 25 may have an HMI (Human Machine Interface) capable of selecting the area and type of the caution feature from which information is to be obtained.
  • HMI Human Machine Interface
  • the setting device 25 also downloads the caution feature information from an external server having a caution feature database and registers the acquired information in the caution feature information storage unit 15 according to the user's operation.
  • the setting device 25 may have an HMI capable of selecting the area and type of the caution feature to be downloaded.
  • the setting device 25 may have a function of detecting an update of the database, automatically downloading the latest caution-requiring feature information, and updating the information registered in the caution-requiring feature information storage unit 15. good. Further, the setting device 25 automatically downloads the information on the caution feature caused by the influence of the weather, etc., and registers it in the caution feature information storage unit 15 as temporary information on the caution feature. good too.
  • the user may operate the setting device 25 to register unique information on the caution feature in the caution feature information storage unit 15 .
  • the user sends an image of a feature captured by a smartphone, which is the setting device 25, to the projection control device 10, and the projection control device 10 analyzes the image and determines that the feature is a caution-required feature.
  • the feature may be registered in the caution feature information storage unit 15 as a caution feature.
  • the projection control device 10 acquires the information of the feature determined as the caution feature by the infrastructure device, and stores the information in the caution feature information storage unit 15. sign up.
  • the caution feature detecting unit 11 stores the position information of the own vehicle calculated by the positioning device 23 and the caution feature information stored in the caution feature information storage unit 15. Based on this, it detects features requiring attention around the vehicle.
  • FIG. 21 is a flow chart showing the operation of the projection control device according to the third embodiment.
  • steps S102 to S104 of the flowchart of FIG. 15 shown in Embodiment 1 are replaced with steps S121 to S123 below.
  • step S ⁇ b>121 the caution-required feature detection unit 11 acquires the position information of the own vehicle from the positioning device 23 .
  • step S ⁇ b>122 the caution feature detecting unit 11 detects registered objects located around the own vehicle based on the position information of the own vehicle and the caution feature information stored in the caution feature information storage unit 15 . Search for special features.
  • step S122 when a registered attention-requiring feature located around the vehicle is detected (YES in step S122), the process proceeds to step S105, and the attention alert determination unit 13 determines whether attention is required for the attention-requiring feature. judge no. Further, when the registered caution-requiring feature located around the vehicle is not detected in step S122 (NO in step S122), the process returns to step S101. Since the processing of other steps is basically the same as that of FIG. 15, the description here is omitted.
  • the caution determination unit 13 may unconditionally determine the caution feature registered in the caution feature information storage unit 15 as the caution target feature. In that case, the operation of the projection control apparatus is as shown in the flow chart of FIG. The flowchart of FIG. 22 replaces step S105 of the flowchart of FIG. 21 with step S124. In step S124, the caution determination unit 13 unconditionally determines the attention-requiring feature determined as YES in step S123 (that is, the registered caution-requiring feature) as the attention-requiring target feature. In this modification, the caution-requiring feature registered in the caution-requiring feature information storage unit 15 is always determined as the attention-requiring target feature. Therefore, in other words, the attention-requiring feature information storage unit 15 is used as means for registering attention-requiring feature features.
  • FIG. 20 shows a projection control system that does not include the map data storage device 24, the projection control system of Embodiment 3 may also include the map data storage device 24.
  • the position information of the caution feature is registered in the caution feature information storage unit 15, and information such as the type and shape of the registered caution feature is stored in the caution feature detection unit 11. It may be acquired from the map data storage device 24 accordingly.
  • FIG. 23 is a diagram showing a configuration of a projection control system according to Embodiment 4.
  • FIG. 23 The configuration of the projection control system shown in FIG. 23 is obtained by adding a setting device 25 to the configuration shown in FIG. .
  • the alert target type storage unit 16 stores information on the alert target type, which is the type of feature to be alerted. Storing the information on the alert target type in the alert target type storage unit 16 is called "registration".
  • the alerting determination unit 13 only alerts the attention-requiring feature corresponding to the alerting target type registered in the alerting target type storage unit 16 . Conversely, the caution determination unit 13 excludes the attention-requiring feature that does not correspond to the caution target type from the caution target.
  • the setting device 25 is a device for registering an alert target type in the alert target type storage unit 16 . That is, the alert target type storage unit 16 acquires and stores information on the alert target type from the setting device 25 .
  • the setting device 25 is a device of the user of the projection control device 10 such as a mobile phone or a smart phone, or an infrastructure device such as a security camera.
  • the setting device 25 may be any device that can be authenticated by the projection control device 10 .
  • the setting device 25 acquires the information on the alert target type and registers it in the alert target type storage unit 16 .
  • the setting device 25 is the user's device, the user operates the setting device 25 to select what type of attention-requiring feature to call attention to, and the setting device 25
  • the selected type may be registered in the alert target type storage unit 16 .
  • road shoulders, median strips, ditches, road surface condition change points, obstacles, and the like may be selected as alert target types.
  • the projection control device 10 acquires information on the type of feature determined by the infrastructure device to be a warning target feature, and stores the warning target type storage unit. Register for 16.
  • the basic configuration and operation of the projection control apparatus 10 according to the fourth embodiment are the same as those of the first embodiment.
  • the alert determination unit 13 only alerts the attention-requiring feature corresponding to the alert target type registered in the alert target type storage unit 16 .
  • FIG. 24 is a flow chart showing the operation of the projection control device according to the fourth embodiment.
  • the flowchart of FIG. 24 is obtained by adding step S131 between steps S103 and S104 of the flowchart of FIG. 15 shown in the first embodiment.
  • Step S131 is executed when a caution-requiring feature is detected by the caution-requiring feature detection unit 11 (when YES is determined in step S104).
  • the caution determination unit 13 confirms whether or not the type of the caution-requiring feature corresponds to the caution target type. If the type of the attention-requiring feature corresponds to the attention-requiring target type (YES in step S131), the process proceeds to step S105. NO in step S131), and the process returns to step S101. Since the processing of other steps is basically the same as that of FIG. 15, the description here is omitted.
  • FIG. 23 shows an example in which the alert target type storage unit 16 is provided in the projection control system of the first embodiment. is also applicable.
  • the projection control device 10 includes both the caution target feature information storage unit 15 and the caution target type storage unit 16. Be prepared.
  • the warning determination unit 13 selects both the caution feature registered in the caution feature information storage unit 15 and the caution feature corresponding to the type registered in the caution target type storage unit 16, It may be judged as a warning target feature.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

投射制御装置(10)において、要注意地物検出部(11)は、自車両の走行に影響を及ぼす立体的形状を持つ地物である要注意地物を検出する。錯視画像生成部(12)は、要注意地物の立体的形状を想起させる錯視画像を生成する。注意喚起判断部(13)は、要注意地物に対する注意喚起の要否を判断する。投射制御部(14)は、注意喚起が必要と判断された要注意地物の位置に対応する位置に、投射装置(22)を用いて錯視画像を投射する。

Description

投射制御装置および投射制御方法
 本開示は、車両から路面などへ画像を投射する技術に関するものである。
 車両の安全性向上を目的として、車両前方の道路形状を考慮して前照灯(ヘッドライト)の光の照射方向を制御する前照灯システムや、車両前方の路面に図形や記号などの画像を投射する運転支援装置など、車両からの照射光を制御する技術が種々提案されている(例えば下記の特許文献1および2)。
特開2002-225617号公報 特開2008-287669号公報
 上記の技術を用いれば、車両を走行させる際に注意を払うべき地物(以下「要注意地物」という)の存在を運転者に注意喚起することが可能である。しかし、それらの技術は、運転者に要注意地物の立体的形状を直感的に把握させるものではない。特に夜間や悪天候時など、運転者が要注意地物を視認しづらい状況において、運転者に要注意地物の立体的形状を容易に把握させることができる技術が望まれる。
 本開示は以上のような課題を解決するためになされたものであり、車両の運転者に要注意地物の立体的形状を直感的に把握させつつ、要注意地物の存在を注意喚起することが可能な投射制御装置を提供することを目的とする。
 本開示に係る投射制御装置は、自車両の走行に影響を及ぼす立体的形状を持つ地物である要注意地物を検出する要注意地物検出部と、要注意地物の立体的形状を想起させる錯視画像を生成する錯視画像生成部と、要注意地物に対する注意喚起の要否を判断する注意喚起判断部と、注意喚起が必要と判断された要注意地物の位置に対応する位置に、投射装置を用いて錯視画像を投射する投射制御部と、を備える。
 本開示によれば、車両の運転者に要注意地物の立体的形状を直感的に把握させつつ、要注意地物の存在を注意喚起することができる。
 本開示の目的、特徴、態様、および利点は、以下の詳細な説明と添付図面とによって、より明白となる。
実施の形態1に係る投射制御システムの構成を示す図である。 自車両が走行中の道路の例を示す図である。 自車両の前方の風景の例を示す図である。 凸形状の錯視画像の例を示す図である。 投射制御システムの動作の例を説明するための図である。 自車両の前方に投射された錯視画像の例を示す図である。 凸形状の錯視画像の例を示す図である。 凸形状の錯視画像の例を示す図である。 投射制御システムの動作の例を説明するための図である。 凹形状の錯視画像の例を示す図である。 投射制御システムの動作の例を説明するための図である。 投射制御システムの動作の例を説明するための図である。 投射制御システムの動作の例を説明するための図である。 投射制御システムの動作の例を説明するための図である。 実施の形態1に係る投射制御装置の動作を示すフローチャートである。 投射制御装置のハードウェア構成例を示す図である。 投射制御装置のハードウェア構成例を示す図である。 実施の形態2に係る投射制御システムの構成を示す図である。 実施の形態2に係る投射制御装置の動作を示すフローチャートである。 実施の形態3に係る投射制御システムの構成を示す図である。 実施の形態3に係る投射制御装置の動作を示すフローチャートである。 実施の形態3に係る投射制御装置の変形例を示すフローチャートである。 実施の形態4に係る投射制御システムの構成を示す図である。 実施の形態4に係る投射制御装置の動作を示すフローチャートである。
 <実施の形態1>
 図1は、実施の形態1に係る投射制御システムの構成を示す図である。この投射制御システムは、車両に搭載され、車両周辺の要注意地物の存在を運転者に注意喚起するための画像を路面等に投射する。本開示において、要注意地物は、車両の走行に影響を及ぼす(例えば走行の障害となる)立体的形状を持つ地物として定義される。また、投射制御システムが搭載された車両を「自車両」という。
 図1のように、実施の形態1に係る投射制御システムは、投射制御装置10と、それに接続された周辺検出装置21および投射装置22とを備えている。
 周辺検出装置21は、自車両の周辺に存在する地物を検出する機能を有する車載装置であり、例えば超音波センサ、ミリ波レーダ、LiDAR(Light Detection and Ranging)等のセンサや、カメラ(赤外線カメラを含む)で撮影した自車両周辺の画像から地物を検出する画像解析装置などによって構成することができる。周辺検出装置21は、検出した地物の位置(自車両からの距離および方向)や形状なども検出することができる。また、周辺検出装置21は、地物を検出する機能の他、自車両周辺の環境に関する情報(例えば、明るさ、気温、天候など)を検出する機能を備えていてもよい。
 投射装置22は、自車両周辺の路面などに画像を照射する車載装置である。投射装置22は、画像投射専用の機器でもよいし、前照灯が発するレーザ光を利用して画像を投射するものでもよい。
 投射制御装置10は、周辺検出装置21による地物の検出結果に基づいて投射装置22を制御する車載装置である。ただし、投射制御装置10は、必ずしも自車両に常設されなくてもよく、例えば携帯電話、スマートフォン、PND(Portable Navigation Device)など、車両に持ち込み可能な携帯型の機器で実行されるアプリケーションプログラムで実現されてもよい。また、投射制御装置10の一部の機能は、自車両の外部に設置され投射制御装置10との通信が可能なサーバ上で実現されてもよい。
 図1に示すように、投射制御装置10は、要注意地物検出部11、錯視画像生成部12、注意喚起判断部13および投射制御部14を備えている。
 要注意地物検出部11は、周辺検出装置21による地物の検出結果に基づいて、自車両周辺の要注意地物(自車両の走行に影響を及ぼす立体的形状を持つ地物)を検出する。要注意地物としては、自車両が走行中の道路に対して一定以上の大きさの段差(高さまたは深さ)を有する道路の構造物、例えば、中央分離帯、縁石、歩道、側溝などが想定される。
 また、例えば、積雪した路面、凍結した路面、水たまりができた路面、砂利の路面、轍ができた路面、スリットが設けられた路面、陥没した路面、ひび割れた路面など、特定の状態の路面も、要注意地物に成り得る。また、例えば路上駐車された車両や、道路工事現場のポールなど、道路に定着していない物体も、要注意地物に成り得る。
 錯視画像生成部12は、要注意地物検出部11が検出した要注意地物の立体的形状を想起させる錯視画像を生成する。錯視画像生成部12が生成する錯視画像は、自車両の運転者から見たときに、錯視によって、地物が存在するように見える画像である。錯視画像は、例えば、運転者の目の位置(アイポイント)を基準とする一点透視図法に準じた描画方法により生成することができる。
 また、錯視画像は、要注意地物の大まかな立体的形状(例えば、凸形状、凹形状など)を想起させるものであればよく、要注意地物の実際の立体的形状を再現するものである必要はない。例えば、要注意地物が、中央分離帯、縁石、歩道、道路工事現場のポールなど、路面から突出した形状を持つ場合は、錯視画像生成部12は、凸形状に見える錯視画像を生成すればよい。また、要注意地物が、側溝や陥没した路面など、路面から窪んだ形状を持つ場合は、錯視画像生成部12は、凹形状に見える錯視画像を生成すればよい。また、要注意地物が、積雪した路面、凍結した路面、水たまりができた路面、砂利の路面、轍ができた路面、スリットが設けられた路面、陥没した路面、ひび割れた路面などであれば、錯視画像生成部12は、積雪、氷面、水たまり、砂利、轍、スリット、陥没、ひび割れなどを想起させる任意形状の錯視画像を生成すればよく、錯視画像の形状が実物の形状と異なっていてもよい。要注意地物検出部11が要注意地物の実際の立体的形状を検出可能な場合には、錯視画像生成部12は、実際の立体的形状を模擬した錯視画像を生成してもよい。
 注意喚起判断部13は、要注意地物検出部11が検出した要注意地物に対する注意喚起の要否を判断する。つまり、注意喚起判断部13は、要注意地物の存在を自車両の運転者に注意喚起する必要があるか否かを判断する。以下、注意喚起判断部13により注意喚起が必要と判断された要注意地物を「注意喚起対象地物」ということもある。
 要注意地物に対する注意喚起の要否の判断基準、すなわち要注意地物が注意喚起対象地物であるか否かの判断基準としては様々なものが考えられる。ここでは、その判断基準の幾つかの例を示す。
 例えば、要注意地物の緊急性を、注意喚起の要否の判断基準にすることができる。自車両から近い位置にある要注意地物は緊急性が高いため、注意喚起判断部13は、自車両からの距離が予め定められた閾値(例えば100m)以下の要注意地物を、注意喚起対象地物と判断してもよい。また、注意喚起判断部13は、自車両の走行速度から要注意地物への到達時間を算出し、到達時間が予め定められた閾値(例えば7秒)以下の要注意地物を、注意喚起対象地物と判断してもよい。
 上記の閾値は固定値でなくてよく、自車両の走行速度が高いほど閾値を大きくしたり、自車両の制動距離が長いときほど閾値を大きくしたりしてもよい。自車両の制動距離は自車両の走行速度と路面の摩擦係数とに依存する。また、閾値は要注意地物の種別(属性)に応じて変更されてもよい。例えば、凍結した路面など、視覚で判断することが困難な要注意地物については、早めに注意喚起が行われるように、閾値を大きくしてもよい。
 また、自車両の自動運転が実施されているときは、自車両が自動的に要注意地物を回避するため、運転者にとっては要注意地物の緊急性は低い。そのため、注意喚起判断部13は、自車両で実施されている自動運転のレベル(SAE(Society of Automotive Engineers)が規定する自動運転レベル)に基づいて、要注意地物に対する注意喚起の要否を判断してもよい。例えばレベル4または5の自動運転が実施されているときには、運転者は自車両の挙動や周辺状況を監視する必要がないため、注意喚起判断部13は、要注意地物に対する注意喚起は不要と判断してもよい。レベル3の自動運転が実施されているときに、要注意地物に対する注意喚起が必要と判断するか不要と判断するかは、自動運転装置の仕様に応じて定めてもよいし、運転者がどちらに判断するかを設定できるようにしてもよい。
 自動運転がレベル3以下の場合であっても、レーンキーピング機能が有効になっているときは、自車両が走行中の車線の外にある要注意地物に対する注意喚起は不要と判断されてもよい。同様に、自動運転がレベル3以下の場合であっても、自車両前方の状況に応じた自動ブレーキや速度制御が有効になっているときは、路面を注意喚起対象地物から除外してもよい。
 また、要注意地物の認知困難性を、注意喚起の要否の判断基準にすることもできる。例えば、積雪、泥、街路樹などに隠れて一部または全体が見えない要注意地物は、運転者が認知することが困難であるため、注意喚起の対象とする必要性が高い。そのため、注意喚起判断部13は、一定割合(例えば50%)以上の部分を自車両から視認できない要注意地物を、注意喚起対象地物と判断してもよい。
 また、自車両の周囲が暗い状況では運転者が要注意地物を認知することが困難になるため、そのような状況では、要注意地物を注意喚起の対象とする必要性が高い。そのため、注意喚起判断部13は、自車両の周囲の明るさが予め定められた閾値以下にときに、要注意地物に対する注意喚起が必要と判断してもよい。また、自車両の前照灯または車幅灯(スモールランプ)が点灯しているときは、自車両の周囲が暗い可能性が高いため、注意喚起判断部13は、自車両の前照灯または車幅灯が点灯しているときに、要注意地物に対する注意喚起が必要と判断してもよい。
 自車両周辺の気象状況を、注意喚起の要否の判断基準にすることもできる。例えば、雨、雪、霧など視界不良となる悪天候時には、運転者が要注意地物を認知することが困難になるため、注意喚起判断部13は、悪天候時に、要注意地物に対する注意喚起が必要と判断してもよい。また、注意喚起判断部13は、外気の温度や湿度から、路面が凍結する可能性が高いと判断されるときに、要注意地物に対する注意喚起が必要と判断してもよい。気象状況の情報は、温度センサ、湿度センサ、降雨センサなどで取得してもよいし、気象情報配信システムとの通信により取得してもよい。
 また、運転者の要注意地物に対する認知度を、注意喚起の要否の判断基準にすることもできる。例えば、自車両のドライバセンシング装置(不図示)が、運転者の視線の動きから、運転者の要注意地物に対する認知度を判断し、注意喚起判断部13が、その判断結果に基づいて、要注意地物に対する注意喚起の要否を判断してもよい。例えば、注意喚起判断部13が、運転者による認知度が予め定められた閾値以下である要注意地物を、注意喚起対象地物と判断するようにしてもよい。
 投射制御部14は、投射装置22を制御して、注意喚起判断部13により注意喚起が必要と判断された要注意地物(注意喚起対象地物)の存在を注意喚起するための画像を路面等に表示させる。具体的には、投射制御部14は、投射装置22を用いて、注意喚起対象地物の位置に対応する位置に、錯視画像生成部12が生成した錯視画像を投射することで、注意喚起対象地物に対する注意喚起を行う。ここで、「注意喚起対象地物の位置に対応する位置」は、注意喚起対象地物と同じ位置に限られず、錯視画像が照射されることで注意喚起対象地物の位置を把握できる位置であればよい。つまり、「注意喚起対象地物の位置に対応する位置」には、例えば注意喚起対象地物の外周や、注意喚起対象地物に隣接する位置など、注意喚起対象地物の近傍も含まれる。
 ここで、実施の形態1に係る投射制御システムの動作の具体例を説明する。例えば、投射制御システムを搭載した自車両が、図2のような道路を走行していると仮定する。図2のように、自車両が走行中の車線の右側には中央分離帯が存在する。自車両の運転席からは、前方に図3のような景色が見える。
 図2の状況においては、周辺検出装置21は、自車両の周辺の地物として、中央分離帯を検出する。中央分離帯は自車両の走行に影響を及ぼす立体的形状を持つため、投射制御装置10の要注意地物検出部11は、周辺検出装置21が検出した中央分離帯を要注意地物として検出する。
 錯視画像生成部12は、要注意地物である中央分離帯の立体的形状を想起させる錯視画像を生成する。中央分離帯は路面から突出しているため、錯視画像生成部12は、中央分離帯用の錯視画像として、例えば図4のような凸形状の錯視画像を生成する。図中のH、WおよびDは、それぞれ錯視画像の“見掛け上の”高さ(または深さ)、幅および奥行きを示しており、錯視画像の平面的な寸法を表すものではない。
 注意喚起判断部13は、要注意地物である中央分離帯に対する注意喚起の要否を判断する。例えば、注意喚起判断部13が、自車両からの距離が100m以下の要注意地物に対する注意喚起が必要と判断する場合、注意喚起判断部13は、中央分離帯の自車両から100mまでの部分を、注意喚起対象地物と判断する。
 投射制御部14は、投射装置22を制御して、錯視画像生成部12が生成した錯視画像を、注意喚起対象地物である中央分離帯の位置に対応する位置に投射する。例えば図5のように、投射制御部14が、中央分離帯に沿った位置に図4の錯視画像を投射すると、運転席からは、図6のように、中央分離帯の手前に凸形状の物体が存在するように見える。その結果、運転者への中央分離帯に対する注意喚起がなされるとともに、運転者は、中央分離帯の立体的形状を直感的に把握することができる。
 このように、実施の形態1に係る投射制御システムによれば、自車両の運転者に要注意地物の立体的形状を直感的に把握させつつ、要注意地物の存在を注意喚起することが可能である。
 図4および図6には、凸形状の錯視画像の例として台形柱の画像を示したが、これに限られるものではなく、例えば図7のような三角柱の画像や、図8のような直方体の画像などでもよい。どのような錯視画像を用いるかは、注意喚起対象地物の種別に応じて変更されてもよい。つまり、注意喚起対象地物の種別ごとに、異なる錯視画像が用いられてもよい。
 また、図6においては、中央分離帯に沿って複数の錯視画像が並べて投射された例を示したが、中央分離帯に沿って長く延びる1つの錯視画像が投射されてもよい。つまり、錯視画像は、連続的な形状であっても不連続な形状(複数に分断された形状)であってもよい。また、中央分離帯の錯視画像は、右端の車線と中央分離帯との間に投射されればよく、中央分離帯から離間した位置、例えば右端の車線に隣接する位置に投射されてもよい。
 上述したように、要注意地物は、側溝や陥没した路面など、窪んだ形状を持つものであることもある。例えば、図9のように、自車両が走行中の道路の右側に中央分離帯、左側に側溝が存在し、それらが注意喚起対象地物と判断された場合、錯視画像生成部12は、中央分離帯の存在を注意喚起する錯視画像としては凸形状の錯視画像を生成し、側溝の存在を注意喚起する錯視画像としては、図10のような凹形状の錯視画像を生成する。そして、注意喚起判断部13は、図9に示すように、凸形状の錯視画像を中央分離帯の位置に対応する位置に投射し、凹形状の錯視画像を側溝の位置に対応する位置に投射する。
 錯視画像の見掛け上の高さ(または深さ)Hは、注意喚起対象地物の高さに応じて変化させてもよい。つまり、注意喚起対象地物の高さが大きいほど、その注意喚起を行うための錯視画像の見掛け上の高さHの値を大きくしてもよい。
 また、上述したように、特定の状態の道路の路面も、要注意地物に成り得る。要注意地物である路面が注意喚起対象地物となった場合、図11のように、自車両が走行中の車線の路面全体に錯視画像が投射されてもよい。しかし、車線の路面全体に錯視画像を投射すると、運転者が路面を視認しづらくなるおそれもある。そのため、例えば図12のように、路面の錯視画像は、自車両が走行中の車線の外側に沿って投射されてもよい。
 また、運転者が路面の状態を認知した後は、路面の状態が変化しない限り、運転者に路面の状態を注意喚起し続ける必要性は低い。そのため、例えば図13または図14のように、路面の錯視画像は、路面変化地点付近の一定の範囲にだけ投射されてもよい。言い換えれば、路面の錯視画像は、自車両が路面変化地点付近を通過するときにだけ投射されてもよい。あるいは、自車両が路面変化地点付近を通過した後は、路面の錯視画像の明度を下げるなど、錯視画像の投射を控えめにしてもよい。
 路面上に落下物が存在する場合には、安全性確保の観点から、運転者に路面の状態よりも落下物の存在を認知させることの方を優先させることが好ましい。そのため、要注意地物検出部11により、路面に落下物があることが検出された場合には、注意喚起判断部13は、路面の錯視画像の投射を停止する、あるいは、落下物の注意喚起を行う錯視画像の投射を行うことが好ましい。
 次に、図15のフローチャートを用いて、投射制御装置10の動作を説明する。投射制御装置10は、まず、自己の動作モードが、錯視画像の投射により注意喚起を行う動作モード(錯視画像投射モード)に設定されているか否かを確認する(ステップS101)。投射制御装置10は、錯視画像投射モードに設定されていなければ(ステップS101でNO)、錯視画像投射モードに設定されるまで待機する。
 錯視画像投射モードに設定されていれば(ステップS101でYES)、要注意地物検出部11が、周辺検出装置21から地物の検出結果を取得し(ステップS102)、自車両の周辺で地物が検出された否かを確認する(ステップS103)。自車両の周辺で地物が検出されていれば(ステップS103でYES)、要注意地物検出部11は、その地物の形状に基づいて、当該地物が要注意地物であるか否かを判断する(ステップS104)。
 当該地物が要注意地物であれば(ステップS104でYES)、注意喚起判断部13が、当該要注意地物に対する注意喚起の要否を判断する(ステップS105)。つまり、ステップS105では、要注意地物が注意喚起対象地物であるか否かの判断が成される。
 要注意地物が注意喚起対象地物であると判断された場合(ステップS105でYES)、錯視画像生成部12が、その注意喚起対象地物の立体的形状を想起させる錯視画像を生成する(ステップS106)。そして、投射制御部14が、投射装置22を制御して、注意喚起対象地物の位置に対応する位置に、錯視画像生成部12が生成した錯視画像を投射することで、注意喚起対象地物に対する注意喚起がなされる(ステップS107)。なお、ステップS103、S104およびS105のいずれかでNOと判断された場合には、ステップS106およびS107の処理は行われない。
 以上の処理が行われるとステップS101へ戻る。つまり、投射制御装置10は、以上の動作を繰り返し実行する。
 ここで、ステップS101の動作モードの切り替え(錯視画像投射モードのオン、オフを切り替え)は、ユーザによって行われてもよいし、投射制御装置10が自動的に行ってもよい。ユーザが投射制御装置10の動作モードを切り替える方法としては、物理的なスイッチなどのハードウェアキーを用いる方法や、GUI(Graphical User Interface)などのソフトウェアキーを用いる方法などがある。
 投射制御装置10が動作モードを自動的に切り替える場合、例えば、自車両の前照灯または車幅灯(スモールランプ)が点灯されると、錯視画像投射モードがオンになるようにしてもよい。また、自車両の周辺あるいは注意喚起対象地物の周辺の明るさが一定値以下になると、錯視画像投射モードがオンになるようにしてもよい。自車両または注意喚起対象地物の周辺の明るさは、自車両の照度センサで測定してもよいし、要注意地物検出部11としてのカメラが撮影した画像の明度から推定してもよい。
 また、投射制御装置10が、自車両の挙動に基づいて、動作モードを自動的に切り替えてもよい。例えば、要注意地物検出部11により自車両が走行中の道路の路面状態が悪いことが検出され、且つ、自車両のセンサにより自車両のフラつき、スリップなどの挙動が検出されると、錯視画像投射モードがオンになるようにしてもよい。
 [変形例]
 投射制御部14は、予め定められた条件が満たされると、錯視画像の表示態様を変更してもよい。例えば、注意喚起対象地物に対する運転者の認知度が予め定められた閾値よりも小さいときや、注意喚起対象地物における自車両から視認できない部分の割合が予め定められた閾値よりも大きいときに、投射制御部14が、その注意喚起対象地物を注意喚起する錯視画像を強調表示してもよい。また、注意喚起対象地物に対する運転者の認知度が小さいほど、あるいは、注意喚起対象地物における自車両から視認できない部分の割合が大きいほど、強調の度合いを大きくしてもよい。強調表示の態様は、例えば、明度増強表示、点滅表示、拡大表示、アニメーション表示など、任意の態様でよい。
 また、錯視画像生成部12は、種々の条件に応じて、生成する錯視画像を変形させてもよい。例えば、錯視画像生成部12は、運転者のアイポイントの高さ(自車両の座席の位置の高さ)に応じて錯視図形を変更してもよい。具体的には、運転者のアイポイントが高いときは、錯視画像の見掛け上の高さHや奥行きDを大きくするとよい。また、自車両の走行速度が小さいときは錯視画像の見掛け上の高さHや奥行きDを小さくし、自車両の走行速度が大きいときは錯視画像の見掛け上の高さHや奥行きDを大きくしてもよい。
 [ハードウェア構成例]
 図16および図17は、それぞれ投射制御装置10のハードウェア構成の例を示す図である。図1に示した投射制御装置10の構成要素の各機能は、例えば図16に示す処理回路50により実現される。すなわち、投射制御装置10は、自車両の走行に影響を及ぼす立体的形状を持つ地物である要注意地物を検出し、要注意地物の立体的形状を想起させる錯視画像を生成し、要注意地物に対する注意喚起の要否を判断し、注意喚起が必要と判断された要注意地物の位置に対応する位置に、投射装置22を用いて錯視画像を投射するための処理回路50を備える。処理回路50は、専用のハードウェアであってもよいし、メモリに格納されたプログラムを実行するプロセッサ(中央処理装置(CPU:Central Processing Unit)、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、DSP(Digital Signal Processor)とも呼ばれる)を用いて構成されていてもよい。
 処理回路50が専用のハードウェアである場合、処理回路50は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、またはこれらを組み合わせたものなどが該当する。投射制御装置10の構成要素の各々の機能が個別の処理回路で実現されてもよいし、それらの機能がまとめて一つの処理回路で実現されてもよい。
 図17は、処理回路50がプログラムを実行するプロセッサ51を用いて構成されている場合における投射制御装置10のハードウェア構成の例を示している。この場合、投射制御装置10の構成要素の機能は、ソフトウェア等(ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせ)により実現される。ソフトウェア等はプログラムとして記述され、メモリ52に格納される。プロセッサ51は、メモリ52に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、投射制御装置10は、プロセッサ51により実行されるときに、自車両の走行に影響を及ぼす立体的形状を持つ地物である要注意地物を検出する処理と、要注意地物の立体的形状を想起させる錯視画像を生成する処理と、要注意地物に対する注意喚起の要否を判断する処理と、注意喚起が必要と判断された要注意地物の位置に対応する位置に、投射装置22を用いて錯視画像を投射する処理と、が結果的に実行されることになるプログラムを格納するためのメモリ52を備える。換言すれば、このプログラムは、投射制御装置10の構成要素の動作の手順や方法をコンピュータに実行させるものであるともいえる。
 ここで、メモリ52は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)などの、不揮発性または揮発性の半導体メモリ、HDD(Hard Disk Drive)、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD(Digital Versatile Disc)およびそのドライブ装置等、または、今後使用されるあらゆる記憶媒体であってもよい。
 以上、投射制御装置10の構成要素の機能が、ハードウェアおよびソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、投射制御装置10の一部の構成要素を専用のハードウェアで実現し、別の一部の構成要素をソフトウェア等で実現する構成であってもよい。例えば、一部の構成要素については専用のハードウェアとしての処理回路50でその機能を実現し、他の一部の構成要素についてはプロセッサ51としての処理回路50がメモリ52に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
 以上のように、投射制御装置10は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。
 <実施の形態2>
 図18は、実施の形態2に係る投射制御システムの構成を示す図である。図18の投射制御システムの構成は、実施の形態1で示した図1の構成に対し、周辺検出装置21に代えて、測位装置23および地図データ記憶装置24を設けたものである。
 測位装置23は、GNSS(global navigation satellite system)から取得した測位信号や、自車両のセンサ(例えば、速度センサ、加速度センサ、方位センサ等)から取得した情報に基づいて、自車両の位置および進行方向を算出する。測位装置23は、自車両が走行中の車線を特定できる程度に高精度なもの、具体的には数十センチオーダーで自車両の位置を特定できるものとする。
 地図データ記憶装置24は、道路の車線の位置および形状、道路周辺に存在する地物の位置および形状(立体的形状を含む)などの情報を含む地図データが記憶された記憶媒体である。地図データ記憶装置24に記憶された地図データは、車線および地物の位置および形状が数十センチオーダーの精度で記述された高精度地図データであるものとする。地図データ記憶装置24に記憶された地図データは、測位装置23が算出した自車両の位置を補正するためのマップマッチング処理に用いられてもよい。
 実施の形態2に係る投射制御装置10の基本的な構成および動作は、実施の形態1と同様である。ただし、本実施の形態では、要注意地物検出部11は、測位装置23が算出した自車両の位置の情報と、地図データ記憶装置24に記憶された自車両周辺の地図データに含まれる地物の位置および立体的形状の情報とに基づいて、自車両周辺の要注意地物を検出する。
 図19は、実施の形態2に係る投射制御装置の動作を示すフローチャートである。図19のフローチャートは、実施の形態1で示した図15のフローチャートのステップS102を、以下のステップS111およびS112に置き換えたものである。
 ステップS111では、要注意地物検出部11が、測位装置23から自車両の位置情報を取得する。ステップS112では、要注意地物検出部11が、地図データ記憶装置24に記憶された地図データから自車両周辺の地物を探索する。
 ステップS112において自車両周辺の地物が検出された場合(ステップS112でYES)、要注意地物検出部11は、地図データに含まれる地物の形状の情報に基づいて、当該地物が要注意地物であるか否かを判断する(ステップS104)。
 その他のステップの処理は、基本的に図15と同じであるので、ここでの説明は省略する。
 [変形例]
 図18には、投射制御システムが周辺検出装置21を含まない例を示したが、実施の形態2の投射制御システムにも周辺検出装置21を設けてもよい。投射制御システムが周辺検出装置21を含まない場合、例えば、要注意地物が積雪や泥によって見えなくなっていないかなどを確認できないため、実施の形態1に比べて実現可能な機能が制限されるが、実施の形態2の投射制御システムに周辺検出装置21を設けることにより、実施の形態1と同等の機能を実現できる。
 また、実施の形態2の投射制御システムに周辺検出装置21を設けた場合、周辺検出装置21で車線区画線を検出し、検出された車線区画線の位置に基づいて、測位装置23が算出した自車両の位置を補正することもでき、それにより、自車両の位置の算出精度を向上させることが可能である。
 <実施の形態3>
 図20は、実施の形態3に係る投射制御システムの構成を示す図である。図20の投射制御システムの構成は、実施の形態2で示した図18の構成に対し、地図データ記憶装置24に代えて設定装置25を設け、投射制御装置10に要注意地物情報記憶部15を追加したものである。
 要注意地物情報記憶部15は、要注意地物の位置情報を含む要注意地物情報を記憶する。要注意地物情報には、要注意地物の位置情報の他、要注意地物の種別や形状などの情報が含まれてもよい。要注意地物情報記憶部15に要注意地物の情報を記憶させることを「登録」という。
 設定装置25は、要注意地物情報記憶部15に要注意地物を登録するための装置である。つまり、要注意地物情報記憶部15は、設定装置25から要注意地物情報を取得して記憶する。設定装置25は、携帯電話やスマートフォンなど投射制御装置10のユーザの機器、または、防犯カメラなどインフラストラクチャーの機器(インフラ機器)である。設定装置25は、投射制御装置10が認証可能な機器であればどのようなものでもよい。
 設定装置25が要注意地物情報を入手して要注意地物情報記憶部15に登録する方法に制約はない。例えば、設定装置25がユーザの機器である場合、設定装置25は、ユーザの操作に従って、不図示の地図データ記憶装置から要注意地物の情報を抽出して取得し、取得した情報を要注意地物情報記憶部15に登録してもよい。設定装置25は、情報を取得する要注意地物の地域や種別を選択可能なHMI(Human Machine Interface)を有してもよい。
 また、設定装置25は、ユーザの操作に従って、要注意地物のデーターベースを有する外部のサーバから要注意地物情報をダウンロードして、取得した情報を要注意地物情報記憶部15に登録してもよい。設定装置25は、ダウンロードする要注意地物の地域や種別を選択可能なHMIを有してもよい。さらに、設定装置25は、データーベースの更新を検出して自動的に最新の要注意地物情報をダウンロードし、要注意地物情報記憶部15に登録した情報を更新する機能を有してもよい。また、設定装置25は、気象の影響などによって発生した要注意地物の情報を自動的にダウンロードして、一時的な要注意地物の情報として要注意地物情報記憶部15に登録してもよい。
 また、ユーザが設定装置25を操作して、独自の要注意地物の情報を要注意地物情報記憶部15に登録できるようにしてもよい。例えば、ユーザが設定装置25であるスマートフォンで撮影した地物の画像を投射制御装置10へ送信し、投射制御装置10がその画像を解析して、当該地物が要注意地物であると判断された場合に、当該地物が要注意地物として要注意地物情報記憶部15に登録されるようにしてもよい。
 また、設定装置25が防犯カメラなどのインフラ機器である場合、投射制御装置10は、インフラ機器が要注意地物と判定した地物の情報を取得して、要注意地物情報記憶部15に登録する。
 実施の形態3に係る投射制御装置10の基本的な構成および動作は、実施の形態1と同様である。ただし、本実施の形態では、要注意地物検出部11は、測位装置23が算出した自車両の位置の情報と、要注意地物情報記憶部15に記憶された要注意地物情報とに基づいて、自車両周辺の要注意地物を検出する。
 図21は、実施の形態3に係る投射制御装置の動作を示すフローチャートである。図21のフローチャートは、実施の形態1で示した図15のフローチャートのステップS102~S104を、以下のステップS121~S123に置き換えたものである。
 ステップS121では、要注意地物検出部11が、測位装置23から自車両の位置情報を取得する。ステップS122では、要注意地物検出部11が、自車両の位置情報と、要注意地物情報記憶部15に記憶された要注意地物情報とに基づいて、自車両周辺に位置する登録された要注意地物を探索する。
 ステップS122において自車両周辺に位置する登録された要注意地物が検出された場合(ステップS122でYES)、ステップS105へ進み、注意喚起判断部13が、当該要注意地物に対する注意喚起の要否を判断する。また、ステップS122において自車両周辺に位置する登録された要注意地物が検出されなかった場合は(ステップS122でNO)、ステップS101へ戻る。その他のステップの処理は、基本的に図15と同じであるので、ここでの説明は省略する。
 [変形例]
 注意喚起判断部13は、要注意地物情報記憶部15に登録された要注意地物を無条件で注意喚起対象地物と判断してもよい。その場合、投射制御装置の動作は図22のフローチャートのようになる。図22のフローチャートは、図21のフローチャートのステップS105を、ステップS124に置き換えたものである。ステップS124では、注意喚起判断部13は、ステップS123でYESと判断された要注意地物(すなわち、登録された要注意地物)を無条件で注意喚起対象地物と判断する。この変形例では、要注意地物情報記憶部15に登録された要注意地物は必ず注意喚起対象地物と判断される。よって、別の言い方をすると、要注意地物情報記憶部15は、注意喚起対象地物の登録手段として用いられている。
 また、図20には地図データ記憶装置24を含まない投射制御システムを示したが、実施の形態3の投射制御システムも地図データ記憶装置24を備えてもよい。例えば、要注意地物情報記憶部15には要注意地物の位置情報のみが登録され、登録された要注意地物の種別や形状などの情報は、要注意地物検出部11が必要に応じて地図データ記憶装置24から取得するようにしてもよい。
 <実施の形態4>
 図23は、実施の形態4に係る投射制御システムの構成を示す図である。図23の投射制御システムの構成は、実施の形態1で示した図1の構成に対し、設定装置25を追加するとともに、投射制御装置10に注意喚起対象種別記憶部16を追加したものである。
 注意喚起対象種別記憶部16は、注意喚起の対象とする地物の種別である注意喚起対象種別の情報を記憶する。注意喚起対象種別記憶部16に注意喚起対象種別の情報を記憶させることを「登録」という。
 注意喚起判断部13は、注意喚起対象種別記憶部16に登録された注意喚起対象種別に該当する要注意地物のみを注意喚起の対象とする。逆に言えば、注意喚起判断部13は、注意喚起対象種別に該当しない要注意地物を注意喚起の対象から除外する。
 設定装置25は、注意喚起対象種別記憶部16に注意喚起対象種別を登録するための装置である。つまり、注意喚起対象種別記憶部16は、設定装置25から注意喚起対象種別の情報を取得して記憶する。設定装置25は、携帯電話やスマートフォンなど投射制御装置10のユーザの機器、または、防犯カメラなどインフラ機器である。設定装置25は、投射制御装置10が認証可能な機器であればどのようなものでもよい。
 設定装置25が注意喚起対象種別の情報を入手して注意喚起対象種別記憶部16に登録する方法に制約はない。例えば、設定装置25がユーザの機器である場合、ユーザが、設定装置25を操作してどのような種別の要注意地物に対する注意喚起を希望するかを選択し、設定装置25が、ユーザにより選択された種別を注意喚起対象種別記憶部16に登録してもよい。例えば、路肩、中央分離帯、側溝、路面状態変化地点、障害物などが、注意喚起対象種別として選択されることが考えられる。
 また、設定装置25が防犯カメラなどのインフラ機器である場合、投射制御装置10は、インフラ機器が注意喚起対象地物と判定した地物の種別の情報を取得して、注意喚起対象種別記憶部16に登録する。
 実施の形態4に係る投射制御装置10の基本的な構成および動作は、実施の形態1と同様である。ただし、上述したように、注意喚起判断部13は、注意喚起対象種別記憶部16に登録された注意喚起対象種別に該当する要注意地物のみを注意喚起の対象とする。
 図24は、実施の形態4に係る投射制御装置の動作を示すフローチャートである。図24のフローチャートは、実施の形態1で示した図15のフローチャートのステップS103とS104との間に、ステップS131を追加したものである。
 ステップS131は、要注意地物検出部11により要注意地物が検出された場合(ステップS104でYESと判断された場合)に実行される。ステップS131では、注意喚起判断部13が、当該要注意地物の種別が注意喚起対象種別に該当するか否かを確認する。当該要注意地物の種別が注意喚起対象種別に該当する場合には(ステップS131でYES)ステップS105へ移行するが、当該要注意地物の種別が注意喚起対象種別に該当しない場合には(ステップS131でNO)、ステップS101へ戻る。その他のステップの処理は、基本的に図15と同じであるので、ここでの説明は省略する。
 [変形例]
 図23には、実施の形態1の投射制御システムに対して注意喚起対象種別記憶部16を設けた例を示したが、実施の形態4は、実施の形態2および3の投射制御システムに対しても適用可能である。
 例えば、実施の形態3の投射制御システムに注意喚起対象種別記憶部16を適用した場合、投射制御装置10には、要注意地物情報記憶部15と注意喚起対象種別記憶部16との両方が備えられる。この場合、注意喚起判断部13は、要注意地物情報記憶部15に登録された要注意地物および注意喚起対象種別記憶部16に登録された種別に該当する要注意地物の両方を、注意喚起対象地物と判断してもよい。
 なお、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略したりすることが可能である。
 上記した説明は、すべての態様において、例示であって、例示されていない無数の変形例が想定され得るものと解される。
 10 投射制御装置、11 要注意地物検出部、12 錯視画像生成部、13 注意喚起判断部、14 投射制御部、15 要注意地物情報記憶部、16 注意喚起対象種別記憶部、21 周辺検出装置、22 投射装置、23 測位装置、24 地図データ記憶装置、25 設定装置。

Claims (20)

  1.  自車両の走行に影響を及ぼす立体的形状を持つ地物である要注意地物を検出する要注意地物検出部と、
     前記要注意地物の立体的形状を想起させる錯視画像を生成する錯視画像生成部と、
     前記要注意地物に対する注意喚起の要否を判断する注意喚起判断部と、
     注意喚起が必要と判断された前記要注意地物の位置に対応する位置に、投射装置を用いて前記錯視画像を投射する投射制御部と、
    を備える投射制御装置。
  2.  前記要注意地物は、道路の構造物または特定の状態の路面を含む、
    請求項1に記載の投射制御装置。
  3.  前記要注意地物は、道路に定着していない物体を含む、
    請求項1に記載の投射制御装置。
  4.  前記注意喚起判断部は、前記自車両からの距離が予め定められた閾値以下の前記要注意地物は注意喚起が必要と判断する、
    請求項1に記載の投射制御装置。
  5.  前記錯視画像生成部は、前記要注意地物の種別に応じて前記錯視画像を変更する、
    請求項1に記載の投射制御装置。
  6.  前記錯視画像生成部は、前記要注意地物の立体的形状を模擬した前記錯視画像を生成する、
    請求項1に記載の投射制御装置。
  7.  前記投射制御部は、予め定められた条件が満たされると、前記錯視画像の強調表示を行う、
    請求項1に記載の投射制御装置。
  8.  前記要注意地物検出部は、前記自車両の周辺の地物を検出する周辺検出装置の出力に基づいて前記要注意地物を検出する、
    請求項1に記載の投射制御装置。
  9.  前記要注意地物検出部は、前記自車両の位置情報と地図データとに基づいて前記要注意地物を検出する、
    請求項1に記載の投射制御装置。
  10.  インフラストラクチャーまたはユーザの機器から前記要注意地物の位置情報を含む要注意地物情報を取得して記憶する要注意地物情報記憶部をさらに備え、
     前記要注意地物検出部は、前記自車両の位置情報と前記要注意地物情報とに基づいて前記要注意地物を検出する、
    請求項1に記載の投射制御装置。
  11.  前記注意喚起判断部は、前記要注意地物情報記憶部に登録された前記要注意地物は注意喚起が必要と判断する、
    請求項10に記載の投射制御装置。
  12.  インフラストラクチャーまたはユーザの機器から注意喚起の対象とする地物の種別の情報を取得して記憶する注意喚起対象種別記憶部をさらに備え、
     前記注意喚起判断部は、前記注意喚起対象種別記憶部に登録された種別に該当する前記要注意地物のみを注意喚起の対象とする、
    請求項1に記載の投射制御装置。
  13.  前記注意喚起判断部は、前記自車両から一部または全体を視認できない位置にある前記要注意地物は注意喚起が必要と判断する、
    請求項1に記載の投射制御装置。
  14.  前記注意喚起判断部は、前記自車両の周辺の気象状況に基づいて、前記要注意地物に対する注意喚起の要否を判断する
    請求項1に記載の投射制御装置。
  15.  前記注意喚起判断部は、前記自車両のドライバセンシング装置により判断される運転者の前記要注意地物に対する認知度に基づいて、前記要注意地物に対する注意喚起の要否を判断する
    請求項1に記載の投射制御装置。
  16.  前記錯視画像生成部は、前記運転者の前記要注意地物に対する前記認知度に応じて前記錯視画像の表示態様を変更する、
    請求項15に記載の投射制御装置。
  17.  前記注意喚起判断部は、前記自車両の自動運転のレベルに基づいて、前記要注意地物に対する注意喚起の要否を判断する、
    請求項1に記載の投射制御装置。
  18.  前記注意喚起判断部は、前記自車両の周囲の明るさが予め定められた閾値以下のとき、前記要注意地物に対する注意喚起が必要と判断する、
    請求項1に記載の投射制御装置。
  19.  前記注意喚起判断部は、前記自車両の前照灯または車幅灯が点灯しているとき、前記要注意地物に対する注意喚起が必要と判断する、
    請求項1に記載の投射制御装置。
  20.  投射制御装置の要注意地物検出部が、自車両の走行に影響を及ぼす立体的形状を持つ地物である要注意地物を検出し、
     前記投射制御装置の錯視画像生成部が、前記要注意地物の立体的形状を想起させる錯視画像を生成し、
     前記投射制御装置の注意喚起判断部が、前記要注意地物に対する注意喚起の要否を判断し、
     前記投射制御装置の投射制御部が、注意喚起が必要と判断された前記要注意地物の位置に対応する位置に、投射装置を用いて前記錯視画像を投射する、
    投射制御方法。
PCT/JP2021/020787 2021-06-01 2021-06-01 投射制御装置および投射制御方法 WO2022254570A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2021/020787 WO2022254570A1 (ja) 2021-06-01 2021-06-01 投射制御装置および投射制御方法
US18/286,767 US20240127725A1 (en) 2021-06-01 2021-06-01 Projection control apparatus and projection control method
JP2023525209A JP7466774B2 (ja) 2021-06-01 2021-06-01 投射制御装置および投射制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/020787 WO2022254570A1 (ja) 2021-06-01 2021-06-01 投射制御装置および投射制御方法

Publications (1)

Publication Number Publication Date
WO2022254570A1 true WO2022254570A1 (ja) 2022-12-08

Family

ID=84324021

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/020787 WO2022254570A1 (ja) 2021-06-01 2021-06-01 投射制御装置および投射制御方法

Country Status (3)

Country Link
US (1) US20240127725A1 (ja)
JP (1) JP7466774B2 (ja)
WO (1) WO2022254570A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009104531A (ja) * 2007-10-25 2009-05-14 Denso Corp 潜在危険地点検出装置および車載危険地点通知装置
US20180024640A1 (en) * 2016-07-22 2018-01-25 Lg Electronics Inc. Electronic device and method for controlling the same
JP2019051793A (ja) * 2017-09-14 2019-04-04 株式会社Subaru 車両の路面描画装置
JP2019109707A (ja) * 2017-12-18 2019-07-04 トヨタ自動車株式会社 表示制御装置、表示制御方法および車両
JP2019139273A (ja) * 2018-02-06 2019-08-22 アルパイン株式会社 表示システム
JP2020013247A (ja) * 2018-07-17 2020-01-23 三菱電機株式会社 運転支援装置および運転支援方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009104531A (ja) * 2007-10-25 2009-05-14 Denso Corp 潜在危険地点検出装置および車載危険地点通知装置
US20180024640A1 (en) * 2016-07-22 2018-01-25 Lg Electronics Inc. Electronic device and method for controlling the same
JP2019051793A (ja) * 2017-09-14 2019-04-04 株式会社Subaru 車両の路面描画装置
JP2019109707A (ja) * 2017-12-18 2019-07-04 トヨタ自動車株式会社 表示制御装置、表示制御方法および車両
JP2019139273A (ja) * 2018-02-06 2019-08-22 アルパイン株式会社 表示システム
JP2020013247A (ja) * 2018-07-17 2020-01-23 三菱電機株式会社 運転支援装置および運転支援方法

Also Published As

Publication number Publication date
US20240127725A1 (en) 2024-04-18
JP7466774B2 (ja) 2024-04-12
JPWO2022254570A1 (ja) 2022-12-08

Similar Documents

Publication Publication Date Title
US10948924B2 (en) Method and apparatus for controlling an autonomous vehicle
JP6840240B2 (ja) 自律走行車の動的ルート決定
CN104691447B (zh) 用于动态地聚焦车辆传感器的系统和方法
CN107010063B (zh) 基于感知的速度限制估算和学习
US11535155B2 (en) Superimposed-image display device and computer program
US9891071B2 (en) Mapping road illumination
JP6410949B2 (ja) 車線認識装置および車線認識方法
KR101678095B1 (ko) 차량, 및 그 제어방법
US8676492B2 (en) Map-aided vision-based lane sensing
JP5886971B2 (ja) 車両の周辺区域にある物体の位置を判定する方法および装置
CN104884898B (zh) 确定车辆位置的导航系统和方法
JP2020038359A (ja) 地図システム、車両側装置、方法および記憶媒体
US20170227971A1 (en) Autonomous travel management apparatus, server, and autonomous travel management method
JP2020038362A (ja) 車両側装置、サーバ、方法および記憶媒体
CN110874229A (zh) 自动驾驶汽车的地图升级方法、装置
JPWO2018134973A1 (ja) 車両挙動予測方法及び車両挙動予測装置
JP2017516135A (ja) 自律走行のための詳細な地図フォーマット
US10783384B2 (en) Object detection using shadows
JP2022542246A (ja) 緊急車両の検出
WO2015009218A1 (en) Determination of lane position
CN114945802A (zh) 用于识别和更新自动驾驶车辆的设计适用域的系统、设备和方法
JPWO2019239477A1 (ja) 地図生成装置および地図生成システム
US7286930B2 (en) Ghost following
JP2017009553A (ja) 車両位置判定装置及び車両位置判定方法
JP6488913B2 (ja) 車両位置判定装置及び車両位置判定方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21944077

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023525209

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 18286767

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21944077

Country of ref document: EP

Kind code of ref document: A1