WO2023100450A1 - 運転支援装置、運転支援方法及び運転支援プログラム - Google Patents

運転支援装置、運転支援方法及び運転支援プログラム Download PDF

Info

Publication number
WO2023100450A1
WO2023100450A1 PCT/JP2022/035540 JP2022035540W WO2023100450A1 WO 2023100450 A1 WO2023100450 A1 WO 2023100450A1 JP 2022035540 W JP2022035540 W JP 2022035540W WO 2023100450 A1 WO2023100450 A1 WO 2023100450A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
driving assistance
driving support
driver
latent
Prior art date
Application number
PCT/JP2022/035540
Other languages
English (en)
French (fr)
Inventor
嵩覚 關
恒一 江村
正隆 加藤
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Publication of WO2023100450A1 publication Critical patent/WO2023100450A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Definitions

  • the present disclosure relates to a driving support device, a driving support method, and a driving support program.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2019-096109 discloses a driving support device intended to appropriately provide support information for the next driving scene according to the traffic environment around the vehicle.
  • the controller estimates the timing of the driver's cognitive behavior for the next driving scene from at least the information related to the driver's driving operation, and performs the next cognitive behavior before the estimated timing of the cognitive behavior.
  • the controller estimates the required driving ability required of the driver according to the traffic environment around the vehicle, and the higher the required driving ability (the more complex the traffic environment), the smaller the amount of assistance information. and provide. As a result, it is possible to provide support information according to the traffic environment around the own vehicle.
  • Patent Document 1 provides support information at a predetermined timing, the provision of support information is fixed, so to speak, and suitable driving is performed according to the surrounding circumstances. Presenting support information poses a problem that makes it difficult in practice.
  • the present disclosure provides a driving support device, a driving support method, and a driving support program capable of providing suitable driving support information according to the circumstances surrounding the mobile object.
  • the driving support device based on the captured image of at least the traveling direction of the moving body, which is captured by an external camera unit provided on the moving body, a person unconsciously recognizes the entire imaging area of the captured image. and an information presentation control section for presenting predetermined driving assistance information in an area on the information presenting section estimated according to the detected latent recognition area.
  • the driving support device can provide suitable driving support information according to the circumstances around the mobile object.
  • FIG. 1 is a schematic diagram showing the flow from the driver's perception of the surroundings of the vehicle through senses such as sight and hearing to the operation of the vehicle.
  • FIG. 2 is a block diagram showing the hardware configuration of the driving support system according to the first to eighth embodiments.
  • FIG. 3 is a functional block diagram of each function realized by executing the driving assistance program stored in the storage unit by the control unit of the driving assistance device according to the first embodiment.
  • FIG. 4 is a flowchart for explaining the presentation operation of the driving support information.
  • FIG. 5 is a schematic diagram showing the flow of operations for generating a prediction error image.
  • FIG. 6 is a diagram showing a first threshold (High) for the upper limit of the sum of prediction errors and a second threshold (Low) for the lower limit of the sum of prediction errors.
  • FIG. 7 is a diagram schematically showing the flow up to displaying the driving support information on the information presentation unit.
  • FIG. 8 is a diagram for explaining an inconvenience when driving support information is not presented.
  • FIG. 9 is a diagram showing an example of presentation of driving assistance information in the driving assistance device according to the embodiment.
  • FIG. 10 is a flow chart for explaining the operation of determining the display position of the driving support information with respect to the position of the divided area with a large prediction error.
  • FIG. 11 is a diagram showing a case in which many prediction errors occur on either the left or right side of the screen that presents the driving support information.
  • FIG. 12 is a diagram showing a display example of driving support information.
  • FIG. 13 is a diagram showing another display example of driving support information.
  • FIG. 14 is a diagram showing an example of presenting driving support information by voice.
  • FIG. 15 is a diagram showing a case where there is no bias in the prediction errors occurring in each divided area of the information acquisition screen.
  • FIG. 16 is a diagram showing an example in which the number of divided regions in which prediction errors exceeding the threshold are generated gradually increases.
  • FIG. 17 is a diagram showing an example in which divided regions with prediction errors exceeding the threshold do not occur as a whole.
  • FIG. 18 is a diagram for explaining the presentation period of the driving support information.
  • FIG. 19 is a diagram showing an example of changing the presence or absence of driving support information.
  • FIG. 20 is a diagram showing an example of changing the number of pieces of driving support information.
  • FIG. 21 is a diagram showing an example of changing the position of driving support information.
  • FIG. 15 is a diagram showing a case where there is no bias in the prediction errors occurring in each divided area of the information acquisition screen.
  • FIG. 16 is a diagram showing an example in which the number of divided regions in which
  • FIG. 22 is a diagram showing an example of changing the type of driving support information.
  • FIG. 23 is a functional block diagram showing the functional configuration of the driving assistance device of the second embodiment.
  • FIG. 24 is a flowchart showing the flow of the operation of presenting driving assistance information in the driving assistance device of the second embodiment.
  • FIG. 25 is a diagram showing an example of presentation of driving support information that recommends "driving with potential”.
  • FIG. 26 is a diagram showing a presentation example of the driving support information presented when the driver is performing "possible driving”.
  • FIG. 27 is a functional block diagram showing the functional configuration of the driving assistance device of the third embodiment.
  • FIG. 28 is a flowchart showing the flow of the operation of presenting driving assistance information in the driving assistance device of the third embodiment.
  • FIG. 29 is a diagram showing a presentation example of driving support information indicating that deceleration control has been performed.
  • FIG. 30 is a functional block diagram showing the functional configuration of the driving support system of the fourth embodiment.
  • FIG. 31 is a flow chart showing the flow of the operation of presenting driving assistance information in the driving assistance device of the fourth embodiment.
  • FIG. 32 is a schematic diagram showing the flow until the driving assistance device of the fifth embodiment presents the driving assistance information based on the saliency map.
  • FIG. 33 is a schematic diagram showing the flow until the driving assistance device of the sixth embodiment presents the driving assistance information based on the prediction error and the saliency map.
  • FIG. 30 is a functional block diagram showing the functional configuration of the driving support system of the fourth embodiment.
  • FIG. 31 is a flow chart showing the flow of the operation of presenting driving assistance information in the driving assistance device of the fourth embodiment.
  • FIG. 32 is a schematic diagram showing the flow until the driving assistance device of the fifth embodiment presents the driving assistance information based on the saliency map.
  • FIG. 34 is a flowchart showing the flow of the operation of presenting driving assistance information based on the prediction error and the saliency map in the driving assistance device of the sixth embodiment.
  • FIG. 35 is a schematic diagram showing the flow until the driving assistance device of the seventh embodiment presents the driving assistance information based on the prediction error and the dwell time of the line of sight.
  • FIG. 36 is a schematic diagram showing the flow until the driving assistance device of the eighth embodiment presents the driving assistance information based on the saliency and the dwell time of the line of sight.
  • the driving assistance device of the embodiment is useful for driving assistance for vehicles such as ordinary automobiles and trucks, as well as flying objects, ships, and the like. It is also useful for assisting the driving of remote-operated mobiles that do not have people on them.
  • the configuration and effects of the driving assistance device of the embodiment will be described by taking driving assistance for the driver of the vehicle as an example. Please refer to the following description also when performing operation assistance of other mobile objects, such as an air vehicle and a ship.
  • FIG. 1 is a schematic diagram showing the flow from the driver's perception of the surroundings of the vehicle to the operation of the vehicle.
  • a driver who drives a vehicle perceives the surroundings of the vehicle based on senses such as sight and hearing. Of these, 90% of the information necessary for driving a vehicle is obtained visually.
  • the driver can see the surroundings of the extreme future of the vehicle based on the memory of the past, for example, a few seconds, and the information necessary for driving obtained from vision. Unconsciously anticipate the situation. Then, “unconscious attention” works due to the difference between this unconsciously predicted result and the reality. In addition to this unconscious attention, “conscious attention” also works based on information necessary for driving obtained from vision and the like.
  • the driver makes “unconscious driving judgment” for driving based on such "unconscious attention” and “conscious driving judgment” based on “conscious attention”, and based on the judgment result to perform “unconscious driving operations” and “conscious driving operations”.
  • the driver drives the vehicle by such "unconscious driving operation” and "conscious driving operation”.
  • the driving support device of the embodiment detects the above-mentioned "unconscious attention" in the surroundings of the vehicle sensed by the driver. Then, on the basis of the detection result, a location that is likely to be overlooked by the driver is specified, and information is presented (text, image, sound, etc.) to attract the driver's conscious attention. As a result, appropriate driving assistance can be provided according to the surrounding conditions of the vehicle.
  • “dangers” while the vehicle is running are classified into two types: “actual dangers (at that point)” and “unactualized dangers (latent dangers)”.
  • “danger” is classified into two types, “danger that is easy for humans to overlook” and “danger that is difficult for humans to overlook”, based on human cognitive characteristics. be.
  • the driving support device of the embodiment selectively presents "dangers that are easy for humans to overlook” from among “dangers that have not been materialized (latent dangers)".
  • the driver's attention can be adequately aroused without annoying the driver, thereby contributing to safe driving.
  • FIG. 2 is a block diagram showing the hardware configuration of the driving assistance system 1 according to the first embodiment.
  • the driving support device 1 has a detection device 2, a control section 3, a storage section 4, an information presentation section 5 and a vehicle control section 6.
  • FIG. 2 is a block diagram showing the hardware configuration of the driving assistance system 1 according to the first embodiment.
  • the driving support device 1 has a detection device 2, a control section 3, a storage section 4, an information presentation section 5 and a vehicle control section 6.
  • the detection device 2 is a device that mainly detects the surrounding conditions of the vehicle. (Global Positioning System) sensor 22 is provided.
  • the detection device 2 also has an exterior camera unit 23 (an example of an exterior camera unit) that mainly captures the scenery in front of the vehicle in the traveling direction, and a driver camera unit 24 that captures an image of the driver driving the vehicle. are doing.
  • the captured image of the driver's face captured by the driver camera unit 24 is mainly used to detect the line of sight of the driver.
  • the detection device 2 also has a microphone section 25 that collects sounds outside the vehicle.
  • the storage unit 4 stores a driving assistance program for presenting driving assistance information for assisting the driver's driving.
  • the control unit 3 presents driving support information to the information presenting unit 5 based on this driving support program. Specifically, when the information presentation unit 5 is a display unit, the control unit 3 controls the display of the driving support information on the display unit. On the other hand, when the information presentation unit 5 is a speaker unit, the control unit 3 controls the voice output of the driving support information through the speaker unit. Note that display control and voice output control of such driving support information may be used together.
  • the vehicle control unit 6 is an example of an operation control unit. For example, when the vehicle is traveling in a position where danger is expected at a traveling speed of a predetermined speed or higher, the vehicle is brake-controlled to suppress the traveling speed. to ensure safety.
  • FIG. 3 is a functional block diagram showing functions realized by the control unit 3 executing the driving support program stored in the storage unit 4. As shown in FIG. As shown in FIG. 3, the control unit 3 functions as a latent danger determination unit 31 and an information presentation control unit 32 by executing a driving support program.
  • the latent danger determination unit 31 is an example of a detection unit, and based on a captured image (front image) in the traveling direction of the vehicle captured by the vehicle exterior camera unit 23, a human unconsciously detects a A latent recognition region to be recognized is determined (detected).
  • the information presentation control section 32 presents predetermined driving support information in an area on the information presentation section estimated from the latent recognition area detected by the latent danger determination section 31 .
  • the information presentation unit 5 when presenting the driving support information in the form of an image or video, for example, a vehicle meter display device, a HUD (Head-Up Display) device, a car navigation device monitor device, or the like can be used.
  • a speaker unit can be used as the information presentation control unit 32 .
  • the latent danger determination unit 31 and the information presentation control unit 32 are implemented by software using a driving support program. However, all or part of these may be realized by hardware such as an IC (Integrated Circuit).
  • the driving support program may be recorded in a computer-readable recording medium such as a CD-ROM or a flexible disk (FD) as file information in an installable format or an executable format.
  • the driving assistance program may be provided by being recorded on a computer-readable recording medium such as a CD-R, a DVD (Digital Versatile Disk), a Blu-ray (registered trademark) disk, or a semiconductor memory.
  • the driving support program may be provided by installing it via a network such as the Internet. Further, the driving support program may be provided by being pre-installed in a ROM or the like in the device.
  • FIG. 4 is a flowchart for explaining the presentation operation of the driving support information.
  • the latent danger determination unit 31 shown in FIG. 3 divides the moving image of the scenery in front of the vehicle captured by the outside camera unit 23 into 25 pieces, for example, 5 pieces in length ⁇ width ⁇ 5 pieces. It is divided into regions, and a "feature amount" is extracted for each divided region.
  • the amount of prediction error detected for each divided area can be used as the "feature amount”.
  • the saliency indicating the proportion of the edge portion of the object included in each divided area can be used as the "feature amount”.
  • prediction error and saliency can be used together.
  • FIG. 5 is a schematic diagram for explaining the operation of generating a prediction error image by the latent risk determination unit 31.
  • the latent danger determination unit 31 imitates predictive coding processing in the cerebral cortex, and based on the deep learning prediction model "PredNet" constructed in the framework of deep learning, predictive image to generate Specifically, when supplied with 20 frames of past images captured by the exterior camera unit 23 as shown in FIG. Generate a predicted image.
  • PredNet deep learning prediction model
  • PredNet is based on “Lotter, W., Kreiman, G., and Cox, D., “Deep predictive coding networks for video prediction and unsupervised learning", https://arxiv. org/abs/1605.08104".
  • the latent danger determination unit 31 generates a predicted image of a future frame at time t 1 from past images from time t ⁇ 19 to time t ⁇ 0 based on a deep learning prediction model. Similarly, the latent danger determination unit 31 generates a predicted image of the future frame at time t 2 from the past images from time t ⁇ 18 to time t ⁇ 1 based on the deep learning prediction model.
  • the latent risk determination unit 31 generates predicted images of all future frames using past images whose time is shifted by one frame in this way.
  • the latent danger determination unit 31 compares the generated prediction image and the actual image (correct image) actually captured by the vehicle exterior camera unit 23 at the time of the generated prediction image on a pixel-by-pixel basis.
  • a prediction error image is generated based on the pixel value difference.
  • FIG. 5 shows an example in which a prediction error image at time t0 is generated based on the difference in each pixel value between the prediction image at time t0 and the actual image (correct image). The value of each pixel in this prediction error image indicates the value of the prediction error.
  • the latent risk determination unit 31 divides the entire image region of the generated prediction image into, for example, 25 divided regions (vertical x horizontal x 5 x 5). To divide. Then, the latent danger determination unit 31 detects the sum of the prediction error values, which are the values of the respective pixels, for each divided region. Note that the number of frames of the past image used for calculation of the prediction error may be an arbitrary number of frames, such as 30 frames, depending on the design or the like.
  • step S2 of FIG. 4 the latent risk determination unit 31 compares the sum of the prediction errors of the divided regions with the first threshold value (High) for the upper limit of the sum of the prediction errors shown in FIG. do.
  • step S5 of FIG. 4 the latent risk determination unit 31 compares the sum of the prediction errors of each divided region with the second threshold value (Low) for the lower limit of the sum of the prediction errors shown in FIG. . Then, among the divided regions, the divided regions having the sum of prediction errors exceeding the first threshold (High) and the divided regions having the sum of prediction errors falling below the second threshold (Low) are detected.
  • the first threshold and the second threshold shown in FIG. 6 are examples of prediction error thresholds.
  • the fact that the sum of prediction errors exceeds the first threshold (High) means that the divided area is an area that the driver is unconsciously aware of.
  • the fact that the sum of the prediction errors is less than the second threshold (Low) means that the divided area is an area that the driver is unconscious or unconscious of.
  • the information presentation control unit 32 changes the driving support information (presentation information) to be presented (step S2: Yes ⁇ step S3) based on the divided areas having the sum of prediction errors exceeding the first threshold (High). In addition, the information presentation control unit 32 changes the driving assistance information (presentation information) to be presented based on the divided regions having the sum of prediction errors less than the second threshold (Low) (step S5: Yes ⁇ step S6 ). In addition, the information presentation control unit 32 presents driving support information (presentation information ) is changed (step S5: No ⁇ step S7). Then, the information presentation control section 32 presents the information presentation section 5 with the driving support information changed in step S3, step S6 or step S7.
  • FIG. 7 is a diagram schematically showing the flow until such driving support information is displayed on the information presentation unit 5.
  • a prediction error image is generated by taking Hereinafter, for the sake of simplification of explanation, it will be described that the driver vision model outputs a prediction error image. Further, among the divided regions of the prediction error image, a divided region having a sum of prediction errors exceeding a first threshold (High) and a divided region having a sum of prediction errors less than a second threshold (Low) are detected.
  • Driving support information is presented to the information presenting unit 5 based on the detection result.
  • FIG. 8 is a diagram for explaining the inconvenience when the driving support information is not presented.
  • the dotted line graph shows changes in the prediction error value of the first divided region
  • the dashed-dotted line graph shows changes in the prediction error value of the second divided region.
  • the solid line graph shows the transition of the prediction error value of the third divided region.
  • FIG. 8(b) shows a captured image at time t1 when the prediction error value of the first divided region exceeds the first threshold value (High).
  • FIG. 8(c) shows a captured image at time t2 when the value of the prediction error of the second divided region exceeds the first threshold (High).
  • FIG. 8D shows a captured image at time t3 when the prediction error value of the third divided region exceeds the first threshold (High).
  • the first segmented region with prediction error values exceeding the first threshold (High) exists on the left side, so the driver unconsciously pays attention to the left side. are doing.
  • the second segmented region of prediction error values exceeding the first threshold value (High) exists on the right side, so the driver unconsciously Note the right side.
  • the third segmented region of prediction error values exceeding the first threshold (High) exists on the right side, so the driver unconsciously Note the right side. While the driver unconsciously pays attention to the right side, it is difficult for the driver to notice another vehicle appearing from the left side as shown in FIG. 8(d).
  • FIG. 9 is a diagram showing an example of presentation of driving assistance information in the driving assistance device 1 of the embodiment.
  • the dotted line graph shows changes in the prediction error value of the first divided region
  • the dashed-dotted line graph shows changes in the prediction error value of the second divided region.
  • the solid line graph shows the transition of the prediction error value of the third divided region.
  • FIG. 9B shows a captured image at time t1 when the prediction error value of the first divided region exceeds the first threshold value (High).
  • FIG. 9C shows a captured image at time t2 when the prediction error value of the second divided region exceeds the first threshold (High).
  • FIG. 9(d) shows the captured image at time t3 when the prediction error value of the third divided region exceeds the first threshold (High).
  • the information presentation control unit 32 presents the driving support information "Be careful of the right side" on the display screen of the HUD, for example, so that the driver also pays attention to the right side.
  • the information presentation control unit 32 presents the driving support information "Be careful of the left side" on the display screen of the HUD, for example, so that the driver should also pay attention to the left side.
  • the information presentation control unit 32 presents the driving support information "Be careful of the left side" on the display screen of the HUD, for example, so that the driver should also pay attention to the left side. As a result, the driver can notice another vehicle appearing from the left side as shown in FIG.
  • FIG. 10 is a flow chart showing the flow of determining the display position of the driving support information with respect to the position of the divided area with such a large prediction error.
  • the latent danger determination unit 31 extracts a prediction error, which is an example of an extraction amount, for each divided region of the captured image in front of the vehicle.
  • step S32 the information presentation control unit 32 determines whether or not the first threshold value (High) is exceeded for each divided area. For ease of understanding, an example of determining whether or not the first threshold (High) is exceeded for each divided area will be described. (Low) is also determined.
  • the information presentation control unit 32 adds a number "i" in order from “0" to the divided areas for which it is determined whether or not the first threshold (High) is exceeded (step S33 or step S36). Then, the number added to this divided area is incremented by one in step S35. The information presentation control unit 32 determines whether or not the feature amount (prediction error value) exceeds the first threshold value (High) for each divided area of each number (step S32).
  • step S34 determines whether or not the number added to the divided areas is greater than or equal to the total number of divided areas.
  • the above example is an example in which the entire area of the captured image is divided into 25 divided areas.
  • the information presentation control unit 32 determines whether or not the number "i" added to the divided area while being incremented one by one has reached "25". If the number "i" added to each divided area is not "25" (step S34: Yes), it is determined whether or not the first threshold value (High) is exceeded for all divided areas. is not terminated. Therefore, the information presentation control unit 32 repeatedly executes the processes of steps S32 to S36 described above.
  • the information presentation control unit 32 counts the number of divided regions having prediction error values exceeding the first threshold value (High) by dividing the captured image into left and right regions of the information acquisition screen (step S37). Then, the information presentation control unit 32 determines whether or not the number of divided areas located on the right side of the information acquisition screen is larger than the number of divided areas located on the left side of the information acquisition screen. (step S38).
  • step S38 Yes
  • step S39 the information presentation control unit 32 presents driving support information such as "Watch out for the left side” via the information presentation unit 5 (step S39).
  • step S38 the information presentation control unit 32 presents driving support information such as "Watch out for the right side” via the information presentation unit 5 (step S40).
  • driving support information such as "Watch out for the right side”
  • step S40 it is possible to draw the driver's conscious attention to the right side area, which the driver tends to overlook.
  • FIG. 11 shows a case where a large amount of prediction error occurs to either the left or right side of the information acquisition screen.
  • FIGS. 11(a) to 11(c) show a case in which many prediction errors occur on the left side of the information acquisition screen.
  • the information presentation control unit 32 presents the driving support information that calls the driver's attention on the right side of the information acquisition screen.
  • the information presentation control unit 32 presents the driving support information that calls the driver's attention to the lower side of the information acquisition screen when there are many prediction errors concentrated on the upper side of the information acquisition screen. In addition, when many prediction errors occur on the right side of the information acquisition screen, driving support information that calls the driver's attention is presented on the left side of the information acquisition screen. That is, the information presentation control unit 32 presents the driving support information on the side of the divided area in the relative position with respect to the divided area in which many prediction errors occur on the information acquisition screen.
  • FIG. 12 is a diagram showing a display example of driving support information.
  • FIG. 12(a) is an example in which many prediction errors occur on the left side of the information acquisition screen.
  • the information presentation control unit 32 displays, for example, a yellow triangle icon or an arrow on the right side of the information acquisition screen, which is easily overlooked by the driver. Call the driver's attention to the right side of the information acquisition screen.
  • FIG. 13 is a diagram showing another display example of driving support information.
  • FIG. 13(a) is an example in which many prediction errors occur on the left side of the information acquisition screen.
  • the driving support information that calls the driver's attention is displayed on the right side of the information acquisition screen, but as shown in FIG. , may display driving assistance information that calls the driver's attention.
  • FIG. 13B is an example in which the information presentation control unit 32 displays straight lines extending from the left and right front sides of the information acquisition screen to the depth direction. By displaying such a line, the driver's attention can be called to the center of the information acquisition screen.
  • the information presentation control unit 32 displays the line shown in FIG. 13(b) to guide the driver's line of sight to the center of the information acquisition screen and call attention to it.
  • the information presentation control unit 32 presents driving support information (message or voice) such as "Please be careful ahead" in the center of the information acquisition screen to guide the driver's line of sight to the center of the screen. Call attention.
  • driving support information messages or voice
  • FIG. 14 is a diagram showing an example of presenting driving support information by voice.
  • FIG. 14(a) is an example in which many prediction errors occur on the left side of the information acquisition screen.
  • the information presentation control unit 32 presents a voice message such as "Watch out for the right side" through the speaker unit.
  • the driver's attention can be drawn to the right side of the information acquisition screen.
  • Figs. 15(a) to 15(d) show an example in which there is no bias in prediction errors occurring in each divided area of the information acquisition screen. This means that the driver is paying full unconscious attention. Therefore, the information presentation control unit 32 does not present the driving support information.
  • FIGS. 16(a) to 16(d) show examples in which the number of divided regions in which prediction errors exceeding the threshold are generated gradually increases. This means that the driver's cognitive load is increasing. Therefore, the information presentation control unit 32 presents driving assistance information indicating that the cognitive load is increasing.
  • the information presentation control unit 32 presents driving assistance information indicating that the cognitive load is decreasing.
  • Figs. 17(a) to 17(d) show examples in which divided regions with prediction errors exceeding the threshold do not occur as a whole. This occurs when there is little change in the scenery ahead, such as when the vehicle is following the preceding vehicle during traffic jams. In such a case, the driver's attention may be distracted, resulting in careless driving, which may cause inconvenience such as a rear-end collision with the preceding vehicle.
  • the information presentation control unit 32 displays a line as shown in FIG. .
  • the information presentation control unit 32 presents driving support information (message or voice) such as "Please be careful ahead" in the center of the information acquisition screen to guide the driver's line of sight to the center of the screen. Call attention.
  • driving support information messages or voice
  • FIG. 18 is a diagram for explaining the presentation period of the driving support information.
  • the information presentation control unit 32 when the sum of the prediction errors of the divided regions exceeds the first threshold (High) or the second threshold (Low), for a certain period of time (or any while the threshold is exceeded), the driving support information is presented.
  • FIG. 18 shows that the sum of the prediction errors exceeds one of the thresholds at time t1 . In this case, the information presentation control unit 32 presents the driving support information for a certain period from time t1 . .
  • FIG. 18 shows that the sum of the prediction errors exceeds one of the thresholds at time t2 and time t3 .
  • the information presentation control unit 32 controls the 1 driving support information is presented, and second driving support information is presented for a certain period from time t3 .
  • presentation of the first driving assistance information may be terminated.
  • the presentation of the driving assistance information takes a long time, which annoys the driver. Inconvenience can be prevented.
  • the information presentation control unit 32 changes and controls the presence/absence, number, position, type, etc. of the driving support information to be presented according to the situation.
  • FIG. 19 is an example of changing the presence or absence of driving support information.
  • the image presentation screen of the information presentation unit 5 is displayed with an arrow indicating the direction of travel, a circle indicating a pedestrian, and a rectangular area in the upper right corner of the vehicle. Display the scenery behind. If the number of pieces of driving support information presented in this way increases, the driver's attention is rather distracted.
  • the information presentation control unit 32 for example, when the vehicle is stopped and while the vehicle is traveling at a low speed such as less than 15 km / h, as shown in FIG. 19B, the driving support information is hidden. As a result, it is possible to prevent the inconvenience of displaying unnecessary driving support information and annoying the driver.
  • FIG. 20 is an example of changing the number of pieces of driving support information (number of presentations). For example, normally, as shown in FIG. 20(a), an arrow indicating the direction of travel, a circle indicating a pedestrian, and a rectangular area on the upper right of the image presentation screen of the information presentation unit 5 indicate the direction of the vehicle. Display the scenery behind. If the number of pieces of driving support information presented in this way increases, the driver's attention is rather distracted.
  • the information presentation control unit 32 preferentially presents only the driving support information for a target with a high degree of risk, such as an area where a prediction error occurs as shown in FIG. 20(b). do. As a result, it is possible to present only the driving support information that is truly necessary to arouse the driver's attention.
  • FIG. 21 is an example of changing the position of driving support information.
  • an arrow indicating the direction of travel As shown in FIG. 20(a), an arrow indicating the direction of travel, a circle indicating a pedestrian, and a rectangular area on the upper right of the image presentation screen of the information presentation unit 5 indicate the direction of the vehicle. Display the scenery behind. If the number of pieces of driving support information presented in this way increases, the driver's attention is rather distracted.
  • the information presentation control unit 32 changes the position of the driving assistance information to be presented, as shown in FIG.
  • the driver's attention can be aroused by presenting the driving support information at the necessary position according to the well-known situation of the vehicle.
  • FIG. 22 is an example of changing the type of driving support information.
  • the information presentation control unit 32 presents the driving support information indicated by the arrow by changing it to a message for calling attention, such as "Let's slow down.” As a result, it is possible to more accurately present the driving support information to the driver.
  • the latent danger determination unit 31 detects a , detects a latent recognition region that is unconsciously recognized by a human, from the entire imaging region of the captured image. Then, the information presentation control section 32 presents predetermined driving support information in the area on the information presentation section estimated according to the detected latent recognition area.
  • the latent danger determination unit 31 detects a divided area having a feature amount (prediction error, etc.) exceeding a predetermined threshold as a latent recognition area among the divided areas obtained by dividing the entire imaging area. As a result, it is possible to properly detect the area where the driver is unconsciously paying attention, and to present more suitable driving support information.
  • the information presentation control unit 32 presents driving support information separately while the feature amount (prediction error, etc.) is less than a predetermined threshold and while the feature amount exceeds the threshold. Specifically, the information presentation control unit 32 does not present the driving assistance information while the feature amount (prediction error, etc.) is less than a predetermined threshold, and when the feature amount exceeds the threshold, Presents driving support information. As a result, it is possible to clearly specify the divided area that the driver unconsciously pays attention to, and then present the driving support information that calls attention to the relative area, so that the safety can be further assured.
  • the information presentation control unit 32 presents the driving support information for a predetermined period of time (or while the feature amount exceeds one of the thresholds). As a result, the driver can properly recognize the driving support information (because the presentation time is short, the driver will not overlook the driving support information).
  • the information presentation control unit 32 changes any one or more of the presence/absence of presentation of driving support information, the presentation position, the number of presentations, or the type of presentation, according to the detected latent recognition area. As a result, it is possible to selectively present the necessary driving support information according to the well-known situation of the vehicle to arouse the attention of the driver. Therefore, it is possible to prevent the inconvenience of displaying a large amount of driving support information and annoy the driver.
  • the driving support system of the second embodiment is an example of changing the driving support information to be presented based on the running speed of the vehicle. Only this point is different between the first embodiment described above and the second embodiment described below. Therefore, only the difference between the two will be described below, and redundant description will be omitted.
  • FIG. 23 is a functional block diagram showing the functional configuration of the driving support device of the second embodiment.
  • the latent danger determination unit 31 is detected by the vehicle speed sensor 21 shown in FIG. It is configured to acquire the running speed of the vehicle (self-vehicle speed).
  • FIG. 24 is a flowchart showing the flow of the operation of presenting driving assistance information in the driving assistance device of the second embodiment.
  • the latent danger determination unit 31 extracts the feature amount such as the prediction error for each divided area based on the captured image of the front of the vehicle in the same manner as described above (step S11).
  • the information presentation control unit 32 compares the extracted feature amount of each divided area with the first threshold value (High) and the second threshold value (Low) shown in FIG. has exceeded any of the thresholds (step S12).
  • the latent danger determination unit 31 determines the running speed of the vehicle (vehicle speed) detected by the vehicle speed sensor 21. is obtained (step S13). In step S14, the latent danger determination unit 31 determines whether or not the acquired running speed of the vehicle exceeds a running speed threshold such as 30 km/h.
  • step S15 the information presentation control unit 32 presents driving support information that recommends "driving that may occur”.
  • FIG. 25 is a diagram showing an example of presentation of driving support information that recommends "driving with potential”.
  • the information presentation control unit 32 displays the image presentation screen of the information presentation unit 5 as a driving assistance device that recommends "possible driving” such as "slow down". Present information.
  • the driver decelerates the running speed of the vehicle and continues running while paying attention to pedestrians or other vehicles running out.
  • Step S12 if the feature amount of each divided area exceeds one of the thresholds (step S12: Yes), but the running speed of the vehicle does not exceed the threshold for running speed ( Step S14: No) This means that the vehicle is running at a low speed and that the vehicle is being operated while paying attention to pedestrians or other vehicles running out.
  • step S16 the information presentation control unit 32 presents driving support information that praises "possible driving".
  • FIG. 26 is a diagram showing a presentation example of the driving support information that praises this "possible driving”. As shown in FIG. 26(a), when the prediction error of the divided area on the left side of the information acquisition screen indicates a value exceeding the threshold, the area on the right side of the information acquisition screen is easily overlooked by the driver. This tends to delay response to pedestrians or other vehicles running out.
  • the driving support system of the second embodiment detects the running speed of the vehicle as well as the feature amount, and presents the driving support information. As a result, it is possible to change the driving support information to be presented according to the vehicle speed, to present appropriate driving support information according to the vehicle speed, and to obtain the same effects as those of the above-described first embodiment.
  • the driving support system of the third embodiment is an example of performing, for example, braking control according to the running speed of the vehicle and presenting the details of the control as driving support information. Only this point is different between the second embodiment described above and the third embodiment described below. Therefore, only the difference between the two will be described below, and redundant description will be omitted.
  • FIG. 27 is a functional block diagram showing the functional configuration of the driving support device of the third embodiment.
  • the latent danger determination unit 31 is detected by the vehicle speed sensor 21 shown in FIG. Acquires the running speed of the vehicle (vehicle speed). Then, when the running speed of the vehicle (vehicle speed) obtained from the vehicle speed sensor 21 exceeds a predetermined threshold value (an example of a moving speed threshold value), the latent danger determination unit 31 outputs the detection result to the vehicle control unit. 6, the vehicle control unit 6 performs vehicle braking control and the like, and the information presentation control unit 32 presents driving support information indicating that the braking control has been performed.
  • a predetermined threshold value an example of a moving speed threshold value
  • FIG. 28 is a flowchart showing the flow of the operation of presenting driving assistance information in the driving assistance device of the third embodiment.
  • the latent danger determination unit 31 extracts the feature amount such as the prediction error for each divided area based on the captured image of the front of the vehicle, as described above (step S21).
  • the information presentation control unit 32 compares the extracted feature amount of each divided area with the first threshold value (High) and the second threshold value (Low) shown in FIG. exceeds any of the thresholds (step S22).
  • the latent danger determination unit 31 determines the running speed of the vehicle (vehicle speed) detected by the vehicle speed sensor 21. is obtained (step S23). In step S24, the latent danger determination unit 31 determines whether or not the acquired running speed of the vehicle exceeds a running speed threshold value such as 30 km/h, and notifies the vehicle control unit 6 of the determination result. .
  • the vehicle control unit 6 When the vehicle control unit 6 obtains from the potential danger determination unit 31 a determination result indicating that the running speed of the vehicle exceeds the threshold value for running speed, the vehicle control unit 6 automatically operates the vehicle brake or the accelerator in step S25. The pedal is automatically returned to control vehicle deceleration.
  • FIG. 29 is a diagram showing a presentation example of driving support information indicating that such deceleration control has been performed.
  • FIG. 29(a) shows a situation in which the prediction error value is large in the area on the right side of the information acquisition screen, and the driver is able to pay attention unconsciously, while the area on the left side on the opposite side is incapable of paying attention.
  • the information presentation control unit 32 displays the driving support information indicating that the braking control has been performed, such as "slow down", on the image presentation screen of the information presentation unit 5. presented to As a result, the driver can recognize that deceleration control is automatically performed because the vehicle is traveling at a high speed, thereby preventing the driver from misunderstanding that the vehicle is out of order.
  • the driving assistance device of the third embodiment detects vehicle information (such as running speed) along with the feature amount, and for example, when the running speed exceeds a threshold, the vehicle is automatically controlled by braking. Further, the information presentation control section 32 presents the driving support information indicating that the braking control has been performed on the image presentation screen of the information presentation section 5 . As a result, it is possible to forcibly control the braking of the vehicle to prepare for pedestrians or other vehicles jumping out of an area that is easily overlooked by the driver. And effects similar to those of the second embodiment can be obtained.
  • vehicle information such as running speed
  • the information presentation control section 32 presents the driving support information indicating that the braking control has been performed on the image presentation screen of the information presentation section 5 .
  • the driving support system of the fourth embodiment is an example of changing the driving support information to be presented in consideration of the retention time of the driver's line of sight. Only this point is different between the first embodiment described above and the fourth embodiment described below. Therefore, only the difference between the two will be described below, and redundant description will be omitted.
  • FIG. 30 is a functional block diagram showing the functional configuration of the driving support device of the fourth embodiment.
  • the latent danger determination unit 31 is captured by the driver camera unit 24 shown in FIG. It is configured to acquire the face image of the driver.
  • FIG. 31 is a flowchart showing the flow of the operation of presenting driving assistance information in the driving assistance device of the fourth embodiment.
  • the latent danger determination unit 31 extracts the feature amount such as the prediction error for each divided area based on the captured image in front of the vehicle, as described above (step S61).
  • the information presentation control unit 32 compares the extracted feature amount of each divided area with the first threshold value (High) and the second threshold value (Low) shown in FIG. exceeds any of the thresholds (step S62).
  • the latent danger determination unit 31 When it is determined that the feature amount of each extracted segmented region exceeds any of the threshold values (step S62: Yes), the latent danger determination unit 31 functions as a line-of-sight detection unit, and detects the driving captured by the driver camera unit 24. A face image of the person is acquired (step S63). The latent danger determination unit 31 detects the position and dwell time at which the driver's line of sight stays in the information acquisition screen based on the acquired face image of the driver. Then, the latent danger determination unit 31 determines whether or not the dwell time of the driver's line of sight for the segmented region having the prediction error exceeding the threshold exceeds the dwell time threshold (step S64).
  • step S62: Yes If the segmented region has a large feature amount such as a prediction error (step S62: Yes) and the retention time of the line of sight in the segmented region exceeds the threshold for retention time (step S64: Yes), the segmented region This means that the driver's gaze is fixed and the attention is biased. For this reason, the information presentation control unit 32 outputs a message such as "Let's go slow" shown in FIG. is presented on the image presentation screen of the information presentation unit 5, and the driver is advised to "driving with potential" (step S65). As a result, the driver's biased attention can be returned to the state of paying attention to the entire area of the information acquisition screen.
  • step S62 Yes
  • step S64 No
  • the information presentation control unit 32 as illustrated in FIG. It is presented as information on the image presentation screen of the information presentation unit 5 (step S66).
  • Only one of the first threshold (High) and the second threshold (Low) used in the present embodiment may be used, or three or more levels of thresholds may be provided.
  • the driving support system detects the dwell time of the driver's line of sight as well as the feature amount, and presents the driving support information.
  • the driving support information to be presented can be changed according to the retention time of the driver's line of sight, and in addition to being able to present appropriate driving support information, the same effects as those of the above embodiments can be obtained.
  • the prediction error is used as the feature amount of each divided area.
  • the driving support system of the fifth embodiment is an example of using a saliency map as the feature amount of each divided area. It should be noted that only this point is different between each of the above-described embodiments and the fifth embodiment described below. Therefore, only the different parts will be described below, and duplicate descriptions will be omitted.
  • FIG. 32 is a schematic diagram showing the flow until the driving assistance device of the fifth embodiment presents the driving assistance information based on the saliency map.
  • the latent danger determination unit 31 extracts edge portions (outline portions) of people, objects, and the like appearing in the captured image captured by the exterior camera unit 23, for example, based on luminance data. Then, the latent danger determination unit 31 generates a saliency map that indicates the amount of edge content in each region on the captured image. In addition, the latent danger determination unit 31 divides the entire area of the saliency map into, for example, 25 divided areas as described above, and selects the divided areas whose ratio of containing the edge part exceeds the predetermined saliency threshold. , generates an attention prediction map detected as latent recognition regions.
  • a segmented region in which the edge content exceeds the saliency threshold is a region where the driver unconsciously pays attention. Therefore, in the same manner as described above, the information presentation control unit 32 provides the information presentation unit 5 with the driving support information that calls the driver's attention to the relative area with respect to the divided area in which the content of the edge portion exceeds the saliency threshold. is presented on the image presentation screen.
  • the driving assistance device of the sixth embodiment is an example in which both the prediction error and the content (saliency) of the edge portion are used as the feature amount of each divided area. It should be noted that only this point is different between each of the above-described embodiments and the sixth embodiment described below. Therefore, only the different parts will be described below, and duplicate descriptions will be omitted.
  • FIG. 33 is a schematic diagram showing the flow until the driving assistance device of the sixth embodiment presents the driving assistance information based on the prediction error and the saliency map.
  • FIG. 34 is a flowchart showing the flow of the operation of presenting driving assistance information based on the prediction error and the saliency map in the driving assistance device of the sixth embodiment.
  • steps S41 to S44 of the flowchart of FIG. 34 as described using the flowchart of FIG. (first feature amount) is detected.
  • steps S45 to S48 the latent danger determination unit 31 detects the edge portion content (saliency: second feature amount) for each divided region based on the image captured by the vehicle exterior camera unit 23. .
  • the latent danger determination unit 31 determines whether the prediction error is greater than a predetermined threshold and the content (salience) of the edge portion is greater than a predetermined threshold.
  • An attention prediction map is generated by detecting regions as latent recognition regions. By detecting latent recognition regions using both prediction error and saliency, latent recognition regions can be detected more accurately.
  • step S52 the latent danger determination unit 31 determines whether or not such latent recognition area detection processing has been completed for all 25 divided areas. If the latent recognition area detection process for all 25 divided areas has not been completed, in step S53, the number of the divided area for which the latent recognition area detection process is to be performed is incremented by one, and the process returns to step S42. .
  • step S54 the information presentation control unit 32 counts the number of latent recognition regions positioned on the right side of the information acquisition screen and the number of latent recognition regions positioned on the left side of the information acquisition screen. Further, in step S55, the information presentation control unit 32 determines whether or not the number of latent recognition regions positioned on the right side of the information acquisition screen is greater than the number of latent recognition regions positioned on the left side of the information acquisition screen. determine whether
  • step S55 when the information presentation control unit 32 determines that the number of latent recognition regions located on the right side of the information acquisition screen is greater than the number of latent recognition regions located on the left side of the information acquisition screen (step S55: Yes), in step S56, driving support information for calling attention to the area on the left side of the information acquisition screen is presented.
  • the information presentation control unit 32 determines that the number of latent recognition regions located on the right side of the information acquisition screen is smaller than the number of latent recognition regions located on the left side of the information acquisition screen. If so (step S55: No), in step S57, driving support information for calling attention to the area on the right side of the information acquisition screen is presented.
  • the latent recognition area is detected using both the prediction error and the content (saliency) of the edge portion, the latent recognition area can be detected more accurately.
  • the driving support device of the sixth embodiment described above is an example in which the latent recognition region is detected using both the prediction error and the saliency as the feature quantity of each divided region.
  • the driving assistance device of the seventh embodiment is an example of presenting driving assistance information based on the prediction error and the residence time of the driver's line of sight. It should be noted that only this point is different between each of the above-described embodiments and the seventh embodiment described below. Therefore, only the different parts will be described below, and duplicate descriptions will be omitted.
  • FIG. 35 is a schematic diagram showing the flow until the driving support device of the seventh embodiment presents the driving support information based on the prediction error and the line-of-sight retention time.
  • the latent danger determination unit 31 detects a prediction error for each divided area based on the captured image of the vehicle exterior camera unit 23 .
  • the latent danger determination unit 31 detects the residence time of the driver's line of sight for each divided area based on the captured image of the driver's face captured by the driver camera unit 24 .
  • the latent danger determination unit 31 generates a caution prediction map indicating the divided areas in which the prediction error is less than the predetermined threshold and the line-of-sight retention time is greater than the predetermined threshold among the divided areas.
  • a segmented region in which the prediction error is less than a predetermined threshold and the dwell time of the driver's line of sight in the segmented region exceeds the predetermined threshold means that the driver is not paying attention to an easily overlooked region.
  • the information presentation control unit 32 provides the information presentation unit 5 with driving support information that draws attention to a divided region in which the prediction error is less than the predetermined threshold and the line-of-sight retention time is greater than the predetermined threshold. is presented on the image presentation screen.
  • the driver's attention can be aroused to the segmented region in which the prediction error is less than the predetermined threshold and the line-of-sight retention time is greater than the predetermined threshold, thereby ensuring safety, etc., according to each of the above-described embodiments. can obtain the same effect as
  • the driving assistance device of the seventh embodiment described above is an example of presenting driving assistance information using the prediction error and the residence time of the driver's line of sight.
  • a driving assistance device according to an eighth embodiment described below is an example of presenting driving assistance information using the saliency and the residence time of the driver's line of sight. Note that only this point is different between each of the above-described embodiments and the eighth embodiment described below. Therefore, only the different parts will be described below, and duplicate descriptions will be omitted.
  • FIG. 36 is a schematic diagram showing the flow until the driving support device of the eighth embodiment presents the driving support information based on the saliency and the line-of-sight retention time.
  • the latent danger determination unit 31 detects the saliency, which is the amount of content of the above-described edge portion, for each divided area based on the captured image of the vehicle exterior camera unit 23 .
  • the latent danger determination unit 31 detects the residence time of the driver's line of sight for each divided area based on the captured image of the driver's face captured by the driver camera unit 24 .
  • the latent danger determination unit 31 selects a divided region in which the content of the edge portion is less than a predetermined threshold value (low saliency) and the dwell time of the line of sight exceeds the predetermined threshold value. Generate prediction maps. If the salience of the segmented region is "small" and the dwell time of the driver's line of sight in the segmented region exceeds a predetermined threshold, it means that the driver is watching the easily overlooked region without paying attention to it. means.
  • the information presentation control unit 32 causes the information presentation unit 5 to display the driving support information that draws attention to the divided area that has a "low" salience and a line-of-sight retention time that exceeds a predetermined threshold.
  • the driver's attention can be aroused to the segmented region in which the prediction error is less than the predetermined threshold and the line-of-sight retention time is greater than the predetermined threshold, thereby ensuring safety, etc., according to each of the above-described embodiments. can obtain the same effect as
  • Driving support device 2 Detection device 3
  • Control unit 4 Storage unit 5
  • Information presentation unit 6 Vehicle control unit 21
  • Vehicle speed sensor 22 GPS sensor 23 Outside camera unit 24
  • Driver camera unit 25 Microphone unit 31
  • Potential danger determination unit 32 Information presentation control unit

Abstract

検出部が、移動体に設けられた外部カメラ部により撮像された、移動体の少なくとも進行方向の撮像画像に基づいて、撮像画像の全撮像領域のうち、人間が無意識に認識する潜在認識領域を検出する。また、情報提示制御部が、検出された潜在認識領域に応じて推定される情報提示部上の領域に、所定の運転支援情報を提示する。一例として、検出部は、全撮像領域を複数に分割した各分割領域のうち、所定の閾値を上回る所定の特徴量を有する分割領域を潜在認識領域として検出する。特徴量としては、例えば過去画像から予測される現在画像と、実際の現在画像との差分となる予測誤差、又は、撮像画像に含まれる物体のエッジ部を用いる。人間が無意識に認識する潜在認識領域に基づいて運転支援情報を提示することで、運転者に対して的確な運転支援情報を提供できる。

Description

運転支援装置、運転支援方法及び運転支援プログラム
　本開示は、運転支援装置、運転支援方法及び運転支援プログラムに関する。
　車両等の移動体を運転する運転者は、信号機、道路標識、車線等に基づき、歩行者及び障害物等に注意しながら、交通法規に従って車両の運転を行う。車両が走行する道路状況は、刻々と変化するため、道路状況の変化に応じて運転を支援する情報を提示できれば、安全運転等に資することができる。
　特許文献１（特開２０１９－０９６１０９号公報）には、次の運転シーンに向けて行われる支援情報の提供を、自車両周囲の交通環境に応じて適切に行うことを目的とした運転支援装置が開示されている。この運転支援装置は、コントローラが、少なくとも運転者の運転操作に関連する情報から、次の運転シーンに対する運転者の認知行動のタイミングを推定し、推定した認知行動のタイミングよりも前に、次の運転シーンに対応する支援情報を提供する。この際、コントローラは、自車両周辺の交通環境に対応して、運転者に要求される要求運転能力を推定し、要求運転能力が高いほど（交通環境が複雑なほど）、支援情報量を減少して提供する。これにより、自車両周囲の交通環境に応じた支援情報の提供を行うことができる。
特開２０１９－０９６１０９号公報 特開２０１６－０８６３５５号公報
　しかし、特許文献１に開示されている運転支援装置は、支援情報の提供は、予め決められたタイミングで行うため、支援情報の提供が、言わば固定的となり、周囲の状況に応じて適格な運転支援情報を提示することは、実際には困難となる問題がある。
　本開示は、移動体の周囲の状況に応じて適格な運転支援情報を提供可能な運転支援装置、運転支援方法及び運転支援プログラムを提供する。
　本開示に係る運転支援装置は、移動体に設けられた外部カメラ部により撮像された、移動体の少なくとも進行方向の撮像画像に基づいて、撮像画像の全撮像領域のうち、人間が無意識に認識する潜在認識領域を検出する検出部と、検出された潜在認識領域に応じて推定される情報提示部上の領域に、所定の運転支援情報を提示する情報提示制御部と、を有する。
　本開示に係る運転支援装置は、移動体の周囲の状況に応じて適格な運転支援情報を提供できる。
図１は、運転者が視覚及び聴覚等の感覚から車両の周囲の状況を感知し、車両の操作に至るまでの流れを示す模式図である。 図２は、第１乃至第８の実施の形態の運転支援装置のハードウェア構成を示すブロック図である。 図３は、第１の実施の形態の運転支援装置の制御部が、記憶部に記憶されている運転支援プログラムを実行することで実現される各機能の機能ブロック図である。 図４は、運転支援情報の提示動作を説明するためのフローチャートである。 図５は、予測誤差画像の生成動作の流れを示す模式図である。 図６は、予測誤差の総和の上限値用の第１の閾値（Ｈｉｇｈ）及び予測誤差の総和の下限値用の第２の閾値（Ｌｏｗ）を示す図である。 図７は、運転支援情報を情報提示部に表示するまでの流れを模式的に示す図である。 図８は、運転支援情報を提示しない場合の不都合を説明するための図である。 図９は、実施の形態の運転支援装置における運転支援情報の提示例を示す図である。 図１０は、予測誤差が大きな分割領域の位置に対する運転支援情報の表示位置を決定する動作を説明するためのフローチャートである。 図１１は、運転支援情報を提示する画面の左右のいずれかに偏って予測誤差が多く発生する場合を示す図である。 図１２は、運転支援情報の表示例を示す図である。 図１３は、運転支援情報の他の表示例を示す図である。 図１４は、音声により運転支援情報を提示する例を示す図である。 図１５は、情報取得画面の各分割領域に発生する予測誤差に、偏りが無い場合を示す図である。 図１６は、閾値を上回る予測誤差が発生する分割領域が徐々に増加している例を示す図である。 図１７は、閾値を上回る予測誤差の分割領域が、全体的に発生しない例を示す図である。 図１８は、運転支援情報の提示期間を説明するための図である。 図１９は、運転支援情報の有無を変更する例を示す図である。 図２０は、運転支援情報の数を変更する例を示す図である。 図２１は、運転支援情報の位置を変更する例を示す図である。 図２２は、運転支援情報の種類を変更する例を示す図である。 図２３は、第２の実施の形態の運転支援装置の機能構成を示す機能ブロック図である。 図２４は、第２の実施の形態の運転支援装置における運転支援情報の提示動作の流れを示すフローチャートである。 図２５は、「かもしれない運転」を勧める運転支援情報の提示例を示す図である。 図２６は、運転者により「かもしれない運転」が実行されている場合に提示される運転支援情報の提示例を示す図である。 図２７は、第３の実施の形態の運転支援装置の機能構成を示す機能ブロック図である。 図２８は、第３の実施の形態の運転支援装置における運転支援情報の提示動作の流れを示すフローチャートである。 図２９は、減速制御を行ったことを示す運転支援情報の提示例を示す図である。 図３０は、第４の実施の形態の運転支援装置の機能構成を示す機能ブロック図である。 図３１は、第４の実施の形態の運転支援装置における運転支援情報の提示動作の流れを示すフローチャートである。 図３２は、第５の実施の形態の運転支援装置が顕著性マップに基づいて運転支援情報を提示するまでの流れを示す模式図である。 図３３は、第６の実施の形態の運転支援装置が予測誤差及び顕著性マップに基づいて運転支援情報を提示するまでの流れを示す模式図である。 図３４は、第６の実施の形態の運転支援装置における、予測誤差及び顕著性マップに基づく運転支援情報の提示動作の流れを示すフローチャートである。 図３５は、第７の実施の形態の運転支援装置が予測誤差及び視線の滞留時間に基づいて運転支援情報を提示するまでの流れを示す模式図である。 図３６は、第８の実施の形態の運転支援装置が顕著性及び視線の滞留時間に基づいて運転支援情報を提示するまでの流れを示す模式図である。
　以下、本開示の一例となる実施の形態の運転支援装置の説明をする。実施の形態の運転支援装置は、普通自動車、貨物自動車等の車両の他、飛行体、船舶等の運転支援にも有用である。また、移動体自体には人が乗らないリモートオペレーションの移動体の運転支援にも有用である。以下、車両の運転者に対する運転支援を例に、実施の形態の運転支援装置の構成及び作用効果を説明する。飛行体及び船舶等の他の移動体の運転支援を行う場合も、以下の説明を参照されたい。
　［概要］
　まず、図１は、運転者が車両の周囲の状況を感知し、車両の操作に至るまでの流れを示す模式図である。この図１に示すように車両を運転する運転者は、視覚及び聴覚等の感覚に基づいて、車両の周囲の状況を感知する。このうち、車両の運転に必要な情報の９０％は、視覚から得られる。このように視覚等で運転に必要な情報が得られると、運転者は、過去の例えば数秒の記憶、及び、視覚等から得た運転に必要な情報に基づいて、車両の極未来の周囲の状況を、無意識に予測する。そして、この無意識に予測した予測結果と現実との差異により、「無意識の注意」が働く。また、この無意識の注意と共に、視覚等から得た運転に必要な情報に基づいて「意識的な注意」も働く。
　運転者は、このような「無意識の注意」に基づく運転に対する「無意識の運転の判断」、及び、「意識的な注意」に基づく「意識的な運転の判断」を行い、この判断結果に基づいて、「無意識の運転操作」及び「意識的な運転操作」を行う。運転者は、このような「無意識の運転操作」及び「意識的な運転操作」により、車両の運転を行っている。
　実施の形態の運転支援装置は、運転者が感知している車両の周囲のうち、上述の「無意識の注意」が働いている箇所を検出する。そして、この検出結果に基づいて、運転者が見落とし易い箇所を特定し、運転者の意識的な注意を喚起する情報提示（文字、画像又は音声等）を行う。これにより、車両の周囲の状況に応じた適格な運転支援が可能となる。
　また、車両の走行中の「危険」は、「（その時点で）顕在化されている危険」と、「顕在化されていない危険（潜在危険）」との２種類に分類される。また、例えば予測符号化理論等の認知心理学によれば、「危険」は、人間の認知特性から、「人間が見落としやすい危険」と、「人間が見落とし難い危険」との２種類に分類される。
　ここで、「顕在化されていない危険（潜在危険）」が検出した場合に、検出した全ての「顕在化されていない危険（潜在危険）」を運転者に提示する場合を考える。この場合、検出した「顕在化されていない危険（潜在危険）」が、「人間が見落とし難い危険」であっても提示されるため、運転者が煩わしさを感じることが懸念される。また、運転者が煩わしさを感じることで、運転支援情報を提示しても、運転者の注意を喚起しきれないおそれがある（運転者の注意喚起の「力」が弱くなる）。
　このような不都合を防止するために、実施の形態の運転支援装置は、「顕在化されていない危険（潜在危険）」のうち、「人間が見落としやすい危険」を選択的に提示する。これにより、運転者に煩わしさを与えることなく、運転者の注意を適格に喚起でき、安全運転に貢献することができる。
　［第１の実施の形態］
　（ハードウェア構成）
　図２は、第１の実施の形態の運転支援装置１のハードウェア構成を示すブロック図である。この図２に示すように、運転支援装置１は、検出デバイス２、制御部３、記憶部４、情報提示部５及び車両制御部６を有している。
　検出デバイス２は、主に車両の周囲の状況を検出するデバイスであり、例えば車両の走行速度を検出する車速センサ２１（移動速度検出部の一例）、車両の地理的な現在位置を検出するＧＰＳ（Global　Positioning　System）センサ２２を有している。また、検出デバイス２は、主に車両の進行方向となる前方の風景を撮像する車外カメラ部２３（外部カメラ部の一例）と、車両を運転する運転者を撮像するドライバカメラ部２４とを有している。ドライバカメラ部２４で撮像された運転者の顔の撮像画像は、主に運転者の視線を検出するために用いられる。また、検出デバイス２は、車外の音声を集音するマイクロホン部２５と有している。
　記憶部４には、運転者の運転を支援する運転支援情報を提示するための運転支援プログラムが記憶されている。制御部３は、この運転支援プログラムに基づいて、情報提示部５に対して運転支援情報の提示を行う。具体的には、情報提示部５が表示部である場合、制御部３は、運転支援情報を表示部に表示制御する。これに対して、情報提示部５がスピーカ部である場合、制御部３は、スピーカ部を介して運転支援情報を音声出力制御する。なお、このような運転支援情報の表示制御及び音声出力制御は、併用してもよい。
　車両制御部６は、動作制御部の一例であり、例えば所定以上の走行速度で危険が予測される位置を車両が走行している場合に、車両を制動制御して、走行速度を抑制することで安全を確保する。
　（機能構成）
　図３は、制御部３が、記憶部４に記憶されている運転支援プログラムを実行することで実現される各機能を示す機能ブロック図である。この図３に示すように、制御部３は、運転支援プログラムを実行することで、潜在危険判定部３１及び情報提示制御部３２として機能する。
　潜在危険判定部３１は、検出部の一例であり、車外カメラ部２３により撮像された車両の進行方向の撮像画像（前方画像）に基づいて、撮像画像の全撮像領域のうち、人間が無意識に認識する潜在認識領域を判定（検出）する。情報提示制御部３２は、潜在危険判定部３１により検出された潜在認識領域から推定される情報提示部上の領域に、所定の運転支援情報を提示する。情報提示部５としては、運転支援情報を画像又は映像で提示する場合、例えば車両のメータディスプレイ装置、ＨＵＤ（Head-Up　Display）装置、カーナビゲーション装置のモニタ装置等を用いることができる。また、運転支援情報を音声（音声メッセージの他、電子音等も含む）で提示する場合、情報提示制御部３２としては、スピーカ部を用いることができる。
　なお、この例では、潜在危険判定部３１及び情報提示制御部３２は、運転支援プログラムにより、ソフトウェアで実現することとした。しかし、これらのうち全部又は一部を、ＩＣ（Integrated　Circuit）等のハードウェアで実現してもよい。
　また、運転支援プログラムは、インストール可能な形式又は実行可能な形式のファイル情報でＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）などのコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。また、運転支援プログラムは、ＣＤ－Ｒ、ＤＶＤ（Digital　Versatile　Disk）、ブルーレイ（登録商標）ディスク、半導体メモリ等のコンピュータ装置で読み取り可能な記録媒体に記録して提供してもよい。また、運転支援プログラムは、インターネット等のネットワーク経由でインストールするかたちで提供してもよい。また、運転支援プログラムは、機器内のＲＯＭ等に予め組み込んで提供してもよい。
　（運転支援情報の提示動作）
　図４は、運転支援情報の提示動作を説明するためのフローチャートである。まず、ステップＳ１では、図３に示す潜在危険判定部３１が、車外カメラ部２３で撮像された車両前方の風景の動画像を、例えば縦×横が５個×５個の計２５個の分割領域に分割し、分割領域毎に「特徴量」を抽出する。
　一例ではあるが、「特徴量」としては、分割領域毎に検出する予測誤差量を用いることができる。また、この他、分割領域毎に物体のエッジ部を含む割合を示す顕著性を「特徴量」として用いることができる。また、予測誤差及び顕著性を併用することもできる。以下、「特徴量」として予測誤差量のみを用いる場合を説明し、顕著性等の説明は、後述する。
　図５は、潜在危険判定部３１による予測誤差画像の生成動作を説明するための模式図である。この図５に示すように、潜在危険判定部３１は、大脳皮質における予測符号化の処理を模倣し，深層学習の枠組みで構築された深層学習予測モデルである「ＰｒｅｄＮｅｔ」に基づいて、予測画像を生成する。具体的には、潜在危険判定部３１は、図５に示すように車外カメラ部２３で撮像された２０フレーム分の過去画像が供給されると、深層学習予測モデルに基づいて将来フレームに相当する予測画像を生成する。
　「ＰｒｅｄＮｅｔ」は、「Ｌｏｔｔｅｒ，Ｗ．，Ｋｒｅｉｍａｎ，Ｇ．，ａｎｄＣｏｘ，Ｄ．，「Ｄｅｅｐ　ｐｒｅｄｉｃｔｉｖｅ　ｃｏｄｉｎｇ　ｎｅｔｗｏｒｋｓ　ｆｏｒ　ｖｉｄｅｏ　ｐｒｅｄｉｃｔｉｏｎ　ａｎｄ　ｕｎｓｕｐｅｒｖｉｓｅｄ　ｌｅａｒｎｉｎｇ」，ｈｔｔｐｓ：／／ａｒｘｉｖ．ｏｒｇ／ａｂｓ／１６０５．０８１０４」の文献に詳述されている。
　すなわち、図５に示す時刻ｔ－２０～時刻ｔ－１までの過去画像が供給されたとすると、潜在危険判定部３１は、深層学習予測モデルに基づいて、時刻ｔ０の将来フレームの予測画像を生成する。同様に、潜在危険判定部３１は、時刻ｔ－１９～時刻ｔ－０までの過去画像から、深層学習予測モデルに基づいて、時刻ｔ１の将来フレームの予測画像を生成する。同様に、潜在危険判定部３１は、時刻ｔ－１８～時刻ｔ－１までの過去画像から、深層学習予測モデルに基づいて、時刻ｔ２の将来フレームの予測画像を生成する。
　潜在危険判定部３１は、このように１フレームずつ時刻がずれた過去画像を用いて全ての将来フレームの予測画像を生成する。
　また、潜在危険判定部３１は、生成した予測画像と、生成した予測画像の時刻に、車外カメラ部２３で実際に撮像された実画像（正解画像）とを画素単位で比較し、両者の各画素値の差分に基づいて予測誤差画像を生成する。図５の例は、時刻ｔ０における予測画像と、実画像（正解画像）との各画素値の差分に基づいて、時刻ｔ０の予測誤差画像が生成された例を示している。この予測誤差画像の各画素の値は、それぞれ予測誤差の値を示している。
　次に、このようにして予測誤差画像を生成すると、潜在危険判定部３１は、生成した予測画像の全体の画像領域を、例えば縦×横が５個×５個の計２５個の分割領域に分割する。そして、潜在危険判定部３１は、分割領域毎に、各画素の値である予測誤差の値の総和を検出する。なお、予測誤差の演算に用いる過去画像のフレーム数は、例えば３０フレーム等の、設計等の応じた任意のフレーム数でもよい。
　次に、潜在危険判定部３１は、図４のステップＳ２において、各分割領域の予測誤差の総和と、図６に示す予測誤差の総和の上限値用の第１の閾値（Ｈｉｇｈ）とを比較する。また、潜在危険判定部３１は、図４のステップＳ５において、各分割領域の予測誤差の総和と、図６に示す予測誤差の総和の下限値用の第２の閾値（Ｌｏｗ）とを比較する。そして、各分割領域のうち、第１の閾値（Ｈｉｇｈ）を上回る予測誤差の総和を有する分割領域、及び、第２の閾値（Ｌｏｗ）を下回る予測誤差の総和を有する分割領域を検出する。この図６に示す第１の閾値及び第２の閾値は、予測誤差用閾値の一例である。
　予測誤差の総和が第１の閾値（Ｈｉｇｈ）を上回るということは、その分割領域は、運転者が無意識に意識している領域であることを意味する。また、予測誤差の総和が第２の閾値（Ｌｏｗ）を下回るということは、その分割領域は、運転者が無意識でも意識されていない領域であることを意味する。
　情報提示制御部３２は、第１の閾値（Ｈｉｇｈ）を上回る予測誤差の総和を有する分割領域に基づいて、提示する運転支援情報（提示情報）を変更する（ステップＳ２：Ｙｅｓ→ステップＳ３）。また、情報提示制御部３２は、第２の閾値（Ｌｏｗ）を下回る予測誤差の総和を有する分割領域に基づいて、提示する運転支援情報（提示情報）を変更する（ステップＳ５：Ｙｅｓ→ステップＳ６）。また、情報提示制御部３２は、第１の閾値（Ｈｉｇｈ）未満、かつ、第２の閾値（Ｌｏｗ）未満となる予測誤差の総和を有する分割領域に基づいて、提示する運転支援情報（提示情報）を変更する（ステップＳ５：Ｎｏ→ステップＳ７）。そして、情報提示制御部３２は、ステップＳ３、ステップＳ６又はステップＳ７で変更した運転支援情報を情報提示部５に提示する。
　図７は、このような運転支援情報を情報提示部５に表示するまでの流れを模式的に示す図である。この図７に示すように、車外カメラ部２３で撮像された複数枚の前方画像から、深層学習予測モデル（＝ドライバ視覚モデル）に基づいて予測画像が生成され、同時刻の前方画像との差分をとることにより予測誤差画像が生成される。以降、説明の簡単化のため、ドライバ視覚モデルが予測誤差画像を出力するように記載する。また、予測誤差画像の各分割領域のうち、第１の閾値（Ｈｉｇｈ）を上回る予測誤差の総和を有する分割領域、及び、第２の閾値（Ｌｏｗ）を下回る予測誤差の総和を有する分割領域が検出される。そして、この検出結果に基づいて、運転支援情報が情報提示部５に提示される。
　なお、深層学習予測モデルとしては、例えば「加藤，江村，渡辺，「人の視覚をシミュレートする深層学習を用いた交通ヒヤリハット事象の要因分析」，自動車技術会２０２１年春季大会学術講演会予稿集」等に詳述されている。
　ここで、図８は、運転支援情報を提示しない場合の不都合を説明するための図である。図８（ａ）において、点線のグラフは、第１の分割領域の予測誤差の値の変遷を示しており、一点鎖線のグラフは、第２の分割領域の予測誤差の値の変遷を示しており、実線のグラフは、第３の分割領域の予測誤差の値の変遷を示している。また、図８（ｂ）は、第１の分割領域の予測誤差の値が、第１の閾値（Ｈｉｇｈ）を上回る時刻ｔ１の撮像画像を示している。また、図８（ｃ）は、第２の分割領域の予測誤差の値が、第１の閾値（Ｈｉｇｈ）を上回る時刻ｔ２の撮像画像を示している。図８（ｄ）は、第３の分割領域の予測誤差の値が、第１の閾値（Ｈｉｇｈ）を上回る時刻ｔ３の撮像画像を示している。
　図８（ｂ）に示すように、時刻ｔ１においては、第１の閾値（Ｈｉｇｈ）を上回る予測誤差の値の第１の分割領域が左側に存在するため、運転者は無意識に左側を注意している。次に、図８（ｃ）に示すように、時刻ｔ２においては、第１の閾値（Ｈｉｇｈ）を上回る予測誤差の値の第２の分割領域が右側に存在するため、運転者は無意識に右側を注意している。同様に、図８（ｄ）に示すように、時刻ｔ３においては、第１の閾値（Ｈｉｇｈ）を上回る予測誤差の値の第３の分割領域が右側に存在するため、運転者は無意識に右側を注意している。この右側を無意識に注意している状態で、図８（ｄ）に示すように左側から現れる他の車両には、運転者は気付きにくい。
　これに対して、図９は、実施の形態の運転支援装置１における運転支援情報の提示例を示す図である。図９（ａ）において、点線のグラフは、第１の分割領域の予測誤差の値の変遷を示しており、一点鎖線のグラフは、第２の分割領域の予測誤差の値の変遷を示しており、実線のグラフは、第３の分割領域の予測誤差の値の変遷を示している。また、図９（ｂ）は、第１の分割領域の予測誤差の値が、第１の閾値（Ｈｉｇｈ）を上回る時刻ｔ１の撮像画像を示している。また、図９（ｃ）は、第２の分割領域の予測誤差の値が、第１の閾値（Ｈｉｇｈ）を上回る時刻ｔ２の撮像画像を示している。図９（ｄ）は、第３の分割領域の予測誤差の値が、第１の閾値（Ｈｉｇｈ）を上回る時刻ｔ３の撮像画像を示している。
　図９（ｂ）に示すように、時刻ｔ１においては、第１の閾値（Ｈｉｇｈ）を上回る予測誤差の値の第１の分割領域が左側に存在するため、運転者は無意識に左側を注意している。この場合、情報提示制御部３２は、運転者が右側も注意するように、例えばＨＵＤの表示画面に、「右側にも注意」との運転支援情報を提示する。
　また、図９（ｃ）に示すように、時刻ｔ２においては、第１の閾値（Ｈｉｇｈ）を上回る予測誤差の値の第２の分割領域が右側に存在するため、運転者は無意識に右側を注意している。この場合、情報提示制御部３２は、運転者が左側も注意するように、例えばＨＵＤの表示画面に、「左側にも注意」との運転支援情報を提示する。
　また、図９（ｄ）に示すように、時刻ｔ３においては、第１の閾値（Ｈｉｇｈ）を上回る予測誤差の値の第３の分割領域が右側に存在するため、運転者は無意識に右側を注意している。この場合、情報提示制御部３２は、運転者が左側も注意するように、例えばＨＵＤの表示画面に、「左側にも注意」との運転支援情報を提示する。これにより、運転者は、図９（ｄ）に示すように左側から現れる他の車両に気付くことができ、衝突等の不都合を運転操作で回避できる。
　図１０は、このような予測誤差が大きな分割領域の位置に対する運転支援情報の表示位置を決定する流れを示すフローチャートである。ステップＳ３１では、潜在危険判定部３１が、車両前方の撮像画像の分割領域毎に、抽出量の一例である予測誤差を抽出する。
　次に、情報提示制御部３２は、ステップＳ３２において、分割領域毎に上述の第１の閾値（Ｈｉｇｈ）を超えているか否かを判別する。なお、理解容易とするために、分割領域毎に第１の閾値（Ｈｉｇｈ）を超えているか否かを判別する例を説明するが、情報提示制御部３２は、分割領域毎に第２の閾値（Ｌｏｗ）を超えているか否かも判別する。
　具体的には、情報提示制御部３２は、第１の閾値（Ｈｉｇｈ）を上回っているか否かを判別する分割領域に対して、「０」から順に番号「ｉ」を付加する（ステップＳ３３又はステップＳ３６）。そして、この分割領域に付加される番号は、ステップＳ３５で一つずつインクリメントされる。情報提示制御部３２は、各番号の分割領域毎に、特徴量（予測誤差の値）が第１の閾値（Ｈｉｇｈ）を上回っているか否かを判別する（ステップＳ３２）。
　次に、情報提示制御部３２は、分割領域に付加した番号が、全分割領域の数以上となったか否かを判別する（ステップＳ３４）。例えば、上述の例は、撮像画像の全領域を２５個の分割領域に分割した例である。この場合、情報提示制御部３２は、ステップＳ３４において、一つずつインクリメントしながら分割領域に付加した番号「ｉ」が、「２５」になったか否かを判別する。分割領域毎に付加した番号「ｉ」が、「２５」になっていないということは（ステップＳ３４：Ｙｅｓ）、全ての分割領域に対する、第１の閾値（Ｈｉｇｈ）を超えているか否かの判別が終了していないことを意味する。このため、情報提示制御部３２は、上述のステップＳ３２～ステップＳ３６の処理を繰り返し実行する。
　これに対して、分割領域毎に付加した番号「ｉ」が、「２５」になったということは、全ての分割領域に対する、第１の閾値（Ｈｉｇｈ）を超えているか否かの判別が終了したことを意味する。この場合、情報提示制御部３２は、第１の閾値（Ｈｉｇｈ）を上回る予測誤差の値を有する分割領域の数を、撮像画像に基づいて情報取得画面の左右の領域に分けてカウントする（ステップＳ３７）。そして、情報提示制御部３２は、情報取得画面の左側の領域に位置する上述の分割領域の数よりも、情報取得画面の右側の領域に位置する上述の分割領域の数の方が多いか否かを判別する（ステップＳ３８）。
　情報提示制御部３２は、情報取得画面の左側の領域に位置する上述の分割領域の数よりも、情報取得画面の右側の領域に位置する上述の分割領域の数の方が多いということは、画面の右側の領域に対して運転者の無意識の注意が偏っており、画面の左側の領域を運転者が見落とし易いことを意味する。この場合（ステップＳ３８：Ｙｅｓ）、情報提示制御部３２は、例えば「左側にも注意」等の運転支援情報を、情報提示部５を介して提示する（ステップＳ３９）。これにより、運転者が見落とし易い左側の領域に対する運転者の意識的な注意を喚起できる。
　これに対して、情報取得画面の左側の領域に位置する上述の分割領域の数よりも、情報取得画面の右側の領域に位置する上述の分割領域の数の方が少ないということは、画面の左側の領域に対して運転者の無意識の注意が偏っており、画面の右側の領域に対する運転者が見落とし易いことを意味する。この場合（ステップＳ３８：Ｎｏ）、情報提示制御部３２は、例えば「右側にも注意」等の運転支援情報を、情報提示部５を介して提示する（ステップＳ４０）。これにより、運転者が見落とし易い右側の領域に対する運転者の意識的な注意を喚起できる。
　（予測誤差の発生の仕方に応じた情報提示）
　次に、予測誤差の発生の仕方に応じた情報提示の一例を説明する。図１１は、情報取得画面の左右のいずれかに偏って予測誤差が多く発生する場合を示している。図１１（ａ）～図１１（ｃ）は、情報取得画面の左側に偏って予測誤差が多く発生している場合を示している。この場合、情報提示制御部３２は、情報取得画面の右側に運転者の注意を喚起する運転支援情報を提示する。
　また、情報提示制御部３２は、情報取得画面の上側に偏って予測誤差が多く発生している場合は、情報取得画面の下側に運転者の注意を喚起する運転支援情報を提示する。また、情報取得画面の右に偏って予測誤差が多く発生している場合は、情報取得画面の左側に運転者の注意を喚起する運転支援情報を提示する。すなわち、情報提示制御部３２は、情報取得画面に多くの予測誤差が発生している分割領域に対して、相対的な位置の分割領域側に運転支援情報の提示を行う。
　図１２は、運転支援情報の表示例を示す図である。図１２（ａ）は、情報取得画面の左側に多くの予測誤差が発生している例である。この場合、情報提示制御部３２は、図１２（ｂ）に示すように、運転者が見落とし易くなっている、情報取得画面の右側に、例えば黄色の△のアイコン又は矢印等を表示して、情報取得画面の右側に対する運転者の注意を喚起する。
　図１３は、運転支援情報の他の表示例を示す図である。図１３（ａ）は、情報取得画面の左側に多くの予測誤差が発生している例である。図１２の例は、このような場合に、情報取得画面の右側に、運転者の注意を喚起する運転支援情報を表示したが、図１３（ｂ）に示すように、情報取得画面の中央に、運転者の注意を喚起する運転支援情報を表示してもよい。この図１３（ｂ）の例は、情報提示制御部３２が、情報取得画面の左右の手前側から奥行き方向にかけて伸びる直線状のラインを表示した例である。このようなラインを表示することで、情報取得画面の中央に、運転者の注意を喚起することができる。
　なお、予測誤差の値が、図６に示した第２の閾値（Ｌｏｗ）を下回る分割領域は、運転者が見落としやすい(注意が抑制される)分割領域であることを意味している。このような運転者が見落としやすい分割領域は、例えば渋滞時に、前の車両に追従して自車両を運転している場合等に発生する。これは、運転者の前の車両に対する注意が抑制されており、漫然運転が行われていることを意味している。そして、このままでは、前方の車両に追突等の不都合が発生するおそれがある。
　このため、情報提示制御部３２は、図１３（ｂ）に示したラインを表示することで、情報取得画面の中央に、運転者の視線を画面中央に誘導して注意を喚起する。または、情報提示制御部３２は、情報取得画面の中央に、例えば「前方に注意してください」等の運転支援情報（メッセージ又は音声）を提示して運転者の視線を画面中央に誘導して注意を喚起する。これにより、運転者に対して、前方への注意を促すことができ、追突等の不都合を防止でき、安全を確保できる。
　次に、図１４は、音声により運転支援情報を提示する例を示す図である。図１４（ａ）は、情報取得画面の左側に多くの予測誤差が発生している例である。この場合、情報提示制御部３２は、図１４（ｂ）に示すように、例えば「右側にも注意しましょう」等の音声メッセージを、スピーカ部を介して提示する。これにより、情報取得画面の右側に運転者の注意を喚起することができる。
　次に、図１５（ａ）～図１５（ｄ）は、情報取得画面の各分割領域に発生する予測誤差に、偏りが無い例を示している。これは、運転者が全体的に無意識の注意を払っていることを意味する。このため、情報提示制御部３２は、運転支援情報を非提示とする。
　次に、図１６（ａ）～図１６（ｄ）は、閾値を上回る予測誤差が発生する分割領域が徐々に増加している例を示している。これは、運転者の認知負荷が増加していることを意味する。このため、情報提示制御部３２は、認知負荷が増加していることを示す運転支援情報を提示する。
　また、反対の場合も同様であり、閾値を上回る予測誤差が発生する分割領域が徐々に減少している場合、これは、各分割領域の予測誤差の値が、図６に示す第１の閾値（Ｈｉｇｈ）と第２の閾値（Ｌｏｗ）との間の値となり、認知負荷が減少していることを示す。この場合、情報提示制御部３２は、認知負荷が減少していることを示す運転支援情報を提示する。
　次に、図１７（ａ）～図１７（ｄ）は、閾値を上回る予測誤差の分割領域が、全体的に発生しない例を示している。これは、例えば渋滞時に、前の車両に追従して自車両を運転している場合等の、前方の風景に変化が少ない場合に現れる。このような場合、運転者の注意が散漫となり、漫然運転となり、前の車両に追突等の不都合を生ずるおそれがある。
　このため、情報提示制御部３２は、例えば図１３（ｂ）に示したようにラインを表示することで、情報取得画面の中央に、運転者の視線を画面中央に誘導して注意を喚起する。または、情報提示制御部３２は、情報取得画面の中央に、例えば「前方に注意してください」等の運転支援情報（メッセージ又は音声）を提示して運転者の視線を画面中央に誘導して注意を喚起する。これにより、運転者に対して、前方への注意を促すことができ、追突等の不都合を防止でき、安全を確保できる。
　（運転支援情報の提示期間）
　次に、図１８は、運転支援情報の提示期間を説明するための図である。情報提示制御部３２は、図６に示すように、各分割領域の予測誤差の総和が、第１の閾値（Ｈｉｇｈ）又は第２の閾値（Ｌｏｗ）を超えた際に、一定期間（又はいずれかの閾値を超えている間）、運転支援情報の提示を行う。図１８は、時刻ｔ１に予測誤差の総和がいずれかの閾値を超えたことを示しており、この場合、情報提示制御部３２は、時刻ｔ１から一定期間、運転支援情報の提示を行う。
　また、図１８は、時刻ｔ２及び時刻ｔ３に予測誤差の総和がいずれかの閾値を超えたことを示しており、この場合、情報提示制御部３２は、時刻ｔ２から一定期間、第１の運転支援情報の提示を行うと共に、時刻ｔ３から一定期間、第２の運転支援情報の提示を行う。第２の運転支援情報の提示を行う際に、第１の運転支援情報の提示を終了してもよい。
　このように、予め設定された一定期間（又はいずれかの閾値を超えている間）、運転支援情報の提示を行うことで、運転支援情報の提示が長時間となり、運転者に煩わしさを与える不都合を防止できる。
　（提示する運転支援情報の変更制御）
　次に、情報提示部５に、多くの運転支援情報を提示すると、運転者に対して煩わしさを与え、安全運転上、好ましいことではない。このため、情報提示制御部３２は、状況に応じて、提示する運転支援情報の有無、数、位置、及び、種類等を変更制御する。
　図１９は、運転支援情報の有無を変更する例である。例えば、通常、図１９（ａ）に示すように、情報提示部５の画像提示画面に対して、進行方向の矢印、歩行者を示す丸印、及び、右上の長方形の領域に、自車両の後方の風景を表示する。このように提示する運転支援情報の数が多くなると、却って、運転者の注意が散漫となる。
　このため、情報提示制御部３２は、例えば車両が停止している場合、及び、時速１５ｋｍ未満等の低速度で車両が走行している間、図１９（ｂ）に示すように、運転支援情報を非表示とする。これにより、不必要な運転支援情報を表示して運転者に煩わしさを与える不都合を防止できる。
　次に、図２０は、運転支援情報の数（提示数）を変更する例である。例えば、通常、図２０（ａ）に示すように、情報提示部５の画像提示画面に対して、進行方向の矢印、歩行者を示す丸印、及び、右上の長方形の領域に、自車両の後方の風景を表示する。このように提示する運転支援情報の数が多くなると、却って、運転者の注意が散漫となる。
　このため、情報提示制御部３２は、例えば図２０（ｂ）に示すような予測誤差が発生している領域のような、危険度が高い対象に対しての運転支援情報のみを優先して提示する。これにより、真に必要な運転支援情報のみを提示して運転者の注意を喚起できる。
　次に、図２１は、運転支援情報の位置を変更する例である。例えば、通常、図２０（ａ）に示すように、情報提示部５の画像提示画面に対して、進行方向の矢印、歩行者を示す丸印、及び、右上の長方形の領域に、自車両の後方の風景を表示する。このように提示する運転支援情報の数が多くなると、却って、運転者の注意が散漫となる。
　このため、情報提示制御部３２は、閾値を上回る予測誤差を有する分割領域に基づいて、図２１（ｂ）又は図２１（ｃ）に示すように、提示する運転支援情報の位置を変更する。
　これにより、車両の周知の状況に応じて、必要な位置に運転支援情報を提示して運転者の注意を喚起できる。
　次に、図２２は、運転支援情報の種類を変更する例である。図２２（ａ）に示すように、車両の前方の歩行者、停車車両が多く存在している場合などは、閾値を上回る予測誤差を有する分割領域も、図２２（ｂ）に示すように、数多く発生する。この場合、情報提示制御部３２は、矢印の運転支援情報を、例えば「減速しましょう」等の注意を喚起するメッセージに変更して提示する。これにより、運転者に対して、より的確に運転支援情報の提示を行うことができる。
　（第１の実施の形態の効果）
　以上の説明から明らかなように、第１の実施の形態の運転支援装置１は、潜在危険判定部３１が、車両の車外カメラ部２３により撮像された、車両の進行方向の撮像画像に基づいて、撮像画像の全撮像領域のうち、人間が無意識に認識する潜在認識領域を検出する。そして、情報提示制御部３２が、検出された潜在認識領域に応じて推定される情報提示部上の領域に、所定の運転支援情報を提示する。
　これにより、運転者が無意識に注意している領域以外の、運転者が見落とし易い領域に対する注意を喚起することができ、車両の周囲の状況に応じた適格な運転支援情報の提示を行うことができる。
　また、潜在危険判定部３１は、全撮像領域を複数に分割した各分割領域のうち、所定の閾値を上回る特徴量（予測誤差等）を有する分割領域を、潜在認識領域として検出する。これにより、運転者が無意識に注意している領域を適格に検出でき、さらに適格な運転支援情報の提示を行うことができる。
　また、情報提示制御部３２は、特徴量（予測誤差等）が所定の閾値未満となっている間、及び、特徴量が閾値を超えている間に分けて、運転支援情報の提示を行う。具体的には、情報提示制御部３２は、特徴量（予測誤差等）が所定の閾値未満となっている間は、運転支援情報の提示は行わず、特徴量が閾値を超えた場合に、運転支援情報の提示を行う。これにより、運転者が無意識に注意している分割領域を明確に特定したうえで、相対領域の注意を喚起する運転支援情報を提示できるため、より安全を確報できる。
　また、情報提示制御部３２は、特徴量が予め設定された一定期間（又はいずれかの閾値を超えている間）、運転支援情報の提示を行う。これにより、運転者が運転支援情報を適格に認識できる（提示時間が短いために運転支援情報を見落とすことがなくなる）。
　また、情報提示制御部３２は、検出された潜在認識領域に応じて、運転支援情報の提示の有無、提示位置、提示数又は種類の変更のうち、いずれか一つ又は複数の変更を行う。これにより、車両の周知の状況に応じて、必要な運転支援情報を選択的に提示して運転者の注意を喚起できる。このため、多くの運転支援情報を表示して、運転者に煩わしさを与える不都合を防止できる。
　［第２の実施の形態］
　次に、第２の実施の形態の運転支援装置の説明をする。この第２の実施の形態の運転支援装置は、車両の走行速度に基づいて、提示する運転支援情報を変更する例である。なお、上述の第１の実施の形態と以下に説明する第２の実施の形態とでは、この点のみが異なる。このため、以下、両者の差異の説明のみ行い、重複説明は省略する。
　図２３は、第２の実施の形態の運転支援装置の機能構成を示す機能ブロック図である。この図２３に示すように、第２の実施の形態の運転支援装置の場合、潜在危険判定部３１が、車外カメラ部２３により撮像された前方画像と共に、図２に示す車速センサ２１で検出された車両の走行速度（自車速度）を取得する構成となっている。
　図２４は、第２の実施の形態の運転支援装置における運転支援情報の提示動作の流れを示すフローチャートである。このフローチャートにおいて、潜在危険判定部３１は、上述と同様に、車両前方の撮像画像に基づいて、分割領域毎に予測誤差等の特徴量を抽出する（ステップＳ１１）。情報提示制御部３２は、抽出した各分割領域の特徴量と、図６に示した第１の閾値（Ｈｉｇｈ）及び第２の閾値（Ｌｏｗ）とを比較し、抽出した各分割領域の特徴量が、いずれかの閾値を超えたか否かを判別する（ステップＳ１２）。
　抽出した各分割領域の特徴量が、いずれかの閾値を超えたと判別した場合（ステップＳ１２：Ｙｅｓ）、潜在危険判定部３１は、車速センサ２１で検出された車両の走行速度（自車速度）を取得する（ステップＳ１３）。潜在危険判定部３１は、ステップＳ１４において、取得された車両の走行速度が、例えば時速３０ｋｍ等の走行速度用の閾値を超えたか否かを判別する。
　各分割領域の特徴量がいずれかの閾値を超えており（ステップＳ１２：Ｙｅｓ）、かつ、車両の走行速度が走行速度用の閾値を超えている場合（ステップＳ１４：Ｙｅｓ）、歩行者又は他の車両等の飛び出しに注意する必要がある。このため、情報提示制御部３２は、ステップＳ１５において、「かもしれない運転」を勧める運転支援情報の提示を行う。
　図２５は、「かもしれない運転」を勧める運転支援情報の提示例を示す図である。図２５（ａ）に示すように情報取得画面の左側の分割領域の予測誤差が閾値を上回る値を示している場合、情報取得画面の右側の領域は、運転者が見落とし易くなっていることを示し、歩行者又は他の車両の飛び出し等に対する対処が遅れがちとなる。このため、情報提示制御部３２は、図２５（ｂ）に示すように、情報提示部５の画像提示画面に対して、例えば「徐行しましょう」等の「かもしれない運転」を勧める運転支援情報を提示する。これにより、運転者は、車両の走行速度を減速操作し、歩行者又は他の車両の飛び出し等に注意しながら走行を継続する。
　これに対して、図２４のフローチャートにおいて、各分割領域の特徴量がいずれかの閾値を超えているが（ステップＳ１２：Ｙｅｓ）、車両の走行速度が走行速度用の閾値を超えていない場合（ステップＳ１４：Ｎｏ）、これは、低速度で車両が走行しており、歩行者又は他の車両の飛び出し等に注意しながら車両が走行操作されていることを意味する。
　この場合、情報提示制御部３２は、ステップＳ１６において、「かもしれない運転」を褒める運転支援情報の提示を行う。図２６が、この「かもしれない運転」を褒める運転支援情報の提示例を示す図である。図２６（ａ）に示すように情報取得画面の左側の分割領域の予測誤差が閾値を上回る値を示している場合、情報取得画面の右側の領域は、運転者が見落とし易くなっていることを示し、歩行者又は他の車両の飛び出し等に対する対処が遅れがちとなる。
　しかし、このような場合でも車両を徐行させていれば、事故を未然に防止可能である。このため、情報提示制御部３２は、図２６（ｂ）に示すように、例えば「適切な徐行ができています」等の、「かもしれない運転」を褒める運転支援情報を情報提示部５の画像提示画面に提示する。これにより、運転者は、現在の車両の走行操作が、正しい走行操作であることを認識でき、引き続き歩行者又は他の車両の飛び出し等に注意しながら車両を走行操作する。これにより、運転者及び周囲の歩行者等に対する安全を確報できる。
　（第２の実施の形態の効果）
　以上の説明から明らかなように、第２の実施の形態の運転支援装置は、特徴量と共に、車両の走行速度を検出して運転支援情報の提示を行う。これにより、車速に応じて提示する運転支援情報を変更でき、車速に応じた適切な運転支援情報を提示できる他、上述の第１の実施の形態と同様の効果を得ることができる。
　［第３の実施の形態］
　次に、第３の実施の形態の運転支援装置の説明をする。この第３の実施の形態の運転支援装置は、車両の走行速度に応じて例えば制動制御を行うと共に、制御内容を運転支援情報として提示する例である。なお、上述の第２の実施の形態と以下に説明する第３の実施の形態とでは、この点のみが異なる。このため、以下、両者の差異の説明のみ行い、重複説明は省略する。
　図２７は、第３の実施の形態の運転支援装置の機能構成を示す機能ブロック図である。この図２７に示すように、第３の実施の形態の運転支援装置の場合、潜在危険判定部３１が、車外カメラ部２３により撮像された前方画像と共に、図２に示す車速センサ２１で検出された車両の走行速度（自車速度）を取得する。そして、潜在危険判定部３１が、車速センサ２１から取得した車両の走行速度（自車速度）が所定の閾値（移動速度用閾値の一例）上回る走行速度である場合、この検出結果を車両制御部６に通知することで、車両制御部６が車両の制動制御等を行い、情報提示制御部３２が制動制御を行った旨の運転支援情報を提示する構成となっている。
　図２８は、第３の実施の形態の運転支援装置における運転支援情報の提示動作の流れを示すフローチャートである。このフローチャートにおいて、潜在危険判定部３１は、上述と同様に、車両前方の撮像画像に基づいて、分割領域毎に予測誤差等の特徴量を抽出する（ステップＳ２１）。情報提示制御部３２は、抽出した各分割領域の特徴量と、図６に示した第１の閾値（Ｈｉｇｈ）及び第２の閾値（Ｌｏｗ）とを比較し、抽出した各分割領域の特徴量が、いずれかの閾値を超えたか否かを判別する（ステップＳ２２）。
　抽出した各分割領域の特徴量が、いずれかの閾値を超えたと判別した場合（ステップＳ２２：Ｙｅｓ）、潜在危険判定部３１は、車速センサ２１で検出された車両の走行速度（自車速度）を取得する（ステップＳ２３）。潜在危険判定部３１は、ステップＳ２４において、取得された車両の走行速度が、例えば時速３０ｋｍ等の走行速度用の閾値を超えたか否かを判別し、この判別結果を車両制御部６に通知する。
　車両制御部６は、車両の走行速度が走行速度用の閾値を超えていることを示す判別結果が潜在危険判定部３１から得られた場合、ステップＳ２５において、車両のブレーキを自動操作し又はアクセルペダルを自動で戻す操作を行い、車両の減速制御を行う。
　このような減速制御が行われると、情報提示制御部３２は、ステップＳ２６において、減速制御を行ったことを示す運転支援情報を情報提示部５の画像提示画面に提示する。図２９は、このような減速制御を行ったことを示す運転支援情報の提示例を示す図である。図２９（ａ）は、情報取得画面の右側の領域は予測誤差の値が大きく、運転者が無意識に注意できており、反対側の左側の領域は、注意できていない状況を示している。
　このような状況において、車両の走行速度が走行速度用の閾値を超えている場合、左側の領域からの歩行者又は他の車両の飛び出しに対処困難となるため、車両制御部６は、車両のブレーキを自動操作し又はアクセルペダルを自動で戻す操作を行い、車両を減速制御する。
　また、このような車両の減速制御が行われると、運転者は、意図しない車両の減速制御により、車両の故障等と勘違いするおそれがある。このため、情報提示制御部３２は、図２９（ｂ）に示すように、例えば「徐行します」等の、制動制御を行ったことを示す運転支援情報を、情報提示部５の画像提示画面に提示する。これにより、運転者は、走行速度が速いため、自動で減速制御が行われることを認識でき、車両の故障等として勘違いする不都合を防止できる。
　なお、一例として、車両の制動制御を行う場合を説明したが、この他、ハンドルの自動操作による走行レーンの調整制御、及び、ウインカー操作等の車両の他の動作制御を行ってもよい。
　（第３の実施の形態の効果）
　以上の説明から明らかなように、第３の実施の形態の運転支援装置は、特徴量と共に、車両情報（走行速度など）を検出し、例えば、走行速度が閾値を超えていた場合に、車両を自動で制動制御する。また、情報提示制御部３２は、制動制御を行ったことを示す運転支援情報を情報提示部５の画像提示画面に提示する。これにより、強制的に車両を制動制御して、運転者が見落とし易い領域からの歩行者又は他の車両の飛び出し等に備えることができ、安全を確保できる他、上述の第１の実施の形態及び第２の実施の形態と同様の効果を得ることができる。
　［第４の実施の形態］
　次に、第４の実施の形態の運転支援装置の説明をする。この第４の実施の形態の運転支援装置は、運転者の視線の滞留時間も考慮して、提示する運転支援情報を変更する例である。なお、上述の第１の実施の形態と以下に説明する第４の実施の形態とでは、この点のみが異なる。このため、以下、両者の差異の説明のみ行い、重複説明は省略する。
　図３０は、第４の実施の形態の運転支援装置の機能構成を示す機能ブロック図である。この図３０に示すように、第４の実施の形態の運転支援装置の場合、潜在危険判定部３１が、車外カメラ部２３により撮像された前方画像と共に、図２に示すドライバカメラ部２４により撮像された、運転者の顔画像を取得する構成となっている。
　図３１は、第４の実施の形態の運転支援装置における運転支援情報の提示動作の流れを示すフローチャートである。このフローチャートにおいて、潜在危険判定部３１は、上述と同様に、車両前方の撮像画像に基づいて、分割領域毎に予測誤差等の特徴量を抽出する（ステップＳ６１）。情報提示制御部３２は、抽出した各分割領域の特徴量と、図６に示した第１の閾値（Ｈｉｇｈ）及び第２の閾値（Ｌｏｗ）とを比較し、抽出した各分割領域の特徴量が、いずれかの閾値を超えたか否かを判別する（ステップＳ６２）。
　抽出した各分割領域の特徴量が、いずれかの閾値を超えたと判別した場合（ステップＳ６２：Ｙｅｓ）、潜在危険判定部３１は、視線検出部として機能し、ドライバカメラ部２４により撮像された運転者の顔画像を取得する（ステップＳ６３）。潜在危険判定部３１は、取得された運転者の顔画像に基づいて、情報取得画面のうち、運転者の視線が滞留している位置及び滞留時間を検出する。そして、潜在危険判定部３１は、閾値を超えた予測誤差を有する分割領域に対する、運転者の視線の滞留時間が、滞留時間用閾値を上回るか否かを判別する（ステップＳ６４）。
　予測誤差等の特徴量が大きな分割領域であり（ステップＳ６２：Ｙｅｓ）、かつ、その分割領域に対する視線の滞留時間が滞留時間用閾値を上回るということは（ステップＳ６４：Ｙｅｓ）、その分割領域に対する運転者の視線が固定された状態で、偏った注意となっていることを意味する。このため、情報提示制御部３２は、歩行者又は他の車両の飛び出し等にも対処可能なように、図２５（ｂ）に例示した「徐行しましょう」等の徐行を勧めるメッセージを運転支援情報として情報提示部５の画像提示画面に提示し、「かもしれない運転」を運転者に対して勧める（ステップＳ６５）。これにより、運転者の偏った注意を、情報取得画面全体の領域を注意する状態に戻すことができ、歩行者又は他の車両の飛び出し等にも対処可能として、安全を確保できる。
　これに対して、予測誤差等の特徴量が大きな分割領域ではあるが（ステップＳ６２：Ｙｅｓ）、その分割領域に対する視線の滞留時間が滞留時間用閾値を超えないということは（ステップＳ６４：Ｎｏ）、運転者は、他の領域に対しても注意していることを意味する。このため、情報提示制御部３２は、図２６（ｂ）に例示したように「適切な徐行ができています」等の、「かもしれない運転」ができていることを褒めるメッセージを、運転支援情報として情報提示部５の画像提示画面に提示する（ステップＳ６６）。これにより、運転者の安全運転に対するモチベーションを向上させることができ、安全を確保できる。
　本実施の形態で用いた、第１の閾値（Ｈｉｇｈ）および第２の閾値（Ｌｏｗ）は、どちらか一方のみでもよいし、３段階以上の閾値を設けてもよい。
　（第４の実施の形態の効果）
　以上の説明から明らかなように、第４の実施の形態の運転支援装置は、特徴量と共に、運転者の視線の滞留時間を検出して運転支援情報の提示を行う。これにより、運転者の視線の滞留時間に応じて提示する運転支援情報を変更でき、適切な運転支援情報を提示できる他、上述の各実施の形態と同様の効果を得ることができる。
　［第５の実施の形態］
　次に、第５の実施の形態の運転支援装置の説明をする。上述の各実施の形態の運転支援装置では、各分割領域の特徴量として予測誤差を用いることとした。これに対して、第５の実施の形態の運転支援装置は、各分割領域の特徴量として顕著性マップを用いる例である。なお、上述の各実施の形態と以下に説明する第５の実施の形態とでは、この点のみが異なる。このため、以下、差異となる部分の説明のみ行い、重複説明は省略する。
　図３２は、第５の実施の形態の運転支援装置が顕著性マップに基づいて運転支援情報を提示するまでの流れを示す模式図である。この場合、潜在危険判定部３１は、車外カメラ部２３で撮像された撮像画像に写っている人間及び物体等のエッジ部（輪郭部）を、例えば輝度データに基づいて抽出する。そして、潜在危険判定部３１は、撮像画像上の各領域における、エッジ部の含有量を示す顕著性マップを生成する。また、潜在危険判定部３１は、この顕著性マップの全領域を、上述のように例えば２５個の分割領域に分割し、エッジ部を含有する割合が所定の顕著性用閾値を上回る分割領域を、潜在認識領域として検出した注意予測マップを生成する。
　エッジ部の含有量が顕著性用閾値を上回る分割領域は、運転者が無意識に注意している領域である。このため、情報提示制御部３２は、上述と同様に、エッジ部の含有量が顕著性用閾値を上回る分割領域に対する相対領域に対して運転者の注意を促す運転支援情報を、情報提示部５の画像提示画面に提示する。
　これにより、運転者が無意識に注意している領域以外の、運転者が見落とし易い領域に対する注意を喚起することができ、車両の周囲の状況に応じた適格な運転支援情報の提示を行うことができる等、上述の各実施の形態と同様の効果を得ることができる。
　［第６の実施の形態］
　次に、第６の実施の形態の運転支援装置の説明をする。上述の各実施の形態の運転支援装置では、各分割領域の特徴量として予測誤差又は顕著性マップを用いることとした。これに対して、第６の実施の形態の運転支援装置は、各分割領域の特徴量として予測誤差及びエッジ部の含有量（顕著性）の両方を用いる例である。なお、上述の各実施の形態と以下に説明する第６の実施の形態とでは、この点のみが異なる。このため、以下、差異となる部分の説明のみ行い、重複説明は省略する。
　図３３は、第６の実施の形態の運転支援装置が予測誤差及び顕著性マップに基づいて運転支援情報を提示するまでの流れを示す模式図である。また、図３４は、第６の実施の形態の運転支援装置における、予測誤差及び顕著性マップに基づく運転支援情報の提示動作の流れを示すフローチャートである。
　まず、図３４のフローチャートのステップＳ４１～ステップＳ４４では、図１０のフローチャートを用いて説明したように、潜在危険判定部３１が、車外カメラ部２３の撮像画像に基づいて、分割領域毎に予測誤差（第１の特徴量）を検出する。同様に、ステップＳ４５～ステップＳ４８では、潜在危険判定部３１が、車外カメラ部２３の撮像画像に基づいて、分割領域毎にエッジ部の含有量（顕著性：第２の特徴量）を検出する。
　ステップＳ４９～ステップＳ５１では、潜在危険判定部３１が、図３３に示すように、予測誤差が所定の閾値よりも大きく、かつ、エッジ部の含有量（顕著性）が所定の閾値よりも大きな分割領域を潜在認識領域として検出して、注意予測マップを生成する。予測誤差及び顕著性の両方を用いて潜在認識領域を検出することで、より正確に潜在認識領域を検出できる。
　ステップＳ５２では、潜在危険判定部３１が、このような潜在認識領域の検出処理を、２５個の全分割領域に対して完了したか否かを判別する。２５個の全分割領域に対する潜在認識領域の検出処理が完了していない場合は、ステップＳ５３で、潜在認識領域の検出処理を行う分割領域の番号を一つインクリメントして、ステップＳ４２に処理を戻す。
　これに対して、２５個の全分割領域に対する潜在認識領域の検出処理が完了した場合は、処理がステップＳ５４に進む。ステップＳ５４では、情報提示制御部３２が、情報取得画面の右側の領域に位置する潜在認識領域の数、及び、情報取得画面の左側の領域に位置する潜在認識領域の数をそれぞれカウントする。また、情報提示制御部３２は、ステップＳ５５で、情報取得画面の右側の領域に位置する潜在認識領域の数が、情報取得画面の左側の領域に位置する潜在認識領域の数よりも多いか否かを判別する。
　そして、情報提示制御部３２は、情報取得画面の右側の領域に位置する潜在認識領域の数が、情報取得画面の左側の領域に位置する潜在認識領域の数よりも多いと判別した場合（ステップＳ５５：Ｙｅｓ）、ステップＳ５６において、情報取得画面の左側の領域に対する注意を喚起する運転支援情報の提示を行う。
　これに対して、情報提示制御部３２は、情報取得画面の右側の領域に位置する潜在認識領域の数が、情報取得画面の左側の領域に位置する潜在認識領域の数よりも少ないと判別した場合（ステップＳ５５：Ｎｏ）、ステップＳ５７において、情報取得画面の右側の領域に対する注意を喚起する運転支援情報の提示を行う。
　これにより、運転者が無意識に注意している領域に対する相対的な領域に対して、運転者の注意を喚起でき、安全を確保できる等、上述の各実施の形態の同様の効果を得ることができる。また、この第６の実施の形態の場合、予測誤差及びエッジ部の含有量（顕著性）の両方を用いて潜在認識領域を検出しているため、より正確に潜在認識領域を検出できる。
　［第７の実施の形態］
　次に、第７の実施の形態の運転支援装置の説明をする。上述の第６の実施の形態の運転支援装置は、各分割領域の特徴量として予測誤差及び顕著性の両方を用いて潜在認識領域を検出した例であった。これに対して、第７の実施の形態の運転支援装置は、予測誤差及び運転者の視線の滞留時間に基づいて運転支援情報を提示する例である。なお、上述の各実施の形態と以下に説明する第７の実施の形態とでは、この点のみが異なる。このため、以下、差異となる部分の説明のみ行い、重複説明は省略する。
　図３５は、第７の実施の形態の運転支援装置が予測誤差及び視線の滞留時間に基づいて運転支援情報を提示するまでの流れを示す模式図である。この場合、潜在危険判定部３１は、車外カメラ部２３の撮像画像に基づいて、分割領域毎に予測誤差を検出する。また、潜在危険判定部３１は、ドライバカメラ部２４で撮像された運転者の顔の撮像画像に基づいて、各分割領域に対する運転者の視線の滞留時間を検出する。
　そして、潜在危険判定部３１は、各分割領域のうち、予測誤差が所定の閾値未満であり、かつ、視線の滞留時間が所定の閾値を上回る分割領域を示す注意予測マップを生成する。予測誤差が所定の閾値未満の分割領域であり、その分割領域に対する運転者の視線の滞留時間が所定の閾値を上回るということは、運転者が、見落とし易い領域を注意することなく見ている状態を意味する。
　このため、情報提示制御部３２は、予測誤差が所定の閾値未満であり、かつ、視線の滞留時間が所定の閾値を上回る分割領域に対して注意を喚起する運転支援情報を、情報提示部５の画像提示画面に提示する。これにより、予測誤差が所定の閾値未満であり、かつ、視線の滞留時間が所定の閾値を上回る分割領域に対して運転者の注意を喚起でき、安全を確保できる等、上述の各実施の形態の同様の効果を得ることができる。
　［第８の実施の形態］
　次に、第８の実施の形態の運転支援装置の説明をする。上述の第７の実施の形態の運転支援装置は、予測誤差及び運転者の視線の滞留時間を用いて運転支援情報を提示する例であった。これに対して、以下に説明する第８の実施の形態の運転支援装置は、顕著性及び運転者の視線の滞留時間を用いて運転支援情報を提示する例である。なお、上述の各実施の形態と以下に説明する第８の実施の形態とでは、この点のみが異なる。このため、以下、差異となる部分の説明のみ行い、重複説明は省略する。
　図３６は、第８の実施の形態の運転支援装置が顕著性及び視線の滞留時間に基づいて運転支援情報を提示するまでの流れを示す模式図である。この場合、潜在危険判定部３１は、車外カメラ部２３の撮像画像に基づいて、分割領域毎に上述のエッジ部の含有量である顕著性を検出する。また、潜在危険判定部３１は、ドライバカメラ部２４で撮像された運転者の顔の撮像画像に基づいて、各分割領域に対する運転者の視線の滞留時間を検出する。
　そして、潜在危険判定部３１は、各分割領域のうち、エッジ部の含有量が所定の閾値未満であり（顕著性小）、かつ、視線の滞留時間が所定の閾値を上回る分割領域を示す注意予測マップを生成する。顕著性が「小」の分割領域であり、その分割領域に対する運転者の視線の滞留時間が所定の閾値を上回るということは、運転者が、見落とし易い領域を注意することなく見ている状態を意味する。
　このため、情報提示制御部３２は、顕著性が「小」であり、かつ、視線の滞留時間が所定の閾値を上回る分割領域に対して注意を喚起する運転支援情報を、情報提示部５の画像提示画面に提示する。これにより、予測誤差が所定の閾値未満であり、かつ、視線の滞留時間が所定の閾値を上回る分割領域に対して運転者の注意を喚起でき、安全を確保できる等、上述の各実施の形態の同様の効果を得ることができる。
　以上、本開示の実施の形態を説明したが、これらの実施の形態は一例であり、発明の範囲を限定することは意図していない。これら実施の形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施の形態及びその変形は、発明の範囲や要旨に含まれると同様に、請求の範囲に記載された発明とその均等の範囲に含まれるものである。
　１　運転支援装置
　２　検出デバイス
　３　制御部
　４　記憶部
　５　情報提示部
　６　車両制御部
　２１　車速センサ
　２２　ＧＰＳセンサ
　２３　車外カメラ部
　２４　ドライバカメラ部
　２５　マイクロホン部
　３１　潜在危険判定部
　３２　情報提示制御部

Claims (14)

  1. 　移動体に設けられた外部カメラ部により撮像された、移動体の少なくとも進行方向の撮像画像に含まれる所定の特徴量に基づいて、前記撮像画像の全撮像領域のうち、人間が無意識に認識する潜在認識領域を検出する検出部と、
    　検出された前記潜在認識領域に応じて推定される情報提示部上の領域に、所定の運転支援情報を提示する情報提示制御部と、
    　を有する運転支援装置。
  2. 　前記検出部は、前記全撮像領域を複数に分割した各分割領域のうち、所定の閾値を超える所定の特徴量を有する前記分割領域を前記潜在認識領域として検出すること
    　を特徴とする請求項１に記載の運転支援装置。
  3. 　前記情報提示制御部は、前記特徴量が前記閾値未満となっている間、及び、前記特徴量が前記閾値を超えている間に分けて、前記運転支援情報の提示を行うこと
    　を特徴とする請求項２に記載の運転支援装置。
  4. 　前記情報提示制御部は、前記特徴量が前記閾値を超えている間、前記運転支援情報の提示を行い、又は、前記特徴量が前記閾値を超えてから一定期間、前記運転支援情報の提示を行うこと
    　を特徴とする請求項２又は請求項３に記載の運転支援装置。
  5. 　前記検出部は、前記外部カメラ部により過去に撮像された過去画像から予測される予測画像の各画素と、前記予測画像の時刻に、前記外部カメラ部により実際に撮像された実撮像画像の各画素との差分である予測誤差を前記分割領域毎に検出し、所定の閾値を超える前記予測誤差を有する前記分割領域を、前記潜在認識領域として検出すること
    　を特徴とする請求項２から請求項４のうち、いずれか一項に記載の運転支援装置。
  6. 　前記検出部は、前記外部カメラ部により撮像された撮像画像から物体のエッジ部を検出し、前記分割領域のうち、前記エッジ部を含む割合が所定の閾値を超える分割領域を、前記潜在認識領域として検出すること
    　を特徴とする請求項２から請求項４のうち、いずれか一項に記載の運転支援装置。
  7. 　前記検出部は、前記外部カメラ部により過去に撮像された撮像画像から予測して生成した現在の撮像画像に相当する予測現在画像の各画素と、前記外部カメラ部により撮像された現在の撮像画像の各画素との差分を示す予測誤差を前記分割領域毎に検出すると共に、前記外部カメラ部により撮像された撮像画像から物体のエッジ部を含む分割領域を検出し、前記予測誤差が所定の閾値を超え、かつ、所定の閾値を超える前記エッジ部を含む前記分割領域を、前記潜在認識領域として検出すること
    　を特徴とする請求項２から請求項４のうち、いずれか一項に記載の運転支援装置。
  8. 　運転者の視線を検出する視線検出部を、さらに備え、
    　前記情報提示制御部は、前記視線検出部で検出された視線の滞留長が所定の滞留長以上の前記分割領域であり、かつ、前記閾値未満の予測誤差の前記分割領域に前記運転支援情報を提示すること
    　を特徴とする請求項５に記載の運転支援装置。
  9. 　運転者の視線を検出する視線検出部を、さらに備え、
    　前記情報提示制御部は、前記視線検出部で検出された視線の滞留長が所定の滞留長以上の前記分割領域であり、かつ、前記エッジ部を含む割合が所定の前記閾値未満の前記分割領域に前記運転支援情報を提示すること
    　を特徴とする請求項６に記載の運転支援装置。
  10. 　前記情報提示制御部は、検出された前記潜在認識領域に応じて、前記運転支援情報の提示の有無、提示位置、提示数又は種類の変更のうち、いずれか一つ又は複数の変更を行うこと、
    　と特徴とする請求項１から請求項９のうち、いずれか一項に記載の運転支援装置。
  11. 　前記移動体の移動速度を検出する移動速度検出部を、さらに備え、
    　前記情報提示制御部は、前記移動速度検出部で検出された前記移動体の移動速度が、所定の閾値以上の場合、及び、前記閾値未満の場合に応じて、提示する前記運転支援情報の少なくとも種類を変更すること
    　を特徴とする請求項１０に記載の運転支援装置。
  12. 　前記移動体の移動速度を検出する移動速度検出部と、
    　前記移動速度検出部により検出された前記移動体の移動速度に応じて、前記移動体の動作を制御する動作制御部とを、さらに備えること
    　を特徴とする請求項１から請求項１１のうち、いずれか一項に記載の運転支援装置。
  13. 　検出部が、移動体に設けられた外部カメラ部により撮像された、移動体の少なくとも進行方向の撮像画像に基づいて、前記撮像画像の全撮像領域のうち、人間が無意識に認識する潜在認識領域を検出する検出ステップと、
    　情報提示制御部が、検出された前記潜在認識領域に応じて推定される情報提示部上の領域に、所定の運転支援情報を提示する情報提示制御ステップと、
    　を有する運転支援方法。
  14. 　コンピュータを、
    　移動体に設けられた外部カメラ部により撮像された、移動体の少なくとも進行方向の撮像画像に基づいて、前記撮像画像の全撮像領域のうち、人間が無意識に認識する潜在認識領域を検出する検出部と、
    　検出された前記潜在認識領域に応じて推定される情報提示部上の領域に、所定の運転支援情報を提示する情報提示制御部として機能させること
    　を特徴とする運転支援プログラム。
PCT/JP2022/035540 2021-11-30 2022-09-22 運転支援装置、運転支援方法及び運転支援プログラム WO2023100450A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021195012A JP2023081235A (ja) 2021-11-30 2021-11-30 運転支援装置、運転支援方法及び運転支援プログラム
JP2021-195012 2021-11-30

Publications (1)

Publication Number Publication Date
WO2023100450A1 true WO2023100450A1 (ja) 2023-06-08

Family

ID=86612007

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/035540 WO2023100450A1 (ja) 2021-11-30 2022-09-22 運転支援装置、運転支援方法及び運転支援プログラム

Country Status (2)

Country Link
JP (1) JP2023081235A (ja)
WO (1) WO2023100450A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006231962A (ja) * 2005-02-22 2006-09-07 Toyota Motor Corp 車両用運転支援装置
JP2010205117A (ja) * 2009-03-05 2010-09-16 Nissan Motor Co Ltd 運転支援情報提供装置及び運転支援方法
WO2021132566A1 (ja) * 2019-12-26 2021-07-01 パナソニックＩｐマネジメント株式会社 表示制御装置、表示システム、表示制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006231962A (ja) * 2005-02-22 2006-09-07 Toyota Motor Corp 車両用運転支援装置
JP2010205117A (ja) * 2009-03-05 2010-09-16 Nissan Motor Co Ltd 運転支援情報提供装置及び運転支援方法
WO2021132566A1 (ja) * 2019-12-26 2021-07-01 パナソニックＩｐマネジメント株式会社 表示制御装置、表示システム、表示制御方法

Also Published As

Publication number Publication date
JP2023081235A (ja) 2023-06-09

Similar Documents

Publication Publication Date Title
US11609566B2 (en) Method and system for driving mode switching based on self-aware capability parameters in hybrid driving
US11813983B2 (en) Method and system for augmented alerting based on driver's state in hybrid driving
US10723358B2 (en) Method and system for driving mode switching based on driver's state in hybrid driving
US20200031339A1 (en) Driving assistant apparatus, driving assistant method, moving object, and program
US11050929B2 (en) Driver recorder, display control method and program
US11167752B2 (en) Driving assistant apparatus, driving assistant method, moving object, and program
US10752172B2 (en) System and method to control a vehicle interface for human perception optimization
JP7460870B2 (ja) 表示制御装置、表示システム、表示制御方法
CN108088458A (zh) 基于图像的公路导航路况显示的方法、装置、存储介质
US20180022357A1 (en) Driving recorder system
JP2012153256A (ja) 画像処理装置
US20160185290A1 (en) Navigation device, navigation method, and computer program product
JP2007286959A (ja) 運転支援装置
WO2023100450A1 (ja) 運転支援装置、運転支援方法及び運転支援プログラム
JP6631569B2 (ja) 運転状態判定装置、運転状態判定方法及び運転状態判定のためのプログラム
JP2006308507A (ja) 気遣い運転ガイド装置および気遣い運転ガイド方法
WO2020122057A1 (ja) 画像処理装置、画像処理方法および画像処理システム
WO2021157622A1 (ja) 評価装置、評価方法及び評価プログラム
JP2021154950A (ja) 評価装置、評価方法及び評価プログラム
JP4129421B2 (ja) 自車位置近傍の他車位置表示装置
US20200320896A1 (en) Information processing device, information processing method, and program
JP2009230506A (ja) 警告装置、警告システム及び警告方法
JP2009234449A (ja) 車両用警報装置
JP2021154951A (ja) 評価装置、評価方法及び評価プログラム
JP2020187406A (ja) 情報表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22900885

Country of ref document: EP

Kind code of ref document: A1