WO2019175922A1 - 運転支援装置、運転支援方法、及び運転支援プログラム - Google Patents

運転支援装置、運転支援方法、及び運転支援プログラム Download PDF

Info

Publication number
WO2019175922A1
WO2019175922A1 PCT/JP2018/009410 JP2018009410W WO2019175922A1 WO 2019175922 A1 WO2019175922 A1 WO 2019175922A1 JP 2018009410 W JP2018009410 W JP 2018009410W WO 2019175922 A1 WO2019175922 A1 WO 2019175922A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
stimulus
driver
attraction
vehicle
Prior art date
Application number
PCT/JP2018/009410
Other languages
English (en)
French (fr)
Inventor
淳平 羽藤
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to CN201880090778.2A priority Critical patent/CN111886154A/zh
Priority to PCT/JP2018/009410 priority patent/WO2019175922A1/ja
Priority to JP2020505560A priority patent/JP6739681B2/ja
Priority to DE112018007056.5T priority patent/DE112018007056T5/de
Publication of WO2019175922A1 publication Critical patent/WO2019175922A1/ja
Priority to US17/012,804 priority patent/US11386585B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/10—
    • B60K35/28—
    • B60K35/285—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • B60K2360/149—
    • B60K2360/177—
    • B60K2360/178—
    • B60K35/22—
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Definitions

  • the present invention relates to a driving support device, a driving support method, and a driving support method for presenting a driver with a driver's eye-catching stimulus image that appears to move from a position farther than a target existing in the vicinity of the vehicle toward the target position. It relates to driving support program.
  • the driver's line of sight is guided by using a stimulus (for example, a luminance image) that is difficult to distinguish from the attracting target existing around the vehicle, so that the driver is not aware of the line of sight.
  • a stimulus for example, a luminance image
  • Patent Document 2 proposes a device that performs line-of-sight guidance.
  • “attractive” means attracting a person's line of sight.
  • “Attractiveness” indicates the degree of attention of a person and is also called “attention”.
  • “high attraction” means that the ability to attract a person's line of sight is high, and it is also said to be “attracting attention”.
  • JP 2014-099105 A for example, paragraphs 0039 and 0058
  • the visual line guidance images in Patent Documents 1 and 2 may not provide a visual stimulus with an appropriate strength to the driver.
  • the present invention has been made in order to solve the above-described problems, and an object thereof is to induce the driver's line of sight to an object by giving a stimulus of an appropriate strength to the driver of the vehicle by an attractive stimulus image. It is possible to provide a driving support device, a driving support method, and a driving support program that can prevent a decrease in consciousness that a driver can perceive an object with his or her own attention.
  • a driving support device is a device that supports driving of a driver of a vehicle, and from the peripheral information acquired by a peripheral detection unit that captures or detects a real object existing in the vicinity of the vehicle, An object determination unit that determines an object that is present in the vicinity and is an actual object that the driver should be aware of, and an attractive stimulus that appears to move from a position far from the object toward a position where the object exists
  • An eye-catching stimulus image generation unit that generates an image
  • a display control unit that displays the eye-catching stimulus image on a display that displays an image superimposed on the real object
  • a body information acquisition unit that acquires body information of the driver Information is received, a value indicating a physical reaction to the visual stimulus felt by the driver is calculated from the physical information, and based on the value indicating the physical reaction, the attraction stimulus image is converted to the dry stimulus image.
  • having a correction unit for correcting the display parameter determines the display state of the attractiveness stimulation image to change the degree of visual stimuli to be applied to.
  • FIG. 1 It is a figure which shows the hardware constitutions of the driving assistance apparatus which concerns on embodiment of this invention. It is a figure which shows an example of the state which the driver is using the driving assistance apparatus which concerns on embodiment. It is a figure which shows the case where the indicator which displays the attracting stimulus image produced
  • FIG. 1 It is a flowchart which shows the creation process of the attraction stimulus frame performed by the attraction stimulus image generation part of the driving assistance device which concerns on embodiment. It is a figure which shows the state in which the pedestrian as a target object is walking the left sidewalk, and the vehicle is drive
  • (A)-(e) is a figure which shows the example of the attracting stimulus image displayed by the driving assistance device which concerns on embodiment.
  • (A)-(e) is a figure which shows the other example of the attracting stimulus image displayed by the driving assistance device which concerns on embodiment.
  • (A)-(e) is a figure which shows the other example of the attracting stimulus image displayed by the driving assistance device which concerns on embodiment.
  • FIG. 1 is a diagram showing a hardware configuration of a driving support apparatus 100 according to an embodiment of the present invention.
  • the driving support device 100 is a device that can implement the driving support method according to the embodiment.
  • the driving support apparatus 100 includes a control unit 101.
  • the driving support device 100 can perform gaze guidance for allowing the driver of the vehicle 10 (that is, the own vehicle) to perceive an object that is a real object around the vehicle 10, and the driver can take care of his / her attention.
  • This is a device that visually presents a driver with an eye-catching stimulus image for guiding the driver's line of sight so as to prevent a decrease in consciousness of perceiving an object with force.
  • the driving support device 100 provides a visual indication that the attraction stimulus image gives to the driver of the vehicle 10 according to values indicating the body reaction of the driver of the vehicle 10 (for example, “body reaction probability” and “body reaction level” described later). It is possible to correct the strength of a simple stimulus (also referred to as “visual stimulus”) to an appropriate strength.
  • the control unit 101 includes a processor 102 as an information processing unit and a memory 103 as a storage unit that stores necessary data and programs.
  • the processor 102 can operate the driving support apparatus 100 by executing a driving support program stored in the memory 103.
  • the processing of the image processor 104 may be executed by the processor 102.
  • the control unit 101 and the image processor 104 may be part of a computer.
  • the driving support apparatus 100 includes an image processing processor 104 as a display control unit, a camera 105 as a periphery detection unit that acquires peripheral information of the vehicle 10, and a display 107 that presents an image to the driver.
  • the peripheral information is, for example, information in front of the vehicle 10 and is an image in front of the vehicle 10 captured by the camera 105 (hereinafter also referred to as “front image”).
  • the camera 105 is a camera for photographing outside the vehicle, captures an image including a real object outside the vehicle 10 (including moving images), and transfers the acquired image data in a format that can be processed by the processor 102. Further, the image data may include distance data indicating the distance from the vehicle 10 to the real object. Alternatively, the processor 102 may calculate the distance data by analyzing the image data. In addition to the camera 105 or instead of the camera 105, the periphery detection unit may include a sensor such as a radar that detects a real object around the vehicle 10.
  • the display 107 is a display device that displays an image frame generated by the processor 102 and the image processor 104 so that the driver of the vehicle 10 can visually recognize the image frame.
  • the driver of the vehicle 10 can visually recognize the image frame (including the attracting stimulus image) displayed on the display unit 107 so as to overlap the actual scenery perceived through the windshield (that is, the windshield) of the vehicle 10.
  • the driving support apparatus 100 includes a viewpoint sensor 106 that detects the viewpoint position or line of sight of the driver in the vehicle 10, and a biological sensor 108 that detects the biological state of the driver.
  • the viewpoint sensor 106 and the biological sensor 108 constitute a physical information acquisition unit 109 that acquires physical information of the driver.
  • the “viewpoint” is a point where the line of sight toward the object is aligned.
  • the “line of sight” is a line connecting the center of the eye and the object being viewed.
  • the biosensor 108 includes one or more sensors that measure a body reaction (ie, reflexive body behavior) to a visual stimulus felt by the driver.
  • the biosensor 108 may be an aggregate of a plurality of types of sensors.
  • various body reactions appear in the person's body.
  • the body reaction appears on the face, for example.
  • the body reaction appears according to a psychological state such as fear or surprise based on the visually recognized situation.
  • the body reaction appearing on the face is, for example, a change in facial expression such as eyebrows or eyelids rising, eyes wide open, mouth spreading sideways.
  • the body reaction result from the flexor reflex, which is a reflex action that occurs regardless of the will to protect the body, and the sympathetic excitement that occurs when an object that moves so as to approach the vehicle 10 is seen.
  • the biological sensor 108 detects such a body reaction and measures the degree of the body reaction.
  • the viewpoint sensor 106 and the biological sensor 108 are illustrated as separate configurations, but the viewpoint sensor 106 may be a part of the biological sensor 108.
  • the body reaction detected or measured by the biosensor 108 is not limited to the above example.
  • the driving support apparatus 100 includes a CAN (Controller Area Network) interface 110.
  • the CAN interface 110 is an interface for connecting the driving support device 100 to a CAN network that exchanges data between various devices of the vehicle 10.
  • the driving support device 100 acquires various driving data related to the driving behavior of the driver via the CAN interface 110.
  • the various operation data indicates, for example, the degree of depression of the brake pedal, the degree of depression of the accelerator, the rotation state of the steering wheel, the state of the transmission gear, and the like. If the driver recognizes an obstacle such as a person, another vehicle, or an animal that may collide in front of the vehicle 10, the driver weakens the accelerator pedal or releases the foot, steps on the brake, or holds the handle.
  • the physical information acquisition unit 109 may include a CAN interface 110 in addition to the biological sensor 108 and the viewpoint sensor 106. That is, the body data as the body information acquired by the body information acquisition unit 109 may include information related to the driver's driving behavior acquired through the CAN interface 110, that is, behavior data.
  • FIG. 2 is a diagram illustrating an example of a state in which the driver 30 of the vehicle 10 is using the driving support device 100 according to the embodiment.
  • FIG. 2 shows a state where the driver 30 is driving the vehicle 10 in the driver seat 21.
  • the driver 30 views the front of the vehicle 10 through the windshield 22, and the driver 30 can see the road 40 and a real object (a pedestrian as the object 50 in FIG. 2).
  • the camera 105 that captures the front of the vehicle 10 is installed, for example, near the upper center of the windshield 22. Normally, the camera 105 is arranged so as to capture an image close to the scenery that the driver 30 is looking through the windshield 22.
  • the viewpoint sensor 106 is installed at a position where the face of the driver 30, particularly the eyes can be detected.
  • the viewpoint sensor 106 may be installed on the handle 23, the instrument panel 24, and the like, for example.
  • the processor 102, the memory 103, the image processor 104, and the CAN interface 110 illustrated in FIG. 1 may be set inside the dashboard 25 or the like.
  • the biological sensor 108 is disposed at an appropriate location on the vehicle 10 according to the detection target of the sensor.
  • the biological sensor 108 is a facial expression sensor that captures facial expressions
  • the biological sensor 108 is disposed at the same position as the viewpoint sensor 106.
  • the biosensor 108 is a sensor that measures the sweat amount, heart rate, blood pressure value, and the like of the driver 30, the biosensor 108 includes, for example, the handle 23 that the driver 30 contacts, the clothes that the driver 30 wears, It is arranged on the seat surface or back plate portion of the driver's seat 21 where the driver 30 sits.
  • FIGS. 3 and 4. 2 to 4 exemplify the case where the vehicle 10 has a left handle and travels forward in the right lane of the road 40, the structure of the vehicle 10, the traveling lane, and the road 40 are illustrated.
  • the shape is not limited to the illustrated example.
  • FIG. 3 is a diagram illustrating a case where the display device that displays the attraction stimulating image 60 generated by the driving support apparatus 100 according to the embodiment is a projector 107a of HUD (Head Up Display).
  • the projector 107 a is arranged on the dashboard 25.
  • An image frame (including the attraction stimulus image 60) projected by the projector 107a is projected on a projection plane installed on the entire windshield 22 so that the driver 30 can visually recognize the image frame.
  • the driver 30 can visually recognize the image frame projected by the projector 107a so as to overlap the scenery (including the real object) viewed through the windshield 22.
  • FIG. 4 shows an AR (Augmented Reality) glass 107b (for example, glasses for augmented reality images) of an HMD (Head Mounted Display) as a display that displays the attraction stimulating image 60 generated by the driving support apparatus 100 according to the embodiment. It is a figure which shows the case where it is.
  • the driver 30 can wear the AR glass 107 b and visually recognize the image frame (including the attraction stimulating image 60). The driver 30 can visually recognize the image frame projected by the AR glass 107b over the scenery (including the real object) viewed through the windshield 22.
  • the AR sensor 107 and the whole or a part of the biological sensor 108 may be provided in the AR glass 107b.
  • FIG. 5 is a functional block diagram showing the driving support apparatus 100 according to the embodiment.
  • the driving support device 100 includes an object determination unit 111, an attraction stimulation image generation unit 112, a display control unit 113, a body reaction measurement unit 114, and an attraction stimulation parameter correction unit 115.
  • the body reaction measurement unit 114 and the attraction stimulus parameter correction unit 115 constitute a correction unit 116 that corrects (that is, adjusts) the intensity of the visual stimulus given to the driver by the attraction stimulus image.
  • the body reaction measurement unit 114 performs a body reaction based on the result of measuring one or more changes in the facial expression, muscle tone, flexor reflex, heart rate, blood pressure value, line of sight, and driving behavior of the driver 30.
  • the indicated value can be calculated.
  • the driving support device 100 displays the attracting stimulus image 60 on the display 107 and gradually guides the line of sight of the driver 30 to the target by the attracting stimulus image 60.
  • the driving support device 100 provides visual stimulation that the attraction stimulus image 60 gives to the driver of the vehicle 10 according to values indicating the body reaction of the driver 30 of the vehicle 10 (for example, “body reaction probability” and “body reaction level”). The strength of is corrected to an appropriate strength.
  • the value indicating the body reaction of the driver 30 includes “body reaction probability” and “body reaction level”.
  • the object determination unit 111 is a real object that exists in the vicinity of the vehicle 10 and that the driver 30 should pay attention to from the peripheral information acquired by the camera 105 as a peripheral detection unit that captures or detects a real object that exists in the vicinity of the vehicle 10.
  • the object 50 which is a body is determined.
  • the target object 50 is a real object (in particular, a moving object) that exists in the vicinity of the vehicle and should be noted by the driver 30.
  • the target object 50 is a real object that the vehicle 10 should avoid a collision, such as a person, another vehicle, or an animal.
  • the object 50 is not limited to a moving object. However, the object determination unit 111 may select only the object that moves the object 50.
  • the attraction stimulating image generating unit 112 generates an attraction stimulating image 60 that appears to move from a position far from the object 50 toward a position where the object 50 exists.
  • the display control unit 113 causes the display 107 to display an attractive stimulus image 60 that is an image that appears to overlap the target object 50 that is a real object.
  • the body reaction measurement unit 114 receives body data (for example, various sensor data) from the body information acquisition unit 109, and uses this body information once to determine whether there is a body reaction to the visual stimulus that the driver 30 feels at the present time.
  • body data for example, various sensor data
  • the above is detected, and the probability that there is a physical response to a visual stimulus (that is, the physical reaction probability) is calculated. If it is equal to or greater than the threshold value, a process of calculating the degree of the body reaction (that is, the body reaction level) is performed.
  • the body data when the body data is a sweating amount, a heart rate, or a blood pressure value, it is determined that there is a body reaction when the value indicated by the body reaction is equal to or greater than a threshold value.
  • a threshold value For example, when the body data is facial expression data, changes in facial expression data (for example, how to open the mouth, how to open the eyes, movement of the eyelids or eyebrows) are digitized, and this number is greater than or equal to the threshold value It is determined that there is a physical reaction.
  • the body data is line-of-sight data
  • the movement of the line of sight indicated by the line-of-sight data is digitized, and it is determined that there is a body reaction when this numeric value is equal to or greater than a threshold value.
  • the body data is driving behavior data
  • the magnitude of the driver's movement and the speed of movement indicated by the driving behavior data are quantified. It is determined.
  • the attraction stimulus parameter correction unit 115 is a value indicating the body reaction calculated by the body reaction measurement unit 114 (for example, body reaction probability and body reaction level), the object determined by the object determination unit 111, and the attraction stimulus. Based on the attracting stimulus image generated by the image generating unit 112, it is determined which physical object of the driver 30 is caused by which object or which attracting stimulus image 60, and based on the result of this determination, Next, processing for correcting (that is, adjusting) display parameters of the attracting stimulus image 60 to be generated is performed.
  • FIG. 6 is a flowchart showing the operation of the object determination unit 111. A series of processing shown in FIG. 6 is repeatedly executed at predetermined time intervals while the vehicle 10 is traveling, for example.
  • the object determination unit 111 acquires, for example, peripheral information (that is, a front image) indicating a front image (including a real object) of the vehicle 10 captured by the camera 105.
  • the object determination unit 111 performs a process of extracting a real object that can be an object from the front image.
  • the extracted real object is a moving real object such as a person, another vehicle, or an animal.
  • the means for extracting a real object from the front image can be realized by applying a known technique such as a computer vision technique related to a technique for acquiring real-world information and a technique for recognizing an object.
  • a known technique such as a computer vision technique related to a technique for acquiring real-world information and a technique for recognizing an object.
  • one of the plurality of real objects having a high priority is used to reduce the processing load of the control unit 101 of the driving support apparatus 100 and to reduce the load on the driver 30.
  • Only one or several real objects are handled as the target object 50 as a target for generating the attracting stimulus image 60 (that is, narrowing-down with only one or more real objects out of a plurality of real objects as the target object 50 is performed. To do).
  • the object 50 satisfies, for example, one of the following first to fifth conditions.
  • First condition A real object whose collision probability with the vehicle 10 is equal to or greater than a predetermined value.
  • Second condition A real object whose distance from the vehicle 10 is equal to or less than a predetermined value.
  • Third condition An actual object that is moving toward the vehicle 10 and whose moving speed is equal to or higher than a predetermined value.
  • Full condition An actual object determined from the detection result of the viewpoint sensor 106 that the driver 30 has not yet perceived.
  • Fifth condition A real object satisfying a combination of two or more of the first to fourth conditions.
  • Priority may be set for the first to fourth conditions. Furthermore, it may be determined that the priority of the moving body having a large number of satisfied conditions among the first to fourth conditions is high. Moreover, you may set a priority in order of a person, another vehicle, and an animal, for example. Furthermore, a predetermined number of real objects having higher priority may be selected from the real objects that satisfy the predetermined conditions as the objects.
  • the information regarding the target object 50 extracted in the processing step S102 includes, for example, target area information indicating an area occupied by the target object 50 in the image taken by the camera 105, and a target object indicating the distance from the vehicle 10 to the target object 50. It includes distance information and object gravity center coordinate information indicating the gravity center position of the object. There may be a plurality of objects 50.
  • the target object determination unit 111 determines whether or not each target object 50 extracted in processing step S102 has been subjected to the processing steps S104 to S107. That is, the object determination unit 111 determines whether the object 50 is a processed object or an unprocessed object when a plurality of objects 50 are processed in order. The object determination unit 111 advances the process to processing step S108 when the object 50 is a processed object, and proceeds to process step S104 when the object 50 is an unprocessed object. Proceed to
  • the object determination unit 111 determines whether or not the current object that is the object 50 to be processed matches the previous object that is the object extracted before this time. judge. At this time, the information related to the previous object is acquired from the object data recorded in the memory 103 in the processing step S107 related to the previous object. If there is no previous target object that matches the current target object, the target object determination unit 111 proceeds to the process step S105. If there is a previous target object that matches the current target object, the target object determination unit 111 performs the process. Proceed to
  • the object determination unit 111 performs a process of associating a new identifier for uniquely identifying the new object that is the current object with the current object.
  • the object determination unit 111 performs a process of associating an identifier for uniquely identifying the current object (that is, an identifier of a matching previous object) with the current object.
  • the object determination unit 111 records object data indicating the object 50 in the memory 103.
  • the object data includes, for example, the identifier associated in the processing step S105 or S106, image data in front of the vehicle 10 including the object 50, distance data indicating the distance to the object 50, and an area occupied by the object 50. , The barycentric coordinates of the object 50, the priority of the object 50, and the like.
  • the object data includes, for example, various flag data required for other processing or various parameters required for other processing.
  • the flag data may be, for example, a pre-viewed flag indicating whether or not there is object data (initial value is OFF), a display completion flag indicating whether or not an attracting stimulus image is displayed (initial value is OFF), or a physical reaction of the driver 30. There is a flag (initial value is off) indicating whether or not the indicated value exceeds a threshold value.
  • the object determination unit 111 advances the process to the process step S108 when the process for all the objects 50 detected on the image acquired in the process step S101 is completed.
  • the object determination unit 111 determines whether there is a previous object that does not match the current object among the previous objects recorded. If yes (YES in S108), object determination unit 111 advances the process to process step S110, and if not (NO in S108), returns the process to process step S101.
  • the object determination unit 111 determines whether or not the condition for deleting the object data, which is data related to the object, and the corresponding attractive stimulus plan is satisfied. If the condition is not satisfied (NO in S110), target object determination unit 111 returns the process to process step S108, and continues the process related to the next attraction stimulating image. Moreover, the object determination part 111 advances a process to process step S111, when satisfy
  • the condition for deleting the data is, for example, a case where an elapsed time after the various flags are turned on becomes a predetermined time or more. However, the condition for deleting data is not limited to this.
  • processing step S111 the object determination unit 111 deletes the corresponding history from the attracting stimulus history data managing the history of the attracting stimulus image 60 presented to the driver 30, and then advances the processing to processing step S109.
  • the attracting stimulus history data is recorded in the memory 103, and the generation thereof is performed by the internal processing of the attracting stimulus image generating unit 112.
  • the target object determination unit 111 deletes from the memory 103 the previous target object that does not match the current target object, and removes unnecessary data related to the deleted previous target object from the memory 103. To do.
  • the object determination unit 111 advances the processing to processing step S108 after processing step S109.
  • the object determination unit 111 may not delete the processing step S109. This is because the extraction of the object 50 in the processing step S102 may not be performed accurately due to noise or processing method restrictions.
  • the object determination unit 111 may delete unnecessary data from the memory 103 when the determination of YES in processing step S ⁇ b> 108 has been performed a predetermined number of times or more.
  • the object determination unit 111 may delete unnecessary data from the memory 103 after a predetermined time has elapsed after the determination of YES in processing step S108.
  • FIG. 7 is a flowchart showing the operation of the attracting stimulus image generation unit 112.
  • the attraction stimulation image generation unit 112 is a plan for generating an attraction stimulation image for each object 50 based on the object data regarding the object 50 extracted by the object determination unit 111.
  • a sighting stimulus plan is generated or corrected (i.e., changed), and a sighting stimulus frame including the sighting stimulus image is generated.
  • the attraction stimulus image generation unit 112 determines whether there is any object data recorded in the memory 103 that has not been processed by the attraction stimulus image generation unit 112, that is, an unprocessed object. It is determined whether there is. If there is an unprocessed object, the attraction stimulating image generating unit 112 proceeds to the process step S202, and if there is no unprocessed object, the process proceeds to the process step S210.
  • the attraction stimulus image generation unit 112 determines whether or not the driver 30 is looking at the object 50. This determination is based on, for example, whether or not the viewpoint overlaps the object area using the viewpoint position and line of sight of the driver 30 acquired by the viewpoint sensor 106 at the time closest to the time when the front image was captured by the camera 105. Can be done. In this case, it is assumed that the parameters of the viewpoint sensor 106 and the parameters of the camera 105 are appropriately calibrated in advance.
  • the attraction stimulus image generation unit 112 may determine that the driver 30 is looking at the object 50 when the state where the viewpoint overlaps the object region is a predetermined time or more. In this case, the time during which the driver 30 was looking at the object 50 (that is, the duration) is also recorded as the object data. In addition, the attraction stimulus image generation unit 112 may determine that the driver 30 is looking at the object 50 when the pre-viewed flag recorded as the object data is turned on.
  • the attraction stimulating image generation unit 112 proceeds to the process step S203, and when it is determined that the driver 50 is not looking at the object 50, the process is performed at the process step S205. Proceed to
  • the attraction stimulus image generation unit 112 indicates that the object data of the object 50 that the driver 30 is already viewing is related to the object 50 that has already been visually recognized. And the process proceeds to process step S204. However, even if it is determined that the object has been viewed once, the degree of recognition of the object by the driver 30 decreases after a period of time when the object is not viewed. Therefore, the attracting stimulus image generation unit 112 sets the display completion flag when the elapsed time from the determination that the user is watching to the next determination that the user is watching is longer than a predetermined time. You may make it return to OFF and return a previously-viewed flag to OFF.
  • the sighting stimulus image generation unit 112 deletes the sighting stimulus plan corresponding to the object 50 whose on-sight flag is turned on from the memory 103 so as not to generate an sighting stimulus image for the object 50, and performs processing. Is returned to the processing step S201.
  • the attraction stimulus image generation unit 112 determines whether or not the display of the attraction stimulus image 60 on the object 50 has already been completed. When the display completion flag in the corresponding object data is on, the attraction stimulation image generation unit 112 determines that the display of the attraction stimulation image 60 is complete, and when the display completion flag is off. Determines that the display of the attracting stimulus image 60 is incomplete. The attracting stimulus image generation unit 112 returns the process to the processing step S201 when it is completed (YES in S205), and advances the process to the processing step S206 when it is not completed (NO in S205).
  • the attraction stimulus image generation unit 112 determines whether an attraction stimulus plan corresponding to the object 50 has already been generated. The attraction stimulus image generation unit 112 proceeds to the processing step S207 when the attraction stimulation plan has not been generated, and proceeds to the processing step S208 when the attraction stimulation plan has already been generated.
  • the attraction stimulus image generation unit 112 performs a process of creating a new attraction stimulus plan for the object 50 for which the attraction stimulus plan has not been generated.
  • FIG. 8 is a flowchart showing a process for creating a new enticing stimulus plan in process step S207.
  • the attraction stimulus image generation unit 112 acquires the coordinates of the vehicle 10 that the driver 30 drives.
  • the coordinates of the vehicle 10 may be a global coordinate system using GPS (Global Positioning System) or the like, but may be a position in a coordinate system based on the position of the driving support device 100.
  • GPS Global Positioning System
  • a coordinate system using the installation position of the camera 105 as reference coordinates (that is, the origin) may be used.
  • the position of the center of gravity of the vehicle 10 may be used as the reference coordinates, or the center position of the front bumper may be used as the reference coordinates.
  • the coordinates of the center of gravity of the vehicle 10 or the coordinates of the center position of the front bumper at a position where the vehicle 10 is expected to exist at a time point after a predetermined time has elapsed from the current time (that is, a future time) are used as a reference. It is good also as a coordinate.
  • the attraction stimulating image generating unit 112 performs a process of converting the coordinates of the object into coordinates in the coordinate system with the driving support device 100 as a reference position.
  • the coordinate system with the driving support device 100 as a reference position is, for example, a coordinate system with the installation position of the camera 105 as the origin.
  • the coordinates of the object 50 can be expressed by coordinates in the same coordinate system as the coordinates of the vehicle 10.
  • the attraction stimulus image generation unit 112 creates an attraction stimulus plan that is a plan of how to present the attraction stimulus image to the driver 30.
  • FIG. 9 is an explanatory diagram showing a creation process of an attraction stimulation plan executed by the attraction stimulation image generation unit 112.
  • FIG. 9 shows an XYZ coordinate system.
  • the X axis is a coordinate axis that is parallel to the road surface and faces the traveling direction of the vehicle 10.
  • the Y axis is a coordinate axis that is parallel to the road surface and faces the vehicle 10 in the vehicle width direction.
  • the Z axis is a coordinate axis that is perpendicular to the road surface and faces the vehicle 10 in the vehicle height direction.
  • the coordinates 50 a are object coordinates that are the coordinates of the object 50
  • the coordinates 10 a are the coordinates of the vehicle 10.
  • the coordinates 10a are coordinates at which the vehicle 10 is predicted to exist at a time (T + T0) when, for example, a predetermined time T has elapsed from the generation time T0 of the attracting stimulus image.
  • the coordinate 60a is a coordinate indicating the initial position where the attracting stimulus image is drawn.
  • the coordinate 60a is a coordinate on a plane that includes a half line from the coordinate 10a of the vehicle 10 to the coordinate 50a of the object 50 and is perpendicular to the ground (that is, the road surface).
  • the height of the coordinate 60a (that is, the position in the Z-axis direction) is set to be the same as the position of the coordinate 50a in the Z-axis direction, for example.
  • the coordinate 60a reaches the coordinate 50a when moving at the moving speed S toward the coordinate 50a for the moving time T1.
  • the coordinate 60a is located on the opposite side of the coordinate 10a with respect to the coordinate 50a.
  • the coordinates 60a are initial coordinates of the attracting stimulus image.
  • the attracting stimulus image is presented as a visual stimulus image that moves from the coordinate 60a toward the object 50 at the moving speed S over the moving time T1.
  • the attracting stimulus image is presented as a visual stimulus image in which the attracting stimulus image is superimposed on the target object 50 during the superimposition time T ⁇ b> 2 after reaching the target object 50.
  • the moving speed S, the moving time T1, and the superposition time T2 may be fixed values that are determined in advance, or may be variable values that change according to the situation.
  • the moving speed S is not less than the lowest speed (lower limit speed) that can be perceived as movement in the peripheral visual field of the person and less than the highest speed (upper limit speed), so that the driver 30 does not point the line of sight near the object. Even at times, the movement can be perceived by the peripheral vision of the driver 30.
  • the superimposition on the object 50 can be completed before the driver 30 perceives the movement of the attracting stimulus image itself in the central visual field. In this case, it is not possible to present an excessively large difference between the stimulus that the attracting stimulus image gives to the driver 30 and the stimulus that the object 50 gives to the driver 30.
  • the display parameters for example, moving speed S, moving time T1, and superposition time T2
  • the display parameters are weighted according to the distance between the viewpoint position of the driver 30 and the coordinates of the object 50 at each time point. You may do it. For example, weighting may be performed so as to give a positive correlation between the distance to the object 50 and the moving speed S, or between the distance to the object 50 and the moving time T1.
  • FIG. 10 is an explanatory diagram showing the viewpoint vector and the weight value for each space division area on the virtual plane 70 parallel to the YZ plane arranged in front of the driver 30.
  • the plane 70 is perpendicular to the plane 70 when the viewpoint vector of the driver 30 passes the point 71.
  • Various methods can be adopted as a method for dividing the space.
  • a plurality of ellipses having a horizontal radius longer than a vertical radius around a point 71 are concentric. These are set and divided, and are divided by parallel lines and vertical lines passing through the points 71.
  • the weight value described in the area including the point 73 where the line segment connecting the coordinates of the object 50 and the eye position of the driver 30 intersects the plane 70 is used for weighting calculation when calculating the display parameter.
  • the weight value is 1.2, and the values of the moving speed S and the moving time T1 are changed according to the weight values (for example, in proportion to the weight values).
  • the weight value may be determined in accordance with the characteristics of the driver 30.
  • the display parameter changes depending on the physical condition or the like even for each individual, a biological sensor is provided, and the weight value may be changed according to the state of the driver 30 detected based on the detection result of the biological sensor. Good.
  • the speed limit is a parameter when viewed from the viewpoint of the driver 30, and when obtaining these parameters, the coordinate system is once converted to a coordinate system limited to the viewpoint coordinates of the driver 30. May be.
  • the viewpoint coordinates of the driver 30 may be converted using data acquired from the viewpoint sensor 106 and the relative positions of the viewpoint sensor 106 and the camera 105.
  • the attracting stimulus image may be a minimum rectangular figure including the object 50, a figure obtained by emphasizing the edges of the object, a figure generated by adjusting colors such as luminance of the object, and the like.
  • the attracting stimulus image is a minimum rectangular figure including the object, or a color such as luminance with respect to the image area surrounded by the edge when the edge of the object is translated to the initial coordinates of the attracting stimulus image. It may be a figure generated by adjusting.
  • the orientation of the graphic displayed as the attracting stimulus image is desirably set so as to be parallel to the surface of the object 50.
  • the orientation of the object 50 may be set so as to be perpendicular to a vector from the initial coordinates of the attracting stimulus image to the coordinates of the vehicle 10.
  • the generation time T0, the initial coordinates of the attractive stimulus image, the moving speed S and the moving time T1 when the attractive stimulus image moves toward the moving object, and the attractive stimulus image are set.
  • Various parameters for determining the superimposition time T2 to be superimposed on the object, the content type of the attracting stimulus image, and the content of the attracting stimulus are included.
  • the processing step S207 is completed when the generation of the attracting stimulus plan of FIG. 8 is completed, and the attracting stimulus image generating unit 112 advances the processing to the processing step S209 of FIG.
  • the attraction stimulus image generation unit 112 performs an attraction stimulus image correction process for the target object 50 for which the attraction stimulus plan has already been generated.
  • the processing step S208 since the attracting stimulus plan has already been generated, the contents of the attracting stimulus plan are corrected according to the current situation.
  • FIG. 11 is a flowchart showing the processing step S208 which is a correction process for the existing attraction stimulation plan executed by the attraction stimulation image generation unit 112.
  • Processing step S401 is the same processing as processing step S301 in FIG.
  • Processing step S402 is the same processing as processing step S302 of FIG.
  • the attraction stimulus image generation unit 112 determines whether or not there is a remaining time for the movement time T ⁇ b> 1 for the attraction stimulus image to move toward the object 50. Specifically, when the current time is T, the attracting stimulus image generation unit 112 If the condition “T ⁇ T0 ⁇ T1” is satisfied, it is determined that there is a remaining time for the travel time T1 (YES in S403), and the process proceeds to process step S405. Otherwise, the remaining time for the travel time T1 is determined. It is determined that there is no time (NO in S403), and the process proceeds to process step S404.
  • processing step S ⁇ b> 404 the attracting stimulus image has already been superimposed on the object 50.
  • the attraction stimulus image generation unit 112 determines whether or not there is a remaining time of the superposition time T2 for superimposing the attraction stimulus image on the object 50. Specifically, when the current time is T, the attracting stimulus image generation unit 112 If the condition “T ⁇ T0 ⁇ T1 + T2” is satisfied, it is determined that there is a remaining time of superimposition time T2 (YES in S404), and the process proceeds to processing step S407. Otherwise, the remaining time of superimposition time T2 is determined. It is determined that there is no time (NO in S404), and the process proceeds to process step S409.
  • the attraction stimulating image is in a state of moving toward the object 50 of the attraction stimulating image.
  • the attracting stimulus image generation unit 112 calculates the coordinates of the attracting stimulus image, which is the coordinate at which the present attracting stimulus image should exist.
  • the method of calculating the coordinates of the attracting stimulus image is basically the same as the method of calculating the initial coordinates of the attracting stimulus image. However, in the calculation, “T1” when T is the current time instead of the movement time T1. -(T-T0) "is used. Further, as the coordinates of the vehicle 10, the coordinates used when the initial coordinates of the attracting stimulus image are obtained may be used as they are without recalculating the coordinates based on the current time. After calculating the coordinates of the attracting stimulus image, the attracting stimulus image generating unit 112 advances the process to processing step S408.
  • processing step S407 the attracting stimulus image is in a state of being superimposed on the object of the attracting stimulus image.
  • the attracting stimulus image generation unit 112 calculates the coordinates of the attracting stimulus image, which is the coordinate at which the present attracting stimulus image should exist.
  • processing step S407 unlike the case of processing step S405, the attracting stimulus image is superimposed on the object of the attracting stimulus image, and therefore the object coordinates are used as the coordinates of the attracting stimulus image.
  • the attracting stimulus image generating unit 112 advances the process to processing step S408.
  • the attraction stimulus image generation unit 112 updates the attraction stimulus plan with the coordinates of the attraction stimulus image calculated at processing step S405 or S407, updates the attraction stimulus plan in the memory 103, and performs the processing of processing step S208. finish.
  • process step S404 when the superimposition time for superimposing the attracting stimulus image on the object of the attracting stimulus image has passed, the process proceeds to process step S409. At this time, the attraction stimulus image generation unit 112 turns on the display completion flag of the object data in order to stop the display of the attraction stimulus image.
  • processing step S ⁇ b> 410 the attraction stimulus image generation unit 112 deletes the attraction stimulus plan that has become unnecessary from the memory 103. After the completion of the deletion, the process in process step S208 in FIG. 7 ends, and the process proceeds to process step S209 in FIG.
  • the attraction stimulus image generation unit 112 records the attraction stimulus plan generated at processing step S207 or corrected at processing step S208 in the memory 103. After the recording is completed, the attracting stimulus image generation unit 112 returns the process to the process step S201 and performs a process related to the next object.
  • process step S210 is a process executed when the process by the attraction stimulus image generation unit 112 for the object on the current front image is completed, and displays the attraction stimulus image based on all the attraction stimulus plans. Create an eye-catching stimulus frame.
  • FIG. 12 is a flowchart showing a processing step S210 which is a process for generating an attractive stimulus frame executed by the attractive stimulus image generating unit 112.
  • the attraction stimulus image generation unit 112 acquires the viewpoint coordinates of the driver 30 from the viewpoint sensor 106.
  • the attraction stimulating image generating unit 112 converts the coordinate system used in the processing so far into a coordinate system using the viewpoint coordinates of the driver 30 acquired in processing step S501 as the origin.
  • the attraction stimulus image generation unit 112 uses the converted coordinate system data to create an attraction stimulus frame including one or more attraction stimulus images that are actually presented visually, and the created attraction The stimulus frame is transferred to the display control unit 113.
  • the display control unit 113 sequentially provides the attraction stimulus frame generated by the attraction stimulus image generation unit 112 to the display unit 107, and causes the driver 30 to display the attraction stimulus frame by the display unit 107.
  • the attraction stimulus image generation unit 112 creates an attraction stimulus frame that is actually presented visually using the converted coordinate system data, and transfers the created attraction stimulus frame to the display control unit 113. Then, the process proceeds to process step S504.
  • the attraction stimulus image generation unit 112 determines whether or not a history regarding the target attraction stimulus image exists in the attraction stimulus history data (that is, whether or not it is registered). The attracting stimulus image generation unit 112 proceeds to the processing step S505 when it does not exist, and ends the process when it exists.
  • the sighting stimulus image generation unit 112 adds the target sighting stimulus image to the sighting stimulus history data because there is no target sighting stimulus image in the sighting stimulus history data, and completes the process. .
  • FIG. 13 is a diagram illustrating an example of a front image in a state where a pedestrian 51 as an object is walking on the left sidewalk of the road and the vehicle 10 is traveling in the right lane of the roadway 41.
  • FIGS. 14 (a) to (e), FIGS. 15 (a) to (e), and FIGS. 16 (a) to (e) are display examples of the attractive stimulus image when the front image shown in FIG. 13 is acquired. Indicates.
  • 14 (a) to 14 (e), 15 (a) to 15 (e), and 16 (a) to 16 (e) show attracting stimulus images 60, 61, 62 presented by the display 107 at a certain time. And the front scenery which driver 30 is looking at is shown.
  • FIGS. 14 (b), 15 (b), and 16 (b) show the forward scenery and moving arousing stimulus images 60, 61, 62 when T-T0 ⁇ T1 is satisfied.
  • FIG. 14 (e), FIG. 15 (e), and FIG. 16 (e) show the forward scenery when T1 + T2 ⁇ T ⁇ T1 is satisfied. At this time, the attracting stimulus images 60, 61, 62 are not displayed.
  • FIGS. 14A to 14E are specific examples in the case where the attracting stimulus image 60 is a minimum rectangle that includes the object.
  • the attracting stimulus image 60 is displayed farther than the pedestrian 51 and outside.
  • the attracting stimulus image 60 is presented approaching the current position of the pedestrian 51 as time passes, and the attracting stimulus image 60 is displayed when the movement time T1 has elapsed in FIG. 51 is superimposed.
  • the attraction stimulus image 60 is displayed so as to be superimposed on the pedestrian 51 according to the current position of the pedestrian 51, and the superposition time When T2 elapses, the attracting stimulus image disappears as shown in FIG.
  • FIGS. 15A to 15E are image regions surrounded by translating the attracting stimulus image 61 by moving the edge of the object in parallel to the coordinates of the attracting stimulus image 61, and adjusting the color such as luminance. This is a specific example in the case of a generated figure.
  • the states at the respective times in FIGS. 15A to 15E are the same as those in FIGS. 14A to 14E.
  • the saliency is enhanced so that the video existing in the region for displaying the attraction stimulating image is visually easier to see. ) Is different. Therefore, when reaching the time point of FIG. 15C, the attraction stimulus image 61 includes the entire pedestrian 51.
  • FIGS. 16 (a) to 16 (e) are specific examples in the case where the attracting stimulus image 62 is a figure generated by adjusting the color such as the luminance of the object.
  • the states at the respective times in FIGS. 16A to 16E are the same as those in FIGS. 14A to 14E.
  • the attraction stimulus image 62 is a stimulus that has been subjected to image processing that increases its saliency based on the image of the pedestrian 51, and therefore FIG. 16 (a).
  • (B) is different in that the contents as the object graphic 62 a corresponding to the pedestrian 51 are included in the attraction stimulus image 62.
  • the attracting stimulus images 60, 61, 63 in FIGS. 14A to 14C, 15A to 15C, and 16A to 16C are vehicles.
  • the stimulus gradually approaches 10.
  • the driver 30 is aware of the danger that something may collide with the vehicle 10.
  • the driver 30 is a stimulus that does not come closer to the vehicle 10 than the actual object 50 in FIG. 14 (c), FIG. 15 (c), and FIG. It is possible not to generate excessive consciousness that exceeds the existing crisis consciousness.
  • FIG. 17 is a flowchart showing processing in the body reaction measuring unit 114.
  • the body reaction measurement unit 114 from various data acquired from the body information acquisition unit 109, facial expression data, line-of-sight data, biological data such as sweating amount, heart rate, blood pressure value, and driving behavior. Extract the data.
  • the execution order of the processing steps S601 to S604 is not limited to this order, and the execution order of the processing steps S601 to S604 may be changed, or these may be executed in parallel.
  • the body reaction measuring unit 114 may delete unnecessary data that does not correspond to the classification of facial expression data, line-of-sight data, biological data, and driving behavior data.
  • the body reaction measuring unit 114 may additionally acquire data other than the classification of facial expression data, line-of-sight data, biological data, and driving behavior data.
  • the body information is a plurality of sections of body data, and the plurality of sections of body data includes facial expression data, line-of-sight data, biological data, and driving action data.
  • the body reaction measuring unit 114 is a body reaction probability that is a value indicating the body reaction of the driver 30 at the present time based on the physical data of the plurality of categories obtained from the processing results of the processing steps S601 to S604. And body reaction level are calculated.
  • Body reaction probability P R is, for example, the probability P i that body reaction in each body data in the body data of a plurality partition is present, the coefficient of each body data (i.e., a value) obtained by multiplying the a i It is an average value of a plurality of values (a i ⁇ P i ).
  • i 1, 2,..., N.
  • N is an integer indicating the number of physical data sections.
  • the body reaction probability P R is obtained by Equation 1 below.
  • the body reaction level L is, for example, given a body reaction level when there is a body reaction for each body data in a plurality of categories of body data as a constant b i , and the probability that there is a corresponding body reaction in the constant value b i is the sum of values obtained by multiplying the P i (b i ⁇ P i ).
  • the response b of the brake of the vehicle 10 is higher in the constant b i of the body reaction level than the reaction of releasing the accelerator pedal of the vehicle 10.
  • the reaction of turning the steering wheel of the vehicle 10 in the direction of increasing the distance to the obstacle applies a constant b i of the body reaction level equal to or higher than the reaction of stepping on the brake.
  • the body reaction level L is obtained by the following formula 2.
  • the body reaction measuring unit 114 determines whether there is a body reaction that satisfies a certain condition, based on the body reaction probability and the body reaction level calculated in processing step S605. For example, if the body reaction probability is equal to or higher than a predetermined threshold (first threshold), the body reaction measurement unit 114 proceeds with the process to step S607, and the current driver generates a body reaction to the visual stimulus. If the physical reaction probability is less than the threshold (first threshold), the process proceeds to processing step S608, and the driver at the present time determines that no physical reaction has occurred.
  • the presence / absence determination of a body reaction that satisfies a certain condition may be performed based on the body reaction level, or may be performed based on both the body reaction probability and the body reaction level.
  • FIG. 18 is a flowchart showing processing in the attractive stimulus parameter correction unit 115.
  • the attraction stimulus parameter correction unit 115 acquires a history from the attraction stimulus history data stored in the memory 103, and advances the processing to processing step S ⁇ b> 702.
  • the attraction stimulus parameter correcting unit 115 determines whether there is an attraction stimulus image that may cause the driver 30 to generate a physical reaction caused by the visual stimulus in the history acquired in processing step S701. Determine whether. At this time, the attractive stimulus image in which the body reaction flag of the object data is turned on is excluded from the determination process because the correction process has already been performed.
  • the calculation of the possibility of generating a physical reaction caused by a visual stimulus is based on the elapsed time from the time of occurrence of the attracting stimulus image to the present time, and the progress after the presentation of the attracting stimulus image when using each data of multiple categories And a probability distribution indicating the probability of generating a body reaction by time.
  • 19 (a) to 19 (c) show an attraction that may cause a body reaction using the probability distribution of the body reaction for the body data (body information) of the first section, the second section, and the third section. It is explanatory drawing which shows the determination process of a stimulus image.
  • curves 801, 802, and 803 showing the probability distribution of body reaction indicate the probability distribution of body reaction for the body data of the first section, the second section, and the third section, respectively.
  • the horizontal axis indicates the elapsed time (seconds) from the presentation start time t0 of the attracting stimulus image (for example, 60), and the vertical axis indicates the occurrence probability of the body reaction at each time. That is, it shows the occurrence frequency (%) of the body reaction.
  • t1 and t2 show the elapsed time from presentation start time t0, respectively.
  • the attraction stimulation image # 1 is an attraction stimulation image at the time when the time t1 has elapsed from the presentation start time t0 of the attraction stimulation image (for example, 60).
  • the attracting stimulus image # 2 is an attracting stimulus image at the time when the time t2 has elapsed from the presentation start time t0 of the attracting stimulus image (for example, 60).
  • the occurrence probability of the body reaction of the body data of the first section, the second section, and the third section with respect to the attracting stimulus image # 1 at t1 is Pa (t1) and Pb (t1). , Pc (t1).
  • the occurrence probability of the body reaction of the body data of the first section, the second section, and the third section for the attracting stimulus image # 2 at t2 is expressed as Pa (t2), Pb (t2), and Pc (t2).
  • the attraction stimulation image # 1 is determined from the probabilities Pa (t1), Pb (t1), and Pc (t1) at which the driver's 30 body reaction has occurred due to the attraction stimulation image # 1.
  • the probability Pa (t2), Pb (t2), and Pc (t2) that a physical reaction has occurred in the driver 30 due to 2 is high.
  • the attraction stimulus parameter correction unit 115 uses, for example, a threshold Th, When Pa (t1) + Pb (t1) + Pc (t1) ⁇ Th is established, it is determined that the attracting stimulus image # 1 is not the cause of the physical reaction currently occurring in the driver, When Th ⁇ Pa (t2) + Pb (t2) + Pc (t2) is established, it is determined that the attraction stimulus image # 2 is the cause of the physical reaction that is currently occurring in the driver.
  • the attracting stimulus parameter correcting unit 115 determines whether or not there is an attracting stimulus image that is considered to have caused the body reaction by the method described above.
  • the attractive stimulus parameter correction unit 115 ends the display parameter correction process when the attractive stimulus image does not exist (NO in S702), and processes the process when the attractive stimulus image exists (YES in S702). The process proceeds to step S703.
  • the arousal stimulus parameter correction unit 115 determines whether or not the current driver has a body reaction using the measurement result of the body reaction measurement unit 114.
  • the attractive stimulus parameter correction unit 115 advances the process to processing step S706, and when there is no physical reaction that satisfies the certain condition (NO in S703), The process proceeds to process step S704.
  • the attractive stimulus parameter correcting unit 115 determines the intensity of the visual stimulus that the attractive stimulus image at that time gives to the driver. It is determined that it is inappropriate and it is necessary to increase the intensity of the visual stimulus. Therefore, in this process, an object to be used for correcting the display parameter is selected from among the attractive stimulus images determined as the attractive stimulus image that may cause a physical reaction in processing step S702.
  • This threshold value may be the same threshold value Th as in the case of the processing step S702, or may be a different threshold value.
  • the attraction stimulus parameter correction unit 115 advances the processing to processing step S705 after completion of processing step S704.
  • the sighting stimulus parameter correction unit 115 displays the sighting stimulus image so that the driver can easily perceive the sighting stimulus image generated in the future, that is, the driver can easily feel the visual stimulus more strongly. Adjust the parameters. For example, when adjusting the display parameters so that the driver can easily perceive, the attraction stimulus parameter correction unit 115 adjusts the display parameters so that the attraction of the attraction stimulus image is increased and the attraction stimulus image is increased in size. To do. In addition, when adjusting the display parameters so that the driver is easily aware of the object, the attraction stimulus parameter correction unit 115 increases the movement speed S of the attraction stimulus image or lengthens the movement time T1. . Further, the attractive stimulus parameter correction unit 115 may adjust the weight value exemplified in FIG. 10 to increase when the display parameter is adjusted so that the driver is easily aware of the object.
  • the attractive stimulus parameter correction unit 115 may adjust the moving direction of the attractive stimulus image when adjusting the display parameter so that the driver is easily aware of the object.
  • FIG. 20 is a diagram illustrating an example of adjusting the moving direction with respect to the initial coordinates 60a of the attracting stimulus image with respect to the object 50 illustrated in FIG.
  • the attraction stimulus parameter correction unit 115 is to change the attraction stimulus image to a visual stimulus that is closer to the position of the vehicle 10 in order to increase the visual stimulus that the driver feels.
  • the coordinate 10c closer to the vehicle 10 than the position 10a of the vehicle 10 is assumed to be the position of the vehicle 10, and the initial coordinates of the attracting stimulus image are set to the coordinate 60c.
  • the attractive stimulus parameter correction unit 115 ends the processing after completing the display parameter correction processing in the processing step S705.
  • the attraction stimulus parameter correction unit 115 determines whether or not the driver 30 has received an excessive visual stimulus from the attraction stimulus image. If the driver 30 has received an excessive visual stimulus (YES in S706), The process proceeds to process step S707, and if not received (NO in S706), the process proceeds to process step S709.
  • the attraction stimulus parameter correction unit 115 makes the determination based on, for example, how much the body reaction level that is higher than the body reaction level expected from the attraction stimulus image determined in the processing step S702 is obtained from the current driver. Do. For example, when the body reaction level is equal to or higher than a predetermined threshold (second threshold), the attraction stimulus parameter correction unit 115 determines that an excessive visual stimulus is received from the attraction stimulus image.
  • processing step S707 the attractive stimulus parameter correction unit 115 performs the same processing as the processing in processing step S704, and proceeds to processing step S708 after the processing is completed.
  • the attractive stimulus parameter correcting unit 115 makes it difficult for the driver to perceive the next generated attractive stimulus image, or makes it difficult for the driver to feel the visual stimulus.
  • the display parameters of the attracting stimulus image are adjusted. For example, when adjusting the display parameters of the attracting stimulus image so that the driver is less likely to perceive, the attracting stimulus parameter correcting unit 115 reduces the conspicuousness of the attracting stimulus image or the size of the attracting stimulus image is small. Adjust the display parameters so that When adjusting the display parameters of the attracting stimulus image so that the driver does not easily feel the visual stimulus, the attracting stimulus parameter correcting unit 115 slows the moving speed S of the attracting stimulus image or lengthens the moving time T1. is there. In addition, the attractive stimulus parameter correction unit 115 may adjust the display parameters so as to make the driver more conscious of the target so that the weight value illustrated in FIG. 10 is reduced.
  • FIG. 20 is a diagram illustrating an example of adjustment of the moving direction with respect to the initial coordinates 60a of the attraction stimulus image for the attraction target 50 illustrated in FIG.
  • the attractive stimulus parameter correction unit 115 changes the visual stimulus so that the attractive stimulus image is closer to a position farther from the position of the vehicle 10 in order to make adjustment so as to make it difficult to feel the visual stimulus by the attractive stimulus image. be able to.
  • the attraction stimulus parameter correction unit 115 may adopt a method in which the coordinates 10b farther from the vehicle 10 than the position 10a of the vehicle 10 is set as the vehicle position, and the initial coordinates of the attraction stimulation image are set at the coordinates 60b.
  • processing is performed by moving the vehicle position in the vertical direction with respect to the traveling direction of the vehicle 10, but there is also a method of moving in the horizontal direction. Specifically, by setting the coordinates 10a as the vehicle position and setting the initial coordinates of the attraction stimulus image as the coordinates 60a, the degree of movement toward the vehicle can be weakened.
  • the attracting stimulus parameter correction unit 115 advances the process to the process step S709 after the completion of the display parameter correction after the process step S708.
  • the attraction stimulus parameter correction unit 115 sets the body reaction flag of the data of the object corresponding to the attraction stimulus image determined in processing step S702 to be on, and ends the processing.
  • FIGS. 21A to 21E show display examples of the attraction stimulating image 63 when the front image shown in FIG. 13 is acquired.
  • 21A to 21E after presenting the attraction stimulation image 60 shown in FIGS. 14A to 14E, the display parameters of the attraction stimulation image are corrected by the processing step S705 of the attraction stimulation parameter correction unit 115.
  • the attracting stimulus image 63 is displayed with more emphasis.
  • the moving speed S of the attracting stimulus image 63 is set to increase the thickness of the frame and increase the body reaction level in order to increase the conspicuousness of the attracting stimulus image 63. It is an example of presentation in the case of raising.
  • the attracting stimulus image 63 presented in the initial attracting stimulus frame is displayed at a position farther than the attracting stimulus image 60 presented in the initial attracting stimulus frame in FIG. 14 (a). ing.
  • the attracting stimulus image 63 presented in the initial attracting stimulus frame is at a position farther than the attracting stimulus image 60 presented in the initial attracting stimulus frame in FIG. 14 (b). It is displayed.
  • the attracting stimulus image 63 is superimposed on the object 50, and as shown in FIG. 14 (c), the attracting stimulus image is displayed. 60 is superimposed on the object 50. That is, in the case of FIGS. 21 (a) to 21 (c), since the attracting stimulus image 63 is moved from a farther position, the moving speed of the attracting stimulus image 63 becomes faster, and for the driver, the vehicle 10 is faster. It can be expected that the body reaction level will be higher.
  • the visual stimulation of the attractive stimulus image 64 is performed by the processing step S708 of the attractive stimulus parameter correction unit 115.
  • An example when the display parameter is adjusted so as to be suppressed is shown.
  • 22A to 22E are examples in which adjustment is performed to shift the moving direction of the attracting stimulus image 64 from the direction toward the vehicle 10 in order to adjust the direction of lowering the body reaction level.
  • adjustment it is assumed that the initial coordinates of the attracting stimulus image shown in FIG.
  • the attracting stimulus images 64 shown in FIGS. 22A to 22C are presented with a lower degree of arrival toward the vehicle 10 than the attracting stimulus images 60 shown in FIGS. 14A to 14C. That is, the direction of movement of the attraction stimulating image 60 in FIGS. 14 (a) to 14 (c) moves in the direction crossing the road and approaches the vehicle 10, but the attraction stimulating image 64 in FIGS. 22 (a) to (c). The moving direction of the vehicle moves along the road and approaches the vehicle 10.
  • the display parameters of the attracting stimulus image 63 are enhanced by the processing step S705 of the attracting stimulus parameter correcting unit 115 after the attracting stimulus image 64 shown in FIGS. 22 (a) to 22 (e) is presented.
  • the attraction stimulus image 60 shown in a) to (e) may be presented.
  • the line of sight of the driver 30 of the vehicle 10 can be guided to the object 50 (for example, the pedestrian 51) by the attracting stimulus images 60 to 64.
  • the driver 30 approaches the attracting stimulus images 60 to 64 that move toward the target object 50 from a position far from the target object 50, that is, toward the vehicle 10.
  • the attractive stimulus images 60 to 64 it is possible to have a pseudo-awareness of collision possibility.
  • the driver 30 can prevent a decrease in consciousness trying to perceive an object with his / her attention.
  • the driver 30 who is driving the vehicle 10 experiences the approaching object in a pseudo manner by the attracting stimulus images 60 to 64. Therefore, the driver 30 It is possible to give a consciousness to voluntarily prevent a decline in attention.
  • the driving assistance apparatus 100 since the movement time T1 until the target object is highlighted is provided, it is possible to prevent the driver 30 from having excessive consciousness due to strong visual stimulation. be able to.
  • the superimposition time T2 for displaying the attracting stimulus images 60 to 64 superimposed on the object is set, so that the driver 30 actually performs the attracting stimulus.
  • the driver 30 mainly visually recognizes only the object 50 immediately after the line of sight is moved, and there is an effect that the driver 30 does not feel uncomfortable.
  • the strength of the attracting stimulus images 60 to 64 can be adjusted according to the strength of the visual stimulus felt by the driver. As a result, the driver can be provided with an appropriate visual stimulus.

Abstract

運転支援装置（１００）は、車両の周辺に存在する実物体を撮影又は検出する周辺検出部（１０５）によって取得された周辺情報から、車両の周辺に存在しドライバが注意すべき実物体である対象物を判定する対象物判定部（１１１）と、対象物より遠方の位置から対象物が存在する位置に向けて移動するように見える誘目刺激画像を生成する誘目刺激画像生成部（１１２）と、実物体に重ねて画像を表示する表示器（１０７）に誘目刺激画像を表示させる表示制御部（１１３）と、ドライバの身体情報を取得する身体情報取得部（１０９）から身体情報を受け取り、身体情報からドライバが感じる視覚刺激に対する身体反応を示す値を算出し身体反応を示す値に基づいて誘目刺激画像がドライバに与える視覚刺激の程度を変更するように誘目刺激画像の表示状態を決める表示パラメータを補正する補正部（１１６）とを有する。

Description

運転支援装置、運転支援方法、及び運転支援プログラム
　本発明は、車両の周辺に存在する対象物より遠方の位置から対象物の位置に向けて移動するように見える誘目刺激画像を車両のドライバに提示するための運転支援装置、運転支援方法、及び運転支援プログラムに関する。
　車両のドライバの意識レベルの度合いに応じて、車両の周辺に存在する障害物である対象物に重なるように強調画像を表示することで、ドライバの視線を対象物に明示的に誘導する装置の提案がある（例えば、特許文献１参照）。
　また、車両の周辺に存在する誘目対象物との識別が困難な刺激（例えば、輝度画像）を用いて車両のドライバの視線を誘導することで、ドライバに視線誘導されたことを意識させずに、視線誘導を行う装置の提案がある（例えば、特許文献２参照）。
　なお、本出願において「誘目」は、人の視線を引きつけることを意味する。また、「誘目性」は、人の注意を引きつける度合いを表し、「注目性」とも言われる。また、「誘目性が高い」とは、人の視線を引きつける能力が高いことを表し、「人目を引く」とも言われる。
特開平７－０６１２５７号公報（例えば、段落０００４～０００８） 特開２０１４－０９９１０５号公報（例えば、段落００３９，００５８）
　特許文献１に記載の装置では、実物体である対象物に重なるように強調画像が表示されるので、ドライバは、視線誘導された事実を強く認識し、その結果、ドライバが自身の注意力を過信する状況は生じにくい。しかし、この装置を継続的に用いた場合には、ドライバが自身の注意力で対象物を知覚しようとする意識を持たなくなるおそれがある。
　また、特許文献２に記載の装置では、誘目対象物に重なるように輝度画像が表示されるので、ドライバは、自身の注意力で対象物を知覚しようとする意識を持たなくなるおそれがある。また、識別し難い輝度画像を用いてドライバの視線を誘導しているため、ドライバは自身の注意力のみで対象物を知覚したと認識して（すなわち、自身の注意力のみで対象物を知覚したと間違って思い込んでしまい）、自身の注意力を過信する状況が生じやすい。ドライバが、自身の注意力を過信した場合には、ドライバが自身の注意力で対象物を知覚しようとする意識が低下する。
　また、特許文献１及び２における視線誘導用の画像は、ドライバに対して適切な強さの視覚的な刺激を提供できない場合がある。
　本発明は、上記問題点を解決するためになされたものであり、その目的は、誘目刺激画像により車両のドライバに適切な強さの刺激を与えることでドライバの視線を対象物に誘導することができ且つドライバが自身の注意力で対象物を知覚しようとする意識の低下を防ぐことができる運転支援装置、運転支援方法、及び運転支援プログラムを提供することである。
　本発明に係る運転支援装置は、車両のドライバの運転を支援する装置であって、前記車両の周辺に存在する実物体を撮影又は検出する周辺検出部によって取得された周辺情報から、前記車両の周辺に存在し前記ドライバが注意すべき実物体である対象物を判定する対象物判定部と、前記対象物より遠方の位置から前記対象物が存在する位置に向けて移動するように見える誘目刺激画像を生成する誘目刺激画像生成部と、前記実物体に重ねて画像を表示する表示器に前記誘目刺激画像を表示させる表示制御部と、前記ドライバの身体情報を取得する身体情報取得部から身体情報を受け取り、前記身体情報から前記ドライバが感じる視覚刺激に対する身体反応を示す値を算出し、前記身体反応を示す値に基づいて前記誘目刺激画像が前記ドライバに与える視覚刺激の程度を変更するように前記誘目刺激画像の表示状態を決める表示パラメータを補正する補正部と、を有することを特徴とする。
本発明の実施の形態に係る運転支援装置のハードウエア構成を示す図である。 実施の形態に係る運転支援装置をドライバが使用している状態の一例を示す図である。 実施の形態に係る運転支援装置によって生成された誘目刺激画像を表示する表示器がＨＵＤのプロジェクタである場合を示す図である。 実施の形態に係る運転支援装置によって生成された誘目刺激画像を表示する表示器がＨＭＤのＡＲグラスである場合を示す図である。 実施の形態に係る運転支援装置を示す機能ブロック図である。 実施の形態に係る運転支援装置の対象物判定部の動作を示すフローチャートである。 実施の形態に係る運転支援装置の誘目刺激画像生成部の動作を示すフローチャートである。 実施の形態に係る運転支援装置の誘目刺激画像生成部によって実行される新規の誘目刺激計画の作成処理を示すフローチャートである。 実施の形態に係る運転支援装置の誘目刺激画像生成部によって実行される誘目刺激計画の作成処理を示す説明図である。 実施の形態に係る運転支援装置の誘目刺激画像生成部によって実行される誘目刺激計画の作成処理において用いられる重みを示す説明図である。 実施の形態に係る運転支援装置の誘目刺激画像生成部によって実行される既存の誘目刺激計画の補正処理を示すフローチャートである。 実施の形態に係る運転支援装置の誘目刺激画像生成部によって実行される誘目刺激フレームの作成処理を示すフローチャートである。 対象物としての歩行者が左側の歩道を歩いており、車両が車道の右車線を走行している状態を示す図である。 （ａ）～（ｅ）は、実施の形態に係る運転支援装置によって表示される誘目刺激画像の例を示す図である。 （ａ）～（ｅ）は、実施の形態に係る運転支援装置によって表示される誘目刺激画像の他の例を示す図である。 （ａ）～（ｅ）は、実施の形態に係る運転支援装置によって表示される誘目刺激画像の他の例を示す図である。 実施の形態に係る運転支援装置の身体反応計測部の動作を示すフローチャートである。 実施の形態に係る運転支援装置の誘目刺激パラメータ補正部の動作を示すフローチャートである。 （ａ）～（ｃ）は、第１区分、第２区分、第３区分の身体データに対する身体反応の発生確率分布を用いての身体反応を発生させる可能性のある誘目刺激画像の判定処理を示す説明図である。 実施の形態に係る運転支援装置の誘目刺激画像生成部によって実行される誘目刺激計画の作成処理を示す説明図である。 （ａ）～（ｅ）は、実施の形態に係る運転支援装置によって表示される誘目刺激画像の他の例を示す図である。 （ａ）～（ｅ）は、実施の形態に係る運転支援装置によって表示される誘目刺激画像の他の例を示す図である。
　以下に、本発明の実施の形態に係る運転支援装置、運転支援方法、及び運転支援プログラムを、添付図面を参照しながら説明する。以下の実施の形態は、例にすぎず、本発明の範囲内で種々の変更が可能である。
《１》構成
　図１は、本発明の実施の形態に係る運転支援装置１００のハードウエア構成を示す図である。運転支援装置１００は、実施の形態に係る運転支援方法を実施することができる装置である。図１に示されるように、運転支援装置１００は、制御部１０１を有する。運転支援装置１００は、車両１０（すなわち、自車）のドライバに車両１０の周辺に存在する実物体である対象物を知覚させるための視線誘導を行うことができるように且つドライバが自身の注意力で対象物を知覚しようとする意識の低下を防ぐことができるように、ドライバの視線を誘導するための誘目刺激画像をドライバに視覚的に提示する装置である。また、運転支援装置１００は、車両１０のドライバの身体反応を示す値（例えば、後述する「身体反応確率」及び「身体反応レベル」）に応じて誘目刺激画像が車両１０のドライバに与える視覚的な刺激（「視覚刺激」とも言う）の強さを、適切な強さに補正することができる。
　制御部１０１は、情報処理部としてのプロセッサ１０２と、必要なデータとプログラムを記憶する記憶部としてのメモリ１０３とを有する。例えば、プロセッサ１０２は、メモリ１０３に記憶された運転支援プログラムを実行することで、運転支援装置１００を動作させることができる。画像処理プロセッサ１０４の処理は、プロセッサ１０２によって実行されてもよい。制御部１０１及び画像処理プロセッサ１０４は、コンピュータの一部であってもよい。
　また、運転支援装置１００は、表示制御部としての画像処理プロセッサ１０４と、車両１０の周辺情報を取得する周辺検出部としてのカメラ１０５と、ドライバに画像を提示する表示器１０７とを備える。周辺情報は、例えば、車両１０の前方の情報であり、カメラ１０５によって撮影された車両１０の前方の画像（以下「前方画像」とも言う）である。
　カメラ１０５は、車外撮影用のカメラであり、車両１０の外部の実物体を含む画像（動画像を含む）を撮像し、取得された画像データを、プロセッサ１０２が処理可能な形式で転送する。また、画像データは、車両１０から実物体までの距離を示す距離データを含んでもよい。或いは、プロセッサ１０２は、画像データを解析することによって距離データを算出してもよい。なお、周辺検出部は、カメラ１０５に加えて又はカメラ１０５の代わりに、車両１０の周辺の実物体を検出するレーダーなどのセンサを有してもよい。
　表示器１０７は、プロセッサ１０２及び画像処理プロセッサ１０４によって生成され画像フレームを、車両１０のドライバが視認できるように表示する表示装置である。車両１０のドライバは、車両１０のウィンドシールド（すなわち、フロントガラス）を通して知覚する現実の風景に重なるように、表示器１０７が表示する画像フレーム（誘目刺激画像を含む）を視認することができる。
　また、運転支援装置１００は、車両１０内におけるドライバの視点位置又は視線を検出する視点センサ１０６と、このドライバの生体状態を検出する生体センサ１０８とを有する。視点センサ１０６と生体センサ１０８とは、ドライバの身体情報を取得する身体情報取得部１０９を構成する。なお、「視点」とは、物を見るために向けた視線がそそがれる点である。また、「視線」とは、目の中心と見ている対象とを結ぶ線である。
　生体センサ１０８は、ドライバが感じる視覚刺激に対する身体反応（すなわち、反射的な身体行動）を計測する１個以上のセンサを含む。生体センサ１０８は、複数種類のセンサの集合体であってもよい。人が視覚刺激を感じると、人の身体には様々な身体反応が現われる。身体反応は、例えば、顔に現われる。身体反応は、視認した状況に基づく恐怖心又は驚きなどの心理状態に応じて表われる。顔に表われる身体反応は、例えば、眉又は瞼が上がる、目を大きく見開く、口が横に広がるなどのような表情の変化である。
　また、身体反応の他の例は、身を守るため意志とは無関係に起こる反射行動である屈筋反射、車両１０に近づくように移動する対象物を見たときに生じる交感神経の興奮に起因する心拍数の上昇、血圧の上昇、発汗量の増加、などである。生体センサ１０８は、このような身体反応を検出し、身体反応の程度を測定する。また、図１では、視点センサ１０６と、生体センサ１０８とを別個の構成として示しているが、視点センサ１０６は、生体センサ１０８の一部であってもよい。なお、生体センサ１０８が検出又は測定する身体反応は、上記の例に限定されない。
　また、運転支援装置１００は、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）インタフェース１１０を有する。ＣＡＮインタフェース１１０は、運転支援装置１００を、車両１０の各種の機器の間でデータ交換を行うＣＡＮネットワークに接続するためのインタフェースである。運転支援装置１００は、ＣＡＮインタフェース１１０を介してドライバの運転行動に関する各種の運転データを取得する。各種の運転データは、例えば、ブレーキペダルの踏み具合、アクセルの踏み具合、ハンドルの回転状況、変速ギアの状態などを示す。ドライバは、車両１０の前方に衝突の可能性がある人、他の車両、動物などの障害物を認識すると、アクセルの踏み具合を弱める又はアクセルから足を離す、ブレーキを踏む、ハンドルを握りかえる、障害物との距離を増やす方向にハンドルを切る、と言った身体反応、すなわち、行動を取る。これらの身体反応が発生しているかを運転データから検出するために、ＣＡＮインタフェース１１０は、用いられる。したがって、身体情報取得部１０９は、生体センサ１０８及び視点センサ１０６に加えて、ＣＡＮインタフェース１１０を含んでもよい。つまり、身体情報取得部１０９が取得する身体情報としての身体データは、ＣＡＮインタフェース１１０を通して取得されるドライバの運転行動に関する情報、すなわち、行動データを含んでもよい。
　図２は、実施の形態に係る運転支援装置１００を車両１０のドライバ３０が使用している状態の一例を示す図である。図２は、ドライバ３０が運転席２１で車両１０を運転している状態を示している。図２の例では、ドライバ３０は、ウィンドシールド２２を通して車両１０の前方を目視しており、ドライバ３０からは、道路４０及び実物体（図２では、対象物５０としての歩行者）が見えている。車両１０の前方を撮影するカメラ１０５は、例えば、ウィンドシールド２２の上部中央付近に設置される。通常、カメラ１０５は、ドライバ３０がウィンドシールド２２越しに見ている風景に近い映像を撮像できるように配置される。
　また、視点センサ１０６は、ドライバ３０の顔、特に目を検出できる位置に設置される。視点センサ１０６は、例えば、ハンドル２３、インストルメントパネル２４などに設置されてもよい。図１に示されるプロセッサ１０２、メモリ１０３、画像処理プロセッサ１０４、及びＣＡＮインタフェース１１０は、ダッシュボード２５の内部などに設定されてもよい。
　生体センサ１０８は、センサの検出対象に応じて車両１０の適切な場所に配置される。例えば、生体センサ１０８が、顔の表情をとらえる表情センサである場合は、生体センサ１０８は、視点センサ１０６と同じ位置に配置される。また、生体センサ１０８が、ドライバ３０の発汗量、心拍数、血圧値などを計測するセンサである場合は、生体センサ１０８は、例えば、ドライバ３０が接触するハンドル２３、ドライバ３０が装着する衣服、ドライバ３０が座る運転席２１の座面又は背板部に配置される。
　図２には、表示器１０７は示されていない。表示器１０７は、図３及び図４に例示される。なお、図２から図４は、車両１０が左ハンドルを備えており、道路４０の右車線を前進走行している場合を例示しているが、車両１０の構造、走行車線、及び道路４０の形状は、図示の例に限定されない。
　図３は、実施の形態に係る運転支援装置１００によって生成された誘目刺激画像６０を表示する表示器がＨＵＤ（Ｈｅａｄ　Ｕｐ　Ｄｉｓｐｌａｙ）のプロジェクタ１０７ａである場合を示す図である。図３の例では、ダッシュボード２５上にプロジェクタ１０７ａが配置されている。プロジェクタ１０７ａによって投影される画像フレーム（誘目刺激画像６０を含む）は、ドライバ３０が視認するためにウィンドシールド２２の全体に設置された投影面上に投影される。ドライバ３０は、ウィンドシールド２２を通して見る風景（実物体を含む）に重ねて、プロジェクタ１０７ａによって投影される画像フレームを視認することができる。
　図４は、実施の形態に係る運転支援装置１００によって生成された誘目刺激画像６０を表示する表示器がＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ）のＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）グラス１０７ｂ（例えば、拡張現実画像用めがね）である場合を示す図である。図４の例では、ドライバ３０は、ＡＲグラス１０７ｂを装着し、画像フレーム（誘目刺激画像６０を含む）を視認することができる。ドライバ３０は、ウィンドシールド２２を通して見る風景（実物体を含む）に重ねて、ＡＲグラス１０７ｂによって投影される画像フレームを視認することができる。なお、視点センサ１０６と、生体センサ１０８の全体又は一部とを、ＡＲグラス１０７ｂに備えてもよい。
　図５は、実施の形態に係る運転支援装置１００を示す機能ブロック図である。図５に示されるように、運転支援装置１００は、対象物判定部１１１と、誘目刺激画像生成部１１２と、表示制御部１１３と、身体反応計測部１１４と、誘目刺激パラメータ補正部１１５とを有する。身体反応計測部１１４と誘目刺激パラメータ補正部１１５とは、誘目刺激画像がドライバに与える視覚刺激の強さを補正（すなわち、調整）する補正部１１６を構成する。
　身体反応計測部１１４は、ドライバ３０の顔の表情、筋緊張、屈筋反射、心拍数、血圧値、視線、及び運転行動の内の１つ以上の変化を計測した結果に基づいて、身体反応を示す値を算出することができる。運転支援装置１００は、車両１０のドライバ３０の運転を支援するために、表示器１０７に誘目刺激画像６０を表示させ、ドライバ３０の視線を誘目刺激画像６０によって対象物に徐々に誘導する。また、運転支援装置１００は、車両１０のドライバ３０の身体反応を示す値（例えば、「身体反応確率」及び「身体反応レベル」）に応じて誘目刺激画像６０が車両１０のドライバに与える視覚刺激の強さを、適切な強さに補正する。本出願において、ドライバ３０の身体反応を示す値は、「身体反応確率」と「身体反応レベル」とを含む。
　対象物判定部１１１は、車両１０の周辺に存在する実物体を撮影又は検出する周辺検出部としてのカメラ１０５によって取得された周辺情報から、車両１０の周辺に存在しドライバ３０が注意すべき実物体である対象物５０を判定する。対象物５０は、車両の周辺に存在しドライバ３０が注意すべき実物体（特に、移動する物体）である。例えば、対象物５０は、人、他の車両、動物のように車両１０が衝突を回避すべき実物体である。対象物５０は、移動する物体に限定されない。ただし、対象物判定部１１１は、対象物５０を移動する物体に限定して選択してもよい。
　誘目刺激画像生成部１１２は、対象物５０より遠方の位置から対象物５０が存在する位置に向けて移動するように見える誘目刺激画像６０を生成する。表示制御部１１３は、実物体である対象物５０に重なるように見える画像である誘目刺激画像６０を表示器１０７に表示させる。
　身体反応計測部１１４は、身体情報取得部１０９から身体データ（例えば、各種センサデータ）を受け取り、この身体情報を用いて現時点においてドライバ３０が感じる視覚刺激に対する身体反応が有るか否かを１回以上（例えば、間隔を開けて繰り返し又は周期的に繰り返し）検出し、視覚刺激に対する身体反応が有る確率（すなわち、身体反応確率）を算出し、この身体反応が有る場合（身体データが示す値が閾値以上である場合）には、その身体反応の程度（すなわち、身体反応レベル）を算出する処理を行う。
　例えば、身体データが、発汗量、心拍数、又は血圧値である場合には、身体反応が示す値が閾値以上であるときに、身体反応が有ると判定される。例えば、身体データが、表情データである場合には、表情データの変化（例えば、口の開け方、目の開き方、瞼又は眉の動きなど）を数値化し、この数値が閾値以上であるときに、身体反応が有ると判定される。例えば、身体データが、視線データである場合には、視線データが示す視線の動きを数値化し、この数値が閾値以上であるときに、身体反応が有ると判定される。例えば、身体データが、運転行動データである場合には、運転行動データが示すドライバの動きの大きさ、動きの速さなどを数値化し、この数値が閾値以上であるときに、身体反応が有ると判定される。
　誘目刺激パラメータ補正部１１５は、身体反応計測部１１４で算出された身体反応を示す値（例えば、身体反応確率と身体反応レベル）と、対象物判定部１１１で判定された対象物と、誘目刺激画像生成部１１２で生成された誘目刺激画像とから、ドライバ３０の身体反応が、いずれの対象物又はいずれの誘目刺激画像６０が原因で発生したのかを判定し、この判定の結果に基づいて、次に生成する誘目刺激画像６０の表示パラメータを補正（すなわち、調整）する処理を行う。
《２》動作
　以下に、実施の形態に係る運転支援装置１００の動作（すなわち、運転支援方法）を説明する。図６は、対象物判定部１１１の動作を示すフローチャートである。図６に示される一連の処理は、例えば、車両１０の走行中において、予め決められた時間間隔で繰り返し実行される。
　先ず、処理ステップＳ１０１において、対象物判定部１１１は、例えば、カメラ１０５によって撮像された車両１０の前方の画像（実物体を含む）を示す周辺情報（すなわち、前方画像）を取得する。
　次の処理ステップＳ１０２において、対象物判定部１１１は、前方画像から対象物となり得る実物体の抽出処理を行う。抽出される実物体は、例えば、人、他の車両、動物などのような移動する実物体である。前方画像から実物体を抽出する手段は、実世界の情報を取得する技術と物体を認識するための技術とに関するコンピュータビジョン技術などのような既知の技術を適用することによって実現可能である。抽出された実物体が複数存在する場合は、運転支援装置１００の制御部１０１の処理負荷を軽減するため及びドライバ３０の負担を軽減するために、複数の実物体の内の優先度の高い１つ又は数個の実物体のみを、誘目刺激画像６０を生成する対象としての対象物５０として扱う（すなわち、複数の実物体の内の１つ以上の実物体のみを対象物５０とする絞り込みを行う）ことが望ましい。
　対象物５０は、例えば、以下の第１から第５の条件のいずれかを満たすものである。
（第１の条件）車両１０との衝突確率が予め決められた一定値以上である実物体。
（第２の条件）車両１０との距離が予め決められた一定値以下である実物体。
（第３の条件）車両１０に向けて移動しており、移動速度が予め決められた一定値以上である実物体。
（第４の条件）視点センサ１０６の検出結果から、ドライバ３０が未だ知覚していないと判定された実物体。
（第５の条件）第１から第４の条件の内の２つ以上の組み合わせを満たす実物体。
　また、第１から第４の条件に優先度を設定してもよい。さらに、第１から第４の条件の内の、満足する条件の個数が多い移動体の優先度を高いと判定してもよい。また、優先度を、例えば、人、他の車両、動物の順に設定してもよい。さらに、予め決められた条件を満たす実物体の中から、上位の優先度を持つ、予め決められた個数の実物体を対象物として選択してもよい。
　処理ステップＳ１０２において抽出される対象物５０に関する情報は、例えば、カメラ１０５によって撮影された画像において対象物５０が占める領域を示す対象物領域情報、車両１０から対象物５０までの距離を示す対象物距離情報、及び対象物の重心位置を示す対象物重心座標情報を含む。対象物５０は、複数個であってもよい。
　処理ステップＳ１０３において、対象物判定部１１１は、処理ステップＳ１０２で抽出された各対象物５０が処理ステップＳ１０４～Ｓ１０７の処理を実施済みの対象物であるか否かを判定する。すなわち、対象物判定部１１１は、複数の対象物５０を順に処理する場合に、対象物５０が処理済みの対象物であるか未処理の対象物であるかを判定する。対象物判定部１１１は、対象物５０が処理済みの対象物である場合には、処理を処理ステップＳ１０８に進め、対象物５０が未処理の対象物である場合には、処理を処理ステップＳ１０４に進める。
　処理ステップＳ１０４において、対象物判定部１１１は、処理対象になっている対象物５０である今回対象物が、今回よりも以前に抽出された対象物である前回対象物に一致するか否かを判定する。このとき、前回対象物に関する情報は、前回対象物に関する処理ステップＳ１０７においてメモリ１０３に記録された対象物データから取得される。対象物判定部１１１は、今回対象物に一致する前回対象物が無い場合には、処理を処理ステップＳ１０５に進め、今回対象物に一致する前回対象物がある場合には、処理を処理ステップＳ１０６に進める。
　処理ステップＳ１０５において、対象物判定部１１１は、今回対象物である新規対象物を一意に識別するための新規の識別子を、今回対象物に関連付ける処理を行う。
　処理ステップＳ１０６において、対象物判定部１１１は、今回対象物を一意に識別するための識別子（すなわち、一致する前回対象物の識別子）を、今回対象物に関連付ける処理を行う。
　処理ステップＳ１０７において、対象物判定部１１１は、対象物５０を示す対象物データをメモリ１０３に記録する。対象物データは、例えば、処理ステップＳ１０５又はＳ１０６で関連付けした識別子、対象物５０が含まれる車両１０の前方の画像データ、対象物５０までの距離を示す距離データ、対象物５０によって占有される領域を示すデータ、対象物５０の重心座標、及び対象物５０の優先度などを含む。また、対象物データは、例えば、他の処理で必要となる各種のフラグデータ又は他の処理で必要となる各種のパラメータを含む。フラグデータは、例えば、対象物データの有無を示す既視フラグ（初期値はオフ）又は誘目刺激画像を表示したか否かを示す表示完了フラグ（初期値はオフ）又はドライバ３０の身体反応を示す値が閾値を超えているか否かを示すフラグ（初期値はオフ）などがある。処理ステップＳ１０７における記録の完了後、対象物判定部１１１は、処理を処理ステップＳ１０３に戻し、同じ前方画像内に存在する対象物５０の各々について、処理ステップＳ１０４からＳ１０７の処理を繰り返す。
　対象物判定部１１１は、処理ステップＳ１０１で取得した画像上で検出された対象物５０の全てに対する処理が終わったときに、処理を処理ステップＳ１０８に進める。処理ステップＳ１０８において、対象物判定部１１１は、記録されている前回対象物の中で、今回対象物に一致するものがなかった前回対象物があるか否かを判定する。対象物判定部１１１は、有る場合には（Ｓ１０８においてＹＥＳ）、処理を処理ステップＳ１１０に進め、無い場合には（Ｓ１０８においてＮＯ）、処理を処理ステップＳ１０１に戻す。
　処理ステップＳ１１０において、対象物判定部１１１は、対象物に関するデータである対象物データ及び対応する誘目刺激計画を削除する条件を満たすか否かを判定する。対象物判定部１１１は、条件を満たさない場合には（Ｓ１１０においてＮＯ）、処理を処理ステップＳ１０８に戻し、次の誘目刺激画像に関する処理を継続する。また、対象物判定部１１１は、条件を満たす場合には（Ｓ１１０においてＹＥＳ）、処理を処理ステップＳ１１１に進める。データを削除する条件は、例えば、各種フラグがオンに変化してからの経過時間が予め決められた一定時間以上となった場合である。ただし、データを削除する条件は、これに限定されない。
　処理ステップＳ１１１において、対象物判定部１１１は、ドライバ３０に提示された誘目刺激画像６０の履歴を管理する誘目刺激履歴データから、対応する履歴を削除し、その後、処理を処理ステップＳ１０９に進める。誘目刺激履歴データは、メモリ１０３に記録されており、その生成は、誘目刺激画像生成部１１２の内部処理にて行われる。
　処理ステップＳ１０９において、対象物判定部１１１は、前回対象物の内の今回対象物に一致するものがなかったものをメモリ１０３から削除し、削除された前回対象物に関する不要データをメモリ１０３から除去する。対象物判定部１１１は、処理ステップＳ１０９の後に、処理を処理ステップＳ１０８に進める。
　ただし、対象物判定部１１１は、処理ステップＳ１０９の削除を行わないことも可能である。これは、処理ステップＳ１０２における対象物５０の抽出が、ノイズ又は処理方法の制約などによって、正確に実行できない場合があり得るからである。また、対象物判定部１１１は、処理ステップＳ１０８におけるＹＥＳの判定が予め決められた一定回数以上あった場合に、不要データをメモリ１０３から削除してもよい。また、対象物判定部１１１は、処理ステップＳ１０８におけるＹＥＳの判定の後、予め決められた一定時間が経過した後に、不要データをメモリ１０３から削除するようにしてもよい。
　図７は、誘目刺激画像生成部１１２の動作を示すフローチャートである。誘目刺激画像生成部１１２は、対象物判定部１１１によって抽出された対象物５０に関する対象物データをもとに、各対象物５０に対して、どのような誘目刺激画像を生成すべきかの計画である誘目刺激計画を生成又は補正（すなわち、変更）し、誘目刺激画像を含む誘目刺激フレームを生成する。
　処理ステップＳ２０１において、誘目刺激画像生成部１１２は、メモリ１０３に記録された対象物データの中に誘目刺激画像生成部１１２で処理していないものがあるか否か、すなわち、未処理の対象物があるか否かを判定する。誘目刺激画像生成部１１２は、未処理の対象物がある場合には、処理を処理ステップＳ２０２に進め、未処理の対象物がない場合には、処理を処理ステップＳ２１０に進める。
　処理ステップＳ２０２において、誘目刺激画像生成部１１２は、ドライバ３０が対象物５０を見ているか否かを判定する。この判定は、例えば、カメラ１０５による前方画像の撮影時刻に最も近い時刻に視点センサ１０６で取得されたドライバ３０の視点位置及び視線を用いて、視点が対象物領域に重なっているか否かに基づいて行うことができる。この場合、視点センサ１０６のパラメータとカメラ１０５のパラメータとは、予め適切にキャリブレーションされているものとする。
　ただし、ドライバ３０の視線移動によって視点が対象物領域に偶然重なる状態が発生し得る。したがって、誘目刺激画像生成部１１２は、視点が対象物領域に重なる状態が、予め決められた一定時間以上である場合に、ドライバ３０が対象物５０を見ていると判定してもよい。この場合には、対象物データとして、ドライバ３０が対象物５０を見ていた時間（すなわち、継続時間）も併せて記録される。また、誘目刺激画像生成部１１２は、対象物データとして記録される既視フラグがオンになっている場合に、ドライバ３０が対象物５０を見ていると判定するようにしてもよい。
　誘目刺激画像生成部１１２は、ドライバ３０が対象物５０を見ていると判定された場合、処理を処理ステップＳ２０３に進め、対象物５０を見ていないと判定された場合、処理を処理ステップＳ２０５に進める。
　処理ステップＳ２０３において、誘目刺激画像生成部１１２は、既にドライバ３０が見ている対象物５０の対象物データは既に視認済みの対象物５０に関するものであることを示すため、対応する対象物データ中の既視フラグをオンに変更し、処理を処理ステップＳ２０４に進める。ただし、一度見ていると判定された場合であっても、その後対象物を見ていない時間が経過すると、ドライバ３０による対象物に対する認識の程度は低下する。そのため、誘目刺激画像生成部１１２は、見ていると判定されてから次に見ていると判定されるまでの経過時刻が、予め決められた一定時間以上である場合には、表示完了フラグをオフに戻し、既視フラグをオフに戻すようにしてもよい。
　処理ステップＳ２０４において、誘目刺激画像生成部１１２は、既視フラグがオンの対象物５０に対応する誘目刺激計画をメモリ１０３から削除し、この対象物５０について誘目刺激画像を生成しないようにし、処理を処理ステップＳ２０１に戻す。
　処理ステップＳ２０５において、誘目刺激画像生成部１１２は、対象物５０に対する誘目刺激画像６０の表示が既に完了しているか否かを判定する。誘目刺激画像生成部１１２は、対応する対象物データ中の表示完了フラグがオンになっている場合は、誘目刺激画像６０の表示が完了していると判定し、表示完了フラグがオフの場合には、誘目刺激画像６０の表示が未完了と判定する。誘目刺激画像生成部１１２は、完了の場合（Ｓ２０５においてＹＥＳ）には、処理を処理ステップＳ２０１に戻し、未完了の場合には（Ｓ２０５においてＮＯ）、処理を処理ステップＳ２０６に進める。
　処理ステップＳ２０６において、誘目刺激画像生成部１１２は、対象物５０に対応する誘目刺激計画が既に生成されているか否かを判定する。誘目刺激画像生成部１１２は、誘目刺激計画が未生成の場合には、処理を処理ステップＳ２０７に進め、誘目刺激計画が生成済みの場合には、処理を処理ステップＳ２０８に進める。
　処理ステップＳ２０７において、誘目刺激画像生成部１１２は、誘目刺激計画が未生成の対象物５０に対する新規の誘目刺激計画の作成処理を行う。
　図８は、処理ステップＳ２０７における新規の誘目刺激計画の作成処理を示すフローチャートである。処理ステップＳ３０１において、誘目刺激画像生成部１１２は、ドライバ３０が運転する車両１０の座標を取得する。車両１０の座標は、ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｎｉｎｇ　Ｓｙｓｔｅｍ）などを用いたグローバルな座標系であってもよいが、運転支援装置１００の位置を基準とした座標系における位置であってもよい。例えば、カメラ１０５の設置位置を基準座標（すなわち、原点）とした座標系を用いてもよい。また、車両１０の重心位置を基準座標としてもよく、又は、フロントバンパーの中央位置を基準座標としてもよい。或いは、現在時刻から予め決められた一定時間経過後の時点（すなわち、未来の時刻）に車両１０が存在するであろうと予測される位置における車両１０の重心座標又はフロントバンパーの中央位置の座標を基準座標としてもよい。
　処理ステップＳ３０２において、誘目刺激画像生成部１１２は、対象物の座標を、運転支援装置１００を基準位置とした座標系の座標に変換する処理を行う。運転支援装置１００を基準位置として座標系は、例えば、カメラ１０５の設置位置を原点とした座標系である。この座標変換により、対象物５０の座標を、車両１０の座標と同一の座標系の座標で表現することができる。
　処理ステップＳ３０３において、誘目刺激画像生成部１１２は、誘目刺激画像をどのようにドライバ３０に提示するかの計画である誘目刺激計画を作成する。
　図９は、誘目刺激画像生成部１１２によって実行される誘目刺激計画の作成処理を示す説明図である。図９には、ＸＹＺ座標系が示される。Ｘ軸は、路面に平行であり且つ車両１０の走行方向を向く座標軸である。Ｙ軸は、路面に平行であり且つ車両１０の車幅方向を向く座標軸である。Ｚ軸は、路面に垂直であり且つ車両１０の車高方向を向く座標軸である。
　以下に、対象物５０と車両１０が存在する例について、誘目刺激計画の作成処理を説明する。図９の例では、座標５０ａは、対象物５０の座標である対象物座標であり、座標１０ａは、車両１０の座標である。この座標１０ａは、車両１０が、例えば、誘目刺激画像の生成時刻Ｔ０から予め決められた一定時間Ｔだけ経過した時刻（Ｔ＋Ｔ０）において車両１０が存在すると予測される座標である。
　座標６０ａは、誘目刺激画像が描画される初期位置を示す座標である。座標６０ａは、車両１０の座標１０ａから対象物５０の座標５０ａに向かう半直線を含み、地面（すなわち、路面）に対して垂直な平面上の座標である。座標６０ａの高さ（すなわち、Ｚ軸方向の位置）は、例えば、座標５０ａのＺ軸方向の位置と同じに設定される。座標６０ａは、座標５０ａに向けて移動速度Ｓで、移動時間Ｔ１の期間移動した場合に座標５０ａに到達する。座標６０ａは、座標５０ａを基準にして、座標１０ａの反対側に位置する。座標６０ａは、誘目刺激画像の初期座標である。
　誘目刺激画像は、座標６０ａを始点として対象物５０に向かって移動速度Ｓで移動時間Ｔ１にわたって移動する視覚的な刺激画像として提示される。また、誘目刺激画像は、対象物５０に到達後、重畳時間Ｔ２の期間、誘目刺激画像が対象物５０に重畳する視覚的な刺激画像として提示される。
　移動速度Ｓ、移動時間Ｔ１、及び重畳時間Ｔ２は、予め決められた固定値であってもよいが、状況に応じて変化する可変値であってもよい。例えば、移動速度Ｓは、人の周辺視野において移動として知覚可能な最低速度（下限速度）以上で且つ最高速度（上限速度）未満とすることで、ドライバ３０が対象物付近に視線を向けていないときでも、ドライバ３０の周辺視野で移動を知覚可能とすることができる。
　また、移動時間Ｔ１を人の視覚の反応速度を基準に設定することによって、誘目刺激画像自体の移動をドライバ３０に中心視野で知覚される前に対象物５０に重畳を完了させることができる。この場合、誘目刺激画像がドライバ３０に与える刺激と、対象物５０がドライバ３０に与える刺激との大きすぎる差異を提示しないことができる。
　また、各時点におけるドライバ３０の視点位置と対象物５０の座標との距離に応じて、誘目刺激画像の表示パラメータ（例えば、移動速度Ｓ、移動時間Ｔ１、及び重畳時間Ｔ２）に重みづけを行うようにしてもよい。例えば、対象物５０までの距離と移動速度Ｓ、又は対象物５０までの距離と移動時間Ｔ１との間に正の相関関係を持たせるような重みづけをしてもよい。
　また、各時点におけるドライバ３０の視点ベクトルに基づいて重みづけをしてもよい。図１０は、視点ベクトルとドライバ３０の正面に配置されたＹＺ平面に平行な仮想的な平面７０上の空間分割領域ごとの重み値を示す説明図である。図１０において、平面７０は、ドライバ３０の視点ベクトルが点７１を通過するときに、視点ベクトルが平面７０の垂線となる。空間の領域分割の方法としては、種々の方法を採用可能であるが、図１０の例では、点７１を中心として水平方向の半径が垂直方向の半径よりも長くなるような楕円を同心円で複数個設定し、分割すると共に、点７１を通る平行線と垂直線で分割を行っている。対象物５０の座標とドライバ３０の目の位置とを結ぶ線分が平面７０と交差する点７３が含まれる領域に記載の重み値が、表示パラメータを算出する際の重みづけ計算に用いられる。図１０においては、重み値は、１．２となり、移動速度Ｓ、移動時間Ｔ１の値をその重み値に応じて（例えば、重み値に比例して）変化させる。
　また、ドライバ３０の個人毎の特性によってこれらの表示パラメータは、変化するため、ドライバ３０の個人の特性に合わせて重み値を決定してもよい。また、個人毎であっても体調などによって表示パラメータは、変化するため、生体センサを備え、生体センサの検出結果に基づいて検出されるドライバ３０の状態に応じて、重み値を変化させてもよい。
　特に速度限界などは、ドライバ３０の視点から見た場合のパラメータとなるため、これらのパラメータを求める場合には、一旦座標系をドライバ３０の視点座標を限定とした座標系に変換してから求めてもよい。その場合のドライバ３０の視点座標は、視点センサ１０６から取得されるデータと視点センサ１０６とカメラ１０５の相対位置を用いて変換してもよい。
　次に具体的な誘目刺激画像の内容について説明する。誘目刺激画像は、対象物５０を包含する最小の矩形の図形、対象物のエッジを強調し中抜きした図形、対象物の輝度等の色彩を調整して生成した図形などであってもよい。また、誘目刺激画像は、対象物を包含する最小の矩形の図形、又は対象物のエッジを誘目刺激画像の初期座標に平行移動したときに、エッジに囲まれる画像領域に対して輝度等の色彩を調整して生成した図形であってもよい。誘目刺激画像をどのような画像にするかは、特に制限されない。ただし、誘目刺激画像として表示される図形の向きは、対象物５０の面と平行となるように設定することが望ましい。或いは、誘目刺激画像の初期座標から車両１０の座標に向かうベクトルに垂直になるように、対象物５０の向きを設定してもよい。
　処理ステップＳ３０３で生成する誘目刺激計画には、生成時刻Ｔ０、誘目刺激画像の初期座標、誘目刺激画像が移動する対象物に向かって移動するときの移動速度Ｓ及び移動時間Ｔ１、誘目刺激画像を対象物に重畳させる重畳時間Ｔ２、誘目刺激画像の内容種別、誘目刺激の内容を決定するための各種パラメータが含まれる。
　図８の誘目刺激計画の生成完了により処理ステップＳ２０７は完了し、誘目刺激画像生成部１１２は、処理を図７の処理ステップＳ２０９に進める。
　図７の処理ステップＳ２０８においては、誘目刺激画像生成部１１２は、誘目刺激計画が生成済みの対象物５０に対する誘目刺激画像の補正処理を行う。処理ステップＳ２０８においては、既に誘目刺激計画が生成されているため、現時点の状況に合わせて誘目刺激計画の内容を補正する。
　図１１は、誘目刺激画像生成部１１２によって実行される既存の誘目刺激計画の補正処理である処理ステップＳ２０８を示すフローチャートである。
　処理ステップＳ４０１は、図８の処理ステップＳ３０１と同様の処理である。処理ステップＳ４０２は、図８の処理ステップＳ３０２と同様の処理である。
　処理ステップＳ４０３において、誘目刺激画像生成部１１２は、誘目刺激画像が対象物５０に向かって移動する移動時間Ｔ１の残り時間が有るか否か判定する。具体的には、誘目刺激画像生成部１１２は、現在時刻をＴとした場合に、
条件「Ｔ－Ｔ０＜Ｔ１」を満たす場合は、移動時間Ｔ１の残り時間が有る（Ｓ４０３においてＹＥＳ）と判定し、処理を処理ステップＳ４０５に進め、それ以外の場合には、移動時間Ｔ１の残り時間が無い（Ｓ４０３においてＮＯ）と判定し、処理を処理ステップＳ４０４に進める。
　処理ステップＳ４０４において、既に誘目刺激画像は、対象物５０に重畳している状態である。このとき、誘目刺激画像生成部１１２は、誘目刺激画像を対象物５０に重畳させる重畳時間Ｔ２の残り時間が有るか否かを判定する。具体的には、誘目刺激画像生成部１１２は、現在時刻をＴとした場合に、
条件「Ｔ－Ｔ０＜Ｔ１＋Ｔ２」を満たす場合は、重畳時間Ｔ２の残り時間が有る（Ｓ４０４においてＹＥＳ）と判定し、処理を処理ステップＳ４０７に進め、それ以外の場合には、重畳時間Ｔ２の残り時間が無い（Ｓ４０４においてＮＯ）と判定し、処理を処理ステップＳ４０９に進める。
　処理ステップＳ４０５において、誘目刺激画像は、当該誘目刺激画像の対象物５０に向かって移動中の状態である。このとき、誘目刺激画像生成部１１２は、現時点での誘目刺激画像が存在すべき座標である誘目刺激画像の座標を算出する。誘目刺激画像の座標の算出方法は、誘目刺激画像の初期座標の算出方法と基本的には、同じであるが、算出に際し、移動時間Ｔ１の代わりに、Ｔを現在時刻としたときの「Ｔ１－（Ｔ－Ｔ０）」を用いる。また、車両１０の座標は、現在時刻を基準に座標を再計算せずに、誘目刺激画像の初期座標を求めた際に用いた座標をそのまま用いてもよい。誘目刺激画像生成部１１２は、誘目刺激画像の座標を算出した後に、処理を処理ステップＳ４０８に進める。
　処理ステップＳ４０７において、誘目刺激画像は、当該誘目刺激画像の対象物に重畳中の状態である。このとき、誘目刺激画像生成部１１２は、現時点での誘目刺激画像が存在すべき座標である誘目刺激画像の座標を算出する。処理ステップＳ４０７では、処理ステップＳ４０５の場合と異なり、誘目刺激画像は、当該誘目刺激画像の対象物に重畳しているため、誘目刺激画像の座標として対象物座標を用いる。誘目刺激画像生成部１１２は、誘目刺激画像の座標を算出した後に、処理を処理ステップＳ４０８に進める。
　処理ステップＳ４０８において、誘目刺激画像生成部１１２は、処理ステップＳ４０５又はＳ４０７で算出した誘目刺激画像の座標で誘目刺激計画を更新し、メモリ１０３における誘目刺激計画を最新化し、処理ステップＳ２０８の処理を終了する。
　処理ステップＳ４０４において、誘目刺激画像が当該誘目刺激画像の対象物に重畳する重畳時間を過ぎた場合に、処理は処理ステップＳ４０９に進む。このとき、誘目刺激画像生成部１１２は、誘目刺激画像の表示を停止するために、対象物データの表示完了フラグをオンにする。
　処理ステップＳ４１０において、誘目刺激画像生成部１１２は、不要となった誘目刺激計画をメモリ１０３から削除する。削除完了後、図７の処理ステップＳ２０８の処理は終了し、図７の処理ステップＳ２０９の処理に進む。
　処理ステップＳ２０９において、誘目刺激画像生成部１１２は、処理ステップＳ２０７で生成された又は処理ステップＳ２０８で補正された誘目刺激計画を、メモリ１０３に記録する。記録完了後、誘目刺激画像生成部１１２は、処理を処理ステップＳ２０１に戻し、次の対象物に関する処理を行う。
　処理ステップＳ２０１において未処理の対象物が無い場合には、処理は処理ステップＳ２１０に進む。処理ステップＳ２１０は、現在の前方画像上の対象物に対する誘目刺激画像生成部１１２による処理が完了したときに実行される処理であり、全ての誘目刺激計画に基づいて、誘目刺激画像を表示するための誘目刺激フレームを作成する。
　図１２は、誘目刺激画像生成部１１２によって実行される誘目刺激フレームの生成処理である処理ステップＳ２１０を示すフローチャートである。
　処理ステップＳ５０１において、誘目刺激画像生成部１１２は、視点センサ１０６からドライバ３０の視点座標を取得する。処理ステップＳ５０２において、誘目刺激画像生成部１１２は、これまでの処理で用いていた座標系を処理ステップＳ５０１で取得したドライバ３０の視点座標を原点とした座標系に変換する。処理ステップＳ５０３において、誘目刺激画像生成部１１２は、変換された座標系のデータを用いて、実際に視覚的に提示する１つ以上の誘目刺激画像を含む誘目刺激フレームを作成し、作成した誘目刺激フレームを表示制御部１１３に転送する。
　表示制御部１１３は、誘目刺激画像生成部１１２で生成した誘目刺激フレームを逐次、表示器１０７に提供し、表示器１０７によってドライバ３０に誘目刺激フレームを表示させる。
　処理ステップＳ５０３において、誘目刺激画像生成部１１２は、変換された座標系のデータを用いて、実際に視覚的に提示する誘目刺激フレームを作成し、作成した誘目刺激フレームを表示制御部１１３に転送し、処理を処理ステップＳ５０４に進める。
　処理ステップＳ５０４において、誘目刺激画像生成部１１２は、対象となる誘目刺激画像に関する履歴が誘目刺激履歴データに存在しているか否か（すなわち、登録されているか否か）を判定する。誘目刺激画像生成部１１２は、存在していない場合には、処理を処理ステップＳ５０５に進め、存在している場合には、処理を終了する。
　処理ステップＳ５０５において、誘目刺激画像生成部１１２は、誘目刺激履歴データに対象となる誘目刺激画像は存在していないため、対象となる誘目刺激画像を誘目刺激履歴データに追加し、処理を完了する。
　図１３は、対象物としての歩行者５１が道路の左側の歩道を歩いており、車両１０が車道４１の右車線を走行している状態の前方画像の例を示す図である。図１４（ａ）～（ｅ）、図１５（ａ）～（ｅ）、及び図１６（ａ）～（ｅ）は、図１３に示す前方画像が取得されたときにおける誘目刺激画像の表示例を示す。
　図１４（ａ）～（ｅ）、図１５（ａ）～（ｅ）、及び図１６（ａ）～（ｅ）は、ある時刻において表示器１０７によって提示された誘目刺激画像６０，６１，６２と、ドライバ３０が見ている前方風景を示している。
　図１４（ａ）、図１５（ａ）、及び図１６（ａ）は、誘目刺激画像６０，６１，６２の初期座標を算出した時点での、前方風景と誘目刺激画像６０，６１，６２とを示す。
　図１４（ｂ）、図１５（ｂ）、及び図１６（ｂ）は、Ｔ－Ｔ０＜Ｔ１を満たすときの前方風景と移動する誘目刺激画像６０，６１，６２とを示す。
　図１４（ｃ）、図１５（ｃ）、及び図１６（ｃ）は、Ｔ－Ｔ０＝Ｔ１を満たすときの前方風景と、対象物５１に到達した誘目刺激画像６０，６１，６２とを示す。
　図１４（ｄ）、図１５（ｄ）、及び図１６（ｄ）は、Ｔ１＜Ｔ－Ｔ０＜Ｔ１＋Ｔ２を満たすときの前方風景と対象物５１に重畳している誘目刺激画像６０，６１，６２とを示す。
　図１４（ｅ）、図１５（ｅ）、及び図１６（ｅ）は、Ｔ１＋Ｔ２≦Ｔ－Ｔ１を満たすときの前方風景を示している。このとき、誘目刺激画像６０，６１，６２は表示されていない。
　図１４（ａ）～（ｅ）は、誘目刺激画像６０を、対象物を包含する最小の矩形とした場合の具体例である。初誘目刺激画像の初期座標を算出した図１４（ａ）の時点では、歩行者５１よりも遠くかつ外側に誘目刺激画像６０が表示される。図１４（ｂ）では、時刻経過と共に誘目刺激画像６０は、歩行者５１の現在位置に近づいて提示され、図１４（ｃ）で移動時間Ｔ１が経過した時点で誘目刺激画像６０は、歩行者５１に重畳される。その時点から、重畳時間Ｔ２が経過するまでは、図１４（ｄ）のように、歩行者５１の現在位置に応じて誘目刺激画像６０は、歩行者５１に重畳するように表示され、重畳時間Ｔ２が経過すると、図１４（ｅ）のように誘目刺激画像は、消失する。
　図１５（ａ）～（ｅ）は、誘目刺激画像６１を、対象物のエッジを、誘目刺激画像６１の座標に平行移動して囲まれる画像領域であって、輝度等の色彩を調整して生成される図形とした場合の具体例である。図１５（ａ）～（ｅ）の各時刻における状態は、図１４（ａ）～（ｅ）におけるものと同じである。図１５（ａ）～（ｅ）の例では、誘目刺激画像を表示する領域に存在する映像が視覚的により見やすくなるように顕著性が高められている点が、図１４（ａ）～（ｅ）の場合と異なる。そのため、図１５（ｃ）の時点に到達したときに、誘目刺激画像６１が歩行者５１の全体を包含する。
　図１６（ａ）～（ｅ）は、誘目刺激画像６２を、対象物の輝度等の色彩を調整して生成した図形とした場合の具体例である。図１６（ａ）～（ｅ）の各時刻における状態は、図１４（ａ）～（ｅ）におけるものと同じである。図１６（ａ）～（ｅ）の例では、誘目刺激画像６２は、歩行者５１の画像をもとに顕著性が高まる画像処理が行われた刺激となっているため、図１６（ａ）、（ｂ）の時点であっても歩行者５１に対応する対象物図形６２ａとしての内容が誘目刺激画像６２中に包含される点が異なる。
　いずれの誘目刺激画像であっても、図１４（ａ）～（ｃ）、図１５（ａ）～（ｃ）、図１６（ａ）～（ｃ）において誘目刺激画像６０，６１，６３が車両１０に向かって徐々に接近する刺激となっている。そのため、ドライバ３０には、何かが車両１０と衝突する可能性が生じるという危機意識が発生する。また、ドライバ３０には、図１４（ｃ）、図１５（ｃ）、図１６（ｃ）以降で実際の対象物５０よりも車両１０に接近してこない刺激となっているため、現実世界に発生している危機意識を超える過度な意識を発生させないことができる。
　図１７は、身体反応計測部１１４における処理を示すフローチャートである。処理ステップＳ６０１からＳ６０４において、身体反応計測部１１４は、身体情報取得部１０９から取得した各種データから、表情データと、視線データと、発汗量、心拍数、血圧値などの生体データと、運転行動データとを抽出する。処理ステップＳ６０１からＳ６０４の実行順は、この順番に限定されず、処理ステップＳ６０１からＳ６０４の実行順を変えてもよく、又は、これらを並列に実行してもよい。また、身体反応計測部１１４は、表情データ、視線データ、生体データ、運転行動データの区分に該当しない不要なデータを削除してもよい。また、身体反応計測部１１４は、表情データ、視線データ、生体データ、運転行動データの区分以外のデータを追加して取得してもよい。なお、以下の説明では、身体情報は、複数区分の身体データであり、複数区分の身体データは、表情データ、視線データ、生体データ、及び運転行動データを含む場合を説明する。
　処理ステップＳ６０５において、身体反応計測部１１４は、処理ステップＳ６０１からＳ６０４の処理結果で得られた複数区分の身体データをもとに、現時点におけるドライバ３０の身体反応を示す値である、身体反応確率と身体反応レベルとを算出する。
　身体反応確率ＰＲは、例えば、複数区分の身体データの内の身体データ毎における身体反応が有る確率Ｐｉに、身体データ毎の係数（すなわち、ある値）ａｉを掛けることによって得られた複数の値（ａｉ×Ｐｉ）の平均値である。ここで、ｉ＝１，２，…，Ｎである。Ｎは、身体データの区分の数を示す整数である。例えば、身体反応確率ＰＲは、以下の式１で得られる。
Figure JPOXMLDOC01-appb-M000001
　身体反応レベルＬは、例えば、複数区分の身体データの内の身体データ毎に身体反応が有る場合の身体反応レベルを定数ｂｉで与え、その定数値ｂｉに、対応する身体反応がある確率Ｐｉを掛けることによって得られた複数の値（ｂｉ×Ｐｉ）の合計値である。例えば、運転行動データを例にとると、車両１０のアクセルペダルを緩める反応よりも車両１０のブレーキを踏む反応の方がより身体反応レベルの定数ｂｉは、高いと言うことができる。また、障害物との距離を増加させる方向に車両１０のハンドルを切る反応は、ブレーキを踏む反応と同等又は、それ以上の身体反応レベルの定数ｂｉが適用されると言うことができる。例えば、身体反応レベルＬは、以下の式２で得られる。
Figure JPOXMLDOC01-appb-M000002
　処理ステップＳ６０６において、身体反応計測部１１４は、処理ステップＳ６０５で算出された身体反応確率及び身体反応レベルをもとに、一定条件を満たす身体反応の有無を判定する。例えば、身体反応計測部１１４は、身体反応確率が予め決められた閾値（第１の閾値）以上であれば、処理を処理ステップＳ６０７に進め、現時点におけるドライバは、視覚刺激に対する身体反応が発生していると判定し、身体反応確率が閾値（第１の閾値）未満であれば処理を処理ステップＳ６０８に進め、現時点におけるドライバは、身体反応が発生していないと判定する。ただし、一定条件を満たす身体反応の有無判定を、身体反応レベルに基づいて行ってもよいし、身体反応確率及び身体反応レベルの両方に基づいて行ってもよい。
　図１８は、誘目刺激パラメータ補正部１１５における処理を示すフローチャートである。処理ステップＳ７０１において、誘目刺激パラメータ補正部１１５は、メモリ１０３に記憶されている誘目刺激履歴データから履歴を取得し、処理を処理ステップＳ７０２に進める。
　処理ステップＳ７０２において、誘目刺激パラメータ補正部１１５は、処理ステップＳ７０１で取得した履歴の中で、ドライバ３０に視覚刺激を原因とする身体反応を発生させる可能性がある誘目刺激画像が存在するか否かを判定する。このとき、対象物データの身体反応フラグがオンとなっている誘目刺激画像は、既に補正処理が行われているため、判定処理から除外される。
　視覚刺激を原因とする身体反応を発生させる可能性の算出は、誘目刺激画像の発生時点から現時点までの経過時間と、複数区分の各データを用いたときに誘目刺激画像の提示後からの経過時間別に身体反応を発生させる確率を示す確率分布とによって行われる。
　図１９（ａ）から（ｃ）は、第１区分、第２区分、第３区分の身体データ（身体情報）に対する身体反応の発生確率分布を用いて、身体反応を発生させる可能性のある誘目刺激画像の判定処理を示す説明図である。
　図１９（ａ）から（ｃ）において、身体反応の発生確率分布を示す曲線８０１、８０２、８０３は、それぞれ第１区分、第２区分、第３区分の身体データに対する身体反応の発生確率分布を示す。図１９（ａ）から（ｃ）において、横軸は、誘目刺激画像（例えば、６０）の提示開始時刻ｔ０からの経過時間（秒）を示し、縦軸は、各時刻における身体反応の発生確率、すなわち、身体反応の発生頻度（％）を示す。また、ｔ１及びｔ２は、それぞれ提示開始時刻ｔ０からの経過時間を示す。誘目刺激画像＃１は、誘目刺激画像（例えば、６０）の提示開始時刻ｔ０から時間ｔ１経過した時点における誘目刺激画像である。誘目刺激画像＃２は、誘目刺激画像（例えば、６０）の提示開始時刻ｔ０から時間ｔ２経過した時点における誘目刺激画像である。
　図１９（ａ）から（ｃ）において、ｔ１における誘目刺激画像＃１に対する、第１区分、第２区分、第３区分の身体データの身体反応の発生確率をＰａ（ｔ１）、Ｐｂ（ｔ１）、Ｐｃ（ｔ１）と表す。ｔ２における誘目刺激画像＃２に対する、第１区分、第２区分、第３区分の身体データの身体反応の発生確率をＰａ（ｔ２）、Ｐｂ（ｔ２）、Ｐｃ（ｔ２）と表す。
　図１９（ａ）から（ｃ）の例では、Ｐａ（ｔ１）＜Ｐａ（ｔ２）、Ｐｂ（ｔ１）＜Ｐｂ（ｔ２）、Ｐｃ（ｔ１）＜Ｐｃ（ｔ２）である。図１９（ａ）から（ｃ）の例では、誘目刺激画像＃１が原因でドライバ３０の身体反応が発生した確率Ｐａ（ｔ１）、Ｐｂ（ｔ１）、Ｐｃ（ｔ１）より、誘目刺激画像＃２が原因でドライバ３０に身体反応が発生した確率Ｐａ（ｔ２）、Ｐｂ（ｔ２）、Ｐｃ（ｔ２）が高い。
　誘目刺激パラメータ補正部１１５は、例えば、閾値Ｔｈを用いて、
Ｐａ（ｔ１）＋Ｐｂ（ｔ１）＋Ｐｃ（ｔ１）＜Ｔｈが成立する場合に、誘目刺激画像＃１は、現時点でドライバに発生している身体反応の原因ではないと判定し、
Ｔｈ＜Ｐａ（ｔ２）＋Ｐｂ（ｔ２）＋Ｐｃ（ｔ２）が成立する場合に、誘目刺激画像＃２は、現時点でドライバに発生している身体反応の原因であると判定する。
　誘目刺激パラメータ補正部１１５は、以上のような方法で、身体反応を発生させた原因となったと考えられる誘目刺激画像の有無判定を行う。誘目刺激パラメータ補正部１１５は、誘目刺激画像が存在しない場合には（Ｓ７０２においてＮＯ）、表示パラメータの補正処理を終了し、誘目刺激画像が存在する場合には（Ｓ７０２においてＹＥＳ）、処理を処理ステップＳ７０３に進める。
　処理ステップＳ７０３において、誘目刺激パラメータ補正部１１５は、身体反応計測部１１４の計測結果を用いて現時点のドライバに身体反応が有るか否かを判定する。誘目刺激パラメータ補正部１１５は、一定条件を満たす身体反応が有る場合には（Ｓ７０３においてＹＥＳ）、処理を処理ステップＳ７０６に進め、一定条件を満たす身体反応が無い場合には（Ｓ７０３においてＮＯ）、処理を処理ステップＳ７０４に進める。
　処理ステップＳ７０４において、誘目刺激パラメータ補正部１１５は、処理ステップＳ７０２で身体反応を発生させる可能性がある誘目刺激画像がある場合、その時点における誘目刺激画像がドライバに対して与える視覚刺激の強度が不適切であり、視覚刺激の強度を上げる必要があると判定する。そこで本処理では、処理ステップＳ７０２で身体反応を発生させる可能性がある誘目刺激画像と判定された誘目刺激画像の中から表示パラメータの補正に用いるべき対象を選択する。
　処理ステップＳ７０４における選択方法としては、処理ステップＳ７０２で算出した誘目刺激画像の身体反応確率の値に対する閾値を用いる方法がある。この閾値は、処理ステップＳ７０２の場合と同じ閾値Ｔｈでもよく、或いは、異なる閾値であってもよい。誘目刺激パラメータ補正部１１５は、処理ステップＳ７０４の完了後に、処理を処理ステップＳ７０５に進める。
　処理ステップＳ７０５において、誘目刺激パラメータ補正部１１５は、今後生成される誘目刺激画像に対してドライバが知覚しやすいように、すなわち、ドライバが視覚刺激をより強く感じやすいように、誘目刺激画像の表示パラメータを調整する。誘目刺激パラメータ補正部１１５は、例えば、ドライバが知覚しやすいように表示パラメータを調整する場合には、誘目刺激画像の顕著性が高くなる、誘目刺激画像のサイズが大きくなるように表示パラメータを調整する。また、誘目刺激パラメータ補正部１１５は、ドライバが対象物に対する意識を持ちやすいよう表示パラメータを調整する場合には、誘目刺激画像の移動速度Ｓを速くする、又は移動時間Ｔ１を長くするなどである。また、誘目刺激パラメータ補正部１１５は、ドライバが対象物に対する意識を持ちやすいよう表示パラメータを調整する場合には、図１０で例示した重み値を大きくするように調整してもよい。
　また、誘目刺激パラメータ補正部１１５は、ドライバが対象物に対する意識を持ちやすいよう表示パラメータを調整する場合には、誘目刺激画像の移動方向を調整してもよい。図２０は、図９で示す対象物５０に対する誘目刺激画像の初期座標６０ａに対する移動方向の調整例を示す図である。処理ステップＳ７０５において、誘目刺激パラメータ補正部１１５は、ドライバが感じる視覚刺激を増加させるために、誘目刺激画像がより車両１０の位置に近い位置に接近するような視覚刺激に変更することである。具体的には、車両１０の位置１０ａよりも車両１０に近い座標１０ｃを車両１０の位置と想定し、誘目刺激画像の初期座標を座標６０ｃとすることである。このように誘目刺激画像の初期座標を調整することで、誘目刺激画像が、より一層、車両１０に向かってくる度合が強まり、身体反応レベルが高くなることが期待される。
　誘目刺激パラメータ補正部１１５は、処理ステップＳ７０５における表示パラメータの補正処理を完了した後に、処理を終了する。
　処理ステップＳ７０６において誘目刺激パラメータ補正部１１５は、ドライバ３０が誘目刺激画像から過度の視覚刺激を受けているか否かを判定し、過度の視覚刺激を受けている場合には（Ｓ７０６においてＹＥＳ）、処理を処理ステップＳ７０７に進め、受けていない場合には（Ｓ７０６においてＮＯ）、処理を処理ステップＳ７０９に進める。誘目刺激パラメータ補正部１１５は、例えば、処理ステップＳ７０２で判定された誘目刺激画像によって期待される身体反応レベルから、どの程度上回る身体反応レベルが現在のドライバから得られているかに基づいて、判定を行う。例えば、誘目刺激パラメータ補正部１１５は、身体反応レベルが予め決められた閾値（第２の閾値）以上となっている場合に、誘目刺激画像から過度の視覚刺激を受けていると判定する。
　処理ステップＳ７０７において誘目刺激パラメータ補正部１１５は、処理ステップＳ７０４における処理と同様の処理を行い、処理完了後に、処理を処理ステップＳ７０８に進める。
　処理ステップＳ７０８において誘目刺激パラメータ補正部１１５は、処理ステップＳ７０５とは逆に、次に生成される誘目刺激画像に対して、ドライバが知覚しにくくなるように、又は、ドライバが視覚刺激を感じにくくなるように、誘目刺激画像の表示パラメータを調整する。例えば、誘目刺激パラメータ補正部１１５は、ドライバが知覚しにくくなるように誘目刺激画像の表示パラメータを調整する場合には、誘目刺激画像の顕著性を低くする、又は、誘目刺激画像のサイズが小さくなるように表示パラメータの調整を行う。誘目刺激パラメータ補正部１１５は、ドライバが視覚刺激を感じにくくなるように誘目刺激画像の表示パラメータを調整する場合には、誘目刺激画像の移動速度Ｓを遅くする又は移動時間Ｔ１を長くするなどである。また、誘目刺激パラメータ補正部１１５は、ドライバが対象物に対する意識を持ちやすいよう表示パラメータを調整する場合には、図１０で例示した重み値を小さくするように調整してもよい。
　さらに、誘目刺激画像の移動方向を調整することである。図２０は、図９で示す誘目視対象５０に対する誘目刺激画像の初期座標６０ａに対する移動方向の調整例を示す図である。処理ステップＳ７０８において誘目刺激パラメータ補正部１１５は、誘目刺激画像による視覚刺激を感じにくくするように調整するため、誘目刺激画像がより車両１０の位置から遠い位置に接近するような視覚刺激に変更することができる。具体的には、誘目刺激パラメータ補正部１１５は、車両１０の位置１０ａよりも車両１０から遠い座標１０ｂを車両位置とし、誘目刺激画像の初期座標を座標６０ｂとする方法を採用してもよい。
　上記の方法は、車両１０の進行方向に対して垂直方向に車両位置を移動させて処理しているが、水平方向に移動させる方法もある。具体的には、座標１０ａを車両位置として誘目刺激画像の初期座標を座標６０ａとすることで、車両に向かって移動する度合を弱めることができる。
　このように誘目刺激画像の初期座標を調整することで誘目刺激画像がより車両１０に向かってくる度合が弱まり、身体反応レベルが低くなることが期待される。
　誘目刺激パラメータ補正部１１５は、処理ステップＳ７０８の後に、表示パラメータの補正完了後に、処理を処理ステップＳ７０９に進める。処理ステップＳ７０９において、誘目刺激パラメータ補正部１１５は、処理ステップＳ７０２で判定された誘目刺激画像に対応する対象物のデータの身体反応フラグをオンに設定し、処理を終了する。
　図２１（ａ）～（ｅ）は、図１３に示す前方画像が取得されたときにおける誘目刺激画像６３の表示例を示す。図２１（ａ）～（ｅ）は、図１４（ａ）～（ｅ）に示す誘目刺激画像６０を提示した後、誘目刺激パラメータ補正部１１５の処理ステップＳ７０５によって誘目刺激画像の表示パラメータが補正され、より強調された誘目刺激画像６３が表示された例を示す。
　図２１（ａ）～（ｅ）の例では、誘目刺激画像６３の顕著性を上げるために、枠の太さを太くすると共に、身体反応レベルを上げるため、誘目刺激画像６３の移動速度Ｓを上げた場合の提示例である。
　図２１（ａ）に示されるように、初期誘目刺激フレームで提示される誘目刺激画像６３は、図１４（ａ）における初期誘目刺激フレームで提示される誘目刺激画像６０よりも遠い位置に表示されている。
　また、図２１（ｂ）に示されるように、初期誘目刺激フレームで提示される誘目刺激画像６３は、図１４（ｂ）における初期誘目刺激フレームで提示される誘目刺激画像６０よりも遠い位置に表示されている。
　Ｔ－Ｔ０＝Ｔ１が成立した時点では、図２１（ｃ）に示されるように、誘目刺激画像６３は対象物５０に重畳しており、図１４（ｃ）に示されるように、誘目刺激画像６０は対象物５０に重畳している。つまり、図２１（ａ）～（ｃ）の場合は、より遠い位置から誘目刺激画像６３を移動させているので、誘目刺激画像６３の移動速度がより速くなり、ドライバにとっては、より早く車両１０に迫る視覚刺激となるため、身体反応レベルが高くなることが期待できる。
　なお、図２１（ａ）～（ｅ）に示される誘目刺激画像６３を提示した後に、誘目刺激パラメータ補正部１１５の処理ステップＳ７０８によって誘目刺激画像６３の表示パラメータが抑制する場合に、図１４（ａ）～（ｅ）に示される誘目刺激画像６０を提示してもよい。
　図２２（ａ）～（ｅ）は、図１４（ａ）～（ｅ）に示す誘目刺激画像６０を提示した後、誘目刺激パラメータ補正部１１５の処理ステップＳ７０８によって誘目刺激画像６４の視覚刺激を抑制するように表示パラメータを調整した場合の例を示す。
　図２２（ａ）～（ｅ）の例では、身体反応レベルを下げる方向の調整を行うため、誘目刺激画像６４の移動方向を車両１０に向かう方向からずらす調整を行った例である。調整の具体例としては、図２０に示す誘目刺激画像の初期座標を座標１０ｄとした場合を想定している。
　図２２（ａ）～（ｃ）を、図１４（ａ）～（ｃ）と比較すると、初期誘目刺激フレーム、Ｔ－Ｔ０＜Ｔ１の誘目刺激フレーム、Ｔ－Ｔ０＝Ｔ１の誘目刺激フレームにおいて、図２２（ａ）～（ｃ）の誘目刺激画像６４は、図１４（ａ）～（ｃ）の誘目刺激画像６０と比べて、車両１０に向かってくる度合が弱く提示されている。つまり、図１４（ａ）～（ｃ）の誘目刺激画像６０の移動方向は道路を横切る方向に移動して車両１０に近づいて来るが、図２２（ａ）～（ｃ）の誘目刺激画像６４の移動方向は道路に沿うように移動して車両１０に近づいて来る。
　なお、図２２（ａ）～（ｅ）に示される誘目刺激画像６４を提示した後に、誘目刺激パラメータ補正部１１５の処理ステップＳ７０５によって誘目刺激画像６３の表示パラメータを強化する場合に、図１４（ａ）～（ｅ）に示される誘目刺激画像６０を提示してもよい。
《３》効果
　本実施の形態に係る運転支援装置１００によれば、誘目刺激画像６０～６４により車両１０のドライバ３０の視線を対象物５０（例えば、歩行者５１）に誘導することができる。
　また、本実施の形態に係る運転支援装置１００によれば、ドライバ３０は、対象物５０より遠い位置から対象物５０に向けて移動する誘目刺激画像６０～６４、すなわち、車両１０に向けて近づく誘目刺激画像６０～６４により、疑似的に衝突可能性の意識を持つことができる。このため、ドライバ３０は自身の注意力で対象物を知覚しようとする意識の低下を防ぐことができる。言い換えれば、本実施の形態に係る運転支援装置１００によれば、車両１０を運転中のドライバ３０は、誘目刺激画像６０～６４によって疑似的に対象物が近づいてくる体験をするので、ドライバ３０に、注意力の低下を自発的に防止しようとする意識を持たせることができる。
　さらに、本実施の形態に係る運転支援装置１００によれば、対象物を強調表示するまでの移動時間Ｔ１を設けているので、ドライバ３０に強い視覚刺激による過度の危機意識を持たせることを防ぐことができる。
　また、本実施の形態に係る運転支援装置１００によれば、対象物に重ねて誘目刺激画像６０～６４を重畳して表示する重畳時間Ｔ２を設定しているので、ドライバ３０が実際に誘目刺激画像６０～６４に反応して視線移動させたとき又はその直後に、誘目刺激画像６０～６４が消失する。このため、ドライバ３０は、視線移動直後には、主に対象物５０のみを視認することになり、ドライバ３０に違和感を与えない効果もある。
　さらに、本実施の形態に係る運転支援装置１００によれば、ドライバが感じる視覚刺激の強さに応じて、誘目刺激画像６０～６４の強度を調整することができる。その結果、ドライバに、適切な視覚刺激を提供できる効果がある。
　１０　車両、　２２　ウィンドシールド、　３０　ドライバ、　４０　道路、　４１　車道、　５０　対象物、　５１　歩行者（対象物）、　６０～６４　誘目刺激画像、　１００　運転支援装置、　１０１　制御部、　１０２　プロセッサ、　１０３　メモリ、　１０４　画像処理プロセッサ、　１０５　カメラ（周辺検出部）、　１０６　視点センサ、　１０７　表示器、　１０８　生体センサ、　１０９　身体情報取得部、　１１０　ＣＡＮインタフェース、　１１１　対象物判定部、　１１２　誘目刺激画像生成部、　１１３　表示制御部、　１１４　身体反応計測部、　１１５　誘目刺激パラメータ補正部、　１１６　補正部。

Claims (13)

  1. 　車両のドライバの運転を支援する運転支援装置であって、
    　前記車両の周辺に存在する実物体を撮影又は検出する周辺検出部によって取得された周辺情報から、前記車両の周辺に存在し前記ドライバが注意すべき実物体である対象物を判定する対象物判定部と、
    　前記対象物より遠方の位置から前記対象物が存在する位置に向けて移動するように見える誘目刺激画像を生成する誘目刺激画像生成部と、
    　前記実物体に重ねて画像を表示する表示器に前記誘目刺激画像を表示させる表示制御部と、
    　前記ドライバの身体情報を取得する身体情報取得部から身体情報を受け取り、前記身体情報から前記ドライバが感じる視覚刺激に対する身体反応を示す値を算出し、前記身体反応を示す値に基づいて前記誘目刺激画像が前記ドライバに与える視覚刺激の程度を変更するように前記誘目刺激画像の表示状態を決める表示パラメータを補正する補正部と、
    　を有することを特徴とする運転支援装置。
  2. 　前記誘目刺激画像生成部は、前記対象物より遠方の位置から前記誘目刺激画像の移動を開始させ、前記対象物が存在する位置で前記誘目刺激画像の移動を終了させることを特徴とする請求項１に記載の運転支援装置。
  3. 　前記身体反応を示す値は、前記身体反応が有る確率を示す身体反応確率及び前記身体反応の程度を示す身体反応レベルの少なくとも一方を含むことを特徴とする請求項１又は２に記載の運転支援装置。
  4. 　前記補正部は、前記身体反応を示す値が予め決められた第１の閾値以上である場合に、前記誘目刺激画像が前記ドライバに与える前記視覚刺激を軽減するように前記表示パラメータを補正することを特徴とする請求項１から３のいずれか１項に記載の運転支援装置。
  5. 　前記補正部は、前記身体反応を示す値が予め決められた第２の閾値未満である場合に、前記誘目刺激画像が前記ドライバに与える前記視覚刺激を強化するように前記表示パラメータを補正することを特徴とする請求項１から４のいずれか１項に記載の運転支援装置。
  6. 　前記補正部は、前記身体反応を示す値が予め決められた第２の閾値未満である場合に、前記表示パラメータを変更しないことを特徴とする請求項１から４のいずれか１項に記載の運転支援装置。
  7. 　前記補正部は、前記ドライバの顔の表情、筋緊張、屈筋反射、心拍数、血圧値、視線、及び運転行動の内のいずれか１つ以上の変化を計測した結果に基づいて、前記身体反応を示す値を算出する身体反応計測部を有することを特徴とする請求項１から６のいずれか１項に記載の運転支援装置。
  8. 　前記補正部は、前記誘目刺激画像が提示された時点から前記ドライバの身体情報の変化が現われるまでの経過時間を用いて、前記ドライバが視覚刺激を感じた誘目刺激画像を判定し、当該誘目刺激画像の前記表示パラメータを補正することを特徴とする請求項１から７のいずれか１項に記載の運転支援装置。
  9. 　前記補正部は、
    　前記誘目刺激画像が提示されたときにおける前記ドライバの視点ベクトルに基づいて、前記視点ベクトルに対応する重み値を決定し、
    　前記表示パラメータを補正に際し、前記重み値を用いる
    　ことを特徴とする請求項１から８のいずれか１項に記載の運転支援装置。
  10. 　前記補正部は、前記表示パラメータの調整を、前記誘目刺激画像の移動速度、移動距離、移動方向、及び視点ベクトルに基づく重み値の内の１つ以上を用いて行うことを特徴とする請求項１から９のいずれか１項に記載の運転支援装置。
  11. 　前記補正部は、
    　前記誘目刺激画像による視覚刺激を強化する場合、前記誘目刺激画像の移動速度を上げる、前記誘目刺激画像の移動距離を長くする、前記誘目刺激画像の移動方向を車両に向かう方向に近づける内の１つ以上を実行し、
    　前記誘目刺激画像による視覚刺激を抑制する場合、前記誘目刺激画像の移動速度を下げる、前記誘目刺激画像の移動距離を短くする、前記誘目刺激画像の移動方向を車両から離れた位置に向かう方向に近づける内の１つ以上を実行する
    ことを特徴とする請求項１から１０のいずれか１項に記載の運転支援装置。
  12. 　車両のドライバの運転を支援する運転支援方法であって、
    　前記車両の周辺に存在する実物体を撮影又は検出する周辺検出部によって取得された周辺情報から、前記車両の周辺に存在し前記ドライバが注意すべき実物体である対象物を判定するステップと、
    　前記対象物より遠方の位置から前記対象物が存在する位置に向けて移動するように見える誘目刺激画像を生成するステップと、
    　前記実物体に重ねて画像を表示する表示器に前記誘目刺激画像を表示させるステップと、
    　前記ドライバの身体情報を取得する身体情報取得部から身体情報を受け取り、前記身体情報から前記ドライバが感じる視覚刺激に対する身体反応を示す値を算出し、前記身体反応を示す値に基づいて前記誘目刺激画像が前記ドライバに与える視覚刺激の程度を変更するように前記誘目刺激画像の表示状態を決める表示パラメータを補正するステップと、
    　を有することを特徴とする運転支援方法。
  13. 　車両のドライバの運転を支援するための運転支援プログラムであって、
    　前記車両の周辺に存在する実物体を撮影又は検出する周辺検出部によって取得された周辺情報から、前記車両の周辺に存在し前記ドライバが注意すべき実物体である対象物を判定する処理と、
    　前記対象物より遠方の位置から前記対象物が存在する位置に向けて移動するように見える誘目刺激画像を生成する処理と、
    　前記実物体に重ねて画像を表示する表示器に前記誘目刺激画像を表示させる処理と、
    　前記ドライバの身体情報を取得する身体情報取得部から身体情報を受け取り、前記身体情報から前記ドライバが感じる視覚刺激に対する身体反応を示す値を算出し、前記身体反応を示す値に基づいて前記誘目刺激画像が前記ドライバに与える視覚刺激の程度を変更するように前記誘目刺激画像の表示状態を決める表示パラメータを補正する処理と、
    　をコンピュータに実行させることを特徴とする運転支援プログラム。
PCT/JP2018/009410 2018-03-12 2018-03-12 運転支援装置、運転支援方法、及び運転支援プログラム WO2019175922A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201880090778.2A CN111886154A (zh) 2018-03-12 2018-03-12 驾驶辅助装置、驾驶辅助方法和驾驶辅助程序
PCT/JP2018/009410 WO2019175922A1 (ja) 2018-03-12 2018-03-12 運転支援装置、運転支援方法、及び運転支援プログラム
JP2020505560A JP6739681B2 (ja) 2018-03-12 2018-03-12 運転支援装置、運転支援方法、及び運転支援プログラム
DE112018007056.5T DE112018007056T5 (de) 2018-03-12 2018-03-12 Fahrunterstützungsvorrichtung, Fahrunterstützungsverfahren und Fahrunterstützungsprogramm
US17/012,804 US11386585B2 (en) 2018-03-12 2020-09-04 Driving support device, driving support method, and storage medium storing driving support program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/009410 WO2019175922A1 (ja) 2018-03-12 2018-03-12 運転支援装置、運転支援方法、及び運転支援プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/012,804 Continuation US11386585B2 (en) 2018-03-12 2020-09-04 Driving support device, driving support method, and storage medium storing driving support program

Publications (1)

Publication Number Publication Date
WO2019175922A1 true WO2019175922A1 (ja) 2019-09-19

Family

ID=67907499

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/009410 WO2019175922A1 (ja) 2018-03-12 2018-03-12 運転支援装置、運転支援方法、及び運転支援プログラム

Country Status (5)

Country Link
US (1) US11386585B2 (ja)
JP (1) JP6739681B2 (ja)
CN (1) CN111886154A (ja)
DE (1) DE112018007056T5 (ja)
WO (1) WO2019175922A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021085414A1 (ja) * 2019-10-31 2021-05-06 株式会社Ｊｖｃケンウッド 運転支援装置、評価装置、運転支援方法、及び運転支援プログラム
JP2021077134A (ja) * 2019-11-11 2021-05-20 マツダ株式会社 車両制御装置および運転者状態判定方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115220227A (zh) * 2022-04-18 2022-10-21 长城汽车股份有限公司 一种增强现实抬头显示方法、装置及终端设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0761257A (ja) * 1993-08-26 1995-03-07 Nissan Motor Co Ltd 車両用表示装置
JP2009051338A (ja) * 2007-08-27 2009-03-12 Mazda Motor Corp 車両用運転支援装置
WO2017013739A1 (ja) * 2015-07-21 2017-01-26 三菱電機株式会社 表示制御装置、表示装置および表示制御方法
JP2017187955A (ja) * 2016-04-06 2017-10-12 株式会社デンソー 視線誘導装置

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003291688A (ja) * 2002-04-03 2003-10-15 Denso Corp 表示方法、運転支援装置、プログラム
DE102005062151B4 (de) * 2005-12-22 2007-09-13 Daimlerchrysler Ag Verfahren und Vorrichtung zur Unterstützung eines Fahrzeugführers bei der Passage von Fahrwegverengungen
EP2401963B1 (en) * 2009-10-15 2016-09-14 Panasonic Intellectual Property Management Co., Ltd. Driving attention amount determination device, method, and computer program
US8947219B2 (en) * 2011-04-22 2015-02-03 Honda Motors Co., Ltd. Warning system with heads up display
JP5406328B2 (ja) 2012-03-27 2014-02-05 株式会社デンソーアイティーラボラトリ 車両用表示装置、その制御方法及びプログラム
JP5492962B2 (ja) 2012-09-28 2014-05-14 富士重工業株式会社 視線誘導システム
JP2014099105A (ja) 2012-11-15 2014-05-29 Toyota Central R&D Labs Inc 視線誘導装置及びプログラム
DE102014216208A1 (de) * 2014-08-14 2016-02-18 Robert Bosch Gmbh Verfahren und eine Vorrichtung zum Bestimmen einer Reaktionszeit eines Fahrzeugführers
US11257370B2 (en) * 2018-03-19 2022-02-22 Derq Inc. Early warning and collision avoidance

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0761257A (ja) * 1993-08-26 1995-03-07 Nissan Motor Co Ltd 車両用表示装置
JP2009051338A (ja) * 2007-08-27 2009-03-12 Mazda Motor Corp 車両用運転支援装置
WO2017013739A1 (ja) * 2015-07-21 2017-01-26 三菱電機株式会社 表示制御装置、表示装置および表示制御方法
JP2017187955A (ja) * 2016-04-06 2017-10-12 株式会社デンソー 視線誘導装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021085414A1 (ja) * 2019-10-31 2021-05-06 株式会社Ｊｖｃケンウッド 運転支援装置、評価装置、運転支援方法、及び運転支援プログラム
JP2021077134A (ja) * 2019-11-11 2021-05-20 マツダ株式会社 車両制御装置および運転者状態判定方法
JP7342636B2 (ja) 2019-11-11 2023-09-12 マツダ株式会社 車両制御装置および運転者状態判定方法

Also Published As

Publication number Publication date
JPWO2019175922A1 (ja) 2020-08-20
DE112018007056T5 (de) 2020-10-22
US20200402267A1 (en) 2020-12-24
JP6739681B2 (ja) 2020-08-12
CN111886154A (zh) 2020-11-03
US11386585B2 (en) 2022-07-12

Similar Documents

Publication Publication Date Title
JP6343808B2 (ja) 視野算出装置および視野算出方法
JP6113440B2 (ja) 乗り物の操作者の視覚的入力
US10298911B2 (en) Visualization of spatial and other relationships
JP6666892B2 (ja) 運転支援装置及び運転支援方法
US11386585B2 (en) Driving support device, driving support method, and storage medium storing driving support program
JP2013009825A (ja) 視認負荷量推定装置、運転支援装置、および視認負荷量推定プログラム
JP2019043496A (ja) 自動運転調整装置、自動運転調整システム、及び自動運転調整方法
US7599546B2 (en) Image information processing system, image information processing method, image information processing program, and automobile
JP2008237625A (ja) 見え方度判定装置
CN113276821B (zh) 驾驶员状态推断装置
WO2018158950A1 (ja) 作業適性判定装置、作業適性判定方法、及び作業適性判定プログラム
CN113276822A (zh) 驾驶员状态推断装置
US11004273B2 (en) Information processing device and information processing method
JP7342637B2 (ja) 車両制御装置および運転者状態判定方法
JP7342636B2 (ja) 車両制御装置および運転者状態判定方法
US10602116B2 (en) Information processing apparatus, information processing method, and program for performing display control
JP6739682B2 (ja) 運転支援装置、運転支援方法、及び運転支援プログラム
KR100651104B1 (ko) 시선기반 컴퓨터 인터페이스 장치 및 방법
CN116228748B (zh) 一种基于眼动追踪的平衡功能分析方法和系统
US20220049947A1 (en) Information processing apparatus, information processing method, and recording medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18909923

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020505560

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 18909923

Country of ref document: EP

Kind code of ref document: A1