WO2016067545A1 - 注視誘導装置 - Google Patents

注視誘導装置 Download PDF

Info

Publication number
WO2016067545A1
WO2016067545A1 PCT/JP2015/005229 JP2015005229W WO2016067545A1 WO 2016067545 A1 WO2016067545 A1 WO 2016067545A1 JP 2015005229 W JP2015005229 W JP 2015005229W WO 2016067545 A1 WO2016067545 A1 WO 2016067545A1
Authority
WO
WIPO (PCT)
Prior art keywords
guidance device
gaze guidance
risk factor
display area
change width
Prior art date
Application number
PCT/JP2015/005229
Other languages
English (en)
French (fr)
Inventor
近藤　敏之
英一 奥野
克則 安部
啓介 蜂須賀
佐藤　洋一
竜 米谷
裕介 菅野
晃平 岡
晃宏 杉本
Original Assignee
株式会社デンソー
国立大学法人 東京大学
大学共同利用機関法人情報・システム研究機構
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社デンソー, 国立大学法人 東京大学, 大学共同利用機関法人情報・システム研究機構 filed Critical 株式会社デンソー
Publication of WO2016067545A1 publication Critical patent/WO2016067545A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • This disclosure relates to a gaze guidance device.
  • One of the objects of the present disclosure is to provide a gaze guidance device that can solve the above-described problems.
  • a gaze guidance device calculates saliency at a plurality of positions in an image, an image acquisition unit that acquires an image ahead of the host vehicle, a latent risk factor detection unit that detects a latent risk factor in the image.
  • a brightness change width setting unit for setting a brightness change width based on the degree of difference between the saliency calculation unit, the standard saliency determined from the saliency at a plurality of positions, and the saliency at the position of the latent risk factor;
  • a display unit for displaying a display area including at least a part of the potential risk factor in the image at a position on the windshield of the host vehicle and in the direction of the potential risk factor as viewed from the driver of the host vehicle.
  • the display unit sets the luminance of the display area to be displayed to the luminance changed according to the luminance change width in at least a part of the time zone during display.
  • This gaze guidance device can display the display area at a position in the direction of the latent risk factor as seen from the driver of the host vehicle. As a result, the driver's line of sight can be guided to a potential risk factor.
  • this gaze guidance device sets the brightness change width based on the degree of difference between the standard saliency and the saliency at the position of the latent risk factor. Then, the luminance of the display area is changed according to the luminance change width. Therefore, even if the image ahead of the host vehicle has a portion with high saliency other than the latent risk factor, the brightness of the display area can be sufficiently increased and the driver's line of sight can be guided to the latent risk factor.
  • FIG. 1 is a block diagram illustrating a configuration of a gaze guidance device.
  • FIG. 2 is a flowchart illustrating processing executed by the gaze guidance device.
  • FIG. 3 is an explanatory diagram illustrating a detection example of a latent risk factor.
  • FIG. 4 is an explanatory diagram illustrating a calculation example of saliency.
  • FIG. 5 is an explanatory diagram illustrating an example of a latent risk factor and a display area.
  • 6A is a graph showing the transition of the R value before the luminance change in the display area
  • FIG. 6B is a graph showing the transition of the multiplier to be multiplied for the luminance change.
  • FIG. 8A is an explanatory diagram illustrating an example of a latent risk factor and a display area.
  • FIG. 8B is an explanatory diagram illustrating another example of the latent risk factor and the display area.
  • FIG. 8C is an explanatory diagram illustrating another example of the latent risk factor and the display area.
  • the gaze guidance device 1 is an in-vehicle device mounted on a vehicle.
  • the vehicle on which the gaze guidance device 1 is mounted is assumed to be the host vehicle.
  • the gaze guidance device 1 is obtained by installing a program for executing processing to be described later on a known computer.
  • the gaze guidance device 1 functionally includes an image acquisition unit 3, a latent risk factor detection unit 5, a saliency calculation unit 7, a luminance change width setting unit 9, a display unit 11, and a driver state detection unit 13. The processing executed by each unit will be described later.
  • the driver state detection unit 13 also functions as a viewpoint acquisition unit and an alarm output unit.
  • the host vehicle includes a traveling environment camera 15, a face camera 17, a speaker 19, a head-up display 21, a speed sensor 23, and a laser radar 25.
  • the traveling environment camera 15 captures the front of the host vehicle and outputs image data to the image acquisition unit 3.
  • the face camera 17 captures the face of the driver of the host vehicle and outputs image data to the driver state detection unit 13.
  • the speaker 19 is installed in the passenger compartment of the host vehicle and generates an alarm sound in response to an instruction from the driver state detection unit 13.
  • the head-up display 21 projects an image on the windshield of the host vehicle.
  • the image projected on the windshield as viewed from the driver of the host vehicle is displayed superimposed on the scenery in front of the host vehicle.
  • Image data displayed by the head-up display 21 is sent from the display unit 11.
  • the head-up display 21 adjusts the image display position according to the detection result of the driver state detection unit 13. Details will be described later.
  • the speed sensor 23 detects the speed of the host vehicle and outputs it to the display unit 11.
  • the laser radar 25 detects the distance to an object (including a potential danger factor described later) existing in front of the host vehicle and the direction of the object with reference to the host vehicle, and the detection result is displayed on the display unit 11. Output.
  • the image acquisition unit 3 acquires an image of the front of the host vehicle (hereinafter referred to as a driving environment image) from the driving environment camera 15.
  • the latent risk factor detection unit 5 detects the potential risk factor in the traveling environment image acquired in S1.
  • Known hypothetical reasoning is used to detect latent risk factors.
  • Hypothetical reasoning is a method for obtaining a potential risk factor that is most likely to occur based on a traffic situation detection result and a traffic knowledge database. Below, the detection method of the latent risk factor by hypothesis reasoning is demonstrated concretely.
  • the latent risk factor detection unit 5 detects the traffic situation from the driving environment image.
  • the traffic situation for example, in the driving environment image 101 shown in FIG. 3, (O1) there is an intersection in front of the own vehicle, (O2) there is a stop line before the intersection, (O3) the own vehicle There are pedestrians in the left front, (O4) there is a pedestrian crossing, and so on.
  • the latent risk factor detection unit 5 has a knowledge database about traffic in advance.
  • knowledge stored in the knowledge database for example, (K1) Among non-priority roads, there is a stop line at a position immediately before the intersection, (K2) priority roads have a lot of traffic, (K3) Pedestrians are traffic participants, (K4) Vehicles are traffic participants, (K5) Traffic participants change the direction of travel at intersections, (K6) Pedestrians cross roads with low traffic volume, ( K8) Pedestrians who cross the vicinity of the host vehicle are dangerous.
  • the latent risk factor detection unit 5 makes an inference from the traffic situation and / or the knowledge. Further, if necessary, the latent risk factor detection unit 5 performs further inference based on one or more selected from the traffic information, the knowledge, and the inference result. As a result, a potential risk factor that is most likely to occur is detected.
  • (D3) the pedestrian changes the direction of travel.
  • (D4) the pedestrian crosses the traveling path of the host vehicle.
  • (R1) a pedestrian crosses near the own vehicle as a potential danger that is most likely to occur.
  • a pedestrian 105 see FIG. 3) existing in the vicinity of the road 103 on which the host vehicle is traveling is detected as a potential risk factor.
  • the latent risk factor detection unit 5 determines whether or not a latent risk factor has been detected in S2. When it detects, it progresses to S4, and when this is not detected, this process is complete
  • the saliency calculation unit 7 calculates saliency at a plurality of positions in the traveling environment image acquired in S1.
  • a calculation example of saliency is shown in FIG.
  • the saliency calculating unit 7 calculates saliency at each of a plurality of positions 107 in the traveling environment image 101. All the pixels of the driving environment image 101 may be set as the position 107, or some pixels selected from all the pixels may be set as the position 107.
  • the positions 107 are preferably distributed over the entire driving environment image 101, and the number of the positions 107 is sufficiently large (for example, several tens or more, preferably several hundreds or more, more preferably several thousand or more). Preferably there is.
  • the saliency calculation unit 7 also calculates saliency even at the position 109 belonging to the latent risk factor 105 in the driving environment image 101. There may be one or a plurality of positions 109 in one potential risk factor 105. Hereinafter, the saliency at the position 109 is referred to as a latent risk factor saliency Kd . When a plurality of positions 109 are set in one latent risk factor 105, an average value of saliency at the plurality of positions 109 is set as a latent risk factor saliency Kd .
  • the saliency calculation unit 7 calculates a potential risk factor saliency K d for each potential risk factor 105.
  • saliency is an index indicating the ease of attracting human attention, and its calculation method has been widely studied in recent years, and there are various methods. For example, ⁇ L.Itti, C.Koch, and E.Niebur. A model of saliency-based visual attention for rapid scene analysis. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.20, No. 11, pp. 1254-1259, 1998. '' and ⁇ J. Harel, C. Koch, and P. Perona, “Graph-based visual saliency,” Advances in Neural Information Processing Systems, pp. 545-552, 2007. And the like.
  • the luminance change width setting unit 9 sets the luminance change width. Specifically, this is performed as follows. First, the plurality of positions 107 whose saliency is calculated in S4 are arranged in the order of saliency. Then, among the plurality of positions 107, counted from the highest saliency side, select the location 107 in 0.3N th, the saliency at the position 107, a reference saliency K 0. N is the total number of the plurality of positions 107.
  • the reference saliency K 0 is an example of a reference saliency determined from saliency at a plurality of positions.
  • the luminance change width setting unit 9 holds in advance a map that defines the correspondence between the saliency difference D and the brightness change width W, and the brightness change width W is set by inputting the saliency difference D into the map. can do.
  • the correspondence between the saliency difference D and the luminance change width W in the map is a relationship in which the luminance change width W increases as the saliency difference D increases.
  • the saliency difference D is an example of the degree of difference between the standard saliency K 0 and the latent risk factor saliency K d .
  • the display unit 11 creates a display area as follows. First, as shown in FIG. 5, a display area 111 including at least a part of the latent risk factor 105 is set in the driving environment image 101. That is, the display area 111 is a part of the traveling environment image 101. The display area 111 may include all of the latent risk factors 105 or a part thereof.
  • FIGS. 6 (A) to 6 (C) Specific examples are shown in FIGS. 6 (A) to 6 (C).
  • the color of the image is expressed by the RGB system.
  • the graph in FIG. 6A represents the transition of the R value before the luminance change in the display area 111 (as it is when captured by the traveling environment camera 15).
  • the graph in FIG. 6B shows the transition of the multiplier that is multiplied to change the luminance. This multiplier is greater than 1 in the time zone of 0.5 seconds and is 1 in the other time zones.
  • the waveform of the multiplier in the time zone of 0.5 seconds is a half cycle of a sin wave with a period of 1 Hz.
  • the maximum value of the multiplier is the luminance change width W calculated in S5.
  • the R value after the luminance change is larger than the R value before the luminance change in the time zone of 0.5 seconds.
  • the R value after the luminance change is W times the R value before the luminance change at the same time.
  • the G value and B value of the display area 111 similarly to the case of the R value, the G value and B value before the luminance change are multiplied by a multiplier (same as that shown in FIG. 6B). Can be obtained at
  • the display area 111 in which the R value, the G value, and the B value are changed according to the luminance change width W is created. it can.
  • the driver state detection unit 13 acquires an image obtained by photographing the driver's face from the face camera 17.
  • the driver state detection unit 13 recognizes the driver's eyes (viewpoint) in the image acquired in S7 by a known image recognition technique, and acquires the position of the viewpoint in the three-dimensional space.
  • the driver state detection unit 13 calculates a position for displaying the display area on the windshield of the host vehicle using the head-up display 21.
  • the position is a position where the display area overlaps with a potential risk factor corresponding to the display area as seen from the position of the viewpoint acquired in S8. Further, the position is a position in the direction of a potential risk factor as seen from the driver of the host vehicle.
  • the driver state detection unit 13 outputs the calculated position to the head-up display 21.
  • the driver state detection unit 13 detects the face direction of the driver based on the image acquired in S7.
  • the driver state detection unit 13 calculates the difference in angle between the face direction detected in S10 and a preset reference direction (front direction of the host vehicle). Then, it is determined whether or not the angle difference is larger than a preset threshold value. If it is greater than the threshold, the process proceeds to S12, and if it is less than the threshold, the process proceeds to S13.
  • the driver state detection unit 13 outputs an alarm to the speaker 19. At that time, the speaker 19 emits an alarm sound.
  • the display unit 13 projects the display area after the brightness change created in S6 using the head-up display 21 on the windshield.
  • the position where the display area is displayed is the position calculated by the driver state detection unit 13 and output to the head-up display 21 in S9. Therefore, from the viewpoint of the driver, the display area is in the direction of the latent risk factor corresponding to the display area, and is displayed at a position overlapping the latent risk factor.
  • the gaze guidance device 1 can display the display area at a position in the direction of the latent risk factor as viewed from the driver of the host vehicle. As a result, the driver's line of sight can be guided to a potential risk factor.
  • the guidance device 1 guides the driver's line of sight to a potential risk factor before the danger becomes apparent, the safety of the host vehicle can be further enhanced.
  • (1B) gaze induction device 1 is significantly from the reference saliency K 0 (the value as a reference in light of saliency at a plurality of positions of the traveling environment image), a value obtained by subtracting the potential hazards saliency K d Based on the sex difference D, the luminance change width W is set. Then, the luminance of the display area is changed according to the luminance change width W (larger as the absolute value of the luminance change width W is larger).
  • the driver's line of sight can be guided to the potential risk factor regardless of the level of saliency in the portion other than the potential risk factor in the driving environment image.
  • the driving environment image has a high saliency as a whole and has a high saliency other than the potential risk factor.
  • the reference saliency K 0 is increased, since the pronounced gender D and luminance change width W increases, the brightness of the display area is varied.
  • the driving environment image is highly noticeable as a whole, and even if there are places other than the risk factors, the brightness of the display area is sufficiently high, and the driver's viewpoint Can be guided to.
  • the gaze guidance apparatus 1 acquires the position of the driver's viewpoint, and displays the display area at a position overlapping with the potential risk factor as viewed from the position of the viewpoint. As a result, a shift between the position of the display area and the position of the latent risk factor can be suppressed.
  • the gaze guidance device 1 When the gaze guidance device 1 has a difference in angle between the face direction of the driver and a preset reference direction that is equal to or greater than a threshold (for example, when the driver is looking away without looking at the front) , Output an alarm. As a result, the driver can be prompted to turn his / her face in the reference direction, and the driver can be informed that a potential risk factor exists.
  • a threshold for example, when the driver is looking away without looking at the front
  • the display unit 11 may periodically change the luminance of the display area displayed on the windshield. The display area whose luminance periodically changes can more effectively guide the driver's line of sight to a potential risk factor.
  • the display area where the luminance changes periodically can be created as follows, for example.
  • the graph in FIG. 7A represents the transition of the R value before the luminance change in the display area.
  • the graph in FIG. 7B shows the transition of the multiplier to be multiplied for changing the luminance.
  • This multiplier fluctuates periodically in a time zone of 0.5 seconds.
  • This variation pattern is obtained by multiplying a half wave of a sin wave with a period of 1 Hz by a carrier wave with a period of 10 Hz. Even in this case, the maximum value of the multiplier is the luminance change width W calculated in S5.
  • the R value after the luminance change shown in FIG. 7C is multiplied by the multiplier shown in FIG. 7B to obtain the R value after the luminance change shown in FIG. 7C.
  • the luminance changes periodically in a time zone of 0.5 seconds.
  • the R value after the luminance change is W times the R value before the luminance change at the same time.
  • the G value and B value in the display area as in the case of the R value, the G value and B value before the luminance change are multiplied by a multiplier (same as shown in FIG. 7B). Obtainable.
  • the display position of the display area may be changed on the windshield during display of the display area.
  • the display area may move in the horizontal direction, the vertical direction, or the like on the windshield as viewed from the driver.
  • the mode of the movement can be, for example, a reciprocating motion centered on the position of the latent risk factor, a movement on a circular orbit centered on the potential risk factor, and the like as seen from the driver.
  • the gaze guidance device 1 may intermittently display the display area. That is, the time zone in which the display area is displayed and the time zone in which the display area is not displayed can be alternately repeated. In this case, the driver's line of sight can be more effectively guided to a potential risk factor.
  • the gaze guidance device 1 may determine the degree of danger (hereinafter referred to as the degree of danger) in the latent risk factor.
  • the degree of risk can be determined by the type of potential risk factor (for example, whether it is a pedestrian, a bicycle, a car, a guardrail, etc.).
  • luminance change width W can be enlarged, so that the danger level of a latent risk factor is high.
  • the brightness of the display area corresponding to the latent risk factor having a high risk level is higher than the brightness of the display area corresponding to the potential risk factor having a low risk level.
  • the driver's line of sight can be guided in preference to a potential risk factor having a high risk level.
  • the gaze guidance apparatus 1 can measure the distance to the potential risk factor using the laser radar 25. And if other conditions are the same, the brightness
  • the gaze guidance device 1 can measure the speed of the host vehicle using the speed sensor 23. And if other conditions are the same, the brightness
  • the gaze guidance device 1 uses a moving object (for example, a vehicle or a person that may move like a person) as a potential risk factor based on the traveling environment image. It can be classified as a fixed object (for example, one that has no possibility of moving like a fixed structure). The classification of the movable object and the fixed object can be performed using a known image recognition technique.
  • a moving object for example, a vehicle or a person that may move like a person
  • a fixed object for example, one that has no possibility of moving like a fixed structure.
  • the classification of the movable object and the fixed object can be performed using a known image recognition technique.
  • the brightness change width W of the display area corresponding to the movable object can be made larger than the brightness change width W of the display area corresponding to the fixed object.
  • the luminance of the display area corresponding to the movable object is higher than the luminance of the display area corresponding to the fixed object.
  • the gaze guidance apparatus 1 can calculate the predicted time TC until the host vehicle collides with a potential danger factor.
  • the predicted time TC can be calculated by dividing the distance L between the host vehicle and the potential risk factor by the relative speed v between the host vehicle and the potential risk factor.
  • the distance L can be measured using the laser radar 25.
  • the relative speed v can be calculated as a change amount per unit time of the distance L.
  • the brightness change width W can be increased as the prediction time TC is shorter.
  • the brightness of the display area corresponding to the latent risk factor having a short predicted time TC is higher than the brightness of the display area corresponding to the potential risk factor having a long predicted time TC.
  • the driver's line of sight can be guided in preference to a potential risk factor (generally a risk factor with a higher risk level) having a short predicted time TC.
  • the gaze guidance device 1 can reduce the area of the display region as the number of detected potential risk factors increases. In this case, the degree to which the driver of the own vehicle is prevented from seeing the scenery in front of the vehicle can be reduced.
  • the gaze guidance device 1 when the gaze guidance device 1 detects a plurality of potential risk factors, the gaze guidance device 1 may create and display display areas for all the potential risk factors, The display area may be displayed only for potential risk factors. When the display area is displayed only for some of the potential risk factors, the potential risk factors for displaying the display area can be selected, for example, according to the following criteria.
  • the gaze guidance device 1 may decrease the luminance of the display area according to the luminance change width W.
  • the luminance of the display area may be changed by setting a multiplier that is smaller as the luminance change width W is larger (a multiplier that is smaller than 1) and multiplying the multiplier by R, G, and B values. .
  • the driver's line of sight can be guided to a potential risk factor.
  • the gaze guidance device 1 may change the ratio of two or more selected from the R value, the B value, and the G value. And the grade which changes the ratio can be made high, so that the brightness
  • the display area 111 may be a part of the latent risk factor 105. Further, the display area 111 may be a contour portion of the latent risk factor 105 as shown in FIG. 8B.
  • the display area 111 shown in FIGS. 8A and 8B can be used, for example, when the size (for example, pixel size) of the latent risk factor 105 in the driving environment image is a predetermined value or more. In this case, it is possible to suppress the display area 111 to be displayed from becoming excessively large.
  • the size of the display area 111 displayed on the windshield can always be greater than or equal to a predetermined lower limit value regardless of the size of the latent risk factor in the driving environment image.
  • the display area 111 when the potential risk factor 105 is small, the display area 111 includes the potential risk factor 105 and has a predetermined lower limit value. In this case, it can suppress that the display area 111 becomes small too much.
  • the gaze guidance device 1 can continuously or periodically detect the driver's line-of-sight direction or face orientation, and use it to perform the following control. .
  • the gaze guidance device 1 continuously or periodically determines the presence / absence of a driver's driving operation (for example, a braking operation or a steering wheel operation), and uses that as follows. Control can be performed. During the period when the display area is displayed, the luminance of the display area is gradually increased with time unless the driver performs a driving operation. If the driving operation of the driver is performed during the period during which the display area is displayed, the display area display is ended or the luminance of the display area is made constant.
  • a driver's driving operation for example, a braking operation or a steering wheel operation
  • the reference saliency K 0 may be calculated by another method. For example, the saliency at the position 107 located at the 0.5Nth position from the highest saliency among the plurality of positions 107 may be set as the reference saliency K 0 . Further, the reference saliency K 0 may be an average value of saliency at all positions 107.
  • the position where the display area is displayed on the windshield may be uniformly determined according to the position of the display area in the driving environment image (that is, at the position of the driver's viewpoint). Accordingly, it is not necessary to adjust the position where the display area is displayed). In this case, the configuration of the gaze guidance device 1 and the processing to be executed can be simplified.
  • the driver's gaze direction may be detected instead of the driver's face direction.
  • S11 calculates the difference in angle between the driver's line-of-sight direction and a preset reference direction (front direction of the host vehicle). Then, it is determined whether or not the angle difference is larger than a preset threshold value. If it is greater than the threshold, the process proceeds to S12, and if it is less than the threshold, the process proceeds to S13.
  • the reference saliency K 0 as the degree of difference between the potential hazards saliency K d, may be calculated a parameter other than noticeable sex difference D.
  • the ratio of the reference saliency K 0 to the latent risk factor saliency K d may be calculated.
  • the luminance change width W may be set according to this ratio. For example, the luminance change width W can be increased as the ratio increases.
  • the display area corresponding to the potential risk factor can be prevented from being displayed. By doing so, it is possible to suppress display of a display area that is less necessary.
  • embodiment can take various forms, without being limited to the said embodiment.
  • one constituent element in the embodiment may be distributed as a plurality of constituent elements, or the functions of a plurality of constituent elements may be integrated into one constituent element. Further, at least a part of the configuration of the embodiment may be replaced with a configuration having the same function. Moreover, you may abbreviate
  • a system including the gaze guidance device as a component, a program for causing a computer to function as the gaze guidance device, and a medium (non-temporary storage medium) on which the program is recorded Various forms such as a gaze guidance method can also be adopted.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Instrument Panels (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

　潜在危険要因にドライバの視線を誘導できる注視誘導装置を提供する。注視誘導装置は、自車両前方の画像（１０１）を取得する画像取得ユニット（３）と、前記画像において潜在危険要因を検出する潜在危険要因検出ユニット（５）と、前記画像における複数の位置（１０７、１０９）で顕著性を算出する顕著性算出ユニット（７）と、前記複数の位置での顕著性から定まる基準顕著性と、前記潜在危険要因の位置での顕著性との差に基づき、輝度変更幅を設定する輝度変更幅設定ユニット（９）と、前記自車両のフロントガラス上であって、前記自車両のドライバから見て、前記潜在危険要因の方向にある位置に、前記画像のうち、前記潜在危険要因の少なくとも一部を含む表示領域（１１１）を表示する表示ユニット（１１）と、を備える。前記表示ユニットは、表示される前記表示領域の輝度を、表示中の少なくとも一部の時間帯において、前記輝度変更幅に応じて変更された輝度とする。

Description

注視誘導装置 関連出願の相互参照
　本出願は、２０１４年１０月２８日に出願された日本国特許出願２０１４－２１９４５０号に基づくものであり、この開示をここに参照により援用する。
　本開示は、注視誘導装置に関する。
　従来、車外に危険が存在する場合、フロントガラスのうち、ドライバから見て危険に隣接する位置に光を照射することで、ドライバに危険の存在を知らせる技術が提案されている（特許文献１参照）。
ＪＰ２０１２－２２９００１Ａ
　特許文献１記載の技術では、ドライバの視線を危険に誘導できない場合がある。例えば、フロントガラスのうち、危険に隣接する位置に光を照射しても、車両前方の風景の中に、光を照射した部分よりも顕著性が高い部分があれば、ドライバの視線はその顕著性の高い部分に向ってしまい、ドライバの視線を危険に誘導することはできない。
　本開示の目的の一つは、上述した課題を解決できる注視誘導装置を提供することにある。
　本開示の一例に係る注視誘導装置は、自車両前方の画像を取得する画像取得ユニットと、画像において潜在危険要因を検出する潜在危険要因検出ユニットと、画像における複数の位置で顕著性を算出する顕著性算出ユニットと、複数の位置での顕著性から定まる基準顕著性と、潜在危険要因の位置での顕著性との相違の程度に基づき、輝度変更幅を設定する輝度変更幅設定ユニットと、自車両のフロントガラス上であって、自車両のドライバから見て、潜在危険要因の方向にある位置に、画像のうち、潜在危険要因の少なくとも一部を含む表示領域を表示する表示ユニットとを備える。
　さらに、注視誘導装置において、表示ユニットは、表示される表示領域の輝度を、表示中の少なくとも一部の時間帯において、輝度変更幅に応じて変更された輝度とする。
　この注視誘導装置は、自車両のドライバから見て、潜在危険要因の方向にある位置に表示領域を表示することができる。そのことにより、ドライバの視線を潜在危険要因に誘導することができる。
　また、この注視誘導装置は、基準顕著性と、潜在危険要因の位置での顕著性との相違の程度に基づき、輝度変更幅を設定する。そして、表示領域の輝度を、輝度変更幅に応じて変更する。そのため、自車両前方の画像に、潜在危険要因以外の顕著性が高い部分があっても、表示領域の輝度を十分高め、潜在危険要因にドライバの視線を誘導することができる。
　本開示についての上記および他の目的、特徴や利点は、添付の図面を参照した下記の詳細な説明から、より明確になる。添付図面において
図１は、注視誘導装置の構成を表すブロック図である。 図２は、注視誘導装置が実行する処理を表すフローチャートである。 図３は、潜在危険要因の検出例を表す説明図である。 図４は、顕著性の算出例を表す説明図である。 図５は、潜在危険要因及び表示領域の例を表す説明図である。 図６（Ａ）は、表示領域における、輝度変更前のＲ値の推移を表すグラフであり、図６（Ｂ）は、輝度変更のために乗算する乗数の推移を表すグラフであり、図６（Ｃ）は、輝度変更後のＲ値の推移を表すグラフである。 図７（Ａ）は、表示領域における、輝度変更前のＲ値の推移を表すグラフであり、図７（Ｂ）は、輝度変更のために乗算する乗数の推移を表すグラフであり、図７（Ｃ）は、輝度変更後のＲ値の推移を表すグラフである。 図８Ａは、潜在危険要因と表示領域の一例を表す説明図である。 図８Ｂは、潜在危険要因と表示領域の他の例を表す説明図である。 図８Ｃは、潜在危険要因と表示領域の他の例を表す説明図である。
　実施形態を図面に基づき説明する。
＜第１の実施形態＞
　１．注視誘導装置１の構成
　注視誘導装置１の構成を図１に基づき説明する。注視誘導装置１は、車両に搭載される車載装置である。以下では、注視誘導装置１が搭載された車両を自車両とする。注視誘導装置１は、周知のコンピュータに、後述する処理を実行するためのプログラムをインストールしたものである。
　注視誘導装置１は、機能的に、画像取得ユニット３、潜在危険要因検出ユニット５、顕著性算出ユニット７、輝度変更幅設定ユニット９、表示ユニット１１、及びドライバ状態検出ユニット１３を備える。各ユニットが実行する処理は後述する。なお、ドライバ状態検出ユニット１３は、視点取得ユニット及び警報出力ユニットの機能も奏する。
　自車両は、注視誘導装置１に加えて、走行環境用カメラ１５、顔用カメラ１７、スピーカ１９、ヘッドアップディスプレイ２１、速度センサ２３、及びレーザレーダ２５を備える。
　走行環境用カメラ１５は、自車両の前方を撮影し、画像データを画像取得ユニット３に出力する。顔用カメラ１７は、自車両のドライバの顔を撮影し、画像データをドライバ状態検出ユニット１３に出力する。スピーカ１９は、自車両の車室内に設置され、ドライバ状態検出ユニット１３からの指示に応じて警報音を発音する。
　ヘッドアップディスプレイ２１は、自車両のフロントガラス上に画像を投影する。自車両のドライバから見て、フロントガラス上に投影された画像は、自車両の前方における風景に重畳して表示される。ヘッドアップディスプレイ２１が表示する画像データは、表示ユニット１１から送られる。また、ヘッドアップディスプレイ２１は、ドライバ状態検出ユニット１３の検出結果に応じて画像の表示位置を調整する。詳しくは後述する。
　速度センサ２３は、自車両の速度を検出し、表示ユニット１１に出力する。レーザレーダ２５は、自車両の前方に存在する物体（後述する潜在危険要因を含む）までの距離と、自車両を基準とした物体の方位とを検出し、それらの検出結果を表示ユニット１１に出力する。
　２．注視誘導装置１が実行する処理
　注視誘導装置１が実行する処理を図２～図６に基づき説明する。図２のＳ１では、画像取得ユニット３が、走行環境用カメラ１５から、自車両の前方を撮像した画像（以下では、走行環境画像とする）を取得する。
　Ｓ２では、潜在危険要因検出ユニット５が、前記Ｓ１で取得した走行環境画像において、潜在危険要因を検出する。潜在危険要因の検出には、公知の仮説推論を用いる。仮説推論とは、交通状況の検出結果と、交通に関する知識データベースとに基づき、最も発生する可能性が高い潜在危険要因を求める方法である。以下において、仮説推論による潜在危険要因の検出方法を具体的に説明する。
　潜在危険要因検出ユニット５は、走行環境画像から、交通状況を検出する。交通状況としては、例えば、図３に示す走行環境画像１０１において、（Ｏ１）自車両の前方に交差点があること、（Ｏ２）交差点の手前に一旦停止線があること、（Ｏ３）自車両の左前方に歩行者がいること、（Ｏ４）横断歩道があること、等が挙げられる。
　また、潜在危険要因検出ユニット５は、予め、交通に関する知識データベースを備えている。その知識データベースに記憶されている知識としては、例えば、（Ｋ１）非優先道路のうち、交差点の直前の位置には一旦停止線がある、（Ｋ２）優先道路は交通量が多い、（Ｋ３）歩行者は交通参加者である、（Ｋ４）車両は交通参加者である、（Ｋ５）交差点において交通参加者は進行方向を変える、（Ｋ６）歩行者は交通量が少ない道路を横断する、（Ｋ８）自車両の近くを横断する歩行者は危険である等が挙げられる。
　潜在危険要因検出ユニット５は、前記の交通状況及び／又は前記の知識から推論を行う。また、必要に応じて、潜在危険要因検出ユニット５は、前記の交通情報、前記の知識、及び前記の推論結果から選択される１以上に基づき、さらに推論を行う。その結果、最も発生する可能性が高い潜在危険要因を検出する。
　例えば、図３に示す走行環境画像１０１の事例では、前記（Ｏ１）、前記（Ｏ３）、及び前記（Ｏ４）から、（Ｄ１）歩行者が交差点の近くにいることを推論する。また、前記（Ｏ２）、前記（Ｋ１）、及び前記（Ｋ２）から、（Ｄ２）交差路は交通量が多いことを推論する。
　また、前記（Ｋ３）、前記（Ｋ５）、及び前記（Ｄ１）から、（Ｄ３）歩行者は進行方向を変えることを推論する。また、前記（Ｋ６）、前記（Ｄ２）、及び前記（Ｄ３）から、（Ｄ４）歩行者が自車両の走行路を横断することを推論する。また、前記（Ｄ４）及び前記（Ｋ８）から、最も発生する可能性が高い潜在危険として、（Ｒ１）自車両の近くを歩行者が横断することを推論する。その結果、潜在危険要因として、自車両が走行中の道路１０３の近傍に存在する歩行者１０５（図３参照）を検出する。
　図２に戻り、Ｓ３では、潜在危険要因検出ユニット５が、前記Ｓ２で潜在危険要因を検出したか否かを判断する。検出した場合はＳ４に進み、検出しなかった場合は本処理を終了する。
　Ｓ４では、顕著性算出ユニット７が、前記Ｓ１で取得した走行環境画像における複数の位置で顕著性を算出する。顕著性の算出例を図４に示す。図４に示すように、顕著性算出ユニット７は、走行環境画像１０１における複数の位置１０７において、それぞれ、顕著性を算出する。走行環境画像１０１の全画素を位置１０７としてもよいし、全画素から選択された一部の画素を位置１０７としてもよい。位置１０７は、走行環境画像１０１の全体にわたって分布していることが好ましく、位置１０７の数は十分多数（例えば、数十個以上、好ましくは数百個以上、さらに好ましくは数千個以上）であることが好ましい。
　また、顕著性算出ユニット７は、走行環境画像１０１のうち、潜在危険要因１０５に属する位置１０９でも、顕著性を算出する。位置１０９は、１つの潜在危険要因１０５において１つであってもよいし、複数であってもよい。位置１０９における顕著性を、以下では、潜在危険要因顕著性Ｋｄとする。なお、１つの潜在危険要因１０５において複数の位置１０９を設定する場合は、その複数の位置１０９における顕著性の平均値を、潜在危険要因顕著性Ｋｄとする。
　また、潜在危険要因１０５が複数検出されている場合、顕著性算出ユニット７は、それぞれの潜在危険要因１０５について、潜在危険要因顕著性Ｋｄを算出する。
　なお、顕著性（視覚的顕著性）は、人間の注視の引きつけやすさを示す指標であり、その算出方法は近年広く研究され、様々な手法がある。例えば、ここに参照により援用する「L.Itti, C.Koch, and E.Niebur. A model of saliency-based visual attention for rapid scene analysis. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.20, No.11, pp. 1254-1259, 1998.」や、「J. Harel, C. Koch, and P. Perona, "Graph-based visual saliency," Advances in Neural Information Processing Systems, pp. 545-552, 2007. 」等に開示された手法がある。
　図２に戻り、Ｓ５では、輝度変更幅設定ユニット９が、輝度変更幅を設定する。具体的には、以下のように行う。まず、前記Ｓ４で顕著性を算出した複数の位置１０７を、顕著性が高い順番に並べる。そして、複数の位置１０７のうち、顕著性が最も高い側から数えて、０．３Ｎ番目にある位置１０７を選択し、その位置１０７での顕著性を、基準顕著性Ｋ０とする。なお、前記Ｎは複数の位置１０７の総数である。基準顕著性Ｋ０は、複数の位置での顕著性から定まる基準顕著性の一例である。
　Ｓ５では、輝度変更幅設定ユニット９が、基準顕著性Ｋ０から、潜在危険要因顕著性Ｋｄを差し引いた値（以下では、顕著性差Ｄとする）に基づき、輝度変更幅Ｗを設定する。輝度変更幅設定ユニット９は、予め、顕著性差Ｄと輝度変更幅Ｗとの対応関係を規定するマップを保持しており、そのマップに顕著性差Ｄを入力することで、輝度変更幅Ｗを設定することができる。前記のマップにおける顕著性差Ｄと輝度変更幅Ｗとの対応関係は、顕著性差Ｄが大きいほど、輝度変更幅Ｗが大きくなるという関係である。なお、顕著性差Ｄは、基準顕著性Ｋ０と、潜在危険要因顕著性Ｋｄとの相違の程度の一例である。
　Ｓ６では、表示ユニット１１が、以下のようにして、表示領域を作成する。まず、図５に示すように、走行環境画像１０１のうち、潜在危険要因１０５の少なくとも一部を含む表示領域１１１を設定する。すなわち、表示領域１１１は、走行環境画像１０１の一部である。表示領域１１１は、潜在危険要因１０５の全てを含んでいてもよいし、一部を含んでいてもよい。
　次に、前記のように設定した表示領域１１１の輝度を、前記Ｓ５で設定した輝度変更幅Ｗに応じて変更する。その具体例を図６（Ａ）～（Ｃ）に示す。この具体例では、画像の色はＲＧＢ系により表現される。図６（Ａ）のグラフは、表示領域１１１における輝度変更前の（走行環境用カメラ１５で撮影したときのままの）Ｒ値の推移を表す。図６（Ｂ）のグラフは、輝度変更のために乗算する乗数の推移を表す。この乗数は、０．５秒間の時間帯において、１より大きくなり、その他の時間帯においては１である。０．５秒間の時間帯における乗数の波形は、周期１Ｈｚのｓｉｎ波の半周期分である。乗数の最大値は、前記Ｓ５で算出した輝度変更幅Ｗである。
　図６（Ａ）に示す輝度変更前のＲ値に、図６（Ｂ）に示す乗数を乗算することで、図６（Ｃ）に示す輝度変更後のＲ値が得られる。この輝度変更後のＲ値は、０．５秒間の時間帯において、輝度変更前のＲ値に比べて大きくなっている。輝度変更後のＲ値が最大であるとき、輝度変更後のＲ値は、同じ時刻における輝度変更前のＲ値のＷ倍である。
　また、表示領域１１１のＧ値、Ｂ値についても、Ｒ値の場合と同様に、輝度変更前のＧ値、Ｂ値に、乗数（図６（Ｂ）に示すものと同じ）を乗算することで得ることができる。
　以上の工程により、Ｒ値、Ｇ値、及びＢ値が、輝度変更幅Ｗに応じて変更された（すなわち、輝度が輝度変更幅Ｗに応じて変更された）表示領域１１１を作成することができる。
　Ｓ７では、ドライバ状態検出ユニット１３が、顔用カメラ１７から、ドライバの顔を撮影した画像を取得する。
　Ｓ８では、ドライバ状態検出ユニット１３が、前記Ｓ７で取得した画像において、周知の画像認識技術により、ドライバの目（視点）を認識し、３次元空間における視点の位置を取得する。
　Ｓ９では、ドライバ状態検出ユニット１３が、前記Ｓ８で取得した視点の位置に基づき、自車両のフロントガラス上のうち、ヘッドアップディスプレイ２１を用いて表示領域を表示する位置を算出する。その位置は、前記Ｓ８で取得した視点の位置から見て、表示領域が、その表示領域に対応する潜在危険要因と重畳する位置である。また、その位置は、自車両のドライバから見て、潜在危険要因の方向にある位置である。ドライバ状態検出ユニット１３は、算出した位置をヘッドアップディスプレイ２１に出力する。
　Ｓ１０では、ドライバ状態検出ユニット１３が、前記Ｓ７で取得した画像に基づき、ドライバの顔の向きを検出する。
　Ｓ１１では、ドライバ状態検出ユニット１３が、前記Ｓ１０で検出した顔の向きと、予め設定された基準方向（自車両の正面方向）との角度の差を算出する。そして、その角度の差が、予め設定された閾値より大きいか否かを判断する。閾値より大きい場合はＳ１２に進み、閾値以下である場合はＳ１３に進む。
　Ｓ１２では、ドライバ状態検出ユニット１３が、スピーカ１９に対し、警報出力を行う。そのとき、スピーカ１９は警報音を発する。
　Ｓ１３では、表示ユニット１３が、ヘッドアップディスプレイ２１を用いて、前記Ｓ６で作成した、輝度変更後の表示領域を、フロントガラス上に投影する。このとき、表示領域を表示する位置は、前記Ｓ９においてドライバ状態検出ユニット１３が算出し、ヘッドアップディスプレイ２１に出力した位置である。よって、ドライバの視点から見て、表示領域は、その表示領域に対応する潜在危険要因の方向にあり、潜在危険要因と重畳する位置に表示される。
　３．注視誘導装置１が奏する効果
　（１Ａ）注視誘導装置１は、自車両のドライバから見て、潜在危険要因の方向にある位置に表示領域を表示することができる。そのことにより、ドライバの視線を潜在危険要因に誘導することができる。
　また、誘導装置１は、危険が顕在化する前の潜在危険要因にドライバの視線を誘導するので、自車両の安全性を一層高めることができる。
　（１Ｂ）注視誘導装置１は、基準顕著性Ｋ０（走行環境画像の複数の位置での顕著性を踏まえて基準とする値）から、潜在危険要因顕著性Ｋｄを差し引いた値である顕著性差Ｄに基づき、輝度変更幅Ｗを設定する。そして、表示領域の輝度を、輝度変更幅Ｗに応じて（輝度変更幅Ｗの絶対値が大きいほど、大きく）変更する。
　そのため、走行環境画像における、潜在危険要因以外の部分での顕著性の高低によらず、潜在危険要因にドライバの視線を誘導することができる。
　例えば、走行環境画像において、全体的に顕著性が高く、潜在危険要因以外にも顕著性が高い場所がある場合を想定する。この場合、基準顕著性Ｋ０が高くなり、顕著性差Ｄ及び輝度変更幅Ｗは大きくなるので、表示領域の輝度は、大きく変更される。その結果、走行環境画像において、全体的に顕著性が高く、潜在危険要因以外にも顕著性が高い場所があったとしても、表示領域の輝度を十分に高くし、ドライバの視点を潜在危険要因に誘導することができる。
　（１Ｃ）注視誘導装置１は、ドライバの視点の位置を取得し、その視点の位置から見て、潜在危険要因と重畳する位置に表示領域を表示する。そのことにより、表示領域の位置と潜在危険要因の位置との間のずれを抑制することができる。
　（１Ｄ）注視誘導装置１は、ドライバの顔の向きと、予め設定された基準方向との角度の差が閾値以上である場合（例えば、ドライバが正面を見ず、よそ見をしている場合）、警報を出力する。そのことにより、ドライバに対し、基準方向に顔を向けるように促し、また、潜在危険要因が存在することをドライバに知らせることができる。
＜その他の実施形態＞
　（１）前記第１の実施形態において、表示ユニット１１は、フロントガラス上に表示する表示領域の輝度を周期的に変化させてもよい。周期的に輝度が変化する表示領域は、ドライバの視線を一層効果的に潜在危険要因に誘導することができる。
　輝度が周期的に変化する表示領域は、例えば、以下のようにして作成することができる。図７（Ａ）のグラフは、表示領域における、輝度変更前のＲ値の推移を表す。図７（Ｂ）のグラフは、輝度変更のために乗算する乗数の推移を表す。この乗数は、０．５秒間の時間帯において、周期的に変動している。この変動のパターンは、周期１Ｈｚのｓｉｎ波の半周期分に、周期１０Ｈｚの搬送波を乗算したものである。この場合でも、乗数の最大値は、前記Ｓ５で算出した輝度変更幅Ｗである。
　図７（Ａ）に示す輝度変更前のＲ値に、図７（Ｂ）に示す乗数を乗算することで、図７（Ｃ）に示す輝度変更後のＲ値が得られる。この輝度変更後のＲ値においては、０．５秒間の時間帯において、輝度が周期的に変化している。輝度変更後のＲ値が最大であるとき、輝度変更後のＲ値は、同じ時刻における輝度変更前のＲ値のＷ倍である。
　また、表示領域のＧ値、Ｂ値についても、Ｒ値の場合と同様に、輝度変更前のＧ値、Ｂ値に、乗数（図７（Ｂ）に示すものと同じ）を乗算することで得ることができる。
　以上の工程により、Ｒ値、Ｇ値、及びＢ値が、周期的に変化する（すなわち、輝度が周期的に変化する）表示領域を作成することができる。
　（２）前記第１の実施形態において、表示領域の表示中、表示領域の表示位置をフロントガラス上で変動させてもよい。例えば、表示領域の表示中、ドライバから見て、表示領域が、フロントガラス上で、左右方向、上下方向等に移動してもよい。その移動の態様は、例えば、ドライバから見て、潜在危険要因の位置を中心とする往復運動、潜在危険要因を中心とする円軌道上の移動等とすることができる。表示領域の表示位置を変動させることにより、ドライバの視線を一層効果的に潜在危険要因に誘導することができる。
　（３）前記第１の実施形態において、注視誘導装置１は、表示領域を断続的に表示してもよい。すなわち、表示領域を表示する時間帯と、表示しない時間帯とを交互に繰り返すことができる。この場合、ドライバの視線を一層効果的に潜在危険要因に誘導することができる。
　（４）前記第１の実施形態において、注視誘導装置１は、潜在危険要因における危険の程度（以下、危険度とする）を判断してもよい。危険度は、潜在危険要因の種類（例えば、歩行者であるか、自転車であるか、車であるか、ガードレールであるか等）により判断することができる。そして、他の条件が同じであれば、潜在危険要因の危険度が高いほど、輝度変更幅Ｗを大きくすることができる。この場合、危険度が高い潜在危険要因に対応する表示領域の輝度は、危険度が低い潜在危険要因に対応する表示領域の輝度よりも高くなる。その結果、ドライバの視線を、危険度が高い潜在危険要因に優先して誘導することができる。
　（５）前記第１の実施形態において、注視誘導装置１は、レーザレーダ２５を用いて、潜在危険要因までの距離を測定することができる。そして、他の条件が同じであれば、潜在危険要因が自車両に近いほど、輝度変更幅Ｗを大きくすることができる。この場合、自車両に近い潜在危険要因に対応する表示領域の輝度は、自車両から遠い潜在危険要因に対応する表示領域の輝度よりも高くなる。その結果、ドライバの視線を、自車両に近い潜在危険要因に優先して誘導することができる。
　（６）前記第１の実施形態において、注視誘導装置１は、速度センサ２３を用いて、自車両の速度を測定することができる。そして、他の条件が同じであれば、自車両の速度が高いほど、輝度変更幅Ｗを大きくすることができる。この場合、自車両の速度が高いほど、表示領域の輝度は高くなる。その結果、ドライバの視線を潜在危険要因に誘導する程度を、自車両の速度に応じて適切に調整することができる。
　（７）前記第１の実施形態において、注視誘導装置１は、走行環境画像に基づき、潜在危険要因を、可動物（例えば、車両、人のように、移動する可能性があるもの）と、固定物（例えば、固定された構造物のように、移動する可能性がないもの）とに分類することができる。可動物と固定物との分類は、周知の画像認識の技術を用いて行うことができる。
　そして、他の条件が同じであれば、可動物に対応する表示領域の輝度変更幅Ｗを、固定物に対応する表示領域の輝度変更幅Ｗより大きくすることができる。この場合、可動物に対応する表示領域の輝度は、固定物に対応する表示領域の輝度よりも高くなる。その結果、ドライバの視線を、可動物（一般的に、危険度がより高い潜在危険要因）に優先して誘導することができる。
　（８）前記第１の実施形態において、注視誘導装置１は、自車両が潜在危険要因に衝突するまでの予測時間ＴＣを算出することができる。その予測時間ＴＣは、自車両と潜在危険要因との距離Ｌを、自車両と潜在危険要因との間の相対速度ｖで割って算出することができる。距離Ｌは、レーザレーダ２５を用いて測定できる。相対速度ｖは、距離Ｌの単位時間当りの変化量として算出できる。
　そして、他の条件が同じであれば、予測時間ＴＣが短いほど、輝度変更幅Ｗを大きくすることができる。この場合、予測時間ＴＣが短い潜在危険要因に対応する表示領域の輝度は、予測時間ＴＣが長い潜在危険要因に対応する表示領域の輝度よりも高くなる。その結果、ドライバの視線を、予測時間ＴＣが短い潜在危険要因（一般的に、危険度がより高い潜在危険要因）に優先して誘導することができる。
　（９）前記第１の実施形態において、注視誘導装置１は、検出した潜在危険要因の数が多いほど、表示領域の面積を小さくすることができる。この場合、自車両のドライバが車両前方の風景を見ることを妨げる度合いを少なくできる。
　（１０）前記第１の実施形態において、注視誘導装置１は、複数の潜在危険要因を検出した場合、全ての潜在危険要因について、表示領域を作成し、表示してもよいし、一部の潜在危険要因に限定して表示領域を表示してもよい。一部の潜在危険要因に限定して表示領域を表示する場合、表示領域を表示する潜在危険要因は、例えば、以下の基準により選択することができる。
　(i)自車両に最も近い潜在危険要因。
　(ii) ドライバの視線方向から最も離れた方向にある潜在危険要因。
　(iii)予測時間ＴＣが最も短い潜在危険要因。
　（１１）前記第１の実施形態の前記Ｓ６において、注視誘導装置１は、表示領域の輝度を、輝度変更幅Ｗに応じて減少させてもよい。例えば、輝度変更幅Ｗが大きいほど、小さくなる乗数（１より小さい乗数）を設定し、その乗数をＲ値、Ｇ値、Ｂ値に乗算することで、表示領域の輝度を変更してもよい。この場合も、ドライバの視線を潜在危険要因に誘導することができる。
　ただし、夜間は、表示領域の輝度を減少させず、増加させることが好ましい。こうすることにより、ドライバは夜間において表示領域を知覚しやすくなる。
　（１２）前記第１の実施形態の前記Ｓ６において、注視誘導装置１は、Ｒ値、Ｂ値、Ｇ値から選択される２以上の比率を変更してもよい。そして、輝度変更幅Ｗが大きいほど、その比率を変更する程度を高くすることができる。この場合も、ドライバの視線を潜在危険要因に誘導することができる。
　（１３）前記第１の実施形態において、図８Ａ、図８Ｂに示すように、表示領域１１１は、潜在危険要因１０５の一部であってもよい。また、表示領域１１１は、図８Ｂに示すように、潜在危険要因１０５の輪郭部分であってもよい。図８Ａ、図８Ｂに示す表示領域１１１は、例えば、走行環境画像における潜在危険要因１０５の大きさ（例えばピクセルサイズ）が所定値以上の場合に用いることができる。この場合、表示する表示領域１１１が過度に大きくなることを抑制することができる。
　また、フロントガラス上に表示する表示領域１１１の大きさを、走行環境画像における潜在危険要因の大きさによらず、常に所定の下限値以上とすることができる。この場合、図８Ｃに示すように、潜在危険要因１０５が小さいと、表示領域１１１は、潜在危険要因１０５を含み、所定の下限値の大きさを有するものとなる。この場合、表示領域１１１が過度に小さくなることを抑制できる。
　（１４）前記第１の実施形態において、注視誘導装置１は、ドライバの視線方向又は顔の向きを継続的に又は定期的に検出し、それを用いて以下のような制御を行うことができる。
　(i)表示領域を表示する前に、過去の所定時間において、ドライバの視線方向又は顔の
向きが潜在危険要因に向いたか否かを判断する。過去の所定時間において、ドライバの視線方向又は顔の向きが潜在危険要因に向いた場合は、その潜在危険要因に対応する表示領域は表示しない。一方、過去の所定時間において、ドライバの視線方向又は顔の向きが潜在危険要因に向いていない場合は、その潜在危険要因に対応する表示領域を表示する。
　(ii) 表示領域を表示している期間中、ドライバの視線方向又は顔の向きが潜在危険要
因に向かない限り、表示領域の輝度を時間の経過とともに徐々に高くする。表示領域を表示している期間中、ドライバの視線方向又は顔の向きが潜在危険要因に向くと、表示領域の表示を終了するか、表示領域の輝度を一定にする。
　（１５）前記第１の実施形態において、注視誘導装置１は、ドライバの運転操作（例えば、制動操作、ハンドル操作）の有無を継続的に又は定期的に判断し、それを用いて以下のような制御を行うことができる。表示領域を表示している期間中、ドライバの運転操作が行われない限り、表示領域の輝度を時間の経過とともに徐々に高くする。表示領域を表示している期間中、ドライバの運転操作が行われると、表示領域の表示を終了するか、表示領域の輝度を一定にする。
　（１６）前記第１の実施形態において、基準顕著性Ｋ０は、他の方法で算出してもよい。例えば、複数の位置１０７のうち、顕著性が最も高い側から数えて、０．５Ｎ番目にある位置１０７の顕著性を、基準顕著性Ｋ０としてもよい。また、基準顕著性Ｋ０は、全ての位置１０７における顕著性の平均値であってもよい。
　（１７）前記第１の実施形態において、フロントガラス上で表示領域を表示する位置は、走行環境画像における表示領域の位置に応じて、一律に決めてもよい（すなわち、ドライバの視点の位置に応じて表示領域を表示する位置を調整しなくてもよい）。この場合、注視誘導装置１の構成及び実行する処理を簡略化することができる。
　（１８）前記第１の実施形態の前記Ｓ１０では、ドライバの顔の向きの代わりに、ドライバの視線方向を検出してもよい。この場合、前記Ｓ１１は、ドライバの視線方向と、予め設定された基準方向（自車両の正面方向）との角度の差を算出する。そして、その角度の差が、予め設定された閾値より大きいか否かを判断する。閾値より大きい場合は前記Ｓ１２に進み、閾値以下である場合は前記Ｓ１３に進む。
　（１９）前記第１の実施形態の前記Ｓ４では、基準顕著性Ｋ０と、潜在危険要因顕著性Ｋｄとの相違の程度として、顕著性差Ｄ以外のパラメータを算出してもよい。例えば、潜在危険要因顕著性Ｋｄに対する、基準顕著性Ｋ０の比率を算出してもよい。そして、この比率に応じて、輝度変更幅Ｗを設定してもよい。例えば、前記比率が大きいほど、輝度変更幅Ｗを大きくすることができる。
　（２０）前記第１の実施形態において、自車両が停止中であり、潜在危険要因が固定物である場合は、その潜在危険要因に対応する表示領域を表示しないようにすることができる。こうすることにより、必要性の低い表示領域の表示を抑制することができる。
　以上、実施形態を例示したが、実施形態は前記実施形態に限定されることなく、種々の形態を採り得る。
　前記実施形態における１つの構成要素が有する機能を複数の構成要素として分散させたり、複数の構成要素が有する機能を１つの構成要素に統合させたりしてもよい。また、前記実施形態の構成の少なくとも一部を、同様の機能を有する構成に置き換えてもよい。また、前記実施形態の構成の一部を省略してもよい。また、前記実施形態の構成の少なくとも一部を、他の実施形態の構成に対して付加又は置換してもよい。
　実施形態は、上述した注視誘導装置の他、当該注視誘導装置を構成要素とするシステム、当該注視誘導装置としてコンピュータを機能させるためのプログラム、このプログラムを記録した媒体（非一時的な記憶媒体）、注視誘導方法等、種々の形態とすることもできる。

 

Claims (15)

  1. 　自車両前方の画像（１０１）を取得する画像取得ユニット（３）と、
    　前記画像において潜在危険要因を検出する潜在危険要因検出ユニット（５）と、
    　前記画像における複数の位置（１０７、１０９）で顕著性を算出する顕著性算出ユニット（７）と、
    　前記複数の位置での顕著性から定まる基準顕著性と、前記潜在危険要因の位置での顕著性との相違の程度に基づき、輝度変更幅を設定する輝度変更幅設定ユニット（９）と、
    　前記自車両のフロントガラス上であって、前記自車両のドライバから見て、前記潜在危険要因の方向にある位置に、前記画像のうち、前記潜在危険要因の少なくとも一部を含む表示領域（１１１）を表示する表示ユニット（１１）と、
    　を備え、
    　前記表示ユニットは、表示される前記表示領域の輝度を、表示中の少なくとも一部の時間帯において、前記輝度変更幅に応じて変更された輝度とする、注視誘導装置（１）。
  2. 　請求項１に記載の注視誘導装置であって、
    　前記ドライバの視点の位置を取得する視点取得ユニット（１３）を備え、
    　前記表示ユニットは、前記視点の位置から見て、前記潜在危険要因と重畳する位置に前記表示領域を表示する、注視誘導装置。
  3. 　請求項１又は２に記載の注視誘導装置であって、
    　前記表示ユニットは、前記表示領域の輝度を周期的に変化させる、注視誘導装置。
  4. 　請求項１～３のいずれか１項に記載の注視誘導装置であって、
    　前記表示ユニットは、前記表示領域の表示中、前記表示領域の表示位置を変動させる、注視誘導装置。
  5. 　請求項１～４のいずれか１項に記載の注視誘導装置であって、
    　前記表示ユニットは、前記表示領域を断続的に表示する、注視誘導装置。
  6. 　請求項１～５のいずれか１項に記載の注視誘導装置であって、
    　前記ドライバの顔の向き又は視線の向きを検出するドライバ状態検出ユニット（１３）と、
    　前記顔の向き又は視線の向きと、予め設定された基準方向との角度の差が閾値以上である場合、警報を出力する警報出力ユニット（１３）と、
    　を備える注視誘導装置。
  7. 　請求項１～６のいずれか１項に記載の注視誘導装置であって、
    　前記輝度変更幅設定ユニットは、前記潜在危険要因の危険度が高いほど、前記輝度変更幅を大きく設定する、注視誘導装置。
  8. 　請求項１～７のいずれか１項に記載の注視誘導装置であって、
    　前記輝度変更幅設定ユニットは、前記潜在危険要因が前記自車両に近いほど、前記輝度変更幅を大きく設定する、注視誘導装置。
  9. 　請求項１～８のいずれか１項に記載の注視誘導装置であって、
    　前記輝度変更幅設定ユニットは、前記自車両の速度が高いほど、前記輝度変更幅を大きく設定する、注視誘導装置。
  10. 　請求項１～９のいずれか１項に記載の注視誘導装置であって、
    　前記輝度変更幅設定ユニットは、前記潜在危険要因が可動物である場合は、固定物である場合よりも、前記輝度変更幅を大きく設定する、注視誘導装置。
  11. 　請求項１～１０のいずれか１項に記載の注視誘導装置であって、
    　前記輝度変更幅設定ユニットは、前記自車両が前記潜在危険要因に衝突するまでの予測時間が短いほど、前記輝度変更幅を大きく設定する、注視誘導装置。
  12. 　請求項１～１１のいずれか１項に記載の注視誘導装置であって、
    　検出した前記潜在危険要因の数が多いほど、前記表示領域の面積を小さく設定する、注視誘導装置。
  13. 　請求項１～１２のいずれか１項に記載の注視誘導装置であって、
    　複数の前記潜在危険要因を検出した場合、前記表示ユニットは、最も前記自車両に近い前記潜在危険要因について、前記表示領域を表示する、注視誘導装置。
  14. 　請求項１～１２のいずれか１項に記載の注視誘導装置であって、
    　複数の前記潜在危険要因を検出した場合、前記表示ユニットは、前記ドライバの視線方向から最も離れた方向にある前記潜在危険要因について、前記表示領域を表示する、注視誘導装置。
  15. 　請求項１～１２のいずれか１項に記載の注視誘導装置であって、
    　複数の前記潜在危険要因を検出した場合、前記表示ユニットは、前記自車両が衝突するまでの予測時間が最も短い前記潜在危険要因について、前記表示領域を表示する、注視誘導装置。

     
PCT/JP2015/005229 2014-10-28 2015-10-16 注視誘導装置 WO2016067545A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-219450 2014-10-28
JP2014219450A JP2016086355A (ja) 2014-10-28 2014-10-28 注視誘導装置

Publications (1)

Publication Number Publication Date
WO2016067545A1 true WO2016067545A1 (ja) 2016-05-06

Family

ID=55856913

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/005229 WO2016067545A1 (ja) 2014-10-28 2015-10-16 注視誘導装置

Country Status (2)

Country Link
JP (1) JP2016086355A (ja)
WO (1) WO2016067545A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110626265A (zh) * 2018-06-21 2019-12-31 丰田自动车株式会社 周边监视装置
WO2020241259A1 (ja) * 2019-05-30 2020-12-03 株式会社デンソー 情報提示装置、情報提示方法および情報提示プログラム

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6384528B2 (ja) * 2016-07-26 2018-09-05 マツダ株式会社 視界制御装置
JP6384529B2 (ja) * 2016-07-26 2018-09-05 マツダ株式会社 視界制御装置
JP6354805B2 (ja) * 2016-07-26 2018-07-11 マツダ株式会社 視界制御装置
JP6354804B2 (ja) * 2016-07-26 2018-07-11 マツダ株式会社 視界制御装置
JP6669053B2 (ja) * 2016-12-06 2020-03-18 株式会社デンソー ヘッドアップディスプレイシステム
JPWO2023286835A1 (ja) * 2021-07-14 2023-01-19

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004030212A (ja) * 2002-06-25 2004-01-29 Toyota Central Res & Dev Lab Inc 車両用情報提供装置
JP2008062762A (ja) * 2006-09-06 2008-03-21 Fujitsu Ten Ltd 運転支援装置および運転支援方法
JP2014075079A (ja) * 2012-10-05 2014-04-24 Denso Corp 表示装置
JP2014127032A (ja) * 2012-12-26 2014-07-07 Clarion Co Ltd 車両用外界認識装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004030212A (ja) * 2002-06-25 2004-01-29 Toyota Central Res & Dev Lab Inc 車両用情報提供装置
JP2008062762A (ja) * 2006-09-06 2008-03-21 Fujitsu Ten Ltd 運転支援装置および運転支援方法
JP2014075079A (ja) * 2012-10-05 2014-04-24 Denso Corp 表示装置
JP2014127032A (ja) * 2012-12-26 2014-07-07 Clarion Co Ltd 車両用外界認識装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110626265A (zh) * 2018-06-21 2019-12-31 丰田自动车株式会社 周边监视装置
CN110626265B (zh) * 2018-06-21 2023-02-28 丰田自动车株式会社 周边监视装置
WO2020241259A1 (ja) * 2019-05-30 2020-12-03 株式会社デンソー 情報提示装置、情報提示方法および情報提示プログラム
JP2020194499A (ja) * 2019-05-30 2020-12-03 株式会社デンソー 情報提示装置、情報提示方法および情報提示プログラム
JP7226104B2 (ja) 2019-05-30 2023-02-21 株式会社デンソー 情報提示装置、情報提示方法および情報提示プログラム
US11752939B2 (en) 2019-05-30 2023-09-12 Denso Corporation Information presentation device, information presentation method and program product for presenting information

Also Published As

Publication number Publication date
JP2016086355A (ja) 2016-05-19

Similar Documents

Publication Publication Date Title
WO2016067545A1 (ja) 注視誘導装置
US9318018B2 (en) User interface method for terminal for vehicle and apparatus thereof
US9965957B2 (en) Driving support apparatus and driving support method
US10198950B2 (en) Parking support method and parking support device
US10319233B2 (en) Parking support method and parking support device
US10163016B2 (en) Parking space detection method and device
US10810446B2 (en) Parking space line detection method and device
US9637118B2 (en) Processing apparatus, processing system, and processing method
AU2015262344B2 (en) Processing apparatus, processing system, processing program, and processing method
US9417080B2 (en) Movement trajectory generator
JP4879189B2 (ja) 安全走行支援装置
JP2016001170A (ja) 処理装置、処理プログラム、及び、処理方法
CN103217169A (zh) 全挡风玻璃显示器上的最佳注视位置
JP2009040107A (ja) 画像表示制御装置及び画像表示制御システム
JP6464933B2 (ja) 経路設定装置及び自動走行制御システム
US10926760B2 (en) Information processing device, information processing method, and computer program product
JP5018571B2 (ja) 減速指示装置及び減速指示方法
JP6376058B2 (ja) 車両用表示装置
CN207631231U (zh) 用于车辆的驾驶员辅助系统
KR20160068143A (ko) 스마트 크루즈 컨트롤 시스템 및 이의 정보 표시방법
KR20170006523A (ko) 차량 운행에 관한 주의 정보 표시 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15853703

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15853703

Country of ref document: EP

Kind code of ref document: A1