WO2014097347A1 - 視認性推定装置、視認性推定方法、及び安全運転支援システム - Google Patents

視認性推定装置、視認性推定方法、及び安全運転支援システム Download PDF

Info

Publication number
WO2014097347A1
WO2014097347A1 PCT/JP2012/008060 JP2012008060W WO2014097347A1 WO 2014097347 A1 WO2014097347 A1 WO 2014097347A1 JP 2012008060 W JP2012008060 W JP 2012008060W WO 2014097347 A1 WO2014097347 A1 WO 2014097347A1
Authority
WO
WIPO (PCT)
Prior art keywords
visibility
landmark
detection
unit
image recognition
Prior art date
Application number
PCT/JP2012/008060
Other languages
English (en)
French (fr)
Inventor
村山　修
淳平 羽藤
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2014552747A priority Critical patent/JP5930067B2/ja
Priority to US14/443,120 priority patent/US20150310313A1/en
Priority to PCT/JP2012/008060 priority patent/WO2014097347A1/ja
Priority to DE112012007236.7T priority patent/DE112012007236B4/de
Priority to CN201280077719.4A priority patent/CN104854638B/zh
Publication of WO2014097347A1 publication Critical patent/WO2014097347A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3629—Guidance using speech or audio output, e.g. text-to-speech
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/3655—Timing of guidance instructions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Definitions

  • the present invention relates to a technique for performing control so as not to obstruct driving and walking when notifying various information to users such as drivers and pedestrians.
  • Patent Document 1 there is a method of photographing a road sign and its surroundings with a camera and displaying only signs that are difficult to see from information on the number of edges around the road sign and the color of the road sign.
  • Patent Document 2 information on the sign (character data, etc.) is recorded in advance in the navigation device together with the map information, and the sign is displayed only when the sign information photographed by the camera during traveling is different from the pre-recorded information. Therefore, there is a method for suppressing excessive display (Patent Document 2).
  • JP 2010-239448 A Japanese Patent Laid-Open No. 2005-300342
  • Patent Document 1 determines whether or not the sign itself is easy to see and displays only the sign that has melted into the surrounding scenery and has low visibility. It was not possible to estimate until the change of. Further, if there are a large number of signs having low visibility, they are displayed accordingly. In particular, even if it is difficult to see on frequently used roads, it is annoying for the driver that such difficult-to-see signs are repeatedly displayed every time the same road is displayed, for example, when the display contents of the traffic signs are known. However, there is a problem in that the driver's attention is reduced and safe driving may be impaired.
  • Patent Document 2 is merely a method for comparing a sign recorded together with map information with a sign detected during traveling and determining whether or not they are different, and can determine a change in visibility. It wasn't. Although it is possible to avoid the repeated display of signs passing through the same point, it is specialized for displaying signs, and other notification objects such as pedestrians described above are excessively notified. There is no effect to control so as not to become. In particular, when the pedestrian is not always in the same position, it is not possible to determine whether or not to notify whether there is a change by recording in association with a map as in this method.
  • the present invention has been made to solve the above-described problems, and an object of the present invention is to estimate a change in visibility by monitoring how the visibility of landmarks such as signs changes. And In addition, by estimating the change in visibility compared with the past, it is judged whether the surrounding visibility, that is, the situation where the user can confirm the surrounding situation from a position sufficiently away from the user, The purpose is to suppress information presentation.
  • the visibility estimation device includes an image recognition unit that detects a landmark by analyzing an image, an image analysis result of the landmark detected by the image recognition unit, and the image recognition unit that includes the landmark.
  • An information accumulating unit that records a detection position at the time of detecting as a past detection history related to the landmark, and a detection position at that time when the image recognition unit detects the landmark corresponding to the detection history again.
  • a visibility determination unit that estimates a change in visibility based on a comparison with a past detection position recorded in the information storage unit.
  • An image recognition unit that detects a landmark by analyzing an image; an image analysis result of the landmark detected by the image recognition unit; and a detection position when the image recognition unit detects the landmark; As a past detection history relating to the landmark, an image analysis process of the landmark re-analyzed by the image recognition unit at a past detection position recorded in the information storage unit, and the information storage
  • a visibility determination unit that estimates a change in visibility based on a comparison with a past image analysis result recorded in the unit.
  • an image recognition unit that detects a landmark by analyzing an image, and a detection distance from the position when the image recognition unit detects the landmark to the landmark is used as a past detection history regarding the landmark.
  • the information storage unit to be recorded and the image recognition unit detect the landmark corresponding to the detection history again the information is visually recognized based on a comparison between the detection distance at that time and the past detection distance recorded in the information storage unit.
  • a visibility determination unit that estimates a change in sex.
  • the visibility estimation method includes a step of detecting a landmark by analyzing an image, an image analysis result of the detected landmark, and a detection position when the landmark is detected.
  • a step of detecting a landmark by analyzing an image, an image analysis result of the detected landmark, and a detection position when the landmark is detected are recorded as a past detection history regarding the landmark.
  • a step of detecting a landmark by analyzing an image a step of recording a detection distance from a position when the landmark is detected to the landmark as a past detection history relating to the landmark;
  • a step of estimating a change in visibility based on a comparison between a detection distance at that time and a recorded past detection distance is provided.
  • the safe driving support system includes an image recognition unit that detects a landmark by analyzing an image, an image analysis result of the landmark detected by the image recognition unit, and the image recognition unit
  • An information storage unit that records a detection position when a landmark is detected as a past detection history related to the landmark, and a detection at that time when the image recognition unit detects the landmark corresponding to the detection history again.
  • a visibility determination unit that estimates a change in visibility based on a comparison between a result and a past detection history recorded in the information storage unit, and the visibility determination unit compares the past visibility with the current visibility.
  • the information presentation judgment unit for lowering the threshold for judging that the user needs to present the surrounding safety support information and the information presentation judgment unit provide information. Then those having an information presentation unit for presenting information to the user when it is determined.
  • the visibility estimation device and the visibility estimation method according to the present invention it is possible to estimate a change in visibility, for example, whether the visibility is normal or lowered. Further, by estimating the change in visibility in this way, it is possible to convey the surrounding information to the user only when the visibility is lowered, and to suppress the amount of information to be presented.
  • Embodiment 1 of this invention It is a figure which shows the visibility estimation apparatus in Embodiment 1 of this invention. It is a figure which shows the flow of visibility determination in Embodiment 1 of this invention. It is a figure which shows the visibility estimation apparatus in Embodiment 2 of this invention. It is a figure which shows the flow of visibility determination in Embodiment 2 of this invention. It is a figure which shows the visibility estimation apparatus in Embodiment 3 of this invention. It is a figure which shows the visibility estimation apparatus in Embodiment 5 of this invention. It is a figure which shows the visibility estimation apparatus in Embodiment 7 of this invention. It is a figure which shows the visibility estimation apparatus in Embodiment 8 of this invention. It is a figure which shows the safe driving assistance system in Embodiment 9 of this invention.
  • FIG. 1 is a diagram showing a visibility estimation apparatus according to Embodiment 1 of the present invention.
  • the visibility estimation device there is a device that estimates the visibility of a pedestrian in addition to a device that estimates the visibility of a driver who drives the vehicle.
  • the visibility of the driver is estimated. Will be described. The same applies to the following embodiments.
  • the driver visibility estimation device according to Embodiment 1 includes an image recognition unit 1, an information storage unit 2, and a visibility determination unit 3.
  • FIG. 2 shows the flow of visibility determination in the visibility determination unit 3.
  • the image recognition unit 1 is mounted on a vehicle and receives an image of an in-vehicle camera that captures the front in the traveling direction, and outputs the image analysis result to the information storage unit 2 and the visibility determination unit 3.
  • the image recognizing unit 1 has a function of detecting landmarks such as road signs, traffic lights, convenience store signs, and the like, and when detected, outputs the type and description. For example, in the case of a road sign, information such as “speed limit sign” and “40 (km / h)” is output as an image analysis result, and if it cannot be detected, information such as “no detection” is output or nothing is output. .
  • the information storage unit 2 receives the image analysis result output from the image recognition unit 1 and the vehicle position information when the landmark is detected, and links the both to a storage medium such as an internal HDD (not shown). Has a function of recording as a past detection history.
  • the past vehicle position information that is one of the detection histories recorded in the information storage unit 2 is used as a reference for determining visibility as reference detection position information (past detection position).
  • the vehicle position information is generated by GPS (Global Positioning System) widely used in car navigation etc., and accurately indicates the current position of the vehicle. In addition to coordinates such as latitude and longitude, the vehicle position information includes information on the direction of the vehicle. This is also generated by a gyro sensor or the like widely used in car navigation systems. Further, when the vehicle is traveling in a certain direction on a certain coordinate, the information storage unit 2 detects the vehicle position information at that time and the image analysis history associated with the vehicle position information when they are recorded. Output as history.
  • the visibility determination unit 3 finally determines the visibility based on the current image analysis result acquired from the image recognition unit 1, the current vehicle position, the detection history acquired from the information storage unit 2, and the determination threshold. Judges and outputs the judgment result.
  • the information storage unit 2 notifies the image analysis history and the reference detection position information (S100, 101). Since the image recognition unit 1 has not yet detected the traffic sign at the position, the image recognition result notification from the image recognition unit 1 is not performed. When the vehicle further moves forward and the traffic sign can be completely detected, the image analysis result is notified for the first time (S102), and the vehicle position information (b) at that time is input (S103).
  • the reference detection position information (a) and the vehicle position information (b) corresponding to the same traffic sign are different, it is determined that the visibility has changed.
  • the coordinates of the vehicle position information (b) at that time are the positions advanced in the traveling direction rather than the coordinates of the reference detection position information (a)
  • it is determined that the visibility has decreased S104, S105.
  • a determination threshold value is input from the outside as a criterion for determining how much the position has changed and the visibility has been lowered.
  • the determination threshold is 2 m
  • the distance traveled by the vehicle is 2 m or less between the time when the detection of the sign is notified as the image analysis history and the time when the detection of the sign is notified as the image analysis result.
  • the distance traveled by the vehicle exceeds 2 m, for example, 4 m, “visibility reduction” is output as the visibility determination result.
  • the threshold value is acquired from the outside, but the threshold value may be recorded in the visibility determining unit 3. Further, the image analysis history stored in the information storage unit 2 and the reference detection position information corresponding thereto may be updated each time an image analysis result is input from the image recognition unit 1, but there is something that blocks forward. If the measurement cannot be made, such as the case, the analysis result may not be recorded, or the influence may be made difficult to occur by averaging over a plurality of times. Further, the data may be updated so that the image analysis result when the visibility is good is recorded as the image analysis history in association with the vehicle position at that time.
  • Whether the visibility is good may be determined that the visibility is good when the coordinates of the vehicle position information (b) are behind the coordinates of the reference detection position information (a) with respect to the traveling direction. It may be judged from such factors. Furthermore, only the image analysis result when the landmark is first detected and the vehicle position information at that time may be recorded as the reference detection history.
  • the driver visibility estimation device compares a position where an object (landmark) fixed and installed in front of the road in the traveling direction is detected with a past detection position.
  • the change in visibility can be estimated.
  • it is possible to determine whether or not it is necessary to provide information on other objects detected in the vicinity based on the estimated change in visibility it is possible to suppress excessive information provision to the driver.
  • FIG. FIG. 3 is a diagram showing a driver visibility estimating apparatus according to Embodiment 2 of the present invention.
  • the image analysis process is output from the image recognition unit 1a to the visibility determination unit 3a, not the image analysis result, and the image analysis process is stored in the information storage unit 2a. It is. That is, in the first embodiment, when the image recognition unit 1 can completely detect a traffic sign or the like to be recognized, the type and description are output. However, the image recognition unit in the second embodiment 1a outputs an image analysis progress when it passes through a predetermined point even when they are not completely detected. Since others are the same, description is abbreviate
  • FIG. 4 shows the flow of visibility determination in the visibility determination unit 3a.
  • a method for estimating the driver visibility in the second embodiment will be described with reference to FIGS.
  • the image analysis result is output to the information storage unit 2a at that point and stored as a past image analysis result.
  • a speed limit traffic sign drawn as “40 (km / h)” in front of the traveling direction
  • the vehicle position where the traffic sign can be completely recognized the “speed limit sign”, “40 ( km / h) ”is recorded in the information storage unit 2a as a past detection history.
  • the vehicle position that is one of the detection histories recorded at this time is used as a reference position from which the image recognition unit 1a outputs the image analysis progress.
  • the past image analysis results recorded at the same time are output to the visibility determination unit 3a as an image analysis history when passing through the same point from the next time, and are used as a criterion for visibility estimation.
  • the visibility determination unit 3a acquires the image analysis history at the point from the information storage unit 2a (S200). Then, the contents being analyzed by the image recognition unit 1a are notified to the visibility determination unit 3a as an image analysis process (S201). For example, the image recognizing unit 1a can detect that a traffic sign ahead in the traveling direction is a “speed limit sign” but cannot read a specific numerical value drawn on the sign, Only the “speed limit sign” is output to the information storage unit 2a and the visibility determination unit 3a.
  • the visibility determination unit 3a includes the “speed limit sign” input from the image recognition unit 1a as the image analysis process, and the “speed limit mark” “40 (km / h) that is the determination reference value input from the information storage unit 2. ] "Is compared (S202). In this example, as a result of the comparison, the visibility determination unit 3a detects that the image analysis progress is lower in analysis level than the past image analysis history, in other words, detection information whose image analysis progress is rougher than the past image analysis history. Therefore, it is determined that the visibility in the vehicle traveling direction is reduced, and “visibility reduction” is output as the visibility determination result (S203). Conversely, when the same analysis level is obtained, “normal visibility” is output as the visibility determination result (S204).
  • the image analysis history which is the past detection history at the same point, is compared with the current image analysis history, and the change in visibility can be determined based on the change in the image analysis level. It can be determined that the visibility is lowered even if the distance is not approached.
  • the analysis level is not limited based on the type of sign and the presence / absence of a numerical value written there, and other criteria exist. For example, in the case of traffic signal detection, if the presence of a traffic signal and the color of the traffic signal could be determined in the past at the same point, but the color could not be identified by the detection of the presence of the traffic signal this time, the analysis level is lowered. You may judge that you did. Also, some other threshold value may be provided.
  • the image analysis history when the landmark has been completely recognized at first is used as a determination reference value and compared with the image analysis process from the next time onward.
  • the image analysis history of the information storage unit 2a may be updated each time it is output, and the previous image analysis progress may be used as a comparison target. With such a configuration, it is possible to determine whether the visibility is better or worse than the previous time.
  • the vehicle position when the landmark can be completely recognized first is set as the reference position from which the image recognition unit 1a outputs the image analysis progress.
  • the reference position may be updated.
  • the image analysis result and the detection position when a certain landmark can be completely recognized are recorded in the information storage unit 2a for a plurality of times, and the detection position when the visibility is the best is updated as the reference position. Also good.
  • whether or not the visibility is good may be determined based on the detection position (determined that the visibility is better as the detection position is farther from the landmark), or based on the ambient brightness. May be.
  • the landmark may be completely detected again, and the vehicle position at that time may be updated as the reference position. If the reference position is updated in this way, the reference position can be gradually corrected even if the weather is bad and the visibility is poor when the landmark can be completely recognized first, The performance of visibility estimation is improved.
  • Embodiment 3 In the first embodiment, a change in the detected position of the landmark is used for visibility estimation, and in the second embodiment, a change in the image analysis level of the landmark is used for visibility estimation. On the other hand, in the present embodiment, a change in the distance from the landmark detection position to the landmark (detection distance) is used for visibility estimation.
  • FIG. 5 is a diagram showing a driver visibility estimating apparatus according to the third embodiment.
  • the difference from FIG. 1 is that there is a landmark position recording unit 21 and a standard detection distance recording unit 22 in the information storage unit 2b, and the data different from FIG. This is a point where a plurality of signals are transmitted. Since others are the same, description is abbreviate
  • landmark position information such as traffic signs and traffic lights is recorded.
  • information on traffic lights is included in map information in order to display signals at intersections, and such information is used.
  • the detection distance recording unit 22 in the information storage unit 2b records a distance from the position of the vehicle to the landmark when a certain landmark is first detected as a detection history used for visibility estimation. .
  • This distance is used as a reference detection distance (past detection distance) that is a comparison target with the next and subsequent detection distances.
  • the reference detection distance is calculated as follows.
  • the detection distance recording unit 22 acquires vehicle position information when the image recognition result of a certain landmark is acquired from the image recognition unit 1 for the first time, and the position where the detected landmark actually exists is the landmark position recording unit 21. And the distance from the vehicle position to the landmark is calculated by comparing the two.
  • the detection distance recording unit 22 records the landmark position.
  • the position information of the traffic sign is acquired from the unit 21.
  • the detection distance recording unit 22 calculates a distance of “25 m”, for example, by comparing the acquired position of the traffic sign with the current vehicle position. That is, it is recorded that the vehicle was able to detect the traffic sign 25m before.
  • the determination process of the visibility determination unit 3b will be described.
  • the image recognition unit 1 When the vehicle approaches a certain landmark and the image recognition unit 1 detects the image, the image recognition unit 1 outputs the image analysis result to the visibility determination unit 3b and also outputs it to the information storage unit 2b.
  • the information storage unit 2b receives the image analysis result, the information storage unit 2b specifies the landmark recorded in the landmark position recording unit 21 from the image analysis result and the vehicle position information, and determines the landmark position information as the visibility. It outputs to the determination part 3b.
  • the information storage unit 2b outputs reference detection distance information corresponding to the specified landmark to the visibility determination unit 3b.
  • the visibility determination unit 3b When the visibility determination unit 3b receives the image analysis result from the image recognition unit 1, it inputs the vehicle position information at that time.
  • the visibility determination unit 3b calculates the distance from the vehicle to the landmark using the input vehicle position information and landmark position information. That is, this time, a detection distance indicating how far the landmark can be detected is calculated. Then, the calculated detection distance is compared with the reference detection distance acquired from the information storage unit 2b, and it is determined whether the detection distance is shorter than the reference detection distance recorded in the past, that is, whether the detection is performed after approaching the landmark. .
  • a determination threshold is used as in the first embodiment.
  • the detection distance calculated this time is “20 m”
  • the threshold is “3 m”
  • the difference between the reference detection distance and the detection distance calculated this time that is, the distance approaching the landmark is Since it is 5 m and exceeds the threshold value, it is determined that “visibility is lowered”.
  • the visibility determination result is determined as “normal visibility”.
  • the visibility determination unit 3b calculates the detection distance from the vehicle to the landmark at that time each time the image recognition unit 1 detects the landmark, and calculates the detected Visibility was estimated by comparing the distance with the reference detection distance recorded in the past.
  • the detection distance when a certain landmark is detected for the first time is recorded in the detection distance recording unit 22 as a reference value, but the reference recorded in the detection distance recording unit 22 every time a landmark is detected.
  • the detection distance may be updated. With such a configuration, it is possible to determine whether the visibility is better or worse than the previous time.
  • a plurality of detection distances may be averaged as a reference detection position.
  • the detection distance when the visibility is good may be recorded and not updated when it is estimated that the visibility is poor. If the detection distance when the visibility is good is updated as the reference detection distance in this way, even if the weather is bad and the visibility is poor when the landmark is first detected, the reference detection is gradually performed. The distance can be corrected, and the performance of visibility estimation is improved.
  • Embodiment 4 the detection history of the same object (landmark) existing at the same position in the past is used for visibility estimation.
  • a reference detection distance indicating how far the distance can be detected is recorded, and the reference detection distance is used for visibility estimation. Since the basic configuration of the driver visibility estimation apparatus according to the fourth embodiment is the same as that of the third embodiment, the operation of the present embodiment will be described with reference to FIG. Description of the same configuration is omitted.
  • a reference detection distance indicating how far the distance can be detected is recorded for each type of landmark.
  • the method for calculating the reference detection distance is the same as in the third embodiment. For example, the reference detection distance of “25 m” for traffic signs such as speed limit signs, “30 m” for traffic lights, and “40 m” for signboards of stores that are chained and have a unified design such as a convenience store are recorded. As described above, the detection distance recording unit 22 records the first detected distance for each type of landmark as the reference detection distance.
  • the determination process of the visibility determination unit 3b will be described.
  • the image recognition unit 1 When the vehicle approaches a certain type of landmark and the image recognition unit 1 detects the image, the image recognition unit 1 outputs the image analysis result to the visibility determination unit 3b and also outputs it to the information storage unit 2b.
  • the information storage unit 2b receives the image analysis result, the information storage unit 2b specifies the landmark recorded in the landmark position recording unit 21 from the image analysis result and the vehicle position information, and determines the landmark position information as the visibility. It outputs to the determination part 3b. Further, the information storage unit 2b identifies the type of the landmark from the input image analysis result, and uses the reference detection distance information corresponding to the type of landmark recorded in the detection distance recording unit 22 as the visibility determination unit. Output to 3b.
  • the visibility determination unit 3b When the visibility determination unit 3b receives the image analysis result from the image recognition unit 1, it inputs the vehicle position information at that time.
  • the visibility determination unit 3b calculates the distance from the vehicle to the currently detected landmark using the input vehicle position information and landmark position information. The determination of the change in visibility by comparing the calculated detection distance and the reference detection distance is the same as in the third embodiment.
  • the visibility determining unit 3b calculates the distance from the vehicle to the landmark at that time each time the image recognition unit 1 detects the landmark, and the calculated distance and the land Visibility is determined by comparing the reference detection distance recorded for each type of mark. Therefore, in the first to third embodiments, it is assumed that the same landmark that has existed at the same position has been detected in the past. Can also perform visibility estimation.
  • the image recognition unit 1 outputs the image analysis result to the visibility determining unit 3b when the landmark can be completely recognized.
  • the image analysis process may be output from the image recognition unit 1 at a predetermined reference position.
  • the complete image analysis result when the reference detection distance is recorded is compared with the image analysis process when the same type of landmark is detected thereafter, and the visibility is estimated based on the difference in analysis level.
  • the reference position is a position in front of the landmark by the reference detection distance recorded for each type of landmark. Even in this case, even if the same landmark existing at the same position has not been detected in the past, if the same type of landmark has been detected, the visibility estimation is performed even on the first pass. The effect of being able to be obtained.
  • the detection distance when the certain type of landmark is detected for the first time is recorded in the detection distance recording unit 22 as the reference detection distance.
  • the reference detection distance recorded in the unit 22 may be updated. Further, a plurality of detection distances may be averaged and recorded. Furthermore, the reference detection position may be updated using the detection distance when visibility is good, and may not be updated when it is estimated that visibility is poor.
  • Embodiment 5 a past detection history serving as a reference for visibility estimation is recorded in the information storage unit 2 for each landmark or for each type of landmark.
  • one detection position vehicle position information
  • one image analysis history is recorded for each landmark in the second embodiment
  • one landmark is recorded in the third embodiment.
  • one detection distance is recorded for each type of landmark.
  • usage conditions include environmental conditions such as weather and brightness, and individual differences among users.
  • the detection performance of the object by the image analysis of the image recognition unit 1 varies depending on environmental conditions such as weather and brightness. Therefore, a different detection history is prepared for each environmental condition such as weather and brightness that affects the detection performance of the image recognition unit 1 using a rain sensor, an illuminance sensor, or the like.
  • a daytime detection history recording unit 23 and a nighttime detection history recording unit 24 are provided in the information storage unit 2c.
  • the daytime detection history recording unit 23 records data in which the image analysis result detected at daytime is associated with the vehicle position information at that time
  • the nighttime detection history recording unit In 24 data in which the image analysis result detected at night is associated with the vehicle position information at that time is recorded.
  • the vehicle position information is used as the reference detection position information as a judgment criterion for visibility estimation.
  • the image analysis result recorded in the daytime detection history recording unit 23 And the vehicle position information are output to the visibility determining unit 3c as a detection history.
  • the visibility determination unit 3c estimates the visibility by comparing the vehicle position information detected this time with the vehicle position information acquired from the daytime detection history recording unit 23, that is, the reference detection position. Since other operations are the same as those in the first embodiment, description thereof is omitted.
  • the detection history recorded in the daytime detection history recording unit 23 and the nighttime detection history recording unit 24 may be other than the data in which the image analysis result and the vehicle position information are associated with each other as described above.
  • the image analysis result detected in the daytime and the image analysis result detected in the night time may be recorded as in the second embodiment, or the detection distance when the landmark is detected in the daytime as in the third embodiment.
  • the detection distance when a landmark is detected at night may be recorded, or the detection distance for daytime and the detection distance for night may be recorded for each landmark as in the fourth embodiment.
  • three or more detection history recording units may be provided according to the illuminance detected by the illuminance sensor. Furthermore, a rain history detection history recording unit and a clear weather detection history recording unit may be provided by a rain sensor.
  • the detection history recorded in the information storage unit 2 may be prepared separately for each driver using some driver identification means. good. For example, data in which image analysis results detected in the past are associated with vehicle position information at that time is recorded in a plurality of stages. That is, data detected in a situation with good visibility and data detected in a situation with poor visibility are recorded. The vehicle position when detected in a low visibility situation is closer to the landmark than the vehicle position detected in a high visibility situation, so the data detected in a poor visibility situation is the reference value for drivers with good vision. As a result, it is possible to reduce the probability of being judged as “visibility reduction” and avoid frequent warning display and the like.
  • Embodiment 6 FIG.
  • the daytime threshold value is set larger than the nighttime threshold value.
  • the threshold for daytime is set to 4 m and the threshold for night is set to 2 m, the probability that it is judged as “visibility reduction” in the daytime becomes low, and frequent warning display or the like can be avoided.
  • the threshold value may be set according to the weather and illuminance.
  • the threshold value can be set for each driver as in the fifth embodiment. For example, it is possible to provide a button for increasing the threshold value for determining that the visibility is lowered, and for a driver who feels that too much information is provided press the button to make it difficult to determine that the visibility is reduced.
  • a button for lowering the threshold for judging that visibility is lowered is provided, and a driver with poor visual acuity presses this button so that if the position where the sign is detected changes even a little, the visibility is judged to have declined. Also good.
  • FIG. 7 is a diagram showing a driver visibility estimating apparatus according to the seventh embodiment.
  • a difference from FIG. 1 is that a determination reference adjustment unit 4 for generating a determination threshold is prepared, and an input of vehicle speed information and an output of vehicle speed history are added to the information storage unit 2d. Since others are the same, description is abbreviate
  • the determination threshold value is referred to when determining whether the visibility is lowered.
  • the determination criterion adjustment unit 4 in the seventh embodiment adjusts the threshold value.
  • the threshold value is raised, that is, the operation in the case where it is difficult for the visibility determination unit 3 to determine that the visibility is lowered.
  • the determination reference adjustment unit 4 estimates whether the driver who is the user actually feels that the visibility has decreased. Specifically, when the driver feels that the visibility has deteriorated, it is estimated that changes will occur in the use of wipers and lights, vehicle speed, etc., and these changes are monitored. That is, changes in driver behavior are monitored.
  • the criterion adjustment unit 4 acquires wiper operation information (ON / OFF, operation speed) from the wiper control device, and activates the wiper by switching on the wiper for a certain period of time. And observe whether the operation to increase the speed of the wiper is performed. When these operations are not performed, the driver determines that the visibility is not felt.
  • the criterion adjustment unit 4 obtains light operation information (on / off) from the headlight / fog lamp control device, and performs an operation of switching on the light for a certain period of time. Observe. When the lighting operation to switch on the light is not performed, the driver determines that the driver does not feel that the visibility has deteriorated.
  • the information storage unit 2d acquires the vehicle speed information acquired when the image analysis result and the vehicle position information are linked and stored. Also record it as a vehicle speed history.
  • the determination reference adjustment unit 4 compares the current vehicle speed with the past vehicle speed history acquired from the information storage unit 2d, and the past when the same point is passed. Observe whether the vehicle is running at a speed slower than the vehicle speed. If the vehicle speed is not reduced, the driver determines that the visibility does not feel lowered.
  • the determination reference adjustment unit 4 may cause the driver to lose visibility due to the use of the wiper, the use of light, the change in vehicle speed, or a combination thereof.
  • the determination threshold value to be notified to the visibility determination unit 3 is increased. This makes it difficult for the visibility determination unit 3 to determine that the visibility is lowered when the same landmark is detected from the next time.
  • the reference detection distance is “25 m”
  • the detection distance calculated this time is “20 m”
  • the threshold is “3 m”
  • the reference detection distance is And the detection distance calculated this time (5 m) exceeds the threshold value, so it is determined that the visibility is lowered.
  • “6 m” is not determined as “visibility degradation”.
  • the threshold is increased when it is estimated that the driver does not actually feel that the visibility is actually lowered based on the change in the behavior of the driver. Since the function is provided, it is possible to avoid determining that the visibility is excessively reduced when the driver does not feel that the visibility is deteriorated, and to suppress excessive display of warnings associated therewith.
  • FIG. 8 is a diagram showing a driver visibility estimating apparatus according to the eighth embodiment. The difference from FIG. 1 is that a determination reference adjustment unit 4a for generating a determination threshold is prepared. Since others are the same, description is abbreviate
  • the determination criterion adjustment unit 4a decreases the threshold value, that is, It shows about operation
  • the visibility determining unit 3 determines that the visibility is reduced. It is necessary to make it easier, that is, to lower the determination threshold. Specifically, it is a situation where the driver who is the user is not aware that the visibility has deteriorated, and it is possible to observe changes in the driver's behavior, such as the discovery of pedestrians on the shoulder, etc. being delayed. I do.
  • object detection information such as pedestrians ahead is acquired. This may be obtained from the image analysis result of the image recognition unit 1 or may be acquired from another in-vehicle camera or a device that performs image recognition.
  • the driver's line-of-sight information is required. This is acquired by detecting the movement of the eyes with a camera image or the like installed toward the driver's seat in the vehicle, not outside the vehicle.
  • the action that the discovery with the pedestrian is delayed is that, even though the position of the object is notified to the determination criterion adjustment unit 4a as the object detection information, the line of sight does not point to the position of the object even after a certain period of time. This is a case where the line-of-sight information is obtained. In such a case, it is considered that the driver is unaware that the visibility is lowered, and therefore the determination threshold value notified to the visibility determination unit 3 is lowered.
  • the threshold value is set to “2 m” and it is determined that “visibility is lowered”.
  • the driver may be required to take a certain amount of time until the driver shifts his / her line of sight to an object detected ahead.
  • a function to lower the threshold is provided when it can be assumed that the user has not noticed that the visibility has deteriorated, so it is easy to judge that the visibility has been lowered, and a necessary warning display etc. is presented to the driver accordingly. Will be able to.
  • Embodiment 9 FIG.
  • the visibility determination result of the visibility estimation device in each of the above embodiments is used in, for example, a safe driving support system.
  • FIG. 9 is a diagram showing an outline of the safe driving support system.
  • 5 is the visibility estimation device described in each of the above embodiments
  • 6 is whether or not to present information related to surrounding objects to the driver who is a user using the visibility determination result of the visibility estimation device 5.
  • 7 is an information presentation unit that presents information to the driver based on the determination of the information provision determination unit 6 and includes a display unit 71 that presents an image and a speaker 72 that presents a voice.
  • the information presentation determination unit 6 switches various safety support information presentation criteria to the driver, that is, a threshold, based on the visibility determination result. For example, when a warning is given that the inter-vehicle distance with the preceding vehicle is shorter than a predetermined distance, when the visibility determination result of the visibility estimation device 5 is “visibility reduction”, the presentation standard is lowered, The information presentation unit 7 warns using a display or sound. By controlling in this way, the driver can behave mentally and comfortably. Also, when notifying the presence of pedestrians and bicycles ahead, the driver is notified of the presence of pedestrians and bicycles that are difficult to notice only when the visibility judgment result is “Visibility Decline”, that is, when special attention is required. To do.
  • a threshold based on the visibility determination result. For example, when a warning is given that the inter-vehicle distance with the preceding vehicle is shorter than a predetermined distance, when the visibility determination result of the visibility estimation device 5 is “visibility reduction”, the presentation standard is lowered, The information presentation unit 7 warns using
  • the next turn point may be instructed by voice at a timing earlier than usual, or visually It is also possible to prompt the lights and fog lamps to be turned on by display or sound as the performance deteriorates, or to turn them on automatically.
  • the estimation results obtained by the visibility estimation devices according to the first to eighth embodiments not only estimate the visibility of a specific landmark at a certain time but also estimate the change in visibility compared to the past. Therefore, it can be used as a criterion for determining the necessity of presenting safety support information regarding surrounding objects, and excessive information provision to the driver can be suppressed.
  • visibility is low, by lowering the presentation standard so that surrounding safety support information that is not normally presented is lowered, it is possible to prevent excessive notification of surrounding information to the driver in a good-looking situation. I can do it.

Abstract

　本発明は、周囲の視認性の変化を推定することを目的とする。この目的を達成するため、本発明に係る視認性推定装置は、画像を解析することによりランドマークを検知する画像認識部１と、画像認識部１により検知されたランドマークの画像解析結果と画像認識部１がそのランドマークを検知した時の検知位置とを過去の検知履歴として記録する情報蓄積部２と、画像認識部１が情報蓄積部２に記録した検知履歴に対応するランドマークを再度検知した時、その時の検知位置と情報蓄積部２に記録された過去の検知位置との比較に基づき視認性の変化を推定する視認性判定部３とを備える。

Description

視認性推定装置、視認性推定方法、及び安全運転支援システム
　本発明は、ドライバや歩行者等の使用者に様々な情報を通知する際に、通知が過剰になって、運転や歩行の妨げにならないように制御する技術に関するものである。
　近年、自動車運転時の安全性向上に向けて、様々な安全運転支援技術が研究・開発されている。例えば前方車両や周囲の車両との接近時に、車内に用意した表示機に警告表示したり、スピーカで警告音を発して通知したりするシステムが存在するほか、路肩の歩行者や標識等の存在を通知し、ドライバの見落としを防ぐシステムが存在する。
　しかし、これらの様々な安全運転支援技術を導入する際には、ドライバへの情報通知が過剰になることによりドライバの注意力の低下を引き起こさないように注意する必要がある。例えば、街中を走行中には多数の歩行者が存在するし、多数の道路標識が存在するため、全てをドライバに通知することはドライバに煩わしさを感じさせ、本来積極的に通知すべき情報が正しくドライバに伝わらないといった問題を引き起こす恐れがある。
　こういった問題を避けるべく、様々な条件で通知する情報を絞る方法が存在する。例えば、道路標識およびその周囲をカメラで撮影し、道路標識周辺のエッジ数や道路標識の色彩の情報から、見えにくい標識のみを表示する方法がある（特許文献１）。
　また、予めナビゲーション装置内に地図情報と共に標識の情報（文字データ等）を記録しておき、走行中にカメラで撮影した標識の情報が予め記録された情報と異なる場合のみ、その標識を表示することにより、過剰な表示を抑制する方法がある（特許文献２）。
特開２０１０－２３９４４８号公報 特開２００５－３００３４２号公報
　しかしながら、特許文献１に記載された方法は、標識自体が見やすいかどうかを判定して、周囲の風景に溶け込んで視認性が低くなっている標識のみを表示するものであるため、周囲の視認性の変化まで推定できるものではなかった。また、視認性が低くなっている標識が多数存在すればその分表示される事となる。特に、頻繁に利用する道路において、たとえ見えにくいとしても、その交通標識の表示内容を把握している場合などは、そういった見えにくい標識が同じ道を通るたびに繰り返し表示されることはドライバにとって煩わしいものであり、注意力の低下を招き、安全運転が損なわれる恐れがあるという問題がある。
　また、特許文献２に記載された方法は、地図情報と共に記録された標識と、走行中に検知した標識とを比較し、異なるかどうかを判断するに過ぎず、視認性の変化を判断できるものではなかった。また、同一地点を通過する標識が繰り返し表示されることを避けることは出来るものの、標識の表示に特化したものであり、例えば前述の歩行者のように、他の通知対象物が過剰な通知にならないように制御する効果は無い。特に歩行者のようにいつも同じ位置に存在するという性質のものではない場合は、この方式のように地図と結びつけて記録し、変化の有無で通知するかどうかを判定することは出来ない。
　本発明は上記のような問題を解決するためになされたもので、標識等のランドマークの見易さがどのように変化するかを監視することで、視認性の変化を推定することを目的とする。また、過去と比較した視認性の変化を推定することにより、周囲の視認性、すなわち使用者が周囲の状況を十分離れた位置から確認できる状況にあるかを判断し、使用者への過剰な情報提示を抑制することを目的とする。
　本発明に係る視認性推定装置は、画像を解析することによりランドマークを検知する画像認識部と、前記画像認識部により検知されたランドマークの画像解析結果と、前記画像認識部が前記ランドマークを検知した時の検知位置とを前記ランドマークに関する過去の検知履歴として記録する情報蓄積部と、前記画像認識部が前記検知履歴に対応する前記ランドマークを再度検知した時、その時の検知位置と前記情報蓄積部に記録された過去の検知位置との比較に基づき視認性の変化を推定する視認性判定部とを備えたものである。
　また、画像を解析することによりランドマークを検知する画像認識部と、前記画像認識部により検知されたランドマークの画像解析結果と、前記画像認識部が前記ランドマークを検知した時の検知位置とを前記ランドマークに関する過去の検知履歴として記録する情報蓄積部と、前記情報蓄積部に記録された過去の検知位置において前記画像認識部が再度解析した前記ランドマークの画像解析経過と、前記情報蓄積部に記録された過去の画像解析結果との比較に基づき視認性の変化を推定する視認性判定部とを備えたものである。
　また、画像を解析することによりランドマークを検知する画像認識部と、前記画像認識部が前記ランドマークを検知した時の位置から前記ランドマークまでの検知距離を前記ランドマークに関する過去の検知履歴として記録する情報蓄積部と、前記画像認識部が前記検知履歴に対応する前記ランドマークを再度検知した時、その時の検知距離と前記情報蓄積部に記録された過去の検知距離との比較に基づき視認性の変化を推定する視認性判定部とを備えたものである。
　また、本発明に係る視認性推定方法は、画像を解析することによりランドマークを検知するステップと、検知されたランドマークの画像解析結果と、前記ランドマークが検知された時の検知位置とを前記ランドマークに関する過去の検知履歴として記録するステップと、前記検知履歴に対応する前記ランドマークが再度検知された時、その時の検知位置と記録された過去の検知位置との比較に基づき視認性の変化を推定するステップとを備えたものである。
　また、画像を解析することによりランドマークを検知するステップと、検知されたランドマークの画像解析結果と、前記ランドマークが検知された時の検知位置とを前記ランドマークに関する過去の検知履歴として記録するステップと、過去の検知位置において再度検知された前記ランドマークの画像解析経過と、記録された過去の画像解析結果との比較に基づき視認性の変化を推定するステップとを備えたものである。
　また、画像を解析することによりランドマークを検知するステップと、前記ランドマークが検知された時の位置から前記ランドマークまでの検知距離を前記ランドマークに関する過去の検知履歴として記録するステップと、前記検知履歴に対応する前記ランドマークが再度検知された時、その時の検知距離と記録された過去の検知距離との比較に基づき視認性の変化を推定するステップとを備えたものである。
　更に、本発明に係る安全運転支援システムは、画像を解析することによりランドマークを検知する画像認識部と、前記画像認識部により検知されたランドマークの画像解析結果と、前記画像認識部が前記ランドマークを検知した時の検知位置とを前記ランドマークに関する過去の検知履歴として記録する情報蓄積部と、前記画像認識部が前記検知履歴に対応する前記ランドマークを再度検知した時、その時の検知結果と前記情報蓄積部に記録された過去の検知履歴との比較に基づき視認性の変化を推定する視認性判定部と、前記視認性判定部が過去の視認性と比較して現在の視認性が低下していると推定したとき、使用者に周囲の安全支援情報の提示が必要と判断するための閾値を下げる情報提示判断部と、前記情報提示判断部が情報を提示すると判断したとき使用者に情報を提示する情報提示部とを備えたものである。
　本発明に係る視認性推定装置および視認性推定方法によれば、視認性の変化、例えば、視認性が通常通りか低下しているかを推定することができる。また、このように視認性の変化を推定することにより、視認性が低下しているときだけ周囲の情報を使用者に伝えることができ、提示する情報量を抑制することができる。
本発明の実施の形態１における視認性推定装置を示す図である。 本発明の実施の形態１における視認性判定の流れを示す図である。 本発明の実施の形態２における視認性推定装置を示す図である。 本発明の実施の形態２における視認性判定の流れを示す図である。 本発明の実施の形態３における視認性推定装置を示す図である。 本発明の実施の形態５における視認性推定装置を示す図である。 本発明の実施の形態７における視認性推定装置を示す図である。 本発明の実施の形態８における視認性推定装置を示す図である。 本発明の実施の形態９における安全運転支援システムを示す図である。
実施の形態１．
　図１はこの発明の実施の形態１における視認性推定装置を示す図である。視認性推定装置としては、車両を運転するドライバの視認性を推定するものの他、歩行者の視認性を推定するものもあるが、この実施の形態１においては、ドライバの視認性を推定するものについて説明する。以下の実施の形態も同様である。図に示すように、実施の形態１におけるドライバ視認性推定装置は、画像認識部１、情報蓄積部２、及び視認性判定部３で構成されている。また、図２は視認性判定部３における視認性判定の流れを示している。
　画像認識部１は車両に搭載され、進行方向前方を撮影する車載カメラの画像を入力とし、その画像解析結果を情報蓄積部２と視認性判定部３に出力する。画像認識部１は、道路標識、信号機、コンビニの看板等のランドマークを検知する機能を有しており、検知できた場合には、その種別や記載内容を出力する。例えば道路標識の場合、「速度制限標識」「４０（ｋｍ／ｈ）」といった情報を画像解析結果として出力し、検知できない場合には、「検知なし」といった情報を出力する、または何も出力しない。
　情報蓄積部２は、画像認識部１の出力する画像解析結果とそのランドマークを検知した時の車両位置情報とを入力とし、両者を紐付けて内部のＨＤＤ等の記憶媒体（図示せず）に過去の検知履歴として記録する機能を有する。情報蓄積部２に記録された検知履歴の１つである過去の車両位置情報は基準検知位置情報（過去の検知位置）として視認性推定の判断基準として用いられる。車両位置情報はカーナビ等で広く使用されているＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）により生成され、車両の現在位置を正確に示すものである。車両位置情報には緯度・経度といった座標のほかに、車の向きの情報も含む。これは同じくカーナビ等で広く使用されるジャイロセンサー等により生成される。さらに情報蓄積部２は、車両がある座標をある向きに走行している時、その時の車両位置情報とその車両位置情報に紐付けられた画像解析履歴とを記録している場合、それらを検知履歴として出力する。
　視認性判定部３は、画像認識部１から取得した現在の画像解析結果と、現在の車両位置と、情報蓄積部２から取得した検知履歴と、判定閾値とに基づき、最終的に視認性を判定し、判定結果を出力する。
　次に、図１、図２を用いて視認性判定部３の動作について説明する。
　例えば、車両の走行中に、過去に４０キロの速度制限標識を検知した地点にさしかかると、情報蓄積部２から「速度制限標識」「４０（ｋｍ／ｈ）」というデータが画像解析履歴として入力され（Ｓ１００）、その画像解析履歴に紐付けられた過去の検知位置である基準検知位置情報（ａ）が入力される（Ｓ１０１）。
　同一地点で同一の道路標識が画像認識部１により検知されると、画像解析結果として「速度制限標識」「４０（ｋｍ／ｈ）」が画像認識部１から入力され（Ｓ１０２）、その時の車両位置情報（ｂ）が入力される（Ｓ１０３）。この場合、基準検知位置情報（ａ）と現在の車両位置情報（ｂ）とが同一であるため、車両進行方向の視認性に変化がないと判断し、視認性判定結果として「視認性通常」を出力する（Ｓ１０４、Ｓ１０６）。なお、実際には視認性の変化が殆ど無いとしても、標識を認識できる位置は多少のばらつきがあると考えられるため、一定の範囲内は同一地点とみなすという制御が行われる。
　一方、例えば霧等が発生して視界が悪い場合、普段よりも近づかないと標識を検知できなくなる。具体的には、視認性判定部３において、過去に交通標識を検知した地点にさしかかると、情報蓄積部２から画像解析履歴と基準検知位置情報が通知される（Ｓ１００、１０１）のに対し、まだ画像認識部１がその位置でその交通標識を検知できていないため、画像認識部１からの画像解析結果の通知は行われない。さらに車両が進行方向前へ進み、交通標識を完全に検知できると、そこで初めて画像解析結果が通知され（Ｓ１０２）、その時の車両位置情報（ｂ）が入力される（Ｓ１０３）。
　この場合、同一の交通標識に対応する基準検知位置情報（ａ）と車両位置情報（ｂ）とが異なるため、視認性に変化が出たと判断する。上記の例では、基準検知位置情報（ａ）の座標より、その時の車両位置情報（ｂ）の座標の方が進行方向に進んだ位置であるため、視認性が低下したと判断する（Ｓ１０４、Ｓ１０５）。ここで、どれだけ位置が変化した場合に視認性が低下したと判断するか、判断基準として、外部から判定閾値を入力する。例えば判定閾値を２ｍとした場合、画像解析履歴として標識の検知が通知されてから画像解析結果として標識の検知が通知されるまでの間に、車両が進んだ距離が２ｍ以下の場合は、視認性に変化は無い、つまり視認性判定結果として「視認性通常」を出力する。一方で車両が進んだ距離が２ｍを超え、例えば４ｍであった場合には、視認性判定結果として「視認性低下」を出力する。
　なお、上記の説明では、閾値を外部から取得するようにしたが、閾値を視認性判定部３に記録しておいても良い。
　また、情報蓄積部２に蓄積する画像解析履歴とこれに対応する基準検知位置情報は、画像認識部１から画像解析結果を入力する度に更新しても良いが、前方に遮るものがあった場合など、測定できなかった場合にはその解析結果を記録しないようにしても良いし、複数回数の平均によりその影響を出にくくしても良い。また、視認性が良いときの画像解析結果を画像解析履歴としてその時の車両位置と紐付けて記録するようにデータを更新しても良い。視認性が良いかどうかは、車両位置情報（ｂ）の座標が基準検知位置情報（ａ）の座標より進行方向に対して後方である場合に視認性が良いと判断しても良いし、明るさ等から判断しても良い。更に、最初にランドマークを検知した時の画像解析結果とその時の車両位置情報のみを基準の検知履歴として記録するようにしても良い。
　以上のように、この実施の形態におけるドライバ視認性推定装置は、標識等、道路の進行方向前方に固定されて設置された物体（ランドマーク）が検知された位置を過去の検知位置と比較することにより、視認性の変化を推定することができる。また、推定された視認性の変化に基づき、周囲で検知した他の物体の情報提供の要否を判断することが出来るので、ドライバへの過剰な情報提供を抑制することが出来る。
実施の形態２．
　図３はこの発明の実施の形態２におけるドライバ視認性推定装置を示す図である。図１との違いは、画像認識部１ａから視認性判定部３ａに対して画像解析結果ではなく画像解析経過が出力されている点、及びその画像解析経過が情報蓄積部２ａに蓄積される点である。すなわち、実施の形態１では、画像認識部１が認識対象となる交通標識等を完全に検知できたときに、その種別や記載内容を出力していたが、本実施の形態２における画像認識部１ａは、それらを完全に検知できていない場合でも、所定の地点を通過した時点で、画像解析経過を出力する。その他については同一であるため説明を省略する。図４は視認性判定部３ａにおける視認性判定の流れを示している。
　図３及び図４を用いて、実施の形態２におけるドライバ視認性推定の方法について説明する。まず、走行中に、画像認識部１ａがある標識等を最初に完全に認識した時、その地点でその画像解析結果を情報蓄積部２ａに出力し、過去の画像解析結果として蓄積しておく。例えば、進行方向前方に「４０（ｋｍ／ｈ）」と描かれた速度制限の交通標識があった場合に、その交通標識を完全に認識できた車両位置と、「速度制限標識」「４０（ｋｍ／ｈ）」という画像解析結果とを紐付けて過去の検知履歴として情報蓄積部２ａに記録しておく。この時に記録された検知履歴の１つである車両位置は、次回以降、画像認識部１ａが画像解析経過を出力する基準位置として用いられる。また、同時に記録された過去の画像解析結果は、次回以降、同一地点を通過するときに画像解析履歴として視認性判定部３ａに出力され、視認性推定の判断基準として用いられる。
　その後、車両が基準位置を通過すると、視認性判定部３ａは情報蓄積部２ａからその地点での画像解析履歴を取得する（Ｓ２００）。そして、その時に画像認識部１ａが解析している内容を画像解析経過として視認性判定部３ａに通知する（Ｓ２０１）。例えば、画像認識部１ａは、進行方向前方にある交通標識が「速度制限標識」であることは検知できても、その標識に描かれている具体的な数値が読み取れない場合、画像解析経過として「速度制限標識」のみを情報蓄積部２ａ及び視認性判定部３ａに出力する。
　視認性判定部３ａは、画像解析経過として画像認識部１ａから入力された「速度制限標識」と、情報蓄積部２から入力された判断基準値である「速度制限標識」「４０（ｋｍ／ｈ）」とを比較する（Ｓ２０２）。この例では、比較した結果、視認性判定部３ａは、画像解析経過の方が過去の画像解析履歴より解析レベルが低い、言い換えれば、画像解析経過の方が過去の画像解析履歴より荒い検知情報しか得られていないと判断し、車両進行方向の視認性が低下していると推定して、視認性判定結果として「視認性低下」を出力する（Ｓ２０３）。逆に、同一の解析レベルが得られている場合には、視認性判定結果として「視認性通常」を出力する（Ｓ２０４）。
　以上のように、同一地点での過去の検知履歴である画像解析履歴と現在の画像解析経過とを比較して、画像解析レベルの変化に基づき視認性の変化を判定できるようにしたため、解析可能な距離まで近づかなくても視認性が低下していることが判定できる。
　なお、解析レベルは標識の種別とそこに書かれた数値の有無により判断すると限定するものではなく、他の判断基準も存在する。例えば、信号機の検知の場合、過去に同一地点で信号機の存在と信号機の色を判断できていたのに対し、今回信号機の存在のみの検知で色の識別が出来ていない場合、解析レベルが低下したと判断しても良い。また、何らかの他の閾値を設けても良い。
　また、上記の説明では、最初にランドマークを完全に認識できたときの画像解析履歴を判断基準値として次回以降の画像解析経過との比較対象としたが、画像認識部１ａから画像解析経過が出力される度に情報蓄積部２ａの画像解析履歴を更新して、前回の画像解析経過を比較対象として用いてもよい。このような構成にすれば、前回と比較して視認性が良いか悪いかを判断することができる。
　また、上記の説明では、最初にランドマークを完全に認識できたときの車両位置を画像認識部１ａが画像解析経過を出力する基準位置としたが、この基準位置を更新するようにしても良い。例えば、あるランドマークを完全に認識できたときの画像解析結果と検知位置を複数回分、情報蓄積部２ａに記録しておき、一番視認性が良いときの検知位置を基準位置として更新しても良い。ここで、視認性が良いかどうかの判断は、検知位置に基づいて行っても良いし（検知位置がランドマークから遠い程、視認性が良いと判断する）、周囲の明るさに基づいて行っても良い。また、最初に基準位置を決定した後、その時よりも周囲が明るい時に、再度ランドマークを完全に検知し、その時の車両位置を基準位置として更新しても良い。
　このように基準位置を更新する構成にすれば、最初にランドマークを完全に認識できた時の天候が悪くて視認性が悪い場合であっても、徐々に基準位置を補正することができ、視認性推定の性能が良くなる。
実施の形態３．
　実施の形態１ではランドマークの検知位置の変化を視認性推定に用い、実施の形態２ではランドマークの画像解析レベルの変化を視認性推定に用いた。それに対し、本実施の形態においては、ランドマークの検知位置からランドマークまでの距離（検知距離）の変化を視認性推定に用いる。
　図５は本実施の形態３におけるドライバ視認性推定装置を示す図である。図１との違いは、情報蓄積部２ｂ内にランドマーク位置記録部２１、標準検知距離記録部２２が存在することと、情報蓄積部２ｂから視認性判定部３ｂに対し、図１と異なるデータが複数伝送される点である。その他については同一であるため説明を省略する。
　情報蓄積部２ｂ内のランドマーク位置記録部２１には、交通標識や信号機等のランドマークの位置情報が記録されている。例えばカーナビ等では交差点の信号を表示するために地図情報の中に信号機の情報が含まれているので、そのような情報を利用する。
　また、情報蓄積部２ｂ内の検知距離記録部２２には、視認性推定に用いる検知履歴として、あるランドマークを最初に検知した時の車両の位置からそのランドマークまでの距離が記録されている。この距離は、次回以降の検知距離との比較対象である基準検知距離（過去の検知距離）として用いられる。基準検知距離は、次のようにして算出される。検知距離記録部２２は、あるランドマークの画像認識結果を画像認識部１から初めて取得した時に、車両位置情報を取得するとともに、検知したランドマークが実際に存在する位置をランドマーク位置記録部２１から取得し、両者を比較することにより、車両位置からランドマークまでの距離を算出する。例えば、画像認識部１が車両の進行方向に存在する交通標識を検知し、「速度制限標識」「４０ｋｍ／ｈ」という画像解析結果を出力した場合、検知距離記録部２２は、ランドマーク位置記録部２１よりその交通標識の位置情報を取得する。そして、検知距離記録部２２は、取得した交通標識の位置と現在の車両位置とを比較することにより、例えば「２５ｍ」という距離を算出する。つまり、その車両がその交通標識を２５ｍ手前で検知できたということが記録される。
　視認性判定部３ｂの判定処理について説明する。車両があるランドマークに近づき、画像認識部１がその画像を検知すると、画像認識部１はその画像解析結果を視認性判定部３ｂに出力するとともに、情報蓄積部２ｂに出力する。情報蓄積部２ｂは、画像解析結果を受け取ると、その画像解析結果と車両位置情報とから、ランドマーク位置記録部２１に記録されているそのランドマークを特定し、そのランドマーク位置情報を視認性判定部３ｂに出力する。また、情報蓄積部２ｂは、特定されたランドマークに対応する基準検知距離情報を視認性判定部３ｂに出力する。
　視認性判定部３ｂは、画像認識部１から画像解析結果を受け取ると、その時の車両位置情報を入力する。視認性判定部３ｂは、入力された車両位置情報とランドマーク位置情報とを用いて、車両からランドマークまでの距離を算出する。すなわち、今回、そのランドマークをどのくらい離れた距離から検知できたかを示す検知距離を算出する。そして、算出された検知距離と情報蓄積部２ｂから取得した基準検知距離とを比較し、過去に記録された基準検知距離より短いか、つまりランドマークに近づいてから検知されたのかどうかを判断する。比較の際には、実施の形態１と同様に、判定閾値を用いる。例えば基準検知距離が「２５ｍ」、今回算出された検知距離が「２０ｍ」、閾値が「３ｍ」の場合、基準検知距離と今回算出された検知距離との差分、すなわちランドマークに近づいた距離は５ｍであり、閾値を越えているため、「視認性低下」と判断する。一方、例えば今回の検知距離が「２３ｍ」の場合、標識に近づいた距離は２ｍであり、閾値を越えないため、視認性判定結果は「視認性通常」と判断する。
　以上のように、この実施の形態においては、視認性判定部３ｂは、画像認識部１がランドマークを検知する度に、その時の車両からランドマークまでの検知距離を算出し、算出された検知距離と過去に記録された基準検知距離とを比較することによって視認性を推定するようにした。
　なお、上記の説明では、あるランドマークを初めて検知した時の検知距離を基準値として検知距離記録部２２に記録させたが、ランドマークを検知する度に検知距離記録部２２に記録された基準検知距離を更新しても良い。このような構成にすれば、前回と比較して視認性が良いか悪いかを判断することができる。また、複数回の検知距離を平均して基準検知位置としても良い。更に、視認性の良い時の検知距離を記録し、視認性が悪いと推定された時には更新しないようにしても良い。このように視認性の良い時の検知距離を基準検知距離として更新するようにすれば、最初にランドマークを検知した時の天候が悪くて視認性が悪い場合であっても、徐々に基準検知距離を補正することができ、視認性推定の性能が良くなる。
実施の形態４．
　上記実施の形態１～３では、過去の同一位置に存在する同一の物体（ランドマーク）の検知履歴を視認性推定に用いていた。それに対し、本実施の形態においては、ランドマークの種別毎に、どのくらい離れた距離から検知できるかを示す基準検知距離を記録しておき、その基準検知距離を視認性推定に用いる。本実施の形態４におけるドライバ視認性推定装置の基本的な構成は実施の形態３と同じであるため、図５を用いて本実施の形態の動作を説明する。同一の構成については説明を省略する。
　情報蓄積部２ｂ内の検知距離記録部２２には、どのくらい離れた距離から検知できるかを示す基準検知距離がランドマークの種別毎に記録されている。基準検知距離の算出方法は、実施の形態３と同様である。例えば、速度制限標識等の交通標識は「２５ｍ」、信号機は「３０ｍ」、チェーン展開されていてコンビニ等の統一されたデザインを持つ店の看板は「４０ｍ」という基準検知距離が記録される。このように、検知距離記録部２２は、様々な種別のランドマークについて、その種別ごとに最初に検知した距離を基準検知距離として記録しておく。
　視認性判定部３ｂの判定処理について説明する。車両がある種別のランドマークに近づき、画像認識部１がその画像を検知すると、画像認識部１はその画像解析結果を視認性判定部３ｂに出力するとともに、情報蓄積部２ｂに出力する。情報蓄積部２ｂは、画像解析結果を受け取ると、その画像解析結果と車両位置情報とから、ランドマーク位置記録部２１に記録されているそのランドマークを特定し、そのランドマーク位置情報を視認性判定部３ｂに出力する。また、情報蓄積部２ｂは、入力された画像解析結果からランドマークの種別を特定し、検知距離記録部２２に記録されているその種別のランドマークに対応する基準検知距離情報を視認性判定部３ｂに出力する。
　視認性判定部３ｂは、画像認識部１から画像解析結果を受け取ると、その時の車両位置情報を入力する。視認性判定部３ｂは、入力された車両位置情報とランドマーク位置情報とを用いて、車両から今回検知したランドマークまでの距離を算出する。算出された検知距離と基準検知距離とを比較して視認性の変化を判定することについては、実施の形態３と同様である。
　以上のように、この実施の形態においては、視認性判定部３ｂは、画像認識部１がランドマークを検知する度にその時の車両からランドマークまでの距離を算出し、算出された距離とランドマークの種別毎に記録された基準検知距離とを比較することによって視認性を判定するようにした。したがって、上記実施の形態１～３においては、過去に同じ位置に存在する同一のランドマークを検知したことがあるということが前提であったのに対し、この実施の形態では、初めて通る道においても視認性推定を行う事ができる。
　なお、上記の説明では、実施の形態１、３と同様、画像認識部１がランドマークを完全に認識できた時に画像解析結果を視認性判定部３ｂに出力するようにしたが、実施の形態２のように、所定の基準位置において、画像認識部１から画像解析経過を出力するようにしても良い。この場合、基準検知距離を記録した時の完全な画像解析結果と、その後同じ種別のランドマークを検知した時の画像解析経過とを比較し、解析レベルの差により視認性を推定する。また、基準位置はランドマークの種別毎に記録された基準検知距離だけランドマークより手前の位置となる。このようにしても、同じ位置に存在する同一のランドマークを過去に検知したことがなくても、同じ種別のランドマークを検知したことがあれば、初めて通る道においても視認性推定を行う事ができるという効果が得られる。
　また、上記の説明では、ある種別のランドマークを初めて検知したときの検知距離を基準検知距離として検知距離記録部２２に記録させたが、同一の種別のランドマークを検知する度に検知距離記録部２２に記録された基準検知距離を更新しても良い。また、複数回の検知距離を平均して記録しても良い。更に、視認性の良いときの検知距離を用いて基準検知位置を更新し、視認性が悪いと推定された時には更新しないようにしても良い。
実施の形態５．
　上記実施の形態１～４においては、視認性推定の基準となる過去の検知履歴をランドマーク毎、或いはランドマークの種別毎に１つずつ情報蓄積部２に記録している。例えば、実施の形態１ではランドマーク毎に１つの検知位置（車両位置情報）が記録され、実施の形態２ではランドマーク毎に１つの画像解析履歴が記録され、実施の形態３ではランドマーク毎に１つの検知距離が記録され、実施の形態４ではランドマークの種別毎に１つの検知距離が記録されている。この実施の形態５においては、使用状況に応じて複数の検知履歴を使い分ける例について説明する。使用状況としては、例えば、天候や明るさ等の環境条件や使用者の個人差が挙げられる。
　画像認識部１の画像解析による物体の検知性能は、天候や明るさ等の環境条件により異なる。そこで、レインセンサーや照度センサー等を用いて、画像認識部１の検知性能に影響を与える天候や明るさ等の環境条件ごとに、異なる検知履歴を用意しておく。例えば、図６に示すように、情報蓄積部２ｃに昼用検知履歴記録部２３と夜用検知履歴記録部２４とを設ける。そして、例えば実施の形態１のように、昼用検知履歴記録部２３には、昼に検知した画像解析結果とその時の車両位置情報とを対応付けたデータを記録し、夜用検知履歴記録部２４には、夜に検知した画像解析結果とその時の車両位置情報とを対応付けたデータを記録しておく。実施の形態１と同様、車両位置情報は基準検知位置情報として視認性推定の判断基準として用いられる。
　車両が過去にランドマークを検知した地点にさしかかり視認性推定の判断を開始する時、照度センサーや時刻等に基づき昼であると判断すると、昼用検知履歴記録部２３に記録された画像解析結果と車両位置情報とを検知履歴として視認性判定部３ｃに出力する。視認性判定部３ｃでは、今回検知された車両位置情報を昼用検知履歴記録部２３から取得した車両位置情報、すなわち基準検知位置と比較して視認性を推定する。その他の動作については実施の形態１と同様であるため、説明を省略する。
　昼用検知履歴記録部２３と夜用検知履歴記録部２４に記録する検知履歴としては、上記のように画像解析結果と車両位置情報とを対応付けたデータ以外でも良い。例えば、実施の形態２のように昼に検知した画像解析結果と夜に検知した画像解析結果を記録しても良いし、実施の形態３のように昼にランドマークを検知した時の検知距離と夜にランドマークを検知した時の検知距離を記録しても良いし、実施の形態４のようにランドマーク毎に昼用の検知距離と夜用の検知距離を記録しても良い。
　また、照度センサーにより検知される照度に応じて３つ以上の検知履歴記録部を設けても良い。更に、レインセンサーにより、雨天用の検知履歴記録部と晴天要の検知履歴記録部とを設けても良い。
　また、使用者であるドライバのスキルや視力等により視認性には個人差があるため、情報蓄積部２に記録する検知履歴は、何らかのドライバ識別手段を用いて、ドライバ毎に別に用意しても良い。例えば、過去に検知した画像解析結果とその時の車両位置情報とを対応付けたデータを複数段階に分けて記録しておく。すなわち、視認性の良い状況で検知したデータと視認性の悪い状況で検知したデータとを記録しておく。視認性の悪い状況で検知した時の車両位置は視認性の良い状況で検知した車両位置よりランドマークに近いため、視力の良いドライバに対しては視認性の悪い状況で検知したデータを基準値として用いることにより、「視認性低下」と判断される確率が低くなり、警告表示等が頻繁に行われるのを避けることができる。
　このように、使用状況に応じて異なる検知履歴を記録しておき、使用状況に応じて異なる検知履歴を比較対象とすることにより、視認性の変化をより的確に推定することができる。
実施の形態６．
　上記実施の形態５においては、使用状況に応じて複数の検知履歴を用いる例について説明したが、使用状況に応じて視認性推定に用いる閾値を切り替えても良い。例えば、昼は夜と比較して視認性が良いため、昼用の閾値を夜用の閾値より大きく設定する。実施の形態１の例では、基準検知位置より３ｍランドマークに近づいた時にランドマークを検知した場合、閾値が２ｍであれば「視認性低下」と判断されるが、閾値が４ｍであれば「視認性通常」と判断される。したがって、昼用の閾値を４ｍとし、夜用の閾値を２ｍとすれば、昼間に「視認性低下」と判断される確率が低くなり、警告表示等が頻繁に行われるのを避けることができる。
　天候や照度に応じて閾値を設定しても良いことは、上記実施の形態５と同様である。また、ドライバ毎に閾値を設定できることも、上記実施の形態５と同様である。例えば、視認性低下と判断する閾値を上げるためのボタンを設け、情報提供が多すぎると感じるドライバがこのボタンを押すことにより視認性低下と判断しにくくすることができる。また、視認性低下と判断する閾値を下げるためのボタンを設け、視力が悪いドライバはこのボタンを押して、標識を検知する位置が少しでも変わった場合に視認性が低下したと判断するようにしてもよい。
実施の形態７．
　図７は本実施の形態７におけるドライバ視認性推定装置を示す図である。図１との違いは、判定閾値を生成する判定基準調整部４を用意している点と、情報蓄積部２ｄに車速情報の入力、車速履歴の出力を追加している点である。その他については同一であるため説明を省略する。
　上記の各実施の形態においては、視認性が低下したかどうかの判断をする際に判定閾値を参照していたが、本実施の形態７における判定基準調整部４は、その閾値の調整を行う機能を有し、本実施の形態はそのうち閾値を上げる、つまり、視認性判定部３において視認性低下と判断しにくくする場合の動作について示すものである。
　視認性判定結果として視認性低下が判断された場合、判定基準調整部４では使用者であるドライバが実際に視認性が低下したと感じているかを推測する。具体的には、ドライバが視認性低下を感じた場合には、ワイパーやライトの使用、車速等に変化が生じると推定し、それらの変化を監視する。すなわち、ドライバの行動の変化を監視する。
　ワイパーの使用の変化を用いる場合、判定基準調整部４は、ワイパーの制御機器よりワイパー動作情報（入／切、動作速度）を取得し、一定期間の間にワイパーのスイッチを入れてワイパーを起動したり、ワイパーの動作速度を速めたりする操作を行っているか観測する。これらの操作が行われていない場合、ドライバは視認性が低下したと感じていないと判断する。
　ライトの使用の変化を用いる場合、判定基準調整部４は、ヘッドライト・フォグランプの制御機器よりライト動作情報（入／切）を取得し、一定期間の間にライトのスイッチを入れる操作を行っているか観測する。ライトのスイッチを入れる点灯操作が行われていない場合、ドライバは視認性が低下したと感じていないと判断する。
　車速の変化を用いる場合、例えば実施の形態１における視認性推定方法と組み合わせて説明すると、情報蓄積部２ｄは、画像解析結果と車両位置情報とを紐付けて蓄積する際に、取得した車速情報も併せて車速履歴として記録しておく。画像認識部１が同一のランドマークを検知したとき、判定基準調整部４は、現在の車速と情報蓄積部２ｄより取得した過去の車速履歴とを比較し、過去に同一地点を通過した時の車速よりも遅い車速で走行しているかどうか観測する。車速を落としていない場合、ドライバは視認性が低下したと感じていないと判断する。
　視認性判定結果として視認性低下が判断された時、判定基準調整部４は、上記のワイパーの使用、ライトの使用、車速の何れかの変化、またはその組み合わせにより、ドライバは視認性が低下していると感じていないと判断した場合、視認性判定部３へ通知する判定閾値を上げる。それにより、次回以降、同一のランドマークを検知する際に視認性判定部３が視認性低下と判断しにくくする。例えば、上記実施の形態３の視認性推定方法の例を用いて説明すると、基準検知距離が「２５ｍ」、今回算出された検知距離が「２０ｍ」、閾値が「３ｍ」の場合、基準検知距離と今回算出された検知距離との差（５ｍ）は閾値を越えているため、「視認性低下」と判断するが、実施にはドライバは視認性低下を感じていないため、次回以降は閾値を「６ｍ」として、「視認性低下」と判断しないようにする。
　以上のように、視認性低下との判定結果を出力する一方で、ドライバの行動の変化に基づき、ドライバが実際には視認性が低下したと感じていないと推測される場合は、閾値を上げる機能を設けるようにしたので、ドライバが視認性を低下したと感じていないときに過剰に視認性低下と判断することを避け、それに伴う警告の過剰な表示等を抑制する事ができる。
実施の形態８．
　図８は本実施の形態８におけるドライバ視認性推定装置を示す図である。図１との違いは、判定閾値を生成する判定基準調整部４ａを用意している点である。その他については同一であるため説明を省略する。
　上記の実施の形態７が、視認性判定部３へ入力する判定閾値を上げる場合の動作を示していたのに対し、本実施の形態８における判定基準調整部４ａは、閾値を下げる、つまり、視認性判定部３において視認性低下と判断し易くする場合の動作について示すものである。
　視認性判定部３が視認性低下と判断しなかったものの、以後は積極的に障害物の接近等の警告表示灯を行う必要がある場合には、視認性判定部３が視認性低下と判断しやすくする、つまり判定閾値を下げる必要がある。具体的には、使用者であるドライバが視認性が低下している事に気づいていない状況であり、路肩の歩行者等の発見が遅れるといったドライバの行動の変化が観測できるため、それらの検知を行う。
　路肩の歩行者等の発見については、まず前方の歩行者等の物体検知情報を取得する。これは画像認識部１の画像解析結果を用いても良いし、別の車載カメラや画像認識を行うデバイスから取得しても良い。一方、ドライバが前方の歩行者等に気付いているかどうかの判断には、ドライバの視線情報が必要となる。これは車外ではなく、車内のドライバ席側に向けて設置されたカメラ映像等で目の動きを検知する等により取得する。
　歩行者との発見が遅れるという動作は、物体検知情報として物体の位置が判定基準調整部４ａに通知されているにもかかわらず、一定期間を超えてもその物体の位置に視線が向かないといった、視線情報が得られた場合である。このような場合、ドライバは視認性が低下していることに気付いていないと考えられるため、視認性判定部３に通知する判定閾値を下げる。例えば、上記実施の形態３の視認性推定方法の例を用いて説明すると、基準検知距離が「２５ｍ」、今回算出された検知距離が「２２ｍ」、閾値が「４ｍ」の場合、基準検知距離と今回算出された検知距離との差（３ｍ）は閾値を越えていないため、「視認性通常」と判断するが、実施にはドライバは視認性が低下していることに気付いていないと推測できるため、次回以降は閾値を「２ｍ」として、「視認性低下」と判断するようにする。
　なお、歩行者が突然脇道から現れた場合などについては、物体検知情報を判定基準調整部４ａに通知してから物体の位置に視線が向かうまでの時間が短くなるため、視認性が低下しているわけではないので、閾値を上げる動作は行わない。
　以上のように、視認性判定部３が視認性低下と判断しないときであっても、前方に検知された物体に対してドライバが視線を移すまでに一定の時間を要した場合等、ドライバが視認性が低下した事に気づいていないと推測できる場合に、閾値を下げる機能を設けるようにしたので、視認性低下と判断し易くなり、それに伴う必要な警告の表示等をドライバに提示する事ができるようになる。
実施の形態９．
　上記各実施の形態における視認性推定装置の視認性判定結果は、例えば安全運転支援システムに用いられる。図９は、安全運転支援システムの概要を示す図である。図において、５は上記各実施の形態で説明した視認性推定装置、６は視認性推定装置５の視認性判定結果を用いて使用者であるドライバに周囲の物体に関する情報を提示するか否かを判断する情報提示判断部、７は情報提供判断部６の判断に基づいてドライバに情報を提示する情報提示部であり、画像により提示する表示部７１と音声により提示するスピーカ７２とを含む。
　情報提示判断部６は、視認性判定結果に基づいて、ドライバへの様々な安全支援情報の提示基準、すなわち閾値を切り替える。例えば、前方車両との車間距離が所定距離より短くなると警告する場合、視認性推定装置５の視認性判定結果が「視認性低下」の場合は、提示基準を下げて、通常より遠い場合にも情報提示部７により表示や音声を用いて警告するようにする。このように制御することで、ドライバが精神的にゆとりを持って行動できるようにする。また、前方の歩行者や自転車等の存在を通知する場合、視認性判定結果が「視認性低下」のとき、すなわち特に注意が必要なときのみ、気付きにくい歩行者や自転車の存在をドライバに通知するようにする。
　また、例えばカーナビゲーション機能を使用中、視認性推定装置５の視認性判定結果が「視認性低下」の場合は、通常より早いタイミングで次の曲がる箇所を音声で指示しても良いし、視認性の低下にあわせてライト・フォグランプの点灯を表示や音声で促したり、またそれらを自動的に点灯したりするようにしても良い。
　このように、実施の形態１～８における視認性推定装置による推定結果は、ある時点での特定のランドマークの視認性を推定するだけでなく、過去と比較した視認性の変化を推定するものであるため、周囲の物体に関する安全支援情報の提示の要否の判断基準として使うことができ、ドライバへの過剰な情報提供を抑制することが出来る。すなわち、視認性が低下しているときに、通常は提示しない周囲の安全支援情報を提示するよう提示基準を下げることにより、見通しの良い状況では過剰にドライバに周囲の情報を通知することを防ぐことが出来る。
　　１　画像認識部、２　情報蓄積部、２１　ランドマーク位置記録部、２２　検知距離記録部、２３　昼用検知履歴、２４　夜用検知履歴、３　視認性判定部、４　判定基準調整部、５　視認性推定装置、６　情報提示判断部、７　情報提示部、７１　表示部、７２　スピーカ。

Claims (13)

  1. 　画像を解析することによりランドマークを検知する画像認識部と、
    　前記画像認識部により検知されたランドマークの画像解析結果と、前記画像認識部が前記ランドマークを検知した時の検知位置とを前記ランドマークに関する過去の検知履歴として記録する情報蓄積部と、
    　前記画像認識部が前記検知履歴に対応する前記ランドマークを再度検知した時、その時の検知位置と前記情報蓄積部に記録された過去の検知位置との比較に基づき視認性の変化を推定する視認性判定部とを備えた視認性推定装置。
  2. 　画像を解析することによりランドマークを検知する画像認識部と、
    　前記画像認識部により検知されたランドマークの画像解析結果と、前記画像認識部が前記ランドマークを検知した時の検知位置とを前記ランドマークに関する過去の検知履歴として記録する情報蓄積部と、
    　前記情報蓄積部に記録された過去の検知位置において前記画像認識部が再度解析した前記ランドマークの画像解析経過と、前記情報蓄積部に記録された過去の画像解析結果との比較に基づき視認性の変化を推定する視認性判定部とを備えた視認性推定装置。
  3. 　画像を解析することによりランドマークを検知する画像認識部と、
    　前記画像認識部が前記ランドマークを検知した時の位置から前記ランドマークまでの検知距離を前記ランドマークに関する過去の検知履歴として記録する情報蓄積部と、
    　前記画像認識部が前記検知履歴に対応する前記ランドマークを再度検知した時、その時の検知距離と前記情報蓄積部に記録された過去の検知距離との比較に基づき視認性の変化を推定する視認性判定部とを備えた視認性推定装置。
  4. 　前記情報蓄積部は前記検知履歴をランドマークの種別毎に記録し、
    　前記画像認識部が前記検知履歴に対応する前記ランドマークと同じ種別のランドマークを再度検知した場合に、前記視認性判定部により視認性の変化を推定することを特徴とする請求項２または請求項３記載の視認性推定装置。
  5. 　前記情報蓄積部は複数の使用状況に対応して複数の検知履歴を記録し、
    　前記視認性判定部は使用状況に応じて異なる検知履歴を比較対象とすることを特徴とする請求項１ないし請求項４の何れかに記載の視認性推定装置。
  6. 　前記視認性判定部は、視認性の変化を推定するための比較の際に閾値を用い、前記閾値を使用状況に応じて切り替えることを特徴とする請求項１ないし請求項４の何れかに記載の視認性推定装置。
  7. 　前記視認性判定部は、視認性の変化を推定するための比較の際に閾値を用い、
    　前記視認性判定部が視認性の変化を推定したとき、使用者の行動の変化に基づき前記閾値を調整する判定基準調整部を備えたことを特徴とする請求項１ないし請求項４の何れかに記載の視認性推定装置。
  8. 　前記視認性判定部が視認性低下と推定したとき、使用者の行動の変化に基づき使用者が視認性低下を感じていないと推測される場合は、前記閾値を上げることを特徴とする請求項７記載の視認性推定装置。
  9. 　前記視認性判定部が視認性低下と推定しないとき、使用者の行動の変化に基づき使用者が視認性低下に気づいていないと推測される場合は、前記閾値を下げることを特徴とする請求項７記載の視認性推定装置。
  10. 　画像を解析することによりランドマークを検知するステップと、
    　検知されたランドマークの画像解析結果と、前記ランドマークが検知された時の検知位置とを前記ランドマークに関する過去の検知履歴として記録するステップと、
    　前記検知履歴に対応する前記ランドマークが再度検知された時、その時の検知位置と記録された過去の検知位置との比較に基づき視認性の変化を推定するステップとを備えた視認性推定方法。
  11. 　画像を解析することによりランドマークを検知するステップと、
    　検知されたランドマークの画像解析結果と、前記ランドマークが検知された時の検知位置とを前記ランドマークに関する過去の検知履歴として記録するステップと、
    　過去の検知位置において再度検知された前記ランドマークの画像解析経過と、記録された過去の画像解析結果との比較に基づき視認性の変化を推定するステップとを備えた視認性推定方法。
  12. 　画像を解析することによりランドマークを検知するステップと、
    　前記ランドマークが検知された時の位置から前記ランドマークまでの検知距離を前記ランドマークに関する過去の検知履歴として記録するステップと、
    　前記検知履歴に対応する前記ランドマークが再度検知された時、その時の検知距離と記録された過去の検知距離との比較に基づき視認性の変化を推定するステップとを備えた視認性推定方法。
  13. 　画像を解析することによりランドマークを検知する画像認識部と、
    　前記画像認識部により検知されたランドマークの画像解析結果と、前記画像認識部が前記ランドマークを検知した時の検知位置とを前記ランドマークに関する過去の検知履歴として記録する情報蓄積部と、
    　前記画像認識部が前記検知履歴に対応する前記ランドマークを再度検知した時、その時の検知結果と前記情報蓄積部に記録された過去の検知履歴との比較に基づき視認性の変化を推定する視認性判定部と、
    　前記視認性判定部が過去の視認性と比較して現在の視認性が低下していると推定したとき、使用者に周囲の安全支援情報の提示が必要と判断するための閾値を下げる情報提示判断部と、
    　前記情報提示判断部が情報を提示すると判断したとき使用者に情報を提示する情報提示部とを備えた安全運転支援システム。
PCT/JP2012/008060 2012-12-18 2012-12-18 視認性推定装置、視認性推定方法、及び安全運転支援システム WO2014097347A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2014552747A JP5930067B2 (ja) 2012-12-18 2012-12-18 視認性推定装置及び安全運転支援システム
US14/443,120 US20150310313A1 (en) 2012-12-18 2012-12-18 Visibility estimation device, visibility estimation method, and safe driving support system
PCT/JP2012/008060 WO2014097347A1 (ja) 2012-12-18 2012-12-18 視認性推定装置、視認性推定方法、及び安全運転支援システム
DE112012007236.7T DE112012007236B4 (de) 2012-12-18 2012-12-18 Sichtbarkeitsschätzungsgerät, Sichtbarkeitsschätzungsverfahren und Fahrsicherheitsunterstützungssystem
CN201280077719.4A CN104854638B (zh) 2012-12-18 2012-12-18 视觉辨认度估计装置及安全驾驶支持系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/008060 WO2014097347A1 (ja) 2012-12-18 2012-12-18 視認性推定装置、視認性推定方法、及び安全運転支援システム

Publications (1)

Publication Number Publication Date
WO2014097347A1 true WO2014097347A1 (ja) 2014-06-26

Family

ID=50977737

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/008060 WO2014097347A1 (ja) 2012-12-18 2012-12-18 視認性推定装置、視認性推定方法、及び安全運転支援システム

Country Status (5)

Country Link
US (1) US20150310313A1 (ja)
JP (1) JP5930067B2 (ja)
CN (1) CN104854638B (ja)
DE (1) DE112012007236B4 (ja)
WO (1) WO2014097347A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107209856A (zh) * 2015-02-11 2017-09-26 高通股份有限公司 环境场景状况检测
JP2018136713A (ja) * 2017-02-21 2018-08-30 マツダ株式会社 ドライバの視界推定装置及び車両用制御装置

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5890803B2 (ja) * 2013-07-01 2016-03-22 富士重工業株式会社 車両の運転支援制御装置
KR102623680B1 (ko) * 2015-02-10 2024-01-12 모빌아이 비젼 테크놀로지스 엘티디. 자율 주행을 위한 약도
WO2016171017A1 (ja) * 2015-04-23 2016-10-27 三菱電機株式会社 提示計画作成装置、情報提示装置及び提示計画作成方法
US9924583B2 (en) 2015-05-14 2018-03-20 Mnaufacturing Resources International, Inc. Display brightness control based on location data
US10593255B2 (en) 2015-05-14 2020-03-17 Manufacturing Resources International, Inc. Electronic display with environmental adaptation of display characteristics based on location
US10607520B2 (en) 2015-05-14 2020-03-31 Manufacturing Resources International, Inc. Method for environmental adaptation of display characteristics based on location
CN105374221B (zh) * 2015-12-01 2017-10-24 上海斐讯数据通信技术有限公司 交通信号灯状态提醒系统及提醒方法
JP6563798B2 (ja) * 2015-12-17 2019-08-21 大学共同利用機関法人自然科学研究機構 視覚認知支援システムおよび視認対象物の検出システム
US10586508B2 (en) * 2016-07-08 2020-03-10 Manufacturing Resources International, Inc. Controlling display brightness based on image capture device data
CN106023622B (zh) * 2016-07-22 2018-06-22 百度在线网络技术（北京）有限公司 一种确定红绿灯识别系统识别性能的方法和装置
US9952058B2 (en) * 2016-08-29 2018-04-24 Denso International America, Inc. Driver visibility detection system and method for detecting driver visibility
US10578658B2 (en) 2018-05-07 2020-03-03 Manufacturing Resources International, Inc. System and method for measuring power consumption of an electronic display assembly
US10782276B2 (en) 2018-06-14 2020-09-22 Manufacturing Resources International, Inc. System and method for detecting gas recirculation or airway occlusion
US11656090B2 (en) 2018-10-08 2023-05-23 Here Global B.V. Method and system for generating navigation data for a geographical location
WO2020110172A1 (ja) 2018-11-26 2020-06-04 三菱電機株式会社 情報提示制御装置、情報提示装置及び情報提示制御方法、並びにプログラム及び記録媒体
CN110853180B (zh) * 2019-10-21 2021-11-09 中国第一汽车股份有限公司 一种识别交通标志牌发生变化的行车记录方法及系统
US11526044B2 (en) 2020-03-27 2022-12-13 Manufacturing Resources International, Inc. Display unit with orientation based operation
CN111579487B (zh) * 2020-06-15 2021-12-21 长安大学 一种便于对图像进行对比分析的道路交通能见度检测装置
JP2022059958A (ja) * 2020-10-02 2022-04-14 フォルシアクラリオン・エレクトロニクス株式会社 ナビゲーション装置
US20220316906A1 (en) * 2021-04-03 2022-10-06 Naver Corporation Apparatus and Method for Generating Navigational Plans
US11766938B1 (en) * 2022-03-23 2023-09-26 GM Global Technology Operations LLC Augmented reality head-up display for overlaying a notification symbol over a visually imperceptible object
CN116030057B (zh) * 2023-03-29 2023-06-09 中国电子科技集团公司第五十四研究所 一种基于注意力机制的遥感影像能见度估计方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007139425A (ja) * 2005-11-14 2007-06-07 Nagoya Institute Of Technology ランドマーク視認地図及びそれを用いた歩行者ナビゲーション
WO2007088915A1 (ja) * 2006-02-02 2007-08-09 Pioneer Corporation 経路誘導装置、経路誘導方法、経路誘導プログラムおよび記録媒体
JP2008139320A (ja) * 2007-12-25 2008-06-19 Nec Corp 道路環境情報通知装置及び道路環境情報通知プログラム
JP2011242207A (ja) * 2010-05-17 2011-12-01 Ntt Docomo Inc 端末位置特定システム、移動端末及び端末位置特定方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6766245B2 (en) * 2002-03-14 2004-07-20 Microsoft Corporation Landmark-based location of users
JP2005300342A (ja) * 2004-04-12 2005-10-27 Honda Motor Co Ltd 道路情報表示制御装置
CN101211408B (zh) * 2006-12-29 2011-05-25 东软集团股份有限公司 车辆侧面图像识别方法及装置、车灯误识别检测和行驶安全预测方法
CN101281142B (zh) * 2007-12-28 2011-06-29 深圳先进技术研究院 一种测量大气能见度的方法
DE102008032747A1 (de) * 2008-07-11 2010-01-14 Siemens Aktiengesellschaft Verfahren und Vorrichtung zur Bildanzeige
CN101825472B (zh) * 2009-03-04 2015-03-25 阿尔派株式会社 导航装置和导航方法
JP2010230551A (ja) * 2009-03-27 2010-10-14 Sony Corp ナビゲーション装置及びナビゲーション方法
JP2010239448A (ja) * 2009-03-31 2010-10-21 Mitsubishi Electric Corp 道路標識認識装置
US8629903B2 (en) * 2009-04-02 2014-01-14 GM Global Technology Operations LLC Enhanced vision system full-windshield HUD
US8233741B1 (en) * 2009-11-17 2012-07-31 Google Inc. Reducing building lean in stitched images
CN101936900A (zh) * 2010-06-12 2011-01-05 北京中科卓视科技有限责任公司 一种基于视频的能见度检测系统
CN102170558B (zh) * 2010-12-30 2012-12-19 财团法人车辆研究测试中心 障碍物侦测警示系统及方法
US9341483B2 (en) * 2013-03-11 2016-05-17 Qualcomm Incorporated Methods and apparatus for position estimation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007139425A (ja) * 2005-11-14 2007-06-07 Nagoya Institute Of Technology ランドマーク視認地図及びそれを用いた歩行者ナビゲーション
WO2007088915A1 (ja) * 2006-02-02 2007-08-09 Pioneer Corporation 経路誘導装置、経路誘導方法、経路誘導プログラムおよび記録媒体
JP2008139320A (ja) * 2007-12-25 2008-06-19 Nec Corp 道路環境情報通知装置及び道路環境情報通知プログラム
JP2011242207A (ja) * 2010-05-17 2011-12-01 Ntt Docomo Inc 端末位置特定システム、移動端末及び端末位置特定方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107209856A (zh) * 2015-02-11 2017-09-26 高通股份有限公司 环境场景状况检测
CN107209856B (zh) * 2015-02-11 2021-02-26 高通股份有限公司 环境场景状况检测
JP2018136713A (ja) * 2017-02-21 2018-08-30 マツダ株式会社 ドライバの視界推定装置及び車両用制御装置

Also Published As

Publication number Publication date
US20150310313A1 (en) 2015-10-29
DE112012007236T5 (de) 2015-09-24
DE112012007236B4 (de) 2021-02-11
CN104854638B (zh) 2017-07-11
CN104854638A (zh) 2015-08-19
JPWO2014097347A1 (ja) 2017-01-12
JP5930067B2 (ja) 2016-06-08

Similar Documents

Publication Publication Date Title
JP5930067B2 (ja) 視認性推定装置及び安全運転支援システム
US11685393B2 (en) Vehicle automated driving system
US9589194B2 (en) Driving assistance device and image processing program
US9952058B2 (en) Driver visibility detection system and method for detecting driver visibility
US10232772B2 (en) Driver assistance system
US20200406753A1 (en) Display control device, display device, and display control method
JP2008030729A (ja) 車両用表示装置
JP2004030212A (ja) 車両用情報提供装置
WO2013069110A1 (ja) ナビゲーション装置及び操作制限方法
US11697346B1 (en) Lane position in augmented reality head-up display system
JP5255760B2 (ja) 車両用監視カメラ装置
WO2020105685A1 (ja) 表示制御装置、方法、及びコンピュータ・プログラム
CN112119398A (zh) 用于运行机动车的摄像机-监视器系统的方法和设备
JP6631569B2 (ja) 運転状態判定装置、運転状態判定方法及び運転状態判定のためのプログラム
JP2017202721A (ja) 表示システム
US20200171951A1 (en) Vehicular projection control device and head-up display device
JP6972782B2 (ja) 情報提示装置
US11590845B2 (en) Systems and methods for controlling a head-up display in a vehicle
US11643012B2 (en) Driving assistance device, driving situation information acquisition system, driving assistance method, and program
JP6354805B2 (ja) 視界制御装置
JP7294483B2 (ja) 運転支援装置、運転支援方法及びプログラム
JP2005138788A (ja) 車両用照明制御装置
JP2018016121A (ja) 視界制御装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12890408

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014552747

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14443120

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112012007236

Country of ref document: DE

Ref document number: 1120120072367

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12890408

Country of ref document: EP

Kind code of ref document: A1