WO2016013159A1 - 歩行者検出装置および歩行者検出方法 - Google Patents

歩行者検出装置および歩行者検出方法 Download PDF

Info

Publication number
WO2016013159A1
WO2016013159A1 PCT/JP2015/003258 JP2015003258W WO2016013159A1 WO 2016013159 A1 WO2016013159 A1 WO 2016013159A1 JP 2015003258 W JP2015003258 W JP 2015003258W WO 2016013159 A1 WO2016013159 A1 WO 2016013159A1
Authority
WO
WIPO (PCT)
Prior art keywords
pedestrian
detection
identification dictionary
identification
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2015/003258
Other languages
English (en)
French (fr)
Inventor
宗作 重村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to US15/327,607 priority Critical patent/US10354160B2/en
Publication of WO2016013159A1 publication Critical patent/WO2016013159A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/87—Combinations of sonar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/862—Combination of radar systems with sonar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/28—Determining representative reference patterns, e.g. by averaging or distorting; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/1914—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries, e.g. user dictionaries
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/242—Division of the character sequences into groups prior to recognition; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional [2D] tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G01S13/723—Radar-tracking systems; Analogous systems for two-dimensional [2D] tracking, e.g. combination of angle and range tracking, track-while-scan radar by using numerical data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/66—Sonar tracking systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93271—Sensor installation details in the front of the vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9327—Sensor installation details
    • G01S2013/93275—Sensor installation details in the bumper area

Definitions

  • the present disclosure relates to a pedestrian detection apparatus and a pedestrian detection method for detecting a pedestrian in a captured image by analyzing a captured image obtained by an in-vehicle camera.
  • the pedestrian in the photographed image is not a single pedestrian. Therefore, when searching for a location having the characteristics of a pedestrian in the captured image, the location having the characteristics of the pedestrian as a whole is searched from an image in which the surroundings of the pedestrian are shown.
  • the situation around the pedestrian in the photographed image changes depending on environmental factors at the time of photographing. For example, when a photograph is taken when the weather is fine, the shadow of the pedestrian is reflected along with the pedestrian. Also, the length of the shadow and the contrast with the background change depending on the season and time of shooting. Furthermore, since the clothes change depending on the season and region, the outer shape of the pedestrian itself changes.
  • the conventional technology described above has a problem that there is a limit to improving the detection accuracy of pedestrians. This is due to the following reason.
  • the detection rate of pedestrians the ratio of the number of detected pedestrians to the total number of pedestrians shown in the captured image
  • the correct answer rate the images detected as pedestrians
  • the detection rate cannot be improved if pedestrians cannot be detected due to changes in environmental factors. Therefore, if the judgment of whether or not it has the characteristics of a pedestrian is relaxed so that the pedestrian can be detected even if the environmental factors change, the part of the captured image that happens to look like a pedestrian will be walked. As a result, the correct answer rate is reduced. Conversely, in order to avoid a decrease in the correct answer rate due to false detection, if the judgment of whether or not it has the characteristics of pedestrians is severe, this time it is difficult to detect pedestrians due to the influence of changes in environmental factors. As a result, the detection rate decreases. In this way, after the detection accuracy of pedestrians has been improved to a certain extent, the detection rate of pedestrians and the correct answer rate will be in a trade-off relationship, so the detection accuracy of pedestrians should be further improved. There was a problem that was difficult.
  • This disclosure is intended to provide a pedestrian detection device capable of improving the detection accuracy when detecting a pedestrian in a captured image.
  • Another object of the present disclosure is to provide a pedestrian detection method capable of improving the detection accuracy when detecting a pedestrian in a captured image.
  • the image is mounted on a vehicle including at least one of sonar or radar and an in-vehicle camera, and the captured image is captured by analyzing the captured image captured by the in-vehicle camera.
  • a pedestrian detection device for detecting a pedestrian stores an identification dictionary describing a plurality of features included in the shape of the pedestrian in the photographed image, and storing a plurality of types of identification dictionaries having different numerical values.
  • An identification dictionary selection unit that selects the identification dictionary whose detection result matches the pedestrian position as a detection identification dictionary by comparing the detection result for each of the identification dictionaries stored in the result storage unit; And a pedestrian detection unit that detects the pedestrian in the captured image by searching a part having a feature described in the detection identification dictionary in the image.
  • the most suitable identification dictionary can be selected from a plurality of types of identification dictionaries to detect pedestrians in the captured image.
  • the accuracy can be improved.
  • the above pedestrian detection device can learn the identification dictionary according to changes in the environment, it is possible to detect pedestrians with high detection accuracy regardless of changes in the environment.
  • the captured image is captured by analyzing the captured image captured by the in-vehicle camera.
  • a plurality of types of identification dictionaries described by quantifying a plurality of features included in the shape of the pedestrian in the captured image are included in the identification dictionary in the captured image.
  • the detection is performed using at least one of the radars, the pedestrian position where the pedestrian is detected is accumulated, the pedestrian position accumulated by the accumulation of the pedestrian position, and the detection
  • the identification dictionary whose detection results match the pedestrian position is selected as a detection identification dictionary, and It is possible to detect the pedestrian in the captured image by searching for a portion having the characteristics described in the detection identification dictionary.
  • the above pedestrian detection method can learn the identification dictionary according to changes in the environment, it is possible to detect pedestrians with high detection accuracy regardless of changes in the environment.
  • FIG. 1 is an explanatory view showing a vehicle 1 equipped with a pedestrian detection device 100 of the present embodiment.
  • FIG. 2 is an explanatory diagram showing a rough internal configuration of the pedestrian detection device 100.
  • FIG. 3A to FIG. 3F are explanatory views showing an outline of a method for detecting a pedestrian in a captured image.
  • FIG. 4A to FIG. 4B are explanatory diagrams illustrating target images not including pedestrians.
  • FIG. 5 is an explanatory diagram of a method for detecting a pedestrian in a captured image using the inner product value in the feature amount space between the identification dictionary and the target image.
  • FIG. 6 is an explanatory diagram showing the reason why the detection accuracy of pedestrians decreases due to environmental factors
  • FIG. 7 is an explanatory diagram illustrating a plurality of identification dictionaries stored in advance.
  • FIG. 8 is a flowchart of the first half of the pedestrian detection process of the first embodiment.
  • FIG. 9 is a flowchart of the latter half of the pedestrian detection process of the first embodiment.
  • FIG. 10 is a flowchart of a pedestrian search process for searching for a pedestrian in a captured image.
  • FIG. 11 is a flowchart of a detection accuracy calculation process for calculating the detection accuracy of a pedestrian
  • FIG. 12 is an explanatory diagram illustrating the detection result of a pedestrian in a captured image.
  • FIG. 12 is an explanatory diagram illustrating the detection result of a pedestrian in a captured image.
  • FIG. 13 is an explanatory diagram illustrating the detection result of a pedestrian by sonar
  • FIG. 14 is a flowchart of identification dictionary evaluation processing for evaluating the detection accuracy of a plurality of identification dictionaries
  • FIG. 15 is a flowchart of detection identification dictionary selection processing for changing a detection identification dictionary used for detecting a pedestrian based on the evaluation results of a plurality of identification dictionaries
  • FIG. 16 is an explanatory diagram showing the reason why the detection accuracy of a pedestrian can be improved
  • FIG. 17 is a flowchart of the first half of the pedestrian detection process of the second embodiment.
  • FIG. 18 is a flowchart of the latter half of the pedestrian detection process of the second embodiment.
  • FIG. 19 is a flowchart of a pedestrian search process for searching for a pedestrian in the pedestrian detection process of the second embodiment.
  • FIG. 20 is a flowchart of an identification dictionary learning process for learning an identification dictionary.
  • FIG. 21 is a flowchart of the first half of the identification dictionary setting value changing process for changing the setting value of the identification dictionary in the identification dictionary learning process;
  • FIG. 22 is a flowchart of the latter half of the identification dictionary setting value changing process.
  • FIG. 23 is a flowchart of learning identification dictionary registration processing for registering an identification dictionary obtained by learning as a new identification dictionary;
  • FIG. 24A to FIG. 24C are explanatory diagrams showing a state in which a new identification dictionary is added in the learning identification dictionary registration process.
  • FIG. 25 is an explanatory diagram illustrating a modified vehicle 1 in which a radar is mounted instead of the sonar.
  • FIG. 1 shows a vehicle 1 on which a pedestrian detection device 100 is mounted.
  • the vehicle 1 is equipped with an in-vehicle camera 10 that captures the front of the vehicle 1 and a plurality of sonars 20-23.
  • the in-vehicle camera 10 captures the forward direction from the vehicle 1 at a predetermined capturing period, and outputs the obtained captured image to the pedestrian detection device 100.
  • a sonar 20 that emits sound waves toward the front is mounted on the front side on the left side of the vehicle 1 toward the front, and the sound waves are directed toward the front diagonally leftward at a position on the left outer side of the sonar 20.
  • the sonar 22 which radiates is mounted.
  • a sonar 21 that emits sound waves toward the front is also mounted on the front side on the right side of the vehicle 1, and at a position on the right outer side than the sonar 21, it is directed diagonally forward to the right.
  • a sonar 23 for emitting sound waves is mounted. These sonars 20 to 23 can detect a pedestrian or the like by detecting a reflected wave returned when the radiated sound wave hits the pedestrian or the like. Then, the obtained detection result is output to the pedestrian detection device 100. As described above, since each of the sonars 20 to 23 emits a sound wave in a different direction, the pedestrian detection device 100 determines whether the sonar 20 to 23 detects a pedestrian or the like. A rough position such as can be detected.
  • the in-vehicle camera 10 is mounted in a direction to photograph the front from the vehicle 1, and the sonars 20 to 23 are mounted in front of the vehicle 1.
  • the sonars 20 to 23 may be mounted on the rear side of the vehicle 1 in the direction of shooting.
  • the in-vehicle camera 10 may be mounted in the direction of photographing the side from the vehicle 1 and the sonars 20 to 23 may be mounted on the side of the vehicle 1.
  • an in-vehicle camera that captures the front an in-vehicle camera that captures the rear, a plurality of sonars that emit sound waves forward and diagonally forward of the vehicle 1, and acoustic waves backward and diagonally backward.
  • a plurality of radiating sonars may be mounted.
  • pedestrians and the like are detected using the sonars 20 to 23.
  • the present invention is not limited to this, and pedestrians and the like may be detected using a radar.
  • FIG. 2 shows a rough internal configuration of the pedestrian detection apparatus 100 of the present embodiment.
  • the pedestrian detection apparatus 100 of the present embodiment includes an identification dictionary storage unit 101, a detection result storage unit 102, a pedestrian position storage unit 103, an identification dictionary selection unit 104, and a pedestrian detection unit 105. And a detection accuracy evaluation unit 106 and a reselection necessity determination unit 107.
  • These seven “parts” are abstract concepts in which the inside of the pedestrian detection device 100 is classified for convenience, focusing on the function of the pedestrian detection device 100 that detects a pedestrian in a captured image. Yes, this does not mean that the pedestrian detection device 100 is physically divided into seven parts. Therefore, these “units” can be realized as a computer program executed by the CPU, can be realized as an electronic circuit including an LSI or a memory, and further realized by combining them. You can also.
  • 3 (a) to 3 (f) show a rough method for detecting a pedestrian in a photographed image using an identification dictionary.
  • FIG. 3A it is assumed that a photographed image showing pedestrians H1 to H3 is obtained.
  • the pedestrians H1 to H3 are shown in the same size.
  • the external shapes of the pedestrians H1 to H3 are different, but there are also portions where the external shapes are common as long as they are pedestrians.
  • an image of a portion where the pedestrian H1 is shown in the captured image see FIG. 3B
  • an image of a portion where the pedestrian H2 is shown see FIG. 3C
  • a pedestrian H3 are shown.
  • partial images see FIG. 3D
  • FIG. 3 (e) it is considered that a vague human-type luminance distribution can be obtained. Therefore, if a portion having such a luminance distribution is searched in the photographed image and such a portion is found, it is highly likely that a pedestrian is reflected in that portion. Therefore, such a luminance distribution may be considered as a feature of the shape of a pedestrian in a captured image.
  • the obtained characteristics are digitized. Any method can be applied as long as the feature can be expressed numerically.
  • a plurality of numerical values are required to represent the features by numerical values, by converting the features into numerical values, a plurality of numerical values can be obtained as shown in FIG.
  • Such a set of numerical values (here, a plurality of numerical values representing a human-type luminance distribution) is an “identification dictionary”. Further, when the identification dictionary is formed by N numerical values, the identification dictionary is called an N-dimensional identification dictionary. Further, each numerical value representing a feature is called a “feature amount”.
  • a space (feature amount space) in which a plurality of feature amounts included in the identification dictionary are taken as coordinate axes is considered.
  • the identification dictionary is N-dimensional, the number of feature amounts is N and the number of coordinate axes is N, so that an N-dimensional feature amount space is obtained. If the feature amount space is used, an identification dictionary can be expressed as a coordinate point of the feature amount space.
  • the image of the pedestrian H1 shown in FIG. 3B is digitized in the same manner as the method of converting the human-type luminance distribution image shown in FIG. 3E into the identification dictionary. To do. Since the pedestrian H1 is also reflected in the image shown in FIG. 3B, the obtained plurality of feature amounts should be similar to the identification dictionary.
  • an image from which a feature amount is extracted is referred to as a “target image”.
  • the coordinate point corresponding to the target image in the feature amount space may be considered to be near the coordinate point representing the identification dictionary.
  • the target image G4 is displayed in the feature amount space.
  • the corresponding coordinate point should be located away from the coordinate point representing the identification dictionary.
  • the target image G5 in which a part of the pedestrian is captured but the pedestrian cannot be captured, the target image G5 is displayed in the feature amount space.
  • the corresponding coordinate point should be located away from the coordinate point representing the identification dictionary.
  • the coordinate point corresponding to the target image in the feature amount space is located away from the coordinate point representing the identification dictionary.
  • FIG. 5 shows a state where it is determined whether or not a pedestrian is shown in the target image, assuming that the identification dictionary is three-dimensional.
  • the identification dictionary D1 is configured by three numerical values d1x, d1y, and d1z
  • coordinate points corresponding to the target image including a pedestrian are gathered around the identification dictionary D1.
  • the range surrounded by a broken line in the figure indicates the existence range of the coordinate points of the target image including such a pedestrian. Therefore, the coordinate points corresponding to the target image G1, the target image G2, and the target image G3 are also within the range surrounded by the broken line.
  • the coordinate points corresponding to the target image G4 and the target image G5 that do not include a pedestrian exist outside the range surrounded by the broken line.
  • the inner product value of the identification dictionary in the feature amount space (more precisely, a vector representing the coordinate points of the identification dictionary) and the target image (more precisely, the vector representing the coordinate points of the target image) is calculated, It can be determined whether or not a pedestrian is shown in the target image. That is, if a pedestrian in the target image is shown, the coordinate point of the target image exists near the identification dictionary, so the inner product value becomes large. Conversely, if a pedestrian in the target image is not shown, the coordinate point of the target image exists at a position away from the identification dictionary, and thus the inner product value becomes small.
  • the inner product value of the identification dictionary in the feature amount space and the target image is larger than the predetermined threshold, it is determined that the pedestrian is captured, and if it is smaller than the predetermined threshold, it is determined that the pedestrian is not captured. Can do.
  • the above is an outline of a method for detecting a pedestrian using an identification dictionary.
  • a method for detecting a pedestrian using an identification dictionary there is a possibility that the detection accuracy of the pedestrian is lowered due to a change in environmental factors.
  • the pedestrian's state changes little by little due to the weather, time, season, etc. when the pedestrian's image is taken, the distribution range of the coordinate points in the feature amount space also changes.
  • FIG. 6 conceptually shows how the existence range of the target image in which the pedestrian is photographed changes due to various environmental factors. Initially, despite the existence range indicated by the broken line in the figure, the existence range changed after that due to changes in environmental factors.After all, considering changes in various environmental factors, The range of existence of the target image in which the pedestrian is shown extends to the range indicated by the alternate long and short dash line. Then, when the existence range expands in this way, the inner product value with the identification dictionary D1 becomes small even though the pedestrian is reflected, and an image in which the pedestrian is not captured (for example, the target image G5 in FIG. 5). ) Is indistinguishable from.
  • the pedestrian detection apparatus 100 of the present embodiment includes the seven “parts” shown in FIG. 2 in order to enable detection of pedestrians with high detection accuracy without being affected by environmental factors.
  • the identification dictionary storage unit 101 among the seven “parts” stores a plurality of types of identification dictionaries.
  • FIG. 7 illustrates five types of identification dictionaries D1 to D5 stored in the identification dictionary storage unit 101.
  • the dimension of the identification dictionary is displayed as being three-dimensional because of the illustrated relationship, but the dimension of the identification dictionary can be three or more.
  • the types of identification dictionaries stored in the identification dictionary storage unit 101 may be more than five or less than five.
  • the detection result storage unit 102 When the detection result storage unit 102 receives the captured image from the in-vehicle camera 10, the detection result storage unit 102 detects a pedestrian in the captured image using a plurality of types of identification dictionaries stored in the identification dictionary storage unit 101. In addition, the pedestrian detection results are accumulated. Details of the process for detecting a pedestrian in the captured image will be described later.
  • the pedestrian position accumulating unit 103 accumulates the position (pedestrian position) where the pedestrian is detected by detecting the pedestrian using the sonars 20-23. As described above with reference to FIG. 1, the sonars 20 to 23 detect pedestrians and the like that exist in different directions. Therefore, the pedestrian position accumulating unit 103 can detect the approximate position of the pedestrian based on which sonar 20 to 23 has detected the pedestrian, and accumulates the detected pedestrian position. .
  • the identification dictionary selection unit 104 reads out the detection result of the pedestrian position by the sonars 20 to 23 from the pedestrian position storage unit 103 and compares it with the detection result of the pedestrian stored in the detection result storage unit 102 for each identification dictionary. . Then, the identification dictionary whose pedestrian detection result most closely matches the pedestrian position by the sonars 20 to 23 is selected as the detection identification dictionary. Details of the process of selecting the detection identification dictionary will also be described later.
  • the pedestrian detection unit 105 When the pedestrian detection unit 105 receives the captured image from the in-vehicle camera 10, the pedestrian detection unit 105 detects a pedestrian in the captured image using the identification dictionary (detection identification dictionary) selected by the identification dictionary selection unit 104.
  • the identification dictionary detection identification dictionary
  • the detection accuracy evaluation unit 106 receives the detection result of the pedestrian detected by the pedestrian detection unit 105 using the detection identification dictionary and the pedestrian position detected by the sonars 20 to 23, and detects the detection accuracy of the detection identification dictionary. calculate. Processing for calculating the detection accuracy of the detection identification dictionary will be described later.
  • the reselection necessity determination unit 107 determines the necessity of reselection of the detection identification dictionary based on the detection accuracy calculated by the detection accuracy evaluation unit 106. If it is determined that reselection is required, the fact is output to the detection result storage unit 102, and the pedestrian position storage unit 103 restarts the accumulation of the pedestrian detection results for each identification dictionary.
  • Pedestrian detection process of the first embodiment 8 and 9 show a flowchart of the pedestrian detection process of the first embodiment. This process is executed by the pedestrian detection device 100 every time the in-vehicle camera 10 captures images at a constant period.
  • a captured image is acquired from the in-vehicle camera 10 (S100).
  • the pedestrian position is acquired from the sonars 20 to 23 and stored in a memory (not shown) in the pedestrian detection apparatus 100 together with the detection time of the pedestrian position (S101).
  • the sonars 20 to 23 detect pedestrians in different ranges in front of the vehicle 1, it is possible to know a rough pedestrian position depending on which sonar 20 to 23 detects the pedestrian. it can. For example, if a pedestrian is detected by the sonar 20, a pedestrian exists on the left side of the front of the vehicle 1, and if a pedestrian is detected by the sonar 22, It can be determined that it exists. In S101, the rough pedestrian position obtained in this way is stored together with a time stamp indicating the detection time. Is executed using the seven “parts” described above.
  • the detection identification dictionary used for detecting the pedestrian is read from the identification dictionary storage unit 101 (S102).
  • the detection identification dictionary is previously selected from a plurality of types of identification dictionaries stored in the identification dictionary storage unit 101 by a method described later. If an identification dictionary has not yet been selected, an identification dictionary set as a standard among a plurality of types of identification dictionaries stored in the identification dictionary storage unit 101 (in the example shown in FIG. 7, the identification dictionary D1) is read.
  • the pedestrian search process for searching for pedestrians in the captured image is started using the read detection identification dictionary (S200).
  • the target image is extracted by extracting the feature of the pedestrian from the target image by cutting out the target image from which the presence or absence of the pedestrian is determined from the captured image. It is converted into coordinate points in the quantity space (see FIG. 5).
  • the inner product value of the detection identification dictionary in the feature amount space more precisely, a vector representing the coordinate points of the detection identification dictionary
  • the target image more precisely, the vector representing the coordinate points of the target image
  • the detection accuracy based on the detection identification dictionary is calculated as follows. First, by comparing the pedestrian detection result obtained in the pedestrian search process (S200) with the pedestrian position obtained from the sonars 20 to 23, it is determined whether or not the pedestrian is correctly detected. The judgment results are accumulated. When the accumulated number of determination results reaches the necessary accumulation number (necessary number) for calculating the detection accuracy with high accuracy, the detection accuracy of the detection identification dictionary is calculated.
  • the detection accuracy of the detection identification dictionary is obtained (S103).
  • the detection accuracy of the detection identification dictionary cannot be calculated unless the accumulated number of determination results as to whether or not a pedestrian is correctly detected has reached the required number. Therefore, if the accumulated number does not reach the required number, it is determined that the detection accuracy has not yet been calculated (S103: no).
  • the detection accuracy can be calculated (S103: yes)
  • the identification dictionary evaluation process is started (S400). Although detailed processing contents will be described later, in the identification dictionary evaluation process (S400), an identification dictionary with the highest detection accuracy is selected from a plurality of types of identification dictionaries stored in the identification dictionary storage unit 101, and a new one is newly created. It is set to an identification dictionary (candidate identification dictionary) that is a candidate for a simple detection identification dictionary.
  • the detection accuracy of the candidate identification dictionary is compared with the detection accuracy of the candidate identification dictionary and the detection accuracy of the detection identification dictionary. If is high, a detection identification dictionary selection process for selecting a candidate identification dictionary as a new detection identification dictionary is started (S500). Detailed processing contents of the detection identification dictionary selection processing will also be described later.
  • the detection identification dictionary selection process (S500) is omitted. In the first place, when it is determined that the detection accuracy of the detection identification dictionary is not calculated (S103: no), or when it is determined that re-selection of the detection identification dictionary is unnecessary (S104: no), the identification dictionary evaluation process ( S400) and detection identification dictionary selection processing (S500) are omitted.
  • FIG. 10 shows a flowchart of a pedestrian search process (S200) for searching for a position where a pedestrian is shown in a captured image. As described above, this process is performed by the pedestrian detection apparatus 100 in the pedestrian detection process of the first embodiment.
  • a target image to be searched for a pedestrian is set in the captured image (S201).
  • the target image can be set in any position in the captured image, but in order to set the target image throughout the entire range of the captured image, the target is set at the corner of the captured image at first. It is desirable to set the image by shifting the position little by little.
  • the target image set in the captured image is cut out, and the feature amount of the pedestrian is extracted from the target image (S202).
  • the target image is converted into the coordinate points of the feature amount space described above with reference to FIG.
  • the identification dictionary used for calculating the inner product value is an identification dictionary used for determining whether or not a pedestrian is shown in the target image. Therefore, if the pedestrian search process (S200) is performed in order to detect a pedestrian using the detection identification dictionary, the detection identification dictionary corresponds to the identification dictionary here.
  • the identification dictionary evaluation process (S400) described later individual identification dictionaries stored in the identification dictionary storage unit 101 are the identification dictionaries referred to here. It corresponds to.
  • the pedestrian detection apparatus 100 determines whether or not the calculated inner product value is larger than a predetermined threshold value (S204). If the inner product value is larger than the threshold value (S204: yes), it can be determined that the pedestrian is reflected in the target image, so the pedestrian detects the position where the target image is set in the captured image.
  • the stored position is stored in a memory (not shown) in the pedestrian detection apparatus 100 (S205).
  • the detection accuracy of the pedestrian is calculated by comparing the position of the pedestrian detected in the pedestrian search process (S200) with the position of the pedestrian detected by the sonars 20-23.
  • the pedestrian search process (S200) a pedestrian can be detected if a pedestrian is shown in the photographed image, whereas there is a limit to the distance that can be detected by the sonars 20 to 23, Pedestrians that are far beyond a predetermined distance cannot be detected by the sonars 20-23.
  • the approximate distance to the pedestrian in the captured image is estimated. That is, the distance from the lower side of the image to the position where the pedestrian is detected is acquired in the captured image. This distance corresponds to a rough distance to the pedestrian. Therefore, if the distance from the lower side of the photographed image is within a predetermined distance (S206: yes), it can be determined that the pedestrian is at a distance that can be detected by the sonars 20 to 23, so the position where the pedestrian is detected ( The position where the target image is set in the captured image) is stored as a detection result for detection accuracy calculation (S207).
  • the detection result for calculating the detection accuracy is not stored.
  • FIG. 11 shows a flowchart of the detection accuracy calculation process performed in the pedestrian detection process of the first embodiment.
  • the detection accuracy calculation process (S300) the detection result of the pedestrian stored for the detection accuracy calculation in the pedestrian search process (S200) described above (the position where the pedestrian is detected using the detection identification dictionary). ) Is read (S301).
  • the pedestrian search process (S200) when a plurality of detection results are stored for detection accuracy calculation, all the detection results are read out.
  • the pedestrian position detected using the sonars 20 to 23 is read (S302).
  • the position of the pedestrian detected using the sonars 20 to 23 is subsequently determined as time. It is memorize
  • the detection position P1 and the detection position P2 are stored as a detection result in which a pedestrian is detected in the captured image as shown in FIG.
  • a pedestrian position S1 and a pedestrian position S2 are stored as shown in FIG.
  • the detection position P2 in FIG. 12 since no pedestrians are detected in the sonars 20 to 23, it is determined to be erroneous detection. Therefore, in the example shown in FIGS. 12 and 13, the number of positive detections is 1.
  • the number of positive detections detected in this way is added to the number of positive detections already obtained for the identification dictionary (here, the detection identification dictionary) whose detection accuracy is to be calculated.
  • the number of positive detections in the detection identification dictionary is accumulated.
  • the number of erroneously detected pedestrians is accumulated (S304).
  • the erroneously detected pedestrians are the pedestrians excluding the positively detected pedestrians (the pedestrians determined to be positively detected in S303) from the pedestrians detected from the captured image (the pedestrians read in S301). Become. To explain using the example shown in FIGS. 12 and 13, the detection position P2 in FIG. 12 is determined to be a false detection because no pedestrian is detected in the sonars 20-23. In this case, the number of erroneous detections is 1.
  • the number of false detections is accumulated by adding the number of false detections thus detected to the number of false detections already obtained for the detection identification dictionary.
  • the number of undetected pedestrians (number of undetected) is accumulated (S305).
  • an undetected pedestrian is a pedestrian that is not detected in the captured image although it is detected by the sonars 20 to 23. Therefore, in order to detect an undetected pedestrian, paying attention to the pedestrian position read in S302, whether or not the corresponding position in the captured image is read in S301 as the position where the pedestrian is detected. Find out.
  • the pedestrian position S1 in FIG. 13 since a pedestrian is detected in the captured image (detected position P1 in FIG. 12), it can be determined that it is not undetected. In contrast, the pedestrian position S2 in FIG. 13 is determined not to be detected because no pedestrian is detected in the captured image. Therefore, in the example shown in FIGS. 12 and 13, the undetected number is 1.
  • the undetected number is accumulated by adding the undetected number thus detected to the undetected number already obtained for the detection identification dictionary.
  • the total number of detections is calculated by summing the number of positive detections, the number of false detections, and the number of undetections (S306). Then, it is determined whether or not the calculated total number of detections has reached a necessary number for calculating the detection accuracy (S307).
  • the necessary number is a sufficiently large number.
  • the required number is set to a number in the range of several thousand to several tens of thousands (typically about 10,000).
  • the pedestrian detection process it is determined that the detection accuracy is not obtained (S103: no in FIG. 8), and it is determined whether or not to end the pedestrian detection (S106). As a result, when it is determined that the pedestrian detection is not finished (S106: no), the pedestrian detection process is executed again from the beginning, and the detection accuracy calculation process (S300) is started therein, and the detection identification dictionary is determined. The number of positive detections, the number of false detections, and the number of undetections are accumulated (S303 to S305 in FIG. 11).
  • the detection accuracy is calculated by dividing by a number (S308).
  • the detection accuracy can be calculated, the accumulated number of positive detections, the number of false detections, and the number of non-detections are initialized (S309), and then the detection accuracy calculation process (S300) in FIG. Returning to the pedestrian detection process of FIG.
  • FIG. 14 shows a flowchart of the identification dictionary evaluation process (S400).
  • the identification dictionary evaluation process (S400) when the identification dictionary evaluation process (S400) is started, first, the pedestrian position detected by the sonars 20 to 23 and stored in the memory together with the time stamp is read (S401).
  • one identification dictionary other than the detection identification dictionary is selected from a plurality of types of identification dictionaries stored in the identification dictionary storage unit 101 (S402), and pedestrian search processing is started using the identification dictionary. (S200).
  • the detection identification dictionary is selected (S102), and the pedestrian search process (S200) is started for the detection identification dictionary.
  • the pedestrian search process (S200) is started for the identification dictionary selected in S402. Since the detailed process of the pedestrian search process (S200) has been described with reference to FIG. 10, the description thereof is omitted here.
  • the number of positive detections in the identification dictionary is calculated using the detection result of the pedestrian stored for detection accuracy calculation in the pedestrian search process (S200). And the number of false detections is accumulated (S403, S404).
  • the method for accumulating the number of positive detections and the number of false detections in the identification dictionary is the same as the method for accumulating the number of positive detections and the number of false detections in the detection identification dictionary described above with reference to FIGS. Omitted.
  • the detection accuracy is calculated for each identification dictionary by dividing the number of positive detections for each identification dictionary by the total number of detections ( S408). Then, after selecting the identification dictionary having the highest detection accuracy among the detection accuracy obtained for each identification dictionary as a candidate identification dictionary (S409), the identification dictionary evaluation process in FIG. 14 is terminated.
  • FIG. 15 shows a flowchart of the detection identification dictionary selection process. As described above, this process is performed when it is determined that re-selection of the detection identification dictionary is necessary in the pedestrian detection process of FIG. 8 (S104: yes), and a candidate identification dictionary is obtained (S105: yes).
  • the pedestrian detection device 100 starts.
  • the detection identification dictionary selection process (S500) is started, first, the detection accuracy of the current detection identification dictionary is acquired (S501).
  • the detection accuracy of the detection identification dictionary is obtained in the detection accuracy calculation process (S300) described above with reference to FIG. 11, and is stored in the memory in the pedestrian detection device 100.
  • the detection accuracy of the candidate identification dictionary is acquired (S502).
  • the detection accuracy of the candidate identification dictionary is obtained in the identification dictionary evaluation process (S400) described above with reference to FIG. 14, and is stored in the memory in the pedestrian detection apparatus 100.
  • the detection accuracy of the detection identification dictionary since the detection accuracy of the detection identification dictionary has already been obtained in the detection accuracy calculation process (S300), the detection accuracy is calculated for an identification dictionary other than the detection identification dictionary in the identification dictionary evaluation process (S400).
  • the detection accuracy of the detection identification dictionary obtained in the detection accuracy calculation process (S300) is acquired (S501), and the candidate identification obtained in the identification dictionary evaluation process (S400). Dictionary detection accuracy is acquired (S502).
  • the detection accuracy of another identification dictionary is calculated in the identification dictionary evaluation process (S400)
  • the detection accuracy of the detection identification dictionary may also be calculated.
  • an identification dictionary having the highest detection accuracy among the identification dictionaries excluding the detection identification dictionary may be selected as the candidate identification dictionary.
  • the detection accuracy of the detection identification dictionary and the candidate identification dictionary obtained in the identification dictionary evaluation process (S400) is acquired in S501 and S502, respectively. In this way, the detection accuracy of the detection identification dictionary and the detection accuracy of the candidate identification dictionary can be calculated from the same captured image, so that the detection accuracy of the two identification dictionaries can be accurately compared.
  • the detection accuracy of the identification dictionary is calculated using a sufficient number of detection results, the difference in the captured image used for calculating the detection accuracy does not become a practical problem. Therefore, for the detection accuracy of the detection identification dictionary, the detection accuracy already obtained in the detection accuracy calculation processing (S300) is used, and in the identification dictionary evaluation processing (S400), the detection accuracy of the identification dictionary other than the detection identification dictionary is set. By calculating, it becomes possible to reduce the processing load.
  • the candidate identification dictionary is set as a new detection identification dictionary (S504).
  • the candidate identification dictionary is used as a detection identification dictionary in subsequent pedestrian detection processes.
  • the candidate identification dictionary is not set as the detection identification dictionary.
  • the current detection identification dictionary is used as it is.
  • the detection accuracy obtained for each identification dictionary including the detection identification dictionary and the candidate identification dictionary is initialized (S505). Then, the detection identification dictionary selection process (S500) in FIG. 15 is terminated, and the process returns to the pedestrian detection process in FIG.
  • the pedestrian detection device 100 of the first embodiment detects a pedestrian in a captured image by the above-described pedestrian detection process, it detects a pedestrian with high detection accuracy without being affected by environmental factors. It is possible. This is due to the following reason.
  • the pedestrian is detected with high accuracy. be able to. That is, by setting an appropriate identification dictionary D1, the inner product value with the identification dictionary D1 can be a large value for any target image in which a pedestrian is shown. For this reason, if a pedestrian is reflected in the target image, the pedestrian can be reliably detected, and a target image in which the pedestrian is not captured is not erroneously detected as a pedestrian is captured.
  • the existence range of the target image in which the pedestrian is captured has expanded to the range surrounded by the alternate long and short dash line due to various environmental factors. Then, no matter what identification dictionary D1 is set, a target image is generated in which the inner product value with the identification dictionary D1 does not become a sufficiently large value regardless of the presence of a pedestrian. And if it is going to detect the pedestrian of such a target image, since it becomes difficult to distinguish with the target image (for example, the target image G4 in FIG. 5, and the target image G5) in which a pedestrian is not reflected, a false detection is carried out. To increase.
  • the threshold value of the inner product value which is a criterion for determining whether or not a pedestrian is captured.
  • the range surrounded by the broken line in FIG. 6 extends to the range surrounded by the alternate long and short dash line.
  • the existence range of the target image in which the pedestrian is captured is greatly expanded because the environment is different. Hateful. Therefore, in actuality, it is considered that the influence due to the change in the environmental factor does not expand the existence range of the target image in which the pedestrian is photographed but moves the existence range.
  • the existence range of the target image in which the pedestrian is photographed is a range surrounded by a broken line in the figure.
  • the environment B it moves to the range surrounded by the alternate long and short dash line.
  • the environment C it moves to a range surrounded by a two-dot chain line.
  • a pedestrian may be detected using the identification dictionary D5.
  • the target image showing the pedestrian is within the range surrounded by the alternate long and short dash line in the drawing, and therefore any target image showing the pedestrian is identified in the identification dictionary D5.
  • a pedestrian may be detected using the identification dictionary D3. Furthermore, if it is in the middle of changing from environment A to environment B, a pedestrian is detected using the identification dictionary D4, and if it is in the middle of changing from environment A to environment C, a pedestrian is detected using the identification dictionary D2. do it.
  • a plurality of types of identification dictionaries can be evaluated (S400 in FIG. 8), and the detection identification dictionaries can be changed (S500). Accordingly, an appropriate identification dictionary can be selected. As a result, it is possible to detect a pedestrian with high detection accuracy without being affected by environmental factors.
  • C. Pedestrian detection process of the second embodiment In the pedestrian detection process of the first embodiment described above, a plurality of types of identification dictionaries stored in the identification dictionary storage unit 101 are determined in advance. It was described as selecting an appropriate identification dictionary.
  • a new identification dictionary may be generated by learning and stored in the identification dictionary storage unit 101. Then, an appropriate identification dictionary may be selected from a plurality of types of identification dictionaries including the identification dictionary added by learning.
  • 17 and 18 show a flowchart of the pedestrian detection process of the second embodiment. This process is also executed by the pedestrian detection device 100 every time the in-vehicle camera 10 captures images at a constant period, as in the pedestrian detection process of the first embodiment described above with reference to FIGS. .
  • the pedestrian detection process of the second embodiment when the pedestrian detection process of the second embodiment is started, after a captured image is acquired from the in-vehicle camera 10 (S150), the pedestrian position is acquired from the sonars 20 to 23, and the pedestrian position is determined.
  • the detected time time stamp
  • the detected time is stored in a memory (not shown) in the pedestrian detection device 100 (S151).
  • the pedestrian search process (S250) of the second embodiment is a process according to the pedestrian search process (S200) of the first embodiment described above with reference to FIG. 10, but the pedestrian search process of the second embodiment.
  • (S250) when a pedestrian is detected, not only the position of the target image where the pedestrian is detected but also the feature amount extracted from the target image is stored. Details of the pedestrian search process (S250) of the second embodiment will be described later.
  • an identification dictionary learning process (S600) for learning the identification dictionary is started.
  • the detection result of the pedestrian obtained in the pedestrian search process (S250) that is, the position where the target image is set and the feature amount extracted from the target image). use.
  • the processing content of the identification dictionary evaluation process (S400) is the same as the identification dictionary evaluation process (S400) of the first embodiment described above with reference to FIG. That is, an identification dictionary with the highest detection accuracy is selected from a plurality of types of identification dictionaries stored in the identification dictionary storage unit 101 and set as an identification dictionary (candidate identification dictionary) that is a candidate for a new detection identification dictionary. To do.
  • a detection identification dictionary selection process (S500) is started.
  • the processing contents of the detection identification dictionary selection process (S500) are the same as the detection identification dictionary selection process (S500) of the first embodiment described above with reference to FIG.
  • the identification dictionary evaluation process (S400) and the detection identification dictionary selection process (S500) are omitted.
  • FIG. 19 shows a flowchart of the pedestrian search process (S250) of the second embodiment.
  • the pedestrian search process (S250) of the second embodiment is detected when a pedestrian is detected with respect to the pedestrian search process of the first embodiment described above with reference to FIG. The difference is that not only the position (position where the target image is set) but also the feature quantity extracted from the target image is stored.
  • the pedestrian search process (S250) of the second embodiment will be briefly described with a focus on differences from the pedestrian search process (S200) of the first embodiment.
  • a target image to be searched for a pedestrian is set in the captured image (S251), and the feature amount of the pedestrian is determined from the target image. Is extracted (S252).
  • the position where the pedestrian is detected in the captured image is within a predetermined distance from the lower side of the captured image (S256). That is, there is a limit to the distance that the sonars 20 to 23 can detect pedestrians, and pedestrians that are far away cannot be detected. Therefore, based on the distance from the lower side of the captured image to the position where the pedestrian is detected, it is determined whether or not the pedestrian is at a distance that can be detected by the sonars 20-23.
  • the pedestrian is determined to be detectable by the sonars 20 to 23, and the position where the pedestrian is detected (in the photographed image) And the feature amount extracted from the target image are stored as detection results for identification dictionary learning (S257).
  • FIG. 20 shows a flowchart of the identification dictionary learning process performed in the pedestrian detection process of the second embodiment.
  • the detection result of the pedestrian stored for the identification dictionary learning in the above-described pedestrian search process (S250) (the position of the target image where the pedestrian is detected, and The feature amount extracted from the image is read (S601).
  • the pedestrian position detected using the sonars 20 to 23 is read (S602).
  • the detection result of the positive detection is extracted from the detection result for learning the identification dictionary in the same manner as the process of accumulating the number of positive detections (S603). ),
  • the feature amount (positive detection feature amount) of the target image for the positive detection is accumulated (S604).
  • the detection results of false detection are extracted from the detection results for identification dictionary learning (S605), and the image of the false detection target image is extracted.
  • Feature quantities midetected feature quantities
  • the feature amount extracted from the target image set at the detection position P1 is accumulated as the correct detection feature amount, and the detection position P2 is set as the false detection feature amount.
  • the feature amount extracted from the target image is accumulated.
  • the necessary number of accumulation is set to a number in the range of several tens to several thousand (typically about 100).
  • the identification dictionary setting value changing process (S650) is not started, the identification dictionary learning process of FIG. 20 is terminated, and the process returns to the pedestrian detection process of FIG.
  • Identification dictionary setting value change processing 21 and 22 show flowcharts of the identification dictionary setting value changing process (S650).
  • identification dictionary setting value changing process first, one feature amount set in the detection identification dictionary (hereinafter, referred to as “setting value” in order to distinguish it from the feature amount of the target image) is selected. (S651).
  • An N-dimensional identification dictionary has N set values, so one of them is selected.
  • the selected set value is increased by a predetermined amount (S652).
  • a new identification dictionary having a slightly different setting value from the detected identification dictionary is generated.
  • the inner product value with the accumulated positive detection feature amount increases (S653). At this time, it is desirable that the inner product value with all the accumulated positive detection feature values is increased, but if the ratio is less than a predetermined ratio (for example, 10% or less), there is a positive detection feature value that does not increase the inner product value. In this case, it may be determined that the inner product value with the positive detection feature amount has increased.
  • a predetermined ratio for example, 10% or less
  • the set value may be decreased instead of being increased. There is sex.
  • the set value is decreased by a predetermined amount (S657).
  • the inner product value with the accumulated positive detection feature amount increases (S658). At this time, it is desirable that the inner product value with all the accumulated positive detection feature values is increased, but if the ratio is less than a predetermined ratio (for example, 10% or less), there is a positive detection feature value that does not increase the inner product value. In this case, it may be determined that the inner product value with the positive detection feature amount has increased.
  • a predetermined ratio for example, 10% or less
  • FIG. 23 shows a flowchart of the learning identification dictionary registration process (S700).
  • the learning identification dictionary registration process S700
  • one existing identification dictionary identification dictionary registered in the identification dictionary storage unit 101
  • a detection identification dictionary in use may be selected.
  • an inner product value of the selected identification dictionary and a new identification dictionary obtained by learning is calculated (S702). If the selected identification dictionary and the identification dictionary obtained by learning are completely different identification dictionaries, the inner product value is a small value. Conversely, if the identification dictionaries are similar, the inner product value is a large value. It is a spear.
  • the identification dictionary obtained by learning is similar to any of the existing identification dictionaries stored in the identification dictionary storage unit 101. Therefore, it can be determined that it is worth registering as a new identification dictionary.
  • the types of identification dictionary stored in the identification dictionary storage unit 101 may increase excessively. is there. If the types of stored identification dictionaries increase, not only a large memory capacity is required, but also it becomes difficult to quickly detect pedestrians. This is because the identification dictionary evaluation process (S400) for evaluating a plurality of identification dictionaries stored in the identification dictionary storage unit 101 in the pedestrian detection process described with reference to FIGS. 17 and 18 takes time. This is because it becomes.
  • the oldest identification dictionary obtained by learning is deleted from the identification dictionaries stored in the identification dictionary storage unit 101 (S706). If the standard identification dictionary is not registered by learning in the identification dictionary of the identification dictionary storage unit 101 but stored in advance, the oldest identification dictionary is deleted except for the standard identification dictionary.
  • the type of the identification dictionary stored in the identification dictionary storage unit 101 is reduced by one, and the identification dictionary obtained by learning is stored in the identification dictionary storage unit 101, thereby registering as a new identification dictionary. (S707).
  • the latest identification dictionary corresponding to a change in the environment in which the in-vehicle camera 10 captures an image can be stored while the number of types of identification dictionary stored in the identification dictionary storage unit 101 is suppressed to the upper limit. it can.
  • an identification dictionary learned at an old timing is likely to have a significantly different detection environment due to the fact that the environment when the identification dictionary is learned is greatly different from the current environment. There is little real harm.
  • the identification dictionary learned at the oldest timing is considered to have greatly reduced detection accuracy because the environment when the dictionary was learned is significantly different from the current environment. Therefore, in S706 of FIG. 23, instead of deleting the identification dictionary having the oldest learning timing, the identification dictionary having the lowest detection accuracy among the learned and registered identification dictionaries may be deleted.
  • the detection accuracy of the identification dictionary may be calculated anew, or the detection accuracy calculated in the identification dictionary evaluation process (S400) as described above with reference to FIG. 14 may be used.
  • the identification dictionary obtained by learning is used as the identification dictionary storage unit 101.
  • the identification dictionary storage unit 101 By adding and storing, it is registered as a new identification dictionary (S707).
  • 24 (a) to 24 (c) conceptually show how the identification dictionary is registered by the learning identification dictionary registration process (S700) described above.
  • the identification dictionary displayed with a black circle in the figure is learned. To do.
  • the learned identification dictionary is added to the identification dictionary storage unit 101 as a new identification dictionary D2.
  • the identification dictionary indicated by a black circle in the figure is learned in a state where the identification dictionary D1 and the identification dictionary D2 are stored.
  • the learned identification dictionary has a smaller inner product value with the identification dictionary D1, but does not have a smaller inner product value with the identification dictionary D2. Therefore, this identification dictionary is not added to the identification dictionary storage unit 101.
  • the various embodiments described above have been described as detecting pedestrian positions using sonars 20-23.
  • the pedestrian position may be detected by using the radar 30 instead of the sonars 20-23.
  • each section is expressed as S100, for example.
  • each section can be divided into a plurality of subsections, while a plurality of sections can be combined into one section.
  • each section configured in this manner can be referred to as a device, module, or means.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Acoustics & Sound (AREA)
  • Electromagnetism (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

　ソナー（２０～２３）またはレーダー（３０）と車載カメラ（１０）とを備えた車両（１）の歩行者検出装置（１００）は、歩行者の形状特徴の複数識別辞書を記憶している識別辞書記憶部（１０１）と、前記撮影画像の中で特徴を探索することにより、前記歩行者を検出して該識別辞書毎に検出結果を蓄積する検出結果蓄積部（１０２）と、前記歩行者を前記ソナーまたは前記レーダーで検出し、歩行者位置を蓄積する歩行者位置蓄積部（１０３）と、該検出結果が該歩行者位置と整合する検出識別辞書を選択する識別辞書選択部（１０４）と、前記撮影画像の中で前記検出識別辞書の特徴を探索することにより、前記歩行者を検出する歩行者検出部（１０５）とを備える。

Description

歩行者検出装置および歩行者検出方法 関連出願の相互参照
　本出願は、２０１４年７月２５日に出願された日本出願番号２０１４－１５２４２６号に基づくもので、ここにその記載内容を援用する。
　本開示は、車載カメラで得られた撮影画像を解析することによって、撮影画像に写った歩行者を検出する歩行者検出装置および歩行者検出方法に関するものである。
　今日の車両では、安全な走行を確保するために、あるいは運転者の運転操作を支援するために、様々な技術を用いて車両の周辺の状況を監視している。その中の代表的な技術としては、車載カメラから得られた撮影画像を解析して、撮影画像に写った歩行者を検出する技術が知られている。
　この撮影画像に写った歩行者を検出する際には、検出しようとする歩行者の主に外形形状に着目して、歩行者の特徴を記憶しておき、撮影画像中で歩行者の特徴を有する箇所を探索する。そして、歩行者の特徴を有する箇所が見つかったら、その箇所に歩行者が写っていると判断する（例えば、特許文献１）。
　ここで、撮影画像中の歩行者は、歩行者が単独で写っているわけではない。従って、撮影画像中で歩行者の特徴を有する箇所を探索する際には、歩行者の周囲も写った画像から、全体として歩行者の特徴を有する箇所を探索することになる。
　そして、撮影画像に写った歩行者の周囲の状況は、撮影時の環境要因によって変化する。例えば、天気が良い時に撮影した場合には、歩行者の影が歩行者と一緒に写り込む。また、撮影した季節や時刻によって、影の長さや、背景とのコントラストが変化する。更には、季節や地域によって服装が変わるので、歩行者の外形形状自体も変化する。
　そこで、撮影画像中の歩行者を探索する際には、歩行者の特徴を完全には有していなくても、大まかに歩行者の特徴を有していれば、その箇所には歩行者が写っているものと判断することとしている。
　しかし、上述した従来の技術では、歩行者の検出精度を改善することには限界があるという問題があった。これは、次のような理由による。先ず、歩行者の検出精度を向上させるためには、歩行者の検出率（撮影画像に写った歩行者の総数に対する歩行者の検出数の比率）と、正答率（歩行者として検出した画像に本当に歩行者が写っている比率）とを同時に向上させる必要がある。
　当然ながら、環境要因の変化で歩行者が検出できなくなったのでは検出率を向上させることができない。そこで、歩行者の特徴を有するか否かの判断を緩やかにして、環境要因が変化しても歩行者が検出できるようにすると、撮影画像中でたまたま歩行者に近い形に見える箇所を、歩行者として誤検出してしまうので正答率が低下する。逆に、誤検出による正答率の低下を回避するために、歩行者の特徴を有するか否かの判断を厳しくすると、今度は、環境要因の変化による影響で歩行者を検出することが困難となるので、検出率が低下してしまう。このように、歩行者の検出精度がある程度まで改善された後は、歩行者の検出率と正答率とが二律背反の関係となってしまうために、それ以上に歩行者の検出精度を改善することが難しいという問題があった。
特開２０１２－２２０３７７号公報
　本開示は、撮影画像中の歩行者を検出する際の検出精度を改善することが可能な歩行者検出装置の提供を目的とする。本開示は、撮影画像中の歩行者を検出する際の検出精度を改善することが可能な歩行者検出方法の提供を他の目的とする。
　本開示の第一の態様において、ソナーまたはレーダーの少なくとも何れか一つと車載カメラとを備えた車両に搭載されて、該車載カメラで撮影した撮影画像を解析することにより、該撮影画像に写った歩行者を検出する歩行者検出装置は、前記撮影画像に写った前記歩行者の形状が備える複数の特徴を数値化して記述した識別辞書を、該数値の異なった複数種類の識別辞書を記憶している識別辞書記憶部と、前記識別辞書記憶部に記憶されている前記複数種類の識別辞書について、前記撮影画像の中で該識別辞書に記述された特徴を有する箇所を探索することにより、該撮影画像に写った前記歩行者を検出して該識別辞書毎に検出結果を蓄積する検出結果蓄積部と、前記車両の周辺に存在する前記歩行者を前記ソナーまたは前記レーダーの少なくとも何れか一つを用いて検出し、該歩行者が検出された歩行者位置を蓄積する歩行者位置蓄積部と、前記歩行者位置蓄積部に蓄積された前記歩行者位置と、前記検出結果蓄積部に蓄積された前記識別辞書毎の検出結果とを比較することにより、該検出結果が該歩行者位置と整合する前記識別辞書を検出識別辞書として選択する識別辞書選択部と、前記撮影画像の中で前記検出識別辞書に記述された特徴を有する箇所を探索することにより、該撮影画像中の前記歩行者を検出する歩行者検出部とを備える。
　上記の歩行者検出装置では、環境要因が変化しても、複数種類の識別辞書から最も適した識別辞書を選択して、撮影画像中の歩行者を検出することができるので、歩行者の検出精度を改善することが可能となる。
　また、上記の歩行者検出装置は、環境の変化に応じて識別辞書を学習することができるので、環境の変化によらず高い検出精度で歩行者を検出することが可能となる。
　本開示の第二の態様において、ソナーまたはレーダーの少なくとも何れか一つと車載カメラとを備えた車両に適用されて、該車載カメラで撮影した撮影画像を解析することにより、該撮影画像に写った歩行者を検出する歩行者検出方法は、前記撮影画像に写った前記歩行者の形状が備える複数の特徴を数値化して記述した複数種類の識別辞書について、前記撮影画像の中で該識別辞書に記述された特徴を有する箇所を探索することにより、該撮影画像に写った前記歩行者を検出して該識別辞書毎に検出結果を蓄積し、前記車両の周辺に存在する前記歩行者を前記ソナーまたは前記レーダーの少なくとも何れか一つを用いて検出し、該歩行者が検出された歩行者位置を蓄積し、前記歩行者位置の蓄積で蓄積された前記歩行者位置と、前記検出結果の蓄積で蓄積された前記識別辞書毎の検出結果とを比較することにより、該検出結果が該歩行者位置と整合する前記識別辞書を検出識別辞書として選択し、前記撮影画像の中で前記検出識別辞書に記述された特徴を有する箇所を探索することにより、該撮影画像中の前記歩行者を検出することを備える。
　上記の歩行者検出方法では、環境要因が変化しても、複数種類の識別辞書から最も適した識別辞書を選択して、撮影画像中の歩行者を検出することができるので、歩行者の検出精度を改善することが可能となる。
　また、上記の歩行者検出方法は、環境の変化に応じて識別辞書を学習することができるので、環境の変化によらず高い検出精度で歩行者を検出することが可能となる。
　本開示についての上記目的およびその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。その図面は、
図1は、本実施例の歩行者検出装置１００を搭載した車両１を示す説明図であり、 図２は、歩行者検出装置１００の大まかな内部構成を示す説明図であり、 図３（ａ）から図３（ｆ）は、撮影画像に写った歩行者を検出する方法の概要を示した説明図であり、 図４（ａ）から図４（ｂ）は、歩行者を含まない対象画像を例示した説明図であり、 図５は、識別辞書と対象画像との特徴量空間での内積値を用いて撮影画像中の歩行者を検出する方法についての説明図であり、 図６は、環境要因の影響で歩行者の検出精度が低下する理由を示した説明図であり、 図７は、予め記憶されている複数の識別辞書を例示した説明図であり、 図８は、第１実施例の歩行者検出処理の前半部分のフローチャートであり、 図９は、第１実施例の歩行者検出処理の後半部分のフローチャートであり、 図１０は、撮影画像中の歩行者を探索する歩行者探索処理のフローチャートであり、 図１１は、歩行者の検出精度を算出する検出精度算出処理のフローチャートであり、 図１２は、撮影画像中の歩行者の検出結果を例示した説明図であり、 図１３は、ソナーによる歩行者の検出結果を例示した説明図であり、 図１４は、複数の識別辞書の検出精度を評価する識別辞書評価処理のフローチャートであり、 図１５は、歩行者を検出するために用いる検出識別辞書を複数の識別辞書の評価結果に基づいて変更する検出識別辞書選択処理のフローチャートであり、 図１６は、歩行者の検出精度を向上させることが可能な理由を示した説明図であり、 図１７は、第２実施例の歩行者検出処理の前半部分のフローチャートであり、 図１８は、第２実施例の歩行者検出処理の後半部分のフローチャートであり、 図１９は、第２実施例の歩行者検出処理の中で歩行者を探索する歩行者探索処理のフローチャートであり、 図２０は、識別辞書を学習する識別辞書学習処理のフローチャートであり、 図２１は、識別辞書学習処理の中で識別辞書の設定値を変更する識別辞書設定値変更処理の前半部分のフローチャートであり、 図２２は、識別辞書設定値変更処理の後半部分のフローチャートであり、 図２３は、学習によって得られた識別辞書を新たな識別辞書として登録する学習識別辞書登録処理のフローチャートであり、 図２４（ａ）から図２４（ｃ）は、学習識別辞書登録処理で新たな識別辞書が追加される様子を示した説明図であり、 図２５は、ソナーの代わりにレーダーを搭載した変形例の車両１を例示した説明図である。
　以下では、上述した本開示の内容を明確にするために実施例について説明する。
Ａ．装置構成　：
　図１には、歩行者検出装置１００を搭載した車両１が示されている。図示されるように車両１には、歩行者検出装置１００に加えて、車両１の前方を撮影する車載カメラ１０と、複数のソナー２０～２３とが搭載されている。
　車載カメラ１０は車両１から前方の方向を所定の撮影周期で撮影して、得られた撮影画像を歩行者検出装置１００に出力する。
　また、車両１の前方に向かって左側の正面には、前方に向けて音波を放射するソナー２０が搭載されており、ソナー２０よりも左外側の位置には、前方斜め左方向に向けて音波を放射するソナー２２が搭載されている。同様に、車両１の前方に向かって右側の正面にも、前方に向けて音波を放射するソナー２１が搭載されており、ソナー２１よりも右外側の位置には、前方斜め右方向に向けて音波を放射するソナー２３が搭載されている。これらソナー２０～２３は、放射した音波が歩行者などに当たって戻ってきた反射波を検出することにより、歩行者などを検出することができる。そして、得られた検出結果を歩行者検出装置１００に出力する。上述したように、それぞれのソナー２０～２３は異なる方向に向けて音波を放射しているから、歩行者検出装置１００は、何れのソナー２０～２３で歩行者などを検出したかによって、歩行者などの大まかな位置を検出することができる。
　尚、図１では、車載カメラ１０は車両１から前方を撮影する向きに搭載され、ソナー２０～２３は車両１の前方に搭載されているものとしているが、車載カメラ１０を車両１から後方を撮影する向きに搭載し、ソナー２０～２３を車両１の後方に搭載してもよい。あるいは、車載カメラ１０を車両１から側方を撮影する向きに搭載し、ソナー２０～２３を車両１の側方に搭載してもよい。更には、これらを組み合わせて、例えば、前方を撮影する車載カメラと、後方を撮影する車載カメラと、車両１の前方および斜め前方に音波を放射する複数のソナーと、後方および斜め後方に音波を放射する複数のソナーとを搭載してもよい。
　また、図１では、ソナー２０～２３を用いて歩行者などを検出するものとしているが、これに限らずレーダーを用いて歩行者などを検出してもよい。
　図２には、本実施例の歩行者検出装置１００の大まかな内部構成が示されている。図示されるように本実施例の歩行者検出装置１００は、識別辞書記憶部１０１と、検出結果蓄積部１０２と、歩行者位置蓄積部１０３と、識別辞書選択部１０４と、歩行者検出部１０５と、検出精度評価部１０６と、再選択要否判断部１０７とを備えている。
　尚、これら７つの「部」は、撮影画像に写った歩行者を検出する歩行者検出装置１００の機能に着目して、歩行者検出装置１００の内部を便宜的に分類した抽象的な概念であり、歩行者検出装置１００が物理的に７つの部分に区分されることを表すものではない。従って、これらの「部」は、ＣＰＵで実行されるコンピュータープログラムとして実現することもできるし、ＬＳＩやメモリーを含む電子回路として実現することもできるし、更にはこれらを組合せることによって実現することもできる。
　以下では、これら７つの「部」の動作について説明するが、その準備として、識別辞書を用いて撮影画像中の歩行者を検出する方法について簡単に説明しておく。
　図３（ａ）から図３（ｆ）には、識別辞書を用いて撮影画像中の歩行者を検出する大まかな方法が示されている。例えば、図３（ａ）に示したように、歩行者Ｈ１～Ｈ３が写った撮影画像が得られたものとする。尚、ここでは理解を容易にするために、歩行者Ｈ１～Ｈ３は、同じ大きさで写っているものとする。
　それぞれの歩行者Ｈ１～Ｈ３の外形形状は異なっているが、歩行者である以上は、外形形状が共通する部分も存在する。例えば、撮影画像中で歩行者Ｈ１が写った部分の画像（図３（ｂ）参照）と、歩行者Ｈ２が写った部分の画像（図３（ｃ）参照）と、歩行者Ｈ３が写った部分の画像（図３（ｄ）参照）とを切り出して、それら画像の輝度の平均を取ったとする。すると、図３（ｅ）に模式的に示したように、ぼんやりとした人型の輝度分布が得られるものと考えられる。そこで、撮影画像中で、このような輝度分布をしている箇所を探索して、そのような箇所が見つかったら、その箇所には歩行者が写っている可能性が高いと思われる。従って、このような輝度分布は、撮影画像に写った歩行者の形状が備える特徴と考えて良い。
　尚、ここでは、歩行者の形状が備える特徴の例として、最も理解が容易な輝度分布に着目した特徴について説明したが、歩行者の形状が備える特徴は、これに限られるものではない。実際には、様々な方法によって抽出された様々な種類の特徴が提案されており、何れの特徴を用いても構わない。
　続いて、得られた特徴（ここでは、人型の輝度分布）を数値化する。数値化する方法は、特徴を数値によって表すことが可能でありさえすれば、どのような方法を適用しても良い。また、特徴を数値によって表すには複数個の数値が必要となるから、特徴を数値化することによって、図３（ｆ）に示すように、複数個の数値を得ることができる。
　このような一組の数値（ここでは、人型の輝度分布を表す複数個の数値）が「識別辞書」である。また、識別辞書がＮ個の数値によって形成されているとき、その識別辞書はＮ次元の識別辞書と呼ばれる。更に、特徴を表す数値の１つ１つは「特徴量」と呼ばれる。
　そこで、識別辞書に含まれる複数個の特徴量を座標軸に取った空間（特徴量空間）を考える。識別辞書がＮ次元である場合、特徴量もＮ個となり、座標軸もＮ本となるので、Ｎ次元の特徴量空間となる。特徴量空間を用いれば、特徴量空間の座標点として識別辞書を表すことができる。
　ここで、図３（ｅ）に示した人型の輝度分布の画像を識別辞書に変換した方法と同様にして、図３（ｂ）に示した歩行者Ｈ１が写った画像を数値化したとする。図３（ｂ）に示した画像にも歩行者Ｈ１が写っているから、得られた複数の特徴量は、識別辞書と似ている筈である。尚、以下では、特徴量を抽出する画像を「対象画像」と称することにする。
　従って、特徴量空間では、図３（ｂ）の画像（対象画像Ｇ１）から得られた複数の特徴量に対応する座標点は、識別辞書を表す座標点の近くに存在する筈である。
　また、図３（ｃ）に示した画像（対象画像Ｇ２）についても同様に、対象画像Ｇ２には歩行者Ｈ２が写っているから、対象画像Ｇ２から得られた複数の特徴量に対応する座標点は、特徴量空間では、識別辞書を表す座標点の近くに存在する筈である。図３（ｄ）に示した対象画像Ｇ３についても同様に、対象画像Ｇ３に対応する座標点は、識別辞書の座標点の近くに存在すると思われる。
　このように、対象画像に歩行者が写っていれば、特徴量空間でその対象画像に対応する座標点は、識別辞書を表す座標点の近くにあると考えて良い。
　これに対して、図４（ａ）に例示したように、歩行者とは無関係の対象画像Ｇ４の場合は、対象画像Ｇ４には歩行者が写っていないので、特徴量空間で対象画像Ｇ４に対応する座標点は、識別辞書を表す座標点から離れた位置にある筈である。
　また、図４（ｂ）に例示したように、歩行者の一部が写ってはいるが、歩行者が写っているとは言えない対象画像Ｇ５の場合も、特徴量空間で対象画像Ｇ５に対応する座標点は、識別辞書を表す座標点から離れた位置にある筈である。
　このように、対象画像に歩行者が写っていなければ、特徴量空間でその対象画像に対応する座標点は、識別辞書を表す座標点から離れた位置にあると考えて良い。
　以上のことから、対象画像を特徴量空間の座標点に変換した時に、その座標点が識別辞書の近くに存在するか否かによって、対象画像に歩行者が写っているか否かを判断することができる。
　図５には、識別辞書が３次元であるものとして、対象画像に歩行者が写っているか否かを判断する様子が示されている。例えば、識別辞書Ｄ１が、ｄ１ｘ、ｄ１ｙ、ｄ１ｚの３つの数値によって構成されていた場合、歩行者を含んだ対象画像に対応する座標点は、識別辞書Ｄ１の周囲に集まった状態となる。図中に破線で囲った範囲は、このような歩行者を含んだ対象画像の座標点の存在範囲を示している。従って、対象画像Ｇ１や、対象画像Ｇ２、対象画像Ｇ３に対応する座標点も、破線で囲った範囲内に存在する。
　また、歩行者を含まない対象画像Ｇ４や対象画像Ｇ５に対応する座標点は、破線で囲った範囲の外側に存在する。
　従って、特徴量空間での識別辞書（正確には、識別辞書の座標点を表すベクトル）と、対象画像（正確には、対象画像の座標点を表すベクトル）との内積値を算出すれば、対象画像に歩行者が写っているか否かを判断することができる。すなわち、対象画像の歩行者が写っていれば、対象画像の座標点は識別辞書の近くに存在するから、内積値は大きくなる。逆に、対象画像の歩行者が写っていなければ、対象画像の座標点は識別辞書から離れた位置に存在するから、内積値は小さくなる。
　結局、特徴量空間での識別辞書と対象画像との内積値が、所定閾値よりも大きければ歩行者が写っていると判断し、所定閾値よりも小さければ歩行者は写っていないと判断することができる。
　以上が、識別辞書を用いて歩行者を検出する方法の概要である。もっとも、このような方法は、環境要因の変化によって歩行者の検出精度が低下する虞がある。すなわち、歩行者の画像を撮影した時の天気や、時刻、季節などの影響によって、歩行者が写る状態も少しずつ変化するから、特徴量空間での座標点の分布範囲も変化する。
　図６には、環境要因が様々に変化することで、歩行者が写った対象画像の存在範囲が変化する様子が概念的に示されている。当初は、図中に破線で示した存在範囲であったにも拘わらず、その後、環境要因が変化することによって存在範囲が変化し、結局、様々な環境要因の変化を考慮すると、図中に一点鎖線で示した範囲まで、歩行者が写った対象画像の存在範囲が広がる。そして、このように存在範囲が広がると、歩行者が写っているにも拘わらず識別辞書Ｄ１との内積値が小さな値となって、歩行者が写っていない画像（例えば図５の対象画像Ｇ５）と区別できない事態が生じる。
　そこで、本実施例の歩行者検出装置１００では、環境要因の影響を受けることなく高い検出精度で歩行者を検出可能とするために、図２に示した７つの「部」を備えている。
　７つの「部」の中の識別辞書記憶部１０１は、複数種類の識別辞書を記憶している。図７には、識別辞書記憶部１０１に記憶された５種類の識別辞書Ｄ１～Ｄ５が例示されている。尚、図７では、図示の関係から識別辞書の次元が３次元であるものとして表示しているが、識別辞書の次元は３次元以上とすることができる。また、識別辞書記憶部１０１に記憶されている識別辞書の種類についても、５種類より多くても良く、あるいは５種類より少なくても良い。
　検出結果蓄積部１０２は、車載カメラ１０からの撮影画像を受け取ると、識別辞書記憶部１０１に記憶されている複数種類の識別辞書を用いて、撮影画像中の歩行者を検出し、識別辞書毎に、歩行者の検出結果を蓄積する。撮影画像中の歩行者を検出する処理の詳細については後述する。
　歩行者位置蓄積部１０３は、ソナー２０～２３を用いて歩行者を検出することにより、歩行者が検出された位置（歩行者位置）を蓄積する。図１を用いて前述したように、ソナー２０～２３は、それぞれ異なる方向に存在する歩行者などを検出している。このため歩行者位置蓄積部１０３は、何れのソナー２０～２３が歩行者を検出したかに基づいて、歩行者の大まかな位置を検出することが可能であり、検出した歩行者位置を蓄積する。
　識別辞書選択部１０４は、ソナー２０～２３による歩行者位置の検出結果を歩行者位置蓄積部１０３から読み出して、検出結果蓄積部１０２に識別辞書毎に蓄積された歩行者の検出結果と比較する。そして、歩行者の検出結果が、ソナー２０～２３による歩行者位置と最も整合する識別辞書を、検出識別辞書として選択する。検出識別辞書を選択する処理の詳細についても後述する。
　歩行者検出部１０５は、車載カメラ１０から撮影画像を受け取ると、識別辞書選択部１０４で選択された識別辞書（検出識別辞書）を用いて、撮影画像中の歩行者を検出する。
　検出精度評価部１０６は、歩行者検出部１０５が検出識別辞書を用いて検出した歩行者の検出結果と、ソナー２０～２３で検出した歩行者位置とを受け取って、検出識別辞書の検出精度を算出する。検出識別辞書の検出精度を算出する処理については後述する。
　再選択要否判断部１０７は、検出精度評価部１０６で算出した検出精度に基づいて、検出識別辞書の再選択の要否を判断する。そして、再選択を要すると判断した場合は、その旨を検出結果蓄積部１０２に出力して、歩行者位置蓄積部１０３で識別辞書毎に歩行者の検出結果の蓄積を再開する。
　このようにすることで、本実施例の歩行者検出装置１００では、環境要因の影響を受けることなく、撮影画像中の歩行者を高い精度で検出することが可能となる。以下では、本実施例の歩行者検出装置１００が歩行者を検出する処理（歩行者検出処理）について詳しく説明する。
Ｂ．第１実施例の歩行者検出処理　：
　図８および図９には、第１実施例の歩行者検出処理のフローチャートが示されている。この処理は、車載カメラ１０が一定周期で画像を撮影する度に、歩行者検出装置１００によって実行される。
　図示されるように、歩行者検出処理では先ず始めに、車載カメラ１０から撮影画像を取得する（Ｓ１００）。
　続いて、ソナー２０～２３から歩行者位置を取得して、歩行者位置の検出時刻と共に、歩行者検出装置１００内の図示しないメモリーに記憶する（Ｓ１０１）。
　前述したようにソナー２０～２３は、車両１の前方のそれぞれ異なる範囲で歩行者を検出するから、何れのソナー２０～２３で歩行者を検出したかによって、大まかな歩行者位置を知ることができる。例えば、ソナー２０で歩行者が検出されたのであれば、車両１の前方左側に歩行者が存在し、ソナー２２で歩行者が検出されたのであれば、車両１の左斜め前方に歩行者が存在すると判断することができる。Ｓ１０１では、このようにして得られた大まかな歩行者位置を、検出時刻を示すタイムスタンプと共に蓄積する。
が上述した７つの「部」を用いて実行する。
　こうして、撮影画像を取得して（Ｓ１００）、歩行者位置を蓄積したら（Ｓ１０１）、歩行者を検出するために用いる検出識別辞書を識別辞書記憶部１０１から読み出す（Ｓ１０２）。検出識別辞書は、識別辞書記憶部１０１に記憶されている複数種類の識別辞書の中から、後述する方法によって予め選択されている。また、まだ識別辞書が選択されていない場合は、識別辞書記憶部１０１に記憶されている複数種類の識別辞書の中で標準として設定されている識別辞書（図７に示した例では、識別辞書Ｄ１）を読み出す。
　そして、読み出した検出識別辞書を用いて、撮影画像中の歩行者を探索する歩行者探索処理を開始する（Ｓ２００）。詳細については後述するが、歩行者探索処理では、撮影画像の中から歩行者の有無を判断しようとする対象画像を切り出して、対象画像から歩行者の特徴を抽出することにより、対象画像を特徴量空間の座標点に変換する（図５参照）。そして、特徴量空間での検出識別辞書（正確には検出識別辞書の座標点を表すベクトル）と、対象画像（正確には対象画像の座標点を表すベクトル）との内積値を算出することによって、対象画像に歩行者が写っているか否かを判断する。このような操作を撮影画像の全範囲に亘って実行することにより、撮影画像に写った歩行者を探索する。
　続いて、検出識別辞書による歩行者の検出精度を算出する検出精度算出処理を開始する（Ｓ３００）。検出精度算出処理の詳細についても後述するが、この処理では次のようにして、検出識別辞書による検出精度を算出する。先ず、歩行者探索処理（Ｓ２００）で得られた歩行者の検出結果を、ソナー２０～２３から得られた歩行者位置と比較することによって、歩行者が正しく検出されているか否かを判断して、その判断結果を蓄積しておく。そして、判断結果の蓄積数が、検出精度を精度良く算出するために必要な蓄積数（必要数）に達したら、検出識別辞書の検出精度を算出する。
　その後、検出識別辞書の検出精度が得られたか否かを判断する（Ｓ１０３）。上述したように、検出識別辞書の検出精度は、歩行者が正しく検出されているか否かの判断結果の蓄積数が必要数に達していなければ算出できない。従って、蓄積数が必要数に達していない場合は、検出精度が未だ算出できていないと判断されることになる（Ｓ１０３：ｎｏ）。
　これに対して、蓄積数が必要数に達していれば、検出精度算出処理（Ｓ３００）で検出識別辞書の検出精度が算出されているので、検出精度が算出できたと判断する（Ｓ１０３：ｙｅｓ）。
　そして、検出精度が算出できた場合は（Ｓ１０３：ｙｅｓ）、検出識別辞書の再選択が必要か否かを判断する（Ｓ１０４）。すなわち、Ｓ３００で算出された検出識別辞書の検出精度を所定の許容精度と比較して、許容精度を超えている場合は、再選択は不要と判断する（Ｓ１０４：ｎｏ）。
　これに対して、算出した検出精度が許容精度を下回っている場合は、検出識別辞書の再選択が必要と判断する（Ｓ１０４：ｙｅｓ）。
　そして、再選択が必要と判断した場合は（Ｓ１０４：ｙｅｓ）、識別辞書評価処理を開始する（Ｓ４００）。詳細な処理内容については後述するが、識別辞書評価処理（Ｓ４００）では、識別辞書記憶部１０１に記憶されている複数種類の識別辞書の中から検出精度が最も高い識別辞書を選択して、新たな検出識別辞書の候補となる識別辞書（候補識別辞書）に設定する。
　続いて、候補識別辞書が得られたか否かを判断する（Ｓ１０５）。すなわち、前述したように識別辞書の検出精度を精度良く算出するためには、識別辞書による検出結果を必要数以上蓄積する必要がある。従って、必要な蓄積数に達していない場合は、識別辞書毎の検出精度を算出することができず、候補識別辞書を設定することができない。そこで、このような場合は、候補識別辞書が得られていないと判断する（Ｓ１０５：ｎｏ）。
　これに対して、候補識別辞書が得られたと判断した場合は（Ｓ１０５：ｙｅｓ）、候補識別辞書の検出精度と、検出識別辞書の検出精度とを比較して、候補識別辞書の検出精度の方が高い場合には、候補識別辞書を新たな検出識別辞書として選択する検出識別辞書選択処理を開始する（Ｓ５００）。検出識別辞書選択処理の詳細な処理内容についても後述する。
　尚、候補識別辞書が得られていないと判断した場合は（Ｓ１０５：ｎｏ）、検出識別辞書選択処理（Ｓ５００）は省略する。また、そもそも、検出識別辞書の検出精度が算出されていないと判断した場合（Ｓ１０３：ｎｏ）や、検出識別辞書の再選択は不要と判断した場合（Ｓ１０４：ｎｏ）は、識別辞書評価処理（Ｓ４００）および検出識別辞書選択処理（Ｓ５００）を省略する。
　その後、歩行者の検出を終了するか否かを判断する（図９のＳ１０６）。そして、歩行者の検出を終了しないと判断した場合は（Ｓ１０６：ｎｏ）、処理の先頭に戻って、車載カメラ１０から撮影画像を取得した後（図８のＳ１００）、上述した一連の処理（Ｓ１０１～Ｓ１０６）を開始する。
　これに対して、歩行者の検出を終了すると判断した場合は（Ｓ１０６：ｙｅｓ）、図８および図９に示した第１実施例の歩行者検出処理を終了する。
Ｂ－１．歩行者探索処理　：
　図１０には、撮影画像中で歩行者が写っている位置を探索する歩行者探索処理（Ｓ２００）のフローチャートが示されている。前述したようにこの処理は、第１実施例の歩行者検出処理の中で歩行者検出装置１００によって実施される。
　図示されるように、歩行者探索処理では先ず始めに、歩行者を探索する対象となる対象画像を撮影画像中に設定する（Ｓ２０１）。撮影画像中で対象画像を設定する位置は任意の位置とすることができるが、撮影画像の全範囲に隈無く対象画像を設定するためには、始めは撮影画像の隅の位置に設定した対象画像を、少しずつ位置をずらして設定することが望ましい。
　次に、撮影画像中に設定した対象画像を切り出して、対象画像から歩行者の特徴量を抽出する（Ｓ２０２）。こうすることによって、対象画像は、図５を用いて前述した特徴量空間の座標点に変換される。
　そして、特徴量空間での対象画像の特徴量が示す座標点と、識別辞書に対応する座標点との内積値を算出する（Ｓ２０３）。尚、ここで、内積値の算出に用いる識別辞書は、対象画像に歩行者が写っているか否かを判断するために用いる識別辞書である。従って、検出識別辞書を用いて歩行者を検出するために歩行者探索処理（Ｓ２００）を実施しているのであれば、検出識別辞書が、ここで言う識別辞書に該当する。これに対して、後述する識別辞書評価処理（Ｓ４００）の中で複数の識別辞書を評価している場合には、識別辞書記憶部１０１に記憶された個々の識別辞書が、ここで言う識別辞書に該当する。
　その後、算出した内積値が、所定の閾値よりも大きいか否かを判断する（Ｓ２０４）。そして、内積値が閾値よりも大きい場合は（Ｓ２０４：ｙｅｓ）、対象画像に歩行者が写っていると判断することができるので、撮影画像中に対象画像を設定した位置を、歩行者が検出された位置として、歩行者検出装置１００内の図示しないメモリーに記憶する（Ｓ２０５）。
　これに対して、内積値が閾値よりも大きくなかった場合は（Ｓ２０４：ｎｏ）、対象画像に歩行者が写っていないと判断することができるので、撮影画像中に対象画像を設定した位置は記憶しない。
　続いて、撮影画像中で歩行者が検出された位置が、撮影画像の下辺から所定距離以内にあるか否かを判断する（Ｓ２０６）。このような判断を行うのは、次のような理由による。
　後述する検出精度算出処理では、歩行者探索処理（Ｓ２００）で検出された歩行者の位置と、ソナー２０～２３で検出された歩行者位置とを比較することによって、歩行者の検出精度を算出する。ここで、歩行者探索処理（Ｓ２００）では撮影画像に歩行者が写っていれば、歩行者を検出できるのに対して、ソナー２０～２３で歩行者を検出可能な距離には限界があり、所定距離以上、遠くに存在する歩行者はソナー２０～２３では検出することができない。
　そこで、撮影画像中では、遠くの歩行者ほど画像の上部に写ることに着目して、撮影画像に写った歩行者までの大まかな距離を推定する。すなわち、撮影画像中で画像の下辺から歩行者が検出された位置までの距離を取得する。この距離は、歩行者までの大まかな距離に対応する。そこで、撮影画像の下辺からの距離が所定距離以内であれば（Ｓ２０６：ｙｅｓ）、その歩行者はソナー２０～２３でも検出可能な距離にいると判断できるので、歩行者が検出された位置（撮影画像中で対象画像を設定した位置）を、検出精度算出用の検出結果として記憶する（Ｓ２０７）。
　これに対して、撮影画像の下辺からの距離が所定距離以内に無かった場合は（Ｓ２０６：ｎｏ）、検出精度算出用の検出結果は記憶しない。
　そして、撮影画像中の全範囲に対象画像を設定して歩行者を探索したか否かを判断する（Ｓ２０８）。その結果、歩行者を探索していない箇所が残っている場合は（Ｓ２０８：ｎｏ）、処理の先頭に戻って、撮影画像中の新たな位置に探索画像を設定した後（Ｓ２０１）、上述した続く一連の処理（Ｓ２０２～Ｓ２０８）を開始する。
　このような処理を繰り返すことによって、撮影画像中の全範囲を探索したと判断したら（Ｓ２０８：ｙｅｓ）、図１０に示す第１実施例の歩行者探索処理を終了して、図８の歩行者検出処理に復帰する。そして、前述したように歩行者検出処理では、歩行者探索処理から復帰すると、検出精度算出処理（Ｓ３００）を開始する。
Ｂ－２．検出精度算出処理　：
　図１１には、第１実施例の歩行者検出処理の中で実施される検出精度算出処理のフローチャートが示されている。
　図示されるように検出精度算出処理（Ｓ３００）では、上述した歩行者探索処理（Ｓ２００）で検出精度算出用に記憶した歩行者の検出結果（検出識別辞書を用いて歩行者が検出された位置）を読み出す（Ｓ３０１）。また、歩行者探索処理（Ｓ２００）で、検出精度算出用に複数の検出結果が記憶されていた場合には、全ての検出結果を読み出してやる。
　次に、ソナー２０～２３を用いて検出した歩行者位置を読み出す（Ｓ３０２）。図８および図９を用いて前述したように、歩行者検出処理では、車載カメラ１０から撮影画像を取得すると（Ｓ１００）、続いて、ソナー２０～２３を用いて検出した歩行者位置を、タイムスタンプと共に、歩行者検出装置１００内のメモリーに記憶している（Ｓ１０１）。
そこで、検出精度算出処理のＳ３０２では、タイムスタンプの情報に基づいて、撮影画像を取得した時点に対応する歩行者位置を読み出す。また、該当する歩行者位置が複数記憶されている場合には、全ての歩行者位置を読み出してやる。
　そして、撮影画像から得られた歩行者の検出結果（Ｓ３０１で読み出した検出結果）と、ソナー２０～２３から得られた歩行者位置（Ｓ３０２で読み出した歩行者位置）とを照合することによって、正検知の歩行者を検出して、検出した歩行者数（正検知数）を蓄積する（Ｓ３０３）。正検知の歩行者を検出するには、撮影画像中で歩行者が検出された位置のそれぞれについて、ソナー２０～２３でも対応する位置で歩行者が検出されているか否かを判断する。
　例えば、撮影画像中で歩行者が検出された検出結果として、図１２に示すように検出位置Ｐ１および検出位置Ｐ２が記憶されていたとする。また、ソナー２０～２３によって検出された歩行者位置としては、図１３に示すように歩行者位置Ｓ１および歩行者位置Ｓ２が記憶されていたとする。この場合、図１２の検出位置Ｐ１については、ソナー２０～２３でも歩行者が検出されているので（図１３の歩行者位置Ｓ１）、正検知と判断することができる。これに対して、図１２の検出位置Ｐ２については、ソナー２０～２３では歩行者が検出されていないので、誤検知と判断する。従って、図１２および図１３に示した例では、正検知数は１となる。
　そして、図１１に示した検出精度算出処理のＳ３０３では、こうして検出した正検知数を、検出精度を算出しようとする識別辞書（ここでは検出識別辞書）について既に得られた正検知数に加算することによって、検出識別辞書の正検知数を蓄積していく。
　正検知数の蓄積に続いて、誤検知した歩行者の数（誤検知数）を蓄積する（Ｓ３０４）。誤検知した歩行者は、撮影画像から検出された歩行者（Ｓ３０１で読み出した歩行者）の中から、正検知の歩行者（Ｓ３０３で正検知と判定された歩行者）を除いた歩行者となる。上述の図１２および図１３に示した例を用いて説明すると、図１２の検出位置Ｐ２が、ソナー２０～２３では歩行者が検出されていないので誤検知と判断される。また、この場合の誤検知数は１となる。
　そして、図１１に示した検出精度算出処理のＳ３０４では、こうして検出した誤検知数を、検出識別辞書について既に得られた誤検知数に加算することによって、誤検知数を蓄積していく。
　正検知数および誤検知数の蓄積に続いて、未検知の歩行者の数（未検知数）を蓄積する（Ｓ３０５）。ここで、未検知の歩行者とは、ソナー２０～２３では検出されているにも拘わらず、撮影画像中では検出されていない歩行者である。従って、未検知の歩行者を検出するには、Ｓ３０２で読み出した歩行者位置に着目して、撮影画像中の該当する位置が、歩行者が検出された位置としてＳ３０１で読み出されているか否かを調べればよい。
　例えば、図１３の歩行者位置Ｓ１については、撮影画像中でも歩行者が検出されているので（図１２の検出位置Ｐ１）、未検知ではないと判断することができる。これに対して、図１３の歩行者位置Ｓ２については、撮影画像中では歩行者が検出されていないので、未検知と判断する。従って、図１２および図１３に示した例では、未検知数は１となる。
　そして、図１１に示した検出精度算出処理のＳ３０５では、こうして検出した未検知数を、検出識別辞書について既に得られた未検知数に加算することによって、未検知数を蓄積していく。
　こうして、正検知数と誤検知数と未検知数とを蓄積したら（Ｓ３０３～Ｓ３０５）、正検知数と誤検知数と未検知数とを合計することによって合計検知数を算出する（Ｓ３０６）。そして算出した合計検知数が、検出精度を算出するための必要数に達したか否かを判断する（Ｓ３０７）。
　十分な精度で検出精度を算出するためには、必要数は十分に大きな数であることが望ましい。その一方で、必要数があまりに大きくなると、稀にしか検出精度を算出できなくなる。こうした観点から、必要数は、数千～数万の範囲（代表的には、１万程度）の数に設定される。
　その結果、合計検知数が必要数に達していない場合は（Ｓ３０７：ｎｏ）、検出精度を算出することなく、図１１の検出精度算出処理（Ｓ３００）を終了して、図８の歩行者検出処理に復帰する。
　そして、歩行者検出処理では、検出精度が得られていないと判断されて（図８のＳ１０３：ｎｏ）、歩行者検出を終了するか否かが判断される（Ｓ１０６）。その結果、歩行者検出を終了しないと判断した場合は（Ｓ１０６：ｎｏ）、再び先頭から歩行者検出処理が実行され、その中で検出精度算出処理（Ｓ３００）が開始されて、検出識別辞書についての正検知数と誤検知数と未検知数とが蓄積される（図１１のＳ３０３～Ｓ３０５）。
　こうした処理を繰り返すうちに、やがて正検知数と誤検知数と未検知数との合計検知数が必要数に達して、Ｓ３０７では「ｙｅｓ」と判断されるので、蓄積した正検知数を合計検知数で除算することによって検出精度を算出する（Ｓ３０８）。
　また、検出精度が算出できたら、蓄積していた正検知数、誤検知数、未検知数は何れも初期化した後（Ｓ３０９）、図１１の検出精度算出処理（Ｓ３００）を終了して、図８の歩行者検出処理に復帰する。
　そして、歩行者検出処理では、検出精度が得られたと判断され（図８のＳ１０３：ｙｅｓ）、続いて、その検出精度が許容精度を下回っている場合は、検出識別辞書の再選択が必要と判断されて（Ｓ１０４：ｙｅｓ）、識別辞書評価処理（Ｓ４００）が開始される。
Ｂ－３．識別辞書評価処理　：
　図１４には、識別辞書評価処理（Ｓ４００）のフローチャートが示されている。
　図示されるように、識別辞書評価処理（Ｓ４００）を開始すると、先ず始めに、ソナー２０～２３によって検出されて、タイムスタンプと共にメモリーに記憶されていた歩行者位置を読み出す（Ｓ４０１）。
　続いて、識別辞書記憶部１０１に記憶されている複数種類の識別辞書の中から、検出識別辞書以外の識別辞書を１つ選択し（Ｓ４０２）、その識別辞書を用いて歩行者探索処理を開始する（Ｓ２００）。図８および図９を用いて前述した歩行者検出処理では、検出識別辞書が選択されて（Ｓ１０２）、検出識別辞書に対して歩行者探索処理（Ｓ２００）が開始されたが、図１４の識別辞書評価処理（Ｓ４００）では、Ｓ４０２で選択された識別辞書に対して歩行者探索処理（Ｓ２００）が開始されることになる。歩行者探索処理（Ｓ２００）の詳細な処理については、図１０を用いて説明済みなので、ここでは説明は省略する。
　選択した識別辞書を用いて撮影画像中の歩行者を探索したら（Ｓ２００）、歩行者探索処理（Ｓ２００）で検出精度算出用に記憶した歩行者の検出結果を用いて、識別辞書の正検知数および誤検知数を蓄積する（Ｓ４０３、Ｓ４０４）。識別辞書の正検知数および誤検知数を蓄積する方法については、図１１～図１３を用いて前述した検出識別辞書の正検知数および誤検知数を蓄積する方法と同様なので、ここでは説明を省略する。
　そして、識別辞書記憶部１０１に記憶された全ての識別辞書（検出識別辞書は除く）を選択したか否かを判断する（Ｓ４０５）。そして、まだ選択していない識別辞書が残っていた場合は（Ｓ４０５：ｎｏ）、Ｓ４０２に戻って新たな識別辞書を選択した後、その識別辞書に対して、上述した処理（Ｓ２００、Ｓ４０３、Ｓ４０４）を行う。
　こうした処理を繰り返した結果、検出識別辞書を除く全ての識別辞書を選択したと判断したら（Ｓ４０５：ｙｅｓ）、今度は、蓄積した正検知数および誤検知数を識別辞書毎に合計することによって、識別辞書毎の合計検知数を算出する（Ｓ４０６）。
　そして、識別辞書毎に算出した合計検知数の中で最小の合計検知数が、検知精度を算出するための必要数に達しているか否かを判断する（Ｓ４０７）。
　その結果、最小の合計検知数が必要数に達していた場合は（Ｓ４０７：ｙｅｓ）、識別辞書毎の正検知数を合計検知数で除算することによって、識別辞書毎に検出精度を算出する（Ｓ４０８）。そして、識別辞書毎に得られた検出精度の中で検知精度が最も高い識別辞書を、候補識別辞書として選択した後（Ｓ４０９）、図１４の識別辞書評価処理を終了する。
　これに対して、Ｓ４０６で算出した合計検知数の中の最小の合計検知数が、必要数に達していないと判断した場合は（Ｓ４０７：ｎｏ）、候補識別辞書を選択することなく、そのまま図１４の識別辞書評価処理を終了して、図８の歩行者検出処理に復帰する。
　そして、図８を用いて前述したように歩行者検出処理では、識別辞書評価処理（Ｓ４００）から復帰すると、候補識別辞書が得られたか否かを判断して（Ｓ１０５）、候補識別辞書が得られている場合は（Ｓ１０５：ｙｅｓ）、後述する検出識別辞書選択処理（Ｓ５００）を開始する。これに対して、候補識別辞書が得られていない場合は（Ｓ１０５：ｎｏ）、検出識別辞書選択処理（Ｓ５００）は省略する。
Ｂ－４．検出識別辞書選択処理　：
　図１５には、検出識別辞書選択処理のフローチャートが示されている。前述したように、この処理は、図８の歩行者検出処理の中で検出識別辞書の再選択が必要と判断され（Ｓ１０４：ｙｅｓ）、候補識別辞書が得られた場合（Ｓ１０５：ｙｅｓ）に、歩行者検出装置１００によって開始される。
　図示されるように、検出識別辞書選択処理（Ｓ５００）を開始すると先ず始めに、現状の検出識別辞書の検出精度を取得する（Ｓ５０１）。検出識別辞書の検出精度は、図１１を用いて前述した検出精度算出処理（Ｓ３００）の中で求められて、歩行者検出装置１００内のメモリーに記憶されている。
　続いて、候補識別辞書の検出精度を取得する（Ｓ５０２）。候補識別辞書の検出精度は、図１４を用いて前述した識別辞書評価処理（Ｓ４００）の中で求められて、歩行者検出装置１００内のメモリーに記憶されている。
　尚、本実施例では、検出識別辞書の検出精度は既に検出精度算出処理（Ｓ３００）で求められているので、識別辞書評価処理（Ｓ４００）では、検出識別辞書以外の識別辞書について検出精度を算出するものとして説明した。このため、図１５の検出識別辞書選択処理では、検出精度算出処理（Ｓ３００）で求めておいた検出識別辞書の検出精度を取得し（Ｓ５０１）、識別辞書評価処理（Ｓ４００）で求めた候補識別辞書の検出精度を取得している（Ｓ５０２）。
　しかし、識別辞書評価処理（Ｓ４００）で他の識別辞書の検出精度を算出する際に、検出識別辞書の検出精度も算出してもよい。そして、検出識別辞書を除いた識別辞書の中で検出精度が最も高い識別辞書を、候補識別辞書として選択しても良い。この場合は、図１５の検出識別辞書選択処理では、識別辞書評価処理（Ｓ４００）で求めた検出識別辞書および候補識別辞書の検出精度を、それぞれＳ５０１およびＳ５０２で取得する。こうすれば、検出識別辞書の検出精度と、候補識別辞書の検出精度とを、同じ撮影画像から算出することができるので、２つの識別辞書の検出精度を正確に比較することができる。
　もっとも、前述したように識別辞書の検出精度は、十分な数の検知結果を用いて算出するので、検出精度の算出に用いた撮影画像の違いが実用上の問題となることはない。従って、検出識別辞書の検出精度については、検出精度算出処理（Ｓ３００）で既に求めた検出精度を流用することとし、識別辞書評価処理（Ｓ４００）では、検出識別辞書以外の識別辞書の検出精度を算出することによって、処理負荷を軽減することが可能となる。
　こうして、検出識別辞書および候補識別辞書の検出精度を取得したら（Ｓ５０１、Ｓ５０２）、候補識別辞書の検出精度が、検出識別辞書の検出精度よりも高いか否かを判断する（Ｓ５０３）。
　その結果、候補識別辞書の検出精度の方が、検出識別辞書の検出精度よりも高いと判断した場合は（Ｓ５０３：ｙｅｓ）、候補識別辞書を新たな検出識別辞書として設定する（Ｓ５０４）。この結果、候補識別辞書が、それ以降の歩行者検出処理では検出識別辞書として使用されることになる。
　これに対して、検出識別辞書の検出精度の方が、候補識別辞書の検出精度よりも高かった場合は（Ｓ５０３：ｎｏ）、候補識別辞書を検出識別辞書として設定することはない。この結果、現状の検出識別辞書がそのまま使用されることになる。
　以上のようにして、それ以降に使用する検出識別辞書が選択されたら、その検出識別辞書や候補識別辞書を含めて、各識別辞書について求めた検出精度を初期化しておく（Ｓ５０５）。そして、図１５の検出識別辞書選択処理（Ｓ５００）を終了して、図８の歩行者検出処理に復帰する。
　図８および図９を用いて前述したように、歩行者検出処理では、検出識別辞書選択処理（Ｓ５００）から復帰すると、歩行者検出を終了するか否かを判断する（図９のＳ１０６）。
　その結果、歩行者検出を終了しないと判断した場合は（Ｓ１０６：ｎｏ）、歩行者検出処理の先頭に戻って、車載カメラ１０から新たな撮影画像を取得し（図８のＳ１００）、上述した続く一連の処理を開始する。
　これに対して、歩行者検出を終了すると判断した場合は（Ｓ１０６：ｙｅｓ）、図８および図９に示した第１実施例の歩行者検出処理を終了する。
　第１実施例の歩行者検出装置１００は、上述した歩行者検出処理によって撮影画像中の歩行者を検出しているので、環境要因の影響を受けることなく、高い検出精度で歩行者を検出することが可能である。これは次のような理由による。
　先ず、図６を用いて前述したように、歩行者が写った対象画像の特徴量空間での存在範囲が、破線で囲った狭い範囲に存在している場合は、歩行者を精度良く検出することができる。すなわち、適切な識別辞書Ｄ１を設定しておくことで、歩行者が写った何れの対象画像についても識別辞書Ｄ１との内積値が大きな値となるようにすることができる。このため、対象画像に歩行者が写っていれば歩行者を確実に検出することができ、また、歩行者が写っていない対象画像を、歩行者が写っていると誤検出することもない。
　これに対して、様々な環境要因の影響で、歩行者が写った対象画像の存在範囲が、一点鎖線で囲った範囲に広がったとする。すると、どのような識別辞書Ｄ１を設定しても、歩行者が写っているにも拘わらず、識別辞書Ｄ１との内積値が十分には大きな値とならない対象画像が生じるようになる。そして、このような対象画像の歩行者を検出しようとすると、歩行者が写っていない対象画像（例えば、図５中の対象画像Ｇ４や対象画像Ｇ５）との区別が困難となるので誤検出が増加する。これを避けるために、歩行者が写っているか否かの判断基準となる内積値の閾値を高くすると、対象画像に歩行者が写っているにも拘わらず、歩行者を検出できない場合が増加するので、検出率が低下する。
　ここで、従来は、環境要因の変化による影響で、図６中の破線で囲った範囲が一点鎖線で囲った範囲に広がるものとして考えられてきた。しかし、様々な環境要因をひとまとめに見るのではなく、画像撮影時の個々の環境に着目すれば、環境が違ったからといって、歩行者が写った対象画像の存在範囲が大きく広がるとは考えにくい。従って、実際には、環境要因の変化による影響は、歩行者が写った対象画像の存在範囲を広げるものではなく、存在範囲を移動させるものであると考えられる。
　すなわち、図１６に概念的に示したように、画像撮影時の環境が環境Ａであった場合は、歩行者が写った対象画像の存在範囲は、図中に破線で囲った範囲となるが、環境Ｂでは、一点鎖線で囲った範囲に移動する。また、環境Ｃでは、二点鎖線で囲った範囲に移動する。そして、これら様々な環境をひとまとめにすると、図６中に一点鎖線で示したように、歩行者が写った対象画像の存在範囲が広がるものと考えられる。
　従って、図１６に示したように、環境Ｂで得られた撮影画像については、識別辞書Ｄ５を用いて歩行者を検出すればよい。環境Ｂで得られた撮影画像であれば、歩行者が写った対象画像は、図中に一点鎖線で囲った範囲内に存在するから、歩行者が写った何れの対象画像についても識別辞書Ｄ５との内積値が大きな値となる。このため、対象画像に写った歩行者を確実に検出することができ、また、歩行者が写っていない対象画像を、歩行者が写っていると誤検出することもない。
　同様にして、環境Ｃで得られた撮影画像については、識別辞書Ｄ３を用いて歩行者を検出すればよい。更に、環境Ａから環境Ｂに変化する途中であれば、識別辞書Ｄ４を用いて歩行者を検出し、環境Ａから環境Ｃに変化する途中であれば、識別辞書Ｄ２を用いて歩行者を検出すればよい。
　前述したように、第１実施例の歩行者検出処理では、複数種類の識別辞書を評価して（図８のＳ４００）、検出識別辞書を変更することができるから（Ｓ５００）、環境の変化に応じて適切な識別辞書を選択することができる。その結果、環境要因の影響を受けることなく、高い検出精度で歩行者を検出することが可能となる。
Ｃ．第２実施例の歩行者検出処理　：
　上述した第１実施例の歩行者検出処理では、識別辞書記憶部１０１に記憶されている複数種類の識別辞書は予め決まっており、画像撮影時の環境が変化すると、既定の識別辞書の中から適切な識別辞書を選択するものとして説明した。
　しかし、学習によって新たな識別辞書を生成して、識別辞書記憶部１０１に記憶してもよい。そして、学習によって追加された識別辞書を含む複数種類の識別辞書の中から、適切な識別辞書を選択するものとしても良い。
　図１７および図１８には、第２実施例の歩行者検出処理のフローチャートが示されている。この処理も、図８および図９を用いて前述した第１実施例の歩行者検出処理と同様に、車載カメラ１０が一定周期で画像を撮影する度に、歩行者検出装置１００によって実行される。
　図示されるように、第２実施例の歩行者検出処理を開始すると、車載カメラ１０から撮影画像を取得した後（Ｓ１５０）、ソナー２０～２３から歩行者位置を取得して、歩行者位置の検出時刻（タイムスタンプ）と共に、歩行者検出装置１００内の図示しないメモリーに記憶する（Ｓ１５１）。
　続いて、検出識別辞書を識別辞書記憶部１０１から読み出して（Ｓ１５２）、第２実施例の歩行者探索処理を開始する（Ｓ２５０）。第２実施例の歩行者探索処理（Ｓ２５０）は、図１０を用いて前述した第１実施例の歩行者探索処理（Ｓ２００）に準じた処理であるが、第２実施例の歩行者探索処理（Ｓ２５０）では、歩行者が検出された場合に、歩行者が検出された対象画像の位置だけでなく、対象画像から抽出された特徴量を記憶する。第２実施例の歩行者探索処理（Ｓ２５０）の詳細な処理内容については後述する。
　その後、第２実施例の歩行者検出処理では、識別辞書を学習する識別辞書学習処理（Ｓ６００）を開始する。詳細については後述するが、識別辞書の学習に際しては、歩行者探索処理（Ｓ２５０）で得られた歩行者の検出結果（すなわち、対象画像を設定した位置と、対象画像から抽出した特徴量）を使用する。
　続いて、識別辞書学習処理（Ｓ６００）で新たな識別辞書が学習されたか否かを判断する（Ｓ１５３）。後述するように、識別辞書の学習には、ある程度の数の歩行者の検出結果が蓄積されている必要があるから、蓄積された検出結果が足らない場合は、識別辞書学習処理（Ｓ６００）で新たな識別辞書を学習することができない。
　そこで、新たな識別辞書が学習されたか否かを判断し（Ｓ１５３）、学習されていた場合には（Ｓ１５３：ｙｅｓ）、その新たな識別辞書が、登録に値する識別辞書か否かを判断して、登録に値していれば識別辞書記憶部１０１に新たな識別辞書として登録する学習識別辞書登録処理（Ｓ７００）を実施する。学習識別辞書登録処理（Ｓ７００）の詳細な処理内容については後述する。
　続いて、新たな識別辞書が登録されたか否かを判断する（Ｓ１５４）。その結果、新たな識別辞書が登録されていた場合は（Ｓ１５４：ｙｅｓ）、識別辞書評価処理（Ｓ４００）を開始する。
　識別辞書評価処理（Ｓ４００）の処理内容については、図１４を用いて前述した第１実施例の識別辞書評価処理（Ｓ４００）と同様である。すなわち、識別辞書記憶部１０１に記憶されている複数種類の識別辞書の中から検出精度が最も高い識別辞書を選択して、新たな検出識別辞書の候補となる識別辞書（候補識別辞書）に設定する。
　そして、候補識別辞書が得られたか否かを判断して（図１８のＳ１５５）、候補識別辞書が得られていれば（Ｓ１５５：ｙｅｓ）、検出識別辞書選択処理（Ｓ５００）を開始する。検出識別辞書選択処理（Ｓ５００）の処理内容については、図１５を用いて前述した第１実施例の検出識別辞書選択処理（Ｓ５００）と同様であるため、説明は省略する。
　尚、候補識別辞書が得られていない場合は（Ｓ１５５：ｎｏ）、検出識別辞書選択処理（Ｓ５００）は省略する。
　また、学習された新たな識別辞書が登録されていないと判断した場合は（Ｓ１５４：ｎｏ）、識別辞書評価処理（Ｓ４００）および検出識別辞書選択処理（Ｓ５００）は省略する。
　更に、そもそも、新たな識別辞書が学習されていないと判断した場合は（Ｓ１５３：ｎｏ）、学習識別辞書登録処理（Ｓ７００）や、識別辞書評価処理（Ｓ４００）、検出識別辞書選択処理（Ｓ５００）は省略する。
　その後、歩行者の検出を終了するか否かを判断する（Ｓ１５６）。そして、歩行者の検出を終了しないと判断した場合は（Ｓ１５６：ｎｏ）、処理の先頭に戻って、車載カメラ１０から撮影画像を取得した後（図１７のＳ１５０）、上述した一連の処理（Ｓ１５１～Ｓ１５６）を開始する。
　これに対して、歩行者の検出を終了すると判断した場合は（Ｓ１５６：ｙｅｓ）、図１７および図１８に示した第２実施例の歩行者検出処理を終了する。
Ｃ－１．歩行者探索処理　：
　図１９には、第２実施例の歩行者探索処理（Ｓ２５０）のフローチャートが示されている。前述したように第２実施例の歩行者探索処理（Ｓ２５０）は、図１０を用いて前述した第１実施例の歩行者探索処理に対して、歩行者が検出された場合に、検出された位置（対象画像を設定した位置）だけでなく、その対象画像から抽出した特徴量も記憶する点が異なっている。以下では、第１実施例の歩行者探索処理（Ｓ２００）との相違点を中心に、第２実施例の歩行者探索処理（Ｓ２５０）について簡単に説明する。
　図示されるように、第２実施例の歩行者探索処理でも、先ず始めに、歩行者を探索する対象となる対象画像を撮影画像中に設定し（Ｓ２５１）、対象画像から歩行者の特徴量を抽出する（Ｓ２５２）。
　そして、特徴量空間での対象画像の特徴量が示す座標点と、識別辞書に対応する座標点との内積値を算出して（Ｓ２５３）、得られた内積値が、所定の閾値よりも大きいか否かを判断する（Ｓ２５４）。
　その結果、内積値が閾値よりも大きかった場合は（Ｓ２５４：ｙｅｓ）、対象画像に歩行者が写っていると判断することができるので、撮影画像中に対象画像を設定した位置を、歩行者の検出結果として記憶する（Ｓ２５５）。
　これに対して、内積値が閾値よりも大きくなかった場合は（Ｓ２５４：ｎｏ）、対象画像に歩行者が写っていないと判断することができるので、検出結果は記憶しない。
　続いて、撮影画像中で歩行者が検出された位置が、撮影画像の下辺から所定距離以内にあるか否かを判断する（Ｓ２５６）。すなわち、ソナー２０～２３で歩行者を検出可能な距離には限界があり、遠くに存在する歩行者は検出することができない。そこで、撮影画像の下辺から歩行者が検出された位置までの距離に基づいて、その歩行者が、ソナー２０～２３でも検出可能な距離にいるか否かを判断する。その結果、撮影画像の下辺からの距離が所定距離以内であれば（Ｓ２５６：ｙｅｓ）、その歩行者はソナー２０～２３でも検出可能と判断して、歩行者が検出された位置（撮影画像中で対象画像を設定した位置）と、対象画像から抽出された特徴量とを、識別辞書学習用の検出結果として記憶する（Ｓ２５７）。
　これに対して、撮影画像の下辺からの距離が所定距離以内に無かった場合は（Ｓ２５６：ｎｏ）、識別辞書学習用の検出結果は記憶しない。
　そして、撮影画像中の全範囲に対象画像を設定して歩行者を探索したか否かを判断する（Ｓ２５８）。その結果、歩行者を探索していない箇所が残っている場合は（Ｓ２５８：ｎｏ）、処理の先頭に戻って、撮影画像中の新たな位置に探索画像を設定した後（Ｓ２５１）、上述した続く一連の処理（Ｓ２５２～Ｓ２５８）を開始する。また、撮影画像中の全範囲を探索したと判断したら（Ｓ２５８：ｙｅｓ）、図１９に示す第２実施例の歩行者探索処理を終了して、図１７の歩行者検出処理に復帰する。
　そして、前述したように第２実施例の歩行者検出処理では、歩行者探索処理から復帰すると、識別辞書学習処理（Ｓ６００）を開始する。
Ｃ－２．識別辞書学習処理　：
　図２０には、第２実施例の歩行者検出処理の中で実施される識別辞書学習処理のフローチャートが示されている。
　図示されるように識別辞書学習処理（Ｓ６００）では、上述した歩行者探索処理（Ｓ２５０）で識別辞書学習用に記憶した歩行者の検出結果（歩行者が検出された対象画像の位置、および対象画像から抽出された特徴量）を読み出す（Ｓ６０１）。
　次に、ソナー２０～２３を用いて検出した歩行者位置を読み出す（Ｓ６０２）。そして、図１１を用いて前述した検出精度算出処理のＳ３０３で、正検知数を蓄積した処理と同様にして、識別辞書学習用の検出結果の中から正検知の検出結果を抽出して（Ｓ６０３）、正検知の対象画像の特徴量（正検知特徴量）を蓄積する（Ｓ６０４）。また、検出精度算出処理のＳ３０４で誤検知数を蓄積した処理と同様にして、識別辞書学習用の検出結果の中から誤検知の検出結果を抽出して（Ｓ６０５）、誤検知の対象画像の特徴量（誤検知特徴量）を蓄積する（Ｓ６０６）。
　例えば、図１２および図１３に示した例では、正検知特徴量としては、検出位置Ｐ１に設定した対象画像から抽出した特徴量を蓄積し、誤検知特徴量としては、検出位置Ｐ２に設定した対象画像から抽出した特徴量を蓄積する。
　その後、正検知数または誤検知数の何れか小さい方が、識別辞書の学習に必要な必要数に達したか否かを判断する。すなわち、正検知数は誤検知数よりも大きいか否かを判断し（Ｓ６０７）、正検知数の方が大きかった場合は（Ｓ６０７：ｙｅｓ）、誤検知数が必要蓄積数に達したか否かを判断する（Ｓ６０８）。これに対して、誤検知数の方が大きかった場合は（Ｓ６０７：ｎｏ）、正検知数が必要蓄積数に達したか否かを判断する（Ｓ６０９）。
　その結果、誤検知数または正検知数の何れか小さい方が必要蓄積数に達していた場合には（Ｓ６０８：ｙｅｓ、またはＳ６０９：ｙｅｓ）、学習によって新たな識別辞書を生成するために、検出識別辞書の設定値を変更する処理（識別辞書設定値変更処理）を開始する（Ｓ６５０）。詳細な処理内容については後述するが、識別辞書設定値変更処理（Ｓ６５０）では、Ｓ６０３で蓄積した正検知特徴量と、Ｓ６０６で蓄積した誤検知特徴量とを用いて、新たな識別辞書を生成する。
　尚、学習によって適切な識別辞書を得るためには、十分な数の正検知特徴量および誤検知特徴量が蓄積されていることが望ましい。その一方で、蓄積に要する時間があまりに長くなると、画像を撮影する環境が変わってしまう可能性が生じる。そこで、必要蓄積数は、数十～数千の範囲（代表的には、１００程度）の数に設定される。
　これに対して、誤検知数または正検知数の何れか小さい方が必要数に達していなかった場合には（Ｓ６０８：ｎｏ、またはＳ６０９：ｎｏ）、学習に必要な数の正検知特徴量および誤検知特徴量が、まだ蓄積されていないと考えられる。そこで、識別辞書設定値変更処理（Ｓ６５０）は開始せずに、図２０の識別辞書学習処理を終了して、図１７の歩行者検出処理に復帰する。
　そして、前述したように歩行者検出処理では、新たな識別辞書が学習されていないと判断されて（図１７のＳ１５３：ｎｏ）、歩行者検出を終了するか否かが判断される（図１８のＳ１５６）。その結果、歩行者検出を終了しない場合は（Ｓ１５６：ｎｏ）、再び先頭から歩行者検出処理が実行され、その中で識別辞書学習処理（Ｓ６００）が開始されて、正検知数および正検知特徴量が蓄積され（図２０のＳ６０３）、誤検知数および誤検知特徴量が蓄積される（Ｓ６０６）。
　こうした処理を繰り返すことによって、やがては、正検知数または誤検知数の小さい方が必要蓄積数に達するので（Ｓ６０８：ｙｅｓ、またはＳ６０９：ｙｅｓ）、以下に説明する識別辞書設定値変更処理（Ｓ６５０）を開始する（Ｓ６５０）。
Ｃ－３．識別辞書設定値変更処理　：
　図２１および図２２には、識別辞書設定値変更処理（Ｓ６５０）のフローチャートが示されている。
　識別辞書設定値変更処理（Ｓ６５０）では、先ず始めに、検出識別辞書に設定された特徴量（以下では、対象画像の特徴量と区別するために「設定値」と称する）を１つ選択する（Ｓ６５１）。Ｎ次元の識別辞書であれば、Ｎ個の設定値を備えているから、その中の１つを選択する。
　次に、選択した設定値を、所定量だけ増加させる（Ｓ６５２）。その結果、検出識別辞書に対して少しだけ設定値が異なる新たな識別辞書が生成される。
　そして、選択した設定値を増加させることによって、蓄積しておいた正検知特徴量との内積値が増加するか否かを判断する（Ｓ６５３）。この時、蓄積しておいた全ての正検知特徴量との内積値が増加することが望ましいが、所定比率以下（例えば１０％以下）であれば、内積値が増加しない正検知特徴量が存在している場合も、正検知特徴量との内積値が増加したと判断することとしても良い。
　正検知特徴量との内積値が増加したと判断した場合は（Ｓ６５３：ｙｅｓ）、今度は、その設定値を増加させることによって、誤検知特徴量との内積値が減少するか否かを判断する（Ｓ６５４）。ここでも、蓄積しておいた全ての誤検知特徴量との内積値が減少することが望ましいが、所定比率以下（例えば１０％以下）であれば、内積値が減少しない誤検知特徴量が存在している場合も、誤検知特徴量との内積値が減少したと判断することとしても良い。
　その結果、選択した設定値を増加させることによって、正検知特徴量との内積値は増加し（Ｓ６５３：ｙｅｓ）、誤検知特徴量との内積値は減少する場合は（Ｓ６５４：ｙｅｓ）、その設定値については所定量だけ増加させるものと判断して、検出識別辞書の全ての設定値を選択したか否かを判断する（図２２のＳ６６１）。その結果、未選択の設定値が残っている場合は（Ｓ６６１：ｎｏ）、処理の先頭に戻って、新たな設定値を１つ選択する（図２１のＳ６５１）。
　これに対して、選択した設定値を増加させることで正検知特徴量との内積値は増加したが（Ｓ６５３：ｙｅｓ）、誤検知特徴量との内積値は減少しなかった場合は（Ｓ６５４：ｎｏ）、その設定値については増加も減少もさせるべきではないと判断できる。そこで、設定値を増加前の値に変更した後（Ｓ６５５）、検出識別辞書の全ての設定値を選択したか否かを判断する（図２２のＳ６６１）。
　一方、選択した設定値を増加させることで、正検知特徴量との内積値が増加しなかった場合は（Ｓ６５３：ｎｏ）、その設定値については増加させるのではなく、減少させるべきである可能性がある。
　そこで、増加させた設定値を増加前の値に戻した後（Ｓ６５６）、今度は、その設定値を所定量だけ減少させる（Ｓ６５７）。
　そして、選択した設定値を減少させることによって、蓄積しておいた正検知特徴量との内積値が増加するか否かを判断する（Ｓ６５８）。この時、蓄積しておいた全ての正検知特徴量との内積値が増加することが望ましいが、所定比率以下（例えば１０％以下）であれば、内積値が増加しない正検知特徴量が存在している場合も、正検知特徴量との内積値が増加したと判断することとしても良い。
　設定値の減少によって正検知特徴量との内積値が増加したと判断した場合は（Ｓ６５８：ｙｅｓ）、今度は、誤検知特徴量との内積値が減少するか否かを判断する（Ｓ６５９）。ここでも、蓄積しておいた全ての誤検知特徴量との内積値が減少することが望ましいが、所定比率以下（例えば１０％以下）であれば、内積値が減少しない誤検知特徴量が存在している場合も、誤検知特徴量との内積値が減少したと判断することとしても良い。
　その結果、選択した設定値を減少させることによって、正検知特徴量との内積値は増加し（Ｓ６５８：ｙｅｓ）、誤検知特徴量との内積値は減少する場合は（Ｓ６５９：ｙｅｓ）、その設定値については所定量だけ減少させるものと判断して、検出識別辞書の全ての設定値を選択したか否かを判断する（図２２のＳ６６１）。
　これに対して、選択した設定値の減少によって正検知特徴量との内積値は増加したが（Ｓ６５８：ｙｅｓ）、誤検知特徴量との内積値は減少しなかった場合（Ｓ６５９：ｎｏ）、あるいは、正検知特徴量との内積値が増加しなかった場合は（Ｓ６５８：ｎｏ）、その設定値については増加も減少もさせるべきではないと判断できる。そこで、その設定値を減少前の値に変更した後（図２２のＳ６６０）、検出識別辞書の全ての設定値を選択したか否かを判断する（Ｓ６６１）。
　このような処理を、検出識別辞書の全ての設定値に対して実行したら、Ｓ６６１では「ｙｅｓ」と判断されるので、図２１および図２２に示した識別辞書設定値変更処理を終了して、図２０の識別辞書学習処理に復帰した後、識別辞書学習処理も終了して、図１７および図１８に示した第２実施例の歩行者検出処理に復帰する。
　そして、前述したように第２実施例の歩行者検出処理では、識別辞書学習処理（Ｓ６００）から復帰すると、新たな識別辞書が学習されたか否かを判断し（図１７のＳ１５３）、新たな識別辞書が学習されていた場合には（Ｓ１５３：ｙｅｓ）、学習識別辞書登録処理（Ｓ７００）を開始する。
　尚、上述した識別辞書学習処理によって学習された新たな識別辞書が、「学習識別辞書」に対応する。
Ｃ－４．学習識別辞書登録処理　：
　図２３には、学習識別辞書登録処理（Ｓ７００）のフローチャートが示されている。
　図示されるように、学習識別辞書登録処理（Ｓ７００）を開始すると、先ず始めに、既存の識別辞書（識別辞書記憶部１０１に登録されている識別辞書）を１つ選択する（Ｓ７０１）。この時、使用中の検出識別辞書を選択しても良い。
　続いて、選択した識別辞書と、学習によって得られた新たな識別辞書との内積値を算出する（Ｓ７０２）。仮に、選択した識別辞書と、学習によって得られた識別辞書とが、全く異なる識別辞書であれば内積値は小さな値となり、逆に、よく似た識別辞書であれば内積値は大きな値となる筈である。
　従って、内積値が所定値よりも小さかった場合は（Ｓ７０３：ｙｅｓ）、学習によって得られた識別辞書は、Ｓ７０１で選択した識別辞書とは大きく異なっていると考えられる。そこでこの場合は、既存の識別辞書を全て選択したか否かを判断する（Ｓ７０４）。選択していない識別辞書が残っている場合は（Ｓ７０４：ｎｏ）、先頭に戻って新たな識別辞書を選択した後（Ｓ７０１）、その識別辞書との内積値を算出する（Ｓ７０２）。そして、内積値が所定値よりも小さい場合は（Ｓ７０３：ｙｅｓ）、他の識別辞書についても同様な処理を繰り返す。
　こうした処理を繰り返すうちに、何れかの識別辞書との内積値が小さくない（Ｓ７０３：ｎｏ）と判断される場合が起こり得る。この場合は、学習によって得られた識別辞書は、識別辞書記憶部１０１に記憶されている既存の識別辞書の少なくとも１つと似ていると判断できる。従って、このような識別辞書は、新たな識別辞書として登録する必要はないので、そのまま図２３の学習識別辞書登録処理を終了する。
　これに対して、全ての識別辞書とも内積値が小さかった場合は（Ｓ７０４：ｙｅｓ）、学習によって得られた識別辞書は、識別辞書記憶部１０１に記憶されている既存の識別辞書の何れとも似ていないので、新たな識別辞書として登録する価値があると判断できる。
　もっとも、既存の識別辞書と似ていない識別辞書が得られる度に、その識別辞書を登録していくと、識別辞書記憶部１０１に記憶されている識別辞書の種類が増えすぎてしまう可能性がある。記憶されている識別辞書の種類が多くなると、大きなメモリー容量が必要となるだけでなく、歩行者を迅速に検出することも困難となる。この理由は、図１７および図１８で説明した歩行者検出処理の中で、識別辞書記憶部１０１に記憶されている複数の識別辞書を評価する識別辞書評価処理（Ｓ４００）に時間が掛かるようになってしまうためである。
　また、識別辞書記憶部１０１に記憶されている識別辞書が増えると、新たな識別辞書が学習された場合に、その識別辞書が登録する価値があるか否かを判断する処理（図２３のＳ７０１～Ｓ７０４）に要する時間も増加する。
　そこで、学習によって得られた新たな識別辞書が、既存の何れの識別辞書との内積値も小さい（新たな識別辞書として登録する価値がある）と判断された場合は（Ｓ７０４：ｙｅｓ）、識別辞書記憶部１０１に記憶されている既存の識別辞書の種類数が、所定の上限数に達したか否かを判断する（Ｓ７０５）。
　その結果、既存の識別辞書の種類数が上限数に達していた場合は（Ｓ７０５：ｙｅｓ）、識別辞書記憶部１０１に記憶されている識別辞書の種類数が増えすぎたと判断できる。そこでこの場合は、識別辞書記憶部１０１に記憶されている識別辞書の中で、学習によって得られた最も古い識別辞書を削除する（Ｓ７０６）。識別辞書記憶部１０１の識別辞書の中に、学習によって登録されたのではなく、標準の識別辞書が予め記憶されていた場合には、標準の識別辞書を除いて最も古い識別辞書を削除する。
　そして、識別辞書記憶部１０１に記憶されている識別辞書の種類を１つ減らした上で、学習によって得られた識別辞書を識別辞書記憶部１０１に記憶することによって、新たな識別辞書として登録する（Ｓ７０７）。
　こうすれば、識別辞書記憶部１０１に記憶されている識別辞書の種類数を上限数に抑えたまま、車載カメラ１０が画像を撮影する環境の変化に応じた最新の識別辞書を記憶することができる。また、古いタイミングで学習された識別辞書は、その識別辞書を学習した時の環境が、現在の環境とは大きく異なってしまい、検出精度が低下している可能性が高いので、削除しても実害は少ないと考えられる。
　もちろん、現在の環境が変化して、削除した識別辞書を学習した環境に近付いていく可能性もある。しかし、その場合でも、環境の変化に応じて識別辞書を学習することができるので、最も古いタイミングで学習された識別辞書については、削除することによる実害は僅かと考えられる。
　尚、最も古いタイミングで学習した識別辞書は、その辞書を学習した時の環境が現在の環境から大きく異なっているので、検出精度も大きく低下していると考えられる。従って、図２３のＳ７０６では、学習したタイミングが最も古い識別辞書を削除する代わりに、学習して登録された識別辞書の中で検出精度が最も低い識別辞書を削除するようにしてもよい。識別辞書の検出精度は改めて算出しても良いし、図１４を用いて前述したように識別辞書評価処理（Ｓ４００）の中で算出された検出精度を利用しても良い。
　また、ここでは、識別辞書記憶部１０１に記憶された識別辞書を削除してから（Ｓ７０６）、新たな識別辞書を記憶する（Ｓ７０７）ものとして説明した。しかし、新たな識別辞書を識別辞書記憶部１０１に記憶した後に（Ｓ７０７）、識別辞書記憶部１０１の識別辞書を削除することとしてもよい（Ｓ７０６）。
　これに対して、識別辞書記憶部１０１に記憶されている既存の識別辞書の種類数が上限数に達していない場合は（Ｓ７０５：ｎｏ）、学習によって得られた識別辞書を識別辞書記憶部１０１に追加して記憶することによって、新たな識別辞書として登録する（Ｓ７０７）。
　こうして、学習によって得られた識別辞書を識別辞書記憶部１０１に登録したら（Ｓ７０７）、図２３の学習識別辞書登録処理を終了する。
　図２４（ａ）から図２４（ｃ）には、上述した学習識別辞書登録処理（Ｓ７００）によって識別辞書が登録されている様子が概念的に示されている。
　例えば、図２４（ａ）に示すように、識別辞書記憶部１０１に記憶されている識別辞書が１つ（識別辞書Ｄ１）の時に、図中に黒丸で表示した識別辞書が学習されたものとする。この場合、学習した識別辞書と、既存の識別辞書Ｄ１との内積値は小さくなるので、学習した識別辞書を新たな識別辞書Ｄ２として、識別辞書記憶部１０１に追加する。
　次に、図２４（ｂ）に示したように、識別辞書Ｄ１および識別辞書Ｄ２が記憶されている状態で、図中に黒丸で表示した識別辞書が学習されたものとする。この場合、学習した識別辞書は、識別辞書Ｄ１との内積値は小さくなるが、識別辞書Ｄ２との内積値は小さくならない。そこで、この識別辞書については識別辞書記憶部１０１に追加しない。
　更に、図２４（ｃ）に示したように、識別辞書Ｄ１および識別辞書Ｄ２が記憶されている状態で、図中に黒丸で表示した別の識別辞書が学習されたものとする。この識別辞書については、識別辞書Ｄ１との内積値も、識別辞書Ｄ２との内積値も小さくなるので、この識別辞書については新たな識別辞書として識別辞書記憶部１０１に追加する。
　このように、図２３に示した学習識別辞書登録処理（Ｓ７００）では、識別辞書学習処理（Ｓ６００）で新たな識別辞書が学習されると、その識別辞書が既存の識別辞書と似ているか否か（内積値が所定値よりも小さいか否か）を判断して、既存の識別辞書と似ていない場合は、新たな識別辞書として登録する。その結果、第２実施例の歩行者検出処理では、識別辞書学習処理（Ｓ６００）で、既存の識別辞書と似ていない新たな識別辞書が学習される度に、識別辞書記憶部１０１に記憶されている識別辞書が増加していくことになる。
　こうして、図２３の学習識別辞書登録処理（Ｓ７００）を終了したら、第２実施例の歩行者検出処理に復帰する。
　その後は、図１７および図１８を用いて前述したように、新たな識別辞書が登録されたか否かを判断して（図１７のＳ１５４）、新たな識別辞書が登録されていたら（Ｓ１５４：ｙｅｓ）、前述した識別辞書評価処理（Ｓ４００）を開始し、識別辞書評価処理（Ｓ４００）で候補識別辞書が得られていた場合には（図１８のＳ１５５：ｙｅｓ）、前述した検出識別辞書選択処理（Ｓ５００）を開始する。
　そして、検出識別辞書選択処理（Ｓ５００）を終了したら、歩行者検出を終了するか否かを判断し（Ｓ１５６）、歩行者検出を終了しない場合は（Ｓ１５６：ｎｏ）、第２実施例の歩行者検出処理の先頭に戻って、車載カメラ１０から新たな撮影画像を取得した後（図１７のＳ１５０）、上述した続く一連の処理を開始する。
　これに対して、歩行者検出を終了すると判断した場合は（Ｓ１５６：ｙｅｓ）、図１７および図１８に示した第２実施例の歩行者検出処理を終了する。
　以上に示した第２実施例の歩行者検出処理では、画像を撮影する環境の変化に応じて識別辞書を学習して、識別辞書の種類を増やしていくことができるので、様々に環境が変化した場合でも、撮影画像中の歩行者を高い精度で検出することが可能となる。
　例えば、上述した各種の実施例では、ソナー２０～２３を用いて歩行者位置を検出するものとして説明した。しかし、図２５に示したように、ソナー２０～２３の代わりにレーダー３０を用いて歩行者位置を検出することとしてもよい。
　ここで、この出願に記載されるフローチャート、あるいは、フローチャートの処理は、複数のセクション（あるいはステップと言及される）から構成され、各セクションは、たとえば、Ｓ１００と表現される。さらに、各セクションは、複数のサブセクションに分割されることができる、一方、複数のセクションが合わさって一つのセクションにすることも可能である。さらに、このように構成される各セクションは、デバイス、モジュール、ミーンズとして言及されることができる。
　本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。

Claims (7)

  1. 　ソナー（２０～２３）またはレーダー（３０）の少なくとも何れか一つと車載カメラ（１０）とを備えた車両（１）に搭載されて、該車載カメラで撮影した撮影画像を解析することにより、該撮影画像に写った歩行者を検出する歩行者検出装置（１００）であって、
    　前記撮影画像に写った前記歩行者の形状が備える複数の特徴を数値化して記述した識別辞書を、該数値の異なった複数種類の識別辞書を記憶している識別辞書記憶部（１０１）と、
    　前記識別辞書記憶部に記憶されている前記複数種類の識別辞書について、前記撮影画像の中で該識別辞書に記述された特徴を有する箇所を探索することにより、該撮影画像に写った前記歩行者を検出して該識別辞書毎に検出結果を蓄積する検出結果蓄積部（１０２）と、
    　前記車両の周辺に存在する前記歩行者を前記ソナーまたは前記レーダーの少なくとも何れか一つを用いて検出し、該歩行者が検出された歩行者位置を蓄積する歩行者位置蓄積部（１０３）と、
    　前記歩行者位置蓄積部に蓄積された前記歩行者位置と、前記検出結果蓄積部に蓄積された前記識別辞書毎の検出結果とを比較することにより、該検出結果が該歩行者位置と整合する前記識別辞書を検出識別辞書として選択する識別辞書選択部（１０４）と、
    　前記撮影画像の中で前記検出識別辞書に記述された特徴を有する箇所を探索することにより、該撮影画像中の前記歩行者を検出する歩行者検出部（１０５）と、
    　を備える歩行者検出装置。
  2. 　請求項１に記載の歩行者検出装置であって、
    　前記検出結果蓄積部は、前記撮影画像中で前記歩行者が検出された位置に基づいて、前記車両から該歩行者までの距離に関する情報を取得し、該歩行者までの距離が所定の閾値距離以内であった場合に（Ｓ２０６：ｙｅｓ、Ｓ２５６：ｙｅｓ）、該歩行者の検出結果を蓄積する、
    　歩行者検出装置。
  3. 　請求項１または請求項２に記載の歩行者検出装置であって、
    　前記検出識別辞書による前記歩行者の検出結果と、前記ソナーまたは前記レーダーの少なくとも何れか一つを用いて検出した前記歩行者位置とを蓄積して、該検出識別辞書の検出精度を評価する検出精度評価部（１０６）と、
    　前記検出精度評価部による前記評価の結果に基づいて、前記検出識別辞書の再選択の要否を判断する再選択要否判断部（１０７）と
    　をさらに備え、
    　前記検出結果蓄積部は、前記再選択要否判断部が前記検出識別辞書の再選択を要すると判断した場合に（Ｓ１０４：ｙｅｓ）、前記識別辞書毎の前記検出結果を蓄積する、
    　歩行者検出装置。
  4. 　請求項１ないし請求項３の何れか一項に記載の歩行者検出装置であって、
    　前記歩行者検出部は、
    　　　前記撮影画像中で探索しようとする箇所に写った対象画像を、前記歩行者の形状が備える前記複数の特徴について数値化することにより、該対象画像から複数の特徴量を抽出する特徴量抽出部（Ｓ２０２、Ｓ２５２）と、
    　　　前記識別辞書に記述された前記複数の数値と、前記対象画像から抽出された前記複数の特徴量との内積値を算出する内積値算出部（Ｓ２０３、Ｓ２５３）と
    　を備え、
    　前記歩行者検出部は、前記内積値算出部によって得られた前記内積値が所定閾値を超える場合に（Ｓ２０４：ｙｅｓ、Ｓ２５４：ｙｅｓ）、前記対象画像に前記歩行者が写っていると判断することによって該歩行者を検出する、
    　歩行者検出装置。
  5. 　請求項４に記載の歩行者検出装置であって、
    　前記歩行者検出部による前記歩行者の検出結果の正誤を、前記ソナーまたは前記レーダーの少なくとも何れか一つを用いて確認する検出結果確認部（Ｓ６０３、Ｓ６０５）と、
    　前記歩行者検出部によって前記歩行者が検出され、且つ、該検出の結果が前記検出結果確認部によって正しいと判断された場合に、該歩行者が検出された前記対象画像から得られた前記特徴量を正検知特徴量として蓄積する正検知特徴量蓄積部（Ｓ６０４）と、
    　前記歩行者検出部によって前記歩行者が検出され、且つ、該検出の結果が前記検出結果確認部によって正しくないと判断された場合に、該歩行者が検出された前記対象画像から得られた前記特徴量を誤検知特徴量として蓄積する誤検知特徴量蓄積部（Ｓ６０６）と、
    　前記正検知特徴量に対しては前記内積値算出部によって得られる前記内積値が増加し、前記誤検知特徴量に対しては前記内積値算出部によって得られる前記内積値が減少するように、前記検出識別辞書の前記複数の数値を学習することによって、学習識別辞書を生成する学習識別辞書生成部（Ｓ６５０）と、
    　前記学習識別辞書を前記識別辞書として前記識別辞書記憶部に追加する学習識別辞書追加部（Ｓ７００）と
    　をさらに備える歩行者検出装置。
  6. 　請求項５に記載の歩行者検出装置であって、
    　前記識別辞書記憶部に記憶されている前記識別辞書の種類数が所定の上限数に達するか否かを判断し、該上限数に達する場合には、前記識別辞書記憶部に記憶されている前記学習識別辞書の中で前記学習識別辞書追加部が最も古いタイミングで追加した前記学習識別辞書を削除する識別辞書削除部（Ｓ７０６）をさらに備える、
    　歩行者検出装置。
  7. 　ソナーまたはレーダーの少なくとも何れか一つと車載カメラとを備えた車両に適用されて、該車載カメラで撮影した撮影画像を解析することにより、該撮影画像に写った歩行者を検出する歩行者検出方法であって、
    　前記撮影画像に写った前記歩行者の形状が備える複数の特徴を数値化して記述した複数種類の識別辞書について、前記撮影画像の中で該識別辞書に記述された特徴を有する箇所を探索することにより、該撮影画像に写った前記歩行者を検出して該識別辞書毎に検出結果を蓄積し（Ｓ２００、Ｓ２５０）、
    　前記車両の周辺に存在する前記歩行者を前記ソナーまたは前記レーダーの少なくとも何れか一つを用いて検出し、該歩行者が検出された歩行者位置を蓄積し（Ｓ１０１、Ｓ１５１）、
    　前記歩行者位置の蓄積で蓄積された前記歩行者位置と、前記検出結果の蓄積で蓄積された前記識別辞書毎の検出結果とを比較することにより、該検出結果が該歩行者位置と整合する前記識別辞書を検出識別辞書として選択し（Ｓ５００）、
    　前記撮影画像の中で前記検出識別辞書に記述された特徴を有する箇所を探索することにより、該撮影画像中の前記歩行者を検出する（Ｓ２００、Ｓ２５０）こと、
    　を備える歩行者検出方法。
     
     
PCT/JP2015/003258 2014-07-25 2015-06-29 歩行者検出装置および歩行者検出方法 Ceased WO2016013159A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/327,607 US10354160B2 (en) 2014-07-25 2015-06-29 Pedestrian detection device and pedestrian detection method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-152426 2014-07-25
JP2014152426A JP6256239B2 (ja) 2014-07-25 2014-07-25 歩行者検出装置および歩行者検出方法

Publications (1)

Publication Number Publication Date
WO2016013159A1 true WO2016013159A1 (ja) 2016-01-28

Family

ID=55162706

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/003258 Ceased WO2016013159A1 (ja) 2014-07-25 2015-06-29 歩行者検出装置および歩行者検出方法

Country Status (3)

Country Link
US (1) US10354160B2 (ja)
JP (1) JP6256239B2 (ja)
WO (1) WO2016013159A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108172025A (zh) * 2018-01-30 2018-06-15 东软集团股份有限公司 一种辅助驾驶方法、装置、车载终端及车辆
CN115205904A (zh) * 2022-07-27 2022-10-18 南京华康智能科技有限公司 一种提高密集行人检测的方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102017123848A1 (de) * 2017-10-13 2019-04-18 Connaught Electronics Ltd. Automatisches Parken eines Fahrzeugs auf einem Parkplatz
JP7143661B2 (ja) * 2018-07-24 2022-09-29 トヨタ自動車株式会社 情報処理システム、プログラム、及び制御方法
CN109214293A (zh) * 2018-08-07 2019-01-15 电子科技大学 一种油田作业区域人员穿戴行为检测方法及系统
CN109334566B (zh) * 2018-08-31 2022-01-25 阿波罗智联(北京)科技有限公司 用于提供车外反馈的方法、装置、设备和存储介质
GB2585332A (en) * 2019-02-12 2021-01-13 Chidziva Pasihapaori Vehicle with moving object detector
JP7071316B2 (ja) * 2019-07-19 2022-05-18 株式会社日立製作所 車両用情報処理装置
TWI809241B (zh) 2020-01-16 2023-07-21 為昇科科技股份有限公司 生命體檢測的雷達偵測系統、生命體判斷方法及特徵資料庫建立方法
JP7495833B2 (ja) * 2020-07-07 2024-06-05 株式会社日立ソリューションズ・テクノロジー Ｄｎｎモデル圧縮システム
DE102022206123A1 (de) * 2022-06-20 2023-12-21 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Ermittlung einer angenäherten Objektposition eines dynamischen Objektes, Computerprogramm, Vorrichtung und Fahrzeug
WO2024013919A1 (ja) * 2022-07-14 2024-01-18 日本電気株式会社 物体認識システム、物体認識方法及び記録媒体
CN117436937B (zh) * 2023-12-21 2024-07-05 暗物智能科技(广州)有限公司 一种考虑行人画像的路径预测方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020001398A1 (en) * 2000-06-28 2002-01-03 Matsushita Electric Industrial Co., Ltd. Method and apparatus for object recognition
JP2006099611A (ja) * 2004-09-30 2006-04-13 Nissan Motor Co Ltd 人物検出装置及び方法
JP2008065757A (ja) * 2006-09-11 2008-03-21 Kawasaki Heavy Ind Ltd 運転支援装置
JP2014135039A (ja) * 2012-12-13 2014-07-24 Denso Corp 移動体検出装置

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100415266B1 (ko) * 2000-05-11 2004-01-16 가부시끼가이샤 도시바 물체영역정보 기술방법과 물체영역정보 생성장치 및 기록매체
ITTO20010282A1 (it) * 2001-03-26 2002-09-26 Fiat Ricerche Sistema di ausilio alla guida di un autoveicolo.
US7227893B1 (en) * 2002-08-22 2007-06-05 Xlabs Holdings, Llc Application-specific object-based segmentation and recognition system
US7764808B2 (en) * 2003-03-24 2010-07-27 Siemens Corporation System and method for vehicle detection and tracking
JP4425642B2 (ja) * 2004-01-08 2010-03-03 富士重工業株式会社 歩行者抽出装置
JP4166253B2 (ja) * 2006-07-10 2008-10-15 トヨタ自動車株式会社 物体検出装置、物体検出方法、および物体検出用プログラム
US7853072B2 (en) * 2006-07-20 2010-12-14 Sarnoff Corporation System and method for detecting still objects in images
JP5012718B2 (ja) * 2008-08-01 2012-08-29 トヨタ自動車株式会社 画像処理装置
JP5210233B2 (ja) * 2009-04-14 2013-06-12 日立オートモティブシステムズ株式会社 車両用外界認識装置及びそれを用いた車両システム
JP5333080B2 (ja) * 2009-09-07 2013-11-06 株式会社日本自動車部品総合研究所 画像認識システム
EP2587451A4 (en) * 2010-06-23 2015-04-08 Univ Osaka DEVICE FOR DETECTING MOVING OBJECTS
JP2012220377A (ja) 2011-04-11 2012-11-12 Denso Corp 物体識別装置、および物体識別プログラム
JP5755012B2 (ja) * 2011-04-21 2015-07-29 キヤノン株式会社 情報処理装置、その処理方法、プログラム及び撮像装置
WO2013042260A1 (ja) * 2011-09-22 2013-03-28 トヨタ自動車株式会社 運転支援装置
JP5673568B2 (ja) * 2012-01-16 2015-02-18 トヨタ自動車株式会社 物体検出装置
JP5561396B1 (ja) * 2013-02-19 2014-07-30 日本電気株式会社 運転支援システムおよび運転支援方法
JP5708689B2 (ja) * 2013-03-13 2015-04-30 株式会社デンソー 物体検出装置
JP2014215877A (ja) * 2013-04-26 2014-11-17 株式会社デンソー 物体検出装置
JP5794255B2 (ja) * 2013-05-21 2015-10-14 株式会社デンソー 物体検出装置
JP6398347B2 (ja) * 2013-08-15 2018-10-03 株式会社リコー 画像処理装置、認識対象物検出方法、認識対象物検出プログラム、および、移動体制御システム
KR101738995B1 (ko) * 2013-08-19 2017-05-23 젠텍스 코포레이션 에고 모션 검출을 구비한 촬상 시스템 및 방법
US9336436B1 (en) * 2013-09-30 2016-05-10 Google Inc. Methods and systems for pedestrian avoidance
KR101498114B1 (ko) * 2013-11-28 2015-03-05 현대모비스 주식회사 보행자를 검출하는 영상 처리 장치 및 그 방법
JP6483360B2 (ja) * 2014-06-30 2019-03-13 本田技研工業株式会社 対象物認識装置
JP6340957B2 (ja) * 2014-07-02 2018-06-13 株式会社デンソー 物体検出装置および物体検出プログラム
US20160019429A1 (en) * 2014-07-17 2016-01-21 Tomoko Ishigaki Image processing apparatus, solid object detection method, solid object detection program, and moving object control system
JP5928748B2 (ja) * 2014-07-31 2016-06-01 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ 同一種類の複数の認識対象物体が検索対象画像中に存在する場合に、それぞれの認識対象物体の位置および向きを精度良く求める手法
JP6350082B2 (ja) * 2014-08-01 2018-07-04 株式会社デンソー 画像処理装置
DE102014219148A1 (de) * 2014-09-23 2016-03-24 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erstellen eines Bewegungsmodells eines Straßenverkehrsteilnehmers
JP6245140B2 (ja) * 2014-10-27 2017-12-13 株式会社デンソー 対象物識別装置、運転支援システム、車両および対象物識別方法
JP6396838B2 (ja) * 2015-03-31 2018-09-26 株式会社デンソー 車両制御装置、及び車両制御方法
JP6413898B2 (ja) * 2015-04-02 2018-10-31 株式会社デンソー 歩行者判定装置
JP6058072B2 (ja) * 2015-05-29 2017-01-11 三菱電機株式会社 物体識別装置
US10274593B2 (en) * 2015-10-02 2019-04-30 Panasonic Corporation Object detection device and object detection method
JP6455492B2 (ja) * 2016-07-19 2019-01-23 トヨタ自動車株式会社 走行支援装置
US10740658B2 (en) * 2016-09-08 2020-08-11 Mentor Graphics Corporation Object recognition and classification using multiple sensor modalities
US10732420B2 (en) * 2016-09-20 2020-08-04 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America Head up display with symbols positioned to augment reality
US10884417B2 (en) * 2016-11-07 2021-01-05 Boston Incubator Center, LLC Navigation of mobile robots based on passenger following
KR20180069147A (ko) * 2016-12-14 2018-06-25 만도헬라일렉트로닉스(주) 차량의 보행자 경고장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020001398A1 (en) * 2000-06-28 2002-01-03 Matsushita Electric Industrial Co., Ltd. Method and apparatus for object recognition
JP2006099611A (ja) * 2004-09-30 2006-04-13 Nissan Motor Co Ltd 人物検出装置及び方法
JP2008065757A (ja) * 2006-09-11 2008-03-21 Kawasaki Heavy Ind Ltd 運転支援装置
JP2014135039A (ja) * 2012-12-13 2014-07-24 Denso Corp 移動体検出装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108172025A (zh) * 2018-01-30 2018-06-15 东软集团股份有限公司 一种辅助驾驶方法、装置、车载终端及车辆
CN108172025B (zh) * 2018-01-30 2021-03-30 东软睿驰汽车技术（上海）有限公司 一种辅助驾驶方法、装置、车载终端及车辆
CN115205904A (zh) * 2022-07-27 2022-10-18 南京华康智能科技有限公司 一种提高密集行人检测的方法

Also Published As

Publication number Publication date
US20180144207A1 (en) 2018-05-24
JP2016031564A (ja) 2016-03-07
JP6256239B2 (ja) 2018-01-10
US10354160B2 (en) 2019-07-16

Similar Documents

Publication Publication Date Title
JP6256239B2 (ja) 歩行者検出装置および歩行者検出方法
US11348342B2 (en) Method and device in a motor vehicle for improved data fusion in an environment detection
CN109117825B (zh) 车道线处理方法和装置
CN107490794B (zh) 物体辨识处理装置、物体辨识处理方法及自动驾驶系统
JP6808586B2 (ja) 車両用外界認識装置
JP5729398B2 (ja) 車載物標検出装置
EP2657644B1 (en) Positioning apparatus and positioning method
CN114080626B (zh) 确定第一图像区域在对应图像中的位置的方法、执行该方法的SoC和控制设备和系统以及计算机程序产品
JP2016031564A5 (ja)
Park et al. Performance indicator survey for object detection
CN110889974A (zh) 一种智能泊车车位识别方法及装置、汽车
WO2019208271A1 (ja) 電子制御装置、演算方法
CN116030270A (zh) 目标检测方法、系统、电子设备及计算机可读存储介质
JP2006090957A (ja) 移動体の周囲物体検出装置及び移動体の周囲物体検出方法
CN108710828B (zh) 识别目标物的方法、装置和存储介质以及车辆
WO2022190169A1 (ja) データ処理装置、データ処理方法及びデータ処理プログラム
CN116935081A (zh) 一种基于深度的多相机鸟瞰图视角目标检测方法及装置
CN120612345A (zh) 一种目标融合跟踪方法及其装置、计算机程序产品
JP2020052977A (ja) 情報処理装置、情報処理方法、およびプログラム
JP2010250651A (ja) 車両検出装置
CN117079265B (zh) 单目3d目标检测的开放集领域泛化的方法、装置及设备
CN113033247A (zh) 一种图像识别方法及装置、计算机可读存储介质
US11922670B2 (en) System for extracting outline of static object and method thereof
US11308637B2 (en) Distance detection method, distance detection system and computer program product
CN115494513B (zh) 一种物体漏检的识别方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15824230

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15327607

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15824230

Country of ref document: EP

Kind code of ref document: A1