WO2018180501A1 - 対象物判定装置および対象物判定プログラム - Google Patents

対象物判定装置および対象物判定プログラム Download PDF

Info

Publication number
WO2018180501A1
WO2018180501A1 PCT/JP2018/010039 JP2018010039W WO2018180501A1 WO 2018180501 A1 WO2018180501 A1 WO 2018180501A1 JP 2018010039 W JP2018010039 W JP 2018010039W WO 2018180501 A1 WO2018180501 A1 WO 2018180501A1
Authority
WO
WIPO (PCT)
Prior art keywords
distance measurement
image recognition
likelihood
image
distance
Prior art date
Application number
PCT/JP2018/010039
Other languages
English (en)
French (fr)
Inventor
和宏 久野
Original Assignee
株式会社エクォス・リサーチ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社エクォス・リサーチ filed Critical 株式会社エクォス・リサーチ
Priority to US16/499,614 priority Critical patent/US20200110963A1/en
Priority to EP18777146.4A priority patent/EP3605458A4/en
Priority to CN201880022195.6A priority patent/CN110546683A/zh
Publication of WO2018180501A1 publication Critical patent/WO2018180501A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level

Definitions

  • the present invention relates to an object determination apparatus and an object determination program for determining an object by fusing an image recognition result and distance measurement data.
  • a vehicle-mounted object detection device 100 of Patent Document 1 includes a measurement device 1 that measures a relative distance between the vehicle and the object, and an image capturing device 2 that captures a front image of the vehicle, and the distance between the object and the front An image processing area is set in the front image based on the image, and a processing candidate is selected from the object by executing image processing on the image in the image processing area.
  • an image processing area is set in the front image based on the distance of the processing candidate and the front image, and the image processing is executed on the image in the image processing area, so that the processing candidate is set in advance. It is determined whether it is a three-dimensional object. According to the vehicle-mounted object detection device 100, it is possible to reduce false detection of non-three-dimensional objects while reducing the load of image processing.
  • Patent Document 1 Although distance data to the object is used for the determination of the object, the distance data is only used for setting an area for image processing. It is done by processing. Therefore, there is still a problem that the image processing load is still large and the processing time remains long.
  • the present invention has been made to solve the above-described problems, and performs the determination at high speed and with high accuracy by determining an object by fusing the result of image recognition and distance measurement data. It is an object of the present invention to provide an object determination apparatus and an object determination program that can perform the above.
  • the object determination apparatus includes an image capturing unit that captures an image, a distance measuring unit that measures a distance to the object, and the object in the image captured by the image capturing unit.
  • Image recognition means for performing image recognition on an object
  • image recognition correspondence means for associating the result of image recognition by the image recognition means with distance measurement data measured by the distance measurement means, and under predetermined conditions
  • Grouping means for grouping a plurality of the distance measurement data as one object, distance measurement data constituting one object grouped by the grouping means, or the image recognition to the distance measurement data
  • likelihood calculating means for calculating the likelihood of the predetermined object, and the distance measurement data constituting one object grouped by the grouping means
  • a match rate calculating means for calculating a match rate of the predetermined object based on an image recognition result associated with the image recognition correspondence means, a match rate calculated by the match rate calculating means, and the likelihood Determination means for determining whether one target object grouped by the group
  • the object determination program of the present invention includes an image acquisition function for acquiring an image, a distance measurement data acquisition function for acquiring distance measurement data up to the object, and the object in the image acquired by the image acquisition function.
  • An image recognition function for executing image recognition, an image recognition association function for associating a result of image recognition by the image recognition function with the distance measurement data acquired by the distance measurement data acquisition function, and a predetermined condition
  • a grouping function for grouping a plurality of the distance measurement data as one object, distance measurement data constituting one object grouped by the grouping function, or the image recognition to the distance measurement data Based on the result of image recognition associated by the association function, a likelihood calculation function for calculating the likelihood of the predetermined object, and one pair grouped by the grouping function
  • a match rate calculation function for calculating a match rate of the predetermined object based on a result of image recognition associated with distance measurement data constituting an object by the image recognition association function, and a match rate calculation function
  • a determination function for determining whether one target object grouped by the
  • the distance measurement data is grouped while associating (merging) the image recognition results with the distance measurement data. Based on the grouped distance measurement data and the image recognition result associated with the distance measurement data, the likelihood when the object is a predetermined object and the match rate between the object and the predetermined object And whether or not the object is a predetermined object is determined based on the likelihood and the match rate. As described above, since the object is determined by fusing the image recognition result and the distance measurement data, the determination can be performed at high speed and with high accuracy.
  • the predetermined object to be determined by the determining means is a person
  • the grouped objects are distinguished from the predetermined object (person) and the other based on the determination result by the determining means. Then, by recognizing the position of the object by the position recognizing means, it is possible to distinguish between a person and an object and recognize the position.
  • FIG. It is a schematic diagram which shows the external appearance of a target object determination apparatus. It is a block diagram which shows the electrical structure of a target object determination apparatus.
  • (A) is a diagram schematically showing an image recognition result table
  • (b) is a diagram schematically showing a distance measurement result table
  • (c) is a diagram schematically showing an object table.
  • FIG. It is a flowchart of a main process. It is a flowchart of an object recognition process.
  • (A) is the figure which showed typically the baseline in the image acquired from the camera
  • (b) is the figure which showed typically the scanning by the detection window in a baseline. It is the figure which showed typically the image acquired from the camera, and the image recognition score.
  • (A) is the figure which showed typically the positional relationship of the foot base line in a base line
  • (b) is the figure which showed typically grouping of the ranging value.
  • (A) is a schematic diagram showing the distance between the endpoints of the object and the integral distance
  • (b) is a diagram showing the likelihood distribution with respect to the distance between the endpoints of the object
  • (c) is the object It is the figure which showed the likelihood distribution with respect to the integral distance. It is the figure which showed typically the image recognition score in the ranging value of an object.
  • FIG. 1 is a schematic diagram showing an external appearance of the object determination device 1.
  • the object determination device 1 combines the image recognition result of the image of the object acquired by the camera 3 with the distance measurement value (distance data) of the object acquired from the distance measuring sensor 4 so that the object is detected.
  • the object determination device 1 includes a control unit 2 that controls each unit of the object determination device 1, a camera 3, a distance measuring sensor 4, and a display unit 5.
  • the camera 3 is a device for acquiring an image of the surrounding environment in the object determination device 1.
  • the viewing angle of the camera 3 is 120 degrees, and the size of the image acquired from the camera 3 is 1280 pixels (px) in the horizontal direction and 720 pixels in the vertical direction (see FIG. 7).
  • An image acquired from the camera 3 is transmitted to the control unit 2.
  • the distance measuring sensor 4 is disposed in the lower part of the camera 3 and is present in the surrounding environment of the object determination apparatus 1 by irradiating laser light in all directions (360 degrees) and measuring the scattered light. It is a device for detecting the distance to an object.
  • the distance measuring sensor 4 transmits the distance to the object detected at each angle of 0.25 degrees to the control unit 2 in association with the angle.
  • the distance measuring sensor 4 can detect an object up to 100 meters away, and if there is no object in the surrounding environment, the value 100 m that is the distance detectable by the distance measuring sensor 4 is transmitted to the control unit 2. To do.
  • the distance and angle from the object acquired from the distance measuring sensor 4 will be referred to as “distance value” (distance data).
  • the display unit 5 is a device for displaying a determination result or the like of whether or not a person and an instruction from the user to the object determination device 1, and an LCD 11 for displaying a recognition result or the like of a person or an object.
  • the touch panel 12 is used to input an instruction from the user to the control unit 2 (see FIG. 2), and is provided on the upper part of the object determination device 1.
  • FIG. 2 is a block diagram showing an electrical configuration of the object determination device 1.
  • the control unit 2 includes a CPU 6, a hard disk drive (HDD) 7, and a RAM 7, which are connected to the input / output port 10 via the bus line 9.
  • a camera 3, a distance measuring sensor 4, and a display unit 5 are connected to the input / output port 10.
  • the CPU 6 is an arithmetic unit that controls each unit connected by the bus line 9.
  • the HDD 7 is a rewritable nonvolatile storage device that stores programs executed by the CPU 6, fixed value data, and the like, and stores a control program 6a. When the control program 6a is executed by the CPU 6, the main process of FIG. 4 is executed.
  • the RAM 8 is a memory for the CPU 6 to store various work data, flags, etc. in a rewritable manner when the control program 7a is executed.
  • the RAM 8 is an image recognition result table 8a, a distance measurement result table 8b, an object table 8c, a measurement table.
  • a distance likelihood memory 8d, a match rate memory 8e, and an image recognition likelihood memory 8f are provided.
  • the image recognition result table 8a is a data table in which image recognition scores calculated for each horizontal position and each baseline (see FIG. 6A) from an image acquired from the camera 3 are stored. The image recognition result table 8a will be described with reference to FIG.
  • FIG. 3A is a diagram schematically showing the image recognition result table 8a.
  • the image recognition result table 8a includes horizontal positions L1 to L1280 (see FIG. 7) obtained by dividing the horizontal direction in the image acquired from the camera 3 into pixels, and bases set up and down in the horizontal direction of the image.
  • a score (hereinafter abbreviated as “image recognition score”) indicating the character of the person as a result of the image recognition processing is stored.
  • “Baseline 1” in FIG. 3A corresponds to the baseline BL1 in FIG. 7
  • “Baseline 2” corresponds to the baseline BL2
  • “Baseline 16” corresponds to the baseline BL16.
  • horizontal positions L1 to L1280 are not distinguished, they are abbreviated as “horizontal position Ln”, and when the base lines BL1 to BL16 are not distinguished, they are abbreviated as “baseline BLm”.
  • the image recognition scores stored in the image recognition result table 8a are “3”, “2”, “1”, and “0” in descending order of character. As will be described later with reference to FIG. 7, “3” is stored in the image recognition result table 8 a for the horizontal position Ln that is determined to be high in person as a result of image recognition for each baseline BLm in the image. “2” is stored for the horizontal position Ln determined to have a medium likelihood, and “1” is stored for the horizontal position Ln determined to have a low likelihood of person. Further, “0” is stored for the horizontal position Ln determined not to be a person.
  • the image recognition score is represented by four levels of 0 to 3, but is not limited to this, and may be represented by four or more levels, or may be represented by four or less levels.
  • the distance measurement result table 8b is a data table in which a distance measurement value acquired from the distance measurement sensor 4 and an image recognition score corresponding to the distance measurement value are stored.
  • the distance measurement result table 8b will be described with reference to FIG.
  • FIG. 3B is a diagram schematically showing the distance measurement result table 8b.
  • the distance measurement result table 8b is stored with the distance measurement value memory 8b1 and the image recognition result memory 8b2 associated with each other.
  • the distance value memory 8b1 is a memory in which the distance value acquired from the distance sensor 4 is stored. As shown in FIG. 3B, the distance value memory 8b1 stores distance values represented in the form of (angle, distance).
  • image recognition scores at the base line BLm and the horizontal position Ln of the image recognition result table 8a that are approximate to the distance measurement value in the distance measurement value memory 8b1 are acquired and stored.
  • the object table 8c includes a distance measurement value and an image recognition score for each object grouped based on the distance measurement value in the distance measurement value memory 8b1 of the distance measurement result table 8b, and recognition of whether the object is a person or an object ( Judgment) is a data table in which results are stored.
  • Judgment is a data table in which results are stored.
  • FIG. 3C is a diagram schematically showing the object table 8c.
  • the object table 8c stores a distance value memory 8c1, an image recognition result memory 8c2, and a recognition result memory 8c3 in association with each other for each grouped object.
  • the distance measurement value memory 8c1 is a memory in which the distance measurement values constituting the object acquired from the distance measurement result table 8b are stored.
  • the image recognition result memory 8c2 is a memory in which an image recognition score corresponding to the distance value in the distance value memory 8c1 acquired from the distance measurement result table 8b is stored.
  • the recognition result memory 8c3 is a memory in which a recognition result (person or object) for the object is stored.
  • the distance measurement likelihood memory 8d is a memory in which a distance measurement likelihood ⁇ , which is calculated from the distance between distance measurement values constituting the object and indicates the character of the object according to the shape of the object, is stored.
  • the match rate memory 8e stores a match rate ⁇ indicating the person-likeness of the object, which is calculated from the ratio of the range-finding values equal to or higher than the image recognition score “1” determined as a person in the range-finding values constituting the object. Memory.
  • the image recognition likelihood memory 8f is calculated from the average value of the image recognition scores in the distance measurement values, in which the image recognition score determined to be a person among the distance measurement values constituting the object is “1” or more. This is a memory in which an image recognition likelihood (image likelihood) ⁇ indicating the character of an object is stored.
  • FIG. 4 is a flowchart of the main process.
  • an image is acquired from the camera 3 (S1).
  • image recognition is performed for each baseline BLm on the image acquired from the camera 3, and the recognition result is stored in the image recognition result table 8a (S2).
  • S2 will be described with reference to FIGS.
  • FIG. 6A is a diagram schematically illustrating the baseline BLm in an image acquired from the camera 3
  • FIG. 6B is a diagram schematically illustrating scanning of the detection window W in the baseline BLm. It is a figure.
  • FIG. 7 is a diagram schematically showing an image acquired from the camera 3 and an image recognition score.
  • baselines BL1 to BL16 are first set for the image acquired from the camera 3.
  • the baseline BLm is a reference line representing a reference position in the image used for detecting the position of the object from the image and calculating the image recognition score.
  • each of the baselines BLm is provided in the lower part of the image, and represents a horizontal reference line (hereinafter referred to as “foot reference line”) that represents a reference position between the camera 3 and the person and object in the image.
  • a horizontal reference line (hereinafter referred to as a “head reference line”) that is provided at the top of the image and represents the position of the top of the person located at the foot reference line.
  • Consists of lines A set of the lowermost foot reference line and the uppermost head reference line located on the outermost side of the image is set as a baseline BL1, and the lowermost foot reference line and the uppermost head inside the baseline BL1.
  • a set of reference lines is set as a baseline BL2.
  • the base lines BL3, BL4,..., And the base line BL16 are used (the base line BL5 and the subsequent lines are not shown).
  • the position of the base line of the base line BL1 is provided at a position 10 m away from the camera 3, and the position of the base line of the base line BL2 is provided at a position 5 m away from the base line BL1.
  • the base lines BL3 to BL16 are provided at positions 5 m away from the base line BL1 from the base lines BL2 to BL15.
  • the position of the head reference line of the baseline BLm is provided at the height of the foot reference line.
  • the baseline is composed of 16 sets of the baseline BLm, it is not necessarily limited to this, and may be composed of 16 sets or more according to the processing speed of the object determination device 1 or the like. It may be configured with 16 sets or less.
  • the foot reference line is provided at a position of every 5 m in the image, but may be every 5 m or more, or every 5 m or less.
  • the head reference line is configured to be provided at a position representing a position 1.8 m in height from the corresponding foot reference line, but may be 1.8 m or more, or 1.8 m or less.
  • the process of S2 is a detection in which the distance between the foot reference line and the head reference line of each baseline BLm is the height, and a certain distance (eg, 0.6 m) is the width between the reference lines of the baseline BLm.
  • Each window W is created.
  • Each detection window W is scanned in the horizontal direction along the base line BLm (FIG. 6B), and an image recognition process is performed on the image in the detection window W.
  • the image recognition score determined for each pixel in the horizontal direction of the image determined based on the result of the image recognition process is stored in the corresponding memory area of the image recognition result table 8a.
  • the image description processing is performed by collating the feature description obtained from the detection window W such as CoHOG or MRCoHOG with the learning data stored in the HDD 7 in advance. Calculating the recognition score.
  • the image recognition score stored in the image recognition result table 8a will be described with reference to FIG.
  • the image recognition score is calculated for each horizontal position Ln, which is a position for each pixel in the horizontal direction in the image.
  • the horizontal position Ln at which the image recognition score is determined to be “3” is represented by a horizontal mesh line
  • the horizontal position Ln at which the image recognition score is determined to be “2” is represented by a vertical mesh line.
  • the horizontal position Ln at which the image recognition score is determined to be “1” is represented by dots.
  • no horizontal line or dot is added to the horizontal position Ln where the image recognition score that is not a person is determined to be “0”.
  • FIG. 7 shows the width of the horizontal position Ln in an enlarged manner. However, since the width of the horizontal position Ln is actually 1 pixel, the image includes 1,280 horizontal positions L1 to L1280. There is a horizontal position.
  • the image recognition score having a high character is determined to be “3” or “2”.
  • the image recognition score is determined to be “1” for the horizontal position Ln that has few elements that are characteristic of a person, such as a part of a hand.
  • the image recognition score is determined to be “0”.
  • the image recognition process is performed on the image in the detection window W while scanning the detection window W set for each preset baseline BLm in the horizontal direction, and the image recognition score for each horizontal position Ln obtained is obtained. Is stored in the image recognition result table 8a. Therefore, the image recognition score can be acquired without performing complicated processing such as performing image recognition while changing the size of the detection window W according to the size of the person or object to be detected. The processing load on the apparatus 1 can be reduced. In addition, since the head base line of the baseline BLm is set based on the position of the top of the person positioned at the corresponding foot reference line, unnecessary image recognition processing for a region higher than the top of the person is prevented. be able to.
  • a distance value is acquired from the distance sensor 4 and stored in the distance value memory 8b1 of the distance measurement result table 8b (S3).
  • an image recognition score that approximates the distance value stored in the distance value memory 8b1 of the distance measurement result table 8b is acquired from the image recognition result table 8a, and the image recognition result of the distance measurement result table 8b is obtained.
  • the distance values in the distance value memory 8b1 in the distance measurement result table 8b are grouped and divided into objects, and the values in the distance value memory 8b1 and the image recognition result memory 8b2 in the distance measurement result table 8b for each object. Are stored in the object table 8c (S5).
  • the process of S4 acquires a baseline BLm that approximates the distance in the distance measurement value in the distance measurement value memory 8b1 of the distance measurement result table 8b.
  • the acquisition process of the baseline BLm will be described with reference to FIG.
  • FIG. 8 (a) is a diagram schematically showing the positional relationship of the foot reference line in the baseline BLm.
  • a black square in the figure represents the distance measurement value MP stored in the distance measurement value memory 8b1 of the distance measurement result table 8b.
  • the foot base line of the baseline BLm is provided at a certain distance from the camera 3 in the image.
  • the foot reference line of the base line BL1 is provided at a position 10 m from the camera 3
  • the foot reference line of the base line BL 2 is provided at a position 15 m from the camera 3.
  • the image recognition score stored in the image recognition result table 8a is determined based on the position of the baseline BLm, it indicates the character of the person with respect to the objects existing before and after the baseline BLm.
  • regions A1 to A16 based on the baseline BLm are provided. Specifically, an area from the camera 3 to the baseline BL1 is an area A1 based on the baseline BL1, an area of the baselines BL1 to BL3 is an area A2 based on the baseline BL2, and an area of the baselines BL14 to BL16 Is a region A15 based on the baseline BL15, and a region after the baseline BL15 is a region A16 based on the baseline BL16 (the region A5 and thereafter are not shown).
  • the areas A1 to A16 corresponding to the distance in the distance value stored in the distance value memory 8b1 of the distance measurement result table 8b are acquired, and the baseline BLm corresponding to the areas A1 to A16 is acquired.
  • the image recognition result table 8a is searched for the acquired baseline BLm and the horizontal position Ln that is closest to the angle in the distance value of the distance value memory 8b1 acquired earlier, and the matching image recognition score is obtained. And stored in the image recognition result memory 8b2 of the distance measurement result table 8b.
  • the same area is included in the two areas A2 to A16 (for example, the areas of the base lines BL2 to BL3 in the area A2 and the base in the area A3).
  • Line BL2-BL3 area Accordingly, depending on the distance in the distance value stored in the distance value memory 8b1, the two areas A2 to A16 correspond to each other, so that two image recognition scores may be acquired from the image recognition result table 8a.
  • the one with the higher image recognition score is stored in the image recognition result memory 8b2 of the distance measurement result table 8b.
  • the image recognition score in the baseline BLm determined to be more human at the same horizontal position Ln can be stored in the image recognition result memory 8b2 of the distance measurement result table 8b.
  • the distance values stored in the distance value memory 8b1 of the distance measurement result table 8b are grouped as an object which is a unit of recognition processing of a person or an object, and the distance value and image for each object are grouped.
  • the recognition result is stored in the object table 8c (S5). The grouping process will be described with reference to FIG.
  • FIG. 8B is a diagram schematically showing grouping of distance measurement values.
  • the distance between the adjacent distance measurement values is close in the series of distance measurement values detected by the corresponding distance measurement sensor 4. Therefore, if the distance difference between adjacent distance measurement values is 0.1 m or less, it is determined that they are the same object, and the adjacent distance measurement values are grouped as objects.
  • ten distance measurement values in which the difference between adjacent distance measurement values is 0.1 m or less are detected continuously, such as when no object is present, every ten distance measurement values are detected. Group as separate objects.
  • a series of distance values whose distance difference between adjacent distance values is within 0.1 m are grouped into objects J2, J4, J5, J7, J9, and J16, respectively.
  • the distance measurement values in which the distance measurement values for which there is no target are continuous are grouped as objects J1, J3, J6, J8, J10 to J15, and J17, respectively.
  • the distance measurement values in the objects J10 to J15 ten or more distance measurement values without a person or the like continue, so the distance measurement values are grouped into ten objects to be objects J10 to J15.
  • the distance difference between adjacent distance measurement values grouped as the same object is 0.1 m, it is not necessarily limited to this, and may be 0.1 m or more, or 0.1 m or less. But it ’s okay.
  • the 10 distance measurement values are grouped as separate objects.
  • the number of continuous ranging values may be 10 or more, or 10 or less.
  • the values of the distance measurement value memory 8b1 of the distance measurement result table 8b and the values of the image recognition result memory 8b2 constituting the grouped objects are stored in the object table 8c for each object.
  • FIG. 9A is a schematic diagram showing the distance d1 between the end points of the object and the integration distance d2
  • FIG. 9B is a diagram showing the likelihood distribution with respect to the distance d1 between the end points of the object.
  • FIG. 9C is a diagram showing the likelihood distribution with respect to the integral distance d2 of the object.
  • the likelihood ⁇ 1 corresponding to the calculated end point distance d1 is obtained from the likelihood distribution with respect to the end point distance d1 of the object in FIG. 9B, and the likelihood for the integrated distance d2 of the object in FIG. 9C is obtained.
  • a likelihood ⁇ 2 corresponding to the calculated integration distance d2 is acquired from the degree distribution.
  • the ranging likelihood ⁇ is calculated by the following formula 1.
  • the distance measurement likelihood ⁇ is large if the distance d1 between the end points and the integration distance d2 are in a fixed relationship. Then, it can be determined that the higher the value of the distance measurement likelihood ⁇ , the higher the character of the object. This is because the body of a person is generally an ellipse, and the relationship between the long diameter of the ellipse (that is, the distance between the end points d1) and the circumference of the ellipse (that is, the integration distance d2) and the character of the person is determined. Because.
  • a likelihood distribution indicating the person-likeness with respect to the end-to-end distance d1 and a likelihood distribution indicating the person-like with respect to the integration distance d2 are set in advance, and the likelihood distribution and the end-to-endpoint distance d1 calculated from the object and The likelihoods ⁇ 1 and ⁇ 2 are obtained from the integration distance d2 and multiplied by them.
  • the distance measurement likelihood ⁇ indicating the character of the object according to the shape of the object is calculated from the distance measurement values constituting the object.
  • the distance measurement likelihood ⁇ calculated in this way is stored in the distance measurement likelihood memory 8d.
  • the match rate ⁇ for the i-th object stored in the object table 8c is calculated and stored in the match rate memory 8e (S8).
  • the match rate ⁇ is a value representing a ratio of distance measurement values having an image recognition score of “1” or more in distance measurement values constituting the object.
  • the image recognition score of the distance measurement values constituting the object that is, the number of distance measurement values whose value in the image recognition result memory 8c2 is “1” or more is Nh, and the value in the image recognition result memory 8c2 is “0”.
  • the match rate ⁇ is calculated by Equation 2.
  • FIG. 10 is a diagram schematically showing the image recognition score in the distance measurement value of the object J7 (FIG. 8B).
  • a distance measurement value with an image recognition score of “0” is represented by a triangle
  • a distance measurement value with an image recognition score of “1” or greater is represented by a circle.
  • the object J7 has an image recognition score of “0” in both end portions and some distance measurement values, and the other distance measurement values have an image recognition score of “1” or more.
  • the number of distance measurement values with an image recognition score of “0” is 6, and the number of distance measurement values with an image recognition score of “1” or more is 22. Therefore, the match rate for the object J7 is “0.785”.
  • an object having a high match rate ⁇ has a large number of distance measurement values having an image recognition score of “1” or more, and therefore it can be determined that there is a high possibility that the object is a person.
  • the image recognition likelihood ⁇ in the i-th object stored in the object table 8c is calculated and stored in the image recognition likelihood memory 8f (S9).
  • the image recognition likelihood ⁇ is an average value of the image recognition scores in the distance measurement values of which the value of the image recognition result memory 8c2 is “1” or more among the distance measurement values constituting the object.
  • the number of distance measurement values whose value in the image recognition result memory 8c2 is “1” or more is Nh, and the value of the distance measurement value whose value in the image recognition result memory 8c2 is “1” or more is the value in the image recognition result memory 8c2.
  • the image recognition likelihood ⁇ is calculated by Equation 3.
  • an object having a high image recognition likelihood ⁇ has many ranging values having an image recognition score of “2” or “3”, and therefore, it can be determined that the object is an object that looks like a person.
  • the object recognition process is for recognizing (determining) whether the corresponding object is a person or an object based on the image recognition likelihood ⁇ , the ranging likelihood ⁇ , and the match rate ⁇ calculated in the processes of S7 to S9. It is processing.
  • FIG. 5 is a flowchart showing the object recognition process.
  • the object recognition processing first, it is confirmed whether the value of the image recognition likelihood memory 8f, that is, the image recognition likelihood ⁇ is larger than 2 (S20).
  • S20 when the value of the image recognition likelihood memory 8f is larger than 2 (S20: Yes), a multiplication value H of the value of the distance measurement likelihood memory 8d and the value of the match rate memory 8e is calculated (S21). ). That is, the multiplication value H is calculated by Equation 4 from the distance measurement likelihood ⁇ and the match rate ⁇ .
  • the i-th object for which the value of the image recognition likelihood memory 8f is determined to be greater than 2 is an object that has a high image recognition likelihood ⁇ and is likely to be a person in the image recognition process. To be judged. Therefore, in the present embodiment, a person or an object is recognized based on the multiplication value H of the distance measurement likelihood ⁇ and the match rate ⁇ . As a result, it is possible to recognize whether the person or the object takes into account the object recognition score by the match rate ⁇ while being based on the object shape by the distance measurement likelihood ⁇ .
  • the value compared with the multiplication value H was set to 0.8, it is not necessarily restricted to this, 0.8 or more may be sufficient and 0.8 or less may be sufficient.
  • the i-th object having a value of 2 or less in the image recognition likelihood memory 8f is determined to be an object having a low image recognition likelihood ⁇ and a low possibility of being a person in the image recognition process. .
  • a person or an object is recognized by a multiplication value H of the image recognition likelihood ⁇ , the ranging likelihood ⁇ , and the match rate ⁇ .
  • the multiplication value H includes the image recognition likelihood ⁇ in addition to the multiplication value H obtained in the process of S21, so that it is possible to recognize a person or an object with higher accuracy.
  • the value compared with the multiplication value H was 1.8, it is not necessarily restricted to this, 1.8 or more may be sufficient and 1.8 or less may be sufficient.
  • the recognition result by the processing of S23, S24, S27, and S28 is stored in the recognition result memory 8c3 of the object table 8c (S29).
  • the object recognition process is terminated, and the process returns to the main process of FIG.
  • the target object determination apparatus 1 recognizes whether the detected target object is a person or an object based on the value stored in the recognition result memory 8c3 of the object table 8c. That is, the position of a certain target object is searched with reference to the value in the distance measurement value memory 8c1 of the object table 8c, and the value of the recognition result memory 8c3 of the corresponding object is obtained. Or object. Therefore, it is possible to recognize whether the object is a person or an object and recognize the position of the object.
  • the image recognition score calculated for each baseline BLm and each horizontal position Ln and the distance measuring sensor 4 for the image acquired from the camera 3. are stored in the distance measurement result table 8b in association with the distance measurement values acquired from the above.
  • An object is generated by grouping the distance values stored in the distance measurement result table 8b, and a distance value and an image recognition score corresponding to the object are stored in the object table 8c.
  • the distance measurement likelihood ⁇ , the image recognition likelihood ⁇ , and the match rate ⁇ calculated from the values in the object table 8c it is recognized whether the object is a person or an object.
  • the image recognition score for the image acquired from the camera 3 and the distance value acquired from the distance sensor 4 which is a device different from the camera 3 are merged to recognize whether the object is a person or an object. Therefore, the recognition process can be performed at high speed and with high accuracy.
  • control program 7a is configured to be executed by the object determination apparatus 1.
  • the present invention is not necessarily limited thereto, and the control program 7a may be stored in a personal computer, a smartphone, a tablet terminal, or the like, and the control program 7a may be executed.
  • the object determination device 1 is mounted on a mobile body that autonomously travels following the user, and the recognition result of whether the object determination device 1 is a person or an object is used for calculation of the travel route of the autonomous travel. It is also good.
  • the match rate ⁇ is calculated by Equation 2 in the main process of FIG.
  • the present invention is not necessarily limited to this, and the match rate ⁇ may be either 0 or 1 depending on the number of distance measurement values whose value in the image recognition result memory 8c2 is “1” or more. For example, when the number of distance measurement values whose value in the image recognition result memory 8c2 is “1” or more occupies 70% of the distance measurement value of the object, 1 is set as the match rate ⁇ . Set to 0.
  • the likelihood ⁇ 1 and the likelihood ⁇ 2 corresponding to the distance d1 between the end points and the integration distance d2 are acquired from the likelihood distributions of FIGS. 9B and 9C. did.
  • the present invention is not necessarily limited to this, and the likelihood ⁇ 1 and the likelihood ⁇ 2 may be set to either 0 or 1 according to the values of the distance between end points d1 and the integration distance d2.
  • the distance d1 between the end points is included in the range of 0.4 m to 0.8 m
  • 1 is set to the likelihood ⁇ 1
  • 0 is set to the likelihood ⁇ 1 in the other range.
  • the likelihood ⁇ 2 is set to 1, and when it is in the other range, the likelihood ⁇ 2 is set to 0.
  • the multiplication value H of the ranging likelihood ⁇ and the match rate ⁇ or the image recognition likelihood ⁇ , the ranging likelihood ⁇ , the ranging likelihood ⁇ , and the match rate.
  • the configuration is such that a person or an object is recognized by a multiplication value H with ⁇ .
  • the present invention is not necessarily limited to this, and a person or an object may be recognized by a multiplication value H of the image recognition likelihood ⁇ and the match rate ⁇ . In that case, the value of the multiplication value H for recognizing a person or an object may be set as appropriate.
  • the multiplication value H may be calculated after multiplying each of the image recognition likelihood ⁇ and the ranging likelihood ⁇ by a weighting factor.
  • the weighting coefficient may be a fixed value, or the weighting coefficient values of the image recognition likelihood ⁇ and the ranging likelihood ⁇ may be changed according to the value of the match rate ⁇ .

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Probability & Statistics with Applications (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

画像認識の結果と測距データとを融合して対象物を判定することにより、該判定を高速かつ高精度に行うことができる対象物判定装置および対象物判定プログラムを提供すること。 【課題】対象物判定装置１によれば、カメラ３で取得した画像から算出された画認スコアと、測距センサ４で取得された測距値とが対応付けられる。その測距値をグループ化してオブジェクトを生成し、そのオブジェクトの測距値および画認スコアがオブジェクトテーブル８ｃに記憶される。そして、オブジェクトテーブル８ｃの値から算出された測距尤度βと画像認識尤度αとマッチ率γとに基づいて、オブジェクトが人物か物体かが認識される。よって、カメラ３から取得した画像の画認スコアと測距センサ４から取得された測距値とを融合して、オブジェクトが人物か物体かが認識されるので、その認識処理を高速かつ高精度に行うことができる。

Description

対象物判定装置および対象物判定プログラム
　本発明は、画像認識の結果と測距データとを融合して対象物を判定する対象物判定装置および対象物判定プログラムに関するものである。
　対象物の判定に際し、画像処理の負荷を軽減するために、対象物を撮影した画像だけでなく、対象物までの距離を加味して判定する技術が知られている。特許文献１の車載用物体検知装置１００は、自車と物体との相対距離を計測する計測装置１と、自車の前方画像を撮像する画像取込装置２とを備え、物体の距離と前方画像とに基づいて前方画像内に画像処理領域を設定し、該画像処理領域内の画像に対して画像処理を実行することによって物体から処理候補を選定する。そして、その処理候補の距離と前方画像とに基づいて前方画像内に画像処理領域を設定し、該画像処理領域の画像に対して画像処理を実行することによって、処理候補が予め設定された所定の立体物であるかを判定する。この車載用物体検知装置１００によれば、画像処理の負荷を軽減しつつ非立体物に対する誤検知を低減できる。
特開２００９－２７６２００号公報
　しかしながら、上記特許文献１では、対象物の判定に、該対象物までの距離データを使用するものの、その距離データは画像処理の領域設定に使用されるのみであり、対象物の判定はすべて画像処理によって行われる。よって、依然として画像処理の負荷は大きく、その処理時間も長いままであるという問題点があった。
　本発明は、上述した問題点を解決するためになされたものであり、画像認識の結果と測距データとを融合して対象物を判定することにより、該判定を高速かつ高精度に行うことができる対象物判定装置および対象物判定プログラムを提供することを目的としている。
　この目的を達成するために本発明の対象物判定装置は、画像を撮影する撮影手段と、対象物までの距離を測距する測距手段と、前記撮影手段により撮影された画像中の前記対象物について画像認識を実行する画像認識手段と、その画像認識手段による画像認識の結果を、前記測距手段により測距された測距データに対応付けする画認対応付手段と、所定条件下にある複数の前記測距データを１の対象物としてグループ化するグループ化手段と、そのグループ化手段によりグループ化された１の対象物を構成する測距データまたは、その測距データに前記画認対応付手段により対応付けされた画像認識の結果に基づいて、前記所定物の尤度を算出する尤度算出手段と、前記グループ化手段によりグループ化された１の対象物を構成する測距データに前記画認対応付手段により対応付けされた画像認識の結果に基づいて前記所定物のマッチ率を算出するマッチ率算出手段と、そのマッチ率算出手段により算出されたマッチ率と、前記尤度算出手段により算出された尤度とに基づいて、前記グループ化手段によりグループ化された１の対象物が前記所定物であるかを判定する判定手段とを備えている。
　また本発明の対象物判定プログラムは、画像を取得する画像取得機能と、対象物までの測距データを取得する測距データ取得機能と、前記画像取得機能により取得された画像中の前記対象物について画像認識を実行する画像認識機能と、その画像認識機能による画像認識の結果を、前記測距データ取得機能により取得された測距データに対応付けする画認対応付機能と、所定条件下にある複数の前記測距データを１の対象物としてグループ化するグループ化機能と、そのグループ化機能によりグループ化された１の対象物を構成する測距データまたは、その測距データに前記画認対応付機能により対応付けされた画像認識の結果に基づいて、前記所定物の尤度を算出する尤度算出機能と、前記グループ化機能によりグループ化された１の対象物を構成する測距データに前記画認対応付機能により対応付けされた画像認識の結果に基づいて前記所定物のマッチ率を算出するマッチ率算出機能と、そのマッチ率算出機能により算出されたマッチ率と、前記尤度算出機能により算出された尤度とに基づいて、前記グループ化機能によりグループ化された１の対象物が前記所定物であるかを判定する判定機能と、をコンピュータに実現させるものである。
　本発明の対象物判定装置および対象物判定プログラムによれば、測距データに画像認識の結果を対応付ける（融合する）と共に、測距データをグループ化する。このグループ化された測距データと、その測距データに対応付けされた画像認識の結果とに基づいて、対象物が所定物である場合の尤度と、対象物と所定物とのマッチ率とを算出し、該尤度とマッチ率とに基づいて、対象物が所定物であるかを判定する。このように、画像認識の結果と測距データとを融合して対象物を判定するので、該判定を高速かつ高精度に行うことができるという効果がある。
　なお、判定手段による判定対象となる所定物を人物とすると共に、グループ化された対象物を判定手段による判定結果に基づいて所定物（人物）とそれ以外とに区別する。そして、位置認識手段により対象物の位置を認識することにより、人とモノとを区別して、その位置を認識することができる。
対象物判定装置の外観を示す模式図である。 対象物判定装置の電気的構成を示すブロック図である。 （ａ）は、画像認識結果テーブルを模式的に表した図であり、（ｂ）は、測距結果テーブルを模式的に表した図であり、（ｃ）は、オブジェクトテーブルを模式的に表した図である。 メイン処理のフローチャートである。 オブジェクト認識処理のフローチャートである。 （ａ）は、カメラから取得された画像における、ベースラインを模式的に示した図であり、（ｂ）は、ベースラインにおける検出窓による走査を模式的に示した図である。 カメラから取得された画像と、画認スコアとを模式的に示した図である。 （ａ）は、ベースラインにおける足元基準線の位置関係を模式的に示した図であり、（ｂ）は、測距値のグループ化を模式的に示した図である。 （ａ）は、オブジェクトの端点間距離と、積分距離とを示した模式図であり、（ｂ）は、オブジェクトの端点間距離に対する尤度分布を示した図であり、（ｃ）は、オブジェクトの積分距離に対する尤度分布を示した図である。 オブジェクトの測距値における、画認スコアを模式的に示した図である。
　以下、本発明の好ましい実施形態について、添付図面を参照して説明する。まず、図１を参照して、対象物判定装置１の概要について説明する。図１は対象物判定装置１の外観を示す模式図である。対象物判定装置１は、カメラ３で取得した対象物の画像の画像認識結果と、測距センサ４から取得された対象物の測距値（測距データ）とを融合して、対象物が、人物（所定物）か物体（人物以外）かを判定するための装置である。対象物判定装置１は、対象物判定装置１の各部を制御する制御部２と、カメラ３と、測距センサ４と、表示部５とを有する。
　カメラ３は、対象物判定装置１における周辺環境の画像を取得するための装置である。また、カメラ３の視野角は１２０度とされ、カメラ３から取得される画像の大きさは、水平方向に１２８０ピクセル（ｐｘ）、垂直方向に７２０ピクセルとされる（図７参照）。カメラ３から取得された画像が、制御部２へ送信される。
　測距センサ４は、カメラ３の下部に配設され、レーザ光を全方位（３６０度）に対して照射し、その散乱光を測定することで、対象物判定装置１における周辺環境に存在する対象物との距離を検出するための装置である。測距センサ４は、角度０．２５度毎に検出された対象物との距離を、その角度に対応付けて制御部２へ送信する。また、測距センサ４は１００ｍ先の対象物まで検出可能とされ、周辺環境に対象物が存在していない場合は、測距センサ４の検出可能距離である１００ｍの値を制御部２へ送信する。以下、測距センサ４から取得された、対象物との距離および角度のことを「測距値」（測距データ）と称す。
　表示部５は、人物かどうかの判定結果等の表示およびユーザからの対象物判定装置１への指示を入力するための装置であり、人物か物体かの認識結果等を表示するためのＬＣＤ１１と、ユーザからの指示を制御部２へ入力するタッチパネル１２とを有して構成され（図２参照）、対象物判定装置１の上部に設けられる。
　次に図２，図３を参照して、対象物判定装置１の電気的構成について説明する。図２は、対象物判定装置１の電気的構成を示すブロック図である。制御部２は、ＣＰＵ６と、ハードディスクドライブ（ＨＤＤ）７と、ＲＡＭ７とを有し、これらはバスライン９を介して入出力ポート１０にそれぞれ接続されている。入出力ポート１０には、カメラ３と、測距センサ４と、表示部５とがそれぞれ接続されている。
　ＣＰＵ６は、バスライン９により接続された各部を制御する演算装置である。ＨＤＤ７は、ＣＰＵ６により実行されるプログラムや固定値データ等を格納した書き換え可能な不揮発性の記憶装置であり、制御プログラム６ａが記憶される。ＣＰＵ６によって制御プログラム６ａが実行されると、図４のメイン処理が実行される。
　ＲＡＭ８は、ＣＰＵ６が制御プログラム７ａの実行時に各種のワークデータやフラグ等を書き換え可能に記憶するためのメモリであり、画像認識結果テーブル８ａと、測距結果テーブル８ｂと、オブジェクトテーブル８ｃと、測距尤度メモリ８ｄと、マッチ率メモリ８ｅと、画像認識尤度メモリ８ｆとがそれぞれ設けられる。画像認識結果テーブル８ａは、カメラ３から取得された画像から、水平位置毎およびベースライン（図６（ａ）参照）毎に算出された、画認スコアが記憶されるデータテーブルである。図３（ａ）を参照して、画像認識結果テーブル８ａを説明する。
　図３（ａ）は、画像認識結果テーブル８ａを模式的に表した図である。画像認識結果テーブル８ａには、カメラ３から取得された画像における水平方向を、１ピクセル毎に分割した、水平位置Ｌ１～Ｌ１２８０（図７参照）と、画像の水平方向における上下に設定されたベースラインＢＬ１～ＢＬ１６（図６（ａ）参照）とに対応した、画像認識処理の結果による人物らしさを示すスコア（以下「画認スコア」と略す）が記憶される。なお、図３（ａ）における「ベースライン１」が図７におけるベースラインＢＬ１に対応し、「ベースライン２」がベースラインＢＬ２に対応し、「ベースライン１６」がベースラインＢＬ１６に対応する。以下、水平位置Ｌ１～Ｌ１２８０を区別しない場合は「水平位置Ｌｎ」と略し、ベースラインＢＬ１～ＢＬ１６を区別しない場合は「ベースラインＢＬｍ」と略す。
　画像認識結果テーブル８ａに記憶される画認スコアは、人物らしさが高い順に「３」，「２」，「１」，「０」とされる。図７で後述するが、画像認識結果テーブル８ａには、画像におけるベースラインＢＬｍ毎の画像認識の結果、人物らしさが高いと判定された水平位置Ｌｎに対しては「３」が記憶され、人物らしさが中程度であると判定された水平位置Ｌｎに対しては「２」が記憶され、人物らしさが低いと判定された水平位置Ｌｎに対しては「１」が記憶される。また、人物ではないと判定された水平位置Ｌｎに対しては「０」が記憶される。なお、画認スコアは０～３の４段階で表される構成としたが、これに限られるものではなく、４段階以上で表されても良いし、４段階以下で表されても良い。
　図２に戻る。測距結果テーブル８ｂは、測距センサ４から取得された測距値と、その測距値に該当する画認スコアとが記憶されるデータテーブルである。図３（ｂ）を参照して、測距結果テーブル８ｂを説明する。
　図３（ｂ）は、測距結果テーブル８ｂを模式的に表した図である。測距結果テーブル８ｂは、測距値メモリ８ｂ１と、画像認識結果メモリ８ｂ２とが対応付けられて記憶される。測距値メモリ８ｂ１は、測距センサ４から取得された測距値が記憶されるメモリである。図３（ｂ）に示す通り、測距値メモリ８ｂ１には（角度，距離）の形式で表された測距値が記憶される。画像認識結果メモリ８ｂ２には、測距値メモリ８ｂ１の測距値に近似する、画像認識結果テーブル８ａのベースラインＢＬｍ及び水平位置Ｌｎにおける画認スコアが取得され、記憶される。
　図２に戻る。オブジェクトテーブル８ｃは、測距結果テーブル８ｂの測距値メモリ８ｂ１の測距値に基づいてグループ化されたオブジェクト毎の、測距値および画認スコアと、そのオブジェクトに対する人物か物体かの認識（判定）結果とが記憶されるデータテーブルである。図３（ｃ）を参照して、オブジェクトテーブル８ｃを説明する。
　図３（ｃ）は、オブジェクトテーブル８ｃを模式的に表した図である。オブジェクトテーブル８ｃは、グループ化されたオブジェクト毎に、測距値メモリ８ｃ１と、画像認識結果メモリ８ｃ２と、認識結果メモリ８ｃ３とが対応付けられて記憶される。測距値メモリ８ｃ１は、測距結果テーブル８ｂから取得された、そのオブジェクトを構成する測距値が記憶されるメモリである。画像認識結果メモリ８ｃ２は、測距結果テーブル８ｂから取得された、測距値メモリ８ｃ１の測距値に対応する画認スコアが記憶されるメモリである。認識結果メモリ８ｃ３は、オブジェクトに対する認識結果（人物または物体）が記憶されるメモリである。
　図２に戻る。測距尤度メモリ８ｄは、オブジェクトを構成する測距値間の距離から算出される、そのオブジェクトの形状による人物らしさを示す測距尤度βが記憶されるメモリである。マッチ率メモリ８ｅは、オブジェクトを構成する測距値において、人物と判定された画認スコア「１」以上の測距値の割合から算出される、そのオブジェクトの人物らしさを示すマッチ率γが記憶されるメモリである。
　画像認識尤度メモリ８ｆは、オブジェクトを構成する測距値のうち、人物と判定された画認スコアが「１」以上である、測距値における画認スコアの平均値から算出される、そのオブジェクトの人物らしさを示す画像認識尤度（画像尤度）αが記憶されるメモリである。
　次に図４～図１０を参照して、制御部２のＣＰＵ６で実行される処理について説明する。メイン処理は、対象物判定装置１の電源投入直後に実行される。
　図４は、メイン処理のフローチャートである。メイン処理はまず、カメラ３から画像を取得する（Ｓ１）。Ｓ１の処理の後、カメラ３から取得した画像に対して、ベースラインＢＬｍ毎に画像認識を行い、その認識結果を画像認識結果テーブル８ａに記憶する（Ｓ２）。Ｓ２の処理について、図６，図７を参照して説明する。
　図６（ａ）は、カメラ３から取得された画像における、ベースラインＢＬｍを模式的に示した図であり、図６（ｂ）は、ベースラインＢＬｍにおける検出窓Ｗの走査を模式的に示した図である。図７は、カメラ３から取得された画像と、画認スコアとを模式的に示した図である。Ｓ２の処理はまず、カメラ３から取得された画像に対して、ベースラインＢＬ１～ＢＬ１６を設定する。ベースラインＢＬｍとは、画像からの対象物の位置の検出および画認スコアの算出に用いられる、画像内の基準位置を表した基準線のことである。
　図６（ａ）に示す通り、ベースラインＢＬｍはそれぞれ、画像内の下部に設けられ、カメラ３と画像内の人物および物体との基準位置を表す水平方向の基準線（以下「足元基準線」と称す）と、画像の上部に設けられ、その足元基準線に位置する人物の頭頂部の位置を表す、水平方向の基準線（以下「頭部基準線」と称す）との２組の基準線で構成される。画像の最も外側に位置する、最下部の足元基準線および最上部の頭部基準線の組がベースラインＢＬ１とされ、ベースラインＢＬ１の内側における、最下部の足元基準線および最上部の頭部基準線の組がベースラインＢＬ２とされる。以下同様に、ベースラインＢＬ３，ＢＬ４，・・・，ベースラインＢＬ１６とされる（ベースラインＢＬ５以降は図示せず）。
　ベースラインＢＬ１の足元基準線の位置は、カメラ３から１０ｍ離れた位置に設けられ、ベースラインＢＬ２の足元基準線の位置は、ベースラインＢＬ１から５ｍ離れた位置に設けられる。同様に、ベースラインＢＬ３～ＢＬ１６は、ベースラインＢＬ２～ＢＬ１５からベースラインＢＬ１から５ｍ離れた位置に設けられる。ベースラインＢＬｍの頭部基準線の位置は、足元基準線の高さの位置に設けられる。
　なお、ベースラインは、ベースラインＢＬｍの１６組で構成されるとしたが、必ずしもこれに限られるものではなく、対象物判定装置１の処理速度等に応じて、１６組以上で構成されても良いし、１６組以下で構成されても良い。また、足元基準線は、画像内における５ｍ毎の位置に設けられる構成としたが、５ｍ以上毎でも良いし、５ｍ以下毎でも良い。さらに頭部基準線は、該当する足元基準線から高さ１．８ｍの位置を表す位置に設けられると構成としたが、１．８ｍ以上でも良いし、１．８ｍ以下でも良い。
　Ｓ２の処理は次に、各ベースラインＢＬｍの足元基準線と頭部基準線との距離を高さとし、そのベースラインＢＬｍの基準線間に一定距離（例えば、０．６ｍ）を幅とする検出窓Ｗをそれぞれ作成する。そして各検出窓Ｗを、ベースラインＢＬｍに沿って水平方向に走査させ（図６（ｂ））、その検出窓Ｗ内の画像に対して画像認識処理を行う。その画像認識処理の結果に基づいて判定された、画像の水平方向１ピクセル毎に画認スコアを、画像認識結果テーブル８ａの該当するメモリ領域に記憶する。なお、画像認識処理は既知の技術が適宜適用され、一例としては、検出窓Ｗから取得されたCoHOGやMRCoHOG等による特徴記述と、予めＨＤＤ７に記憶された学習データとを照合させることで、画認スコアを算出することが挙げられる。
　図７を用いて、画像認識結果テーブル８ａに記憶される画認スコアについて説明する。画認スコアは、画像における水平方向１ピクセル毎の位置である、水平位置Ｌｎ毎に算出される。なお、画認スコアが「３」と判定された水平位置Ｌｎは、横方向の網線で表され、画認スコアが「２」と判定された水平位置Ｌｎは、縦方向の網線で表され、画認スコアが「１」と判定された水平位置Ｌｎはドットで表される。一方、人物ではない画認スコアが「０」と判定された水平位置Ｌｎには、網線またはドットが付されない。また、図７は説明のため、水平位置Ｌｎの幅を拡大して表しているが、実際には水平位置Ｌｎの幅は１ピクセルであるので、画像には水平位置Ｌ１～Ｌ１２８０の１２８０個の水平位置が存在する。
　図７に示す通り、水平位置Ｌｎのうち、人物の顔等、人物の特徴とされる要素が多いものに対しては、人物らしさが高い画認スコアが「３」又は「２」と判定される。また、水平位置Ｌｎのうち、手の一部等、人物の特徴とされる要素が少ないものに対しては、画認スコアが「１」と判定される。一方、人物ではない水平位置Ｌｎには、画認スコアが「０」と判定される。
　このように、予め設定されたベースラインＢＬｍ毎に設定された検出窓Ｗを水平方向に走査させながら、検出窓Ｗ内の画像を画像認識処理し、得られた水平位置Ｌｎ毎の画認スコアが画像認識結果テーブル８ａに記憶される。よって、検出される人物や物体の大きさに応じて、検出窓Ｗの大きさを変化させながら画像認識を行う等の複雑な処理をすることなく、画認スコアを取得できるので、対象物判定装置１の処理負荷を軽減することができる。またベースラインＢＬｍの頭部基準線は、それぞれ該当する足元基準線に位置する人物の頭頂部の位置に基づいて設定されているので、人物の頭頂部より高い領域に対する不要な画像認識処理を防ぐことができる。
　図４に戻る。Ｓ２の処理の後、測距センサ４から測距値を取得し、測距結果テーブル８ｂの測距値メモリ８ｂ１に保存する（Ｓ３）。Ｓ３の処理の後、測距結果テーブル８ｂの測距値メモリ８ｂ１に記憶された測距値に近似する画認スコアを、画像認識結果テーブル８ａから取得し、測距結果テーブル８ｂの画像認識結果メモリ８ｂ２に保存する（Ｓ４）。そして、測距結果テーブル８ｂの測距値メモリ８ｂ１の測距値をグループ化して、オブジェクトに分割し、そのオブジェクト毎の測距結果テーブル８ｂの測距値メモリ８ｂ１および画像認識結果メモリ８ｂ２の値を、オブジェクトテーブル８ｃに保存する（Ｓ５）。
　図７，図８を参照して、Ｓ４，Ｓ５の処理について説明する。Ｓ４の処理はまず、測距結果テーブル８ｂの測距値メモリ８ｂ１の測距値における角度に近似する、水平位置Ｌｎを取得する。ここで、画像における水平位置Ｌｎの角度について図７を用いて説明する。
　図７に示す通り、画像の水平方向は１２８０ピクセルとされ、カメラ３の視野角は１２０度とされるので、水平位置Ｌｎの１つ当たりの角度は、０．０９３５度（＝１２０度／１２８０ピクセル）とされる。画像の中心位置は９０度とされるので、水平位置Ｌ１の角度は１５０度であり、水平位置Ｌ２の角度は１５０．０９３５度となる。このように定義された水平位置Ｌｎの角度から、測距値メモリ８ｂ１の測距値における角度に最も近似する水平位置Ｌｎを取得する。
　Ｓ４の処理は次に、測距結果テーブル８ｂの測距値メモリ８ｂ１の測距値における距離に近似するベースラインＢＬｍを取得する。ここで図８（ａ）を用いて、ベースラインＢＬｍの取得処理について説明する。
　図８（ａ）は、ベースラインＢＬｍにおける、足元基準線の位置関係を模式的に示した図である。図中の黒塗りの四角形は、測距結果テーブル８ｂの測距値メモリ８ｂ１に記憶された測距値ＭＰを表す。上述した通り、ベースラインＢＬｍの足元基準線はそれぞれ、画像内におけるカメラ３から一定距離の位置に設けられる。具体的には、ベースラインＢＬ１の足元基準線は、カメラ３から１０ｍの位置に設けられ、ベースラインＢＬ２の足元基準線は、カメラ３から１５ｍの位置に設けられる。ここで画像認識結果テーブル８ａに記憶される画認スコアは、このベースラインＢＬｍの位置に基づいて判定されるので、ベースラインＢＬｍ前後に存在する対象物に対する、人物らしさを示すものである。
　そこで、ベースラインＢＬｍに基づいた領域Ａ１～Ａ１６を設ける。具体的には、カメラ３からベースラインＢＬ１までの領域がベースラインＢＬ１に基づく領域Ａ１とされ、ベースラインＢＬ１～ＢＬ３の領域がベースラインＢＬ２に基づく領域Ａ２とされ、ベースラインＢＬ１４～ＢＬ１６の領域がベースラインＢＬ１５に基づく領域Ａ１５とされ、ベースラインＢＬ１５以降の領域がベースラインＢＬ１６に基づく領域Ａ１６とされる（領域Ａ５以降は図示せず）。
　そして、測距結果テーブル８ｂの測距値メモリ８ｂ１の測距値における距離に該当する、領域Ａ１～Ａ１６を取得し、その領域Ａ１～Ａ１６に該当するベースラインＢＬｍを取得する。そして、取得されたベースラインＢＬｍと、先に取得した測距値メモリ８ｂ１の測距値における角度に最も近似する水平位置Ｌｎとで、画像認識結果テーブル８ａを検索し、一致する画認スコアを、測距結果テーブル８ｂの画像認識結果メモリ８ｂ２に記憶する。この処理により、カメラ３から取得された画認スコアと、カメラ３とは異なる装置である測距センサ４から取得された測距値とを融合する（対応付ける）ことができる。
　なお、図８（ａ）に示す通り、領域Ａ２～Ａ１６においては、同一の領域が２つの領域Ａ２～Ａ１６に含まれる（例えば、領域Ａ２におけるベースラインＢＬ２～ＢＬ３の領域と、領域Ａ３におけるベースラインＢＬ２～ＢＬ３の領域）。従って、測距値メモリ８ｂ１の測距値における距離によっては、２つの領域Ａ２～Ａ１６が該当するので、画像認識結果テーブル８ａから２つの画認スコアが取得される場合がある。かかる場合には、取得された画認スコアのうち、画認スコアが高い方が測距結果テーブル８ｂの画像認識結果メモリ８ｂ２に記憶される。これにより、同一の水平位置Ｌｎにおいて、より人物らしいと判定された、ベースラインＢＬｍにおける画認スコアを、測距結果テーブル８ｂの画像認識結果メモリ８ｂ２に記憶することができる。
　図４に戻る。Ｓ４の処理の後、測距結果テーブル８ｂの測距値メモリ８ｂ１に記憶された測距値を、人物か物体かの認識処理の単位であるオブジェクトとしてグループ化し、オブジェクト毎の測距値と画像認識結果とをオブジェクトテーブル８ｃに記憶する（Ｓ５）。図８（ｂ）を参照して、かかるグループ化処理について説明する。
　図８（ｂ）は、測距値のグループ化を模式的に示した図である。図８（ｂ）に示す通り、対象物が存在している位置では、該当する測距センサ４で検出される一連の測距値において、その隣接する測距値間の距離が近くなる。そこで隣接する測距値間の距離差が０．１ｍ以下である場合は、同一の対象物であると判断して、その隣接する測距値をオブジェクトとしてグループ化する。また、対象物が存在していない場合等、隣接する測距値間の差が０．１ｍ以下である測距値が１０個連続して検出される場合は、その１０個の測距値毎に別オブジェクトとしてグループ化する。
　図８（ｂ）で例示すると、隣接する測距値間の距離差が０．１ｍ以内となった一連の測距値が、それぞれオブジェクトＪ２，Ｊ４，Ｊ５，Ｊ７，Ｊ９，Ｊ１６にグループ化される。一方、対象物が存在していない測距値が連続する測距値は、それぞれオブジェクトＪ１，Ｊ３，Ｊ６，Ｊ８，Ｊ１０～Ｊ１５，Ｊ１７とグループ化される。特にオブジェクトＪ１０～Ｊ１５においては、人物等が存在しない測距値が１０個以上連続するので、その測距値が１０個毎にグループ化され、オブジェクトＪ１０～Ｊ１５とされる。なお、同一のオブジェクトとしてグループ化される、隣接する測距値間の距離差は０．１ｍとされたが、必ずしもこれに限られるものではなく、０．１ｍ以上でも良いし、０．１ｍ以下でも良い。また、隣接する測距値間の距離差が０．１ｍ以下である測距値が１０個連続した場合に、その１０個の測距値毎に別オブジェクトとしてグループ化したが、必ずしもこれに限られるものではなく、連続する測距値の個数は１０個以上でも良いし、１０個以下でも良い。
　そして、グループ化されたオブジェクトを構成する、測距結果テーブル８ｂの測距値メモリ８ｂ１の値と画像認識結果メモリ８ｂ２の値とが、そのオブジェクト毎にオブジェクトテーブル８ｃへ記憶される。Ｓ６以降の処理では、オブジェクトテーブル８ｃに記憶されたオブジェクト毎に、人物か物体かが認識（判定）される。
　図４に戻る。Ｓ６の処理の後、カウンタ変数ｉに１を設定する（Ｓ６）。そして、オブジェクトテーブル８ｃに記憶されるｉ番目（即ち図３（ｃ）におけるＮｏ．ｉ）のオブジェクトの形状による人物らしさを示す測距尤度βを算出し、測距尤度メモリ８ｄに保存する（Ｓ７）。図９を参照して、Ｓ７における測距尤度の算出処理を説明する。
　図９（ａ）は、オブジェクトの端点間距離ｄ１と、積分距離ｄ２とを示した模式図であり、図９（ｂ）は、オブジェクトの端点間距離ｄ１に対する尤度分布を示した図であり、図９（ｃ）は、オブジェクトの積分距離ｄ２に対する尤度分布を示した図である。Ｓ７の処理ではまず、ｉ番目のオブジェクトに対するオブジェクトテーブル８ｃの測距値メモリ８ｃ１の値から、ｉ番目のオブジェクトの両端の測距値を取得し、その２点間距離、即ち端点間距離ｄ１を算出する。次にｉ番目のオブジェクトに対するオブジェクトテーブル８ｃの測距値メモリ８ｃ１の値から、隣接する測距値間の距離を、全て加算した積分距離ｄ２を算出する。
　そして、図９（ｂ）のオブジェクトの端点間距離ｄ１に対する尤度分布から、算出された端点間距離ｄ１に該当する尤度β１を取得し、図９（ｃ）のオブジェクトの積分距離ｄ２に対する尤度分布から、算出された積分距離ｄ２に該当する尤度β２を取得する。そして、尤度β１，β２から、測距尤度βは以下の数式１によって算出される。
Figure JPOXMLDOC01-appb-M000001
 　図９（ｂ），（ｃ）及び数式１で示す通り、本実施形態においては、端点間距離ｄ１と積分距離ｄ２とが一定の関係であれば、測距尤度βの値は大きくなる。そして、この測距尤度βの値が大きい程、そのオブジェクトは人物らしさが高いと判断することができる。これは人物の胴体は一般的に楕円であり、楕円の長径（即ち端点間距離ｄ１）と、楕円の円周（即ち積分距離ｄ２）との組み合わせと、人物らしさとの関係性が定まっているからである。そこで、端点間距離ｄ１に対する人物らしさを示す尤度分布と、積分距離ｄ２に対する人物らしさを示す尤度分布とをあらかじめ設定し、それらの尤度分布と、オブジェクトから算出された端点間距離ｄ１及び積分距離ｄ２とから、尤度β１，β２を取得し、それらを乗算する。これにより、オブジェクトを構成する測距値から、オブジェクトの形状による人物らしさを示す測距尤度βが算出される。このように算出された測距尤度βが、測距尤度メモリ８ｄに記憶される。
　図４に戻る。Ｓ７の処理の後、オブジェクトテーブル８ｃに記憶されるｉ番目のオブジェクトにおける、マッチ率γを算出し、マッチ率メモリ８ｅに保存する（Ｓ８）。マッチ率γとは、オブジェクトを構成する測距値において、画認スコアが「１」以上である測距値の割合を表す値である。ここで、オブジェクトを構成する測距値における画認スコア即ち、画像認識結果メモリ８ｃ２の値が「１」以上である測距値の数をＮｈ，画像認識結果メモリ８ｃ２の値が「０」である測距値の数をＮｌｏとすると、マッチ率γは数式２によって算出される。
Figure JPOXMLDOC01-appb-M000002
 　ここで図１０を参照して、マッチ率について説明する。図１０は、オブジェクトＪ７（図８（ｂ））の測距値における、画認スコアを模式的に示した図である。画認スコアが「０」の測距値は三角形で表し、画認スコアが「１」以上の測距値は丸で表す。図１０に示す通り、オブジェクトＪ７は、その両端部と一部の測距値において、画認スコアが「０」であり、それ以外の測距値は画認スコアが「１」以上である。そして、画認スコアが「０」の測距値の数は６，画認スコアが「１」以上の測距値の数は２２であるので、オブジェクトＪ７に対するマッチ率は「０．７８５」となる。即ちマッチ率γが高いオブジェクトは、画認スコアが「１」以上である測距値の数が多いので、そのオブジェクトが人物である可能性が高いと判断することができる。
　図４に戻る。Ｓ８の処理の後、オブジェクトテーブル８ｃに記憶されるｉ番目のオブジェクトにおける画像認識尤度αを算出し、画像認識尤度メモリ８ｆ保存する（Ｓ９）。画像認識尤度αとは、オブジェクトを構成する測距値のうち、画像認識結果メモリ８ｃ２の値が「１」以上の測距値における画認スコアの平均値である。画像認識結果メモリ８ｃ２の値が「１」以上である測距値の数をＮｈ，画像認識結果メモリ８ｃ２の値が「１」以上である測距値の、画像認識結果メモリ８ｃ２の値をＳｋとすると、画像認識尤度αは数式３によって算出される。
Figure JPOXMLDOC01-appb-M000003
 　即ち、画像認識尤度αが高いオブジェクトは、画認スコアが「２」又は「３」である測距値が多いので、そのオブジェクトが人物らしいオブジェクトであると判断することができる。
　Ｓ９の処理の後、後述のＳ１０のオブジェクト認識処理を行い、その後、カウンタ変数ｉに１を加算する（Ｓ１１）。Ｓ１１の処理の後、カウンタ変数ｉがオブジェクトテーブル８ｃに記憶されるオブジェクト数より大きいかを確認する（Ｓ１２）。
　Ｓ１２の処理において、カウンタ変数ｉがオブジェクトテーブル８ｃに記憶されるオブジェクト数以下の場合は（Ｓ１２：Ｎｏ）、オブジェクトテーブル８ｃに記憶されるオブジェクトの全て対して、Ｓ１０のオブジェクト認識処理が行われていないので、Ｓ７以下の処理を繰り返す。一方、カウンタ変数ｉがオブジェクトテーブル８ｃに記憶されるオブジェクト数より大きい場合は（Ｓ１２：Ｙｅｓ）、オブジェクトテーブル８ｃに記憶されるオブジェクトの全て対してＳ１０のオブジェクト認識処理が行われたので、再度Ｓ１の処理を繰り返す。
　次に図５を参照して、Ｓ１０のオブジェクト認識処理を説明する。オブジェクト認識処理は、Ｓ７～Ｓ９の処理で算出された画像認識尤度α，測距尤度β，マッチ率γに基づいて、該当するオブジェクトが人物か、物体かを認識（判定）するための処理である。
　図５はオブジェクト認識処理を示すフローチャートである。オブジェクト認識処理はまず、画像認識尤度メモリ８ｆの値、即ち画像認識尤度αが２より大きいかを確認する（Ｓ２０）。Ｓ２０の処理において、画像認識尤度メモリ８ｆの値が２より大きい場合は（Ｓ２０：Ｙｅｓ）、測距尤度メモリ８ｄの値とマッチ率メモリ８ｅの値との乗算値Ｈを算出する（Ｓ２１）。即ち乗算値Ｈは、測距尤度βとマッチ率γとから数式４で算出される。
Figure JPOXMLDOC01-appb-M000004
 　Ｓ２１の処理の後、乗算値Ｈの値が０．８以上かを確認する（Ｓ２２）。乗算値Ｈが０．８以上の場合は（Ｓ２２：Ｙｅｓ）、ｉ番目のオブジェクトは「人物」と認識する（Ｓ２３）。一方で、乗算値Ｈの値が０．８より小さい場合は（Ｓ２２：Ｙｅｓ）、ｉ番目のオブジェクトは「物体」と認識する（Ｓ２４）。
　具体的にＳ２０の処理において、画像認識尤度メモリ８ｆの値が２より大きいと判断されたｉ番目のオブジェクトは画像認識尤度αが高く、画像認識処理において人物である可能性が高いオブジェクトと判断される。そこで本実施形態においては、測距尤度βと、マッチ率γとの乗算値Ｈによって人物か物体かを認識する。これにより、測距尤度βによってオブジェクトの形状に基づきつつも、マッチ率γによってオブジェクトの画認スコアをも考慮に入れた人物か物体かの認識が可能となる。なお、乗算値Ｈと比較される値を０．８としたが、必ずしもこれに限られるものではなく、０．８以上でも良いし、０．８以下でも良い。
　一方、Ｓ２０の処理において、画像認識尤度メモリ８ｆの値が２以下の場合は（Ｓ２０：Ｎｏ）、画像認識尤度メモリ８ｆの値と測距尤度メモリ８ｄの値とマッチ率メモリ８ｅの値ととの乗算値Ｈを算出する（Ｓ２５）。即ち乗算値Ｈは、画像認識尤度αと測距尤度βとマッチ率γとから数式５で算出される。
Figure JPOXMLDOC01-appb-M000005
 　Ｓ２５の処理の後、乗算値Ｈの値が１．８以上かを確認する（Ｓ２６）。乗算値Ｈが１．８以上の場合は（Ｓ２６：Ｙｅｓ）、ｉ番目のオブジェクトは「人物」と認識する（Ｓ２７）。一方で、乗算値Ｈの値が１．８より小さい場合は（Ｓ２６：Ｙｅｓ）、ｉ番目のオブジェクトは「物体」と認識する（Ｓ２８）。
　具体的にＳ２０の処理において、画像認識尤度メモリ８ｆの値が２以下のｉ番目のオブジェクトは、画像認識尤度αが低く、画像認識処理において人物である可能性が低いオブジェクトと判断される。かかる場合には、画像認識尤度αと測距尤度βとマッチ率γとの乗算値Ｈによって人物か物体かを認識する。これにより乗算値Ｈには、Ｓ２１の処理による乗算値Ｈに加え、画像認識尤度αも含まれるので、より高精度な人物か物体かの認識が可能となる。なお、乗算値Ｈと比較される値を１．８としたが、必ずしもこれに限られるものではなく、１．８以上でも良いし、１．８以下でも良い。
　Ｓ２３，Ｓ２４，Ｓ２７，Ｓ２８の処理の後、Ｓ２３，Ｓ２４，Ｓ２７，Ｓ２８の処理による認識結果をオブジェクトテーブル８ｃの認識結果メモリ８ｃ３に保存する（Ｓ２９）。Ｓ２９の処理の後、オブジェクト認識処理を終了し、図４のメイン処理へ戻る。
　対象物判定装置１は、オブジェクトテーブル８ｃの認識結果メモリ８ｃ３に記憶された値に基づき、検出された対象物が人物か物体かを認識する。即ち、検出されたある対象物の位置を、オブジェクトテーブル８ｃの測距値メモリ８ｃ１の値を参照して、オブジェクトを検索し、該当するオブジェクトの認識結果メモリ８ｃ３の値を取得することで、人物か物体かが認識される。よって、対象物が人物か物体かを区別して、その対象物の位置を認識することができる。
　以上説明した通り、本実施形態における対象物判定装置１によれば、カメラ３から取得した画像に対して、ベースラインＢＬｍ毎および水平位置Ｌｎ毎に算出された画認スコアと、測距センサ４から取得された測距値とが対応付けられて測距結果テーブル８ｂに記憶される。その測距結果テーブル８ｂに記憶された測距値をグループ化することでオブジェクトを生成し、そのオブジェクトに該当する測距値および画認スコアがオブジェクトテーブル８ｃに記憶される。そして、オブジェクトテーブル８ｃの値から算出された測距尤度βと、画像認識尤度αと、マッチ率γとに基づき、そのオブジェクトが人物か、物体かが認識される。このように、カメラ３から取得した画像に対する画認スコアと、カメラ３とは異なる装置である測距センサ４から取得された測距値とを融合して、オブジェクトが人物か、物体かが認識されるので、その認識処理を高速かつ高精度に行うことができる。
　以上、実施形態に基づき本発明を説明したが、本発明は上述した実施形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内で種々の改良変更が可能であることは容易に推察できるものである。
　上記実施形態において、制御プログラム７ａを、対象物判定装置１で実行する構成とした。しかし、必ずしもこれに限られるものではなく、制御プログラム７ａを、パーソナル・コンピュータやスマートフォン、タブレット端末等に記憶して、制御プログラム７ａを実行する構成としても良い。また、対象物判定装置１をユーザに追従して自律走行を行う移動体に搭載し、その自律走行の走行経路の算出等に、対象物判定装置１による人物か物体かの認識結果を用いる構成としても良い。
　上記実施形態において、図４のメイン処理ではマッチ率γを、数式２によって算出される構成とした。しかし、必ずしもこれに限られるものではなく、画像認識結果メモリ８ｃ２の値が「１」以上である測距値の数に応じて、マッチ率γを０又は１のいずれかとする構成としても良い。例えば、画像認識結果メモリ８ｃ２の値が「１」以上である測距値の数が、オブジェクトの測距値の７０％を占める場合はマッチ率γに１を設定し，７０％より小さい場合は０を設定する。
　上記実施形態において、図４のメイン処理では、図９（ｂ），（ｃ）の尤度分布から、端点間距離ｄ１，積分距離ｄ２に該当する尤度β１，尤度β２を取得する構成とした。しかし、必ずしもこれに限られるものではなく、端点間距離ｄ１，積分距離ｄ２の値に応じて、尤度β１，尤度β２を０又は１のいずれかとする構成としても良い。例えば、端点間距離ｄ１が０．４ｍ～０．８ｍの範囲に含まれる場合は、尤度β１に１を設定し、それ以外の範囲である場合は、尤度β１に０を設定する。また、積分距離ｄ２が０．６ｍ～１．２ｍの範囲に含まれる場合は、尤度β２に１を設定し、それ以外の範囲である場合は、尤度β２に０を設定する。
　上記実施形態において、オブジェクト認識処理（図５）において、測距尤度βとマッチ率γとの乗算値Ｈ、または画像認識尤度αと測距尤度βと測距尤度βとマッチ率γとの乗算値Ｈによって、人物か物体かを認識する構成とした。しかし、必ずしもこれに限られるものではなく、画像認識尤度αとマッチ率γとの乗算値Ｈによって、人物か物体かを認識しても良い。その際は、人物か物体かを認識する乗算値Ｈの値を、適宜設定すれば良い。
　また、画像認識尤度αと測距尤度βとのそれぞれに対して重み係数を乗じた上で、乗算値Ｈを算出する構成としても良い。その場合、重み係数は固定値であっても良いし、マッチ率γの値に応じて、画像認識尤度αと測距尤度βとの重み係数の値を変更する構成としても良い。
１　　　　　　　　　対象物判定装置　
３　　　　　　　　　カメラ（撮影手段）
４　　　　　　　　　測距センサ（測距手段）
７ａ　　　　　　　　制御プログラム（対象物判定プログラム）
８ｃ　　　　　　　　オブジェクトテーブル（位置認識手段の一部）
ｄ１　　　　　　　　端点間距離
ｄ２　　　　　　　　積分距離
Ｓ２　　　　　　　　画像認識手段
Ｓ４　　　　　　　　画認対応付手段
Ｓ５　　　　　　　　グループ化手段
Ｓ７　　　　　　　　尤度算出手段の一部、測距尤度算出手段
Ｓ８　　　　　　　　マッチ率算出手段
Ｓ９　　　　　　　　尤度算出手段の一部、画像尤度算出手段
Ｓ２０～Ｓ２８　　　判定手段
Ｓ２９　　　　　　　位置認識手段の一部
α　　　　　　　　　画像認識尤度（画像尤度）
β　　　　　　　　　測距尤度
γ　　　　　　　　　マッチ率

Claims (10)

  1. 　画像を撮影する撮影手段と、
    　対象物までの距離を測距する測距手段と、
    　前記撮影手段により撮影された画像中の前記対象物について画像認識を実行する画像認識手段と、
    　その画像認識手段による画像認識の結果を、前記測距手段により測距された測距データに対応付けする画認対応付手段と、
    　所定条件下にある複数の前記測距データを１の対象物としてグループ化するグループ化手段と、
    　そのグループ化手段によりグループ化された１の対象物を構成する測距データまたは、その測距データに前記画認対応付手段により対応付けされた画像認識の結果に基づいて、前記所定物の尤度を算出する尤度算出手段と、
    　前記グループ化手段によりグループ化された１の対象物を構成する測距データに前記画認対応付手段により対応付けされた画像認識の結果に基づいて前記所定物のマッチ率を算出するマッチ率算出手段と、
    　そのマッチ率算出手段により算出されたマッチ率と、前記尤度算出手段により算出された尤度とに基づいて、前記グループ化手段によりグループ化された１の対象物が前記所定物であるかを判定する判定手段とを備えていることを特徴とする対象物判定装置。
  2. 　前記尤度算出手段は、前記グループ化手段によりグループ化された１の対象物を構成する測距データに基づいて前記所定物の測距尤度を算出する測距尤度算出手段を備え、
    　前記判定手段は、その測距尤度算出手段により算出された測距尤度と、前記マッチ率算出手段により算出されたマッチ率とに基づいて、前記グループ化手段によりグループ化された１の対象物が前記所定物であるかを判定するものであることを特徴とする請求項１記載の対象物判定装置。
  3. 　前記測距尤度算出手段は、前記グループ化手段によりグループ化された１の対象物を構成する測距データの端点間距離と積分距離とに基づいて前記所定物の測距尤度を算出するものであることを特徴とする請求項２記載の対象物判定装置。
  4. 　前記尤度算出手段は、前記グループ化手段によりグループ化された１の対象物を構成する測距データに前記画認対応付手段により対応付けされた画像認識の結果に基づいて前記所定物の画像尤度を算出する画像尤度算出手段を備え、
    　前記判定手段は、その画像尤度算出手段により算出された画像尤度と、前記測距尤度算出手段により算出された測距尤度と、前記マッチ率算出手段により算出されたマッチ率とに基づいて、前記グループ化手段によりグループ化された１の対象物が前記所定物であるかを判定するものであることを特徴とする請求項２又は３に記載の対象物判定装置。
  5. 　前記判定手段は、前記尤度算出手段により算出された尤度が所定の閾値以上である場合には、前記マッチ率算出手段により算出されたマッチ率に関わらず、前記グループ化手段によりグループ化された１の対象物が前記所定物であると判定するものであることを特徴とする請求項１から４のいずれかに記載の対象物判定装置。
  6. 　前記グループ化手段は、前記測距手段により測距された測距データのうち、隣り合う測距データが所定距離内にある場合に、それらの測距データを１の対象物としてグループ化するものであることを特徴とする請求項１から５のいずれかに記載の対象物判定装置。
  7. 　前記画認対応付手段は、１の測距データに対応する画像認識の結果が２以上ある場合、その２以上の画像認識の結果のうち、前記所定物としての認識度の最も高い画像認識の結果を前記測距データに対応付けするものであることを特徴とする請求項１から６のいずれかに記載の対象物判定装置。
  8. 　前記グループ化手段によりグループ化された対象物を、前記判定手段による判定結果に基づいて前記所定物とそれ以外とに区別して、その対象物の位置を認識する位置認識手段を備えていることを特徴とする請求項１から７のいずれかに記載の対象物判定装置。
  9. 　前記判定手段による判定対象となる所定物は人物であることを特徴とする請求項１から８のいずれかに記載の対象物判定装置。
  10. 　画像を取得する画像取得機能と、
    　対象物までの測距データを取得する測距データ取得機能と、
    　前記画像取得機能により取得された画像中の前記対象物について画像認識を実行する画像認識機能と、
    　その画像認識機能による画像認識の結果を、前記測距データ取得機能により取得された測距データに対応付けする画認対応付機能と、
    　所定条件下にある複数の前記測距データを１の対象物としてグループ化するグループ化機能と、
    　そのグループ化機能によりグループ化された１の対象物を構成する測距データまたは、その測距データに前記画認対応付機能により対応付けされた画像認識の結果に基づいて、前記所定物の尤度を算出する尤度算出機能と、
    　前記グループ化機能によりグループ化された１の対象物を構成する測距データに前記画認対応付機能により対応付けされた画像認識の結果に基づいて前記所定物のマッチ率を算出するマッチ率算出機能と、
    　そのマッチ率算出機能により算出されたマッチ率と、前記尤度算出機能により算出された尤度とに基づいて、前記グループ化機能によりグループ化された１の対象物が前記所定物であるかを判定する判定機能と、をコンピュータに実現させることを特徴とする対象物判定プログラム。
PCT/JP2018/010039 2017-03-30 2018-03-14 対象物判定装置および対象物判定プログラム WO2018180501A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/499,614 US20200110963A1 (en) 2017-03-30 2018-03-14 Object determination device and object determination program
EP18777146.4A EP3605458A4 (en) 2017-03-30 2018-03-14 OBJECT DETERMINATION DEVICE AND OBJECT DETERMINATION PROGRAM
CN201880022195.6A CN110546683A (zh) 2017-03-30 2018-03-14 对象物判定装置以及对象物判定程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017066802A JP6830656B2 (ja) 2017-03-30 2017-03-30 対象物判定装置および対象物判定プログラム
JP2017-066802 2017-03-30

Publications (1)

Publication Number Publication Date
WO2018180501A1 true WO2018180501A1 (ja) 2018-10-04

Family

ID=63675413

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/010039 WO2018180501A1 (ja) 2017-03-30 2018-03-14 対象物判定装置および対象物判定プログラム

Country Status (5)

Country Link
US (1) US20200110963A1 (ja)
EP (1) EP3605458A4 (ja)
JP (1) JP6830656B2 (ja)
CN (1) CN110546683A (ja)
WO (1) WO2018180501A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114495509B (zh) * 2022-04-08 2022-07-12 四川九通智路科技有限公司 基于深度神经网络监控隧道运行状态的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004280451A (ja) * 2003-03-14 2004-10-07 Matsushita Electric Works Ltd 自律移動装置
JP2008200770A (ja) * 2007-02-16 2008-09-04 Toshiba Corp ロボットおよびその制御方法
JP2009176090A (ja) * 2008-01-25 2009-08-06 Fuji Heavy Ind Ltd 環境認識装置
JP2009276200A (ja) 2008-05-14 2009-11-26 Hitachi Ltd 車載用物体検知装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007187618A (ja) * 2006-01-16 2007-07-26 Omron Corp 物体識別装置
JP4717760B2 (ja) * 2006-08-31 2011-07-06 三菱電機株式会社 物体認識装置および映像物体測位装置
JP4413957B2 (ja) * 2007-08-24 2010-02-10 株式会社東芝 移動物体検出装置および自律移動物体
JP5385752B2 (ja) * 2009-10-20 2014-01-08 キヤノン株式会社 画像認識装置、その処理方法及びプログラム
CN103052968B (zh) * 2010-08-03 2016-03-02 松下知识产权经营株式会社 物体检测装置和物体检测方法
JP2012118698A (ja) * 2010-11-30 2012-06-21 Fuji Heavy Ind Ltd 画像処理装置
KR20120072131A (ko) * 2010-12-23 2012-07-03 한국전자통신연구원 이미지 센서와 거리센서의 데이터 융합에 의한 상황인식 방법 및 그 장치
JP6332937B2 (ja) * 2013-10-23 2018-05-30 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004280451A (ja) * 2003-03-14 2004-10-07 Matsushita Electric Works Ltd 自律移動装置
JP2008200770A (ja) * 2007-02-16 2008-09-04 Toshiba Corp ロボットおよびその制御方法
JP2009176090A (ja) * 2008-01-25 2009-08-06 Fuji Heavy Ind Ltd 環境認識装置
JP2009276200A (ja) 2008-05-14 2009-11-26 Hitachi Ltd 車載用物体検知装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3605458A4

Also Published As

Publication number Publication date
JP6830656B2 (ja) 2021-02-17
JP2018169811A (ja) 2018-11-01
US20200110963A1 (en) 2020-04-09
CN110546683A (zh) 2019-12-06
EP3605458A4 (en) 2021-01-06
EP3605458A1 (en) 2020-02-05

Similar Documents

Publication Publication Date Title
US9480397B2 (en) Gaze tracking variations using visible lights or dots
KR101954855B1 (ko) 볼륨 내 물체의 심도 맵핑을 위한 광 패턴의 강도 변화의 사용
US10810424B2 (en) Method and apparatus for generating virtual driving lane for traveling vehicle
US9336595B2 (en) Calibration device, method for implementing calibration, and camera for movable body and storage medium with calibration function
US20170004355A1 (en) Apparatus, system, method and computer program product for recognizing face
US10254831B2 (en) System and method for detecting a gaze of a viewer
EP3153092A1 (en) Pupil detection system, gaze detection system, pupil detection method, and pupil detection program
EP3185211B1 (en) Corneal reflection position estimation system, corneal reflection position estimation method, corneal reflection position estimation program, pupil detection system, pupil detection method, pupil detection program, gaze detection system, gaze detection method, gaze detection program, face orientation detection system, face orientation detection method, and face orientation detection program
JP2007087345A5 (ja)
US20160232399A1 (en) System and method of detecting a gaze of a viewer
KR101772438B1 (ko) 도로 표지판 인식 시스템에서 막대형 신호를 검출하는 장치 및 방법
TWI479435B (zh) 人臉辨識方法
CN106415192B (zh) 引线图像识别方法及识别装置以及图像处理用元件数据生成方法及生成装置
JP6651062B2 (ja) 車外コミュニケーション装置、車外コミュニケーション方法、情報処理装置、及び車外コミュニケーションプログラム
CN110313006B (zh) 一种人脸图像检测方法及终端设备
KR20080024776A (ko) 호프 변환을 이용한 주차구획 인식 방법, 장치 및 그를이용한 주차 보조 시스템
US9734416B2 (en) Object detection method, information processing device, and storage medium
US20140133705A1 (en) Red-eye determination device
Zheng et al. A rapid webcam-based eye tracking method for human computer interaction
JP5048609B2 (ja) 対象物追跡装置及びプログラム
WO2018180501A1 (ja) 対象物判定装置および対象物判定プログラム
US20180089851A1 (en) Distance measuring device for human body features and method thereof
CN114919584A (zh) 机动车定点目标测距方法、装置及计算机可读存储介质
TW201533609A (zh) 以輔助燈光相對位置為基礎之瞳孔定位方法、其系統以及其電腦程式產品
US10769803B2 (en) Sight vector detecting method and device

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18777146

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018777146

Country of ref document: EP

Effective date: 20191030