WO2021095455A1 - 物体識別装置 - Google Patents

物体識別装置 Download PDF

Info

Publication number
WO2021095455A1
WO2021095455A1 PCT/JP2020/039327 JP2020039327W WO2021095455A1 WO 2021095455 A1 WO2021095455 A1 WO 2021095455A1 JP 2020039327 W JP2020039327 W JP 2020039327W WO 2021095455 A1 WO2021095455 A1 WO 2021095455A1
Authority
WO
WIPO (PCT)
Prior art keywords
distance
area
region
distance information
identification device
Prior art date
Application number
PCT/JP2020/039327
Other languages
English (en)
French (fr)
Inventor
都 堀田
郭介 牛場
Original Assignee
日立Astemo株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立Astemo株式会社 filed Critical 日立Astemo株式会社
Publication of WO2021095455A1 publication Critical patent/WO2021095455A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/015—Detecting movement of traffic to be counted or controlled with provision for distinguishing between two or more types of vehicles, e.g. between motor-cars and cycles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Definitions

  • the present invention relates to an object identification device that identifies an object type from an image.
  • a function to identify surrounding objects for example, in front
  • an image sensor For example, in order to avoid a collision, in order to apply the brakes at an appropriate timing for each detected object, it is necessary to identify objects with different speeds such as pedestrians and motorcycles for each type and perform brake control suitable for each type. is there.
  • a method for identifying the type of object a method using a classifier created by learning a large number of images of a specific object is generally used.
  • this method since the apparent feature pattern on the image is learned, it is difficult to accurately identify objects having similar shapes of objects.
  • a dictionary group having a plurality of dictionaries storing subject templates and an optical flow vector in an image are extracted, and the vectors are similar.
  • Patent Document 1 discloses a method of recognizing an object by calculating the velocity of the object based on the optical flow calculated from the image.
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to be able to identify the type of a target object even if it is a stationary object, and to improve the identification performance of objects having similar appearances.
  • the purpose is to provide an object identification device.
  • the object identification device of the present invention is an object identification device that identifies an object type from an image, and is an object distance that detects an object region in which an object exists from an image and an object distance that calculates a distance distribution of the object region. It is characterized by having an information calculation unit and an object identification unit that identifies the type of the object based on the distance distribution.
  • the present invention by using the distance distribution of the object region, it is possible to identify the type of the target object even if it is a stationary object, and it is possible to improve the identification performance of objects having similar appearances.
  • FIG. 1 It is a figure which shows the example (second embodiment) of the distance information acquired with respect to the object area of a motorcycle by a distance measuring unit. It is a block diagram which shows the structure of the 3rd Example of the object identification apparatus by this invention. It is a flowchart which shows the flow of processing by the object identification apparatus of 3rd Example.
  • FIG. 1 is a block diagram showing a configuration of a first embodiment of the object identification device according to the present invention.
  • the object identification device 10 shown in FIG. 1 is mounted on a vehicle (not shown), for example, and is a region in which an object exists (hereinafter, an object region) from an image (an image of the surroundings of the vehicle) acquired from a camera 9 as an image acquisition means.
  • Object detection unit 1 that detects the object
  • distance measurement unit 2 that acquires distance information of at least two points from the detected object area
  • object distance information that calculates statistical information such as distance distribution from the acquired distance information.
  • It has a calculation unit 3 and an object identification unit 4 that identifies the type of the object to be detected from the calculated distance distribution.
  • the object identification device 10 is configured as a computer equipped with a processor such as a CPU (Central Processing Unit), a memory such as a ROM (Read Only Memory), a RAM (Random Access Memory), and an HDD (Hard Disk Drive). .. Each function of the object identification device 10 is realized by the processor executing the program stored in the ROM.
  • the RAM stores data including intermediate data of operations performed by a program executed by the processor.
  • the object detection unit 1 is a means for detecting an object area from an image acquired from the camera 9.
  • This process is a process of detecting a rigid body region in a mass from an image, and various means can be used. For example, when a stereo camera is used as a camera for acquiring an image, the distance on the image can be obtained by parallax.
  • the object area can be obtained by grouping adjacent areas on the image that are close to each other.
  • the distance measuring unit 2 is a means for measuring the distance of the object area obtained by the object detecting unit 1. For example, when a stereo camera is used, the distance of the object region can be obtained by parallax.
  • the object distance information calculation unit 3 is a means for calculating the distance information of the object area based on the distance measured by the distance measurement unit 2. This means is a means for calculating the distance information that serves as a criterion for determining the shape of the object in the depth direction from the distance information measured at a plurality of points acquired in the object area.
  • the distance information that serves as a criterion for determining the shape in the depth direction includes, for example, the variance of the distance that indicates the distance distribution within the object region.
  • the variance of the distance is small, it can be said that the unevenness of the shape of the object in the depth direction is small and the object region is flat.
  • the variance of the distance is large, the unevenness of the shape of the object in the depth direction is large, and it can be said that the object region is not flat. That is, the difference in the shape of the object to be detected in the depth direction can be detected by the magnitude of the dispersion of the distance of the object region.
  • the object identification unit 4 is a means for identifying the type of an object by a preset threshold value based on the distance information of the object area calculated by the object distance information calculation unit 3.
  • the variance of the distance is used as the distance information, if the variance is larger than the preset threshold value, the object has unevenness in the depth direction, and if the variance is smaller than the preset threshold value, the unevenness in the depth direction is small and flat.
  • FIG. 2 is a diagram showing an example of an image acquired from a camera.
  • the image 21 of FIG. 2 there are a pedestrian 22 and a motorcycle 23.
  • the object detection unit 1 detects the object area from the image 21.
  • the object area can be extracted by grouping the areas.
  • FIG. 3 shows the object regions 31 and 32 of the pedestrian 22 and the motorcycle 23 detected from the image 21 of FIG.
  • the object regions 31 and 32 may be rectangular as shown in FIG. 3, or may be irregular regions obtained from parallax or distance. It is generally treated as a rectangle to facilitate the calculation process.
  • the distance measuring unit 2 is a means for acquiring the distance information in the object area detected by the object detecting unit 1.
  • FIG. 4 shows an example of the distance information acquired by the distance measuring unit 2 with respect to the object area 31 of the pedestrian 22 (hereinafter, may be referred to as the pedestrian area 31).
  • An example of the distance information acquired for the object area 32 (hereinafter, may be referred to as the motorcycle area 32) is shown.
  • 41 of FIG. 4 shows the distance information with respect to the pedestrian area 31 of FIG. 3
  • 51 of FIG. 5 shows the distance information with respect to the motorcycle area 32 of FIG.
  • the cells shown in 41 and 51 are pixels or a group of multiple pixels in the image, and the numerical values in the cells indicate the distance from the target camera at that position.
  • the value of the distance in meters is shown as an example.
  • the distance is measured at the positions of 136 cells, 17 cells in the vertical direction and 8 cells in the horizontal direction, in the distance information 41 corresponding to the pedestrian area 31 and the distance information 51 corresponding to the motorcycle area 32, respectively.
  • Areas 43 and 44 in the distance information 41 correspond to areas where pedestrians exist in the pedestrian area 31, and a distance of 28.9 m or the like is measured.
  • the area shown in 47 in the distance information 41 is the background area, a distance such as 70.0 m, which is farther than the distance measured in 43, is measured.
  • the areas shown in 52 and 53 in the distance information 51 correspond to the area where the motorcycle exists in the motorcycle area 32, and the distance of about 28.9 m in the area 52 of the upper body of the person riding the motorcycle. A distance of about 28.0 m has been measured in 53 areas in the front part of the lower motorcycle.
  • the area shown by 54 in the distance information 51 is a background area, and a distance of 70.0 m or the like is measured.
  • FIGS. 6A and 6B show the situation in which the distance information 41 of the pedestrian area 31 and the distance information 51 of the motorcycle area 32 are measured from the side.
  • 61 is a pedestrian
  • the camera that captured 31 and 41 in FIG. 4 is 67.
  • 62 and 63 indicate the measurement distances of the regions 43 and 44 in FIG. 4, respectively.
  • the area 69 of the foot pulled backward is shown by the broken line in FIG. It is the range of 6 cells shown in the indicated area 49, which is 6 ⁇ 136 ⁇ 4.4% when viewed from the entire pedestrian area, which is a relatively narrow range.
  • Fig. 6B 64 is a motorcycle, and the camera that shot 32 and 51 in Fig. 5 is 67.
  • 65 and 66 indicate the measurement distances of the regions 52 and 53 in FIG. 5, respectively.
  • the object distance information calculation unit 3 is a means for calculating the distance information indicating the characteristics of the depth of the object area based on the distance information acquired by the distance measurement unit 2. As an example of the distance information indicating the characteristics of the depth, an example of obtaining the variance of the distance of the object region will be described.
  • FIG. 7 shows the distance information of the pedestrian area shown in 41 of FIG. 4 as a frequency distribution with the horizontal axis as the distance.
  • the vertical axis is the number of pixels.
  • the distance distribution of the entire distance information 41 of the pedestrian area 31 is distributed over a wide range. This is because the distance information of the pedestrian region of 41 in FIG. 4 includes a background region as shown in 47 and a region in which parallax cannot be obtained and the value becomes 0 as shown in 48. In the example of FIG. 7, the distances are distributed from 0 m to 70 m.
  • the dispersion may be obtained from all the distance information of the pedestrian area shown in 41, but the distance of the background other than the object area and the distance can be accurately obtained from the distance information of 41. Since invalid distances that did not exist are included, the depth distance information of the target object can be obtained more accurately by finding the dispersion only for the measured distance that is probable as the distance of the target object (pedestrian in the case of 41) in the object area. Is considered to be able to be calculated. In order to extract the measured distance of the object itself from the object area, for example, the following method is adopted.
  • the maximum depth of the pedestrian and the two-wheeled vehicle targeted in this embodiment is about 2 m, and can be set to about 3 m even if the error is taken into consideration.
  • the distance range of the object is 1.5 m before and after the peak position of the distance distribution of the object in the object area, the distance measured beyond that range is treated as the background distance or the invalid distance that failed to be measured. Can be done.
  • a method of calculating the variance based on the distance of the object itself will be described by taking the distance distribution of the pedestrian region in FIG. 7 as an example. In the distance distribution shown in FIG. 7, the position of the distance with the highest frequency is shown in 71.
  • the peak distance in the distance information of the pedestrian area of 41 in Fig. 4 is considered as the representative distance of the pedestrian area, and based on the peak distance of 71 (representative distance), only the distance included in a certain range before and after is targeted.
  • the variance shall be calculated as. Since the representative distance is 28.9m, the variance is calculated by using only the measured values in the range of 27.3m to 30.4m, which is the range of 1.5m before and after that.
  • the distance range shown in 74 is a distance range that is considered to have measured the pedestrian area 1.5 m before and after the peak distance 71.
  • the distance range 72 of 74 or less and the distance range 73 of 74 or more are the distances of the background or the distance ranges considered to be invalid distances that cannot be measured. That is, the object distance information calculation unit 3 excludes the distance information of the distance ranges 72 and 73 having a large distance difference from the peak distance (representative distance) 71 of the object region, and calculates the dispersion of the distance showing the distance distribution.
  • FIG. 8 shows the distance information of the motorcycle region shown in 51 of FIG. 5 as a frequency distribution with the horizontal axis as the distance.
  • the position of the distance with the highest frequency is shown in 81.
  • the peak distance in the distance information of the motorcycle region of 51 in FIG. 5 is considered as the representative distance of the motorcycle region, and the peak distance (representative distance) of 81 is used as a reference, and only the distance included in a certain range before and after is dispersed. Shall be calculated. Since the representative distance is 28.9m, the variance is calculated by using only the measured values in the range of 27.3m to 30.4m, which is the range of 1.5m before and after that.
  • the representative distance is 28.9m
  • the variance is calculated by using only the measured values in the range of 27.3m to 30.4m, which is the range of 1.5m before and after that.
  • the distance range shown in 85 is a distance range that is considered to have measured the motorcycle region of 1.5 m in the front-rear direction centered on the peak distance 81.
  • the distance range 83 of 85 or less and the distance range 84 of 85 or more are the distance ranges considered to be the background distance or the invalid distance that cannot be measured. That is, the object distance information calculation unit 3 excludes the distance information of the distance ranges 83 and 84 having a large distance difference from the peak distance (representative distance) 81 of the object region, and calculates the dispersion of the distance showing the distance distribution.
  • 9A and 9B are diagrams showing distance information obtained by extracting only the measured distance of the object itself from the distance information of the pedestrian area and the motorcycle area based on the above method.
  • the distance information obtained by extracting only the distance included in the range of 74 in FIG. 7 is shown in 91 of FIG. 9A, and the distance information extracted only in the distance included in the range of 85 of FIG. 8 is shown in 92 of FIG. 9B.
  • the variance of 91 in FIG. 9A is 0.0008, and the variance of 92 in FIG. 9B is 0.19.
  • the reason why the variance of the pedestrian area is smaller than that of the two-wheeled vehicle area is that the distance distribution of the pedestrian area of 91 has a high peak in the distance distribution as shown in 71 of FIG. 7, and the pedestrian area is uneven in the depth direction. This is due to the small (shape change).
  • the variance of the two-wheeled vehicle region is larger than that of the pedestrian region because the distance distribution of the two-wheeled vehicle region of 92 has a lower peak shown in 81 of FIG. 8 than that of the pedestrian region, and the peak shown in 82. This is due to the fact that the distance is measured even at a short distance from. This is because the front wheels and the basket portion of the two-wheeled vehicle shown in FIG. 558 are measured closer to the body area of the person riding the two-wheeled vehicle when viewed from the camera side.
  • the object identification unit 4 is a means for identifying the type of the object from the distance information calculated by the object distance information calculation unit 3. Specifically, the variance value calculated by the object distance information calculation unit 3 is used as an index indicating the size of the unevenness of the depth of the object region, and the variance is larger than the threshold value based on a preset threshold value. In this case, a two-wheeled vehicle having a large unevenness in the shape in the depth direction is determined, and when the variance is smaller than the threshold value, a pedestrian having a small unevenness in the shape in the depth direction is determined.
  • the threshold value shall be a value appropriately determined by evaluation experiments and the like.
  • the variance threshold is 0.01
  • the one that exceeds this is a motorcycle
  • the one that does not exceed this is a pedestrian
  • the variance of 91 in FIG. 9A is 0.0008, which does not exceed the threshold.
  • the variance of 92 motorcycles in FIG. 9B exceeds the threshold value at 0.19, so it is determined to be a motorcycle.
  • the object identification device 10 of the present embodiment has an object detection unit 1 that detects an object region in which an object exists from an image acquired from the camera 9, and a distance distribution that indicates a distance distribution of the object region. It has an object distance information calculation unit 3 for calculating the above, and an object identification unit 4 for identifying the type of the object based on the dispersion of the distance indicating the distance distribution. Further, the object identification unit 4 detects a difference in the shape of the object to be detected in the depth direction based on the magnitude of the dispersion of the distance of the object region, and identifies the type of the object.
  • the type of the target object cannot be identified only by the contour, the type of the object can be accurately identified by determining the unevenness information in the depth direction of the object using the distance information.
  • the present embodiment by using the distance distribution of the object region, it is possible to identify the type of the target object even if it is a stationary object, and it is possible to improve the identification performance of objects having similar appearances. ..
  • the distance information calculated by the object distance information calculation unit 3 includes a plurality of parts of the object, specifically, the upper part of the object. An example of finding the distance difference of the lower part will be described.
  • the unevenness feature in the depth direction of the pedestrian and the two-wheeled vehicle when viewed from the front and the rear is that the upper part (distance 62) is also the lower part (distance 62) in the case of a pedestrian. While there is no big difference in distance 63), in the case of two-wheeled vehicles, the front wheels and basket part (distance 66) of the lower two-wheeled vehicle are closer to the camera than the upper part (distance 65). , Based on the above-mentioned distance distribution, the difference in distance between the upper part and the lower part of the object area is calculated as distance information and used for identification.
  • the object detection unit 1 detects the object area from the image acquired from the camera 9, and the distance measurement unit 2 determines the distance of the object area obtained by the object detection unit 1. measure.
  • 10A and 10B show the distance information measured by the distance measuring unit 2 for the pedestrian area of 31 in FIG. 3 and the motorcycle area of 32 in FIG. 101 of FIG. 10A shows an example of the distance information acquired for the pedestrian area 31, and 102 of FIG. 10B shows an example of the distance information acquired for the motorcycle area 32.
  • the object distance information calculation unit 3 is based on the distance information (101 in FIG. 10A and 102 in FIG. 10B) acquired by the distance measurement unit 2, and the distance information indicating the characteristics of the depth of the object region (in other words, the depth direction of the object).
  • the distance information that serves as a criterion for determining the shape of the pedestrian is calculated.
  • the distance of the pedestrian object region 31 shown in 101 of FIG. 10A is used as the distance information indicating the characteristics of the depth.
  • the information (distance distribution) is divided into the upper half region 103 and the lower half region 104, and the average value of the distance is calculated for each. In the example shown in FIG.
  • the area of 8 cells from the lower end cell is set as the lower half area 104, and the area of the upper 8 cells (in other words, the 2nd to 9th cells from the upper end). Area for 8 cells) is defined as the upper half area 103.
  • the object identification unit 4 identifies the type of the object from the distance information calculated by the object distance information calculation unit 3, but in the object identification unit 4 of this embodiment, the distance (average value) calculated by the object distance information calculation unit 3 ) Is used as an index indicating the size of the unevenness of the depth of the object area, and the difference (distance difference) between the upper half area 103 and the lower half area 104 is set in advance based on the preset threshold value. If it exceeds the threshold value, it is judged as a two-wheeled vehicle with a two-wheeled vehicle area at the bottom (the unevenness of the shape in the depth direction is large), and if the difference (difference in distance) does not exceed the preset threshold value, it is judged as the upper part. It is judged as a pedestrian who has no difference in the distance between the lower part and the lower part (the unevenness of the shape in the depth direction is small).
  • the distance information (distance distribution) of the object region 32 of the two-wheeled vehicle 102 in FIG. 10B is also divided into the upper half region 105 and the lower half region 106 by the object distance information calculation unit 3, and the distances of each are divided.
  • the average value is calculated, and the object identification unit 4 determines the two-wheeled vehicle and the pedestrian by the difference between the distance average value of the upper half area 105 and the distance average value of the lower half area 106.
  • the average values of the upper half area 103 and the lower half area 104 of the distance information 101 of the pedestrian area 31 are calculated, they are 28.9 m and 28.9 m, respectively, and the difference between the distance average values of the upper half area 103 and the lower half area 104 is 0 m. It becomes.
  • the average values of the upper half area 105 and the lower half area 106 of the distance information 102 of the motorcycle area 32 are calculated, they are 28.8 m and 28.5 m, respectively, and the difference between the distance average values of the upper half area 105 and the lower half area 106 is 0.3 m. Is.
  • the threshold value for identifying the motorcycle and the pedestrian in the object identification unit 4 is 0.2 m
  • the distance difference between the upper and lower sides of the distance information 101 of the pedestrian area 31 in FIG. 10A does not exceed the threshold value. Since the distance difference between the upper and lower sides of the distance information 102 in the motorcycle area 32 of FIG. 10B exceeds the threshold value, it can be determined as a motorcycle.
  • the parallax of the stereo camera is used, and the distance information can be obtained over the entire object area as shown in FIGS. 10A and 10B.
  • the example of taking the difference between the average values of the distances of the upper half and the lower half has been described, but it is not necessarily limited to this, and for example, a part of the central part of the upper half where the distance difference is likely to occur and the lower part. The same effect can be obtained by taking the difference in the average value from a part of the central part of the half.
  • the distance of one or more of the upper region 103 of the distance information 101 shown in FIG. 10A and the distance of one or more of the lower region 104 can be measured, only one can be obtained. If not, it is possible to determine whether it is a pedestrian or a two-wheeled vehicle by taking the difference between the upper and lower parts as the representative distance between the upper part and the lower part. That is, a pedestrian or a two-wheeled vehicle by taking the difference (average value or representative distance) of a plurality of partial regions (areas including one or a plurality of pixels) of a predetermined size that form a part of an object region. It is possible to identify the type of object such as.
  • the object identification unit 4 has a difference in distance between a plurality of partial regions constituting a part of the object region, specifically, the above.
  • the type of the object is identified by the difference in the distance between the upper half area and the lower half area of the object area.
  • FIG. 11 is a block diagram showing a configuration of a third embodiment of the object identification device according to the present invention.
  • the third embodiment has a configuration in which the object recognition unit 5 is added to the block diagram of FIG.
  • the object recognition unit 5 is a process of learning the characteristics of a plurality of types of objects in advance by machine learning or the like and determining the type of the target object by the recognition process. Since what is learned by machine learning is apparent features (features on a two-dimensional image) such as the contour and texture of an object, it may be difficult to recognize and identify objects having similar shapes.
  • the object identification device 10 when the object recognition unit 5 identifies a type that is difficult to identify only by the shape of the target object, the object identification device 10 according to the present embodiment narrows down the target type.
  • the object recognition unit 5 describes an example of identifying an object into four types: a vehicle, a pedestrian, a motorcycle, and others (background). Of these four types of objects, pedestrians and motorcycles have similar apparent characteristics, making it difficult for the object recognition unit 5 to identify them.
  • the object recognition unit 5 narrows down the target to three types of vehicle, pedestrian or motorcycle, and background, and when it is identified as a pedestrian or motorcycle, the object identification device 10 according to this embodiment is used. Identify pedestrians and motorcycles. Further, in this embodiment, an example of calculating the variance of the distance of the object region as the distance information (see also the first embodiment) will be described.
  • FIG. 12 is a flowchart showing a processing flow by the object identification device 10 of the third embodiment.
  • the object detection unit 1 detects the object region from the image.
  • the reference counter i of the detected object (object area) is set to the initial value of 0.
  • the object recognition unit 5 performs recognition processing of the i-th object (hereinafter, object i).
  • object i the i-th object
  • this S124 as described above, from the apparent features on the image, it is recognized which type of object i is among the four types of vehicle / pedestrian / motorcycle / other (background) created in advance.
  • S125 it is determined whether or not the type of object i is recognized by a pedestrian or a two-wheeled vehicle in the recognition process of S124.
  • the process proceeds to S127, and the identification process by the object identification device 10 according to this embodiment is performed. If the type of object i is recognized as a type other than pedestrians and motorcycles, the process proceeds to S126.
  • the process proceeds to S126 and the type of the object i is recognized as a type other than the vehicle / other (background). If so, the process proceeds to S127, and the identification process by the object identification device 10 according to the present embodiment may be performed.
  • the object distance information calculation unit 3 calculates the dispersion of the distance in the object area of the object i (pedestrian or two-wheeled vehicle) as the object distance information based on the distance information acquired by the distance measurement unit 2.
  • the object identification unit 4 determines whether or not the value of the variance of the distance of the object area of the object i calculated in S127 is equal to or greater than the preset threshold value. If the variance is above the threshold, proceed to S129, and if the variance is below the threshold, proceed to S12a.
  • the above is the flow of processing by the object identification device 10 of the third embodiment.
  • recognition by machine learning and identification using the depth distance feature of an object according to this embodiment, it is difficult to identify by apparent features such as contours and textures, and walking that can be identified by using depth information. It enables the identification of a person and a two-wheeled vehicle.
  • this embodiment can be applied to objects having different depth shapes. For example, it can be applied not only to motorcycles but also to tricycles, rickshaws and pedestrians. It can also be applied to distinguish between humans and cows and horses. In addition, this embodiment can also be applied to identification of each type of vehicle (vehicle type, etc.) having similar apparent characteristics.
  • the object identification device 10 of the third embodiment has an object detection unit 1 that detects an object region in which an object exists from an image acquired from the camera 9, and an object detection unit 1 on the image of the object region.
  • An object recognition unit 5 that recognizes the type of the object from its characteristics, and a predetermined object (for example, a pedestrian or a two-wheeled vehicle) or a predetermined object (for example, a vehicle or a background) among the objects recognized by the object recognition unit 5.
  • the object distance information calculation unit 3 that calculates the distance distribution of the object region that does not include the object, and the object identification unit 4 that identifies the type of the object in the object region based on the distance distribution calculated by the object distance information calculation unit 3. And have.
  • the present invention is not limited to the above-described embodiment, and includes various modifications.
  • the above-described embodiment has been described in detail in order to explain the present invention in an easy-to-understand manner, and is not necessarily limited to the one including all the described configurations.
  • each of the above configurations, functions, processing units, processing means, etc. may be realized by hardware by designing a part or all of them by, for example, an integrated circuit. Further, each of the above configurations, functions, and the like may be realized by software by the processor interpreting and executing a program that realizes each function. Information such as programs, tables, and files that realize each function can be stored in a memory, a hard disk, a storage device such as an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, or a DVD.
  • SSD Solid State Drive
  • control lines and information lines indicate those that are considered necessary for explanation, and not all control lines and information lines are necessarily indicated on the product. In practice, it can be considered that almost all configurations are interconnected.
  • Object detector 1 Object detector 2 Distance measurement unit 3 Object distance information calculation unit 4 Object identification unit 5 Object recognition unit (third embodiment) 10 Object identification device 31 Object area (pedestrian area) 32 Object area (motorcycle area)

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

静止物体でも対象となる物体の種別を識別することができ、見かけの類似した対象の識別性能を高めることのできる物体識別装置を提供する。カメラ9から取得した画像から物体が存在する物体領域を検出する物体検出部1と、前記物体領域の距離分布を示す距離の分散を算出する物体距離情報算出部3と、前記距離分布を示す距離の分散に基づき前記物体の種別を識別する物体識別部4とを有する。

Description

物体識別装置
　本発明は、画像から物体の種別を識別する物体識別装置に関する。
　自動車の安全支援や自動運転の実現のため、画像センサにより周囲（例えば前方）の物体を識別する機能が求められている。例えば、衝突回避のため、検知した対象ごとに適切なタイミングでブレーキをかけるためには、歩行者や二輪車など、速度の異なる対象を種別ごとに識別し、それぞれに適したブレーキ制御をおこなう必要がある。
　対象の種別を識別する手法として、大量の特定物体の画像を学習させて作成した識別器を用いる方法が一般に用いられる。しかし、この手法では、画像上の見かけの特徴パターンを学習するため、物体の形状の類似した対象を正確に識別することが困難であった。
　このような特性から、従来の画像による認識では、例えば、歩行中の人（以降、歩行者）と、自転車やバイクなど二輪車に乗った人（以降、二輪車）の識別が困難であった。
　そのため、オプティカルフロー算出による速度で歩行者と二輪車などの対象物の種別を識別する方式が従来用いられている。
　例えば、特許文献１に開示されている画像認識装置では、「被写体のテンプレートを格納している辞書を複数備えている辞書群と、画像中のオプティカルフローベクトルを抽出して、同ベクトルが類似する画素点を抽出することにより、移動体領域を抽出し、その移動速度に基づいて、前記辞書群中から被写体認識のために利用する辞書を選択する辞書選択手段と、抽出した前記移動体領域と、前記辞書選択手段で選択した辞書に格納されたテンプレートを比較することで、被写体を認識する認識手段と、を備えている」との記載がある。
　この特許文献１には、前述のように、画像から算出したオプティカルフローに基づき対象物の速度を算出して、対象物を認識する方法が開示されている。
特許第４６９２３４４号公報
　しかし、特許文献１等に所載の従来手法では、対象物が静止している場合に速度が求まらずに識別ができないという問題や、速度を求めるために複数フレームを必要とするため、識別に時間遅れが発生するという問題があった。
　本発明は、上記事情に鑑みてなされたもので、その目的とするところは、静止物体でも対象となる物体の種別を識別することができ、見かけの類似した対象の識別性能を高めることのできる物体識別装置を提供することにある。
　上記課題を解決するための本発明の特徴は、例えば以下の通りである。
　本発明の物体識別装置は、画像から物体の種別を識別する物体識別装置であって、画像から物体が存在する物体領域を検出する物体検出部と、前記物体領域の距離分布を算出する物体距離情報算出部と、前記距離分布に基づき前記物体の種別を識別する物体識別部とを有することを特徴とする。
　本発明によれば、物体領域の距離分布を用いることで、静止物体でも対象となる物体の種別を識別することができ、見かけの類似した対象の識別性能を高めることができる。
　上記した以外の課題、構成及び効果は以下の実施形態の説明により明らかにされる。
本発明による物体識別装置の第一の実施例の構成を示すブロック図である。 カメラから取得した画像の例を示す図である。 図２の画像から検出した歩行者および二輪車の物体領域を示す図である。 距離計測部で歩行者の物体領域に対して取得した距離情報の例を説明する図である。 距離計測部で二輪車の物体領域に対して取得した距離情報の例を説明する図である。 歩行者領域の距離情報が計測されている状況を側面から示す図である。 二輪車領域の距離情報が計測されている状況を側面から示す図である。 歩行者領域の距離情報を、横軸を距離とした頻度分布で表した図である。 二輪車領域の距離情報を、横軸を距離とした頻度分布で表した図である。 歩行者領域の距離情報から物体自体を計測した距離のみを抽出した距離情報を示す図である。 二輪車領域の距離情報から物体自体を計測した距離のみを抽出した距離情報を示す図である。 距離計測部で歩行者の物体領域に対して取得した距離情報の例（第二の実施例）を示す図である。 距離計測部で二輪車の物体領域に対して取得した距離情報の例（第二の実施例）を示す図である。 本発明による物体識別装置の第三の実施例の構成を示すブロック図である。 第三の実施例の物体識別装置による処理の流れを示すフローチャート図である。
　以下、図面等を用いて、本発明の実施形態について説明する。以下の説明は本発明の内容の具体例を示すものであり、本発明がこれらの説明に限定されるものではなく、本明細書に開示される技術的思想の範囲内において当業者による様々な変更および修正が可能である。また、本発明を説明するための全図において、同一の機能を有するものは、同一の符号を付け、その繰り返しの説明は省略する場合がある。
［第一の実施例］　図１は、本発明による物体識別装置の第一の実施例の構成を示すブロック図である。
　図１に示す物体識別装置10は、例えば図示しない車両に搭載され、画像取得手段としてのカメラ9から取得した画像（車両周囲を撮像した画像）から、物体が存在する領域（以降、物体領域）を検出する物体検出部1と、検出した物体領域から、少なくとも二点以上の距離情報を取得する距離計測部2と、取得された距離情報から、距離分布などの統計情報を算出する物体距離情報算出部3と、算出した距離分布から、検知対象である物体の種別を識別する物体識別部4とを有する。
　なお、物体識別装置10は、CPU（Central Processing Unit）等のプロセッサ、ROM(Read Only Memory）、RAM（Random Access Memory）、HDD（Hard Disk Drive）等のメモリ等を備えるコンピュータとして構成されている。物体識別装置10の各機能は、ROMに記憶されたプログラムをプロセッサが実行することによって実現される。RAMは、プロセッサが実行するプログラムによる演算の中間データ等を含むデータを格納する。
　第一の実施例の構成要素について順に説明する。
　物体検出部1は、カメラ9から取得した画像から、物体領域を検出する手段である。この処理は、画像中から一塊の剛体領域を検出する処理であり、様々な手段を用いることができる。例えば画像を取得するカメラとしてステレオカメラを用いる場合、視差により画像上の距離を求めることができる。画像上で隣り合って距離の近い領域をグルーピングすることで物体領域を求めることができる。
　距離計測部2は、物体検出部1で求めた物体領域の距離を計測する手段である。例えばステレオカメラを用いる場合、視差により物体領域の距離を求めることができる。
　物体距離情報算出部3は、距離計測部2で計測した距離に基づき、物体領域の距離情報を算出する手段である。この手段は、物体領域内で取得した、複数点で計測した距離情報から、物体の奥行き方向の形状の判断基準となる距離情報を算出する手段である。
　奥行き方向の形状の判断基準となる距離情報には、例として物体領域内の距離分布を示す距離の分散がある。距離の分散が小さいと、物体の奥行き方向の形状の凹凸が小さく、物体領域が平面的であるということができる。これに対して、距離の分散が大きいと、物体の奥行き方向の形状の凹凸が大きく、物体領域が平面的でないということができる。つまり、物体領域の距離の分散の大きさによって、検知対象である物体の奥行方向の形状の違いを検知できる。
　物体識別部4は、物体距離情報算出部3で算出した物体領域の距離情報に基づき、あらかじめ設定したしきい値により、物体の種別を識別する手段である。距離情報として距離の分散を用いる場合、あらかじめ設定したしきい値より分散が大きい場合は奥行き方向の凹凸のある物体、あらかじめ設定したしきい値より分散が小さい場合は奥行き方向の凹凸が少なく平面的な物体とする。
　本実施例による物体識別装置10の実際の処理の流れを具体例を用いて説明する。本実施例では、画像取得手段としてステレオカメラを用い、取得した画像の位置に対応する距離が取得できる例を示す。
　図２は、カメラから取得した画像の例を示す図である。図２の画像21中に、歩行者22と二輪車23が存在する。
　物体検出部1では、画像21中から物体領域を検出する。物体検出部1の実現手段には様々な方法があるが、例えば画像取得手段としてステレオカメラを用いている場合、ステレオカメラから取得できる視差を用いて画面中の距離情報を取得し、距離の近い領域をグルーピングすることで物体領域を抽出することができる。図３に、図２の画像21から検出した歩行者22および二輪車23の物体領域31、32を示す。なお、物体領域31、32は、図３に示すように矩形であってもよいし、視差や距離から得られる不定形の領域であってもよい。計算処理を容易にするため、一般には矩形として扱われている。
　距離計測部2は、物体検出部1で検出した物体領域内の距離情報を取得する手段である。図４に、距離計測部2で歩行者22の物体領域31（以降、歩行者領域31という場合がある）に対して取得した距離情報の例を、図５に、距離計測部2で二輪車23の物体領域32（以降、二輪車領域32という場合がある）に対して取得した距離情報の例を示す。図４の41に示すのは、図３の歩行者領域31に対する距離情報であり、図５の51に示すのは、図３の二輪車領域32に対する距離情報である。41や51中に示すセルは、画像中の画素や複数画素群であり、セル中の数値がその位置の対象のカメラからの距離を示している。ここでは、例としてメートル単位の距離の値を示す。歩行者領域31に対応する距離情報41、二輪車領域32に対応する距離情報51それぞれで、縦17セル、横8セルの136セルの位置で距離が計測されている。距離情報41中の43や44の領域は、歩行者領域31において、歩行者が存在する領域に相当し、28.9m等の距離が計測されている。これに対し、距離情報41中の47に示す領域は、背景の領域であるため、43で計測された距離より遠い70.0m等の距離が計測されている。同様に、距離情報51中の52や53に示す領域は、二輪車領域32において、二輪車が存在する領域に相当し、二輪車に乗っている人の上半身部分の52の領域では28.9m程度の距離、下部の二輪車の前部分の53の領域では28.0m程度の距離が計測されている。また、距離情報51中の54に示す領域は、背景領域であり、70.0m等の距離が計測されている。
　歩行者領域31の距離情報41、二輪車領域32の距離情報51が計測されている状況を側面から示したのが、図６Ａおよび図６Ｂである。図６Ａ中、61が歩行者であり、図４の31や41を撮影したカメラを67とする。ここで、62と63がそれぞれ図４における領域43と領域44の計測距離を示す。歩行者61の場合、顔付近の距離62と、歩行中で後ろに引いている足の距離63では、距離に差は発生するが、後方に引いている足の領域69は図４の破線で示す領域49に示すセル6個分の範囲であり、歩行者領域全体から見て、6÷136≒4.4％であり、相対的に狭い範囲である。
　これに対し、図６Ｂ中、64が二輪車であり、図５の32や51を撮影したカメラを67とする。ここで、65と66がそれぞれ図５における52と53の領域の計測距離を示す。二輪車64の場合、二輪車に乗っている人の顔付近の領域52を計測している距離65と、二輪車の前輪部である領域53を計測している距離66では距離に差があり、また、二輪車の車輪や籠の部分など、カメラ67からの距離が近い領域68は図５の破線で示す領域58に示すセル28個分の範囲であり、二輪車領域全体から見て、28÷136=20.6％であり、相対的に広い範囲で、距離の異なる領域が計測される。
　物体距離情報算出部3では、距離計測部2で取得した距離情報に基づき、物体領域の奥行きの特徴を示す距離情報を算出する手段である。奥行きの特徴を示す距離情報の例として、物体領域の距離の分散を求める例で説明する。
　図７は、図４の41に示す歩行者領域の距離情報を、横軸を距離とした頻度分布で表したものである。縦軸は画素数である。歩行者領域31の距離情報41全体の距離分布は、広い範囲で分布している。これは、図４の41の歩行者領域の距離情報中には、47に示すように背景の領域や、48に示すように視差が取得できず値が0となる領域も混在することによる。図７の例では、距離は0mから70mに分布している。
　分散を算出する際には、41に示す歩行者領域の距離情報すべてで分散を求めても良いが、41の距離情報には、物体領域以外の背景の距離や、距離が正確に求まらなかった無効な距離が含まれるため、物体領域中で対象物体（41の場合は歩行者）の距離として確からしい計測距離のみを対象に分散を求めることで、より正確に対象物体の奥行き距離情報を算出できると考えられる。物体領域から物体自体を計測した距離を抽出するため、例えば下記のような方法を採る。
　まず、識別対象の物体の奥行きの大きさにより、物体の距離範囲のしきい値を設定する。本実施例で対象とする歩行者と二輪車の奥行きは、最大2m程度で、誤差を考慮しても3m程度と設定できる。物体領域の物体の距離分布のピーク位置の前後1.5mの範囲が物体の距離範囲とすると、その範囲を超えて計測された距離は、背景の距離もしくは計測に失敗した無効な距離等として扱うことができる。物体自体の距離で分散を算出する方法を、図７の歩行者領域の距離分布を例に採り説明する。図７に示す距離分布で、頻度最大の距離の位置を71に示す。図４の41の歩行者領域の距離情報でピークとなる距離を歩行者領域の代表距離と考え、71のピーク距離（代表距離）を基準とし、前後の一定の範囲に含まれる距離のみを対象として分散を算出するものとする。代表距離は28.9mであるので、その前後1.5mの範囲である27.3m～30.4mの範囲の計測値のみを採用して分散を算出する。図７中、74に示す距離範囲が、ピーク距離71を中心とした前後1.5mの、歩行者領域を計測したと考えられる距離範囲である。これに対して、74以下の距離範囲72と、74以上の距離範囲73は、背景の距離、もしくは計測できない無効な距離と考えられる距離範囲である。すなわち、物体距離情報算出部3は、物体領域のピーク距離（代表距離）71から距離差の大きい距離範囲72、73の距離情報は除外して、距離分布を示す距離の分散を算出する。
　同様に、図８は、図５の51に示す二輪車領域の距離情報を、横軸を距離とした頻度分布で表したものである。図８に示す距離分布で、頻度最大の距離の位置を81に示す。図５の51の二輪車領域の距離情報でピークとなる距離を二輪車領域の代表距離と考え、81のピーク距離（代表距離）を基準とし、前後の一定の範囲に含まれる距離のみを対象として分散を算出するものとする。代表距離は28.9mであるので、その前後1.5mの範囲である27.3m～30.4mの範囲の計測値のみを採用して分散を算出する。図８中、85に示す距離範囲が、ピーク距離81を中心とした前後1.5mの、二輪車領域を計測したと考えられる距離範囲である。これに対して、85以下の距離範囲83と、85以上の距離範囲84は、背景の距離もしくは計測できない無効な距離と考えられる距離範囲である。すなわち、物体距離情報算出部3は、物体領域のピーク距離（代表距離）81から距離差の大きい距離範囲83、84の距離情報は除外して、距離分布を示す距離の分散を算出する。
　図９Ａおよび図９Ｂは、上記の方法に基づき、歩行者領域および二輪車領域の距離情報から物体自体を計測した距離のみを抽出した距離情報を示す図である。
　図７の74の範囲に含まれる距離のみを抽出した距離情報を、図９Ａの91に、図８の85の範囲に含まれる距離のみを抽出した距離情報を図９Ｂの92に示す。このように背景情報や無効な距離情報を除外した距離情報のみでそれぞれ分散を算出すると、図９Ａの91の分散は0.0008、図９Ｂの92の分散は0.19となる。歩行者領域の分散が二輪車領域の分散よりも小さい理由は、91の歩行者領域の距離分布は、図７の71に示すように距離分布に高いピークがあり、歩行者領域は奥行き方向に凹凸（形状変化）が小さいことに起因する。これに対し、二輪車領域の分散が歩行者領域の分散に比べて大きいのは、92の二輪車領域の距離分布は、図８の81に示すピークが歩行者領域に比べて低く、82に示すピークから近い距離でも距離計測がされていることに起因する。これは、図５の58に示す二輪車の前輪やカゴ部分が、二輪車に乗っている人の体領域よりもカメラ側から見て近くに計測されていることに起因する。
　物体識別部4は、物体距離情報算出部3で算出した距離情報から、物体の種別を識別する手段である。具体的には、物体距離情報算出部3で算出した分散の値を、物体領域の奥行きの凹凸の大きさを示す指標とし、あらかじめ設定したしきい値に基づき、分散がしきい値よりも大きい場合には奥行き方向の形状の凹凸が大きい二輪車、分散がしきい値よりも小さい場合には奥行き方向の形状の凹凸が小さい歩行者として判定をする処理を行う。しきい値は、評価実験等により適切に定めた値とする。
　例として、分散のしきい値を0.01とし、これを超えるものを二輪車、超えないものを歩行者とすると、図９Ａの91の歩行者の分散は0.0008でしきい値を超えないため、歩行者、図９Ｂの92の二輪車の分散は0.19でしきい値を超えるため、二輪車と判定する。
　以上が、本発明による物体識別装置10の第一の実施例である。以上で説明したように、本実施例の物体識別装置10は、カメラ9から取得した画像から物体が存在する物体領域を検出する物体検出部1と、前記物体領域の距離分布を示す距離の分散を算出する物体距離情報算出部3と、前記距離分布を示す距離の分散に基づき前記物体の種別を識別する物体識別部4とを有する。また、前記物体識別部4は、前記物体領域の距離の分散の大きさにより、検知対象である前記物体の奥行方向の形状の違いを検知して、前記物体の種別を識別する。
　これにより、輪郭のみで対象となる物体の種別を識別できない場合に、物体の奥行き方向の凹凸情報を距離情報を使って判定することで、物体の種別を精度よく識別可能である。
　このように、本実施例によれば、物体領域の距離分布を用いることで、静止物体でも対象となる物体の種別を識別することができ、見かけの類似した対象の識別性能を高めることができる。
［第二の実施例］　第二の実施例では、図１の物体識別装置10において、物体距離情報算出部3で算出する距離情報として、物体の複数の部分、具体的には物体の上部と下部の距離差を求める例を説明する。
　第二の実施例では、前方、後方から見た場合の歩行者と二輪車の奥行き方向の凹凸特徴が、図６Ａおよび図６Ｂに示すように、歩行者の場合は上部（距離62）も下部（距離63）も大きな差がないのに対し、二輪車の場合は上部（距離65）に比べて下部の二輪車の前輪やカゴの部分（距離66）がカメラから見て近い距離になる特徴を利用し、前述した距離分布を基に、物体領域の上部と下部の距離の差を距離情報として算出し、識別に用いる。
　前述した第一の実施例と同様にして、物体検出部1では、カメラ9から取得した画像から、物体領域を検出し、距離計測部2では、物体検出部1で求めた物体領域の距離を計測する。
　図１０Ａおよび図１０Ｂは、図３の31の歩行者領域と、図３の32の二輪車領域について、距離計測部２で計測した距離情報を示したものである。図１０Ａの101に示すのが歩行者領域31に対して取得した距離情報の例で、図１０Ｂの102に示すのが二輪車領域32に対して取得した距離情報の例である。
　物体距離情報算出部3は、距離計測部2で取得した距離情報（図１０Ａの101および図１０Ｂの102）に基づき、物体領域の奥行きの特徴を示す距離情報（換言すれば、物体の奥行き方向の形状の判断基準となる距離情報）を算出するが、本実施例の物体距離情報算出部3では、奥行きの特徴を示す距離情報として、図１０Ａの101に示す歩行者の物体領域31の距離情報（距離分布）に対し、上半分の領域103と下半分の領域104に分けて、それぞれで距離の平均値を算出する。図１０Ａに示す例では、縦17セルのうち、下端のセルから8セル分の領域を下半分の領域104とし、その上側の8セル分の領域（換言すれば、上端から2～9番目までの8セル分の領域）を上半分の領域103としている。
　物体識別部4は、物体距離情報算出部3で算出した距離情報から、物体の種別を識別するが、本実施例の物体識別部4では、物体距離情報算出部3で算出した距離（平均値）を、物体領域の奥行きの凹凸の大きさを示す指標とし、あらかじめ設定したしきい値に基づき、上半分の領域103と下半分の領域104との差分（距離の差）があらかじめ設定したしきい値を超えた場合には、下部に二輪車領域がある（奥行き方向の形状の凹凸が大きい）二輪車と判定し、差分（距離の差）があらかじめ設定したしきい値を超えない場合は、上部と下部の距離に差がない（奥行き方向の形状の凹凸が小さい）歩行者として判定する。
　図１０Ｂの102の二輪車の物体領域32の距離情報（距離分布）についても同様に、物体距離情報算出部3にて、上半分の領域105と下半分の領域106に分けて、それぞれで距離の平均値を算出し、物体識別部4にて、上半分の領域105の距離平均値と下半分の領域106の距離平均値の差により、二輪車と歩行者を判定する。
　歩行者領域31の距離情報101の上半分領域103と下半分領域104の平均値を算出すると、それぞれ28.9m、28.9mとなり、上半分領域103と下半分領域104の距離平均値の差は0mとなる。二輪車領域32の距離情報102の上半分領域105と下半分領域106の平均値を算出すると、それぞれ28.8mと28.5mとなり、上半分領域105と下半分領域106の距離平均値の差は0.3mである。物体識別部4にて、二輪車と歩行者を識別するしきい値を0.2mとすると、図１０Ａの歩行者領域31の距離情報101の上下の距離差はしきい値を超えないので歩行者、図１０Ｂの二輪車領域32の距離情報102の上下の距離差はしきい値を超えるので二輪車と、それぞれ判定することができる。
　以上の例では、ステレオカメラの視差を用い、図１０Ａおよび図１０Ｂのように物体領域全面で距離情報が得られる例で説明した。また、上半分と下半分の距離の平均値の差分を取る例で説明したが、必ずしもこれに限るものでなく、例えば、距離差が出やすい上半分の中央部の一部の領域と、下半分の中央部の一部の領域との平均値の差を取る方法でも同様の効果が得られる。また、必ずしも全面で距離情報が得られる前提でなく、例えばレーザセンサなどにより物体領域上の限られた点のみでしか距離が計測できない場合でも、本実施例を適用することができる。例えば、図１０Ａに示す距離情報101の上部の領域103のうち一か所以上の距離と、下部の領域104のうち一か所以上の距離とを計測することができれば、一か所しか得られない場合は上部と下部の代表距離として上下の差分を取ることで、歩行者か二輪車かの判定をすることができる。つまり、物体領域の一部を構成する所定の大きさの複数の部分領域（一つまたは複数の画素を含む領域）の距離（平均値もしくは代表距離）の差を取ることで、歩行者か二輪車かといった物体の種別を識別することができる。
　以上で説明したように、本第二の実施例の物体識別装置10では、前記物体識別部4は、前記物体領域の一部を構成する複数の部分領域の距離の差、具体的には前記物体領域の上半分領域と下半分領域の距離の差により、前記物体の種別を識別する。
　これにより、本実施例においても、上述した第一の実施例と同様に、物体領域の距離分布を用いることで、静止物体でも対象となる物体の種別を識別することができ、見かけの類似した対象の識別性能を高めることができる。
［第三の実施例］　図１１は、本発明による物体識別装置の第三の実施例の構成を示すブロック図である。第三の実施例は、図１のブロック図に物体認識部5を追加した構成である。
　物体認識部5は、機械学習などであらかじめ複数の種別の物体の特徴を学習しておき、認識処理により対象の物体の種別を判定する処理である。機械学習で学習するのは、物体の輪郭やテクスチャなどの見かけの特徴（二次元的な画像上の特徴）であるため、形状の類似した物体の認識・識別が困難な場合が発生する。
　本第三の実施例では、物体認識部5で、対象の物体の形状のみでは識別が困難な種別に識別した場合に、本実施例による物体識別装置10を用いて対象の種別を絞り込む例について説明する。例として、物体認識部5では、物体を車両、歩行者、二輪車、その他（背景）の4種別に識別する例を説明する。これら4種別の物体のうち、歩行者と二輪車は見かけの特徴が似ており、物体認識部5では識別が困難とする。本第三の実施例では、物体認識部5で車両、歩行者もしくは二輪車、背景の3種別に対象を絞り込み、歩行者もしくは二輪車と識別された場合に、本実施例による物体識別装置10を用いて歩行者と二輪車を識別する。また、この実施例では、距離情報として物体領域の距離の分散を算出する例（第一の実施例を併せて参照）で説明する。
　図１２は、第三の実施例の物体識別装置10による処理の流れを示すフローチャート図である。
　S121では、図２に示すようにカメラ9から画像を取得する。
　S122では、図３に示すように物体検出部1により画像から物体領域を検出する。
　S123では、検出した物体（物体領域）の参照カウンタiを初期値の0とする。
　S124では、物体認識部5でi番目の物体（以降、物体i）の認識処理を行う。このS124では、前述のように、画像上の見かけの特徴から、物体iがあらかじめ作成した車両/歩行者/二輪車/その他（背景）の4種別のうちどの種別の物体であるかを認識する。
　S125では、S124の認識処理で物体iの種別が歩行者もしくは二輪車に認識されたか否かを判定する。物体iの種別が歩行者もしくは二輪車と認識された場合にはS127に進み、本実施例による物体識別装置10による識別処理を実施する。物体iの種別が歩行者・二輪車以外の種別と認識された場合は、S126の処理に進む。
　なお、本実施例では、物体iの種別が歩行者もしくは二輪車に認識されたか否かを判定しているが、例えば、物体iの種別が（歩行者や二輪車以外の）車両もしくはその他（背景）に認識されたか否かを判定し、物体iの種別が車両もしくはその他（背景）と認識された場合は、S126の処理に進み、物体iの種別が車両・その他（背景）以外の種別と認識された場合はS127に進み、本実施例による物体識別装置10による識別処理を実施してもよい。
　S126では、S124の認識処理で物体iの種別が車両、その他（背景）と認識された場合は、認識された種別（物体i認識結果）をそのまま物体iの種別として採用し、S12bの処理に進む。
　S127では、物体距離情報算出部3で、距離計測部2で取得した距離情報に基づき、物体の距離情報として物体i（歩行者もしくは二輪車）の物体領域の距離の分散を算出する。
　S128では、物体識別部4で、S127で算出した物体iの物体領域の距離の分散の値があらかじめ設定したしきい値以上か否かを判定する。分散がしきい値以上の場合はS129に進み、分散がしきい値未満の場合はS12aに進む。
　S129では、物体iの距離の分散の値がしきい値以上の場合には、第一の実施例で述べたように物体の奥行き方向の形状の凹凸が大きいことから、物体iを二輪車と判定する。
　S12aでは、物体iの距離の分散の値がしきい値を超えない場合には、第一の実施例で述べたように物体の奥行き方向の形状の凹凸が小さいことから、物体iを歩行者と判定する。
　S12bでは、物体（物体領域）の参照カウンタiをインクリメントする。
　S12cでは、参照カウンタiが立体物候補領域数最大値（物体数）を超えたか否かを判定する。超えていない場合は未処理の立体物候補領域があるとし、S125の処理に進む。超えている場合は本処理を終了する。
　以上が第三の実施例の物体識別装置10による処理の流れである。機械学習による認識と、本実施例による、物体の奥行距離特徴を使った識別を組み合わせることで、輪郭やテクスチャなどの見かけの特徴で識別が困難で、かつ奥行き情報を使うことで識別可能な歩行者と二輪車の識別を可能とする。
　また、本実施例（上述した第一および第二の実施例も同様）では、歩行者と二輪車の例を用いたが、前述のように、正面や背面からの見かけの形状が似ているが、奥行きの形状が異なる対象であれば、同様に本実施例を適用可能である。例えば、二輪車のみでなく、三輪車、リキシャと歩行者の識別にも適用可能である。また、人間と牛や馬等の識別にも適用可能である。また、見かけの特徴が類似した車両の種別（車種など）ごとの識別にも本実施例を適用可能である。
　以上で説明したように、本第三の実施例の物体識別装置10は、カメラ9から取得した画像から物体が存在する物体領域を検出する物体検出部1と、前記物体領域の前記画像上の特徴から前記物体の種別を認識する物体認識部5と、前記物体認識部5で認識した物体のうち所定の物体（例えば、歩行者もしくは二輪車）を含むまたは所定の物体（例えば、車両もしくは背景）を含まない前記物体領域の距離分布を算出する物体距離情報算出部3と、前記物体距離情報算出部3で算出した前記距離分布に基づき前記物体領域の前記物体の種別を識別する物体識別部4とを有する。
　これにより、例えば機械学習による二次元的な認識と、物体の奥行距離特徴を使った三次元的な識別を組み合わせることで、物体の種別を迅速かつ精度よく識別可能である。
　このように、本実施例においても、上述した第一および第二の実施例と同様に、物体領域の距離分布を用いることで、静止物体でも対象となる物体の種別を識別することができ、見かけの類似した対象の識別性能を高めることができる。
　なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることが可能である。また、各実施例の構成の一部について、他の実施例の構成の追加・削除・置換をすることが可能である。
　また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
　また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
1　物体検出部
2　距離計測部
3　物体距離情報算出部
4　物体識別部
5　物体認識部（第三の実施例）
10　物体識別装置
31　物体領域（歩行者領域）
32　物体領域（二輪車領域）
 

Claims (6)

  1. 　画像から物体の種別を識別する物体識別装置であって、
    　画像から物体が存在する物体領域を検出する物体検出部と、
    　前記物体領域の距離分布を算出する物体距離情報算出部と、
    　前記距離分布に基づき前記物体の種別を識別する物体識別部とを有することを特徴とする物体識別装置。
  2. 　請求項１に記載の物体識別装置において、
    　前記画像上の特徴から前記物体の種別を認識する物体認識部を有し、
    　前記物体距離情報算出部は、前記物体認識部で認識した物体のうち所定の物体を含むまたは所定の物体を含まない前記物体領域の距離分布を算出し、
    　前記物体識別部は、前記物体距離情報算出部で算出した前記距離分布に基づき前記物体領域の前記物体の種別を識別することを特徴とする物体識別装置。
  3. 　請求項１に記載の物体識別装置において、
    　前記物体識別部は、前記物体領域の距離の分散の大きさにより、検知対象である前記物体の奥行方向の形状の違いを検知して、前記物体の種別を識別することを特徴とする物体識別装置。
  4. 　請求項１に記載の物体識別装置において、
    　前記物体識別部は、前記物体領域の一部を構成する複数の部分領域の距離の差により、前記物体の種別を識別することを特徴とする物体識別装置。
  5. 　請求項４に記載の物体識別装置において、
    　前記物体識別部は、前記物体領域の上半分領域と下半分領域の距離の差により、前記物体の種別を識別することを特徴とする物体識別装置。
  6. 　請求項１に記載の物体識別装置において、
    　前記物体距離情報算出部は、前記物体領域の代表距離から距離差の大きい距離情報は除外して前記距離分布を算出することを特徴とする物体識別装置。
     
PCT/JP2020/039327 2019-11-14 2020-10-20 物体識別装置 WO2021095455A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019206342A JP7373972B2 (ja) 2019-11-14 2019-11-14 物体識別装置
JP2019-206342 2019-11-14

Publications (1)

Publication Number Publication Date
WO2021095455A1 true WO2021095455A1 (ja) 2021-05-20

Family

ID=75911970

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/039327 WO2021095455A1 (ja) 2019-11-14 2020-10-20 物体識別装置

Country Status (2)

Country Link
JP (1) JP7373972B2 (ja)
WO (1) WO2021095455A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024070925A1 (ja) * 2022-09-30 2024-04-04 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法及びプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113936034B (zh) * 2021-09-28 2024-05-28 北京航空航天大学 一种结合帧间光流的表观运动联合弱小运动目标检测方法
WO2023112127A1 (ja) * 2021-12-14 2023-06-22 日立Astemo株式会社 画像認識装置、および、画像認識方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004020492A (ja) * 2002-06-19 2004-01-22 Nissan Motor Co Ltd 前方物体認識装置
JP2019101470A (ja) * 2017-11-28 2019-06-24 株式会社Ｓｕｂａｒｕ 車外環境認識装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004020492A (ja) * 2002-06-19 2004-01-22 Nissan Motor Co Ltd 前方物体認識装置
JP2019101470A (ja) * 2017-11-28 2019-06-24 株式会社Ｓｕｂａｒｕ 車外環境認識装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024070925A1 (ja) * 2022-09-30 2024-04-04 ソニーセミコンダクタソリューションズ株式会社 画像処理装置、画像処理方法及びプログラム

Also Published As

Publication number Publication date
JP7373972B2 (ja) 2023-11-06
JP2021081789A (ja) 2021-05-27

Similar Documents

Publication Publication Date Title
WO2021095455A1 (ja) 物体識別装置
KR102109941B1 (ko) 라이다 센서 및 카메라를 이용한 객체 검출 방법 및 그를 위한 장치
JP6657789B2 (ja) 画像処理装置、撮像装置、機器制御システム、頻度分布画像生成方法、及びプログラム
JP6733225B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
US10442438B2 (en) Method and apparatus for detecting and assessing road reflections
JP6702340B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
CN109997148B (zh) 信息处理装置、成像装置、设备控制系统、移动对象、信息处理方法和计算机可读记录介质
JP6972797B2 (ja) 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及びプログラム
JP6769477B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JPWO2017158958A1 (ja) 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム
JP6705497B2 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、プログラム、及び移動体
US10013618B2 (en) Method and apparatus for detecting side of object using ground boundary information of obstacle
EP3115933A1 (en) Image processing device, image capturing device, mobile body control system, image processing method, and computer-readable recording medium
WO2010109831A1 (ja) ドライブレコーダ
US10789727B2 (en) Information processing apparatus and non-transitory recording medium storing thereon a computer program
JP6514736B2 (ja) 車外環境認識装置
JP6972798B2 (ja) 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及びプログラム
JP6171608B2 (ja) 物体検出装置
WO2017169704A1 (ja) 環境認識装置
EP3327696B1 (en) Information processing apparatus, imaging device, device control system, mobile body, information processing method, and program
JP7071102B2 (ja) 車外環境認識装置
JP5758176B2 (ja) 特徴領域抽出装置、特徴領域抽出方法、及びプログラム
JP5798078B2 (ja) 車両用外界認識装置とそれを用いた車両システム
WO2018097269A1 (en) Information processing device, imaging device, equipment control system, mobile object, information processing method, and computer-readable recording medium
JP2018088237A (ja) 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法、及び、情報処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20888576

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20888576

Country of ref document: EP

Kind code of ref document: A1