WO2021070537A1 - 物体認識装置 - Google Patents

物体認識装置 Download PDF

Info

Publication number
WO2021070537A1
WO2021070537A1 PCT/JP2020/033885 JP2020033885W WO2021070537A1 WO 2021070537 A1 WO2021070537 A1 WO 2021070537A1 JP 2020033885 W JP2020033885 W JP 2020033885W WO 2021070537 A1 WO2021070537 A1 WO 2021070537A1
Authority
WO
WIPO (PCT)
Prior art keywords
region
site
unit
image
distance
Prior art date
Application number
PCT/JP2020/033885
Other languages
English (en)
French (fr)
Inventor
遠藤　健
春樹 的野
永崎　健
Original Assignee
日立Astemo株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日立Astemo株式会社 filed Critical 日立Astemo株式会社
Priority to US17/767,043 priority Critical patent/US12118801B2/en
Priority to DE112020004301.0T priority patent/DE112020004301T5/de
Publication of WO2021070537A1 publication Critical patent/WO2021070537A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle

Definitions

  • the present invention relates to an object recognition device.
  • Patent Document 1 discloses a method of calculating the distance from the ground contact position of the pedestrian on the image and the mounting position information of the vehicle of the imaging means.
  • Patent Document 1 it is necessary to estimate the ground contact position between the road surface and the feet.
  • the colors of the road surface and the pedestrian's trousers are similar, it becomes difficult to estimate the boundary between the foot and the road surface with high accuracy, and it becomes a problem that the distance accuracy is lowered.
  • an object of the present invention is to provide an object recognition device capable of estimating the distance from an own vehicle to an object such as a pedestrian with high accuracy.
  • the object recognition device includes a sensor information acquisition unit that acquires sensor information that senses the surroundings, an image acquisition unit that acquires an image of the surroundings, and the sensor information acquisition unit.
  • a distance information acquisition unit that acquires distance information for an overlapping region where the sensing regions of the image acquisition unit overlap, and an overlapping region object that detects an object from the overlapping region based on the distance information acquired by the distance information acquisition unit.
  • a part identification part that determines a specific part area in the object by analyzing an image of the area corresponding to the object detected by the detection part and the overlapping area object detection part, and a part area determined by the part identification part.
  • An image information storage unit that stores image information related to a device, a three-dimensional information acquisition unit that acquires three-dimensional information of a site region specified by the site identification unit based on the distance information acquired by the distance information acquisition unit, and the sensor.
  • the image information stored in the image information storage unit is referred to for a non-overlapping region in which the information acquisition unit and the sensing region of the image acquisition unit do not overlap, and the site region specified by the site identification unit or the site identification unit
  • a non-overlapping region object detection unit that detects a similar site region having a part of the specified site region, and detection region information on the image of the site region or the similar region region detected by the non-overlapping region object detection unit.
  • a distance calculation unit that calculates the distance to the site region or an object including the similar site region based on the three-dimensional information acquired by the three-dimensional information acquisition unit.
  • the distance from the own vehicle to an object such as a pedestrian can be estimated with high accuracy.
  • FIG. 1 It is a functional block diagram which shows the structure of the object recognition apparatus of 1st Embodiment which concerns on this invention. It is a bird's-eye view which shows the positional relationship (the pedestrian is in the overlap area) of a vehicle and a pedestrian at an intersection for demonstrating the operation example 1 of the object recognition device of the 1st Embodiment disclosed in FIG. It is a bird's-eye view which shows the positional relationship between a vehicle and a pedestrian at an intersection (the pedestrian is in a non-overlapping region) for explaining the operation example 1 of the object recognition device according to the first embodiment disclosed in FIG.
  • FIG. 5 is a flowchart showing an operation example 2 of the object recognition device according to the first embodiment disclosed in FIG. 1 for estimating a distance to a pedestrian based on the height or width of a site region.
  • It is a functional block diagram which shows the structure of the object recognition apparatus of 2nd Embodiment which concerns on this invention.
  • It is a flowchart which shows the operation example of the object recognition apparatus in 2nd Embodiment disclosed in FIG.
  • the object recognition device 1 of the present embodiment acquires, for example, sensor information that senses (monitors or recognizes) the periphery from a sensor (not shown), acquires an image of the periphery from a camera (not shown), and obtains an image of the periphery. Based on the acquired information, it recognizes objects existing in the vicinity (pedestrians, etc.) and calculates the distance to the object.
  • FIG. 1 is a functional block diagram showing the configuration of the object recognition device 1 of the first embodiment.
  • the object recognition device 1 of the present embodiment is composed of a camera, a computer, a memory, a storage device, and the like, and the computer operates as various functional units by executing a control program stored in the memory and the like.
  • the object recognition device 1 includes a sensor information acquisition unit 100, an image acquisition unit 101, a distance information acquisition unit 102, and an overlapping area object detection unit 103 as functional units realized by the operation of a camera or a computer. It has a site identification unit 104, an image information storage unit 105, a three-dimensional information acquisition unit 106, a non-overlapping region object detection unit 107, and a distance calculation unit 108.
  • the sensor information acquisition unit 100 acquires and collects the sensor information of the target sensor.
  • the target sensor is a camera, millimeter wave, laser radar, far infrared camera, or the like.
  • the sensor targeted by the sensor information acquisition unit 100 will be described as a camera.
  • the image acquisition unit 101 acquires image data captured by the camera.
  • the sensing areas (hereinafter, may be referred to as a field of view) of the sensor information acquisition unit 100 (target camera) and the image acquisition unit 101 (target camera) are set so as to partially overlap. Has been done.
  • the sensor information acquisition unit 100 and the image acquisition unit 101 are described as separate bodies from the camera including the optical lens, the optical sensor, and the like, but may be integrated with the camera (in other words, the sensor information acquisition unit 100 and the image acquisition unit 101 and the like.
  • the image acquisition unit 101 may constitute the camera itself).
  • the distance information acquisition unit 102 calculates the distance information for the overlapping area where the sensor information acquisition unit 100 and the sensing area of the image acquisition unit 101 overlap.
  • the information of either or both of the sensor information acquisition unit 100 and the image acquisition unit 101 can be used.
  • the distance can be obtained by performing stereo matching on the area (overlapping area) that shares the field of view with the image acquisition unit 101.
  • the disparity is calculated by obtaining the corresponding pixel from the image data of the image acquisition unit 101 for a pixel having the image data which is the sensor information of the sensor information acquisition unit 100.
  • the distance can be calculated from the positional relationship between the sensor information acquisition unit 100 and the target camera of the image acquisition unit 101, the focal length, and the pixel size information.
  • other arbitrary distance estimation means other than stereo matching can be used.
  • the overlapping area of the field of view covers not only the area consisting of one sensor device but also the area of the field of view consisting of separate sensor devices.
  • the overlapping area object detection unit 103 detects an object from an area (overlapping area) that shares the field of view of the sensor information acquisition unit 100 and the image acquisition unit 101 based on the distance information acquired by the distance information acquisition unit 102.
  • an object can be detected from an overlapping region by connecting pixels having similar parallax values.
  • it may be detected by a discriminator trained in the statistical tendency of the parallax value information.
  • any object detection means can be used.
  • the object detected by the overlapping area object detection unit 103 will be described as a pedestrian.
  • the generality of the present invention is not lost even if the object to be detected is an object other than a pedestrian.
  • the site identification unit 104 analyzes the image of the area corresponding to the pedestrian detected by the overlapping area object detection unit 103 based on the image information of the pedestrian detected by the overlapping area object detection unit 103. Determine a specific site area in a pedestrian.
  • the image information used here when the camera is used by the sensor information acquisition unit 100, the information of either the sensor information acquisition unit 100 or the image acquisition unit 101 is used.
  • the contrast change point regarding the brightness of the object detected by the overlapping region object detection unit 103 is detected, and the brightly imaged region is detected as the pedestrian region region.
  • a histogram for each row is calculated for the image of the object area (area corresponding to the object) detected by the overlapping area object detection unit 103, and the amount of change in the adjacent histogram is equal to or greater than a predetermined value. It can be decided by finding the point.
  • the image information storage unit 105 stores image information related to the pedestrian part region detected / determined by the part identification unit 104.
  • the three-dimensional information acquisition unit 106 acquires three-dimensional information of the site area specified by the site identification unit 104 based on the distance information acquired by the distance information acquisition unit 102.
  • the three-dimensional information is the height of the specified site region from the road surface, or the actual size (actual size) of the height and width of the site region.
  • the non-overlapping area object detection unit 107 refers to the image information stored in the image information storage unit 105, and from the area (non-overlapping area) in which the field of view of the sensor information acquisition unit 100 and the image acquisition unit 101 is not shared, the site identification unit 104 Detect the site area specified in.
  • the site identification unit 104 Detect the site area specified in.
  • As a method of detecting the site region for example, there is template matching using the image information stored in the image information storage unit 105 as a template.
  • image information is provided for a non-overlapping region including image information that does not overlap with the sensing region of the sensor information acquisition unit 100 in the field of view (sensing region) of the image acquisition unit 101.
  • the image information stored in the storage unit 105 is referred to, and the site region specified by the site identification unit 104 is detected.
  • the detection area information (specifically, position information and size information) on the image of the site area detected by the non-overlapping area object detection unit 107, and the three-dimensional information acquisition unit 106 acquired 3 Based on the three-dimensional information, the distance to the pedestrian including the site region detected by the non-overlapping region object detection unit 107 is calculated.
  • the object recognition device 1 is mounted on the vehicle and is transmitted from two cameras (for example, a stereo camera including a right camera and a left camera) that are the targets of the sensor information acquisition unit 100 and the image acquisition unit 101. It shall be configured. Therefore, in this operation example, the sensor information acquisition unit 100 and the image acquisition unit 101 acquire an image of the periphery of the vehicle.
  • two cameras for example, a stereo camera including a right camera and a left camera
  • the sensor information acquisition unit 100 and the image acquisition unit 101 acquire an image of the periphery of the vehicle.
  • FIGS. 3A and 3B show a scene in which a pedestrian crosses in front of a vehicle turning left at an intersection.
  • 2A and 2B show a bird's-eye view
  • FIGS. 3A and 3B are views from a viewpoint viewed from a camera mounted on the vehicle.
  • F101 in FIGS. 2A, B, and 3A, 3B indicates a crossing pedestrian
  • F102 indicates a vehicle.
  • V100, V101, and V102 indicate a sensing region (field of view)
  • V101 and V102 indicate a non-overlapping region of the visual field
  • V100 indicates an overlapping region of the visual field.
  • S100 in FIG. 2A is a scene before turning left at the intersection
  • S101 in FIG. 2B is a scene during turning left at the intersection.
  • G100 in FIG. 3A is the camera viewpoint of S100 in FIG. 2A
  • G101 in FIG. 3B is the camera viewpoint of S101 in FIG. 2B.
  • the object recognition device 1 includes an image acquisition process (R101), a distance image generation process (R102), an overlapping area pedestrian detection process (R103), and a brightness analysis process (R104). Texture storage processing (R105), height calculation processing from the road surface (R106), parts detection processing (R107), and distance estimation processing (R108) are performed in order to recognize pedestrians at intersections, from vehicles to pedestrians. Calculate the distance of.
  • the image acquisition process (R101) described above is the sensor information acquisition unit 100 and the image acquisition unit 101
  • the distance image generation process (R102) is the distance information acquisition unit 102
  • the overlapping area pedestrian detection process (R103) is the overlapping area object detection unit 103.
  • the brightness analysis process (R104) is the site identification unit 104
  • the texture storage process (R105) is the image information storage unit 105
  • the height calculation process from the road surface (R106) is the three-dimensional information acquisition unit 106
  • the parts detection process (R107) Is executed by the non-overlapping region object detection unit 107
  • the distance estimation process (R108) is executed by the distance calculation unit 108.
  • the object recognition device 1 acquires images from each of the two cameras (R101).
  • a distance image as distance information is generated by performing a stereo matching process on the overlapping region V100 whose fields of view overlap in the two acquired images (R102).
  • a pedestrian F101 as an object is detected in the overlapping region V100 by referring to the generated distance image and combining pixels having similar distances (R103).
  • F110 shows a pedestrian region detected by the overlapping region pedestrian detection process (R103).
  • F111 is an axis related to the vertical pixel position of the pedestrian region
  • F112 is an axis related to the total value of the luminance values in the rectangular window shown in F113.
  • F114 shows a histogram obtained by searching the rectangular window shown in F113 downward in the image.
  • the pedestrian detected by F110 the upper body is imaged brightly, while the lower body is imaged dark.
  • the histogram shown in F114 has a high value in the upper body and a low value in the lower body.
  • the histogram is calculated according to the above procedure, the adjacent difference in the vertical direction of the histogram is acquired, and the change point related to the contrast whose difference value is equal to or more than a predetermined value is detected.
  • F115 indicates the detected change point.
  • a change point having a large contrast change between light and dark is detected, a region having a high histogram value is detected as a specific region region, and image information of the region region is saved (R105).
  • the height of the part region specified by the luminance analysis process (R104) from the road surface is calculated with reference to the distance image generated by the distance image generation process (R102).
  • the height H from the road surface is the depth distance Z calculated from the distance image, the lower end position y in the image of the part region specified by the brightness analysis process (R104), the focal length f of the camera, assuming that the road surface is not tilted.
  • the pixel size is w
  • the pedestrian F101 when the pedestrian F101 is imaged in the overlapping region V100 of the visual field as shown in G100 of FIG. 3A, the brightly imaged region region of the pedestrian region can be specified.
  • the distance information of the pedestrian F101 shown in G101 of FIG. 3B is estimated based on the site region specified in the scene shown in G100 of FIG. 3A.
  • the pedestrian F101 shown in G101 of FIG. 3B has a non-overlapping region V101 of the visual field from the overlapping region V100 of the visual field shown in G100 of FIG. 3A due to the movement of one or both of the pedestrian F101 and the vehicle F102 at the intersection. (Relatively) to (see also FIGS. 2A and 2B).
  • the image information stored in the texture storage process (R105) is referred to, and in the pedestrian F101 imaged in the non-overlapping area V101, the pedestrian part area specified by the luminance analysis process (R104). Detects the same location as.
  • the detection is performed by treating the image information stored in the texture saving process (R105) as a template and performing template matching.
  • the template matching process the template is scanned in the horizontal and vertical directions of the image, and the correlation value with the template is calculated for each coordinate position. By detecting the peak value of the correlation value, the site region specified by the overlapping region V100 is detected from the non-overlapping region V101.
  • templates of different sizes are used. As a result, even when the distance between the pedestrian and the vehicle changes as the vehicle moves and the size of the pedestrian imaged changes, the site region can be detected with high accuracy.
  • the distance estimation process (R108) the height from the road surface of the part area acquired by the height calculation process (R106) from the road surface and the position information on the image of the part area detected by the parts detection process (R107) are used.
  • the depth distance to the pedestrian F101 imaged in the non-overlapping region V101 is estimated.
  • a method of estimating the depth distance will be described with reference to FIG.
  • F121 is a pedestrian
  • F122 is a vehicle
  • F123 is a camera attached to the vehicle.
  • the estimated depth distance Z is F120.
  • the angle ⁇ of the pedestrian part region with respect to the camera illustrated by F124 can be calculated from the mounting angle of the camera and the position information on the image of the part region detected by the parts detection process (R107).
  • the camera height H indicated by F125 can be obtained from the camera mounting position.
  • the height P of the site region illustrated by F126 is acquired by the height calculation process (R106) from the road surface.
  • the distance estimation process (R108) the distance to a pedestrian is calculated based on H, P, and ⁇ .
  • the object recognition device 1 of the present embodiment identifies, for example, a pedestrian region region that is brightly and clearly imaged in an overlapping region of the visual field, and from the road surface that is three-dimensional information of the identified region region.
  • the height information is calculated, and in the non-overlapping region of the visual field (also referred to as the monocular region), the distance to the pedestrian is estimated by detecting the region specified by the overlapping region of the visual field.
  • the distance to the pedestrian can be estimated by detecting an arbitrary pedestrian region other than the feet in the non-overlapping region of the visual field.
  • the distance from the own vehicle to an object such as a pedestrian can be estimated with high accuracy even in a scene where the color of the road surface is similar to that of pedestrian pants and the foot position cannot be detected with high accuracy. ..
  • the object recognition device 1 having the functional block shown in FIG. 1 can perform processing according to the processing flow shown in FIG. 7.
  • the difference between the processing flow shown in FIG. 7 and the processing flow shown in FIG. 4 is that the height calculation process (R106) from the road surface by the three-dimensional information acquisition unit 106 is replaced with the site size calculation process (R116).
  • the method of calculating the distance in the distance estimation process (R118) by the distance calculation unit 108 is different.
  • the site size calculation process (R116) and the distance estimation process (R118) in FIG. 7, which are the differences, will be described.
  • the actual size (actual size) of the part area detected by the luminance analysis process (R114) is measured with reference to the distance image generated by the distance image generation process (R112).
  • the actual size is the height (vertical dimension) or width (horizontal dimension) of the site region.
  • a pedestrian as an object is based on the actual size of the site area acquired by the site size calculation process (R116) and the size of the site area detected by the part detection process (R117) on the image. Estimate the distance to F101. A method of estimating the distance will be described.
  • the actual size of the part area acquired by the part size calculation process (R116) is S
  • the size of the part area detected by the part detection process (R117) on the image is s
  • the focal length f of the camera and the pixel size w of the image.
  • Z (f * S) / (s * w) holds.
  • the depth distance Z is estimated based on S, s, f, and w.
  • the object recognition device 1 of the present embodiment estimates the distance according to the processing flow shown in FIG. 7, without calculating the height of the object from the road surface, and the actual size of the site region. , And the distance to the object can be estimated based on the size on the image. As a result, even in a scene where the road surface has an inclination, the distance can be estimated without using the road surface information, and the processing time can be reduced.
  • FIG. 8 is a functional block diagram showing the configuration of the object recognition device 2 of the second embodiment.
  • the object recognition device 2 of the present embodiment has a sensor information acquisition unit 200, an image acquisition unit 201, a distance information acquisition unit 202, an overlapping area object detection unit 203, a site identification unit 204, an image information storage unit 205, and a three-dimensional information acquisition unit. It has 206, a non-overlapping region object detection unit 207, a distance calculation unit 208, and a road surface estimation unit 209. That is, the difference between the object recognition device 2 of the second embodiment and the object recognition device 1 of the first embodiment described above is that the road surface estimation unit 209 is added.
  • the sensor information acquisition unit 200 acquires and collects sensor information of the target sensor.
  • the image acquisition unit 201 acquires image data captured by the camera.
  • the distance information acquisition unit 202 calculates the distance information for the overlapping region where the sensor information acquisition unit 200 and the image acquisition unit 201 overlap the sensing regions.
  • the overlapping area object detection unit 203 detects an object from an area (overlapping area) that shares the field of view of the sensor information acquisition unit 200 and the image acquisition unit 201 based on the distance information acquired by the distance information acquisition unit 202.
  • the site identification unit 204 analyzes the image of the area corresponding to the pedestrian detected by the overlapping area object detection unit 203 based on the image information of the pedestrian detected by the overlapping area object detection unit 203. Determine a specific site area in a pedestrian.
  • the image information storage unit 205 stores image information related to the pedestrian part region detected / determined by the part identification unit 204.
  • the three-dimensional information acquisition unit 206 acquires the three-dimensional information of the site region specified by the site identification unit 204 based on the distance information acquired by the distance information acquisition unit 202.
  • the three-dimensional information is the height of the specified site region from the road surface, or the actual size (actual size) of the height and width of the site region.
  • the road surface estimation unit 209 estimates the shape of the road surface, that is, the inclination, based on the distance information acquired by the distance information acquisition unit 202.
  • the road surface region is specified from the image, the distance image in the specified road surface region is referred to, and the shape of the road surface is estimated.
  • a white line may be detected and the area within the detected white line may be set as the road surface area.
  • a predetermined region set in advance in the image region may be set as the road surface region. The method of estimating the shape of the road surface from the set road surface area will be described. The average distance for each vertical pixel is obtained by referring to the distance image.
  • the road surface estimation unit 209 calculates the road surface height for each vertical pixel according to the above-mentioned calculation method. Further, the road surface height for each vertical pixel may be significantly different for each adjacent vertical pixel due to the influence of noise in the distance image. In that case, a straight line may be applied to the road surface height for each vertical pixel to suppress the influence of noise.
  • the method of estimating the slope of the road surface by the road surface estimation unit 209 has been described above, but any road surface shape estimation method can be applied to the road surface estimation unit 209.
  • the non-overlapping area object detection output unit 207 refers to the image information stored in the image information storage unit 205, and from the area (non-overlapping area) where the field of view of the sensor information acquisition unit 200 and the image acquisition unit 201 is not shared, the site identification unit. The site region specified in 204 is detected.
  • the detection area information (specifically, position information and size information) of the part area detected by the non-overlapping area object detection unit 207 on the image, and the three-dimensional information acquired by the three-dimensional information acquisition unit 206, And, based on the road surface inclination information estimated by the road surface estimation unit 209, the distance to the pedestrian including the site area detected by the non-overlapping area object detection unit 207 is calculated. Specifically, from the detection area information on the image of the part area detected by the non-overlapping area object detection unit 207 and the inclination information of the road surface estimated by the road surface estimation unit 209, the angle information of the camera and the pedestrian part area, and Calculate the height of the road surface that touches the pedestrian. Then, the distance from the vehicle to the pedestrian is estimated from the calculated angle information of the camera and the pedestrian region, the height of the road surface in contact with the pedestrian, and the three-dimensional information acquired by the three-dimensional information acquisition unit 206.
  • the road surface inclination estimation process (R209), the height of the road surface in front of the vehicle is estimated.
  • the road surface inclination estimation process (R209) will be described with reference to FIGS. 10A and 10B.
  • G101 of FIG. 10A shows the camera viewpoint when turning left at the intersection shown in S101 of FIG. 2B.
  • V100 indicates an overlapping region of the visual field
  • V101 and V102 indicate a non-overlapping region of the visual field.
  • F101 indicates a pedestrian.
  • the road surface area is set and the height of the road surface with respect to each vertical pixel of the image is calculated.
  • F200 in FIG. 10A shows a road surface region.
  • FIG. 10B shows the estimation result of the road surface height in the road surface region F200.
  • F201 indicates each vertical pixel position of the image
  • F202 indicates the height from the road surface.
  • the height from the road surface is calculated with reference to the distance image for each vertical pixel of F201.
  • the average distance of each vertical pixel of the distance image is calculated, and the height from the road surface is calculated from the calculated average distance, the vertical pixel position, the focal length, and the pixel size.
  • Offset F204 is the size h on the image of the pedestrian region.
  • the offset amount is calculated with respect to the above-mentioned calculation method, and the road surface height information at the height of each pedestrian part region shown in F205 is calculated.
  • the road surface height information can be acquired from the image vertical position of the pedestrian portion region in the non-overlapping region V101 of the visual field.
  • the distance estimation process (R208), the height of the pedestrian part area calculated by the road surface height calculation process (R206) from the road surface and the pedestrian part area detected by the parts detection process (R207) on the image.
  • the distance from the vehicle to the pedestrian is calculated from the detection area information and the road surface inclination information estimated by the road surface inclination estimation process (R209).
  • a method of calculating the distance will be described with reference to FIG.
  • F211 is a pedestrian
  • F212 is a vehicle
  • F213 is a camera attached to the vehicle
  • F214 is detection area information (position information) on an image of a pedestrian part area detected by the parts detection process (R207).
  • the angle ⁇ to the pedestrian part area with respect to the camera that can be calculated from the camera mounting angle information F215 is the camera installation height H, and F216 is the height of the pedestrian part area calculated by the height calculation process from the road surface (R206).
  • P and F217 indicate the height information R of the road surface acquired by the road surface inclination estimation process (R209).
  • the distance estimation process (R208) the distance to a pedestrian is calculated according to the above calculation method.
  • the object recognition device 2 of the present embodiment calculates the shape (inclination) information of the road surface, refers to the calculated shape (inclination) information of the road surface, and calculates the distance to the pedestrian. As a result, the distance from the own vehicle to an object such as a pedestrian can be accurately estimated even when the road surface is inclined.
  • the object recognition device 1 of the first embodiment described above a scene in which the appearance of the same part does not change or hardly changes for each frame has been described, but for example, it is illuminated by a headlight at night. In some cases, the appearance of the same part may change from frame to frame.
  • the object recognition device 3 of the present embodiment calculates the distance to an object (pedestrian or the like) existing in the vicinity even in such a scene.
  • FIG. 12 is a functional block diagram showing the configuration of the object recognition device 3 of the third embodiment.
  • the object recognition device 3 of the present embodiment has a sensor information acquisition unit 300, an image acquisition unit 301, a distance information acquisition unit 302, an overlapping area object detection unit 303, a site identification unit 304, an image information storage unit 305, and a three-dimensional information acquisition unit. It has 306, a non-overlapping region object detection unit 307, and a distance calculation unit 308, and the non-overlapping region object detection unit 307 has a time-series similar site identification unit 309. That is, the difference between the object recognition device 3 of the third embodiment and the object recognition device 1 of the first embodiment described above is the processing content of the non-overlapping region object detection unit 307.
  • the sensor information acquisition unit 300 acquires and collects the sensor information of the target sensor.
  • the image acquisition unit 301 acquires the image data captured by the camera.
  • the distance information acquisition unit 302 calculates the distance information for the overlapping area where the sensor information acquisition unit 300 and the sensing area of the image acquisition unit 301 overlap.
  • the overlapping area object detection unit 303 detects an object from an area (overlapping area) that shares the field of view of the sensor information acquisition unit 300 and the image acquisition unit 301 based on the distance information acquired by the distance information acquisition unit 302.
  • the site identification unit 304 analyzes the image of the area corresponding to the pedestrian detected by the overlapping area object detection unit 303 based on the image information of the pedestrian detected by the overlapping area object detection unit 303. Determine a specific site area in a pedestrian.
  • the site specifying unit 304 specifies the entire pedestrian area, but a part of the pedestrian area (see FIG. 5) may be specified.
  • the image information storage unit 305 stores image information related to the pedestrian part region detected / determined by the part identification unit 304.
  • each of the pedestrian areas specified by the site identification unit 304 is based on the distance information acquired by the distance information acquisition unit 302 and the image information of the pedestrian detected by the overlapping area object detection unit 303.
  • the height information from the road surface, which is the three-dimensional information of the site area, is calculated.
  • the non-overlapping area object detection unit 307 detects the pedestrian part area in the non-overlapping area of the visual field based on the image information of the pedestrian part area stored in the image information storage unit 305.
  • the time-series similar part identification unit 309 of the non-overlapping area object detection unit 307 refers to the image information of the past pedestrian part area saved in the image information storage unit 305, and the sensor information acquisition unit 300 and the image acquisition. From the region (non-overlapping region) that does not share the field of view of unit 301, a region region (similar region region) that looks similar in the current frame is determined, and image information of the region region (similar region region) that is similar in time series is obtained. It is saved in the image information storage unit 305.
  • the detection area information (specifically, position information and size information) on the image of the pedestrian part area detected by the non-overlapping area object detection unit 307, and the walking calculated by the three-dimensional information acquisition unit 306.
  • the distance information to the pedestrian including the pedestrian part area (specifically, the similar part area) detected by the non-overlapping area object detection unit 307 is calculated.
  • the target scene is a scene at an intersection shown in FIGS. 13A and 13B, and the driving environment is assumed to be nighttime.
  • G110 in FIG. 13A is a camera viewpoint before passing through the intersection
  • G111 in FIG. 13B is a camera viewpoint when turning left at the intersection.
  • F101 in FIGS. 13A and 13B shows a pedestrian
  • V101 and V102 show a non-overlapping region of the visual field
  • V100 shows an overlapping region of the visual field.
  • J101 and J102 indicate a portion of the pedestrian F101 illuminated by the headlights of the vehicle.
  • the part where the headlights are irradiated differs between J101 and J102 because the irradiation range of the headlights differs due to the change in the distance between the pedestrian and the vehicle.
  • the difference between the process performed by the flowchart of FIG. 14 in this operation example and the process performed by the flowchart of FIG. 4 in the first embodiment described above is the pedestrian height calculation by the three-dimensional information acquisition unit 306 of FIG. Processing (R306), multi-part scan processing (R307A) by non-overlapping area object detection unit 307 (time-series similar part identification unit 309), part information update processing (R307B) by image information storage unit 305, distance calculation unit 308 This is the distance estimation process (R308). Therefore, in the following, the pedestrian height calculation process (R306), the multiple parts scan process (R307A), the site information update process (R307B), and the distance estimation process (R308), which are the differences, will be described in detail.
  • FIG. 15 shows a conceptual diagram of height information from the road surface calculated by the pedestrian height calculation process (R306).
  • the pedestrian region detected by the overlapping region pedestrian detection process (R303) is shown in F301.
  • the pedestrian height calculation process (R306) as shown in FIG. 15, height information from the road surface for each part region in the pedestrian area F301 is calculated, and height information from each part region and the road surface is stored. To do.
  • the height information from the site area and the road surface is shown at equal intervals in FIG. 15, it does not have to be at equal intervals, and any relationship between the site area and the height from the road surface can be calculated and the information can be recorded. it can.
  • the pedestrian part area in the current frame is specified from the non-overlapping area V101 by using the past part information saved in the texture storage process (R305).
  • the past site information is divided into a plurality of site regions, raster scan is performed on the current frame, and similar site regions (similar site regions) are detected in the past frame and the current frame. That is, the detection of the similar region having a part of the pedestrian region of the past frame saved by the texture preservation process (R305) in the current frame is performed from the non-overlapping region V101.
  • FIG. 16 shows a conceptual diagram of division of past part information (pedestrian part area).
  • F101 indicates a pedestrian
  • J101 indicates a brightly imaged pedestrian region region detected by the luminance analysis process (R304) and preserved by the texture preservation process (R305).
  • the pedestrian region of J101 is divided into a plurality of pedestrian region as shown in T301.
  • a part region on the image may be divided according to the size, or may be cut out one pixel at a time in the vertical direction.
  • a raster scan is performed on the current frame using a plurality of pedestrian region regions (divided pedestrian region regions) shown in T301 as templates.
  • the similar site region in the current frame and the past frame is specified, and the similar site region in the current frame is detected. Also, when scanning the template, the size of the template is changed and raster scanning is performed.
  • the image information of the similar part area in the past frame and the current frame specified by the multiple parts scan process (R307A) is saved / updated.
  • the distance estimation process (R308) the relationship between the site area and the height from the road surface in the entire pedestrian area calculated by the pedestrian height calculation process (R306), and the site area information detected by the multiple parts scan process (R307A). Based on, the distance to the pedestrian is calculated.
  • the height information from the road surface of the pedestrian part region in the current frame specified by the multi-part scan process (R307A) is acquired. Specifically, find out where the part area currently detected by the frame corresponds to the entire pedestrian area, and refer to the relationship between the part area calculated by the pedestrian height calculation process (R306) and the height from the road surface. By doing so, the height information from the road surface of the part region currently specified by the frame is acquired.
  • the position on the image of the part area estimated by the multiple parts scan process (R307A), and the camera installation position and angle information to the pedestrian. Estimate the distance.
  • the object recognition device 3 of the present embodiment estimates the distance to the pedestrian by using the part area common to the past frame and the present frame for each frame in the non-overlapping area. Since pedestrians illuminated by headlights at night illuminate different parts as the vehicle moves, the appearance of the same parts changes from frame to frame. Therefore, it may be difficult to always detect the same part, but by performing detection using the part information (similar part area) that looks similar in the past frame and the current frame, the appearance of the part Can be stably detected even when the speed changes with time, and the distance from the own vehicle to an object such as a pedestrian can be estimated with high accuracy.
  • a monocular camera is assumed as the target sensor in the sensor information acquisition unit, but it can also be applied to a stereo camera, millimeter wave, laser radar, and the like. Further, although the above-described embodiment has been described on the assumption that the sensor information acquisition unit and the image acquisition unit sense the front of the vehicle, the present invention is not limited to the front, and the present invention is also applied to the rear and sides. Can be done.
  • the present invention has been described above with reference to the first embodiment, the second embodiment, and the third embodiment, the present invention is not limited to the above-described embodiment, and the parties concerned within the scope of the present invention. Includes various variants that can be understood by.
  • the above-described embodiment has been described in detail in order to explain the present invention in an easy-to-understand manner, and is not necessarily limited to the one including all the described configurations.
  • each of the above configurations, functions, processing units, processing means, etc. may be realized by hardware by designing a part or all of them by, for example, an integrated circuit. Further, each of the above configurations, functions, and the like may be realized by software by the processor interpreting and executing a program that realizes each function. Information such as programs, tables, and files that realize each function can be stored in a memory, a hard disk, a storage device such as an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, or a DVD.
  • SSD Solid State Drive
  • control lines and information lines indicate those that are considered necessary for explanation, and not all control lines and information lines are necessarily indicated on the product. In practice, it can be considered that almost all configurations are interconnected.
  • Object recognition device (first embodiment) 2 Object recognition device (second embodiment) 3 Object recognition device (third embodiment) 100, 200, 300 Sensor information acquisition unit 101, 201, 301 Image acquisition unit 102, 202, 302 Distance information acquisition unit 103, 203, 303 Overlapping area object detection unit 104, 204, 304 Site identification unit 105, 205, 305 Image Information storage unit 106, 206, 306 3D information acquisition unit 107, 207, 307 Non-overlapping area object detection unit 108, 208, 308 Distance calculation unit 209 Road surface estimation unit 309 Time series similar part identification unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

自車両から歩行者などの物体までの距離を精度高く推定することができる物体認識装置を提供する。重複領域物体検出部１０３で検出した物体に該当する領域の画像を解析することで物体における特定の部位領域を決定する部位特定部１０４と、部位特定部１０４で決定した部位領域に関する画像情報を保存する画像情報保存部１０５と、距離情報取得部１０２で取得した距離情報に基づき部位特定部１０４で特定した部位領域の３次元情報を取得する３次元情報取得部１０６と、非重複領域に対して画像情報保存部１０５に保存された画像情報を参照し、部位特定部１０４で特定した部位領域を検出する非重複領域物体検出部１０７と、非重複領域物体検出部１０７で検出した部位領域の画像上での検出領域情報、及び３次元情報取得部１０６で取得した３次元情報に基づき、部位領域を含む物体までの距離を算出する距離算出部１０８と、を備える。

Description

物体認識装置
　本発明は、物体認識装置に関する。
　自動運転の実現や交通事故防止のために、歩行者を検出してブレーキ制御をおこなう自動ブレーキ機能に大きな関心が寄せられている。自動ブレーキ機能においては自車両から歩行者までの距離を精度高く算出する必要がある。歩行者までの距離を算出する方法として、特許文献１では、画像上における歩行者の接地位置と撮像手段の車両の取付位置情報から距離を算出する方法が開示されている。
特開２０１１－６５３３８号公報
　特許文献１に記載の方法では、路面と足元の接地位置を推定する必要がある。しかしながら、路面と歩行者のズボンなどの色合いが類似していた場合に、足元と路面の境界を精度高く推定することは困難になり、距離精度が低下することが課題となる。
　本発明は、このような課題に鑑み、自車両から歩行者などの物体までの距離を精度高く推定することができる物体認識装置を提供することを目的とする。
　上記課題を解決するため、本発明に係る物体認識装置は、周辺をセンシングしたセンサ情報を取得するセンサ情報取得部と、周辺を撮像した画像を取得する画像取得部と、前記センサ情報取得部と前記画像取得部のセンシング領域が重なった重複領域に対して距離情報を取得する距離情報取得部と、前記距離情報取得部で取得した距離情報に基づいて前記重複領域から物体を検出する重複領域物体検出部と、前記重複領域物体検出部で検出した前記物体に該当する領域の画像を解析することで前記物体における特定の部位領域を決定する部位特定部と、前記部位特定部で決定した部位領域に関する画像情報を保存する画像情報保存部と、前記距離情報取得部で取得した前記距離情報に基づき前記部位特定部で特定した部位領域の３次元情報を取得する３次元情報取得部と、前記センサ情報取得部と前記画像取得部のセンシング領域が重複しない非重複領域に対して前記画像情報保存部に保存された画像情報を参照し、前記部位特定部で特定した部位領域又は前記部位特定部で特定した部位領域の一部を有する類似部位領域を検出する非重複領域物体検出部と、前記非重複領域物体検出部で検出した前記部位領域又は前記類似部位領域の画像上での検出領域情報、及び前記３次元情報取得部で取得した３次元情報に基づき、前記部位領域又は前記類似部位領域を含む物体までの距離を算出する距離算出部と、を備える。
　本発明によれば、自車両から歩行者などの物体までの距離を精度高く推定することができる。
　上記した以外の課題、構成及び効果は以下の実施形態の説明により明らかにされる。
本発明に係る第１実施形態の物体認識装置の構成を示す機能ブロック図である。 図１に開示した第１実施形態における物体認識装置の動作例１を説明するための、交差点における車両と歩行者の位置関係（歩行者は重複領域内）を示す俯瞰図である。 図１に開示した第１実施形態における物体認識装置の動作例１を説明するための、交差点における車両と歩行者の位置関係（歩行者は非重複領域内）を示す俯瞰図である。 図１に開示した第１実施形態における物体認識装置の動作例１を説明するための、車両に取り付けられたカメラ視点における歩行者の位置（重複領域内）を表す図である。 図１に開示した第１実施形態における物体認識装置の動作例１を説明するための、車両に取り付けられたカメラ視点における歩行者の位置（非重複領域内）を表す図である。 図１に開示した第１実施形態における物体認識装置の動作例１を示すフローチャートである。 図１に開示した第１実施形態における物体認識装置において画像の輝度値を解析し、明暗のコントラスト変化の大きい変化点を検出する方法を示す図である。 図１に開示した第１実施形態における物体認識装置において歩行者までの距離を推定する方法を示す図である。 図１に開示した第１実施形態における物体認識装置の動作例２を示す、部位領域の高さ、若しくは幅に基づき歩行者までの距離を推定するフローチャートである。 本発明に係る第２実施形態の物体認識装置の構成を示す機能ブロック図である。 図８に開示した第２実施形態における物体認識装置の動作例を示すフローチャートである。 図８に開示した第２実施形態における物体認識装置の動作例を説明するための、車両に取り付けられたカメラ視点における図である。 図８に開示した第２実施形態における物体認識装置において路面の傾きを算出する方法を示す図である。 図８に開示した第２実施形態における物体認識装置において歩行者までの距離を推定する方法を示す図である。 本発明に係る第３実施形態の物体認識装置の構成を示す機能ブロック図である。 図１２に開示した第３実施形態における物体認識装置の動作例を説明するための、車両に取り付けられたカメラ視点における歩行者の位置（重複領域内）を表す図である。 図１２に開示した第３実施形態における物体認識装置の動作例を説明するための、車両に取り付けられたカメラ視点における歩行者の位置（非重複領域内）を表す図である。 図１２に開示した第３実施形態における物体認識装置の動作例を示すフローチャートである。 図１２に開示した第３実施形態における物体認識装置において歩行者の各部位領域に対して路面からの高さを算出する方法を示す図である。 図１２に開示した第３実施形態における物体認識装置において歩行者部位領域を分割する方法を示す図である。
　以下に、本発明の実施形態について詳細に説明する。なお、以下の実施形態の説明において、同一の機能を有する部分には同一の又は関連する符号を付し、その繰り返し説明は省略する場合がある。
［第１実施形態］　本実施形態の物体認識装置１は、例えば、図示しないセンサから周辺をセンシング（監視又は認識）したセンサ情報を取得し、図示しないカメラから周辺を撮像した画像を取得し、それらの取得した情報に基づいて、周辺に存在する物体（歩行者など）を認識し、その物体までの距離を算出する。
（機能ブロック構成例）　図１は、第１実施形態の物体認識装置１の構成を示す機能ブロック図である。
　本実施形態の物体認識装置１は、カメラ、コンピュータ、メモリ及び記憶装置などで構成されており、コンピュータが、メモリなどに格納された制御プログラムを実行することにより各種機能部として動作する。
　図１に示すように、物体認識装置１は、カメラやコンピュータの動作により実現される機能部としてのセンサ情報取得部１００、画像取得部１０１、距離情報取得部１０２、重複領域物体検出部１０３、部位特定部１０４、画像情報保存部１０５、３次元情報取得部１０６、非重複領域物体検出部１０７、距離算出部１０８を有している。
　センサ情報取得部１００は、対象とするセンサのセンサ情報を取得・収集する。ここで対象のセンサとは、カメラ、ミリ波、レーザーレーダ、遠赤外カメラなどである。以降では、センサ情報取得部１００で対象とするセンサはカメラであるとして説明する。
　画像取得部１０１は、カメラにより撮像された画像データを取得する。
　本実施形態において、センサ情報取得部１００（の対象となるカメラ）及び画像取得部１０１（の対象となるカメラ）のセンシング領域（以下、視野ということがある）は、一部が重なるように設定されている。
　ここでは、センサ情報取得部１００及び画像取得部１０１は、光学レンズ、光学センサなどを含むカメラと別体として説明しているが、カメラと一体としてもよい（言い換えれば、センサ情報取得部１００や画像取得部１０１がカメラ自体を構成してもよい）ことは勿論である。
　距離情報取得部１０２では、センサ情報取得部１００と画像取得部１０１のセンシング領域が重なった重複領域に対して距離情報を算出する。距離情報の算出では、センサ情報取得部１００と画像取得部１０１のいずれか、若しくは両方の情報を利用することができる。センサ情報取得部１００でカメラを利用する場合、画像取得部１０１と視野を共有する領域（重複領域）に対して、ステレオマッチングを実施することで距離を求めることができる。具体的には、センサ情報取得部１００のセンサ情報である画像データのある画素に対して、画像取得部１０１の画像データで対応する画素を求めることで視差を算出する。求めた視差に対してセンサ情報取得部１００と画像取得部１０１の対象となるカメラの位置関係と焦点距離と画素サイズ情報から距離を算出することができる。ここで、ステレオマッチング以外に別の任意の距離推定手段を利用することができる。視野の重複する領域は一体のセンサデバイスからなる領域だけでなく、別体のセンサデバイス同士からなる視野の領域も対象とする。
　重複領域物体検出部１０３では、センサ情報取得部１００と画像取得部１０１の視野を共有する領域（重複領域）から、距離情報取得部１０２で取得した距離情報に基づき物体を検出する。具体的には、類似視差値を持つ画素同士を連結させることで重複領域から物体を検出することができる。その他の方式としては、視差値情報の統計的傾向を学習させた識別器により検出してもよい。それ以外に任意の物体検出手段を利用することができる。以降では、重複領域物体検出部１０３で検出する物体は歩行者だとして説明する。ただし、検出する物体が歩行者以外の物体でも本発明の一般性は失わない。
　部位特定部１０４では、重複領域物体検出部１０３で検出した歩行者の画像情報に基づき、換言すれば、重複領域物体検出部１０３で検出した歩行者に該当する領域の画像を解析することで、歩行者における特定の部位領域を決定する。ここで利用する画像情報は、センサ情報取得部１００でカメラを利用する場合には、センサ情報取得部１００、若しくは画像取得部１０１のいずれかの情報を利用する。特定の部位領域の決定では、重複領域物体検出部１０３で検出した物体の明暗に関するコントラスト変化点を検出し、明るく撮像された領域を歩行者部位領域として検出する。コントラスト変化点の検出は、重複領域物体検出部１０３で検出した物体領域（物体に該当する領域）の画像に対して、行毎のヒストグラムを計算し、隣接するヒストグラムの変化量が所定値以上の地点を求めることで決定できる。
　画像情報保存部１０５では、部位特定部１０４で検出・決定した歩行者部位領域に関する画像情報を保存する。
　３次元情報取得部１０６では、距離情報取得部１０２で取得した距離情報に基づき、部位特定部１０４で特定した部位領域の３次元情報を取得する。ここで、３次元情報とは、特定した部位領域の路面からの高さ、若しくは部位領域の高さや幅の実サイズ（実寸）である。
　非重複領域物体検出部１０７では、画像情報保存部１０５に保存された画像情報を参照し、センサ情報取得部１００と画像取得部１０１の視野を共有しない領域（非重複領域）から部位特定部１０４で特定した部位領域を検出する。部位領域を検出する方法としては、例えば、画像情報保存部１０５に保存された画像情報をテンプレートとしたテンプレートマッチングがある。なお、センサ情報取得部１００でカメラを利用しない場合には、画像取得部１０１の視野（センシング領域）においてセンサ情報取得部１００のセンシング領域と重複しない画像情報を含む非重複領域に対して画像情報保存部１０５に保存された画像情報を参照し、部位特定部１０４で特定した部位領域を検出する。
　距離算出部１０８では、前記非重複領域物体検出部１０７で検出した部位領域の画像上での検出領域情報（詳しくは、位置情報やサイズ情報）、及び前記３次元情報取得部１０６で取得した３次元情報に基づき、前記非重複領域物体検出部１０７で検出した部位領域を含む歩行者までの距離を算出する。
（動作例１）　次に、図２Ａ、Ｂ、及び図３Ａ、Ｂに示すシーンにおける本実施形態の物体認識装置１の動作例を、図４のフローチャートを参照して説明する。以降の動作例では、物体認識装置１は車両に搭載されており、センサ情報取得部１００と画像取得部１０１の対象となる２台のカメラ（例えば、右カメラと左カメラからなるステレオカメラ）から構成されているものとする。従って、本動作例では、センサ情報取得部１００と画像取得部１０１は、車両の周辺を撮像した画像を取得する。
　図２Ａ、Ｂ、及び図３Ａ、Ｂは、交差点を左折する車両の前方を歩行者が横断するシーンを示している。図２Ａ、Ｂは俯瞰図を示しており、図３Ａ、Ｂは車両に取り付けられたカメラから見た視点における図である。図２Ａ、Ｂ、及び図３Ａ、Ｂ中のF１０１は横断歩行者、F１０２は車両を示している。V１００、V１０１、V１０２はセンシング領域（視野）を示しており、V１０１、及びV１０２は視野の非重複領域を示しており、V１００は視野の重複領域を示している。図２ＡのS１００は交差点左折前のシーンであり、図２ＢのS１０１は交差点左折中のシーンを示している。図３ＡのG１００は図２ＡにおけるS１００のカメラ視点であり、図３ＢのG１０１は図２ＢにおけるS１０１のカメラ視点を示している。
　本動作例において、物体認識装置１は、図４に示すように、画像取得処理（R１０１）、距離画像生成処理（R１０２）、重複領域歩行者検出処理（R１０３）、輝度解析処理（R１０４）、テクスチャ保存処理（R１０５）、路面からの高さ算出処理（R１０６）、パーツ検出処理（R１０７）、距離推定処理（R１０８）を順に実施し、交差点の歩行者を認識して、車両から歩行者までの距離を算出する。上述した画像取得処理（R１０１）はセンサ情報取得部１００及び画像取得部１０１、距離画像生成処理（R１０２）は距離情報取得部１０２、重複領域歩行者検出処理（R１０３）は重複領域物体検出部１０３、輝度解析処理（R１０４）は部位特定部１０４、テクスチャ保存処理（R１０５）は画像情報保存部１０５、路面からの高さ算出処理（R１０６）は３次元情報取得部１０６、パーツ検出処理（R１０７）は非重複領域物体検出部１０７、距離推定処理（R１０８）は距離算出部１０８で実行される。以降では、各処理内容に関して説明する。
　物体認識装置１は、２台のカメラそれぞれから画像を取得する（R１０１）。取得した２枚の画像において視野が重複する重複領域V１００に対して、ステレオマッチング処理を実施することで距離情報としての距離画像を生成する（R１０２）。生成した距離画像を参照し、距離が類似した画素同士を結合することで重複領域V１００中から物体としての歩行者F１０１を検出する（R１０３）。
　次に、検出した歩行者領域（歩行者に該当する領域）の画像の輝度値を解析することで、歩行者領域から明るくはっきり撮像されている部位領域を抽出する（R１０４）。部位領域の抽出に関して図５を用いて説明する。図５において、F１１０は重複領域歩行者検出処理（R１０３）により検出された歩行者領域を示している。F１１１は歩行者領域の縦方向の画素位置に関する軸であり、F１１２は、F１１３に示す矩形ウィンドウ中の輝度値の総和値に関する軸である。F１１４は、F１１３に示す矩形ウィンドウを画像の下方向に探索を行うことで取得されるヒストグラムを示している。F１１０で検出された歩行者は、上半身が明るく撮像されているのに対し、下半身が暗く撮像されている。そのため、F１１４に示すヒストグラムは、上半身で高い値をとり、下半身では低い値となる。輝度解析処理（R１０４）では、上記手続きに従いヒストグラムを計算し、ヒストグラムの縦方向の隣接差分を取得し、差分値が所定値以上のコントラストに関する変化点を検出する。F１１５は検出された変化点を示している。輝度解析処理（R１０４）では、明暗のコントラスト変化の大きい変化点を検出し、ヒストグラム値の高い領域を特定の部位領域として検出し、その部位領域の画像情報を保存する（R１０５）。
　路面からの高さ算出処理（R１０６）では、距離画像生成処理（R１０２）で生成した距離画像を参照し、輝度解析処理（R１０４）で特定した部位領域の路面からの高さを算出する。路面からの高さHは、路面の傾きが無いとして、距離画像から計算される奥行距離Z、輝度解析処理（R１０４）で特定した部位領域の画像での下端位置ｙ、カメラの焦点距離ｆ、画素サイズｗとした場合、H＝（ｗ＊Z＊ｙ）／ｆの計算式に従い計算する。
　以上の処理により、図３ＡのG１００に示すように歩行者F１０１が視野の重複領域V１００に撮像されている場合に、歩行者領域の明るく撮像されている部位領域を特定することができる。以降の処理では、図３ＡのG１００に示すシーンにおいて特定した部位領域に基づき、図３ＢのG１０１に示す歩行者F１０１の距離情報の推定を行う。ここで、図３ＢのG１０１に示す歩行者F１０１は、交差点で歩行者F１０１と車両F１０２の一方又は双方が移動したことにより、図３ＡのG１００に示す視野の重複領域V１００から視野の非重複領域V１０１に（相対的に）遷移している（図２Ａ、Ｂを併せて参照）。
　パーツ検出処理（R１０７）では、テクスチャ保存処理（R１０５）で格納された画像情報を参照し、非重複領域V１０１に撮像された歩行者F１０１において、輝度解析処理（R１０４）で特定した歩行者部位領域と同一箇所の検出を行う。検出は、テクスチャ保存処理（R１０５）で格納された画像情報をテンプレートとして扱い、テンプレートマッチングにより行う。テンプレートマッチング処理では、画像の横、及び縦方向にテンプレートを走査し、各座標位置に対してテンプレートとの相関値を計算する。相関値のピーク値を検出することで、重複領域V１００で特定した部位領域を非重複領域V１０１から検出する。また、テンプレートマッチング処理を実施する際には、異なるサイズのテンプレートを用いる。これにより、車両の移動とともに歩行者と車両間の距離が変わり、撮像される歩行者のサイズが変化した場合にも、精度高く部位領域を検出することができる。
　距離推定処理（R１０８）では、路面からの高さ算出処理（R１０６）で取得した部位領域の路面からの高さ、及びパーツ検出処理（R１０７）で検出した部位領域の画像上での位置情報から、非重複領域V１０１に撮像された歩行者F１０１までの奥行距離を推定する。奥行距離を推定する方法に関して、図６を参照して説明する。図６において、F１２１は歩行者、F１２２は車両、F１２３は車両に取り付けられたカメラを図示している。推定する奥行距離ZはF１２０である。カメラの取り付け角度、及びパーツ検出処理（R１０７）で検出した部位領域の画像上での位置情報から、F１２４で図示するカメラに対する歩行者部位領域の角度αを計算することができる。また、カメラの取り付け位置から、F１２５で示すカメラ高さHを取得できる。F１２６で図示する部位領域高さPは、路面からの高さ算出処理（R１０６）により取得される。以上の情報に対し、奥行距離ZはZ＝（H－P）＊Atan（α）を満たす。距離推定処理（R１０８）では、H、P、及びαに基づき歩行者までの距離を計算する。
（作用効果）　以上より、本実施形態の物体認識装置１は、例えば、視野の重複領域で明るくはっきり撮像された歩行者部位領域を特定、及び特定した部位領域の３次元情報である路面からの高さ情報を計算しておき、視野の非重複領域（単眼領域ともいう）では視野の重複領域で特定した部位領域を検出することで、歩行者までの距離推定を実施する。これにより、視野の非重複領域において足元以外の任意の歩行者部位領域を検出することで、歩行者までの距離推定を行うことができる。その結果、歩行者のズボンなどと路面の色合いが類似しており、足元位置を精度高く検出できないようなシーンにおいても、自車両から歩行者などの物体までの距離を精度高く推定することができる。
（動作例２）　また、図１に示す機能ブロックを有する物体認識装置１は、図７に示す処理フローに従い処理を実施することができる。
　図７に示す処理フローと上述した図４の処理フローの違いは、３次元情報取得部１０６による路面からの高さ算出処理（R１０６）が部位サイズ算出処理（R１１６）に置き換わっており、それに伴い距離算出部１０８による距離推定処理（R１１８）の距離の算出方法が異なることである。以降では、相違点である図７における部位サイズ算出処理（R１１６）、及び距離推定処理（R１１８）に関して説明する。
　部位サイズ算出処理（R１１６）では、距離画像生成処理（R１１２）で生成した距離画像を参照し、輝度解析処理（R１１４）で検出した部位領域の実サイズ（実寸）を測定する。ここで実サイズとは、部位領域の高さ（縦方向寸法）、若しくは幅（横方向寸法）である。
　距離推定処理（R１１８）では、部位サイズ算出処理（R１１６）で取得した部位領域の実サイズ、及びパーツ検出処理（R１１７）で検出した部位領域の画像上でのサイズに基づき、物体としての歩行者F１０１までの距離を推定する。距離を推定する方法を説明する。部位サイズ算出処理（R１１６）で取得した部位領域の実サイズをS、パーツ検出処理（R１１７）で検出した部位領域の画像上でのサイズをｓとし、カメラの焦点距離ｆ、画像の画素サイズｗ、推定する奥行距離Zとした場合、Z＝（ｆ＊S）／（ｓ＊ｗ）が成立する。距離推定処理（R１１８）では、S、ｓ、ｆ、ｗに基づき奥行距離Zを推定する。
（作用効果）　以上より、本実施形態の物体認識装置１は、図７に示す処理フローに従い距離推定を実施することで、物体の路面からの高さを算出することなく、部位領域の実サイズ、及び画像上でのサイズに基づき、物体までの距離を推定することができる。これにより、路面が傾きを持つようなシーンにおいても、路面の情報を使うことなく距離推定することができ、処理時間を低減することができる。
［第２実施形態］　上述した第１実施形態の物体認識装置１では、路面の傾きが無いものとしたが、本実施形態の物体認識装置２は、路面の傾きを考慮して、周辺に存在する物体（歩行者など）までの距離を算出する。
（機能ブロック構成例）　図８は、第２実施形態の物体認識装置２の構成を示す機能ブロック図である。
　本実施形態の物体認識装置２は、センサ情報取得部２００、画像取得部２０１、距離情報取得部２０２、重複領域物体検出部２０３、部位特定部２０４、画像情報保存部２０５、３次元情報取得部２０６、非重複領域物体検出部２０７、距離算出部２０８、路面推定部２０９を有している。つまり、本第２実施形態の物体認識装置２と上述した第１実施形態の物体認識装置１の違いは、路面推定部２０９を追加していることである。
　センサ情報取得部２００は、対象とするセンサのセンサ情報を取得・収集する。画像取得部２０１は、カメラにより撮像された画像データを取得する。距離情報取得部２０２では、センサ情報取得部２００と画像取得部２０１のセンシング領域が重なった重複領域に対して距離情報を算出する。重複領域物体検出部２０３では、センサ情報取得部２００と画像取得部２０１の視野を共有する領域（重複領域）から、距離情報取得部２０２で取得した距離情報に基づき物体を検出する。部位特定部２０４では、重複領域物体検出部２０３で検出した歩行者の画像情報に基づき、換言すれば、重複領域物体検出部２０３で検出した歩行者に該当する領域の画像を解析することで、歩行者における特定の部位領域を決定する。画像情報保存部２０５では、部位特定部２０４で検出・決定した歩行者部位領域に関する画像情報を保存する。３次元情報取得部２０６では、距離情報取得部２０２で取得した距離情報に基づき、部位特定部２０４で特定した部位領域の３次元情報を取得する。ここで、３次元情報とは、特定した部位領域の路面からの高さ、若しくは部位領域の高さや幅の実サイズ（実寸）である。
　路面推定部２０９では、距離情報取得部２０２で取得した距離情報に基づき路面の形状、即ち傾きを推定する。路面の傾きを推定する方法として、画像中から路面領域を特定し、特定した路面領域における距離画像を参照し、路面の形状を推定する。路面領域の特定は、白線を検出し、検出した白線内の領域を路面領域として設定してもよい。若しくは、画像領域において事前に設定した所定の領域を路面領域として設定してもよい。設定した路面領域から路面の形状を推定する方法に関して述べる。距離画像を参照し、縦方向画素毎の平均距離を取得する。対象の縦方向画素位置をｙ、計算した平均距離をｚ、焦点距離をｆ、画素サイズをｗとしたときに、路面の高さHは、次の等式H＝（ｙ＊ｗ＊ｚ）／ｆを満たす。路面推定部２０９では、上述した計算方法に従い、各縦方向画素毎の路面高さを計算する。また、各縦方向画素毎の路面高さは、距離画像におけるノイズの影響により、隣接する縦方向画素毎で大きく異なる場合がある。その場合、各縦方向画素毎の路面高さに対して直線をあてはめてノイズの影響を抑制してもよい。以上、路面推定部２０９での路面の傾き推定の方法に関して述べたが、路面推定部２０９ではいかなる路面形状の推定方法も適用することができる。
　非重複領域物体検知出部２０７では、画像情報保存部２０５に保存された画像情報を参照し、センサ情報取得部２００と画像取得部２０１の視野を共有しない領域（非重複領域）から部位特定部２０４で特定した部位領域を検出する。
　距離算出部２０８では、非重複領域物体検出部２０７で検出した部位領域の画像上での検出領域情報（詳しくは、位置情報やサイズ情報）、３次元情報取得部２０６で取得した３次元情報、及び路面推定部２０９で推定した路面の傾き情報に基づき、非重複領域物体検出部２０７で検出した部位領域を含む歩行者までの距離を算出する。具体的には、非重複領域物体検出部２０７で検出した部位領域の画像上での検出領域情報と路面推定部２０９で推定した路面の傾き情報から、カメラと歩行者部位領域の角度情報、及び歩行者と接地する路面の高さを計算する。そして、計算したカメラと歩行者部位領域の角度情報、歩行者と接地する路面の高さ、及び３次元情報取得部２０６で取得した３次元情報から、車両から歩行者までの距離を推定する。
（動作例）　本実施形態の物体認識装置２の動作例を、図９のフローチャートを参照して説明する。対象とするシーンは、図２Ａ、Ｂに示す交差点におけるシーンであり、交差点の路面が傾いているものとする。本動作例において、上述した第１実施形態における図４のフローチャートにより実施される処理との差異は、図９の路面推定部２０９による路面傾き推定処理（R２０９）、及び距離算出部２０８による距離推定処理（R２０８）である。そのため、以降では、相違点である図９における路面傾き推定処理（R２０９）、及び距離推定処理（R２０８）に関して詳細に述べる。
　路面傾き推定処理（R２０９）では、車両前方の路面の高さを推定する。路面傾き推定処理（R２０９）に関し、図１０Ａ、Ｂを用いて説明する。図１０ＡのG１０１は図２ＢのS１０１に示す交差点左折時のカメラ視点を示している。V１００は視野の重複領域、V１０１、及びV１０２は視野の非重複領域を示している。F１０１は歩行者を示している。路面傾き推定処理（R２０９）では、路面領域を設定し、画像の各縦方向画素に対する路面の高さを算出する。図１０ＡのF２００は路面領域を示している。路面領域は、視野の重複領域V１００における事前に設定した領域を設定する。図１０Ｂは、路面領域F２００における路面高さの推定結果を示している。F２０１は画像の各縦方向画素位置を示しており、F２０２は路面からの高さを示している。路面傾き推定処理（R２０９）では、F２０１の各縦方向画素に対して、距離画像を参照し、路面からの高さを算出する。高さ算出では、距離画像の各縦方向画素の平均距離を計算し、計算した平均距離、縦方向画素位置、及び焦点距離、画素サイズから路面からの高さを算出する。上記処理をF２０１の各画像縦方向位置のそれぞれに対して実施し、F２０３に示す各画像縦方向位置に対する路面高さ情報を算出する。次に、路面からの高さ算出処理（R２０６）で計算した歩行者部位領域の高さ情報を利用し、F２０３に示す各画像縦方向位置に対する路面高さ情報に対して、歩行者部位領域の画像上での高さ分だけオフセットF２０４を加え、F２０５に示す歩行者部位領域における路面高さ情報に変換する。オフセットF２０４の算出方法について述べる。オフセットF２０４は歩行者部位領域の画像上でのサイズｈである。路面からの高さ算出処理（R２０６）で計算した歩行者部位領域の高さをH、距離画像の各縦方向画素の平均距離をｚ、カメラ焦点距離をｆ、画素サイズをｗとした際に、画像上での部位サイズｈは、次の式ｈ＝（ｆ＊H）／（ｗ＊ｚ）を満たす。そのため、F２０４に対して、上述した計算方法に対してオフセット量を計算し、F２０５に示す各歩行者部位領域の高さにおける路面高さ情報を算出する。オフセットF２０４を加えることで、F２０６に示すように、視野の非重複領域V１０１における歩行者部位領域の画像縦方向位置から路面高さ情報を取得することができる。
　距離推定処理（R２０８）では、路面からの高さ算出処理（R２０６）で算出した歩行者部位領域の路面からの高さ、パーツ検出処理（R２０７）で検出した歩行者部位領域の画像上での検出領域情報、及び路面傾き推定処理（R２０９）で推定した路面の傾き情報から、車両から歩行者までの距離を算出する。図１１を用いて、距離算出の方法に関して述べる。図１１において、F２１１は歩行者、F２１２は車両、F２１３は車両に取り付けられたカメラ、F２１４はパーツ検出処理（R２０７）で検出した歩行者部位領域の画像上での検出領域情報（位置情報）、及びカメラの取り付け角度情報から計算できるカメラに対する歩行者部位領域への角度α、F２１５はカメラの設置高さH、F２１６は路面からの高さ算出処理（R２０６）で計算した歩行者部位領域の高さP、F２１７は路面傾き推定処理（R２０９）で取得した路面の高さ情報Rを示している。ここで、推定する歩行者までの距離ZはF２１８であり、次の式Z＝（H－P－R）＊Atan（α）を満たす。距離推定処理（R２０８）では、以上の計算方法に従い歩行者までの距離を算出する。
（作用効果）　以上より、本実施形態の物体認識装置２は、路面の形状（傾き）情報を算出し、算出した路面の形状（傾き）情報を参照し、歩行者までの距離を算出する。これにより、路面が傾いている場合に対しても、自車両から歩行者などの物体までの距離を正確に推定することができる。
［第３実施形態］　上述した第１実施形態の物体認識装置１では、同一部位の見え方がフレーム毎で変化しない、若しくはほとんど変化しないシーンについて説明したが、例えば夜間にヘッドライトに照らされた場合などにおいては、同一部位の見え方がフレーム毎に変化する場合がある。本実施形態の物体認識装置３は、そのようなシーンにおいても、周辺に存在する物体（歩行者など）までの距離を算出する。
（機能ブロック構成例）　図１２は、第３実施形態の物体認識装置３の構成を示す機能ブロック図である。
　本実施形態の物体認識装置３は、センサ情報取得部３００、画像取得部３０１、距離情報取得部３０２、重複領域物体検出部３０３、部位特定部３０４、画像情報保存部３０５、３次元情報取得部３０６、非重複領域物体検出部３０７、及び距離算出部３０８を有し、非重複領域物体検出部３０７が、時系列類似部位特定部３０９を有している。つまり、本第３実施形態の物体認識装置３と上述した第１実施形態の物体認識装置１との違いは、非重複領域物体検出部３０７における処理内容である。
　センサ情報取得部３００は、対象とするセンサのセンサ情報を取得・収集する。画像取得部３０１は、カメラにより撮像された画像データを取得する。距離情報取得部３０２では、センサ情報取得部３００と画像取得部３０１のセンシング領域が重なった重複領域に対して距離情報を算出する。重複領域物体検出部３０３では、センサ情報取得部３００と画像取得部３０１の視野を共有する領域（重複領域）から、距離情報取得部３０２で取得した距離情報に基づき物体を検出する。部位特定部３０４では、重複領域物体検出部３０３で検出した歩行者の画像情報に基づき、換言すれば、重複領域物体検出部３０３で検出した歩行者に該当する領域の画像を解析することで、歩行者における特定の部位領域を決定する。本例では、部位特定部３０４では、歩行者領域全体を特定するものとするが、歩行者領域の一部（図５参照）を特定してもよい。画像情報保存部３０５では、部位特定部３０４で検出・決定した歩行者部位領域に関する画像情報を保存する。
　３次元情報取得部３０６では、距離情報取得部３０２で取得した距離情報、及び重複領域物体検出部３０３で検出した歩行者の画像情報に基づき、部位特定部３０４で特定した歩行者領域全体における各部位領域の３次元情報である路面からの高さ情報を算出する。
　非重複領域物体検出部３０７では、画像情報保存部３０５に保存された歩行者部位領域の画像情報に基づき、視野の非重複領域における歩行者の部位領域を検出する。詳しくは、非重複領域物体検出部３０７の時系列類似部位特定部３０９では、画像情報保存部３０５に保存された過去の歩行者部位領域の画像情報を参照し、センサ情報取得部３００と画像取得部３０１の視野を共有しない領域（非重複領域）から現在のフレームにおいて見え方の類似する部位領域（類似部位領域）を決定し、時系列で類似する部位領域（類似部位領域）の画像情報を画像情報保存部３０５に保存する。
　距離算出部３０８では、非重複領域物体検出部３０７で検出した歩行者部位領域の画像上での検出領域情報（詳しくは、位置情報やサイズ情報）、及び３次元情報取得部３０６で算出した歩行者領域全体の距離情報を参照し、非重複領域物体検出部３０７で検出した歩行者部位領域（詳しくは、類似部位領域）を含む歩行者までの距離情報を算出する。
（動作例）　本実施形態の物体認識装置３の動作例を、図１４のフローチャートを参照して説明する。対象とするシーンは、図１３Ａ、Ｂに示す交差点におけるシーンであり、走行環境は夜間であるものとする。図１３ＡのG１１０は交差点通過前のカメラ視点であり、図１３ＢのG１１１は交差点左折時のカメラ視点を示している。図１３Ａ、Ｂ中のF１０１は歩行者を示しており、V１０１、及びV１０２は視野の非重複領域を示しており、V１００は視野の重複領域を示している。J１０１、及びJ１０２は、歩行者F１０１において、車両のヘッドライトにより照らされている部位を示している。J１０１、及びJ１０２でヘッドライトが照射されている部位が異なるのは、歩行者と車両の距離が変化することでヘッドライトの照射範囲が異なるためである。
　本動作例における図１４のフローチャートにより実施される処理と上述した第１実施形態における図４のフローチャートにより実施される処理との差異は、図１４の３次元情報取得部３０６による歩行者高さ算出処理（R３０６）、非重複領域物体検出部３０７（の時系列類似部位特定部３０９）による複数パーツスキャン処理（R３０７A）、画像情報保存部３０５による部位情報更新処理（R３０７B）、距離算出部３０８による距離推定処理（R３０８）である。そのため、以降では、相違点である図１４における歩行者高さ算出処理（R３０６）、複数パーツスキャン処理（R３０７A）、部位情報更新処理（R３０７B）、距離推定処理（R３０８）に関して詳細に述べる。
　歩行者高さ算出処理（R３０６）では、距離画像生成処理（R３０２）で生成した距離画像、及び重複領域歩行者検出処理（R３０３）で検出した歩行者領域情報から、輝度解析処理（R３０４）で特定した歩行者領域全体における各部位領域の路面からの高さ情報を算出する。図１５に、歩行者高さ算出処理（R３０６）で算出する路面からの高さ情報の概念図を示す。図１５において、歩行者F１０１に対して、重複領域歩行者検出処理（R３０３）で検出した歩行者領域をF３０１に示す。歩行者高さ算出処理（R３０６）では、図１５に示すように歩行者領域F３０１における各部位領域に対する路面からの高さ情報を算出しておき、各部位領域と路面からの高さ情報を記憶する。図１５では部位領域と路面からの高さ情報が等間隔に図示されているが、等間隔でなくてもよく、部位領域と路面からの高さのいかなる関係性の算出、及び情報の記録もできる。
　複数パーツスキャン処理（R３０７A）では、テクスチャ保存処理（R３０５）で保存された過去の部位情報を利用し、非重複領域V１０１から現在フレームにおける歩行者部位領域を特定する。その際、過去の部位情報を複数の部位領域に分け、現在フレームに対してラスタースキャンを実施し、過去フレームと現在フレームにおいて類似した部位領域（類似部位領域）の検出を行う。すなわち、現在フレームにおいてテクスチャ保存処理（R３０５）で保存された過去フレームの歩行者部位領域の一部を有する類似部位領域の検出を非重複領域V１０１から行う。図１６に、過去の部位情報（歩行者部位領域）の分割の概念図を示す。F１０１は歩行者を示しており、J１０１は輝度解析処理（R３０４）により検出され、テクスチャ保存処理（R３０５）で保存された明るく撮像された歩行者部位領域を示している。複数パーツスキャン処理（R３０７A）では、J１０１の歩行者部位領域をT３０１に示すように複数の歩行者部位領域に分割する。分割方法は、画像上での部位領域をサイズに応じて分割してもよいし、１画素ずつ上下方向に小さく切りだしてもよい。複数パーツスキャン処理（R３０７A）では、T３０１に示す複数の歩行者部位領域（分割した歩行者部位領域）をテンプレートとし、現在フレームに対してラスタースキャンを実施する。複数テンプレートの相関値に対するピーク値を求めることで、現在フレームと過去フレームにおける類似部位領域を特定、及び現在フレームにおける類似部位領域を検出する。また、テンプレートを走査する際に、テンプレートのサイズを変更してラスタースキャンする。
　部位情報更新処理（R３０７B）では、複数パーツスキャン処理（R３０７A）で特定した過去フレームと現在フレームにおける類似部位領域の画像情報を保存・更新する。
　距離推定処理（R３０８）では、歩行者高さ算出処理（R３０６）で算出した歩行者領域全体における部位領域と路面からの高さの関係性、複数パーツスキャン処理（R３０７A）で検出した部位領域情報に基づき、歩行者までの距離を算出する。初めに、複数パーツスキャン処理（R３０７A）で特定した現在フレームにおける歩行者部位領域の路面からの高さ情報を取得する。具体的には、現在フレームで検出した部位領域が歩行者領域全体においてどこに対応するかを求め、歩行者高さ算出処理（R３０６）で計算した部位領域と路面からの高さの関係性を参照することで、現在フレームで特定した部位領域の路面からの高さ情報を取得する。次に、現在フレームで検出した部位領域の路面からの高さ、複数パーツスキャン処理（R３０７A）で推定した部位領域の画像上での位置、及びカメラの設置位置と角度情報から、歩行者までの距離を推定する。
（作用効果）　以上より、本実施形態の物体認識装置３は、非重複領域においてフレーム毎に過去フレームと現在フレームで共通する部位領域を利用し、歩行者までの距離を推定する。夜間のヘッドライトに照らされた歩行者などは車両の移動に伴い異なる部位に光が照射されるため、同一部位の見え方はフレーム毎に変化する。そのため、常時同一箇所の検出は困難となる可能性があるが、過去フレームと現在フレームで見え方の類似する部位情報（類似部位領域）を利用して検出を実施することで、部位の見え方が時間的に変化する場合にも安定的に検出することができ、自車両から歩行者などの物体までの距離を精度高く推定することができる。
　なお、上に記載した実施形態では、センサ情報取得部で対象とするセンサとして単眼カメラを想定して記載したが、ステレオカメラ、ミリ波、レーザーレーダなどにも適用可能である。また、センサ情報取得部や画像取得部で車両の前方をセンシングする想定で上に記載した実施形態を説明したが、前方に限定するものではなく、後方や側方にも本発明は適用することができる。
　以上、第１実施形態、第２実施形態、及び第３実施形態を参照して本発明を説明したが、本発明は上記した実施形態に限定されるものではなく、本発明のスコープ内で当事者が理解し得る様々な変形形態が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記憶装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
　また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
　１　　　物体認識装置（第１実施形態）
　２　　　物体認識装置（第２実施形態）
　３　　　物体認識装置（第３実施形態）
　１００、２００、３００　センサ情報取得部
　１０１、２０１、３０１　画像取得部
　１０２、２０２、３０２　距離情報取得部
　１０３、２０３、３０３　重複領域物体検出部
　１０４、２０４、３０４　部位特定部
　１０５、２０５、３０５　画像情報保存部
　１０６、２０６、３０６　３次元情報取得部
　１０７、２０７、３０７　非重複領域物体検出部
　１０８、２０８、３０８　距離算出部
　２０９　路面推定部
　３０９　時系列類似部位特定部
 

Claims (7)

  1. 　周辺をセンシングしたセンサ情報を取得するセンサ情報取得部と、
    　周辺を撮像した画像を取得する画像取得部と、
    　前記センサ情報取得部と前記画像取得部のセンシング領域が重なった重複領域に対して距離情報を取得する距離情報取得部と、
    　前記距離情報取得部で取得した距離情報に基づいて前記重複領域から物体を検出する重複領域物体検出部と、
    　前記重複領域物体検出部で検出した前記物体に該当する領域の画像を解析することで前記物体における特定の部位領域を決定する部位特定部と、
    　前記部位特定部で決定した部位領域に関する画像情報を保存する画像情報保存部と、
    　前記距離情報取得部で取得した前記距離情報に基づき前記部位特定部で特定した部位領域の３次元情報を取得する３次元情報取得部と、
    　前記センサ情報取得部と前記画像取得部のセンシング領域が重複しない非重複領域に対して前記画像情報保存部に保存された画像情報を参照し、前記部位特定部で特定した部位領域又は前記部位特定部で特定した部位領域の一部を有する類似部位領域を検出する非重複領域物体検出部と、
    　前記非重複領域物体検出部で検出した前記部位領域又は前記類似部位領域の画像上での検出領域情報、及び前記３次元情報取得部で取得した３次元情報に基づき、前記部位領域又は前記類似部位領域を含む物体までの距離を算出する距離算出部と、を備えることを特徴とする物体認識装置。
  2. 　前記３次元情報取得部で取得する３次元情報は、前記部位特定部で決定した部位領域の路面からの高さであることを特徴とする、請求項１に記載の物体認識装置。
  3. 　前記距離情報取得部で取得した距離情報に基づいて路面の形状を推定する路面推定部をさらに有し、
    　前記距離算出部は、前記非重複領域物体検出部で検出した前記部位領域又は前記類似部位領域の画像上での検出領域情報、前記３次元情報取得部で取得した３次元情報、及び前記路面推定部で推定した路面形状情報に基づき、前記部位領域又は前記類似部位領域を含む物体までの距離を算出することを特徴とする、請求項２に記載の物体認識装置。
  4. 　前記３次元情報取得部で取得する３次元情報は、前記部位特定部で決定した部位領域の高さ、若しくは幅の実寸であることを特徴とする、請求項１に記載の物体認識装置。
  5. 　前記部位特定部は、画像の輝度値を解析し、明暗のコントラスト変化に基づき、前記部位領域を決定することを特徴とする、請求項１に記載の物体認識装置。
  6. 　前記画像情報保存部に格納された過去フレームの部位領域と現在フレームにおいて見え方の類似する前記類似部位領域を決定する時系列類似部位特定部をさらに有し、
    　前記画像情報保存部は、前記時系列類似部位特定部で決定した前記類似部位領域の画像情報を保存することを特徴とする、請求項１に記載の物体認識装置。
  7. 　前記時系列類似部位特定部は、前記画像情報保存部に格納された過去フレームの部位領域を複数の部位領域に分割し、現在フレームにおいて前記分割した部位領域に対応した前記類似部位領域を決定することを特徴とする、請求項６に記載の物体認識装置。
     
PCT/JP2020/033885 2019-10-08 2020-09-08 物体認識装置 WO2021070537A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/767,043 US12118801B2 (en) 2019-10-08 2020-09-08 Object recognition device
DE112020004301.0T DE112020004301T5 (de) 2019-10-08 2020-09-08 Objekterkennungsvorrichtung

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019185036A JP7225074B2 (ja) 2019-10-08 2019-10-08 物体認識装置
JP2019-185036 2019-10-08

Publications (1)

Publication Number Publication Date
WO2021070537A1 true WO2021070537A1 (ja) 2021-04-15

Family

ID=75380495

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/033885 WO2021070537A1 (ja) 2019-10-08 2020-09-08 物体認識装置

Country Status (4)

Country Link
US (1) US12118801B2 (ja)
JP (1) JP7225074B2 (ja)
DE (1) DE112020004301T5 (ja)
WO (1) WO2021070537A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113978468A (zh) * 2021-12-16 2022-01-28 诺博汽车系统有限公司 基于积水环境的车速控制方法、装置、设备以及介质
WO2023090170A1 (ja) * 2021-11-22 2023-05-25 日立Astemo株式会社 画像処理装置
WO2023095489A1 (ja) * 2021-11-26 2023-06-01 日立Astemo株式会社 外界認識装置

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022037448A (ja) * 2020-08-25 2022-03-09 スズキ株式会社 運転支援装置
JP7371053B2 (ja) * 2021-03-29 2023-10-30 キヤノン株式会社 電子機器、移動体、撮像装置、および電子機器の制御方法、プログラム、記憶媒体
JP7371659B2 (ja) 2021-03-31 2023-10-31 トヨタ自動車株式会社 蓄電装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009085651A (ja) * 2007-09-28 2009-04-23 Hitachi Ltd 画像処理システム
JP2015195018A (ja) * 2014-03-18 2015-11-05 株式会社リコー 画像処理装置、画像処理方法、運転支援システム、プログラム
JP2015231179A (ja) * 2014-06-06 2015-12-21 富士重工業株式会社 車外環境認識装置
WO2017090410A1 (ja) * 2015-11-25 2017-06-01 日立オートモティブシステムズ株式会社 ステレオカメラ装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5251800B2 (ja) 2009-09-16 2013-07-31 株式会社豊田中央研究所 対象物追跡装置及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009085651A (ja) * 2007-09-28 2009-04-23 Hitachi Ltd 画像処理システム
JP2015195018A (ja) * 2014-03-18 2015-11-05 株式会社リコー 画像処理装置、画像処理方法、運転支援システム、プログラム
JP2015231179A (ja) * 2014-06-06 2015-12-21 富士重工業株式会社 車外環境認識装置
WO2017090410A1 (ja) * 2015-11-25 2017-06-01 日立オートモティブシステムズ株式会社 ステレオカメラ装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023090170A1 (ja) * 2021-11-22 2023-05-25 日立Astemo株式会社 画像処理装置
WO2023095489A1 (ja) * 2021-11-26 2023-06-01 日立Astemo株式会社 外界認識装置
CN113978468A (zh) * 2021-12-16 2022-01-28 诺博汽车系统有限公司 基于积水环境的车速控制方法、装置、设备以及介质

Also Published As

Publication number Publication date
US12118801B2 (en) 2024-10-15
US20220366700A1 (en) 2022-11-17
DE112020004301T5 (de) 2022-08-25
JP7225074B2 (ja) 2023-02-20
JP2021060844A (ja) 2021-04-15

Similar Documents

Publication Publication Date Title
WO2021070537A1 (ja) 物体認識装置
US11170466B2 (en) Dense structure from motion
TWI703064B (zh) 用於在不良照明狀況下定位運輸工具的系統和方法
US11138750B2 (en) Distance estimating method and apparatus
O'malley et al. Vision-based detection and tracking of vehicles to the rear with perspective correction in low-light conditions
JP5827508B2 (ja) 車両用障害物検出装置及びそれを用いた車両
JP4875681B2 (ja) 障害物を認識する方法
JP2007156626A (ja) 物体種別判定装置及び物体種別判定方法
JP2004117078A (ja) 障害物検出装置及び方法
JP2004112144A (ja) 前方車両追跡システムおよび前方車両追跡方法
CN103123687A (zh) 快速障碍物检测
JP2008092459A (ja) 周辺監視装置
US9367759B2 (en) Cooperative vision-range sensors shade removal and illumination field correction
KR20150008014A (ko) 전조등 평가 방법
KR101239718B1 (ko) 차량 주변 물체 검출 시스템 및 방법
JP2019218022A (ja) 線路検出装置
US10427683B2 (en) Vehicle display device and vehicle display method for displaying images
JP7201706B2 (ja) 画像処理装置
Ganesan et al. An Image Processing Approach to Detect Obstacles on Road
JP2006343148A (ja) 画像センサとレーザーによる衝突回避システム
JP7134780B2 (ja) ステレオカメラ装置
CN110161523A (zh) 估计墙壁位置及激活机动车的矩阵式大灯系统的主动三角测量的方法
JP3532896B2 (ja) スミア検出方法及びこのスミア検出方法を用いた画像処理装置
JP7142131B1 (ja) 車線検出装置、車線検出方法および車線検出プログラム
JP5907405B2 (ja) 画像解析装置及びこれを用いた物体検出装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20875446

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 20875446

Country of ref document: EP

Kind code of ref document: A1