WO2018038257A1 - 物体検出方法及びその装置 - Google Patents

物体検出方法及びその装置 Download PDF

Info

Publication number
WO2018038257A1
WO2018038257A1 PCT/JP2017/030562 JP2017030562W WO2018038257A1 WO 2018038257 A1 WO2018038257 A1 WO 2018038257A1 JP 2017030562 W JP2017030562 W JP 2017030562W WO 2018038257 A1 WO2018038257 A1 WO 2018038257A1
Authority
WO
WIPO (PCT)
Prior art keywords
object detection
cells
ogm
map
distance
Prior art date
Application number
PCT/JP2017/030562
Other languages
English (en)
French (fr)
Inventor
龍人 渡邉
ヴァレリオ サルブッチ
Original Assignee
株式会社Ｚｍｐ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社Ｚｍｐ filed Critical 株式会社Ｚｍｐ
Publication of WO2018038257A1 publication Critical patent/WO2018038257A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication

Definitions

  • the present invention relates to an object detection method and apparatus for detecting three-dimensional (3D) information such as a distance from a viewpoint to an object, a height, and the like using an occupancy grid map (hereinafter referred to as “OGM”). Is.
  • 3D three-dimensional
  • OGM occupancy grid map
  • FIG. 27 is a schematic diagram showing a conventional object detection method.
  • a pair of sensors that acquire an image of a three-dimensional object for example, the stereo camera 100 including the left camera 101L and the right camera 101R is used.
  • the parallax is obtained by the 3D distance image generation processing unit 120 from the stereo image composed of the left image and the right image acquired by the stereo camera 100, and a 3D distance image composed of 3D point cloud data (that is, 3D data) is generated.
  • the ground surface is estimated from the 3D distance image by the coordinate conversion unit 125 and the OGM generation processing unit 130 with a predetermined inclination, and an object having a height higher than the specified height is extracted, and the two-dimensional image (looking down from above) ( 2D) A 2D OGM 10 displayed at a corresponding position in the map is generated.
  • FIG. 28 is a diagram showing an example of the conventional OGM 10 of FIG.
  • the OGM 10 divides an absolute coordinate system with the position of the stereo camera 100 as the origin, the left and right direction as the X axis, and the front and rear depth direction as the Y axis into a plurality of cells 11 in a grid (grid shape) in a reference unit.
  • the occupation probability (existence probability) of the three-dimensional object ahead is displayed for each cell 11.
  • On the cell 11, a point group 13a that is detected and voted for an object is displayed.
  • the cell size is arbitrary or determined to be an optimum size according to the detection accuracy (resolution) of the stereo camera 1.
  • Patent Document 1 describes an object detection method for detecting an object such as an object around a traveling vehicle using OGM.
  • the area of the cell 11 is small in the proximity region of the vehicle and the area of the cell 11 is large in the far region of the vehicle so as to suit the traveling state of the vehicle on which the pair of sensors are mounted.
  • the area of the cell 11 is large when the speed of the vehicle is high, and the area of the cell 11 is small when the speed of the vehicle is slow.
  • the conventional object detection method or object detection apparatus using the OGM 10 has the following problems 1 to 5 as (a) to (e).
  • Problem 2 As one of the problems 2, there is a problem that an object that does not exist originally is detected as a cell 11 due to a lump of noise of the stereo camera 100.
  • Problem 2-2 in the conventional OGM 10, a plurality of cells 11 may correspond to one object. In this case, when the OGM 10 is used for subsequent recognition and control, it is desirable to integrate a plurality of cells 11 so that they can be handled as one object, but this is not possible.
  • a first object is to provide an object detection method capable of obtaining highly accurate 3D information
  • a second object is to provide an object detection apparatus.
  • the object detection method of the present invention obtains a parallax for each pixel from left and right images of an object photographed by a stereo camera, generates a 3D distance image including 3D point cloud data, A method of voting point cloud data to a 2D map in which a plurality of grid-like cells are arranged on a two-dimensional plane, generating a first OGM, and detecting the 3D information of the object using the first OGM. , Redundant cells are arranged so as to overlap the boundary between the plurality of cells, the 3D point cloud data is also voted for the redundant cells, and a redundant second OGM is generated. Detecting 3D information of the object using 2OGM.
  • an object detection apparatus of the present invention includes a stereo camera that captures an object and acquires left and right images of the object, and a parallax calculation unit that calculates parallax for each pixel from the left and right images.
  • the 3D distance image generation unit that generates a 3D distance image including 3D point cloud data from the parallax and the 3D point cloud data are voted on a 2D map in which a plurality of grid-like cells are arranged on a two-dimensional surface.
  • An OGM generation unit that generates a first OGM, and an object detection unit that detects 3D information of the object using the first OGM.
  • the OGM generation unit arranges redundant cells so as to overlap the boundary between the plurality of cells, and also vote the redundant 3D point cloud data to the redundant cells. 2 OGM is produced
  • the said object detection part detects 3D information of the said object using said 2nd OGM, It is characterized by the above-mentioned.
  • a weight corresponding to the distance to the object may be applied.
  • the voting value for the second OGM may be binarized using a threshold value to generate a binary map, and a labeling process may be performed on the binary map.
  • a shrinkage process and an expansion process may be performed before the labeling process.
  • the range of the cells to be voted on may be expanded according to the distance to the object.
  • parameters of the front road surface may be estimated using the 3D point cloud data before the voting, and the 3D point cloud data may be converted into a road surface coordinate system using the parameters.
  • redundant cells are arranged so as to overlap the vicinity of the boundaries of a plurality of cells, and 3D point cloud data is also voted for the redundant cells. Therefore, even when the same object is straddling a plurality of cells, the object can be accurately detected.
  • FIG. 1 is a schematic functional block diagram showing an entire object detection apparatus in Embodiment 1 of the present invention. It is a flowchart which shows the whole process of the object detection method of the present Example 1. It is a flowchart which shows the detail of step S4 of FIG. 2A. It is a figure which shows the example of ROGM in the present Example 1.
  • FIG. It is a figure which shows the example of the conventional OGM. It is a figure which shows the other example of ROGM in the present Example 1.
  • FIG. It is a figure which shows the other example of the conventional OGM. It is a figure which shows the other example of ROGM in the present Example 1.
  • FIG. 1 is a schematic functional block diagram showing an entire object detection apparatus in Embodiment 1 of the present invention. It is a flowchart which shows the whole process of the object detection method of the present Example 1. It is a flowchart which shows the detail of step S4 of FIG. 2A. It is a figure which shows the example of ROGM in the present Example 1.
  • FIG. 5 is a flowchart illustrating a processing example of ROGM algorithm 1 in the first embodiment.
  • 3 is a flowchart illustrating a processing example of ROGM algorithm 2 in the first embodiment.
  • 10 is a diagram for explaining a solution to Problem 3.
  • FIG. It is a figure which shows the shrinkage
  • FIG. 2A It is a figure which shows the expansion process in step S9 of FIG. 2A. It is a figure which shows the binarized image made into object in a labeling process. It is a figure which shows the case of 4 connection in a labeling process. It is a figure which shows the case of 8 connection in a labeling process. It is a figure which shows a raster scan and a look-up table in a labeling process. It is a figure which shows how to assign the label number with respect to a white pixel in a labeling process. It is a figure which shows a mode that the number was initially allocated in the labeling process. It is a figure which shows a mode that a raster scan is further continued in a labeling process.
  • FIG. 1 It is a figure which shows the result of labeling processing of the binary data of FIG.
  • the image used for investigating a distant vote is shown, (a) is a left image, (b) is a right image, (c) is a distance image. It is the map by ROGM of an Example. It is a map by OGM of a comparative example.
  • the image used for investigating a distant vehicle is shown, (a) is a left image, (b) is a figure which shows a distance image.
  • FIG. 1 is a schematic functional block diagram showing the entire object detection apparatus 20 according to the first embodiment of the present invention.
  • the object detection device 20 includes a stereo camera 21 including a left camera 21L and a right camera 21R for photographing an object.
  • a parallax calculation unit 22 On the output side of the stereo camera 21, a parallax calculation unit 22, a distance / 3D information calculation unit 23 as a 3D distance image generation unit, a camera height / tilt estimation unit 24 from the front road surface, and a tilt conversion according to the front road surface
  • a unit 25 an OGM calculation unit 26 as an OGM generation unit, a noise removal unit 27, an object detection unit 28, an output unit 29 of detected object information, and a global map display unit 30 are cascade-connected.
  • the unit 28, the detected object information output unit 29, and the global map display unit 30 are configured by an information processing apparatus such as a computer, for example.
  • the stereo camera 21 is a device that acquires a left image by the left camera 21L and acquires a right image by the right camera 21R, and a parallax calculation unit 22 is connected to the output side.
  • the parallax calculation unit 22 calculates parallax for each pixel from the left and right images input from the stereo camera 21, and the distance / 3D information calculation unit 23 is connected to the output side.
  • the distance / 3D information calculation unit 23 obtains the distance to the object and the 3D coordinate value from the calculated parallax, and on the output side, the camera height / tilt estimation unit 24 from the front road surface and the front road surface
  • the combined inclination conversion unit 25 is connected.
  • the camera height / tilt estimation unit 24 from the front road surface and the tilt conversion unit 25 adapted to the front road surface perform height / pitch / roll conversion, and the plane inclination (pitch, roll) from the front road surface
  • the camera position height with respect to the plane is estimated, and from this estimated height / tilt information, a 3D coordinate value is converted into a 3D coordinate system parallel to the road surface. It is connected.
  • the OGM calculation unit 26 performs voting / threshold processing for the first OGM, and in the converted 3D coordinate system, 3D points that satisfy certain conditions are determined in advance on the first OGM that is a 2D map parallel to the road surface.
  • a vote value for a second occupancy grid map (RedundantundOccupancy Grid Map, hereinafter referred to as “ROGM” or “second OGM”) is obtained from the number of votes obtained.
  • ROGM is a two-dimensional map that improves the conventional OGM and enables stable object detection regardless of the object position. It is an abbreviation for Redundant that means “redundant” compared to the conventional OGM. is there.
  • the OGM calculation unit 26 further has a function of binarizing the image with respect to the obtained ROGM vote value.
  • a noise removal unit 27 and an object detection unit 28 are connected to the output side of the OGM calculation unit 26.
  • the noise removal unit 27 and the object detection unit 28 perform an appropriate number of times of contraction / expansion processing on the calculated binary map ROGM, and perform a labeling processing on the processed binary ROGM, Furthermore, it has a function of extracting only objects satisfying predetermined sizes such as width and height, and an output unit 29 for detecting object information is connected to this output side.
  • the contraction / expansion processing is performed by the noise removing unit 27, and the labeling processing is performed by the object detection unit 28.
  • the output unit 29 of the detected object information is to output the extracted object with information such as an identifier (ID), width, height, etc., and a global map display unit 30 is connected to this output side. Yes.
  • the global map display unit 30 displays the output result of the output unit 29 on the display screen.
  • FIG. 2A is a flowchart showing overall processing in the object detection method of the first embodiment using the object detection device 20 of FIG. 1, and FIG. 2B is a flowchart showing details of step S4 in FIG. 2A.
  • the object detection apparatus 20 in FIG. 1 performs the processes of steps S1 to S12.
  • step S1 a front object is photographed by the stereo camera 21, and the photographed left and right images are input to the parallax calculation unit 22, and the process proceeds to step S2.
  • step S2 the parallax calculation unit 22 obtains a parallax value for each pixel from the input left and right images, and proceeds to step S3.
  • step S3 the distance / 3D information calculation unit 23 obtains the distance to the object and the 3D coordinate value from the obtained parallax value, and proceeds to steps S4 and S5.
  • step S4 the camera height / tilt estimation unit 24 from the front road surface and the tilt conversion unit 25 matched to the front road surface estimate the plane inclination (pitch, roll) and the camera position height relative to the plane from the front road surface.
  • the process proceeds to step S5.
  • step S5 the inclination conversion unit 24 converts the 3D coordinate value from the estimated height / inclination information into a 3D coordinate system parallel to the road surface, and proceeds to steps S6, S7, and S8.
  • step S4 -2 the variance-covariance matrix C is obtained.
  • step S4-5 pi that does not satisfy ⁇ 2 ⁇ ⁇ h ⁇ + 2 ⁇ is excluded from the sample points.
  • the camera height can be estimated by the so-called plane fitting method according to each step of step S4. That is, using the three-dimensional point cloud data within a certain range of the forward road surface obtained by the stereo camera 21, a normal vector of a plane that approximates the forward road surface is obtained, and the roll, pitch, and camera coordinates of the camera coordinates are obtained from the normal vector. Three angles of yaw are obtained, and from the normal vector, the height parameter of the plane is also obtained, and the height relative to the road surface of the camera is obtained. Therefore, road surface coordinates (Xs, Ys, Zs) reflecting the inclination of the front road surface and the like are obtained. In the present invention, the road surface coordinates thus estimated are also referred to as a road surface coordinate system.
  • step S4 tilt information and height information with respect to the road surface of the camera can be obtained in real time.
  • the influence by the change of the state of a vehicle by mounting of a rear heavy article and sudden acceleration / deceleration can be avoided.
  • the front road surface close to the vehicle is generally flat. If the camera has a good stereo camera calibration on a road surface such as asphalt and has a sufficiently wide dynamic range, the captured camera image has sufficient texture for stereo matching. Dense 3D point cloud information on the road surface can be obtained. From these pieces of information, it is possible to obtain a road surface coordinate system (Xs, Ys, Zs) reflecting the inclination of the front road surface that approximates the front road surface. Thereby, the said subject 5 can be solved.
  • Xs, Ys, Zs road surface coordinate system reflecting the inclination of the front road surface that approximates the front road surface.
  • step S6 the OGM calculation unit 26 votes a 3D point satisfying a certain condition in the converted 3D coordinate system by multiplying a predetermined weight on an OGM that is a two-dimensional map parallel to the road surface, and in step S7. Proceed to In step S7, the OGM calculation unit 26 obtains a vote value for the ROGM from the obtained number of votes, and proceeds to step S8. In step S8, the OGM calculation unit 26 sets the cell having a certain threshold value or more to the ROGM vote value obtained as a state (1) in which an object exists, and the state in which no object exists in other cells. The image is binarized as (0), and the process proceeds to steps S9, S10, and S11.
  • step S9 the noise removing unit 27 performs an appropriate number of contraction processes and expansion processes on the calculated binary ROGM, and the process proceeds to step S10.
  • step S10 the object detection unit 28 performs a labeling process on the processed binary ROGM, and then proceeds to step S11.
  • step S11 the object detection unit 28 extracts only objects satisfying a predetermined size such as width and height from the labeling processing result, and proceeds to step S12.
  • step S12 the output unit 29 of the detected object information gives information such as ID, width, and height to the extracted object.
  • the assigned information is displayed by the global map display unit 30, and the object detection process is completed.
  • the distance calculation by the stereo camera 21 is obtained by the principle of triangulation using the inter-camera distance or the like from the difference in parallax between the left camera 21L and the right camera 21R.
  • Cameras using the same lens and sensor are used as the left camera 21L and the right camera 21R, the focal length of the lens is f, the inter-camera distance (baseline length) is w, the pixel size (side size) of the sensor is u, and
  • the distance L from the stereo camera 21 to the object is expressed by the following equation (1).
  • L fw / du (1)
  • the distance L is inversely proportional to the parallax d, so that the smaller the parallax d, the farther away, and the larger the parallax d, the closer.
  • the following expression (2) is obtained from the expression (1).
  • This equation (2) shows how much the distance L changes with respect to a minute change in the parallax d (parallax error ⁇ d) in a certain parallax d.
  • ⁇ L indicates a change in distance (distance error).
  • a method for obtaining the parallax d using the stereo camera 21 with an accuracy of less than one pixel has been proposed, and, for example, an accuracy of about 1/4 to 1/10 pixel is realized. Whether or not the accuracy is actually achieved is affected by the density of the texture and the strength of the edge on the object as the subject.
  • the object always has a certain amount of texture, and is a subpixel (for example, 1 ⁇ 4 pix) having a magnitude of the parallax error ⁇ d, the formula (2) ) Is obtained.
  • the vote for OGM is reconsidered based on the distance error ⁇ L.
  • the parallax d is obtained for a certain pixel by performing stereo processing, that is, matching between the left and right pixels. Then, the parallax error ⁇ d is determined as subpixel accuracy that can be expected. In that case, the fluctuation range including the error ⁇ L of the distance L with respect to the parallax d is obtained by the equation (2). The range is considered as a probability density, and voting is performed for cells included in the range. At that time, according to the performance of the information processing device to be used, if the performance is high, vote according to the distribution like Gaussian distribution, and if the performance is low, vote equally with the same probability density To do. Thus, the conventional problem 4 is solved.
  • FIG. 3A is a diagram illustrating an example of the ROGM 40 in Embodiment 1 of the present invention
  • FIG. 3B is a diagram illustrating an example of a conventional OGM 10 as the first OGM.
  • each cell 11 is illustrated as a square, it may be a horizontally long rectangle or a vertically long rectangle depending on the design of the OGM 10, but here it is a square for convenience of explanation.
  • One effect of the OGM 10 is removal of noise from the stereo camera 21 that is a sensor. It can be considered that the number of point groups due to noise of the stereo camera 21 is relatively small compared to the number of point groups 13a of the stereo camera output for the real object. Therefore, noise can be removed by setting an appropriate threshold for the number of point groups 13a voted for the cells 11-1 and 11-2 and detecting only those more than that as objects.
  • the threshold value is set to a value that is a marginal value for the number required for object detection, this object is detected if an object exists at the boundary position between the two cells 11-1 and 11-2. It may not be possible. For example, in the case of FIG. 3B, ten point groups 13a are voted for the object. In this case, if the threshold value is set to the last ten, the actual vote is divided into the left cell 11-1 and the right cell 11-2, so both cells 11-1 and 11-2 have five. The threshold of 10 is not reached and the object cannot be detected. Therefore, in the first embodiment, in order to solve such a conventional problem 1, the ROGM 40 as the second OGM as shown in FIG. 3A is used.
  • a plurality of cells 31 are arranged in the ROGM 40, and a new one is added to the center of these two cells 31-1 and 31-2. Redundant cells 31-3 with overlapping regions are arranged. If the central redundant cell 31-3 is voted in the same manner as the left and right cells 31-1 and 31-2, the number of voted point groups 33a for the redundant cell 31-3 becomes 10, which is equal to or greater than the threshold value. The object that could not be detected by the conventional OGM 10 can be detected.
  • the conventional OGM 10 uses the grid-like non-overlapping cells 11-1 and 11-2, but in the first embodiment, the overlapping cells 31-3 are arranged redundantly, so that The object (33a) existing near the boundary between the cells 31-1 and 31-2 can be detected, and stable detection can be performed regardless of the object position.
  • 4A is a diagram illustrating another example of the ROGM 40 according to the first embodiment of the present invention
  • FIG. 4B is a diagram illustrating another example of the conventional OGM 10.
  • the number of voted point groups 33a is 10, and the object can be detected. It becomes like this.
  • the algorithm of ROGM40 is configured so that the above can be processed with generality.
  • FIG. 5 is a diagram showing another example of the ROGM 40 in the first embodiment of the present invention.
  • a new cell 31-3 is arranged in the horizontal direction with respect to one cell 31-1 while being shifted by half the width of the cell 31-1.
  • a new cell 31-5 is arranged in the vertical direction while being shifted by half the height of the cell 31-1.
  • a new cell 31-5 is arranged in an oblique direction.
  • FIGS. 6A, 6B, and 6C are diagrams showing another example of the arrangement of the plurality of cells 31 in the ROGM 40 of the first embodiment
  • FIG. 6D is a diagram showing an example of the arrangement of the plurality of cells 11 in the conventional OGM 10. It is.
  • the ROGM 40 of the first embodiment is represented by “x” when the centers of the cells 31 and 11 are represented by “x”.
  • the arrangement of the cells 31 is as shown in FIG. 6A
  • the arrangement of the cells 11 of the conventional OGM 10 is as shown in FIG. 6D.
  • the number is twice in the horizontal direction, twice in the vertical direction, and four times in total in the vertical and horizontal directions. It has become.
  • the algorithm of the ROGM 40 of the first embodiment is configured as follows so that the above can be processed with generality.
  • a new grid is formed such that the “x” points shown in FIG.
  • This grid has cells 31 that are half the size of the original grid (both vertically and horizontally). However, the center of the new cell 31 is not the “x” mark, but is arranged so that the “x” mark comes to the four corner positions of the cell 31.
  • the new grid and cell 31 are as shown in FIG. 6B.
  • the output of the stereo camera 21 is voted for each new cell 31 according to the position as in the conventional case. After the voting is over, all the voting numbers of 2 ⁇ 2 new cells 31 in the vertical and horizontal directions are added and registered as the voting number at the position indicated by “ ⁇ ”. This is performed for all “x” marks, and the number is registered.
  • the voting range of a new small cell 31 to be voted against the “x” mark in the center is represented as a gray portion 31g in FIG. 6C.
  • the center position of the original cell 31 coincides with the center position of the 2 ⁇ 2 region of the newly obtained small cell, there is no position shift from the original cell 31.
  • the voting range for all of the “x” mark positions is the same size as the original cell 31, which is obtained at a ratio of half of the original size in the vertical and horizontal directions. . This means that the number of votes in the range where the voting ranges overlap each other by half of the original cell size is obtained at the point marked “x” as described above.
  • the ROGM 40 voting process in the first embodiment is completed.
  • an object can be detected even if the threshold value is increased as compared with the conventional case, and detection more resistant to noise can be performed.
  • the obtained object position is easily detected in the adjacent cell 31, it is larger than the actual object range and is detected in a bulging manner.
  • the detected cells 31 are integrated by a contraction process and an expansion process, which will be described later, and only a portion actually output from the stereo camera 21 is extracted from the integrated cells 31. It is possible to detect a region close to the entity size that is not inflated. Therefore, the conventional problem 1 can be solved.
  • FIG. 7A is a flowchart illustrating a processing example of the algorithm 1 of the ROGM 40 according to the first embodiment of the present invention.
  • processes corresponding to steps S3 to S7 in FIG. 2A are performed by steps S20 to S36.
  • step S22 the distance / 3D information calculation unit 23 obtains the 3D coordinates (X, Y, Z) of the camera coordinate system for the pixel (ix, iy), and proceeds to step S23.
  • step S23 the camera height / inclination estimation unit 24 from the front road surface and the inclination conversion unit 25 in accordance with the front road surface determine the 3D coordinates (X, Y) from the roll / pitch / height information for the stereo camera 21 determined in advance.
  • Z) is converted into road surface coordinates (Xs, Ys, Zs), and the process proceeds to step S24.
  • step S24 the OGM calculation unit 26 determines whether or not the road surface coordinates (Xs, Ys, Zs) are within the range of the OGM 10. When the road surface coordinates (Xs, Ys, Zs) are out of the range (No), the process proceeds to step S26, and within the range (Yes). In step S25, the process proceeds to step S25. In step S25, the OGM calculation unit 26 adds the square value of the coordinate value Xs to the OGM 10 corresponding to the coordinate values iXs and iYs obtained by converting the road surface coordinate values Xs and Ys to integers, and the process proceeds to step S26.
  • the density of the subscript (iXs, iYs) for the cell at the coordinates (Xs, Ys) is the same as the density of the subscript (iXs2, iYs2) of the ROGM 40. Since the size of one cell of the ROGM 40 is doubled by the equation (3) described later, it is desirable that the cell size is half that of the conventional OGM 10 compared to the conventional OGM 10.
  • step S26 the OGM calculation unit 26 adds 1 to the coordinate value ix, and determines whether or not the addition value ix + 1 is smaller than the coordinate value nx (ix ⁇ nx?) In step S27.
  • step S28 the OGM calculation unit 26 adds 1 to the coordinate value iy, and determines in step S29 whether or not the added value iy + 1 is smaller than the coordinate value ny (iy ⁇ ny?).
  • step S30 the OGM calculation unit 26 adds 1 to the coordinate value ix, and determines whether or not the addition value ix + 1 is smaller than the coordinate value nx (ix ⁇ nx?) In step S27.
  • step S28 the OGM calculation unit 26 adds 1 to the coordinate value iy, and determines in step S29 whether or not the added value iy + 1 is smaller than the coordinate value ny (iy ⁇ ny?).
  • step S32 the OGM calculation unit 26 calculates the following expression (3) to obtain a vote value ROGM (iXs2, iYs2) for the ROGM 40, and further repeats the processes of steps S33 to S36.
  • ROGM (iXs2, iYs2) OGM (iXs2, iYs2) + OGM (iXs2, iYs2 + 1) + OGM (iXs2 + 1, iYs2) + OGM (iXs2 + 1, iYs2 + 1) (3)
  • step S33 the OGM calculation unit 26 adds 1 to the coordinate value iXs2.
  • step S34 the OGM calculation unit 26 determines whether the addition value iXs2 + 1 is smaller than the coordinate value nXs (iXs2 ⁇ nXs?). ) Return to step S32, and if larger (No), proceed to step S35. Further, the OGM calculating unit 26 adds 1 to the coordinate value iYs2 in step S35, and determines whether or not the added value iYs2 + 1 is smaller than the coordinate value nYs in step S36 (iYs2 ⁇ nYs?). (Yes) Returning to step S31, if larger (No), the processing of algorithm 1 is terminated.
  • FIG. 7B is a flowchart illustrating a processing example of the algorithm 2 of the ROGM 40 in the first embodiment of the present invention.
  • processing corresponding to Step S8 in FIG. 2A is performed in Steps S40 to S45.
  • step S40 the OGM calculation unit 26 obtains the vote value ROGM (iXs2, iYs2) for each cell 31 of the ROGM 40 using the algorithm 1.
  • step S41 the OGM calculation unit 26 determines whether or not the obtained voting value ROGM (iXs2, iYs2) is equal to or greater than a predetermined threshold value TH (voting value ROGM (iXs2, iYs2) ⁇ threshold value TH?). If it is equal to or higher than TH (Yes), an object exists in the cell 31 in step S42, and if it is smaller than the threshold value TH (No), it is assumed that no object exists in the cell 31 in step S43.
  • step S44 the OGM calculation unit 26 gives +1 or 0 as the state value of the presence of an object for the cell 31. Thereby, the OGM calculation part 26 can display the state of ROGM40 as a binary image in step S45.
  • FIG. 8 is a diagram for explaining a solution to Problem 3.
  • the size is 100 ⁇ 100 pixels on the stereo camera 21 by the similarity calculation of the triangle as in the following equation (5).
  • 2/40 x / 10 (5)
  • FIG. 9 is a diagram showing the contraction process in step S9 of FIG. 2A.
  • FIG. 10 is a diagram showing the expansion process in step S9 of FIG. With reference to FIG. 9 and FIG. 10, a conventional solution for Problem 2 will be described.
  • step S9 of FIG. 2A the noise removing unit 27 performs an appropriate number of contraction processes and expansion processes on the calculated binary ROGM 40. For this purpose, a plurality of cells are extracted as one lump using the opening (shrinkage and expansion) used in the morphological operation, and output as a single object.
  • processing is generally performed on a binarized black-and-white image, and processing that replaces even white pixels around the pixel of interest 35 with white is called Dilation. On the other hand, if there is even a black pixel around it, the process of replacing it with black is called Erosion.
  • step S10 in FIG. 2A Before performing the labeling process of step S10 in FIG. 2A, small noise of the stereo camera 21 is removed and a large structure remains by performing an opening (a process of performing an expansion process after performing a contraction process). Noise can be removed by the threshold processing of the number of votes in the cell of the OGM 10, but further, noise that has been extracted as a cell can be removed here by performing the opening. can be solved.
  • 11A to 11M are diagrams showing the labeling process in step S10 of FIG. 2A for solving the second problem 2 of the related art.
  • FIG. 11A to 11M FIG. 11A is a target binarized image
  • FIG. 11B is a 4-connected case
  • FIG. 11C is an 8-connected case
  • FIG. 11D is a raster scan and lookup table 50
  • FIG. 11F shows a state in which numbers are assigned first
  • FIG. 11G shows a state in which raster scanning is continued
  • FIG. 11H shows a state in which a new number (2) is assigned
  • FIG. 11I shows a new number
  • 11J is a state in which the lookup table 50 is rewritten
  • FIG. 11K is a state in which the lookup table 50 is further rewritten in the labeling process
  • FIG. 11L is a label number assigned to all the pixels.
  • FIG. 11M is a diagram showing a state in which the label number is corrected.
  • labeling processing In a binarized image processed image, a process of assigning the same number to pixels in which white portions (or black portions) are continuous is called labeling processing.
  • This labeling processing is usually used for defect inspection, classification processing, and the like by obtaining feature quantities such as area (number of pixels), width, and height for each same number.
  • FIG. 11B For labeling, there are four connected cases as shown in FIG. 11B (that is, the case of the vicinity of 4) in which the continuous parts in the vertical and horizontal directions of the binarized image as shown in FIG.
  • FIG. 11C There are two types of processing, that is, the case of eight connections as shown in FIG. 11C (that is, the case of the vicinity of eight) in which portions that are continuous in the vertical, horizontal, and diagonal directions are the same label.
  • the labeling processing algorithm will be described in the case of eight connections.
  • the label numbers of all the pixels of the image are initialized with 0 (zero), and a labeling number lookup table 50 for assigning the numbers by labeling is prepared.
  • Src indicates a number to be initially allocated at the time of a raster scan described later, and Dst is reassigned a newly added number to a smaller number at the time of subsequent number allocation.
  • This is a column for writing the number for Then, raster scanning is performed from the upper left to the right of the image, and a position where the color of the pixel 36 is white is searched.
  • the label numbers of the upper left, upper, upper right, and left pixels 37 of the white pixel 36 are referred to, and when all are 0 (zero), the label number of the last allocated number +1 is allocated. If there are a plurality of label numbers of the referenced pixel 37, the smallest number is assigned.
  • FIG. 11F shows a state in which a raster scan is performed as shown in FIG. 11D and numbers are initially assigned. If it continues similarly, it will become like FIG. 11G.
  • FIG. 11H shows a state in which the raster scan is continued and a new label number (2) is assigned.
  • FIG. 11I shows a state in which raster scanning is continued and a new label number (3) is assigned.
  • the labeling process is performed after the contraction process and the expansion process are performed on the binary map to remove noise.
  • the labeling process may be directly performed on the binary map without performing the contraction process and the expansion process. Examples of the object detection device 20 of the present invention will be shown below.
  • the object detection apparatus 20 of the embodiment is configured by a stereo camera 21 and a computer (referred to as a PC) connected to the output side of the stereo camera 21.
  • the PC that is, the information processing apparatus includes a parallax calculation unit 22, a distance / 3D information calculation unit 23, a camera height / tilt estimation unit 24 from the front road surface, an inclination conversion unit 25 that matches the front road surface, and an OGM calculation illustrated in FIG.
  • a unit 26, a noise removal unit 27, an object detection unit 28, an object information output unit 29, and a global map display unit 30 are configured.
  • the stereo camera 21 and the computer were connected via USB 3.0 as an interface.
  • the stereo camera 21 has the following configuration.
  • Stereo camera 21 ZMP, RoboVision (registered trademark) 2 camera module
  • CMOS image sensor Sony, using two IMX224 Resolution: 1280 x 960 pixels (30 fps (frame per second))
  • a PC equipped with Windows 8.1 (64-bit) was used as the OS.
  • Software for generating a first occupied grid map and a redundant second occupied grid map was installed on this PC.
  • the main configuration of the PC is shown below.
  • CPU Intel Core TM i7-5960X, 8 cores / 3GHz RAM: 16GB HDD: 2TB
  • FIGS. 12A to 12C show images of the embodiment when the position of the stereo camera 21 is changed in the horizontal direction.
  • the upper row is an image
  • the lower row is a distance image obtained by gradation processing of distance information. .
  • the image of the right camera 21R of the stereo camera 21 is shown in the upper stage, and the image of the left camera 21L is omitted.
  • the grid size is 0.5 m in both the horizontal direction and the depth direction.
  • the distance image in the lower row shows the front and back.
  • FIG. 13 is a diagram showing the number of votes for detecting a box by the ROGM 40 of the embodiment.
  • FIG. 13 shows the ROGM 40 voting values when changes in the horizontal position (six ways) of the stereo camera 21 are corrected so that the box is always at the same position, that is, the horizontal position is zero. From now on, the horizontal axis is the corrected lateral position (m), and the vertical axis is the number of votes. As shown in FIG. 13, it can be seen that the vote value does not change so much whether the box is near the boundary of the grid or near the center of the cell. As a result, it can be seen that the box can be stably detected when the threshold value is increased regardless of the position of the ROGM 40.
  • FIG. 14 shows detection of a box by the OGM 10 of the comparative example, where (a) shows the number of votes in the horizontal direction and (b) shows the numbers of votes in the horizontal direction and the depth (distance) direction.
  • the change in the horizontal position of the stereo camera 21 is the same as in FIG.
  • the number of votes varies depending on whether there is a box on the grid boundary of OGM 10 or between the grids (in the middle of the cell).
  • the number of votes in the depth (distance) direction indicates the position of the cell corresponding to the box.
  • the closer the box position is to the grid boundary the smaller the number of votes. Accordingly, it can be seen that the OGM 10 of the comparative example cannot detect an object near the boundary when the threshold value is increased unlike the ROGM 40 of the embodiment.
  • FIGS. 15A and 15B show images used for examining noise, where FIG. 15A shows an image of the right camera 21R, and FIG. 15B shows a distance image.
  • FIG. 15B is a distance image subjected to gradation processing in the same manner as the lower part of FIG.
  • FIG. 15 (a) there is a pedestrian and a person riding a bicycle on the pedestrian crossing.
  • FIG. 15 (b) the empty part on the upper side of the distance image is caused by a stereo correspondence. There is noise.
  • FIG. 16 is a diagram illustrating a voting result obtained by performing ROGM processing on a 3D point group obtained from a distance image.
  • the coordinates in FIG. 16 indicate the number of votes in the height direction with respect to the horizontal direction and the depth (distance) direction. As shown in FIG. 16, it can be seen that noise is generated together with a pedestrian with a large number of votes and a person riding a bicycle.
  • FIG. 17 is a diagram showing the result of binarizing the data in FIG. 16 with a threshold value of 10,000.
  • the coordinates in FIG. 17 are the same as those in FIG. 16 except that the height direction indicates binary (0, 1).
  • the two mountains correspond to a pedestrian and a person riding a bicycle, and the mountain in the front corresponds to noise.
  • FIG. 18 is a diagram showing a result of contraction / expansion processing on the data of FIG.
  • the coordinates in FIG. 18 are the same as those in FIG. In the contraction / expansion treatment, contraction and expansion were each performed once. As shown in FIG. 18, it can be seen that the peaks due to noise generated in FIG. 17 have been removed by the contraction / expansion processing.
  • FIG. 19 is a diagram showing the result of labeling processing of the binary data in FIG.
  • the coordinates in FIG. 19 are the same as those in FIG. 18 except that the height direction is a label.
  • the labeling process gives a value in the height direction, that is, a label of 1 to all the cells constituting the mass of a person riding a bicycle. It can be seen that all the constituent cells are assigned labels having a height value of 2. Thereby, one labeling value is given to one lump composed of a plurality of two cells of Problem 2 by the labeling process, and it can be detected and handled as one object.
  • FIG. 20 shows images used for examining a distant vote, where (a) is a left image, (b) is a right image, and (c) is a distance image.
  • FIG. 20C shows a distance image obtained by gradation processing in the same manner as the lower part of FIG.
  • the map by OGM10 was calculated
  • FIG. 21 is a map by the ROGM 40 of the embodiment.
  • the number of votes is shown in the height direction with respect to the horizontal direction and depth (m).
  • m depth
  • FIG. 21 when the position of the box is changed every 0.5 m, the number of votes in the far box increases although there is a certain degree of variation, and the change in the number of votes due to the distance changes from the conventional OGM 10 described later. Also proved to be clearly improved.
  • FIG. 22 is a map by the OGM 10 of the comparative example.
  • the coordinates in FIG. 22 are the same as those in FIG. As shown in FIG. 22, since the OGM 10 of the comparative example is voting regardless of the distance, it can be seen that the number of votes decreases as the distance increases.
  • FIG. 23 shows an image used for examining a distant vehicle, where (a) is a left image and (b) is a distance image.
  • FIG. 23B is a distance image that has been subjected to gradation processing in the same manner as the lower part of FIG. As shown in FIG. 23, it can be seen that there are trees on both sides of the road and the vehicle stopped in front.
  • FIG. 24 is a diagram showing the results of ROGM 40 obtained from the 3D values of the examples.
  • the coordinates in FIG. 24 are the same as those in FIG.
  • the ROGM 40 in FIG. 22 performs a process of adding the square of the distance at the time of voting and expanding the range of cells to be voted in the depth direction based on the equation (2) considering the parallax error.
  • an object with a large number of votes is observed as a distant object.
  • the mountain in the foreground was picked up by noise due to mishandling because there was almost no bright sky texture.
  • FIG. 25 is a diagram showing the result of binarizing the data of FIG.
  • the coordinates in FIG. 25 are the same as those in FIG. 24 except that the height direction indicates binary (0, 1). As shown in FIG. 25, it can be seen that there is an object including a vehicle stopped far away and noise in front.
  • FIG. 26 is a diagram showing a result of contraction / expansion processing on the data of FIG.
  • the coordinates in FIG. 26 are the same as those in FIG. In the contraction / expansion treatment, contraction and expansion were each performed once. As shown in FIG. 26, it can be seen that the peaks due to noise generated in FIG. 25 are removed by the contraction / expansion processing. As a result, according to the object detection method of the present invention, it is possible to detect distant objects that could not be detected conventionally.
  • the vehicle stopped far is tried to be detected using only the ROGM 40 which does not perform the processing based on the addition of the square of the distance and the formula (2). None was detected.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)

Abstract

ステレオカメラを用いて物体を高精度に検出する物体検出方法及びその装置を提供する。この物体検出装置２０は、ステレオカメラ２１と、このステレオカメラ２１により取得された物体の左右画像から画素毎に視差を算出する視差算出部２２と、視差から３Ｄ点群データからなる３Ｄ距離画像を算出する距離・３Ｄ情報算出部２３と、３Ｄ点群データを２Ｄマップに投票して、第１占有グリッドマップ（ＯＧＭ）を算出するＯＧＭ算出部２６と、ＯＧＭを用いて物体の３Ｄ情報を検出する物体検出部２８と、を有している。ＯＧＭ算出部２６は、複数のセルの境界付近に跨って、冗長なセルをオーバーラップさせて配置し、その冗長なセルにも３Ｄ点群データを投票して、冗長な第２占有グリッドマップ（ＲＯＧＭ）を生成する。

Description

物体検出方法及びその装置
　本発明は、占有グリッドマップ（Occupancy Grid Map、以下「ＯＧＭ」という。）を用いて、視点から物体までの距離、高さ等の３次元（３Ｄ）情報を検出する物体検出方法及びその装置に関するものである。
　図２７は、従来の物体検出方法を示す概略図である。従来の物体検出方法では、立体的な物体の画像を取得する一対のセンサ、例えば、左カメラ１０１Ｌ及び右カメラ１０１Ｒからなるステレオカメラ１００を用いている。ステレオカメラ１００によって取得された左画像及び右画像からなるステレオ画像から、３Ｄ距離画像生成処理部１２０により視差が求められ、３次元点群データ（即ち、３Ｄデータ）からなる３Ｄ距離画像が生成される。そして、予め定めた傾きによる座標変換部１２５とＯＧＭ生成処理部１３０により、３Ｄ距離画像から地表が推定され、指定された高さ以上の物体が抽出されて、真上から見下ろされた２次元（２Ｄ）マップの対応する位置に表示された２ＤのＯＧＭ１０が生成される。
　図２８は、図２７の従来のＯＧＭ１０の例を示す図である。ＯＧＭ１０は、ステレオカメラ１００の位置を原点にして、左右方向をＸ軸、前後の奥行き方向をＹ軸とした絶対座標系を、基準単位で格子状（グリッド状）の複数のセル１１に分割し、前方の立体的な物体の占有確率（存在確率）をセル１１毎に表示したものである。セル１１上には、物体を検知して投票した点群１３ａが表示されている。なお、セルサイズは、任意あるいはステレオカメラ１の検出精度（解像度）に応じて最適なサイズに決定される。
　特許文献１には、ＯＧＭを使用して物体、例えば、走行する車両の周囲の物体を検出する物体検出方法が記載されている。特許文献１の車両用ＯＧＭ１０では、一対のセンサが搭載された車両の走行状況に適合するように、車両の近接領域ではセル１１の面積が小さく、車両の遠方領域ではセル１１の面積が大きく構成され、あるいは、車両の速度が速い場合にはセル１１の面積が大きく、車両の速度が遅い場合にはセル１１の面積が小さく構成されるようになっている。
特表２０１６－５２２５０８号公報
　従来のＯＧＭ１０を用いた物体検出方法あるいは物体検出装置では、以下の（ａ）～（ｅ）のような課題１～５があった。
　（ａ）　課題１
　従来のＯＧＭ１０では、一対のセンサが検出した位置に対応するグリッド内のセル１１に投票していくが、その位置によって、有効となる投票数が変化してしまい、物体の検出が不安定になることがある。つまり、従来のＯＧＭ１０では、物体が存在する部分に対応するセル１１内の投票数（即ち、点群１３ａの数）が閾値以上であれば、そこに物体が存在するとしていたが、同一物体が複数のセル１１に跨っている場合がある。仮に２つのセル１１，１１の境界線上に物体があったとすると、その物体は、２つのセル１１，１１に分かれて投票されることになり、もしその物体が検出できるぎりぎりの閾値を設定していた場合には、その物体が検出されないことになる。
　（ｂ）　課題２
　課題２の１として、ステレオカメラ１００のノイズの塊によって、本来存在しない物体がセル１１となって検出される問題がある。
　課題２の２として、従来のＯＧＭ１０では、一つの物体に対して複数のセル１１が対応する場合がある。この場合、ＯＧＭ１０をその後の認識や制御で使う時には、複数に渡るセル１１を統合して一つの物体として扱えるようにすることが望ましいが、そのようにできなかった。
　（ｃ）　課題３
　一対のセンサとして、例えば、ステレオカメラ１００を用いた場合、検出される物体は、そのステレオカメラ１００に面した物体の面積に応じて投票数が決まる。この際、同じ物体であっても、近くにある場合は、ステレオカメラ１００の画素に対する投影面積が大きくなるので、その物体の見えている部分の面積に対する投票数が多くなる。一方、物体が遠方にある場合には、その物体の同じ面積に対応するステレオカメラ１００の画素数が小さくなるので、投票数が少なくなってしまう。そのため、遠くの物体ほど検出し難い。
　（ｄ）　課題４
　一対のセンサとして、例えば、ステレオカメラ１を用いた場合、遠方になると、ステレオカメラ１００による測距精度が低下する。そのため、近場では、物体に対する投票（即ち、物体の点群１３ａ）が一つのセル１１内に収まっていたものが、遠方になると、ステレオカメラ１００の測距精度が悪化するので、二つ以上のセル１１に分散されてしまい、一つ当たりのセル１１への投票数が少なくなってしまい、遠方の物体ほど検出し難い。
　（ｅ）　課題５
　一般に、ＯＧＭを作成する前に３次元点群データを作成する。この場合、路面に対して傾いているカメラ座標系から、Ｘ－Ｙ座標軸の作る平面が前方の路面と一致するように新たに取得した路面座標系へと変換する必要がある。従来は、車両等に取り付けたカメラに対してキャリブレーションを行ったり、あるいは画面によって、カメラの前方路面に対するカメラの向きの傾きと高さをあらかじめ決めて、その値を用いて座標変換する必要があった。しかし実際には、車両の後部に重い荷物を積んだり、あるいは後部座席に人が乗ったり乗らなかったり、あるいは急な加減速によって、車両のピッチ角が変動するなどして、実際の路面に対して常に正しい路面座標系に変換されているとは限らなかった。
　本発明では、より精度の高い３Ｄ情報が得られる物体検出方法を提供することを第１の目的とし、物体検出装置を提供することを第２の目的とする。
　第１の目的を達成するために、本発明の物体検出方法は、ステレオカメラで撮影した物体の左右画像から画素毎に視差を求め、３Ｄ点群データからなる３Ｄ距離画像を生成し、前記３Ｄ点群データを、グリッド状の複数のセルが２次元面に配置された２Ｄマップに投票して、第１ＯＧＭを生成し、前記第１ＯＧＭを用いて前記物体の３Ｄ情報を検出する方法であって、前記複数のセルの境界付近に跨って、冗長なセルをオーバーラップさせて配置し、前記冗長なセルにも、前記３Ｄ点群データを投票して、冗長な第２ＯＧＭを生成し、前記第２ＯＧＭを用いて前記物体の３Ｄ情報を検出することを特徴とする。
　第２の目的を達成するために、本発明の物体検出装置は、物体を撮影して前記物体の左右画像を取得するステレオカメラと、前記左右画像から画素毎に視差を算出する視差算出部と、前記視差から、３Ｄ点群データからなる３Ｄ距離画像を生成する３Ｄ距離画像生成部と、前記３Ｄ点群データを、グリッド状の複数のセルが２次元面に配置された２Ｄマップに投票して、第１ＯＧＭを生成するＯＧＭ生成部と、前記第１ＯＧＭを用いて前記物体の３Ｄ情報を検出する物体検出部と、を有している。
　そして、前記ＯＧＭ生成部は、前記複数のセルの境界付近に跨って、冗長なセルをオーバーラップさせて配置し、前記冗長なセルにも、前記３Ｄ点群データを投票して、冗長な第２ＯＧＭを生成し、前記物体検出部は、前記第２ＯＧＭを用いて前記物体の３Ｄ情報を検出することを特徴とする。
　前記発明の物体検出方法及びその装置において、例えば、前記２Ｄマップに投票する際に、前記物体までの距離に応じた重みを掛けてもよい。前記第２ＯＧＭに対する投票値を、閾値を用いて２値化して２値のマップを生成し、前記２値のマップに対してラベリング処理を行ってもよい。前記ラベリング処理の前に収縮処理及び膨張処理を行ってもよい。また、前記物体までの距離に応じて、投票する前記セルの範囲を広げてもよい。さらに、前方路面のパラメータを前記投票の前に前記３次元点群データを用いて推定し、前記３次元点群データを、前記パラメータを用いて路面座標系に変換してもよい。
　本発明の物体検出方法及びその装置によれば、複数のセルの境界付近に跨って、冗長なセルをオーバーラップさせて配置し、その冗長なセルにも、３Ｄ点群データを投票しているので、同一物体が複数のセルに跨っている場合であっても、その物体を的確に検出できる。
　２Ｄマップに投票する際に、物体までの距離に応じた重みを掛けた場合には、遠くの物体ほど検出し難いという課題を解決できる。２値のマップに対して収縮処理及び膨張処理を行うことにより、ステレオカメラの小さなノイズを的確に除去できる。ラベリング処理を行うことにより、複数に渡るセルを統合して一つの物体として扱えるようになり、第２ＯＧＭを用いた物体の認識や制御が容易になる。また、物体までの距離に応じて、投票するセルの範囲を広げれば、遠方の物体ほど検出し難いという課題を解決できる。
本発明の実施例１における物体検出装置の全体を示す概略の機能ブロック図である。 本実施例１の物体検出方法の全体の処理を示すフローチャートである。 図２ＡのステップＳ４の詳細を示すフローチャートである。 本実施例１におけるＲＯＧＭの例を示す図である。 従来のＯＧＭの例を示す図である。 本実施例１におけるＲＯＧＭの他の例を示す図である。 従来のＯＧＭの他の例を示す図である。 本実施例１におけるＲＯＧＭの他の例を示す図である。 本実施例１のＲＯＧＭにおける複数のセルの配置例を示す図である。 本実施例１のＲＯＧＭにおける複数のセルの配置例を示す図である。 本実施例１のＲＯＧＭにおける複数のセルの配置例を示す図である。 従来のＯＧＭにおける複数のセルの配置例を示す図である。 本実施例１におけるＲＯＧＭのアルゴリズム１の処理例を示すフローチャートである。 本実施例１におけるＲＯＧＭのアルゴリズム２の処理例を示すフローチャートである。 課題３の解決方法を説明するための図である。 図２ＡのステップＳ９における収縮処理を示す図である。 図２ＡのステップＳ９における膨張処理を示す図である。 ラベリング処理において対象とする２値化画像を示す図である。 ラベリング処理において４連結の場合を示す図である。 ラベリング処理において８連結の場合を示す図である。 ラベリング処理においてラスタスキャンとルックアップテーブルを示す図である。 ラベリング処理において白い画素に対するラベル番号の振り方を示す図である。 ラベリング処理において最初に番号を割り振った様子を示す図である。 ラベリング処理において更にラスタスキャンを続ける様子を示す図である。 ラベリング処理において新たな番号（２）を割り振った様子を示す図である。 ラベリング処理において更に新たな番号（３）を割り振った様子を示す図である。 ラベリング処理においてルックアップテーブルの書き換えの様子を示す図である。 ラベリング処理において更にルックアップテーブルの書き換えを示す図である。 ラベリング処理において全ての画素に対してラベル番号が割り振られた状態を示す図である。 ラベリング処理においてラベル番号が修正された状態を示す図である。 （ａ）～（ｃ）は、ステレオカメラの位置を横方向で変えたときの実施例の画像を示す図である。 実施例のＲＯＧＭによる箱の検出の投票数を示す図である。 比較例のＯＧＭによる箱の検出を示し、（ａ）は横方向の投票数を、（ｂ）は横方向及び奥行き（距離）方向の投票数を示す図である。 ノイズを調べるのに用いた画像を示し、（ａ）が右カメラの画像を、（ｂ）が距離画像を示す図である。 距離画像から得られる３Ｄ点群に対して、ＲＯＧＭ処理をした投票結果を示す図である。 図１６のデータを閾値が１００００として２値化した結果を示す図である。 図１７のデータを収縮・膨張処理した結果を示す図である。 図１８の２値データをラベリング処理した結果を示す図である。 遠方の投票を調べるのに用いた画像を示し、（ａ）が左画像を、（ｂ）が右画像を、（ｃ）は距離画像である。 実施例のＲＯＧＭによるマップである。 比較例のＯＧＭによるマップである。 遠方の車両を調べるのに用いた画像を示し、（ａ）が左画像を、（ｂ）は距離画像を示す図である。 実施例の３Ｄ値から求めたＲＯＧＭの結果を示す図である。 図２４のデータを２値化した結果を示す図である。 図２５のデータを収縮・膨張処理した結果を示す図である。 従来の物体検出方法を示す概略の図である。 図２７の従来のＯＧＭの例を示す図である。
　本発明を実施するための形態は、以下の好ましい実施例の説明を添付図面と照らし合わせて読むと、明らかになるであろう。但し、図面はもっぱら解説のためのものであって、本発明の範囲を限定するものではない。
　（実施例１の物体検出装置の全体の構成）
　図１は、本発明の実施例１における物体検出装置２０の全体を示す概略の機能ブロック図である。
　物体検出装置２０は、物体を撮影する左カメラ２１Ｌ及び右カメラ２１Ｒからなるステレオカメラ２１を有している。このステレオカメラ２１の出力側には、視差算出部２２、３Ｄ距離画像生成部としての距離・３Ｄ情報算出部２３、前方路面からのカメラ高さ・傾き推定部２４、前方路面に合わせた傾き変換部２５、ＯＧＭ生成部としてのＯＧＭ算出部２６、ノイズ除去部２７、物体検出部２８、検出物体情報の出力部２９及び、グローバルマップ表示部３０が、縦続接続（cascade connection）されている。これらの視差算出部２２、距離・３Ｄ情報算出部２３、前方路面からのカメラ高さ・傾き推定部２４、前方路面に合わせた傾き変換部２５、ＯＧＭ算出部２６、ノイズ除去部２７、物体検出部２８、検出物体情報の出力部２９及びグローバルマップ表示部３０は、例えばコンピュータ等の情報処理装置によって構成されている。
　ステレオカメラ２１は、左カメラ２１Ｌによって左画像を取得し、右カメラ２１Ｒによって右画像を取得する装置であり、この出力側に視差算出部２２が接続されている。視差算出部２２は、ステレオカメラ２１から入力される左右画像から画素毎の視差を求めるものであり、この出力側に距離・３Ｄ情報算出部２３が接続されている。
　距離・３Ｄ情報算出部２３は、算出された視差から、物体までの距離と３Ｄ座標値を求めるものであり、この出力側に、前方路面からのカメラ高さ・傾き推定部２４及び前方路面に合わせた傾き変換部２５が接続されている。前方路面からのカメラ高さ・傾き推定部２４及び前方路面に合わせた傾き変換部２５は、高さ・ピッチ・ロール変換を行うものであり、前方の路面から平面の傾き（ピッチ、ロール）と平面に対するカメラ位置高さとを推定し、この推定した高さ・傾き情報から、３Ｄ座標値を路面に平行な３Ｄ座標系へと変換する機能を有し、この出力側に、ＯＧＭ算出部２６が接続されている。
　ＯＧＭ算出部２６は、第１ＯＧＭへの投票・閾値処理を行うものであり、変換された３Ｄ座標系において、ある条件を満たす３Ｄ点を路面に平行な２Ｄマップである第１ＯＧＭ上に、予め決めた重みを掛けて投票し、得られた投票数から、第２占有グリッドマップ（Redundant Occupancy Grid Map、以下「ＲＯＧＭ」又は「第２ＯＧＭ」という。）に対する投票値を求める。ＲＯＧＭとは、従来のＯＧＭを改良し、物体位置に関わらず、安定した物体検出を可能にする２次元マップであり、従来のＯＧＭに対し、「冗長な」という意味のRedundantを加えた略語である。ＯＧＭ算出部２６では、更に、得られたＲＯＧＭの投票値に対して、画像を２値化する機能を有している。このＯＧＭ算出部２６の出力側には、ノイズ除去部２７と物体検出部２８が接続されている。
　ノイズ除去部２７と物体検出部２８は、算出された２値のマップであるＲＯＧＭに対して適切な回数の収縮・膨張処理を行い、処理された２値のＲＯＧＭに対してラベリング処理を行い、更に、予め決めた幅、高さ等の大きさを満たす物体のみを抽出する機能を有し、この出力側に、検出物体情報の出力部２９が接続されている。ここで、収縮・膨張処理はノイズ除去部２７により、ラベリング処理は、物体検出部２８により行われる。
　検出物体情報の出力部２９は、抽出された物体に識別子（ＩＤ）、幅、高さ等の情報を付与して出力するものであり、この出力側に、グローバルマップ表示部３０が接続されている。グローバルマップ表示部３０は、出力部２９の出力結果を表示画面に表示するものである。
　（実施例１の物体検出方法の全体の処理）
　図２Ａは、図１の物体検出装置２０を用いた本実施例１の物体検出方法における全体の処理を示すフローチャートであり、図２Ｂは、図２ＡのステップＳ４の詳細を示すフローチャートである。
　本実施例１の物体検出方法では、図１の物体検出装置２０により、ステップＳ１～Ｓ１２の処理が行われる。
　物体検出の処理が開始されると、先ず、ステップＳ１において、ステレオカメラ２１によって前方の物体が撮影され、撮影された左右の画像が、視差算出部２２へ入力され、ステップＳ２へ進む。ステップＳ２において、視差算出部２２は、入力された左右画像から画素毎に視差値を求め、ステップＳ３へ進む。ステップＳ３において、距離・３Ｄ情報算出部２３は、求められた視差値から物体までの距離と３Ｄ座標値を求め、ステップＳ４，Ｓ５へ進む。
　ステップＳ４において、前方路面からのカメラ高さ・傾き推定部２４及び前方路面に合わせた傾き変換部２５は、前方の路面から平面の傾き（ピッチ、ロール）と平面に対するカメラ位置高さとを推定し、ステップＳ５へ進む。ステップＳ５において、傾き変換部２４は、推定した高さ・傾き情報から、３Ｄ座標値を路面に平行な３Ｄ座標系へと変換し、ステップＳ６，Ｓ７，Ｓ８へ進む。
　ステップＳ４の詳細を図２Ｂにより説明する。
　ステップＳ４－１において、前方路面の指定された範囲の３Ｄ点座標のpi＝ (Xi, Yi, Zi)の個数を求めてnとし、全てのpiに対する平均値を取り、重心qとし、ステップＳ４－２において、分散共分散行列Ｃを求める。
　ステップＳ４－３において、ヤコビ法によりＣの固有値と固有ベクトルを求め、最小固有値に対応する固有ベクトルを(uX, uY, uZ)とし、ステップＳ４－４において、全てのpiに対してh＝uXX+uYY+uZZを求め、hの平均値ε、分散σを求める。
　ステップＳ４－５において、ε－2σ＜h＜ε+2σを満たさないpiをサンプル点から除外する。
　ステップＳ４－６において、残ったサンプル点に対して前方路面の指定された範囲の３Ｄ点座標のpi＝ (Xi, Yi, Zi)の個数を求めてnとし、ステップＳ４－７において、全てのpiに対する平均値を取り、重心q＝(Xa, Ya, Za)とし、分散共分散行列C＝Σ(pi－q)(pi－q)Tを求める。
　ステップＳ４－８において、ヤコビ法により、Ｃの固有値と固有ベクトルを求め、最小固有値に対応する固有ベクトルを(uX, uY, uZ)とし、ステップＳ４－９において、ロール(θX), ピッチ(θY), ヨー(θZ）を求め、ステップＳ４－１０においてカメラの高さ、ｈ（h＝uXXa+uYYa+uZZa）を求める。
　上記のステップＳ４の各ステップによる、所謂平面当てはめ法によりカメラの高さの推定ができる。つまり、ステレオカメラ２１で得られた前方路面のある範囲内の３次元点群データを用いて、前方路面を近似する平面の法線ベクトルを求め、その法線ベクトルからカメラ座標のロール、ピッチ、ヨーの３つの角度が求まり、その法線ベクトルから、その平面の高さのパラメータも求まり、カメラの路面に対する高さが求まる。従って、前方路面の傾き等を反映した路面座標（Ｘｓ，Ｙｓ，Ｚｓ）が得られる。本発明では、このように推定した路面座標を、路面座標系とも呼ぶ。
　ステップＳ４の処理をリアルタイムで実行することにより、リアルタイムでカメラの路面に対する傾き情報と高さ情報が得られる。これにより、後部重量物の搭載や急な加減速による車両の状態の変化による影響を避けることができる。車両に近い前方路面は、一般に平坦であると想定できる。アスファルト等の路面に対して、良好なステレオカメラキャリブレーションを施され、十分な広さのダイナミックレンジを持つカメラであれば、撮影されたカメラ画像は、ステレオマッチングのために十分なテクスチャを持つため、路面上の密な３Ｄ点群情報が得られる。これらの情報から、前方路面を近似するような前方路面の傾き等を反映した路面座標系（Ｘｓ，Ｙｓ，Ｚｓ）を得ることができる。これにより、上記課題５を解決することができる。
　ステップＳ６において、ＯＧＭ算出部２６は、変換された３Ｄ座標系において、ある条件を満たす３Ｄ点を、路面に平行な２次元マップであるＯＧＭ上に予め決めた重みを掛けて投票し、ステップＳ７へ進む。ステップＳ７において、ＯＧＭ算出部２６は、得られた投票数からＲＯＧＭに対する投票値を求め、ステップＳ８へ進む。ステップＳ８において、ＯＧＭ算出部２６は、得られたＲＯＧＭの投票値に対して、ある閾値以上のセルは、物体が存在する状態（１）とし、それ以外のセルには、物体が存在しない状態（０）として画像を２値化し、ステップＳ９，Ｓ１０，Ｓ１１へ進む。
　ステップＳ９において、ノイズ除去部２７は、算出された２値のＲＯＧＭに対して適切な回数の収縮処理及び膨張処理を行い、ステップＳ１０へ進む。ステップＳ１０において、物体検出部２８は、処理された２値のＲＯＧＭに対してラベリング処理を行い、ステップＳ１１へ進む。ステップＳ１１において、物体検出部２８は、ラベリング処理結果から、予め決めた幅、高さ等の大きさを満たす物体のみを抽出し、ステップＳ１２へ進む。
　ステップＳ１２において、検出物体情報の出力部２９は、抽出された物体にＩＤ、幅、高さ等の情報を付与する。付与された情報は、グローバルマップ表示部３０によって表示され、物体検出処理が終了する。
（図２ＡのステップＳ１～Ｓ３の詳細）
　ステレオカメラ２１による距離算出は、左カメラ２１Ｌと右カメラ２１Ｒとの視差の違いから、カメラ間距離等を用いて、三角測量の原理によって求められる。同じレンズとセンサを用いたカメラを左カメラ２１Ｌ及び右カメラ２１Ｒとして用い、レンズの焦点距離をｆ、カメラ間距離（ベースライン長）をｗ、センサの画素サイズ（一辺のサイズ）をｕ、そして視差をｄ（ｐｉｘ）とすると、ステレオカメラ２１から物体までの距離Ｌは、次式（１）で表される。
　　　Ｌ＝ｆｗ／ｄｕ・・・・（１）
　この式（１）から分かるように、距離Ｌは、視差ｄに反比例するため、視差ｄが小さいほど遠くなり、視差ｄが大きいほど近くになる。また、視差ｄの変化に対する距離Ｌの変化を考えると、式（１）から下記の式（２）が求まる。この式（２）は、ある視差ｄにおいて、視差ｄの微小な変化（視差誤差△ｄ）に対して、距離Ｌがどれくらい変わるかを示している。ここで、△Ｌは、距離の変化（距離誤差）を示す。例えば、レンズ焦点距離ｆ＝６ｍｍ、カメラ間距離ｗ＝２１０ｍｍ、センサ画素サイズｕ＝３．７５μｍ（＝０．００３７５ｍｍ）という値を実際に考えた場合の式が得られている。
Figure JPOXMLDOC01-appb-M000001
　一般に、ステレオカメラ２１を用いて視差ｄを求める際に、１画素未満の精度で求める手法が提案され、それによって、例えば、１／４～１／１０画素程度の精度が実現されている。実際にその精度が実現されるかどうかは、被写体となる物体上のテクスチャの濃さやエッジの強さによって影響される。
　仮に、物体が常にある程度のテクスチャがあると仮定でき、且つ、それによって視差誤差△ｄの大きさのサブピクセル（例えば、１／４ｐｉｘ）であるとすると、ある視差ｄに対して、式（２）で表されるような距離誤差△Ｌが得られる。本実施例１では、その距離誤差△Ｌを基にしてＯＧＭに対する投票を考え直している。
　即ち、ステレオ処理、すなわち左右画素間の対応づけを行って、ある画素に対して視差ｄが求まっている。そして、期待できるサブピクセル精度として、視差誤差△ｄを決めておく。その場合に、式（２）によって、視差ｄに対する距離Ｌの誤差ΔＬを含んだ変動幅が得られる。その範囲を確率密度と考え、その範囲に含まれるセルに対して投票を行う。その際に、使用する情報処理装置の性能に応じて、性能が高ければ、ガウス分布のような分布に応じた投票とし、また、性能が低ければ、同じ確率密度を持つものとして、均等に投票する。これにより従来の課題４を解決している。
（図２ＡのステップＳ３～Ｓ７の詳細）
　図３Ａは本発明の実施例１におけるＲＯＧＭ４０の例を示す図であり、図３Ｂは、第１ＯＧＭとしての従来のＯＧＭ１０の例を示す図である。ＯＧＭ１０には、複数のセル１１（＝１１－１，１１－２）が配置されている。なお、各セル１１は正方形として図示されているが、ＯＧＭ１０の設計によって、それは横長の長方形でも縦長の長方形でもなりうるが、ここでは説明の便宜上、正方形としている。
　図３Ｂに示すように、物体がたまたまＯＧＭ１０の２つのセル１１－１，１１－２の境界位置にあったとき、物体を検知して投票した点群１３ａは、図示のようになる。
　ＯＧＭ１０の１つの効能として、センサであるステレオカメラ２１のノイズの除去が挙げられる。本当の物体に対するステレオカメラ出力の点群１３ａの数に対して、ステレオカメラ２１のノイズによる点群の数は、相対的に少ないと考えられる。そのため、セル１１－１，１１－２に投票された点群１３ａの数に対して適切な閾値を設定して、それ以上のものだけを物体として検出することにより、ノイズを除去できる。
　もし、その閾値を、物体検出のために必要な数に対してぎりぎりの値としていた場合、二つのセル１１－１，１１－２の境界位置に物体が存在していると、この物体を検出できないおそれがある。例えば、図３Ｂの場合には、物体に対して１０個の点群１３ａが投票されている。この場合、閾値をぎりぎりの１０個としていると、実際の投票は、左側のセル１１－１と右側のセル１１－２に分かれているので、どちらのセル１１－１，１１－２も５個の投票となり、閾値の１０個に届かず、その物体を検出できない。そこで、本実施例１では、そのような従来の課題１を解決するために、図３Ａに示すような第２ＯＧＭとしてのＲＯＧＭ４０を用いている。
　図３Ａに示すように、ＲＯＧＭ４０には複数のセル３１（例えば、２つのセル３１－１，３１－２）が配置され、これらの２つのセル３１－１，３１－２の中央に、新たに領域をオーバーラップさせた冗長なセル３１－３が配置されている。中央の冗長なセル３１－３にも、左右のセル３１－１，３１－２と同様に投票すると、その冗長なセル３１－３に対する投票された点群３３ａの数が１０個となり、閾値以上の投票となって従来のＯＧＭ１０では検出できなかった物体を検出できる。
　つまり、従来のＯＧＭ１０では、格子状のオーバーラップしないセル１１－１，１１－２を用いているが、本実施例１では、オーバーラップさせたセル３１－３を冗長に配置することで、左右のセル３１－１，３１－２の境界付近に存在する物体（３３ａ）の検出を可能にし、物体位置に関わらず安定した検出を可能にしている。
　図４Ａは、本発明の実施例１におけるＲＯＧＭ４０の他の例を示す図であり、図４Ｂは従来のＯＧＭ１０の他の例を示す図である。
　図３Ｂの場合は、従来のＯＧＭ１０において二つのセル１１－１，１１－２の境界付近に物体が存在した場合であったが、図４Ｂのように、従来のＯＧＭ１０において四つのセル１１（＝１１－１～１１－４）の境界付近に物体が存在する場合もある。このような場合には、図４Ａに示すように、本実施例１のＲＯＧＭ４０において四つのセル３１（＝３１－１～３１－４）の中央に、冗長な一つのセル３１－５を配置することによって、図３Ａの二つのセル３１－１，３１－２の場合と同様に、中央に追加したセル３１－５では、投票された点群３３ａの数が１０個となり、その物体が検出できるようになる。
　以上述べたことを、一般性をもって処理できるように、ＲＯＧＭ４０のアルゴリズムを構成する。
　図５は、本発明の実施例１におけるＲＯＧＭ４０の他の例を示す図である。本実施例１の図３Ａに示すＲＯＧＭ４０では、一つのセル３１－１に対して横方向に、セル３１－１の幅の半分だけずらして、新たなセル３１－３を配置する。同様に、本実施例１の図５に示すＲＯＧＭ４０では、縦方向に、セル３１－１の高さの半分だけずらして、新たなセル３１－５を配置する。そして、本実施例１の図４Ａに示すように、斜め方向に新たなセル３１－５を配置する。
　図６Ａ、図６Ｂ及び図６Ｃは、本実施例１のＲＯＧＭ４０における複数のセル３１の別の配置例を示す図であり、図６Ｄは、従来のＯＧＭ１０における複数のセル１１の配置例を示す図である。
　前記の図３Ａ、図３Ｂ、図４Ａ、図４Ｂ、図５の複数のセル３１，１１の配置例から、それらのセル３１、１１の中心を「×」で表すと、本実施例１のＲＯＧＭ４０のセル３１の配置は、図６Ａのようになり、従来のＯＧＭ１０のセル１１の配置は、図６Ｄのようになる。従来のセル１１の中心の数と元々のセル１１の数に対して、密度として比較すると、本実施例１では、横方向で２倍、縦方向で２倍、縦横合計で４倍の数となっている。
　以上述べたことを、一般性をもって処理できるように、本実施例１のＲＯＧＭ４０のアルゴリズムを以下のように構成していく。
　図６Ａに示された「×」の点を格子点とするような新たなグリッドを構成する。このグリッドは、元のグリッドの半分（縦横共に）の大きさのセル３１を持っている。但し、新しいセル３１の中心は、「×」印ではなく、セル３１の四隅の位置に「×」印が来るように配置する。その新しいグリッドとセル３１は、図６Ｂのようなものになる。
　これらのグリッドに対して、従来と同様に、ステレオカメラ２１の出力を、位置に応じて新しい各セル３１に対して投票する。投票が終わってから、縦横２×２の新しいセル３１の全ての投票数を加算して、「×」印の位置の投票数として登録する。これを全ての「×」印に対して行い、その数を登録する。
　中央の「×」印に対して、投票される新たな小さなセル３１の投票範囲を、図６Ｃの灰色部分３１ｇとして表した。また、元々のセル３１の中央位置は、新しく求めた小さなセルの２×２の領域の中央位置と一致しているので、元のセル３１との位置のずれはない。
　この処理によって、全ての「×」印の位置において、それに対する投票の範囲は、元のセル３１と同じサイズのものとなり、それが、縦横が元のサイズの半分の割合で求まったことになる。これは、前記のように「×」印の点で、投票範囲がそれぞれ元のセルサイズの半分ずつオーバーラップした範囲の投票数が求まっていることになる。
　以上で、本実施例１におけるＲＯＧＭ４０の投票処理が終了する。この投票処理により、従来に比して閾値を大きくしても物体の検出が可能となり、よりノイズに強い検出が可能になる。但し、得られた物体位置は、隣のセル３１でも検出されやすくなるので、実際の物体範囲よりも大きめになり、膨らんで検出される。しかし、後で述べる収縮処理及び膨張処理によって、検出されたセル３１を統合し、その統合された複数のセル３１の中から、実際にステレオカメラ２１が出力している部分だけを抽出することにより、膨らんでいない実体サイズに近い領域を検出することができる。従って、従来の課題１を解決できる。
　図７Ａは、本発明の実施例１におけるＲＯＧＭ４０のアルゴリズム１の処理例を示すフローチャートである。このアルゴリズム１では、図２ＡのステップＳ３～Ｓ７に対応する処理がステップＳ２０～Ｓ３６により行われる。
　処理開始が開始されてステップＳ２０に進むと、ステレオカメラ２１にて取得される左右の画像中の画素（ｉｘ，ｉｙ）（但し、ｉｘ；左右のＸ軸方向の画素値、ｉｙ；前後のＹ軸方向の画素値）において、画素値ｉｙを初期値（＝０）に設定し、更に、次のステップＳ２１において、画素値ｉｘを初期値（＝０）に設定し、ステップＳ２２へ進む。
　ステップＳ２２において、距離・３Ｄ情報算出部２３は、画素（ｉｘ，ｉｙ）に対するカメラ座標系の３Ｄ座標（Ｘ，Ｙ，Ｚ）を求め、ステップＳ２３へ進む。ステップＳ２３において、前方路面からのカメラ高さ・傾き推定部２４及び前方路面に合わせた傾き変換部２５は、予め決めたステレオカメラ２１に対するロール・ピッチ・高さ情報から、３Ｄ座標（Ｘ，Ｙ，Ｚ）を路面座標（Ｘｓ，Ｙｓ，Ｚｓ）に変換し、ステップＳ２４へ進む。
　ステップＳ２４において、ＯＧＭ算出部２６は、路面座標（Ｘｓ，Ｙｓ，Ｚｓ）がＯＧＭ１０の範囲内にあるか否かを判定し、範囲外（Ｎｏ）のときにはステップＳ２６へ進み、範囲内（Ｙｅｓ）のときにはステップＳ２５へ進む。ステップＳ２５において、ＯＧＭ算出部２６は、路面座標値Ｘｓ，Ｙｓを整数化した座標値ｉＸｓ，ｉＹｓに対応するＯＧＭ１０に座標値Ｘｓの２乗値を加算し、ステップＳ２６へ進む。
　なお、座標（Ｘｓ，Ｙｓ）のセルに対する添え字（ｉＸｓ，ｉＹｓ）の密度は、ＲＯＧＭ４０の添え字（ｉＸｓ２，ｉＹｓ２）の密度と同じになる。ＲＯＧＭ４０の一つのセルのサイズは、後述する式（３）により倍となるため、従来のＯＧＭ１０に比べるとセルサイズは従来のＯＧＭ１０の半分のサイズにしておくことが望ましい。
　ステップＳ２６において、ＯＧＭ算出部２６は、座標値ｉｘに１を加算し、この加算値ｉｘ＋１が座標値ｎｘより小さいか否か（ｉｘ＜ｎｘ？）をステップＳ２７で判定し、小さいときには（Ｙｅｓ）ステップＳ２２へ戻り、大きいときには（Ｎｏ）ステップＳ２８へ進む。ステップＳ２８において、ＯＧＭ算出部２６は、座標値ｉｙに１を加算し、この加算値ｉｙ＋１が座標値ｎｙより小さいか否か（ｉｙ＜ｎｙ？）をステップＳ２９で判定し、小さいときには（Ｙｅｓ）ステップＳ２１へ戻り、大きいときには（Ｎｏ）ステップＳ３０へ進む。
　ステップＳ３０において、ＯＧＭ算出部２６は、座標値ｉＹｓ２を初期値（＝０）に設定し、更に、ステップＳ３１において、座標値ｉＸｓ２を初期値（＝０）に設定し、ステップＳ３２へ進む。
　ステップＳ３２において、ＯＧＭ算出部２６は、次式（３）の演算を行い、ＲＯＧＭ４０に対する投票値ＲＯＧＭ（ｉＸｓ２，ｉＹｓ２）を求め、更に、ステップＳ３３～Ｓ３６の処理を繰り返す。
　ＲＯＧＭ（ｉＸｓ２，ｉＹｓ２）＝ＯＧＭ（ｉＸｓ２，ｉＹｓ２）＋ＯＧＭ（ｉＸｓ２，ｉＹｓ２＋１）＋ＯＧＭ（ｉＸｓ２＋１，ｉＹｓ２）＋ＯＧＭ（ｉＸｓ２＋１，ｉＹｓ２＋１）　　　　　　　　　　　　　・・・・（３）
　ＯＧＭ算出部２６は、ステップＳ３３において、座標値ｉＸｓ２に１を加算し、ステップＳ３４において、その加算値ｉＸｓ２＋１が座標値ｎＸｓより小さいか否か（ｉＸｓ２＜ｎＸｓ？）を判定し、小さいときには（Ｙｅｓ）ステップＳ３２へ戻り、大きいときには（Ｎｏ）ステップＳ３５へ進む。更に、ＯＧＭ算出部２６は、ステップＳ３５において、座標値ｉＹｓ２に１を加算し、ステップＳ３６において、その加算値ｉＹｓ２＋１が座標値ｎＹｓより小さいか否か（ｉＹｓ２＜ｎＹｓ？）を判定し、小さいときには（Ｙｅｓ）ステップＳ３１へ戻り、大きいときには（Ｎｏ）アルゴリズム１の処理を終了する。
　図７Ｂは、本発明の実施例１におけるＲＯＧＭ４０のアルゴリズム２の処理例を示すフローチャートである。このアルゴリズム２では、図２ＡのステップＳ８に対応する処理がステップＳ４０～Ｓ４５により行われる。
　ステップＳ４０では、ＯＧＭ算出部２６により、ＲＯＧＭ４０の各セル３１に対する投票値ＲＯＧＭ（ｉＸｓ２，ｉＹｓ２）がアルゴリズム１で求められている。ステップＳ４１において、ＯＧＭ算出部２６は、求められた投票値ＲＯＧＭ（ｉＸｓ２，ｉＹｓ２）が予め決めた閾値ＴＨ以上か否か（投票値ＲＯＧＭ（ｉＸｓ２，ｉＹｓ２）≧閾値ＴＨ？）を判定し、閾値ＴＨ以上のときには（Ｙｅｓ）ステップＳ４２において、そのセル３１に物体が存在し、閾値ＴＨより小さければ（Ｎｏ）、ステップＳ４３において、そのセル３１に物体が存在しないとする。ＯＧＭ算出部２６は、ステップＳ４４において、セル３１に対する物体の存在の状態値として、＋１か０を与える。これにより、ＯＧＭ算出部２６は、ステップＳ４５において、ＲＯＧＭ４０の状態を２値の画像として表示することができる。
（図２ＡのステップＳ６の詳細）
　図８は、課題３の解決方法を説明するための図である。
　例えば、ステレオカメラ２１から見て前方に、横２ｍ×縦２ｍのサイズ（前面投影面積）の物体があったとする。画素サイズが５μｍのステレオカメラ２１で、焦点距離が１０ｍｍのレンズを使ったレンズ・カメラ系があった場合、１０ｍでは、２ｍ×２ｍの物体は、次式（４）のような三角形の相似計算により、ステレオカメラ２１上では、４００×４００画素の大きさになる。
　　　２／１０　＝　ｘ／１０・・・・（４）
　　　ｘ＝２ｍｍ
　　　２／０．００５＝４００画素
　その物体が４０ｍ遠方にあった場合には、同様に、次式（５）のような三角形の相似計算により、ステレオカメラ２１上では、１００×１００画素の大きさとなる。
　　　２／４０＝ｘ／１０・・・・（５）
　　　ｘ＝２０／４０＝０．５ｍｍ
　　　０．５／０．００５＝１００画素
　ＯＧＭ１０では、画素一つに対して一つの投票を行うため、この状況では、１０ｍ先の場合には、４００×４００＝１６０，０００点の投票が行われる一方で、４０ｍ先では、１００×１００＝１０，０００点の投票が行われる。ＯＧＭ１０の閾値として同じ値を使うとすると、１０ｍの場合は、４０ｍの場合に対して１６倍も物体が取れやすくなることになる。これを是正するために、本実施例１では、距離に応じて投票に重みをつけることにする。つまり、同じ面積の物体に対して、画素数は距離の二乗に反比例して多くなる。これを補正するためには、物体までの距離の二乗を重みとして、投票数に乗じた値を投票するようにすればよい。これにより従来の課題３を解決できる。
　例えば、１０ｍ先の場合には１０の二乗の１００を、４０ｍ先の場合には４０の二乗の１６００を掛けた値を１画素毎に投票することにより、１０ｍ先の４００×４００画素の全ての画素による投票数は、１６０，０００×１００＝１６，０００，０００となり、４０ｍ先の１００×１００画素の全ての画素による投票数は、１０，０００×１６００＝１６，０００，０００となり、同じ数となる。この重みは、あくまでも重みなので、実際の距離に対してスケールを掛けた値を用いてもよい。
（図２ＡのステップＳ９の詳細）
　図９は、図２ＡのステップＳ９における収縮処理を示す図である。さらに、図１０は、図４のステップＳ９における膨張処理を示す図である。この図９及び図１０を参照しつつ、従来の課題２の１の解決方法について説明する。
　図２ＡのステップＳ９において、ノイズ除去部２７は、算出された２値のＲＯＧＭ４０に対して、適切な回数の収縮処理及び膨張処理を行う。そのために、モルフォロジー演算で使われるオープニング（収縮と膨張）を用いて、複数のセルを一つの塊として抽出して、それを一つの物体として出力する。
　膨張処理及び収縮処理では、一般的に２値化された白黒の画像に対して処理が行われ、注目画素３５の周辺に１画素でも白い画素があれば白に置き換える処理を膨張（Dilation）といい、逆に周辺に１画素でも黒い画素があれば黒に置き換える処理を収縮（Erosion）という。
　ノイズにより誤って検出されたセルは、本当の物体に対してサイズが小さいと考えられるので、最初に、図９に示すような収縮処理を行うことで小さなセルが消去され、その後に、図１０に示すような膨張処理を行うことによって元のサイズが復元される。
　図２ＡのステップＳ１０のラベリング処理を行う前に、オープニング（収縮処理をしてから膨張処理を行う処理）を行うことによって、ステレオカメラ２１の小さなノイズが除去され、大きな構造が残る。ＯＧＭ１０のセル内の投票数の閾値処理によってノイズを除去できるが、更に、オープニングを行うことで、セルとして抽出されてしまったノイズをここで除去することができるので、従来の課題２の１を解決できる。
（図２ＡのステップＳ１０の詳細）
　図１１Ａ～図１１Ｍは、従来の課題２の２を解決するための図２ＡのステップＳ１０のラベリング処理を示す図である。
　図１１Ａ～図１１Ｍにおいて、図１１Ａは対象とする２値化画像、図１１Ｂは４連結の場合、図１１Ｃは８連結の場合、図１１Ｄはラスタスキャンとルックアップテーブル５０、図１１Ｅは白い画素に対するラベル番号の振り方、図１１Ｆは最初に番号を割り振った様子、図１１Ｇは更にラスタスキャンを続ける様子、図１１Ｈは新たな番号（２）を割り振った様子、図１１Ｉは更に新たな番号（３）を割り振った様子、図１１Ｊはルックアップテーブル５０の書き換えの様子、図１１Ｋはラベリング処理において更にルックアップテーブル５０の書き換えをした様子、図１１Ｌは全ての画素に対してラベル番号が割り振られた状態、及び、図１１Ｍはラベル番号が修正された状態、をそれぞれ示す図である。
　前記図７Ａ及び図７Ｂに示すＲＯＧＭ４０のアルゴリズム１，２では、投票数が閾値よりも大きな部分に物体が存在すると推定して、そのセルに対して状態１か０を与えて２値画像を生成し、更に、その２値画像に対して収縮処理及び膨張処理を行っている。その後、図２ＡのステップＳ１０では、収縮・膨張処理の結果に対して、ラベリング処理を行うことによって、大きな物体の場合には複数のセルの集合から成るものとして登録し、小さな物体の場合には、最小で１個のセルから成る物体として登録することにより、従来の課題２の２を解決している。
　以下、図１１Ａ～図１１Ｍを参照しつつ、ラベリング処理について説明する。２値化画像処理された画像において、白の部分（又は黒の部分）が連続した画素に同じ番号を割り振る処理をラベリング処理という。このラベリング処理は、通常、同じ番号毎の面積（画素数）や幅、高さ等の特徴量を求めて欠陥検査や分類処理等に用いられる。
　ラベリングには、図１１Ａのような２値化された画像の縦、横方向に連続している部分を同じラベルにする図１１Ｂのような４連結の場合（即ち、４近傍の場合）と、縦、横、斜め方向に連続している部分を同じラベルにする図１１Ｃのような８連結の場合（即ち、８近傍の場合）と、の２種類の処理がある。
　以下、８連結の場合において、ラベリング処理のアルゴリズムを説明する。
　先ず、図１１Ｄに示すように、画像全ての画素のラベル番号を０（ゼロ）で初期化しておき、ラベリングで番号を割り付けるためのラベリング番号のルックアップテーブル５０を用意する。このルックアップテーブル５０において、Srcは、後述のラスタスキャン時に最初に割り振る番号を示し、Dstは、その後の番号の割り振りの際に、新たに余分につけてしまった番号を、より小さな番号に振り直すための番号を書き込む欄である。そして、画像の左上から右方向へラスタスキャンを行い、画素３６の色が白の位置を検索する。
　図１１Ｅに示すように、白の画素３６の左上、上、右上、左の画素３７のラベル番号を参照し、全て０（ゼロ）の場合は、最後に割り振った番号＋１のラベル番号を割り振る。もし、参照した画素３７のラベル番号が複数存在した場合は、最小の番号を割り振る。
　図１１Ｄのようにラスタスキャンを行って、最初に番号を割り振った様子が、図１１Ｆに示されている。同様に続行すると、図１１Ｇのようになる。さらにラスタスキャンを続けて、新たなラベル番号（２）を付けた様子が、図１１Ｈに示されている。そして、更にラスタスキャンを続けて新たなラベル番号（３）を振った様子が、図１１Ｉに示されている。
　図１１Ｊに示すように、参照した画素のラベル番号が複数存在した場合、最小の番号を割り振る。この時、使用しなかったラベル番号（図１１Ｊの例では３）に対応するルックアップテーブル５０のSrc（３）の右側のDstの欄の数字を、このとき割り振られた最小の番号（１）に書き換える。以後、同様にラスタスキャンを続けて、図１１Ｋに示すように、１を割り振る際に、右上の番号が「２」となっているため、最小の番号ではない値＝２に対応するSrcの欄の右隣のDstに、実際に割り振った値＝１を書き入れる。このようにして、図１３Ｌに示すように、全ての画素に対してラベル番号が割り振られる。
　次に、処理の途中でルックアップテーブル５０の番号を変更した番号を、得られた画像に対する番号に対して、例えば、「２→１、３→１、６→５」のように変更すると、図１１Ｍに示すように、連続した領域は同じ番号になり、ラベリングが完了する。
　以上のようなラベリングを、ＲＯＧＭ４０に適用することによって、大きな物体であっても小さな物体であっても、一つのラベル番号が与えられ、一つの物体として扱うことが可能になる。これにより従来の課題２を解決できる。
　なお、以上の説明では、２値のマップに対してノイズを削除するために収縮処理及び膨張処理を行った後にラベリング処理をした。ここで、ノイズがないか又は非常に少ない場合には、収縮処理及び膨張処理を行わずに、２値のマップに対して直接、ラベリング処理を行ってもよい。
　以下に、本発明の物体検出装置２０の実施例を示す。
　実施例の物体検出装置２０は、ステレオカメラ２１とこのステレオカメラ２１の出力側に接続されるコンピュータ（ＰＣと呼ぶ）から構成した。ＰＣ、つまり情報処理装置は、図１に示す視差算出部２２、距離・３Ｄ情報算出部２３、前方路面からのカメラ高さ・傾き推定部２４、前方路面に合わせた傾き変換部２５、ＯＧＭ算出部２６、ノイズ除去部２７、物体検出部２８、物体情報の出力部２９及びグローバルマップ表示部３０を構成する。ステレオカメラ２１とコンピュータは、インターフェースとなるＵＳＢ３．０を介して接続した。
　ステレオカメラ２１は、以下の構成を有している。
　　　ステレオカメラ２１：ＺＭＰ社製、RoboVision（登録商標）2 カメラモジュール
　　　ＣＭＯＳイメージセンサ：ソニー製、IMX224を２個使用
　　　解像度：１２８０×９６０ピクセル（３０ｆｐｓ（frame per second））
　ＯＳとしてWindows 8.1（６４ビット）を搭載したＰＣを用いた。このＰＣに第１占有グリッドマップ及び冗長な第２占有グリッドマップを生成するソフトウェアをインストールした。ＰＣの主要な構成を以下に示す。
　　　ＣＰＵ:インテル製 Core TMi7-5960X、８コア／3GHz
　　　ＲＡＭ:１６ＧＢ
　　　ＨＤＤ：２ＴＢ
（比較例）
　実施例と比較するために、第１占有グリッド（ＯＧＭ）マップを得る従来のソフトウェアをインストールした以外は、実施例１と同じステレオカメラ２１とＰＣを用いた。
（課題１に対する本発明の効果）
　課題１に対する本発明の効果を評価するために、ターゲットを床面に固定した状態で、少しずつステレオカメラ２１の位置を横にずらして行って、それぞれの位置でステレオ処理とＯＧＭ処理及びＲＯＧＭ処理を行った。ターゲットは、図示するようにロボットの絵が描かれた直方体の箱とした。
　図１２（ａ）～（ｃ）は、ステレオカメラ２１の位置を横方向で変えたときの実施例の画像を示し、上段が画像であり、下段が距離情報を階調処理した距離画像である。ここで、上段ではステレオカメラ２１の右カメラ２１Ｒの画像のみを示し、左カメラ２１Ｌの画像は省いている。図１２では、視差範囲を制限したために、正しい視差が求まっていない部分が手前側と奥側に存在している。グリッドサイズは、横方向及び奥行き方向で共に０．５ｍである。下段の距離画像には、手前と奥を示している。
　図１３は、実施例のＲＯＧＭ４０による箱の検出の投票数を示す図である。図１３では、ステレオカメラ２１の横位置の変化（６通り）を、箱が常に同じ位置、即ち横方向位置が０の位置となるように補正した場合のＲＯＧＭ４０の投票値を示す。これから横軸は補正後の横方向位置（ｍ）であり、縦軸は投票数である。図１３に示すように、箱がグリッドの境界線の近くでもセルの中央付近であっても、投票値はそれほど変わりがないことがわかる。これにより、箱の位置が、ＲＯＧＭ４０のどの位置にあっても、閾値を高くしていった際に安定して箱を検出できることがわかる。
　図１４は、比較例のＯＧＭ１０による箱の検出を示し、（ａ）は横方向の投票数を、（ｂ）は横方向及び奥行き（距離）方向の投票数を示す図である。ステレオカメラ２１の横位置の変化は、図１３と同じ６通りである。
　図１４（ａ）に示すように、少しずつ横位置をずらした場合に、ＯＧＭ１０のグリッドの境界上に箱がある場合、又はグリッドの間（セルのど真ん中）にある場合によって、投票数が変化することが分かる。図１４（ｂ）に示すように、奥行き（距離）方向の投票数からは、箱に対応するセルの位置が分かるが、箱の位置がグリッド境界に近いほど、投票数が少ないことがわかる。これにより、比較例のＯＧＭ１０では、実施例のＲＯＧＭ４０とは異なり閾値を上げていくと、境界付近で物体を検出できなくなってしまうことが分かる。
（課題２の１に対する本発明の効果）
　本発明の課題２の１に対する効果を評価するために、ノイズが生じている距離画像において、収縮と膨張処理によるノイズ除去について説明する。
　図１５はノイズを調べるのに用いた画像を示し、（ａ）が右カメラ２１Ｒの画像を、（ｂ）が距離画像を示す図である。図１５（ｂ）は、図１２の下段と同様に階調処理した距離画像である。
　図１５（ａ）に示すように、横断歩道に一人の歩行者と自転車に乗った人がおり、図１５（ｂ）に示すように、距離画像の上側の空の部分にステレオの誤対応によるノイズが生じている。
　図１６は、距離画像から得られる３Ｄ点群に対して、ＲＯＧＭ処理をした投票結果を示す図である。図１６の座標では、横方向及び奥行き（距離）方向に対して高さ方向に投票数を示している。図１６に示すように、投票数の多い歩行者と自転車に乗った人と共に、ノイズが生じていることが分かる。
　図１７は、図１６のデータを閾値が１００００として２値化した結果を示す図である。図１７の座標は、高さ方向が２値（０、１）を示す以外は、図１６と同じである。図１７に示すように、二つの山が歩行者と自転車に乗った人に対応すると共に、手前の山がノイズに対応していることが分かる。
　図１８は、図１７のデータを収縮・膨張処理した結果を示す図である。図１８の座標は、図１７と同じである。収縮・膨張処理は、収縮と膨張をそれぞれ１回行った。図１８に示すように、収縮・膨張処理により図１７で生じたノイズによる山が除去されたことが分かる。
（課題２の２に対する本発明の効果）
　課題２の２に対する本発明の効果を評価するために、図１８に示すノイズを除去した２値データのラベリング処理を行った。図１８に示すように、この段階では、歩行者に対応する単に１の値のセルが並んでいる山が二つあり、この二つの山のそれぞれが、一つずつの塊として分けられていない。
　図１９は、図１８の２値データをラベリング処理した結果を示す図である。図１９の座標は、高さ方向をラベルとした以外は図１８と同じである。図１９に示すように、ラベリング処理により、自転車に乗った人の塊を構成するすべてのセルに対しては、高さ方向の値、つまり１のラベルが与えられ、中央の歩行者の塊を構成するすべてのセルに対しては、高さ方向の値が２というラベルが割り振られていることが分かる。これにより、課題２の２の複数のセルから成る一つの塊に対して、ラベリング処理によって一つのラベリング値が与えられ、一つの物体として検出し取り扱うことが可能となる。
（課題３に対する本発明の効果）
　課題３に対する本発明の効果を評価するために、左右画像に対して３Ｄ値を求め、３Ｄ値から投票時に距離の自乗を加算した実施例のＲＯＧＭ４０によるマップと従来のＯＧＭ１０によるマップを求めた。
　図２０は、遠方の投票を調べるのに用いた画像を示し、（ａ）が左画像を、（ｂ）が右画像を、（ｃ）は距離画像である。図２０（ｃ）は、図１２の下段と同様に階調処理した距離画像である。図２０に示すように、前方には図１２と同じロボットの絵が描かれた直方体の箱があり、この箱の位置を、前方２ｍから４．５ｍ迄０．５ｍ毎に変えたときのＲＯＧＭ４０及びＯＧＭ１０によるマップを求めた。
　図２１は、実施例のＲＯＧＭ４０によるマップである。図２１では、横方向及び奥行き（ｍ）に対して高さ方向に投票数を示している。図２１に示すように、箱の位置を０．５ｍ毎に変化させたとき、ある程度のバラツキはあるものの遠方の箱の投票数も多くなり、距離による投票数の変化が後述する従来のＯＧＭ１０よりも明らかに改善されていることが判明した。
　図２２は、比較例のＯＧＭ１０によるマップである。図２２の座標は図２１と同じである。図２２に示すように、比較例のＯＧＭ１０では距離に関係なく投票しているため、距離が遠くなると投票数も減っていることが分かる。
（課題４に対する本発明の効果）
　課題４に対する本発明の効果を評価するために、遠方に停車した車両に対して３Ｄ値を求め、３Ｄ値から実施例のＲＯＧＭ４０によるマップと従来のＯＧＭ１０によるマップを求めた。
　図２３は、遠方の車両を調べるのに用いた画像を示し、（ａ）が左画像を、（ｂ）は距離画像を示す図である。図２３（ｂ）は、図１２の下段と同様に階調処理した距離画像である。図２３に示すように、前方に停止した車両と道路の両側には樹木があることが分かる。
　図２４は、実施例の３Ｄ値から求めたＲＯＧＭ４０の結果を示す図である。図２４の座標は、図２２と同じである。図２２のＲＯＧＭ４０は、投票時に距離の自乗を加算すると共に、視差誤差を考慮した式（２）に基づいて、奥行方向に投票するセルの範囲を広げる処理を行った。図２４に示すように、遠方の物体に投票数が多い物体が観測される。なお、手前にある山は、明るい空のテクスチャが殆どなかったため、誤対応によるノイズを拾ったものである。
　図２５は、図２４のデータを２値化した結果を示す図である。図２５の座標は、高さ方向が２値（０、１）を示す以外は、図２４と同じである。図２５に示すように、遠方に停止した車両を含む物体と、手前にノイズが生じていることが分かる。
　図２６は、図２５のデータを収縮・膨張処理した結果を示す図である。図２６の座標は、図２５と同じである。収縮・膨張処理は、収縮と膨張をそれぞれ１回行った。図２６に示すように、収縮・膨張処理により図２５で生じたノイズによる山が除去されたことが分かる。これにより、本発明の物体検出方法によれば、従来検出できなかった遠方の物体を検出することが可能となった。
　実施例のように遠方に停止した車両を、ＯＧＭ１０を使って検出しようとしたが、ラベリング後に検出できなかった。
　遠方に停止した車両を、実施例とは異なり、距離の自乗の加算と式（２）に基づいた処理をしないＲＯＧＭ４０だけを使って検出しようとしたが、２値化後に収縮・膨張処理を行ったが何も検出されなかった。
　以上説明したように、上記実施例及び比較例によれば、課題１～４を解決できることが判明した。
　本発明は、上記実施の形態に限定されるものではなく、特許請求の範囲に記載した発明の範囲内で種々の変形が可能であり、それらも本発明の範囲内に含まれることはいうまでもない。
　１０　　　ＯＧＭ
　２０　　　物体検出装置
　２１　　　ステレオカメラ
　２２　　　視差算出部
　２３　　　距離・３Ｄ情報算出部
　２４　　　前方路面からのカメラ高さ・傾き推定部
　２５　　　前方路面に合わせた傾き変換部
　２６　　　ＯＧＭ算出部
　２７　　　ノイズ除去部
　２８　　　物体検出部
　２９　　　検出物体情報の出力部
　３０　　　グローバルマップ表示部
　４０　　　ＲＯＧＭ
　５０　　　ルックアップテーブル
 

Claims (14)

  1. 　ステレオカメラで撮影した物体の左右画像から画素毎に視差を求め、３次元点群データからなる３次元距離画像を生成し、
    　前記３次元点群データを、グリッド状の複数のセルが２次元面に配置された２次元マップに投票して第１占有グリッドマップを生成し、
    　前記第１占有グリッドマップを用いて前記物体の３次元情報を検出する物体検出方法において、
    　前記複数のセルの境界付近に跨って、冗長なセルをオーバーラップさせて配置し、
    　前記冗長なセルにも、前記３次元点群データを投票して、冗長な第２占有グリッドマップを生成し、
    　前記第２占有グリッドマップを用いて前記物体の３次元情報を検出する
    ことを特徴とする、物体検出方法。
  2. 　前記２次元マップに投票する際に、
    　前記物体までの距離に応じた重みを掛けることを特徴とする、請求項１記載の物体検出方法。
  3. 　前記重みは、前記物体までの距離の二乗であることを特徴とする、請求項２記載の物体検出方法。
  4. 　前記第２占有グリッドマップに対する投票値を、閾値を用いて２値化して２値のマップを生成し、前記２値のマップに対してラベリング処理を行うことを特徴とする、請求項１～３のいずれか１項記載の物体検出方法。
  5. 　前記ラベリング処理の前に収縮処理及び膨張処理を行うことを特徴とする、請求項４記載の物体検出方法。
  6. 　前記物体までの距離に応じて、投票する前記セルの範囲を広げることを特徴とする、請求項１～５のいずれか１項記載の物体検出方法。
  7. 　前方路面のパラメータを前記投票の前に前記３次元点群データを用いて推定し、前記３次元点群データを、前記パラメータを用いて路面座標系に変換することを特徴とする、請求項１～６のいずれか１項記載の物体検出方法。
  8. 　物体を撮影して前記物体の左右画像を取得するステレオカメラと、
    　前記左右画像から画素毎に視差を算出する視差算出部と、
    　前記視差から、３次元点群データからなる３次元距離画像を生成する３次元距離画像生成部と、
    　前記３次元点群データを、グリッド状の複数のセルが２次元面に配置された２次元マップに投票して、第１占有グリッドマップを生成する占有グリッドマップ生成部と、
    　前記第１占有グリッドマップを用いて前記物体の３次元情報を検出する物体検出部と、
    　を有し、
    　前記占有グリッドマップ生成部は、
    　前記複数のセルの境界付近に跨って、冗長なセルをオーバーラップさせて配置し、前記冗長なセルにも、前記３次元点群データを投票して、冗長な第２占有グリッドマップを生成し、
    　前記物体検出部は、
    　前記第２占有グリッドマップを用いて前記物体の３次元情報を検出する
    ことを特徴とする、物体検出装置。
  9. 　前記占有グリッドマップ生成部は、
    　前記２次元マップに投票する際に、前記物体までの距離に応じた重みを掛けることを特徴とする、請求項８記載の物体検出装置。
  10. 　前記重みは、前記物体までの距離の二乗であることを特徴とする、請求項９記載の物体検出装置。
  11. 　前記物体検出部は、
    　前記第２占有グリッドマップに対する投票値を、閾値を用いて２値化して２値のマップを生成し、前記２値のマップに対してラベリング処理を行うことを特徴とする、請求項８～１０のいずれか１項記載の物体検出装置。
  12. 　前記物体検出部は、
    　前記ラベリング処理の前に収縮処理及び前記膨張処理を行うことを特徴とする、請求項１１記載の物体検出装置。
  13. 　前記占有グリッドマップ生成部は、
    　前記物体までの距離に応じて、投票する前記セルの範囲を広げることを特徴とする、請求項８～１２のいずれか１項記載の物体検出装置。
  14. 　前方路面のパラメータを前記投票の前に前記３次元点群データを用いて推定し、前記３次元点群データを、前記パラメータを用いて路面座標系に変換することを特徴とする、請求項８～１３のいずれか１項記載の物体検出装置。
     
PCT/JP2017/030562 2016-08-26 2017-08-25 物体検出方法及びその装置 WO2018038257A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016166341A JP6556675B2 (ja) 2016-08-26 2016-08-26 物体検出方法及びその装置
JP2016-166341 2016-08-26

Publications (1)

Publication Number Publication Date
WO2018038257A1 true WO2018038257A1 (ja) 2018-03-01

Family

ID=61245177

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/030562 WO2018038257A1 (ja) 2016-08-26 2017-08-25 物体検出方法及びその装置

Country Status (2)

Country Link
JP (1) JP6556675B2 (ja)
WO (1) WO2018038257A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108958238A (zh) * 2018-06-01 2018-12-07 哈尔滨理工大学 一种基于协变代价函数的机器人点到区路径规划方法
WO2019182082A1 (ja) * 2018-03-23 2019-09-26 パイオニア株式会社 推定装置、制御方法、プログラム及び記憶媒体
US10809073B2 (en) 2018-12-05 2020-10-20 Here Global B.V. Local window-based 2D occupancy grids for localization of autonomous vehicles

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102111957B1 (ko) * 2018-03-29 2020-05-18 주식회사 호서텔넷 충돌 회피를 위한 사물 인식 장치
JP7211047B2 (ja) * 2018-12-04 2023-01-24 株式会社アイシン 路面検出装置および路面検出プログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004178229A (ja) * 2002-11-26 2004-06-24 Matsushita Electric Works Ltd 人の存在位置検出装置とその検出方法及び同検出装置を用いた自律移動装置
US20130060540A1 (en) * 2010-02-12 2013-03-07 Eidgenossische Tehnische Hochschule Zurich Systems and methods that generate height map models for efficient three dimensional reconstruction from depth information
JP2014120026A (ja) * 2012-12-18 2014-06-30 Toyohashi Univ Of Technology 三次元物体モデルを検索するための方法、コンピュータプログラム及びシステム、及び、三次元物体を分類するための方法、コンピュータプログラム及びシステム
JP2015032185A (ja) * 2013-08-05 2015-02-16 国立大学法人 東京大学 ３次元環境復元装置
JP2016099932A (ja) * 2014-11-26 2016-05-30 株式会社日本自動車部品総合研究所 距離検出装置
JP2016522508A (ja) * 2013-06-03 2016-07-28 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ 車両用占有グリッドマップ

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004178229A (ja) * 2002-11-26 2004-06-24 Matsushita Electric Works Ltd 人の存在位置検出装置とその検出方法及び同検出装置を用いた自律移動装置
US20130060540A1 (en) * 2010-02-12 2013-03-07 Eidgenossische Tehnische Hochschule Zurich Systems and methods that generate height map models for efficient three dimensional reconstruction from depth information
JP2014120026A (ja) * 2012-12-18 2014-06-30 Toyohashi Univ Of Technology 三次元物体モデルを検索するための方法、コンピュータプログラム及びシステム、及び、三次元物体を分類するための方法、コンピュータプログラム及びシステム
JP2016522508A (ja) * 2013-06-03 2016-07-28 ローベルト ボツシユ ゲゼルシヤフト ミツト ベシユレンクテル ハフツングＲｏｂｅｒｔ Ｂｏｓｃｈ Ｇｍｂｈ 車両用占有グリッドマップ
JP2015032185A (ja) * 2013-08-05 2015-02-16 国立大学法人 東京大学 ３次元環境復元装置
JP2016099932A (ja) * 2014-11-26 2016-05-30 株式会社日本自動車部品総合研究所 距離検出装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019182082A1 (ja) * 2018-03-23 2019-09-26 パイオニア株式会社 推定装置、制御方法、プログラム及び記憶媒体
JPWO2019182082A1 (ja) * 2018-03-23 2021-03-11 パイオニア株式会社 推定装置、制御方法、プログラム及び記憶媒体
CN108958238A (zh) * 2018-06-01 2018-12-07 哈尔滨理工大学 一种基于协变代价函数的机器人点到区路径规划方法
CN108958238B (zh) * 2018-06-01 2021-05-07 哈尔滨理工大学 一种基于协变代价函数的机器人点到区路径规划方法
US10809073B2 (en) 2018-12-05 2020-10-20 Here Global B.V. Local window-based 2D occupancy grids for localization of autonomous vehicles

Also Published As

Publication number Publication date
JP6556675B2 (ja) 2019-08-07
JP2018031753A (ja) 2018-03-01

Similar Documents

Publication Publication Date Title
WO2018038257A1 (ja) 物体検出方法及びその装置
CN110807350B (zh) 用于面向扫描匹配的视觉slam的系统和方法
EP2430588B1 (en) Object recognition method, object recognition apparatus, and autonomous mobile robot
JP5870273B2 (ja) 物体検出装置、物体検出方法及びプログラム
CN101617197B (zh) 测量装置、测量方法及地物识别装置
EP1394761B1 (en) Obstacle detection device and method therefor
US7161606B2 (en) Systems and methods for directly generating a view using a layered approach
CN110826499A (zh) 物体空间参数检测方法、装置、电子设备及存储介质
JP4416039B2 (ja) 縞模様検知システム、縞模様検知方法および縞模様検知用プログラム
JP6707022B2 (ja) ステレオカメラ
JP2004117078A (ja) 障害物検出装置及び方法
JP4872769B2 (ja) 路面判別装置および路面判別方法
US8634637B2 (en) Method and apparatus for reducing the memory requirement for determining disparity values for at least two stereoscopically recorded images
CN111612728B (zh) 一种基于双目rgb图像的3d点云稠密化方法和装置
JP2006252473A (ja) 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
Alidoost et al. An image-based technique for 3D building reconstruction using multi-view UAV images
JPH07334679A (ja) 領域抽出装置
Burschkal et al. Stereo-based obstacle avoidance in indoor environments with active sensor re-calibration
WO2012029658A1 (ja) 撮像装置、画像処理装置、画像処理方法及び画像処理プログラム
KR20110089299A (ko) 스테레오 매칭 처리 시스템, 스테레오 매칭 처리 방법, 및 기록 매체
JP6340849B2 (ja) 画像処理装置、画像処理方法、画像処理プログラム、及び移動体機器制御システム
JP2019016308A (ja) 物体検出装置及び方法
CN112802114A (zh) 多视觉传感器融合装置及其方法和电子设备
CN110197104B (zh) 基于车辆的测距方法及装置
KR20160063039A (ko) 3차원 데이터를 이용한 도로 인식 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17843733

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17843733

Country of ref document: EP

Kind code of ref document: A1