WO2021065371A1 - 処理装置及び点群削減方法 - Google Patents

処理装置及び点群削減方法 Download PDF

Info

Publication number
WO2021065371A1
WO2021065371A1 PCT/JP2020/033882 JP2020033882W WO2021065371A1 WO 2021065371 A1 WO2021065371 A1 WO 2021065371A1 JP 2020033882 W JP2020033882 W JP 2020033882W WO 2021065371 A1 WO2021065371 A1 WO 2021065371A1
Authority
WO
WIPO (PCT)
Prior art keywords
point
point cloud
distance
data
reduced
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/033882
Other languages
English (en)
French (fr)
Inventor
黒田　昌芳
昂亮 坂田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Astemo Ltd
Original Assignee
Hitachi Astemo Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Astemo Ltd filed Critical Hitachi Astemo Ltd
Priority to US17/788,579 priority Critical patent/US12292508B2/en
Priority to JP2021550512A priority patent/JP7265027B2/ja
Publication of WO2021065371A1 publication Critical patent/WO2021065371A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808—Evaluating distance, position or velocity data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles

Definitions

  • the present invention relates to a processing apparatus and a point cloud reduction method.
  • the detection interval in the horizontal and vertical directions is narrowed to improve the resolution, and more point cloud data can be acquired.
  • Lidar is used.
  • Patent Document 1 there is a method of reducing the amount of point cloud data by setting the coordinate point density of the point cloud data to a predetermined threshold value or less according to the distance.
  • Patent Document 1 describes how to reduce the point cloud in which part to make it less than the predetermined coordinate point density in order to make the coordinate point density of the point cloud less than the predetermined threshold. Instead, the point cloud is reduced based only on the value of the coordinate point density, regardless of the shape characteristics of the object to be detected.
  • An object of the present invention is a processing device and a point cloud reduction method capable of suppressing the processing load of a point cloud even if the device for acquiring the point cloud of an object has a high resolution and the number of points constituting the point cloud increases. Is to provide.
  • the processing device which is an example of the present invention includes a storage device for storing data of a point cloud of an object, a distance between a first point constituting the point cloud, and the first point.
  • a processor that reduces the data of the second point from the data of the point cloud when the difference from the distance of the second point forming the point cloud next to the point cloud is smaller than the first threshold value.
  • the processing load of the point cloud can be suppressed even if the device for acquiring the point cloud of the object has a higher resolution and the number of points constituting the point cloud increases. Issues, configurations and effects other than those described above will be clarified by the description of the following embodiments.
  • a laser radar that calculates the distance to an object by detecting the light that hits the object and is reflected when it is irradiated with laser light, and recognizes the presence or absence of surrounding objects and their size and shape. It relates to a method of reducing point group data and a method of detecting an object (hereinafter referred to as Lidar [Light Detection and Ringing]).
  • the point cloud is composed of a plurality of points, but may indicate one point.
  • an index is given as in the point cloud (1), one point is indicated.
  • FIG. 1 is a block diagram showing an embodiment of point cloud data reduction processing.
  • the lidar 101 transmits the point cloud data of the object obtained by receiving the reflected light of the irradiated laser to the data input processing unit 102 in a predetermined format.
  • the data input processing unit 102 decodes the received data format, extracts the values of the horizontal angle, vertical angle, distance, and reflection intensity of each point group data, and stores them in the point group data storage unit 103.
  • the point cloud data reduction unit 104 determines whether or not the point cloud data read from the point cloud data storage unit 103 meets the reduction conditions, and the data itself is reduced for the point cloud data that can be reduced. A flag indicating that is added, and the value of the point cloud data storage unit 103 is updated.
  • a short-circuit straight line is generated with the point clouds before and after the reduced point cloud data (two adjacent points in the remaining point cloud) as end points, and the short-circuit straight line storage unit 105 is used. save.
  • the object detection / boxing processing unit 106 converts the point cloud data in the point cloud data storage unit 103 into a Cartesian coordinate system and adds it to the point cloud data storage unit 103, and the point cloud data in the point cloud data storage unit 103. Using the short-circuit linear data in the short-circuit linear storage unit 105, the object to be detected is boxed. Then, the object detection / boxing processing unit 106 collates the data such as the position and size of the box with the object data stored in the object information storage unit 107, and if there is an object considered to be the same, the value is set. Update and add a new one if it does not exist.
  • the object recognition processing unit 108 identifies the object and calculates the speed based on the data stored in the object information storage unit 107, and updates the stored information.
  • the object information recognized by lidar and stored in the object information storage unit 107 is subjected to fusion processing together with the result recognized by other sensors such as a camera and radar, and is used to generate a traveling route and the like.
  • the data input processing unit 102, the point group data reduction unit 104, the object detection / boxing processing unit 106, and the object recognition processing unit 108 may be realized as functions of a processor such as a CPU (Central Processing Unit). It may be realized as a circuit such as FPGA (Field-Programmable Gate Array). Further, the point cloud data storage unit 103, the short-circuit linear storage unit 105, and the object information storage unit 107 are composed of, for example, a storage device such as a memory.
  • the processing device such as an in-vehicle ECU (Electronic Control Unit) includes, for example, a memory (storage device), a CPU (processor), an input / output circuit, and the like.
  • a memory storage device
  • CPU processor
  • input / output circuit and the like.
  • FIGS. 2A and 2B are diagrams for showing how the point cloud data hits (corresponds to) an object according to the lidar resolution and distance, and is one layer of the vertical angle of the height at which the point cloud hits the vehicle (corresponding). It shows how the point cloud hits in the horizontal direction with respect to the surface on which the point cloud obtained by scanning at a predetermined vertical angle is located).
  • FIG. 2A is an example when a low-resolution lidar is used, and when the laser beam emitted from the low-resolution lidar 201 hits a nearby vehicle 202, point cloud data 203 can be obtained.
  • the circumscribing rectangle 204 is fitted with a rectangle that includes the point cloud data 203 of four points, and it is recognized that an object (in this case, a vehicle) is located at the position of the circumscribing rectangle.
  • point cloud data 213 can be obtained when the laser beam emitted from the high-resolution lidar 211 hits a nearby vehicle 212.
  • all the point cloud data are not coded, but the other point cloud data with the same black circle around the vehicle 212 are also the point cloud data of the vehicle 212.
  • a rectangle that includes the point cloud data 213 is applied to the circumscribing rectangle 214, and it is recognized that an object (in this case, a vehicle) is located at the position of the circumscribing rectangle.
  • the point cloud necessary for recognizing the point cloud data as a vehicle is left as it is, but the point cloud that does not affect the creation of the circumscribing rectangle is reduced. I try to do.
  • Fig. 3 shows the case where the laser beam emitted from the high-resolution lidar211 hits the back and side surfaces of the vehicle 301 diagonally forward to the left, and each point cloud is numbered.
  • the difference in the distance between the adjacent laser beams is larger than the set threshold value.
  • the point group (1) hit by the laser beam 303 is regarded as the edge of the object, and the point group number (in this case (1)) is shown in the point group information management table of FIG. Store the distance L1 at the distance 401 in FIG.
  • Fig. 4 explains with an example in which only the distance is stored, information on the horizontal and vertical angles of each point group may also be stored together.
  • the next laser light 304 is a point cloud that hits the same object, and the point cloud information management table of FIG. 4 shows the distance L2 of the laser light 304 as a point cloud (2). Store in the location of. Similarly, if the distance difference from the next laser beam does not exceed the threshold value, the distance Ln of the point cloud (n) is added to the distance 401 of the point cloud information management table in FIG.
  • the distance of the point cloud is added up to the laser light 305, but the laser light 306 does not hit the vehicle 301, and the distance difference from the laser light 305 exceeds the threshold value. Therefore, assuming that the laser beam 306 hits another object, the point cloud (15) hit by the laser beam 305 is set as the end of the object, and the point cloud (1) to the point cloud (15) in the point cloud information management table of FIG. 4 is set. ) Is managed as one and the same object, and it is a target point group for creating an circumscribing rectangle. The circumscribed rectangle 307 becomes the created circumscribed rectangle.
  • the circumscribed rectangle 307 Since it becomes difficult to read the numbers if the circumscribed rectangle is superimposed on the circled numbers in the figure, the circumscribed rectangle 307 is written outside each circled number for convenience. Although there is a difference from the circumscribed rectangle 307, there is actually no difference from the position of the back or side surface of the vehicle 301 because the circumscribed rectangle 307 is located at the center point of each circled number.
  • the laser light 303 is treated as one object.
  • the distance difference between the point group (1) and the point group (2) is defined as D1 and stored in the distance difference 402.
  • the result of L (n + 1) -Ln is calculated as Dn
  • the distance difference between adjacent point groups is calculated, and stored in the distance difference 402 in FIG.
  • the point cloud in the middle part is reduced, and even if it is replaced with a short-circuit straight line, the effect on the shape of the circumscribing rectangle is small, so the point cloud is reduced.
  • the increase / decrease that is, the tendency of the change of the distance difference D1 to D14 calculated based on the distances L1 to L15 of each point cloud is obtained.
  • the distance is shorter in the point group (2), so the sign of D1 is-(minus) and the distance is decreasing. Saves- (minus). This judgment is also made for D2 to D14, and the result is saved in the change of distance 502.
  • the change in the distance between the point group (1) and the point group (10) gradually approaches the position where the laser beam hits, so the change in distance 502 becomes- (minus), but gradually.
  • the change in distance 502 is + (plus).
  • the point clouds that remain without being reduced are the point cloud (1), the point cloud (10), and the point cloud (15) as shown in the point cloud 501 that remains in FIG.
  • the processor stores a straight line connecting one point left unreduced and the next point left unreduced. As a result, the shape of the object can be recognized with a small amount of data.
  • the short-circuit straight line is used when the detected object is boxed and then the object is identified and the direction is specified based on the presence / absence of a linear component and its length and direction.
  • Figure 6 shows the reduced point cloud in reverse display, and if you create an circumscribed rectangle with the remaining point clouds, it looks like the circumscribed rectangle 601. can get.
  • the distance L5 of the point group (5) is shorter than the distance L4 of the point group (4), so D4 decreases (-) and the distance of the point group (6). Since L6 is longer than the distance L5 of the point group (5), D5 increases (+), and the distance L7 of the point group (7) is shorter than the distance L6 of the point group (6), so D6 decreases (-). It becomes a state of change like 801.
  • the part where the change in distance changes from decrease (-) to increase (+) is considered to be an inflection point, and the detection position of the object is on the front side where the distance from lidar is short, so it is considered to be a protrusion. Be done. Therefore, the point cloud (5) between D4 and D5 is left, and the point cloud (5) is put in the remaining point cloud 802.
  • the part where the change in distance changes from increase (+) to decrease (-) is also considered to be an inflection point.
  • L6 is longer than L5
  • L7 is shorter than L6
  • the point cloud (6) is an inflection point, but it is shown to be inside the point cloud (5) that touches the extrinsic rectangle 702. It is not necessary to leave (6) because it is not related to creating the circumscribing rectangle 702.
  • vehicle 902 which is located in front and can detect only the back of the vehicle, it is not an inflection point, but the change in distance has changed from decreasing to increasing directly in front of the vehicle where the distance is the shortest. That is, if the horizontal scanning direction of the point cloud does not change, the change in distance changes from decrease to increase regardless of the positional relationship of the vehicle.
  • the points between the point groups in the remaining point group 802 can be regarded as almost straight lines, the point group (1) and the point group (5), the point group (5) and the point group (10), and the point group (10) ) And the point group (15) are stored as a short-circuit straight line.
  • the point cloud (5) with protrusions or the point cloud (10) with rounded corners is used as the end point, there may be a deviation from the actual straight line part, so connect the adjacent points to each other.
  • the points between the point group (2) and the point group (4), the point group (6) and the point group (9), and the point group (11) and the point group (14) are stored as a short-circuit straight line. To do.
  • the threshold value is set to a value larger than the distance difference between the point group (2) and the point group (3) but smaller than the distance difference between the point group (10) and the point group (11), the point group (3) in FIG.
  • the value of the distance difference D1 to D9 from the point group (1) to the point group (10) is from the threshold (third threshold Th3). Since it is small and invariant (0), the result is as shown in the change of distance 1201 in FIG.
  • the third threshold value Th3 is several centimeters, which is smaller than the first threshold value Th1 described later.
  • the point cloud (10) remains by setting it as an inflection point not only when it changes from a decrease to an increase but also when it changes from an invariant to an increase, but it is also a target for reduction when the invariant continues as in the case of a continuous decrease.
  • the point cloud (2) to the point cloud (9) are invariant when the amount of change is within the threshold range. It will be reduced.
  • the remaining point groups are the point group (1) and the point group (1) at both ends. Only the point group (10) that becomes the change point is 15), and the extrinsic rectangle is the dotted line indicated by 1302.
  • the circumscribed rectangle 1302 is determined to be farther or smaller than the circumscribed rectangle 1303 indicating the actual position and size of the vehicle, there is a risk of abnormally approaching or contacting the vehicle 1301.
  • the point cloud is left, and the curved part is not short-circuited by one approximate straight line, but is connected by a plurality of approximate straight lines along the curved part. , Make sure that the outline of the object cannot be accurately grasped due to the continuous point cloud to be reduced more than necessary.
  • FIG. 15 is a diagram in which the point clouds to be reduced are highlighted and distinguished.
  • the point group (1) and the point group (5) are defined by the short-circuit straight line 1503 as shown in FIG. 5) and the point group (9) are connected by a short-circuit straight line 1504, the point group (10) and the point group (13) are connected by a short-circuit straight line 1505, and the point group (13) and the point group (15) are connected by a short-circuit straight line 1506. Save as a short-circuit straight line.
  • the number of point clouds may be recounted from the point cloud.
  • the fourth point group (13) from the point group (9) is left, but since the point group (10) remains as a change point without being reduced, the point group (10) The fourth point cloud (14) is left and the point cloud (13) is reduced.
  • the extrinsic rectangle is created including the point cloud (5), it becomes an extrinsic rectangle like the extrinsic rectangle 1501, and the outline of the actual vehicle does not protrude from the extrinsic rectangle 1501.
  • the horizontal angle of the point group to be left may be changed so as to be narrower at a long distance.
  • the point cloud may be left for each fixed number of point clouds even if the horizontal angle interval becomes non-uniform without adjusting the number.
  • the horizontal angle of the point group left at a fixed interval or a fixed angle is changed according to each vertical angle so that the point group with the same horizontal angle does not remain continuously in the vertical direction, and the reduction is made.
  • the point group to be formed may not be biased to a specific part.
  • the amount of change at this time may be changed randomly within a certain range.
  • the processor performs point cloud reduction processing not only for the arrangement of point clouds in one direction but also for the arrangement of point clouds in another direction.
  • the point cloud can be reduced in two directions.
  • the processing load of the point cloud can be further reduced.
  • the two directions are orthogonal, but they do not have to be orthogonal.
  • the position of the road surface with a height of 0 is set as the lower end of the box 1801 instead of the position of the point cloud detected at the lowest height. There is.
  • the number of point clouds that can be reduced is small even if there are no point clouds that meet the conditions that can be reduced. Therefore, the effect of shortening the processing time is small, and the point cloud required for creating or boxing the circumscribing rectangle is lost, which increases the possibility of affecting the detection performance.
  • the point cloud in is not reduced.
  • the operation based on the flowchart of FIG. 19 is as follows.
  • the main body of operation is, for example, a processor.
  • Step 1901 Perform reduction processing for each point group in a loop of the number of point groups.
  • Step 1902 Compare the distance of the point cloud with a predetermined threshold value (fifth threshold value Th5), and if it is far, the reduction process is not performed, and if it is close, the process proceeds to step 1903.
  • a predetermined threshold value Th5
  • the processor leaves the data of the second point (target point) without reducing it.
  • the fifth threshold value Th5 is several tens of meters.
  • the point distance is the distance (measured value) from the lidar (device for acquiring the point cloud) to the point.
  • Step 1903 Compare the distance difference with the previous point cloud with a predetermined threshold value (first threshold value Th1), and if it is long, proceed to step 1904, and if it is short, proceed to step 1903_1.
  • first threshold value Th1 a predetermined threshold value
  • Step 1903_1 Compare the distance difference with the previous point cloud with a predetermined threshold value (second threshold value Th2), and if it is long, proceed to step 1904, and if it is short, proceed to step 1901.
  • second threshold value Th2 a predetermined threshold value
  • Step 1904 The previous point cloud is set as the end point of the previous object (object belonging to the previous group), and the target point group is set as the starting point of another object, and each is left without reduction.
  • the processor sets the first point. It is determined that the second point belongs to different objects, and the data of the first point (previous point) and the second point (target point) at the boundary of each object are left without reduction (Ste 1904).
  • the second threshold value Th2 is around 1 m. If the second threshold Th2 is too small, the same object is divided, and if the second threshold Th2 is too large, the target object is combined with another object.
  • Step 1905 Compare the angle difference or distance difference with the most recent unreduced point cloud with a predetermined threshold (4th threshold Th4), and if it is above the threshold, proceed to step 1906, and if it is below the threshold, proceed to step 1906. Proceed to step 1907.
  • the processor first Leave the data for point 2 unreduced (step 1906).
  • the fourth threshold value Th4 is several degrees when specified by an angle, and several tens of cm when specified by a distance.
  • Step 1906 The target point cloud is not reduced, the short-circuit straight line portion is determined as the end point of the short-circuit straight line, and the start point of the next short-circuit straight line is set.
  • Step 1907 If the pattern of increase / decrease in the distance difference from the previous point cloud and the previous distance difference satisfies the condition of leaving the point cloud, proceed to step 1906, and if the condition of reducing the point cloud is satisfied, step 1908. Proceed to. Specifically, when the increase / decrease changes (for example, from ⁇ to +), the process proceeds to step 1906, and when the same tendency, that is, when the increase / decrease does not change (for example, ⁇ continues), the process proceeds to step 1908.
  • the processor has a sign of a first distance change that indicates the difference between the distance of the second point and the distance of the first point, and a third that is next to the second point and constitutes a point group. If the second distance change amount, which indicates the difference between the point distance and the second point distance, has a different sign (step 1907: YES), the data at the second point is left unreduced (step 1906).
  • the processor considers the first distance change amount to be 0 when the first distance change amount is smaller than the third threshold value, and the second distance change amount is If it is smaller than the third threshold value, the second distance change amount is regarded as 0, and the code state (+,-, or 0) with respect to the first distance change amount and the code state (+,-, or 0) with respect to the second distance change amount ( If +,-, or 0) are different, the data at the second point may be left unreduced.
  • Step 1908 Reduce the target point cloud.
  • step 1902 there are four conditions for reducing the target points (steps 1902, 1903, 1905, 1907), but one or more conditions may be deleted.
  • the difference between the distance of the first point (previous point) that constitutes the point cloud and the distance of the second point (target point) that is next to the first point and constitutes the point cloud is If it is smaller than the threshold (first threshold Th1) (step 1903: short), the data of the second point may be reduced from the data of the point cloud (step 1908).
  • the memory storage device stores data of a point cloud of an object.
  • the first threshold value Th1 is several to ten and several centimeters.
  • the purpose of reducing the point cloud is to reduce the total amount of processing including recognition processing, and even if there are some point clouds that cannot be reduced, rather than reducing as many points as possible without missing the point clouds that can be reduced. Perform point cloud reduction processing by a method with a low processing load for point cloud reduction.
  • the distance to the point group is used as the threshold value instead of the number of point groups, and some or all the point groups that hit the object are used. If is farther than the distance of the threshold value, the point group reduction process may not be performed.
  • the above point cloud reduction process is performed at the polar coordinate system stage in order to reduce the number of point cloud data for which conversion processing is executed to the Cartesian (XYZ) coordinate system.
  • the point cloud may be reduced after the conversion to the system.
  • the point cloud data is reduced in each of the X-axis and Y-axis directions, and the point cloud targeted for reduction is reduced on both or one of the points.
  • the point cloud is based on the information on the number, position and size of the object detected in the previous frame, and the reduced number of point clouds.
  • a process of reducing the point cloud within a certain range or on average is performed.
  • the processor is constant when the number of unreduced points remaining in the point cloud exceeds or is expected to exceed a predetermined threshold (th6th threshold Th6).
  • the data of the point cloud included in the region may be reduced.
  • the sixth threshold value Th6 is tens of thousands to hundreds of thousands, and is the target maximum value of the remaining point group (the number of point groups that can be processed within the specified time).
  • the point cloud can be reduced to some extent.
  • the number of point clouds is reduced by reducing all or part of the point cloud from a predetermined range near the edge of the viewing angle.
  • it is a point cloud in a certain range on both sides in the horizontal direction as in regions 2001 and 2002 in FIG. 20A, or in a certain range above and below in the vertical direction as in regions 2003 and 2004 in FIG. 20B. Try to reduce the point cloud.
  • the range to be reduced is set in advance for each, but the range may be increased or decreased according to the target value of the reduction amount of the point cloud.
  • area 2001 and area 2002 have the same width (viewing angle), but they are on the right side so as to reduce the hindrance to detection of the road on the oncoming lane side and structures near the road.
  • the range of region 2002 may be reduced. However, if you are driving in the right lane of a road with multiple lanes separated by a median strip, it is better to reduce the range of the left area 2001 so that the influence of detection on the left lane side is reduced. ,
  • the range may be changed sequentially according to the road and driving conditions.
  • the area 2003 and the area 2004 have the same width (viewing angle), but the range of the lower area 2004 may be reduced with an emphasis on the road surface condition.
  • the target is the laser beam irradiated in the range passing through the area 2001 to 2004, and the object is displayed before and after the illustrated part. Including the case of hitting.
  • the left half of the overlapping area 2105 may reduce the point cloud of Lidar2102, and the right half may reduce the point cloud of Lidar2101.
  • each lidar may be reduced every other one, and half of the point clouds may be thinned out so that the point cloud density is equivalent to the non-overlapping area.
  • the laser beam arriving farther than the regions 2003 to 2005 is also targeted, and the region farther than the illustrated portion is also included.
  • the number of nearby objects is small, the number of objects that need to update the position and size of the objects and the tracking process of moving objects is small, and the processing load in the subsequent stage after recognition is low, it is constant. It is not necessary to reduce the point cloud in the range or on average.
  • the reduction method and the amount of reduction in the next cycle may be controlled from the number of point groups reduced and the number of point groups reduced within a certain range or on average.
  • the real-time property may be maintained by processing as much as possible within the time of one cycle in order from the object closest to the own vehicle.
  • the processing load of the point cloud can be suppressed even if the device for acquiring the point cloud of the object has a higher resolution and the number of points constituting the point cloud increases. ..
  • the present invention is not limited to the above-described examples, and includes various modifications.
  • the above-described examples have been described in detail in order to explain the present invention in an easy-to-understand manner, and are not necessarily limited to those having all the described configurations.
  • it is possible to replace a part of the configuration of one embodiment with the configuration of another embodiment and it is also possible to add the configuration of another embodiment to the configuration of one embodiment.
  • Lidar is adopted as a device for acquiring a point cloud of an object with light, but a device for acquiring a point cloud with radio waves may be used. That is, the means for acquiring the point cloud does not matter.
  • each of the above configurations, functions, etc. may be realized by hardware, for example, by designing a part or all of them with an integrated circuit. Further, each of the above configurations, functions, and the like may be realized by software by the processor (microcomputer) interpreting and executing a program that realizes each function. Information such as programs, tables, and files that realize each function can be stored in a memory, a hard disk, a recording device such as an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, or a DVD.
  • a memory a hard disk
  • a recording device such as an SSD (Solid State Drive)
  • a recording medium such as an IC card, an SD card, or a DVD.
  • the embodiment of the present invention may have the following aspects.
  • the purpose is to leave the point group of the characteristic position necessary for specifying the position and size of the object without reducing it, and to reduce the part where multiple point groups in the middle of the straight line part are connected. By reducing the number of point group data and approximating the end points of the straight line with a short-circuited straight line, the information necessary for grasping the position, size and shape of the object remains, so that the object can be detected.
  • the purpose is to maintain the recognition performance, reduce the number of point group data, reduce the processing load, that is, speed up the processing.
  • the distance change amount 1 between the point group data and the neighboring point (next point) of the point group data and the distance change amount 2 between the next point and the neighboring point (next next point) are set.
  • the state of increase or decrease changes between the distance change amount 1 and the distance change amount 2 a reduction method and a processing device that do not reduce the point group.
  • the total number of point cloud data can be reduced without degrading the object detection performance, and the points can be reduced.
  • the time required for group data processing it is possible to suppress an increase in the processing load even if the lidar becomes high resolution and the number of output point clouds increases.
  • Recessed External rectangle when there is a protruding part 1501... External rectangular when there is a curved part, 1502... External rectangle when the curved part protrudes, 1503... Short-circuit straight line connecting the point cloud (1) and the point cloud (5) , 1504 ... Short-circuit straight line connecting point cloud (5) and point cloud (9), 1505 ... Short-circuit straight line connecting point cloud (10) and point cloud (13), 1506 ... Point cloud (13) and point cloud (15) Short-circuit straight line connecting, 2001, 2002, 2003, 2004 ... Area to reduce point cloud, 2105 ... Overlapping area of two lidar detections

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

物体の点群を取得する装置が高解像度化して点群を構成する点の数が増加しても点群の処理負荷を抑制することができる処理装置及び点群削減方法を提供する。処理装置は、メモリ（記憶装置）とプロセッサとを備える。メモリは、物体の点群のデータを記憶する。プロセッサは、点群を構成する第1の点（前点）の距離と、第1の点の隣にあって点群を構成する第2の点（対象点）の距離との差が閾値（第1閾値Th1）より小さい場合（ステップ1903：YES）、点群のデータから第2の点のデータを削減する （ステップ1908）。

Description

処理装置及び点群削減方法
　本発明は、処理装置及び点群削減方法に関する。
　自動運転車を実現する上で、周囲にある物体の位置や動きを把握する必要があるが、冗長性を高めてより正確に周囲の物体を検知し認識するために、カメラやレーダに加えて物体までの距離をより正確に測定できるLidarを搭載する場合が増えてきている。
　物体をより遠距離で検知し、加えてより正確に形状を認識するために、水平・垂直方向の検出間隔を狭めて分解能を高め、より多くの点群データを取得できるようにした高解像度のLidarを使用するケースが増えてきている。
　しかし、高解像度化に伴って点群データ数が増加するために点群毎の処理量が増え、負荷が重くなることでリアルタイムで物体の認識処理が出来なくなるおそれがある。
　特開2018-206038（特許文献1）のように距離に応じて点群データの座標点密度を所定の閾値以下にすることで点群データ量を削減する方法がある。
特開2018-206038号公報
　特許文献1では、点群の座標点密度を所定の閾値以下にするために、どの部分にある点群をどのような方法で削減することで、所定の座標点密度以下にするかは記載がなく、検知対象となる物体の形状の特徴に関わらず、座標点密度の値のみに基づいて点群の削減が行われる。
　本発明の目的は、物体の点群を取得する装置が高解像度化して点群を構成する点の数が増加しても点群の処理負荷を抑制することができる処理装置及び点群削減方法を提供することにある。
　上記目的を達成するために、本発明の一例である処理装置は、物体の点群のデータを記憶する記憶装置と、前記点群を構成する第1の点の距離と、前記第1の点の隣にあって前記点群を構成する第2の点の距離との差が第1閾値より小さい場合、前記点群のデータから前記第2の点のデータを削減するプロセッサと、を備える。
　本発明によれば、物体の点群を取得する装置が高解像度化して点群を構成する点の数が増加しても点群の処理負荷を抑制することができる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
点群データ削減処理の実施の形態を示すブロック図である。 距離による車両への点群の当たり方の説明図である（低解像度）。 距離による車両への点群の当たり方の説明図である（高解像度）。 照射されたレーザ光が車両に当たる場所の説明図である。 各点群の距離と距離差の表である。 各点群間の距離の変化と残す点群の表である。 削減する点群と残る点群の場所の説明図である。 一部が突起状になっている場合の点群の場所の説明図である。 一部が突起状になっている場合の各点群間の距離の変化と残す点群の表である。 位置に応じた、走査に伴う距離の増減の説明図である。 一部が凹んでいる場合の点群の場所の説明図である。 一部が凹んでいる場合の各点群間の距離の変化と残す点群の表である。 距離の変化が小さい場合の各点群間の距離の変化と残す点群の表である。 緩く湾曲している場合の点群の場所の説明図である。 一定間隔で点群を残す場合の各点群間の距離の変化と残す点群の表である。 一定間隔で点群を残す場合の削減する点群と残る点群の場所の説明図である。 水平角度が同じ場合の垂直方向に点群が当たる場所の説明図である。 水平角度が異なる場合の垂直方向に点群が当たる場所の説明図である。 垂直方向にも点群削減処理を適用した場合の説明図である。 点群削減処理のフローチャートである。 水平方向の視野角内の点群の削減範囲の説明図である。 垂直方向の視野角内の点群の削減範囲の説明図である。 2台のLidarの検知範囲が重なる場合の点群の削減範囲の説明図である。
　本実施例は、レーザ光を照射した際に物体に当たって反射してくる光を検知することで物体までの距離を算出し、周囲にある物体の有無やその大きさおよび形状を認識するレーザ・レーダ（以下、Lidar［Light Detection and Ranging］と呼ぶ）で取得した点群データの削減方法および物体の検出方法に関するものである。
　以下、実施例を図面を用いて説明する。なお、以下の説明において、点群は複数の点から構成されるが、1つの点を示す場合がある。例えば、点群（1）のようにインデックスが付与される場合、1つの点を示す。
　図1は、点群データ削減処理の実施の形態を示すブロック図である。
　Lidar101は、照射したレーザの反射光を受光して得られた物体の点群データを所定の形式でデータ入力処理部102へ送信する。
　該データ入力処理部102は、受信したデータ形式を解読して各点群データの水平角、垂直角、距離、反射強度の値を取り出して点群データ記憶部103に格納する。
　点群データ削減部104では、点群データ記憶部103から読み出した点群データに対して、削減条件に合致するかどうかを判定し、削減可能な点群データについては、データ自体が削減されたことを示すフラグを付与し、該点群データ記憶部103の値を更新する。
　更に、点群データを削減した際に、削減された点群データの前後の点群（残された点群において隣り合う2点）を端点とする短絡直線を生成し、短絡直線記憶部105に保存する。
　物体検知・ボックス化処理部106は、点群データ記憶部103にある点群データを直交座標系に変換して点群データ記憶部103に追加し、点群データ記憶部103にある点群データと短絡直線記憶部105にある短絡直線データを利用して、検知対象とする物体をボックス化する。そして、物体検知・ボックス化処理部106は、該ボックスの位置、サイズ等のデータを物体情報記憶部107に保存されている物体データと照合し、同一と考えられる物体が存在する場合は値を更新し、存在しない場合は新たに追加する。
　物体認識処理部108は、物体情報記憶部107に保存されているデータをもとに、物体の識別や速度の算出を行い保存されている情報を更新する。
　Lidarで認識され、物体情報記憶部107に保存されている物体情報は、カメラやレーダなどの他のセンサで認識した結果と合わせてフュージョン処理が行われ、走行経路等の生成に利用される。
　なお、データ入力処理部102、点群データ削減部104、物体検知・ボックス化処理部106、物体認識処理部108は、CPU(Central Processing Unit)等のプロセッサの機能として実現してもよいし、FPGA(Field-Programmable Gate Array)等の回路として実現してもよい。また、点群データ記憶部103、短絡直線記憶部105、物体情報記憶部107は、例えば、メモリ等の記憶装置から構成される。
　本実施例では、車載ECU（Electronic Control Unit）等の処理装置は、例えば、メモリ（記憶装置）、CPU（プロセッサ）、入出力回路等を備える。
　図2A、2Bは、Lidarの解像度と距離に応じて、点群データが物体にどのように当たるか（対応するか）を示すための図であり、車両に当たる高さの垂直角度の１層分（所定の垂直角度における走査により得られた点群が位置する面）について水平方向の点群の当たり方を表している。
　図2Aは低解像度のLidarを使用した場合の例で、低解像度Lidar201から照射されたレーザ光が、近くにある車両202に当たる場合、点群データ203が得られる。
　なお、図2Aでは車両202に当たる全ての点群データに符号を付与していないが車両202の周囲にある同じ黒丸印の他の点群データについても車両202の点群データである。
　４点の点群データ203を包含する矩形をあてはめたものが外接矩形204であり、該外接矩形の位置に物体(この場合は車両)があると認識される。
　遠くにある車両205の場合は、レーザ光の水平間隔が広がるため、車両202と同じ大きさの車両205であっても点群データ206は１点しか当たらず、何らかの物体があることは検知できる。しかし、必要十分な点群数がないため矩形をあてはめて外接矩形を作成することが出来ず、車両205があると認識することができない。
　一方、高解像度のLidarを使用した場合の例である図2Bでは、高解像度Lidar211から照射されたレーザ光が、近くにある車両212に当たる場合、点群データ213が得られる。なお、図2A同様に全ての点群データに符号を付与していないが車両212の周囲にある同じ黒丸印の他の点群データについても車両212の点群データである。
　点群データ213を包含する矩形をあてはめたものが外接矩形214であり、該外接矩形の位置に物体(この場合は車両)があると認識される。
　遠くにある車両215の場合は、レーザ光の解像度が高いために(a)の車両205の例では１点しか当たらなかった距離でも、点群データ216では５点が当たり、矩形をあてはめて外接矩形217を作成することが出来る。これにより、低解像度Lidarでは認識できなかった車両が、高解像度Lidarを使用することで検知できるようになる。
　このように高解像度のLidarを利用するとより遠距離にある車両を検知・認識できるようになるが、近距離にある車両212に対しては、車両として認識すなわち外接矩形を作成するために必要十分な点群データの数があり、高解像度で点群データの数が増えても認識結果には影響がなく、点群データ数が増えた分だけ外接矩形を作成するための点群データの処理負荷が大きくなる。
　そこで本発明の実施例では、処理負荷を低減するために、点群データを車両として認識するために必要な点群はそのまま残すが、外接矩形の作成に影響を与えない点群は削減する処理を行うようにしている。
　図3は、高解像度Lidar211から照射されたレーザ光が、左斜め前方にある車両301の背面および側面に当たっている場合を示しており、各点群に番号を付与している。
　なお、図中では丸付き数字を使用し、明細書中では点群(1)のように数字に括弧書きで表現しているが、番号が同じ点群を表している。
　レーザ光302は車両301に当たらず遠方まで届き、車両301に点群(1)の位置で当たるレーザ光303との距離差が大きいので、隣り合うレーザ光の距離の差が設定した閾値より大きい場合は、レーザ光303から別の物体に当たっているとして、レーザ光303が当たる点群(1)は物体の端として、図４の点群情報管理表に点群番号(この場合(1))の距離L1を図4の距離401に格納する。
　図4では距離のみを格納した例で説明しているが、各点群の水平・垂直角度の情報も一緒に格納しておいてもよい。
　次のレーザ光304は、レーザ光303との距離差が前記閾値より小さいので、同じ物体に当たっている点群とし、図４の点群情報管理表にレーザ光304の距離L2を点群(2)の場所に格納する。同様に次のレーザ光との距離差が閾値を超えない場合は図4の点群情報管理表の距離401に点群(n)の距離Lnを追記する。
　レーザ光305まで点群の距離を追記するが、レーザ光306は車両301に当たらず、レーザ光305との距離差が閾値を超える。そのため、レーザ光306からは別の物体に当たっているとして、レーザ光305が当たる点群(15)を物体の端とし、図4の点群情報管理表にある点群(1)から点群(15)までを一つの同じ物体として管理し、外接矩形を作成する対象点群とする。外接矩形307が作成された外接矩形になる。
　図中の丸付き数字に重ねて外接矩形を重ねると数字が読みにくくなるため、便宜上各々の丸付き数字の外側に外接矩形307を書いており、図中では車両301の背面や側面の位置と外接矩形307との間に差があるが、実際は各丸付き数字の中心点に外接矩形307があるので、車両301の背面や側面の位置との差はない。
　なお、手前に他の車両などの障害物があり、レーザ光302がレーザ光303より短い場合でもその距離差が閾値より大きければ、レーザ光303から一つの物体とみなして処理する。
　また、レーザ光302やレーザ光306の先に物体がなく反射光を受光できず距離を測定できない場合は、閾値を超えた場合と同様な処理を行う。
　次に図4に点群(1)と点群(2)の距離差すなわちL2－L1をD1と定義し距離差402に格納する。以下L(n+1)-Lnの結果をDnとして算出して隣り合う点群間の距離差を算出して図4の距離差402に格納する。
　次に、本発明の実施例の点群削減方法について説明する。
　点群を削減しても生成する外接矩形の形状は変わらないようにする必要があり、最も外側にある点群を包含するように枠を当てはめる。そのため、端点、角になる変曲点や飛び出ている凸部等は削減すると外接矩形の形状が変化するおそれがあるので削減しないで残す必要がある。
　一方、点群が直線状につながっている場合などは中間部分の点群を削減し、短絡直線で置き換えても外接矩形の形状に与える影響は少ないので、点群を削減する。
　（点群の一部が直線を形成する例）
　具体的に図4の点群の並びの場合の例で説明すると、まず両端にある点、すなわち点群(1)と点群(15)は削減しないで残すので、図5の残す点群501に保存する。
　次に角になる頂点の点群を検出するために、まず各点群の距離L1～L15をもとに算出した距離差D1～D14の増減すなわち変化の傾向を求める。点群(1)と点群(2)では点群(2)の方が距離が短いので、D1の符号は－(マイナス)となり距離は減少しているので距離の変化502のD1の欄には－(マイナス)を保存する。この判定をD2～D14についても行い、距離の変化502に結果を保存する。
　このとき点群(1)から点群(10)までの部分の距離の変化の増減は、徐々にレーザ光が当たる位置が近づいてくるため距離の変化502は－(マイナス)となるが、徐々にレーザ光が当たる位置が遠ざかる点群(10)から点群(15)までの部分では、距離の変化502は＋(プラス)となる。
　点群(10)で距離の変化の傾向が変わるため、角になる点群と判断し点群(10)も残すようにし、残す点群501に保存する。
　距離の変化の符号が変わらず連続する部分の点群の並びはほぼ直線上になっている。この部分の点群は削減し短絡直線に置き換えても、外接矩形の作成には影響しないので、その他の12個を削減し残す点群501には加えない。
　上記のような処理を実施した結果として、削減されずに残る点群は、図5の残す点群501のように点群(1)、点群(10)および点群(15)となる。
　ここで、残す点群501にある点群間はほぼ直線とみなすことが出来るので、点群(1)と点群(10)、点群(10)と点群(15)の間を短絡直線として保存する。
　すなわち、プロセッサは、削減されずに残された１つの点と、削減されずに残されたその次の点とを接続する直線を保存する。これにより、小さなデータ量で物体の形状を認識できる。
　該短絡直線は、検知した物体をボックス化した後、直線成分の有無、その長さや方向に基づいて物体の識別や向きの特定を行う際に利用する。
　削減した点群を反転表示にして表すと図6のようになり、残っている点群で外接矩形を作成すると外接矩形601のようになるので、点群を削減しない場合と同様な外接矩形が得られる。
　図6では、車両の外面に全く凹凸がなく点群が直線状に並ぶという前提で説明したが、実際の車両は凹凸があったり、Lidar自体の計測誤差等もあり、車両の背面や側面の点群が一直線上になるとは限らない。
　（点群の一部が突起を形成する例）
　図7のように車両701の背面の一部で点群(5)のように突起状に飛び出ている場合は、外接矩形702のように囲む必要があるが、点群(5)の前後の距離差が閾値より小さいと点群(5)が削減対象になり、外接矩形703のように囲まれ、突起部分が枠外となってしまい車両701の位置やサイズを誤認識し衝突や接触をするおそれがある。
　この場合、突起物がある部分では、図8のように点群(5)の距離L5は点群(4)の距離L4より短いためD4は減少(－)となり、点群(6)の距離L6は点群(5)の距離L5より長いためD5は増加(＋)となり、点群(7)の距離L7は点群(6)の距離L6より短いためD6は減少(－)となり、距離の変化801のような変化の状態になる。
　このとき、距離の変化が減少(－)から増加(＋)へ変化する部分は変曲点と考えられ、物体の検知位置がLidarからの距離が近い手前側になるので突起部分であると考えられる。
そこで、D4とD5の間の点群(5)は残し、残す点群802に点群(5)を入れる。
　なお、距離の変化が増加(＋)から減少(－)へ変化する部分についても変曲点と考えられる。例えば、L6がL5より長くL7がL6より短く点群(6)が変曲点になっているが、外接矩形702に接する点群(5)よりも内側になることを示しており、点群(6)は外接矩形702を作成する上で関係しないことから残しておく必要はない。
　図9のように、車両の位置が左斜め前方になる車両901、右斜め前方になる車両903のいずれの場合でも車両のLidarから見える手前側の面に点群が当たるために角の部分が変曲点になり減少傾向から増加傾向に転じている。
　また、正面に位置し車両の背面しか検知できない車両902の場合は、変曲点ではないが、距離が最も短くなる真正面で距離の変化が減少から増加に転じている。つまり、点群の水平方向の走査方向が変わらなければ、車両の位置関係に関わらず距離の変化は減少から増加へ変化している。
　従って、距離の変化が増加(＋)から減少(－)へ変化する部分については、点群を残しておかなくても角の部分の変曲点を検知する上で支障はない。
　ここで、残す点群802にある点群間はほぼ直線とみなすことが出来るので、点群(1)と点群(5)、点群(5)と点群(10)、点群(10)と点群(15)の間を短絡直線として保存する。
　短絡直線を作成する場合、突起状の点群(5)や角に丸みがある点群(10)を端点とすると実際の直線部分とずれが生じる場合があるので、それぞれ隣の点同士で接続して短絡直線を作成するようにしてもよい。残す点群802の例では、点群(2)と点群(4)、点群(6)と点群(9)、点群(11)と点群(14)の間を短絡直線として保存する。
　（点群の一部が凹みを形成する例）
　次に、図10のように車両1001の背面の点群(3)と点群(7)の部分が凹んでいる場合の処理方法について説明する。
　点群(3)と点群(7)が車両1001の凹んでいる内側の部分に当たり距離L3と距離L7が長くなった場合、図11の表の距離の変化1101のように距離差D1からD2およびD5からD6で減少から増加に転じ、それぞれ点群(2)および点群(6)が変化点となるため点群が削減されなくなる。
　また、距離差D2からD3およびD6からD7で増加から減少に転じる場合は、図7の突起物がある場合で説明した通り、点群は残さないで削減処理を行う。
　その結果、点群1102のように、図5の残す点群501と比べて点群(2)と点群(6)点の２点が削減されずに残り、削減される点群数が少なくなる。
　この場合、点群(2)や点群(6)が外接矩形1002の外側にあるかどうか判定できないため、残す点群数は若干増えるが、外接矩形1002を作成する上での支障はない。
　（点群の一部が凹凸を形成する例）
　このように、車両1001の背面の点群が一直線上に並んでおらず凹凸があると、凹みの部分でも変曲点と判断され、点群が削減されずに残ってしまう場合がある。
　そこで、細かな距離の変化の増減があっても大きな増減がない場合に、点群を効果的に削減するために、距離の変化を減少(－)と増加(＋)だけでなく、変化量の増加、減少にかかわらず変化量が所定の閾値の範囲内だった場合は不変(0)とする3種類に分類する。
　閾値を点群(2)と点群(3)の距離差より大きいが点群(10)と点群(11)の距離差より小さい値に設定した場合に、図10の点群(3)と点群(7)の位置に凹みがある点群パターンの場合に適用すると、点群(1)から点群(10)までの距離差D1～D9は値が閾値（第3閾値Th3）より小さく不変(0)となるので、図12の距離の変化1201のような結果になる。ここで、第3閾値Th3は、数cmであり、後述する第1閾値Th1よりは小さい。
　減少から増加に転じる場合だけでなく、不変から増加に転じた場合も変化点とすることで点群(10)は残るが、減少が連続した場合と同様に不変が連続した場合も削減対象とすることで、凹みを変曲点とする図11の場合とは異なり、変化量が閾値の範囲内の場合は不変とする図12の場合は点群(2)～点群(9)までは削減されるようになる。
　（点群の一部が緩く湾曲している例）
　これまでの例では、車両背面がほぼ直線に近い場合で説明をしてきたが、図13の車両1301のように変化量が小さく徐々に形状が変化する緩く湾曲している場合がある。
　この場合に点群(2)～点群(10)は閾値の値にもよるが距離差の変化が不変で削減されるため、残る点群は、両端の点群(1)および点群(15)と変化点になる点群(10)だけとなり外接矩形は1302で示す点線になる。この場合、実際の車両の位置・サイズを示す外接矩形1303よりも外接矩形1302は遠くにあるもしくは小さいと判断されるため、車両1301に異常接近したり接触するおそれがある。
　そのため、一定の間隔で削減条件に合致していても点群を残すようにして湾曲部分を1本の近似直線で短絡させず、湾曲部分に沿うような複数の近似直線で接続するようにして、削減する点群が必要以上に連続することで物体の輪郭を正確に把握することが出来なくならないようにする。
　（一定間隔で点群を残す方法）
　一定の角度毎に点群を残す場合、水平方向の点群が等間隔に送出されている場合は一定の点群数毎に点群を残せば一定間隔で残すことになるので、例えば４点毎に残す場合、図14の残す点群1401のように点群(5)、点群(9)および点群(13)を残す。
　図15は、削減する点群を反転表示にして区別した図である。
　ここで、図14の残す点群1401にある点群間はほぼ直線とみなすことが出来るので、図15のように点群(1)と点群(5)を短絡直線1503で、点群(5)と点群(9)を短絡直線1504で、点群(10)と点群(13)を短絡直線1505で、点群(13)と点群(15)を短絡直線1506で接続して短絡直線として保存する。
　なお、途中で点群(10)のように変化点を検出して残す点群がある場合は、該点群から点群数をカウントし直すようにしてもよい。図14の例では、点群(9)から4点目の点群(13)を残しているが、点群(10)が変化点として削減されずに残っているので、点群(10)から4点目の点群(14)を残し点群(13)は削減するようにする。
　点群(5)も含めて外接矩形を作成するので外接矩形1501のような外接矩形になり、実際の車両の輪郭が外接矩形1501からはみ出さないようになる。
　一定角度毎に間引く場合、物体の位置が遠距離になる程、残しておく点群間の間隔が広くなるので、点群間の間隔が大きく違わないように、距離に応じて近距離では広く、遠距離では狭くなるように残す点群の水平角度を変えるようにしてもよい。
　また、ある特定の範囲を詳細に検出するために間隔を狭くするなど各点群間の水平角度間隔が一律ではない場合、残した点群間の水平角度が一定になるように間引く点群の数を調整しないで、水平角度間隔が不均一になっても一定の点群数毎に点群を残すようにしてもよい。
　また、常に一定間隔または一定角度で点群を残す方法を用い、図16のように垂直方向に点群が当たっている場合に、黒丸印を端や角で残る点群、白丸印を一定間隔または一定角度で残る点群、Ｘ印を削減する点群とすると、同じ水平角度の点群が垂直方向に連続して残ることになり、物体の特定の水平角度の点群を偏って残すことになる。
　そこで、図17のように一定間隔または一定角度で残す点群の水平角度が各々の垂直角度により変化するようにして、同じ水平角度の点群が垂直方向に連続して残らないようにし、削減される点群が特定の部分に偏らないようにしてもよい。
　このとき変化する量はある一定範囲内でランダムに変えるようにしてもよい。
　（垂直方向の点群の削減）
　また、ある水平方向の一層分の点群の並びの削減だけではなく、垂直方向に重なる各層の上下の点群の並びに対して、水平方向と同様な点群削減処理を行うこともできる。
　換言すれば、プロセッサは、一方向の点群の並びだけではなく、別の方向の点群の並びに対しても点群の削減処理を行う。これにより、２方向で点群を削減することができる。
その結果、点群の処理負荷をさらに低減することができる。なお、本実施例では、２方向は直交するが直交しなくてもよい。
　図18のように水平方向に削減処理を行った結果Ｘ印の点群が削減され、黒丸印および黒ダイヤ印の点群が残った場合に、同じ水平角度の垂直方向に重なっている点群に対して、水平方向と同様に削減処理を行うと、黒ダイヤ印の点群が更に削減され、黒丸印の点群のみが残る。
　残っている黒丸印の点群では、車両の周囲をボックス化する際の頂点になる部分は残っており、ボックス1801のような外接する直方体を作成することが出来るので、垂直方向に点群を削減してもボックス化をすることが可能である。
　なお、ここではボックス化する際の下端は路面の位置を想定しているので、最も低い高さで検知された点群の位置ではなく、高さが0の路面の位置をボックス1801の下端としている。
　上記のような処理方法で点群を削減する場合に、物体が比較的近くにあり十分な数の点群がある場合は、点群を削減しても外接矩形の形状やサイズを維持することができる。
　しかし、物体が比較的遠くにあり点群数が少ない場合は、削減可能な条件に合致する点群がなかったりあっても削減可能な点群数が少ない。そのため、処理時間短縮効果が小さい上に、外接矩形を作成したりボックス化するために必要な点群が失われ、検知性能に影響を与える可能性も高くなるので、所定の閾値よりも遠距離にある点群については削減処理を行わない。
　（動作）
　図19のフローチャートに基づく動作は以下の通りである。なお、動作の主体は、例えばプロセッサである。
　ステップ1901：点群数のループで各点群に対して削減処理を行う。
　ステップ1902：点群の距離を所定の閾値（第5閾値Th5）と比較し、遠い場合は削減処理を行わず、近い場合はステップ1903へ進む。
　例えば、プロセッサは、第2の点（対象点）の距離が第5閾値Th5より大きい場合（ステップ1902：YES）、第2の点（対象点）のデータを削減せずに残す。ここで、第5閾値Th5は、数十ｍである。
　これにより、遠方の物体に対応する点群を残すことができる。その結果、点群数が少なくなりやすい遠方の物体の検出精度の低下を抑制することができる。なお、点の距離は、Lidar（点群を取得する装置）からその点までの距離（測定値）である。
　ステップ1903：ひとつ前の点群との距離差を所定の閾値（第1閾値Th1）と比較し、長い場合はステップ1904へ進み、短い場合はステップ1903_1へ進む。
　ステップ1903_1：ひとつ前の点群との距離差を所定の閾値（第2閾値Th2）と比較し、長い場合はステップ1904へ進み、短い場合はステップ1901へ進む。
　ステップ1904：ひとつ前の点群は前の物体（先のグループに属する物体）の終点とし、対象としている点群は新たに別の物体の起点として、それぞれ削減しないで残す。
　例えば、プロセッサは、第1の点（前点）の距離と第2の点（対象点）の距離との差が、第2閾値Th2より大きい場合（ステップ1903_1：YES）、第1の点と第2の点は互いに異なる物体にそれぞれ属していると判定し、それぞれの物体の境界にある第1の点（前点）と第2の点（対象点）のデータを削減せずに残す（ステップ1904）。ここで、第2閾値Th2は、１ｍ前後である。第2閾値Th2が小さすぎると同じ物体が分割され、第2閾値Th2が大きすぎると対象物体が別の物体と結合される。
　これにより、物体の境界にある点群を残すことができる。その結果、物体の検出精度を維持することができる。
　ステップ1905：直近の削減されずに残っている点群との角度差または距離差を所定の閾値（第4閾値Th4）と比較し、閾値以上の場合はステップ1906へ進み、閾値未満の場合はステップ1907へ進む。
　例えば、プロセッサは、第1の点（残された点）と第2の点（対象点）との間の角度差又は距離差が第4閾値Th4以上である場合（ステップ1905：YES）、第2の点のデータを削減せずに残す（ステップ1906）。ここで、第4閾値Th4は、角度で規定する場合は、数度であり、距離で規定する場合は、数十cmである。
　これにより、一定間隔で点群を残すことができる。その結果、物体の緩やかな湾曲に対応する点群がすべて削減されることがないようにすることができる。
　ステップ1906：対象としている点群は削減せず、短絡直線の終了点として該短絡直線部分を確定するとともに、次の短絡直線の開始点に設定する。
　ステップ1907：前の点群との距離差とひとつ前の距離差の増減の変化のパターンが点群を残す条件を満たす場合はステップ1906へ進み、点群を削減する条件を満たす場合はステップ1908へ進む。具体的には、増減が変化する場合（例えば、－から＋へ変化）、ステップ1906へ進み、同じ傾向、すなわち、増減が変化しない場合（例えば、－が継続）、ステップ1908へ進む。
　例えば、プロセッサは、第2の点の距離と第1の点の距離との差分を示す第1の距離変化量の符号と、第2の点の隣にあって点群を構成する第3の点の距離と第2の点の距離との差分を示す第2の距離変化量の符号が異なる場合（ステップ1907：YES）、第2の点のデータを削減せずに残す（ステップ1906）。
　これにより、変曲点に対応する点群を残すことができる。その結果、物体の位置、サイズもしくは形状の検出精度を維持できる。
　また、図12を用いて説明したように、プロセッサは、第1の距離変化量が第3の閾値より小さい場合、第1の距離変化量を0とみなし、かつ、第2の距離変化量が第3の閾値より小さい場合、第2の距離変化量を0とみなし、第1の距離変化量に対する符号の状態（＋、－、又は０）と、第2の距離変化量に対する符号の状態（＋、－、又は０）が異なる場合、第2の点のデータを削減せずに残してもよい。
　これにより、物体の小さな凹凸に対応する点群を削減しつつ、物体の角に対応する点群を残すことができる。その結果、点群の処理負荷をさらに低減しつつ、物体の位置、サイズもしくは形状の検出精度を確保できる。
　ステップ1908：対象となる点群は削減する。
　本実施例では、対象点を削減するための条件は4つあるが（ステップ1902、1903、1905、1907）、1つ以上の条件を削除してもよい。
　例えば、プロセッサは、点群を構成する第1の点（前点）の距離と、第1の点の隣にあって点群を構成する第2の点（対象点）の距離との差が閾値（第1閾値Th1）より小さい場合（ステップ1903：短い）、点群のデータから第2の点のデータを削減してもよい（ステップ1908）。なお、メモリ（記憶装置）は、物体の点群のデータを記憶する。ここで、第1閾値Th1は、数～十数cmである。
　これにより、隣り合う2点の距離に応じて点群を削除することができる。その結果、例えば、直線状に並んだ点群を削除することができる。また、点群の処理負荷が低減され、一定時間内に物体を認識することができる（リアルタイム性）。特に、物体の点群を取得する装置（例えば、Lidar）が高解像度化して点群を構成する点の数が増加しても点群の処理負荷を抑制することができる。
　（その他の変形例）
　点群の削減は認識処理などを含めた全体の処理量の低減が目的であり、削減可能な点群を欠かすことなく一点でも多く削減するよりも、一部に削減されない点群があっても点群削減のための処理負荷が低い方法で点群削減処理を行う。
　なお、同じ大きさの物体に対する点群数は物体までの距離と関連し遠方になるほど少なくなるので、点群の数ではなく点群までの距離を閾値とし、物体に当たる一部または全ての点群が該閾値の距離より遠い場合は点群削減処理を行わないようにしてもよい。
　また、上記の点群削減処理は、直交(XYZ)座標系へ変換処理が実行される点群データ数を削減するために極座標系の段階で行っているが、全ての点群データを直交座標系へ変換した後に点群の削減処理を行うようにしてもよい。この場合、X軸、Y軸それぞれの方向に対して点群データの削減処理を行い、両方または一方で削減対象となった点群を削減する。
　近くにある物体が多い場合は物体に当たる全体の点群数も多くなるため、削減される点群数も多くなり一定程度の処理負荷低減を見込めるが、近くにある物体が少ない場合は、削減される点群数も少なくなり処理負荷の低減量が減少する可能性がある。
　全ての点群を扱う場合には一定の周期でリアルタイムで処理を行うことが出来ない。点群削減処理を行い処理負荷を下げ、リアルタイム処理を可能としている場合は、常にある程度の数の点群が削減されている必要がある。しかし、物体の位置などの条件によって点群の削減量が少ない周期(フレーム)があるとリアルタイム性が維持できないおそれがある。
　そこで、条件が悪い場合でもある程度の点群が削減できるように、直前のフレームで検知した物体の数、位置および大きさの情報、更には削減された点群数をもとに、点群の削減見込み数が所定の閾値より少なくなると考えられる場合は、一定の範囲または平均的に点群を削減する処理を行う。
　換言すれば、プロセッサは、点群を構成する点のうち削減されずに残された点の数が所定の閾値（第6閾値Th6）を超えた場合もしくは超えることが予測される場合、一定の領域に含まれる点群のデータを削減してもよい。ここで、第6閾値Th6は、数万～数十万個であり、残す点群の目標最大値（規定時間内に処理が可能な点群数）である。
　これにより、削減されずに残された点の数が多くても、ある程度の点群を削減することができる。
　この場合、近くに物体はないと考えられ、すぐに何らかの物体に衝突あるいは接触する可能性は低いので、点群を削減する処理を行っても大きな影響はない。
　具体的な削減方法としては、一定の間隔毎に所定の削減率になるように機械的に削減したり、上下にある複数層の一層分をまるごと削減したり、一定の規則性に従い点群を間引くようにする。
　また、視野角の中央部分に重要な物体がある可能性が高いので、視野角の端に近い所定の範囲からの点群は全てまたは一部を削減するようにして点群数を減らす。
　具体的には図20Aの領域2001および領域2002のように水平方向の両側の一定の範囲にある点群、または図20Bの領域2003および領域2004のように垂直方向の上下の一定の範囲にある点群を削減するようにする。
　それぞれ削減対象とする範囲はあらかじめ設定されているが、点群の削減量の目標値に応じて範囲を増減させてもよい。
　また、水平方向の削減対象範囲について、領域2001および領域2002は同じ幅(視野角)としているが、対向車線側の道路および道路付近の構造物等の検知の支障が少なくなるよう、右側になる領域2002の範囲を小さくするようにしてもよい。ただし、中央分離帯で仕切られた複数車線がある道路の右側車線を走行している場合は、左側車線側の検知の影響が少なくなるよう、左側の領域2001の範囲を小さくした方がよいので、道路および走行状況に応じて、範囲を逐次変更するようにしてもよい。
　なお、上記はいずれも左側通行の場合で、右側通行の場合は左右が逆になる。
　垂直方向についても、領域2003および領域2004はそれぞれ同じ幅(視野角)としているが、路面状況を重視して下側の領域2004の範囲を小さくするようにしてもよい。
　このとき常に同じ範囲の点群を削減していると物体を検知し損ねるおそれがあるので、水平方向では右端側のみと左端側のみを交互に削減したり、垂直方向では上端側のみと下端側のみを交互に削減したり、あるいは水平方向と垂直方向を交互に削減したりして、特定の範囲のみが継続的に削減されないようにする。
　なお、図20A、20Bでは説明のため特定の距離の範囲を図示しているが、領域2001～領域2004を通過する範囲に照射されたレーザ光が対象であり、図示した部分の前後で物体に当たった場合も含む。
　また、図21のように前方に向けて２台のLidarが設置されLidar2101の検知範囲が領域2103、Lidar2102の検知範囲が領域2104の場合、重複して検知される重複領域2105（斜線領域）が存在する。
　各点群データの水平角度と距離から重複領域2105の範囲内にあるかどうかは判定できるので、Lidar2102で取得した位置が重複領域2105内になる点群は全てまたは一部を削減するようにしてもよい（逆にLidar2101で取得した点群を削減してもよい）。
　もしくは、重複領域2105の左半分はLidar2102の点群、右半分はLidar2101の点群を削減するようにしてもよい。
　また、それぞれのLidarで重複領域2105内にある場合に１個おきに削減し、それぞれ半数の点群を間引くようにし、点群密度が重複しない領域と同等になるようにしてもよい。
　なお、図21では説明のため特定の距離までの範囲を図示しているが、領域2003～領域2005よりも遠方に到達するレーザ光も対象であり、図示した部分より遠方の領域も含む。
　上記では領域によって点群を削減する方法を説明したが、自車の移動速度が遅い場合は物体を短い間隔で検知・認識する必然性が低くなるので、検知間隔を長くし、点群を削減しないで処理時間の削減が出来なくてもリアルタイム性を維持できるようにしてもよい。
　また、近くにある物体の数が少なく、物体の位置やサイズの更新処理や移動物体の追跡処理を行う必要がある物体が少なくなり、認識後の後段の処理負荷が低くなる場合は、一定の範囲または平均的に点群を削減しなくてもよい。
　視野角内の点群の分布・検出状況は、1サイクルの間では急激な変化はしないので、直前または過去の1フレーム分の総点群数、点群間の距離等を利用した削減処理で削減した点群数および一定の範囲または平均的に削減した点群数から、次のサイクルの削減方法や削減量を制御するようにしてもよい。
　他には、自車からの距離が近い物体から順に１サイクルの時間内で処理が可能な分だけ処理するようにして、リアルタイム性を維持するようにしてもよい。
　以上説明したように、本実施例によれば、物体の点群を取得する装置が高解像度化して点群を構成する点の数が増加しても点群の処理負荷を抑制することができる。
　なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。
例えば、上述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　上記の実施例では、光で物体の点群を取得する装置としてLidarを採用したが、電波で点群を取得する装置であってもよい。すなわち、点群を取得する手段は問わない。
　また、上記の各構成、機能等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサ（マイコン）がそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD（Solid State Drive）等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。
　なお、本発明の実施例は、以下の態様であってもよい。その目的は、物体の位置やサイズを特定するために必要な特徴的な位置の点群は削減せずに残しておき、直線部分の中間の複数の点群が連なっている部分を削減することで点群データの数を減らし、また該直線部分の端点間を短絡した直線で近似することで物体の位置、サイズや形状の把握に必要な情報は残るようにすることで、物体の検出・認識性能を維持して点群データの数を削減し、処理負荷の低減すなわち処理を高速化することにある。
　（1）．光検知および測距装置(Lidar)で得た点群データを処理する処理装置であって、前記点群データと該点群データの近傍点(次の点)との距離の差が、第一閾値より小さい場合に該近傍点を削減する点群データを削減する削減方法および処理装置。
　（2）．（1）において、点群データと該点群データの近傍点(次の点)との距離の差が、第二閾値より大きい場合に夫々の点群は異なる物体に属している点群と判定し、別々の物体として分離して管理し、物体の境界にある前記点群データは削減しない削減方法および処理装置。
　（3）．（1）において、点群データと該点群データの近傍点(次の点)との距離変化量1と、該次の点と近傍点（次の次の点）との距離変化量2に対して、該距離変化量1と該距離変化量2で増加または減少の状態が変わる場合は、点群を削減しない削減方法および処理装置。
　（4）．（3）において、距離変化量1と該距離変化量2の差が第三の閾値より小さい場合は、増加でも減少でもなく不変とみなし、増加、減少または不変の状態が変わる場合は、点群を削減しない削減方法および処理装置。
　（5）．（1）において、前記短距離差の点群データに含まれる基準点(起点)との角度差または距離差が第四閾値を超えた場合に削減条件に合致していても点群データを削減しない削減方法および処理装置。
　（6）．（1）において、点群データの距離が第五閾値より大きい場合は、点群の削減処理を行わない削減方法および処理装置。
　（7）．（1）において、削減されずに残された点群データの数が、第六の閾値を超えた場合もしくは超えることが予測される場合に、一定の領域に含まれる点群データの全てまたは一部を削減する削減方法および処理装置。
　（8）．（1）から（7）において、削減された点群データの直前の削減されずに残された点群データと、次の削減されずに残された点群データの間を短絡直線で接続し、保存する削減方法および処理装置。
　（9）．（1）から（8）において、点群の削減処理を一定の方向だけではなく、直交する別の方向の点群の並びに対しても行う削減方法および処理装置。
　（1）～（9）によれば、物体の検知には影響がない点群データのみを削減することで、物体の検知性能を低下させることなく全体の点群データの数を減少させ、点群データ処理にかかる時間を低減することで、Lidarが高解像度になり出力される点群数が増加しても処理負荷の増大を抑えることが出来る。
101…Lidar、102…データ入力処理部、103…点群データ記憶部、104…点群データ削減部、105…短絡直線記憶部、106…物体検知・ボックス化処理部、107…物体情報記憶部、108…物体認識処理部、701…突起物がある車両、702…突起物がある場合の外接矩形、703…突起物がはみ出た外接矩形、1001…凹んでいる部分がある車両、1002…凹んでいる部分がある場合の外接矩形、1501…湾曲部分がある場合の外接矩形、1502…湾曲部分がはみ出た場合の外接矩形、1503…点群(1)と点群(5)を結ぶ短絡直線、1504…点群(5)と点群(9)を結ぶ短絡直線、1505…点群(10)と点群(13)を結ぶ短絡直線、1506…点群(13)と点群(15)を結ぶ短絡直線、2001,2002,2003,2004…点群を削減する領域、2105…2台のLidar検知の重複領域

Claims (10)

  1. 　物体の点群のデータを記憶する記憶装置と、
    　前記点群を構成する第1の点の距離と、前記第1の点の隣にあって前記点群を構成する第2の点の距離との差が第1閾値より小さい場合、前記点群のデータから前記第2の点のデータを削減するプロセッサと、
    　を備えることを特徴とする処理装置。
  2. 　請求項1に記載の処理装置において、
    　前記プロセッサは、
    　前記第1の点の距離と前記第2の点の距離との差が、第2閾値より大きい場合、前記第1の点と前記第2の点は互いに異なる物体にそれぞれ属していると判定し、それぞれの物体の境界にある前記第1の点と前記第2の点のデータを削減せずに残すことを特徴とする処理装置。
  3. 　請求項1に記載の処理装置において、
    　前記プロセッサは、
    　前記第2の点の距離と前記第1の点の距離との差分を示す第1の距離変化量の符号と、前記第2の点の隣にあって前記点群を構成する第3の点の距離と前記第2の点の距離との差分を示す第2の距離変化量の符号が異なる場合、前記第2の点のデータを削減せずに残すことを特徴とする処理装置。
  4. 　請求項3に記載の処理装置において、
    　前記プロセッサは、
    　前記第1の距離変化量が第3の閾値より小さい場合、前記第1の距離変化量を0とみなし、かつ、前記第2の距離変化量が前記第3の閾値より小さい場合、前記第2の距離変化量を0とみなし、
    　前記第1の距離変化量に対する符号の状態と、前記第2の距離変化量に対する符号の状態が異なる場合、前記第2の点のデータを削減せずに残すことを特徴とする処理装置。
  5. 　請求項1に記載の処理装置において、
    　前記プロセッサは、
    　前記第1の点と前記第2の点との間の角度差又は距離差が第4閾値以上である場合、前記第2の点のデータを削減せずに残すことを特徴とする処理装置。
  6. 　請求項1に記載の処理装置において、
    　前記プロセッサは、
    　前記第2の点の距離が第5閾値より大きい場合、前記第2の点のデータを削減せずに残すことを特徴とする処理装置。
  7. 　請求項1に記載の処理装置において、
    　前記プロセッサは、
    　前記点群を構成する点のうち削減されずに残された点の数が第6閾値を超えた場合もしくは超えることが予測される場合、一定の領域に含まれる点群のデータを削減することを特徴とする処理装置。
  8. 　請求項1に記載の処理装置において、
    　前記プロセッサは、
    　削減されずに残された１つの点と、削減されずに残されたその次の点とを接続する直線を保存することを特徴とする処理装置。
  9. 　請求項1に記載の処理装置において、
    　前記プロセッサは、
    　一方向の前記点群の並びだけではなく、別の方向の前記点群の並びに対しても前記点群の削減処理を行うことを特徴とする処理装置。
  10. 　物体の点群のデータを記憶する工程と、
    　前記点群を構成する第1の点の距離と、前記第1の点の隣にあって前記点群を構成する第2の点の距離との差が第1閾値より小さい場合、前記点群のデータから前記第2の点のデータを削減する工程と、
    　を処理装置に実行させることを特徴とする点群削減方法。
PCT/JP2020/033882 2019-10-01 2020-09-08 処理装置及び点群削減方法 Ceased WO2021065371A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/788,579 US12292508B2 (en) 2019-10-01 2020-09-08 Processing apparatus and point cloud elimination method
JP2021550512A JP7265027B2 (ja) 2019-10-01 2020-09-08 処理装置及び点群削減方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-181145 2019-10-01
JP2019181145 2019-10-01

Publications (1)

Publication Number Publication Date
WO2021065371A1 true WO2021065371A1 (ja) 2021-04-08

Family

ID=75337162

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/033882 Ceased WO2021065371A1 (ja) 2019-10-01 2020-09-08 処理装置及び点群削減方法

Country Status (3)

Country Link
US (1) US12292508B2 (ja)
JP (1) JP7265027B2 (ja)
WO (1) WO2021065371A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114491444A (zh) * 2022-01-20 2022-05-13 支付宝(杭州)信息技术有限公司 身份识别方法、装置及设备
WO2023026875A1 (ja) * 2021-08-26 2023-03-02 株式会社デンソー 物体認識装置
JPWO2023127353A1 (ja) * 2021-12-28 2023-07-06
JP2023174272A (ja) * 2022-05-27 2023-12-07 日産自動車株式会社 物体認識方法及び物体認識装置
JP2024042920A (ja) * 2022-09-16 2024-03-29 日本電気株式会社 光センシングシステム、光センシング装置、及び、光センシング方法
JP2025110145A (ja) * 2024-01-15 2025-07-28 日本電気株式会社 測定装置、測定方法及びプログラム

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12195047B2 (en) * 2021-08-18 2025-01-14 Zoox, Inc. Determining object characteristics using unobstructed sensor emissions
US12485881B2 (en) 2021-08-18 2025-12-02 Zoox, Inc. Determining occupancy using unobstructed sensor emissions
US20240402309A1 (en) * 2023-05-31 2024-12-05 Compertum Microsystems Inc. Light Detection and Ranging Apparatus and Event Detection Method Thereof

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002005649A (ja) * 2000-06-20 2002-01-09 Asahi Optical Co Ltd 点群データ処理装置、点群データ処理方法および点群データ処理プログラムを格納した記録媒体
US20130028482A1 (en) * 2011-07-29 2013-01-31 Raytheon Company Method and System for Thinning a Point Cloud
US10210669B1 (en) * 2016-06-03 2019-02-19 The United States Of America As Represented By The Scretary Of The Navy Method for 3D object, environment model, and documentation generation using scan point clouds and digital object libraries
JP2019057918A (ja) * 2018-11-02 2019-04-11 キヤノン株式会社 生成装置および生成方法、プログラム
CN109934637A (zh) * 2019-03-20 2019-06-25 合肥浮点信息科技有限公司 一种基于互联网的一卡通支付分析系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10545029B2 (en) * 2016-12-30 2020-01-28 DeepMap Inc. Lane network construction using high definition maps for autonomous vehicles
JP7032062B2 (ja) 2017-06-02 2022-03-08 株式会社Ihi 点群データ処理装置、移動ロボット、移動ロボットシステム、および点群データ処理方法
JP6433559B1 (ja) 2017-09-19 2018-12-05 キヤノン株式会社 提供装置および提供方法、プログラム
US11430145B2 (en) * 2018-06-17 2022-08-30 Foresight Ai Inc. Identification of local motions in point cloud data
US10346998B1 (en) * 2019-02-25 2019-07-09 Nurulize, Inc. Method of merging point clouds that identifies and retains preferred points
US11662469B2 (en) * 2019-04-04 2023-05-30 Denso International America, Inc. System and method for merging clusters

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002005649A (ja) * 2000-06-20 2002-01-09 Asahi Optical Co Ltd 点群データ処理装置、点群データ処理方法および点群データ処理プログラムを格納した記録媒体
US20130028482A1 (en) * 2011-07-29 2013-01-31 Raytheon Company Method and System for Thinning a Point Cloud
US10210669B1 (en) * 2016-06-03 2019-02-19 The United States Of America As Represented By The Scretary Of The Navy Method for 3D object, environment model, and documentation generation using scan point clouds and digital object libraries
JP2019057918A (ja) * 2018-11-02 2019-04-11 キヤノン株式会社 生成装置および生成方法、プログラム
CN109934637A (zh) * 2019-03-20 2019-06-25 合肥浮点信息科技有限公司 一种基于互联网的一卡通支付分析系统

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023026875A1 (ja) * 2021-08-26 2023-03-02 株式会社デンソー 物体認識装置
JP2023032080A (ja) * 2021-08-26 2023-03-09 株式会社デンソー 物体認識装置
JP7506643B2 (ja) 2021-08-26 2024-06-26 株式会社デンソー 物体認識装置、及びプログラム
JPWO2023127353A1 (ja) * 2021-12-28 2023-07-06
JP7745653B2 (ja) 2021-12-28 2025-09-29 株式会社クボタ 農業機械、センシングシステム、センシング方法、遠隔操縦システム、および制御方法
US12685241B2 (en) 2021-12-28 2026-07-21 Kubota Corporation Agricultural machine, sensing system, sensing method, remote operation system, and control method
CN114491444A (zh) * 2022-01-20 2022-05-13 支付宝(杭州)信息技术有限公司 身份识别方法、装置及设备
JP2023174272A (ja) * 2022-05-27 2023-12-07 日産自動車株式会社 物体認識方法及び物体認識装置
JP7803214B2 (ja) 2022-05-27 2026-01-21 日産自動車株式会社 物体認識方法及び物体認識装置
JP2024042920A (ja) * 2022-09-16 2024-03-29 日本電気株式会社 光センシングシステム、光センシング装置、及び、光センシング方法
JP2025110145A (ja) * 2024-01-15 2025-07-28 日本電気株式会社 測定装置、測定方法及びプログラム
JP7736093B2 (ja) 2024-01-15 2025-09-09 日本電気株式会社 測定装置、測定方法及びプログラム

Also Published As

Publication number Publication date
US12292508B2 (en) 2025-05-06
JPWO2021065371A1 (ja) 2021-04-08
JP7265027B2 (ja) 2023-04-25
US20230034208A1 (en) 2023-02-02

Similar Documents

Publication Publication Date Title
JP7265027B2 (ja) 処理装置及び点群削減方法
CN110850859B (zh) 一种机器人及其避障方法和避障系统
CN110632617B (zh) 一种激光雷达点云数据处理的方法及装置
US10871776B2 (en) Method for identifying objects in a traffic space
WO2022001322A1 (zh) 一种车辆控制方法、装置、电子设备及存储介质
EP4099060B1 (en) Object recognition method and object recognition device
CN114529539B (zh) 无人设备路面障碍检测方法、装置、无人设备及存储介质
US10748014B2 (en) Processing device, object recognition apparatus, device control system, processing method, and computer-readable recording medium
CN115331189B (zh) 一种车辆可通行区域检测方法、系统和存储介质
CN110119751B (zh) 激光雷达点云目标分割方法、目标匹配方法、装置及车辆
EP4009228A1 (en) Method for determining a semantic free space
CN113625296A (zh) 基于反光板的机器人定位方法、装置及机器人
CN115704908A (zh) 利用激光雷达传感器的对象检测方法和对象跟踪装置
CN110815202A (zh) 障碍物检测方法及装置
CN117372985A (zh) 可行驶区域检测方法、装置、设备及存储介质
CN119716901A (zh) 一种基于激光雷达感知的斗轮机防撞方法及其系统
JP2022065347A (ja) 障害物検知装置
WO2023065313A1 (zh) 遮挡关系判断方法、装置、存储介质及电子设备
US20260063770A1 (en) Lidar control method and apparatus, terminal device, and storage medium
WO2024197519A1 (zh) 一种点云评估方法及装置
JP7315723B2 (ja) 車両姿勢認識方法及び関連装置
CN117876999A (zh) 通用障碍物检测方法、可读存储介质及智能设备
CN110737276A (zh) 预警方法、巡逻机器人及计算机可读存储介质
CN116721404A (zh) 车辆目标碰撞点的选取方法、装置、终端及存储介质
KR20210114792A (ko) 라이다 센서 기반의 객체 추적 장치 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20872398

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021550512

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 20872398

Country of ref document: EP

Kind code of ref document: A1

WWG Wipo information: grant in national office

Ref document number: 17788579

Country of ref document: US