WO2021199606A1 - 情報処理装置 - Google Patents

情報処理装置 Download PDF

Info

Publication number
WO2021199606A1
WO2021199606A1 PCT/JP2021/002120 JP2021002120W WO2021199606A1 WO 2021199606 A1 WO2021199606 A1 WO 2021199606A1 JP 2021002120 W JP2021002120 W JP 2021002120W WO 2021199606 A1 WO2021199606 A1 WO 2021199606A1
Authority
WO
WIPO (PCT)
Prior art keywords
point cloud
region
vehicle
cloud information
moving body
Prior art date
Application number
PCT/JP2021/002120
Other languages
English (en)
French (fr)
Inventor
誠 松丸
Original Assignee
パイオニア株式会社
パイオニアスマートセンシングイノベーションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パイオニア株式会社, パイオニアスマートセンシングイノベーションズ株式会社 filed Critical パイオニア株式会社
Priority to US17/916,458 priority Critical patent/US20230222728A1/en
Priority to JP2022511567A priority patent/JPWO2021199606A1/ja
Priority to EP21781132.2A priority patent/EP4131207A4/en
Publication of WO2021199606A1 publication Critical patent/WO2021199606A1/ja
Priority to JP2024025469A priority patent/JP2024052826A/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/50Systems of measurement based on relative movement of target
    • G01S17/58Velocity or trajectory determination systems; Sense-of-movement determination systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4808Evaluating distance, position or velocity data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Definitions

  • the present invention relates to an information processing device.
  • LiDAR Light Detection and Ranking, Laser Imaging Detection and Ranking
  • This device is sometimes called a laser radar or an optical ranging sensor.
  • Patent Document 1 discloses a method of estimating the width and length of a vehicle from the point cloud information obtained by LiDAR.
  • LiDAR measures the distance to an object by irradiating the detected space with a laser beam and receiving the reflected light reflected by the object and returned.
  • the reflection component of the laser beam is reduced, so that the measurement distance is shortened.
  • the spreading angle of the laser beam to be irradiated is small, the measurement distance is long because the reflected component of the laser beam is increased (Patent Documents 2 and 3).
  • LiDAR obtains shape information of an object in the detected space by scanning the irradiated laser beam with a MEMS mirror or the like. It is disclosed to combine a lens with a laser beam deflected by a MEMS mirror in order to increase the scanning angle by the MEMS mirror (Patent Document 4).
  • the type of LiDAR that combines a wide-angle lens has a wide scanning range, but has the characteristic that the measurement distance is short because the spread angle of the laser beam is large.
  • the type of LiDAR in which a telephoto lens is combined has a characteristic that the scanning range is narrowed, but the spreading angle of the laser beam is small, so that the measurement distance is long.
  • LiDAR irradiates the space to be detected with laser light, and receives the reflected light that is reflected by the object and returns, thereby measuring the distance to the object in each of a plurality of detection directions. Get the shape of the object. Therefore, when the object is an object such as a black vehicle that does not easily reflect the laser beam, the accuracy of the measurement distance by LiDAR is lowered, and the entire shape of the object may not be obtained.
  • the present invention it is possible to measure the length of a moving object with high accuracy even if a material that does not easily reflect laser light is used.
  • the invention according to claim 1 includes a first point cloud information based on three-dimensional point cloud information in a first region of a moving body path in which a moving direction is determined, and the moving body.
  • the second point cloud information based on the three-dimensional point cloud information of the second region of the road and the third point cloud information based on the three-dimensional point cloud information of the third region downstream from the second region.
  • a tip position calculation unit that calculates the tip position of the moving body at the first time
  • a rear end position calculation unit that calculates the rear end position of the moving body at the second time from the third point cloud information. Based on the calculated speed of the moving body, the calculated tip position of the moving body at the first time, and the rear end position of the moving body at the calculated second time. It has a moving body length calculation unit for calculating the length of the moving body.
  • the invention according to claim 5 is a first point cloud information based on the three-dimensional point cloud information of the first region of the moving body path in which the moving direction is determined, and a tertiary of the second region of the moving body path.
  • the second point cloud information based on the original point cloud information and the third point cloud information based on the three-dimensional point cloud information of the third region downstream from the second region are acquired in chronological order.
  • the moving body speed calculation step of calculating the speed of the moving body based on the time change of the first point cloud information, and the second point cloud information, the movement at the first time.
  • a tip position calculation step for calculating the tip position of the body a rear end position calculation step for calculating the rear end position of the moving body at a second time from the third point cloud information, and the calculated movement.
  • the length of the moving body is calculated based on the speed of the body, the tip position of the moving body at the calculated first time, and the rear end position of the moving body at the calculated second time. It has a moving body length calculation step.
  • the invention according to claim 6 causes the computer to execute the information processing method according to claim 5.
  • the invention according to claim 7 stores the information processing program according to claim 6.
  • the information processing apparatus includes a first point cloud information based on three-dimensional point cloud information in a first region of a moving body path in which a moving direction is determined, and a second point cloud information of the moving body path.
  • the second point cloud information based on the three-dimensional point cloud information of the region and the third point cloud information based on the three-dimensional point cloud information of the third region downstream from the second region are timed.
  • the moving body speed calculation unit that calculates the speed of the moving body based on the time change of the first point cloud information, and the second point cloud information, the first The tip position calculation unit that calculates the tip position of the moving body at the time, the rear end position calculation unit that calculates the rear end position of the moving body at the second time from the third point cloud information, and the calculation.
  • the length of the moving body is based on the calculated speed of the moving body, the calculated tip position of the moving body at the first time, and the rear end position of the moving body at the calculated second time. It has a moving body length calculation unit for calculating the point cloud.
  • the second point cloud information in which the front surface of the moving body is captured and the third point cloud information in which the rear surface of the traveling moving body is captured are captured. It becomes possible to use the two point cloud information of.
  • the portion that easily reflects the laser light such as a license plate or a bumper arranged on the front surface or the rear surface of the moving body
  • the corresponding point group can be used to detect the front end position and the rear end position of the moving body, and the front end position and the rear end position of the moving body can be surely acquired. Therefore, in the present embodiment, even if a material that does not easily reflect the laser beam is used, it is possible to measure the length of the moving body with high accuracy.
  • the LiDAR system includes the information processing device and LiDAR that generates three-dimensional point cloud information of the first region, the second region, and the third region. .. Therefore, in the present embodiment, it is possible to generate point cloud information for calculating the length of the moving body.
  • the LiDAR includes a first LiDAR that generates three-dimensional point cloud information in the first region, a second LiDAR that generates three-dimensional point cloud information in the second region, and the third region. It may have a third LiDAR that generates three-dimensional point cloud information. By doing so, it becomes possible to combine LiDAR having a narrow field of view and generate point cloud information for calculating the length of the moving body.
  • the LiDAR includes a first LiDAR that generates three-dimensional point cloud information of the first region and the second region, and a second LiDAR that generates three-dimensional point cloud information of the third region. Have. By doing so, it is possible to generate point cloud information for calculating the length of the moving body by combining LiDAR having a narrow field of view while suppressing the number of LiDAR.
  • the information processing method includes the first point cloud information based on the three-dimensional point cloud information of the first region of the moving body path in which the moving direction is determined, and the moving body path.
  • the second point cloud information based on the three-dimensional point cloud information of the second region
  • the third point cloud information based on the three-dimensional point cloud information of the third region downstream from the second region.
  • the moving body is based on the calculated speed of the moving body, the calculated tip position of the moving body at the first time, and the rear end position of the moving body at the calculated second time. It has a moving body length calculation step for calculating the length of the moving body.
  • the second point cloud information in which the front surface of the moving body is captured and the third point cloud information in which the rear surface of the traveling moving body is captured are captured. It becomes possible to use the two point cloud information of.
  • the portion that easily reflects the laser light such as a license plate or a bumper arranged on the front surface or the rear surface of the moving body
  • the corresponding point group can be used to detect the front end position and the rear end position of the moving body, and the front end position and the rear end position of the moving body can be surely acquired. Therefore, in the present embodiment, even if a material that does not easily reflect the laser beam is used, it is possible to measure the length of the moving body with high accuracy.
  • the information processing program according to the embodiment of the present invention causes a computer to execute the above information processing method. By doing so, it is possible to measure the length of a moving moving object having a low surface reflectance with high accuracy by using a computer.
  • the computer-readable storage medium stores the above information processing program.
  • the above information processing program can be distributed as a single unit in addition to being incorporated in the device, and version upgrades and the like can be easily performed.
  • FIG. 1 is a diagram showing a LiDAR system 1000 according to an embodiment of the present invention.
  • the LiDAR system 1000 includes a LiDAR 100 and a control unit 200.
  • the control unit 200 calculates the length of the vehicle based on the three-dimensional point cloud information generated by the LiDAR 100.
  • the LiDAR100 generates point cloud information used for calculating the length of the vehicle (moving body) AM traveling in the lane on the front side of the road (moving body road) RW.
  • the LiDAR100 can measure three regions of the roadway RW, a first region A1, a second region A2, and a third region A3, for example, as shown in FIG. 2, beside the roadway RW. Placed in.
  • the LiDAR 100 may be installed above the roadway RW, or the three regions may be measured from above.
  • the LiDAR100 measures the three regions of the roadway RW, that is, the first region A1, the region A2, and the region A3, and obtains the three-dimensional point cloud information of the first region A1, the second region A2, and the third region A3. Generate in series. That is, the LiDAR100 measures three regions of the road RW, a first region A1, a second region A2, and a third region A3, at a predetermined frame rate, and measures the first region A1 and the second region A2. And the three-dimensional point cloud information of the third region A3 is generated at a predetermined frame rate. Therefore, each of the three-dimensional point cloud information of the first region A1, the second region A2, and the third region A3 is composed of a plurality of frames generated at a predetermined frame rate.
  • each point is represented by Cartesian coordinates (x, y, z).
  • the position of LiDAR100 is set to the origin O
  • the width direction of the road RW is set to the x-axis direction
  • the traveling direction of the lane on the front side of the road RW is set to the y-axis direction
  • the width direction of the road RW is set.
  • the direction perpendicular to the traveling direction is defined as the z-axis direction.
  • the first region A1 is the most upstream of the three regions with respect to the traveling direction of the lane on the front side of the roadway RW
  • the second region A2 is the first region A1.
  • the third region A3 is downstream of the second region A2.
  • the first region A1 and the second region A2 do not overlap, but the first region A1 and the second region A2 may overlap.
  • the second region A2 and the third region A3 do not overlap, but the second region A2 and the third region A3 may overlap.
  • FIG. 3 is a diagram showing the relationship between the field of view of LiDAR100 and the first region A1, the second region A2, and the third region.
  • the LiDAR 100 may be composed of one LiDAR in which all the regions of the first region A1, the second region A2, and the third region are in the field of view.
  • the LiDAR100 includes, for example, a first LiDAR110 having a field of view FV1 in which the first region A1 enters and a second LiDAR120 having a field of view FV2 in which the second region A2 enters.
  • It may be composed of three LiDAR 130s of a third LiDAR having a field of view FV3 in which the third region A3 enters.
  • the LiDAR 100 has a fourth LiDAR 140 having a field of view FV4 in which both the first region A1 and the second region A2 are contained, and a field of view in which the third region A3 is contained. It may be composed of two LiDARs of a fifth LiDAR150 having an FV5.
  • the LiDAR 100 is composed of a plurality of LiDARs, the position where any one of the plurality of LiDARs is arranged may be set as the origin O.
  • the first region A1 and the second region A2 are upstream of LiDAR100, and the third region A3 is downstream of LiDAR100. Therefore, the LiDAR100 measures the front surface (front surface, bonnet, windshield, etc.) and the side surface (the side on which the LiDAR100 is arranged) of the vehicle AM traveling in the first region A1 and the second region A2. It is also possible to measure the rear surface and the side surface (the side on which the LiDAR 100 is arranged) of the vehicle AM traveling in the third region A3.
  • FIG. 4 is a diagram showing a control unit 200 according to an embodiment of the present invention.
  • the control unit 200 includes a point cloud information acquisition unit 210, a vehicle speed calculation unit (moving body speed calculation unit) 220, a tip position detection unit 230, a rear end position detection unit 240, and a vehicle length calculation unit 250.
  • the control unit 200 is composed of, for example, a computer having a CPU (Central Processing Unit) or the like.
  • the point cloud information acquisition unit 210 is a first point cloud information based on the three-dimensional point cloud information of the first region A1 generated by the LiDAR 100, and a first point cloud information based on the three-dimensional information of the second region A2 generated by the LiDAR 100.
  • the second point cloud information and the third point cloud information based on the three-dimensional information of the third region A3 generated by LiDAR100 are acquired.
  • the control unit 200 calculates the length of the vehicle. Therefore, it suffices if the control unit 200 can acquire at least information on the length direction of the vehicle, that is, the traveling direction (y-axis direction) of the vehicle. Therefore, the first point cloud information may be the three-dimensional point cloud information itself of the first region A1 generated by LiDAR, or the one-dimensional point cloud information (y of each point) in the three-dimensional point cloud information. It may be (coordinate value) or two-dimensional point cloud information (x coordinate value, y coordinate value of each point). Similarly, the second point cloud information (third point cloud information) may be the three-dimensional point cloud information itself of the second region A2 (third region A3) generated by LiDAR, or the three-dimensional point cloud information itself. It may be one-dimensional point cloud information (y-coordinate value of each point) or two-dimensional point cloud information (x-coordinate value of each point, y-coordinate value) of the point cloud information.
  • the control unit 200 calculates the length LAM of the vehicle AM traveling on the roadway RW based on the three point cloud information acquired by the point cloud information acquisition unit 210.
  • the speed VAM of the vehicle AM is calculated from the information when the vehicle AM is traveling in the first area A1 (first point cloud information), and this vehicle AM sets the second area A2.
  • the tip position FE of the vehicle AM at the first time T1 is calculated from the information when traveling (second point cloud information), and the information when this vehicle AM is traveling in the third region A3. (Third point cloud information) is used to calculate the rear end position RE of the vehicle AM at the second time T2, and the calculated speed VAM of the vehicle AM, the tip position FE of the vehicle AM at the first time T1.
  • the length LAM of the vehicle AM is calculated from the rear end position RE of the vehicle AM at the second time T2.
  • the vehicle speed calculation unit 220 calculates the speed VAM of the vehicle AM based on the time change of the first point cloud information.
  • FIG. 5A is a diagram showing a vehicle AM traveling in the first region A1
  • FIG. 5B is a diagram showing a point cloud corresponding to the vehicle AM measured at this time.
  • the first region A1 is upstream of the LiDAR 100, as shown in FIGS. 2 and 5. Therefore, as shown in FIG. 5A, from the LiDAR100, the front surface (front surface, bonnet, windshield, etc.) and the side surface (side on which the LiDAR100 is arranged) of the vehicle AM traveling in the first region A1 ) Is visible, and as shown in FIG.
  • the vehicle speed calculation unit 220 calculates the speed VAM of the vehicle AM by detecting the movement of the tip position FE of the vehicle AM using, for example, this point cloud. Further, since the first region A1 is wide in the direction in which the vehicle moves, point cloud information for a relatively long period can be acquired. For this reason, the vehicle speed calculation unit 220 may improve the calculation accuracy of the speed VAM by using a Kalman filter or the like for the time series data of a plurality of frames.
  • the tip position detection unit 230 calculates the tip position FE of the vehicle AM at the first time T1 based on the second point cloud information.
  • FIG. 6A is a diagram showing a vehicle AM traveling in the second region A2
  • FIG. 6B is a diagram showing a point cloud corresponding to the vehicle AM measured at this time.
  • the second region A2 is upstream of LiDAR100, as shown in FIG. Therefore, as shown in FIG. 6A, the front surface (front surface, bonnet, windshield, etc.) and side surface (side on which the LiDAR 100 is arranged) of the vehicle AM traveling in the second region A2 from the LiDAR 100 ) Is visible, and as shown in FIG.
  • the tip position detection unit 230 detects, for example, a point corresponding to the tip position FE of the vehicle AM in the frame of the first time T1 of the second point cloud information, so that the tip position detection unit 230 can detect the point corresponding to the tip position FE of the vehicle AM at the first time T1.
  • the tip position FE of the vehicle AM of the vehicle AM is obtained. Further, since the second region A2 is narrow in the direction in which the vehicle moves, point cloud information for a relatively short period of time is acquired.
  • the tip position detection unit 230 calculates the average value of the time information (T11, T12, T13) and the tip position (FE1, FE2, FE3) of the time series data of a plurality of frames (for example, three). , The accuracy of the tip position FE may be improved.
  • the rear end position detection unit 240 calculates the rear end position RE of the vehicle at the second time based on the third point cloud information.
  • FIG. 7A is a diagram showing a vehicle AM traveling in the third region A3
  • FIG. 7B is a diagram showing a point cloud corresponding to the vehicle AM measured at this time.
  • the third region A3 is downstream of the LiDAR 100, as shown in FIG. Therefore, as shown in FIG. 7 (A), the rear surface and the side surface of the vehicle AM traveling in the third region A3 can be seen from the LiDAR 100, and the third point cloud information includes, for example, FIG. 7 (B). ),
  • the point cloud data corresponding to the rear surface and the side surface of the vehicle AM is acquired.
  • the rear end position detection unit 240 detects, for example, a point corresponding to the rear end position RE of the vehicle AM in the frame of the second time T2 in the third point cloud information, thereby performing the second time. Obtain the tip position RE of the vehicle AM at T2. Further, since the third region A3 is narrow in the direction in which the vehicle moves, point cloud information for a relatively short period of time is acquired. From this, the rear end position detection unit 240 calculates the average value of the time information (T21, T22, T23) and the rear end position (RE1, RE2, RE3) of the time series data of a plurality of frames (for example, three). Thereby, the accuracy of the rear end position RE may be improved.
  • the second point cloud information including the front surface of the traveling vehicle and the third point cloud information including the rear surface of the traveling vehicle are used.
  • Two point cloud information is used.
  • a point group corresponding to a portion that easily reflects the laser beam such as a license plate or a bumper arranged on the front surface or the rear surface of the vehicle.
  • FIG. 9 is a diagram showing an example of a processing operation in the control unit 120 according to the embodiment of the present invention.
  • the point cloud information acquisition unit 210 determines the first point cloud information based on the three-dimensional information of the first region A1 of the road RW, the second point cloud information based on the three-dimensional information of the second region A2, and the second.
  • the third point cloud information based on the three-dimensional information of the area A3 of 3 is acquired (step S901).
  • the speed calculation unit 210 calculates the speed VAM of the vehicle AM based on the time change of the first point cloud information (step S902).
  • the tip position detection unit 230 calculates the tip position FE of the vehicle AM at the first time T1 based on the second point cloud information (step S903).
  • the rear end position detection unit 240 calculates the rear end position RE of the vehicle AM at the second time T2 based on the third point cloud information (step S904).
  • the vehicle length calculation unit 250 determines the vehicle AM based on the speed VAM of the vehicle AM, the front end position FE of the vehicle AM at the first time T1, and the rear end position RE of the vehicle AM at the second time T2.
  • the length LAM is calculated (step S905).
  • FIG. 10 is a diagram showing a vehicle speed calculation unit 220 of the control unit 200 according to an embodiment of the present invention.
  • the vehicle speed calculation unit 220 includes a segmentation unit 221, a representative point setting unit 222, a tip position movement estimation unit 223, and a speed calculation unit 224.
  • the segmentation unit 221 estimates the point cloud corresponding to the same vehicle based on the distance between the two points in each frame of the first point cloud information.
  • FIG. 11 is a diagram showing an example in the case where there are two vehicles in the first region A1.
  • vehicle AM1 and vehicle AM2 are traveling in the first area A1 as shown in FIG. 11A
  • the first point cloud information is as shown in FIG. 11B.
  • a block of two point clouds is shown.
  • the segmentation unit 221 divides the points in the frame into point clouds (segments) that are presumed to correspond to the same vehicle.
  • the segmentation unit 221 divides the points of the frame into two segments, a segment S1 corresponding to the vehicle AM1 and a segment S2 corresponding to the vehicle AM2.
  • the segmentation unit 221 divides the points of the frame into a plurality of segments based on the distance between the two points. Specifically, the segmentation unit 221 divides the points of the frame so that the two points of the first distance (for example, 1 m or 1.5 m) or less are included in the same segment in each frame.
  • the distance between two points (P1 (x1, y1, z1), P2 (x2, y2, z2)) is a three-dimensional distance (((x1-x2) 2 + (y1-y2) 2 + (z1-z2)). 2 ) It may be 1/2), a two-dimensional distance (((x1-x2) 2 + (y1-y2) 2 ) 1/2 ), or a one-dimensional distance (
  • the representative point setting unit 222 extracts a point cloud in the tip region from each of the point clouds (segments) estimated to correspond to the same vehicle in each frame of the first point cloud information, and the extracted points. Set representative points based on the group.
  • the point at the tip of each of the segments obtained by dividing the points by the segmentation unit 221 (the point with the largest y-coordinate value) is likely to indicate the tip position of the vehicle corresponding to the segment. So, for example, each frame detects this most tip point of a segment, and the speed of the vehicle corresponding to this segment is based on the time variation of this detected tip point, that is, the movement of the tip point. It is possible to obtain.
  • the representative point setting unit 222 sets a representative point representing the segment for each segment, and instead of moving the most tip point, the movement of the representative point is used as the basis for the movement of the representative point. , Calculate the speed of the vehicle corresponding to each segment.
  • the representative point setting unit 222 sets a region (tip partial region AT) extending rearward from the tip point PT, which is the most tip point, for each segment. do. That is, when the y-coordinate of the tip point is yPT, the representative point setting unit 222 sets the region determined by yPT-WAT ⁇ y ⁇ yPT as the tip portion region AT. At this time, the tip partial region AT becomes a region having a width WAT in the y-axis direction.
  • the width WAT may be, for example, 10 cm to 1 m.
  • the representative point setting unit 222 averages the y-coordinates of the points in the tip portion region AT, and sets this average value as the representative point. That is, in this embodiment, the representative point is set only by the y-coordinate value of the point of the AT in the tip partial region, and the representative point has only the y-coordinate value. For example, n points: P1 (x1, y1, z1), P2 (x2, y2, z2), P3 (x3, y3, z3), ..., Pn (xn, yn,) in the tip partial region AT. When Zn) is included, the y coordinate of the representative point is (y1 + y2 + y3 + ... + yn) / n.
  • the tip position movement estimation unit 223 calculates the estimated tip position, which is an estimated value of the tip position of the vehicle, based on the representative point set by the representative point setting unit 222. At this time, the y-coordinate value of the representative point may simply be the estimated tip position, which is an estimated value of the tip position of the vehicle. Further, the tip position movement estimation unit 223 may calculate the movement of the estimated tip position, which is an estimated value of the tip position of the vehicle, by applying the Kalman filter to the y-coordinate value of the representative point.
  • the tip position movement estimation unit 223 uses the y-coordinate value of the representative point as the observed value of the tip position of the vehicle in each frame, and estimates the tip position of the vehicle using the Kalman filter (that is, calculates the estimated tip position). You may do it.
  • the estimated tip position is also a position determined only by the y-coordinate value.
  • the points of the frame are divided into point clouds (segments) corresponding to the same vehicle by the segmentation unit 221 and each segment is divided by the representative point setting unit 222.
  • a representative point is set, and the estimated tip position is calculated for each segment based on the representative point set by the tip position movement estimation unit 223.
  • the estimated tip position (that is, the y-coordinate value) calculated in this way moves as the frame advances, that is, as time elapses, as shown in FIG.
  • FIG. 13 shows an example of a change in the estimated tip position corresponding to this vehicle when the tip of the vehicle enters the first region A1 at the frame F1 and exits the first region A1 after the frame F6.
  • the movement of the vehicle corresponding to this estimated tip position is observed by observing how the estimated tip position moves.
  • the speed calculation unit 224 determines the speed of the vehicle corresponding to the estimated tip position based on the movement of the estimated tip position. calculate.
  • the speed calculation area AV is set as, for example, a region determined by yAVL ⁇ y ⁇ yAVH. That is, the speed calculation unit 224 calculates the speed of the vehicle corresponding to the estimated tip position based on the movement of the estimated tip position when the value of the estimated tip position exceeds yAVL.
  • the movement of the estimated tip position between the two frames may be used, or the movement between a plurality of frames may be used.
  • the speed of the vehicle is calculated at the stage where the estimated tip position with respect to the frame F7 is calculated. Therefore, in the example shown in FIG. 13, for example, based on the movement of the estimated tip position between the frame (frame F7) when the speed calculation area AV is reached and the frame immediately before it (frame F6).
  • the speed of the vehicle may be calculated, or the speed of the vehicle is calculated based on the movement of the estimated tip position between the frames (frames F1-F7) from when the tip of the vehicle enters the vehicle A1 to when it exits. Is also good.
  • the speed value calculated by the Kalman filter since the moving speed is calculated at the same time as the estimation of the tip position, the speed value calculated by the Kalman filter may be used.
  • FIG. 14 is a diagram showing an example of a processing operation in the vehicle speed calculation unit 220 according to this embodiment.
  • the segmentation unit 221 divides the points of the frame Fn into a point cloud (segment) presumed to correspond to the same vehicle (step S1402).
  • the representative point setting unit 222 sets a representative point for each of the point groups (segments) estimated to correspond to the same vehicle (step S1403).
  • the tip position movement estimation unit 223 is an estimated value of the tip position of the vehicle corresponding to the segment based on the set representative points for each of the point clouds (segments) estimated to correspond to the same vehicle. A certain estimated tip position is calculated (step S1404).
  • step S1405 If there is a segment in the frame Fn whose estimated tip position has reached the speed calculation area AV (step S1405, YES), the speed calculation unit 224 corresponds to the segment whose estimated tip position has reached the speed calculation area AV.
  • the representative point setting unit 222 sets the representative point based on the point cloud of the tip partial region AT.
  • the point cloud (FIG. 15 (A)) estimated to correspond to the vehicle AM by the segmentation unit 221 when the vehicle AM is far from the LiDAR 100 is when the vehicle AM is in the vicinity of the LiDAR 100.
  • the number of points is smaller than that of the point cloud (FIG. 15 (B)) estimated to correspond to the vehicle AM by the segmentation unit 221.
  • the width WAT in the y direction of the tip region AT when the vehicle AM is far from the LiDAR 100 and the small width WTA1 is used as the width WAT in the y direction of the tip region AT, the number of points entering the tip region AT is reduced, and the number of points entering the tip region AT is smaller than that of the neighboring points. Since the distance measurement accuracy tends to be worse at a distant point, the influence of noise may be greater. Therefore, the width WAT in the y direction of the tip partial region AT when the vehicle AM is far from the LiDAR 100 needs to be increased to some extent as shown in the width WTA2 in FIG. 15 (A).
  • the tip partial region AT can be used.
  • the representative point which is the average of the y-coordinate values of the points entering the tip partial region AT, becomes smaller than the y-coordinate value of the actual tip position. Therefore, the estimated tip position estimated based on this representative value will be located behind the actual tip position. As a result, when the tip position is estimated using this representative point and the speed VAM of the vehicle AM is calculated, the calculated speed VAM becomes smaller than the actual speed of the vehicle AM.
  • the representative point setting unit 222 sets the width WAT of the tip partial region AT in the y direction to be smaller as the vehicle AM approaches the LiDAR 100.
  • the representative point setting unit 222 sets the width WAT of the tip partial region AT in the y direction based on, for example, the distance between the LiDAR 100 and the vehicle AM. That is, for example, the representative point setting unit 222 sets the width WAT of the tip portion region AT in the y direction to be smaller as the distance between the LiDAR 100 and the vehicle AM becomes smaller.
  • the representative point setting unit 222 calculates, for example, the distance between the LiDAR 100 and the vehicle AM in each frame Fn by using the estimated tip position with respect to the segment corresponding to the vehicle AM in the previous frame Fn-1. It is good to do so. That is, for example, the representative point setting unit 222 sets the width WAT of the tip portion region AT in each frame Fn in the y direction as the distance DAM between the estimated tip position of the previous frame Fn-1 and the origin O becomes smaller. It is good to set it small.
  • the width WAT may be changed continuously or discontinuously with respect to the distance DAM.
  • a plurality of threshold values may be prepared for the distance DAM so that the width WAT changes each time the distance DAM falls below the threshold values.
  • two threshold values first threshold value (for example, 25 m) and second threshold value (for example, 17 m)
  • the width WAT is set to the first width (for example, 17 m).
  • the width WAT is set to the second width (for example, 30 cm), and when the distance DAM is smaller than the second threshold value.
  • the segmentation unit 221 divides the point cloud of the frame so that two points equal to or less than the first distance are included in the same segment. At this time, it is necessary to set this first distance to a small value so that the points corresponding to different vehicles do not fall into the same segment. However, if the first distance is too small, the points that actually correspond to the same vehicle may be divided into two different segments. For example, in the case of a semi-trailer TR in which the tractor TR1 pulls the trailer TR2 as shown in FIG. 16A, the point groups on the front and side surfaces of the tractor TR1 and the trailer TR2 are as shown in FIG. In order to capture the image, one semi-tractor may be separated into two segments (a segment corresponding to the tractor TR1 and a segment corresponding to the trailer TR2).
  • the vehicle speed calculation unit 220 further includes a continuity determination unit 225.
  • the continuity determination unit 225 determines the continuity of the points of the first point cloud information based on the temporal change of the point cloud included in the continuity determination region AC set in the first region A1. ..
  • the continuity determination region AC is set as, for example, a region determined by yACL ⁇ y ⁇ yACH.
  • the continuity determination unit 225 may store the continuity state indicating the continuity of the points of the first point cloud information in the continuity determination area AC. For example, as shown in FIG. 17A, the continuity determination unit 225 stores that the continuity state of the frame is “OFF” when there is no point in the continuity determination area AC, and FIG. 17A. As shown in (B), when a point is in the continuity determination area AC, the continuity state of the frame is stored as “ON”. That is, as shown in FIG. 18, when the three points (PC1, PC2, PC3) are moving, the continuous state of the frames shown in FIGS. 18 (A) and 18 (G) is "OFF". It is stored, and the continuous state of the frames shown in FIGS. 18 (B) to 18 (F) is stored as "ON".
  • the continuity state of the frame (FIG. 18 (A)) immediately before the frame (FIG. 18 (B)) at which the point PC1 at the tip of the three points reaches the continuity determination region AC is “OFF”. Is.
  • the continuity state of the frame (FIG. 18 (B)) immediately before the frame (FIG. 18 (C)) in which the non-tip PC2 of the three points reaches the continuity determination region AC is “ON”. Is. Therefore, by confirming the continuity state immediately before the frame in which each point reaches the continuity determination area AC, it is possible to confirm whether or not the point is the point at the tip of the continuous point. Become. Therefore, the continuity determination unit 225 can determine whether or not each point of the first point cloud information is continuous with other points.
  • the tip position estimation unit 223 determines by the continuity determination unit 225 that the points of the two point clouds (segments) estimated to correspond to different moving objects by the segmentation unit 221 are continuous, It is assumed that the two point clouds (segments) are point clouds corresponding to the same vehicle.
  • the tip position estimation unit 223 confirms, for example, the continuity state of the frame immediately before the frame when the estimated tip position reaches the continuity determination region AC, and the continuity state is "ON". When, it is determined that the segment corresponding to the estimated tip position corresponds to the same vehicle corresponding to the segment in front of the segment.
  • the speed calculation unit 224 calculates only one speed for the two segments determined by the tip position estimation unit 223 to correspond to the same vehicle. That is, when the estimated tip position reaches the speed calculation area AV, the speed calculation unit 224 determines that the segment corresponding to the estimated tip position corresponds to the same vehicle by the tip position estimation unit 223. If it is the frontmost segment, calculate the speed of the vehicle. On the other hand, when the estimated tip position reaches the speed calculation area AV, the speed calculation unit 224 determines that the segment corresponding to the estimated tip position corresponds to the same vehicle by the tip position estimation unit 223. If it is not the frontmost segment of, the vehicle speed is not calculated for that segment.
  • the speed calculation unit 224 may be a process of selecting the movement speed calculated by the Kalman filter.
  • the speed calculation area AV and the continuity area AC it is preferable to set the speed calculation area AV and the continuity area AC so that the lower limit yAVL of the speed calculation area AV and the lower limit yACL of the continuity determination area AC are the same.
  • the width yACH-yACL of the continuity determination region AC in the y-axis direction should be shorter than the inter-vehicle distance taken by the traveling vehicle on the roadway RW. By doing so, it is possible to prevent two vehicles from entering the continuity determination area AC. Therefore, in the present embodiment, the points in the continuous determination area AC are all corresponding to one vehicle. As a result, in this embodiment, the continuity determination unit 225 confirms the temporal change of the point group included in the continuity determination area AC, and as long as the state in which the points are included in the continuity determination area AC continues. Assuming that one vehicle has passed the continuity determination area AC, it is possible to determine that the point that entered the continuity determination area AC during this period is one point. A running vehicle generally has an inter-vehicle distance of 10 m or more. Therefore, the width yACH-yACL of the continuous determination region AC in the y-axis direction may be a value smaller than 10 m, for example, 3 m.
  • the number of point clouds corresponding to the vehicle AM measured when the vehicle AM is in the vicinity of the LiDAR 100 is larger than the number of point clouds corresponding to the vehicle AM measured when the vehicle AM is far from the LiDAR 100. Therefore, the continuity determination region AC may be located in the vicinity of the LiDAR 100. By doing so, the distance between the points corresponding to the same vehicle AM becomes small, and the continuity of the point cloud can be determined more accurately.
  • FIG. 19 is a diagram showing an example of a processing operation in the continuity determination unit 225 according to this embodiment.
  • the continuity determination unit 225 confirms whether or not a point exists in the continuity determination region AC (step S1902).
  • FIG. 20 is a diagram showing an example of processing operation in the vehicle speed calculation unit 220 according to this embodiment.
  • the segmentation unit 221 divides the points of the frame Fn into segments of a point cloud presumed to correspond to the same vehicle (step S2002).
  • the representative point setting unit 222 sets a representative point for each of the segments of the point cloud estimated to correspond to the same vehicle (step S2003).
  • the tip position movement estimation unit 223 is an estimated value of the tip position of the vehicle corresponding to the segment based on the set representative points for each of the segments of the point cloud estimated to correspond to the same vehicle.
  • the estimated tip position is calculated (step S2004).
  • the tip position movement estimation unit 223 has a segment point corresponding to the estimated tip position. It is confirmed by the continuity determination unit 225 whether or not it is determined to be continuous with the point of the segment in front of the above (step S2006). If it is determined that it is not continuous (step S2006, NO), the speed calculation unit 224 calculates the speed of the vehicle corresponding to this segment (step S2009). If it is determined to be continuous (step S2006, YES), the tip position movement estimation unit 223 determines that this segment corresponds to the same vehicle as the vehicle corresponding to the front segment, and the speed of the vehicle by the speed calculation unit 224. Do not calculate.
  • ⁇ Time correction for representative points> in the case of LiDAR that generates data of one frame by scanning from top to bottom (or from bottom to top), the time and time stamp of the frame in which each of the scanning layers is actually scanned. There is a difference from the time of.
  • left-to-right scanning is performed 10 times in order to scan the entire range AS.
  • the time stamp of the frame and the nth layer are set in each frame. The difference from the scanned time is (n-1) TS / 10.
  • the speed of the vehicle when calculating the speed of the vehicle based on the data generated by such LiDAR, it is possible to calculate the speed more accurately by considering this time difference. For example, when the time at which scanning is started is used as the time stamp of each frame, the time at which the nth layer is scanned is later than the time stamp of the frame. As a result, if the above time difference is not taken into consideration, the calculated vehicle speed will be larger than the actual vehicle speed.
  • the representative point used when calculating the speed of the vehicle is the average value of the y-coordinates of the points in the tip partial region AT. Therefore, there is no information on which scanning layer the representative point is, and it is not possible to perform time correction in consideration of the time difference as described above.
  • the vehicle speed calculation unit 220 further includes a representative point scanning time estimation unit 226.
  • the representative point scanning time estimation unit 226 has a rule that associates the position of the object on the road RW with the time difference between the scanning time (time stamp) indicated by the time information and the time when the object is scanned, and the representative point. Using the position, the scanning time (time stamp) indicated by the time information is corrected, and the time when the representative point is scanned is estimated. Then, in the present embodiment, the tip position movement estimation unit 223 uses the time estimated by the representative point scanning time estimation unit 226 to scan the representative point to obtain an estimated tip position which is an estimated value of the tip position of the vehicle. calculate. Further, the speed calculation unit 224 calculates the speed of the vehicle using the time estimated by the representative point scanning time estimation unit 226 that the representative point is scanned.
  • This rule is to drive a vehicle on the roadway RW and measure the vehicle with the LiDAR100, or to place a plurality of objects on the center line of the lane on the front side of the roadway RW and measure the plurality of objects with the LiDAR100. Do things and get them in advance.
  • the representative point scanning time estimation unit 226 estimates the time when the representative point is scanned from the value of the representative point set by the representative point setting unit 222 and the above rule in each frame. For example, when the time at which scanning is started is used as the time stamp of each frame, in the example shown in FIG. 22, the representative point set by the representative point setting unit 222 in the frame Fn whose time stamp is TFn is used. If it is ys1, the time when the representative point is scanned is estimated to be TFn + ts1.
  • the tip position detection unit 230 determines the tip position FE of the vehicle AM at the first time T1 based on the second point cloud information with respect to the vehicle AM whose vehicle speed VAM is calculated by the vehicle speed calculation unit 220. calculate. It is considered that the vehicle AM, which was the vehicle speed VAM in the first region A1, reaches the second region A2 downstream of the first region A1 at almost the same vehicle speed as this vehicle speed VAM. Therefore, the tip position detection unit 230 determines the tip position FE of the vehicle in the second region A2 in the region (tip position detection region VFD) in which the tip position FE of the vehicle AM is predicted to exist based on the vehicle speed VAM. Is detected.
  • the tip position detection unit 230 has a y-coordinate value (predicted tip position yFP) of a position where the tip position FE of the vehicle is predicted to exist with respect to the vehicle AM whose vehicle speed VAM is calculated by the vehicle speed calculation unit 220. Is calculated.
  • the tip position detection unit 230 sets the area including the predicted tip position yFP as the tip position detection area VFD.
  • the tip position detection region VFD is set as, for example, a region determined by yVFDL ⁇ y ⁇ yVFDH. Since the tip position FE of the vehicle AM may be located in front of or behind the predicted tip position yFP, the lower limit yVFDL and the upper limit yVFDH of the y coordinate value of the tip position detection region VFD are shown in FIG. 23 ( As shown in B), it is set so as to sandwich the predicted tip position yFP (yVFDL ⁇ yFP ⁇ yVFDH).
  • the tip position detection unit 230 has the most tip point PF (most tip) from the point cloud in the tip position detection region VFD. A point with a large y-coordinate) is detected. At this time, the tip position detection unit 230 may detect the tip point PF in all of the frames when the upper limit yVFDH of the tip position detection area VFD is in the second area A2, or the tip position detection area VFD. The point PF at the tip may be detected at a part of the frame when the upper limit yVFDH of is in the second region A2.
  • the tip position detecting unit 230 detects the point PFn (1, ..., M2) at the tip of M2.
  • the tip position detection unit 230 uses the tip position FE and calculates the average (yPFn + ... + yPFM2) / M2 of the y-coordinate values yPFn of the points PFn of the two tips. Further, the tip position detection unit 230 calculates the average (TF1 + ... + TFM2) / M2 of the time stamps TFn of the M2 frame Fn in which the tip point PFn is detected as the first time T1.
  • FIG. 25 is a diagram showing an example of a processing operation in the tip position detecting unit 230 according to this embodiment.
  • the tip position detection unit 230 calculates the predicted tip position yFP for the vehicle AM for which the vehicle speed VAM has been calculated by the vehicle speed calculation unit 220 (step S2501).
  • the tip position detection unit 230 sets the region including the predicted tip position yFP as the tip position detection area VFD (step S2502).
  • the tip position detection unit 230 detects the most tip point PFn from the point cloud in the tip position detection area VFD in the frame Fn while the upper limit yVFDH of the tip position detection area VFD is in the second area A2 (step). S2503).
  • the tip position detection unit 230 calculates the tip position FE of the vehicle AM at the first time T1 based on the detected tip point PFn and the time stamp TFn of the frame Fn in which the tip point PFn is detected (step). S2504).
  • the rear end position detection unit 240 calculates the rear end position RE at the second time T2 based on the third point cloud information with respect to the vehicle AM whose vehicle speed VAM is calculated by the vehicle speed calculation unit 220. .. It is considered that the vehicle AM, which was the vehicle speed VAM in the first region A1, reaches the third region A3 downstream of the first region A1 at a vehicle speed substantially the same as this vehicle speed VAM. Therefore, the rear end position detection unit 240 detects the rear end position RE of the vehicle in the region (rear end position detection region VRD) in which the rear end position RE of the vehicle AM is predicted to exist based on the vehicle speed VAM.
  • the rear end position detection unit 240 detects the rear end position RE of the vehicle in the region (rear end position detection region VRD) in which the rear end position RE of the vehicle AM is predicted to exist based on the vehicle speed VAM.
  • the estimated vehicle LE is an estimated value of the length of the vehicle AM, and a typical vehicle length may be used, or as described in detail below, the first point cloud information may be used. It may be calculated based on.
  • the rear end position detection unit 240 sets the region including the predicted rear end position yRP as the rear end position detection region VRD.
  • the rear end position detection region VRD is set as, for example, a region determined by yVRDL ⁇ y ⁇ yVRDH. Since the rear end position RE of the vehicle AM may be located in front of or behind the predicted rear end position yRP, the lower limit yVRDL and the upper limit yVRDH of the rear end position detection region VRD are shown in FIG. As described above, they are arranged so as to sandwich the predicted rear end position yRP (yVRDL ⁇ yRP ⁇ yVRDH). In the example shown in FIG. 26, the upper limit yVRDH of the rear end position detection region VRD is set at the same position as the predicted tip position yFP, but it may be set after the predicted tip position yFP.
  • the rear end position detection unit 240 is the rearmost end from the point cloud in the rear end position detection region VRD.
  • the point PR (the point with the smallest y-coordinate) is detected.
  • the rear end position detection unit 240 may detect the rear end point PR in all of the frames when the lower limit yVRDL of the rear end position detection region VRD is in the third region A3, or the rear end position detection unit 240 may detect the rear end point PR.
  • the point PR at the rear end may be detected in a part of the frame when the lower limit yVRDL of the position detection region VRD is in the third region A3.
  • the rear end position detecting unit 240 detects M3 rear end point PRn (1, ..., M3). Then, the rear end position detection unit 240 sets the rear end position RE and calculates the average (yPRn + ... + yPRM3) / M3 of the y coordinate values yPRn of the rear end point PRn of the M3 pieces. Further, the rear end position detection unit 240 calculates the average (TF1 + ... + TFM3) / M3 of the time stamps TFn of the M3 frame Fn in which the rear end point PRn is detected as the second time T2.
  • FIG. 28 is a diagram showing an example of a processing operation in the rear end position detection unit 240 according to this embodiment.
  • the rear end position detection unit 240 calculates the predicted rear end position yRP for the vehicle AM for which the vehicle speed VAM has been calculated by the vehicle speed calculation unit 220 (step S2801).
  • the rear end position detection unit 240 sets the region including the predicted rear end position yRP as the rear end position detection region VRD (step S2802).
  • the rear end position detection unit 240 sets the rearmost end point PRn from the point cloud in the rear end position detection region VRD in the frame Fn while the lower limit yVRDL of the rear end position detection region VRD is in the third region A3. Detect (step S2803).
  • the rear end position detection unit 240 determines the rear end position RE of the vehicle AM at the second time T2 based on the detected rear end point PRn and the time stamp TFn of the frame Fn in which the rear end point PRn is detected. Calculate (step S2804).
  • the vehicle speed calculation unit 220 of the control unit 200 calculates the estimated vehicle length LE, which is a value for estimating the vehicle length of the vehicle AM, based on the first point cloud information. It further has a vehicle length calculation unit 227. Then, the rear end position detection unit 240 according to the present embodiment calculates the predicted rear end position yPR using the estimated vehicle length LE calculated by the estimated vehicle length calculation unit 227.
  • the estimated vehicle length calculation unit 227 calculates the estimated vehicle length LE, which is an estimated value of the vehicle length of the vehicle AM, based on the temporal change of the point cloud included in the continuity determination area AC. Like the continuity determination unit 225, the estimated vehicle length calculation unit 227 determines that the point cloud of the same vehicle is continuous as long as there are points in the continuity determination area AC in the continuous frames. That is, the estimated vehicle length calculation unit 227 determines that the three points PC1, PC2, and PC3 in FIG. 18 are continuous.
  • the estimated vehicle length calculation unit 227 calculates the estimated vehicle length LE by obtaining the distance between the tip point and the rear end point of the continuous points.
  • the distance between the point PC1 and the point PC3 is obtained.
  • it is the y-coordinate value yE of the tip point in the frame FE when the tip point of the continuous point enters the continuity determination area AC, the time stamp TFE of the frame FE, and is continuous.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

レーザ光を反射しにくい材質の移動体であっても長さの計測を高精度で行う。 移動方向が定められた移動体路RWの第1の領域A1の三次元点群情報に基づく第1の点群情報と、第2の領域A2の三次元点群情報に基づく第2の点群情報と、第2の領域A2よりも下流にある第3の領域A3の三次元点群情報に基づく第3の点群情報と、を時系列に取得し、第1の点群情報A1の時間変化に基づいて、移動体AMの速度VAMを算出し、第2の点群情報A2から、第1の時刻T1における移動体AMの先端位置FEを算出し、第3の点群情報A3から、第2の時刻T2における移動体AMの後端位置REを算出し、移動体の速度VAM、第1の時刻T1における移動体AMの先端位置FE、および第2の時刻T2における移動体AMの後端位置REに基づき、移動体の長さLAMを算出する。

Description

情報処理装置
 本発明は、情報処理装置に関する。
 物体の形状情報を得るために、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)が使用されている。この装置は、レーザレーダや光学式測距センサと呼ばれることもある。例えば、特許文献1には、LiDARにより得られた点群情報により車両の幅や長さを推定する方法が開示されている。
 LiDARは、被検出空間にレーザ光を照射し、対象物で反射されて返ってくる反射光を受光することで、物体までの距離を測定する。照射するレーザ光の拡がり角が大きい場合は、レーザ光の反射成分が減少するために測定距離が短くなる特性がある。一方、照射するレーザ光の拡がり角が小さい場合は、レーザ光の反射成分が増加するために測定距離が長くなる特性がある(特許文献2、3)。
 また、LiDARは、照射するレーザ光をMEMSミラーなどで走査させることで、被検出空間の物体の形状情報を得る。MEMSミラーによる走査角度を拡大するために、MEMSミラーで偏向されたレーザ光にレンズを組み合わせることが開示されている(特許文献4)。広角レンズを組み合わせたタイプのLiDARは、走査範囲が広くなるが、レーザ光の拡がり角が大きくなるため測定距離が短くなる特性がある。一方、望遠レンズを組み合わせたタイプのLiDARは、走査範囲が狭くなるが、レーザ光の拡がり角が小さくなるため測定距離が長くなる特性がある。
 計測環境によっては、上記のような複数タイプのLiDARを組み合わせることが行われている。
特開2017-146153号公報 特開2006-317304号公報 国際公開第2012/117542号 特許第6019866号
 LiDARは、被検出空間にレーザ光を照射し、当該レーザ光が対象物で反射されて返ってくる反射光を受光することで、複数の検出方向毎の物体までの距離を測定することにより、対象物の形状を取得する。このため、対象物が黒色の車両などのレーザ光を反射しにくい物体の場合、LiDARによる測定距離の精度が低下し、対象物の全体の形状を得ることができないことがある。
 本発明が解決しようとする課題としては、レーザ光を反射しにくい材質が使われていても、移動中の移動体の長さの計測を高精度で行うことが一例として挙げられる。
 上記課題を解決するために、請求項1に記載の発明は、移動方向が定められた移動体路の第1の領域の三次元点群情報に基づく第1の点群情報と、前記移動体路の第2の領域の三次元点群情報に基づく第2の点群情報と、前記第2の領域よりも下流にある第3の領域の三次元点群情報に基づく第3の点群情報と、を時系列に取得する点群取得部と、前記第1の点群情報の時間変化に基づいて、移動体の速度を算出する移動体速度算出部と、前記第2の点群情報から、第1の時刻における前記移動体の先端位置を算出する先端位置算出部と、前記第3の点群情報から、第2の時刻における前記移動体の後端位置を算出する後端位置算出部と、前記算出された前記移動体の速度、前記算出された前記第1の時刻における前記移動体の先端位置、および前記算出された第2の時刻における前記移動体の後端位置に基づき、前記移動体の長さを算出する移動体長算出部と、を有する。
 請求項5に記載の発明は、移動方向が定められた移動体路の第1の領域の三次元点群情報に基づく第1の点群情報と、前記移動体路の第2の領域の三次元点群情報に基づく第2の点群情報と、前記第2の領域よりも下流にある第3の領域の三次元点群情報に基づく第3の点群情報と、を時系列に取得する点群取得工程と、前記第1の点群情報の時間変化に基づいて、移動体の速度を算出する移動体速度算出工程と、前記第2の点群情報から、第1の時刻における前記移動体の先端位置を算出する先端位置算出工程と、前記第3の点群情報から、第2の時刻における前記移動体の後端位置を算出する後端位置算出工程と、前記算出された前記移動体の速度、前記算出された前記第1の時刻における前記移動体の先端位置、および前記算出された第2の時刻における前記移動体の後端位置に基づき、前記移動体の長さを算出する移動体長算出工程と、を有する。
 請求項6に記載の発明は、請求項5に記載の情報処理方法を、コンピュータにより実行させる。
 請求項7に記載の発明は、請求項6に記載の情報処理プログラムを記憶している。
本発明の一実施例に係るLiDARシステム1000を示す図である。 LiDAR100と第1の領域A1、第2の領域A2、第3の領域A3の関係を示す図である。 LiDAR100の視野と第1の領域A1、第2の領域A2、第3の領域の関係を示す図である。 本発明の一実施例に係る制御部200を示す図である。 第1の領域A1を走行する車両AMと、このときに測定された車両AMに対応する点群の一例を図である。 第2の領域A2を走行する車両AMと、このときに測定された車両AMに対応する点群の一例を図である。 第3の領域A3を走行する車両AMと、このときに測定された車両AMに対応する点群の一例を示す図である。 車両の長さLAMの算出の一例を説明する図である。 本発明の一実施例に係る制御部120における処理動作の一例を示す図である。 本発明の一実施例に係る制御部200の車両速度算出部220を示す図である。 第1の領域A1に2台の車両がいる場合の一例を示す図である。 先端部分領域ATの一例を示す図である。 推定先端位置の移動の一例を示す図である。 本発明の一実施例に係る車両速度算出部220における処理動作の一例を示す図である。 セグメンテーション部221により車両AMに対応すると推定される点群と先端部分領域ATの幅WATとの関係の一例を示す図である。 1つの車両に対応する点群が2つのセグメントに分離する例を示す図である。 点群と連続性判定領域ACとの関係を示す図である。 点群の移動と連続性判定領域ACとの関係の一例を示す図である。 本発明の一実施例に係る連続性判定部225における処理動作の一例を示す図である。 本発明の一実施例に係る車両速度算出部220における処理動作の一例を示す図である。 LiDARによる走査を説明する図である。 第1の領域A1における、車道RW上の物体の位置と、時刻情報が示す走査時刻(タイムスタンプ)と物体が走査される時刻との時間差と、を対応付けた規則の一例を示す図である。 点群と予測先端位置yFPと先端位置検出領域VFDとの関係を示す図である。 点群と先端位置検出領域VFDとの関係を示す図である。 本発明の一実施例に係る先端位置検出部230における処理動作の一例を示す図である。 点群と予測後端位置yRPと後端位置検出領域VRDとの関係を示す図である。 点群と後端位置検出領域VRDとの関係を示す図である。 本発明の一実施例に係る後端位置検出部240における処理動作の一例を示す図である。
 本発明の一実施形態に係る情報処理装置は、移動方向が定められた移動体路の第1の領域の三次元点群情報に基づく第1の点群情報と、前記移動体路の第2の領域の三次元点群情報に基づく第2の点群情報と、前記第2の領域よりも下流にある第3の領域の三次元点群情報に基づく第3の点群情報と、を時系列に取得する点群取得部と、前記第1の点群情報の時間変化に基づいて、移動体の速度を算出する移動体速度算出部と、前記第2の点群情報から、第1の時刻における前記移動体の先端位置を算出する先端位置算出部と、前記第3の点群情報から、第2の時刻における前記移動体の後端位置を算出する後端位置算出部と、前記算出された前記移動体の速度、前記算出された前記第1の時刻における前記移動体の先端位置、および前記算出された第2の時刻における前記移動体の後端位置に基づき、前記移動体の長さを算出する移動体長算出部と、を有する。よって、本実施形態では、移動体の長さを得るために、走行中の移動体の前面が写った第2の点群情報と走行中の移動体の後面が写った第3の点群情報の2つの点群情報を用いていることが可能になる。結果、本実施形態では、黒色の車両などレーザ光を反射しにくい移動体の場合であっても、移動体の前面や後面に配置されたナンバープレートやバンパーなどのレーザ光を反射しやすい部分に対応する点群を移動体の先端位置、後端位置の検出に用いることが可能になり、確実に移動体の先端位置、後端位置を取得することが可能になる。このため、本実施形態では、レーザ光を反射しにくい材質が使われていても、移動中の移動体の長さの計測を高精度で行うことが可能である。
 本発明の一実施形態に係るLiDARシステムは、前記情報処理装置と、前記第1の領域、前記第2の領域、および前記第3の領域の三次元点群情報を生成するLiDARと、を有する。このため、本実施形態では、移動体の長さを算出するための点群情報を生成することが可能である。
 前記LiDARは、前記第1の領域の三次元点群情報を生成する第1のLiDARと、前記第2の領域の三次元点群情報を生成する第2のLiDARと、前記第3の領域の三次元点群情報を生成する第3のLiDARと、を有するようにしても良い。このようにすることで、視野が狭いLiDARを組み合わせて、移動体の長さを算出するための点群情報を生成することが可能になる。
 前記LiDARは、前記第1の領域および前記第2の領域の三次元点群情報を生成する第1のLiDARと、前記第3の領域の三次元点群情報を生成する第2のLiDARと、を有する。このようにすることで、LiDARの台数を抑えつつ、視野が狭いLiDARを組み合わせて、移動体の長さを算出するための点群情報を生成することが可能になる。
 また、本発明の一実施形態にかかる情報処理方法は、移動方向が定められた移動体路の第1の領域の三次元点群情報に基づく第1の点群情報と、前記移動体路の第2の領域の三次元点群情報に基づく第2の点群情報と、前記第2の領域よりも下流にある第3の領域の三次元点群情報に基づく第3の点群情報と、を時系列に取得する点群取得工程と、前記第1の点群情報の時間変化に基づいて、移動体の速度を算出する移動体速度算出工程と、前記第2の点群情報から、第1の時刻における前記移動体の先端位置を算出する先端位置算出工程と、前記第3の点群情報から、第2の時刻における前記移動体の後端位置を算出する後端位置算出工程と、前記算出された前記移動体の速度、前記算出された前記第1の時刻における前記移動体の先端位置、および前記算出された第2の時刻における前記移動体の後端位置に基づき、前記移動体の長さを算出する移動体長算出工程と、を有する。よって、本実施形態では、移動体の長さを得るために、走行中の移動体の前面が写った第2の点群情報と走行中の移動体の後面が写った第3の点群情報の2つの点群情報を用いていることが可能になる。結果、本実施形態では、黒色の車両などレーザ光を反射しにくい移動体の場合であっても、移動体の前面や後面に配置されたナンバープレートやバンパーなどのレーザ光を反射しやすい部分に対応する点群を移動体の先端位置、後端位置の検出に用いることが可能になり、確実に移動体の先端位置、後端位置を取得することが可能になる。このため、本実施形態では、レーザ光を反射しにくい材質が使われていても、移動中の移動体の長さの計測を高精度で行うことが可能である。
 また、本発明の一実施形態に係る情報処理プログラムは、上記の情報処理方法を、コンピュータに実行させる。このようにすることで、コンピュータを用いて、表面の反射率が低い、移動中の移動体の長さの計測を高精度で行うことが可能である。
 また、本発明の一実施形態に係るコンピュータ読み取り可能な記憶媒体は、上記の情報処理プログラムを記憶している。このようにすることで、上記の情報処理プログラムを、機器に組み込む以外にも単体で流通することが可能になり、バージョンアップ等を容易に行うことが可能になる。
<LiDARシステム1000>
 図1は、本発明の一実施例に係るLiDARシステム1000を示す図である。LiDARシステム1000は、LiDAR100と、制御部200と、を有する。本実施例では、LiDAR100により生成された三次元点群情報に基づいて、制御部200により車両の長さを算出する。
 LiDAR100は、車道(移動体路)RWの手前側の車線を走行する車両(移動体)AMの長さを算出するために用いる点群情報を生成する。このために、LiDAR100は、車道RWの第1の領域A1、第2の領域A2、第3の領域A3の3つの領域を測定できるように、例えば、図2に示すように、車道RWの脇に配置される。LiDAR100は、車道RWの上方に設置されても良く、3つの領域を上方から測定するようにしても良い。
 LiDAR100は、車道RWの第1の領域A1、領域A2、領域A3の3つの領域に測定し、第1の領域A1と第2の領域A2と第3の領域A3の三次元点群情報を時系列で生成する。つまり、LiDAR100は、所定のフレームレートで、車道RWの第1の領域A1、第2の領域A2、第3の領域A3の3つの領域を測定し、第1の領域A1と第2の領域A2と第3の領域A3の三次元点群情報を、所定のフレームレートで生成する。よって、第1の領域A1と第2の領域A2と第3の領域A3の三次元点群情報の各々は、所定のフレームレートで生成された複数のフレームで構成される。
 各フレームにおいて、各点は、直交座標(x、y、z)で表現される。このとき、図2に示すように、LiDAR100の位置を原点Oとし、車道RWの幅方向をx軸方向とし、車道RWの手前側の車線の走行方向をy軸方向とし、車道RWの幅方向、走行方向に垂直な方向をz軸方向とする。
 図2に示すように、第1の領域A1は、車道RWの手前側の車線の走行方向に関して、3つの領域のうちで一番上流にあり、第2の領域A2は、第1の領域A1の下流にあり、第3の領域A3は、第2の領域A2の下流にある。図2に示す例では、第1の領域A1と第2の領域A2は重なっていないが、第1の領域A1と第2の領域A2は、重なっていても良い。また、図2に示す例では、第2の領域A2と第3の領域A3は重なっていないが、第2の領域A2と第3の領域A3は、重なっていても良い。
 図3は、LiDAR100の視野と第1の領域A1、第2の領域A2、第3の領域の関係を示す図である。LiDAR100は、第1の領域A1、第2の領域A2、第3の領域のすべての領域が視野に入る一台のLiDARにより構成されても良い。また、LiDAR100は、例えば、図3(A)に示すように、第1の領域A1が入る視野FV1を有する第1のLiDAR110と、第2の領域A2が入る視野FV2を有する第2のLiDAR120と、第3の領域A3が入る視野FV3を有する第3のLiDARの三台のLiDAR130により構成されても良い。また、LiDAR100は、例えば、図3(B)に示すように、第1の領域A1と第2の領域A2の両方が入る視野FV4を有する第4のLiDAR140と、第3の領域A3が入る視野FV5を有する第5のLiDAR150の二台のLiDARにより構成されても良い。LiDAR100が複数のLiDARにより構成されているときは、複数のLiDARのうちのいずれかの1つが配置される位置を原点Oとすると良い。
 図2に示すように、第1の領域A1、第2の領域A2は、LiDAR100の上流にあり、第3の領域A3は、LiDAR100の下流にある。このため、LiDAR100は、第1の領域A1、第2の領域A2を走行する車両AMの前方面(フロント面やボンネット、フロントガラスなど)と側方面(LiDAR100が配置されている側)を測定することが可能であり、また、第3の領域A3を走行する車両AMの後方面と側方面(LiDAR100が配置されている側)を測定することが可能である。
 図4は、本発明の一実施例に係る制御部200を示す図である。制御部200は、点群情報取得部210と、車両速度算出部(移動体速度算出部)220と、先端位置検出部230と、後端位置検出部240と、車長算出部250と、を有する。制御部200は、例えば、CPU(Central Processing Unit)などを有するコンピュータにより構成される。
 点群情報取得部210は、LiDAR100により生成された第1の領域A1の三次元点群情報に基づく第1の点群情報、LiDAR100により生成された第2の領域A2の三次元情報に基づく第2の点群情報、LiDAR100により生成された第3の領域A3の三次元情報に基づく第3の点群情報を取得する。
 本実施例では、制御部200は、車両の長さを算出する。よって、制御部200が、少なくとも車両の長さ方向、つまり、車両の走行方向(y軸方向)の情報を取得できれば良い。そこで、第1の点群情報は、LiDARにより生成された第1の領域A1の三次元点群情報そのものでも良いし、この三次元点群情報のうちの一次元点群情報(各点のy座標値)であっても良いし、二次元点群情報(各点のx座標値、y座標値)であっても良い。同様に、第2の点群情報(第3の点群情報)は、LiDARにより生成された第2の領域A2(第3の領域A3)の三次元点群情報そのものでも良いし、この三次元点群情報のうちの一次元点群情報(各点のy座標値)であっても良いし、二次元点群情報(各点のx座標値、y座標値)であっても良い。
 本実施例では、制御部200は、この点群情報取得部210により取得されたこの3つの点群情報に基づいて、車道RWを走行する車両AMの長さLAMを算出する。具体的には、車両AMが第1の領域A1を走行しているときの情報(第1の点群情報)により、車両AMの速度VAMを算出し、この車両AMが第2の領域A2を走行しているときの情報(第2の点群情報)により、第1の時刻T1における車両AMの先端位置FEを算出し、この車両AMが第3の領域A3を走行しているときの情報(第3の点群情報)により、第2の時刻T2における車両AMの後端位置REを算出し、この算出された車両AMの速度VAM、第1の時刻T1における車両AMの先端位置FE、第2の時刻T2における車両AMの後端位置REから、車両AMの長さLAMを算出する。
 車両速度算出部220は、第1の点群情報の時間変化により、車両AMの速度VAMを算出する。図5(A)は、第1の領域A1を走行する車両AMを示す図であり、図5(B)は、このときに測定された車両AMに対応する点群を示す図である。第1の領域A1は、図2、5に示すように、LiDAR100の上流にある。このため、図5(A)に示すように、LiDAR100からは第1の領域A1を走行する車両AMの前方面(フロント面やボンネット、フロントガラスなど)と側方面(LiDAR100が配置されている側)が見え、第1の点群情報には、例えば、図5(B)示すように、車両AMの前方面と側方面に対応する点群データが取得される。そこで、車両速度算出部220は、例えば、この点群を用いて、車両AMの先端位置FEの移動を検出することで、車両AMの速度VAMを算出する。また、第1の領域A1は、車両が移動する方向に広いため、比較的長い期間の点群情報を取得される。このことから、車両速度算出部220では、複数フレームの時系列データを、カルマンフィルタ等を用いることにより速度VAMの算出精度を向上させてもよい。
 先端位置検出部230は、第2の点群情報に基づいて、第1の時刻T1における車両AMの先端位置FEを算出する。図6(A)は、第2の領域A2を走行する車両AMを示す図であり、図6(B)は、このときに測定された車両AMに対応する点群を示す図である。第2の領域A2は、図2に示すように、LiDAR100の上流にある。このため、図6(A)に示すように、LiDAR100からは第2の領域A2を走行する車両AMの前方面(フロント面やボンネット、フロントガラスなど)と側方面(LiDAR100が配置されている側)が見え、図6(B)に示すように、例えば、車両AMの前方面と側方面に対応する点群データが取得される。そこで、先端位置検出部230は、例えば、第2の点群情報のうちの第1の時刻T1のフレームにおいて車両AMの先端位置FEに対応する点を検出することで、第1の時刻T1での車両AMの先端位置FEを得る。また、第2の領域A2は車両が移動する方向に狭いため、比較的短い期間の点群情報が取得される。このことから、先端位置検出部230では、複数フレーム(例えば3個)の時系列データの時刻情報(T11、T12、T13)と先端位置(FE1、FE2、FE3)の平均値を算出することにより、先端位置FEの精度を向上させてもよい。
 後端位置検出部240は、第3の点群情報に基づいて、第2の時刻における車両の後端位置REを算出する。図7(A)は、第3の領域A3を走行する車両AMを示す図であり、図7(B)は、このときに測定された車両AMに対応する点群を示す図である。第3の領域A3は、図2に示すように、LiDAR100の下流にある。このため、図7(A)に示すように、LiDAR100からは第3の領域A3を走行する車両AMの後方面と側方面が見え、第3の点群情報には、例えば、図7(B)に示すように、車両AMの後方面と側方面に対応する点群データが取得される。そこで、後端位置検出部240は、例えば、第3の点群情報のうちの第2の時刻T2のフレームにおいて車両AMの後端位置REに対応する点を検出することで、第2の時刻T2での車両AMの先端位置REを得る。また、第3の領域A3は車両が移動する方向に狭いため、比較的短い期間の点群情報が取得される。このことから、後端位置検出部240では、複数フレーム(例えば3個)の時系列データの時刻情報(T21、T22、T23)と後端位置(RE1、RE2、RE3)の平均値を算出することにより、後端位置REの精度を向上させてもよい。
 車長算出部250は、車両AMの速度VAMと、第1の時刻T1における車両AMの先端位置FEと、第2の時刻T2における車両AMの後端位置REと、に基づいて、車両AMの長さLAMを算出する。例えば、先端位置検出部230により算出された第1の時刻T1での先端位置FEのy座標がyFET1であるとき(図8(A))、車両AMが、第1の時刻T1と第2の時刻T2の間、車両速度算出部220により算出された車両AMの速度VAMで走行しているならば、第2の時刻T2での車両AMの先端位置FEのy座標はyFET2=yFET1+VAM(T2-T1)であると推測される(図8(B))。よって、後端位置検出部240により算出された第2の時刻T2での後端位置REのy座標がyRET2であるとき、車両AMの長さLAMは、例えば、LAM=yFET2-yRET2=yFET1-yRET2+VAM(T2-T1)により算出することが可能である。
 このように、本実施例では、車両の長さを得るために、走行中の車両の前面を含んだ第2の点群情報と走行中の車両の後面を含んだ第3の点群情報の2つの点群情報を用いている。結果、本実施例では、レーザ光を反射しにくい黒色の車両の場合であっても、車両の前面や後面に配置されたナンバープレートやバンパーなどのレーザ光を反射しやすい部分に対応する点群を用いることが可能になり、確実に車両の先端位置、後端位置を取得することが可能になる。このため、本実施例では、黒色の車両などレーザ光を反射しにくい、移動中の車両の長さの計測を高精度で行うことが可能である。
 図9は、本発明の一実施例に係る制御部120における処理動作の一例を示す図である。点群情報取得部210が、車道RWの第1の領域A1の三次元情報に基づいた第1の点群情報、第2の領域A2の三次元情報に基づいた第2の点群情報、第3の領域A3の三次元情報に基づいた第3の点群情報を取得する(ステップS901)。速度算出部210は、第1の点群情報の時間変化に基づき、車両AMの速度VAMを算出する(ステップS902)。先端位置検出部230は、第2の点群情報に基づいて、第1の時刻T1における車両AMの先端位置FEを算出する(ステップS903)。後端位置検出部240は、第3の点群情報に基づいて、第2の時刻T2における車両AMの後端位置REを算出する(ステップS904)。車長算出部250は、車両AMの速度VAMと、第1の時刻T1における車両AMの先端位置FEと、第2の時刻T2における車両AMの後端位置REと、に基づいて、車両AMの長さLAMを算出する(ステップS905)。
<車両の速度VAMの算出>
 図10は、本発明の一実施例に係る制御部200の車両速度算出部220を示す図である。車両速度算出部220は、セグメンテーション部221と、代表点設定部222と、先端位置移動推定部223と、速度算出部224と、を有する。
 セグメンテーション部221は、第1の点群情報の各フレームにおいて、2点間の距離に基づいて同一の車両に対応する点群を推定する。
 第1の点群情報の各フレームには、複数の車両が写っていることがある。図11は、第1の領域A1に2台の車両がいる場合の例を示す図である。図11(A)のように、第1の領域A1に2台の車両(車両AM1、車両AM2)が走行している場合、第1の点群情報には、図11(B)のように、2つの点群の塊が写る。
 そこで、セグメンテーション部221は、第1の点群情報の各フレームにおいて、そのフレームの点を、各々が同一の車両に対応すると推定される点群(セグメント)に分割する。図11(B)に示した例では、セグメンテーション部221は、フレームの点を、車両AM1に対応するセグメントS1と車両AM2に対応するセグメントS2の2つのセグメントに分割する。
 このとき、セグメンテーション部221は、2点間の距離に基づいて、フレームの点を、複数のセグメントに分割する。具体的には、セグメンテーション部221は、各フレームにおいて、第1の距離(例えば、1mや1.5m)以下の2点は同じセグメントに含まれるように、フレームの点を分割する。2点(P1(x1、y1、z1)、P2(x2、y2、z2))間の距離は、三次元距離(((x1-x2)+(y1-y2)+(z1―z2)1/2)でも良いし、二次元距離(((x1-x2)+(y1-y2)1/2)でも良いし、一次元距離(|y1-y2|)でも良い。
 代表点設定部222は、第1の点群情報の各フレームにおいて、同一の車両に対応すると推定された点群(セグメント)の各々から先端部分領域の点群を抽出し、当該抽出された点群に基づいて代表点を設定する。
 セグメンテーション部221により点を分割することで得られたセグメントの各々の最も先端の点(最もy座標値が大きい点)は、そのセグメントに対応する車両の先端位置を示す可能性が高い。よって、例えば、各フレームでセグメントのこの最も先端の点を検出し、この検出された最も先端の点の時間変化、つまり、最も先端の点の移動に基づいて、このセグメントに対応する車両の速度を得ることが可能である。
 しかしながら、この最も先端の点は、測距精度が悪い可能性もある。そこで、本実施例では、代表点設定部222により、各セグメントに対して、そのセグメントを代表する代表点を設定し、この最も先端の点の移動の代わりに、この代表点の移動に基づいて、各セグメントに対応する車両の速度を算出する。
 このとき、本実施例では、代表点設定部222は、図12に示すように、各セグメントに対して、最も先端の点である先端点PTから後方に拡がる領域(先端部分領域AT)を設定する。つまり、代表点設定部222は、先端点のy座標をyPTであるとき、yPT-WAT≦y≦yPTにより定まる領域を先端部分領域ATとして設定する。このとき、先端部分領域ATは、y軸方向の幅WATを持つ領域となる。幅WATは、例えば、10cm~1mにすると良い。
 そして、代表点設定部222は、この先端部分領域AT内の点のy座標を平均し、この平均値を代表点として設定する。つまり、本実施例では、代表点は、先端部分領域内ATの点のy座標値のみにより設定されており、代表点は、y座標値のみを持っている。例えば、先端部分領域ATに、n個の点:P1(x1、y1、z1)、P2(x2、y2、z2)、P3(x3、y3、z3)、・・・、Pn(xn、yn、zn)が含まれているとき、代表点のy座標は、(y1+y2+y3+・・・+yn)/nである。
 先端位置移動推定部223は、代表点設定部222により設定された代表点に基づいて、車両の先端位置の推定値である推定先端位置を算出する。このとき、単純に、代表点のy座標値を、車両の先端位置の推定値である推定先端位置としても良い。また、先端位置移動推定部223は、代表点のy座標値にカルマンフィルタを適用することで、車両の先端位置の推定値である推定先端位置の移動を算出するようにしても良い。つまり、先端位置移動推定部223は、各フレームにおいて、代表点のy座標値を車両の先端位置の観測値とし、カルマンフィルタを用いて、車両の先端位置を推定する(つまり、推定先端位置を算出する)ようにしても良い。このとき、本実施例において、代表点は、y座標値のみを有するので、推定先端位置もy座標値のみで決まる位置である。
 以上のように、本実施例では、各フレームにおいて、セグメンテーション部221よりフレームの点を同一の車両に対応する点群(セグメント)に分割し、そして、このセグメントごとに、代表点設定部222により代表点を設定し、そして、セグメントごとに、先端位置移動推定部223により設定された代表点に基づいて推定先端位置を算出する。このように算出された推定先端位置(つまり、y座標値)は、図13のように、フレームが進むごとに、つまり、時間が経過するにつれ、移動する。図13は、車両の先端がフレームF1で第1の領域A1に入り、フレームF6の後に第1の領域A1を出る場合の、この車両に対応する推定先端位置の変化の一例を示している。本実施例では、この推定先端位置がどのように移動するのかを見ることで、この推定先端位置に対応する車両の移動を見る。
 速度算出部224は、第1の領域A1内に設定された速度算出領域AVに推定先端位置が達したときに、推定先端位置の移動に基づいて、この推定先端位置に対応する車両の速度を算出する。速度算出領域AVは、例えば、yAVL≦y≦yAVHにより定まる領域として設定される。つまり、速度算出部224は、推定先端位置の値が、yAVLを超えたときに、推定先端位置の移動に基づいて、この推定先端位置に対応する車両の速度を算出する。
 車両の速度の算出としては、2つのフレームの間での推定先端位置の移動を使っても良いし、複数フレームの間での移動を使っても良い。図13に示した例であれば、推定先端位置は、フレームF7で速度算出領域AVに達するため、フレームF7に対する推定先端位置を算出した段階で、車両の速度を算出する。そこで、図13に示した例であれば、例えば、速度算出領域AVに達したときのフレーム(フレームF7)とその直前のフレーム(フレームF6)との間での推定先端位置の移動に基づいて車両の速度を算出しても良いし、車両の先端が車両A1に入ってから出るまでのフレーム(フレームF1-F7)の間での推定先端位置の移動に基づいて車両の速度を算出しても良い。あるいは、前述のカルマンフィルタ処理では、先端位置の推定と同時に移動速度も算出することから、カルマンフィルタ算出の速度値を使用しても良い。
 図14は、本実施例に係る車両速度算出部220における処理動作の一例を示す図である。図14では、第1の点群情報がM1枚のフレームFn(n=1、2、3、・・・、M1)で構成されているとしている。車両速度算出部220は、n=1と設定する(ステップS1401)。セグメンテーション部221は、フレームFnの点を、同一の車両に対応すると推定される点群(セグメント)に分割する(ステップS1402)。代表点設定部222は、同一の車両に対応すると推定された点群(セグメント)の各々に対して、代表点を設定する(ステップS1403)。先端位置移動推定部223は、同一の車両に対応すると推定された点群(セグメント)の各々に対して、設定された代表点に基づいて、当該セグメントに対応する車両の先端位置の推定値である推定先端位置を算出する(ステップS1404)。
 フレームFnにおいて、推定先端位置が速度算出領域AVに達しているセグメントがあるならば(ステップS1405、YES)、速度算出部224は、その推定先端位置が速度算出領域AVに達しているセグメントに対応する車両の速度を算出し(ステップS1406)、n=M1であるのか否かを確認する(ステップS1407)。n=M1であるならば(ステップS507、YES)、車両速度算出部220は、処理を終了する。n=M1でないならば(ステップS1407、NO)、車両速度算出部220は、n=n+1と設定し(ステップS1408)、ステップS1402に戻る。
 フレームFnにおいて、推定先端位置が速度算出領域AVに達しているセグメントがないならば(ステップS1405、NO)、車両速度算出部220は、n=M1であるのか否かを確認する(ステップS1407)。
<先端部分領域のサイズ>
 上記実施例において、代表点設定部222は、先端部分領域ATの点群を基づいて代表点を設定する。図15に示すように、車両AMがLiDAR100から遠方にあるときにセグメンテーション部221により車両AMに対応すると推定される点群(図15(A))は、車両AMがLiDAR100の近傍にあるときにセグメンテーション部221により車両AMに対応すると推定される点群(図15(B))に比べ、点の数が少ない。このため、車両AMがLiDAR100から遠方にあるときに、先端部分領域ATのy方向の幅WATとして小さい幅WTA1を用いると、先端領域ATに入る点の数が少なくなり、また、近傍点よりも遠方点の方が測距精度が悪くなる傾向があることから、ノイズの影響が大きくなる可能性がある。そこで、車両AMがLiDAR100から遠方にあるときの先端部分領域ATのy方向の幅WATは、図15(A)の幅WTA2のように、ある程度大きくする必要がある。しかしながら、車両AMがLiDAR100の近傍にあるときにも、先端部分領域ATのy方向の幅WATとして、車両AMがLiDAR100から遠方にあるときに用いる幅WAT2を用いると、この先端部分領域ATには、車両AMの前面の点だけでなく、車両AMの側面の点も含まれるようになる。このようなとき、先端部分領域ATに入る点のy座標値の平均である代表点は、実際の先端位置のy座標値よりも小さくなる。このため、この代表値に基づいて推定される推定先端位置は、実際の先端位置よりも後方に位置することになってしまう。結果、この代表点を用いて、先端位置の推定をし、車両AMの速度VAMを算出した場合、算出された速度VAMは、車両AMの実際の速度よりも小さくなってしまう。
 そこで、本発明の一実施例に係る代表点設定部222は、LiDAR100に車両AMが接近するにつれ、先端部分領域ATのy方向の幅WATを小さく設定する。このとき、代表点設定部222は、例えば、LiDAR100と車両AMとの距離に基づいて、先端部分領域ATのy方向の幅WATを設定する。つまり、代表点設定部222は、例えば、LiDAR100と車両AMとの距離が小さくなるにつれ、先端部分領域ATのy方向の幅WATを小さく設定する。
 代表点設定部222は、例えば、各フレームFnにおいて、LiDAR100と車両AMとの距離を、1つの前のフレームFn-1での当該車両AMに対応するセグメントに対する推定先端位置を用いることで算出するようにすると良い。つまり、代表点設定部222は、例えば、1つの前のフレームFn-1の推定先端位置と原点Oとの距離DAMが小さくなるにつれ、各フレームFnにおける先端部分領域ATのy方向の幅WATを小さく設定するようにすると良い。
 このとき、幅WATは、距離DAMに対して、連続に変化するようにしても良いし、不連続に変化するようにしても良い。例えば、距離DAMに対して、複数の閾値を用意し、距離DAMがその閾値を下回るごとに幅WATが変化するようにしても良い。特に、2つの閾値(第1の閾値(例えば、25m)、第2の閾値(例えば、17m))を用意し、距離DAMが第1の閾値以上のときは、幅WATを第1の幅(例えば、60cm)とし、距離DAMが第1の閾値より小さく、第2の閾値以上のときは、幅WATを第2の幅(例えば、30cm)とし、距離DAMが第2の閾値よりも小さいときは、幅WATを第3の幅(例えば、15cm)とすると良い。
<点群の連続性>
 セグメンテーション部221は、各フレームにおいて、第1の距離以下の2点が同じセグメントに含まれるように、フレームの点群を分割する。このとき、異なる車両に対応する点が同じセグメントに入らないようにするために、この第1の距離は、小さい値に設定する必要がある。しかしながら、第1の距離が小さ過ぎると、実際は同じ車両に対応する点が、異なる2つのセグメントに分かれてしまうことがある。例えば、図16(A)のように、トラクタTR1がトレーラーTR2を牽引するセミトレーラーTRの場合は、図16(B)のように、トラクタTR1とトレーラーTR2のそれぞれの前面、側面の点群が写るため、1台のセミトラクターが2つのセグメント(トラクタTR1に対応するセグメントとトレーラーTR2に対応するセグメント)に分離する場合がある。
 そこで、本発明の一実施例に係る車両速度算出部220は、連続性判定部225をさらに有する。連続性判定部225は、第1の領域A1内に設定された連続性判定領域AC内に含まれる点群の時間的変化に基づいて、第1の点群情報の点の連続性を判定する。連続性判定領域ACは、例えば、yACL≦y≦yACHにより定まる領域として設定される。
 例えば、連続性判定部225は、連続性判定領域ACにおける第1の点群情報の点の連続性を示す連続性状態を記憶するようにすると良い。例えば、連続性判定部225は、図17(A)のように、連続性判定領域ACに点が入っていないときは、そのフレームの連続性状態を「OFF」であると記憶し、図17(B)に示すように、連続性判定領域ACに点が入っているときは、そのフレームの連続性状態を「ON」であると記憶する。つまり、図18のように、3つの点(PC1、PC2、PC3)が移動しているとき、図18(A)、18(G)に示したフレームの連続性状態は「OFF」であると記憶され、図18(B)~18(F)に示したフレームの連続性状態は「ON」であると記憶される。
 よって、3つの点のうちの先端の点PC1が連続性判定領域ACに達したフレーム(図18(B))の1つの前のフレーム(図18(A))の連続性状態は「OFF」である。一方、3つの点のうちの先端でない点PC2が連続性判定領域ACに達したフレーム(図18(C))の1つの前のフレーム(図18(B))の連続性状態は「ON」である。よって、各点が連続性判定領域ACに達したフレームの1つの前の連続性状態を確認することで、その点が連続する点の先端の点であるのか否かを確認することが可能になる。よって、連続性判定部225は、第1の点群情報の各点が他の点と連続であるのか否かの判定することが可能である。
 本実施例において、先端位置推定部223は、セグメンテーション部221により異なる移動体に対応すると推定された2つの点群(セグメント)の点が連続であると連続性判定部225により判定された場合、当該2つの点群(セグメント)は、同一の車両に対応する点群であるとする。先端位置推定部223は、例えば、推定先端位置が連続性判定領域ACに達したときに、達した際のフレームの1つ前のフレームの連続性状態を確認し、連続性状態が「ON」であるときは、その推定先端位置に対応するセグメントは、当該セグメントの前方にあるセグメントが対応する同一の車両に対応すると判定する。
 そして、速度算出部224は、先端位置推定部223により同一の車両に対応すると判定された2つのセグメントに対しては、1つの速度のみが算出されるようにする。つまり、速度算出部224は、速度算出領域AVに推定先端位置が達したときに、この推定先端位置に対応するセグメントが先端位置推定部223により同一の車両に対応すると判定された複数のセグメントの最も前方のセグメントであるならば、車両の速度の算出をする。一方で、速度算出部224は、速度算出領域AVに推定先端位置が達したときに、この推定先端位置に対応するセグメントが先端位置推定部223により同一の車両に対応すると判定された複数のセグメントの最も前方のセグメントでないならば、そのセグメントに対しては、車両の速度の算出をしない。このようにすることで、セグメンテーション部221により、1つの車両が2つのセグメントに分離されたとしても、それぞれのセグメントに対して、車両の速度が算出されることを防ぐことが可能になる。あるいは、前述のカルマンフィルタ処理では、先端位置の推定と同時に移動速度も算出することから、速度算出部224では、カルマンフィルタで算出されている移動速度を選択する処理でも良い。
 このとき、速度算出領域AVの下限yAVLと、連続性判定領域ACの下限yACLと、が同じになるように速度算出領域AV、連続性領域ACを設定すると良い。このようにすることで、推定先端位置がyAVL以上になったときに、同時に、推定先端位置はyACL以上になり、推定先端位置の連続性を判定するタイミングと、この推定先端位置に対応する車両の速度を算出するタイミングを同じにすることが可能になる。
 連続性判定領域ACのy軸方向の幅yACH-yACLは、車道RWを走行中の車両が取る車間距離より短くするようにする。このようにすることで、連続性判定領域ACに2台の車両に入ることがなくなる。このため、本実施例では、連続判定領域ACに点が入っている点は、すべてが1台の車両に対応する点である。結果、本実施例では、連続性判定部225は、連続性判定領域ACに含まれる点群の時間的変化を確認し、連続性判定領域ACに点が含まれた状態が続いている限りは、1台の車両が連続性判定領域ACを通過しているとし、この間に連続性判定領域ACに入った点は1台の点であると判定することが可能である。走行中の車両は、一般に、10m以上の車間距離を取る。そこで、連続判定領域ACのy軸方向の幅yACH-yACLは、10mより小さい値、例えば、3mにすると良い。
 車両AMがLiDAR100の近傍にあるときに測定された車両AMに対応する点群の数は、車両AMがLiDAR100から遠方にあるときに測定された車両AMに対応する点群の数より多い。そこで、連続性判定領域ACは、LiDAR100に近傍に位置するようにすると良い。このようにすることで、同一の車両AMに対応する点間の距離が小さくなり、より正確に点群の連続性を判定することが可能になる。
 図19は、本実施例に係る連続性判定部225における処理動作の一例を示す図である。図19では、第1の点群情報がM1枚のフレームFn(n=1、2、3、・・・、M1)で構成されているとしている。連続性判定部225は、n=1と設定する(ステップS1901)。連続性判定部225は、連続性判定領域ACに点が存在するのか否かを確認する(ステップS1902)。連続性判定領域ACに点が存在するときは(ステップS1902、YES)、フレームFnの連続性状態を「ON」と記憶し(ステップS1903)、n=M1であるのか否かを確認する(ステップS1904)。n=M1であるならば(ステップS1904、YES)、連続性判定部225は、処理を終了する。n=M1でないならば(ステップS1904、NO)、車両速度算出部220は、n=n+1と設定し(ステップS1905)、ステップS1902に戻る。
 連続性判定領域ACに点が存在しないときは(ステップS1902、NO)、フレームFnの連続性状態を「OFF」と記憶し(ステップS1906)、n=M1であるのか否かを確認する(ステップS1904)。
 図20は、本実施例に係る車両速度算出部220における処理動作の一例を示す図である。図20では、第1の点群情報がM1枚のフレームFn(n=1、2、3、・・・、M1)で構成されているとしている。車両速度算出部220は、n=1と設定する(ステップS2001)。セグメンテーション部221は、フレームFnの点を、同一の車両に対応すると推定される点群のセグメントに分割する(ステップS2002)。代表点設定部222は、同一の車両に対応すると推定された点群のセグメントの各々に対して、代表点を設定する(ステップS2003)。先端位置移動推定部223は、同一の車両に対応すると推定された点群のセグメントの各々に対して、設定された代表点に基づいて、当該セグメントに対応する車両の先端位置の推定値である推定先端位置を算出する(ステップS2004)。
 フレームFnにおいて、推定先端位置が速度算出領域AVに達しているセグメントがあるならば(ステップS2005、YES)、先端位置移動推定部223は、当該推定先端位置に対応するセグメントの点が、このセグメントの前方のセグメントの点と連続であると連続性判定部225により判定されたのか否かを確認する(ステップS2006)。連続でない判定された場合(ステップS2006、NO)、速度算出部224は、このセグメントに対応する車両の速度を算出する(ステップS2009)。連続であると判定された場合(ステップS2006、YES)、先端位置移動推定部223は、このセグメントは前方のセグメントに対応する車両と同一の車両に対応するとして、速度算出部224による車両の速度計算を行わない。
 フレームFnにおいて、推定先端位置が速度算出領域AVに達しているセグメントがないならば(ステップS2005、NO)、車両速度算出部220は、n=M1であるのか否かを確認する(ステップS2007)。
 車両速度算出部220は、n=M1であるのか否かを確認する(ステップS2007)。n=M1であるならば(ステップS2007、YES)、車両速度算出部220は、処理を終了する。n=M1でないならば(ステップS2007、NO)、車両速度算出部220は、n=n+1と設定し(ステップS2008)、ステップS2002に戻る。
<代表点に対する時間補正>
 図21に示すように、上方から下方に(もしくは下方から上方に)走査することで1つのフレームのデータを生成するLiDARの場合、走査レイヤの各々が実際に走査される時刻とフレームのタイムスタンプの時刻との間には差が生じる。図21に示した例では、範囲AS全体を走査するために、左から右への走査が10回行われている。例えば、各フレームのタイムスタンプとして走査開始された時刻が用いられている場合は、範囲AS全体を走査するのにかかる時間をTSとすると、各フレームにおいて、フレームのタイムスタンプとn番目のレイヤが走査される時刻との差は、(n-1)TS/10である。
 よって、このようなLiDARにより生成されたデータに基づいて、車両の速度を算出するときは、この時間差を考慮することで、より正確な速度を算出することが可能になる。例えば、各フレームのタイムスタンプとして走査開始された時刻が用いられている場合は、n番目のレイヤが走査される時刻は、フレームのタイムスタンプより遅い時刻である。結果、上記のような時間差を考慮しない場合には、算出された車両の速度は、実際の車両の速度よりも大きいものになってしまう。しかしながら、本実施例では、車両の速度を算出する際に用いる代表点は、先端部分領域AT内の点のy座標の平均値である。このため、代表点がどの走査レイヤの点であるかの情報は無く、上記のような時間差を考慮した時間補正をすることができない。
 そこで、本発明の一実施例に係る車両速度算出部220は、代表点走査時刻推定部226をさらに有する。代表点走査時刻推定部226は、車道RW上の物体の位置と、時刻情報が示す走査時刻(タイムスタンプ)と物体が走査される時刻との時間差と、を対応付けた規則、および代表点の位置を用いて、時刻情報が示す走査時刻(タイムスタンプ)を補正し、代表点が走査された時刻を推定する。そして、本実施例において、先端位置移動推定部223は、代表点走査時刻推定部226により代表点が走査されたと推定された時刻を用いて、車両の先端位置の推定値である推定先端位置を算出する。また、速度算出部224は、代表点走査時刻推定部226により代表点が走査されたと推定された時刻を用いて、車両の速度を算出する。
 図22は、第1の領域A1における、車道RW上の物体の位置と、時刻情報が示す走査時刻(タイムスタンプ)と物体が走査される時刻との時間差と、を対応付けた規則の一例を示す図である。この図では、横軸は、y座標であり、縦軸は、フレームのタイムスタンプと、その物体が走査される時間と、の時間差である。つまり、図22では、y=ys1にある物体が実際に走査される時間とフレームとの時間差は、ts1である。この規則は、車道RW上で車両を走行させ、その車両をLiDAR100により測定することや、車道RWの手前側の車線の中心線上に複数の物体を配置し、この複数の物体をLiDAR100により測定することなどをし、事前に得ておく。
 代表点走査時刻推定部226は、各フレームにおいて、代表点設定部222により設定された代表点の値と上記規則から、代表点が走査された時刻を推定する。例えば、各フレームのタイムスタンプとして走査開始された時刻が用いられている場合は、図22に示した例では、タイムスタンプがTFnであるフレームFnで代表点設定部222により設定された代表点がys1であれば、代表点が走査された時刻は、TFn+ts1であると推定される。
<先端位置の算出>
 先端位置検出部230は、車両速度算出部220により車速VAMが算出された車両AMに対して、第2の点群情報に基づいて、第1の時刻T1でのその車両AMの先端位置FEを算出する。第1の領域A1で車速VAMであった車両AMは、この車速VAMとほぼ同じ車速で、第1の領域A1の下流にある第2の領域A2に達すると考えられる。そこで、先端位置検出部230は、第2の領域A2のうちの、この車速VAMにより車両AMの先端位置FEが存在すると予測される領域(先端位置検出領域VFD)において、この車両の先端位置FEを検出する。
 まず、先端位置検出部230は、車両速度算出部220により車速VAMが算出された車両AMに対して、その車両の先端位置FEが存在すると予測される位置のy座標値(予測先端位置yFP)を算出する。上述したように、車両速度算出部220の速度算出部224は、この推定先端位置が速度算出領域AVに達したときに、車両AMの速度VAMを算出する。そこで、先端位置検出部230は、例えば、この推定先端位置が速度算出領域AVに達した時刻tVAMと推定先端位置の値yVAMと、車速VAMを取得する。このようにすることで、先端位置検出部230は、例えば、時刻tでの予測先端位置yFPを、yFP=yVAM+VAM(t-tVAM)により求めることが可能である(図23)。
 そして、先端位置検出部230は、この予測先端位置yFPを含む領域を先端位置検出領域VFDとして設定する。先端位置検出領域VFDは、例えば、yVFDL≦y≦yVFDHにより定まる領域として設定される。車両AMの先端位置FEは、この予測先端位置yFPより前方に位置することも、後方に位置することもあるため、先端位置検出領域VFDのy座標値の下限yVFDL、上限yVFDHは、図23(B)に示すように、予測先端位置yFPを挟むように設定される(yVFDL<yFP<yVFDH)。
 そして、先端位置検出部230は、先端位置検出領域VFDの上限yVFDHが第2の領域A2にあるときに(図24)、この先端位置検出領域VFD内の点群から最も先端の点PF(最もy座標が大きい点)を検出する。このとき、先端位置検出部230は、先端位置検出領域VFDの上限yVFDHが第2の領域A2にあるときのフレームのすべてにおいて、先端の点PFを検出しても良いし、先端位置検出領域VFDの上限yVFDHが第2の領域A2にあるときのフレームの一部で、先端の点PFを検出しても良い。
 先端の点PFを検出するのに用いたフレームの数がM2枚であるとき、先端位置検出部230は、M2個の先端の点PFn(1、・・、M2)を検出する。先端位置検出部230は、先端位置FEとし、このM2個の先端の点PFnのy座標値yPFnの平均(yPFn+・・・+yPFM2)/M2を算出する。また、先端位置検出部230は、第1の時刻T1として、先端の点PFnが検出されたM2個のフレームFnのタイムスタンプTFnの平均(TF1+・・・+TFM2)/M2を算出する。
 図25は、本実施例に係る先端位置検出部230における処理動作の一例を示す図である。先端位置検出部230は、車両速度算出部220により車速VAMが算出された車両AMに対して、予測先端位置yFPを算出する(ステップS2501)。先端位置検出部230は、この予測先端位置yFPを含む領域を先端位置検出領域VFDとして設定する(ステップS2502)。先端位置検出部230は、先端位置検出領域VFDの上限yVFDHが第2の領域A2にある間のフレームFnにおいて、この先端位置検出領域VFD内の点群から最も先端の点PFnを検出する(ステップS2503)。先端位置検出部230は、検出された先端の点PFnと、先端の点PFnが検出されたフレームFnのタイムスタンプTFnに基づき、第1の時刻T1における車両AMの先端位置FEを算出する(ステップS2504)。
<後端位置の算出>
 後端位置検出部240は、車両速度算出部220により車速VAMが算出された車両AMに対して、第3の点群情報に基づいて、第2の時刻T2での後端位置REを算出する。第1の領域A1で車速VAMであった車両AMは、この車速VAMとほぼ同じ車速で、第1の領域A1の下流にある第3の領域A3に達すると考えられる。そこで、後端位置検出部240は、この車速VAMにより車両AMの後端位置REが存在すると予測される領域(後端位置検出領域VRD)において、この車両の後端位置REを検出する。
 後端位置検出部240も、先端位置検出部230同様に、車両速度算出部220により車速VAMが算出された車両AMの先端位置FEが存在すると予測される位置のy座標値(予測先端位置yPF)を算出する。そして、後端位置検出部240は、この車両AMの先端位置FEが存在すると予測される位置の推定車長(推定移動体長)LEだけ後方の位置のy座標値を後端位置REが存在すると予測される位置(予測後端位置yPR)とする。つまり、予測後端位置yPRは、yPR=yPF-LEである。ここで、推定車両LEは、車両AMの長さの推定値であり、典型的な車両の長さを用いるようにしても良いし、下記で詳述するように、第1の点群情報に基づいて算出するようにしても良い。
 そして、後端位置検出部240は、この予測後端位置yRPを含む領域を後端位置検出領域VRDとして設定する。後端位置検出領域VRDは、例えば、yVRDL≦y≦yVRDHにより定まる領域として設定される。車両AMの後端位置REは、この予測後端位置yRPより前方に位置することも、後方に位置することもあるため、後端位置検出領域VRDの下限yVRDL、上限yVRDHは、図26に示すように、予測後端位置yRPを挟むように配置される(yVRDL<yRP<yVRDH)。図26に示した例では、後端位置検出領域VRDの上限yVRDHを予測先端位置yFPと同じ位置に設定しているが、予測先端位置yFPより後方に設定するようにしても良い。
 そして、後端位置検出部240は、後端位置検出領域VRDの下限yVRDLが第3の領域A3にあるときに(図27)、この後端位置検出領域VRD内の点群から最も後端の点PR(最もy座標が小さい点)を検出する。このとき、後端位置検出部240は、後端位置検出領域VRDの下限yVRDLが第3の領域A3にあるときのフレームのすべてにおいて、後端の点PRを検出しても良いし、後端位置検出領域VRDの下限yVRDLが第3の領域A3にあるときのフレームの一部で、後端の点PRを検出しても良い。
 後端の点PRを検出するのに用いたフレームの数がM3枚であるとき、後端位置検出部240は、M3個の後端の点PRn(1、・・、M3)を検出する。そして、後端位置検出部240は、後端位置REとし、このM3個の後端の点PRnのy座標値yPRnの平均(yPRn+・・・+yPRM3)/M3を算出する。また、後端位置検出部240は、第2の時刻T2として、後端の点PRnが検出されたM3個のフレームFnのタイムスタンプTFnの平均(TF1+・・・+TFM3)/M3を算出する。
 図28は、本実施例に係る後端位置検出部240における処理動作の一例を示す図である。後端位置検出部240は、車両速度算出部220により車速VAMが算出された車両AMに対して、予測後端位置yRPを算出する(ステップS2801)。後端位置検出部240は、この予測後端位置yRPを含む領域を後端位置検出領域VRDとして設定する(ステップS2802)。後端位置検出部240は、後端位置検出領域VRDの下限yVRDLが第3の領域A3にある間のフレームFnにおいて、この後端位置検出領域VRD内の点群から最も後端の点PRnを検出する(ステップS2803)。後端位置検出部240は、検出された後端の点PRnと、後端の点PRnが検出されたフレームFnのタイムスタンプTFnに基づき、第2の時刻T2における車両AMの後端位置REを算出する(ステップS2804)。
<推定車長>
 推定車長LEは、例えば、典型的な車両の長さを用いるようにしても良い。しかしながら、二輪車とセミトレーラーとでは、車長が大きく異なる。そこで、本発明の一実施例に係る制御部200の車両速度算出部220は、第1の点群情報に基づいて、車両AMの車長を推定する値である推定車長LEを算出する推定車長算出部227をさらに有する。そして、本実施例に係る後端位置検出部240は、この推定車長算出部227により算出された推定車長LEを用いて、予測後端位置yPRを算出する。
 推定車長算出部227は、連続性判定領域ACに含まれる点群の時間的変化に基づいて、車両AMの車長の推定値である推定車長LEを算出する。推定車長算出部227は、連続性判定部225同様に、連続するフレームに、連続性判定領域ACに点が存在するうちは、同一の車両の点群が連続していると判定する。つまり、推定車長算出部227は、図18の3つの点PC1、PC2、PC3は、連続であると判定する。
 そして、推定車長算出部227は、連続している点の先端の点と後端の点の距離を求めることで、推定車長LEを算出する。図18の例では、点PC1と点PC3の距離を求める。例えば、連続している点の先端の点が連続性判定領域ACに入ったときのフレームFEでの先端の点のy座標値yEであり、そのフレームFEのタイムスタンプTFEであり、連続している点の後端の点が連続性判定領域ACを出たときのフレームFLでの後端の点のy座標値yLであり、そのフレームFLのタイムスタンプTFLであるとすると、推定車長LEは、この連続する点に対応する車両の速度がVAMであれば、推定車長LEは、LE=yE-yL+VAM(TFL-TFE)で求まる。また、推定車長LEは、ACの幅とタイムスタンプから、LE=AC(TFL-TFE)として算出しても良い。
 以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に記載した本発明の趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更が可能である。
 1000 LiDARシステム
 100 LiDAR
 200 制御部
 210 点群情報取得部
 220 車両速度算出部
 221 セグメンテーション部
 222 代表点設定部
 223 先端位置移動推定部
 224 速度算出部
 225 連続性判定部
 226 代表点走査時間推定部
 227 推定車長算出部
 230 先端位置検出部
 240 後端位置検出部
 250 車長算出部

Claims (7)

  1.  移動方向が定められた移動体路の第1の領域の三次元点群情報に基づく第1の点群情報と、前記移動体路の第2の領域の三次元点群情報に基づく第2の点群情報と、前記第2の領域よりも下流にある第3の領域の三次元点群情報に基づく第3の点群情報と、を時系列に取得する点群取得部と、
     前記第1の点群情報の時間変化に基づいて、移動体の速度を算出する移動体速度算出部と、
     前記第2の点群情報から、第1の時刻における前記移動体の先端位置を算出する先端位置算出部と、
     前記第3の点群情報から、第2の時刻における前記移動体の後端位置を算出する後端位置算出部と、
     前記算出された前記移動体の速度、前記算出された前記第1の時刻における前記移動体の先端位置、および前記算出された第2の時刻における前記移動体の後端位置に基づき、前記移動体の長さを算出する移動体長算出部と、を有する情報処理装置。
  2.  請求項1に記載の情報処理装置と、
     前記第1の領域、前記第2の領域、および前記第3の領域の三次元点群情報を生成するLiDARと、を有するLiDARシステム。
  3.  前記LiDARは、前記第1の領域の三次元点群情報を生成する第1のLiDARと、前記第2の領域の三次元点群情報を生成する第2のLiDARと、前記第3の領域の三次元点群情報を生成する第3のLiDARと、を有する、請求項2に記載のLiDARシステム。
  4.  前記LiDARは、前記第1の領域および前記第2の領域の三次元点群情報を生成する第1のLiDARと、前記第3の領域の三次元点群情報を生成する第2のLiDARと、を有する、請求項2に記載のLiDARシステム。
  5.  移動方向が定められた移動体路の第1の領域の三次元点群情報に基づく第1の点群情報と、前記移動体路の第2の領域の三次元点群情報に基づく第2の点群情報と、前記第2の領域よりも下流にある第3の領域の三次元点群情報に基づく第3の点群情報と、を時系列に取得する点群取得工程と、
     前記第1の点群情報の時間変化に基づいて、移動体の速度を算出する移動体速度算出工程と、
     前記第2の点群情報から、第1の時刻における前記移動体の先端位置を算出する先端位置算出工程と、
     前記第3の点群情報から、第2の時刻における前記移動体の後端位置を算出する後端位置算出工程と、
     前記算出された前記移動体の速度、前記算出された前記第1の時刻における前記移動体の先端位置、および前記算出された第2の時刻における前記移動体の後端位置に基づき、前記移動体の長さを算出する移動体長算出工程と、を有する情報処理方法。
  6.  請求項5に記載の情報処理方法を、コンピュータに実行させる情報処理プログラム。
  7.  請求項6に記載の情報処理プログラムを記憶しているコンピュータ読み取り可能な記憶媒体。
PCT/JP2021/002120 2020-03-31 2021-01-22 情報処理装置 WO2021199606A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US17/916,458 US20230222728A1 (en) 2020-03-31 2021-01-22 Information processing device
JP2022511567A JPWO2021199606A1 (ja) 2020-03-31 2021-01-22
EP21781132.2A EP4131207A4 (en) 2020-03-31 2021-01-22 INFORMATION PROCESSING DEVICE
JP2024025469A JP2024052826A (ja) 2020-03-31 2024-02-22 情報処理装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020064256 2020-03-31
JP2020-064256 2020-03-31

Publications (1)

Publication Number Publication Date
WO2021199606A1 true WO2021199606A1 (ja) 2021-10-07

Family

ID=77928451

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/002120 WO2021199606A1 (ja) 2020-03-31 2021-01-22 情報処理装置

Country Status (4)

Country Link
US (1) US20230222728A1 (ja)
EP (1) EP4131207A4 (ja)
JP (2) JPWO2021199606A1 (ja)
WO (1) WO2021199606A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001319290A (ja) * 2000-05-12 2001-11-16 Hitachi Zosen Corp 車種判別方法および装置
JP2002251691A (ja) * 2001-02-26 2002-09-06 Systec:Kk 車両長計測方法及び車両長計測装置
JP2006317304A (ja) 2005-05-13 2006-11-24 Mitsubishi Heavy Ind Ltd 監視装置
WO2012117542A1 (ja) 2011-03-02 2012-09-07 トヨタ自動車株式会社 レーザレーダ装置
JP2016014970A (ja) * 2014-07-01 2016-01-28 富士重工業株式会社 車両用運転支援装置
JP6019866B2 (ja) 2012-07-19 2016-11-02 富士通株式会社 距離測定装置、発光タイミング制御装置及びプログラム
JP2017146153A (ja) 2016-02-16 2017-08-24 トヨタ自動車株式会社 車両形状推定装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6304321B1 (en) * 1992-11-23 2001-10-16 Schwartz Electro-Optics, Inc. Vehicle classification and axle counting sensor system and method
AT500122B1 (de) * 2001-12-14 2007-01-15 Kapsch Trafficcom Ag Verfahren und vorrichtung zur geometrischen vermessung von kraftfahrzeugen
US20210109197A1 (en) * 2016-08-29 2021-04-15 James Thomas O'Keeffe Lidar with guard laser beam and adaptive high-intensity laser beam
US10935378B2 (en) * 2018-05-21 2021-03-02 Tusimple, Inc. System and method for angle measurement
US11579629B2 (en) * 2019-03-15 2023-02-14 Nvidia Corporation Temporal information prediction in autonomous machine applications

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001319290A (ja) * 2000-05-12 2001-11-16 Hitachi Zosen Corp 車種判別方法および装置
JP2002251691A (ja) * 2001-02-26 2002-09-06 Systec:Kk 車両長計測方法及び車両長計測装置
JP2006317304A (ja) 2005-05-13 2006-11-24 Mitsubishi Heavy Ind Ltd 監視装置
WO2012117542A1 (ja) 2011-03-02 2012-09-07 トヨタ自動車株式会社 レーザレーダ装置
JP6019866B2 (ja) 2012-07-19 2016-11-02 富士通株式会社 距離測定装置、発光タイミング制御装置及びプログラム
JP2016014970A (ja) * 2014-07-01 2016-01-28 富士重工業株式会社 車両用運転支援装置
JP2017146153A (ja) 2016-02-16 2017-08-24 トヨタ自動車株式会社 車両形状推定装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4131207A4

Also Published As

Publication number Publication date
EP4131207A1 (en) 2023-02-08
JPWO2021199606A1 (ja) 2021-10-07
EP4131207A4 (en) 2024-04-10
JP2024052826A (ja) 2024-04-12
US20230222728A1 (en) 2023-07-13

Similar Documents

Publication Publication Date Title
JP5689907B2 (ja) 車両において通行物体位置検出を向上する方法
US10501059B2 (en) Stereo camera device
EP3193306B1 (en) A method and a device for estimating an orientation of a camera relative to a road surface
US20140347207A1 (en) Probabilistic target selection and threat assessment method and application to intersection collision alert system
Dannheim et al. Weather detection in vehicles by means of camera and LIDAR systems
CN104793202A (zh) 多雷达成像传感器的对象融合系统
WO2020235396A1 (ja) 障害物検出装置および障害物検出方法
EP3572841B1 (en) Method of modelling a scanning distance sensor for prototyping parameters of such sensor and/or for prototyping software processing the output of such sensor
CN110490217A (zh) 用于改进对象检测和对象分类的方法和系统
JP5509615B2 (ja) 車両検出装置、車両検出方法、および車両検出プログラム
CN110068826B (zh) 一种测距的方法及装置
KR100962329B1 (ko) 스테레오 카메라 영상으로부터의 지면 추출 방법과 장치 및이와 같은 방법을 구현하는 프로그램이 기록된 기록매체
WO2021199606A1 (ja) 情報処理装置
JP2013097532A (ja) 評価値算出装置及び評価値算出方法
JP2021163211A (ja) 情報処理装置
JP2021163210A (ja) 情報処理装置
JP2021163212A (ja) 情報処理装置
JP2021163213A (ja) 情報処理装置
CN113256483A (zh) 用于目标识别的点云数据去抖动
CN115407305B (zh) 一种基于激光雷达的水平二维风场获取方法和装置
CN115151836A (zh) 用于探测车辆周围环境中的移动对象的方法和机动车辆
JP3879874B2 (ja) 物流計測装置
JP5655038B2 (ja) 移動体認識システム、移動体認識プログラム、及び移動体認識方法
US20220365193A1 (en) Method for estimating correction angles in a radar sensor for motor vehicles
JP7344743B2 (ja) 占有マップの作成方法、及び、占有マップの作成装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21781132

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022511567

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021781132

Country of ref document: EP

Effective date: 20221031