WO2023152870A1 - 情報処理装置、制御方法、プログラム及び記憶媒体 - Google Patents

情報処理装置、制御方法、プログラム及び記憶媒体 Download PDF

Info

Publication number
WO2023152870A1
WO2023152870A1 PCT/JP2022/005352 JP2022005352W WO2023152870A1 WO 2023152870 A1 WO2023152870 A1 WO 2023152870A1 JP 2022005352 W JP2022005352 W JP 2022005352W WO 2023152870 A1 WO2023152870 A1 WO 2023152870A1
Authority
WO
WIPO (PCT)
Prior art keywords
point cloud
cloud information
point
points
information processing
Prior art date
Application number
PCT/JP2022/005352
Other languages
English (en)
French (fr)
Inventor
良司 野口
Original Assignee
パイオニア株式会社
パイオニアスマートセンシングイノベーションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パイオニア株式会社, パイオニアスマートセンシングイノベーションズ株式会社 filed Critical パイオニア株式会社
Priority to PCT/JP2022/005352 priority Critical patent/WO2023152870A1/ja
Publication of WO2023152870A1 publication Critical patent/WO2023152870A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating

Definitions

  • This disclosure relates to technology for processing measured data.
  • Patent Literature 1 discloses a forward vehicle recognition device that detects the distance and inclination of a forward vehicle by changing the lighting pattern for projecting the light projection pattern depending on the detection state of the light projection pattern. .
  • the present disclosure provides an information processing device, a control method, a program, and a storage medium storing the program, which can suitably process point cloud information output by the measuring device even when the measuring device fluctuates. is the main purpose.
  • the claimed invention is Acquisition means for acquiring point cloud information, which is a set of data representing points measured by the measuring device in each measurement direction; a detection means for detecting a change of the measuring device of a predetermined degree or more; Based on the presence or absence of detection of the change, the second point cloud information, which is the point cloud information obtained at the preprocessing time, corresponds to each point of the first point cloud information, which is the point cloud information obtained at the current processing time.
  • a processing means for determining a search range for searching for points of point cloud information; It is an information processing device having
  • Acquire point cloud information which is a set of data representing points measured by the measuring device in each measurement direction, Detecting a change of a predetermined degree or more in the measuring device, Based on the presence or absence of detection of the change, the second point cloud information, which is the point cloud information obtained at the preprocessing time, corresponds to each point of the first point cloud information, which is the point cloud information obtained at the current processing time. determine the search range for searching for points in the point cloud information; control method.
  • Acquire point cloud information which is a set of data representing points measured by the measuring device in each measurement direction, Detecting a change of a predetermined degree or more in the measuring device, Based on the presence or absence of detection of the change, the second point cloud information, which is the point cloud information obtained at the preprocessing time, corresponds to each point of the first point cloud information, which is the point cloud information obtained at the current processing time.
  • It is a program that causes a computer to execute processing for determining a search range for searching for points of point cloud information.
  • FIG. 1 shows a schematic configuration of a lidar according to a first embodiment; It is an example of the flowchart concerning 1st Example.
  • (A) shows an example of a search range when pitch fluctuation is not considered.
  • (B) shows an example of a search range set when a change is detected in the change detection process.
  • 1 shows a schematic configuration of a lidar according to a second embodiment; It is an example of the flowchart concerning 2nd Example.
  • FIG. 11 is a configuration diagram of a lidar system according to a third embodiment;
  • the information processing device includes acquisition means for acquiring point cloud information, which is a set of data representing points measured by the measurement device in each measurement direction; and the detection means obtained at the preprocessing time corresponding to each point of the first point cloud information, which is the point cloud information obtained at the current processing time, based on whether or not the change is detected. and processing means for determining a search range for searching for points of second point group information, which is point group information.
  • the information processing device provides accurate correspondence between the first point group information corresponding to the current processing time and the second point group information corresponding to the preprocessing time even when the measurement device fluctuates. It is possible to suitably set a search range that can be attached.
  • the processing means when the change is detected, expands the search range in the direction of the change. Accordingly, the information processing device can set a search range that allows accurate association between the first point group information and the second point group information based on the direction in which the change occurred.
  • the detection means detects the variation in at least one of the pitch direction, yaw direction, and roll direction of the measurement device. In this way, the information processing device can set a search range corresponding to variations in the pitch direction, yaw direction, or roll direction of the measuring device.
  • the processing means detects the direction in which the change occurs, out of the positive direction or the negative direction of the pitch direction, the yaw direction, or the roll direction, and detects the change in the direction opposite to the direction. Expand the search range. Thereby, the information processing device can expand the search range in a necessary direction when a change is detected.
  • the detection means detects the variation based on the first point group information and the second point group information. In a preferred example, the detection means detects the variation based on a collation result between the first point group information and the second point group information based on the ground points that are the points representing the ground. In another preferred example, the detection means detects the variation based on a collation result between the first point group information and the second point group information based on the points representing the measured distances equal to or greater than a predetermined distance.
  • the detection means detects the variation based on a detection signal output by a sensor provided on the measuring device or a moving body provided with the measuring device. This aspect also enables the information processing device to suitably detect fluctuations in the measuring device.
  • a control method executed by an information processing device wherein point cloud information, which is a set of data representing points measured by the measuring device in each measurement direction, is acquired, and is detected at a predetermined degree or more, and based on the presence or absence of the detection of the change, corresponding to each point of the first point cloud information, which is the point cloud information obtained at the current processing time, obtained at the preprocessing time
  • a search range for searching for points of the second point group information, which is the point group information obtained, is determined.
  • the program acquires point cloud information, which is a set of data representing points measured by the measuring device in each measurement direction, and detects a change of the measuring device of a predetermined degree or more. , the point cloud information obtained at the preprocessing time corresponding to each point of the first point cloud information which is the point cloud information obtained at the current processing time based on whether or not the change is detected;
  • a computer is caused to execute processing for determining a search range for searching for points of two-point group information. By executing this program, the computer can accurately match the first point cloud information corresponding to the current processing time and the second point cloud information corresponding to the preprocessing time even when the measuring device fluctuates. It is possible to suitably set a search range in which an appropriate association is possible.
  • the program is stored in a storage medium.
  • FIG. 1 shows a schematic configuration of a lidar 100 according to the first embodiment.
  • the rider 100 is mounted in a vehicle that supports driving such as automatic driving, for example.
  • the lidar 100 irradiates a laser beam in a predetermined angular range in the horizontal and vertical directions, and receives light (also referred to as “reflected light”) returned by the laser beam reflected by an object.
  • the distance from the lidar 100 to the object is discretely measured, and point cloud information indicating the three-dimensional position of the object is generated.
  • the lidar 100 mainly includes a transmitter 1, a receiver 2, a beam splitter 3, a scanner 5, a piezo sensor 6, a controller 7, and a memory 8.
  • the transmitter 1 is a light source that emits pulsed laser light toward the beam splitter 3 .
  • the transmitter 1 includes, for example, an infrared laser emitting element.
  • the transmitter 1 is driven based on the drive signal “Sg1” supplied from the controller 7 .
  • the receiving unit 2 is, for example, an avalanche photodiode, generates a detection signal "Sg2" corresponding to the amount of received light, and supplies the generated detection signal Sg2 to the control unit 7.
  • the beam splitter 3 transmits the pulsed laser light emitted from the transmitter 1 . Also, the beam splitter 3 reflects the light reflected by the scanner 5 toward the receiver 2 .
  • the scanner 5 is, for example, an electrostatically driven mirror (MEMS mirror), and the tilt (that is, the optical scanning angle) changes within a predetermined range based on the drive signal "Sg3" supplied from the control unit 7.
  • the scanner 5 reflects the laser light that has passed through the beam splitter 3 toward the outside of the lidar 100 , and reflects the reflected light incident from the outside of the lidar 100 toward the beam splitter 3 .
  • a point measured by irradiating the laser beam within the measurement range of the lidar 100 or measurement data thereof is also referred to as a "point to be measured”.
  • the scanner 5 is provided with a piezo sensor 6 .
  • the piezo sensor 6 detects strain caused by the stress of the torsion bar that supports the mirror portion of the scanner 5 .
  • the piezo sensor 6 supplies the generated detection signal “Sg4” to the controller 7 .
  • the detection signal Sg4 is used for detecting the orientation of the scanner 5.
  • the memory 8 is composed of various volatile and nonvolatile memories such as RAM (Random Access Memory), ROM (Read Only Memory), and flash memory.
  • the memory 8 stores programs necessary for the control unit 7 to execute predetermined processing.
  • the memory 8 also stores various parameters referred to by the control unit 7 . Further, the memory 8 stores the latest point cloud information for a predetermined number of frames generated by the control unit 7 .
  • the control unit 7 includes various processors such as a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit).
  • the control unit 7 executes a predetermined process by executing a program stored in the memory 8 .
  • the control unit 7 is an example of a computer that executes programs. Note that the control unit 7 is not limited to being realized by software programs, and may be realized by any combination of hardware, firmware, and software.
  • the control unit 7 may be a user-programmable integrated circuit such as FPGA (field-programmable gate array) or microcontroller, ASSP (Application Specific Standard Produce), ASIC (Application Specific Integrated Circuit), etc. may be
  • the control unit 7 functionally includes a transmission drive block 70 , a scanner drive block 71 , a point cloud information generation block 72 and a point cloud information processing block 73 .
  • the transmission drive block 70 outputs a drive signal Sg1 for driving the transmission section 1.
  • the drive signal Sg1 includes information for controlling the light emission time of the laser light emitting element included in the transmitter 1 and the light emission intensity of the laser light emitting element.
  • the transmission drive block 70 controls the emission intensity of the laser light emitting element included in the transmission section 1 based on the drive signal Sg1.
  • the scanner drive block 71 outputs a drive signal Sg3 for driving the scanner 5.
  • the drive signal Sg3 includes a horizontal drive signal corresponding to the resonance frequency of the scanner 5 and a vertical drive signal for vertical scanning. Further, the scanner drive block 71 monitors the detection signal Sg4 output from the piezo sensor 6 to detect the scanning angle of the scanner 5 (that is, the laser beam emission direction).
  • the point group information generation block 72 uses the lidar 100 as a reference point to determine the distance (measurement distance) to the object irradiated with the laser beam in the measurement direction (that is, the direction of the laser beam). point group information shown for each emission direction). In this case, the point group information generation block 72 calculates the time from when the laser light is emitted until the receiving unit 2 detects the reflected light as the time of flight of light. Then, the point cloud information generation block 72 generates a point cloud indicating a set of points corresponding to a set of the measured distance corresponding to the calculated flight time and the emitting direction of the laser beam corresponding to the reflected light received by the receiving unit 2.
  • the point cloud information obtained by scanning all the points to be measured once will be referred to as point cloud information for one frame.
  • the point group information can be regarded as an image in which each measurement direction is a pixel and the measurement distance in each measurement direction is a pixel value.
  • the emission direction of the laser light differs at the elevation/depression angle when the pixels are arranged in the vertical direction
  • the emission direction of the laser light at the horizontal angle differs when the pixels are arranged in the horizontal direction.
  • a coordinate value in a three-dimensional coordinate system with the lidar 100 as a reference is obtained based on the corresponding set of the emission direction and the measured distance.
  • the point cloud information processing block 73 removes noise data (false alarm data) generated by erroneously detecting an object in the point cloud information.
  • noise data false alarm data
  • measurement points corresponding to data generated by detecting an existing object will be referred to as “effective points”
  • measurement points other than effective points that is, measurement points corresponding to noise data
  • invalid points called a point.
  • the point cloud information processing block 73 processes a frame of point cloud information obtained at the current processing time (also referred to as “current frame”) and a frame of point cloud information obtained in the past (also referred to as “past frame”). and to search for the corresponding measured point, and based on the search result, it is determined whether or not it is an effective point.
  • the point cloud information processing block 73 expands the range to be searched (search range) when detecting a change in the pitch direction of the rider 100, so that the effective Accurately carry out point judgment.
  • the current frame is an example of "first point group information”
  • the past frame is an example of "second point group information”.
  • the point cloud information processing block 73 is an example of "acquisition means”, “detection means” and “processing means”.
  • the lidar 100 excluding the point cloud information processing block 73 is an example of the "measurement device”.
  • the point cloud information processing block 73 stores flag information indicating whether or not each point to be measured is an effective point in the point cloud information. may be added to Further, the point cloud information processing block 73 may supply the point cloud information after noise data removal processing to an external device existing outside the lidar 100, or may supply other devices in the lidar 100 that perform obstacle detection or the like. It may be fed to a processing block.
  • the point group information may be output to, for example, a device that controls driving support such as automatic driving of a vehicle (also called a "driving support device"). In this case, for example, the vehicle is controlled to avoid at least the obstacle point based on the point group information.
  • the driving support device may be, for example, a vehicle ECU (Electronic Control Unit), or an in-vehicle device such as a car navigation device electrically connected to the vehicle.
  • the point cloud information processing block 73 also stores the point cloud information for each frame in the memory 8 in association with time information indicating the processing time for each frame.
  • the lidar 100 is not limited to a scanning type lidar that scans a laser beam over a visual field range, but is a flash type lidar that generates three-dimensional data by diffusing and irradiating a laser beam into the visual field range of a two-dimensional array sensor. may be a rider of
  • FIG. 2 is an example of a flow chart showing the procedure of processing (point group information processing) relating to point group information.
  • the lidar 100 repeatedly executes point cloud information processing in each cycle of generating point cloud information for one frame.
  • the point cloud information generation block 72 generates point cloud information based on the detection signal Sg2 (step S01). In this case, the point cloud information generation block 72 generates the point cloud information of the current frame based on the detection signal Sg2 generated by one scan of the scanning target range of the lidar 100 .
  • the point cloud information processing block 73 executes noise removal processing, which is processing for removing noise data from the point cloud information generated in step S01 (step S02).
  • the point cloud information processing block 73 determines whether or not each measured point in the current frame is a valid point based on the current frame and the past frame. For example, the point cloud information processing block 73 sets a range (also referred to as a “search range”) for searching for corresponding measured points in the current frame and the past frame for each valid point in the past frame. Then, the point cloud information processing block 73 searches within the search range for points to be measured in the current frame where the difference between the effective points in the target past frame and the measured distance is within a predetermined distance difference.
  • a range also referred to as a “search range”
  • the point cloud information processing block 73 sets points to be measured in the current frame whose measurement distances are close to a predetermined number or more of effective points in the past frame as effective points, and sets the other points as ineffective points. Since the search range here does not consider whether the rider 100 fluctuates in the pitch direction (corresponds to the normal search range described later), if the rider 100 fluctuates in the pitch direction, Regardless, there are points to be measured that are determined to be invalid points. Such points to be measured are corrected to effective points by the pitch variation handling process described later.
  • the point cloud information processing block 73 may perform arbitrary noise removal processing based on the point cloud information of the current frame, not based on the point cloud information of the past frame. For example, the point cloud information processing block 73 regards points to be measured at which the intensity of the reflected light received by the receiver 2 is less than a predetermined threshold value as invalid points. In another example, the point cloud information processing block 73 may perform clustering of the points to be measured by the Euclidean distance based on the measurement distance, and regard the points to be measured belonging to clusters with less than a predetermined number of elements as invalid points.
  • the point cloud information processing block 73 executes variation detection processing, which is processing for detecting variation in the pitch direction of the rider 100, based on the point cloud information (step S03). As a result, the point cloud information processing block 73 accurately detects the change when the rider 100 changes in the pitch direction due to the vehicle passing over a bump, step, or the like.
  • step S04 determines whether a change in the pitch direction is detected by the change detection processing.
  • step S05 the point cloud information processing block 73 sets a search range for searching for points to be measured that correspond to the current frame and the past frame, and based on the search results in the search range, determines that the point is an invalid point in step S02. Set some of the measured points that have been measured as effective points.
  • step S04 determines whether the point cloud information processing block 73 does not detect a change in the pitch direction in the change detection process.
  • the point cloud information processing block 73 matches effective points in the past frame (for example, the past frame one processing time ago) with effective points in the current frame determined as effective points in the noise removal process. Then, based on the result of matching (collation result), the point cloud information processing block 73 determines the variation width in the pitch direction from the past frame (that is, the number of horizontal scan lines or the vertical direction when the point cloud information is regarded as an image). is greater than or equal to a predetermined width, it is determined that the rider 100 has changed in the pitch direction.
  • the point cloud information processing block 73 may use individual effective points as objects to be matched (collation objects), or may use points to be measured representing the ground (also referred to as “ground points”).
  • a cluster based on clustering may be used, or a detected object may be used when object detection processing (instance segmentation, etc.) has been performed.
  • the point cloud information processing block 73 may perform matching of the matching target based on an arbitrary matching method (optimization method) and calculate the above-described variation range.
  • the point cloud information processing block 73 estimates a plane representing the ground based on the effective points determined in the noise removal processing in step S02, for example.
  • a valid point that exists at a position higher than a predetermined threshold is determined as an obstacle point, and other valid points are determined as ground points. Then, the point cloud information processing block 73 calculates the variation range between the ground point in the current frame and the ground point in the past frame.
  • the point cloud information processing block 73 may define the space in which the above matching is performed in the entire field of view of the lidar 100, or in a space separated by a predetermined distance or more.
  • the point cloud information processing block 73 may perform the matching described above, for example, on effective points (or clusters or objects) whose measured distance is greater than or equal to a predetermined distance.
  • the point cloud information processing block 73 may detect variations in the pitch direction of the rider 100 based on the tracking results when tracking is performed on an object-by-object basis or on a cluster-by-cluster basis. In this case, the point cloud information processing block 73 predicts the position of the object or cluster in the current frame from the past frame, and the deviation width in the pitch direction between the predicted position and the actual position in the current frame is a predetermined width or more. In this case, it is determined that there is a change in the pitch direction of the rider 100 .
  • the point cloud information processing block 73 detects effective points in the past frame based on the vertically expanded search range corresponding to the pitch direction in which the variation occurred. Search for the corresponding measured points in the current frame. As a result, the point cloud information processing block 73 searches for corresponding points to be measured in the past frame and the current frame even if the rider 100 moves in the pitch direction when the vehicle passes over a bump or step. and accurately determine the effective points.
  • FIG. 3(A) shows an example of a search range (also referred to as "normal search range") when pitch fluctuation is not considered.
  • Each point Pi, Pi1 to Pi6 in FIG. 3A is a point to be measured represented on a virtual two-dimensional plane facing the rider 100.
  • FIG. 3(A) shows an example of a search range (also referred to as "normal search range") when pitch fluctuation is not considered.
  • Each point Pi, Pi1 to Pi6 in FIG. 3A is a point to be measured represented on a virtual two-dimensional plane facing the rider 100.
  • the point cloud information processing block 73 sets a normal search range in the noise removal process of step S02, etc., and searches for measured points in the current frame corresponding to effective points in the past frame. Specifically, the point cloud information processing block 73 sequentially sets each effective point of the past frame as the attention point Pi, and sets the normal search range for the set attention point Pi. Then, the point cloud information processing block 73 compares the measured distance of each of the points Pi1 to Pi6 in the current frame existing within the normal search range with the measured distance of the target point Pi in the past frame. Then, the point cloud information processing block 73 sets measurement points in the current frame whose measurement distance is close to a predetermined number or more of effective points in the past frame as effective points, and sets other measurement points as ineffective points.
  • the points Pi1 to Pi6 within the normal search range have similar measurement directions in the horizontal direction (horizontal direction) and vertical direction (vertical direction) to the measurement direction of the target point Pi.
  • a point Pi2 and a point Pi3 exist on the left and right sides of one line of the target point Pi, and a point Pi6 exists at the same position on two lines of the target point Pi.
  • a point Pi1 and a point Pi4 exist on the left and right of one line below the target point Pi, and a point Pi5 exists at the same position two lines below the target point Pi.
  • FIG. 3(B) shows an example of a search range (also referred to as a "variable search range") set when a change is detected in the change detection process.
  • the point cloud information processing block 73 expands the fluctuating search range more than the normal search range in the vertical direction corresponding to the pitch direction in which the rider 100 fluctuates.
  • the variable search range includes the normal search range, points Pi8 and Pi9 three lines above the target point Pi, points Pi12 four lines above, and points Pi7 and Pi10 three lines below the target point Pi. , and the point Pi11 four lines below.
  • the point cloud information processing block 73 sequentially sets the effective points of the past frame as the attention point Pi in the pitch variation handling process, and the measured distance becomes within a predetermined distance difference from the measured distance of the attention point Pi of the past frame.
  • the measured points in the current frame are searched based on the variable search range.
  • the point cloud information processing block 73 determines the points to be measured in the current frame (specifically, noise removal processing) whose measurement distance is within a predetermined distance difference from a predetermined number or more of valid points in the past frame. points determined as invalid points) are set as valid points.
  • the point cloud information processing block 73 may perform the above-described pitch fluctuation handling process using a past frame corresponding to the processing time of one frame before the current frame, or use past frames corresponding to a plurality of processing times. , the above-described pitch variation handling process may be performed. In this case, the point cloud information processing block 73 may set, as valid points, points to be measured in the current frame that correspond to valid points in any past frame.
  • the point cloud information processing block 73 responds to the pitch variation based on the variable search range in which the vertical direction corresponding to the pitch direction in which the variation occurred is expanded from the normal search range. process.
  • the point cloud information processing block 73 can accurately search for corresponding points to be measured between the past frame and the current frame when the rider 100 moves in the pitch direction when the vehicle passes over a bump, step, or the like. , it is possible to accurately determine the effective points.
  • the point cloud information processing block 73 determines whether the pitch direction fluctuates in the positive direction (for example, the direction in which the elevation angle increases) or in the negative direction (the direction in which the depression angle increases) (that is, changes over time). ), a variable search range may be set. For example, when the point cloud information processing block 73 detects that the lidar 100 has changed in the direction in which the elevation angle increases, the object moves relatively downward in the current frame, and thus the normal search range is lowered. Set the variable search range expanded in the direction. Similarly, when the point cloud information processing block 73 detects that the rider 100 has changed in the direction in which the angle of depression increases, it sets a variable search range obtained by expanding the normal search range upward.
  • the point cloud information processing block 73 sets a variable search range obtained by expanding the normal search range in the direction opposite to the direction of variation (here, the positive or negative direction of the pitch direction). Thereby, the search range can be set according to the variation of the rider 100 .
  • the point cloud information processing block 73 may detect changes of the rider 100 in the yaw or roll direction in addition to or instead of detecting changes in the rider 100 in the pitch direction. In this case, when the variation is detected, the point cloud information processing block 73 performs the same processing as the pitch variation processing based on the variation search range obtained by expanding the search range in the direction corresponding to the direction of the detected variation. Execute using the past frame and the current frame. As a result, the point cloud information processing block 73 can accurately determine the valid points of the current frame even when the rider 100 changes in directions other than the pitch direction.
  • the use of the search range described above is not limited to determining whether or not there is a correspondence with effective points in past frames in noise removal processing.
  • the point cloud information processing block 73 may expand the search range according to the change of the lidar 100 when using the search range for object detection (including tracking).
  • the point cloud information processing block 73 calculates a search range based on the predicted position of the tracked object or cluster in the current frame based on any tracking technique, and the detection of the tracked target in the past frame. Set based on the result, and search for the tracked object within the search range. In this case, the point cloud information processing block 73 expands the search range (variable search range) when the variation is detected in the variation detection process, more than the normal search range. As a result, the point cloud information processing block 73 can appropriately perform tracking even when the rider 100 changes due to the vehicle passing over a bump or step.
  • FIG. 4 shows a schematic configuration of a rider 100A according to the second embodiment.
  • the rider 100A differs from the rider 100 according to the first embodiment in that it performs variation detection processing based on information output by a sensor 9, which is a sensor provided in the vehicle or the rider 100A in which the rider 100A is mounted.
  • a sensor 9 which is a sensor provided in the vehicle or the rider 100A in which the rider 100A is mounted.
  • constituent elements of the rider 100A that are the same as those of the rider 100 according to the first embodiment will be given the same reference numerals as appropriate, and description thereof will be omitted.
  • the sensor 9 is a sensor provided in the vehicle on which the rider 100A is mounted or the rider 100A, and detects changes in the vehicle or the rider 100A.
  • the sensor 9 may be an acceleration sensor or any other sensor intended for vibration detection.
  • the sensor 9 supplies the detection signal Sg5 to the point cloud information processing block 73 .
  • the point cloud information processing block 73 executes variation detection processing, which is processing for detecting variation in the pitch direction of the rider 100A to a predetermined degree or more. For example, the point cloud information processing block 73 detects that the rider 100A has changed in the pitch direction when the degree of vibration indicated by the detection signal Sg5 is equal to or greater than a predetermined degree. Then, the point cloud information processing block 73 performs noise removal processing using the variable search range when a change is detected in the change detection process, and normally performs noise removal processing when no change is detected in the change detection process. Noise removal processing is performed using the search range.
  • FIG. 5 is an example of a flowchart showing the procedure of point cloud information processing according to the second embodiment.
  • the rider 100A repeatedly executes point cloud information processing in each cycle of generating point cloud information for one frame.
  • the point cloud information generation block 72 generates point cloud information based on the detection signal Sg2 (step S11).
  • the point cloud information processing block 73 executes a change detection process based on the detection signal Sg5 output from the sensor 9 (step S12). As a result, the point cloud information processing block 73 accurately detects the change when the rider 100 changes in the pitch direction due to the vehicle passing over a bump, step, or the like.
  • the point cloud information processing block 73 performs noise data removal processing based on the past frame and the current frame assuming the change in the pitch direction. is executed (step S14).
  • the point cloud information processing block 73 sets a variable search range for each valid point in the past frame, and searches for points to be measured in the current frame whose measured distance is within a predetermined distance. Then, the point cloud information processing block 73 sets points to be measured in the current frame whose measurement distances are close to a predetermined number or more of effective points in the past frame as effective points, and sets the other points as ineffective points.
  • the point cloud information processing block 73 performs a process of setting measurement points at which the intensity of the reflected light received by the receiving unit 2 is less than a predetermined threshold as invalid points, clusters the measurement points, and performs a process of clustering the measurement points so that the number of elements is less than a predetermined number. A process of setting the points to be measured belonging to the cluster as invalid points is executed.
  • step S13 if no change in the pitch direction is detected by the change detection process (step S13; No), the point cloud information processing block 73 executes normal noise removal process (step S15). In this case, the point cloud information processing block 73 executes the same noise removal processing as step S02 of the first embodiment.
  • FIG. 6 is a configuration diagram of the lidar system according to the third embodiment.
  • a device other than the rider 100X has the point cloud information processing block 73 of the control unit 7 and functions corresponding to the point cloud information processing block 73 .
  • Elements of the third embodiment that are the same as those of the first embodiment or the second embodiment will be denoted by the same reference numerals, and description thereof will be omitted.
  • the lidar system according to the third embodiment has a lidar 100X and an information processing device 200.
  • the rider 100X supplies the point cloud information generated by the point cloud information generation block 72 to the information processing device 200.
  • the information processing device 200 has a control unit 7A and a memory 8.
  • the memory 8 stores information necessary for the control section 7A to execute processing.
  • the control unit 7A functionally has a point cloud information acquisition block 72A and a point cloud information processing block 73 .
  • the point cloud information acquisition block 72A receives the point cloud information generated by the point cloud information generation block 72 of the rider 100X and supplies the received point cloud information to the point cloud information processing block 73 .
  • the point cloud information processing block 73 performs the same processing as the point cloud information processing block 73 of the above-described embodiment on the point cloud information supplied from the point cloud information acquisition block 72A.
  • the information processing device 200 may be realized by a driving support device. Further, the parameter information necessary for processing may be stored by another device having a memory that the information processing device 200 can refer to. Also with the configuration of this modification, the information processing apparatus 200 can accurately remove noise from the point cloud information generated by the rider 100X.
  • the control unit 7 of the rider 100 according to the first embodiment or the second embodiment or the control unit 7A of the information processing apparatus 200 according to the third embodiment functions as an information processing apparatus according to the present invention, Functionally, it has acquisition means, detection means, and processing means.
  • the acquisition means acquires point group information, which is a set of data representing points measured by the measuring device in each measurement direction.
  • the detection means detects a variation of the measuring device of a predetermined degree or more.
  • the processing means determines a search range for searching for the points of the point cloud information obtained at the preprocessing time corresponding to each of the points of the point cloud information obtained at the current processing time, based on whether or not the change is detected. .
  • the correspondence between points included in the point cloud information between the current processing time and the preprocessing time can be recognized, and noise removal processing and tracking processing can be performed appropriately. can be executed.
  • Non-transitory computer readable media include various types of tangible storage media.
  • Examples of non-transitory computer-readable media include magnetic storage media (e.g., floppy disks, magnetic tapes, hard disk drives), magneto-optical storage media (e.g., magneto-optical discs), CD-ROMs (Read Only Memory), CD-Rs, CD-R/W, semiconductor memory (eg mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (Random Access Memory)).

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

情報処理装置は、機能的には、取得手段と、検出手段と、処理手段とを有する。取得手段は、計測装置が計測方向ごとに計測した点を表すデータの集合である点群情報を取得する。検出手段は、計測装置の所定度合い以上の変動を検出する。処理手段は、変動の検出の有無に基づき、現処理時刻において得られた点群情報の点の各々に対応する、前処理時刻において得られた点群情報の点を探索する探索範囲を決定する。

Description

情報処理装置、制御方法、プログラム及び記憶媒体
 本開示は、計測したデータを処理する技術に関する。
 従来から、計測対象物に光を照射して該計測対象物からの反射光を検出し、該計測対象物に光を照射するタイミングと、該計測対象物からの反射光を検出するタイミングとの時間差により計測対象物までの距離を算出する測距装置が知られている。また、特許文献1には、投光パターンの検出状態により、投光パターンを投光するための点灯パターンを変更し、前方車両との距離や傾きを検出する前方車両認識装置が開示されている。
特開2008-082750号公報
 ライダなどの計測装置を搭載した車両が段差のある道を通過した場合などには、計測装置の傾きが大きく変動してしまい、変動前に計測装置が出力した点群情報と変動後に計測装置が出力した点群情報との対応付けが困難となる。
 本発明の解決しようとする課題としては、上記のものが一例として挙げられる。本開示は、計測装置に変動があった場合においても計測装置が出力する点群情報を好適に処理することが可能な情報処理装置、制御方法、プログラム及びプログラムを記憶した記憶媒体を提供することを主な目的とする。
 請求項に記載の発明は、
 計測装置が計測方向ごとに計測した点を表すデータの集合である点群情報を取得する取得手段と、
 前記計測装置の所定度合い以上の変動を検出する検出手段と、
 前記変動の検出の有無に基づき、現処理時刻において得られた前記点群情報である第1点群情報の点の各々に対応する、前処理時刻において得られた前記点群情報である第2点群情報の点を探索する探索範囲を決定する処理手段と、
を有する情報処理装置である。
 また、請求項に記載の発明は、
 計測装置が計測方向ごとに計測した点を表すデータの集合である点群情報を取得し、
 前記計測装置の所定度合い以上の変動を検出し、
 前記変動の検出の有無に基づき、現処理時刻において得られた前記点群情報である第1点群情報の点の各々に対応する、前処理時刻において得られた前記点群情報である第2点群情報の点を探索する探索範囲を決定する、
制御方法である。
 また、請求項に記載の発明は、
 計測装置が計測方向ごとに計測した点を表すデータの集合である点群情報を取得し、
 前記計測装置の所定度合い以上の変動を検出し、
 前記変動の検出の有無に基づき、現処理時刻において得られた前記点群情報である第1点群情報の点の各々に対応する、前処理時刻において得られた前記点群情報である第2点群情報の点を探索する探索範囲を決定する処理をコンピュータに実行させるプログラムである。
第1実施例に係るライダの概略構成を示す。 第1実施例に係るフローチャートの一例である。 (A)ピッチ変動を考慮しない場合の探索範囲の一例を示す。(B)変動検出処理において変動が検出された場合に設定される探索範囲の一例を示す。 第2実施例に係るライダの概略構成を示す。 第2実施例に係るフローチャートの一例である。 第3実施例に係るライダシステムの構成図である。
 本発明の好適な実施形態では、情報処理装置は、計測装置が計測方向ごとに計測した点を表すデータの集合である点群情報を取得する取得手段と、前記計測装置の所定度合い以上の変動を検出する検出手段と、前記変動の検出の有無に基づき、現処理時刻において得られた前記点群情報である第1点群情報の点の各々に対応する、前処理時刻において得られた前記点群情報である第2点群情報の点を探索する探索範囲を決定する処理手段と、を有する。この態様では、情報処理装置は、計測装置に変動が生じた場合であっても、現処理時刻に対応する第1点群情報と前処理時刻に対応する第2点群情報との的確な対応付けが可能な探索範囲を好適に設定することができる。
 上記情報処理装置の一態様では、前記処理手段は、前記変動が検出された場合、前記探索範囲を前記変動があった方向において拡大する。これにより、情報処理装置は、変動があった方向に基づき、第1点群情報と第2点群情報との的確な対応付けが可能な探索範囲を設定することができる。
 上記情報処理装置の他の一態様では、前記検出手段は、前記計測装置のピッチ方向、ヨー方向又はロール方向の少なくともいずれかにおける前記変動を検出する。このように、情報処理装置は、計測装置のピッチ方向、ヨー方向又はロール方向の変動に対応する探索範囲を設定することができる。
 上記情報処理装置の他の一態様では、前記処理手段は、前記ピッチ方向、ヨー方向又はロール方向の正方向又は負方向のうち前記変動があった方向を検出し、当該方向と反対方向に前記探索範囲を拡大する。これにより、情報処理装置は、変動を検出した場合に探索範囲を必要な方向に拡大することができる。
 上記情報処理装置の他の一態様では、前記検出手段は、前記第1点群情報と前記第2点群情報とに基づき、前記変動を検出する。好適な例では、前記検出手段は、地面を表す前記点である地面点に基づく前記第1点群情報と前記第2点群情報の照合結果に基づき、前記変動を検出する。他の好適な例では、前記検出手段は、所定距離以上の計測距離を表す前記点に基づく前記第1点群情報と前記第2点群情報との照合結果に基づき、前記変動を検出する。これらの態様により、情報処理装置は、好適に計測装置の変動を検出することが可能となる。
 上記情報処理装置の他の一態様では、前記検出手段は、前記計測装置又は当該計測装置が設けられた移動体に設けられたセンサが出力する検出信号に基づき、前記変動を検出する。この態様によっても、情報処理装置は、好適に計測装置の変動を検出することが可能となる。
 本発明の他の好適な実施形態では、情報処理装置が実行する制御方法であって、計測装置が計測方向ごとに計測した点を表すデータの集合である点群情報を取得し、前記計測装置の所定度合い以上の変動を検出し、前記変動の検出の有無に基づき、現処理時刻において得られた前記点群情報である第1点群情報の点の各々に対応する、前処理時刻において得られた前記点群情報である第2点群情報の点を探索する探索範囲を決定する。情報処理装置は、この制御方法を実行することで、計測装置に変動が生じた場合であっても、現処理時刻に対応する第1点群情報と前処理時刻に対応する第2点群情報との的確な対応付けが可能な探索範囲を好適に設定することができる。
 本発明の他の好適な実施形態では、プログラムは、計測装置が計測方向ごとに計測した点を表すデータの集合である点群情報を取得し、前記計測装置の所定度合い以上の変動を検出し、前記変動の検出の有無に基づき、現処理時刻において得られた前記点群情報である第1点群情報の点の各々に対応する、前処理時刻において得られた前記点群情報である第2点群情報の点を探索する探索範囲を決定する処理をコンピュータに実行させる。コンピュータは、このプログラムを実行することで、計測装置に変動が生じた場合であっても、現処理時刻に対応する第1点群情報と前処理時刻に対応する第2点群情報との的確な対応付けが可能な探索範囲を好適に設定することができる。好適には、上記プログラムは、記憶媒体に記憶される。
 以下、図面を参照して本発明の好適な各実施例について説明する。
 <第1実施例>
 (1)装置構成
 図1は、第1実施例に係るライダ100の概略構成を示す。ライダ100は、例えば、自動運転などの運転支援を行う車両に搭載される。ライダ100は、水平方向および垂直方向の所定の角度範囲に対してレーザ光を照射し、当該レーザ光が物体に反射されて戻った光(「反射光」とも呼ぶ。)を受光することで、ライダ100から物体までの距離を離散的に測定し、当該物体の3次元位置を示す点群情報を生成する。
 図1に示すように、ライダ100は、主に、送信部1と、受信部2と、ビームスプリッタ3と、スキャナ5と、ピエゾセンサ6と、制御部7と、メモリ8と、を有する。
 送信部1は、パルス状のレーザ光をビームスプリッタ3に向けて出射する光源である。送信部1は、例えば、赤外線レーザ発光素子を含む。送信部1は、制御部7から供給される駆動信号「Sg1」に基づき駆動する。
 受信部2は、例えばアバランシェフォトダイオード(Avalanche PhotoDiode)であり、受光した光量に対応する検出信号「Sg2」を生成し、生成した検出信号Sg2を制御部7へ供給する。
 ビームスプリッタ3は、送信部1から出射されるパルス状のレーザ光を透過する。また、ビームスプリッタ3は、スキャナ5によって反射された反射光を、受信部2に向けて反射する。
 スキャナ5は、例えば静電駆動方式のミラー(MEMSミラー)であり、制御部7から供給される駆動信号「Sg3」に基づき、傾き(即ち光走査の角度)が所定の範囲内で変化する。そして、スキャナ5は、ビームスプリッタ3を透過したレーザ光をライダ100の外部へ向けて反射すると共に、ライダ100の外部から入射する反射光をビームスプリッタ3へ向けて反射する。また、ライダ100の計測範囲内においてレーザ光が照射されることにより計測された点又はその計測データを「被計測点」とも呼ぶ。
 また、スキャナ5には、ピエゾセンサ6が設けられている。ピエゾセンサ6は、スキャナ5のミラー部を支持するトーションバーの応力により生じる歪みを検出する。ピエゾセンサ6は、生成した検出信号「Sg4」を、制御部7へ供給する。検出信号Sg4は、スキャナ5の向きの検出に用いられる。
 メモリ8は、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリなどの各種の揮発性メモリ及び不揮発性メモリにより構成される。メモリ8は、制御部7が所定の処理を実行するために必要なプログラムを記憶する。また、メモリ8は、制御部7により参照される各種パラメータを記憶する。また、メモリ8には、制御部7により生成された最新の所定フレーム数分の点群情報が記憶される。
 制御部7は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)などの各種プロセッサを含む。制御部7は、メモリ8に記憶されたプログラムを実行することで、所定の処理を実行する。制御部7は、プログラムを実行するコンピュータの一例である。なお、制御部7は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組合せ等により実現されてもよい。また、制御部7は、FPGA(field-programmable gate array)又はマイクロコントローラ等の、ユーザがプログラミング可能な集積回路であってもよく、ASSP(Application Specific Standard Produce)、ASIC(Application Specific Integrated Circuit)等であってもよい。
 制御部7は、機能的には、送信駆動ブロック70と、スキャナ駆動ブロック71と、点群情報生成ブロック72と、点群情報処理ブロック73と、を有する。
 送信駆動ブロック70は、送信部1を駆動する駆動信号Sg1を出力する。駆動信号Sg1は、送信部1に含まれるレーザ発光素子の発光時間と、当該レーザ発光素子の発光強度を制御するための情報を含む。送信駆動ブロック70は、駆動信号Sg1に基づき、送信部1に含まれるレーザ発光素子の発光強度を制御する。
 スキャナ駆動ブロック71は、スキャナ5を駆動するための駆動信号Sg3を出力する。この駆動信号Sg3は、スキャナ5の共振周波数に対応する水平駆動信号と、垂直走査するための垂直駆動信号と、を含む。また、スキャナ駆動ブロック71は、ピエゾセンサ6から出力される検出信号Sg4を監視することで、スキャナ5の走査角度(すなわちレーザ光の出射方向)を検出する。
 点群情報生成ブロック72は、受信部2から供給される検出信号Sg2に基づき、ライダ100を基準点として、レーザ光が照射された物体までの距離(計測距離)を計測方向(即ちレーザ光の出射方向)ごとに示した点群情報を生成する。この場合、点群情報生成ブロック72は、レーザ光を出射してから受信部2が反射光を検出するまでの時間を、光の飛行時間(Time of Flight)として算出する。そして、点群情報生成ブロック72は、算出した飛行時間に応じた計測距離と、受信部2が受信した反射光に対応するレーザ光の出射方向との組に対応する点の集合を示す点群情報を生成し、生成した点群情報を点群情報処理ブロック73に供給する。以後では、全被計測点に対する1回分の走査により得られる点群情報を、1フレーム分の点群情報とする。ここで、点群情報は、各計測方向を画素とし、各計測方向での計測距離を画素値とする画像とみなすことができる。この場合、画素の縦方向の並びにおいて仰俯角におけるレーザ光の出射方向が異なり、画素の横方向の並びにおいて水平角におけるレーザ光の出射方向が異なる。そして、各画素に対し、対応する出射方向及び計測距離の組に基づき、ライダ100を基準とする3次元座標系での座標値が求められる。
 点群情報処理ブロック73は、点群情報において物体を誤検出することで生成されたノイズデータ(誤警報データ)を除去する。以後では、実在する物体を検知することで生成されたデータに対応する被計測点を「有効点」と呼び、有効点以外の被計測点(即ちノイズデータに対応する被計測点)を「無効点」と呼ぶ。点群情報処理ブロック73は、現処理時刻において得られた点群情報のフレーム(「現フレーム」とも呼ぶ。)と、過去に得られた点群情報のフレーム(「過去フレーム」とも呼ぶ。)とで対応する被計測点を探索し、その探索結果に基づいて、有効点であるか否かの判定を行う。さらに、点群情報処理ブロック73は、この場合、ライダ100のピッチ方向の変動を検出した場合に、探索する範囲(探索範囲)を拡大することで、ライダ100の変動の有無によらずに有効点の判定を的確に実施する。現フレームは「第1点群情報」の一例であり、過去フレームは「第2点群情報」の一例である。点群情報処理ブロック73は、「取得手段」、「検出手段」及び「処理手段」の一例である。また、点群情報処理ブロック73を除くライダ100は、「計測装置」の一例である。
 なお、ノイズデータの除去の態様として、点群情報処理ブロック73は、ノイズデータを点群情報から削除する代わりに、有効点であるか否かを被計測点毎に示すフラグ情報を点群情報に付加してもよい。また、点群情報処理ブロック73は、ノイズデータの除去処理後の点群情報を、ライダ100の外部に存在する外部装置へ供給してもよく、障害物検出などを行うライダ100内の他の処理ブロックに供給してもよい。前者の場合、点群情報は、例えば、車両の自動運転などの運転支援を制御する装置(「運転支援装置」とも呼ぶ。)に出力されてもよい。この場合、例えば、点群情報に基づき、障害物点を少なくとも避けるような車両の制御が行われる。運転支援装置は、例えば、車両のECU(Electronic Control Unit)であってもよく、車両と電気的に接続したカーナビゲーション機器などの車載装置であってもよい。また、点群情報処理ブロック73は、フレーム毎の点群情報を、フレーム毎の処理時刻を示す時刻情報と関連付けてメモリ8に記憶する。また、ライダ100は、視野範囲に対してレーザ光をスキャンするスキャン型のライダに限らず、2次元アレイ状のセンサの視野範囲にレーザ光を拡散照射することによって3次元データを生成するフラッシュ型のライダであってもよい。
 (2)処理概要
 図2は、点群情報に関する処理(点群情報処理)の手順を示すフローチャートの一例である。ライダ100は、点群情報処理を、1フレーム分の点群情報を生成する周期ごとに繰り返し実行する。
 まず、点群情報生成ブロック72は、検出信号Sg2に基づき、点群情報を生成する(ステップS01)。この場合、点群情報生成ブロック72は、ライダ100の走査対象範囲における1回分の走査により生成された検出信号Sg2に基づき、現フレームの点群情報を生成する。
 次に、点群情報処理ブロック73は、ステップS01で生成された点群情報からノイズデータを除去する処理であるノイズ除去処理を実行する(ステップS02)。この場合、例えば、点群情報処理ブロック73は、現フレームと過去フレームとに基づき、現フレームの各被計測点が有効点であるか否かの判定を行う。例えば、点群情報処理ブロック73は、現フレームと過去フレームとで対応する被計測点を探索する範囲(「探索範囲」とも呼ぶ。)を過去フレームの各有効点に対して設定する。そして、点群情報処理ブロック73は、探索範囲内において対象の過去フレームの有効点と計測距離の差が所定距離差以内となる現フレームの被計測点を探索する。そして、点群情報処理ブロック73は、過去フレームの所定個数以上の有効点と計測距離が近似する現フレームの被計測点を有効点として設定し、その他を無効点として設定する。ここでの探索範囲はピッチ方向におけるライダ100の変動の有無を考慮していない(後述の通常探索範囲に相当する)ため、ピッチ方向におけるライダ100の変動があった場合には、有効点にも関わらず無効点と判定される被計測点が存在する。このような被計測点については、後述するピッチ変動対応処理により有効点に補正されることになる。
 なお、点群情報処理ブロック73は、過去フレームの点群情報によらず、現フレームの点群情報に基づいて任意のノイズ除去処理を実行してもよい。例えば、点群情報処理ブロック73は、受信部2が受信した反射光の強度が所定の閾値未満となる被計測点を無効点とみなす。他の例では、点群情報処理ブロック73は、計測距離に基づきユークリッド距離での被計測点のクラスタリングを行い、所定要素数未満のクラスタに属する被計測点を無効点とみなしてもよい。
 次に、点群情報処理ブロック73は、ライダ100のピッチ方向の変動を検出する処理である変動検出処理を点群情報に基づき実行する(ステップS03)。これにより、点群情報処理ブロック73は、バンプや段差等を車両が通過することに起因してライダ100がピッチ方向に変動した場合に当該変動を的確に検出する。
 そして、変動検出処理によりピッチ方向の変動を検出した場合(ステップS04;Yes)、点群情報処理ブロック73は、ライダ100のピッチ方向の変動を前提とした有効点の判定処理であるピッチ変動対応処理を実行する(ステップS05)。この場合、点群情報処理ブロック73は、現フレームと過去フレームとで対応する被計測点を探索する探索範囲を設定し、その探索範囲での探索結果に基づいて、ステップS02で無効点と判定された被計測点の一部を有効点に設定する。一方、点群情報処理ブロック73は、変動検出処理によりピッチ方向の変動を検出しなかった場合(ステップS04;No)、フローチャートの処理を終了する。
 (3)変動検出処理
 次に、ステップS03で点群情報処理ブロック73が実行する点群情報に基づく変動検出処理の具体例について説明する。
 点群情報処理ブロック73は、過去フレーム(例えば1処理時刻前の過去フレーム)における有効点と、ノイズ除去処理において有効点と判定された現フレームにおける有効点とのマッチングを行う。そして、点群情報処理ブロック73は、マッチングの結果(照合結果)に基づき、過去フレームからのピッチ方向における変動幅(即ち横スキャンのライン数又は点群情報を画像とみなした場合の縦方向での変動画素数)が所定幅以上である場合に、ライダ100のピッチ方向の変動があったと判定する。
 ここで、点群情報処理ブロック73は、マッチングさせる対象(照合対象)を、個々の有効点としてもよく、地面を表す被計測点(「地面点」とも呼ぶ。)としてもよく、有効点のクラスタリングに基づくクラスタとしてもよく、物体検出処理(インスタンスセグメンテーション等)を行っていた場合には検出した物体としてもよい。この場合、点群情報処理ブロック73は、任意のマッチング手法(最適化手法)に基づき、照合対象のマッチングを行い、上述の変動幅を算出してもよい。なお、点群情報処理ブロック73は、地面点に基づき上述のマッチングを行う場合には、例えば、ステップS02のノイズ除去処理において判定された有効点に基づき地面を表す平面を推定し、当該平面より所定の閾値以上高い位置に存在する有効点を障害物点と判定し、それ以外の有効点を地面点と判定する。そして、点群情報処理ブロック73は、現フレームの地面点と過去フレームの地面点との変動幅を算出する。
 また、点群情報処理ブロック73は、上記のマッチングを行う空間を、ライダ100の視野(Field of View)全体に定めてもよく、所定距離以上離れた空間に定めてもよい。一般的に、ピッチ方向のライダ100の変動があった場合には、遠方の物体ほどピッチ方向での上述の変動幅が大きくなる。従って、点群情報処理ブロック73は、例えば、計測距離が所定距離以上となる有効点(又はクラスタ又は物体)を対象に上述のマッチングを行ってもよい。
 また、点群情報処理ブロック73は、物体単位又はクラスタ単位でのトラッキング(追跡)を行っていた場合には、トラッキングの結果に基づき、ライダ100のピッチ方向の変動を検出してもよい。この場合、点群情報処理ブロック73は、過去フレームから現フレームでの物体又はクラスタの位置を予測し、予測した位置と現フレームにおける実際の位置とのピッチ方向におけるずれ幅が所定幅以上である場合に、ライダ100のピッチ方向の変動があったと判定する。
 (4)探索範囲の設定
 次に、ステップS05で実行するピッチ変動対応処理の詳細について説明する。ピッチ変動対応処理では、点群情報処理ブロック73は、変動検出処理において変動を検出した場合に、変動があったピッチ方向に対応する縦方向に拡大された探索範囲に基づき過去フレームの有効点と対応する現フレームの被計測点を探索する。これにより、点群情報処理ブロック73は、バンプや段差等を車両が通過した際にライダ100がピッチ方向に変動した場合であっても、過去フレームと現フレームとで対応する被計測点を探索し、有効点の判定を的確に実行する。
 図3(A)は、ピッチ変動を考慮しない場合の探索範囲(「通常探索範囲」とも呼ぶ。)の一例を示す。図3(A)における各点Pi、Pi1~Pi6は、ライダ100二対向する仮想的な2次元平面上において表された被計測点である。
 点群情報処理ブロック73は、ステップS02のノイズ除去処理などにおいて通常探索範囲を設定し、過去フレームの有効点と対応する現フレームの被計測点を探索する。具体的には、点群情報処理ブロック73は、過去フレームの各有効点を順に注目点Piとして設定し、設定した注目点Piに対して通常探索範囲を設定する。そして、点群情報処理ブロック73は、通常探索範囲内に存在する現フレームにおける各点Pi1~Pi6の計測距離と、過去フレームにおける注目点Piの計測距離とを比較する。そして、点群情報処理ブロック73は、過去フレームの所定個数以上の有効点と計測距離が近い現フレームの被計測点を有効点とし、その他の被計測点を無効点として設定する。
 なお、通常探索範囲内の点Pi1~Pi6は、注目点Piの計測方向と横方向(水平方向)及び縦方向(垂直方向)において類似する計測方向となる。具体的には、注目点Piの1ライン上の左右に点Pi2及び点Pi3が存在し、注目点Piの2ライン上の同一位置に点Pi6が存在する。注目点Piの1ライン下の左右に点Pi1及び点Pi4が存在し、注目点Piの2ライン下の同一位置に点Pi5が存在している。
 図3(B)は、変動検出処理において変動が検出された場合に設定される探索範囲(「有変動探索範囲」とも呼ぶ。)の一例を示す。この場合、点群情報処理ブロック73は、ライダ100の変動が生じたピッチ方向に対応する縦方向において通常探索範囲よりも有変動探索範囲を拡大している。具体的には、有変動探索範囲は、通常探索範囲を含み、かつ、注目点Piの3ライン上の点Pi8及びPi9と、4ライン上の点Pi12と、3ライン下の点Pi7及び点Pi10と、4ライン下の点Pi11とを含む範囲に設定されている。
 そして、点群情報処理ブロック73は、ピッチ変動対応処理では、過去フレームの有効点を順に注目点Piとして設定し、過去フレームの注目点Piの計測距離と所定距離差以内となる計測距離となる現フレームの被計測点を有変動探索範囲に基づき探索する。そして、点群情報処理ブロック73は、上記探索の結果、過去フレームの所定個数以上の有効点と所定距離差以内の計測距離となる現フレームの被計測点(具体的には、ノイズ除去処理で無効点と判定された点)を有効点として設定する。なお、点群情報処理ブロック73は、現フレームの1フレーム前の処理時刻に対応する過去フレームを用いて上述のピッチ変動対応処理を行ってもよく、複数の処理時刻に対応する過去フレームを用いて上述のピッチ変動対応処理を行ってもよい。この場合、点群情報処理ブロック73は、いずれかの過去フレームの有効点と対応する現フレームの被計測点を有効点と設定してもよい。
 このように、点群情報処理ブロック73は、変動検出処理において変動を検出した場合に、変動があったピッチ方向に対応する縦方向を通常探索範囲より拡大した有変動探索範囲に基づくピッチ変動対応処理を行う。これにより、点群情報処理ブロック73は、バンプや段差等を車両が通過した際にライダ100がピッチ方向に変動した場合に、過去フレームと現フレームとで対応する被計測点を的確に探索し、有効点の判定を的確に実行することが可能となる。
 また、点群情報処理ブロック73は、ピッチ方向の正方向(例えば仰角が増加する方向)又は負方向(俯角が増加する方向)のいずれに変動したかに応じて(即ち変動の時間的な変化に応じて)、有変動探索範囲を設定してもよい。例えば、点群情報処理ブロック73は、仰角が増加する方向にライダ100が変動したことを検出した場合には、現フレームにおいて各物体が相対的に下に移動することから、通常探索範囲を下方向に拡大した有変動探索範囲を設定する。同様に、点群情報処理ブロック73は、俯角が増加する方向にライダ100が変動したことを検出した場合には、通常探索範囲を上方向に拡大した有変動探索範囲を設定する。このように、点群情報処理ブロック73は、変動の方向(ここではピッチ方向の正方向又は負方向)と逆方向に通常探索範囲を拡大した有変動探索範囲を設定する。これにより、ライダ100の変動に応じた探索範囲を設定することができる。
 (5)変形例
 次に、上述の実施例に好適な変形例について説明する。以下の変形例は、組み合わせて上述の実施例に適用してもよい。
 (変形例1)
 点群情報処理ブロック73は、ピッチ方向のライダ100の変動を検出する処理に加えて、又はこれに代えて、ヨー方向又はロール方向のライダ100の変動を検出してもよい。この場合、点群情報処理ブロック73は、当該変動を検出した場合に、検出した変動の方向に応じた方向に探索範囲を拡大した有変動探索範囲に基づき、ピッチ変動対応処理と同様の処理を過去フレームと現フレームとを用いて実行する。これにより、点群情報処理ブロック73は、ピッチ方向以外のライダ100の変動が生じた場合であっても、現フレームの有効点を的確に判定することができる。
 (変形例2)
 上述の探索範囲の用途は、ノイズ除去処理における過去フレームの有効点との対応の有無の判定に限定されない。例えば、点群情報処理ブロック73は、物体検出(トラッキングも含む)において探索範囲を用いる場合に、ライダ100の変動に応じて探索範囲を拡大してもよい。
 例えば追跡対象のトラッキングを行う場合、点群情報処理ブロック73は、任意のトラッキング技術に基づき、現フレームにおける追跡対象の物体又はクラスタの予測位置に基づく探索範囲を、過去フレームでの追跡対象の検出結果に基づき設定し、当該探索範囲内における追跡対象の探索を行う。この場合において、点群情報処理ブロック73は、変動検出処理において変動を検出した場合の探索範囲(有変動探索範囲)を通常探索範囲よりも拡大する。これにより、点群情報処理ブロック73は、バンプや段差を車両が通過したことに起因してライダ100に変動が発生した場合でも、トラッキングを適切に実行することができる。
 <第2実施例>
 図4は、第2実施例に係るライダ100Aの概略構成を示す。ライダ100Aは、ライダ100Aが搭載される車両又はライダ100Aに設けられたセンサであるセンサ9が出力する情報に基づき変動検出処理を行う点において、第1実施例に係るライダ100と異なる。以後では、第1実施例に係るライダ100と同一のライダ100Aの構成要素については、適宜同一符号を付し、その説明を省略する。
 センサ9は、ライダ100Aが搭載される車両又はライダ100Aに設けられたセンサであり、車両又はライダ100Aの変動を検出する。センサ9は、加速度センサであってもよく、振動検出を用途とするその他の任意のセンサであってもよい。センサ9は、検出信号Sg5を点群情報処理ブロック73に供給する。
 点群情報処理ブロック73は、検出信号Sg5に基づき、ライダ100Aの所定度合い以上のピッチ方向の変動を検出する処理である変動検出処理を実行する。例えば、点群情報処理ブロック73は、検出信号Sg5が示す振動の度合いが所定度合い以上である場合に、ライダ100Aがピッチ方向に変動したことを検出する。そして、点群情報処理ブロック73は、変動検出処理において変動を検出した場合には、有変動探索範囲を用いてノイズ除去処理を行い、変動検出処理において変動を検出しなかった場合には、通常探索範囲を用いてノイズ除去処理を行う。
 図5は、第2実施例に係る点群情報処理の手順を示すフローチャートの一例である。ライダ100Aは、点群情報処理を、1フレーム分の点群情報を生成する周期ごとに繰り返し実行する。
 まず、点群情報生成ブロック72は、検出信号Sg2に基づき、点群情報を生成する(ステップS11)。次に、点群情報処理ブロック73は、センサ9が出力する検出信号Sg5に基づき、変動検出処理を実行する(ステップS12)。これにより、点群情報処理ブロック73は、バンプや段差等を車両が通過することに起因してライダ100がピッチ方向に変動した場合に当該変動を的確に検出する。
 そして、変動検出処理によりピッチ方向の変動を検出した場合(ステップS13;Yes)、点群情報処理ブロック73は、ピッチ方向の変動を前提とした過去フレームと現フレームとに基づくノイズデータの除去処理であるピッチ変動対応ノイズ除去処理を実行する(ステップS14)。この場合、点群情報処理ブロック73は、過去フレームの各有効点に対して有変動探索範囲を設定し、計測距離が所定距離以内となる現フレームの被計測点を探索する。そして、点群情報処理ブロック73は、過去フレームの所定個数以上の有効点と計測距離が近似する現フレームの被計測点を有効点として設定し、その他を無効点と設定する。また、点群情報処理ブロック73は、受信部2が受信した反射光の強度が所定の閾値未満となる被計測点を無効点に設定する処理、被計測点のクラスタリングを行い所定要素数未満のクラスタに属する被計測点を無効点に設定する処理などを実行する。
 一方、変動検出処理によりピッチ方向の変動を検出しなかった場合(ステップS13;No)、点群情報処理ブロック73は、通常のノイズ除去処理を実行する(ステップS15)。この場合、点群情報処理ブロック73は、第1実施例のステップS02と同一のノイズ除去処理を実行する。
 <第3実施例>
 図6は、第3実施例に係るライダシステムの構成図である。第3実施例では、制御部7の点群情報処理ブロック73及び点群情報処理ブロック73に相当する機能を、ライダ100Xとは別の装置が有している。以後では、第1実施例又は第2実施例と同一構成要素となる第3実施例の要素については適宜同一符号を付し、その説明を省略する。
 第3実施例に係るライダシステムは、ライダ100Xと、情報処理装置200とを有する。この場合、ライダ100Xは、点群情報生成ブロック72が生成する点群情報を情報処理装置200へ供給する。
 情報処理装置200は、制御部7Aと、メモリ8とを有する。メモリ8には、制御部7Aが処理を実行するために必要な情報が記憶されている。制御部7Aは、機能的には、点群情報取得ブロック72Aと、点群情報処理ブロック73とを有する。点群情報取得ブロック72Aは、ライダ100Xの点群情報生成ブロック72が生成する点群情報を受信し、受信した点群情報を点群情報処理ブロック73に供給する。点群情報処理ブロック73は、点群情報取得ブロック72Aから供給される点群情報に対し、上述した実施例の点群情報処理ブロック73と同一の処理を実行する。
 なお、情報処理装置200は、運転支援装置により実現されてもよい。また、処理に必要なパラメータの情報は、情報処理装置200が参照可能なメモリを有する他の装置により記憶されてもよい。本変形例の構成によっても、情報処理装置200は、ライダ100Xが生成する点群情報のノイズ除去を的確に実行することができる。
 以上説明したように、第1実施例又は第2実施例に係るライダ100の制御部7又は第3実施例に係る情報処理装置200の制御部7Aは、本発明における情報処理装置として機能し、機能的には、取得手段と、検出手段と、処理手段とを有する。取得手段は、計測装置が計測方向ごとに計測した点を表すデータの集合である点群情報を取得する。検出手段は、計測装置の所定度合い以上の変動を検出する。処理手段は、変動の検出の有無に基づき、現処理時刻において得られた点群情報の点の各々に対応する、前処理時刻において得られた点群情報の点を探索する探索範囲を決定する。これにより、計測装置に変動が生じた場合であっても、現処理時刻と前処理時刻とでの点群情報に含まれる各点の対応を認識し、ノイズ除去処理やトラッキング処理などを適切に実行することが可能となる。
 なお、上述した実施例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータであるコントローラ等に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記憶媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記憶媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記憶媒体(例えば光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。
 以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。すなわち、本願発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。
 1 送信部
 2 受信部
 3 ビームスプリッタ
 5 スキャナ
 6 ピエゾセンサ
 7、7A 制御部
 8 メモリ
 100、100X ライダ
 200 情報処理装置

Claims (11)

  1.  計測装置が計測方向ごとに計測した点を表すデータの集合である点群情報を取得する取得手段と、
     前記計測装置の所定度合い以上の変動を検出する検出手段と、
     前記変動の検出の有無に基づき、現処理時刻において得られた前記点群情報である第1点群情報の点の各々に対応する、前処理時刻において得られた前記点群情報である第2点群情報の点を探索する探索範囲を決定する処理手段と、
    を有する情報処理装置。
  2.  前記処理手段は、前記変動が検出された場合、前記探索範囲を前記変動があった方向において拡大する、請求項1に記載の情報処理装置。
  3.  前記検出手段は、前記計測装置のピッチ方向、ヨー方向又はロール方向の少なくともいずれかにおける前記変動を検出する、請求項1または2に記載の情報処理装置。
  4.  前記処理手段は、前記ピッチ方向、ヨー方向又はロール方向の正方向又は負方向のうち前記変動があった方向を検出し、当該方向と反対方向に前記探索範囲を拡大する、請求項3に記載の情報処理装置。
  5.  前記検出手段は、前記第1点群情報と前記第2点群情報とに基づき、前記変動を検出する、請求項1~4のいずれか一項に記載の情報処理装置。
  6.  前記検出手段は、地面を表す前記点である地面点に基づく前記第1点群情報と前記第2点群情報の照合結果に基づき、前記変動を検出する。請求項5に記載の情報処理装置。
  7.  前記検出手段は、所定距離以上の計測距離を表す前記点に基づく前記第1点群情報と前記第2点群情報との照合結果に基づき、前記変動を検出する、請求項5に記載の情報処理装置。
  8.  前記検出手段は、前記計測装置又は当該計測装置が設けられた移動体に設けられたセンサが出力する検出信号に基づき、前記変動を検出する、請求項1~7のいずれか一項に記載の情報処理装置。
  9.  情報処理装置が実行する制御方法であって、
     計測装置が計測方向ごとに計測した点を表すデータの集合である点群情報を取得し、
     前記計測装置の所定度合い以上の変動を検出し、
     前記変動の検出の有無に基づき、現処理時刻において得られた前記点群情報である第1点群情報の点の各々に対応する、前処理時刻において得られた前記点群情報である第2点群情報の点を探索する探索範囲を決定する、
    制御方法。
  10.  計測装置が計測方向ごとに計測した点を表すデータの集合である点群情報を取得し、
     前記計測装置の所定度合い以上の変動を検出し、
     前記変動の検出の有無に基づき、現処理時刻において得られた前記点群情報である第1点群情報の点の各々に対応する、前処理時刻において得られた前記点群情報である第2点群情報の点を探索する探索範囲を決定する処理をコンピュータに実行させるプログラム。
  11.  請求項10に記載のプログラムを格納した記憶媒体。
PCT/JP2022/005352 2022-02-10 2022-02-10 情報処理装置、制御方法、プログラム及び記憶媒体 WO2023152870A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/005352 WO2023152870A1 (ja) 2022-02-10 2022-02-10 情報処理装置、制御方法、プログラム及び記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/005352 WO2023152870A1 (ja) 2022-02-10 2022-02-10 情報処理装置、制御方法、プログラム及び記憶媒体

Publications (1)

Publication Number Publication Date
WO2023152870A1 true WO2023152870A1 (ja) 2023-08-17

Family

ID=87563953

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/005352 WO2023152870A1 (ja) 2022-02-10 2022-02-10 情報処理装置、制御方法、プログラム及び記憶媒体

Country Status (1)

Country Link
WO (1) WO2023152870A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130030685A1 (en) * 2011-07-30 2013-01-31 Goetting Kg Method for detecting and evaluating a plane
JP2016109650A (ja) * 2014-12-10 2016-06-20 株式会社デンソー 位置推定装置、位置推定方法、位置推定プログラム
CN106530380A (zh) * 2016-09-20 2017-03-22 长安大学 一种基于三维激光雷达的地面点云分割方法
US20180284780A1 (en) * 2017-03-29 2018-10-04 Luminar Technologies, Inc. Compensating for the vibration of the vehicle
US20190018416A1 (en) * 2017-07-13 2019-01-17 Waymo Llc Sensor Adjustment Based on Vehicle Motion
JP2020134319A (ja) * 2019-02-20 2020-08-31 株式会社Ihiエアロスペース 画像センサの情報補正方法及び移動体
JP2021131280A (ja) * 2020-02-19 2021-09-09 北陽電機株式会社 物体検出装置、物体検出システム、物体検出プログラムおよび物体検出方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130030685A1 (en) * 2011-07-30 2013-01-31 Goetting Kg Method for detecting and evaluating a plane
JP2016109650A (ja) * 2014-12-10 2016-06-20 株式会社デンソー 位置推定装置、位置推定方法、位置推定プログラム
CN106530380A (zh) * 2016-09-20 2017-03-22 长安大学 一种基于三维激光雷达的地面点云分割方法
US20180284780A1 (en) * 2017-03-29 2018-10-04 Luminar Technologies, Inc. Compensating for the vibration of the vehicle
US20190018416A1 (en) * 2017-07-13 2019-01-17 Waymo Llc Sensor Adjustment Based on Vehicle Motion
JP2020134319A (ja) * 2019-02-20 2020-08-31 株式会社Ihiエアロスペース 画像センサの情報補正方法及び移動体
JP2021131280A (ja) * 2020-02-19 2021-09-09 北陽電機株式会社 物体検出装置、物体検出システム、物体検出プログラムおよび物体検出方法

Similar Documents

Publication Publication Date Title
JP4428208B2 (ja) 車両用物体認識装置
JP5267592B2 (ja) 物体認識装置
US8810445B2 (en) Method and apparatus for recognizing presence of objects
WO2019082700A1 (ja) 制御装置、制御方法、プログラム及び記憶媒体
JP6855776B2 (ja) 物体検出装置、及び物体検出方法
JP2016133341A (ja) 物体検出装置、センシング装置、移動体装置及び物体検出方法
JP2006337295A (ja) 車両用測距装置
JP2005291788A (ja) 車両用物体認識装置
JP6645254B2 (ja) 物体認識装置
JP2004198323A (ja) 車両用物体認識装置
US20230065210A1 (en) Optical distance measuring device
JP2024072823A (ja) 情報処理装置、制御方法、プログラム及び記憶媒体
JP2004184331A (ja) 車両用物体認識装置
JP5556317B2 (ja) 物体認識装置
WO2023152870A1 (ja) 情報処理装置、制御方法、プログラム及び記憶媒体
JP2014202709A (ja) 車両用物体検出装置
JP2007233440A (ja) 車載用画像処理装置
WO2022190364A1 (ja) 情報処理装置、情報処理方法、プログラム及び記憶媒体
JP2007248057A (ja) レーダ装置
WO2023152871A1 (ja) 情報処理装置、制御方法、プログラム及び記憶媒体
JP2023064482A (ja) 情報処理装置、制御方法、プログラム及び記憶媒体
WO2022186099A1 (ja) 情報処理装置、情報処理方法、プログラム及び記憶媒体
WO2022186103A1 (ja) 情報処理装置、情報処理方法、プログラム及び記憶媒体
JP5266837B2 (ja) 先行車認識装置及び先行車認識方法
JPH11110699A (ja) 先行車両認識装置及び認識方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22925891

Country of ref document: EP

Kind code of ref document: A1