WO2023152871A1 - 情報処理装置、制御方法、プログラム及び記憶媒体 - Google Patents

情報処理装置、制御方法、プログラム及び記憶媒体 Download PDF

Info

Publication number
WO2023152871A1
WO2023152871A1 PCT/JP2022/005353 JP2022005353W WO2023152871A1 WO 2023152871 A1 WO2023152871 A1 WO 2023152871A1 JP 2022005353 W JP2022005353 W JP 2022005353W WO 2023152871 A1 WO2023152871 A1 WO 2023152871A1
Authority
WO
WIPO (PCT)
Prior art keywords
point
obstacle
ground
information processing
curb
Prior art date
Application number
PCT/JP2022/005353
Other languages
English (en)
French (fr)
Inventor
良司 野口
Original Assignee
パイオニア株式会社
パイオニアスマートセンシングイノベーションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パイオニア株式会社, パイオニアスマートセンシングイノベーションズ株式会社 filed Critical パイオニア株式会社
Priority to CN202280090621.6A priority Critical patent/CN118696252A/zh
Priority to PCT/JP2022/005353 priority patent/WO2023152871A1/ja
Priority to JP2023579953A priority patent/JPWO2023152871A1/ja
Publication of WO2023152871A1 publication Critical patent/WO2023152871A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems

Definitions

  • This disclosure relates to technology for processing measured data.
  • Patent Literature 1 discloses a forward vehicle recognition device that detects the distance and inclination of a forward vehicle by changing the lighting pattern for projecting the light projection pattern depending on the detection state of the light projection pattern. .
  • the number of data points obtained for data corresponding to distant curbs is small. Therefore, it is generally difficult to determine that it is an obstacle.
  • a main object of the present disclosure is to provide an information processing device, a control method, a program, and a storage medium storing the program, which can suitably detect a curbstone as an obstacle based on measurement data output by the measurement device.
  • the claimed invention is Acquisition means for acquiring measurement data output by the measuring device; an obstacle detection means for detecting an obstacle point, which is data representing a measured position of an obstacle, from the measurement data; ground detection means for detecting a ground point, which is data representing a position to be measured on the ground, from the measurement data; curb determination means for determining that the ground point corresponding to the curb is the obstacle point based on the travelable area of the moving body determined at the processing time immediately before the current processing time; drivable area determining means for determining the drivable area at the current processing time based on the obstacle point and the ground point; It is an information processing device comprising
  • a control method executed by an information processing device Acquire the measurement data output by the measuring device, detecting an obstacle point, which is data representing a measured position of an obstacle, from the measurement data; Detecting a ground point, which is data representing a position to be measured on the ground, from the measurement data; determining that the ground point corresponding to the curb is the obstacle point based on the travelable area of the moving object determined at the processing time immediately before the current processing time; determining the travelable area at the current processing time based on the obstacle point and the ground point; control method.
  • the invention described in the claims Acquire the measurement data output by the measuring device, detecting an obstacle point, which is data representing a measured position of an obstacle, from the measurement data; Detecting a ground point, which is data representing a position to be measured on the ground, from the measurement data; determining that the ground point corresponding to the curb is the obstacle point based on the travelable area of the moving object determined at the processing time immediately before the current processing time;
  • the program causes a computer to execute a process of determining the travelable area at the current processing time based on the obstacle point and the ground point.
  • 1 shows a schematic configuration of a lidar according to an embodiment
  • 6 is an example of a flowchart of overall processing according to an embodiment
  • It is an example of the flowchart which shows the procedure of a distant curb point determination process.
  • It is an example of the flowchart which shows the procedure of a driving
  • working area is shown.
  • It is an example of a flowchart of a distant curb point determination second process.
  • the block diagram of the lidar system which concerns on a modification is shown.
  • the information processing device includes an acquisition means for acquiring measurement data output from the measurement device, and an obstacle detection device for detecting an obstacle point, which is data representing a measured position of an obstacle, from the measurement data.
  • an object detection means for detecting a ground point, which is data representing a position to be measured on the ground, from the measurement data; curb determination means for determining that the ground point corresponding to is the obstacle point; and travelable area determination means for determining the travelable area at the current processing time based on the obstacle point and the ground point And prepare.
  • the information processing device can accurately determine that the ground point corresponding to the curbstone, which has been erroneously detected as the ground point, is the obstacle point.
  • the curb determining means sets a temporary drivable area at the current processing time based on the drivable area at the immediately preceding processing time, and determines the curbstone based on the temporary drivable area. is determined to be the obstacle point.
  • the information processing device can accurately determine the ground point corresponding to the curb based on the travelable area at the immediately preceding processing time.
  • the curb determination means corrects the ground point existing near the boundary position of the temporary travelable area to the obstacle point. According to this aspect, the information processing device can accurately determine the ground point corresponding to the curb.
  • the curb determination means sets the temporary travelable area based on the travelable area at the immediately preceding processing time and the movement information of the measuring device. According to this aspect, the information processing device can accurately set the provisional travelable area at the current processing time.
  • the information processing device further includes ground point correction means for correcting the obstacle point existing within the temporary travelable area to the ground point.
  • ground point correction means for correcting the obstacle point existing within the temporary travelable area to the ground point.
  • the curb determining means determines that the ground point corresponding to the curb is the obstacle point based on continuity in the direction in which the road extends. According to this aspect, the information processing device can appropriately correct the ground point corresponding to the curb to the obstacle point.
  • the travelable area determining means extends the travelable area within a predetermined distance from the current processing time determined based on the obstacle point and the ground point. , determine the entire drivable area at the current processing time. According to this aspect, the information processing device can accurately determine the entire travelable area at the current processing time.
  • the obstacle is an object existing near a road boundary.
  • the object is at least one of a curbstone, vegetation, a road shoulder, and a fallen object near a road boundary.
  • a control method executed by an information processing device measurement data output by a measurement device is acquired, and an obstacle point, which is data representing a measured position of an obstacle, is obtained. Detect from the measurement data, detect the ground point, which is data representing the position to be measured on the ground, from the measurement data, and correspond to the curb based on the travelable area of the moving object determined at the processing time immediately before the current processing time The ground point is determined to be the obstacle point, and the travelable area at the current processing time is determined based on the obstacle point and the ground point.
  • the information processing device can accurately determine that the ground point corresponding to the curb stone that has been erroneously detected as the ground point is the obstacle point.
  • the program acquires measurement data output by a measurement device, detects an obstacle point, which is data representing a measured position of an obstacle, from the measurement data, and detects an obstacle point on the ground.
  • a ground point which is data representing a measured position, is detected from the measurement data, and the ground point corresponding to the curb is determined as the obstacle point based on the travelable area of the moving object determined at the processing time immediately preceding the current processing time.
  • the computer executes a process of determining the travelable area at the current processing time.
  • the computer can accurately determine the ground point corresponding to the curb that has been erroneously detected as the ground point to be the obstacle point.
  • the program is stored in a storage medium.
  • FIG. 1 shows a schematic configuration of a lidar 100 according to this embodiment.
  • the rider 100 is mounted in a vehicle that supports driving such as automatic driving, for example.
  • the lidar 100 irradiates a laser beam in a predetermined angular range in the horizontal and vertical directions, and receives light (also referred to as “reflected light”) returned by the laser beam reflected by an object.
  • the distance from the lidar 100 to the object is discretely measured, and point cloud information indicating the three-dimensional position of the object is generated.
  • the lidar 100 is installed so that the ground such as the road surface is included in the measurement range.
  • the lidar 100 mainly includes a transmitter 1, a receiver 2, a beam splitter 3, a scanner 5, a piezo sensor 6, a controller 7, and a memory 8.
  • the transmitter 1 is a light source that emits pulsed laser light toward the beam splitter 3 .
  • the transmitter 1 includes, for example, an infrared laser emitting element.
  • the transmitter 1 is driven based on the drive signal “Sg1” supplied from the controller 7 .
  • the receiving unit 2 is, for example, an avalanche photodiode, generates a detection signal "Sg2" corresponding to the amount of received light, and supplies the generated detection signal Sg2 to the control unit 7.
  • the beam splitter 3 transmits the pulsed laser light emitted from the transmitter 1 . Also, the beam splitter 3 reflects the light reflected by the scanner 5 toward the receiver 2 .
  • the scanner 5 is, for example, an electrostatically driven mirror (MEMS mirror), and the tilt (that is, the optical scanning angle) changes within a predetermined range based on the drive signal "Sg3" supplied from the control unit 7.
  • the scanner 5 reflects the laser light that has passed through the beam splitter 3 toward the outside of the lidar 100 , and reflects the reflected light incident from the outside of the lidar 100 toward the beam splitter 3 .
  • a point measured by irradiating the laser beam within the measurement range of the lidar 100 or measurement data thereof is also referred to as a "point to be measured”.
  • the scanner 5 is provided with a piezo sensor 6 .
  • the piezo sensor 6 detects strain caused by the stress of the torsion bar that supports the mirror portion of the scanner 5 .
  • the piezo sensor 6 supplies the generated detection signal “Sg4” to the controller 7 .
  • the detection signal Sg4 is used for detecting the orientation of the scanner 5.
  • the memory 8 is composed of various volatile and nonvolatile memories such as RAM (Random Access Memory), ROM (Read Only Memory), and flash memory.
  • the memory 8 stores programs necessary for the control unit 7 to execute predetermined processing.
  • the memory 8 also stores various parameters referred to by the control unit 7 . Further, the memory 8 stores the latest point group information for a predetermined number of frames generated by the control unit 7 and the like.
  • the control unit 7 includes various processors such as a CPU (Central Processing Unit) and a GPU (Graphics Processing Unit).
  • the control unit 7 executes a predetermined process by executing a program stored in the memory 8 .
  • the control unit 7 is an example of a computer that executes programs. Note that the control unit 7 is not limited to being realized by software programs, and may be realized by any combination of hardware, firmware, and software.
  • the control unit 7 may be a user-programmable integrated circuit such as FPGA (field-programmable gate array) or microcontroller, ASSP (Application Specific Standard Produce), ASIC (Application Specific Integrated Circuit), etc. may be
  • the control unit 7 functionally includes a transmission drive block 70 , a scanner drive block 71 , a point cloud information generation block 72 and a point cloud information processing block 73 .
  • the transmission drive block 70 outputs a drive signal Sg1 for driving the transmission section 1.
  • the drive signal Sg1 includes information for controlling the light emission time of the laser light emitting element included in the transmitter 1 and the light emission intensity of the laser light emitting element.
  • the transmission drive block 70 controls the emission intensity of the laser light emitting element included in the transmission section 1 based on the drive signal Sg1.
  • the scanner drive block 71 outputs a drive signal Sg3 for driving the scanner 5.
  • the drive signal Sg3 includes a horizontal drive signal corresponding to the resonance frequency of the scanner 5 and a vertical drive signal for vertical scanning. Further, the scanner drive block 71 monitors the detection signal Sg4 output from the piezo sensor 6 to detect the scanning angle of the scanner 5 (that is, the laser beam emission direction).
  • the point group information generation block 72 uses the lidar 100 as a reference point to determine the distance (measurement distance) to the object irradiated with the laser beam in the measurement direction (that is, the direction of the laser beam). point group information shown for each emission direction). In this case, the point group information generation block 72 calculates the time from when the laser light is emitted until the receiving unit 2 detects the reflected light as the time of flight of light. Then, the point cloud information generation block 72 generates a point cloud indicating a set of points corresponding to a set of the measured distance corresponding to the calculated flight time and the emitting direction of the laser beam corresponding to the reflected light received by the receiving unit 2. Information is generated, and the generated point cloud information is supplied to the point cloud information processing block 73 .
  • the point cloud information obtained by scanning all the points to be measured once will be referred to as point cloud information for one frame.
  • the point cloud information can be regarded as an image in which each measurement direction is a pixel and the measurement distance in each measurement direction is a pixel value.
  • the emission direction of the laser light differs at the elevation/depression angle when the pixels are arranged in the vertical direction
  • the emission direction of the laser light at the horizontal angle differs when the pixels are arranged in the horizontal direction.
  • the above-mentioned three-dimensional coordinate system is also called a "reference coordinate system.”
  • the reference coordinate system is assumed to be a three-dimensional coordinate system in which the horizontal plane (that is, the plane parallel to the ground) is the XY axis and the height direction perpendicular to the horizontal plane is the Z axis. Also, the X-axis is assumed to be parallel to the front direction of the vehicle (that is, the extending direction of the road).
  • the origin of the reference coordinate system is set at the position of the rider 100, for example.
  • a frame of point cloud information obtained at the current processing time is called a "current frame”
  • a frame of point cloud information obtained in the past is also called a "past frame”.
  • the point cloud information processing block 73 executes predetermined processing on the point cloud information generated by the point cloud information generation block 72 .
  • the point cloud information processing block 73 performs a process of removing data generated by erroneously detecting an object in the point cloud information (also referred to as “noise data” or “false alarm data") from the point cloud information. .
  • the point cloud information processing block 73 further adds flag information indicating whether or not each measured point is noise data to the point cloud information.
  • effective points measurement points corresponding to data generated by detecting an existing object
  • measurement points other than effective points that is, measurement points corresponding to noise data
  • the point cloud information processing block 73 also classifies the points to be measured represented by the point cloud information supplied from the point cloud information generation block 72, and adds classification information representing the classification result to the point cloud information. Specifically, the point cloud information processing block 73 calculates points to be measured (also referred to as “ground points”) representing the ground (including road surface paint such as white lines) and points on or around the road (including near the road boundary). ) that represent obstacles (including vehicles and features in front of it) and points to be measured (also called “obstacle points”), and classify each point to be measured based on the detection results. Generate taxonomy information.
  • the point cloud information processing block 73 stores points to be measured that are erroneously determined (classified) as obstacle points due to the beam width (so-called footprint size) of the laser beam (“erroneous obstacle determination points”). ) is specified, and the classification of the erroneous obstacle determination point is corrected to the ground point.
  • the point cloud information processing block 73 considers that a distant curb is difficult to determine as an obstacle point (i.e., is determined as a ground point). point”) is corrected to an obstacle point. Further, the point cloud information processing block 73 divides the current frame, which is regarded as an image, into grids, and determines whether or not each grid represents an area in which the vehicle can travel (also referred to as a "drivable area"). Runable area determination processing is executed.
  • the point cloud information processing block 73 associates the point cloud information for each frame and information on the travelable area (also referred to as “travelable area information”) with the time information indicating the processing time for each frame, and stores the information in the memory 8. memorize to Details of the processing of the point cloud information processing block 73 will be described later.
  • the point cloud information processing block 73 is an example of the "acquisition means”, the “obstacle detection means”, the “ground detection means”, the “ground point correction means”, the “curb determination means”, and the “drivable area determination means”.
  • the lidar 100 excluding the point cloud information processing block 73 is an example of the "measurement device".
  • the point cloud information and travelable area information generated by the point cloud information processing block 73 are output to a device for controlling driving support such as automatic driving of the vehicle (also referred to as a "driving support device"), for example. good too.
  • driving support device may be, for example, a vehicle ECU (Electronic Control Unit), or an in-vehicle device such as a car navigation device electrically connected to the vehicle.
  • the lidar 100 is not limited to a scanning type lidar that scans a laser beam over a visual field range, but is a flash type lidar that generates three-dimensional data by diffusing and irradiating a laser beam into the visual field range of a two-dimensional array sensor. may be a rider of
  • FIG. 2 is an example of a flowchart showing the procedure for processing point cloud information.
  • the point cloud information processing block 73 repeatedly executes the processing shown in FIG. 2 for each cycle of generating point cloud information for one frame.
  • the point cloud information generation block 72 generates point cloud information based on the detection signal Sg2 (step S01). In this case, the point cloud information generation block 72 generates the point cloud information of the current frame corresponding to the current processing time based on the detection signal Sg2 generated by one scan of the scanning target range of the lidar 100 .
  • the point cloud information processing block 73 executes noise removal processing, which is processing for removing noise data from the point cloud information generated in step S01 (step S02).
  • the point cloud information processing block 73 may perform arbitrary noise removal processing.
  • the point cloud information processing block 73 regards the data of the measured points where the intensity of the reflected light received by the receiver 2 is less than a predetermined threshold value as noise data, and determines the measured points representing data other than the noise data. regarded as a valid point.
  • the point cloud information processing block 73 executes processing for classifying each effective point of the point cloud information after noise removal processing (step S03).
  • the point cloud information processing block 73 estimates a plane representing the ground based on the effective points represented by the point cloud information after noise removal processing, and determines that the effective points present at positions higher than the plane by a predetermined threshold or more are obstacles. It is determined as a point, and other effective points are determined as ground points.
  • the point cloud information processing block 73 uses the point cloud data of effective points to estimate a plane representing the ground by obtaining a plane equation in the reference coordinate system by the least squares method.
  • the point cloud information processing block 73 performs processing for estimating the ground height (also referred to as "ground height estimation processing") based on the ground points determined in step S03 (step S04). In this case, for example, the point cloud information processing block 73 estimates the ground height based on the plane equation calculated from the ground points.
  • the point cloud information processing block 73 executes erroneous obstacle determination point correction processing (step S05).
  • the point cloud information processing block 73 classifies the points to be measured that are classified as obstacle points due to reflection on the road surface paint, such as white lines, into heights according to the footprint size. Correction is made to the ground point considering displacement and depth displacement.
  • points having a height difference between the obstacle point and ground points around the obstacle point equal to or less than a first threshold value are extracted as candidates for the erroneous obstacle determination point.
  • the candidate whose depth distance difference from the surrounding ground points is larger than the second threshold is corrected to the ground point.
  • the point to be measured that has been corrected to the ground point will also be referred to as a "corrected ground point”.
  • the point cloud information processing block 73 detects erroneous obstacle determination points that could not be corrected to the corrected ground points in the first correction process based on the size of the cluster formed by the obstacle points. and correct to the corrected ground point.
  • the point cloud information processing block 73 resets the points erroneously determined to be corrected ground points in the first correction process and the second correction process as obstacle points.
  • the point cloud information processing block 73 corrects the corrected ground points located above and below the obstacle point among the corrected ground points to become obstacle points, or A predetermined number (for example, 3) or more consecutive clusters of corrected ground points in the direction) are corrected to obstacle points, or corrected ground points are corrected to obstacle points based on the past frame.
  • the point cloud information processing block 73 executes distant curb point determination processing (step S06).
  • the point cloud information processing block 73 sets a temporary drivable area (also referred to as a "temporary drivable area") for the current frame based on the drivable area information of the past frame one processing time before, A far curb point classified as a ground point is determined based on the tentative drivable area. Then, the point cloud information processing block 73 corrects the classification of the far curb point to the obstacle point.
  • a temporary drivable area also referred to as a "temporary drivable area”
  • the point cloud information processing block 73 executes travelable area determination processing (step S07).
  • the point cloud information processing block 73 divides the current frame, which is regarded as an image, into grids and performs processing for determining whether or not each grid is a travelable area.
  • FIG. 3 is an example of a flowchart showing the procedure of the distant curb point determination process.
  • the point cloud information processing block 73 sets a temporary travelable area for the current frame based on the travelable area information of the past frame corresponding to the processing time immediately before the current processing time (step S11).
  • the point cloud information processing block 73 sets the temporary travelable area based on information regarding the movement of the rider 100 (also referred to as "rider movement information").
  • the point cloud information processing block 73 for example, based on the vehicle speed pulse information received from the vehicle in which the rider 100 is mounted via a predetermined communication protocol such as CAN, the vehicle angular velocity information in the yaw direction, and the like, the rider 100 Generates rider movement information that indicates the movement speed and direction change of the
  • the point cloud information processing block 73 generates rider movement information based on detection signals output by various sensors such as an acceleration sensor provided in the rider 100 .
  • the point cloud information processing block 73 determines based on the rider movement information that the rider 100 has not moved between the past frame and the current frame, there is no large change in the travelable area between consecutive frames. , and the travelable area of the past frame is set as the temporary travelable area.
  • the point cloud information processing block 73 determines based on the rider movement information that the lidar 100 has moved between the past frame and the current frame. determines based on the rider movement information that the rider 100 moves between the past frame and the current frame. Calculate 100 movements. Then, the point cloud information processing block 73 sets a temporary travelable area in which the calculated amount of movement is reflected in the travelable area of the past frame. As a result, the point cloud information processing block 73 can set the temporary travelable area in consideration of the movement of the rider 100 .
  • the point cloud information processing block 73 regards ground points existing near the boundary of the temporary travelable area as distant curb points and corrects them to obstacle points (step S12).
  • the point cloud information processing block 73 recognizes the boundary between the temporary travelable area and other areas on the current frame, and corresponds to pixels corresponding to the boundary and neighboring pixels within a predetermined pixel range from the pixel.
  • the classification of the measured points classified as ground points is corrected to be an obstacle point.
  • the point cloud information processing block 73 can determine a distant curb point with a small number of points as an obstacle point.
  • the point cloud information processing block 73 corrects the obstacle points within the temporary travelable area to ground points (step S13). In this case, the point cloud information processing block 73 corrects obstacle points (excluding those corrected to obstacle points in step S12) existing in the temporary travelable area to ground points.
  • FIG. 4 is an example of a flowchart showing the procedure of the travelable area determination process.
  • the point cloud information processing block 73 sets a grid for the current frame (step S21).
  • the point cloud information processing block 73 regards the current frame as an image, and sets a grid by dividing it vertically and horizontally by a predetermined number of pixels.
  • Each grid is a rectangular area having the predetermined number of pixels vertically and horizontally.
  • the point cloud information processing block 73 classifies grids with obstacle points as "1" and grids with no obstacle points as "0" (step S22).
  • the point cloud information processing block 73 refers to the classification result indicating whether the point to be measured corresponding to each pixel constituting the grid is a ground point or an obstacle point, and classifies the grid as described above. conduct.
  • the point cloud information processing block 73 determines the travelable area corresponding to the current frame based on the classification result of each grid (step S23). In this case, the point cloud information processing block 73 regards a continuous row of "0" grids including the center of each horizontal line as a travelable area.
  • FIG. 5 shows an overview of the method of determining the travelable area in step S23.
  • FIG. 5 shows the result of grid classification in the portion of the current frame that is closer to the rider 100 and the travelable area that is set based on the classification result.
  • the "reference line” is a line representing the center of the image in the horizontal direction.
  • the point cloud information processing block 73 searches for grids that are 0 to the left of the reference line in order from the horizontal line of the front grid, and sets the grid to the front of the grid that is 1 as the travelable area. Similarly, the point cloud information processing block 73 searches for a grid of 0 to the right from the reference line, and sets the grid to the front of the grid of 1 as the travelable area. After that, the point cloud information processing block 73 shifts the horizontal line to be searched upward by one and performs the same processing.
  • the point cloud information processing block 73 performs the above-described processing on horizontal lines of the grid that are within a predetermined distance from the rider 100 or within a predetermined number of grids from the lower end, so that a part of the travelable area ( That is, a travelable area within a predetermined distance from the rider 100 is determined. Then, the point group information processing block 73 determines the rest of the travelable area by extending the determined part of the travelable area in the depth direction. In this case, the point cloud information processing block 73 calculates, for example, straight lines of the reference coordinate system representing the left boundary line and the right boundary line of the determined partial travelable area based on regression analysis such as the least squares method. , the calculated area between these straight lines is set as the remaining drivable area. As a result, the point cloud information processing block 73 can suitably set the entire travelable area in the current frame.
  • the point cloud information processing block 73 determines a distant curb point based on the continuity of the distant curb points in the direction in which the road extends, in addition to the process of determining the distant curb point based on the travelable area, as the distant curb point determination process.
  • a process also referred to as a "distant curb point determination second process" may be performed.
  • the point cloud information processing block 73 determines a distant curb point based on the premise that the distant curb point exists continuously (extended) in the X-axis direction.
  • FIG. 6 is an example of a flowchart of the distant curb point determination second process.
  • the point cloud information processing block 73 executes the processing of this flowchart together with the flowchart of the distant curb point determination processing shown in FIG.
  • the point cloud information processing block 73 searches for a corrected ground point corrected from an obstacle point to a ground point by erroneous obstacle determination point correction processing or the like in the current frame (step S31).
  • the point cloud information processing block 73 searches for ground points (including corrected ground points) existing near the boundary of the road by an arbitrary method, and performs the following steps on the searched points. processing may be performed.
  • the point cloud information processing block 73 counts the surrounding points that have a positional relationship that matches the continuity of the curb for each of the searched corrected ground points (step S32). Specifically, the point cloud information processing block 73 determines that the distance on the YZ plane is within a threshold for each corrected ground point, and the obstacle point, the corrected ground point, or the corrected obstacle point (only the obstacle point is also possible). ) is counted.
  • the surrounding points are the current points corresponding to the pixels whose displacement in the vertical direction is within a predetermined number of lines (for example, 30 lines) and whose displacement in the direction along the horizontal line is less than a predetermined pixel difference (for example, a difference of 3 pixels). This is the measured point of the frame.
  • the point cloud information processing block 73 regards the corrected ground point where the count number in step S32 is equal to or greater than a predetermined number as a distant curb point, and corrects it to an obstacle point (step S33).
  • the point cloud information processing block 73 may consider the continuity of distant curb points in the processing of step S12 of FIG. 3 instead of executing the processing of this flowchart separately from the processing of the flowchart of FIG. good.
  • the point cloud information processing block 73 corrects, as an obstacle point, a ground point near the boundary of the temporary travelable area and which satisfies the condition regarding continuity as described above, as an obstacle point. do.
  • the distant curb point can be determined with higher accuracy by utilizing the property that the distant curb point is continuous in the X-axis direction.
  • the configuration of rider 100 is not limited to the configuration shown in FIG.
  • a device other than the rider 100 may have the point cloud information processing block 73 of the control unit 7 and functions corresponding to the point cloud information processing block 73 .
  • FIG. 7 is a configuration diagram of a lidar system according to a modification.
  • the lidar system has a lidar 100X and an information processing device 200 .
  • the rider 100X supplies the point cloud information generated by the point cloud information generation block 72 to the information processing device 200.
  • FIG. 7 is a configuration diagram of a lidar system according to a modification.
  • the lidar system has a lidar 100X and an information processing device 200 .
  • the rider 100X supplies the point cloud information generated by the point cloud information generation block 72 to the information processing device 200.
  • the information processing device 200 has a control unit 7A and a memory 8.
  • the memory 8 stores information necessary for the control section 7A to execute processing.
  • the control unit 7A functionally has a point cloud information acquisition block 72A and a point cloud information processing block 73 .
  • the point cloud information acquisition block 72A receives the point cloud information generated by the point cloud information generation block 72 of the rider 100X and supplies the received point cloud information to the point cloud information processing block 73 .
  • the point cloud information processing block 73 performs the same processing as the point cloud information processing block 73 of the above-described embodiment on the point cloud information supplied from the point cloud information acquisition block 72A.
  • the information processing device 200 may be realized by a driving support device. Further, the parameter information necessary for processing may be stored by another device having a memory that the information processing device 200 can refer to. According to the configuration of this modification, the information processing device 200 can generate accurate classification information for each measured point in the point cloud information generated by the rider 100X.
  • the control unit 7 of the rider 100 functions as an information processing device in the present invention, and functionally includes an acquisition unit, an obstacle detection unit, a ground detection unit, and a curb determination unit. and drivable area determination means.
  • the acquisition means acquires point cloud data.
  • the obstacle detection means detects obstacle points, which are data representing measured points of an obstacle, from the point cloud data.
  • the ground detection means detects ground points, which are data representing measured points on the ground, from the point cloud data.
  • the curb determining means determines that the ground point corresponding to the curb is the obstacle point based on the travelable area of the vehicle determined at the processing time immediately before the current processing time.
  • the travelable area determining means determines the travelable area at the current processing time based on the obstacle point and the ground point. As a result, the rider 100 can accurately determine even a curbstone, which is likely to be determined as a ground point, as an obstacle point.
  • Non-transitory computer readable media include various types of tangible storage media.
  • Examples of non-transitory computer-readable media include magnetic storage media (e.g., floppy disks, magnetic tapes, hard disk drives), magneto-optical storage media (e.g., magneto-optical discs), CD-ROMs (Read Only Memory), CD-Rs, CD-R/W, semiconductor memory (eg mask ROM, PROM (Programmable ROM), EPROM (Erasable PROM), flash ROM, RAM (Random Access Memory)).

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

ライダ100の制御部7は、機能的には、取得手段と、障害物検出手段と、地面検出手段と、縁石判定手段と、走行可能領域決定手段とを有する。取得手段は、点群データを取得する。障害物検出手段は、障害物の被計測点を表すデータである障害物点を点群データから検出する。地面検出手段は、地面の被計測点を表すデータである地面点を点群データから検出する。縁石判定手段は、現処理時刻の直前の処理時刻において判定した車両の走行可能領域に基づき、縁石に該当する地面点を障害物点であると判定する。走行可能領域決定手段は、障害物点と地面点とに基づき、現処理時刻における走行可能領域を決定する。

Description

情報処理装置、制御方法、プログラム及び記憶媒体
 本開示は、計測したデータを処理する技術に関する。
 従来から、計測対象物に光を照射して該計測対象物からの反射光を検出し、該計測対象物に光を照射するタイミングと、該計測対象物からの反射光を検出するタイミングとの時間差により計測対象物までの距離を算出する測距装置が知られている。また、特許文献1には、投光パターンの検出状態により、投光パターンを投光するための点灯パターンを変更し、前方車両との距離や傾きを検出する前方車両認識装置が開示されている。
特開2008-082750号公報
 ライダなどの計測装置が出力する計測データに基づき、被計測対象が地面であるか又は障害物であるかを判定する処理を行う場合に、遠方縁石に対応するデータは、得られるデータ点数が少ないことに起因して障害物であると判定することが一般的に困難であった。
 本発明の解決しようとする課題としては、上記のものが一例として挙げられる。本開示は、計測装置が出力する計測データに基づき、縁石を障害物として好適に検出することが可能な情報処理装置、制御方法、プログラム及びプログラムを記憶した記憶媒体を提供することを主な目的とする。
 請求項に記載の発明は、
 計測装置が出力する計測データを取得する取得手段と、
 障害物の被計測位置を表すデータである障害物点を前記計測データから検出する障害物検出手段と、
 地面の被計測位置を表すデータである地面点を前記計測データから検出する地面検出手段と、
 現処理時刻の直前の処理時刻において判定した移動体の走行可能領域に基づき、縁石に該当する前記地面点を前記障害物点であると判定する縁石判定手段と、
 前記障害物点と前記地面点とに基づき、前記現処理時刻における前記走行可能領域を決定する走行可能領域決定手段と、
を備える情報処理装置である。
 また、請求項に記載の発明は、
 情報処理装置が実行する制御方法であって、
 計測装置が出力する計測データを取得し、
 障害物の被計測位置を表すデータである障害物点を前記計測データから検出し、
 地面の被計測位置を表すデータである地面点を前記計測データから検出し、
 現処理時刻の直前の処理時刻において判定した移動体の走行可能領域に基づき、縁石に該当する前記地面点を前記障害物点であると判定し、
 前記障害物点と前記地面点とに基づき、前記現処理時刻における前記走行可能領域を決定する、
制御方法である。
 また、請求項に記載の発明は、
 計測装置が出力する計測データを取得し、
 障害物の被計測位置を表すデータである障害物点を前記計測データから検出し、
 地面の被計測位置を表すデータである地面点を前記計測データから検出し、
 現処理時刻の直前の処理時刻において判定した移動体の走行可能領域に基づき、縁石に該当する前記地面点を前記障害物点であると判定し、
 前記障害物点と前記地面点とに基づき、前記現処理時刻における前記走行可能領域を決定する処理をコンピュータに実行させるプログラムである。
実施例に係るライダの概略構成を示す。 実施例に係る全体処理のフローチャートの一例である。 遠方縁石点判定処理の手順を示すフローチャートの一例である。 走行可能領域決定処理の手順を示すフローチャートの一例である。 走行可能領域の決定方法の概要を示す。 遠方縁石点判定第2処理のフローチャートの一例である。 変形例に係るライダシステムの構成図を示す。
 本発明の好適な実施形態では、情報処理装置は、計測装置が出力する計測データを取得する取得手段と、障害物の被計測位置を表すデータである障害物点を前記計測データから検出する障害物検出手段と、地面の被計測位置を表すデータである地面点を前記計測データから検出する地面検出手段と、現処理時刻の直前の処理時刻において判定した移動体の走行可能領域に基づき、縁石に該当する前記地面点を前記障害物点であると判定する縁石判定手段と、前記障害物点と前記地面点とに基づき、前記現処理時刻における前記走行可能領域を決定する走行可能領域決定手段と、を備える。この態様により、情報処理装置は、地面点として誤って検出された縁石に該当する地面点を障害物点であると的確に判定することができる。
 上記情報処理装置の一態様では、前記縁石判定手段は、前記直前の処理時刻における前記走行可能領域に基づき前記現処理時刻における仮走行可能領域を設定し、当該仮走行可能領域に基づき、前記縁石に該当する前記地面点を前記障害物点であると判定する。この態様により、情報処理装置は、直前の処理時刻の走行可能領域に基づき、縁石に該当する地面点を的確に判定することができる。
 上記情報処理装置の他の一態様では、前記縁石判定手段は、前記仮走行可能領域の境界位置付近に存在する前記地面点を前記障害物点に補正する。この態様により、情報処理装置は、縁石に該当する地面点を的確に判定することができる。
 上記情報処理装置の他の一態様では、前記縁石判定手段は、前記仮走行可能領域を、前記直前の処理時刻における前記走行可能領域と、前記計測装置の移動情報とに基づき設定する。この態様により、情報処理装置は、現処理時刻における仮の走行可能領域を的確に設定することができる。
 上記情報処理装置の他の一態様では、情報処理装置は、前記仮走行可能領域内に存在する前記障害物点を、前記地面点に補正する地面点補正手段をさらに有する。この態様により、誤って判定された障害物点を地面点に好適に補正することができる。
 上記情報処理装置の他の一態様では、前記縁石判定手段は、道路が延伸する方向における連続性に基づき、前記縁石に該当する前記地面点を前記障害物点であると判定する。この態様により、情報処理装置は、縁石に該当する地面点を障害物点に好適に補正することができる。
 上記情報処理装置の他の一態様では、前記走行可能領域決定手段は、前記障害物点と前記地面点とに基づき決定した前記現処理時刻の所定距離以内における前記走行可能領域を延伸することで、前記現処理時刻における全体の前記走行可能領域を決定する。この態様により、情報処理装置は、現処理時刻における全体の走行可能領域を的確に決定することができる。好適な例では、前記障害物は、道路境界付近に存在する物体である。さらに好適な例では、前記物体は、縁石、植生、路肩物、道路境界付近の落下物の少なくともいずれかである。
 本発明の他の好適な実施形態では、情報処理装置が実行する制御方法であって、計測装置が出力する計測データを取得し、障害物の被計測位置を表すデータである障害物点を前記計測データから検出し、地面の被計測位置を表すデータである地面点を前記計測データから検出し、現処理時刻の直前の処理時刻において判定した移動体の走行可能領域に基づき、縁石に該当する前記地面点を前記障害物点であると判定し、前記障害物点と前記地面点とに基づき、前記現処理時刻における前記走行可能領域を決定する。情報処理装置は、この制御方法を実行することで、地面点として誤って検出された縁石に該当する地面点を障害物点であると的確に判定することができる。
 本発明の他の好適な実施形態では、プログラムは、計測装置が出力する計測データを取得し、障害物の被計測位置を表すデータである障害物点を前記計測データから検出し、地面の被計測位置を表すデータである地面点を前記計測データから検出し、現処理時刻の直前の処理時刻において判定した移動体の走行可能領域に基づき、縁石に該当する前記地面点を前記障害物点であると判定し、前記障害物点と前記地面点とに基づき、前記現処理時刻における前記走行可能領域を決定する処理をコンピュータに実行させる。コンピュータは、このプログラムを実行することで、地面点として誤って検出された縁石に該当する地面点を障害物点であると的確に判定することができる。好適には、上記プログラムは、記憶媒体に記憶される。
 以下、図面を参照して本発明の好適な実施例について説明する。
 (1)装置構成
 図1は、本実施例に係るライダ100の概略構成を示す。ライダ100は、例えば、自動運転などの運転支援を行う車両に搭載される。ライダ100は、水平方向および垂直方向の所定の角度範囲に対してレーザ光を照射し、当該レーザ光が物体に反射されて戻った光(「反射光」とも呼ぶ。)を受光することで、ライダ100から物体までの距離を離散的に測定し、当該物体の3次元位置を示す点群情報を生成する。ライダ100は、道路面などの地面を測定範囲に含むように設置されている。
 図1に示すように、ライダ100は、主に、送信部1と、受信部2と、ビームスプリッタ3と、スキャナ5と、ピエゾセンサ6と、制御部7と、メモリ8と、を有する。
 送信部1は、パルス状のレーザ光をビームスプリッタ3に向けて出射する光源である。送信部1は、例えば、赤外線レーザ発光素子を含む。送信部1は、制御部7から供給される駆動信号「Sg1」に基づき駆動する。
 受信部2は、例えばアバランシェフォトダイオード(Avalanche PhotoDiode)であり、受光した光量に対応する検出信号「Sg2」を生成し、生成した検出信号Sg2を制御部7へ供給する。
 ビームスプリッタ3は、送信部1から出射されるパルス状のレーザ光を透過する。また、ビームスプリッタ3は、スキャナ5によって反射された反射光を、受信部2に向けて反射する。
 スキャナ5は、例えば静電駆動方式のミラー(MEMSミラー)であり、制御部7から供給される駆動信号「Sg3」に基づき、傾き(即ち光走査の角度)が所定の範囲内で変化する。そして、スキャナ5は、ビームスプリッタ3を透過したレーザ光をライダ100の外部へ向けて反射すると共に、ライダ100の外部から入射する反射光をビームスプリッタ3へ向けて反射する。また、ライダ100の計測範囲内においてレーザ光が照射されることにより計測された点又はその計測データを「被計測点」とも呼ぶ。
 また、スキャナ5には、ピエゾセンサ6が設けられている。ピエゾセンサ6は、スキャナ5のミラー部を支持するトーションバーの応力により生じる歪みを検出する。ピエゾセンサ6は、生成した検出信号「Sg4」を、制御部7へ供給する。検出信号Sg4は、スキャナ5の向きの検出に用いられる。
 メモリ8は、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリなどの各種の揮発性メモリ及び不揮発性メモリにより構成される。メモリ8は、制御部7が所定の処理を実行するために必要なプログラムを記憶する。また、メモリ8は、制御部7により参照される各種パラメータを記憶する。また、メモリ8には、制御部7により生成された最新の所定フレーム数分の点群情報などが記憶される。
 制御部7は、例えば、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)などの各種プロセッサを含む。制御部7は、メモリ8に記憶されたプログラムを実行することで、所定の処理を実行する。制御部7は、プログラムを実行するコンピュータの一例である。なお、制御部7は、プログラムによるソフトウェアで実現することに限ることなく、ハードウェア、ファームウェア、及びソフトウェアのうちのいずれかの組合せ等により実現されてもよい。また、制御部7は、FPGA(field-programmable gate array)又はマイクロコントローラ等の、ユーザがプログラミング可能な集積回路であってもよく、ASSP(Application Specific Standard Produce)、ASIC(Application Specific Integrated Circuit)等であってもよい。
 制御部7は、機能的には、送信駆動ブロック70と、スキャナ駆動ブロック71と、点群情報生成ブロック72と、点群情報処理ブロック73と、を有する。
 送信駆動ブロック70は、送信部1を駆動する駆動信号Sg1を出力する。駆動信号Sg1は、送信部1に含まれるレーザ発光素子の発光時間と、当該レーザ発光素子の発光強度を制御するための情報を含む。送信駆動ブロック70は、駆動信号Sg1に基づき、送信部1に含まれるレーザ発光素子の発光強度を制御する。
 スキャナ駆動ブロック71は、スキャナ5を駆動するための駆動信号Sg3を出力する。この駆動信号Sg3は、スキャナ5の共振周波数に対応する水平駆動信号と、垂直走査するための垂直駆動信号と、を含む。また、スキャナ駆動ブロック71は、ピエゾセンサ6から出力される検出信号Sg4を監視することで、スキャナ5の走査角度(すなわちレーザ光の出射方向)を検出する。
 点群情報生成ブロック72は、受信部2から供給される検出信号Sg2に基づき、ライダ100を基準点として、レーザ光が照射された物体までの距離(計測距離)を計測方向(即ちレーザ光の出射方向)ごとに示した点群情報を生成する。この場合、点群情報生成ブロック72は、レーザ光を出射してから受信部2が反射光を検出するまでの時間を、光の飛行時間(Time of Flight)として算出する。そして、点群情報生成ブロック72は、算出した飛行時間に応じた計測距離と、受信部2が受信した反射光に対応するレーザ光の出射方向との組に対応する点の集合を示す点群情報を生成し、生成した点群情報を点群情報処理ブロック73に供給する。以後では、全被計測点に対する1回分の走査により得られる点群情報を、1フレーム分の点群情報とする。
 ここで、点群情報は、各計測方向を画素とし、各計測方向での計測距離を画素値とする画像とみなすことができる。この場合、画素の縦方向の並びにおいて仰俯角におけるレーザ光の出射方向が異なり、画素の横方向の並びにおいて水平角におけるレーザ光の出射方向が異なる。そして、各画素に対し、対応する出射方向及び計測距離の組に基づき、ライダ100を基準とする3次元座標系での座標値が求められる。以後では、上述の3次元座標系を「基準座標系」とも呼ぶ。基準座標系は、水平面(即ち地面と平行な面)をX-Y軸とし、水平面に垂直な高さ方向をZ軸とする3次元座標系であるものとする。また、X軸は車両の正面方向(即ち道路の延伸方向)と平行であるものとする。なお、基準座標系の原点は、例えば、ライダ100の位置に設定される。また、現処理時刻において得られた点群情報のフレームを「現フレーム」と呼び、過去に得られた点群情報のフレームを「過去フレーム」とも呼ぶ。
 点群情報処理ブロック73は、点群情報生成ブロック72が生成した点群情報に対して所定の処理を実行する。例えば、点群情報処理ブロック73は、点群情報において物体を誤検知することで生成されたデータ(「ノイズデータ」又は「誤警報データ」とも呼ぶ。)を点群情報から除去する処理を行う。この場合、点群情報処理ブロック73は、点群情報に対し、ノイズデータであるか否かを被計測点毎に示すフラグ情報をさらに付加する。以後では、実在する物体を検知することで生成されたデータに対応する被計測点を「有効点」と呼び、有効点以外の被計測点(即ちノイズデータに対応する被計測点)を「無効点」と呼ぶ。
 また、点群情報処理ブロック73は、点群情報生成ブロック72から供給される点群情報が表す被計測点の分類を行い、分類結果を表す分類情報を点群情報に付加する。具体的には、点群情報処理ブロック73は、地面(白線などの路面ペイントも含む)を表す被計測点(「地面点」とも呼ぶ。)と、道路上又は道路周辺(道路境界付近を含む)に存在する障害物(前方車両や地物を含む)を表す被計測点(「障害物点」とも呼ぶ。)と、を夫々検出し、その検出結果に基づき各被計測点の分類を表す分類情報を生成する。また、点群情報処理ブロック73は、レーザ光のビーム幅(所謂フットプリントサイズ)に起因して障害物点であると誤って判定(分類)された被計測点(「誤障害物判定点」とも呼ぶ。)を特定し、誤障害物判定点の分類を地面点に補正する。
 さらに、点群情報処理ブロック73は、遠方に存在する縁石が障害物点と判定されにくい(即ち地面点と判定される)ことを鑑み、遠方に存在する縁石を表す被計測点(「遠方縁石点」とも呼ぶ。)の分類を障害物点に補正する処理である遠方縁石点判定処理を実行する。さらに、点群情報処理ブロック73は、画像とみなした現フレームをグリットに分割し、グリッドごとに車両が走行可能な領域(「走行可能領域」とも呼ぶ。)を表すか否かを判定する処理である走行可能領域決定処理を実行する。
 また、点群情報処理ブロック73は、フレーム毎の点群情報及び走行可能領域に関する情報(「走行可能領域情報」とも呼ぶ。)等を、フレーム毎の処理時刻を示す時刻情報と関連付けてメモリ8に記憶する。点群情報処理ブロック73の処理の詳細については後述する。点群情報処理ブロック73は、「取得手段」、「障害物検出手段」、「地面検出手段」、「地面点補正手段」、「縁石判定手段」及び「走行可能領域決定手段」の一例である。また、点群情報処理ブロック73を除くライダ100は、「計測装置」の一例である。
 なお、点群情報処理ブロック73が生成した点群情報及び走行可能領域情報等は、例えば、車両の自動運転などの運転支援を制御する装置(「運転支援装置」とも呼ぶ。)に出力されてもよい。この場合、例えば、点群情報に基づき、障害物点を少なくとも避けるような車両の制御が行われる。運転支援装置は、例えば、車両のECU(Electronic Control Unit)であってもよく、車両と電気的に接続したカーナビゲーション機器などの車載装置であってもよい。また、ライダ100は、視野範囲に対してレーザ光をスキャンするスキャン型のライダに限らず、2次元アレイ状のセンサの視野範囲にレーザ光を拡散照射することによって3次元データを生成するフラッシュ型のライダであってもよい。
 (2)処理概要
 図2は、点群情報の処理の手順を示すフローチャートの一例である。点群情報処理ブロック73は、図2に示す処理を、1フレーム分の点群情報を生成する周期ごとに繰り返し実行する。
 まず、点群情報生成ブロック72は、検出信号Sg2に基づき、点群情報を生成する(ステップS01)。この場合、点群情報生成ブロック72は、ライダ100の走査対象範囲における1回分の走査により生成された検出信号Sg2に基づき、現処理時刻に対応する現フレームの点群情報を生成する。
 次に、点群情報処理ブロック73は、ステップS01で生成された点群情報からノイズデータを除去する処理であるノイズ除去処理を実行する(ステップS02)。この場合、点群情報処理ブロック73は、任意のノイズ除去処理を実行してもよい。例えば、点群情報処理ブロック73は、受信部2が受信した反射光の強度が所定の閾値未満となる被計測点のデータを、ノイズデータとみなし、ノイズデータ以外のデータを表す被計測点を有効点とみなす。
 次に、点群情報処理ブロック73は、ノイズ除去処理後の点群情報の各有効点を分類する処理を実行する(ステップS03)。この場合、点群情報処理ブロック73は、ノイズ除去処理後の点群情報が表す有効点に基づき地面を表す平面を推定し、当該平面より所定の閾値以上高い位置に存在する有効点を障害物点と判定し、それ以外の有効点を地面点と判定する。この場合、例えば、点群情報処理ブロック73は、有効点の点群データを用い、基準座標系での平面方程式を最小二乗法により求めることで、地面を表す平面を推定する。
 次に、点群情報処理ブロック73は、ステップS03で判定された地面点に基づいて、地面高さを推定する処理(「地面高さ推定処理」とも呼ぶ。)を行う(ステップS04)。この場合、例えば、点群情報処理ブロック73は、地面点から算出される平面方程式に基づき、地面高さを推定する。
 そして、点群情報処理ブロック73は、誤障害物判定点補正処理を実行する(ステップS05)。この場合、点群情報処理ブロック73は、第1補正処理として、白線などの路面ペイントでの反射に起因して障害物点に分類された被計測点の分類を、フットプリントサイズに応じた高さずれ及び奥行ずれを考慮し、地面点に補正する。具体的に、第1補正処理では、障害物点のうち、当該障害物点の周囲の地面点との高さ差が第1閾値以下となる点を、誤障害物判定点の候補として抽出し、周囲の地面点と奥行距離差が第2閾値より大きい上述の候補を、地面点に補正する。以後では、地面点に補正された被計測点を「補正地面点」とも呼ぶ。また、点群情報処理ブロック73は、第2補正処理として、第1補正処理では補正地面点に補正できなかった誤障害物判定点を、障害物点が形成するクラスタの大きさに基づいて検出し、補正地面点に補正する。また、点群情報処理ブロック73は、第3補正処理として、第1補正処理及び第2補正処理によって誤って補正地面点であると判定された点を障害物点として再設定する。第3補正処理では、点群情報処理ブロック73は、補正地面点のうち、障害物点の上下に位置する補正地面点を障害物点に補正したり、縦方向(即ち出射する仰俯角が異なる方向)に所定個(例えば3個)以上連続する補正地面点のクラスタを障害物点に補正したり、過去フレームに基づき補正地面点を障害物点に補正したりする。
 次に、点群情報処理ブロック73は、遠方縁石点判定処理を実行する(ステップS06)。この場合、点群情報処理ブロック73は、1処理時刻前の過去フレームの走行可能領域情報に基づき現フレームに対して仮の走行可能領域(「仮走行可能領域」とも呼ぶ。)を設定し、仮走行可能領域に基づいて地面点と分類された遠方縁石点を判定する。そして、点群情報処理ブロック73は、遠方縁石点の分類を障害物点に補正する。
 次に、点群情報処理ブロック73は、走行可能領域決定処理を実行する(ステップS07)。この場合、点群情報処理ブロック73は、画像と見なした現フレームをグリッドに分割し、グリッドごとに走行可能領域であるか否かを判定する処理を行う。
 (3)遠方縁石点判定処理
 次に、図2のステップS06で実行される遠方縁石点判定処理について詳細に説明する。図3は、遠方縁石点判定処理の手順を示すフローチャートの一例である。
 まず、点群情報処理ブロック73は、現処理時刻の直前の処理時刻に対応する過去フレームの走行可能領域情報に基づき、現フレームに対する仮走行可能領域を設定する(ステップS11)。
 この場合、好適には、点群情報処理ブロック73は、ライダ100の移動に関する情報(「ライダ移動情報」とも呼ぶ。)に基づき、仮走行可能領域を設定する。ここで、点群情報処理ブロック73は、例えば、ライダ100が搭載される車両からCANなどの所定の通信プロトコルを介して受信する車速パルス情報、車両のヨー方向の角速度情報等に基づき、ライダ100の移動速度や方向変化などを示すライダ移動情報を生成する。他の例では、点群情報処理ブロック73は、ライダ100に設けられた加速度センサ等の種々のセンサが出力する検出信号に基づき、ライダ移動情報を生成する。
 そして、点群情報処理ブロック73は、ライダ100が過去フレームから現フレームまでの間において移動していないとライダ移動情報に基づき判定した場合には、連続フレーム間で大きな走行可能領域の変動はないと仮定し、過去フレームの走行可能領域を仮走行可能領域に設定する。
 一方、点群情報処理ブロック73は、ライダ100が過去フレームから現フレームまでの間において移動しているとライダ移動情報に基づき判定した場合、ライダ移動情報に基づき、過去フレームから現フレームまでのライダ100の移動分を算出する。そして、点群情報処理ブロック73は、算出した移動分を過去フレームの走行可能領域に反映した仮走行可能領域を設定する。これにより、点群情報処理ブロック73は、ライダ100の移動を考慮した仮走行可能領域を設定することができる。
 次に、点群情報処理ブロック73は、仮走行可能領域の境界付近に存在する地面点を、遠方縁石点とみなし、障害物点に補正する(ステップS12)。この場合、例えば、点群情報処理ブロック73は、仮走行可能領域とその他の領域とが接する境界を現フレーム上において認識し、境界に相当する画素及び当該画素から所定画素以内の近傍画素に対応する被計測点のうち、地面点と分類されている被計測点の分類を障害物点に補正する。これにより、点群情報処理ブロック73は、点数の少ない遠方縁石点を障害物点と判定することができる。
 次に、点群情報処理ブロック73は、仮走行可能領域内の障害物点を地面点に補正する(ステップS13)。この場合、点群情報処理ブロック73は、仮走行可能領域上に存在する障害物点(ステップS12で障害物点に補正されたものを除く)を地面点に補正する。
 (4)走行可能領域決定処理
 次に、図2のステップS07で実行される走行可能領域決定処理について詳細に説明する。図4は、走行可能領域決定処理の手順を示すフローチャートの一例である。
 まず、点群情報処理ブロック73は、現フレームに対してグリッドを設定する(ステップS21)。この場合、点群情報処理ブロック73は、現フレームを画像とみなし、縦横を所定画素数ごとに区切ることでグリッドを設定する。そして、各グリッドは、縦及び横が上記所定画素数となる矩形領域となる。
 次に、点群情報処理ブロック73は、各グリッドについて、障害物点が存在するグリッドを「1」、障害物点が存在しないグリッドを「0」に分類する(ステップS22)。この場合、点群情報処理ブロック73は、グリッドを構成する画素の各々に対応する被計測点が地面点又は障害物点のいずれであるかを示す分類結果を参照し、上述のグリッドの分類を行う。
 そして、点群情報処理ブロック73は、各グリッドの分類結果に基づき、現フレームに対応する走行可能領域を決定する(ステップS23)。この場合、点群情報処理ブロック73は、各横ラインについて、中央を含む「0」のグリッドの連続列を走行可能領域とみなす。
 図5は、ステップS23での走行可能領域の決定方法の概要を示す。図5では、現フレームのうちライダ100に近い部分のグリッドの分類結果及び当該分類結果に基づき設定された走行可能領域を示している。ここで、「基準ライン」は、画像の横方向の中心を表すラインである。
 この場合、点群情報処理ブロック73は、手前のグリッドの横ラインから順に、基準ラインから左に0となるグリッドを探索し、1となるグリッドの手前のグリッドまでを走行可能領域に設定する。同様に、点群情報処理ブロック73は、基準ラインから右に0となるグリッドを探索し、1となるグリッドの手前のグリッドまでを走行可能領域に設定する。その後、点群情報処理ブロック73は、探索する横ラインを1つ上にずらし同様の処理を行う。
 好適には、点群情報処理ブロック73は、ライダ100から所定距離以内又は下端から所定グリッド数以内となるグリッドの横ラインまでに対して上述の処理を行うことで、一部の走行可能領域(即ちライダ100から所定距離以内における走行可能領域)を決定する。そして、点群情報処理ブロック73は、決定した一部の走行可能領域を奥行方向に延伸することで残りの走行可能領域を決定する。この場合、点群情報処理ブロック73は、例えば、決定した一部の走行可能領域の左側の境界線及び右側の境界線を表す基準座標系の直線を最小二乗法などの回帰分析に基づき算出し、算出したこれらの直線の間の領域を残りの走行可能領域として設定する。これにより、点群情報処理ブロック73は、現フレームにおける走行可能領域全体を好適に設定することができる。
 (5)変形例
 次に、上述の実施例に好適な変形例について説明する。以下の変形例は、組み合わせて上述の実施例に適用してもよい。
 (変形例1)
 点群情報処理ブロック73は、遠方縁石点判定処理として、走行可能領域に基づき遠方縁石点を判定する処理に加えて、道路が延伸する方向における遠方縁石点の連続性に基づき遠方縁石点を判定する処理(「遠方縁石点判定第2処理」とも呼ぶ。)を行ってもよい。この場合、点群情報処理ブロック73は、遠方縁石点がX軸方向に連続して(延伸して)存在しているという前提を利用し、遠方縁石点を判定する。
 図6は、遠方縁石点判定第2処理のフローチャートの一例である。点群情報処理ブロック73は、図2のステップS06において、本フローチャートの処理を図3に示す遠方縁石点判定処理のフローチャートと共に実行する。
 まず、点群情報処理ブロック73は、現フレームにおいて、誤障害物判定点補正処理などにより障害物点から地面点に補正された補正地面点を探索する(ステップS31)。なお、一般的に、フットプリントサイズが大きい場合には、遠方縁石点を障害物点と判定することが困難となり、遠方縁石点は誤障害物判定点補正処理において障害物点から地面点に補正されることになる。なお、点群情報処理ブロック73は、ステップS31に代えて、任意の方法により道路の境界付近に存在する地面点(補正地面点を含む)を探索し、探索した点を対象として以下のステップの処理を実行してもよい。
 次に、点群情報処理ブロック73は、探索した各補正地面点について、縁石の連続性に整合する位置関係にある周囲点をカウントする(ステップS32)。具体的には、点群情報処理ブロック73は、各補正地面点について、YZ平面上での距離が閾値以内となり、障害物点又は補正地面点若しくは補正障害物点(障害物点のみとしても可)に該当する周囲点の数をカウントする。この場合の周囲点は、縦方向のずれが所定ライン数(例えば30ライン)以内であって横ラインに沿った方向におけるずれが所定画素差(例えば3画素差)未満となる画素に対応する現フレームの被計測点である。
 そして、点群情報処理ブロック73は、ステップS32でのカウント数が所定数以上となる補正地面点を遠方縁石点とみなし、障害物点に補正する(ステップS33)。なお、点群情報処理ブロック73は、本フローチャートの処理を図3のフローチャートの処理と別個に実行することに代えて、図3のステップS12の処理において遠方縁石点の連続性を考慮してもよい。この場合、ステップS12では、点群情報処理ブロック73は、仮走行可能領域の境界付近の地面点であって、かつ、上述したような連続性に関する条件を満たす地面点を、障害物点として補正する。
 本変形例によれば、遠方縁石点がX軸方向に連続するという性質を利用してより高精度に遠方縁石点を判定することができる。
 (変形例2)
 ライダ100の構成は、図1に示す構成に限定されない。例えば、制御部7の点群情報処理ブロック73及び点群情報処理ブロック73に相当する機能を、ライダ100とは別の装置が有してもよい。
 図7は、変形例に係るライダシステムの構成図である。ライダシステムは、ライダ100Xと、情報処理装置200とを有する。この場合、ライダ100Xは、点群情報生成ブロック72が生成する点群情報を情報処理装置200へ供給する。
 情報処理装置200は、制御部7Aと、メモリ8とを有する。メモリ8には、制御部7Aが処理を実行するために必要な情報が記憶されている。制御部7Aは、機能的には、点群情報取得ブロック72Aと、点群情報処理ブロック73とを有する。点群情報取得ブロック72Aは、ライダ100Xの点群情報生成ブロック72が生成する点群情報を受信し、受信した点群情報を点群情報処理ブロック73に供給する。点群情報処理ブロック73は、点群情報取得ブロック72Aから供給される点群情報に対し、上述した実施例の点群情報処理ブロック73と同一の処理を実行する。
 なお、情報処理装置200は、運転支援装置により実現されてもよい。また、処理に必要なパラメータの情報は、情報処理装置200が参照可能なメモリを有する他の装置により記憶されてもよい。本変形例の構成によれば、情報処理装置200は、ライダ100Xが生成する点群情報の各被計測点の正確な分類情報を生成することができる。
 以上説明したように、実施例に係るライダ100の制御部7は、本発明における情報処理装置として機能し、機能的には、取得手段と、障害物検出手段と、地面検出手段と、縁石判定手段と、走行可能領域決定手段とを有する。取得手段は、点群データを取得する。障害物検出手段は、障害物の被計測点を表すデータである障害物点を点群データから検出する。地面検出手段は、地面の被計測点を表すデータである地面点を点群データから検出する。縁石判定手段は、現処理時刻の直前の処理時刻において判定した車両の走行可能領域に基づき、縁石に該当する地面点を障害物点であると判定する。走行可能領域決定手段は、障害物点と地面点とに基づき、現処理時刻における走行可能領域を決定する。これにより、ライダ100は、地面点と判定されやすい縁石についても障害物点として的確に判定することが可能となる。
 なお、上述した実施例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータであるコントローラ等に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記憶媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記憶媒体(例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ)、光磁気記憶媒体(例えば光磁気ディスク)、CD-ROM(Read Only Memory)、CD-R、CD-R/W、半導体メモリ(例えば、マスクROM、PROM(Programmable ROM)、EPROM(Erasable PROM)、フラッシュROM、RAM(Random Access Memory))を含む。
 以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。すなわち、本願発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。また、引用した上記の特許文献等の各開示は、本書に引用をもって繰り込むものとする。
 1 送信部
 2 受信部
 3 ビームスプリッタ
 5 スキャナ
 6 ピエゾセンサ
 7、7A 制御部
 8 メモリ
 100、100X ライダ
 200 情報処理装置

Claims (12)

  1.  計測装置が出力する計測データを取得する取得手段と、
     障害物の被計測位置を表すデータである障害物点を前記計測データから検出する障害物検出手段と、
     地面の被計測位置を表すデータである地面点を前記計測データから検出する地面検出手段と、
     現処理時刻の直前の処理時刻において判定した移動体の走行可能領域に基づき、縁石に該当する前記地面点を前記障害物点であると判定する縁石判定手段と、
     前記障害物点と前記地面点とに基づき、前記現処理時刻における前記走行可能領域を決定する走行可能領域決定手段と、
    を備える情報処理装置。
  2.  前記縁石判定手段は、前記直前の処理時刻における前記走行可能領域に基づき前記現処理時刻における仮走行可能領域を設定し、当該仮走行可能領域に基づき、前記縁石に該当する前記地面点を前記障害物点であると判定する、請求項1に記載の情報処理装置。
  3.  前記縁石判定手段は、前記仮走行可能領域の境界位置付近に存在する前記地面点を前記障害物点に補正する、請求項2に記載の情報処理装置。
  4.  前記縁石判定手段は、前記仮走行可能領域を、前記直前の処理時刻における前記走行可能領域と、前記計測装置の移動情報とに基づき設定する、請求項2または3に記載の情報処理装置。
  5.  前記仮走行可能領域内に存在する前記障害物点を、前記地面点に補正する地面点補正手段をさらに有する、請求項2~4のいずれか一項に記載の情報処理装置。
  6.  前記縁石判定手段は、道路が延伸する方向における連続性に基づき、前記縁石に該当する前記地面点を前記障害物点であると判定する、請求項1~5のいずれか一項に記載の情報処理装置。
  7.  前記走行可能領域決定手段は、前記障害物点と前記地面点とに基づき決定した前記現処理時刻の所定距離以内における前記走行可能領域を延伸することで、前記現処理時刻における全体の前記走行可能領域を決定する、請求項1~6のいずれか一項に記載の情報処理装置。
  8.  前記障害物は、道路境界付近に存在する物体である、請求項1~7のいずれか一項に記載の情報処理装置。
  9.  前記物体は、縁石、植生、路肩物、道路境界付近の落下物の少なくともいずれかである、請求項8に記載の情報処理装置。
  10.  情報処理装置が実行する制御方法であって、
     計測装置が出力する計測データを取得し、
     障害物の被計測位置を表すデータである障害物点を前記計測データから検出し、
     地面の被計測位置を表すデータである地面点を前記計測データから検出し、
     現処理時刻の直前の処理時刻において判定した移動体の走行可能領域に基づき、縁石に該当する前記地面点を前記障害物点であると判定し、
     前記障害物点と前記地面点とに基づき、前記現処理時刻における前記走行可能領域を決定する、
    制御方法。
  11.  計測装置が出力する計測データを取得し、
     障害物の被計測位置を表すデータである障害物点を前記計測データから検出し、
     地面の被計測位置を表すデータである地面点を前記計測データから検出し、
     現処理時刻の直前の処理時刻において判定した移動体の走行可能領域に基づき、縁石に該当する前記地面点を前記障害物点であると判定し、
     前記障害物点と前記地面点とに基づき、前記現処理時刻における前記走行可能領域を決定する処理をコンピュータに実行させるプログラム。
  12.  請求項11に記載のプログラムを格納した記憶媒体。
PCT/JP2022/005353 2022-02-10 2022-02-10 情報処理装置、制御方法、プログラム及び記憶媒体 WO2023152871A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202280090621.6A CN118696252A (zh) 2022-02-10 2022-02-10 信息处理装置、控制方法、程序以及存储介质
PCT/JP2022/005353 WO2023152871A1 (ja) 2022-02-10 2022-02-10 情報処理装置、制御方法、プログラム及び記憶媒体
JP2023579953A JPWO2023152871A1 (ja) 2022-02-10 2022-02-10

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2022/005353 WO2023152871A1 (ja) 2022-02-10 2022-02-10 情報処理装置、制御方法、プログラム及び記憶媒体

Publications (1)

Publication Number Publication Date
WO2023152871A1 true WO2023152871A1 (ja) 2023-08-17

Family

ID=87563943

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/005353 WO2023152871A1 (ja) 2022-02-10 2022-02-10 情報処理装置、制御方法、プログラム及び記憶媒体

Country Status (3)

Country Link
JP (1) JPWO2023152871A1 (ja)
CN (1) CN118696252A (ja)
WO (1) WO2023152871A1 (ja)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008082750A (ja) 2006-09-26 2008-04-10 Toyota Motor Corp 前方車両認識装置
JP2011028659A (ja) * 2009-07-29 2011-02-10 Hitachi Automotive Systems Ltd 道路形状認識装置
JP2016045507A (ja) * 2014-08-19 2016-04-04 日野自動車株式会社 運転支援システム
US20160131762A1 (en) * 2014-11-07 2016-05-12 Hyundai Mobis Co., Ltd. Apparatus and method for determining available driving space
CN109254289A (zh) * 2018-11-01 2019-01-22 百度在线网络技术(北京)有限公司 道路护栏的检测方法和检测设备
JP2019027973A (ja) * 2017-08-01 2019-02-21 株式会社デンソー 物標判定装置
JP2019106022A (ja) * 2017-12-13 2019-06-27 株式会社Soken 路側物認識装置
JP2020149079A (ja) * 2019-03-11 2020-09-17 本田技研工業株式会社 路面検出装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008082750A (ja) 2006-09-26 2008-04-10 Toyota Motor Corp 前方車両認識装置
JP2011028659A (ja) * 2009-07-29 2011-02-10 Hitachi Automotive Systems Ltd 道路形状認識装置
JP2016045507A (ja) * 2014-08-19 2016-04-04 日野自動車株式会社 運転支援システム
US20160131762A1 (en) * 2014-11-07 2016-05-12 Hyundai Mobis Co., Ltd. Apparatus and method for determining available driving space
JP2019027973A (ja) * 2017-08-01 2019-02-21 株式会社デンソー 物標判定装置
JP2019106022A (ja) * 2017-12-13 2019-06-27 株式会社Soken 路側物認識装置
CN109254289A (zh) * 2018-11-01 2019-01-22 百度在线网络技术(北京)有限公司 道路护栏的检测方法和检测设备
JP2020149079A (ja) * 2019-03-11 2020-09-17 本田技研工業株式会社 路面検出装置

Also Published As

Publication number Publication date
JPWO2023152871A1 (ja) 2023-08-17
CN118696252A (zh) 2024-09-24

Similar Documents

Publication Publication Date Title
US8724094B2 (en) Apparatus and method of recognizing presence of objects
JP4428208B2 (ja) 車両用物体認識装置
JP4793094B2 (ja) 走行環境認識装置
US7136753B2 (en) Object recognition apparatus for vehicle, inter-vehicle control apparatus, and distance measurement apparatus
US8810445B2 (en) Method and apparatus for recognizing presence of objects
JP5145986B2 (ja) 物体検出装置及び測距方法
JP6505470B2 (ja) ノイズ除去方法および物体認識装置
JP5488518B2 (ja) 道路端検出装置、運転者支援装置、および道路端検出方法
JP2008026997A (ja) 歩行者認識装置及び歩行者認識方法
JP3736521B2 (ja) 車両用物体認識装置
JP3736520B2 (ja) 車両用障害物認識装置
JP2005291788A (ja) 車両用物体認識装置
JP7095640B2 (ja) 物体検出装置
JP2019105654A (ja) ノイズ除去方法および物体認識装置
JP2024072823A (ja) 情報処理装置、制御方法、プログラム及び記憶媒体
JP5556317B2 (ja) 物体認識装置
JP2004184332A (ja) 車両用物体認識装置及び車間制御装置
WO2023152871A1 (ja) 情報処理装置、制御方法、プログラム及び記憶媒体
JP4878483B2 (ja) レーダ装置
WO2022190364A1 (ja) 情報処理装置、情報処理方法、プログラム及び記憶媒体
JP2022139739A (ja) 情報処理装置、情報処理方法、プログラム及び記憶媒体
JP2023064482A (ja) 情報処理装置、制御方法、プログラム及び記憶媒体
WO2023152870A1 (ja) 情報処理装置、制御方法、プログラム及び記憶媒体
JPH05113482A (ja) 車載用追突防止装置
WO2022186099A1 (ja) 情報処理装置、情報処理方法、プログラム及び記憶媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22925892

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2023579953

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2022925892

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022925892

Country of ref document: EP

Effective date: 20240910