WO2022126540A1 - 障碍物检测及重识别方法、装置、可移动平台及存储介质 - Google Patents

障碍物检测及重识别方法、装置、可移动平台及存储介质 Download PDF

Info

Publication number
WO2022126540A1
WO2022126540A1 PCT/CN2020/137338 CN2020137338W WO2022126540A1 WO 2022126540 A1 WO2022126540 A1 WO 2022126540A1 CN 2020137338 W CN2020137338 W CN 2020137338W WO 2022126540 A1 WO2022126540 A1 WO 2022126540A1
Authority
WO
WIPO (PCT)
Prior art keywords
dimensional
anchor points
feature information
images
movable platform
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2020/137338
Other languages
English (en)
French (fr)
Inventor
徐斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Priority to CN202080071444.8A priority Critical patent/CN114556449B/zh
Priority to PCT/CN2020/137338 priority patent/WO2022126540A1/zh
Publication of WO2022126540A1 publication Critical patent/WO2022126540A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Definitions

  • the present application relates to the technical field of object recognition, and in particular, to an obstacle detection and re-identification method, device, movable platform and storage medium.
  • the sensing ranges may overlap, and the same obstacle may be sensed. to associate with the same obstacle, that is, the process of target re-identification.
  • the process of obstacle detection and obstacle re-identification is usually divided into two processes for independent processing.
  • the obstacle detection is performed based on the perception data obtained by the sensor.
  • the detection information is then correlated with the same obstacle detected in each sensor, and the re-identification result is obtained by matching the position and characteristics of the obstacle.
  • the independent processing of the obstacle detection process and the obstacle re-identification process is usually time-consuming and cannot meet the real-time requirements.
  • one of the objectives of the present application is to provide an obstacle detection and re-identification method, device, movable platform and storage medium.
  • an embodiment of the present application provides an obstacle detection and re-identification method, including:
  • One or more three-dimensional anchor points are determined from the three-dimensional mesh model according to the at least two images, where the three-dimensional anchor points are used to indicate positions where obstacles may exist in the three-dimensional space where the three-dimensional mesh model is located;
  • a re-identification result is generated according to the three-dimensional anchor points pointed to by the feature information corresponding to the at least two images respectively.
  • an embodiment of the present application provides an obstacle detection and re-identification method, including:
  • a re-identification result is generated according to the three-dimensional anchor points pointed to by the feature information corresponding to the at least two images respectively.
  • an embodiment of the present application provides an obstacle detection and re-identification device, including a processor and a memory storing a computer program;
  • the processor implements the following steps when executing the computer program:
  • One or more three-dimensional anchor points are determined from the three-dimensional mesh model according to the at least two images, where the three-dimensional anchor points are used to indicate positions where obstacles may exist in the three-dimensional space where the three-dimensional mesh model is located;
  • a re-identification result is generated according to the three-dimensional anchor points pointed to by the feature information corresponding to the at least two images respectively.
  • an embodiment of the present application provides an obstacle detection and re-identification device, including a processor and a memory storing a computer program;
  • the processor implements the following steps when executing the computer program:
  • a re-identification result is generated according to the three-dimensional anchor points pointed to by the feature information corresponding to the at least two images respectively.
  • an embodiment of the present application provides a movable platform, including:
  • a power system installed in the body, for powering the movable platform
  • the obstacle detection and re-identification device according to the third aspect or the fourth aspect.
  • an embodiment of the present application provides a computer-readable storage medium, where the computer-readable storage medium stores a computer program, and when the computer program is executed by a processor, the implementation of the first aspect or the second aspect Methods.
  • a 3D mesh model generated based on the position information of a movable platform is first obtained, and one or more 3D anchors are determined from the 3D mesh model.
  • the three-dimensional anchor point is used to indicate the position where there may be obstacles in the three-dimensional space where the three-dimensional mesh model is located; image, extract the feature information at the positions indicated by each of the three-dimensional anchor points from each of the images, and perform obstacle detection according to the feature information to obtain obstacle detection information.
  • the position of obstacles that may appear around the movable platform is located by the three-dimensional anchor point, and then based on the three-dimensional anchor point and the feature information corresponding to the three-dimensional anchor point in each image, it is realized in an overall framework.
  • the obstacle detection process also performs the obstacle re-identification process. While obtaining the obstacle detection information, the re-identification result is also determined based on the three-dimensional anchor point.
  • the obstacle detection process and the obstacle re-identification process are completed at the same time, which is conducive to improving the detection of obstacles. Therefore, it can meet the real-time requirements in certain scenarios.
  • FIG. 1 is a schematic diagram of an application scenario provided by an embodiment of the present application.
  • FIG. 2 is a schematic structural diagram of a vehicle provided by an embodiment of the present application.
  • FIG. 3 is a schematic diagram of an image captured by a camera on a vehicle provided by an embodiment of the present application
  • 4 and 7 are different schematic diagrams showing obstacle detection information and re-identification results provided by an embodiment of the present application.
  • FIG. 5 and FIG. 8 are schematic flowcharts of different obstacle detection and re-identification methods provided by an embodiment of the present application.
  • FIG. 6 is a schematic diagram of a three-dimensional mesh model provided by an embodiment of the present application.
  • FIG. 9 is a schematic structural diagram of an obstacle detection and re-identification device provided by an embodiment of the present application.
  • FIG. 10 is a schematic structural diagram of a movable platform provided by an embodiment of the present application.
  • the process of obstacle detection and obstacle re-identification is usually divided into two processes for independent processing.
  • the obstacle detection is performed based on the perception data obtained by the sensor.
  • the detection information is then correlated with the same obstacle detected in each sensor, and the re-identification result is obtained by matching the position and characteristics of the obstacle. It is usually time-consuming to deal with the obstacle detection process and the obstacle re-identification process independently and cannot meet the real-time requirements.
  • the embodiments of the present application provide an obstacle detection and re-identification method, which realizes both the obstacle detection process and the obstacle re-identification process in an overall framework, which is beneficial to improve the detection and identification efficiency of obstacles , which can meet the real-time requirements in some scenarios; the embodiment of the present application first acquires a 3D mesh model generated based on the position information of the movable platform, and determines one or more 3D anchor points from the 3D mesh model , the 3D anchor point is used to indicate the position of possible obstacles in the 3D space where the 3D mesh model is located; and, acquiring at least two images respectively collected by at least two photographing devices arranged on the movable platform , extract the feature information at the positions indicated by each of the three-dimensional anchor points from each of the images, and perform obstacle detection according to the feature information to obtain obstacle detection information.
  • the obstacle detection and re-identification method of the embodiment of the present application may be implemented by an obstacle detection and re-identification device.
  • the obstacle detection and re-identification device may be capable of data processing. computer chips or integrated circuits, such as central processing unit (Central Processing Unit, CPU), digital signal processor (Digital Signal Processor, DSP), application specific integrated circuit (Application Specific Integrated Circuit, ASIC) or off-the-shelf programmable gate array (Field -Programmable Gate Array, FPGA) etc.
  • CPU Central Processing Unit
  • DSP digital signal processor
  • ASIC Application Specific Integrated Circuit
  • FPGA off-the-shelf programmable gate array
  • the obstacle detection and re-identification device can be installed in a movable platform;
  • the movable platform in the embodiment of the present application can include: a car, an unmanned aerial vehicle, an unmanned ship or a robot, wherein the car can be an unmanned vehicle, It can also be a manned vehicle, and the unmanned aerial vehicle can be a quad-rotor drone, a hexa-rotor drone, or an octa-rotor drone.
  • the obstacle detection and re-identification device may also be a movable platform, etc.; the movable platform includes at least a car, an unmanned aerial vehicle, an unmanned ship or a robot, wherein the car may be a non- A human-driven vehicle can also be a human-driven vehicle.
  • the movable platform is a vehicle, and the vehicle includes the obstacle detection and re-identification device as an example for description.
  • FIG. 1 shows a vehicle 100
  • the vehicle 100 is the vehicle and other vehicles are obstacles.
  • Figure 2 shows the structure diagram of the vehicle 100.
  • the vehicle 100 can also be installed with at least two photographing devices 10 and a satellite locator. 20 (two photographing devices 10 are taken as an example in FIG. 2 ), the images respectively collected by the at least two photographing devices 10 have a preset overlap ratio, and FIG. 2 is described by taking two photographing devices 10 as an example.
  • this embodiment does not have any restrictions on the installation position of the shooting position on the vehicle 100.
  • the side of the vehicle 100 the side of the vehicle 100 .
  • the fields of view of the two photographing devices 10 partially overlap, so that there are overlapping parts in the two images photographed by the two photographing devices 10 .
  • the image 11 is an image collected by the photographing device 10 installed on the front of the vehicle.
  • the image 12 is the image collected by the photographing device 10 installed on the side of the vehicle body, both of which collect image data of the same vehicle, so as to achieve the purpose of redundancy.
  • the at least two photographing apparatuses 10 may operate at the same frame rate.
  • the shooting parameters or lens types of the at least two shooting devices 10 may be the same or different, and specific settings may be made according to actual application scenarios, such as the shooting device 10 installed on the front of the vehicle 100 shown in FIG. 3 .
  • the lens may be a standard lens, and the lens of the photographing device 10 mounted on the side of the vehicle 100 may be a fisheye lens.
  • the obstacle-avoidance decision or route planning can be performed using the obstacle detection information and the re-identification result.
  • FIG. 110 is the obstacle detection information obtained according to the image 11
  • FIG. 120 is the obstacle detection information obtained according to the image 12
  • the obstacle detection information and the re-identification result can be displayed in the The interface of the vehicle 100 or the interface of the terminal communicatively connected with the vehicle 100 is used to let the user know the driving situation of the vehicle 100 and the road conditions around the vehicle 100 .
  • the obstacle detection information and the re-identification result may be transmitted to other components in the vehicle 100, so that the other components control the vehicle 100 to work safely and reliably based on the obstacle detection information and the re-identification result .
  • FIG. 5 is a schematic flowchart of an obstacle detection and re-identification method provided by the embodiment of the present application. It can be realized by an obstacle detection and re-identification device; the obstacle detection and re-identification device can be a movable platform, or the obstacle detection and re-identification device can be installed in the movable platform as a chip; the method includes :
  • step S101 a 3D mesh model generated based on the position information of the movable platform is acquired, and one or more 3D anchor points are determined from the 3D mesh model, where the 3D anchor points are used to indicate the 3D mesh The location of possible obstacles in the 3D space where the lattice model is located.
  • step S102 at least two images respectively captured by at least two photographing devices disposed on the movable platform are acquired.
  • step S103 feature information at the positions indicated by each of the three-dimensional anchor points is extracted from each of the images, and obstacle detection is performed according to the feature information to obtain obstacle detection information.
  • step S104 a re-identification result is generated according to the three-dimensional anchor points pointed to by the feature information corresponding to the at least two images respectively.
  • the location information of the movable platform can be obtained by a satellite locator installed on the movable platform; wherein, the satellite locator can be based on GNSS (the Global Navigation Satellite System, global navigation satellite system), the GNSS includes but is not limited to GPS (Global Positioning System, global positioning system), GLONASS system (GLONASS satellite navigation system), Galileo system (Galileo satellite navigation system) and Beidou satellite navigation system, etc. .
  • GPS Global Positioning System, global positioning system
  • GLONASS system GLONASS satellite navigation system
  • Galileo system Galileo satellite navigation system
  • Beidou satellite navigation system Beidou satellite navigation system
  • the photographing device includes, but is not limited to, a visible light camera, a grayscale camera, an infrared camera, and the like.
  • the camera may capture a sequence of images at a specified frame rate.
  • the photographing device may have adjustable photographing parameters. Under different capture parameters, the capture device may capture different images despite being subjected to exactly the same external conditions (eg location, lighting).
  • Capture parameters may include exposure (eg, exposure time, shutter speed, aperture, film speed), gain, gamma, region of interest, binning/subsampling, pixel clock, offset, trigger, ISO, and the like. Exposure-related parameters can control the amount of light reaching the image sensor in the camera.
  • shutter speed can control the amount of time light reaches the image sensor and aperture can control the amount of light that reaches the image sensor in a given time.
  • a gain-related parameter can control the amplification of the signal from the optical sensor.
  • ISO controls the level of sensitivity of the camera to the available light.
  • the photographing device has a lens, and the lens includes, but is not limited to, a fixed-focus lens, a standard lens, a telephoto lens, a wide-angle lens, a fisheye lens, a zoom lens, and the like.
  • the at least two photographing devices may work at the same frame rate.
  • the at least two photographing apparatuses may be the same type of photographing apparatus, for example, both are visible light cameras; or may be different types of photographing apparatuses, for example, one of the photographing apparatuses is a visible light camera, and the other photographing apparatus is a grayscale. camera etc.
  • the shooting parameters and lens types of the at least two shooting devices may be the same or different.
  • the fields of view of the at least two photographing devices have a preset overlap ratio, so that at least two images respectively collected by the at least two photographing devices also have overlapping parts, so as to achieve the purpose of redundancy. .
  • the obstacle detection and re-identification device may generate a three-dimensional grid model based on the position information of the movable platform and preset grid parameters, so The mesh parameter at least indicates the size and/or shape of the three-dimensional mesh in the three-dimensional mesh model (for example, the three-dimensional mesh may be a cuboid or a cube, etc.).
  • the movable platform is the vehicle 100 for illustration.
  • the position information of the movable platform can be used to determine the origin of the 3D coordinate system where the 3D mesh model is located, and the The moving direction of the movable platform is the X-axis direction, the direction perpendicular to the X-axis is the Y-axis direction (for example, the plane where the X-axis direction and the Y-axis direction are located can be parallel to the ground), and the direction perpendicular to the ground is the Z-axis direction, then you can The three-dimensional mesh model is generated based on the above-mentioned parameters (the origin, the three-axis direction, etc.) of the three-dimensional coordinate system where the three-dimensional mesh model is located, and based on the preset mesh parameters.
  • the obstacle detection and re-identification device may acquire one or more three-dimensional anchor points (3D Anchors) from the three-dimensional mesh model, and the three-dimensional anchor points are used for indicating The position of the obstacle may exist in the three-dimensional space where the three-dimensional mesh model is located; exemplarily, the three-dimensional anchor point may be obtained in the following possible implementation manners:
  • the corresponding 3D anchor point may be determined according to each position in the 3D mesh model, that is, assuming that obstacles may exist at all positions in the 3D mesh model, Thus, three-dimensional anchor points corresponding to all positions in the three-dimensional mesh model are obtained.
  • the probability of existing obstacles at each position in the three-dimensional grid model can be counted according to historical data, and the historical data can be the obstacle detection and re-identification device in a historical time period
  • the historical detection information may include position information (such as three-dimensional position information, etc.)
  • the one or more three-dimensional anchor points are determined based on the probability that an obstacle exists at each location in the model.
  • the three-dimensional anchor point may be determined according to the position where the probability of existing obstacles in the three-dimensional grid model is greater than a preset threshold, and the probability of excluding obstacles in the three-dimensional grid model is not greater than
  • the position of the preset threshold, the preset threshold can be flexibly set according to the actual application scenario.
  • the number of three-dimensional anchor points is significantly reduced, which is beneficial to reduce the computational complexity (for example, the computational amount of the subsequent obstacle detection process is reduced), and achieves the purpose of saving computational resources.
  • one or more three-dimensional anchor points may be determined from the three-dimensional mesh model according to the attribute information of the movable platform and/or the attribute information of obstacles.
  • the attribute information of the movable platform includes one or more of the following: the movement mode, type, size of the movable platform, and the installation position of the photographing device on the movable platform; the obstacle
  • the attribute information includes but is not limited to the type, size and shape of the obstacle.
  • the three-dimensional anchor points that conform to the attribute information of the movable platform and/or the attribute information of obstacles are determined from the three-dimensional mesh model.
  • the number of three-dimensional anchor points is significantly reduced, Therefore, it is beneficial to reduce the computational complexity (for example, the computational amount of the subsequent obstacle detection process is reduced), and achieve the purpose of saving computational resources.
  • the positions where there are no obstacles in the three-dimensional mesh model are excluded, or the unnecessary positions in the three-dimensional mesh model can be excluded.
  • the position of the obstacle is detected, and then the three-dimensional anchor point is determined according to the remaining positions in the three-dimensional mesh model.
  • the movable platform as an unmanned vehicle as an example
  • the movable platform as an unmanned vehicle as an example
  • the attribute information of the unmanned vehicle based on the attribute information of the unmanned vehicle and/or the attribute information of the obstacles, it can be determined that there are obstacles at the position on the ground, which will affect the unmanned vehicles.
  • the driving of the vehicle is safe, so the 3D anchor point can be determined based on the position on the ground in the 3D mesh model.
  • At least two images respectively collected by at least two photographing devices disposed on the movable platform may be obtained.
  • the frequency at which the satellite locator obtains the position information The frame rates of the at least two photographing devices are synchronized, that is, the at least two images are collected when the movable platform is at the position indicated by the position information, thereby ensuring that the three-dimensional network generated based on the position information is ensured. If the correspondence between the grid model and the at least two images is determined, then one or more three-dimensional anchor points may be determined from the three-dimensional grid model according to the at least two images. Therefore, the accuracy of the determined 3D anchor points can be further improved.
  • the number of three-dimensional anchor points determined based on the at least two images is further reduced and more accurate, thereby helping to reduce the computational complexity (for example, in the subsequent obstacle detection process).
  • the amount of calculation is reduced) to achieve the purpose of saving computing resources.
  • the at least two images and the three-dimensional network model may be input into a pre-trained first model, so that the first model can perform feature extraction on the at least two images, And based on the extracted features, the positions of possible obstacles in the three-dimensional mesh model are predicted to determine the one or more three-dimensional anchor points.
  • the at least two images have the two-dimensional information of the obstacle to be identified, it is beneficial to predict the position of the obstacle that may exist in the three-dimensional grid model based on the at least two images. Improves the accuracy of determined 3D anchor points.
  • the first model can be obtained by training based on several training samples, and the training samples include image samples and samples of a 3D grid model based on a movable platform.
  • the supervised training method is taken as an example, and the training samples also correspond to The true value of the three-dimensional anchor point.
  • the training sample can be input into the first model, so that the first model can predict the three-dimensional grid model according to the extracted features of the image sample.
  • the position of the obstacle may exist, so as to output the predicted value of the three-dimensional anchor point, and then adjust the parameters of the first model according to the difference between the predicted value of the three-dimensional anchor point and the real value of the three-dimensional anchor point, so as to obtain the trained first model.
  • a model wherein the first model is used to predict the position of possible obstacles in the three-dimensional mesh model according to the image, so as to determine the three-dimensional anchor point.
  • one or more first two-dimensional anchor points (2D Anchors) may be generated based on each of the images obtained by each of the photographing devices, and the first two-dimensional anchor points are used to indicate the The position of obstacles that may exist in the two-dimensional space where the image is located; as an example, feature extraction can be performed on each of the images, and the one or more first two-dimensional anchor points are determined according to the extracted features; wherein,
  • the features include, but are not limited to: SIFT (Scale Invariant Feature Transform) features, HOG (Histogram of Oriented Gradients) features, LBP (Local Binary Pattern, Local Binary Pattern) features, SURF (Speeded Up Robust Features), accelerated robust features ) features, ORB (Oriented Fastand Rotated Brief,) features, HAAR features, or image features extracted based on feature extraction neural networks, etc.
  • the one or more first two-dimensional anchor points may be projected to the three-dimensional grid model according to the projection relationship between the image and the three-dimensional mesh model In the three-dimensional space where the grid model is located, the one or more three-dimensional anchor points are obtained; in this embodiment, considering that the at least two images have two-dimensional information of the obstacle to be identified, the two-dimensional image is based on the Determining the position where there may be obstacles in the two-dimensional space has a high accuracy, and the three-dimensional anchor points further obtained by mapping the one or more first two-dimensional anchor points also have a high accuracy, and the three-dimensional anchor points There is a high probability of obstructions at the indicated location.
  • the projection relationship between the image and the three-dimensional mesh model may be determined based on the positional relationship between the movable platform and the photographing device, and the external and internal parameters of the photographing device;
  • the positional relationship between the mobile platform and the shooting device, and the external parameters of the shooting device determine the external parameters of the camera coordinate system of the shooting device to the three-dimensional coordinate system where the three-dimensional mesh model is located, and then based on the camera coordinate system of the shooting device to the three-dimensional coordinate system
  • the external parameters of the three-dimensional coordinate system where the grid model is located and the internal parameters of the photographing device obtain the projection relationship between the image and the three-dimensional grid model.
  • the obstacle detection and re-identification device may acquire multiple images respectively collected by the at least two photographing devices in a continuous time series; and then perform moving target detection according to the multiple images, Obtain the motion information of the obstacle; and obtain the motion information of the movable platform in the continuous time series; finally, according to the motion information of the obstacle and the motion information of the movable platform, from the three-dimensional One or more 3D anchor points are identified in the mesh model.
  • the three-dimensional anchor point is predicted based on the motion information of the obstacle and the motion information of the movable platform, and the obstacle is tracked and monitored from the time sequence, which is beneficial to ensure the accuracy of the determined three-dimensional anchor point.
  • the obstacle detection and re-identification device can perform moving target detection according to image a, image b and image c to obtain the first motion information of the obstacle; and, move according to image A, image B and image C Target detection, obtain the second motion information of the obstacle; then according to the first motion information, the second motion information and the motion information of the movable platform in the continuous time series, predict one from the three-dimensional grid model. or multiple 3D anchor points.
  • the obstacle detection and re-identification device may Extract feature information at the positions indicated by each of the three-dimensional anchor points from each image, the feature information may be two-dimensional feature information and/or three-dimensional feature information, and then perform obstacle detection based on the feature information to obtain obstacles Object detection information.
  • two-dimensional feature information and/or three-dimensional feature information can be obtained by any combination of the following two possible implementations:
  • the obstacle detection and re-identification device may project one or more of the three-dimensional anchor points to the image based on the projection relationship between the image and the three-dimensional mesh model
  • one or more second two-dimensional anchor points (2D Anchors) are obtained, and the second two-dimensional anchor points are used to indicate the position where there may be obstacles in the two-dimensional space where the image is located, and then from Two-dimensional feature information at positions indicated by each of the second two-dimensional anchor points is extracted from the image.
  • 2D Anchors 2D Anchors
  • the obstacle detection based on the image information is beneficial to improve the accuracy of obstacle detection, and for other positions in the image that are not indicated by the three-dimensional anchor point.
  • the image information does not need to be processed, which is beneficial to improve the efficiency of obstacle detection.
  • the projection relationship between the image and the three-dimensional mesh model may be determined based on the positional relationship between the movable platform and the photographing device, and the external and internal parameters of the photographing device.
  • the obstacle detection and re-identification device may first perform feature extraction on the image, and obtain the characteristics of the image. two-dimensional feature information, and then obtain the two-dimensional feature information at the position indicated by each of the second two-dimensional anchor points from the two-dimensional feature information of the image according to each of the second two-dimensional anchor points.
  • the two-dimensional feature information of the image includes, but is not limited to: SIFT (Scale Invariant Feature Transform) feature, HOG (Histogram of Oriented Gradient) feature, LBP (Local Binary Pattern, Local Binary Pattern) feature, SURF (Speeded Up Robust Features) features, ORB (Oriented Fastand Rotated Brief,) features, HAAR features or image features extracted based on feature extraction neural networks, etc.
  • SIFT Scale Invariant Feature Transform
  • HOG Histogram of Oriented Gradient
  • LBP Longcal Binary Pattern, Local Binary Pattern
  • SURF Speeded Up Robust Features
  • ORB Oriented Fastand Rotated Brief,
  • the at least two photographing apparatuses may be apparatuses with a depth acquisition function, such as a depth camera; the obstacle detection and re-identification apparatus may be performed according to the image and corresponding depth information.
  • Three-dimensional reconstruction acquiring a three-dimensional model, and then extracting three-dimensional feature information at the positions indicated by each of the three-dimensional anchor points from the three-dimensional model.
  • the image is mapped to the three-dimensional space through three-dimensional reconstruction, so that three-dimensional information corresponding to the image at the position indicated by the three-dimensional anchor point where there may be an obstacle can be obtained.
  • the obstacle detection is performed based on the three-dimensional information of the image, which is conducive to improving the accuracy of obstacle detection, and the three-dimensional information of the images in other positions that are not indicated by the three-dimensional anchor point does not need to be processed, which is conducive to improving the accuracy of obstacle detection. Improve obstacle detection efficiency.
  • the obstacle detection and re-identification device may determine each pixel in the image according to the projection relationship between the image and the three-dimensional mesh model and the depth information. Map to three-dimensional coordinates in three-dimensional space, and then obtain the three-dimensional model according to the three-dimensional coordinates.
  • the obstacle detection and re-identification device may first perform feature extraction on the three-dimensional model, and obtain the three-dimensional features of the three-dimensional model. Then, according to each of the three-dimensional anchor points, the three-dimensional feature information at the position indicated by each of the three-dimensional anchor points is obtained from the three-dimensional feature information of the three-dimensional model.
  • the three-dimensional feature information includes, but is not limited to, contour shape features, topological shape features, or visual shape features, etc.
  • the contour shape features may include vertices and mesh features, etc.; It is limited to branches or connectivity features of the 3D model, etc.
  • the visual shape features may include features of visual images of the 3D model in various directions.
  • the three-dimensional model may be feature extracted using a neural network model for extracting three-dimensional features.
  • the obstacle detection and re-identification device may perform obstacle detection based on the feature information.
  • the obstacle detection and re-identification device may The feature information is input into the pre-trained second model, and the second model is used for obstacle detection to obtain obstacle detection information; wherein, the obstacle detection information includes at least one or more of the following: obstacle type, Size, orientation, 2D coordinates and 3D coordinates, etc.
  • the second model can be obtained by training based on several training samples, and the training samples include extracting feature information at positions where obstacles may exist from the image samples.
  • the training samples also Corresponding to the real information of obstacles
  • the training samples can be input into the second model, so that the second model can identify obstacles according to the feature information, so as to output obstacle prediction information, and then The parameters of the second model are adjusted according to the difference between the predicted obstacle information and the real information of the obstacle, so as to obtain a trained second model, and the second model is used to generate a model according to the feature information of the image. Identify obstacles.
  • the first model is used to predict the 3D anchor point from the 3D mesh model according to the image
  • the second model is used to extract the feature information at the position indicated by the 3D anchor point from the image.
  • the first model and the second model have an associated relationship. Therefore, in order to further improve the accuracy of obstacle detection, a joint training method can be used to train the associated first model and the second model.
  • the second model for example, the training sample includes an image sample and a 3D mesh model sample based on a movable platform, and a 3D anchor point extracted from the image sample (the 3D anchor point is obtained from the 3D mesh model sample) indicated by The feature information at the location, taking the supervised training method as an example, the training sample also corresponds to the real value of the three-dimensional anchor point and the real information of the obstacle; in the training process, the image sample and the mobile platform-based
  • the three-dimensional grid model sample is input into the first model, so that the first model can predict the position of the possible obstacle in the three-dimensional grid model sample according to the image sample, so as to output the three-dimensional anchor point prediction value; and inputting the feature information at the position indicated by the three-dimensional anchor point extracted from the image sample into the second model, so that the second model can identify obstacles according to the feature information, thereby outputting obstacle prediction information ; and then can jointly adjust the first model based on the difference between the predicted value of the three-dimensional anchor point and the real value of the three
  • the obstacle detection and re-identification device may generate a re-identification result according to the three-dimensional anchor points pointed to by the feature information corresponding to at least two images respectively, and may In this way, if the at least two feature information corresponding to the at least two images respectively point to the same three-dimensional anchor point, indicating that they point to the same three-dimensional space position, then it is determined that the at least two feature information obtained from the at least two feature information respectively point to the same three-dimensional anchor point.
  • the obstacle detection information belongs to the same obstacle.
  • the obstacle detection and re-identification device may be based on the three-dimensional anchors pointed to by the feature information corresponding to the at least two images respectively. point and the obstacle detection information to generate a re-identification result; specifically, if the at least two feature information corresponding to the at least two images respectively point to the same three-dimensional anchor point, it indicates that it points to the same three-dimensional space position, And the difference between the obstacle detection information obtained from the at least two feature information respectively satisfies a preset condition, then it can be further accurately determined that the obstacle detection information obtained from the at least two feature information belongs to the same obstacle.
  • the joint judgment of the three-dimensional anchor point and the obstacle detection information is beneficial to improve the accuracy of the re-identification result.
  • the preset condition may be specifically set according to the actual application scenario, for example, the preset condition may be the difference between the at least two obstacle detection information obtained from the at least two feature information respectively.
  • the similarity is greater than a preset threshold, and the preset threshold can be flexibly set according to actual application scenarios.
  • the obstacle-avoidance decision or route planning may be performed using the obstacle detection information and the re-identification result.
  • the obstacle detection and re-identification device may display the obstacle detection information and the re-identification result on the interface of the movable platform or the interface of the terminal communicatively connected to the movable platform, so that The user understands the environment of the mobile platform.
  • FIG. 7 taking the images 11 and 12 obtained in FIG. 3 as an example, the at least Two images; wherein, the obstacle detection information and the re-identification result are displayed in the at least two images, please refer to FIG. 7, the identified obstacles are marked with a white candidate frame, and the marked The re-identification results of the same obstacle in images 11 and 12 realize the combination of the obstacle detection information and the re-identification result with the actual scene, so that the user can further understand the movement of the movable platform in the actual scene.
  • an embodiment of the present application further provides an obstacle detection and re-identification method, including:
  • step S201 at least two images respectively collected by at least two photographing devices disposed on the movable platform are acquired, and a three-dimensional mesh model generated based on the position information of the movable platform is acquired.
  • step S202 one or more three-dimensional anchor points are determined from the three-dimensional mesh model according to the at least two images, where the three-dimensional anchor points are used to indicate that there may exist in the three-dimensional space where the three-dimensional mesh model is located the location of the obstacle.
  • step S203 feature information at positions indicated by each of the three-dimensional anchor points is extracted from each of the images, and obstacle detection is performed according to the feature information to obtain obstacle detection information.
  • step S204 a re-identification result is generated according to the three-dimensional anchor points pointed to by the feature information corresponding to the at least two images respectively.
  • the determining one or more three-dimensional anchor points from the three-dimensional mesh model according to the at least two images includes:
  • the first model is used to obtain the one or more three-dimensional anchor points based on the At least two images predict the location of possible obstacles in the three-dimensional mesh model to determine the three-dimensional anchor point.
  • the determining one or more three-dimensional anchor points from the three-dimensional mesh model according to the at least two images includes:
  • One or more first two-dimensional anchor points are generated based on each of the images; the first two-dimensional anchor points are used to indicate the position of possible obstacles in the two-dimensional space where the image is located;
  • the projection relationship between the image and the three-dimensional mesh model is determined based on the positional relationship between the movable platform and the photographing device, and the external and internal parameters of the photographing device.
  • the generating one or more first two-dimensional anchor points based on each of the images includes:
  • Feature extraction is performed on each of the images, and the one or more first two-dimensional anchor points are determined according to the extracted features.
  • the acquiring at least two images respectively captured by at least two photographing devices disposed on the movable platform includes:
  • the determining one or more three-dimensional anchor points from the three-dimensional mesh model according to the at least two images includes:
  • One or more three-dimensional anchor points are determined from the three-dimensional mesh model according to the motion information of the obstacle and the motion information of the movable platform.
  • the feature information includes two-dimensional feature information and/or three-dimensional feature information.
  • the extracting feature information at the positions indicated by each of the three-dimensional anchor points from each of the images includes:
  • the three-dimensional anchor points Based on the projection relationship between the image and the three-dimensional mesh model, project one or more of the three-dimensional anchor points into the two-dimensional space where the image is located to obtain one or more second two-dimensional anchor points; the The second two-dimensional anchor point is used to indicate a position where an obstacle may exist in the two-dimensional space where the image is located;
  • Two-dimensional feature information at positions indicated by each of the second two-dimensional anchor points is extracted from the image.
  • the extracting, from the image, two-dimensional feature information at positions indicated by the second two-dimensional anchor points includes:
  • the two-dimensional feature information at the position indicated by each of the second two-dimensional anchor points is acquired from the two-dimensional feature information of the image according to each of the second two-dimensional anchor points.
  • the at least two photographing devices are devices with a depth acquisition function.
  • the extracting feature information at the positions indicated by the three-dimensional anchor points from each of the images includes:
  • Three-dimensional feature information at positions indicated by each of the three-dimensional anchor points is extracted from the three-dimensional model.
  • the extracting, from the three-dimensional model, the three-dimensional feature information at the positions indicated by the three-dimensional anchor points includes:
  • the three-dimensional feature information at the position indicated by each of the three-dimensional anchor points is acquired from the three-dimensional feature information of the three-dimensional model according to each of the three-dimensional anchor points.
  • the performing obstacle detection according to the feature information to obtain the obstacle detection information includes: inputting the feature information into a pre-trained second model, and using the second model to perform obstacle detection. Detect, get obstacle detection information.
  • the obstacle detection information includes at least one or more of the following: obstacle type, size, orientation, two-dimensional coordinates, and three-dimensional coordinates.
  • generating a re-identification result according to the three-dimensional anchor points pointed to by the feature information corresponding to the at least two images respectively includes:
  • the at least two feature information corresponding to the at least two images respectively point to the same three-dimensional anchor point, it is determined that the obstacle detection information obtained from the at least two feature information respectively belongs to the same obstacle.
  • generating a re-identification result according to the three-dimensional anchor points pointed to by the feature information corresponding to the at least two images respectively includes:
  • a re-identification result is generated according to the three-dimensional anchor points pointed to by the feature information and the obstacle detection information corresponding to the at least two images respectively.
  • the generating a re-identification result according to the three-dimensional anchor points pointed to by the feature information corresponding to the at least two images and the obstacle detection information, respectively includes:
  • the at least two feature information corresponding to the at least two images respectively point to the same three-dimensional anchor point, and the difference between the obstacle detection information obtained from the at least two feature information respectively satisfies the preset condition, it is determined that the The obstacle detection information obtained respectively from the at least two feature information belongs to the same obstacle.
  • the obstacle detection information and the re-identification result are used to make an obstacle avoidance decision or a moving route planning for the movable platform.
  • the method further includes: displaying the obstacle detection information and the re-identification result on an interface of the movable platform or an interface of a terminal device communicatively connected to the movable platform.
  • the method further includes: displaying the at least two images on an interface of the movable platform or an interface of a terminal device communicatively connected to the movable platform; wherein the obstacle detection information and the The re-identification results are displayed in the at least two images.
  • the at least two images respectively captured by the at least two photographing devices have a preset overlap ratio.
  • the location information of the movable platform is obtained by a satellite locator provided on the movable platform.
  • the three-dimensional grid model is generated based on the position information of the movable platform and preset grid parameters; the grid parameters at least indicate the size of the three-dimensional grid in the three-dimensional grid model and/or shape.
  • an embodiment of the present application further provides an obstacle detection and re-identification device 30 , including a processor 31 and a memory 32 storing a computer program;
  • the processor 31 implements the following steps when executing the computer program:
  • One or more three-dimensional anchor points are determined from the three-dimensional mesh model according to the at least two images, where the three-dimensional anchor points are used to indicate positions where obstacles may exist in the three-dimensional space where the three-dimensional mesh model is located;
  • a re-identification result is generated according to the three-dimensional anchor points pointed to by the feature information corresponding to the at least two images respectively.
  • the processor 31 is specifically configured to: input the at least two images and the three-dimensional network model into a pre-trained first model, and use the first model to obtain the one or more images.
  • the first model is used to predict the position of possible obstacles in the three-dimensional mesh model based on the at least two images, so as to determine the three-dimensional anchor point.
  • the processor 31 is specifically configured to: generate one or more first two-dimensional anchor points based on each of the images; the first two-dimensional anchor points are used to indicate the second two-dimensional anchor point where the image is located. There may be obstacles in the dimensional space; according to the projection relationship between the image and the 3D grid model, project the one or more first 2D anchor points to the 3D space where the 3D grid model is located, The one or more three-dimensional anchor points are obtained.
  • the projection relationship between the image and the three-dimensional mesh model is determined based on the positional relationship between the movable platform and the photographing device, and the external and internal parameters of the photographing device.
  • the processor 31 is further configured to: perform feature extraction on each of the images, and determine the one or more first two-dimensional anchor points according to the extracted features.
  • the processor 31 is further configured to:
  • One or more three-dimensional anchor points are determined from the three-dimensional mesh model according to the motion information of the obstacle and the motion information of the movable platform.
  • the feature information includes two-dimensional feature information and/or three-dimensional feature information.
  • the processor 31 is further configured to: project one or more of the three-dimensional anchor points into the two-dimensional space where the image is located based on the projection relationship between the image and the three-dimensional mesh model. , to obtain one or more second two-dimensional anchor points; the second two-dimensional anchor points are used to indicate the position of possible obstacles in the two-dimensional space where the image is located; extract each of the second two-dimensional anchor points from the image 2D feature information at the location indicated by the 2D anchor point.
  • the processor 31 is further configured to: perform feature extraction on the image to obtain two-dimensional feature information of the image;
  • the feature information acquires two-dimensional feature information at positions indicated by each of the second two-dimensional anchor points.
  • the at least two photographing devices are devices with a depth acquisition function.
  • the processor 31 is further configured to: perform three-dimensional reconstruction according to the image and corresponding depth information to obtain a three-dimensional model; 3D feature information.
  • the processor 31 is further configured to: perform feature extraction on the three-dimensional model to obtain three-dimensional feature information of the three-dimensional model; The three-dimensional feature information at the position indicated by each of the three-dimensional anchor points is obtained in .
  • the processor 31 is further configured to: input the feature information into a pre-trained second model, use the second model to perform obstacle detection, and obtain obstacle detection information.
  • the processor 31 is further configured to: the obstacle detection information includes at least one or more of the following: obstacle type, size, orientation, two-dimensional coordinates, and three-dimensional coordinates.
  • the processor 31 is further configured to: if the at least two feature information corresponding to the at least two images respectively point to the same three-dimensional anchor point, determine the obtained data obtained from the at least two feature information respectively.
  • the obstacle detection information described above belongs to the same obstacle.
  • the processor 31 is further configured to: generate a re-identification result according to the three-dimensional anchor points pointed to by the feature information corresponding to the at least two images respectively and the obstacle detection information.
  • the processor 31 is specifically configured to: if the at least two feature information corresponding to the at least two images respectively point to the same three-dimensional anchor point, and the obtained data obtained from the at least two feature information respectively The difference of the obstacle detection information satisfies a preset condition, and it is determined that the obstacle detection information obtained respectively from the at least two feature information belongs to the same obstacle.
  • the obstacle detection information and the re-identification result are used to make an obstacle avoidance decision or a moving route planning for the movable platform.
  • the processor 31 is further configured to: display the obstacle detection information and the re-identification result on an interface of the movable platform or an interface of a terminal device communicatively connected to the movable platform .
  • the processor 31 is further configured to: display the at least two images on an interface of the movable platform or an interface of a terminal device communicatively connected to the movable platform; wherein the obstacle The object detection information and the re-identification result are displayed in the at least two images.
  • the at least two images respectively captured by the at least two photographing devices have a preset overlap ratio.
  • the location information of the movable platform is obtained by a satellite locator provided on the movable platform.
  • the three-dimensional grid model is generated based on the position information of the movable platform and preset grid parameters; the grid parameters at least indicate the size of the three-dimensional grid in the three-dimensional grid model and/or shape.
  • the embodiment of the present application also provides a device for obstacle detection and re-identification, including a processor and a memory storing a computer program;
  • the processor implements the following steps when executing the computer program:
  • a re-identification result is generated according to the three-dimensional anchor points pointed to by the feature information corresponding to the at least two images respectively.
  • the processor is further configured to: count the probability that obstacles exist at each position in the three-dimensional mesh model according to historical data, so as to determine the one or more three-dimensional anchor points.
  • the three-dimensional anchor point indicates a position in the three-dimensional mesh model where the probability of existence of an obstacle is greater than a preset threshold.
  • the processor is further configured to: determine one or more three-dimensional anchor points from the three-dimensional mesh model according to the attribute information of the movable platform and/or the attribute information of obstacles.
  • the attribute information of the movable platform includes one or more of the following: a movement mode, category, and size of the movable platform, and an installation position of the photographing device on the movable platform; And/or, the attribute information of the obstacle includes one or more of the following: the type, size and shape of the obstacle.
  • the processor is further configured to: determine corresponding three-dimensional anchor points according to each position in the three-dimensional mesh model.
  • the processor is further configured to: determine one or more three-dimensional anchor points from the three-dimensional mesh model according to the at least two images.
  • the various embodiments described herein can be implemented using computer readable media such as computer software, hardware, or any combination thereof.
  • the embodiments described herein can be implemented using application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays ( FPGA), processors, controllers, microcontrollers, microprocessors, electronic units designed to perform the functions described herein are implemented.
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGA field programmable gate arrays
  • processors controllers, microcontrollers, microprocessors, electronic units designed to perform the functions described herein are implemented.
  • embodiments such as procedures or functions may be implemented with separate software modules that allow the performance of at least one function or operation.
  • the software codes may be implemented by a software application (or program) written in any suitable programming language, which may be stored in
  • an embodiment of the present application further provides a movable platform 100 , including: a body 101 ; and a power system 102 , which is installed in the body 101 and is used to provide power for the movable platform 100 and, the above-mentioned obstacle detection and re-identification device 30 .
  • non-transitory computer-readable storage medium such as a memory including instructions, executable by a processor of an apparatus to perform the above-described method.
  • the non-transitory computer-readable storage medium may be ROM, random access memory (RAM), CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like.
  • a non-transitory computer-readable storage medium when the instructions in the storage medium are executed by the processor of the terminal, enable the terminal to execute the above method.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种障碍物检测及重识别方法、装置、可移动平台及存储介质，所述方法包括：获取设置于可移动平台的至少两个拍摄装置分别采集的至少两张图像，以及，获取基于所述可移动平台的位置信息生成的三维网格模型（S201）；根据所述至少两张图像从所述三维网格模型中确定一个或多个三维锚点，所述三维锚点用于指示所述三维网格模型所在的三维空间中可能存在障碍物的位置（S202）；从每张所述图像中提取各个所述三维锚点指示的位置处的特征信息，并根据所述特征信息进行障碍物检测，获得障碍物检测信息（S203）；以及，根据所述至少两张图像分别对应的所述特征信息指向的三维锚点，生成重识别结果（S204）。该方法可以实现在一个整体的框架中既进行障碍物检测过程也进行障碍物重识别过程。

Description

障碍物检测及重识别方法、装置、可移动平台及存储介质 技术领域
本申请涉及物体识别技术领域，具体而言，涉及一种障碍物检测及重识别方法、装置、可移动平台及存储介质。
背景技术
在自动驾驶、无人机自动飞行以及机器人导航等领域，对于障碍物的识别是使可移动平台安全可靠工作的关键因素之一。通常，会利用安装在可移动平台上的各式各样的传感器(如毫米波雷达、激光雷达、摄像头或者卫星导航元件等)，在可移动平移动过程中来感知周围的环境，收集感知数据，基于感知数据进行障碍物(静态或动态物体)的辨识、侦测与追踪，预测可能发生的危险，从而保证可移动平台进行安全可靠地工作。
其中，在基于感知数据进行障碍物的辨识的过程中，在传感器有多个的情况下，其感知的范围可能有所重合，可能会感知到同一障碍物，因此还需要将多个传感器所感知的同一障碍物进行关联，即目标重识别的过程。
相关技术中，通常将障碍物检测和障碍物重识别过程分成两个过程独立进行处理，首先基于传感器获取的感知数据进行障碍物的检测，比如基于从感知数据中提取的特征来获得障碍物的检测信息，然后再对各个传感器中检测到的同一障碍物进行关联，一般通过障碍物的位置、特征等进行匹配，获得重识别结果。其中，独立处理障碍物检测过程和障碍物重识别过程通常比较耗费时间，无法满足实时性需求。
发明内容
有鉴于此，本申请的目的之一是提供一种障碍物检测及重识别方法、装置、可移动平台及存储介质。
第一方面，本申请实施例提供了一种障碍物检测及重识别方法，包括：
获取设置于可移动平台的至少两个拍摄装置分别采集的至少两张图像，以及，获 取基于所述可移动平台的位置信息生成的三维网格模型；
根据所述至少两张图像从所述三维网格模型中确定一个或多个三维锚点，所述三维锚点用于指示所述三维网格模型所在的三维空间中可能存在障碍物的位置；
从每张所述图像中提取各个所述三维锚点指示的位置处的特征信息，并根据所述特征信息进行障碍物检测，获得障碍物检测信息；
以及，根据所述至少两张图像分别对应的所述特征信息指向的三维锚点，生成重识别结果。
第二方面，本申请实施例提供了一种障碍物检测及重识别方法，包括：
获取基于可移动平台的位置信息生成的三维网格模型，并从所述三维网格模型中确定一个或多个三维锚点，所述三维锚点用于指示所述三维网格模型所在的三维空间中可能存在障碍物的位置；
获取设置于所述可移动平台的至少两个拍摄装置分别采集的至少两张图像；
从每张所述图像中提取各个所述三维锚点指示的位置处的特征信息，并根据所述特征信息进行障碍物检测，获得障碍物检测信息；
以及，根据所述至少两张图像分别对应的所述特征信息指向的三维锚点，生成重识别结果。
第三方面，本申请实施例提供了一种障碍物检测及重识别装置，包括处理器和存储有计算机程序的存储器；
所述处理器在执行所述计算机程序时实现以下步骤：
获取设置于可移动平台的至少两个拍摄装置分别采集的至少两张图像，以及，获取基于所述可移动平台的位置信息生成的三维网格模型；
根据所述至少两张图像从所述三维网格模型中确定一个或多个三维锚点，所述三维锚点用于指示所述三维网格模型所在的三维空间中可能存在障碍物的位置；
从每张所述图像中提取各个所述三维锚点指示的位置处的特征信息，并根据所述特征信息进行障碍物检测，获得障碍物检测信息；
以及，根据所述至少两张图像分别对应的所述特征信息指向的三维锚点，生成重识别结果。
第四方面，本申请实施例提供了一种障碍物检测及重识别装置，包括处理器和存储有计算机程序的存储器；
所述处理器在执行所述计算机程序时实现以下步骤：
获取基于可移动平台的位置信息生成的三维网格模型，并从所述三维网格模型中 确定一个或多个三维锚点，所述三维锚点用于指示所述三维网格模型所在的三维空间中可能存在障碍物的位置；
获取设置于所述可移动平台的至少两个拍摄装置分别采集的至少两张图像；
从每张所述图像中提取各个所述三维锚点指示的位置处的特征信息，并根据所述特征信息进行障碍物检测，获得障碍物检测信息；
以及，根据所述至少两张图像分别对应的所述特征信息指向的三维锚点，生成重识别结果。
第五方面，本申请实施例提供了一种可移动平台，包括：
机体；
动力系统，安装在所述机体内，用于为所述可移动平台提供动力；
至少两个拍摄装置，用于采集图像；以及，
如第三方面或第四方面所述的障碍物检测及重识别装置。
第六方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面或第二方面所述的方法。
本申请实施例所提供的一种障碍物检测及重识别方法，首先会获取基于可移动平台的位置信息生成的三维网格模型，并从所述三维网格模型中确定一个或多个三维锚点，所述三维锚点用于指示所述三维网格模型所在的三维空间中可能存在障碍物的位置；以及，获取设置于所述可移动平台的至少两个拍摄装置分别采集的至少两张图像，从每张所述图像中提取各个所述三维锚点指示的位置处的特征信息，并根据所述特征信息进行障碍物检测，获得障碍物检测信息，同时，如果所述至少两张图像分别对应的所述特征信息分别指向的三维锚点相同，自然表明由所述至少两张图像分别对应的所述特征信息获得的障碍物检测信息属于同一障碍物，则重识别的目的也达到了；可见，本实施例中通过三维锚点来定位可移动平台周围可能出现障碍物的位置，进而基于三维锚点以及各个图像中与三维锚点对应的特征信息实现在一个整体的框架中既进行障碍物检测过程也进行障碍物重识别过程，在获得障碍物检测信息的同时也基于三维锚点确定出重识别结果，障碍物检测过程和障碍物重识别过程同时完成，有利于提高对障碍物的检测识别效率，从而能够满足某些场景下的实时性需求。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使 用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个实施例提供的一种应用场景的示意图；
图2是本申请一个实施例提供的一种车辆的结构示意图；
图3是本申请一个实施例提供的一种车辆上的拍摄装置采集图像的示意图；
图4以及图7是本申请一个实施例提供的显示障碍物检测信息及重识别结果的不同示意图；
图5以及图8是本申请一个实施例提供的障碍物检测及重识别方法的不同流程示意图；
图6是本申请一个实施例提供的三维网格模型的示意图；
图9是是本申请一个实施例提供的一种障碍物检测及重识别装置的结构示意图；
图10是本申请一个实施例提供的一种可移动平台的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
相关技术中，通常将障碍物检测和障碍物重识别过程分成两个过程独立进行处理，首先基于传感器获取的感知数据进行障碍物的检测，比如基于从感知数据中提取的特征来获得障碍物的检测信息，然后再对各个传感器中检测到的同一障碍物进行关联，一般通过障碍物的位置、特征等进行匹配，获得重识别结果。独立处理障碍物检测过程和障碍物重识别过程通常比较耗费时间，无法满足实时性需求。
基于此，本申请实施例提供了一种障碍物检测及重识别方法，实现在一个整体的框架中既进行障碍物检测过程也进行障碍物重识别过程，有利于提高对障碍物的检测识别效率，能够满足某些场景下的实时性需求；本申请实施例首先会获取基于可移动平台的位置信息生成的三维网格模型，并从所述三维网格模型中确定一个或多个三维锚点，所述三维锚点用于指示所述三维网格模型所在的三维空间中可能存在障碍物的位置；以及，获取设置于所述可移动平台的至少两个拍摄装置分别采集的至少两张图 像，从每张所述图像中提取各个所述三维锚点指示的位置处的特征信息，并根据所述特征信息进行障碍物检测，获得障碍物检测信息，同时，如果所述至少两张图像分别对应的所述特征信息分别指向的三维锚点相同，自然表明由所述至少两张图像分别对应的所述特征信息获得的障碍物检测信息属于同一障碍物，则重识别的目的也达到了；可见，本实施例中通过三维锚点来定位可移动平台周围可能出现障碍物的位置，进而基于三维锚点以及各个图像中与三维锚点对应的特征信息实现在一个整体的框架中既进行障碍物检测过程也进行障碍物重识别过程，在获得障碍物检测信息的同时也基于三维锚点确定出重识别结果，障碍物检测过程和障碍物重识别过程同时完成，有利于提高对障碍物的检测识别效率，从而能够满足某些场景下的实时性需求。
其中，本申请实施例的障碍物检测及重识别方法可以由障碍物检测及重识别装置来实现，在一种可能的实现方式中，所述障碍物检测及重识别装置可以是具有数据处理能力的计算机芯片或者集成电路，例如中央处理单元(Central Processing Unit，CPU)、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)或者现成可编程门阵列(Field-Programmable Gate Array，FPGA)等。所述障碍物检测及重识别装置可以安装于可移动平台中；本申请实施例的可移动平台可以包括：汽车、无人飞行器、无人船或机器人，其中，汽车可以为无人驾驶车辆，也可以为有人驾驶车辆，所述无人飞行器可以为四旋翼无人机、六旋翼无人机或者八旋翼无人机等。在另一种实现方式中，所述障碍物检测及重识别装置也可以是可移动平台等；所述可移动平台至少包括汽车、无人飞行器、无人船或机器人，其中，汽车可以为无人驾驶车辆，也可以为有人驾驶车辆。
在一示例性的应用场景中，请参阅图1以及图2，以可移动平台为车辆，所述车辆包括有所述障碍物检测及重识别装置为例进行说明，图1示出了车辆100的行驶场景，图1中假设车辆100为本车，其他车为障碍物，图2示出了车辆100的结构图，所述车辆100上还可以安装有至少两个拍摄装置10以及卫星定位器20(图2以两个拍摄装置10为例)，所述至少两个拍摄装置10分别采集的图像之间具有预设的重叠率，图2以两个拍摄装置10为例进行说明。可选地，本实施例对于所述拍摄位置在车辆100上的安装位置不足任何限制，例如请参阅图3，其中一个拍摄装置10可以安装于车辆100的车头，另一个拍摄装置10可以安装于车辆100的侧面。如图3所示，两个拍摄装置10的视场部分重叠，使得两个拍摄装置10所拍摄的两张图像中存在重叠的部分，比如图像11为安装于车头的拍摄装置10采集到的图像，图像12为安装于车身侧面的拍摄装置10采集到的图像，两者都采集到同一辆车的图像数据，从而达到冗余 的目的。可选地，所述至少两个拍摄装置10可以以相同的帧率进行工作。可选地，至少两个拍摄装置10的拍摄参数或者镜头类型等可以相同，也可以不同，可依据实际应用场景进行具体设置，比如安装于图3所示的车辆100的车头的拍摄装置10的镜头可以是标准镜头，安装于车辆100的侧面的拍摄装置10的镜头可以是鱼眼镜头。
在所述车辆100行驶过程中，所述至少两个拍摄装置10将分别采集的图像传输给所述障碍物检测及重识别装置30，以及所述卫星定位器20将获得的所述车辆100的位置信息也传输给所述障碍物检测及重识别装置30。可选地，所述卫星定位器20获取位置信息的频率与所述至少两个拍摄装置10的帧率同步。所述障碍物检测及重识别装置30可以基于所述车辆100的位置信息生成的三维网格模型，并从所述三维网格模型中确定一个或多个三维锚点，所述三维锚点用于指示所述三维网格模型所在的三维空间中可能存在障碍物的位置，进而根据所述三维锚点以及所述至少两张图像获得障碍物检测信息和重识别结果。
进一步地，在获得所述障碍物检测信息和重识别结果之后，可以使用所述障碍物检测信息和重识别结果进行避障决策或者进行路线规划。或者，例如请参阅图4，图110为根据图像11获得的障碍物检测信息，图120为根据图像12获得的障碍物检测信息，可以将所述障碍物检测信息和重识别结果显示在所述车辆100的界面或者与所述车辆100通信连接的终端的界面，以便让用户了解车辆100的行驶情况以及车辆100周边的路况。或者，可以将所述障碍物检测信息和重识别结果传输给所述车辆100中的其他部件，以便所述其他部件基于所述障碍物检测信息和重识别结果控制所述车辆100安全可靠地工作。
接下来对本申请实施例提供的所述障碍物检测及重识别方法进行说明：请参阅图5，图5为本申请实施例提供的一种障碍物检测及重识别方法的流程示意图，所述方法可以由障碍物检测及重识别装置来实现；所述障碍物检测及重识别装置可以是可移动平台，或者所述障碍物检测及重识别装置作为芯片安装于可移动平台中；所述方法包括：
在步骤S101中，获取基于可移动平台的位置信息生成的三维网格模型，并从所述三维网格模型中确定一个或多个三维锚点，所述三维锚点用于指示所述三维网格模型所在的三维空间中可能存在障碍物的位置。
在步骤S102中，获取设置于所述可移动平台的至少两个拍摄装置分别采集的至少两张图像。
在步骤S103中，从每张所述图像中提取各个所述三维锚点指示的位置处的特征信 息，并根据所述特征信息进行障碍物检测，获得障碍物检测信息。
在步骤S104中，根据所述至少两张图像分别对应的所述特征信息指向的三维锚点，生成重识别结果。
在一些实施例中，所述可移动平台的位置信息可以由安装于可移动平台上的卫星定位器来获取；其中，所述卫星定位器可以是基于GNSS(the Global Navigation Satellite System，全球导航卫星系统)的定位器，所述GNSS包括但不限于GPS(Global Positioning System，全球定位系统)、GLONASS系统(格洛纳斯卫星导航系统)、Galileo系统(伽利略卫星导航系统)以及北斗卫星导航系统等。
在一些实施例中，所述拍摄装置包括但不限于可见光相机、灰度相机以及红外相机等。所述拍摄装置可以以指定帧率捕捉图像序列。所述拍摄装置可以具有可调的拍摄参数。在不同拍摄参数下，尽管经受完全相同的外部条件(例如，位置、光照)，所述拍摄装置可以拍摄不同的图像。拍摄参数可以包括曝光(例如，曝光时间、快门速度、孔径、胶片速度)、增益、伽玛、兴趣区、像素合并(binning)/子采样、像素时钟、偏移、触发、ISO等。与曝光相关的参数可以控制到达所述拍摄装置中的图像传感器的光量。例如，快门速度可以控制光到达图像传感器的时间量而孔径可以控制在给定时间内到达图像传感器的光量。与增益相关的参数可以控制对来自光学传感器的信号的放大。ISO可以控制相机对可用光的灵敏度水平。所述拍摄装置具有镜头，所述镜头包括但不限于定焦镜头、标准镜头、长焦镜头、广角镜头、鱼眼镜头以及变焦镜头等。
示例性的，所述至少两个拍摄装置可以以相同的帧率进行工作。示例性的，所述至少两个拍摄装置可以是相同类型的拍摄装置，比如同为可见光相机；也可以是不同类型的拍摄装置，比如其中一个拍摄装置为可见光相机，另一个拍摄装置为灰度相机等。示例性的，所述至少两个拍摄装置的拍摄参数、镜头的类型可以相同也可以不同。示例性的，所述至少两个拍摄装置的视场具有预设的重叠率，使得所述至少两个拍摄装置分别采集的至少两个图像之间也具有重叠的部分，从而达到冗余的目的。
在一些实施例中，所述卫星定位器获取位置信息的频率与所述至少两个拍摄装置的帧率同步，即是说，在所述拍摄装置采集到图像的同时，所述卫星定位器也获取到所述可移动平台的位置信息，从而保证所述可移动平台的位置信息与所述图像的一一对应，表明所述图像是所述可移动平台处于该位置信息指示的位置时采集的，进而保证后续得到的障碍物检测信息以及重识别结果的准确性。
在步骤S101中，在获取所述可移动平台的位置信息之后，所述障碍物检测及重识别装置可以基于所述可移动平台的位置信息以及预置的网格参数生成三维网格模型， 所述网格参数至少指示所述三维网格模型中的三维网格的尺寸和/或形状(比如所述三维网格可以是长方体或者正方体等)。在一个例子中，请参阅图6，以所述可移动平台为车辆100为例进行说明，比如可以以所述可移动平台的位置信息确定三维网格模型所在三维坐标系的原点，以所述可移动平台的移动方向为X轴方向，与X轴垂直的方向为Y轴方向(比如X轴方向和Y轴方向所在平面可以与地面平行)，垂直于地面的方向为Z轴方向，则可以基于三维网格模型所在三维坐标系的上述参数(原点、三轴方向等)以及基于预置的网格参数生成三维网格模型。
在获取所述三维网格模型之后，所述障碍物检测及重识别装置可以从所述三维网格模型中获取一个或多个三维锚点(3D Anchors)，所述三维锚点表示用于指示所述三维网格模型所在的三维空间中可能存在障碍物的位置；示例性的，可以通过以下几种可能的实现方式来获取所述三维锚点：
在第一种可能的实现方式中，可以根据所述三维网格模型中的各个位置确定对应的三维锚点，即是说，假设所述三维网格模型中的所有位置都可能存在障碍物，从而获得所述三维网格模型中所有位置分别对应的三维锚点。
在第二种可能的实现方式中，可以根据历史数据统计所述三维网格模型中的各个位置存在障碍物的概率，所述历史数据可以是所述障碍物检测及重识别装置在历史时间段内获得关于障碍物的历史检测信息，所述历史检测信息可以包括障碍物的位置信息(比如三维位置信息等)，接着所述障碍物检测及重识别装置可以根据统计得到的所述三维网格模型中的各个位置存在障碍物的概率，确定所述一个或多个三维锚点。示例性的，为了节省计算资源，可以根据所述三维网格模型中存在障碍物的概率大于预设阈值的位置确定三维锚点，排除掉所述三维网格模型中存在障碍物的概率不大于预设阈值的位置，所述预设阈值可依据实际应用场景灵活设置。相对于第一种实现方式，三维锚点的数量显著减少了，从而有利于降低计算的复杂度(比如后续的障碍物检测过程的计算量减少了)，达到节省计算资源的目的。
在第三种可能的实现方式中，可以根据所述可移动平台的属性信息和/或障碍物的属性信息，从所述三维网格模型中确定一个或多个三维锚点。其中，所述可移动平台的属性信息包括以下一种或多种：所述可移动平台的移动方式、类别、尺寸以及所述拍摄装置在所述可移动平台上的安装位置；所述障碍物的属性信息包括但不限于障碍物的类别、尺寸以及形状等。本实施例实现从所述三维网格模型中确定符合可移动平台的属性信息和/或障碍物的属性信息的三维锚点，相对于第一种实现方式，三维锚点的数量显著减少了，从而有利于降低计算的复杂度(比如后续的障碍物检测过程的计 算量减少了)，达到节省计算资源的目的。
示例性的，可以基于所述可移动平台的属性信息和/或障碍物的属性信息，排除掉所述三维网格模型中不存在障碍物的位置或者排除掉所述三维网格模型中不需要检测障碍物的位置，然后根据所述三维网格模型中剩余的位置确定三维锚点。这里以所述可移动平台为无人驾驶车辆为例，基于无人驾驶车辆的属性信息和/或障碍物的属性信息，可以确定在地面以下部分不存在障碍物的位置，在天空部分不需要检测障碍物的位置，因此可以排除掉三维网格模型中处于地面以下或者天空的位置。
示例性的，可以基于所述可移动平台的属性信息和/或障碍物的属性信息，确定所述三维网格模型中可能存在障碍物的位置，根据所述三维网格模型中可能存在障碍物的位置来确定三维锚点。这里以所述可移动平台为无人驾驶车辆为例，基于无人驾驶车辆的属性信息和/或障碍物的属性信息，可以确定处于地面的位置极有可能存在障碍物，从而影响到无人驾驶车辆的驾驶安全，因此可以根据三维网格模型中处于地面的位置确定三维锚点。
在第四种可能的实现方式中，可以获取设置于所述可移动平台的至少两个拍摄装置分别采集的至少两张图像，示例性的，所述卫星定位器获取位置信息的频率与所述至少两个拍摄装置的帧率同步，即是说，所述至少两张图像是所述可移动平台处于所述位置信息指示的位置时采集的，从而保证了基于所述位置信息生成的三维网格模型与所述至少两张图像的对应性，则可以根据所述至少两张图像从所述三维网格模型中确定一个或多个三维锚点，由于所述至少两张图像中具有待识别的障碍物的二维信息，因此可以进一步提高所确定的三维锚点的精确度。相对于以上第一种可能的实现方式，基于所述至少两张图像确定的三维锚点的数量进一步减少了且更为精确，从而有利于降低计算的复杂度(比如后续的障碍物检测过程的计算量减少了)，达到节省计算资源的目的。
在第一个例子中，可以将所述至少两张图像以及所述三维网络模型输入预先训练好的第一模型中，以使得所述第一模型可以对所述至少两张图像进行特征提取，并基于提取的特征预测在所述三维网格模型中可能存在障碍物的位置，以确定所述一个或多个三维锚点。本实施例中，考虑到所述至少两张图像中具有待识别的障碍物的二维信息，基于所述至少两张图像来预测所述三维网格模型中可能存在障碍物的位置，有利于提高确定的三维锚点的准确性。
其中，所述第一模型可以基于若干训练样本训练得到，所述训练样本包括图像样本以及基于可移动平台的三维网格模型样本，这里以有监督训练方式为例，所述训练 样本还对应有三维锚点真实值，在训练过程中，可以将所述训练样本输入第一模型中，以使得所述第一模型可以根据提取的所述图像样本的特征来预测在所述三维网格模型中可能存在障碍物的位置，从而输出三维锚点预测值，然后根据所述三维锚点预测值与所述三维锚点真实值之间的差异来调整第一模型的参数，从而获取训练好的第一模型，所述第一模型用于根据所述图像来预测所述三维网格模型中可能存在障碍物的位置，以确定三维锚点。
在第二个例子中，可以基于每个所述拍摄装置获得的每张所述图像生成一个或多个第一二维锚点(2D Anchors)，所述第一二维锚点用于指示所述图像所在的二维空间中可能存在障碍物的位置；作为例子，可以对每张所述图像进行特征提取，并根据提取的特征确定所述一个或多个第一二维锚点；其中，所述特征包括但不限于：SIFT(尺度不变特征变换)特征、HOG(方向梯度直方图)特征、LBP(Local Binary Pattern，局部二值模式)特征、SURF(Speeded Up Robust Features，加速稳健特征)特征、ORB(Oriented Fastand Rotated Brief，)特征、HAAR特征或者基于特征提取神经网络所提取的图像特征等。
在获得所述一个或多个第一二维锚点之后，可以根据所述图像与所述三维网格模型的投影关系，将所述一个或多个第一二维锚点投影至所述三维网格模型所在三维空间，获得所述一个或多个三维锚点；本实施例中，考虑到所述至少两张图像中具有待识别的障碍物的二维信息，因此基于所述二维图像确定出二维空间中可能存在障碍物的位置具有较高的准确率，进一步基于所述一个或多个第一二维锚点映射得到的三维锚点也具有较高的准确率，三维锚点指示的位置有极大的可能性存在障碍物。
其中，所述图像与所述三维网格模型的投影关系可以基于所述可移动平台与所述拍摄装置的位置关系、以及所述拍摄装置的外参和内参所确定；比如可以根据所述可移动平台与所述拍摄装置的位置关系、以及所述拍摄装置的外参，确定拍摄装置的相机坐标系到三维网格模型所在三维坐标系的外参，然后基于拍摄装置的相机坐标系到三维网格模型所在三维坐标系的外参以及所述拍摄装置的内参获得所述图像与所述三维网格模型的投影关系。
在第三个例子中，所述障碍物检测及重识别装置可以获取所述至少两个拍摄装置分别在连续的时间序列中采集的多张图像；然后根据所述多张图像进行运动目标检测，获取障碍物的运动信息；以及，获取在所述连续的时间序列中所述可移动平台的运动信息；最后根据所述障碍物的运动信息和所述可移动平台的运动信息，从所述三维网格模型中确定一个或多个三维锚点。本实施例中基于障碍物的运动信息和可移动平台 的运动信息来预测三维锚点，从时序上对障碍物进行跟踪监测，有利于保证确定的所述三维锚点的准确性。
在一个例子中，比如有两个拍摄装置，其中一个拍摄装置在连续的时间序列中采集到图像a、图像b和图像c，另一个拍摄装置在连续的时间序列上采集到图像A、图像B和图像C，所述障碍物检测及重识别装置可以根据图像a、图像b和图像c进行运动目标检测，获得障碍物的第一运动信息；以及，根据图像A、图像B和图像C进行运动目标检测，获得障碍物的第二运动信息；然后根据第一运动信息、第二运动信息和所述可移动平台在所述连续时间序列中的运动信息，从所述三维网格模型中预测一个或多个三维锚点。
在获得三维模型的一个或多个三维锚点以及设置于所述可移动平台的至少两个拍摄装置分别采集的至少两张图像之后，在步骤S103中，所述障碍物检测及重识别装置可以从每张图像中提取各个所述三维锚点指示的位置处的特征信息，所述特征信息可以是二维特征信息和/或三维特征信息，然后基于所述特征信息进行障碍物检测，获得障碍物检测信息。
其中，在提取所述特征信息时，可以通过以下两种可能的实现方式的任意组合来获取二维特征信息和/或三维特征信息：
在第一种可能的实现方式中，所述障碍物检测及重识别装置可以基于所述图像与所述三维网格模型的投影关系，将一个或多个所述三维锚点投影至所述图像所在二维空间中，获得一个或多个第二二维锚点(2D Anchors)，所述第二二维锚点用于指示所述图像所在二维空间中可能存在障碍物的位置，接着从所述图像中提取各个所述第二二维锚点指示的位置处的二维特征信息。本实施例中，通过将三维锚点映射到二维空间获取第二二维锚点，可以获取到所述图像中所述三维锚点指示的可能存在障碍物的位置处的图像信息，由于三维锚点指示的位置处极有可能存在障碍物，则基于该图像信息进行障碍物检测，有利于提高障碍物检测的准确率，并且对于所述图像中所述三维锚点没有指示的其他位置的图像信息无需处理，有利于提高障碍物检测效率。
其中，所述图像与所述三维网格模型的投影关系可以基于所述可移动平台与所述拍摄装置的位置关系、以及所述拍摄装置的外参和内参所确定。
示例性的，在提取各个所述第二二维锚点指示的位置处的二维特征信息时，所述障碍物检测及重识别装置可以先对所述图像进行特征提取，获取所述图像的二维特征信息，然后根据各个所述第二二维锚点从所述图像的二维特征信息中获取各个所述第二二维锚点指示的位置处的二维特征信息。在一个例子中，所述图像的二维特征信息 包括但不限于：SIFT(尺度不变特征变换)特征、HOG(方向梯度直方图)特征、LBP(Local Binary Pattern，局部二值模式)特征、SURF(Speeded Up Robust Features，加速稳健特征)特征、ORB(Oriented Fastand Rotated Brief，)特征、HAAR特征或者基于特征提取神经网络所提取的图像特征等。
在第二种可能的实现方式中，所述至少两个拍摄装置可以是具有深度采集功能的装置，比如深度相机；所述障碍物检测及重识别装置可以根据所述图像以及对应的深度信息进行三维重建，获取三维模型，然后从所述三维模型中提取各个所述三维锚点指示的位置处的三维特征信息。本实施例中，通过三维重建将所述图像映射到三维空间，从而可以获得所述三维锚点指示的可能存在障碍物的位置处对应于图像的三维信息，由于三维锚点指示的位置处极有可能存在障碍物，则基于该图像的三维信息进行障碍物检测，有利于提高障碍物检测的准确率，并且对于所述三维锚点没有指示的其他位置的图像的三维信息无需处理，有利于提高障碍物检测效率。
示例性的，在进行三维重建时，所述障碍物检测及重识别装置可以根据所述图像与所述三维网格模型的投影关系、以及所述深度信息，确定所述图像中的每个像素映射到三维空间中的三维坐标，然后根据所述三维坐标获得所述三维模型。
示例性的，在获得各个所述三维锚点指示的位置处的三维特征信息时，所述障碍物检测及重识别装置可以先对所述三维模型进行特征提取，获取所述三维模型的三维特征信息，然后根据各个所述三维锚点从所述三维模型的三维特征信息中获取各个所述三维锚点指示的位置处的三维特征信息。
作为例子，所述三维特征信息包括但不限于轮廓形状特征、拓扑形状特征或者视觉形状特征等，比如所述轮廓形状特征可以包括有顶点以及网格的特征等；所述拓扑形状特征包括但不限于三维模型的分支或者连通性特征等；所述视觉形状特征可以包括三维模型在各个方向的视觉图像的特征。作为例子，可以使用用于提取三维特征的神经网络模型对所述三维模型进行特征提取。
在获取所述特征信息之后，所述障碍物检测及重识别装置可以基于所述特征信息进行障碍物检测，在一种可能的实现方式中，所述障碍物检测及重识别装置可以将所述特征信息输入预先训练好的第二模型中，利用所述第二模型进行障碍物检测，获取障碍物检测信息；其中，所述障碍物检测信息至少包括以下一种或多种：障碍物类别、尺寸、朝向、二维坐标以及三维坐标等。
其中，所述第二模型可以基于若干训练样本训练得到，所述训练样本包括从图像样本中提取可能存在障碍物的位置处的特征信息，这里以有监督训练方式为例，所述 训练样本还对应有障碍物真实信息，在训练过程中，可以将所述训练样本输入第二模型中，以使得所述第二模型可以根据所述特征信息来识别障碍物，从而输出障碍物预测信息，然后根据所述障碍物预测信息与所述障碍物真实信息之间的差异来调整第二模型的参数，从而获取训练好的第二模型，所述第二模型用于根据所述图像的特征信息来识别障碍物。
示例性的，所述第一模型用于根据图像从三维网格模型中预测三维锚点，所述第二模型用于根据从所述图像中提取所述三维锚点指示的位置处的特征信息来进行障碍物检测，所述第一模型和第二模型具有关联关系，因此，为了进一步提高障碍物检测准确性，可以采用联合训练的方式来训练具有关联关系的所述第一模型和所述第二模型，例如训练样本包括有图像样本以及基于可移动平台的三维网格模型样本、从所述图像样本中提取的三维锚点(该三维锚点从三维网格模型样本中获取)指示的位置处的特征信息，这里以有监督训练方式为例，所述训练样本还对应有三维锚点真实值和障碍物真实信息；在训练过程中，可以将所述图像样本以及基于可移动平台的三维网格模型样本输入第一模型中，以使得所述第一模型可以根据所述图像样本来预测在所述三维网格模型样本中可能存在障碍物的位置，从而输出三维锚点预测值；以及将所述从图像样本中提取的三维锚点指示的位置处的特征信息输入第二模型中，以使得所述第二模型可以根据所述特征信息来识别障碍物，从而输出障碍物预测信息；进而可以基于所述三维锚点预测值与所述三维锚点真实值之间的差异、以及所述障碍物预测信息与所述障碍物真实信息之间的差异来共同调整所述第一模型和所述第二模型的参数，使得具有关联性的所述第一模型和所述第二模型能够相互辅助相互影响，达到联合训练的目的，有助于进一步提高障碍物检测准确性。
在获得所述障碍物检测信息的同时，在步骤S104中，所述障碍物检测及重识别装置可以根据至少两张图像分别对应的所述特征信息指向的三维锚点来生成重识别结果，可以这么说，如果所述至少两张图像分别对应的至少两个特征信息均指向同一三维锚点，表明其指向同一个三维空间空间位置，则确定由所述至少两个特征信息分别获得的所述障碍物检测信息属于同一障碍物。本实施例中，实现在一个整体的框架中既进行障碍物检测过程也进行障碍物重识别过程，在获得障碍物检测信息的同时也基于三维锚点确定出重识别结果，障碍物检测过程和障碍物重识别过程同时完成，有利于提高对障碍物的检测识别效率，从而能够满足某些场景下的实时性需求。
进一步地，为了提高重识别结果的准确性，在获取所述障碍物检测信息之后，所述障碍物检测及重识别装置可以根据所述至少两张图像分别对应的所述特征信息指向 的三维锚点以及所述障碍物检测信息，生成重识别结果；具体来说，如果所述至少两张图像分别对应的至少两个特征信息均指向同一三维锚点，表明其指向同一个三维空间空间位置，并且由所述至少两个特征信息分别获得的所述障碍物检测信息的差异满足预设条件，则可以进一步准确地确定由所述至少两个特征信息分别获得的所述障碍物检测信息属于同一障碍物。本实施例通过三维锚点和障碍物检测信息的联合判断，有利于提高重识别结果的准确性。
可以理解的是，所述预设条件可依据实际应用场景进行具体设置，比如所述预设条件可以是由所述至少两个特征信息分别获得的至少两个所述障碍物检测信息之间的相似度大于预设阈值，所述预设阈值可依据实际应用场景灵活设置。
示例性的，在获取所述障碍物检测信息以及所述重识别结果之后，可以使用所述障碍物检测信息和重识别结果进行避障决策或者进行路线规划。
示例性的，所述障碍物检测及重识别装置可以将所述障碍物检测信息和重识别结果显示在所述可移动平台的界面或者与所述可移动平台通信连接的终端的界面，以便让用户了解所述可移动平台的环境。
进一步地，请参阅图7，图7以图3得到的图像11和图像12为例，可以在所述可移动平台的界面或者与所述可移动平台通信连接的终端设备的界面显示所述至少两张图像；其中，所述障碍物检测信息和所述重识别结果显示于所述至少两张图像中，请参阅图7，将识别出的障碍物以白色候选框标注出来，并且标注出的图像11和图像12中属于同一障碍物的重识别结果，实现将障碍物检测信息和所述重识别结果与实际的场景结合，使得用户能够进一步了解到可移动平台在实际场景中的移动情况。
示例性的，所述障碍物检测及重识别装置可以将所述障碍物检测信息和重识别结果传输给所述可移动平台中的其他部件，以便所述其他部件基于所述障碍物检测信息和重识别结果控制所述可移动平台安全可靠地工作。
相应地，请参阅图8，本申请实施例还提供了一种障碍物检测及重识别方法，包括：
在步骤S201中，获取设置于可移动平台的至少两个拍摄装置分别采集的至少两张图像，以及，获取基于所述可移动平台的位置信息生成的三维网格模型。
在步骤S202中，根据所述至少两张图像从所述三维网格模型中确定一个或多个三维锚点，所述三维锚点用于指示所述三维网格模型所在的三维空间中可能存在障碍物的位置。
在步骤S203中，从每张所述图像中提取各个所述三维锚点指示的位置处的特征信息，并根据所述特征信息进行障碍物检测，获得障碍物检测信息。
在步骤S204中，根据所述至少两张图像分别对应的所述特征信息指向的三维锚点，生成重识别结果。
在一实施例中，所述根据所述至少两张图像从所述三维网格模型中确定一个或多个三维锚点，包括：
将所述至少两张图像以及所述三维网络模型输入预先训练好的第一模型中，利用所述第一模型获得所述一个或多个三维锚点；所述第一模型用于基于所述至少两张图像预测所述三维网格模型中可能存在障碍物的位置，以确定所述三维锚点。
在一实施例中，所述根据所述至少两张图像从所述三维网格模型中确定一个或多个三维锚点，包括：
基于每张所述图像生成一个或多个第一二维锚点；所述第一二维锚点用于指示所述图像所在的二维空间中可能存在障碍物的位置；
根据所述图像与所述三维网格模型的投影关系，将所述一个或多个第一二维锚点投影至所述三维网格模型所在三维空间，获得所述一个或多个三维锚点。
在一实施例中，所述图像与所述三维网格模型的投影关系基于所述可移动平台与所述拍摄装置的位置关系、以及所述拍摄装置的外参和内参所确定。
在一实施例中，所述基于每张所述图像生成一个或多个第一二维锚点，包括：
对每张所述图像进行特征提取，并根据提取的特征确定所述一个或多个第一二维锚点。
在一实施例中，所述获取设置于可移动平台的至少两个拍摄装置分别采集的至少两张图像，包括：
获取所述至少两个拍摄装置分别在连续的时间序列中采集的多张图像；
所述根据所述至少两张图像从所述三维网格模型中确定一个或多个三维锚点，包括：
根据所述多张图像进行运动目标检测，获取障碍物的运动信息；以及，获取在所述连续的时间序列中所述可移动平台的运动信息；
根据所述障碍物的运动信息和所述可移动平台的运动信息，从所述三维网格模型中确定一个或多个三维锚点。
在一实施例中，所述特征信息包括二维特征信息和/或三维特征信息。
在一实施例中，所述从每张所述图像中提取各个所述三维锚点指示的位置处的特 征信息，包括：
基于所述图像与所述三维网格模型的投影关系，将一个或多个所述三维锚点投影至所述图像所在二维空间中，获得一个或多个第二二维锚点；所述第二二维锚点用于指示所述图像所在二维空间中可能存在障碍物的位置；
从所述图像中提取各个所述第二二维锚点指示的位置处的二维特征信息。
在一实施例中，所述从所述图像中提取各个所述第二二维锚点指示的位置处的二维特征信息，包括：
对所述图像进行特征提取，获取所述图像的二维特征信息；
根据各个所述第二二维锚点从所述图像的二维特征信息获取各个所述第二二维锚点指示的位置处的二维特征信息。
在一实施例中，所述至少两个拍摄装置为具有深度采集功能的装置。
在一实施例中，所述从每张所述图像中提取各个所述三维锚点指示的位置处的特征信息，包括：
根据所述图像以及对应的深度信息进行三维重建，获取三维模型；
从所述三维模型中提取各个所述三维锚点指示的位置处的三维特征信息。
在一实施例中，所述从所述三维模型中提取各个所述三维锚点指示的位置处的三维特征信息，包括：
对所述三维模型进行特征提取，获取所述三维模型的三维特征信息；
根据各个所述三维锚点从所述三维模型的三维特征信息中获取各个所述三维锚点指示的位置处的三维特征信息。
在一实施例中，所述根据所述特征信息进行障碍物检测，获得障碍物检测信息，包括：将所述特征信息输入预先训练好的第二模型中，利用所述第二模型进行障碍物检测，获取障碍物检测信息。
在一实施例中，所述障碍物检测信息至少包括以下一种或多种：障碍物类别、尺寸、朝向、二维坐标以及三维坐标。
在一实施例中，所述根据所述至少两张图像分别对应的所述特征信息指向的三维锚点，生成重识别结果，包括：
如果所述至少两张图像分别对应的至少两个特征信息均指向同一三维锚点，确定由所述至少两个特征信息分别获得的所述障碍物检测信息属于同一障碍物。
在一实施例中，所述根据所述至少两张图像分别对应的所述特征信息指向的三维锚点，生成重识别结果，包括：
根据所述至少两张图像分别对应的所述特征信息指向的三维锚点以及所述障碍物检测信息，生成重识别结果。
在一实施例中，所述根据所述至少两张图像分别对应的所述特征信息指向的三维锚点以及所述障碍物检测信息，生成重识别结果，包括：
如果所述至少两张图像分别对应的至少两个特征信息均指向同一三维锚点，且由所述至少两个特征信息分别获得的所述障碍物检测信息的差异满足预设条件，确定由所述至少两个特征信息分别获得的所述障碍物检测信息属于同一障碍物。
在一实施例中，所述障碍物检测信息和所述重识别结果用于对所述可移动平台进行避障决策或者移动路线规划。
在一实施例中，还包括：在所述可移动平台的界面或者与所述可移动平台通信连接的终端设备的界面显示所述障碍物检测信息和所述重识别结果。
在一实施例中，还包括：在所述可移动平台的界面或者与所述可移动平台通信连接的终端设备的界面显示所述至少两张图像；其中，所述障碍物检测信息和所述重识别结果显示于所述至少两张图像中。
在一实施例中，由至少两个拍摄装置分别采集的所述至少两张图像具有预设的重叠率。
在一实施例中，所述可移动平台的位置信息由设置于所述可移动平台上的卫星定位器获得。
在一实施例中，所述三维网格模型基于所述可移动平台的位置信息以及预置的网格参数生成；所述网格参数至少指示所述三维网格模型中的三维网格的尺寸和/或形状。
相应地，请参阅图9，本申请实施例还提供了一种障碍物检测及重识别装置30，包括处理器31和存储有计算机程序的存储器32；
所述处理器31在执行所述计算机程序时实现以下步骤：
获取设置于可移动平台的至少两个拍摄装置分别采集的至少两张图像，以及，获取基于所述可移动平台的位置信息生成的三维网格模型；
根据所述至少两张图像从所述三维网格模型中确定一个或多个三维锚点，所述三维锚点用于指示所述三维网格模型所在的三维空间中可能存在障碍物的位置；
从每张所述图像中提取各个所述三维锚点指示的位置处的特征信息，并根据所述特征信息进行障碍物检测，获得障碍物检测信息；
以及，根据所述至少两张图像分别对应的所述特征信息指向的三维锚点，生成重 识别结果。
在一实施例中，所述处理器31具体用于：将所述至少两张图像以及所述三维网络模型输入预先训练好的第一模型中，利用所述第一模型获得所述一个或多个三维锚点；所述第一模型用于基于所述至少两张图像预测所述三维网格模型中可能存在障碍物的位置，以确定所述三维锚点。
在一实施例中，所述处理器31具体用于：基于每张所述图像生成一个或多个第一二维锚点；所述第一二维锚点用于指示所述图像所在的二维空间中可能存在障碍物的位置；根据所述图像与所述三维网格模型的投影关系，将所述一个或多个第一二维锚点投影至所述三维网格模型所在三维空间，获得所述一个或多个三维锚点。
在一实施例中，所述图像与所述三维网格模型的投影关系基于所述可移动平台与所述拍摄装置的位置关系、以及所述拍摄装置的外参和内参所确定。
在一实施例中，所述处理器31还用于：对每张所述图像进行特征提取，并根据提取的特征确定所述一个或多个第一二维锚点。
在一实施例中，所述处理器31还用于：
获取所述至少两个拍摄装置分别在连续的时间序列中采集的多张图像；
根据所述多张图像进行运动目标检测，获取障碍物的运动信息；以及，获取在所述连续的时间序列中所述可移动平台的运动信息；
根据所述障碍物的运动信息和所述可移动平台的运动信息，从所述三维网格模型中确定一个或多个三维锚点。
在一实施例中，所述特征信息包括二维特征信息和/或三维特征信息。
在一实施例中，所述处理器31还用于：基于所述图像与所述三维网格模型的投影关系，将一个或多个所述三维锚点投影至所述图像所在二维空间中，获得一个或多个第二二维锚点；所述第二二维锚点用于指示所述图像所在二维空间中可能存在障碍物的位置；从所述图像中提取各个所述第二二维锚点指示的位置处的二维特征信息。
在一实施例中，所述处理器31还用于：对所述图像进行特征提取，获取所述图像的二维特征信息；根据各个所述第二二维锚点从所述图像的二维特征信息获取各个所述第二二维锚点指示的位置处的二维特征信息。
在一实施例中，所述至少两个拍摄装置为具有深度采集功能的装置。
在一实施例中，所述处理器31还用于：根据所述图像以及对应的深度信息进行三维重建，获取三维模型；从所述三维模型中提取各个所述三维锚点指示的位置处的三维特征信息。
在一实施例中，所述处理器31还用于：对所述三维模型进行特征提取，获取所述三维模型的三维特征信息；根据各个所述三维锚点从所述三维模型的三维特征信息中获取各个所述三维锚点指示的位置处的三维特征信息。
在一实施例中，所述处理器31还用于：将所述特征信息输入预先训练好的第二模型中，利用所述第二模型进行障碍物检测，获取障碍物检测信息。
在一实施例中，所述处理器31还用于：所述障碍物检测信息至少包括以下一种或多种：障碍物类别、尺寸、朝向、二维坐标以及三维坐标。
在一实施例中，所述处理器31还用于：如果所述至少两张图像分别对应的至少两个特征信息均指向同一三维锚点，确定由所述至少两个特征信息分别获得的所述障碍物检测信息属于同一障碍物。
在一实施例中，所述处理器31还用于：根据所述至少两张图像分别对应的所述特征信息指向的三维锚点以及所述障碍物检测信息，生成重识别结果。
在一实施例中，所述处理器31具体用于：如果所述至少两张图像分别对应的至少两个特征信息均指向同一三维锚点，且由所述至少两个特征信息分别获得的所述障碍物检测信息的差异满足预设条件，确定由所述至少两个特征信息分别获得的所述障碍物检测信息属于同一障碍物。
在一实施例中，所述障碍物检测信息和所述重识别结果用于对所述可移动平台进行避障决策或者移动路线规划。
在一实施例中，所述处理器31还用于：在所述可移动平台的界面或者与所述可移动平台通信连接的终端设备的界面显示所述障碍物检测信息和所述重识别结果。
在一实施例中，所述处理器31还用于：在所述可移动平台的界面或者与所述可移动平台通信连接的终端设备的界面显示所述至少两张图像；其中，所述障碍物检测信息和所述重识别结果显示于所述至少两张图像中。
在一实施例中，由至少两个拍摄装置分别采集的所述至少两张图像具有预设的重叠率。
在一实施例中，所述可移动平台的位置信息由设置于所述可移动平台上的卫星定位器获得。
在一实施例中，所述三维网格模型基于所述可移动平台的位置信息以及预置的网格参数生成；所述网格参数至少指示所述三维网格模型中的三维网格的尺寸和/或形状。
相应的，本申请实施例还提供了一种障碍物检测及重识别装置，包括处理器和存 储有计算机程序的存储器；
所述处理器在执行所述计算机程序时实现以下步骤：
获取基于可移动平台的位置信息生成的三维网格模型，并从所述三维网格模型中确定一个或多个三维锚点，所述三维锚点用于指示所述三维网格模型所在的三维空间中可能存在障碍物的位置；
获取设置于所述可移动平台的至少两个拍摄装置分别采集的至少两张图像；
从每张所述图像中提取各个所述三维锚点指示的位置处的特征信息，并根据所述特征信息进行障碍物检测，获得障碍物检测信息；
以及，根据所述至少两张图像分别对应的所述特征信息指向的三维锚点，生成重识别结果。
在一实施例中，所述处理器还用于：根据历史数据统计所述三维网格模型中的各个位置存在障碍物的概率，以确定所述一个或多个三维锚点。
在一实施例中，所述三维锚点指示所述三维网格模型中存在障碍物的概率大于预设阈值的位置。
在一实施例中，所述处理器还用于：根据所述可移动平台的属性信息和/或障碍物的属性信息，从所述三维网格模型中确定一个或多个三维锚点。
在一实施例中，所述可移动平台的属性信息包括以下一种或多种：所述可移动平台的移动方式、类别、尺寸以及所述拍摄装置在所述可移动平台上的安装位置；和/或，所述障碍物的属性信息包括以下一种或多种：障碍物的类别、尺寸以及形状。
在一实施例中，所述处理器还用于：根据所述三维网格模型中的各个位置确定对应的三维锚点。
在一实施例中，所述处理器还用于：根据所述至少两张图像从所述三维网格模型中确定一个或多个三维锚点。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
这里描述的各种实施方式可以使用例如计算机软件、硬件或其任何组合的计算机可读介质来实施。对于硬件实施，这里描述的实施方式可以通过使用特定用途集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理装置(DSPD)、可编程逻辑装置(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器、被设计为执行这 里描述的功能的电子单元中的至少一种来实施。对于软件实施，诸如过程或功能的实施方式可以与允许执行至少一种功能或操作的单独的软件模块来实施。软件代码可以由以任何适当的编程语言编写的软件应用程序(或程序)来实施，软件代码可以存储在存储器中并且由控制器执行。
相应的，请参阅图10，本申请实施例还提供了一种可移动平100，包括：机体101；动力系统102，安装在所述机体101内，用于为所述可移动平台100提供动力；以及，上述的障碍物检测及重识别装置30。
可选地，所述可移动平台100为车辆、无人机、无人船或者可移动机器人。
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器，上述指令可由装置的处理器执行以完成上述方法。例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。
一种非临时性计算机可读存储介质，当存储介质中的指令由终端的处理器执行时，使得终端能够执行上述方法。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本申请实施例所提供的方法和装置进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (94)

  1. 一种障碍物检测及重识别方法，其特征在于，包括：
    获取设置于可移动平台的至少两个拍摄装置分别采集的至少两张图像，以及，获取基于所述可移动平台的位置信息生成的三维网格模型；
    根据所述至少两张图像从所述三维网格模型中确定一个或多个三维锚点，所述三维锚点用于指示所述三维网格模型所在的三维空间中可能存在障碍物的位置；
    从每张所述图像中提取各个所述三维锚点指示的位置处的特征信息，并根据所述特征信息进行障碍物检测，获得障碍物检测信息；
    以及，根据所述至少两张图像分别对应的所述特征信息指向的三维锚点，生成重识别结果。
  2. 根据权利要求1所述的方法，其特征在于，所述根据所述至少两张图像从所述三维网格模型中确定一个或多个三维锚点，包括：
    将所述至少两张图像以及所述三维网络模型输入预先训练好的第一模型中，利用所述第一模型获得所述一个或多个三维锚点；所述第一模型用于基于所述至少两张图像预测所述三维网格模型中可能存在障碍物的位置，以确定所述三维锚点。
  3. 根据权利要求1所述的方法，其特征在于，所述根据所述至少两张图像从所述三维网格模型中确定一个或多个三维锚点，包括：
    基于每张所述图像生成一个或多个第一二维锚点；所述第一二维锚点用于指示所述图像所在的二维空间中可能存在障碍物的位置；
    根据所述图像与所述三维网格模型的投影关系，将所述一个或多个第一二维锚点投影至所述三维网格模型所在三维空间，获得所述一个或多个三维锚点。
  4. 根据权利要求3所述的方法，其特征在于，所述图像与所述三维网格模型的投影关系基于所述可移动平台与所述拍摄装置的位置关系、以及所述拍摄装置的外参和内参所确定。
  5. 根据权利要求3所述的方法，其特征在于，所述基于每张所述图像生成一个或多个第一二维锚点，包括：
    对每张所述图像进行特征提取，并根据提取的特征确定所述一个或多个第一二维锚点。
  6. 根据权利要求1所述的方法，其特征在于，所述获取设置于可移动平台的至少两个拍摄装置分别采集的至少两张图像，包括：
    获取所述至少两个拍摄装置分别在连续的时间序列中采集的多张图像；
    所述根据所述至少两张图像从所述三维网格模型中确定一个或多个三维锚点，包括：
    根据所述多张图像进行运动目标检测，获取障碍物的运动信息；以及，获取在所述连续的时间序列中所述可移动平台的运动信息；
    根据所述障碍物的运动信息和所述可移动平台的运动信息，从所述三维网格模型中确定一个或多个三维锚点。
  7. 根据权利要求1所述的方法，其特征在于，所述特征信息包括二维特征信息和/或三维特征信息。
  8. 根据权利要求1所述的方法，其特征在于，所述从每张所述图像中提取各个所述三维锚点指示的位置处的特征信息，包括：
    基于所述图像与所述三维网格模型的投影关系，将一个或多个所述三维锚点投影至所述图像所在二维空间中，获得一个或多个第二二维锚点；所述第二二维锚点用于指示所述图像所在二维空间中可能存在障碍物的位置；
    从所述图像中提取各个所述第二二维锚点指示的位置处的二维特征信息。
  9. 根据权利要求8所述的方法，其特征在于，所述从所述图像中提取各个所述第二二维锚点指示的位置处的二维特征信息，包括：
    对所述图像进行特征提取，获取所述图像的二维特征信息；
    根据各个所述第二二维锚点从所述图像的二维特征信息获取各个所述第二二维锚点指示的位置处的二维特征信息。
  10. 根据权利要求1所述的方法，其特征在于，所述至少两个拍摄装置为具有深度采集功能的装置。
  11. 根据权利要求10所述的方法，其特征在于，所述从每张所述图像中提取各个所述三维锚点指示的位置处的特征信息，包括：
    根据所述图像以及对应的深度信息进行三维重建，获取三维模型；
    从所述三维模型中提取各个所述三维锚点指示的位置处的三维特征信息。
  12. 根据权利要求11所述的方法，其特征在于，所述从所述三维模型中提取各个所述三维锚点指示的位置处的三维特征信息，包括：
    对所述三维模型进行特征提取，获取所述三维模型的三维特征信息；
    根据各个所述三维锚点从所述三维模型的三维特征信息中获取各个所述三维锚点指示的位置处的三维特征信息。
  13. 根据权利要求1所述的方法，其特征在于，所述根据所述特征信息进行障碍 物检测，获得障碍物检测信息，包括：
    将所述特征信息输入预先训练好的第二模型中，利用所述第二模型进行障碍物检测，获取障碍物检测信息。
  14. 根据权利要求1所述的方法，其特征在于，所述障碍物检测信息至少包括以下一种或多种：障碍物类别、尺寸、朝向、二维坐标以及三维坐标。
  15. 根据权利要求1所述的方法，其特征在于，所述根据所述至少两张图像分别对应的所述特征信息指向的三维锚点，生成重识别结果，包括：
    如果所述至少两张图像分别对应的至少两个特征信息均指向同一三维锚点，确定由所述至少两个特征信息分别获得的所述障碍物检测信息属于同一障碍物。
  16. 根据权利要求1所述的方法，其特征在于，所述根据所述至少两张图像分别对应的所述特征信息指向的三维锚点，生成重识别结果，包括：
    根据所述至少两张图像分别对应的所述特征信息指向的三维锚点以及所述障碍物检测信息，生成重识别结果。
  17. 根据权利要求16所述的方法，其特征在于，所述根据所述至少两张图像分别对应的所述特征信息指向的三维锚点以及所述障碍物检测信息，生成重识别结果，包括：
    如果所述至少两张图像分别对应的至少两个特征信息均指向同一三维锚点，且由所述至少两个特征信息分别获得的所述障碍物检测信息的差异满足预设条件，确定由所述至少两个特征信息分别获得的所述障碍物检测信息属于同一障碍物。
  18. 根据权利要求1所述的方法，其特征在于，所述障碍物检测信息和所述重识别结果用于对所述可移动平台进行避障决策或者移动路线规划。
  19. 根据权利要求1所述的方法，其特征在于，还包括：
    在所述可移动平台的界面或者与所述可移动平台通信连接的终端设备的界面显示所述障碍物检测信息和所述重识别结果。
  20. 根据权利要求1或19所述的方法，其特征在于，还包括：
    在所述可移动平台的界面或者与所述可移动平台通信连接的终端设备的界面显示所述至少两张图像；其中，所述障碍物检测信息和所述重识别结果显示于所述至少两张图像中。
  21. 根据权利要求1所述的方法，其特征在于，由至少两个拍摄装置分别采集的所述至少两张图像具有预设的重叠率。
  22. 根据权利要求1所述的方法，其特征在于，所述可移动平台的位置信息由设 置于所述可移动平台上的卫星定位器获得。
  23. 根据权利要求1所述的方法，其特征在于，所述三维网格模型基于所述可移动平台的位置信息以及预置的网格参数生成；所述网格参数至少指示所述三维网格模型中的三维网格的尺寸和/或形状。
  24. 一种障碍物检测及重识别方法，其特征在于，包括：
    获取基于可移动平台的位置信息生成的三维网格模型，并从所述三维网格模型中确定一个或多个三维锚点，所述三维锚点用于指示所述三维网格模型所在的三维空间中可能存在障碍物的位置；
    获取设置于所述可移动平台的至少两个拍摄装置分别采集的至少两张图像；
    从每张所述图像中提取各个所述三维锚点指示的位置处的特征信息，并根据所述特征信息进行障碍物检测，获得障碍物检测信息；
    以及，根据所述至少两张图像分别对应的所述特征信息指向的三维锚点，生成重识别结果。
  25. 根据权利要求24所述的方法，其特征在于，所述从所述三维网格模型中确定一个或多个三维锚点，包括：
    根据历史数据统计所述三维网格模型中的各个位置存在障碍物的概率，以确定所述一个或多个三维锚点。
  26. 根据权利要求25所述的方法，其特征在于，所述三维锚点指示所述三维网格模型中存在障碍物的概率大于预设阈值的位置。
  27. 根据权利要求24所述的方法，其特征在于，所述从所述三维网格模型中确定一个或多个三维锚点，包括：
    根据所述可移动平台的属性信息和/或障碍物的属性信息，从所述三维网格模型中确定一个或多个三维锚点。
  28. 根据权利要求27所述的方法，其特征在于，所述可移动平台的属性信息包括以下一种或多种：所述可移动平台的移动方式、类别、尺寸以及所述拍摄装置在所述可移动平台上的安装位置；
    和/或，所述障碍物的属性信息包括以下一种或多种：障碍物的类别、尺寸以及形状。
  29. 根据权利要求24所述的方法，其特征在于，所述从所述三维网格模型中确定一个或多个三维锚点，包括：
    根据所述三维网格模型中的各个位置确定对应的三维锚点。
  30. 根据权利要求24所述的方法，其特征在于，所述从所述三维网格模型中确定一个或多个三维锚点，包括：
    根据所述至少两张图像从所述三维网格模型中确定一个或多个三维锚点。
  31. 根据权利要求30所述的方法，其特征在于，所述根据所述至少两张图像从所述三维网格模型中确定一个或多个三维锚点，包括：
    将所述至少两张图像以及所述三维网络模型输入预先训练好的第一模型中，利用所述第一模型获得所述一个或多个三维锚点；所述第一模型用于基于所述至少两张图像预测所述三维网格模型中可能存在障碍物的位置，以确定所述三维锚点。
  32. 根据权利要求30所述的方法，其特征在于，所述根据所述至少两张图像从所述三维网格模型中确定一个或多个三维锚点，包括：
    基于每张所述图像生成一个或多个第一二维锚点；所述第一二维锚点用于指示所述图像所在的二维空间中可能存在障碍物的位置；
    根据所述图像与所述三维网格模型的投影关系，将所述一个或多个第一二维锚点投影至所述三维网格模型所在三维空间，获得所述一个或多个三维锚点。
  33. 根据权利要求30所述的方法，其特征在于，所述获取设置于可移动平台的至少两个拍摄装置分别采集的至少两张图像，包括：
    获取所述至少两个拍摄装置分别在连续的时间序列中采集的多张图像；
    所述根据所述至少两张图像从所述三维网格模型中确定一个或多个三维锚点，包括：
    根据所述多张图像进行运动目标检测，获取障碍物的运动信息；以及，获取在所述连续的时间序列中所述可移动平台的运动信息；
    根据所述障碍物的运动信息和所述可移动平台的运动信息，从所述三维网格模型中确定一个或多个三维锚点。
  34. 根据权利要求24所述的方法，其特征在于，所述特征信息包括二维特征信息和/或三维特征信息。
  35. 根据权利要求24所述的方法，其特征在于，所述从每张所述图像中提取各个所述三维锚点指示的位置处的特征信息，包括：
    基于所述图像与所述三维网格模型的投影关系，将一个或多个所述三维锚点投影至所述图像所在二维空间中，获得一个或多个第二二维锚点；所述第二二维锚点用于指示所述图像所在二维空间中可能存在障碍物的位置；
    从所述图像中提取各个所述第二二维锚点指示的位置处的二维特征信息。
  36. 根据权利要求24所述的方法，其特征在于，所述至少两个拍摄装置为具有深度采集功能的装置。
  37. 根据权利要求36所述的方法，其特征在于，所述从每张所述图像中提取各个所述三维锚点指示的位置处的特征信息，包括：
    根据所述图像以及对应的深度信息进行三维重建，获取三维模型；
    从所述三维模型中提取各个所述三维锚点指示的位置处的三维特征信息。
  38. 根据权利要求24所述的方法，其特征在于，所述根据所述特征信息进行障碍物检测，获得障碍物检测信息，包括：
    将所述特征信息输入预先训练好的第二模型中，利用所述第二模型进行障碍物检测，获取障碍物检测信息。
  39. 根据权利要求24所述的方法，其特征在于，所述障碍物检测信息至少包括以下一种或多种：障碍物类别、尺寸、朝向、二维坐标以及三维坐标。
  40. 根据权利要求24所述的方法，其特征在于，所述根据所述至少两张图像分别对应的所述特征信息指向的三维锚点，生成重识别结果，包括：
    如果所述至少两张图像分别对应的至少两个特征信息均指向同一三维锚点，确定由所述至少两个特征信息分别获得的所述障碍物检测信息属于同一障碍物。
  41. 根据权利要求24所述的方法，其特征在于，所述根据所述至少两张图像分别对应的所述特征信息指向的三维锚点，生成重识别结果，包括：
    根据所述至少两张图像分别对应的所述特征信息指向的三维锚点以及所述障碍物检测信息，生成重识别结果。
  42. 根据权利要求41所述的方法，其特征在于，所述根据所述至少两张图像分别对应的所述特征信息指向的三维锚点以及所述障碍物检测信息，生成重识别结果，包括：
    如果所述至少两张图像分别对应的至少两个特征信息均指向同一三维锚点，且由所述至少两个特征信息分别获得的所述障碍物检测信息的差异满足预设条件，确定由所述至少两个特征信息分别获得的所述障碍物检测信息属于同一障碍物。
  43. 根据权利要求24所述的方法，其特征在于，所述障碍物检测信息和所述重识别结果用于对所述可移动平台进行避障决策或者移动路线规划。
  44. 根据权利要求24所述的方法，其特征在于，还包括：
    在所述可移动平台的界面或者与所述可移动平台通信连接的终端设备的界面显示 所述障碍物检测信息和所述重识别结果。
  45. 根据权利要求24或44所述的方法，其特征在于，还包括：
    在所述可移动平台的界面或者与所述可移动平台通信连接的终端设备的界面显示所述至少两张图像；其中，所述障碍物检测信息和所述重识别结果显示于所述至少两张图像中。
  46. 根据权利要求24所述的方法，其特征在于，所述可移动平台的位置信息由设置于所述可移动平台上的卫星定位器获得。
  47. 一种障碍物检测及重识别装置，其特征在于，包括处理器和存储有计算机程序的存储器；
    所述处理器在执行所述计算机程序时实现以下步骤：
    获取设置于可移动平台的至少两个拍摄装置分别采集的至少两张图像，以及，获取基于所述可移动平台的位置信息生成的三维网格模型；
    根据所述至少两张图像从所述三维网格模型中确定一个或多个三维锚点，所述三维锚点用于指示所述三维网格模型所在的三维空间中可能存在障碍物的位置；
    从每张所述图像中提取各个所述三维锚点指示的位置处的特征信息，并根据所述特征信息进行障碍物检测，获得障碍物检测信息；
    以及，根据所述至少两张图像分别对应的所述特征信息指向的三维锚点，生成重识别结果。
  48. 根据权利要求47所述的装置，其特征在于，所述处理器具体用于：将所述至少两张图像以及所述三维网络模型输入预先训练好的第一模型中，利用所述第一模型获得所述一个或多个三维锚点；所述第一模型用于基于所述至少两张图像预测所述三维网格模型中可能存在障碍物的位置，以确定所述三维锚点。
  49. 根据权利要求47所述的装置，其特征在于，所述处理器具体用于：基于每张所述图像生成一个或多个第一二维锚点；所述第一二维锚点用于指示所述图像所在的二维空间中可能存在障碍物的位置；根据所述图像与所述三维网格模型的投影关系，将所述一个或多个第一二维锚点投影至所述三维网格模型所在三维空间，获得所述一个或多个三维锚点。
  50. 根据权利要求49所述的装置，其特征在于，所述图像与所述三维网格模型的投影关系基于所述可移动平台与所述拍摄装置的位置关系、以及所述拍摄装置的外参和内参所确定。
  51. 根据权利要求49所述的装置，其特征在于，所述处理器还用于：对每张所述图像进行特征提取，并根据提取的特征确定所述一个或多个第一二维锚点。
  52. 根据权利要求47所述的装置，其特征在于，所述处理器还用于：
    获取所述至少两个拍摄装置分别在连续的时间序列中采集的多张图像；
    根据所述多张图像进行运动目标检测，获取障碍物的运动信息；以及，获取在所述连续的时间序列中所述可移动平台的运动信息；
    根据所述障碍物的运动信息和所述可移动平台的运动信息，从所述三维网格模型中确定一个或多个三维锚点。
  53. 根据权利要求47所述的装置，其特征在于，所述特征信息包括二维特征信息和/或三维特征信息。
  54. 根据权利要求47所述的装置，其特征在于，所述处理器还用于：
    基于所述图像与所述三维网格模型的投影关系，将一个或多个所述三维锚点投影至所述图像所在二维空间中，获得一个或多个第二二维锚点；所述第二二维锚点用于指示所述图像所在二维空间中可能存在障碍物的位置；
    从所述图像中提取各个所述第二二维锚点指示的位置处的二维特征信息。
  55. 根据权利要求54所述的装置，其特征在于，所述处理器还用于：对所述图像进行特征提取，获取所述图像的二维特征信息；根据各个所述第二二维锚点从所述图像的二维特征信息获取各个所述第二二维锚点指示的位置处的二维特征信息。
  56. 根据权利要求47所述的装置，其特征在于，所述至少两个拍摄装置为具有深度采集功能的装置。
  57. 根据权利要求56所述的装置，其特征在于，所述处理器还用于：
    根据所述图像以及对应的深度信息进行三维重建，获取三维模型；
    从所述三维模型中提取各个所述三维锚点指示的位置处的三维特征信息。
  58. 根据权利要求57所述的装置，其特征在于，所述处理器还用于：
    对所述三维模型进行特征提取，获取所述三维模型的三维特征信息；
    根据各个所述三维锚点从所述三维模型的三维特征信息中获取各个所述三维锚点指示的位置处的三维特征信息。
  59. 根据权利要求47所述的装置，其特征在于，所述处理器还用于：将所述特征信息输入预先训练好的第二模型中，利用所述第二模型进行障碍物检测，获取障碍物检测信息。
  60. 根据权利要求47所述的装置，其特征在于，所述处理器还用于：所述障碍物 检测信息至少包括以下一种或多种：障碍物类别、尺寸、朝向、二维坐标以及三维坐标。
  61. 根据权利要求47所述的装置，其特征在于，所述处理器还用于：如果所述至少两张图像分别对应的至少两个特征信息均指向同一三维锚点，确定由所述至少两个特征信息分别获得的所述障碍物检测信息属于同一障碍物。
  62. 根据权利要求47所述的装置，其特征在于，所述处理器还用于：根据所述至少两张图像分别对应的所述特征信息指向的三维锚点以及所述障碍物检测信息，生成重识别结果。
  63. 根据权利要求62所述的装置，其特征在于，所述处理器具体用于：如果所述至少两张图像分别对应的至少两个特征信息均指向同一三维锚点，且由所述至少两个特征信息分别获得的所述障碍物检测信息的差异满足预设条件，确定由所述至少两个特征信息分别获得的所述障碍物检测信息属于同一障碍物。
  64. 根据权利要求47所述的装置，其特征在于，所述障碍物检测信息和所述重识别结果用于对所述可移动平台进行避障决策或者移动路线规划。
  65. 根据权利要求47所述的装置，其特征在于，所述处理器还用于：在所述可移动平台的界面或者与所述可移动平台通信连接的终端设备的界面显示所述障碍物检测信息和所述重识别结果。
  66. 根据权利要求47或65所述的装置，其特征在于，所述处理器还用于：在所述可移动平台的界面或者与所述可移动平台通信连接的终端设备的界面显示所述至少两张图像；其中，所述障碍物检测信息和所述重识别结果显示于所述至少两张图像中。
  67. 根据权利要求47所述的装置，其特征在于，由至少两个拍摄装置分别采集的所述至少两张图像具有预设的重叠率。
  68. 根据权利要求47所述的装置，其特征在于，所述可移动平台的位置信息由设置于所述可移动平台上的卫星定位器获得。
  69. 根据权利要求47所述的装置，其特征在于，所述三维网格模型基于所述可移动平台的位置信息以及预置的网格参数生成；所述网格参数至少指示所述三维网格模型中的三维网格的尺寸和/或形状。
  70. 一种障碍物检测及重识别装置，其特征在于，包括处理器和存储有计算机程序的存储器；
    所述处理器在执行所述计算机程序时实现以下步骤：
    获取基于可移动平台的位置信息生成的三维网格模型，并从所述三维网格模型中确定一个或多个三维锚点，所述三维锚点用于指示所述三维网格模型所在的三维空间中可能存在障碍物的位置；
    获取设置于所述可移动平台的至少两个拍摄装置分别采集的至少两张图像；
    从每张所述图像中提取各个所述三维锚点指示的位置处的特征信息，并根据所述特征信息进行障碍物检测，获得障碍物检测信息；
    以及，根据所述至少两张图像分别对应的所述特征信息指向的三维锚点，生成重识别结果。
  71. 根据权利要求70所述的装置，其特征在于，所述处理器还用于：根据历史数据统计所述三维网格模型中的各个位置存在障碍物的概率，以确定所述一个或多个三维锚点。
  72. 根据权利要求71所述的装置，其特征在于，所述三维锚点指示所述三维网格模型中存在障碍物的概率大于预设阈值的位置。
  73. 根据权利要求70所述的装置，其特征在于，所述处理器还用于：根据所述可移动平台的属性信息和/或障碍物的属性信息，从所述三维网格模型中确定一个或多个三维锚点。
  74. 根据权利要求73所述的装置，其特征在于，所述可移动平台的属性信息包括以下一种或多种：所述可移动平台的移动方式、类别、尺寸以及所述拍摄装置在所述可移动平台上的安装位置；
    和/或，所述障碍物的属性信息包括以下一种或多种：障碍物的类别、尺寸以及形状。
  75. 根据权利要求70所述的装置，其特征在于，所述处理器还用于：根据所述三维网格模型中的各个位置确定对应的三维锚点。
  76. 根据权利要求70所述的装置，其特征在于，所述处理器还用于：根据所述至少两张图像从所述三维网格模型中确定一个或多个三维锚点。
  77. 根据权利要求76所述的装置，其特征在于，所述处理器还用于：将所述至少两张图像以及所述三维网络模型输入预先训练好的第一模型中，利用所述第一模型获得所述一个或多个三维锚点；所述第一模型用于基于所述至少两张图像预测所述三维网格模型中可能存在障碍物的位置，以确定所述三维锚点。
  78. 根据权利要求76所述的装置，其特征在于，所述处理器还用于：
    基于每张所述图像生成一个或多个第一二维锚点；所述第一二维锚点用于指示所 述图像所在的二维空间中可能存在障碍物的位置；
    根据所述图像与所述三维网格模型的投影关系，将所述一个或多个第一二维锚点投影至所述三维网格模型所在三维空间，获得所述一个或多个三维锚点。
  79. 根据权利要求76所述的装置，其特征在于，所述处理器还用于：
    获取所述至少两个拍摄装置分别在连续的时间序列中采集的多张图像；
    根据所述多张图像进行运动目标检测，获取障碍物的运动信息；以及，获取在所述连续的时间序列中所述可移动平台的运动信息；
    根据所述障碍物的运动信息和所述可移动平台的运动信息，从所述三维网格模型中确定一个或多个三维锚点。
  80. 根据权利要求70所述的装置，其特征在于，所述特征信息包括二维特征信息和/或三维特征信息。
  81. 根据权利要求70所述的装置，其特征在于，所述处理器还用于：
    基于所述图像与所述三维网格模型的投影关系，将一个或多个所述三维锚点投影至所述图像所在二维空间中，获得一个或多个第二二维锚点；所述第二二维锚点用于指示所述图像所在二维空间中可能存在障碍物的位置；
    从所述图像中提取各个所述第二二维锚点指示的位置处的二维特征信息。
  82. 根据权利要求70所述的装置，其特征在于，所述至少两个拍摄装置为具有深度采集功能的装置。
  83. 根据权利要求82所述的装置，其特征在于，所述处理器还用于：根据所述图像以及对应的深度信息进行三维重建，获取三维模型；从所述三维模型中提取各个所述三维锚点指示的位置处的三维特征信息。
  84. 根据权利要求70所述的装置，其特征在于，所述处理器还用于：将所述特征信息输入预先训练好的第二模型中，利用所述第二模型进行障碍物检测，获取障碍物检测信息。
  85. 根据权利要求70所述的装置，其特征在于，所述障碍物检测信息至少包括以下一种或多种：障碍物类别、尺寸、朝向、二维坐标以及三维坐标。
  86. 根据权利要求70所述的装置，其特征在于，所述处理器还用于：如果所述至少两张图像分别对应的至少两个特征信息均指向同一三维锚点，确定由所述至少两个特征信息分别获得的所述障碍物检测信息属于同一障碍物。
  87. 根据权利要求70所述的装置，其特征在于，所述处理器还用于：根据所述至少两张图像分别对应的所述特征信息指向的三维锚点以及所述障碍物检测信息，生成 重识别结果。
  88. 根据权利要求87所述的装置，其特征在于，所述处理器还用于：如果所述至少两张图像分别对应的至少两个特征信息均指向同一三维锚点，且由所述至少两个特征信息分别获得的所述障碍物检测信息的差异满足预设条件，确定由所述至少两个特征信息分别获得的所述障碍物检测信息属于同一障碍物。
  89. 根据权利要求70所述的装置，其特征在于，所述障碍物检测信息和所述重识别结果用于对所述可移动平台进行避障决策或者移动路线规划。
  90. 根据权利要求70所述的装置，其特征在于，所述处理器还用于：在所述可移动平台的界面或者与所述可移动平台通信连接的终端设备的界面显示所述障碍物检测信息和所述重识别结果。
  91. 根据权利要求70或90所述的装置，其特征在于，所述处理器还用于：在所述可移动平台的界面或者与所述可移动平台通信连接的终端设备的界面显示所述至少两张图像；其中，所述障碍物检测信息和所述重识别结果显示于所述至少两张图像中。
  92. 根据权利要求70所述的装置，其特征在于，所述可移动平台的位置信息由设置于所述可移动平台上的卫星定位器获得。
  93. 一种可移动平台，其特征在于，包括：
    机体；
    动力系统，安装在所述机体内，用于为所述可移动平台提供动力；
    至少两个拍摄装置，用于采集图像；以及，
    如权利要求47至69任意一项或70至92任意一项所述的障碍物检测及重识别装置。
  94. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至23任一项或24至46任一项所述的方法。
PCT/CN2020/137338 2020-12-17 2020-12-17 障碍物检测及重识别方法、装置、可移动平台及存储介质 Ceased WO2022126540A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202080071444.8A CN114556449B (zh) 2020-12-17 2020-12-17 障碍物检测及重识别方法、装置、可移动平台及存储介质
PCT/CN2020/137338 WO2022126540A1 (zh) 2020-12-17 2020-12-17 障碍物检测及重识别方法、装置、可移动平台及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/137338 WO2022126540A1 (zh) 2020-12-17 2020-12-17 障碍物检测及重识别方法、装置、可移动平台及存储介质

Publications (1)

Publication Number Publication Date
WO2022126540A1 true WO2022126540A1 (zh) 2022-06-23

Family

ID=81667899

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/137338 Ceased WO2022126540A1 (zh) 2020-12-17 2020-12-17 障碍物检测及重识别方法、装置、可移动平台及存储介质

Country Status (2)

Country Link
CN (1) CN114556449B (zh)
WO (1) WO2022126540A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115082898A (zh) * 2022-07-04 2022-09-20 小米汽车科技有限公司 障碍物检测方法、装置、车辆及存储介质
CN115984799A (zh) * 2023-02-07 2023-04-18 曜科智能科技（上海）有限公司 一种基于三维先验信息特征融合的车辆重识别方法
CN117197429A (zh) * 2023-08-31 2023-12-08 珠海微度芯创科技有限责任公司 基于图像融合的目标检测方法、人体安检设备、存储介质
CN119068462A (zh) * 2024-10-31 2024-12-03 杭州海康威视数字技术股份有限公司 一种障碍物检测方法、装置、电子设备及存储介质

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117690122B (zh) * 2024-02-02 2024-04-26 中科数创(临沂)数字科技有限公司 一种档案库房用通道障碍检测系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160188986A1 (en) * 2014-12-25 2016-06-30 Fujitsu Limited Detection system and detection method
CN109214248A (zh) * 2017-07-04 2019-01-15 百度在线网络技术（北京）有限公司 用于识别无人驾驶车辆的激光点云数据的方法和装置
CN111046743A (zh) * 2019-11-21 2020-04-21 新奇点企业管理集团有限公司 一种障碍物信息标注方法、装置、电子设备和存储介质
CN111414848A (zh) * 2020-03-19 2020-07-14 深动科技（北京）有限公司 一种全类别3d障碍物检测方法、系统和介质
CN111886597A (zh) * 2019-06-28 2020-11-03 深圳市大疆创新科技有限公司 可移动平台的障碍物检测方法、装置及可移动平台

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10120385B2 (en) * 2016-03-30 2018-11-06 Intel Corporation Comfort ride vehicle control system
CN109116374B (zh) * 2017-06-23 2021-08-17 百度在线网络技术（北京）有限公司 确定障碍物距离的方法、装置、设备及存储介质
CN109509260B (zh) * 2017-09-14 2023-05-26 阿波罗智能技术(北京)有限公司 动态障碍物点云的标注方法、设备及可读介质
CN110390829A (zh) * 2019-07-30 2019-10-29 北京百度网讯科技有限公司 交通信号灯识别的方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160188986A1 (en) * 2014-12-25 2016-06-30 Fujitsu Limited Detection system and detection method
CN109214248A (zh) * 2017-07-04 2019-01-15 百度在线网络技术（北京）有限公司 用于识别无人驾驶车辆的激光点云数据的方法和装置
CN111886597A (zh) * 2019-06-28 2020-11-03 深圳市大疆创新科技有限公司 可移动平台的障碍物检测方法、装置及可移动平台
CN111046743A (zh) * 2019-11-21 2020-04-21 新奇点企业管理集团有限公司 一种障碍物信息标注方法、装置、电子设备和存储介质
CN111414848A (zh) * 2020-03-19 2020-07-14 深动科技（北京）有限公司 一种全类别3d障碍物检测方法、系统和介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115082898A (zh) * 2022-07-04 2022-09-20 小米汽车科技有限公司 障碍物检测方法、装置、车辆及存储介质
CN115984799A (zh) * 2023-02-07 2023-04-18 曜科智能科技（上海）有限公司 一种基于三维先验信息特征融合的车辆重识别方法
CN115984799B (zh) * 2023-02-07 2025-08-01 曜科智能科技（上海）有限公司 一种基于三维先验信息特征融合的车辆重识别方法
CN117197429A (zh) * 2023-08-31 2023-12-08 珠海微度芯创科技有限责任公司 基于图像融合的目标检测方法、人体安检设备、存储介质
CN119068462A (zh) * 2024-10-31 2024-12-03 杭州海康威视数字技术股份有限公司 一种障碍物检测方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN114556449B (zh) 2025-01-14
CN114556449A (zh) 2022-05-27

Similar Documents

Publication Publication Date Title
CN114556449B (zh) 障碍物检测及重识别方法、装置、可移动平台及存储介质
Nassar et al. A deep CNN-based framework for enhanced aerial imagery registration with applications to UAV geolocalization
CN111753609B (zh) 一种目标识别的方法、装置及摄像机
CN114556445B (zh) 物体识别方法、装置、可移动平台以及存储介质
CN112106111A (zh) 一种标定方法、设备、可移动平台及存储介质
WO2021017211A1 (zh) 一种基于视觉的车辆定位方法、装置及车载终端
JP2017015598A (ja) 測量データ処理装置、測量データ処理方法および測量データ処理用プログラム
CN115147328A (zh) 三维目标检测方法及装置
CN114359714B (zh) 基于事件相机的无人体避障方法、装置及智能无人体
CN112562005A (zh) 一种空间标定方法和系统
CN108596117B (zh) 一种基于二维激光测距仪阵列的场景监控方法
CN113012215A (zh) 一种空间定位的方法、系统及设备
CN113792645A (zh) 一种融合图像和激光雷达的ai眼球
CN114494806B (zh) 基于多元信息融合的目标识别方法、系统、设备和介质
EP3710780A2 (en) Method and system for enhanced sensing capabilities for vehicles
CN109214254A (zh) 一种确定机器人位移的方法及装置
CN117078912A (zh) 一种基于深度学习的激光点云与图像对齐方法和装置
CN106080397A (zh) 自适应巡航系统及车载设备
Zingoni et al. Real-time 3D reconstruction from images taken from an UAV
CN118154604A (zh) 一种墙体裂缝诊断方法、装置、计算机设备及存储介质
KR20230082497A (ko) 3차원 포인트 클라우드를 이용한 구조물의 실시간 검진 자동화 방법 및 장치
CN111739099B (zh) 预防跌落方法、装置及电子设备
CN108225273A (zh) 一种基于传感器先验知识的实时跑道检测方法
KR20220062709A (ko) 모바일 디바이스 영상에 기반한 공간 정보 클러스터링에 의한 재난 상황 인지 시스템 및 방법
CN113326715B (zh) 一种目标关联方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20965556

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20965556

Country of ref document: EP

Kind code of ref document: A1

WWG Wipo information: grant in national office

Ref document number: 202080071444.8

Country of ref document: CN