WO2020098316A1 - 基于视觉点云的语义矢量地图构建方法、装置和电子设备 - Google Patents

基于视觉点云的语义矢量地图构建方法、装置和电子设备 Download PDF

Info

Publication number
WO2020098316A1
WO2020098316A1 PCT/CN2019/099205 CN2019099205W WO2020098316A1 WO 2020098316 A1 WO2020098316 A1 WO 2020098316A1 CN 2019099205 W CN2019099205 W CN 2019099205W WO 2020098316 A1 WO2020098316 A1 WO 2020098316A1
Authority
WO
WIPO (PCT)
Prior art keywords
point cloud
image
semantic
pixel
target
Prior art date
Application number
PCT/CN2019/099205
Other languages
English (en)
French (fr)
Inventor
颜沁睿
杨帅
Original Assignee
南京人工智能高等研究院有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南京人工智能高等研究院有限公司 filed Critical 南京人工智能高等研究院有限公司
Publication of WO2020098316A1 publication Critical patent/WO2020098316A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Definitions

  • the present application relates to the field of map construction, and more specifically, to a method and apparatus for constructing a semantic vector map based on a visual point cloud, and an electronic device.
  • Maps are the basis of robot navigation and positioning, and are the core dependent modules of unmanned vehicles. For a long time, map construction has restricted the development of mobile robots.
  • the absolute coordinates of the point cloud in the world coordinate system are obtained through lidar and high-precision integrated navigation (RTK + high-precision IMU), and then the objects of interest (such as fences, traffic lights, signs, lane lines, etc.) are manually selected ), Vectorized calculations one by one, and finally converted into a standard map format to generate a high-precision map.
  • the embodiments of the present application provide a method for constructing a semantic vector map based on a visual point cloud, an apparatus for constructing a semantic vector map based on a visual point cloud, an electronic device, and a computer-readable storage medium.
  • a method for constructing a semantic vector map based on a visual point cloud includes performing target detection on an image acquired by an image acquisition device, acquiring pixel targets and attribute information in the image; determining The position information of each pixel target in the image; combining the attribute information and position information of each pixel target to generate a semantic point cloud; and constructing a semantic vector map based on the semantic point cloud.
  • a visual point cloud-based semantic vector map construction device which includes an object detection unit for performing object detection on an image acquired by an image acquisition device to acquire pixel targets in the image And its attribute information; position information determination unit, used to determine the position information of each pixel target in the image; point cloud generation unit, used to combine the attribute information and position information of each pixel target to generate a semantic point cloud ; And a map construction unit for constructing a semantic vector map according to the semantic point cloud.
  • an electronic device including a processor and a memory, wherein the memory stores computer program instructions, which when executed by the processor causes the processor Implementation of the semantic vector map construction method proposed in this application.
  • a computer-readable storage medium on which instructions for executing the method for constructing a semantic vector map proposed by the present application are stored.
  • the method, device, electronic device and computer-readable storage medium for constructing a semantic vector map based on a visual point cloud can perform target detection and acquisition of images acquired by an image acquisition device Pixel targets and their attribute information in the image; determining the position information of each pixel target in the image; combining the attribute information and position information of each pixel target to generate a semantic point cloud; and semantic-based Point cloud to construct a semantic vector map. Therefore, it is possible to complete the construction of high-definition maps fully automatically by using only images and combining the results of semantic segmentation and visual point cloud output at a very low cost.
  • FIG. 1 illustrates a schematic diagram of an application scenario of a method for constructing a semantic point map based on a visual point cloud according to an embodiment of the present application.
  • FIG. 2 illustrates a flowchart of a method for constructing a semantic vector map based on a visual point cloud according to an embodiment of the present application.
  • FIG. 3 illustrates a block diagram of a visual point cloud-based semantic vector map construction device according to an embodiment of the present application.
  • FIG. 4 illustrates a block diagram of an electronic device according to an embodiment of the application.
  • the basic idea of the present application is to propose a method for constructing a semantic vector map based on a visual point cloud, a device for constructing a semantic vector map, an electronic device, and a computer-readable storage medium.
  • a small amount of external sensor prior information is used to construct the map, which greatly reduces the cost of map production.
  • the method and apparatus for constructing a semantic vector map based on a visual point cloud calculates the position information of pixels in an image based on the initial information provided by a common sensor, and performs semantic segmentation on the acquired image to obtain the The semantic entity or pixel target and its attribute information, combined with the position information and attribute information of the pixel point, obtain a point cloud with semantics, and then obtain a point cloud instance with semantic point cloud to construct a semantic vector map.
  • the method and apparatus for constructing a semantic vector map based on a visual point cloud of the present application can complete the construction of a high-precision map without using high-precision sensors or excessive manual intervention.
  • the production cost is lower.
  • FIG. 1 illustrates a schematic diagram of an application scenario of a method for constructing a semantic point map based on a visual point cloud according to an embodiment of the present application.
  • the vehicle 10 may include an image acquisition device, such as an on-board camera 12, which may be a commonly used monocular camera, binocular camera, or more.
  • an on-board camera 12 may be a commonly used monocular camera, binocular camera, or more.
  • FIG. 1 shows that the in-vehicle camera 12 is installed on the top of the vehicle 10, it should be understood that the in-vehicle camera may also be installed in other positions of the vehicle 10, such as a front portion, a front windshield, and so on.
  • the vehicle 10 includes a semantic vector map construction device 14 that can communicate with an image acquisition device and is used to execute a visual point cloud-based semantic vector map construction method provided by the present application.
  • the semantic vector map construction device 14 uses the video image captured by the on-board camera 12 to determine the movement trajectory and surrounding environment of the on-board camera 12 through video processing technology, forms a map, and stores it in the memory.
  • the vehicle-mounted camera 12 continuously captures video images while the vehicle 10 is traveling, and the semantic vector map construction device 14 obtains the image captured by the vehicle-mounted camera 12, performs object detection on the image, and obtains the Pixel target and attribute information; determine the position information of each pixel target in the image; combine the attribute information and position information of each pixel target to generate a semantic point cloud; and build semantic based on the semantic point cloud Vector map.
  • a semantic point cloud can be generated to construct a semantic vector map.
  • a method 100 for constructing a semantic map based on a visual point cloud includes the following steps:
  • Step S110 Perform target detection on the image acquired by the image acquisition device, and acquire pixel targets and attribute information in the image.
  • the image acquisition device can simultaneously capture image data of the current environment.
  • the image acquisition device may be any type of camera, and the camera may be a camera, such as a monocular camera, a binocular camera, a multi-camera camera, or the like.
  • the image data collected by the camera may be a continuous sequence of image frames (that is, a video stream) or a sequence of discrete image frames (that is, an image data group sampled at a predetermined sampling time point).
  • any other type of camera known in the art and likely to appear in the future can be applied to the present application, and the method of capturing images is not particularly limited in this application, as long as a clear image can be obtained.
  • target detection on an image refers to detecting the image to determine whether there is a pixel target of interest in the image; if there is a pixel target of interest in the image, the pixel target and its attribute information will be obtained.
  • the pixel target refers to the semantic entity in the image, that is, the object entity existing in the environment.
  • the attribute information indicates the physical characteristics of the semantic entity.
  • the attribute information may also be spatial attribute information such as the shape, size and orientation of each semantic entity.
  • the attribute information may be category attribute information of each semantic entity, for example, whether each semantic entity is a feasible road, roadside, lane and lane line, traffic sign, pavement sign, traffic light, stop line, crosswalk, roadside tree or Which of the pillars etc.
  • the pixel target may follow certain specifications and have specific semantics. For example, it may be lanes and lane lines, road signs, traffic signs, traffic lights, crosswalks, etc .; it may also have specific geometric shapes, such as circles, squares, triangles, strips, etc.
  • the pixel target may reflect its meaning through its own lines. For example, lines on the nameplate may indicate stop marks, slow marks, forward falling stones marks, etc., use these lines accordingly Embody its meaning: stop mark, slow mark, falling stone mark in front, etc.
  • step S110 the pixel object or the semantic entity and the category information of the pixel object are determined according to the image.
  • step S110 the pixel target and the spatial attribute information of the pixel target are determined according to the image.
  • Step S120 Determine the position information of each pixel target in the image.
  • the position information of each pixel target may be three-dimensional coordinates of each pixel target, for example, three-dimensional coordinates in the world coordinate system.
  • the position information of each pixel target may also be the relative coordinates of each pixel target relative to the image acquisition device, and so on.
  • the image acquisition device is a monocular camera, and at this time, it is determined that the three-dimensional coordinates of each pixel target in the image acquired by the image acquisition device include posture information based on the monocular camera, and the image is calculated using triangulation The three-dimensional coordinates of each pixel in the target world coordinate system.
  • a monocular camera is used to obtain an image, and the three-dimensional coordinates of each pixel target in the image are determined in the world coordinate system to obtain the position information of each pixel target and obtain a point cloud with semantics to construct a semantic vector map. Because the monocular camera is used, it is easy to install and maintain, which makes the construction cost of the semantic vector map lower.
  • the pose information includes a rotation matrix R and a translation matrix t, where the translation matrix t is a 3 * 1 matrix, indicating the position of the trajectory point relative to the origin, and the rotation matrix R is a 3 * 3 matrix, indicating that it is located at the trajectory point Attitude, rotation matrix R can also be expressed as Euler angle In the form of ⁇ , where ⁇ represents the yaw angle of rotation around the Y axis, and ⁇ represents the pitch angle of rotation along the X axis, Represents the roll angle of rotation along the Z axis.
  • the coordinate system shown in FIG. 1 is the local coordinate system of the vehicle camera (X c , Y c , Z c ), where the direction of the Z c axis is the direction of the optical axis of the vehicle camera, and the direction of the Y c axis is perpendicular to The direction of Z c axis is downward, and the direction of X c axis is the direction perpendicular to Y c axis and Z c axis.
  • the image acquisition device is a binocular camera, and at this time, the position information of each pixel target in the image is calculated based on the disparity map of the binocular camera.
  • the position information of each pixel target in the image is calculated based on the disparity map of the binocular camera.
  • an image is acquired using a binocular camera, and the position information of each pixel target in the image is calculated based on the disparity map of the binocular camera, so that the position information of each pixel target is calculated more accurately, and the constructed semantic vector map is more accurate Precise.
  • Step S130 combining the attribute information and position information of each pixel target to generate a semantic point cloud.
  • semantic entities and their attribute information and location information contained in the current environment After determining the semantic entities and their attribute information and location information contained in the current environment, they can be synthesized to obtain a semantic point cloud.
  • the semantic segmentation result is reconstructed and attributes such as location information are added to obtain a semantic point cloud.
  • Step S140 Construct a semantic vector map based on the semantic point cloud.
  • the semantic point cloud On the basis of obtaining the semantic point cloud, the semantic point cloud is vectorized, and a semantic vector map is further obtained.
  • a map generated in advance may be acquired to determine which semantic entities exist in the current environment and the location information of the semantic entities, etc., based on a priori information.
  • the a priori high-definition map can be stored in the memory of the image acquisition device, etc., or stored elsewhere, and can be recalled at any time.
  • the object detection on the image acquired by the image acquisition device to acquire the pixel target and its attribute information in the image includes: semantically segmenting the acquired image to acquire pixels in the image Target and attribute information.
  • the target detection is performed on the image acquired by the image acquisition device to acquire the pixel target and its attribute information in the image, and further includes filtering out the dynamic target from the acquired pixel target according to the attribute information, for example Pedestrians, cars, etc.
  • the dynamic target is not a constituent element of a high-precision map, and needs to be removed from the obtained pixel target.
  • a random forest classifier is used for semantic segmentation to obtain pixel targets and their attribute information in the image.
  • the method for constructing a semantic vector map based on a visual point cloud further includes segmenting a point cloud instance of the semantic point cloud to obtain a segmented semantic point cloud instance.
  • the image obtained by semantic segmentation is that all the same objects are classified into one category, and each object is not distinguished one by one. For example, when there are two signages in the image, semantic segmentation will predict all pixels of the two signages as the category of “signages” and cannot be directly vectorized. Different from this, instance segmentation needs to distinguish which pixels belong to the first identification plate and which pixels belong to the second identification plate, and then each identification plate can be quantified separately.
  • a point cloud with a semantic point cloud instance when segmenting a point cloud with a semantic point cloud instance, project the point cloud with a semantic point onto the XY plane, XZ plane, and YZ plane of the world coordinate system, and then make a point cloud instance Segmentation, the results of the segmentation of three plane point cloud instances are merged with each other to obtain a segmented point cloud instance.
  • the divided point cloud instance and its corresponding confidence can be obtained on the three coordinate planes.
  • the weight of each projection surface is used to weight and fuse the point cloud instance and its corresponding confidence to obtain the segmented point cloud instance.
  • point cloud instance segmentation methods such as the KNN algorithm can also be used.
  • KNN algorithm By projecting a point cloud with semantics to the three coordinate planes of the world coordinate system to segment and merge point cloud instances, an accurate point cloud instance can be obtained, and then an accurate semantic vector map can be obtained.
  • the method for constructing a semantic vector map based on a visual point cloud further includes directly segmenting the pixel targets; calculating the location information of each pixel target of the segmentation instance, and combining the attribute information of each pixel target And position information, generate a semantic point cloud; and build a semantic vector map based on the semantic point cloud.
  • FIG. 3 illustrates a block diagram of a visual point cloud-based semantic vector map construction device according to an embodiment of the present application.
  • the visual point cloud-based semantic vector map construction apparatus 200 includes a target detection unit 210, a position information determination unit 220, a point cloud generation unit 230 and a map construction unit 240.
  • the object detection unit 210 is used to perform object detection on the image acquired by the image acquisition device, and acquire pixel targets and attribute information in the image.
  • the position information determination unit 220 is used to calculate the position information of each pixel target in the image.
  • the point cloud generating unit 230 is used to combine attribute information and position information of each pixel target to generate a semantic point cloud.
  • the map construction unit 240 is used to construct a semantic vector map according to the semantic point cloud.
  • the target detection unit 210 is used to semantically segment the acquired image, acquire pixel targets and attribute information in the image, and filter out dynamic targets from the acquired pixel targets according to the attribute information.
  • the image acquisition device is a monocular camera.
  • the position information determination unit 220 is used to calculate the target world coordinate system of each pixel in the image based on the pose information of the monocular camera using triangulation Three-dimensional coordinates.
  • the image acquisition device is a binocular camera.
  • the position information determination unit 220 calculates the position information of each pixel target in the image based on the disparity map of the binocular camera.
  • the apparatus 200 for constructing a semantic vector map based on a visual point cloud further includes a point cloud instance segmentation unit for segmenting a point cloud instance with a point cloud or a pixel target with semantics to obtain a segmented point cloud with semantics, respectively Instance or semantic pixel target.
  • the point cloud instance segmentation unit when the point cloud instance segmentation unit performs point cloud instance segmentation on the point cloud with semantics, the point cloud with semantics is projected onto the XY plane, XZ plane, and YZ plane of the coordinate system to make point cloud instances. Segmentation, the results of the segmentation of three plane point cloud instances are merged with each other to obtain a segmented point cloud instance.
  • FIG. 4 illustrates a structural block diagram of an electronic device 300 according to an embodiment of the present application.
  • the electronic device 300 may include a processor 310 and a memory 320.
  • the processor 310 may be a central processing unit (CPU) or other forms of processing units having data processing capabilities and / or instruction execution capabilities, and may control other components in the electronic device 300 to perform desired functions.
  • CPU central processing unit
  • the processor 310 may be a central processing unit (CPU) or other forms of processing units having data processing capabilities and / or instruction execution capabilities, and may control other components in the electronic device 300 to perform desired functions.
  • the memory 320 may include one or more computer program products, which may include various forms of computer-readable storage media, such as volatile memory and / or non-volatile memory.
  • the volatile memory may include, for example, random access memory (RAM) and / or cache memory.
  • the non-volatile memory may include, for example, read-only memory (ROM), hard disk, flash memory, and the like.
  • One or more computer program instructions may be stored on the computer-readable storage medium, and the processor 310 may execute the program instructions to implement the visual point cloud-based semantic vectors of various embodiments of the present application described above Map construction methods and / or other desired functions.
  • Various contents such as camera-related information, sensor-related information, and driver programs can also be stored in the computer-readable storage medium.
  • the electronic device 300 may further include an interface 330, an input device 340, and an output device 350, and these components are interconnected by a bus system and / or other forms of connection mechanisms (not shown).
  • the interface 330 may be used to connect to a camera, such as a video camera.
  • the interface 330 may be a commonly used USB interface of a camera, and of course, it may be other interfaces such as a Type-C interface.
  • the electronic device 300 may include one or more interfaces 330 to connect to corresponding cameras, and receive images captured by the cameras for performing the above-described method of constructing a semantic point map based on a visual point cloud.
  • the input device 340 may be used to receive external input, such as receiving physical point coordinate values input by a user.
  • the input device 340 may be, for example, a keyboard, a mouse, a tablet, a touch screen, and so on.
  • the output device 350 can output the calculated camera external parameters.
  • the output device 350 may include a display, a speaker, a printer, and a communication network and its connected remote output device.
  • the input device 340 and the output device 350 may be an integrated touch display screen.
  • FIG. 4 only shows some components of the electronic device 300 related to the present application, and omits some related peripheral or auxiliary components.
  • the electronic device 300 may further include any other suitable components.
  • embodiments of the present application may also be computer program products, which include computer program instructions that when executed by a processor cause the processor to perform the above-described "exemplary method" of this specification Steps in a method for constructing a semantic vector map based on visual point clouds described in the section according to various embodiments of the present application.
  • the computer program product may write program codes for performing operations of the embodiments of the present application in any combination of one or more programming languages, and the programming languages include object-oriented programming languages, such as Java, C ++, etc. , Also includes conventional procedural programming languages, such as "C" language or similar programming languages.
  • the program code may be executed entirely on the user's computing device, partly on the user's device, as an independent software package, partly on the user's computing device and partly on a remote computing device, or entirely on the remote computing device or server On the implementation.
  • an embodiment of the present application may also be a computer-readable storage medium having computer program instructions stored thereon, which when executed by a processor causes the processor to perform the above-mentioned "exemplary method" part of the specification
  • the steps in the method for constructing a semantic vector map based on visual point clouds according to various embodiments of the present application are described in.
  • the computer-readable storage medium may employ any combination of one or more readable media.
  • the readable medium may be a readable signal medium or a readable storage medium.
  • the readable storage medium may include, but is not limited to, electrical, magnetic, optical, electromagnetic, infrared, or semiconductor systems, devices, or devices, or any combination of the above, for example. More specific examples of readable storage media (non-exhaustive list) include: electrical connections with one or more wires, portable disks, hard disks, random access memory (RAM), read only memory (ROM), erasable Programmable read-only memory (EPROM or flash memory), optical fiber, portable compact disk read-only memory (CD-ROM), optical storage device, magnetic storage device, or any suitable combination of the foregoing.
  • each component or each step can be decomposed and / or recombined.
  • decompositions and / or recombinations shall be regarded as equivalent solutions of this application.

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

本申请公开了一种基于视觉点云的语义矢量地图构建方法、基于视觉点云的语义矢量地图构建装置和电子设备。根据一实施例，一种基于视觉点云的语义地图构建方法包括对图像获取设备所获取的图像进行目标检测，获取所述图像中的像素目标及其属性信息；确定所述图像中每个像素目标的位置信息；结合每个像素目标的属性信息和位置信息，生成带语义的点云；以及基于带语义的点云，构建语义矢量地图。本申请的语义矢量地图构建方法可以仅仅通过图像和少量的外部传感器先验信息，以极低的成本完成高清地图构建。

Description

基于视觉点云的语义矢量地图构建方法、装置和电子设备 技术领域
本申请涉及地图构建领域，且更具体地，涉及一种基于视觉点云的语义矢量地图构建方法和构建装置及电子设备。
背景技术
地图是机器人导航定位的基础，是无人载具的核心依赖模块。而长期以来，地图构建都制约着移动机器人的发展。目前，通过激光雷达及高精度组合导航(RTK+高精度IMU)获得点云在世界坐标系下的绝对坐标，然后通过人工选取出感兴趣的物体(例如，栅栏、红绿灯、标志牌、车道线等)，逐个进行矢量化计算，最后转换成标准地图格式，生成高精度地图。
通过高成本的精密传感器，可以对特定区域进行高精度地图构建。但是，由于激光雷达成本高昂，人工干预过多，全国范围超大规模的高精度地图构建与维度成了一个无比艰难的问题。
因此，需要改进的地图构建方案。
发明内容
为了解决上述技术问题，提出了本申请。本申请的实施例提供了一种基于视觉点云的语义矢量地图构建方法、基于视觉点云的语义矢量地图构建装置、电子设备及计算机可读的存储介质。
根据本申请的一个方面，提供了一种基于视觉点云的语义矢量地图构建方法，包括对图像获取设备所获取的图像进行目标检测，获取所述图像中的像素目标及其属性信息；确定所述图像中每个像素目标的位置信息；结合每个像素目标的属性信息和位置信息，生成带语义的点云；以及基于所述带语义的点云构建语义矢量地图。
根据本申请的另一方面，提供了一种基于视觉点云的语义矢量地图构建装置，包括目标检测单元，用于对图像获取设备所获取的图像进行目标检测，获取所述图像中的像素目标及其属性信息；位置信息确定单元，用于确定所 述图像中每个像素目标的位置信息；点云生成单元，用于结合每个像素目标的属性信息和位置信息，生成带语义的点云；和地图构建单元，用于根据所述带语义的点云，构建语义矢量地图。
根据本申请的又一方面，提供了一种电子设备，包括处理器和存储器，其中所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行本申请提出的语义矢量地图构建方法。
根据本申请的又一方面，提供了一种计算机可读的存储介质，其上存储有用于执行本申请提出的语义矢量地图构建方法的指令。
与现有技术相比，采用根据本申请实施例的基于视觉点云的语义矢量地图构建方法、装置、电子设备和计算机可读的存储介质，可以对图像获取设备获取的图像进行目标检测，获取所述图像中的像素目标及其属性信息；确定所述图像中的每个像素目标的位置信息；结合每个像素目标的属性信息和位置信息，生成带语义的点云；和基于带语义的点云，构建语义矢量地图。因此，可以仅仅通过图像，以极低的成本，结合语义分割的结果与视觉点云输出，全自动地完成高清地图构建。
附图说明
通过结合附图对本申请实施例进行更详细的描述，本申请的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本申请实施例的进一步理解，并且构成说明书的一部分，与本申请实施例一起用于解释本申请，并不构成对本申请的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
图1图示了根据本申请实施例的基于视觉点云的语义矢量地图构建方法的应用场景的示意图。
图2图示了根据本申请一实施例的基于视觉点云的语义矢量地图构建方法的流程图。
图3图示了根据本申请一实施例的基于视觉点云的语义矢量地图构建装置的框图。
图4图示了根据本申请一实施例的电子设备的框图。
具体实施方式
下面，将参考附图详细地描述根据本申请的示例实施例。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是本申请的全部实施例，应理解，本申请不受这里描述的示例实施例的限制。
申请概述
如上所述，现有的高精度地图构建方法存在以下问题：
1)传感器成本高昂：当前一般通过激光雷达及高精度组合导航来获得点云在世界坐标系下的绝对坐标，3D信息的采集成本高昂；
2)人工干预多：需要人工选择出感兴趣的物体，例如栅栏、红绿灯、标志牌、车道线等，需要耗费大量的人力来进行选择。
因此，现有的高精度地图制作成本高昂，自动化水平低。
针对现有技术中存在的问题，本申请的基本构思是提出一种基于视觉点云的语义矢量地图构建方法、语义矢量地图构建装置、电子设备和计算机可读的存储介质，其仅仅通过图像和少量的外部传感器先验信息来构建地图，极大地降低了地图制作成本。具体地，根据本申请的基于视觉点云的语义矢量地图构建方法和构建装置基于普通传感器提供的初始信息计算图像中像素点的位置信息，并针对所获取的图像进行语义分割，得到图像中的语义实体或像素目标及其属性信息，结合像素点的位置信息和属性信息，得到带语义的点云，进而得到带语义的点云的点云实例，构建语义矢量地图。
换言之，通过本申请的基于视觉点云的语义矢量地图构建方法和构建装置，不需要使用高精度的传感器，也不需要人工过多干预，就能够完成高精度地图的构建，因而高精度地图的制作成本更低。
需要说明的是，本申请的上述基本构思不但可以应用于地图制作，也可以应用于其它领域，例如机器人及无人交通工具导航领域等。
在介绍了本申请的基本原理之后，下面将参考附图来具体介绍本申请的各种非限制性实施例。
示例性系统
图1图示了根据本申请实施例的基于视觉点云的语义矢量地图构建方法的应用场景的示意图。如图1所示，车辆10可包括图像获取设备，例如车 载相机12，其可以是常用的单目相机、双目相机、或者更多目相机。虽然图1示出了车载相机12安装于车辆10的顶部，但是应理解，车载相机亦可安装于车辆10的其他位置处，例如车头部分处、前挡风玻璃处，等等。
这里，车辆10包括语义矢量地图构建装置14，其可与图像获取设备通信，并用来执行本申请提供的基于视觉点云的语义矢量地图构建方法。顾名思义，语义矢量地图构建装置14是利用车载相机12拍摄的视频图像，通过视频处理技术来确定车载相机12的运动轨迹和周围环境，形成地图并存储在存储器中。
在一实施例中，车载相机12在车辆10的行驶过程中，连续拍摄视频图像，语义矢量地图构建装置14获得车载相机12拍摄的图像，对所述图像进行目标检测，获取所述图像中的像素目标及属性信息；确定所述图像中每个像素目标的位置信息；结合每个像素目标的属性信息和位置信息，生成带语义的点云；以及基于所述带语义的点云，构建语义矢量地图。
通过语义矢量地图构建装置14执行本申请提出的语义矢量地图构建方法，可以生成带语义的点云，构建语义矢量地图。
示例性方法
图2是本申请一示例性实施例提供的基于视觉点云的语义矢量地图构建方法的流程示意图。如图2所示，根据本申请一示例性实施例的基于视觉点云的语义地图构建方法100包括如下步骤：
步骤S110，对图像获取设备所获取的图像进行目标检测，获取所述图像中的像素目标及其属性信息。
当图像获取设备在环境例如道路中移动时，图像获取设备可以同时捕捉当前环境的图像数据。图像获取设备可以是任何类型的摄像头，该摄像头可以是相机，例如单目相机、两目相机、多目相机等。例如，该摄像头所采集到的图像数据可以是连续图像帧序列(即，视频流)或离散图像帧序列(即，在预定采样时间点采样到的图像数据组)等。当然，本领域中已知的以及将来可能出现的任何其他类型的相机都可以应用于本申请，本申请对其捕捉图像的方式没有特别限制，只要能够获得清晰的图像即可。
在这里，对图像进行目标检测是指对图像进行检测，以确定图像中是否 存在感兴趣的像素目标；若图像中存在感兴趣的像素目标，将获取所述像素目标及其属性信息。像素目标是指图像中的语义实体，即环境中存在的物体实体。属性信息表明了语义实体的物理特性。属性信息也可以是各个语义实体的形状、尺寸、朝向等空间属性信息。此外，属性信息可以是各个语义实体的类别属性信息，例如，每个语义实体究竟是可行道路、路沿、车道及车道线、交通标志、路面标志、红绿灯、停止线、人行横道、路边树木或柱子等中的哪一种。
在一实施例中，所述像素目标可遵循一定规范并具有特定的语义。例如，它可能是车道及车道线、路面标识、交通标识、红绿灯、人行横道等；它也可能具有特定的几何形状，例如圆形、正方形、三角形、长条形等。在一实施例中，所述像素目标可通过自身的线条来体现出它的含义，例如，标识牌上可能画有表示停止标记、慢行标记、前方落石标记等的线条，用这些线条相应地体现它的含义：停止标记、慢行标记、前方落石标记等。
例如，在步骤S110中，根据所述图像来确定所述像素目标或者说语义实体及像素目标的类别信息。
例如，在步骤S110中，根据所述图像来确定所述像素目标及像素目标的空间属性信息。
步骤S120，确定所述图像中每个像素目标的位置信息。在这里，每个像素目标的位置信息可以是每个像素目标的三维坐标，例如世界坐标系下的三维坐标。每个像素目标的位置信息也可以是每个像素目标相对于图像获取设备的相对坐标等。
在一个示例中，图像获取设备是单目相机，此时，确定图像获取设备所获取的图像中每个像素目标的三维坐标包括基于单目相机的位姿信息，利用三角化来计算所述图像中每个像素目标世界坐标系下的三维坐标。采用本示例，利用单目相机获取图像，并确定图像中每个像素目标世界坐标系下的三维坐标，得到每个像素目标的位置信息并得到带语义的点云，构建语义矢量地图，这样，因使用单目相机，容易安装和维护，使语义矢量地图的构建成本更低。
在这里，位姿信息包括旋转矩阵R和平移矩阵t，其中，平移矩阵t是3*1矩阵，表示轨迹点相对于原点的位置，旋转矩阵R是3*3矩阵，表示位于该轨迹点处时的姿态，旋转矩阵R也可以表示成欧拉角
Figure PCTCN2019099205-appb-000001
的形 式，其中ψ表示绕Y轴旋转的航向角(yaw)，θ表示沿X轴旋转的俯仰角(pitch)，
Figure PCTCN2019099205-appb-000002
表示沿Z轴旋转的滚转角(roll)。
还可理解，图1中所示的坐标系是车载相机局部坐标系(X c，Y c，Z c)，其中Z c轴的方向为车载相机的光轴方向，Y c轴方向为垂直于Z c轴向下的方向，X c轴方向为垂直于Y c轴和Z c轴的方向。
在一个示例中，图像获取设备是双目相机，此时，基于双目相机的视差图来计算所述图像中每个像素目标的位置信息。采用本示例，利用双目相机获取图像，并基于双目相机的视差图计算图像中每个像素目标的位置信息，使每个像素目标的位置信息的计算更精准，使构建的语义矢量地图更精准。
步骤S130，结合每个像素目标的属性信息和位置信息，生成带语义的点云。
在确定了当前环境中包含的各个语义实体及其属性信息和位置信息后，就可以进行综合，得到带语义的点云。即将语义分割结果进行重建并加入位置信息等属性，得到带语义的点云。
步骤S140，基于所述带语义的点云，构建语义矢量地图。
在获得带语义的点云的基础上，对带语义的点云进行矢量化，并进一步得到语义矢量地图。
在步骤S110之前、之后或与之同时，可以获取事先生成的地图，以根据先验信息来确定当前环境中存在哪些语义实体和语义实体的位置信息等。
例如，先验的高清地图可以存储在图像获取设备的存储器中等，也可以存储在别处，随时可以调用。
采用本实施例，不需要使用高精度的传感器，也不需要人工过多干预，就能够完成高精度地图的构建，因而高精度地图的制作成本更低。
在一个示例中，所述对图像获取设备所获取的图像进行目标检测，获取所述图像中的像素目标及其属性信息，包括：对所获取的图像进行语义分割，获取所述图像中的像素目标及其属性信息。在进一步的示例中，所述对图像获取设备所获取的图像进行目标检测，获取所述图像中的像素目标及其属性信息，还包括根据属性信息从获取的像素目标中筛除动态目标，例如行人，汽车等。动态目标不是高精度地图的构成要素，需要从所获得的像素目标中去除。
在一个示例中，使用随机森林分类器来进行语义分割，获取图像中的像 素目标及其属性信息。关于像素目标的属性信息的提取，可以采用例如opencv中的findcontour和drawcontour来提取当前帧图像中标识物的轮廓，或者采用GDI+中的函数GetPropertyItem获取图像中像素目标的属性信息；还可利用Python读取图像属性信息等等。
在一个示例中，根据本申请的基于视觉点云的语义矢量地图构建方法还包括对所述带语义的点云进行点云实例分割，获得分割的带语义的点云实例。语义分割得到的图像是所有相同的物体归为一类，并没有把每一个物体逐一区分出来。例如，当图像中有两个标识牌时，语义分割会将两个标识牌的所有像素预测为“标识牌”这个类别，无法直接进行矢量化。与此不同的是，实例分割需要区分出哪些像素属于第一标识牌、哪些像素属于第二标识牌，然后可以对每个标识牌单独进行量化。
在进一步的示例中，在对带语义的点云进行点云实例分割时，将所述带语义的点云分别投影到世界坐标系的XY平面、XZ平面和YZ平面上，然后做点云实例分割，将三个平面点云实例分割的结果相互融合，获得分割的点云实例。在该示例中，通过将带语义的点云在三个坐标面上投影，并对三个投影进行分割，能够在三个坐标面上获得分割的点云实例以及其对应的置信度，再根据各个投影面的权重来对点云实例及其对应的置信度加权融合，获得分割的点云实例。当然，关于点云实例分割也可以采用例如KNN算法等方法。采用本示例，通过将带语义的点云分别投影到世界坐标系的三个坐标平面做点云实例分割并融合，能够获得准确的点云实例，进而获得准确的语义矢量地图。
在一个示例中，根据本申请的基于视觉点云的语义矢量地图构建方法还包括对所述像素目标直接进行实例分割；计算分割实例每个像素目标的位置信息，结合每个像素目标的属性信息和位置信息，生成带语义的点云；以及基于所述带语义的点云，构建语义矢量地图。
因此，采用根据本申请的基于视觉点云的语义矢量地图构建方法，可以利用廉价的设备实现高清地图构建，地图制作成本低，于是，本申请的方案具有更好的适应性。
示例性装置
图3图示了根据本申请一实施例的基于视觉点云的语义矢量地图构建装 置的框图。
如图3所示，根据本申请一实施例的基于视觉点云的语义矢量地图构建装置200包括目标检测单元210、位置信息确定单元220、点云生成单元230和地图构建单元240。
目标检测单元210用于对图像获取设备所获取的图像进行目标检测，获取所述图像中的像素目标及其属性信息。
位置信息确定单元220用于计算所述图像中每个像素目标的位置信息。
点云生成单元230用于结合每个像素目标的属性信息和位置信息，生成带语义的点云。
地图构建单元240用于根据所述带语义的点云，构建语义矢量地图。
在一个示例中，目标检测单元210用于对所获取的图像进行语义分割，获取所述图像中的像素目标及其属性信息，并根据属性信息从获取的像素目标中筛除动态目标。
在一个示例中，图像获取设备为单目相机，此时，位置信息确定单元220用于基于所述单目相机的位姿信息，利用三角化来计算所述图像中每个像素目标世界坐标系下的三维坐标。
在一个示例中，图像获取设备为双目相机，此时，位置信息确定单元220基于双目相机的视差图来计算图像中每个像素目标的位置信息的。
在一个示例中，基于视觉点云的语义矢量地图构建装置200还包括点云实例分割单元，用于对带语义的点云或者像素目标进行点云实例分割，分别获得分割的带语义的点云实例或带语义的像素目标。
在一个示例中，点云实例分割单元在对带语义的点云进行点云实例分割时，将所述带语义的点云分别投影到坐标系的XY平面、XZ平面和YZ平面做点云实例分割，将三个平面点云实例分割的结果相互融合，获得分割的点云实例。
上述基于视觉点云的语义矢量地图构建装置200中的各个单元和模块的具体功能和操作已经在上面参考图1到图3描述的基于视觉点云的语义矢量地图构建方法中详细介绍，并因此，将省略其重复描述。
示例性电子设备
下面，参考图4来描述根据本申请一实施例的电子设备300，该电子设 备300可以实现为图1所示的车辆10中的语义矢量地图构建装置14，其可以与车载相机12进行通信，以接收它们的输出信号。图4图示了根据本申请实施例的电子设备300的结构框图。
如图4所示，电子设备300可包括处理器310和存储器320。
处理器310可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备300中的其他组件以执行期望的功能。
存储器320可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器310可以运行所述程序指令，以实现上文所述的本申请的各个实施例的基于视觉点云的语义矢量地图构建方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如相机的相关信息、传感器的相关信息以及驱动程序等各种内容。
在一个示例中，电子设备300还可以包括接口330、输入装置340和输出装置350，这些组件通过总线系统和/或其他形式的连接机构(未示出)互连。
接口330可用于连接到摄像头，例如摄像机。例如，接口330可以是摄像头常用的USB接口，当然也可以是其他接口例如Type-C接口等。电子设备300可包括一个或多个接口330，以连接到相应的摄像机，并且从摄像机接收其所拍摄的图像以用于执行上面描述的基于视觉点云的语义矢量地图构建方法。
输入装置340可用于接收外界输入，例如接收用户输入的物理点坐标值等。在一些实施例中，输入装置340可以是例如键盘、鼠标、手写板、触摸屏等。
输出装置350可以输出所计算的摄像机外参。例如，输出装置350可以包括显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等。在一些实施例中，输入装置340和输出装置350可以是集成一体的触摸显示屏。
为了简化，图4中仅示出了电子设备300中与本申请有关的一些组件，而省略了一些相关外围或辅助组件。除此之外，根据具体应用情况，电子设备300还可以包括任何其他适当的组件。
示例性计算机程序产品和计算机可读存储介质
除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的基于视觉点云的语义矢量地图构建方法中的步骤。
所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。
此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的基于视觉点云的语义矢量地图构建方法中的步骤。
所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。
以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优 点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。
本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (10)

  1. 一种基于视觉点云的语义矢量地图构建方法，包括：
    对图像获取设备所获取的图像进行目标检测，获取所述图像中的像素目标及其属性信息；
    确定所述图像中每个像素目标的位置信息；
    结合每个像素目标的属性信息和位置信息，生成带语义的点云；以及
    基于所述带语义的点云，构建语义矢量地图。
  2. 如权利要求1所述的方法，还包括：对所述带语义的点云进行点云实例分割，获得分割的带语义的点云实例。
  3. 如权利要求2所述的方法，其中，所述对带语义的点云进行点云实例分割包括：
    将所述带语义的点云分别投影到世界坐标系的XY平面、XZ平面和YZ平面做点云实例分割；
    基于三个平面点云实例分割的结果，确定分割的点云实例。
  4. 如权利要求1所述的方法，还包括：
    对所述像素目标进行实例分割，获得分割的带语义的像素目标。
  5. 如权利要求1所述的方法，其中，所述对图像获取设备所获取的图像进行目标检测，获取所述图像中的像素目标及其属性信息，包括：
    对所获取的图像进行语义分割，获取所述图像中的像素目标及其属性信息。
  6. 如权利要求1所述的方法，其中，所述图像获取设备为单目相机；所述确定所述图像中每个像素目标的位置信息包括：
    基于所述单目相机的位姿信息，利用三角化来计算所述图像中每个像素目标世界坐标系下的三维坐标。
  7. 如权利要求1所述的方法，其中，所述图像获取设备为双目相机；所述确定图像中每个像素目标的位置信息包括：
    基于所述双目相机的视差图计算所述图像中每个像素目标的位置信息。
  8. 一种基于视觉点云的语义矢量地图构建装置，包括：
    目标检测单元，用于对图像获取设备所获取的图像进行目标检测，获取所述图像中的像素目标及其属性信息；
    位置信息确定单元，用于确定所述图像中每个像素目标的位置信息；
    点云生成单元，用于结合每个像素目标的属性信息和位置信息，生成带语义的点云；和
    地图构建单元，用于根据所述带语义的点云，构建语义矢量地图。
  9. 一种电子设备，包括：
    处理器；以及
    存储器，在所述存储器中存储有计算机程序指令，所述计算机程序指令在被所述处理器运行时使得所述处理器执行如权利要求1-7中任一项所述的语义矢量地图构建方法。
  10. 一种计算机可读的存储介质，其上存储有用于执行权利要求1-7中任一项所述的方法的指令。
PCT/CN2019/099205 2018-11-12 2019-08-05 基于视觉点云的语义矢量地图构建方法、装置和电子设备 WO2020098316A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201811339972.8A CN109461211B (zh) 2018-11-12 2018-11-12 基于视觉点云的语义矢量地图构建方法、装置和电子设备
CN201811339972.8 2018-11-12

Publications (1)

Publication Number Publication Date
WO2020098316A1 true WO2020098316A1 (zh) 2020-05-22

Family

ID=65609991

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/099205 WO2020098316A1 (zh) 2018-11-12 2019-08-05 基于视觉点云的语义矢量地图构建方法、装置和电子设备

Country Status (2)

Country Link
CN (1) CN109461211B (zh)
WO (1) WO2020098316A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114020934A (zh) * 2022-01-05 2022-02-08 深圳市其域创新科技有限公司 基于知识图谱的空间语义信息的整合方法及系统
EP4194807A1 (en) * 2021-12-10 2023-06-14 Beijing Baidu Netcom Science Technology Co., Ltd. High-precision map construction method and apparatus, electronic device, and storage medium

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109461211B (zh) * 2018-11-12 2021-01-26 南京人工智能高等研究院有限公司 基于视觉点云的语义矢量地图构建方法、装置和电子设备
US20200326203A1 (en) * 2019-04-15 2020-10-15 Qualcomm Incorporated Real-world traffic model
CN110097620A (zh) * 2019-04-15 2019-08-06 西安交通大学 基于图像和三维激光的高精度地图创建系统
CN110068824B (zh) * 2019-04-17 2021-07-23 北京地平线机器人技术研发有限公司 一种传感器位姿确定方法和装置
CN110057373B (zh) * 2019-04-22 2023-11-03 上海蔚来汽车有限公司 用于生成高精细语义地图的方法、装置和计算机存储介质
CN112069856B (zh) * 2019-06-10 2024-06-14 商汤集团有限公司 地图生成方法、驾驶控制方法、装置、电子设备及系统
CN110287964B (zh) * 2019-06-13 2021-08-03 浙江大华技术股份有限公司 一种立体匹配方法及装置
CN112149471B (zh) * 2019-06-28 2024-04-16 北京初速度科技有限公司 一种基于语义点云的回环检测方法及装置
CN110298320B (zh) * 2019-07-01 2021-06-22 北京百度网讯科技有限公司 一种视觉定位方法、装置及存储介质
CN112444242B (zh) * 2019-08-31 2023-11-10 北京地平线机器人技术研发有限公司 一种位姿优化方法及装置
CN110705574B (zh) * 2019-09-27 2023-06-02 Oppo广东移动通信有限公司 定位方法及装置、设备、存储介质
CN110766793B (zh) * 2019-10-08 2023-06-30 北京地平线机器人技术研发有限公司 一种基于语义点云的地图构建方法及装置
CN112699713B (zh) * 2019-10-23 2024-05-28 阿里巴巴集团控股有限公司 一种语义线段信息的检测方法及装置
CN110838178B (zh) * 2019-11-26 2024-01-26 北京世纪高通科技有限公司 道路场景模型的确定方法及装置
CN112862917A (zh) * 2019-11-28 2021-05-28 西安四维图新信息技术有限公司 地图采集方法及装置
CN111008660A (zh) * 2019-12-03 2020-04-14 北京京东乾石科技有限公司 语义地图的生成方法、装置、系统、存储介质及电子设备
CN111125283B (zh) * 2019-12-23 2022-11-15 苏州智加科技有限公司 电子地图构建方法、装置、计算机设备和存储介质
CN111210490B (zh) * 2020-01-06 2023-09-19 北京百度网讯科技有限公司 电子地图构建方法、装置、设备和介质
CN111311709B (zh) * 2020-02-05 2023-06-20 北京三快在线科技有限公司 一种生成高精地图的方法及装置
CN111275026B (zh) * 2020-03-23 2022-09-13 复旦大学 一种三维点云联合语义和实例分割的方法
CN111127551A (zh) * 2020-03-26 2020-05-08 北京三快在线科技有限公司 一种目标检测的方法及装置
CN113570052B (zh) * 2020-04-28 2023-10-31 北京达佳互联信息技术有限公司 图像处理方法、装置、电子设备及存储介质
CN111667545B (zh) * 2020-05-07 2024-02-27 东软睿驰汽车技术（沈阳）有限公司 高精度地图生成方法、装置、电子设备及存储介质
CN111784836B (zh) * 2020-06-28 2024-06-04 北京百度网讯科技有限公司 高精地图生成方法、装置、设备及可读存储介质
CN111914715B (zh) * 2020-07-24 2021-07-16 廊坊和易生活网络科技股份有限公司 一种基于仿生视觉的智能车目标实时检测与定位方法
CN111958593B (zh) * 2020-07-30 2021-11-30 国网智能科技股份有限公司 一种语义智能变电站巡视作业机器人视觉伺服方法及系统
CN111897332B (zh) * 2020-07-30 2022-10-11 国网智能科技股份有限公司 一种语义智能变电站机器人仿人巡视作业方法及系统
CN111968262B (zh) * 2020-07-30 2022-05-20 国网智能科技股份有限公司 一种语义智能变电站巡视作业机器人导航系统及方法
CN113112597A (zh) * 2021-04-13 2021-07-13 上海商汤临港智能科技有限公司 交通元素的显示方法、装置、电子设备及存储介质
CN113191323A (zh) * 2021-05-24 2021-07-30 上海商汤临港智能科技有限公司 一种语义元素处理的方法、装置、电子设备及存储介质
CN113836445A (zh) * 2021-09-16 2021-12-24 北京百度网讯科技有限公司 语义化方法、装置、电子设备及可读存储介质
CN113836251A (zh) * 2021-09-17 2021-12-24 中国第一汽车股份有限公司 一种认知地图构建方法、装置、设备及介质
CN114356078B (zh) * 2021-12-15 2024-03-19 之江实验室 一种基于注视目标的人物意图检测方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108124489A (zh) * 2017-12-27 2018-06-05 深圳前海达闼云端智能科技有限公司 信息处理方法、装置、云处理设备以及计算机程序产品
CN108416808A (zh) * 2018-02-24 2018-08-17 斑马网络技术有限公司 车辆重定位的方法及装置
US20180275277A1 (en) * 2017-03-22 2018-09-27 Here Global B.V. Method, apparatus and computer program product for mapping and modeling a three dimensional structure
CN109461211A (zh) * 2018-11-12 2019-03-12 南京人工智能高等研究院有限公司 基于视觉点云的语义矢量地图构建方法、装置和电子设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2007355942B2 (en) * 2007-07-04 2012-11-15 Saab Ab Arrangement and method for providing a three dimensional map representation of an area
CN107145578B (zh) * 2017-05-08 2020-04-10 深圳地平线机器人科技有限公司 地图构建方法、装置、设备和系统
CN108230337B (zh) * 2017-12-31 2020-07-03 厦门大学 一种基于移动端的语义slam系统实现的方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180275277A1 (en) * 2017-03-22 2018-09-27 Here Global B.V. Method, apparatus and computer program product for mapping and modeling a three dimensional structure
CN108124489A (zh) * 2017-12-27 2018-06-05 深圳前海达闼云端智能科技有限公司 信息处理方法、装置、云处理设备以及计算机程序产品
CN108416808A (zh) * 2018-02-24 2018-08-17 斑马网络技术有限公司 车辆重定位的方法及装置
CN109461211A (zh) * 2018-11-12 2019-03-12 南京人工智能高等研究院有限公司 基于视觉点云的语义矢量地图构建方法、装置和电子设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
QI, XUXIANG: "Deep Learning Based Semantic Labelling of 3D Point Cloud in Visual SLAM", IOP CONFERENCE SERIES: MATERIALS SCIENCE AND ENGINEERING, vol. 428, no. 012023, 1 September 2018 (2018-09-01) - 1 October 2018 (2018-10-01), pages 1 - 10, XP055707458, ISSN: 1757-899X *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4194807A1 (en) * 2021-12-10 2023-06-14 Beijing Baidu Netcom Science Technology Co., Ltd. High-precision map construction method and apparatus, electronic device, and storage medium
CN114020934A (zh) * 2022-01-05 2022-02-08 深圳市其域创新科技有限公司 基于知识图谱的空间语义信息的整合方法及系统

Also Published As

Publication number Publication date
CN109461211A (zh) 2019-03-12
CN109461211B (zh) 2021-01-26

Similar Documents

Publication Publication Date Title
WO2020098316A1 (zh) 基于视觉点云的语义矢量地图构建方法、装置和电子设备
EP3581890B1 (en) Method and device for positioning
CN112861653B (zh) 融合图像和点云信息的检测方法、系统、设备及存储介质
CN110163930B (zh) 车道线生成方法、装置、设备、系统及可读存储介质
US11670087B2 (en) Training data generating method for image processing, image processing method, and devices thereof
CN109544629B (zh) 摄像头位姿确定方法和装置以及电子设备
CN113657224B (zh) 车路协同中用于确定对象状态的方法、装置、设备
CN111694903A (zh) 地图构建方法、装置、设备以及可读存储介质
CN109961522B (zh) 图像投射方法、装置、设备和存储介质
CN111145248B (zh) 位姿信息确定方法、确定装置和电子设备
WO2020156923A2 (en) Map and method for creating a map
CN113989450A (zh) 图像处理方法、装置、电子设备和介质
CN112288825B (zh) 相机标定方法、装置、电子设备、存储介质和路侧设备
WO2021230466A1 (ko) 차량 위치 결정 방법 및 시스템
CN112183241A (zh) 基于单目图像的目标检测方法和装置
CN112017236B (zh) 一种基于单目相机计算目标物位置的方法及装置
WO2021017211A1 (zh) 一种基于视觉的车辆定位方法、装置及车载终端
US20210233307A1 (en) Landmark location reconstruction in autonomous machine applications
JP2021103160A (ja) 自律走行車意味マップ確立システム及び確立方法
CN115031758A (zh) 实景导航方法、装置、设备及存储介质、程序产品
CN111105695A (zh) 地图制作方法、装置、电子设备及计算机可读存储介质
CN116997771A (zh) 车辆及其定位方法、装置、设备、计算机可读存储介质
CN115147328A (zh) 三维目标检测方法及装置
CN110827340B (zh) 地图的更新方法、装置及存储介质
US11461944B2 (en) Region clipping method and recording medium storing region clipping program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19885542

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19885542

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 19885542

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 13.01.2022)

122 Ep: pct application non-entry in european phase

Ref document number: 19885542

Country of ref document: EP

Kind code of ref document: A1