WO2024077935A1 - 一种基于视觉slam的车辆定位方法及装置 - Google Patents

一种基于视觉slam的车辆定位方法及装置 Download PDF

Info

Publication number
WO2024077935A1
WO2024077935A1 PCT/CN2023/091511 CN2023091511W WO2024077935A1 WO 2024077935 A1 WO2024077935 A1 WO 2024077935A1 CN 2023091511 W CN2023091511 W CN 2023091511W WO 2024077935 A1 WO2024077935 A1 WO 2024077935A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
lane line
positioning information
positioning
visual
Prior art date
Application number
PCT/CN2023/091511
Other languages
English (en)
French (fr)
Inventor
王祎男
王德平
曹礼军
翟诺
王迪
关瀛洲
曹容川
刘汉旭
魏源伯
Original Assignee
中国第一汽车股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 中国第一汽车股份有限公司 filed Critical 中国第一汽车股份有限公司
Publication of WO2024077935A1 publication Critical patent/WO2024077935A1/zh

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/3453—Special cost functions, i.e. other than distance or default speed limit of road segments

Definitions

  • the present application relates to the field of autonomous driving technology, and in particular to a vehicle positioning method based on visual SLAM and a vehicle positioning device based on visual SLAM.
  • the visual SLAM positioning algorithm has been valued and promoted by the autonomous driving industry due to its low cost and fast calculation speed, and has become the main research direction of multi-source fusion positioning.
  • cameras compared with sensors such as lidar, cameras have their own shortcomings, that is, they are more sensitive to light and the features they form are easily disturbed by noise. Therefore, the traditional visual SLAM algorithm is not robust enough and cannot cover the entire scene, which makes the SLAM algorithm limited in the field of autonomous driving.
  • the existing technology solution is a positioning solution that integrates vision and lidar, and compensates for the shortcomings of each sensor through the integration of multiple sensors.
  • the object of the present invention is to provide a vehicle positioning method based on visual SLAM to at least solve one of the above technical problems.
  • One aspect of the present invention provides a vehicle positioning method based on visual SLAM, the vehicle positioning method based on visual SLAM comprising:
  • the lane line semantic positioning information and the visual odometer positioning information are fused to obtain final positioning information.
  • acquiring visual odometer positioning information according to image information of the current frame and image information of a frame before the current frame includes:
  • the visual odometry positioning information is obtained by combining the similarity information.
  • the acquiring combined similarity information according to the SITF feature descriptor similarity and the salient vector similarity includes:
  • the processing of the image information of the current frame to obtain the lane line semantic positioning information includes:
  • map information includes lane line semantic features
  • the lane line semantic positioning information is obtained according to the lane line point features and the lane line semantic features.
  • fusing the lane semantic positioning information and the visual odometer positioning information to obtain final positioning information includes:
  • the lane line confidence, the lane line semantic positioning information and the visual odometer positioning information are fused to obtain the final positioning information.
  • the odometer positioning information is integrated to obtain the final positioning information including:
  • the lane line semantic positioning information and the visual odometer positioning information are fused.
  • fusing the lane line confidence, the lane line semantic positioning information, and the visual odometer positioning information to obtain final positioning information includes:
  • lane line confidence is less than a first preset threshold and greater than a second preset threshold, obtaining the lane line confidence of the current frame and the lane line confidence of a preset number of frames after the frame;
  • the lane line confidence of the current frame and the lane line confidence of the preset number of frames before the frame it is determined whether to fuse according to the lane line confidence and the visual odometer positioning information. If so, then
  • the lane line semantic positioning information and the visual odometer positioning information are fused.
  • fusing the lane line confidence, the lane line semantic positioning information, and the visual odometer positioning information to obtain final positioning information includes:
  • Fusion is performed according to the weight and the visual odometer positioning information.
  • x and P are the fused state and covariance matrix
  • K is the Kalman gain
  • h is the function mapping the observation space to the state space
  • H is the Jacobian matrix of function h
  • V is the observation error
  • xf represents the predicted posture state
  • xp represents the observed posture state
  • I is the unit matrix
  • T represents the transpose of the matrix.
  • the present application also provides a vehicle positioning device based on visual SLAM, and the vehicle positioning device based on visual SLAM includes:
  • An image information acquisition module wherein the image information acquisition module is used to acquire image information of a current frame and image information of a frame before the current frame during the vehicle's driving process;
  • the visual odometer positioning information acquisition module is used to obtain the visual odometer positioning information based on the image information of the current frame and the image information of the previous frame of the current frame. information;
  • a lane line semantic positioning information acquisition module wherein the lane line semantic positioning information acquisition module is used to process the image information of the current frame to obtain the lane line semantic positioning information;
  • a fusion module is used to fuse the lane line semantic positioning information and the visual odometer positioning information to obtain final positioning information.
  • the vehicle positioning method based on visual SLAM of the present application utilizes the raw data (image data) output by the camera sensor and the perception output data (semantic data) as the input source of the SLAM algorithm, and respectively adds the saliency information and the lane line semantic information into the SLAM framework, thereby enhancing the visual semantic information representation capability of the visual positioning SLAM, making up for the shortcomings of the existing methods, and being able to better extract the effective information used for positioning in the image, thereby further improving the accuracy and robustness of the visual SLAM positioning.
  • FIG1 is a flow chart of a vehicle positioning method based on visual SLAM according to an embodiment of the present application.
  • FIG. 2 is a schematic diagram of an electronic device capable of implementing a vehicle positioning method based on visual SLAM according to an embodiment of the present application.
  • FIG3 is a schematic diagram of a detailed flow chart of a vehicle positioning method based on visual SLAM according to an embodiment of the present application.
  • Fig. 1 is a schematic diagram of a process flow of a vehicle positioning method based on visual SLAM according to an embodiment of the present application.
  • Fig. 3 is a schematic diagram of a detailed process flow of a vehicle positioning method based on visual SLAM according to an embodiment of the present application.
  • the vehicle positioning method based on visual SLAM as shown in FIG1 and FIG3 includes:
  • Step 1 Obtain image information of the current frame and image information of the previous frame during vehicle driving;
  • Step 2 Obtain visual odometer positioning information based on the image information of the current frame and the image information of the previous frame of the current frame;
  • Step 3 Process the image information of the current frame to obtain the semantic positioning information of the lane line;
  • Step 4 Fuse the lane line semantic positioning information and the visual odometer positioning information to obtain the final positioning information.
  • the vehicle positioning method based on visual SLAM of the present application utilizes the original data output by the camera sensor (for example, image data to obtain visual odometer positioning information) and the perception output data (perception based on the original image to obtain lane line semantic positioning information) as the input source of the SLAM algorithm, and adds the saliency information and lane line semantic information to the SLAM framework respectively, thereby enhancing the visual semantic information representation capability of the visual positioning SLAM, making up for the shortcomings of the existing methods, and being able to better extract effective information from the image for positioning, thereby further improving the accuracy and robustness of visual SLAM positioning.
  • the original data output by the camera sensor for example, image data to obtain visual odometer positioning information
  • the perception output data perception based on the original image to obtain lane line semantic positioning information
  • obtaining visual odometer positioning information according to image information of the current frame and image information of a frame before the current frame includes:
  • the visual odometry positioning information is obtained by combining the similarity information.
  • the following scheme is adopted to obtain the similarity of SITF feature descriptors according to the image information of the current frame and the image information of the previous frame of the current frame:
  • SIFT features are obtained through dense sampling. This feature descriptor has good stability and invariance, can adapt to changes in rotation, scale, and brightness, and is not affected by changes in perspective, affine transformation, and noise to a certain extent. SIFT features can be expressed as:
  • Extract local blocks from the image in sequence and each block is a SIFT descriptor.
  • Use X [x 1 , x 2 , ..., x n ] ⁇ RD ⁇ N to represent the obtained SIFT descriptor.
  • xi is the descriptor extracted from the i-th block.
  • the PQFT Phase Spectrum of Quaternion Fourier Transform
  • the quaternion image can be expressed as follows:
  • RG(t) represents the red/green neurons in the human visual cortex in the physiological structure of the human visual system
  • BY(t) represents the blue/yellow neurons in the human visual cortex in the physiological structure of the human visual system.
  • I(t) is the brightness feature of the input image F(t) at time t
  • M(t) is the motion feature of the input image F(t) at time t;
  • q(t) is a quaternion
  • q'(t) is the information obtained by performing the inverse Fourier transform on Q(t).
  • dm represents the significant vector similarity
  • k is the previous frame
  • k+1 is the current frame
  • the image generated by the autonomous driving camera is divided into foreground and background.
  • the foreground is often the area with rich features in autonomous driving, while the background contains a lot of redundant information.
  • adding saliency information during matching helps improve the matching effect.
  • the saliency value of the foreground is often higher than that of the background; therefore, it can be considered that features with similar saliency often contain similar information. Therefore, when matching visual odometers in SLAM, if the saliency of the features of the previous and next frames is similar, the probability of matching will increase.
  • processing the image information of the current frame to obtain the lane line semantic positioning information includes:
  • map information which includes lane line semantic features
  • the lane line semantic positioning information is obtained based on the lane line point features and the lane line semantic features.
  • Positioning is performed through lane line matching.
  • High-precision maps can be provided by map providers such as AutoNavi and Baidu, or they can be collected by our.
  • the map contains the semantic information required for positioning.
  • Lane line matching uses the semantic information output by the current camera to select candidate lane line point features from the map. Those that meet the threshold are candidate features in the map.
  • y lm is the position of the lane feature in the map
  • g lm is the plane normal vector of the point feature on the lane
  • th is the threshold parameter
  • th dir , Th d and Th h are the threshold parameters for direction, height and plane distance respectively.
  • the distance between the observed lane line point feature and the lane line point feature in the map is:
  • the feature pair with the smallest distance and meeting the threshold condition is the matched observation feature and map feature.
  • b is the abbreviation of body, which means the carrier coordinate system.
  • m is the abbreviation of measurement, which means measurement.
  • R,t represents rotation.
  • Each map feature has coordinates in the map coordinate system, and the semantic positioning information of the vehicle's lane line can be obtained by matching it with the map semantic features.
  • the lane semantic positioning information and the visual odometer positioning information are integrated to obtain the final positioning information, including:
  • the lane line confidence, the lane line semantic positioning information and the visual odometer positioning information are fused to obtain the final positioning information.
  • the lane line confidence, the lane line semantic positioning information and the visual odometer positioning information are integrated to obtain the final positioning information, including:
  • the lane line semantic positioning information and the visual odometer positioning information are fused.
  • the lane line confidence can be obtained through the camera sensing end, which is a prior art and will not be described in detail here.
  • the final positioning information is obtained by fusing the lane line confidence, the lane line semantic positioning information and the visual odometer positioning information, including:
  • lane line confidence is less than a first preset threshold and greater than a second preset threshold, obtaining the lane line confidence of the current frame and the lane line confidence of a preset number of frames after the frame;
  • the lane line confidence of the current frame and the lane line confidence of the preset number of frames before the frame it is determined whether to fuse the lane line confidence and the visual odometer positioning information. If so, then
  • the lane line semantic positioning information and the visual odometer positioning information are fused.
  • the lane line confidence, the lane line semantic positioning information and the visual odometer positioning information are integrated to obtain the final positioning information, including:
  • Fusion is performed based on weights and visual odometer positioning information.
  • K is the Kalman gain
  • h is the function mapping from observation space to state space
  • H is the Jacobian matrix of function h
  • V is the observation error
  • multi-source fusion is performed on the lane line semantic positioning information and the visual odometer positioning information.
  • the current fusion scheme is judged by the confidence of the lane line.
  • the confidence of the lane line information is ⁇ 0.7 (the first preset threshold)
  • the lane line confidence is ⁇ 0.7 (the first preset threshold) but >0.3 (the second preset threshold)
  • x and P are the states and covariance matrices after fusion
  • K is the Kalman gain
  • h is the function mapping the observation space to the state space
  • H is the Jacobian matrix of function h
  • V is the observation error.
  • the present application also provides a vehicle positioning device based on visual SLAM, which includes an image information acquisition module, a visual odometer positioning information acquisition module, a lane line semantic positioning information acquisition module and a fusion module; wherein,
  • the image information acquisition module is used to acquire the image information of the current frame and the image information of the previous frame of the current frame during the vehicle driving process;
  • the visual odometer positioning information acquisition module is used to obtain the visual odometer positioning information according to the image information of the current frame and the image information of the previous frame of the current frame;
  • the lane line semantic positioning information acquisition module is used to process the image information of the current frame to obtain the lane line semantic positioning information
  • the fusion module is used to fuse the lane line semantic positioning information and the visual odometer positioning information to obtain the final positioning information.
  • the present application also provides an electronic device, including a memory, a processor, and a computer program stored in the memory and capable of running on the processor.
  • the processor executes the computer program, the above-mentioned vehicle positioning method based on visual SLAM is implemented.
  • the present application also provides a computer-readable storage medium, which stores a computer program.
  • the computer program When executed by a processor, it can implement the above-mentioned vehicle positioning method based on visual SLAM.
  • FIG. 2 is an exemplary structural diagram of an electronic device capable of implementing a vehicle positioning method based on visual SLAM provided according to an embodiment of the present application.
  • the electronic device includes an input device 501, an input interface 502, a central processing unit 503, a memory 504, an output interface 505, and an output device 506.
  • the input interface 502, the central processing unit 503, the memory 504, and the output interface 505 are interconnected through a bus 507, and the input device 501 and the output device 506 are connected to the bus 507 through the input interface 502 and the output interface 505, respectively, and then connected to other components of the electronic device.
  • the input device 504 receives input information from the outside, and transmits the input information to the central processing unit 503 through the input interface 502; the central processing unit 503 processes the input information based on the computer executable instructions stored in the memory 504 to generate output information, temporarily or permanently stores the output information in the memory 504, and then transmits the output information to the output device 506 through the output interface 505; the output device 506 outputs the output information to the outside of the electronic device for use by the user.
  • the electronic device shown in Figure 2 can also be implemented to include: a memory storing computer executable instructions; and one or more processors, which can implement the visual SLAM-based vehicle positioning method described in combination with Figure 1 when executing the computer executable instructions.
  • the electronic device shown in Figure 2 can be implemented to include: a memory 504, configured to store executable program code; one or more processors 503, configured to run the executable program code stored in the memory 504 to execute the vehicle positioning method based on visual SLAM in the above embodiment.
  • a computing device includes one or more processors (CPU), input/output interfaces, network interfaces, and memory.
  • processors CPU
  • input/output interfaces network interfaces
  • memory volatile and non-volatile memory
  • Memory may include non-permanent storage in a computer-readable medium, in the form of random access memory (RAM) and/or non-volatile memory, such as read-only memory (ROM) or flash memory (flash RAM). Memory is an example of a computer-readable medium.
  • RAM random access memory
  • ROM read-only memory
  • flash RAM flash memory
  • Computer-readable media include permanent and non-permanent, removable and non-removable, and the media can be implemented by any method or technology to store information.
  • the information can be computer-readable instructions, data structures, program modules or other data.
  • Examples of computer storage media include, but are not limited to, phase change memory (PRAM), static random access memory (SRAM), dynamic random access memory (DRAM), and other Other types of random access memory (RAM), read-only memory (ROM), electrically erasable programmable read-only memory (EEPROM), flash memory or other memory technology, compact disk-read-only memory (CD-ROM), data versatile disk (DVD) or other optical storage, magnetic cassettes, magnetic disk storage or other magnetic storage devices, or any other non-transmission medium may be used to store information that can be accessed by a computing device.
  • PRAM phase change memory
  • SRAM static random access memory
  • DRAM dynamic random access memory
  • RAM random access memory
  • ROM read-only memory
  • EEPROM electrically erasable programmable read-only memory
  • the embodiments of the present application may be provided as methods, systems or computer program products. Therefore, the present application may adopt the form of a complete hardware embodiment, a complete software embodiment or an embodiment in combination with software and hardware. Moreover, the present application may adopt the form of a computer program product implemented on one or more computer-usable storage media (including but not limited to disk storage, CD-ROM, optical storage, etc.) that contain computer-usable program code.
  • a computer-usable storage media including but not limited to disk storage, CD-ROM, optical storage, etc.
  • each square box in the flow chart or block diagram can represent a module, a program segment or a part of a code, and a module, a program segment or a part of a code includes one or more executable instructions for realizing the specified logical function.
  • the functions marked in the square box can also occur in a sequence different from that marked in the accompanying drawings. For example, two square boxes identified in succession can actually be executed substantially in parallel, and they can sometimes be executed in the opposite order, depending on the functions involved.
  • each square box in the block diagram and/or flow chart, and the combination of the square boxes in the block diagram and/or the overall flow chart can be implemented with a dedicated hardware-based system that performs the specified function or operation, or can be implemented with a combination of dedicated hardware and computer instructions.
  • the processor referred to in this embodiment may be a central processing unit (CPU), or other general-purpose processors, digital signal processors (DSP), application-specific integrated circuits (ASIC), field-programmable gate arrays (FPGA) or other programmable logic devices, discrete gate or transistor logic devices, discrete hardware components, etc.
  • a general-purpose processor may be a microprocessor or any conventional processor, etc.
  • the memory can be used to store computer programs and/or modules.
  • the processor realizes various functions of the device/terminal equipment by running or executing the computer programs and/or modules stored in the memory and calling the data stored in the memory.
  • the memory can mainly include a program storage area and a data storage area, wherein the program storage area can store an operating system, an application required for at least one function (such as a sound playback function, an image playback function, etc.), etc.; the data storage area can store data created according to the use of the mobile phone (such as audio data, a phone book, etc.), etc.
  • the memory can include a high-speed random access memory, and can also include a non-volatile memory, such as a hard disk, a memory, a plug-in hard disk, a smart memory card (Smart Media Card, SMC), a secure digital (Secure Digital, SD) card, a flash card (Flash Card), at least one disk storage device, a flash memory device, or other volatile solid-state storage devices.
  • a non-volatile memory such as a hard disk, a memory, a plug-in hard disk, a smart memory card (Smart Media Card, SMC), a secure digital (Secure Digital, SD) card, a flash card (Flash Card), at least one disk storage device, a flash memory device, or other volatile solid-state storage devices.
  • a non-volatile memory such as a hard disk, a memory, a plug-in hard disk, a smart memory card (Smart Media Card, SMC), a secure digital (Secure Digital, SD) card, a flash card (
  • the module/unit integrated in the device/terminal equipment can be stored in a computer-readable storage medium.
  • the present invention implements all or part of the processes in the above-mentioned embodiment method, and can also be completed by instructing the relevant hardware through a computer program.
  • the computer program can be stored in a computer-readable storage medium, and the computer program can implement the steps of the above-mentioned various method embodiments when executed by the processor.
  • the computer program includes computer program code, and the computer program code can be in the form of source code, object code, executable file or some intermediate form.
  • the computer-readable medium may include: any entity or device that can carry computer program code, recording medium, U disk, mobile hard disk, disk, optical disk, computer memory, read-only memory (ROM, Read-Only Memory), random access memory (RAM, Random Access Memory), electric carrier signal, telecommunication signal and software distribution medium.
  • ROM Read-Only Memory
  • RAM Random Access Memory
  • electric carrier signal telecommunication signal and software distribution medium.
  • the embodiments of the present application may be provided as methods, systems or computer program products. Therefore, the present application may adopt the form of a complete hardware embodiment, a complete software embodiment or an embodiment in combination with software and hardware. Moreover, the present application may adopt the form of a computer program product implemented on one or more computer-usable storage media (including but not limited to disk storage, CD-ROM, optical storage, etc.) that contain computer-usable program code.
  • a computer-usable storage media including but not limited to disk storage, CD-ROM, optical storage, etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一种基于视觉SLAM的车辆定位方法及装置，涉及自动驾驶技术领域。基于视觉SLAM的车辆定位方法包括：获取车辆行驶过程中当前帧的图像信息以及前一帧的图像信息（1）；根据当前帧的图像信息以及当前帧的前一帧的图像信息获取视觉里程计定位信息（2）；对当前帧的图像信息进行处理，从而获取车道线语义定位信息（3）；将车道线语义定位信息以及所述视觉里程计定位信息进行融合，从而获取最终定位信息（4）。利用摄像头传感器输出的原始数据和感知输出数据作为SLAM算法的输入源，分别将显著度信息以及车道线语义信息加入到SLAM框架中，增强视觉定位SLAM的视觉语义信息表示能力，弥补现有方法不足，能够更好提取图像中用于定位的信息，提升SLAM定位精度和鲁棒性。

Description

一种基于视觉SLAM的车辆定位方法及装置 技术领域
本申请涉及自动驾驶技术领域，具体涉及一种基于视觉SLAM的车辆定位方法以及基于视觉SLAM的车辆定位装置。
背景技术
随着自动驾驶近些年的迅猛发展，其应用场景也在不断扩展。目前ADAS行业对定位精度的要求越来越高，不仅在精度上要求在分米级别，更是要求在例如阳光照射、阴暗、雨雪天气等各种自动驾驶场景下均能保证定位的稳定性。
目前，基于视觉SLAM定位算法由于其成本低，计算速度快受到自动驾驶行业的重视和推广，已经成为多源融合定位的主要研究方向。然而相机相比于激光雷达等传感器存在其自身的缺点，即对光线比较敏感，构成的特征易受到噪音干扰，因此传统的视觉SLAM算法鲁棒性不足，不能覆盖完整场景，这使得SLAM算法在自动驾驶领域存在局限性。
现有技术的方案是通过视觉与激光雷达融合的定位方案，通过多传感器的融合来弥补各自的缺陷。
然而，现有车辆中很多车辆可能没有打在激光雷达，从而无法采用上述的方法进行车辆定位。
因此，希望有一种技术方案来解决或至少减轻现有技术的上述不足。
发明内容
本发明的目的在于提供一种基于视觉SLAM的车辆定位方法来至少解决上述的一个技术问题。
本发明的一个方面，提供一种基于视觉SLAM的车辆定位方法，所述基于视觉SLAM的车辆定位方法包括：
获取车辆行驶过程中当前帧的图像信息以及当前帧的前一帧的图像信息；
根据当前帧的图像信息以及当前帧的前一帧的图像信息获取视觉里程计定位信息；
对当前帧的图像信息进行处理，从而获取车道线语义定位信息；
将所述车道线语义定位信息以及所述视觉里程计定位信息进行融合，从而获取最终定位信息。
可选地，所述根据当前帧的图像信息以及当前帧的前一帧的图像信息获取视觉里程计定位信息包括：
根据所述当前帧的图像信息以及当前帧的前一帧的图像信息获取SITF特征描述符相似度；
根据所述当前帧的图像信息以及当前帧的前一帧的图像信息获取显著向量相似度；
根据所述SITF特征描述符相似度以及显著向量相似度获取结合相似度信息；
根据结合相似度信息获取视觉里程计定位信息。
可选地，所述根据所述SITF特征描述符相似度以及显著向量相似度获取结合相似度信息包括：
采用如下公式获取结合相似度信息：
Dr＝exp(dm+ds)；其中，
Dr为结合相似度信息；dm为SITF特征描述符相似度；ds为显著向量相似度；exp指e的幂。
可选地，所述对当前帧的图像信息进行处理，从而获取车道线语义定位信息包括：
获取地图信息，所述地图信息中包括车道线语义特征；
提取当前帧的图像信息中的车道线点特征；
根据所述车道线点特征以及所述车道线语义特征获取车道线语义定位信息。
可选地，将所述车道线语义定位信息以及所述视觉里程计定位信息进行融合，从而获取最终定位信息包括：
根据所述车道线语义定位信息获取车道线置信度；
根据所述车道线置信度、车道线语义定位信息以及所述视觉里程计定位信息进行融合，从而获取最终定位信息。
可选地，所述根据所述车道线置信度、车道线语义定位信息以及所述视 觉里程计定位信息进行融合，从而获取最终定位信息包括：
当所述车道线置信度大于第一预设阈值时，根据所述车道线语义定位信息以及所述视觉里程计定位信息进行融合。
可选地，所述根据所述车道线置信度、车道线语义定位信息以及所述视觉里程计定位信息进行融合，从而获取最终定位信息包括：
当所述车道线置信度小于第一预设阈值且大于第二预设阈值时，获取当前帧的车道线置信度以及该帧之后的预设帧数的车道线置信度；
根据所述当前帧的车道线置信度以及该帧之前的预设帧数的车道线置信度判断是否根据所述车道线置信度以及所述视觉里程计定位信息进行融合，若是，则
根据所述车道线语义定位信息以及所述视觉里程计定位信息进行融合。
可选地，所述根据所述车道线置信度、车道线语义定位信息以及所述视觉里程计定位信息进行融合，从而获取最终定位信息包括：
当所述车道线置信度小于第二预设阈值时，为所述车道线置信度生成一个权重信息；
根据所述权重以及所述视觉里程计定位信息进行融合。
可选地，采用如下公式对所述车道线置信度以及所述视觉里程计定位信息进行融合：
K＝PHT(HPHT+V)-1
x＝K(h(xf)-h(xp))
P＝(I-KH)P；其中，
其中x与P为融合之后的状态以及协方差矩阵，K为卡尔曼增益，h为观测空间到状态空间进行映射的函数，H为函数h的雅克比矩阵，V为观测误差；xf代表预测的位姿状态；xp代表的是观测的位姿状态，I为单位矩阵，T表示矩阵的转置。
本申请还提供了一种基于视觉SLAM的车辆定位装置，所述基于视觉SLAM的车辆定位装置包括：
图像信息获取模块，所述图像信息获取模块用于获取车辆行驶过程中当前帧的图像信息以及当前帧的前一帧的图像信息；
视觉里程计定位信息获取模块，所述视觉里程计定位信息获取模块用于根据当前帧的图像信息以及当前帧的前一帧的图像信息获取视觉里程计定位 信息；
车道线语义定位信息获取模块，所述车道线语义定位信息获取模块用于对当前帧的图像信息进行处理，从而获取车道线语义定位信息；
融合模块，所述融合模块用于将所述车道线语义定位信息以及所述视觉里程计定位信息进行融合，从而获取最终定位信息。
有益效果
本申请的基于视觉SLAM的车辆定位方法利用摄像头传感器输出的原始数据(图像数据)和感知输出数据(语义数据)作为SLAM算法的输入源，分别将显著度信息以及车道线语义信息加入到SLAM框架中，增强了视觉定位SLAM的视觉语义信息表示能力，弥补了现有方法存在的不足，能够更好的提取图像中用于定位的有效信息，进一步提升视觉SLAM定位的精度和鲁棒性。
附图说明
图1是本申请一实施例的基于视觉SLAM的车辆定位方法的流程示意图。
图2是能够实现本申请一实施例的基于视觉SLAM的车辆定位方法的电子设备的示意图。
图3是本申请一实施例的基于视觉SLAM的车辆定位方法的详细流程示意图。
具体实施方式
为使本申请实施的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行更加详细的描述。在附图中，自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。所描述的实施例是本申请一部分实施例，而不是全部的实施例。下面通过参考附图描述的实施例是示例性的，旨在用于解释本申请，而不能理解为对本申请的限制。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。下面结合附图对本申请的实施例进行详细说明。
图1是本申请一实施例的基于视觉SLAM的车辆定位方法的流程示意图。图3是本申请一实施例的基于视觉SLAM的车辆定位方法的详细流程示意图。
如图1以及图3所示的基于视觉SLAM的车辆定位方法包括：
步骤1：获取车辆行驶过程中当前帧的图像信息以及当前帧的前一帧的图像信息；
步骤2：根据当前帧的图像信息以及当前帧的前一帧的图像信息获取视觉里程计定位信息；
步骤3：对当前帧的图像信息进行处理，从而获取车道线语义定位信息；
步骤4：将车道线语义定位信息以及视觉里程计定位信息进行融合，从而获取最终定位信息。
本申请的基于视觉SLAM的车辆定位方法利用摄像头传感器输出的原始数据(例如图像数据获取视觉里程计定位信息)和感知输出数据(根据原始的图像进行感知从而获取车道线语义定位信息)作为SLAM算法的输入源，分别将显著度信息以及车道线语义信息加入到SLAM框架中，增强了视觉定位SLAM的视觉语义信息表示能力，弥补了现有方法存在的不足，能够更好的提取图像中用于定位的有效信息，进一步提升视觉SLAM定位的精度和鲁棒性。
在本实施例中，根据当前帧的图像信息以及当前帧的前一帧的图像信息获取视觉里程计定位信息包括：
根据当前帧的图像信息以及当前帧的前一帧的图像信息获取SITF特征描述符相似度；
根据当前帧的图像信息以及当前帧的前一帧的图像信息获取显著向量相似度；
根据SITF特征描述符相似度以及显著向量相似度获取结合相似度信息；
根据结合相似度信息获取视觉里程计定位信息。
在本实施例中，根据当前帧的图像信息以及当前帧的前一帧的图像信息获取SITF特征描述符相似度采用如下方案：
首先通过密集取样来得到SIFT特征，这种特征描述符具有较好的稳定性和不变性，能够适应旋转、尺度缩放、亮度的变化，能在一定程度上不受视角变化、仿射变换、噪声的干扰。SIFT特征符可以表示为：
其中，
为每个点L(x，y)的梯度的模；θ(x，y)为每个点L(x，y)的方向。
从图像中依次提取局部块并且其中每块为一个SIFT描述符。用X＝[x1，x2，...，xn]∈RD×N代表所得到的SIFT描述符。其中xi为从第i块中提取的描述符。通过PQFT方法计算局部块里的每一个像素的显著值。PQFT(Phase Spectrum of Quaternion Fourier Transform)模型通过计算图像的四元傅里叶变换的相位谱得到图像的时空显著性映射。其中四元组图像可以表示为如下形式：
q(t)＝M(t)+RG(t)μ1+BY(t)μ2+I(t)μ3；
通过计算逆相位信息q′(t)可得到
q′(t)＝ρ0(t)+ρ1(t)μ1+ρ2(t)μ2+ρ3(t)μ3；其中，
RG(t)表示人眼视觉系统的生理结构中人类视觉皮层所存在的红/绿神经元、BY(t)表示人眼视觉系统的生理结构中人类视觉皮层所存在的蓝/黄神经元。I(t)为t时刻的输入图像F(t)亮度特征，M(t)为t时刻的输入图像F(t)的运动特征；
q(t)为一个四元数；
q'(t)为对Q(t)进行傅里叶变换的逆变换所得到的信息。
时空显著度映射为sM(t)＝g*||q′(t)||2。通过PQFT方法可以计算得到每个SIFT描述符的显著向量，即M＝[m1，m2，...，mN]∈RS×N。
至此我们通过特征提取算法将图像中的SIFT特征描述符以及对应的显著向量均提取出来用于匹配定位。最后，在前后帧间匹配过程中，我们分别计算SIFT特征描述符以及显著向量的相似度，根据相似度来进行特征点匹配。首先通过欧式距离来计算每个SIFT特征描述符的相似性，以及对应显著度的显著向量相似度，其中，显著向量相似度公式如下：
dm＝D(mk，mk+1)＝Σ(mkj-m(k+1)j)2；其中，
dm代表显著向量相似度，k为前一帧，k+1为当前帧，其值越大，表示对应的点云相似度越小。
当分别获取到SITF特征描述符相似度以及显著向量相似度后，采用如下公式获取结合相似度信息：
Dr＝exp(dm+ds)；其中，
Dr为结合相似度信息；dm为SITF特征描述符相似度；ds为显著向量相似度；exp指e的幂。
在本实施例中，自动驾驶摄像头生成的图像分为前景和背景。前景往往是自动驾驶中包含特征非常丰富的区域，而背景则包含了大量冗余的信息。对定位系统来讲，在匹配时加入显著度信息有助于匹配效果的提升。在显著 度检测中，前景的显著值往往比背景的显著值高；因此，可以认为显著度相似的特征所包含的信息往往较为相似，因此SLAM中视觉里程计匹配时，前后帧特征如果显著度相似，匹配的概率就会增加。
在本实施例中，对当前帧的图像信息进行处理，从而获取车道线语义定位信息包括：
获取地图信息，地图信息中包括车道线语义特征；
提取当前帧的图像信息中的车道线点特征；
根据车道线点特征以及车道线语义特征获取车道线语义定位信息。
下面具体描述下如何获取车道线语义定位信息：
通过车道线匹配方法进行定位。首先我们车上要部署高精度地图，高精度地图可以为高德、百度等图商提供，也可以是自采集的。地图中包含定位所需的语义信息。通过车道线匹配利用当前摄像头输出的语义信息，从地图中选取候选车道线上点特征，满足阈值的即为地图中的候选特征。
其中需要对z轴的位置进行判断：同时，需要对二者平面的位置进行判断，需要满足：最后，针对地面方向进行判断，需要满足：
其中ylm为地图中车道线特征的位置，glm为车道线上点特征的平面法向量。th为阈值参数，其中，thdir、Thd以及Thh分别为方向、高度和平面距离的阈值参数。
将当前全部观测的车道线上点特征与地图候选特征进行最近邻搜索，满足阈值的即为匹配上的地图特征与观测特征。
其中观测到的车道线上点特征与地图中的车道线上点特征的距离为：车道线的方向差为：||glm×(Rnew·gb)||，距离最小且满足阈值条件的特征对即为匹配的观测特征与地图特征，在本实施例中，b是body的简写，表示载体坐标系。m是measurement的简写，表示的是测量。R,t表示旋 转和平移。每个地图特征均具备地图坐标系下的坐标，通过与地图语义特征匹配能够得到车辆的车道线语义定位信息。
在本实施例中，将车道线语义定位信息以及视觉里程计定位信息进行融合，从而获取最终定位信息包括：
根据车道线语义定位信息获取车道线置信度；
根据车道线置信度、车道线语义定位信息以及所述视觉里程计定位信息进行融合，从而获取最终定位信息。
在本实施例中，根据所述车道线置信度、车道线语义定位信息以及视觉里程计定位信息进行融合，从而获取最终定位信息包括：
当车道线置信度大于第一预设阈值时，根据车道线语义定位信息以及视觉里程计定位信息进行融合。
在本实施例中，车道线置信度可以通过摄像头感知端获取，为现有技术，在此不再赘述。
在本实施例中，根据车道线置信度、车道线语义定位信息以及视觉里程计定位信息进行融合，从而获取最终定位信息包括：
当车道线置信度小于第一预设阈值且大于第二预设阈值时，获取当前帧的车道线置信度以及该帧之后的预设帧数的车道线置信度；
根据当前帧的车道线置信度以及该帧之前的预设帧数的车道线置信度判断是否根据车道线置信度以及所述视觉里程计定位信息进行融合，若是，则
根据车道线语义定位信息以及视觉里程计定位信息进行融合。
在本实施例中，根据所述车道线置信度、车道线语义定位信息以及视觉里程计定位信息进行融合，从而获取最终定位信息包括：
当车道线置信度小于第二预设阈值时，为车道线置信度生成一个权重信息；
根据权重以及视觉里程计定位信息进行融合。
在本实施例中，采用如下公式对所述车道线置信度以及所述视觉里程计定位信息进行融合：
K＝PHT(HPHT+V)-1
x＝K(h(xf)-h(xp))
P＝(I-KH)P；其中，
其中x与P为融合之后的状态以及协方差矩阵，K为卡尔曼增益，h为观测空间到状态空间进行映射的函数，H为函数h的雅克比矩阵，V为观测误差；。
举例来说，针对车道线语义定位信息以及所述视觉里程计定位信息进行多源融合。
我们采取卡尔曼滤波的方式进行融合。并且我们针对自动驾驶不同场景进行区分。当车道线清晰稳定时，车道线的鲁棒性较高。通过车道线的置信度判断当前的融合方案，当车道线信息的置信度≥0.7(第一预设阈值)时，我们将显著度特征定位信息和车道线定位信息进行融合，当车道线置信度<0.7(第一预设阈值)但是＞0.3(第二预设阈值)时，我们先评估前5帧的车道线识别效果，如果连续识别并且没有跳变，我们采取将车道线匹配结果乘以权重后与显著度特征定位信息融合。当车道线置信度≤0.3(第二预设阈值)时，我们只采用显著度特征定位信息作为定位源，但需要保证不同定位源时的连贯性，保证定位前后帧间的跳动不超过10cm。本申请采用如下公式进行融合：
K＝PHT(HPHT+V)-1
x＝K(h(xf)-h(xp))
P＝(I-KH)P；其中，
x与P为融合之后的状态以及协方差矩阵，K为卡尔曼增益，h为观测空间到状态空间进行映射的函数，H为函数h的雅克比矩阵，V为观测误差，通过上述方法对特征匹配的定位结果和车道线语义匹配的定位结果进行融合能够实现稳定的定位效果，同时该方法得到结果也是理论上的最优估计。
本申请还提供了一种基于视觉SLAM的车辆定位装置，所述基于视觉SLAM的车辆定位装置包括图像信息获取模块、视觉里程计定位信息获取模块、车道线语义定位信息获取模块以及融合模块；其中，
图像信息获取模块用于获取车辆行驶过程中当前帧的图像信息以及当前帧的前一帧的图像信息；
视觉里程计定位信息获取模块用于根据当前帧的图像信息以及当前帧的前一帧的图像信息获取视觉里程计定位信息；
车道线语义定位信息获取模块用于对当前帧的图像信息进行处理，从而获取车道线语义定位信息；
融合模块用于将车道线语义定位信息以及视觉里程计定位信息进行融合，从而获取最终定位信息。
可以理解的是，上述对方法的描述，也同样适用于对装置的描述。
本申请还提供了一种电子设备，包括存储器、处理器以及存储在存储器中并能够在处理器上运行的计算机程序，处理器执行计算机程序时实现如上的基于视觉SLAM的车辆定位方法。
本申请还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时能够实现如上的基于视觉SLAM的车辆定位方法。
图2是能够实现根据本申请一个实施例提供的基于视觉SLAM的车辆定位方法的电子设备的示例性结构图。
如图2所示，电子设备包括输入设备501、输入接口502、中央处理器503、存储器504、输出接口505以及输出设备506。其中，输入接口502、中央处理器503、存储器504以及输出接口505通过总线507相互连接，输入设备501和输出设备506分别通过输入接口502和输出接口505与总线507连接，进而与电子设备的其他组件连接。具体地，输入设备504接收来自外部的输入信息，并通过输入接口502将输入信息传送到中央处理器503；中央处理器503基于存储器504中存储的计算机可执行指令对输入信息进行处理以生成输出信息，将输出信息临时或者永久地存储在存储器504中，然后通过输出接口505将输出信息传送到输出设备506；输出设备506将输出信息输出到电子设备的外部供用户使用。
也就是说，图2所示的电子设备也可以被实现为包括：存储有计算机可执行指令的存储器；以及一个或多个处理器，该一个或多个处理器在执行计算机可执行指令时可以实现结合图1描述的基于视觉SLAM的车辆定位方法。
在一个实施例中，图2所示的电子设备可以被实现为包括：存储器504，被配置为存储可执行程序代码；一个或多个处理器503，被配置为运行存储器504中存储的可执行程序代码，以执行上述实施例中的基于视觉SLAM的车辆定位方法。
在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动，媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其 他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数据多功能光盘(DVD)或其他光学存储、磁盒式磁带、磁带磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
此外，显然“包括”一词不排除其他单元或步骤。装置权利要求中陈述的多个单元、模块或装置也可以由一个单元或总装置通过软件或硬件来实现。
附图中的流程图和框图，图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，模块、程序段、或代码的一部分包括一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地标识的方框实际上可以基本并行地执行，他们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或总流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
在本实施例中所称处理器可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
存储器可用于存储计算机程序和/或模块，处理器通过运行或执行存储在存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现装置/终端设备的各种功能。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(Smart Media Card,SMC)，安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
在本实施例中，装置/终端设备集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。本申请虽然以较佳实施例公开如上，但其实并不是用来限定本申请，任何本领域技术人员在不脱离本申请的精神和范围内，都可以做出可能的变动和修改，因此，本申请的保护范围应当以本申请权利要求所界定的范围为准。
本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。
此外，显然“包括”一词不排除其他单元或步骤。装置权利要求中陈述的多个单元、模块或装置也可以由一个单元或总装置通过软件或硬件来实现。
虽然，上文中已经用一般性说明及具体实施方案对本发明作了详尽的描述，但在本发明基础上，可以对之作一些修改或改进，这对本领域技术人员而言是显而易见的。因此，在不偏离本发明精神的基础上所做的这些修改或改进，均属于本发明要求保护的范围。

Claims (10)

  1. 一种基于视觉SLAM的车辆定位方法，其特征在于，所述基于视觉SLAM的车辆定位方法包括：
    获取车辆行驶过程中当前帧的图像信息以及当前帧的前一帧的图像信息；
    根据当前帧的图像信息以及当前帧的前一帧的图像信息获取视觉里程计定位信息；
    对当前帧的图像信息进行处理，从而获取车道线语义定位信息；
    将所述车道线语义定位信息以及所述视觉里程计定位信息进行融合，从而获取最终定位信息。
  2. 如权利要求1所述的基于视觉SLAM的车辆定位方法，其特征在于，所述根据当前帧的图像信息以及当前帧的前一帧的图像信息获取视觉里程计定位信息包括：
    根据所述当前帧的图像信息以及当前帧的前一帧的图像信息获取SITF特征描述符相似度；
    根据所述当前帧的图像信息以及当前帧的前一帧的图像信息获取显著向量相似度；
    根据所述SITF特征描述符相似度以及显著向量相似度获取结合相似度信息；
    根据结合相似度信息获取视觉里程计定位信息。
  3. 如权利要求2所述的基于视觉SLAM的车辆定位方法，其特征在于，所述根据所述SITF特征描述符相似度以及显著向量相似度获取结合相似度信息包括：
    采用如下公式获取结合相似度信息：
    Dr＝exp(dm+ds)；其中，
    Dr为结合相似度信息；dm为SITF特征描述符相似度；ds为显著向量相似度；exp指数e的幂。
  4. 如权利要求3所述的基于视觉SLAM的车辆定位方法，其特征在于，所述对当前帧的图像信息进行处理，从而获取车道线语义定位信息包括：
    获取地图信息，所述地图信息中包括车道线语义特征；
    提取当前帧的图像信息中的车道线点特征；
    根据所述车道线点特征以及所述车道线语义特征获取车道线语义定位信息。
  5. 如权利要求1至4中任意一项所述的基于视觉SLAM的车辆定位方法，其特征在于，将所述车道线语义定位信息以及所述视觉里程计定位信息进行融合，从而获取最终定位信息包括：
    根据所述车道线语义定位信息获取车道线置信度；
    根据所述车道线置信度、车道线语义定位信息以及所述视觉里程计定位信息进行融合，从而获取最终定位信息。
  6. 如权利要求5所述的基于视觉SLAM的车辆定位方法，其特征在于，所述根据所述车道线置信度、车道线语义定位信息以及所述视觉里程计定位信息进行融合，从而获取最终定位信息包括：
    当所述车道线置信度大于第一预设阈值时，根据所述车道线语义定位信息以及所述视觉里程计定位信息进行融合。
  7. 如权利要求6所述的基于视觉SLAM的车辆定位方法，其特征在于，所述根据所述车道线置信度、车道线语义定位信息以及所述视觉里程计定位信息进行融合，从而获取最终定位信息包括：
    当所述车道线置信度小于第一预设阈值且大于第二预设阈值时，获取当前帧的车道线置信度以及该帧之后的预设帧数的车道线置信度；
    根据所述当前帧的车道线置信度以及该帧之前的预设帧数的车道线置信度判断是否根据所述车道线置信度以及所述视觉里程计定位信息进行融合，若是，则
    根据所述车道线语义定位信息以及所述视觉里程计定位信息进行融合。
  8. 如权利要求7所述的基于视觉SLAM的车辆定位方法，其特征在于，所述根据所述车道线置信度、车道线语义定位信息以及所述视觉里程计定位信息进行融合，从而获取最终定位信息包括：
    当所述车道线置信度小于第二预设阈值时，为所述车道线置信度生成一个权重信息；
    根据所述权重以及所述视觉里程计定位信息进行融合。
  9. 如权利要求7所述的基于视觉SLAM的车辆定位方法，其特征在于，采用如下公式对所述车道线置信度以及所述视觉里程计定位信息进行融合：
    K＝PHT(HPHT+V)-1
    x＝K(h(xf)-h(xp))
    P＝(I-KH)P；其中，
    其中x与P为融合之后的状态以及协方差矩阵，K为卡尔曼增益，h为观测空间到状态空间进行映射的函数，H为函数h的雅克比矩阵，V为观测误差；xf代表预测的位姿状态；xp代表的是观测的位姿状态，I为单位矩阵，T表示矩阵的转置。
  10. 一种基于视觉SLAM的车辆定位装置，其特征在于，所述基于视觉SLAM的车辆定位装置包括：
    图像信息获取模块，所述图像信息获取模块用于获取车辆行驶过程中当前帧的图像信息以及当前帧的前一帧的图像信息；
    视觉里程计定位信息获取模块，所述视觉里程计定位信息获取模块用于根据当前帧的图像信息以及当前帧的前一帧的图像信息获取视觉里程计定位信息；
    车道线语义定位信息获取模块，所述车道线语义定位信息获取模块用于对当前帧的图像信息进行处理，从而获取车道线语义定位信息；
    融合模块，所述融合模块用于将所述车道线语义定位信息以及所述视觉里程计定位信息进行融合，从而获取最终定位信息。
PCT/CN2023/091511 2022-10-12 2023-04-28 一种基于视觉slam的车辆定位方法及装置 WO2024077935A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202211246923.6A CN115493612A (zh) 2022-10-12 2022-10-12 一种基于视觉slam的车辆定位方法及装置
CN202211246923.6 2022-10-12

Publications (1)

Publication Number Publication Date
WO2024077935A1 true WO2024077935A1 (zh) 2024-04-18

Family

ID=84473628

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2023/091511 WO2024077935A1 (zh) 2022-10-12 2023-04-28 一种基于视觉slam的车辆定位方法及装置

Country Status (2)

Country Link
CN (1) CN115493612A (zh)
WO (1) WO2024077935A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115493612A (zh) * 2022-10-12 2022-12-20 中国第一汽车股份有限公司 一种基于视觉slam的车辆定位方法及装置
CN115923847B (zh) * 2023-03-15 2023-06-02 安徽蔚来智驾科技有限公司 自动驾驶车辆的感知信息的预处理方法、装置及车辆

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101803195B1 (ko) * 2016-06-28 2017-11-30 경희대학교 산학협력단 차량의 주행 환경에 따라 적응적으로 다중센서를 제어하는 장치 및 방법
CN109945858A (zh) * 2019-03-20 2019-06-28 浙江零跑科技有限公司 用于低速泊车驾驶场景的多传感融合定位方法
US20210063200A1 (en) * 2019-08-31 2021-03-04 Nvidia Corporation Map creation and localization for autonomous driving applications
CN113188557A (zh) * 2021-04-28 2021-07-30 江苏方天电力技术有限公司 一种融合语义特征的视觉惯性组合导航方法
CN113920198A (zh) * 2021-12-14 2022-01-11 纽劢科技(上海)有限公司 一种基于语义边缘对齐的由粗到精的多传感器融合定位方法
CN114723779A (zh) * 2021-01-06 2022-07-08 广州汽车集团股份有限公司 一种车辆定位方法、装置及计算机可读存储介质
CN114719840A (zh) * 2022-04-07 2022-07-08 岚图汽车科技有限公司 一种基于道路特征融合的车辆智能驾驶保障方法与系统
CN115493612A (zh) * 2022-10-12 2022-12-20 中国第一汽车股份有限公司 一种基于视觉slam的车辆定位方法及装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111780763B (zh) * 2020-06-30 2022-05-06 杭州海康机器人技术有限公司 一种基于视觉地图的视觉定位方法、装置
CN114913494B (zh) * 2022-04-28 2024-06-18 重庆长安汽车股份有限公司 自动驾驶视觉感知冗余系统危险度评估的自诊断校准方法
CN115143952A (zh) * 2022-07-12 2022-10-04 智道网联科技(北京)有限公司 基于视觉辅助的自动驾驶车辆定位方法、装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101803195B1 (ko) * 2016-06-28 2017-11-30 경희대학교 산학협력단 차량의 주행 환경에 따라 적응적으로 다중센서를 제어하는 장치 및 방법
CN109945858A (zh) * 2019-03-20 2019-06-28 浙江零跑科技有限公司 用于低速泊车驾驶场景的多传感融合定位方法
US20210063200A1 (en) * 2019-08-31 2021-03-04 Nvidia Corporation Map creation and localization for autonomous driving applications
CN114723779A (zh) * 2021-01-06 2022-07-08 广州汽车集团股份有限公司 一种车辆定位方法、装置及计算机可读存储介质
CN113188557A (zh) * 2021-04-28 2021-07-30 江苏方天电力技术有限公司 一种融合语义特征的视觉惯性组合导航方法
CN113920198A (zh) * 2021-12-14 2022-01-11 纽劢科技(上海)有限公司 一种基于语义边缘对齐的由粗到精的多传感器融合定位方法
CN114719840A (zh) * 2022-04-07 2022-07-08 岚图汽车科技有限公司 一种基于道路特征融合的车辆智能驾驶保障方法与系统
CN115493612A (zh) * 2022-10-12 2022-12-20 中国第一汽车股份有限公司 一种基于视觉slam的车辆定位方法及装置

Also Published As

Publication number Publication date
CN115493612A (zh) 2022-12-20

Similar Documents

Publication Publication Date Title
EP3505866B1 (en) Method and apparatus for creating map and positioning moving entity
WO2024077935A1 (zh) 一种基于视觉slam的车辆定位方法及装置
Shi et al. Beyond cross-view image retrieval: Highly accurate vehicle localization using satellite image
Wang et al. Monocular 3d object detection with depth from motion
Arroyo et al. Fast and effective visual place recognition using binary codes and disparity information
CN113989450B (zh) 图像处理方法、装置、电子设备和介质
US20180189577A1 (en) Systems and methods for lane-marker detection
WO2022021029A1 (zh) 检测模型训练方法、装置、检测模型使用方法及存储介质
CN103700099A (zh) 一种旋转和尺度不变的宽基线立体匹配方法
CN114565863B (zh) 无人机图像的正射影像实时生成方法、装置、介质及设备
JP2019149142A (ja) 対象物標識のためのシステムおよび方法
CN113793370B (zh) 三维点云配准方法、装置、电子设备及可读介质
Jian et al. A semantic segmentation based lidar slam system towards dynamic environments
CN116246119A (zh) 3d目标检测方法、电子设备及存储介质
CN113592015B (zh) 定位以及训练特征匹配网络的方法和装置
WO2024082602A1 (zh) 一种端到端视觉里程计方法及装置
Jin Kim et al. Learned contextual feature reweighting for image geo-localization
KR102249381B1 (ko) 3차원 영상 정보를 이용한 모바일 디바이스의 공간 정보 생성 시스템 및 방법
CN116734834A (zh) 应用于动态场景的定位建图方法、装置和智能设备
US20230053952A1 (en) Method and apparatus for evaluating motion state of traffic tool, device, and medium
CN113763438A (zh) 一种点云配准方法、装置、设备及存储介质
CN114267076B (zh) 一种图像识别方法、装置、设备及存储介质
CN114037977B (zh) 道路灭点的检测方法、装置、设备及存储介质
Umamaheswaran et al. Stereo vision based speed estimation for autonomous driving
CN117011481A (zh) 构建三维地图的方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23876146

Country of ref document: EP

Kind code of ref document: A1