WO2021223116A1 - 感知地图生成方法、装置、计算机设备和存储介质 - Google Patents
感知地图生成方法、装置、计算机设备和存储介质 Download PDFInfo
- Publication number
- WO2021223116A1 WO2021223116A1 PCT/CN2020/088818 CN2020088818W WO2021223116A1 WO 2021223116 A1 WO2021223116 A1 WO 2021223116A1 CN 2020088818 W CN2020088818 W CN 2020088818W WO 2021223116 A1 WO2021223116 A1 WO 2021223116A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- initial
- map
- location
- perception map
- obstacle
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 58
- 238000012545 processing Methods 0.000 claims abstract description 70
- 230000011218 segmentation Effects 0.000 claims abstract description 70
- 230000008447 perception Effects 0.000 claims description 223
- 238000001514 detection method Methods 0.000 description 39
- 230000008569 process Effects 0.000 description 20
- 238000013527 convolutional neural network Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000006073 displacement reaction Methods 0.000 description 8
- 230000003044 adaptive effect Effects 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 235000015243 ice cream Nutrition 0.000 description 3
- 230000003068 static effect Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 2
- 230000004927 fusion Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000003672 processing method Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 101150064138 MAP1 gene Proteins 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
- G01C21/30—Map- or contour-matching
- G01C21/32—Structuring or formatting of map data
Definitions
- the target recognition module is used to perform target recognition on the initial image to obtain obstacle information
- a method for generating a perception map is provided. Taking the method applied to the vehicle terminal in FIG. 1 as an example for description, the method includes the following steps:
- the method further includes: obtaining the speed, driving direction, and current time of the vehicle; obtaining the first perception map according to the current time and the timestamp of the initial perception map 1.
- Compensation time Based on the vehicle's speed, driving direction and compensation time, dead-reckoning is performed on the vehicle position to obtain the vehicle's position in the initial perception map. In the foregoing embodiment, taking into account the time required for vehicle driving and data processing, the vehicle position in the initial perception map is compensated, which can ensure the accuracy of the initial perception map.
- back-projecting the location information and obstacle information to the initial perception map includes: obtaining the timestamp of the initial perception map; calculating and calculating according to the timestamp of the location information and the timestamp of the obstacle information respectively The second compensation time between the timestamps of the initial perception map; the location information and obstacle information are compensated according to the second compensation time; the location information and obstacle information after the dead location compensation are back-projected to the initial perception In the map.
- the issue of the running speed of each data processing process is fully considered, and dead-reckoning is performed by processing the time stamp information of the image, which can ensure the accuracy of the subsequent target perception map.
- the above-mentioned target perception map is generally obtained during the driving process of the vehicle. Therefore, in order to improve the accuracy of data processing, the vehicle terminal is based on the Bayesian probability density model as the main update strategy of the map, and the confidence of the perception result is respectively determined. The information is updated cumulatively to ensure the accuracy and reliability of the perception of obstacles on the map during operation.
- the vehicle terminal can also perform location recognition on the initial image and the corresponding ring view to obtain the location probability map, and perform target recognition on the initial image in turn to obtain the obstacle probability map.
- the library can be obtained based on the target probability and the location probability map.
- Position information; Obstacle information is obtained based on the target probability and the obstacle probability map, that is, the information processed in the previous frame is superimposed to prevent processing errors caused by missed detection and false detection, and improve processing accuracy.
- the embedded real-time online perception map construction scheme based on the on-board surround view system and dead reckoning is given, which can collect information about the surrounding body of the car in different scenarios to obtain a reliable target perception map, thereby ensuring higher-level functional expansion , Such as the reliability and convenience of the realization of APA and AVP functions.
- the location identification module 300 is used to identify the location of the initial image and the corresponding ring view to obtain location information
- performing semantic segmentation processing on the generated ring views in sequence after obtaining the initial perception map further includes: obtaining the speed, driving direction, and current time of the vehicle ; Obtain the first compensation time according to the current time and the timestamp of the initial perception map; perform dead-reckoning on the vehicle position based on the vehicle's speed, driving direction and compensation time to obtain the position of the vehicle in the initial perception map.
- back-projecting the location information and obstacle information to the initial perception map includes: obtaining the timestamp of the initial perception map; The second compensation time between the time stamp of the information, the time stamp of the obstacle information and the time stamp of the initial perception map; the dead-reckoning is performed on the location information and the obstacle information according to the second compensation time; after the dead-reckoning The location information and obstacle information of the data are back-projected to the initial perception map.
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
Abstract
一种感知地图生成方法、装置、计算机设备和存储介质，该方法包括：采集车辆周围的初始图像，并根据多张初始图像生成环视图（S202）；对环视图进行语义分割处理得到初始感知地图，初始感知地图包括可通行区域和障碍物区域（S204）；对初始图像和对应的环视图进行库位识别得到库位信息，对初始图像进行目标识别得到障碍物信息（S206）；将库位信息和障碍物信息反投影至初始感知地图中，以对初始感知地图中的可通行区域和障碍物区域进行调整，得到目标感知地图（S208）。
Description
本申请涉及一种感知地图生成方法、装置、计算机设备和存储介质。
随着车辆技术的发展，出现了感知地图生成技术，感知地图是基于所采集的图像生成的可以直观地展示车辆周围的目标、障碍物等信息的地图。
然而，发明人意识到，目前感知地图的生成需要引入激光传感器，通过激光传感器来探测来确定障碍物的位置，且激光传感器由于是根据发射光和反射光的时间差来确定障碍区的位置的，这样由于复杂的地面环境，会导致障碍物区域的确定存在误差，从而导致感知地图的准确性降低。
发明内容
根据本申请公开的各种实施例，提供一种感知地图生成方法、装置、计算机设备和存储介质。
一种感知地图生成方法，包括：
采集车辆周围的初始图像，并根据多张所述初始图像生成环视图；
对所述环视图进行语义分割处理得到初始感知地图，所述初始感知地图包括可通行区域和障碍物区域；
对所述初始图像和以及对应的所述环视图进行库位识别得到库位信息，对所述初始图像进行目标识别得到障碍物信息；及
将所述库位信息和所述障碍物信息反投影至所述初始感知地图中，以对所述初始感知地图中的可通行区域和障碍物区域进行调整，得到目标感知地图。
一种感知地图生成装置，包括：
采集模块，用于采集车辆周围的初始图像，并根据多张所述初始图像生成环视图；
语义分割模块，用于对所述环视图进行语义分割处理得到初始感知地图，所述初始感知地图包括可通行区域和障碍物区域；
库位识别模块，用于对所述初始图像和以及对应的所述环视图进行库位识别得到库位信息；
目标识别模块，用于对所述初始图像进行目标识别得到障碍物信息；及
感知地图生成模块，用于将所述库位信息和所述障碍物信息反投影至所述初始感知地图中，以对所述初始感知地图中的可通行区域和障碍物区域进行调整，得到目标感知地图。
一种计算机设备，包括存储器和一个或多个处理器，所述存储器中储存有计算机可读 指令，所述计算机可读指令被所述处理器执行时，使得所述一个或多个处理器执行以下步骤：
采集车辆周围的初始图像，并根据多张所述初始图像生成环视图；
对所述环视图进行语义分割处理得到初始感知地图，所述初始感知地图包括可通行区域和障碍物区域；
对所述初始图像和以及对应的所述环视图进行库位识别得到库位信息，对所述初始图像进行目标识别得到障碍物信息；及
将所述库位信息和所述障碍物信息反投影至所述初始感知地图中，以对所述初始感知地图中的可通行区域和障碍物区域进行调整，得到目标感知地图。
一个或多个存储有计算机可读指令的非易失性计算机可读存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行以下步骤：
采集车辆周围的初始图像，并根据多张所述初始图像生成环视图；
对所述环视图进行语义分割处理得到初始感知地图，所述初始感知地图包括可通行区域和障碍物区域；
对所述初始图像和以及对应的所述环视图进行库位识别得到库位信息，对所述初始图像进行目标识别得到障碍物信息；及
将所述库位信息和所述障碍物信息反投影至所述初始感知地图中，以对所述初始感知地图中的可通行区域和障碍物区域进行调整，得到目标感知地图。
本申请的一个或多个实施例的细节在下面的附图和描述中提出。本申请的其它特征和优点将从说明书、附图以及权利要求书变得明显。
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1为根据一个或多个实施例中感知地图生成方法的应用环境图。
图2为根据一个或多个实施例中感知地图生成方法的流程示意图。
图3为根据一个或多个实施例中目标感知地图的示意图。
图4为根据另一个或多个实施例中感知地图生成方法的流程示意图。
图5为根据一个或多个实施例中感知地图生成装置的框图。
图6为根据一个或多个实施例中计算机设备的框图。
为了使本申请的技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限 定本申请。
本申请提供的感知地图生成方法，可以应用于如图1所示的应用环境中。车辆终端102可以获取到车辆上的各个数据采集设备采集的数据，然后对采集的数据进行分析以得到对应的感知地图。具体地，车辆终端102可以获取到安装在车辆周围的摄像头104所采集的初始图像，然后根据初始图像生成对应的环视图。这样车辆终端可以对该环视图进行语义分割处理得到初始感知地图，该初始感知地图包括可通行区域和障碍物区域，车辆终端102还可以对初始图像和以及对应的环视图进行库位识别得到库位信息，对初始图像进行目标识别得到障碍物信息，从而车辆终端102将库位信息和障碍物信息反投影至初始感知地图中，以对初始感知地图中的可通行区域和障碍物区域进行调整，得到目标感知地图，这样结合了库位信息、障碍物信息以及初始感知地图可以提高目标感知地图的准确性。车辆终端102可以但不限于是各种安装在车辆上的个人计算机、笔记本电脑、智能手机、平板电脑。
在其中一个实施例中，如图2所示，提供了一种感知地图生成方法，以该方法应用于图1中的车辆终端为例进行说明，包括以下步骤：
S202：采集车辆周围的初始图像，并根据多张初始图像生成环视图。
具体地，初始图像是安装在车辆周围的摄像头所采集的，例如车辆的四周可以安装多个(≥4个)鱼眼摄像头，这样该些鱼眼摄像头可以在驾驶员需要的时候开启，并采集车辆周围的初始图像。例如可以是在车辆静止时或者是行驶时接收到驾驶员输入的感知地图生成指令时，该些鱼眼摄像头开始采集图像，或者是当车辆行驶的时候通过车速等进行判断，当车速等信息符合阈值时，则开启该些鱼眼摄像头并采集初始图像。
环视图是根据初始图像生成的，车辆终端可以采用车载处理器对得到的多路视频进行压缩、矫正等方式，将单个鱼眼摄像头的初始图像拼接为一个整体的环视图。可选地，当车辆处于静止时，可以仅采集各个鱼眼摄像头的某一帧初始图像，然后进行拼接即可。当车辆处于行驶状态时，则车辆终端根据各个鱼眼摄像头所采集的初始图像的时间戳，将时间戳相同的初始图像进行拼接得到环视图，例如车辆终端可以从各个鱼眼摄像头获取到时间戳相同的初始图像，然后判断所获取的初始图像的张数是否大于等于预设张数，例如等于鱼眼摄像头的个数，若是，则根据所获取的初始图像生成环视图。
S204：对环视图进行语义分割处理得到初始感知地图，初始感知地图包括可通行区域和障碍物区域。
具体地，语义分割是指将环视图中表示不同类型的目标进行分类提取并确定位置。可通行区域是指车辆可以通过的区域，障碍物区域也就是不可通行区域。且为了提高处理速度，该步骤所采用的语义分割处理是通过一个轻量级卷积神经网络进行的，这样可以对环视图进行粗分类感知，以得到环视图中的可通行区域和障碍物区域。该步骤主要是进行一个粗略的语义分割处理，以获取到大致位置，从而可以提高处理速度。
S206：对初始图像和以及对应的环视图进行库位识别得到库位信息，对初始图像进行 目标识别得到障碍物信息。
具体地，库位信息是指库位的位置、库位的宽度等信息。障碍物信息是指障碍物的位置以及大小等，其中障碍物可以包括但不限于车辆、二轮车、行人、地锁、雪糕筒、库位号、车道线、减速带、交通标识符等。
且可选地，在该实施例中，库位识别和目标识别主要是通过深度卷积神经网络的方法进行的，这样可以保证所识别的库位信息和障碍物信息的准确性。此外库位识别可以是根据图像处理的方法以及机器学习和深度学习的方法提取鱼眼摄像机所采集的初始图像以及环视图中的库位线和角点等信息，通过一系列的逻辑组合验证线、角点以及组成的库位，提供实际应用场景中的库位类型和场景检测出车身周围的库位信息，提供自动泊车，AVP功能需要的库位信息。目标检测则是通过深度卷积神经网络的方法，训练不同视角下的模型，用于感知车辆周身的静态和动态障碍物以及库位障碍物。
在实际应用中，上述的语义分割处理、库位检测以及目标检测的步骤可以是并行进行的，且车辆终端通过对环视图进行语义分割处理得到粗略的可通行区域和障碍物区域，这样可以提高处理的速度。通过库位检测和目标检测得到精确的库位信息和障碍物信息，这样可以提高处理的准确度。
S208：将库位信息和障碍物信息反投影至初始感知地图中，以对初始感知地图中的可通行区域和障碍物区域进行调整，得到目标感知地图。
具体地，反投影是指车辆终端根据各个语言摄像头的标定信息，将所得到的三维坐标系下的预测的库位信息和障碍物信息反投影到二维坐标系下的初始感知地图中，这样可以对初始感知地图中得到的粗略的可通行区域和障碍物区域进行调整，得到目标感知地图，以保证目标感知地图中的可通行区域和障碍物区域的准确性。具体地，参见图3所示，图3为一个实施例中的目标感知地图的示意图。
在实际应用中，当车辆处于静止状态时，则不需要考虑航位补偿，直接将库位信息和障碍物信息反投影至初始感知地图中即可。当车辆处于行驶状态时，车辆终端还需要考虑到不同处理的快慢的问题，例如上述语义分割处理时由于是粗略地进行语义分割处理，因此其处理速度要比库位检测和目标检测快，因此需要进行航位补偿，车辆终端计算考虑到初始感知地图的时间戳以及生成库位信息和障碍物信息的环视图或初始图像的时间错，时刻将库位信息和障碍物信息与车辆坐标系之间的位置推算出来，以进行航位补偿，这样以初始感知地图为基准地图，然后通过航位补偿将精度较高的库位信息和障碍物信息反投影到基准地图中，保证了处理速度的同时提高了处理的准确性。
且可选地，对于行驶中的车辆的感知地图的生成可以采用贝叶斯概率密度模型来进行更新，例如初始感知地图、库位信息、障碍物信息都是对应的概率值，这样所得到的目标感知地图是融合了初始感知地图、库位信息、障碍物信息的概率值的，其也是一个概率地图，从而在下一个时刻进行更新的时候，车辆终端考虑到当前时刻的目标感知地图(概率图)，并更新概率值，例如取平均值或者是取最大值等。
上述感知地图生成方法中，对环视图进行语义分割处理得到初始感知地图，对初始图像和以及对应的环视图进行库位识别得到库位信息，对初始图像进行目标识别得到障碍物信息，这样将库位信息和障碍物信息反投影至初始感知地图中，结合了库位信息、障碍物信息以及初始感知地图可以提高目标感知地图的准确性。
在其中一个实施例中，初始图像携带有拍摄时间戳，根据多张初始图像生成环视图，包括：依次获取拍摄时间戳相对应的多张初始图像，并生成环视图，环视图的时间戳与初始图像的时间戳相对应。上述实施例中，充分考虑了车辆行驶过程中的环视图的生成，即根据拍摄时间戳相对应的多张初始图像生成环视图，这样可以得到按照时间顺序的环视图，便于后续的处理。
在其中一个实施例中，对环视图进行语义分割处理得到初始感知地图，包括：依次对所生成的环视图进行语义分割处理得到初始感知地图，初始感知地图的时间戳与环视图的时间戳对应；对初始图像和以及对应的环视图进行库位识别得到库位信息，对初始图像进行目标识别得到障碍物信息，包括：依次对初始图像和以及对应的环视图进行库位识别得到库位信息，依次对初始图像进行目标识别得到障碍物信息，库位信息和障碍物信息的时间戳与初始图像的时间戳对应。上述实施例中，分别按照时间顺序来对环视图进行处理得到携带有时间戳的初始感知地图，以及携带有时间戳的库位信息和障碍物信息，为后续的融合奠定了基础。
在其中一个实施例中，依次对所生成的环视图进行语义分割处理得到初始感知地图之后，还包括：获取车辆的速度、行驶方向以及当前时间；根据当前时间和初始感知地图的时间戳得到第一补偿时间；基于车辆的速度、行驶方向以及补偿时间对车辆位置进行航位补偿得到车辆在初始感知地图中的位置。上述实施例中，考虑到车辆行驶与数据处理需要时间的问题，来对初始感知地图中的车辆位置进行补偿，可以确保初始感知地图的准确性。
在其中一个实施例中，将库位信息和障碍物信息反投影至初始感知地图中，包括：获取初始感知地图的时间戳；分别根据库位信息的时间戳、障碍物信息的时间戳计算与初始感知地图的时间戳之间的第二补偿时间；根据第二补偿时间对库位信息和障碍物信息进行航位补偿；将航位补偿后的库位信息和障碍物信息反投影至初始感知地图中。上述实施例中，充分考虑到了各个数据处理过程的运行快慢的问题，通过处理图像的时间戳信息来进行航位补偿，可以保障后续目标感知地图的准确性。
具体地，请参阅图4所示，图4为另一个实施例中感知地图生成方法的流程图，该实施例的应用场景是行驶中的车辆。
具体地，首先，车辆终端通过安装在车辆周围的鱼眼摄像头采集到多张初始图像，该多张初始图像是携带有拍摄时间戳的，这样车辆终端可以依次获取到拍摄时间戳相同的多张初始图像从而生成环视图，例如车辆终端首先判断所获取到的初始图像的张数是否大于等于预设张数，若是，则根据鱼眼摄像头的标定数据来对多张初始图像进行裁剪透视变换等得到环视图，且所得到的环视图的时间戳与多张初始图像的时间戳相同，该环视图是车 辆周围的俯视视角下的地图。
然后车辆终端则可以并行对所得到的环视图以及对应的多张初始图像进行语义分割处理、库位检测以及目标检测，常规城市道路、地下停车场以及地上停车场场景中，要求感知的主要障碍物以及语义信息包括不同类型的卡车、小轿车、二轮车、行人、泊车过程中库位障碍物停车牌、雪糕筒、地锁、库位号、高速公路行进过程中车道线、停止线、减速带、路面行车指示的各种标识线。为了构建车辆行进过程中车身周围一定范围内的自适应在线地图，基于深度学习语义分割技术给出初步的可通行区域和障碍物区域，库位检测给出库位信息，目标检测检测障碍物并给出障碍物的位置和类别信息。下面分别详细描述该三个处理步骤：
语义分割处理主要是对环视图进行处理，通过轻量级卷积神经网络对环视图进行处理以得到可通行区域和障碍物区域，且该轻量级卷积神经网络可以是预先训练得到的，例如对历史环视图进行标定得到可通行区域和障碍物区域，然后进行学习得到轻量级卷积神经网络，从而后续语义分割处理时，可以将环视图输入至该轻量级卷积神经网络以得到可通行区域和障碍物区域，该语义分割主要是一个粗略分割模块，其可以大致给出可通行区域和障碍物区域，主要保证了处理的效率。
库位检测模块主要是根据图像处理的方法以及机器学习和深度学习的方法提取鱼眼图以及环视图中的库位线、角点等信息，通过一系列的逻辑组合验证线，角点以及组成的库位。可选地，对初始图像和以及对应的环视图进行库位识别得到库位信息，包括：对初始图像和以及对应的环视图进行库位识别得到库位特征；获取预设库位判断逻辑；通过预设库位判断逻辑对库位特征进行判断得到库位信息。例如车辆终端可以通过多个线程分别对初始图像和环视图进行库位识别得到库位信息，例如将初始图像和环视图并行输入至预先训练的库位识别模型分别得到对应的库位特征，然后车辆终端获取到预设库位判断逻辑；通过预设库位判断逻辑对库位特征进行判断得到库位信息，例如根据获取距离小于预设值的库位特征，然后判断该些库位特征是否组成库位，若是，则输出库位信息，否者删除或者是与其他的库位特征进行组合判断是否可以组成库位。上述实施例中，首先识别得到库位特征，然后根据预设库位判断逻辑对库位特征进行判断得到库位信息，这样可以滤除掉识别错误的库位特征，提高库位特征识别的准确性。
目标检测主要是通过深度卷积神经网络的方法，训练不同视角下的模型，用于感知车辆周身的静态和动态障碍物以及库位障碍物，包括车辆、二轮车、行人、地锁、雪糕筒、库位号、车道线、减速带以及交通标识符等，目标检测也可以是通过预先训练的目标检测模型来进行处理的，例如首先根据历史数据进行标定学习以得到目标检测模型等。
车辆终端在生成目标感知地图时，需要综合考虑上述语义分割处理、库位检测以及目标检测的结果，其中车辆终端首先根据语义分割处理得到初始感知地图作为基准地图，且由于语义分割处理也是需要一定的时间的，因此考虑到该时间的存在，需要对车辆进行航位推算，即获取到该时间内车辆的位移，以补偿车辆的位移。在实际应用中，车辆终端可 以通过速度传感器采集到车辆的速度行驶方向以及生成初始感知地图的时间，这样根据环视图的时间戳以及当前时间可以得到第一补偿时间，进而根据车辆的速度得到车辆的位移，且车辆终端通过行驶方向和车辆的位移推算车辆的位置，并将车辆显示在对应的初始感知地图中，这样经过推算后可以提高车辆位置的精度，这样充分考虑到了语义分割处理所采用的时间，提高了处理的准确性。
在生成上述初始感知地图后，车辆终端为了提高库位以及障碍物的准确性，还需要将库位检测的库位信息和目标检测的障碍物信息融合至上述初始感知地图中，且由于语义分割处理与库位检测和目标检测的处理速度存在差异，存在语义分割处理已经处理完成了第n帧图像，而库位检测和目标检测可能还在处理第n-m帧图像的可能，为了补偿这样处理上的差异，在库位检测和目标检测得到库位信息和障碍物信息后，车辆终端需要对库位信息和障碍物信息进行补偿，即车辆终端需要获取到当前也就是说最新的初始感知地图的时间戳，计算分别根据库位信息的时间戳、障碍物信息的时间戳计算与初始感知地图的时间戳之间的第二补偿时间，根据该第二补偿时间确定车辆的位移，然后根据车辆的位移来确定库位信息和障碍物信息与车辆的相对位移，进而可以根据该相对位移对库位信息和障碍物信息进行航位补偿，这样车辆终端可以根据鱼眼摄像头的标定数据，将航位补偿后的库位信息和障碍物信息反投影至初始感知地图中得到目标感知地铁图，保障后续目标感知地图的准确性。
上述实施例中，车辆终端结合定义的车辆坐标系、车辆模型的航位推算、相机标定数据以及视觉感知的语义分割与目标检测功能，实时构建基于车身周围的在线感知地图，构建车辆行进过程中车身周围一定范围内的自适应在线地图，提供可通行区间信息，各种常见的障碍物位置信息，车道线，标识线等语义信息等为后续的路径规划、自主泊车，TJP，AVP等功能提供车辆周身感知信息，为后续不同的功能模块进行决策提供依据。
在实际应用中，一般在车辆行驶过程中得到上述的目标感知地图，因此为了提高数据处理的准确性，车辆终端基于贝叶斯概率密度模型作为地图的主要更新策略，分别对感知结果的置信度信息进行累积更新，保证在运行过程中感知地图障碍物类别精度可靠性。
在其中一个实施例中，依次对所生成的环视图进行语义分割处理得到初始感知地图，包括：依次对所生成的环视图进行语义分割处理得到初始概率图；获取上一目标感知地图对应的目标概率；基于初始概率图以及目标概率得到初始感知地图，初始感知地图包括可通行区域和障碍物区域的概率。上述实施例中，所得到的目标感知地图是一张自适应的概率图，在车辆的行驶的过程中，可以不断地提高各个目标、库位以及障碍物的位置的准确性。
在其中一个实施例中，依次对初始图像和以及对应的环视图进行库位识别得到库位信息，依次对初始图像进行目标识别得到障碍物信息，包括：依次对初始图像和以及对应的环视图进行库位识别得到库位概率图，依次对初始图像进行目标识别得到障碍物概率图；基于目标概率以及库位概率图得到库位信息；基于目标概率以及障碍物概率图得到障碍物 信息。上述实施例中，所得到的目标感知地图是一张自适应的概率图，在车辆的行驶的过程中，可以不断地提高各个目标、库位以及障碍物的位置的准确性。
具体地，上述的语义分割处理、库位检测以及目标检测的结果均是概率，例如车辆终端对环视图进行语义分割处理得到的是一张初始概率图，该初始概率图给出了可通行区域和障碍物区域的概率，为了提高处理的准确性，防止漏检误检的产生，车辆终端可以获取上一目标感知地图对应的可通行区域和障碍物区域的目标概率，这样针对同一可通行区域和障碍物区域则进行概率的融合，例如求取平均值以得到新的初始感知地图，初始感知地图包括可通行区域和障碍物区域的概率，且在显示的时候，可以对概率进行判断以确定该区域是可通行区域还是障碍物区域。
此外，车辆终端还可以依次对初始图像和以及对应的环视图进行库位识别得到库位概率图，依次对初始图像进行目标识别得到障碍物概率图，这样基于目标概率以及库位概率图得到库位信息；基于目标概率以及障碍物概率图得到障碍物信息，即叠加了上一帧处理的信息，防止漏检和误检所带来的处理误差，提高处理的精度。
上述实施例中，感知并不是一次检测到就结束了，会在整个车辆行进的过程中，只要感知的目标在视野中就会一帧一帧的不断计算，会出现同一个目标多次检测到，多次检测过程中也会有漏检和误检，基于贝叶斯概率密度模型来估计在整个感知地图中的障碍物类别置信度，提高目标感知地图的准确性。
下面提供车辆泊车场景下本申请中的感知地图生成方法的具体应用，在车辆进行泊车运行过程中，以采用如下的方式：
在安装有车载环视系统的车辆进入自动泊车运行过程中，车辆终端实时对环视图进行语义分割处理得到初始感知地图以及运算的时间戳信息进行输出，并同时异步的获取库位检测的库位信息，目标检测的障碍物信息，当检测出对应的目标之后，结合处理图像的时间戳信息，处理时间信息输出至初始感知地图；
车辆终端基于时间戳信息与CAN信息对于语义分割的结果进行航位推算补偿，构建出一个基础地图，对于库位检测以及目标检测给出的结果同时进行航位推算补偿更新到基础地图中。
后续车辆行驶过程中，车辆终端根据贝叶斯概率密度模型构建出一张自适应的目标感知地图，给出障碍物位置类别，以及可通行区域的信息，库位信息等，以供APA实际泊车过程中的路径规划和车辆控制使用。
上述实施例中给出了嵌入式端基于车载环视系统与航位推算的实时在线感知地图构建方案，可以采集不同场景下的车身周边信息得到可靠的目标感知地图，进而保证更高级别的功能拓展，如APA、AVP功能的实现的可靠性与便利性。
应该理解的是，虽然图2和图4的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2和图4 中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在其中一个实施例中，如图5所示，提供了一种感知地图生成装置，包括：采集模块100、语义分割模块200、库位识别模块300、目标识别模块400和感知地图生成模块500，其中：
采集模块100，用于采集车辆周围的初始图像，并根据多张初始图像生成环视图；
语义分割模块200，用于对环视图进行语义分割处理得到初始感知地图，初始感知地图包括可通行区域和障碍物区域；
库位识别模块300，用于对初始图像和以及对应的环视图进行库位识别得到库位信息；
目标识别模块400，用于对初始图像进行目标识别得到障碍物信息；
感知地图生成模块500，用于将库位信息和障碍物信息反投影至初始感知地图中，以对初始感知地图中的可通行区域和障碍物区域进行调整，得到目标感知地图。
在其中一个实施例中，上述的采集模块100还用于依次获取拍摄时间戳相对应的多张初始图像，并生成环视图，环视图的时间戳与初始图像的时间戳相对应。
在其中一个实施例中，上述的语义分割模块200还用于依次对所生成的环视图进行语义分割处理得到初始感知地图，初始感知地图的时间戳与环视图的时间戳对应；
上述的库位识别模块300还用于依次对初始图像和以及对应的环视图进行库位识别得到库位信息；
上述的目标识别模块400还用于依次对初始图像进行目标识别得到障碍物信息，库位信息和障碍物信息的时间戳与初始图像的时间戳对应。
在其中一个实施例中，上述的感知地图生成装置还包括：
参考信息生成模块，用于获取车辆的速度、行驶方向以及当前时间；
第一补偿时间获取模块，用于根据当前时间和初始感知地图的时间戳得到第一补偿时间；
航位补偿模块，用于基于车辆的速度、行驶方向以及补偿时间对车辆位置进行航位补偿得到车辆在初始感知地图中的位置。
在其中一个实施例中，上述的感知地图生成模块500包括：
时间戳获取单元，用于获取初始感知地图的时间戳；
第二补偿时间获取单元，用于分别根据库位信息的时间戳、障碍物信息的时间戳计算与初始感知地图的时间戳之间的第二补偿时间；
航位补偿单元，用于根据第二补偿时间对库位信息和障碍物信息进行航位补偿；
反投影单元，用于将航位补偿后的库位信息和障碍物信息反投影至初始感知地图中。
在其中一个实施例中，上述的语义分割模块200可以包括：
初始概率图生成单元，用于依次对所生成的环视图进行语义分割处理得到初始概率图；
目标概率获取单元，用于获取上一目标感知地图对应的目标概率；
初始感知地图生成单元，用于基于初始概率图以及目标概率得到初始感知地图，初始感知地图包括可通行区域和障碍物区域的概率。
在其中一个实施例中，上述库位识别模块300还用于依次对初始图像和以及对应的环视图进行库位识别得到库位概率图，基于目标概率以及库位概率图得到库位信息；
上述目标识别模块400还用于依次对初始图像进行目标识别得到障碍物概率图；基于目标概率以及障碍物概率图得到障碍物信息。
在其中一个实施例中，上述的库位识别模块300可以包括：
库位特征获取单元，用于对初始图像和以及对应的环视图进行库位识别得到库位特征；
预设库位判断逻辑获取单元，用于获取预设库位判断逻辑；
库位信息获取单元，用于通过预设库位判断逻辑对库位特征进行判断得到库位信息。
关于感知地图生成装置的具体限定可以参见上文中对于感知地图生成方法的限定，在此不再赘述。上述感知地图生成装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图6所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机可读存储介质。该内存储器为非易失性存储介质中的操作系统和计算机可读存储介质的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机可读存储介质被处理器执行时以实现一种感知地图生成方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图6中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
一种计算机设备，包括存储器和一个或多个处理器，存储器中储存有计算机可读指令， 计算机可读指令被处理器执行时，使得一个或多个处理器执行以下步骤：采集车辆周围的初始图像，并根据多张初始图像生成环视图；对环视图进行语义分割处理得到初始感知地图，初始感知地图包括可通行区域和障碍物区域；对初始图像和以及对应的环视图进行库位识别得到库位信息，对初始图像进行目标识别得到障碍物信息；将库位信息和障碍物信息反投影至初始感知地图中，以对初始感知地图中的可通行区域和障碍物区域进行调整，得到目标感知地图。
在其中一个实施例中，处理器执行计算机可读存储介质时所实现的初始图像携带有拍摄时间戳，根据多张初始图像生成环视图，包括：依次获取拍摄时间戳相对应的多张初始图像，并生成环视图，环视图的时间戳与初始图像的时间戳相对应。
在其中一个实施例中，处理器执行计算机可读存储介质时所实现的对环视图进行语义分割处理得到初始感知地图，包括：依次对所生成的环视图进行语义分割处理得到初始感知地图，初始感知地图的时间戳与环视图的时间戳对应；处理器执行计算机可读存储介质时所实现的对初始图像和以及对应的环视图进行库位识别得到库位信息，对初始图像进行目标识别得到障碍物信息，包括：依次对初始图像和以及对应的环视图进行库位识别得到库位信息，依次对初始图像进行目标识别得到障碍物信息，库位信息和障碍物信息的时间戳与初始图像的时间戳对应。
在其中一个实施例中，处理器执行计算机可读存储介质时所实现的依次对所生成的环视图进行语义分割处理得到初始感知地图之后，还包括：获取车辆的速度、行驶方向以及当前时间；根据当前时间和初始感知地图的时间戳得到第一补偿时间；基于车辆的速度、行驶方向以及补偿时间对车辆位置进行航位补偿得到车辆在初始感知地图中的位置。
在其中一个实施例中，处理器执行计算机可读存储介质时所实现的将库位信息和障碍物信息反投影至初始感知地图中，包括：获取初始感知地图的时间戳；分别根据库位信息的时间戳、障碍物信息的时间戳计算与初始感知地图的时间戳之间的第二补偿时间；根据第二补偿时间对库位信息和障碍物信息进行航位补偿；将航位补偿后的库位信息和障碍物信息反投影至初始感知地图中。
在其中一个实施例中，处理器执行计算机可读存储介质时所实现的依次对所生成的环视图进行语义分割处理得到初始感知地图，包括：依次对所生成的环视图进行语义分割处理得到初始概率图；获取上一目标感知地图对应的目标概率；基于初始概率图以及目标概率得到初始感知地图，初始感知地图包括可通行区域和障碍物区域的概率。
在其中一个实施例中，处理器执行计算机可读存储介质时所实现的依次对初始图像和以及对应的环视图进行库位识别得到库位信息，依次对初始图像进行目标识别得到障碍物信息，包括：依次对初始图像和以及对应的环视图进行库位识别得到库位概率图，依次对初始图像进行目标识别得到障碍物概率图；基于目标概率以及库位概率图得到库位信息；基于目标概率以及障碍物概率图得到障碍物信息。
在其中一个实施例中，处理器执行计算机可读存储介质时所实现的对初始图像和以及 对应的环视图进行库位识别得到库位信息，包括：对初始图像和以及对应的环视图进行库位识别得到库位特征；获取预设库位判断逻辑；通过预设库位判断逻辑对库位特征进行判断得到库位信息。
一个或多个存储有计算机可读指令的非易失性计算机可读存储介质，计算机可读指令被一个或多个处理器执行时，使得一个或多个处理器执行以下步骤：：采集车辆周围的初始图像，并根据多张初始图像生成环视图；对环视图进行语义分割处理得到初始感知地图，初始感知地图包括可通行区域和障碍物区域；对初始图像和以及对应的环视图进行库位识别得到库位信息，对初始图像进行目标识别得到障碍物信息；将库位信息和障碍物信息反投影至初始感知地图中，以对初始感知地图中的可通行区域和障碍物区域进行调整，得到目标感知地图。
在其中一个实施例中，处理器执行计算机可读存储介质时所实现的初始图像携带有拍摄时间戳，根据多张初始图像生成环视图，包括：依次获取拍摄时间戳相对应的多张初始图像，并生成环视图，环视图的时间戳与初始图像的时间戳相对应。
在其中一个实施例中，计算机可读存储介质被处理器执行时所实现的对环视图进行语义分割处理得到初始感知地图，包括：依次对所生成的环视图进行语义分割处理得到初始感知地图，初始感知地图的时间戳与环视图的时间戳对应；计算机可读存储介质被处理器执行时所实现的对初始图像和以及对应的环视图进行库位识别得到库位信息，对初始图像进行目标识别得到障碍物信息，包括：依次对初始图像和以及对应的环视图进行库位识别得到库位信息，依次对初始图像进行目标识别得到障碍物信息，库位信息和障碍物信息的时间戳与初始图像的时间戳对应。
在其中一个实施例中，计算机可读存储介质被处理器执行时所实现的依次对所生成的环视图进行语义分割处理得到初始感知地图之后，还包括：获取车辆的速度、行驶方向以及当前时间；根据当前时间和初始感知地图的时间戳得到第一补偿时间；基于车辆的速度、行驶方向以及补偿时间对车辆位置进行航位补偿得到车辆在初始感知地图中的位置。
在其中一个实施例中，计算机可读存储介质被处理器执行时所实现的将库位信息和障碍物信息反投影至初始感知地图中，包括：获取初始感知地图的时间戳；分别根据库位信息的时间戳、障碍物信息的时间戳计算与初始感知地图的时间戳之间的第二补偿时间；根据第二补偿时间对库位信息和障碍物信息进行航位补偿；将航位补偿后的库位信息和障碍物信息反投影至初始感知地图中。
在其中一个实施例中，计算机可读存储介质被处理器执行时所实现的依次对所生成的环视图进行语义分割处理得到初始感知地图，包括：依次对所生成的环视图进行语义分割处理得到初始概率图；获取上一目标感知地图对应的目标概率；基于初始概率图以及目标概率得到初始感知地图，初始感知地图包括可通行区域和障碍物区域的概率。
在其中一个实施例中，计算机可读存储介质被处理器执行时所实现的依次对初始图像和以及对应的环视图进行库位识别得到库位信息，依次对初始图像进行目标识别得到障碍 物信息，包括：依次对初始图像和以及对应的环视图进行库位识别得到库位概率图，依次对初始图像进行目标识别得到障碍物概率图；基于目标概率以及库位概率图得到库位信息；基于目标概率以及障碍物概率图得到障碍物信息。
在其中一个实施例中，计算机可读存储介质被处理器执行时所实现的对初始图像和以及对应的环视图进行库位识别得到库位信息，包括：对初始图像和以及对应的环视图进行库位识别得到库位特征；获取预设库位判断逻辑；通过预设库位判断逻辑对库位特征进行判断得到库位信息。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机可读存储介质来指令相关的硬件来完成，所述的计算机可读存储介质可存储于一非易失性计算机可读取存储介质中，该计算机可读存储介质在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
Claims (20)
- 一种感知地图生成方法，包括：采集车辆周围的初始图像，并根据多张所述初始图像生成环视图；对所述环视图进行语义分割处理得到初始感知地图，所述初始感知地图包括可通行区域和障碍物区域；对所述初始图像和以及对应的所述环视图进行库位识别得到库位信息，对所述初始图像进行目标识别得到障碍物信息；及将所述库位信息和所述障碍物信息反投影至所述初始感知地图中，以对所述初始感知地图中的可通行区域和障碍物区域进行调整，得到目标感知地图。
- 根据权利要求1所述的方法，其特征在于，所述初始图像携带有拍摄时间戳，所述根据多张所述初始图像生成环视图，包括：依次获取所述拍摄时间戳相对应的多张所述初始图像，并生成环视图，所述环视图的时间戳与所述初始图像的时间戳相对应。
- 根据权利要求2所述的方法，其特征在于，所述对所述环视图进行语义分割处理得到初始感知地图，包括：依次对所生成的所述环视图进行语义分割处理得到初始感知地图，所述初始感知地图的时间戳与所述环视图的时间戳对应；及所述对所述初始图像和以及对应的所述环视图进行库位识别得到库位信息，对所述初始图像进行目标识别得到障碍物信息，包括：依次对所述初始图像和以及对应的所述环视图进行库位识别得到库位信息，依次对所述初始图像进行目标识别得到障碍物信息，所述库位信息和所述障碍物信息的时间戳与所述初始图像的时间戳对应。
- 根据权利要求3所述的方法，其特征在于，所述依次对所生成的所述环视图进行语义分割处理得到初始感知地图之后，还包括：获取车辆的速度、行驶方向以及当前时间；根据所述当前时间和所述初始感知地图的时间戳得到第一补偿时间；及基于所述车辆的速度、行驶方向以及所述补偿时间对车辆位置进行航位补偿得到车辆在所述初始感知地图中的位置。
- 根据权利要求3所述的方法，其特征在于，所述将所述库位信息和所述障碍物信息反投影至所述初始感知地图中，包括：获取所述初始感知地图的时间戳；分别根据所述库位信息的时间戳、所述障碍物信息的时间戳计算与所述初始感知地图的时间戳之间的第二补偿时间；根据所述第二补偿时间对所述库位信息和障碍物信息进行航位补偿；及将航位补偿后的所述库位信息和所述障碍物信息反投影至所述初始感知地图中。
- 根据权利要求3所述的方法，其特征在于，所述依次对所生成的所述环视图进行语义分割处理得到初始感知地图，包括：依次对所生成的所述环视图进行语义分割处理得到初始概率图；获取上一目标感知地图对应的目标概率；及基于所述初始概率图以及所述目标概率得到初始感知地图，所述初始感知地图包括可通行区域和障碍物区域的概率。
- 根据权利要求3所述的方法，其特征在于，所述依次对所述初始图像和以及对应的所述环视图进行库位识别得到库位信息，依次对所述初始图像进行目标识别得到障碍物信息，包括：依次对所述初始图像和以及对应的所述环视图进行库位识别得到库位概率图，依次对所述初始图像进行目标识别得到障碍物概率图；基于所述目标概率以及所述库位概率图得到库位信息；及基于所述目标概率以及所述障碍物概率图得到障碍物信息。
- 根据权利要求1至7任意一项所述的方法，其特征在于，所述对所述初始图像和以及对应的所述环视图进行库位识别得到库位信息，包括：对所述初始图像和以及对应的所述环视图进行库位识别得到库位特征；获取预设库位判断逻辑；及通过所述预设库位判断逻辑对所述库位特征进行判断得到库位信息。
- 一种感知地图生成装置，其特征在于，所述装置包括：采集模块，用于采集车辆周围的初始图像，并根据多张所述初始图像生成环视图；语义分割模块，用于对所述环视图进行语义分割处理得到初始感知地图，所述初始感知地图包括可通行区域和障碍物区域；库位识别模块，用于对所述初始图像和以及对应的所述环视图进行库位识别得到库位信息；目标识别模块，用于对所述初始图像进行目标识别得到障碍物信息；感知地图生成模块，用于将所述库位信息和所述障碍物信息反投影至所述初始感知地图中，以对所述初始感知地图中的可通行区域和障碍物区域进行调整，得到目标感知地图。
- 根据权利要求9所述的装置，其特征在于，所述采集模块还用于依次获取所述拍摄时间戳相对应的多张所述初始图像，并生成环视图，所述环视图的时间戳与所述初始图像的时间戳相对应。
- 一种计算机设备，包括存储器及一个或多个处理器，所述存储器中储存有计算机可读指令，所述计算机可读指令被所述一个或多个处理器执行时，使得所述一个或多个处理器执行以下步骤：采集车辆周围的初始图像，并根据多张所述初始图像生成环视图；对所述环视图进行语义分割处理得到初始感知地图，所述初始感知地图包括可通行区 域和障碍物区域；对所述初始图像和以及对应的所述环视图进行库位识别得到库位信息，对所述初始图像进行目标识别得到障碍物信息；及将所述库位信息和所述障碍物信息反投影至所述初始感知地图中，以对所述初始感知地图中的可通行区域和障碍物区域进行调整，得到目标感知地图。
- 根据权利要求11所述的计算机设备，其特征在于，所述处理器执行所述计算机可读指令时所实现的所述初始图像携带有拍摄时间戳，所述根据多张所述初始图像生成环视图，包括：依次获取所述拍摄时间戳相对应的多张所述初始图像，并生成环视图，所述环视图的时间戳与所述初始图像的时间戳相对应。
- 根据权利要求12所述的计算机设备，其特征在于，所述处理器执行所述计算机可读指令时所实现的所述对所述环视图进行语义分割处理得到初始感知地图，包括：依次对所生成的所述环视图进行语义分割处理得到初始感知地图，所述初始感知地图的时间戳与所述环视图的时间戳对应；及所述对所述初始图像和以及对应的所述环视图进行库位识别得到库位信息，对所述初始图像进行目标识别得到障碍物信息，包括：依次对所述初始图像和以及对应的所述环视图进行库位识别得到库位信息，依次对所述初始图像进行目标识别得到障碍物信息，所述库位信息和所述障碍物信息的时间戳与所述初始图像的时间戳对应。
- 根据权利要求13所述的计算机设备，其特征在于，所述处理器执行所述计算机可读指令时所实现的所述依次对所生成的所述环视图进行语义分割处理得到初始感知地图之后，还包括：获取车辆的速度、行驶方向以及当前时间；根据所述当前时间和所述初始感知地图的时间戳得到第一补偿时间；及基于所述车辆的速度、行驶方向以及所述补偿时间对车辆位置进行航位补偿得到车辆在所述初始感知地图中的位置。
- 根据权利要求13所述的计算机设备，其特征在于，所述处理器执行所述计算机可读指令时所实现的所述将所述库位信息和所述障碍物信息反投影至所述初始感知地图中，包括：获取所述初始感知地图的时间戳；分别根据所述库位信息的时间戳、所述障碍物信息的时间戳计算与所述初始感知地图的时间戳之间的第二补偿时间；根据所述第二补偿时间对所述库位信息和障碍物信息进行航位补偿；及将航位补偿后的所述库位信息和所述障碍物信息反投影至所述初始感知地图中。
- 根据权利要求13所述的计算机设备，其特征在于，所述处理器执行所述计算机 可读指令时所实现的所述依次对所生成的所述环视图进行语义分割处理得到初始感知地图，包括：依次对所生成的所述环视图进行语义分割处理得到初始概率图；获取上一目标感知地图对应的目标概率；及基于所述初始概率图以及所述目标概率得到初始感知地图，所述初始感知地图包括可通行区域和障碍物区域的概率。
- 根据权利要求13所述的计算机设备，其特征在于，所述处理器执行所述计算机可读指令时所实现的所述依次对所述初始图像和以及对应的所述环视图进行库位识别得到库位信息，依次对所述初始图像进行目标识别得到障碍物信息，包括：依次对所述初始图像和以及对应的所述环视图进行库位识别得到库位概率图，依次对所述初始图像进行目标识别得到障碍物概率图；基于所述目标概率以及所述库位概率图得到库位信息；及基于所述目标概率以及所述障碍物概率图得到障碍物信息。
- 根据权利要求11至17任意一项所述的计算机设备，其特征在于，所述处理器执行所述计算机可读指令时所实现的所述对所述初始图像和以及对应的所述环视图进行库位识别得到库位信息，包括：对所述初始图像和以及对应的所述环视图进行库位识别得到库位特征；获取预设库位判断逻辑；及通过所述预设库位判断逻辑对所述库位特征进行判断得到库位信息。
- 一个或多个存储有计算机可读指令的非易失性计算机可读存储介质，所述计算机可读指令被一个或多个处理器执行时，使得所述一个或多个处理器执行以下步骤：采集车辆周围的初始图像，并根据多张所述初始图像生成环视图；对所述环视图进行语义分割处理得到初始感知地图，所述初始感知地图包括可通行区域和障碍物区域；对所述初始图像和以及对应的所述环视图进行库位识别得到库位信息，对所述初始图像进行目标识别得到障碍物信息；及将所述库位信息和所述障碍物信息反投影至所述初始感知地图中，以对所述初始感知地图中的可通行区域和障碍物区域进行调整，得到目标感知地图。
- 根据权利要求19所述的存储介质，其特征在于，所述计算机可读指令被所述处理器执行时所实现的所述初始图像携带有拍摄时间戳，所述根据多张所述初始图像生成环视图，包括：依次获取所述拍摄时间戳相对应的多张所述初始图像，并生成环视图，所述环视图的时间戳与所述初始图像的时间戳相对应。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2020/088818 WO2021223116A1 (zh) | 2020-05-06 | 2020-05-06 | 感知地图生成方法、装置、计算机设备和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/CN2020/088818 WO2021223116A1 (zh) | 2020-05-06 | 2020-05-06 | 感知地图生成方法、装置、计算机设备和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2021223116A1 true WO2021223116A1 (zh) | 2021-11-11 |
Family
ID=78468553
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2020/088818 WO2021223116A1 (zh) | 2020-05-06 | 2020-05-06 | 感知地图生成方法、装置、计算机设备和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| WO (1) | WO2021223116A1 (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114030463A (zh) * | 2021-11-23 | 2022-02-11 | 上海汽车集团股份有限公司 | 一种自动泊车系统的路径规划方法及装置 |
| CN114608592A (zh) * | 2022-02-10 | 2022-06-10 | 上海追势科技有限公司 | 一种地图的众包方法、系统、设备和存储介质 |
| CN116563817A (zh) * | 2023-04-14 | 2023-08-08 | 禾多科技（北京）有限公司 | 障碍物信息生成方法、装置、电子设备和计算机可读介质 |
| WO2023232055A1 (zh) * | 2022-06-01 | 2023-12-07 | 阿里云计算有限公司 | 地图生成方法以及装置 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150268058A1 (en) * | 2014-03-18 | 2015-09-24 | Sri International | Real-time system for multi-modal 3d geospatial mapping, object recognition, scene annotation and analytics |
| CN108920584A (zh) * | 2018-06-25 | 2018-11-30 | 广州视源电子科技股份有限公司 | 一种语义栅格地图生成方法及其装置 |
| CN108959321A (zh) * | 2017-05-25 | 2018-12-07 | 纵目科技（上海）股份有限公司 | 停车场地图构建方法、系统、移动终端及存储介质 |
| CN109186586A (zh) * | 2018-08-23 | 2019-01-11 | 北京理工大学 | 一种面向动态泊车环境的同时定位及混合地图构建方法 |
| CN109253731A (zh) * | 2018-08-06 | 2019-01-22 | 百度在线网络技术（北京）有限公司 | 停车场地图生成方法、装置、设备及可读存储介质 |
| US20190145784A1 (en) * | 2017-11-15 | 2019-05-16 | Uber Technologies, Inc. | Lightweight Vehicle Localization Systems and Methods |
| CN110057373A (zh) * | 2019-04-22 | 2019-07-26 | 上海蔚来汽车有限公司 | 用于生成高精细语义地图的方法、装置和计算机存储介质 |
| CN110136058A (zh) * | 2018-10-25 | 2019-08-16 | 北京初速度科技有限公司 | 一种基于俯视拼接图的建图方法及车载终端 |
-
2020
- 2020-05-06 WO PCT/CN2020/088818 patent/WO2021223116A1/zh active Application Filing
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150268058A1 (en) * | 2014-03-18 | 2015-09-24 | Sri International | Real-time system for multi-modal 3d geospatial mapping, object recognition, scene annotation and analytics |
| CN108959321A (zh) * | 2017-05-25 | 2018-12-07 | 纵目科技（上海）股份有限公司 | 停车场地图构建方法、系统、移动终端及存储介质 |
| US20190145784A1 (en) * | 2017-11-15 | 2019-05-16 | Uber Technologies, Inc. | Lightweight Vehicle Localization Systems and Methods |
| CN108920584A (zh) * | 2018-06-25 | 2018-11-30 | 广州视源电子科技股份有限公司 | 一种语义栅格地图生成方法及其装置 |
| CN109253731A (zh) * | 2018-08-06 | 2019-01-22 | 百度在线网络技术（北京）有限公司 | 停车场地图生成方法、装置、设备及可读存储介质 |
| CN109186586A (zh) * | 2018-08-23 | 2019-01-11 | 北京理工大学 | 一种面向动态泊车环境的同时定位及混合地图构建方法 |
| CN110136058A (zh) * | 2018-10-25 | 2019-08-16 | 北京初速度科技有限公司 | 一种基于俯视拼接图的建图方法及车载终端 |
| CN110057373A (zh) * | 2019-04-22 | 2019-07-26 | 上海蔚来汽车有限公司 | 用于生成高精细语义地图的方法、装置和计算机存储介质 |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114030463A (zh) * | 2021-11-23 | 2022-02-11 | 上海汽车集团股份有限公司 | 一种自动泊车系统的路径规划方法及装置 |
| CN114030463B (zh) * | 2021-11-23 | 2024-05-14 | 上海汽车集团股份有限公司 | 一种自动泊车系统的路径规划方法及装置 |
| CN114608592A (zh) * | 2022-02-10 | 2022-06-10 | 上海追势科技有限公司 | 一种地图的众包方法、系统、设备和存储介质 |
| WO2023232055A1 (zh) * | 2022-06-01 | 2023-12-07 | 阿里云计算有限公司 | 地图生成方法以及装置 |
| CN116563817A (zh) * | 2023-04-14 | 2023-08-08 | 禾多科技（北京）有限公司 | 障碍物信息生成方法、装置、电子设备和计算机可读介质 |
| CN116563817B (zh) * | 2023-04-14 | 2024-02-20 | 禾多科技（北京）有限公司 | 障碍物信息生成方法、装置、电子设备和计算机可读介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021223116A1 (zh) | 感知地图生成方法、装置、计算机设备和存储介质 | |
| US9866782B2 (en) | Enhanced view for connected cars | |
| CN110032181B (zh) | 语义地图中障碍物定位方法、装置、计算机设备和存储介质 | |
| CN106845547B (zh) | 一种基于摄像头的智能汽车定位与道路标识识别系统及方法 | |
| US10740658B2 (en) | Object recognition and classification using multiple sensor modalities | |
| US10810754B2 (en) | Simultaneous localization and mapping constraints in generative adversarial networks for monocular depth estimation | |
| Zhao et al. | On-road vehicle trajectory collection and scene-based lane change analysis: Part i | |
| WO2018229549A2 (en) | System and method for digital environment reconstruction | |
| CN111753639A (zh) | 感知地图生成方法、装置、计算机设备和存储介质 | |
| WO2022222095A1 (zh) | 轨迹预测方法、装置、计算机设备和存储介质 | |
| Zhao et al. | A cooperative vehicle-infrastructure based urban driving environment perception method using a DS theory-based credibility map | |
| Dueholm et al. | Trajectories and maneuvers of surrounding vehicles with panoramic camera arrays | |
| Mahaur et al. | Road object detection: a comparative study of deep learning-based algorithms | |
| US11755917B2 (en) | Generating depth from camera images and known depth data using neural networks | |
| CN116685874A (zh) | 摄像机-激光雷达融合对象检测系统和方法 | |
| Beck et al. | Automated vehicle data pipeline for accident reconstruction: New insights from LiDAR, camera, and radar data | |
| WO2022006777A1 (zh) | 对周围移动物体进行变道分类的方法、系统、计算机设备及存储介质 | |
| Kang et al. | Location learning for AVs: LiDAR and image landmarks fusion localization with graph neural networks | |
| CN116563801A (zh) | 交通事故检测方法、装置、电子设备和介质 | |
| CN114596706B (zh) | 路侧感知系统的检测方法及装置、电子设备和路侧设备 | |
| WO2021226852A1 (zh) | 车位检测方法、装置、计算机设备和存储介质 | |
| Hamzah et al. | Parking Violation Detection on The Roadside of Toll Roads with Intelligent Transportation System Using Faster R-CNN Algorithm | |
| Zhao et al. | End-to-End Spatio-Temporal Attention-Based Lane-Change Intention Prediction from Multi-Perspective Cameras | |
| US20240161398A1 (en) | Late-to-early temporal fusion for point clouds | |
| US20230230389A1 (en) | Method for detecting information about at least one object and/or at least a part of free space in a representation of the environment of a system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20934738 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 20934738 Country of ref document: EP Kind code of ref document: A1 |
|
| 32PN | Ep: public notification in the ep bulletin as address of the adressee cannot be established |
Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205 DATED 23/05/2023) |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 20934738 Country of ref document: EP Kind code of ref document: A1 |