WO2021098079A1 - 一种利用双目立体相机构建栅格地图的方法 - Google Patents
一种利用双目立体相机构建栅格地图的方法 Download PDFInfo
- Publication number
- WO2021098079A1 WO2021098079A1 PCT/CN2020/077949 CN2020077949W WO2021098079A1 WO 2021098079 A1 WO2021098079 A1 WO 2021098079A1 CN 2020077949 W CN2020077949 W CN 2020077949W WO 2021098079 A1 WO2021098079 A1 WO 2021098079A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- grid
- map
- height
- raster
- state
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/05—Geographic models
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
Definitions
- the invention belongs to the field of image processing and computer vision, and particularly relates to a method for constructing a raster map by using a binocular stereo camera.
- the invention uses a binocular stereo camera to obtain a parallax image, uses a priori information of a three-dimensional space to construct a raster map, and uses statistics to derive space occupation and object height information.
- Raster maps are the most common type of navigation maps, but a large number of grid map construction algorithms at this stage all use laser sensors.
- laser sensors have inevitable problems. They are expensive and difficult to popularize at this stage.
- the image resolution is low and it is difficult to present scene details.
- the present invention proposes to use a binocular stereo camera to construct a raster map.
- the binocular stereo camera has low cost, is universally easy to use, and has high image resolution.
- the present invention pays more attention to the three-dimensional information of the object in each grid. Therefore, the three-dimensional information of the object is stored in the grid map, and the probability of the existence of the object in the grid is understood. It is the number of times that the grid is projected, so that it can be filtered by an algorithm to keep the grids with high projection times and high probability, and eliminate the grids with low projection times and low probability.
- the invention aims to use binocular cameras to construct a local obstacle avoidance grid map containing three-dimensional spatial information.
- the present invention provides a method for constructing a raster map using a binocular stereo camera.
- the raster map is a representation of space, in which the current scene information is represented on a certain plane in the space.
- the intersection of the left camera and the vertical line of the ground in the binocular stereo camera is used as the origin O to establish a spatial rectangular coordinate system
- horizontal to the right is the positive direction of the X axis, and vertical to the right. It is the positive direction of the Y axis, and the horizontal forward direction is the positive direction of the Z axis.
- This coordinate system is the world coordinate system.
- the grid map is built on the XOZ plane, and each grid in the grid map represents a small area on the plane.
- Each grid in the grid map has one and only one state, and there are three states that can be set: unknown, occupied, and empty.
- a method for constructing a raster map using a binocular stereo camera includes the following steps:
- C i is the frequency of the i-th statistical interval
- C i-1 is the frequency of the i-1-th statistical interval
- ⁇ is the first scale factor
- N is the lowest frequency
- T h is the lowest barrier height, if the grid height h i ⁇ T h, then let the state of the grid is empty, otherwise continue;
- Equation (2) is that when the depth measurement is accurate, a r pixels are used to represent the side length of the grid located in the rth row, where img_width represents the width of the disparity map, grid_size represents the side length of the grid, and depth r represents the grid depth of the rth row , FOV denotes the field angle size; of formula (3) when depth measurement accuracy, pixel b i represents the application of the grid height h i of row r, where h i is the height of the raster i is calculated in step 5) ; T i is the grid threshold, a r ⁇ b i represents the depth measurement accuracy, the r-th row grid_size width, the number of pixels for the height h i of the rectangular surface due, taking into account the robustness and irregular shape Increase the second scale factor ⁇ r ;
- the present invention designs a method for constructing a raster map using a binocular stereo camera, uses statistics to find the height of the grid, uses space geometry to solve the adaptive threshold of the grid, and constructs a reliable grid map. It has the following characteristics :
- the system is easy to construct, and the input data can be collected by using a stereo binocular camera;
- Figure 1 is the actual acquisition platform.
- Figure 2 shows the left image captured by the left camera.
- Figure 3 shows the right image captured by the right camera.
- Figure 4 is a disparity map.
- Figure 5 shows the overall flow chart of the algorithm.
- Figure 6 is a flow chart of filtering and screening.
- Figure 7 is a schematic diagram of a grid threshold calculation method.
- Figure 8 shows the visualization result without filtering.
- Figure 9 is the visualization result of Figure 8 after adding height filtering.
- Figure 10 is the visualization result of Figure 9 after threshold filtering is added.
- Figure 11 is a detailed enlarged view.
- the present invention proposes a method for constructing a raster map using a binocular stereo camera, and the specific implementation of the present invention is described in detail in conjunction with the technical solution and the drawings.
- the X coordinate of the grid center is calculated as (c-cols/2+0.5) ⁇ *grid_size, c is the column number of the grid; Z coordinate is (rows-r-0.5) ⁇ *grid_size, r is the row of the grid Number; Y coordinate is set to 0.
- this coordinate system In space, take the intersection of the left camera and the vertical line of the ground in the binocular stereo camera as the origin O to establish a spatial rectangular coordinate system, horizontal to the right is the positive direction of the X axis, vertically upwards is the positive direction of the Y axis, and horizontally forward is the Z axis In the positive direction, this coordinate system is the world coordinate system.
- C i is the frequency of the i-th statistical interval
- C i-1 is the frequency of the i-1-th statistical interval
- ⁇ is the first scale factor
- N is the lowest frequency
- Equation (2) is that when the depth measurement is accurate, a r pixels are used to represent the side length of the grid located in the rth row, where img_width represents the width of the disparity map, grid_size represents the side length of the grid, and depth r represents the grid depth of the rth row , FOV denotes the field angle size; of formula (3) when depth measurement accuracy, pixel b i represents the application of the grid height h i of row r, where h i is the height of the raster i is calculated in step 5) ; T i is the grid threshold, a r ⁇ b i represents the depth measurement accuracy, the r-th row grid_size width, the number of pixels for the height h i of the rectangular surface due, taking into account the robustness and irregular shape Increase the second scale factor ⁇ r ;
- FIG. 1 is system equipment and inputs
- Figures 5 to 7 are descriptions of the algorithm flow.
- the output is shown in Figures 8 to 11. .
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- Geometry (AREA)
- Remote Sensing (AREA)
- Computer Graphics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Image Processing (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
一种利用双目立体相机构建栅格地图的方法，属于图像处理和计算机视觉领域。利用双目相机和GPU构建高性能运算平台，并构建高性能求解算法以获高质量的包含三维信息栅格地图。地图系统容易构建，使用双目立体相机即可完成输入数据的采集；程序简单，易于实现；利用空间先验信息，统计学知识推算栅格高度，使得三维结果更具有鲁棒性；利用空间几何求解栅格的自适应阈值，完成栅格的过滤筛选，提升了算法的泛化能力和鲁棒性。
Description
本发明属于图像处理和计算机视觉领域，具体涉及一种利用双目立体相机构建栅格地图的方法。本发明采用双目立体相机获取视差图像，并且利用三维空间的先验信息构建栅格地图，并利用统计学推导空间的占据以及物体的高度信息。
近年伴随着人工智能的发展，移动机器人和汽车自动驾驶越来越受到人们的关注，而其中一个需要解决主要的问题就是导航地图的构建。导航地图中栅格地图是最为常见的一种，但是现阶段大量的栅格地图构建算法都是利用激光传感器。但是激光传感器存在着不可避免的问题，价格昂贵、现阶段难以普及，图像分辨率低难以呈现场景细节。本发明提出使用双目立体相机构建栅格地图，双目立体相机的成本低，普世易用，而且图像分辨率高。但是在现阶段的应用中少有利用双目立体相机构建栅格地图的方法，而且大多数的栅格地图构建方法所构建的是二维地图，缺少高度的信息，无法满足无人机等具有三维机动性的设备的需求。与概率栅格地图有所不同，本发明更关注每个栅格中存在物体的三维信息，因此在栅格地图存储的是物体的三维信息，而将栅格地图中栅格存在物体的概率理解为栅格被投影的次数，这样就可以通过算法进行筛选，保留高投影次数，高概率的栅格，剔除低投影次数，低概率的栅格。本发明旨在使用双目相机构建包含三维空间信息的局部避障栅格地图。
发明内容
为实现上述目的，本发明提供了一种利用双目立体相机构建栅格地图的方法。栅格地图是对空间的一种表示，在空间中某一平面上表示当前场景信息。为了说明具体算法在本发明中有如下实例，在空间中以双目立体相机中左相机与地面的垂线的交点为原点O建立空间直角坐标系，水平向右为X轴正方向，垂直向上为Y轴正方向，水平向前为Z轴正方向，此坐标系为世界坐标系。栅格地图建 立在XOZ平面上，栅格地图中的每一个栅格表示平面上的一个小平面区域。栅格地图中每一个栅格有且只有一个状态，可设置的状态有三个：未知、占据、空。
本发明的具体技术方案：
一种利用双目立体相机构建栅格地图的方法，包括以下步骤：
1)创建栅格地图：
1.1)确定栅格地图的空间信息：从配置文件中获取目标计算的最高高度、最低高度、最远距离和视场角；并确定栅格地图的空间信息，即栅格地图覆盖最高位置、最低位置、最远位置、最近位置、最右侧位置和最左侧位置；
1.2)划分栅格：将栅格地图划分为规则图形；计算出每个栅格中心的坐标；默认所有栅格的状态为空；
1.3)根据双目相机的实际摆放位置确定世界坐标系；
2)获取原始数据：利用双目立体相机获取场景图像和视差图；
3)生成三维坐标点：利用场景图像中匹配点的三角关系和视差图，生成三维坐标点，并转换到世界坐标系，只保留位于1.1)中确定的栅格空间之内的三维坐标点；
4)平面投影：
4.1)将过滤后三维坐标点投影到栅格地图所在平面，如果投影后的三维坐标点映射在栅格中心的距离R内，则保留并统计投影次数，否则剔除不统计投影次数；
4.2)统计每个栅格中点的个数N
i；
5)高度统计及高度过滤：
5.1)令统计区间i的长度为length，每一个统计区间表示的高度为h
i(h
i＝i×length)，计算投影至栅格中所有三维点的Y轴坐标y所在的区间
并计算频数C
i。选取最大统计区间i
max，条件有二，一是统计区间的频数C
i大于上一个统计区间频数C
i-1的一定数量，二是频数C
i大于N，公式为：
i
max＝argmax
i{C
i＞N,C
i＞αC
i-1} (1)
式中，C
i为第i个统计区间的频数，C
i-1为第i-1个统计区间的频数，α为第一尺度因子，N是最低频数；
5.2)根据应用场景先验，令T
h为最低的障碍高度，如果栅格的高度h
i<T
h，则令栅格的状态为空，否则继续；
6)栅格阈值筛选：
6.1)利用视差图和1)中建立的栅格地图，计算出每个栅格的阈值T
i，公式如下：
T
i＝β
r×a
r×b
i (4)
式(2)为深度测量准确时，应用a
r个像素表示位于第r行的栅格边长，其中img_width表示视差图宽度，grid_size表示栅格边长，depth
r表示第r行的栅格深度，fov表示视场角大小；式(3)为深度测量准确时，应用b
i个像素表示第r行的栅格高度h
i，其中h
i为栅格i中的高度，由步骤5)计算；T
i为栅格阈值，a
r×b
i表示深度测量准确时，第r行中宽为grid_size、高为h
i的矩形面应有的像素个数，考虑到不规则形状以及鲁棒性增加了第二尺度因子β
r；
6.2)比较每个栅格中投影点的个数N
i与栅格阈值T
i；如果N
i＞γT
i，则令栅格的状态为占据，否则为空；γ为第三尺度因子；
6.3)如果栅格的状态为占据，则将栅格中心的X
i、Z
i坐标和栅格高度h
i组合为当前栅格的最高点；
7)扫描地图：
7.1)栅格地图中视场角fov外区域的栅格的状态设置为未知；
7.2)将双目相机光心坐标转换到世界坐标系，设为O′；连接O′与状态为占据的栅格虚拟最高点(X
i，Z
i，h
i)形成直线l，并将直线l投影到栅格地图所在的 XOZ平面，投影线为l′；
7.3)检索投影线l′远离双目相机的方向，如果投影线l′穿过空状态栅格，则将空状态的栅格置为未知；如果投影线l
′穿过占据状态栅格，将栅格中心(X
i，0，Z
i)垂直投影到投影线l′得到投影点(X
i′，0，Zi′)，如果
则将其状态置为未知；如果投影线l′穿过占据状态栅格，且h
i＞l(X
i′，Z
i′)
y，则重新计算直线l和投影线l′并继续上述过程；如果投影线l′穿过占据状态栅格，且
则继续检索；如果投影线l′到达栅格空间之外，则检索结束；其中l(X
i′，Z
i′)
y表示当X＝X
i′、Z＝Z
i′时取直线l上的Y轴坐标；
8)可视化：设置栅格对应像素分辨率，将7)中栅格地图可视化输出。
本发明的有益效果：
本发明设计了一种利用双目立体相机构建栅格地图的方法，利用统计学求解出栅格的高度，利用空间几何求解栅格的自适应阈值，构建了可靠的栅格地图，具有以下特点：
(1)系统容易构建，使用立体双目相机即可完成输入数据的采集；
(2)程序简单，易于实现；
(3)利用空间先验信息过滤视差和高效算法进行栅格过滤，提升栅格计算的运行速度和精度；
(4)利用统计推算出栅格高度，具有鲁棒性；
(5)利用空间几何求解栅格的自适应阈值，提升算法的泛化能力和鲁棒性。
图1是实际采集平台。
图2为左相机采集的左图像。
图3为右相机采集的右图像。
图4为视差图。
图5为算法整体流程图。
图6为过滤和筛选流程图。
图7为栅格阈值计算方法示意图。
图8为没有过滤处理的可视化结果。
图9为图8添加高度过滤后的可视化结果。
图10为图9添加阈值过滤后的可视化结果。
图11为细节放大图。
本发明提出了一种利用双目立体相机构建栅格地图的方法，结合技术方案和附图详细叙述本发明的具体实施方式。
将双目立体相机摆放在固定的平台上，实验相机的图像分辨率为1280×720，视场角为45.4°，实验平台如图1所示，为保证实时性利用GPU计算栅格地图。在此基础上设计构建栅格地图的方法，所述的方法包括下列步骤：
1)创建栅格地图：
1.1)从配置文件中获取需要计算的最高高度max_height、最低高度min_height、最远距离max_depth和视场角fov，即可确定最右侧位置为max_rigtht＝tan(fov/2)×max_depth，最左侧位置为max_left＝-tan(fov/2)×max_depth，从而确定了栅格地图的空间信息。
1.2)将栅格地图划分为规则图形，以正方形为例(下同)，边长为grid_size，所以栅格共有行数为rows＝max_depth/grid_size，列数为cols＝(max_rigtht-max_left)/grid_size。
计算出栅格中心的X坐标为(c-cols/2+0.5)×*grid_size，c为栅格所在列号；Z坐标为(rows-r-0.5)×*grid_size，r为栅格所在行号；Y坐标设为0。
1.3)根据双目相机的实际摆放位置确定世界坐标系；
在空间中以双目立体相机中左相机与地面的垂线的交点为原点O建立空间直角坐标系，水平向右为X轴正方向，垂直向上为Y轴正方向，水平向前为Z 轴正方向，此坐标系为世界坐标系。
2)获取原始数据：利用双目立体相机获取场景图像和视差图，场景图像如如图2、图3所示，视差图如图4所示；
如图5所示，下面是算法的主要流程，具体描述如下：
3)生成三维坐标点：利用双目图像中匹配点的三角关系和视差图，生成三维坐标点，并转换到世界坐标系，只保留位于1.1)中确定的栅格空间之内的三维坐标点；
4)平面投影：
4.1)将过滤后三维坐标点(X，Y，Z)投影到栅格地图所在平面，投影点为(X，0，Z)，投影到的栅格行号为r＝rows-Z/grid_size-1，如果X<0则列号c＝X/grid_size-max_left-1，否则为c＝X/grid_size-max_left。可由步骤1)查找出栅格中心坐标。计算投影点与栅格中心的距离d，如果d＜R则保留投影点，否则剔除，R取栅格内接圆团半径的四分之三；
4.2)统计每个栅格中点的个数N
i；
5)高度统计及高度过滤，：
5.1)令统计区间i的长度为length，每一个统计区间表示的高度为h
i(h
i＝i×length)，计算投影至栅格中所有三维点的Y轴坐标y所在的区间
并计算频数C
i。选取最大统计区间i
max，条件有二，一是统计区间的频数C
i大于上一个统计区间频数C
i-1的一定数量，二是频数C
i大于N，公式为：
i
max＝argmax
i{C
i＞N,C
i＞αC
i-1} (1)
式中，C
i为第i个统计区间的频数，C
i-1为第i-1个统计区间的频数，α为第一尺度因子，N是最低频数；
5.3)根据应用场景先验，令T
h为最低的障碍高度，如果栅格的高度h
i<T
h，则令栅格的状态为空，否则继续；
6)栅格阈值筛选，如图7所示：
6.1)计算出每个栅格的阈值T
i，公式如下：
T
i＝β
r×a
r×b
i (4)
式(2)为深度测量准确时，应用a
r个像素表示位于第r行的栅格边长，其中img_width表示视差图宽度，grid_size表示栅格边长，depth
r表示第r行的栅格深度，fov表示视场角大小；式(3)为深度测量准确时，应用b
i个像素表示第r行的栅格高度h
i，其中h
i为栅格i中的高度，由步骤5)计算；T
i为栅格阈值，a
r×b
i表示深度测量准确时，第r行中宽为grid_size、高为h
i的矩形面应有的像素个数，考虑到不规则形状以及鲁棒性增加了第二尺度因子β
r；
6.2)比较每个栅格中投影点的个数N
i与T
i，如果N
i＞γT
i，则令栅格的状态为占据，否则为空，γ为第三尺度因子；
6.3)如果栅格的状态为占据，则将栅格中心的X
i、Z
i坐标和栅格高度
组合为当前栅格的最高点(X
i，Z
i，h
i)；
7)扫描地图：
7.1)栅格地图中视场角fov外区域的栅格的状态设置为未知，该区域栅格行号r和列号c有如下关系：
c＜r×tan(fov/2)||r×tan(fov/2)≥grid_width–c
7.2)将双目相机光心坐标转换到世界坐标系，设为O′；连接O′与状态为占据的栅格虚拟最高点(X
i，Z
i，h
i)形成直线l，并将直线l投影到栅格地图所在的XOZ平面，投影线为l′；
7.3)检索投影线l′远离双目相机的方向，如果投影线l′穿过空状态栅格，则将空状态的栅格置为未知；如果投影线l′穿过占据状态栅格，将栅格中心(X
i，0，Z
i)垂直投影到投影线l′得到投影点(X
i′，0，Z
i′)，如果
则将其状态置为未知；如果投影线l′穿过占据状态栅格，且h
i＞l(X
i′，Z
i′)
y，则重新计算直 线l和投影线l′并继续上述过程；如果投影线l′穿过占据状态栅格，且
l(X
i′，Z
i′)
y则继续检索；如果投影线l′到达栅格空间之外，则检索结束；其中l(X
i′，Z
i′)
y表示当X＝X
i′、Z＝Z
i′时取直线l上的Y轴坐标；
8)可视化：设置栅格对应像素分辨率将之前栅格地图可视化输出，图8-图11中设置分辨率为一个栅格用4×4大小的像素块。
本实施例详细描述了利用双目立体相机构建栅格地图的方法，图1-图4为系统设备和输入，图5-图7是为算法流程的描述，输出如图8-图11所示。
Claims (5)
- 一种利用双目立体相机构建栅格地图的方法，其特征在于，该方法包括以下步骤：1)创建栅格地图：1.1)确定栅格地图的空间信息：从配置文件中获取目标计算的最高高度、最低高度、最远距离和视场角；并确定栅格地图的空间信息，即栅格地图覆盖最高位置、最低位置、最远位置、最近位置、最右侧位置和最左侧位置；1.2)划分栅格：将栅格地图划分为规则图形；计算出每个栅格中心的坐标；默认所有栅格的状态为空；1.3)根据双目相机的实际摆放位置确定世界坐标系；2)获取原始数据：利用双目立体相机获取场景图像和视差图；3)生成三维坐标点：利用场景图像中匹配点的三角关系和视差图，生成三维坐标点，并转换到世界坐标系，只保留位于1.1)中确定的栅格空间之内的三维坐标点；4)平面投影：4.1)将过滤后三维坐标点投影到栅格地图所在平面，如果投影后的三维坐标点映射在栅格中心的距离R内，则保留并统计投影次数，否则剔除不统计投影次数；4.2)统计每个栅格中点的个数N i；5)高度统计及高度过滤：5.1)令统计区间i的长度为length，每一个统计区间表示的高度为h i，h i＝i×length，计算投影至栅格中所有三维点的Y轴坐标y所在的区间并计算频数C i；
5.2)根据应用场景先验，令T h为最低的障碍高度，如果栅格的高度h i<T h，则令栅格的状态为空，否则继续；6)栅格阈值筛选：6.1)利用视差图和1)中建立的栅格地图，计算出每个栅格的阈值T i，公式如下：
T i＝β r×a r×b i (4)式(2)为深度测量准确时，应用a r个像素表示位于第r行的栅格边长，其中img_width表示视差图宽度，grid_size表示栅格边长，depth r表示第r行的栅格深度，fov表示视场角大小；式(3)为深度测量准确时，应用b i个像素表示第r行的栅格高度h i，其中h i为栅格i中的高度，由步骤5)计算；T i为栅格阈值，a r×b i表示深度测量准确时，第r行中宽为grid_size、高为h i的矩形面应有的像素个数，考虑到不规则形状以及鲁棒性增加了第二尺度因子β r；6.2)比较每个栅格中投影点的个数N i与栅格阈值T i；如果N i＞γT i，则令栅格的状态为占据，否则为空；γ为第三尺度因子；6.3)如果栅格的状态为占据，则将栅格中心的X i、Z i坐标和栅格高度h i组合为当前栅格的最高点；7)扫描地图。 - 根据权利要求1所述的一种利用双目立体相机构建栅格地图的方法，其特征在于，步骤4.1)中R取栅格内接圆团半径的四分之三。
- 根据权利要求1所述的一种利用双目立体相机构建栅格地图的方法，其特征在于，步骤5.1)中，选取最大统计区间i max，条件有二，一是统计区间的频数C i大于上一个统计区间频数C i-1的一定数量，二是频数C i大于N，公式为：i max＝argmax i{C i＞N,C i＞αC i-1} (1)式中，C i为第i个统计区间的频数，C i-1为第i-1个统计区间的频数，α为第一尺度因子，N是最低频数。
- 根据权利要求1所述的一种利用双目立体相机构建栅格地图的方法，其特征在于，步骤7)扫描地图：7.1)栅格地图中视场角fov外区域的栅格的状态设置为未知；7.2)将双目相机光心坐标转换到世界坐标系，设为O′；连接O′与状态为占 据的栅格虚拟最高点(X i，Z i，h i)形成直线l，并将直线l投影到栅格地图所在的XOZ平面，投影线为l′；7.3)检索投影线l′远离双目相机的方向，如果投影线l′穿过空状态栅格，则将空状态的栅格置为未知；如果投影线l′穿过占据状态栅格，将栅格中心(X i，0，Z i)垂直投影到投影线l′得到投影点(X i′，0，Z i′)，如果则将其状态置为未知；如果投影线l′穿过占据状态栅格，且h i＞l(X i′，Z i′) y，则重新计算直线l和投影线l′并继续上述过程；如果投影线l′穿过占据状态栅格，且
则继续检索；如果投影线l′到达栅格空间之外，则检索结束；其中l(X i′，Z i′) y表示当X＝X i′、Z＝Z i′时取直线l上的Y轴坐标；
- 根据权利要求1所述的一种利用双目立体相机构建栅格地图的方法，其特征在于，还包括步骤8)可视化：设置栅格对应像素分辨率，将7)中栅格地图可视化输出。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US17/278,583 US11315318B2 (en) | 2019-11-21 | 2020-03-05 | Method for constructing grid map by using binocular stereo camera |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911145364.8A CN111028350B (zh) | 2019-11-21 | 2019-11-21 | 一种利用双目立体相机构建栅格地图的方法 |
| CN201911145364.8 | 2019-11-21 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2021098079A1 true WO2021098079A1 (zh) | 2021-05-27 |
Family
ID=70206066
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2020/077949 WO2021098079A1 (zh) | 2019-11-21 | 2020-03-05 | 一种利用双目立体相机构建栅格地图的方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US11315318B2 (zh) |
| CN (1) | CN111028350B (zh) |
| WO (1) | WO2021098079A1 (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113658240A (zh) * | 2021-07-15 | 2021-11-16 | 北京中科慧眼科技有限公司 | 一种主要障碍物检测方法、装置与自动驾驶系统 |
| CN113885519A (zh) * | 2021-10-27 | 2022-01-04 | 北京小乔机器人科技发展有限公司 | 一种控制机器人自动跟随的方法 |
| CN116740303A (zh) * | 2023-06-07 | 2023-09-12 | 中国人民解放军91977部队 | 水下目标的离散网格生成方法 |
| CN117437291A (zh) * | 2023-12-21 | 2024-01-23 | 河南卫华重型机械股份有限公司 | 一种基于双目视觉的数字化料堆可视方法 |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI816387B (zh) * | 2022-05-05 | 2023-09-21 | 勝薪科技股份有限公司 | 語意距離地圖的建構方法及其相關移動裝置 |
| CN115661293B (zh) * | 2022-10-27 | 2023-09-19 | 东莘电磁科技(成都)有限公司 | 一种电磁散射中目标瞬态感应特征图像生成方法 |
| CN116597100B (zh) * | 2023-07-18 | 2023-10-20 | 杭州杰竞科技有限公司 | 一种3d模型展馆自动寻址方法和系统 |
| CN116740298B (zh) * | 2023-08-07 | 2024-04-26 | 山东捷瑞数字科技股份有限公司 | 一种基于三维引擎的场景实时地图的构建方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105469405A (zh) * | 2015-11-26 | 2016-04-06 | 清华大学 | 基于视觉测程的同时定位与地图构建方法 |
| CN105806344A (zh) * | 2016-05-17 | 2016-07-27 | 杭州申昊科技股份有限公司 | 一种基于局部地图拼接的栅格地图创建方法 |
| CN108319655A (zh) * | 2017-12-29 | 2018-07-24 | 百度在线网络技术（北京）有限公司 | 用于生成栅格地图的方法和装置 |
| EP3531069A1 (en) * | 2018-02-23 | 2019-08-28 | Tata Consultancy Services Limited | Context based path planning for vector navigation in hexagonal spatial maps |
| CN110297491A (zh) * | 2019-07-02 | 2019-10-01 | 湖南海森格诺信息技术有限公司 | 基于多个结构光双目ir相机的语义导航方法及其系统 |
| US20190335300A1 (en) * | 2018-04-27 | 2019-10-31 | Microsoft Technology Licensing, Llc | Methods and systems for generating maps corresponding to physical spaces, devices, and/or users |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100955483B1 (ko) * | 2008-08-12 | 2010-04-30 | 삼성전자주식회사 | 3차원 격자 지도 작성 방법 및 이를 이용한 자동 주행 장치의 제어 방법 |
| GB201303076D0 (en) * | 2013-02-21 | 2013-04-10 | Isis Innovation | Generation of 3D models of an environment |
| CN107431801A (zh) * | 2015-03-01 | 2017-12-01 | 奈克斯特Vr股份有限公司 | 支持内容生成、发送和/或重放的方法和设备 |
| US9691151B1 (en) * | 2015-08-25 | 2017-06-27 | X Development Llc | Using observations from one or more robots to generate a spatio-temporal model that defines pose values for a plurality of objects in an environment |
| US9849591B2 (en) * | 2015-10-02 | 2017-12-26 | X Development Llc | Localization of a robot in an environment using detected edges of a camera image from a camera of the robot and detected edges derived from a three-dimensional model of the environment |
| US9875575B2 (en) * | 2015-10-07 | 2018-01-23 | Google Llc | Smoothing 3D models of objects to mitigate artifacts |
| CN105953787A (zh) * | 2016-04-27 | 2016-09-21 | 河北德普电器有限公司 | 一种机器人导航地图生成系统 |
| CN106384382A (zh) * | 2016-09-05 | 2017-02-08 | 山东省科学院海洋仪器仪表研究所 | 一种基于双目立体视觉的三维重建系统及其方法 |
| CN110832275B (zh) * | 2018-06-14 | 2021-05-18 | 北京嘀嘀无限科技发展有限公司 | 基于双目图像更新高分辨率地图的系统和方法 |
| CN108920584B (zh) * | 2018-06-25 | 2020-10-30 | 广州视源电子科技股份有限公司 | 一种语义栅格地图生成方法及其装置 |
-
2019
- 2019-11-21 CN CN201911145364.8A patent/CN111028350B/zh active Active
-
2020
- 2020-03-05 US US17/278,583 patent/US11315318B2/en active Active
- 2020-03-05 WO PCT/CN2020/077949 patent/WO2021098079A1/zh active Application Filing
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105469405A (zh) * | 2015-11-26 | 2016-04-06 | 清华大学 | 基于视觉测程的同时定位与地图构建方法 |
| CN105806344A (zh) * | 2016-05-17 | 2016-07-27 | 杭州申昊科技股份有限公司 | 一种基于局部地图拼接的栅格地图创建方法 |
| CN108319655A (zh) * | 2017-12-29 | 2018-07-24 | 百度在线网络技术（北京）有限公司 | 用于生成栅格地图的方法和装置 |
| EP3531069A1 (en) * | 2018-02-23 | 2019-08-28 | Tata Consultancy Services Limited | Context based path planning for vector navigation in hexagonal spatial maps |
| US20190335300A1 (en) * | 2018-04-27 | 2019-10-31 | Microsoft Technology Licensing, Llc | Methods and systems for generating maps corresponding to physical spaces, devices, and/or users |
| CN110297491A (zh) * | 2019-07-02 | 2019-10-01 | 湖南海森格诺信息技术有限公司 | 基于多个结构光双目ir相机的语义导航方法及其系统 |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113658240A (zh) * | 2021-07-15 | 2021-11-16 | 北京中科慧眼科技有限公司 | 一种主要障碍物检测方法、装置与自动驾驶系统 |
| CN113658240B (zh) * | 2021-07-15 | 2024-04-19 | 北京中科慧眼科技有限公司 | 一种主要障碍物检测方法、装置与自动驾驶系统 |
| CN113885519A (zh) * | 2021-10-27 | 2022-01-04 | 北京小乔机器人科技发展有限公司 | 一种控制机器人自动跟随的方法 |
| CN116740303A (zh) * | 2023-06-07 | 2023-09-12 | 中国人民解放军91977部队 | 水下目标的离散网格生成方法 |
| CN116740303B (zh) * | 2023-06-07 | 2023-11-07 | 中国人民解放军91977部队 | 水下目标的离散网格生成方法 |
| CN117437291A (zh) * | 2023-12-21 | 2024-01-23 | 河南卫华重型机械股份有限公司 | 一种基于双目视觉的数字化料堆可视方法 |
| CN117437291B (zh) * | 2023-12-21 | 2024-05-17 | 河南卫华重型机械股份有限公司 | 一种基于双目视觉的数字化料堆可视方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111028350A (zh) | 2020-04-17 |
| CN111028350B (zh) | 2022-05-20 |
| US11315318B2 (en) | 2022-04-26 |
| US20220044474A1 (en) | 2022-02-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2021098079A1 (zh) | 一种利用双目立体相机构建栅格地图的方法 | |
| CN110264567B (zh) | 一种基于标记点的实时三维建模方法 | |
| CN112132972B (zh) | 一种激光与图像数据融合的三维重建方法及系统 | |
| CN108520554B (zh) | 一种基于orb-slam2的双目三维稠密建图方法 | |
| CN103198488B (zh) | Ptz监控摄像机实时姿态快速估算方法 | |
| US20210358153A1 (en) | Detection methods, detection apparatuses, electronic devices and storage media | |
| WO2020006764A1 (zh) | 通路检测方法、相关装置及计算机可读存储介质 | |
| CN105825493B (zh) | 图像配准方法和装置 | |
| CN113192179B (zh) | 一种基于双目立体视觉的三维重建方法 | |
| CN110567441B (zh) | 基于粒子滤波的定位方法、定位装置、建图及定位的方法 | |
| CN102831601A (zh) | 基于联合相似性测度和自适应支持权重的立体匹配方法 | |
| CN106683163B (zh) | 一种视频监控的成像方法及系统 | |
| CN108230242B (zh) | 一种从全景激光点云到视频流的转换方法 | |
| JP6326641B2 (ja) | 画像処理装置および画像処理方法 | |
| CN112287824A (zh) | 基于双目视觉的三维目标检测方法、装置及系统 | |
| CN107991665A (zh) | 一种基于定焦相机的对标靶三维坐标连续测量方法 | |
| CN111292369A (zh) | 激光雷达的伪点云数据生成方法 | |
| US8340399B2 (en) | Method for determining a depth map from images, device for determining a depth map | |
| CN113593035A (zh) | 一种运动控制决策生成方法、装置、电子设备及存储介质 | |
| CN112132900A (zh) | 一种视觉重定位方法及系统 | |
| CN108090930A (zh) | 基于双目立体相机的障碍物视觉检测系统及方法 | |
| CN107784666B (zh) | 基于立体影像的地形地物三维变化检测和更新方法 | |
| CN109961092A (zh) | 一种基于视差锚点的双目视觉立体匹配方法及系统 | |
| WO2023283929A1 (zh) | 双目相机外参标定的方法及装置 | |
| CN114998496A (zh) | 一种基于场景航拍图及稀疏点云的正射影像快速生成方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 20890925 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 20890925 Country of ref document: EP Kind code of ref document: A1 |