WO2022205525A1 - 基于双目视觉自主式水下机器人回收导引伪光源去除方法 - Google Patents

基于双目视觉自主式水下机器人回收导引伪光源去除方法 Download PDF

Info

Publication number
WO2022205525A1
WO2022205525A1 PCT/CN2021/088257 CN2021088257W WO2022205525A1 WO 2022205525 A1 WO2022205525 A1 WO 2022205525A1 CN 2021088257 W CN2021088257 W CN 2021088257W WO 2022205525 A1 WO2022205525 A1 WO 2022205525A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
light source
threshold
pixel
light sources
Prior art date
Application number
PCT/CN2021/088257
Other languages
English (en)
French (fr)
Inventor
朱志宇
朱志鹏
魏海峰
Original Assignee
江苏科技大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 江苏科技大学 filed Critical 江苏科技大学
Publication of WO2022205525A1 publication Critical patent/WO2022205525A1/zh

Links

Images

Classifications

    • G06T5/80—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G06T5/70—
    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/66—Analysis of geometric attributes of image moments or centre of gravity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image

Definitions

  • the invention relates to the technical field of underwater robot recycling, in particular to a method for removing pseudo-light sources of autonomous underwater robot recycling guidance based on binocular vision.
  • Autonomous Underwater Vehicle (AUV: Autonomous Underwater Vehicle) operates unmanned and cableless in the marine environment, and the recycling and reuse of AUV is one of the important research contents of AUV research and facilitation.
  • underwater optical vision has achieved rich research results.
  • the collected images have serious noise and color distortion, which are all descriptions of underwater scenes. It has a great impact on the target positioning, thus affecting the operation tasks of the underwater robot and the recovery work of the underwater robot.
  • most of the existing vision-based underwater robot recovery strategies are based on the analysis of the guiding light source of the docking station, and the relative pose between the AUV and the docking station is calculated.
  • the present invention provides a method for removing false light sources based on binocular vision autonomous underwater robot recovery and guidance, which can remove the influence of false light sources in the process of accurate and autonomous recovery of AUVs, so as to facilitate the recovery of AUVs and ensure the reuse of AUVs. use.
  • the present invention provides the following technical solutions:
  • a method for removing false light sources for autonomous underwater robot recovery and guidance based on binocular vision includes the following steps:
  • Step 1 Use two underwater CCD cameras to shoot the calibration board to obtain the parameters of the binocular camera, including the internal and external parameter matrices, distortion coefficients, and rotation and translation matrices between cameras;
  • Step 2 Noise reduction and sharpening of underwater light source images
  • Step 3 adaptively obtain the binarization threshold with the connected domain as the criterion
  • Step 4 Morphologically process the binarized image to obtain all centroid coordinates of the image
  • Step 5 Eliminate the coordinate points of the false light source in the image according to the geometric relationship between the true and false light sources.
  • step 1 Zhang Zhengyou's calibration method is used to obtain various parameters of the camera, and the specific steps are:
  • the maximum likelihood method is used to synthesize the internal and external parameters and distortion coefficients to optimize the estimation, improve the estimation accuracy, and finally obtain accurate camera internal and external parameters and distortion coefficients.
  • the present invention is further improved, and in step 2, the Laplacian operator is used to denoise and sharpen the underwater light source image;
  • the Laplace operator is defined as:
  • the threshold value T is updated continuously through the two links until v f and v b do not change;
  • the finally obtained threshold divides the underwater grayscale image into two intervals [0, T] and [T, 255].
  • the original gray value is maintained.
  • [T, 255] The image in the interval increases the corresponding gray value, so as to sharpen the image in the interval and highlight the area with high brightness in the original image.
  • step 3 the number of connected domains in the image, that is, the number of light sources, is obtained by using the connected domain as a criterion algorithm.
  • the algorithm steps are as follows:
  • step 3 the binarization threshold is obtained adaptively, and the algorithm steps are as follows:
  • the second scan Visit all the pixels with labels in turn, find a minimum label value that has an equal relationship with B(x,y), and assign this value to B(x,y);
  • step 4 the light source image is morphologically processed to smooth it, and the morphological erosion and expansion operations in image processing are used to eliminate pixel noise around the connected domain where the light source is located, highlight the connected domain where the light source is located and smooth The edge of the light source.
  • step 4 a weighted centroid detection algorithm is applied.
  • the specific content of the algorithm is as follows: The result of the traditional centroid detection is taken as the initial centroid coordinate, and the weighting function is brought into it.
  • step 5 the coordinate points of the false light source in the image are eliminated according to the geometric relationship of the arrangement of the true and false light sources.
  • the bottom of the image is the true light source, that is, the first four light source coordinate points are extracted and sorted; finally, the obtained real light source coordinates are output.
  • the present invention improves the mean filtering method, aiming at adding the Laplacian operator to find the edge information of the image on the basis of the traditional mean filtering, so that the original underwater The edge features of the image are preserved, and the algorithm overcomes the shortcomings of the traditional mean filtering, which makes the image smooth and blurred and destroys the edge details of the image.
  • the optimal image binarization threshold is obtained by continuous iteration of the dichotomy method, so that all light source images are binarized after binarization.
  • the selection of the binarization threshold is completely self-adaptive, which can adapt to the extraction of underwater light source images of different brightness and reduce the omission of light sources.
  • the false light source elimination part according to the geometric distribution of the actual underwater true light source and the false light source and the general characteristics of the true and false light source coordinates distribution on the imaging plane, the corresponding real light source center coordinate point is selected by sorting, for the follow-up
  • the calculation of AUV pose is convenient.
  • Hough circular detection is used in traditional underwater light source detection, which has a large amount of calculation and a long time.
  • the present invention uses a weighted centroid detection algorithm, which has fast calculation speed and high real-time response, and improves the traditional centroid detection. detection accuracy.
  • Fig. 1 is the overall flow chart of the present invention based on binocular vision autonomous underwater robot recovery guidance pseudo light source removal method
  • Fig. 2 is the flow chart of the calibration of the underwater binocular camera formulated based on Zhang Zhengyou's calibration method of the present invention
  • Fig. 3 is the calculation flow chart that the present invention adopts the Laplacian operator to denoise and sharpen the underwater light source image
  • Fig. 4 is the flow chart of underwater image binarization processing in the present invention.
  • FIG. 5 is a flow chart of a method for removing false light sources according to the present invention.
  • the method for removing false light sources for recycling and guiding an autonomous underwater robot based on binocular vision specifically includes the following steps:
  • Step 1 Use two underwater CCD cameras to shoot the calibration board to obtain the parameters of the binocular camera, including the internal and external parameter matrices, distortion coefficients, and rotation and translation matrices between cameras;
  • the basic parameters of the camera are calibrated using the Zhang Zhengyou plane calibration method.
  • a 7*10 black and white calibration plate is printed and several images of the calibration plate are taken underwater from different angles; the feature points in the image are detected to solve the ideal
  • the internal and external parameters of the camera in the case of distortion are estimated by maximum likelihood to improve the accuracy; the actual radial distortion coefficient is obtained by applying the least square method; then the internal and external parameters and distortion coefficients are synthesized using the maximum likelihood method to optimize the estimation and improve the estimation accuracy; finally Obtain accurate camera intrinsic and extrinsic parameters and distortion coefficients.
  • Step 2 Underwater light source image processing.
  • the Laplacian operator is added on the basis of the traditional mean filter to find the coordinates of the edge pixels of the image, and an adaptive threshold is selected by an iterative method in the gray value of the pixel, and then the The image where the light source is located is specially sharpened.
  • the improved mean filtering algorithm is based on the traditional mean filtering by adding the Laplacian operator to find the coordinates of the edge pixels of the image, and using an iterative method to select an adaptive threshold in the gray value of the pixel.
  • the Laplace operator is defined as:
  • the algorithm used includes the following steps:
  • the threshold value T is updated continuously through the two links until v f and v b do not change;
  • the finally obtained threshold divides the underwater grayscale image into two intervals [0, T] and [T, 255].
  • the original gray value is maintained.
  • [T, 255] The image in the interval increases the corresponding gray value, so as to sharpen the image in the interval and highlight the area with high brightness in the original image.
  • Step 3 Underwater image binarization processing.
  • the 8-domain connected domain is used as the judgment method, the two-pass scanning method is used to find the 8-domain connected domain in the binary image, and the binarization adaptive threshold is iteratively found according to the special number of underwater guiding light sources.
  • the connected domain judgment algorithm obtains the number of connected domains in the image, that is, the number of light sources.
  • the algorithm steps are as follows:
  • the regions where the guiding light source is located will form different connected domains.
  • the two-pass scanning method (Two-Pass) is used to find the 8-domain connected domain of the binary image, and the determination of the 8-domain connected domain is defined as:
  • the two-pass scanning method (Two-Pass) is used to find the 8-domain connected domain of the binary image
  • step 4 perform centroid detection on the binary image. Morphological processing is performed on the binarized image first, and then the distance-weighted centroid detection algorithm is used to determine the image coordinate point where the guiding light source is located, including the center coordinate of the pseudo-light source image.
  • opening operation The operation of first eroding the image and then dilating it is called the opening operation, denoted as " ⁇ ", and B opening A is defined as:
  • centroid detection algorithm that is, the distance-weighted centroid detection algorithm
  • specific content of the algorithm is as follows:
  • step 5 Eliminate the coordinate points of the false light source in the image according to the geometric relationship of the arrangement of the true and false light sources.
  • the law is searched.
  • the four real light sources used in the experiment guide the AUV.
  • the phenomenon of false light sources is prone to occur, and the false light sources are all located in the real guide. Above the light source.
  • the center coordinates of all light sources obtained in step 4 are sorted from small to large. According to the general law of the appearance of false light sources, the ones distributed below the image are true light sources. Therefore, only the first four light source coordinates after sorting are extracted. point. The obtained real light source coordinates are output.

Abstract

基于双目视觉自主式水下机器人回收导引伪光源去除方法，利用两台水下相机拍摄标定板，获取双目相机的参数；获取拍摄的视觉图像，作为待分析的输入图像；引入拉普拉斯算子对输入图像进行均值滤波降噪，锐化图像光源区域；自适应获取灰度变换后图像的二值化阈值并二值化图像；对图像进行形体学处理、连通域判定，以加权质心算法获取光源中心坐标信息；利用真伪光源排列的几何关系剔除伪光源。该方法在自主式水下机器人双目视觉对接回收过程中剔除图像中伪光源的影响，以质心检测算法、连通域检测算法代替传统的检测法帮助提高光源检测精度与实时性，同时以几何关系剔除伪光源影响，为接下来自主式水下机器人顺利进行双目视觉对接回收提供便利条件，保障自主式水下机器人对接成功率。

Description

基于双目视觉自主式水下机器人回收导引伪光源去除方法 技术领域
本发明涉及水下机器人回收技术领域，具体地说，是基于双目视觉自主式水下机器人回收导引伪光源去除方法。
背景技术
自主式水下机器人(AUV:Autonomous Underwater Vehicle)无人无缆工作在海洋环境中，对于AUV的回收再利用工作是AUV研究及便捷化的重要研究内容之一。近年来，水下光视觉取得了丰富的研究成果，但由于水中环境的光线较暗、悬浮生物较多等干扰因素，使得采集到的图像噪声严重、颜色失真，这些都对水下景物的描述和目标定位产生很大的影响，从而影响水下水下机器人作业任务和水下机器人的回收工作。除此以外，现有的以视觉为核心水下机器人回收策略大部分都以分析对接坞的导引光源为条件，解算出AUV与对接之间的相对位姿，但是在实际的实验或者使用中，相机的视野中易出现其他形式的光源干扰视觉算法对导引光源的识别，尤其是对接坞位于近水面时，两台CCD相机成像平面易出现完全上下对称的导引光源图像，这样的情况直接影响了基于双目视觉的AUV水下对接回收的成功率。专利“一种AUV水下回收系统”中所涉及的利用泵机抽水在捕捉锥套内腔形成的负压吸力转化为施加在AUV上的拖拽力，来解决水下回收的难度，并未对伪光源涉及到的精准自主对接问题有所涉及。
因此，研究水下导引伪光源取出办法，利用合适的方法找出伪光源并将其去除，将为水下机器人精确自主对接回收提供有效的便利条件。所以水下导引伪光源的去除对于短距离内AUV回收定位具有重要的研究意义和使用价值。
发明内容
为了解决上述技术问题，本发明提供了基于双目视觉自主式水下机器人回收导引伪光源去除方法，能为AUV精准自主回收过程中去除伪光源的影响，以便AUV的回收，保障AUV的再次利用。
为实现上述目的，本发明提供如下技术方案：
基于双目视觉自主式水下机器人回收导引伪光源去除方法，包括以下步骤：
步骤一：利用两台水下CCD相机拍摄标定板，获取双目相机的参数，包括内、外参矩阵，畸变系数和相机之间的旋转、平移矩阵；
步骤二：降噪与锐化水下光源图像；
步骤三：以连通域为判据自适应获取二值化阈值；
步骤四：形态学处理二值化图像，获取图像所有质心坐标；
步骤五：根据真伪光源排列的几何关系剔除图像中伪光源坐标点。
本发明进一步改进，步骤一中使用的是张正友标定法获取相机的各项参数，具体步骤为：
1)打印一张7*10黑白格相间的标定板并在水下从不同角度拍摄若干张标定板图像；
2)检测出图像中的特征点以求解理想无畸变情况下的摄像机内外参数并用最大似然估计提升精度；
3)应用最小二乘法求出实际的径向畸变系数；
4)综合内外参数、畸变系数使用极大似然法，优化估计，提升估计精度，最后得出精确的相机内外参数和畸变系数。
本发明进一步改进，步骤二中采用拉普拉斯算子对水下光源图像进行降噪与锐化；
拉普拉斯算子的定义为：
Figure PCTCN2021088257-appb-000001
在水下灰度图像内找出图像的最大灰度值g MAX和最小灰度值g MIN，接着选择初始阈值T＝(g MAX+g MIN)/2；
根据初始阈值将水下图像分为前景与背景，求出前景与背景的平均灰度值分别为v f和v b，使得新的阈值T＝(v f+v b)/2；
通过两个环节的不断循环更新阈值T直至v f和v b不在变化为止；
最终获取到的阈值将水下灰度图像分为两个区间[0,T]和[T,255]，对于[0,T]区间的图像保持原有灰度值，对于[T,255]区间的图像增加相应的灰度值，以此来锐化该区间图像，突显原图像亮度高的区域。
以上描述的滤波方式可以分步表示为：
输入原始的灰度图像g(s,t)，运用公式
Figure PCTCN2021088257-appb-000002
得到输出图像f(x,y)；
对f(x,y)作公式
Figure PCTCN2021088257-appb-000003
运算得g(x,y)记录图像轮廓像素点位置；
对f(x,y)作迭代运算，得到自适应阈值T；
对[0,T]和[T,255]区间的灰度图像作出公式4的处理；
Figure PCTCN2021088257-appb-000004
输出锐化后的灰度图像f(x,y)。
本发明进一步改进，步骤三中以连通域为判据算法获取图像中连通域的数量即光源数量，该算法步骤如下：
对图像进行逐像素扫描，若当前的像素值为0则移动到下一个扫描的位置；
若当前像素值为1，则检查该像素左边与上边的两个邻接像素；
考虑这两个像素的组合情况，若它们的像素都为0，则给予该像素新的标记用以表示一个新的连通域的开始；
它们中间只有一个像素为1，则当前的像素标记为它们中为1的像素标记值；
它们的像素值都为1且标记相同，则当前像素的标记为该标记；
它们的像素值都为1但是标记不同，则将较小的值赋给当前像素；
以上述为循环，找出所有的连通域，得到连通域的数量。
本发明进一步改进，步骤三中自适应获取二值化阈值，该算法步骤如下：
第一次扫描全图像：访问当前像素点B(x,y)，若B(x,y)＝＝1
1)B(x,y)领域像素为零，则赋予B(x,y)一个新的标签；
2)B(x,y)领域有为1的像素，则赋予B(x,y)像素为1的最小标签；
第二次扫描：依次访问所有带着标签的像素，找出与B(x,y)具有相等关系的一个最小标签值，将该值赋给B(x,y)；
开始选取二值化图像的最佳阈值，获取整张水下灰度图像的灰度平均值作为二值化图像的初始阈值f now，将灰度最大值记为f max，最小值记为f min，备用阈值为
Figure PCTCN2021088257-appb-000005
和
Figure PCTCN2021088257-appb-000006
使用初始阈值对水下灰度图像进行二值化，以连通域的数量n作为判别标准，需要对n进行分类讨论：
情况一：n＞8，则将备用阈值改为
Figure PCTCN2021088257-appb-000007
初始阈值更改为
Figure PCTCN2021088257-appb-000008
将f now作为新的阈值将图像二值化并判断连通域数量；
情况二：n＜4，则将备用阈值改为
Figure PCTCN2021088257-appb-000009
初始阈值
Figure PCTCN2021088257-appb-000010
将f now作为新的阈值将图像二值化并判断连通域数量。重复以上对连通域数量检测直至n＝4，输出最终的阈值f now。
本发明进一步改进，步骤四中形态学处理光源图像对其进行平滑处理，利用图像处理中形态学上的腐蚀、膨胀操作，消除光源所在的连通域周围的像素噪声，凸显光源所在连通域并平滑光源边缘。
本发明进一步改进，步骤四中应用加权质心检测算法，算法具体内容如下：将传统质心检测的结果作为初始质心坐标，带入加权函数
Figure PCTCN2021088257-appb-000011
Figure PCTCN2021088257-appb-000012
Figure PCTCN2021088257-appb-000013
其中(x i,y j)为当前被测像素的坐标，(x c,y c)为光源的中心坐标，(x c *,y c *)为加权后的计算出的光源中心坐标，I ij为当前的像素值。
本发明进一步改进，步骤五中根据真伪光源排列的几何关系剔除图像中伪光源坐标点步骤为：将获取到所有光源中心坐标进行纵坐标从小到大排序，根据伪光源出现的一般规律，分布在图像下方的为真光源，即提取排序后的前四个光源坐标点；最后将获取到的真实光源坐标输出。
本发明的有益效果：
(1)对于水下特殊环境以及水质对光源的影响，本发明对均值滤波方式进行改进，旨在传统的均值滤波基础上加入拉普拉斯算子寻找图像的边缘信息，使得原有水下图像的边缘特征得以保留，该算法克服传统均值滤波处理后使图像变得平滑、模糊，破坏图像边缘细节的缺点。
(2)在二值化水下光源图像过程中，以8-领域连通域数量为限定条件，通过二分法不断迭代以获取最佳的图像二值化阈值，使所有光源图像在二值化后的图像中的完全凸显出来，便于后续的质心检测获取光源中心，此方法中二值化阈值的选取完全自适应，能够适应不同亮度的水下光源图像提取，减少光源遗漏。
(3)伪光源剔除部分，根据实际的水下真光源与伪光源的几何分布情况与真伪光源坐标在成像平面上分布的一般特征，通过排序选取出对应的真实光源中心坐标点，为后续AUV位姿的计算工作提供便利。
(4)传统的水下光源检测中运用Hough圆形检测，该方法计算量大，耗时长，本发明改用加权质心检测算法，计算速度快，实时响应高，并在传统的质心检测上提高了检测精度。
附图说明
图1是本发明基于双目视觉自主式水下机器人回收导引伪光源去除方法整体流程图；
图2是本发明基于张正友标定法制定的水下双目相机的标定的流程图；
图3是本发明采用拉普拉斯算子对水下光源图像进行降噪与锐化的计算流程图；
图4是本发明中水下图像二值化处理流程图；
图5是本发明中根据伪光源去除方法的流程图。
具体实施方式
为了加深对本发明的理解，下面将结合实施例对本发明做进一步详细描述，该实施例仅用于解释本发明，并不对本发明的保护范围构成限定。
实施例：如图1至图5所示，基于双目视觉自主式水下机器人回收导引伪光源去除方法，具体包括如下步骤：
步骤一：利用两台水下CCD相机拍摄标定板，获取双目相机的参数，包括内、外参矩阵，畸变系数和相机之间的旋转、平移矩阵；
应用张正友平面标定法对摄像机基本参数进行标定，首先打印一张7*10黑白格相间的标定板并在水下从不同角度拍摄若干张标定板图像；检测出图像中的特征点以求解理想无畸变情况下的摄像机内外参数并用最大似然估计提升精度；应用最小二乘法求出实际的径向畸变系数；之后综合内外参数、畸变系数使用极大似然法，优化估计，提升估计精度；最后得出精确的相机内外参数和畸变系数。
步骤二：水下光源图像处理。水下图像去噪方面采用是在传统的均值滤波基础上加入拉普拉斯算子寻找图像边缘像素点的坐标，在该像素点灰度值中使用迭代法选取一个自适应阈值，其后对光源所在图像进行特殊锐化处理。
本实施例中，改进型的均值滤波算法是在传统的均值滤波基础上加入拉普拉斯算子寻找图像边缘像素点的坐标，在该像素点灰度值中使用迭代法选取一个自适应阈值。拉普拉斯算子的定义为：
Figure PCTCN2021088257-appb-000014
加入该算子可以很好的保留图像中光源的边缘细节，克服传统均值滤波方法降噪图像时使得图像变得平滑、模糊的缺点；
在图像灰度化的阈值提取方面，使用的算法包含以下步骤：
首先在水下灰度图像内找出图像的最大灰度值g MAX和最小灰度值g MIN，接着选择初始阈值T＝(g MAX+g MIN)/2；
根据初始阈值将水下图像分为前景与背景，求出前景与背景的平均灰度值分别为v f和v b，使得新的阈值T＝(v f+v b)/2；
通过两个环节的不断循环更新阈值T直至v f和v b不在变化为止；
最终获取到的阈值将水下灰度图像分为两个区间[0,T]和[T,255]，对于[0,T]区间的图像保持原有灰度值，对于[T,255]区间的图像增加相应的灰度值，以此来锐化该区间图像，突显原图像亮度高的区域。
以上描述的滤波方式可以分步表示为：
1)输入原始的灰度图像g(s,t)，运用公式
Figure PCTCN2021088257-appb-000015
得到输出图像f(x,y)；
2)对f(x,y)作公式
Figure PCTCN2021088257-appb-000016
运算得g(x,y)记录图像轮廓像素点位置；
3)对f(x,y)作迭代运算，得到自适应阈值T；
4)对[0,T]和[T,255]区间的灰度图像作出公式4的处理；
Figure PCTCN2021088257-appb-000017
5)输出锐化后的灰度图像f(x,y)。
步骤三：水下图像二值化处理。采用8-领域连通域为判定方式，使用两遍扫描法寻找二值图像中的8-领域连通域，根据水下导引光源的特殊数量，迭代找出二值化自适应阈值。
连通域判断算法获取图像中连通域的数量即光源数量，该算法步骤如下：
首先对图像进行逐像素扫描，若当前的像素值为0则移动到下一个扫描的位置；
本实施例中，若当前像素值为1，则检查该像素左边与上边的两个邻接像素；
考虑这两个像素的组合情况，若它们的像素都为0，则给予该像素新的标记用以表示一个新的连通域的开始；
它们中间只有一个像素为1，则当前的像素标记为它们中为1的像素标记值；
它们的像素值都为1且标记相同，则当前像素的标记为该标记；
它们的像素值都为1但是标记不同，则将较小的值赋给当前像素；
以上述为循环，找出所有的连通域，得到连通域的数量。
本实施例中，将含有导引光源的图像二值化后，导引光源所在的区域会形成不同的连通域。
采用两遍扫描法(Two-Pass)寻找二值图像的8-领域连通域，其中8-领域连通域的判定定义为：
Figure PCTCN2021088257-appb-000018
采用两遍扫描法(Two-Pass)寻找二值图像的8-领域连通域；
对于两遍扫描法的具体描述如下：
(1)第一次扫描全图像：访问当前像素点B(x,y)，若B(x,y)＝＝1
1)B(x,y)领域像素为零，则赋予B(x,y)一个新的标签；
2)B(x,y)领域有为1的像素，则赋予B(x,y)像素为1的最小标签；
(2)第二次扫描：依次访问所有带着标签的像素，找出与B(x,y)具有相等关系的一个最小标签值，将该值赋给B(x,y)；
开始选取二值化图像的最佳阈值，获取整张水下灰度图像的灰度平均值作为二值化图像的初始阈值f now，将灰度最大值记为f max，最小值记为f min，备用阈值为
Figure PCTCN2021088257-appb-000019
和
Figure PCTCN2021088257-appb-000020
使用初始阈值对水下灰度图像进行二值化，以连通域的数量n作为判别标准，需要对n进行分类讨论：
情况一：n＞8，则将备用阈值改为
Figure PCTCN2021088257-appb-000021
初始阈值更改为
Figure PCTCN2021088257-appb-000022
将f now作为新的阈值将图像二值化并判断连通域数量；
情况二：n＜4，则将备用阈值改为
Figure PCTCN2021088257-appb-000023
初始阈值
Figure PCTCN2021088257-appb-000024
将f now作为新的阈值将图像二值化并判断连通域数量。重复以上对连通域数量检测直至n＝4，输出最终的阈值f now。
本实施例中，步骤四：对二值图像进行质心检测。先对二值化后的图像进行形态学处理，接着使用距离加权质心检测算法判断出导引光源所在的图像坐标点，其中包含伪光源图像中心坐标。
首先对图像进行腐蚀再进行膨胀的运算称为开运算，记为“○”，以B开A定义为：
Figure PCTCN2021088257-appb-000025
使用改进后的质心检测算法，即距离加权质心检测算法，算法具体内容如下：
将传统质心检测的结果作为初始质心坐标，带入加权函数：
Figure PCTCN2021088257-appb-000026
Figure PCTCN2021088257-appb-000027
Figure PCTCN2021088257-appb-000028
其中(x i,y j)为当前被测像素的坐标，(x c,y c)为光源的中心坐标，(x c *,y c *)为加权后的计算出的光源中心坐标，I ij为当前的像素值。
本实施例中，步骤五：根据真伪光源排列的几何关系剔除图像中伪光源坐标点。根据现有AUV获取的水下光源的一般特征进行寻找规律，实验中采用的四个真光源导引AUV，在近水面水下捕捉图像中，易出现伪光源现象，且伪光源都位于真实导引光源上方。
本实施例中，将步骤四获取到所有光源中心坐标进行纵坐标从小到大排序，根据伪光源出现的一般规律，分布在图像下方的为真光源，因此只提取排序后的前四个光源坐标点。将获取到的真实光源坐标输出。
以上所述的仅是本发明的实施例，方案中公知的具体结构及特性等常识在此未作过多描述。对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而 且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。不应将权利要求中的任何标记视为限制所涉及的权利要求。

Claims (8)

  1. 基于双目视觉自主式水下机器人回收导引伪光源去除方法，其特征在于，包括以下步骤：
    步骤一：利用两台水下CCD相机拍摄标定板，获取双目相机的参数，包括内、外参矩阵，畸变系数和相机之间的旋转、平移矩阵；
    步骤二：降噪与锐化水下光源图像；
    步骤三：以连通域为判据自适应获取二值化阈值；
    步骤四：形态学处理二值化图像，获取图像所有质心坐标；
    步骤五：根据真伪光源排列的几何关系剔除图像中伪光源坐标点。
  2. 根据权利要求1所述的基于双目视觉自主式水下机器人回收导引伪光源去除方法，其特征在于，所述步骤一中使用的是张正友标定法获取相机的各项参数，具体步骤为：
    1)打印一张7*10黑白格相间的标定板并在水下从不同角度拍摄若干张标定板图像；
    2)检测出图像中的特征点以求解理想无畸变情况下的摄像机内外参数并用最大似然估计提升精度；
    3)应用最小二乘法求出实际的径向畸变系数；
    4)综合内外参数、畸变系数使用极大似然法，优化估计，提升估计精度，最后得出精确的相机内外参数和畸变系数。
  3. 根据权利要求1所述的基于双目视觉自主式水下机器人回收导引伪光源去除方法，其特征在于，所述步骤二中采用拉普拉斯算子对水下光源图像进行降噪与锐化；
    拉普拉斯算子的定义为：
    Figure PCTCN2021088257-appb-100001
    在水下灰度图像内找出图像的最大灰度值g MAX和最小灰度值g MIN，接着选择初始阈值T＝(g MAX+g MIN)/2；
    根据初始阈值将水下图像分为前景与背景，求出前景与背景的平均灰度值分 别为v f和v b，使得新的阈值T＝(v f+v b)/2；
    通过两个环节的不断循环更新阈值T直至v f和v b不在变化为止；
    最终获取到的阈值将水下灰度图像分为两个区间[0,T]和[T,255]，对于[0,T]区间的图像保持原有灰度值，对于[T,255]区间的图像增加相应的灰度值，以此来锐化该区间图像，突显原图像亮度高的区域。
    以上描述的滤波方式可以分步表示为：
    输入原始的灰度图像g(s,t)，运用公式
    Figure PCTCN2021088257-appb-100002
    得到输出图像f(x,y)；
    对f(x,y)作公式
    Figure PCTCN2021088257-appb-100003
    运算得g(x,y)记录图像轮廓像素点位置；
    对f(x,y)作迭代运算，得到自适应阈值T；
    对[0,T]和[T,255]区间的灰度图像作出公式4的处理；
    Figure PCTCN2021088257-appb-100004
    输出锐化后的灰度图像f(x,y)。
  4. 根据权利要求1所述的基于双目视觉自主式水下机器人回收导引伪光源去除方法，其特征在于，所述步骤三中以连通域为判据算法获取图像中连通域的数量即光源数量，该算法步骤如下：
    对图像进行逐像素扫描，若当前的像素值为0则移动到下一个扫描的位置；
    若当前像素值为1，则检查该像素左边与上边的两个邻接像素；
    考虑这两个像素的组合情况，若它们的像素都为0，则给予该像素新的标记 用以表示一个新的连通域的开始；
    它们中间只有一个像素为1，则当前的像素标记为它们中为1的像素标记值；
    它们的像素值都为1且标记相同，则当前像素的标记为该标记；
    它们的像素值都为1但是标记不同，则将较小的值赋给当前像素；
    以上述为循环，找出所有的连通域，得到连通域的数量。
  5. 根据权利要求1所述的基于双目视觉自主式水下机器人回收导引伪光源去除方法，其特征在于，所述步骤三中自适应获取二值化阈值，该算法步骤如下：
    第一次扫描全图像：访问当前像素点B(x,y)，若B(x,y)＝＝1
    1)B(x,y)领域像素为零，则赋予B(x,y)一个新的标签；
    2)B(x,y)领域有为1的像素，则赋予B(x,y)像素为1的最小标签；
    第二次扫描：依次访问所有带着标签的像素，找出与B(x,y)具有相等关系的一个最小标签值，将该值赋给B(x,y)；
    开始选取二值化图像的最佳阈值，获取整张水下灰度图像的灰度平均值作为二值化图像的初始阈值f now，将灰度最大值记为f max，最小值记为f min，备用阈值为
    Figure PCTCN2021088257-appb-100005
    和
    Figure PCTCN2021088257-appb-100006
    使用初始阈值对水下灰度图像进行二值化，以连通域的数量n作为判别标准，需要对n进行分类讨论：
    情况一：n＞8，则将备用阈值改为
    Figure PCTCN2021088257-appb-100007
    初始阈值更改为
    Figure PCTCN2021088257-appb-100008
    将f now作为新的阈值将图像二值化并判断连通域数量；
    情况二：n＜4，则将备用阈值改为
    Figure PCTCN2021088257-appb-100009
    初始阈值
    Figure PCTCN2021088257-appb-100010
    将f now作为新的阈值将图像二值化并判断连通域数量。重复以上对连通域数量检测直至n＝4，输出最终的阈值f now。
  6. 根据权利要求1所述的基于双目视觉自主式水下机器人回收导引伪光源去除方法，其特征在于，所述步骤四中形态学处理光源图像对其进行平滑处理，利用图像处理中形态学上的腐蚀、膨胀操作，消除光源所在的连通域周围的像素噪声，凸显光源所在连通域并平滑光源边缘。
  7. 根据权利要求1所述的基于双目视觉自主式水下机器人回收导引伪光源去除方法，其特征在于，所述步骤四中应用加权质心检测算法，算法具体内容如下：将传统质心检测的结果作为初始质心坐标，带入加权函数
    Figure PCTCN2021088257-appb-100011
    Figure PCTCN2021088257-appb-100012
    Figure PCTCN2021088257-appb-100013
    其中(x i,y j)为当前被测像素的坐标，(x c,y c)为光源的中心坐标，(x c *,y c *)为加权后的计算出的光源中心坐标，I ij为当前的像素值。
  8. 根据权利要求1所述的基于双目视觉自主式水下机器人回收导引伪光源去除方法，其特征在于，所述步骤五中根据真伪光源排列的几何关系剔除图像中伪光源坐标点步骤为：将获取到所有光源中心坐标进行纵坐标从小到大排序，根据伪光源出现的一般规律，分布在图像下方的为真光源，即提取排序后的前四个光源坐标点；最后将获取到的真实光源坐标输出。
PCT/CN2021/088257 2021-04-01 2021-04-20 基于双目视觉自主式水下机器人回收导引伪光源去除方法 WO2022205525A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202110359085.2 2021-04-01
CN202110359085.2A CN113034399A (zh) 2021-04-01 2021-04-01 基于双目视觉自主式水下机器人回收导引伪光源去除方法

Publications (1)

Publication Number Publication Date
WO2022205525A1 true WO2022205525A1 (zh) 2022-10-06

Family

ID=76453503

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/088257 WO2022205525A1 (zh) 2021-04-01 2021-04-20 基于双目视觉自主式水下机器人回收导引伪光源去除方法

Country Status (2)

Country Link
CN (1) CN113034399A (zh)
WO (1) WO2022205525A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115397073A (zh) * 2022-10-26 2022-11-25 青州鑫聚隆装备制造有限公司 一种用于自航式两栖清淤机器人的照明系统
CN115717887A (zh) * 2022-11-17 2023-02-28 上海航天控制技术研究所 基于灰度分布直方图的星点快速提取方法
CN116206070A (zh) * 2023-05-05 2023-06-02 中国海洋大学 一种基于机器双目视觉的船体水下成像方法及水下机器人
CN117522863A (zh) * 2023-12-29 2024-02-06 临沂天耀箱包有限公司 基于图像特征的集成箱体质量检测方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117273251A (zh) * 2023-09-20 2023-12-22 广西艺术学院 一种基于大数据的智能规划方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005193854A (ja) * 2004-01-09 2005-07-21 Kawasaki Shipbuilding Corp 水中航走体の誘導装置
CN104766312A (zh) * 2015-03-27 2015-07-08 哈尔滨工程大学 一种基于双目光视觉引导的智能水下机器人自主对接方法
CN111190142A (zh) * 2020-01-09 2020-05-22 大连理工大学 一种基于补零法的可鉴伪光源扩容及判定方法
CN111721259A (zh) * 2020-06-24 2020-09-29 江苏科技大学 基于双目视觉的水下机器人回收定位方法
CN111784655A (zh) * 2020-06-24 2020-10-16 江苏科技大学 一种水下机器人回收定位方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005193854A (ja) * 2004-01-09 2005-07-21 Kawasaki Shipbuilding Corp 水中航走体の誘導装置
CN104766312A (zh) * 2015-03-27 2015-07-08 哈尔滨工程大学 一种基于双目光视觉引导的智能水下机器人自主对接方法
CN111190142A (zh) * 2020-01-09 2020-05-22 大连理工大学 一种基于补零法的可鉴伪光源扩容及判定方法
CN111721259A (zh) * 2020-06-24 2020-09-29 江苏科技大学 基于双目视觉的水下机器人回收定位方法
CN111784655A (zh) * 2020-06-24 2020-10-16 江苏科技大学 一种水下机器人回收定位方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ZHU ZHI-PENG, ZHI-YU ZHU: "Method for Detecting and Ranging an Underwater Guided Light Source Based on Binocular Vision", JOURNAL OF UNMANNED UNDERSEA SYSTEMS, vol. 29, no. 1, 28 February 2021 (2021-02-28), pages 65 - 73, XP055973535, ISSN: 2096-3920, DOI: 10.11993/j.issn.2096-3920.2021.01.010 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115397073A (zh) * 2022-10-26 2022-11-25 青州鑫聚隆装备制造有限公司 一种用于自航式两栖清淤机器人的照明系统
CN115397073B (zh) * 2022-10-26 2023-03-24 青州鑫聚隆装备制造有限公司 一种用于自航式两栖清淤机器人的照明系统
CN115717887A (zh) * 2022-11-17 2023-02-28 上海航天控制技术研究所 基于灰度分布直方图的星点快速提取方法
CN115717887B (zh) * 2022-11-17 2024-04-19 上海航天控制技术研究所 基于灰度分布直方图的星点快速提取方法
CN116206070A (zh) * 2023-05-05 2023-06-02 中国海洋大学 一种基于机器双目视觉的船体水下成像方法及水下机器人
CN117522863A (zh) * 2023-12-29 2024-02-06 临沂天耀箱包有限公司 基于图像特征的集成箱体质量检测方法
CN117522863B (zh) * 2023-12-29 2024-03-29 临沂天耀箱包有限公司 基于图像特征的集成箱体质量检测方法

Also Published As

Publication number Publication date
CN113034399A (zh) 2021-06-25

Similar Documents

Publication Publication Date Title
WO2022205525A1 (zh) 基于双目视觉自主式水下机器人回收导引伪光源去除方法
CN109785316B (zh) 一种芯片表观缺陷检测方法
CN110866903B (zh) 基于霍夫圆变换技术的乒乓球识别方法
WO2019148739A1 (zh) 一种模糊图像综合处理方法和系统
CN110349207B (zh) 一种复杂环境下的视觉定位方法
CN102426649B (zh) 一种简单的高准确率的钢印数字自动识别方法
CN110648367A (zh) 一种基于多层深度与彩色视觉信息的几何体目标定位方法
Chuang et al. Automatic fish segmentation via double local thresholding for trawl-based underwater camera systems
CN107167810B (zh) 一种侧扫声纳成像的水下目标快速提取方法
CN110717872A (zh) 一种激光辅助定位下的v型焊缝图像特征点提取方法及提取系统
CN112001906B (zh) 一种结合非极大值抑制的钢板焊缝图像检测方法
CN110674812B (zh) 一种面向复杂背景的民用车牌定位与字符分割方法
CN109242032B (zh) 一种基于深度学习的目标检测方法
CN111784655B (zh) 一种水下机器人回收定位方法
CN114399522A (zh) 一种基于高低阈值的Canny算子的边缘检测方法
CN105447489B (zh) 一种图片ocr识别系统的字符与背景粘连噪声消除方法
CN110348461A (zh) 一种工件表面缺陷特征提取方法
CN105913425B (zh) 一种基于自适应椭圆分块和小波变换的多猪轮廓提取方法
CN114241438B (zh) 一种基于先验信息的交通信号灯快速精确的识别方法
CN115661110B (zh) 一种透明工件识别与定位的方法
CN113705505A (zh) 一种面向海洋渔业的船舶目标检测方法和系统
CN113781413A (zh) 一种基于Hough梯度法的电解电容定位方法
CN113642570A (zh) 一种昏暗环境下矿车车牌识别的方法
CN112184619A (zh) 一种基于深度学习的金属部件表面缺陷检测方法
CN115830018B (zh) 基于深度学习与双目视觉的碳素块检测方法及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21934179

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21934179

Country of ref document: EP

Kind code of ref document: A1