WO2022165739A1 - 基于2d/3d视觉融合的五金件机器人智能化打磨方法与装置 - Google Patents

基于2d/3d视觉融合的五金件机器人智能化打磨方法与装置 Download PDF

Info

Publication number
WO2022165739A1
WO2022165739A1 PCT/CN2021/075449 CN2021075449W WO2022165739A1 WO 2022165739 A1 WO2022165739 A1 WO 2022165739A1 CN 2021075449 W CN2021075449 W CN 2021075449W WO 2022165739 A1 WO2022165739 A1 WO 2022165739A1
Authority
WO
WIPO (PCT)
Prior art keywords
point cloud
oxide layer
hardware
point
input
Prior art date
Application number
PCT/CN2021/075449
Other languages
English (en)
French (fr)
Inventor
刘跃生
陈新度
吴磊
谢浩彬
Original Assignee
广东工业大学
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 广东工业大学 filed Critical 广东工业大学
Priority to PCT/CN2021/075449 priority Critical patent/WO2022165739A1/zh
Publication of WO2022165739A1 publication Critical patent/WO2022165739A1/zh

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B24—GRINDING; POLISHING
    • B24B—MACHINES, DEVICES, OR PROCESSES FOR GRINDING OR POLISHING; DRESSING OR CONDITIONING OF ABRADING SURFACES; FEEDING OF GRINDING, POLISHING, OR LAPPING AGENTS
    • B24B19/00—Single-purpose machines or devices for particular grinding operations not covered by any other main group
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B24—GRINDING; POLISHING
    • B24B—MACHINES, DEVICES, OR PROCESSES FOR GRINDING OR POLISHING; DRESSING OR CONDITIONING OF ABRADING SURFACES; FEEDING OF GRINDING, POLISHING, OR LAPPING AGENTS
    • B24B49/00—Measuring or gauging equipment for controlling the feed movement of the grinding tool or work; Arrangements of indicating or measuring equipment, e.g. for indicating the start of the grinding operation
    • B24B49/12—Measuring or gauging equipment for controlling the feed movement of the grinding tool or work; Arrangements of indicating or measuring equipment, e.g. for indicating the start of the grinding operation involving optical means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B24—GRINDING; POLISHING
    • B24B—MACHINES, DEVICES, OR PROCESSES FOR GRINDING OR POLISHING; DRESSING OR CONDITIONING OF ABRADING SURFACES; FEEDING OF GRINDING, POLISHING, OR LAPPING AGENTS
    • B24B51/00—Arrangements for automatic control of a series of individual steps in grinding a workpiece

Definitions

  • the invention relates to the technical field of intelligent manufacturing, in particular to a method and a device for intelligent grinding of hardware robots based on 2D/3D vision fusion.
  • Hardware refers to the parts cast from various non-ferrous metals, which are widely used in fixed, decorative and processed products.
  • it may be affected by factors such as air humidity and damage during storage, resulting in oxide layer defects, which make it impossible for high-quality configuration and application in other individual equipment. Therefore, it is necessary to inspect the hardware and remove the oxide layer.
  • the existing hardware detection and processing methods are mainly completed by workers performing mechanical and repetitive work, which is prone to technical problems such as missed detection caused by manual fatigue and low efficiency.
  • the present invention aims to solve at least one of the deficiencies of the prior art, and provides a hardware robot intelligent grinding method and device based on 2D/3D vision fusion.
  • the present invention adopts the following technical scheme:
  • S400 According to a pre-trained three-dimensional point cloud semantic segmentation network, segment the complete input hardware point cloud model to obtain an oxide layer point cloud;
  • S500 Perform clustering processing on the oxide layer point cloud by a clustering algorithm to obtain a clustered oxide layer point cloud set;
  • S600 Plan the grinding sequence of the oxide layer point cloud set, and determine the grinding path
  • S700 According to the determined grinding sequence and grinding path, control the mechanical arm to grind the input hardware.
  • step S200 specifically includes the following steps:
  • S210 Reshape all the RGB images to a fixed resolution of 224*224, and then perform normalization processing on the RGB images to obtain a normalized RGB image, which is implemented by the following formula, wherein represents the pixel mean, ⁇ represents the pixel variance, xi represents the original image, and x′ i represents the normalized image:
  • S220 Input the normalized RGB image into a convolution layer with a convolution kernel of 7*7, an output channel of 64, and a stride of 2 to obtain the first feature map of 112*112*64, and then undergo convolution
  • the pooling operation of the layer obtains the second feature map of 56*56*64;
  • S230 Input the second feature map into the Res-deconv convolutional layer, the input passes through the Res-block and De-conv layers to obtain two different feature maps, add the obtained two different feature maps, and compare the two feature maps. The features of each feature map are fused, and then 4 Res-deconv convolution layers are processed to obtain a third feature map of 7*7*128;
  • S240 Reduce the dimension of the third feature map of 7*7*128, expand it to form a feature vector of 6272, and then process it through the full connection layer to obtain a feature vector with a length of 2, and then process it through the softmax function to obtain the prediction score.
  • score1, score2 if score2 is less than the set first threshold, it means that the oxide layer is not included, otherwise, it means that the oxide layer is included.
  • step S300 specifically includes the following steps:
  • R represents the spatial rotation matrix
  • t represents the spatial translation vector
  • x l represents the point in the moving point cloud
  • the three-dimensional point cloud semantic segmentation network specifically includes,
  • the AS-SRN module is used to select part of the point cloud by using the farthest point sampling algorithm FPS, then correct the selected part of the point cloud through the AS module in Point-ASNL, and finally extract the features of the part of the point cloud through MLP;
  • the SRN-Net module is used to perform feature transformation on the features of the part of the point cloud by using the SRN module, and finally obtain the segmentation result;
  • the operation of the three-dimensional point cloud semantic segmentation network includes the following steps:
  • S410 downsample the input point cloud into 1024 points, perform a neighborhood query on the k points with the nearest distance for each point after the downsampling, and input the coordinates and corresponding features of the k points into the AS module to obtain According to the corrected points and information of the local information, the multi-layer perceptron MLP is used to obtain richer features, and then the SRN layer is passed to obtain an output of 1024*64, where 1024 is the number of sampling points and 64 is the feature number of channels;
  • step S420 Using the process in step S410, down-sampling-feature extraction is performed on the point cloud. As the number of sampling points decreases, the neighborhood viewing angle gradually increases, and the extracted features are gradually enriched, and an output of 16*512 is obtained;
  • S430 Upsampling the point cloud, using the inverse distance interpolation method in PointNet++ to convert 16*512 to 64*512 output, splicing it with the 64*256 output of the previous layer, and then passing through the multi-layer perceptron MLP, get 64*256 output;
  • step S440 Use the process described in step S430 to upsample the point cloud until it is restored to the original N points, and the feature vector of each point is [score11, score22], if score22 is less than the set second threshold, then It means that it does not contain an oxide layer, otherwise it means that it contains an oxide layer.
  • the output of the point cloud containing the oxide layer is the oxide layer point cloud, which is defined as the oxide layer point cloud B.
  • the clustering algorithm specifically used in the above step S500 is the K-mean clustering algorithm, which specifically includes the following steps:
  • n j is the number of sample data corresponding to the j
  • j 1, 2, ..., k clusters
  • the mean value is used as the new cluster center.
  • the grinding sequence of b j is specifically planned by the simulated annealing algorithm, and the grinding path is fitted by the B-spline interpolation method, which specifically includes the following steps:
  • S620 Input the point cloud of the oxide layer of the hardware in sequence, input the polished point cloud and perform principal component analysis on it, and determine the surface normal vector of the point cloud according to the eigenvector corresponding to the minimum singular value;
  • S630 Construct the minimum bounding box of the point cloud according to the surface normal vector in step S620, and perform segmentation based on the normal vector direction, and solve the centroids of the segmented sub-bounding box point sets respectively;
  • step S640 According to the centroid and cubic B-spline interpolation principle described in step S630, construct control points and fit a grinding trajectory;
  • step S650 Determine whether the trajectory of the processing area has been planned, and if so, output all processing sequences and processing trajectories; otherwise, return to step S620.
  • the present invention also proposes a hardware robot intelligent grinding device based on 2D/3D vision fusion, which is characterized by applying the hardware robot intelligent grinding method based on 2D/3D vision fusion in any of the above claims 1-6, include,
  • a first camera for acquiring RGB images of multiple viewing angles of the input hardware
  • the second camera which is a laser line scan camera, is used to obtain 3D point clouds of multiple viewing angles of the input hardware
  • a machine vision processing system which integrates the steps of the hardware robot intelligent grinding method based on 2D/3D vision fusion in any one of the above claims 1-6, is used for collecting according to the first camera and the second camera.
  • the data information is calculated to obtain the information of the oxide layer, and the manipulator is controlled to perform corresponding processing on the oxide layer.
  • the first camera is any one of a two-dimensional camera or a three-dimensional camera.
  • the second camera is specifically a Shining 3D scanner
  • the robotic arm is a Yaskawa six-degree-of-freedom robot with a model of HP20D.
  • the present invention also provides a computer-readable storage medium, where the computer-readable storage medium stores a computer program, and when the computer program is executed by a processor, implements the steps of the method according to any one of claims 1-6 .
  • the invention obtains the RGB image by using the two-dimensional camera, uses the improved res-net image classification network framework to quickly detect the two-dimensional oxide layer defects, and combines the line scan camera to obtain the three-dimensional point cloud of the target, and uses the fusion adaptive sampling module and The point cloud segmentation network for structure correlation feature extraction realizes the segmentation of oxide layer defects and realizes their three-dimensional localization. Finally, the oxide layer is processed adaptively, intelligently and efficiently using a robotic manipulator arm.
  • the invention is conducive to the rapid and accurate removal of the oxide layer of the hardware, and is of great significance to the realization of green and sustainable development of the hardware casting industry.
  • Figure 1 shows the flow chart of the intelligent grinding method for hardware robots based on 2D/3D vision fusion
  • Figure 2 shows the schematic diagram of the intelligent grinding method of hardware robots based on 2D/3D vision fusion
  • Figure 3 shows the schematic diagram of the image classification network based on the 2D/3D visual fusion of the hardware robot intelligent grinding method
  • Figure 4 shows the schematic diagram of the point cloud semantic segmentation network based on the 2D/3D vision fusion intelligent grinding method for hardware robots
  • Figure 5 shows the flow chart of the oxide layer image data set construction based on 2D/3D vision fusion based on the hardware robot intelligent grinding method
  • Figure 6 shows the flow chart of the oxide layer point collection data set component of the hardware robot intelligent grinding method based on 2D/3D vision fusion
  • Figure 7 shows a flowchart of the network model parameter training process of the point cloud semantic segmentation network based on the 2D/3D vision fusion intelligent polishing method for hardware robots.
  • the RGB image is obtained by the camera to quickly judge the oxide layer of the hardware, and then combined with the 3D laser scanner to obtain the accurate 3D point cloud of the hardware corresponding to the camera's perspective, and the point cloud segmentation network is used to realize the segmentation of the oxide layer point cloud. It is used as spatial positioning information, and the oxide layer processing area can be obtained by clustering the point cloud of the hardware oxide layer.
  • intelligent algorithms such as simulated annealing and genetic algorithm, can be combined to plan the optimal regional processing sequence.
  • the B-spline curve interpolation principle can be combined to obtain a more accurate robot processing path.
  • the required tool is mounted on the flange of the robot operating arm, and the oxide layer is ground and polished.
  • Step 1 Input hardware
  • Step 2 Use a two-dimensional camera to obtain the RGB image of the multi-view hardware, and use the improved res-net algorithm as shown in Figure 3 to detect the oxide layer of the hardware to determine whether there is an oxide layer? If it does not exist, end the program; otherwise, continue to the next step;
  • Step 4 Combine the pre-trained 3D point cloud semantic segmentation network, as shown in Figure 4, to segment the oxide layer point cloud in the complete point cloud model D in step 3, denoted as B;
  • Step 7 Use the robot to grind the hardware according to the grinding sequence and path of step 6.
  • the invention utilizes the fusion of 2D/3D vision, which can improve the defect detection and positioning efficiency of the oxide layer of the hardware, reduce the rate of missed detection and false detection, and use the laser scanner in the 3D vision technology to obtain the point cloud of the oxide layer and obtain the oxidation layer. layer space information.
  • the use of robotic manipulator arms for grinding and polishing can fully liberate productivity, improve the accuracy of metal oxide layer removal, and make robotic processing more flexible and more automated.
  • the present invention proposes a hardware robot intelligent grinding method based on 2D/3D vision fusion, including the following steps:
  • S400 According to a pre-trained three-dimensional point cloud semantic segmentation network, segment the complete input hardware point cloud model to obtain an oxide layer point cloud;
  • S500 Perform clustering processing on the oxide layer point cloud by a clustering algorithm to obtain a clustered oxide layer point cloud set;
  • S600 Plan the grinding sequence of the oxide layer point cloud set, and determine the grinding path
  • S700 Control the mechanical arm to grind the input hardware according to the determined grinding sequence and grinding path.
  • the operation of judging whether the input hardware has an oxide layer in the above step S200 specifically includes the following steps:
  • S210 Reshape all the RGB images to a fixed resolution of 224*224, and then perform normalization processing on the RGB images to obtain a normalized RGB image, which is implemented by the following formula, wherein represents the pixel mean, ⁇ represents the pixel variance, xi represents the original image, and x′ i represents the normalized image:
  • the calculation amount of the neural network can be reduced, and the calculation of the neural network can be facilitated.
  • S220 Input the normalized RGB image into a convolution layer with a convolution kernel of 7*7, an output channel of 64, and a stride of 2 to obtain the first feature map of 112*112*64, and then undergo convolution
  • the pooling operation of the layer obtains the second feature map of 56*56*64;
  • S230 Input the second feature map into the Res-deconv convolutional layer, the input passes through the Res-block and De-conv layers to obtain two different feature maps, add the obtained two different feature maps, and compare the two feature maps. The features of each feature map are fused, and then 4 Res-deconv convolution layers are processed to obtain a third feature map of 7*7*128;
  • S240 Reduce the dimension of the third feature map of 7*7*128, expand it to form a feature vector of 6272, and then process it through the full connection layer to obtain a feature vector with a length of 2, and then process it through the softmax function to obtain the prediction score.
  • score1, score2 if score2 is less than the set first threshold, it means that the oxide layer is not included, otherwise, it means that the oxide layer is included.
  • step S300 specifically includes the following steps:
  • R represents the spatial rotation matrix
  • t represents the spatial translation vector
  • x l represents the point in the moving point cloud
  • the three-dimensional point cloud semantic segmentation network specifically includes:
  • the AS-SRN module is used to select part of the point cloud by using the farthest point sampling algorithm FPS, then correct the selected part of the point cloud through the AS module in Point-ASNL, and finally extract the features of the part of the point cloud through MLP;
  • the SRN-Net module is used to perform feature transformation on the features of the part of the point cloud by using the SRN module, and finally obtain the segmentation result;
  • the operation of the three-dimensional point cloud semantic segmentation network includes the following steps:
  • S410 downsample the input point cloud into 1024 points, perform a neighborhood query on the k points with the nearest distance for each point after the downsampling, and input the coordinates and corresponding features of the k points into the AS module to obtain According to the corrected points and information of the local information, the multi-layer perceptron MLP is used to obtain richer features, and then the SRN layer is passed to obtain an output of 1024*64, where 1024 is the number of sampling points and 64 is the feature number of channels;
  • step S420 Using the process in step S410, down-sampling-feature extraction is performed on the point cloud. As the number of sampling points decreases, the neighborhood viewing angle gradually increases, and the extracted features are gradually enriched, and an output of 16*512 is obtained;
  • S430 Upsampling the point cloud, using the inverse distance interpolation method in PointNet++ to convert 16*512 to 64*512 output, splicing it with the 64*256 output of the previous layer, and then passing through the multi-layer perceptron MLP, get 64*256 output;
  • step S440 Use the process described in step S430 to upsample the point cloud until it is restored to the original N points, and the feature vector of each point is [score11, score22], if score22 is less than the set second threshold, then It means that it does not contain an oxide layer, otherwise it means that it contains an oxide layer.
  • the output of the point cloud containing the oxide layer is the oxide layer point cloud, which is defined as the oxide layer point cloud B.
  • the clustering algorithm specifically used in the above step S500 is the K-mean clustering algorithm, which specifically includes the following steps:
  • n j is the number of sample data corresponding to the j
  • j 1, 2, ..., k clusters
  • the mean value is used as the new cluster center
  • the grinding sequence of b j is specifically planned by the simulated annealing algorithm, and the grinding path is fitted by the B-spline interpolation method, which specifically includes the following steps:
  • S620 Input the point cloud of the oxide layer of the hardware in sequence, input the polished point cloud and perform principal component analysis on it, and determine the surface normal vector of the point cloud according to the eigenvector corresponding to the minimum singular value;
  • S630 Construct the minimum bounding box of the point cloud according to the surface normal vector in step S620, and perform segmentation based on the normal vector direction, and solve the centroids of the segmented sub-bounding box point sets respectively;
  • step S640 According to the centroid and cubic B-spline interpolation principle described in step S630, construct control points and fit a grinding trajectory;
  • step S650 Determine whether the trajectory of the processing area has been planned, and if so, output all processing sequences and processing trajectories; otherwise, return to step S620.
  • the present invention also proposes a hardware robot intelligent grinding device based on 2D/3D vision fusion, which is characterized by applying the hardware robot intelligent grinding method based on 2D/3D vision fusion in any of the above claims 1-6, include,
  • a first camera for acquiring RGB images of multiple viewing angles of the input hardware
  • the second camera which is a laser line scan camera, is used to obtain 3D point clouds of multiple viewing angles of the input hardware
  • a machine vision processing system which integrates the steps of the hardware robot intelligent grinding method based on 2D/3D vision fusion in any one of the above claims 1-6, is used for collecting according to the first camera and the second camera.
  • the data information is calculated to obtain the information of the oxide layer, and the manipulator is controlled to perform corresponding processing on the oxide layer.
  • the first camera is any one of a two-dimensional camera or a three-dimensional camera.
  • the second camera is specifically a Shining 3D scanner
  • the robotic arm is a Yaskawa six-degree-of-freedom robot with a model of HP20D
  • the present invention also provides a computer-readable storage medium, where the computer-readable storage medium stores a computer program, and when the computer program is executed by a processor, implements the steps of the method according to any one of claims 1-6 .
  • modules described as separate components may or may not be physically separated, and the components shown as modules may or may not be physical modules, that is, may be located in one place, or may be distributed to multiple network modules. Some or all of the modules may be selected according to actual needs to achieve the purpose of the solution in this embodiment.
  • each functional module in each embodiment of the present invention may be integrated into one processing module, or each module may exist physically alone, or two or more modules may be integrated into one module.
  • the above-mentioned integrated modules can be implemented in the form of hardware, and can also be implemented in the form of software function modules.
  • the integrated modules are implemented in the form of software functional modules and sold or used as independent products, they may be stored in a computer-readable storage medium.
  • the present invention can implement all or part of the processes in the methods of the above embodiments, and can also be completed by instructing relevant hardware through a computer program, and the computer program can be stored in a computer-readable storage medium.
  • the computer program is executed by the processor, the steps of the above-mentioned various method embodiments can be implemented.
  • the computer program includes computer program code, and the computer program code may be in the form of source code, object code, executable file or some intermediate form, and the like.
  • the computer-readable medium may include: any entity or device capable of carrying the computer program code, recording medium, U disk, removable hard disk, magnetic disk, optical disk, computer memory, read-only memory (ROM, Read-Only Memory) , Random Access Memory (RAM, Random Access Memory), electric carrier signal, telecommunication signal and software distribution medium, etc.
  • ROM Read-Only Memory
  • RAM Random Access Memory
  • electric carrier signal telecommunication signal and software distribution medium, etc.
  • the content contained in the computer-readable media may be appropriately increased or decreased according to the requirements of legislation and patent practice in the jurisdiction, for example, in some jurisdictions, according to legislation and patent practice, the computer-readable media Excluded are electrical carrier signals and telecommunication signals.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Image Processing (AREA)

Abstract

一种基于2D/3D视觉融合的五金件机器人智能化打磨方法与装置，其中方法包括以下步骤：S100：获取输入五金件的多个视角的RGB图像；S200：对所有的RGB图像进行检测，判断输入五金件是否具有氧化层；S300：获取输入五金件的多个视角的三维点云，将相邻视角的三维点云进行两两配准，将配准结果转换到机器人世界坐标系下；S400：根据预先训练的三维点云语义分割网络，对完整的输入五金件的点云模型进行分割得到氧化层点云；S500：通过聚类算法对氧化层点云进行聚类处理，得到聚类处理后的氧化层点云集合；S600：规划氧化层点云集合的打磨顺序，并确定打磨路径；S700：根据确定好的打磨顺序以及打磨路径，控制机械臂对输入五金件进行打磨。

Description

基于2D/3D视觉融合的五金件机器人智能化打磨方法与装置 技术领域
本发明涉及智能制造技术领域，尤其涉及基于2D/3D视觉融合的五金件机器人智能化打磨方法与装置。
背景技术
五金件是指数种有色金属铸造而成的零部件，广泛应用于固定、装饰和加工产品。然而，由于五金件具有大批量、定制化等特点，其在存储过程中可能会受空气湿度、破损等因素影响而出现氧化层缺陷，导致其无法高质量配置、应用于其他个体装备中。因此，有必要对五金件进行检测，并对其氧化层进行去除处理。现有的五金件检测、加工方法主要通过工人进行机械性、重复的工作完成，容易出现人工疲劳而导致的漏检问题且效率较低等技术问题。
发明内容
本发明旨在至少解决现有技术的不足之一，提供基于2D/3D视觉融合的五金件机器人智能化打磨方法与装置。
为了实现上述目的，本发明采用以下的技术方案：
提出基于2D/3D视觉融合的五金件机器人智能化打磨方法，包括以下步骤：
S100：获取输入五金件的多个视角的RGB图像；
S200：对上述所有的RGB图像进行检测，判断输入五金件是否具有氧化层，如果是转至步骤S300，如果否结束本轮检测；
S300：获取输入五金件的多个视角的三维点云，将相邻视角的所述三维点云进行两两配准，将配准结果转换到机器人世界坐标系下，并融合得到完整的输入五金件的点云模型；
S400：根据预先训练的三维点云语义分割网络，对完整的输入五金件的所述点云模型进行分割得到氧化层点云；
S500：通过聚类算法对所述氧化层点云进行聚类处理，得到聚类处理后的氧化层点云集合；
S600：规划所述氧化层点云集合的打磨顺序，并确定打磨路径；
S700：根据确定好的打磨顺序以及打磨路径，控制机械臂对所述输入五金件 进行打磨。
进一步，上述步骤S200中判断输入五金件是否具有氧化层的操作具体包括以下步骤，
S210：将所有的所述RGB图像重规整到224*224的固定分辨率，之后，将所述RGB图像进行归一化处理得到归一化后RGB图像，通过如下公式实现，其中
Figure PCTCN2021075449-appb-000001
代表像素均值，σ代表像素方差，x i表示原始图像，x′ i表示归一化后的图像：
Figure PCTCN2021075449-appb-000002
S220：将归一化后的RGB图像输入卷积核为7*7、输出通道为64、步长为2的卷积层中，得到112*112*64的第一特征图，之后经过卷积层的池化操作，得到56*56*64的第二特征图；
S230：将第二特征图输入Res-deconv卷积层中，输入分别经过Res-block和De-conv层得到不同的两个特征图，将得到的不同的两个特征图进行相加，对两个特征图的特征进行融合，后续再经过4个Res-deconv卷积层处理，得到7*7*128的第三特征图；
S240：将7*7*128的第三特征图进行维度缩减，展开形成6272的特征向量，再经过全连接层处理，得到长度为2的特征向量，再经过softmax函数处理，即可得到预测分数[score1，score2]，若score2小于设定的第一阈值，则代表不包含氧化层，反之则代表包含氧化层。
进一步，上述步骤S300具体包括以下步骤，
S310：通过激光扫描仪获取精确的输入五金件的多个视角的三维点云，记为A＝{a i,i＝1,2,…,M}；
S320：给定收敛阈值∈＝0.0001，根据相关仪器以及机器人的标定信息，将多个视角的三维点云A统一到机器人世界坐标系下；
S330：确定相邻视角的源点云a j＝{x d,d＝1,2,…,g}和移动点云a j+1＝{y l,l＝1,2,…,h},构建多视角点云配准模型：
Figure PCTCN2021075449-appb-000003
Figure PCTCN2021075449-appb-000004
其中R代表空间旋转矩阵，t代表空间平移向量，x l代表移动点云中的点，
Figure PCTCN2021075449-appb-000005
代 表源点云a j中最近邻匹配的点，p∈[0,1]；
S340：利用交替乘子法ADMM求解多视角点云配准模型中的匹配点对的对偶解，以识别离群值；
S350：通过所述对偶解估计匹配点对并利用传统ICP算法求解空间变换矩阵，对点云a j进行配准得到
Figure PCTCN2021075449-appb-000006
求点云a j以及
Figure PCTCN2021075449-appb-000007
的均方根误差∈ k,如果∈ k<∈,则输出点云
Figure PCTCN2021075449-appb-000008
否则令
Figure PCTCN2021075449-appb-000009
返回步骤S330；
S360：判断全部点云是否配准完毕，如果是，融合全部配准结果并输出得到五金件实体点云D，否则，令a j＝a j+1，返回步骤S330。
进一步，述三维点云语义分割网络具体包括，
AS-SRN模块，用于利用最远点采样算法FPS选取部分点云，之后通过Point-ASNL中的AS模块对选取的部分点云进行修正，最后通过MLP提取所述部分点云的特征；
SRN-Net模块，用于利用SRN模块对所述部分点云的特征进行特征变换，最终得到分割结果；
具体的，所述三维点云语义分割网络运行包括以下步骤，
S410：将输入的点云降采样为1024个点，对降采样后的每个点进行邻域查询距离最近的k个点，将k个点的坐标及对应的特征输入到AS模块中，获得根据局部信息修正后的点和信息，再通过多层感知机MLP，获取更丰富的特征，再经过SRN层，得到1024*64的输出，其中，1024即为采样点的个数，64为特征通道数；
S420：利用步骤S410中的流程，对点云进行降采样-特征提取，随着采样点个数的降低，邻域视角逐渐增大，所提取的特征逐渐富度，得到16*512的输出；
S430：将点云进行上采样，利用PointNet++中的反距离插值方式，将16*512转为64*512的输出，将其与上一层的64*256输出进行拼接，再经过多层感知机MLP，得到64*256的输出；
S440：利用步骤S430所述的流程，对点云进行上采样，直到恢复至原先的N个点，每个点的特征向量为[score11，score22]，若score22小于设定的第二阈值，则代表不包含氧化层，反之则代表包含氧化层，将包含氧化层的点云输出即 为氧化层点云，定义为氧化层点云B。
进一步，上述步骤S500中具体使用的聚类算法为K-mean聚类算法，具体包括以下步骤，
S510：选取氧化层点云B的K个点x＝{x 1,x 2,…,x k}作为聚类中心；
S520：计算氧化层点云B其余点x q与每个聚类中心的欧式距离，根据最小距离min|v i-x|，将样本对象分配到距离最近的聚类中心x k；
S530：根据聚类结果分别计算新的聚类中心
Figure PCTCN2021075449-appb-000010
其中，n j为第j,j＝1,2,…,k个聚类对应的样本数据个数，并以此均值作为新的聚类中心。
S540：判断新、旧聚类中心是否变化，如果是，返回步骤S2；否则，输出K个氧化层聚类结果氧化层点云B＝{b j,j＝1,2,…,N}，b j为氧化层点云B中的单个点云。
进一步，上述步骤S600中具体通过模拟退火算法规划b j的打磨顺序，并利用B样条插值方法拟合打磨路径，具体的包括以下步骤，
S610：分别计算b j的质心，并利用模拟退火算法规划其打磨顺序，以保证加工路径最小；
S620：按顺序输入五金件氧化层点云，输入打磨点云并对其进行主成分分析，根据最小奇异值对应的特征向量确定点云的曲面法向量；
S630：根据步骤S620的曲面法向量构建点云的最小包围盒，并以法向量方向为基准进行切分，分别求解已切分的子包围盒点集的质心；
S640：以步骤S630中所述的质心和三次B样条插值原理，构建控制点并拟合出打磨轨迹；
S650：判断加工区域的轨迹是否规划完毕，如果是，输出所有加工次序及加工轨迹；否则，返回步骤S620。
本发明还提出基于2D/3D视觉融合的五金件机器人智能化打磨装置，其特征在于，应用了上述权利要求1-6中任一项基于2D/3D视觉融合的五金件机器人智能化打磨方法，包括，
第一相机，用于获取输入五金件的多个视角的RGB图像；
第二相机，为激光线扫相机，用于获取输入五金件的多个视角的三维点云；
机械臂，用于对氧化层进行打磨、抛光；
机器视觉处理系统，集成有上述权利要求1-6中任一项基于2D/3D视觉融合的五金件机器人智能化打磨方法的步骤的设备，用于根据所述第一相机以及第二相机采集到的数据信息计算得到氧化层的信息，并控制机械臂对所述氧化层进行对应处理。
进一步，所述第一相机为二维相机或是三维相机中的任意一种。
进一步，所述第二相机具体为先临三维扫描仪，所述机械臂为型号为HP20D的安川六自由度机器人。
本发明还提出一种计算机可读存储的介质，所述计算机可读存储的介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-6任一项所述方法的步骤。
本发明的有益效果为：
本发明通过利用二维相机获取RGB图像，利用改进的res-net图片分类网络框架快速进行二维氧化层缺陷的检测，同时结合线扫相机获取目标的三维点云，利用融合自适应采样模块与结构相关性特征提取的点云分割网络实现氧化层缺陷的分割，实现其三维定位。最后，利用机器人操作臂对氧化层进行适应性、智能化和高效加工。该发明有利于快速、准确去除五金件氧化层，对五金件铸造行业实现绿色、可持续性发展具有重要意义。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1所示为基于2D/3D视觉融合的五金件机器人智能化打磨方法流程图；
图2所示为基于2D/3D视觉融合的五金件机器人智能化打磨方法的原理图；
图3所示为基于2D/3D视觉融合的五金件机器人智能化打磨方法的图像分类网络的原理图；
图4所示为基于2D/3D视觉融合的五金件机器人智能化打磨方法的点云语意分割网络的原理图；
图5所示为基于2D/3D视觉融合的五金件机器人智能化打磨方法的氧化层图像数据集构建的流程图；
图6所示为基于2D/3D视觉融合的五金件机器人智能化打磨方法的氧化层点集合数据集构件的流程图；
图7所示为基于2D/3D视觉融合的五金件机器人智能化打磨方法的点云语意分割网络的网络模型参数训练过程的流程图。
具体实施方式
以下将结合实施例和附图对本发明的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本发明的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。附图中各处使用的相同的附图标记指示相同或相似的部分。
结合图2，通过相机获取RGB图像对五金件氧化层进行快速判断，进而结合三维激光扫描仪获取对应相机视角五金件的精确三维点云，利用点云分割网络实现氧化层点云的分割，将其作为空间定位信息，通过对五金件氧化层的点云进行聚类，可得到氧化层加工区域。针对氧化层区域最短路径规划问题，可结合智能算法，如模拟退火、遗传算法等，规划出最优区域加工次序。针对单块氧化层加工问题，可结合B样条曲线插值原理，获得更精确的机器人加工路径。最后，在机器人操作臂的法兰上搭载所需刀具，对氧化层进行打磨、抛光，主要实现过程：
步骤1：输入五金件；
步骤2：利用二维相机获取多视角五金件的RGB图像，利用如图3所示的改进res-net算法检测五金件氧化层，判断是否存在氧化层？如果不存在，结束程序；否则，继续下一步骤；
步骤3：利用激光扫描仪获取M个视角的五金件三维点云,记为A＝{a i,i＝1,2,…,M}，对A中的相邻视角点云进行两两配准，并将全部配准结果转换到机器人世界坐标系下，并融合得到完整三维五金件点云模型D；
步骤4：结合预先训练的三维点云语义分割网络，如图4所示，分割出步骤3完整点云模型D中的氧化层点云，记为B；
步骤5：利用K-mean聚类算法对步骤4中的氧化层点云B进行聚类，得到氧化层点云集合B＝{b j,j＝1,2,…,N}；
步骤6：利用模拟退火算法规划步骤5所聚类点云b j的打磨顺序，并利用三 次B样条插值方法拟合打磨路径Tr＝{tr j,j＝1,2,…,N}；
步骤7：根据步骤6的打磨顺序及路径，利用机器人对五金件进行打磨。
本发明利用融合2D/3D视觉，可提高五金件氧化层的缺陷检测、定位效率，减少漏检、错检率，且利用3D视觉技术中的激光扫描仪可实现氧化层点云获取，获取氧化层空间信息。在此基础上，利用机器人操作臂进行打磨、抛光可充分解放生产力，提高五金件氧化层去除的精度，且机器人加工更具柔性、自动化程度更高。
参照图1，本发明提出基于2D/3D视觉融合的五金件机器人智能化打磨方法，包括以下步骤：
S100：获取输入五金件的多个视角的RGB图像；
S200：对上述所有的RGB图像进行检测，判断输入五金件是否具有氧化层，如果是转至步骤S300，如果否结束本轮检测；
S300：获取输入五金件的多个视角的三维点云，将相邻视角的所述三维点云进行两两配准，将配准结果转换到机器人世界坐标系下，并融合得到完整的输入五金件的点云模型；
S400：根据预先训练的三维点云语义分割网络，对完整的输入五金件的所述点云模型进行分割得到氧化层点云；
S500：通过聚类算法对所述氧化层点云进行聚类处理，得到聚类处理后的氧化层点云集合；
S600：规划所述氧化层点云集合的打磨顺序，并确定打磨路径；
S700：根据确定好的打磨顺序以及打磨路径，控制机械臂对所述输入五金件进行打磨。
作为本发明的优选实施方式，上述步骤S200中判断输入五金件是否具有氧化层的操作具体包括以下步骤，
S210：将所有的所述RGB图像重规整到224*224的固定分辨率，之后，将所述RGB图像进行归一化处理得到归一化后RGB图像，通过如下公式实现，其中
Figure PCTCN2021075449-appb-000011
代表像素均值，σ代表像素方差，x i表示原始图像，x′ i表示归一化后的图像：
Figure PCTCN2021075449-appb-000012
通过以上步骤能够降低神经网络的计算量，便于神经网络的计算。
S220：将归一化后的RGB图像输入卷积核为7*7、输出通道为64、步长为2的卷积层中，得到112*112*64的第一特征图，之后经过卷积层的池化操作，得到56*56*64的第二特征图；
S230：将第二特征图输入Res-deconv卷积层中，输入分别经过Res-block和De-conv层得到不同的两个特征图，将得到的不同的两个特征图进行相加，对两个特征图的特征进行融合，后续再经过4个Res-deconv卷积层处理，得到7*7*128的第三特征图；
S240：将7*7*128的第三特征图进行维度缩减，展开形成6272的特征向量，再经过全连接层处理，得到长度为2的特征向量，再经过softmax函数处理，即可得到预测分数[score1，score2]，若score2小于设定的第一阈值，则代表不包含氧化层，反之则代表包含氧化层。
作为本发明的优选实施方式，上述步骤S300具体包括以下步骤，
S310：通过激光扫描仪获取精确的输入五金件的多个视角的三维点云，记为A＝{a i,i＝1,2,…,M}；
S320：给定收敛阈值∈＝0.0001，根据相关仪器以及机器人的标定信息，将多个视角的三维点云A统一到机器人世界坐标系下；
S330：确定相邻视角的源点云a j＝{x d,d＝1,2,…,g}和移动点云a j+1＝{y l,l＝1,2,…,h},构建多视角点云配准模型：
Figure PCTCN2021075449-appb-000013
Figure PCTCN2021075449-appb-000014
其中R代表空间旋转矩阵，t代表空间平移向量，x l代表移动点云中的点，
Figure PCTCN2021075449-appb-000015
代表源点云a j中最近邻匹配的点，p∈[0,1]；
S340：利用交替乘子法ADMM求解多视角点云配准模型中的匹配点对的对偶解，以识别离群值；
S350：通过所述对偶解估计匹配点对并利用传统ICP算法求解空间变换矩阵，对点云a j进行配准得到
Figure PCTCN2021075449-appb-000016
求点云a j以及
Figure PCTCN2021075449-appb-000017
的均方根误差∈ k，如果∈ k<∈，则输出点云
Figure PCTCN2021075449-appb-000018
否则令
Figure PCTCN2021075449-appb-000019
返回步骤S330；
S360：判断全部点云是否配准完毕，如果是，融合全部配准结果并输出得到 五金件实体点云D，否则，令a j＝a j+1，返回步骤S330。
作为本发明的优选实施方式，述三维点云语义分割网络具体包括，
AS-SRN模块，用于利用最远点采样算法FPS选取部分点云，之后通过Point-ASNL中的AS模块对选取的部分点云进行修正，最后通过MLP提取所述部分点云的特征；
SRN-Net模块，用于利用SRN模块对所述部分点云的特征进行特征变换，最终得到分割结果；
参照图8，具体的，所述三维点云语义分割网络运行包括以下步骤，
S410：将输入的点云降采样为1024个点，对降采样后的每个点进行邻域查询距离最近的k个点，将k个点的坐标及对应的特征输入到AS模块中，获得根据局部信息修正后的点和信息，再通过多层感知机MLP，获取更丰富的特征，再经过SRN层，得到1024*64的输出，其中，1024即为采样点的个数，64为特征通道数；
S420：利用步骤S410中的流程，对点云进行降采样-特征提取，随着采样点个数的降低，邻域视角逐渐增大，所提取的特征逐渐富度，得到16*512的输出；
S430：将点云进行上采样，利用PointNet++中的反距离插值方式，将16*512转为64*512的输出，将其与上一层的64*256输出进行拼接，再经过多层感知机MLP，得到64*256的输出；
S440：利用步骤S430所述的流程，对点云进行上采样，直到恢复至原先的N个点，每个点的特征向量为[score11，score22]，若score22小于设定的第二阈值，则代表不包含氧化层，反之则代表包含氧化层，将包含氧化层的点云输出即为氧化层点云，定义为氧化层点云B。
作为本发明的优选实施方式，上述步骤S500中具体使用的聚类算法为K-mean聚类算法，具体包括以下步骤，
S510：选取氧化层点云B的K个点x＝{x 1,x 2,…,x k}作为聚类中心；
S520：计算氧化层点云B其余点x q与每个聚类中心的欧式距离，根据最小距离min|v i-x|，将样本对象分配到距离最近的聚类中心x k；
S530：根据聚类结果分别计算新的聚类中心
Figure PCTCN2021075449-appb-000020
其中，n j为第 j,j＝1,2,…,k个聚类对应的样本数据个数，并以此均值作为新的聚类中心；
S540：判断新、旧聚类中心是否变化，如果是，返回步骤S2；否则，输出K个氧化层聚类结果氧化层点云B＝{b j,j＝1,2,…,N}，b j为氧化层点云B中的单个点云。
作为本发明的优选实施方式，上述步骤S600中具体通过模拟退火算法规划b j的打磨顺序，并利用B样条插值方法拟合打磨路径，具体的包括以下步骤，
S610：分别计算b j的质心，并利用模拟退火算法规划其打磨顺序，以保证加工路径最小；
S620：按顺序输入五金件氧化层点云，输入打磨点云并对其进行主成分分析，根据最小奇异值对应的特征向量确定点云的曲面法向量；
S630：根据步骤S620的曲面法向量构建点云的最小包围盒，并以法向量方向为基准进行切分，分别求解已切分的子包围盒点集的质心；
S640：以步骤S630中所述的质心和三次B样条插值原理，构建控制点并拟合出打磨轨迹；
S650：判断加工区域的轨迹是否规划完毕，如果是，输出所有加工次序及加工轨迹；否则，返回步骤S620。
另外参照图5以及图6，分别为为氧化层图像数据集构建的流程图、氧化层点集合数据集构建的流程图，本实施方式通过该方式对氧化层的相关数据集进行处理。
本发明还提出基于2D/3D视觉融合的五金件机器人智能化打磨装置，其特征在于，应用了上述权利要求1-6中任一项基于2D/3D视觉融合的五金件机器人智能化打磨方法，包括，
第一相机，用于获取输入五金件的多个视角的RGB图像；
第二相机，为激光线扫相机，用于获取输入五金件的多个视角的三维点云；
机械臂，用于对氧化层进行打磨、抛光；
机器视觉处理系统，集成有上述权利要求1-6中任一项基于2D/3D视觉融合的五金件机器人智能化打磨方法的步骤的设备，用于根据所述第一相机以及第二相机采集到的数据信息计算得到氧化层的信息，并控制机械臂对所述氧化层进行 对应处理。
作为本发明的优选实施方式，所述第一相机为二维相机或是三维相机中的任意一种。
作为本发明的优选实施方式，所述第二相机具体为先临三维扫描仪，所述机械臂为型号为HP20D的安川六自由度机器人
本发明还提出一种计算机可读存储的介质，所述计算机可读存储的介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-6任一项所述方法的步骤。
所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。
所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储的介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
尽管本发明的描述已经相当详尽且特别对几个所述实施例进行了描述，但其并非旨在局限于任何这些细节或实施例或任何特殊实施例，而是应当将其视作是通过参考所附权利要求考虑到现有技术为这些权利要求提供广义的可能性解释，从而有效地涵盖本发明的预定范围。此外，上文以发明人可预见的实施例对本发明进行描述，其目的是为了提供有用的描述，而那些目前尚未预见的对本发明的非实质性改动仍可代表本发明的等效改动。
以上所述，只是本发明的较佳实施例而已，本发明并不局限于上述实施方式，只要其以相同的手段达到本发明的技术效果，都应属于本发明的保护范围。在本发明的保护范围内其技术方案和/或实施方式可以有各种不同的修改和变化。

Claims (10)

  1. 基于2D/3D视觉融合的五金件机器人智能化打磨方法，其特征在于，包括以下步骤：
    S100：获取输入五金件的多个视角的RGB图像；
    S200：对上述所有的RGB图像进行检测，判断输入五金件是否具有氧化层，如果是转至步骤S300，如果否结束本轮检测；
    S300：获取输入五金件的多个视角的三维点云，将相邻视角的所述三维点云进行两两配准，将配准结果转换到机器人世界坐标系下，并融合得到完整的输入五金件的点云模型；
    S400：根据预先训练的三维点云语义分割网络，对完整的输入五金件的所述点云模型进行分割得到氧化层点云；
    S500：通过聚类算法对所述氧化层点云进行聚类处理，得到聚类处理后的氧化层点云集合；
    S600：规划所述氧化层点云集合的打磨顺序，并确定打磨路径；
    S700：根据确定好的打磨顺序以及打磨路径，控制机械臂对所述输入五金件进行打磨。
  2. 根据权利要求1所述的基于2D/3D视觉融合的五金件机器人智能化打磨方法，其特征在于：上述步骤S200中判断输入五金件是否具有氧化层的操作具体包括以下步骤，
    S210：将所有的所述RGB图像重规整到224*224的固定分辨率，之后，将所述RGB图像进行归一化处理得到归一化后RGB图像，通过如下公式实现，其中
    Figure PCTCN2021075449-appb-100001
    代表像素均值，σ代表像素方差，x i表示原始图像，x′ i表示归一化后的图像：
    Figure PCTCN2021075449-appb-100002
    S220：将归一化后的RGB图像输入卷积核为7*7、输出通道为64、步长为2的卷积层中，得到112*112*64的第一特征图，之后经过卷积层的池化操作，得到56*56*64的第二特征图；
    S230：将第二特征图输入Res-deconv卷积层中，输入分别经过Res-block和De-conv层得到不同的两个特征图，将得到的不同的两个特征图进行相加，对两个特征图的特征进行融合，后续再经过4个Res-deconv卷积层处理，得到7*7*128 的第三特征图；
    S240：将7*7*128的第三特征图进行维度缩减，展开形成6272的特征向量，再经过全连接层处理，得到长度为2的特征向量，再经过softmax函数处理，即可得到预测分数[score1，score2]，若score2小于设定的第一阈值，则代表不包含氧化层，反之则代表包含氧化层。
  3. 根据权利要求1所述的基于2D/3D视觉融合的五金件机器人智能化打磨方法，其特征在于，上述步骤S300具体包括以下步骤，
    S310：通过激光扫描仪获取精确的输入五金件的多个视角的三维点云，记为A＝{a i,i＝1,2,…,M}；
    S320：给定收敛阈值ε＝0.0001，根据相关仪器以及机器人的标定信息，将多个视角的三维点云A统一到机器人世界坐标系下；
    S330：确定相邻视角的源点云a j＝{x d,d＝1,2,…,g}和移动点云a j+1＝{y l,l＝1,2,…,h},构建多视角点云配准模型：
    Figure PCTCN2021075449-appb-100003
    Figure PCTCN2021075449-appb-100004
    其中R代表空间旋转矩阵，t代表空间平移向量，x l代表移动点云中的点，
    Figure PCTCN2021075449-appb-100005
    表示求取点x l的匹配点对
    Figure PCTCN2021075449-appb-100006
    可通过最近邻搜索得到，z l代表配准残差，p∈[0,1]；
    S340：利用交替乘子法ADMM求解多视角点云配准模型中的匹配点对的对偶解，以识别离群值；
    S350：通过所述对偶解估计匹配点对并利用传统ICP算法求解空间变换矩阵，对点云a j进行配准得到
    Figure PCTCN2021075449-appb-100007
    求点云a j以及
    Figure PCTCN2021075449-appb-100008
    的均方根误差ε k,如果ε k<ε,则输出点云
    Figure PCTCN2021075449-appb-100009
    否则令
    Figure PCTCN2021075449-appb-100010
    返回步骤S330；
    S360：判断全部点云是否配准完毕，如果是，融合全部配准结果并输出得到五金件实体点云D，否则，令a j＝a j+1，返回步骤S330。
  4. 根据权利要求1所述的基于2D/3D视觉融合的五金件机器人智能化打磨方法，其特征在于，所述三维点云语义分割网络具体包括，
    AS-SRN模块，用于利用最远点采样算法FPS选取部分点云，之后通过 Point-ASNL中的AS模块对选取的部分点云进行修正，最后通过MLP提取所述部分点云的特征；
    SRN-Net模块，用于利用SRN模块对所述部分点云的特征进行特征变换，最终得到分割结果；
    具体的，所述三维点云语义分割网络运行包括以下步骤，
    S410：将输入的点云降采样为1024个点，对降采样后的每个点进行邻域查询距离最近的k个点，将k个点的坐标及对应的特征输入到AS模块中，获得根据局部信息修正后的点和信息，再通过多层感知机MLP，获取更丰富的特征，再经过SRN层，得到1024*64的输出，其中，1024即为采样点的个数，64为特征通道数；
    S420：利用步骤S410中的流程，对点云进行降采样-特征提取，随着采样点个数的降低，邻域视角逐渐增大，所提取的特征逐渐富度，得到16*512的输出；
    S430：将点云进行上采样，利用PointNet++中的反距离插值方式，将16*512转为64*512的输出，将其与上一层的64*256输出进行拼接，再经过多层感知机MLP，得到64*256的输出；
    S440：利用步骤S430所述的流程，对点云进行上采样，直到恢复至原先的N个点，每个点的特征向量为[score11，score22]，若score22小于设定的第二阈值，则代表不包含氧化层，反之则代表包含氧化层，将包含氧化层的点云输出即为氧化层点云，定义为氧化层点云B。
  5. 根据权利要求4所述的基于2D/3D视觉融合的五金件机器人智能化打磨方法，其特征在于，上述步骤S500中具体使用的聚类算法为K-mean聚类算法，具体包括以下步骤，
    S510：选取氧化层点云B的K个点x＝{x 1,x 2,…,x k}作为聚类中心；
    S520：计算氧化层点云B其余点x q与每个聚类中心的欧式距离，根据最小距离min|v i-x|，将样本对象分配到距离最近的聚类中心x k；
    S530：根据聚类结果分别计算新的聚类中心
    Figure PCTCN2021075449-appb-100011
    其中，n j为第j,j＝1,2,…,k个聚类对应的样本数据个数，并以此均值作为新的聚类中心；
    S540：判断新、旧聚类中心是否变化，如果是，返回步骤S2；否则，输出K个氧化层聚类结果氧化层点云B＝{b j,j＝1,2,…,N}，b j为氧化层点云B中的单 个点云。
  6. 根据权利要求5所述的基于2D/3D视觉融合的五金件机器人智能化打磨方法，其特征在于，上述步骤S600中具体通过模拟退火算法规划b j的打磨顺序，并利用B样条插值方法拟合打磨路径，具体的包括以下步骤，
    S610：分别计算b j的质心，并利用模拟退火算法规划其打磨顺序，以保证加工路径最小；
    S620：按顺序输入五金件氧化层点云，输入打磨点云并对其进行主成分分析，根据最小奇异值对应的特征向量确定点云的曲面法向量；
    S630：根据步骤S620的曲面法向量构建点云的最小包围盒，并以法向量方向为基准进行切分，分别求解已切分的子包围盒点集的质心；
    S640：以步骤S630中所述的质心和三次B样条插值原理，构建控制点并拟合出打磨轨迹；
    S650：判断加工区域的轨迹是否规划完毕，如果是，输出所有加工次序及加工轨迹；否则，返回步骤S620。
  7. 基于2D/3D视觉融合的五金件机器人智能化打磨装置，其特征在于，应用了上述权利要求1-6中任一项基于2D/3D视觉融合的五金件机器人智能化打磨方法，包括，
    第一相机，用于获取输入五金件的多个视角的RGB图像；
    第二相机，为激光线扫相机，用于获取输入五金件的多个视角的三维点云；
    机械臂，用于对氧化层进行打磨、抛光；
    机器视觉处理系统，集成有上述权利要求1-6中任一项基于2D/3D视觉融合的五金件机器人智能化打磨方法的步骤的设备，用于根据所述第一相机以及第二相机采集到的数据信息计算得到氧化层的信息，并控制机械臂对所述氧化层进行对应处理。
  8. 根据权利要求7所述的基于2D/3D视觉融合的五金件机器人智能化打磨装置，其特征在于，所述第一相机为二维相机或是三维相机中的任意一种。
  9. 根据权利要求7所述的基于2D/3D视觉融合的五金件机器人智能化打磨装置，其特征在于，所述第二相机具体为先临三维扫描仪，所述机械臂为型号为HP20D的安川六自由度机器人。
  10. 一种计算机可读存储的介质，所述计算机可读存储的介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6任一项所述方法的步骤。
PCT/CN2021/075449 2021-02-05 2021-02-05 基于2d/3d视觉融合的五金件机器人智能化打磨方法与装置 WO2022165739A1 (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/075449 WO2022165739A1 (zh) 2021-02-05 2021-02-05 基于2d/3d视觉融合的五金件机器人智能化打磨方法与装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2021/075449 WO2022165739A1 (zh) 2021-02-05 2021-02-05 基于2d/3d视觉融合的五金件机器人智能化打磨方法与装置

Publications (1)

Publication Number Publication Date
WO2022165739A1 true WO2022165739A1 (zh) 2022-08-11

Family

ID=82740775

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/075449 WO2022165739A1 (zh) 2021-02-05 2021-02-05 基于2d/3d视觉融合的五金件机器人智能化打磨方法与装置

Country Status (1)

Country Link
WO (1) WO2022165739A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116109650A (zh) * 2023-02-01 2023-05-12 中国科学院自动化研究所 点云实例分割模型训练方法和训练装置
CN116452757A (zh) * 2023-06-15 2023-07-18 武汉纺织大学 一种复杂场景下的人体表面重建方法和系统
CN116713820A (zh) * 2023-05-29 2023-09-08 东莞市捷圣智能科技有限公司 一种鞋帮加工用打磨方法、系统、介质及装置
CN116728291A (zh) * 2023-08-16 2023-09-12 湖南大学 基于边缘计算的机器人打磨系统状态监测方法和装置
CN117021435A (zh) * 2023-05-12 2023-11-10 浙江闽立电动工具有限公司 修边机的修边控制系统及其方法
CN117206989A (zh) * 2023-11-09 2023-12-12 泉州华中科技大学智能制造研究院 一种基于3d视觉在线测量技术的叶片砂带磨削方法
CN117697613A (zh) * 2023-12-22 2024-03-15 上海强华实业股份有限公司 应用于石英产品研磨设备的识别与研磨控制方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2782663A1 (fr) * 1998-08-28 2000-03-03 Denis Girod Procede de realisation d'un verre correcteur a foyers multiples, et systeme de mise en oeuvre d'un tel procede
CN109483369A (zh) * 2018-12-13 2019-03-19 中国船舶重工集团公司第七六研究所 一种具有三维视觉的机器人打磨系统及其控制方法
CN109590815A (zh) * 2018-12-12 2019-04-09 上海卫星装备研究所 智能打磨系统、方法以及计算机可读存储介质
CN110340738A (zh) * 2019-06-21 2019-10-18 武汉理工大学 一种基于pca的机器人拉丝高铁白车身工件精确标定方法
CN111558870A (zh) * 2020-04-16 2020-08-21 华中科技大学 一种飞机机体复合材料构件机器人智能打磨系统及方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2782663A1 (fr) * 1998-08-28 2000-03-03 Denis Girod Procede de realisation d'un verre correcteur a foyers multiples, et systeme de mise en oeuvre d'un tel procede
CN109590815A (zh) * 2018-12-12 2019-04-09 上海卫星装备研究所 智能打磨系统、方法以及计算机可读存储介质
CN109483369A (zh) * 2018-12-13 2019-03-19 中国船舶重工集团公司第七六研究所 一种具有三维视觉的机器人打磨系统及其控制方法
CN110340738A (zh) * 2019-06-21 2019-10-18 武汉理工大学 一种基于pca的机器人拉丝高铁白车身工件精确标定方法
CN111558870A (zh) * 2020-04-16 2020-08-21 华中科技大学 一种飞机机体复合材料构件机器人智能打磨系统及方法

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116109650B (zh) * 2023-02-01 2024-02-13 中国科学院自动化研究所 点云实例分割模型训练方法和训练装置
CN116109650A (zh) * 2023-02-01 2023-05-12 中国科学院自动化研究所 点云实例分割模型训练方法和训练装置
CN117021435A (zh) * 2023-05-12 2023-11-10 浙江闽立电动工具有限公司 修边机的修边控制系统及其方法
CN117021435B (zh) * 2023-05-12 2024-03-26 浙江闽立电动工具有限公司 修边机的修边控制系统及其方法
CN116713820A (zh) * 2023-05-29 2023-09-08 东莞市捷圣智能科技有限公司 一种鞋帮加工用打磨方法、系统、介质及装置
CN116713820B (zh) * 2023-05-29 2024-03-26 东莞市捷圣智能科技有限公司 一种鞋帮加工用打磨方法、系统、介质及装置
CN116452757A (zh) * 2023-06-15 2023-07-18 武汉纺织大学 一种复杂场景下的人体表面重建方法和系统
CN116452757B (zh) * 2023-06-15 2023-09-15 武汉纺织大学 一种复杂场景下的人体表面重建方法和系统
CN116728291A (zh) * 2023-08-16 2023-09-12 湖南大学 基于边缘计算的机器人打磨系统状态监测方法和装置
CN116728291B (zh) * 2023-08-16 2023-10-31 湖南大学 基于边缘计算的机器人打磨系统状态监测方法和装置
CN117206989A (zh) * 2023-11-09 2023-12-12 泉州华中科技大学智能制造研究院 一种基于3d视觉在线测量技术的叶片砂带磨削方法
CN117206989B (zh) * 2023-11-09 2024-04-16 泉州华中科技大学智能制造研究院 一种基于3d视觉在线测量技术的叶片砂带磨削方法
CN117697613A (zh) * 2023-12-22 2024-03-15 上海强华实业股份有限公司 应用于石英产品研磨设备的识别与研磨控制方法及系统
CN117697613B (zh) * 2023-12-22 2024-05-07 上海强华实业股份有限公司 应用于石英产品研磨设备的识别与研磨控制方法及系统

Similar Documents

Publication Publication Date Title
WO2022165739A1 (zh) 基于2d/3d视觉融合的五金件机器人智能化打磨方法与装置
CN110246159B (zh) 基于视觉和雷达信息融合的3d目标运动分析方法
CN111679291B (zh) 基于三维激光雷达的巡检机器人目标定位配置方法
CN111598916A (zh) 一种基于rgb-d信息的室内占据栅格地图的制备方法
CN110223345B (zh) 基于点云的配电线路作业对象位姿估计方法
Li et al. An overlapping-free leaf segmentation method for plant point clouds
CN113065546B (zh) 一种基于注意力机制和霍夫投票的目标位姿估计方法及系统
CN108597009B (zh) 一种基于方向角信息进行三维目标检测的方法
CN105809716B (zh) 融合超像素与三维自组织背景减除法的前景提取方法
CN111702772B (zh) 一种帮面自动引导涂胶方法及系统
CN111784655B (zh) 一种水下机器人回收定位方法
CN111768447B (zh) 一种基于模板匹配的单目相机物体位姿估计方法及系统
CN113781561B (zh) 基于自适应高斯权快速点特征直方图的目标位姿估计方法
CN111199556A (zh) 基于摄像头的室内行人检测和跟踪方法
CN112518748B (zh) 面向运动物品的视觉机械臂自动抓取方法与系统
CN115082815A (zh) 基于机器视觉的茶芽采摘点定位方法、装置及采摘系统
WO2022228391A1 (zh) 一种终端设备定位方法及其相关设备
Menon et al. NBV-SC: Next best view planning based on shape completion for fruit mapping and reconstruction
CN109961461B (zh) 一种基于三维分层图模型的多运动目标跟踪方法
CN110851978A (zh) 一种基于可见性的摄像机位置优化方法
CN109166136B (zh) 移动机器人基于单目视觉传感器的目标对象跟随方法
Forechi et al. Visual global localization with a hybrid WNN-CNN approach
CN112418250B (zh) 一种复杂3d点云的优化匹配方法
CN111709269B (zh) 一种深度图像中基于二维关节信息的人手分割方法和装置
CN117351078A (zh) 基于形状先验的目标尺寸与6d姿态估计方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21923758

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21923758

Country of ref document: EP

Kind code of ref document: A1