WO2022021151A1 - 生产线装配组件的检查方法和装置 - Google Patents

Abstract

一种生产线装配组件的检查方法，包括：获取表示组件（32）的预期三维表面特征的第一数据集和表示组件（32）的实际三维表面特征的第二数据集，其中，组件（32）由多个部件装配而成；基于第一数据集和第二数据集，判断组件（32）中是否存在缺失部件和/或未对准部件；以及当组件（32）中存在缺失部件和/或未对准部件时，提供指示信息。该方法既能检查出组件（32）中的缺失部件，又能检查出组件（32）中的未对准部件，还可以向人员提供指示信息，方法简单、便捷且高效，不仅能提高组件（32）检查的准确性，而且无需高昂的人力成本。此外，向人员指示组件（32）中存在缺失部件和/或未对准部件在很大程度上减少了所花费的精力和时间，提高了检查速度和效率。

Description

生产线装配组件的检查方法和装置 技术领域

本公开涉及工业制造的技术领域，更具体地说，涉及生产线装配组件的检查方法、装置、计算设备、计算机可读存储介质和程序产品。

背景技术

在产品组装时，在生产线中将各个部件装配到一起形成组件是常见的中间过程。然而，在这个过程中，可能会出现部件缺失(漏装部件)或部件未对准(即，部件未安装到位或误装部件)的情况。因此，监视组件的装配过程尤为重要。

最直接的监视方式是在组件的装配期间由工人进行视觉检查，判断是否存在缺失或未对准的部件。在一些生产线中，使用二维成像系统从某些特定视角拍摄装配好的组件的二维图像，并根据这些图像检查组件中是否存在缺失部件或未对准部件。

目前更通用的方式是通过使用远程传感器技术来实现组件装配的监视。例如，在每个部件上都粘贴RFID标签，通过RFID阅读器读取这些RFID标签来检查组件中是否缺失某个部件。

发明内容

尽管对组件进行人工视觉检查最为直观，但是在人员疲劳或工作量增大时，视觉检查容易出错。人工视觉检查还很难识别或易忽视未对准的部件(尤其是当部件体积很小时)，而且增加了人力成本。使用二维成像系统进行组件检查仅在某些使用情形(例如，装配的组件为平面组件时)下有效，而在其它情形下可能会遗漏一些部件。

另外，虽然在每个部件上粘贴RFID标签能提高组件检查的准确性，然而粘贴RFID标签需要额外的人力和时间。并且，这种方式只能检查组件中 是否存在缺失部件，而无法检查部件是否对准。

本公开的第一实施例提出了一种生产线装配组件的检查方法，包括：获取表示组件的预期三维表面特征的第一数据集和表示组件的实际三维表面特征的第二数据集，其中，组件由多个部件装配而成；基于第一数据集和第二数据集，判断组件中是否存在缺失部件和/或未对准部件；以及当组件中存在缺失部件和/或未对准部件时，提供指示信息。

上述方法既能检查出组件中的缺失部件，又能检查出组件中的未对准部件，还可以向人员提供指示信息。该方法简单、便捷且高效，不仅能提高组件检查的准确性，而且无需高昂的人力成本。此外，向人员指示组件中存在缺失部件和/或未对准部件在很大程度上减少了所花费的精力和时间，提高了检查速度和效率。

本公开的第二实施例提出了一种生产线装配组件的检查装置，包括：数据获取单元，其被配置为获取表示组件的预期三维表面特征的第一数据集和表示组件的实际三维表面特征的第二数据集，其中，组件由多个部件装配而成；数据计算单元，其被配置为基于第一数据集和第二数据集，判断组件中是否存在缺失部件和/或未对准部件；以及信息提供单元，其被配置为当组件中存在缺失部件和/或未对准部件时，提供指示信息。

本公开的第三实施例提出了一种计算设备，该计算设备包括：处理器；以及存储器，其用于存储计算机可执行指令，当计算机可执行指令被执行时使得处理器执行第一实施例中的方法。

本公开的第四实施例提出了一种计算机可读存储介质，该计算机可读存储介质具有存储在其上的计算机可执行指令，计算机可执行指令用于执行第一实施例的方法。

本公开的第五实施例提出了一种计算机程序产品，该计算机程序产品被有形地存储在计算机可读存储介质上，并且包括计算机可执行指令，计算机可执行指令在被执行时使至少一个处理器执行第一实施例的方法。

附图说明

结合附图并参考以下详细说明，本公开的各实施例的特征、优点及其他方面将变得更加明显，在此以示例性而非限制性的方式示出了本公开的若干 实施例，在附图中：

图1示出了根据本公开的一个实施例的生产线装配组件的检查方法；

图2示出了根据本公开的一个实施例的用于实现图1中的方法的系统架构图；

图3示出了图2的系统中环形扫描仪的布置位置的示意图；

图4示出了使用图2的系统进行组件检查的工作流程；

图5示出了在图2的实施例中一个示例性组件的预期点云的示意图；

图6示出了图5中的示例性组件的实际点云的示意图；

图7示出了图5中的预期点云在确定三维边界框后的示意图；

图8示出了图6中的实际点云在确定三维边界框后的示意图；

图9示出了根据本公开的一个实施例的生产线装配组件的检查装置；以及

图10示出了根据本公开的一个实施例的用于执行生产线装配组件的检查方法的计算设备的框图。

具体实施方式

以下参考附图详细描述本公开的各个示例性实施例。虽然以下所描述的示例性方法、装置包括在其它组件当中的硬件上执行的软件和/或固件，但是应当注意，这些示例仅仅是说明性的，而不应看作是限制性的。例如，考虑在硬件中独占地、在软件中独占地、或在硬件和软件的任何组合中可以实施任何或所有硬件、软件和固件组件。因此，虽然以下已经描述了示例性的方法和装置，但是本领域的技术人员应容易理解，所提供的示例并不用于限制用于实现这些方法和装置的方式。

此外，附图中的流程图和框图示出了根据本公开的各个实施例的方法和系统的可能实现的体系架构、功能和操作。应当注意，方框中所标注的功能也可以按照不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，或者它们有时也可以按照相反的顺序执行，这取决于所涉及的功能。同样应当注意的是，流程图和/或框图中的每个方框、以及流程图和/或框图中的方框的组合，可以使用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以使用专用硬件与计算机指令的组合来 实现。

本文所使用的术语“包括”、“包含”及类似术语是开放性的术语，即“包括/包含但不限于”，表示还可以包括其他内容。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”；术语“另一实施例”表示“至少一个另外的实施例”等等。

图1示出了根据本公开的一个实施例的生产线装配组件的检查方法。该方法可以由工厂中的工业计算机执行。参考图1，方法100从步骤101开始。在步骤101中，获取表示组件的预期三维表面特征的第一数据集和表示组件的实际三维表面特征的第二数据集，其中，组件由多个部件装配而成。通常，在产品的生产线上设有多个工位，在一些工位处需要将多个部件装配成组件，接着，组件被流转到下一工位处进行下一道工序。组件装配的准确性会影响下一道工序，因此在某些工位处，需要检查组件中是否存在缺失部件和/或未对准部件，在确定组件装配无误后，再进行下一道工序。组件的预期三维表面特征可以包括组件在空间中的预期形状和尺寸等特征。这些预期三维表面特征能够通过组件的三维设计模型来体现。相应地，组件的实际三维表面特征可以包括在生产线中装配的组件在空间中的实际形状和尺寸等特征。当在生产线中装配的组件存在缺失部件和/或未对准部件时，组件的实际形状和尺寸将和组件的预期形状和尺寸不同。

在一些实施例中，第一数据集为组件的预期点云，预期点云中的每个点都至少包括组件的预期三维表面上的一个点的位置信息，并且，第二数据集为组件的实际点云，实际点云中的每个点都至少包括组件的实际三维表面上的一个点的位置信息。点云是海量点的集合，能够表示物体的三维表面特征。在这些实施例中，预期点云中的每个点都至少包括组件的预期三维表面上的一个点的位置信息，并且，实际点云中的每个点都包括组件的实际三维表面上的一个点的位置信息。因此，预期点云能表示组件在空间中的预期形状和尺寸，实际点云能表示组件在空间中的实际形状和尺寸。

在一些实施例中，步骤101进一步包括：根据预设的采样深度，基于组件的三维设计模型生成组件的预期点云，其中，预设的采样深度是可调整的；以及获取来自深度摄像头的组件的实际点云，深度摄像头设置在组件上方，并且被配置为环绕组件旋转拍摄并生成组件的实际点云。

组件的三维设计模型(例如，CAD模型)体现组件的预期形状和尺寸，其数据通常包括在产品的BOM(物料清单)数据中。可以从工厂的MES系统(制造执行系统)获取这些BOM数据，并将BOM数据存储在数据存储器中。可以根据组件的名称从BOM数据中查找到该组件的三维设计模型数据，接着通过对三维设计模型数据进行采样来将组件的三维设计模型数据转换成点云。这样便获得能表示三维设计模型的表面特征的点云。

具体地，三维设计模型的每个表面由若干个三角形单元组成。三维设计模型数据包括这些三角形单元的各个顶点的三维坐标(在笛卡尔坐标系中)和颜色、这些顶点的共面信息、和每个面所属部件的部件标识等数据。针对每个三角形单元，从三维设计模型数据中读取其三个顶点的坐标，并根据三个顶点的坐标计算该三角形单元的重心坐标和三条中线与每条边的交点(即，三条边的中点)坐标。将所有三角形单元的三个顶点、重心及三条边的中点作为采样深度为1的第一组点。每个三角形单元的三个顶点和重心的连线将其划分成三个小三角形。针对每个小三角形都重复上述步骤，将所有小三角形的三个顶点、重心及三条边的中点作为采样深度为2的第二组点，一直到采样深度达到预设的采样深度为止。这样便将三维设计模型数据转换成点云。

预设的采样深度被表示为d，其可以由用户根据实际需要进行调整。在一些情况下(例如，组件尺寸较小或其部件较多时)，需要较为密集的点云，以增加检查的准确性。此时，用户可以将采样深度d调整为较大的数值，从而生成较为密集的点云。在另一些情况下(例如，组件尺寸较大或其部件较少时)，较为稀疏的点云便可实现组件的检查。此时，用户可以将采样深度d调整为较小的数值，从而生成较为稀疏的点云。这样，能够在满足组件检查的要求的同时加快工业计算机的处理速度。可以在生成点云之前经由触控屏或其它用户接口来接收预设的采样深度d。

由于三维设计模型数据不仅表示三维设计模型的外表面，还表示其内表面，因此，为了提高检查的准确性，可以对得到的点云进行滤波，将表示三维设计模型的内表面的点移除。具体地，首先将所生成的点云从笛卡尔坐标系转换到球坐标系中，也就是说，将点云中各点在笛卡尔坐标系中的坐标转换为球坐标系中的坐标。可以通过以下公式(1)来进行坐标转换：

在公式(1)中，(x，y，z)为笛卡尔坐标系中的坐标，

为球坐标系中的坐标，其中，r为离坐标系原点的距离。之后，根据预设的第一阈值th ₁，从点云中移除r小于第一阈值th ₁的点，点云中的剩余点便表示三维设计模型的外表面。用户可以在一个数值范围内确定预设的第一阈值th ₁，并经由触控屏或其它用户接口输入该第一阈值th ₁。将点云中的剩余点作为组件的预期点云并存储在数据存储器中。另外，可以针对多个组件分别基于三维设计模型生成预期点云，并存储在数据存储器中，以便在对组件进行检查时从数据存储器中读取对应的预期点云。在其它实施例中，也可以采用其它方式将组件的三维设计模型数据转换成预期点云。

组件的实际点云可以通过深度摄像头获得。在组件上方设置深度摄像头，当检查组件时，使深度摄像头环绕组件一周拍摄组件的外表面，从而生成组件的实际点云。

在一些实施例中，方法100进一步包括：对组件的实际点云进行滤波。尽管密集的点云能提高组件检查的准确性，但是过于密集的点云将影响工业计算机的处理速度。因此，为了提高工业计算机的处理速度，可以对深度摄像头生成的实际点云进行滤波。在本实施例中，采用均匀采样方法对组件的实际点云进行滤波，以降低点云的密度。在其它实施例中，也可以采用其它滤波方式对组件的实际点云进行滤波。用户可以经由触控屏或其它用户接口输入滤波参数。滤波参数可以根据预期点云的密度、工业计算机的处理性能等条件来设置。

继续参考图1，在步骤102中，基于第一数据集和第二数据集，判断组件中是否存在缺失部件和/或未对准部件。如上所述，第一数据集表示组件的预期三维表面特征，第二数据集表示组件的实际三维表面特征。当第一数据集与第二数据集类似时，则表示组件中不存在缺失部件和/或未对准部件。相反，当第一数据集与第二数据集差别较大时，则表示组件中存在缺失部件和/或未对准部件。

在一些实施例中，步骤102进一步包括：基于预期点云的体积和实际点 云的体积，判断组件中是否存在缺失部件。在该步骤中，对预期点云和实际点云进行粗粒度比较。当组件严重缺失部件时，其体积将会与三维设计模型的预期体积有较大差别，因此，可以通过判断实际点云的体积与预期点云的体积之间的差异程度来检查组件是否严重缺失某个部件。

首先，分别确定预期点云的三维边界框和实际点云的三维边界框，并计算预期点云的三维边界框的体积V ₁和实际点云的三维边界框的体积V ₂。具体地，对于预期点云，通过PCA(主成分分析)方法分别确定第一主方向和第二主方向。将主方向和第二主方向作为笛卡尔坐标系中的x轴方向和y轴方向，并基于右手定则确定z轴方向。计算预期点云中所有点的坐标的平均值，作为预期点云的重心坐标，并将重心作为坐标系原点。随后，计算出在每个轴的正负方向上离原点距离最远的六个点，并将x轴上的两个点之间的距离作为三维边界框的长，将y轴上的两个点之间的距离作为三维边界框的宽，将z轴上的两个点之间的距离作为三维边界框的高。这样便确定了预期点云的三维边界框。对于实际点云，也同样通过上述方式确定其三维边界框。在确定预期点云的三维边界框和实际点云的三维边界框之后，分别计算预期点云的三维边界框的体积V ₁和实际点云的三维边界框的体积V ₂。

随后，将预期点云的三维边界框的体积V ₁和实际点云的三维边界框的体积V ₂之间的比值与预设的阈值范围进行比较。具体地，计算V ₁/V ₂的值或V ₂/V ₁的值，并将得到的值与预设的阈值范围进行比较，判断该值是否在阈值范围之间。可以由用户确定第二阈值th ₂，并经由触控屏或其它用户接口输入该第二阈值th ₂。阈值范围可以被表示为(1-th ₂，1+th ₂)。可以理解，第二阈值th ₂表示实际点云与预期点云的差异程度。

当V ₁/V ₂的值或V ₂/V ₁的值在阈值范围之外时，表示实际点云与预期点云的体积存在较大差异，也就是说，生产线中的组件存在严重的部件缺失。此时，可通过声音、图像、文字等方式向用户发出警告。

在一些实施例中，可以在生成组件的预期点云之后，并在对组件进行检查之前确定组件的预期点云的三维边界框及其体积并保存在数据存储器中。在后续的检查过程中，可以直接从数据存储器中读取这些数据，从而能提高组件的检查速度。

通过将组件的实际点云与预期点云进行粗粒度比较，能够在严重缺失部 件时快速发现问题并向用户发出警告，提高了组件的检查速度和效率。

在一些实施例中，步骤102进一步包括：将预期点云和实际点云进行配准；以及将配准后的预期点云和实际点云进行比较，以判断组件中是否存在缺失部件和/或未对准部件。在该步骤中，对预期点云和实际点云进行细粒度比较。上述步骤可以在V ₁/V ₂的值或V ₂/V ₁的值在阈值范围内的情况下执行。在其它实施例中，不执行将V ₁/V ₂的值或V ₂/V ₁的值与阈值范围比较的步骤，因此可以独立地执行上述步骤。

在一些实施例中，将预期点云和实际点云进行配准进一步包括：确定预期点云相对于实际点云的初始配准参数，初始配准参数使预期点云和实际点云的三维边界框的交并比最大；以及基于预期点云的初始配准参数，将所预期点云和实际点云进行再次配准。首先按照上述方式确定组件的预期点云的三维边界框和实际点云的三维边界框。在一些实施例中，当V ₁/V ₂的值或V ₂/V ₁的值在阈值范围内时执行点云配准，因此在点云配准时无需再确定预期点云的三维边界框和实际点云的三维边界框。

接下来，使组件的预期点云的三维边界框的中心与实际点云的三维边界框的中心(即，坐标系原点)重叠在一起。以实际点云及其三维边界框作为参照对象，使预期点云及其三维边界框分别围绕x轴、y轴和z轴顺时针及逆时针旋转预设的角度(例如，旋转1度)。因此，对于每个旋转角度，一共有六次旋转，将它们作为一组旋转。针对每次旋转，计算预期点云的三维边界框和实际点云的三维边界框的交并比(即，IoU值)。可以根据以下公式(2)来计算预期点云的三维边界框和实际点云的三维边界框的IoU值：

在公式(2)中，BBox ₁表示预期点云的三维边界框，BBox ₂表示实际点云的三维边界框，Num(BBox ₁+BBox ₂)表示在预期点云的三维边界框和实际点云的三维边界框的交集内的点的数量，NumBBox ₁表示在预期点云的三维边界框内的点的数量，NumBBox ₂表示在实际点云的三维边界框内的点的数量。

在一组旋转中，如果某次旋转的IoU值较前一次旋转增加并且为该组旋转中最大的一个IoU值，则将与该次旋转对应的预期点云的旋转参数作为下 一组旋转的初始参数。在进行下一组旋转时，仍然以实际点云及其三维边界框作为参照对象，使预期点云及其三维边界框分别围绕x轴、y轴和z轴顺时针及逆时针旋转预设的角度，并计算预期点云的三维边界框和实际点云的三维边界框的IoU值，将与IoU值较前一次旋转增加并且为最大的一次旋转对应的预期点云的旋转参数作为再下一组旋转的初始参数。如此反复迭代，直到预期点云的三维边界框和实际点云的三维边界框的IoU值不再增加，或者不管预期点云如何旋转，IoU值都保持不变，也就是说，IoU值最大。将此时预期点云的旋转参数作为预期点云相对于实际点云的初始配准参数。可以由用户确定预设的旋转角度，并经由触控屏或其它用户接口输入该旋转角度，以调整点云配准的速度。

在确定初始配准参数后，将初始配准参数、预期点云和实际点云作为输入数据，使用ICP(迭代最近点)方法对预期点云和实际点云进行再次配准。通过ICP方法，可以实现预期点云和实际点云的精确配准。

通过先确定预期点云相对于实际点云的初始配准参数，再使用ICP方法对预期点云和实际点云进行精确配准，能够显著提高配准的速度和效率。

在一些实施例中，当深度摄像头生成组件的实际点云时，组件被放置在生产线上，因此，深度摄像头所生成的实际点云中不包括表示组件的底面的点。为了提高预期点云和实际点进行比较的准确性，可以从组件的预期点云中移除表示该底面的点。具体地，在将预期点云和实际点云进行配准后，将预期点云中坐标的z值大于预设的第三阈值th ₃的点移除。可以由用户根据深度摄像头相对于传送带的上表面(即，组件底面)的高度来确定预设的第三阈值th ₃，并经由触控屏或其它用户接口输入该第三阈值th ₃。

在一些实施例中，将配准后的预期点云和实际点云进行比较，以判断组件中是否存在缺失部件和/或未对准部件进一步包括：针对预期点云中的每个点，判断实际点云中是否存在该点的对应点，如果在实际点云中存在对应点，则从预期点云中移除该点；根据预期点云中的剩余点之间的距离，将剩余点分成多个组；以及基于多个组中的每个组的体积或点的数量，判断组件中是否存在缺失部件和/或未对准部件。

首先，遍历预期点云中的每个点，使用kd树(k维树)在实际点云中查找离该点最近的点(即，最邻近点)，并判断该最邻近点与该点之间的距 离是否在预设的第四阈值th ₄以内。如果距离在预设的第四阈值th ₄以内，则将该最邻近点作为该点在实际点云中的对应点，并从预期点云中移除该点。如果距离大于预设的第四阈值th ₄，则表示该点在实际点云中不存在对应点，在预期点云中保留该点。

接着，使用kd树在剩余点中查找某一点的最邻近点，并判断该最邻近点与该点之间的距离是否在预设的第五阈值th ₅以内。如果距离在预设的第五阈值th ₅以内，则将该点和该最邻近点分为一组。如此反复，将剩余点分成多个组。

然后，将每个组的体积或点的数量与预设的第六阈值th ₆和第七阈值th ₇进行比较。如果一个组的体积或点的数量在预设的第六阈值th ₆以内，则表示该组的点属于噪声点，从预期点云中移除该组点。如果一个组的体积或点的数量大于预设的第六阈值th ₆但小于第七阈值th ₇，则表示该组的点代表组件中的未对准部件，在预期点云中保留该组点。如果一个组的体积或点的数量大于预设的第七阈值th ₇，则表示该组的点代表组件中的缺失部件，在预期点云中也保留该组点。组的体积同样可以参照上述利用三维边界框的方式来计算。如果所有组的体积或点的数量都在预设的第六阈值th ₆内，则表示该组件中不存在缺失部件和未对准部件。同样地，可以由用户根据组件及其部件尺寸等实际情况来确定第四阈值th ₄、第五阈值th ₅、第六阈值th ₆和第七阈值th ₇，并经由触控屏或其它用户接口输入这些阈值。

在上述实施例中，能够同时检查组件中是否存在缺失部件和未对准部件。然而，在一些实施例中，可以根据需要仅检查组件中是否存在缺失部件。当仅需检查组件中是否存在缺失部件时，在上述方法中，可以不设第六阈值th ₆，仅将每个组的体积或点的数量与预设的第七阈值th ₇进行比较。如果一个组的体积或点的数量大于该第七阈值th ₇，则表示该组的点代表组件中的缺失部件，在预期点云中保留该组点。在一些实施例中，还可以根据需要仅检查组件中是否存在未对准部件。在这些实施例中，将配准后的预期点云和实际点云进行比较，以判断组件中是否存在缺失部件和/或未对准部件进一步包括：针对实际点云中的每个点，判断预期点云中是否存在该点的对应点，如果在预期点云中存在对应点，则从实际点云中移除该点；根据实际点云中的剩余点之间的距离，将剩余点分成多个组；以及基于多个组中的每个组的体积或 点的数量，判断组件中是否存在未对准部件。

与上述方法不同，使用预期点云作为参照对象，将实际点云与预期点云进行比较来检查未对准部件。首先，遍历实际点云中的每个点，使用kd树在预期点云中查找该点的最邻近点，并判断该最邻近点与该点之间的距离是否在预设的第四阈值th ₄以内。如果距离在预设的第四阈值th ₄以内，则将该最邻近点作为该点在预期点云中的对应点，并从实际点云中移除该点。如果距离大于预设的第四阈值th ₄，则表示该点在预期点云中不存在对应点，在实际点云中保留该点。

接着，使用kd树在剩余点中查找某一点的最邻近点，并判断该最邻近点与该点之间的距离是否在预设的第五阈值th ₅以内。如果距离在预设的第五阈值th ₅以内，则将该点和该最邻近点分为一组。如此反复，将剩余点分成多个组。

然后，将每个组的体积或点的数量与预设的第六阈值th ₆进行比较。如果一个组的体积或点的数量在预设的第六阈值th ₆以内，则表示该组的点属于噪声点，从实际点云中移除该组点。如果一个组的体积或点的数量大于预设的第六阈值th ₆，则表示该组的点代表组件中的未对准部件，在实际点云中保留该组点。如果所有组的体积或点的数量都在预设的第六阈值th ₆以内，则表示该组件中不存在未对准部件。

在步骤103中，当组件中存在缺失部件和/或未对准部件时，提供指示信息。指示信息可以是声音、图像和/或文字形式的警告。例如，可以经由指示灯发出警示灯光、经由显示界面显示图像和/或文字、或经由网络发送警告消息等。

如上面所描述的，在一些实施例中，以实际点云为参照对象，将预期点云与实际点云进行比较来判断组件中是否存在缺失部件和/或未对准部件。在这些实施例中，步骤103进一步包括：当组件中存在缺失部件和/或未对准部件时，确定缺失部件和/或未对准部件的标识；以及基于缺失部件和/或未对准部件的标识，经由显示界面在组件的三维设计模型中指示缺失部件和/或未对准部件。具体地，获得预期点云中代表组件中的缺失部件和/或未对准部件的点后，根据这些点的坐标确定这些点在三维设计模型中所属的三角形单元，进而确定在三维设计模型中所属的表面。该表面即为缺失部件在三维设计模 型中的表面。随后，再通过所确定的表面来获得缺失部件和/或未对准部件的部件标识。在确定部件标识后，根据三维设计模型数据构建三维设计模型，并基于部件标识经由显示界面在三维设计模型中对缺失部件和/或未对准部件进行高亮显示。

如上面所描述的，在一些实施例中，以预期点云为参照对象，将实际点云与预期点云进行比较来判断组件中是否存在未对准部件。在这些实施例中，步骤103进一步包括：当组件中存在未对准部件时，确定未对准部件的标识；以及基于未对准部件的标识，经由显示界面在组件的三维设计模型中指示未对准部件。具体地，获得实际点云中代表组件中的未对准部件的点后，针对三维设计模型中的每个三角形单元，根据这些点的坐标和三角形单元的三个顶点的坐标，计算每个点与三角形单元的面的垂直距离，并将所有点与三角形单元的面的垂直距离相加得到总距离。遍历所有的三角形单元，将总距离最小的三角形单元所属的表面作为未对准部件在三维设计模型中的表面。随后，再通过所确定的表面来获得未对准部件的部件标识。在确定部件标识后，根据三维设计模型数据构建三维设计模型，并基于部件标识经由显示界面在三维设计模型中对未对准部件进行高亮显示。未对准部件显示的颜色可以与缺失部件显示的颜色不同。

在上面的实施例中，既能检查出组件中的缺失部件，又能检查出组件中的未对准部件，还可以向人员提供指示信息，因此能辅助监控生产线中的装配质量。该方法简单、便捷且高效，不仅能提高组件检查的准确性，而且无需高昂的人力成本。此外，向人员指示组件中存在缺失部件和/或未对准部件在很大程度上减少了所花费的精力和时间，提高了检查速度和效率。

下面参照一个具体的实施例来说明图1中生产线装配组件的检查方法。

同时参考图2-图8来说明该实施例。图2示出了根据本公开的一个实施例的用于实现图1中的方法的系统架构图，图3示出了图2的系统中环形扫描仪的布置位置的示意图，图4示出了使用图2的系统进行组件检查的工作流程。

在图2中，系统200包括三个部分，分别为MES连接器20、工业计算机21和环形扫描仪22。MES连接器20与工厂的MES系统相连，用于从MES系统中获取产品的BOM数据。工业计算机21包括数据存储器210、 点云预处理模块211、触控屏212、参数调整模块213、数据计算模块214和信息提供模块215。用户可以从触控屏212输入预设的采样深度d、第一阈值th ₁、滤波参数、第二阈值th ₂、第三阈值th ₃、第四阈值th ₄、第五阈值th ₅和第六阈值th ₆。预设的采样深度d、第一阈值th ₁、第二阈值th ₂、第三阈值th ₃、第四阈值th ₄、第五阈值th ₅、第六阈值th ₆和第七阈值th ₇经由参数调整模块213被提供给数据计算模块214。滤波参数经由参数调整模块213被提供给点云预处理模块211。

在本实施例中，数据存储器210、点云预处理模块211、触控屏212、参数调整模块213、数据计算模块214和信息提供模块215都被集成在工业计算机21中。在其它实施例中，这些模块可以分别位于不同的计算设备上。例如，数据存储器210为工业计算机21外部的存储器，点云预处理模块211、触控屏212和参数调整模块213可以被集成在工作站处的用户交互设备中。工业计算机21仅用于计算数据和提供信息，并与数据存储器210和工作站处的用户交互设备进行数据传输。

如图3中示出的，在某个目标工位处，组件32完成了装配并被放置在传送带31上。在该目标工位处，环形扫描仪22设置在传送带31上方。环形扫描仪22包括旋转支架220和安装在旋转支架220上的深度摄像头221。旋转支架220能够在组件32上方在平行于传送带31的平面内旋转，从而带动深度摄像头221环绕组件32的四周旋转。深度摄像头221从各个角度拍摄组件32的外表面并生成组件的实际点云。

在图4的工作流程400中，步骤401包括根据预设的采样深度，基于组件的三维设计模型生成组件的预期点云。MES连接器20从工厂的MES系统获取产品的BOM数据之后，将其保存在数据存储器210中。数据计算模块214根据组件的名称从数据存储器210中查找到该组件的三维设计模型数据。

如上所述，三维设计模型的每个表面由若干个三角形单元组成。针对每个三角形单元，数据计算模块214从三维设计模型数据中读取其三个顶点的坐标，并根据三个顶点的坐标计算该三角形单元的重心坐标和三条边的中点坐标。将所有三角形单元的三个顶点、重心及三条边的中点作为采样深度为1的第一组点。每个三角形单元的三个顶点和重心的连线将其划分成三个小 三角形。针对每个小三角形都重复上述步骤，将所有小三角形的三个顶点、重心及三条边的中点作为采样深度为2的第二组点，一直到采样深度达到预设的采样深度为止。

在工作流程400的步骤402中，对采样生成的点云进行滤波。数据计算模块214根据上述公式(1)将点云从笛卡尔坐标系转换到球坐标系中，并从点云中移除离原点的距离小于第一阈值th ₁的点，以对点云进行滤波。随后，数据计算模块214将经滤波的点云作为组件的预期点云存储在数据存储器210中。图5示出了在图2的实施例中一个示例性组件的预期点云的示意图。

在步骤403中，由深度摄像头221生成组件的实际点云。当需要对在生产线中装配的组件进行检查时，环形扫描仪22的旋转支架220在组件上方旋转，并带动深度摄像头221环绕组件旋转并拍摄组件的外表面，从而生成组件的实际点云。在步骤404中，点云预处理模块211根据参数调整模块213提供的滤波参数，采用均匀采样方法对组件的实际点云进行滤波。点云预处理模块211将滤波后的实际点云存储在数据存储器210中。图6示出了图5中的示例性组件的实际点云的示意图。

接下来，由数据计算单元214执行步骤405和406。应当指出，步骤405和406可以先后执行或同时执行。在步骤405中，数据计算单元214从数据存储器210中读取预期点云，确定预期点云的三维边界框并计算预期点云的三维边界框的体积V ₁。在步骤406中，数据计算单元214从数据存储器210中读取实际点云，确定实际点云的三维边界框并计算实际点云的三维边界框的体积V ₂。上面已经参照图1详细说明了三维边界框的确定步骤和体积V ₁和V ₂的计算步骤，在此将不再赘述。图7示出了图5中的预期点云在确定三维边界框后的示意图，图8示出了图6中的实际点云在确定三维边界框后的示意图。

返回图4，在步骤407中，数据计算单元214判断V ₁/V ₂的值或V ₂/V ₁的值是否在预设的阈值范围之内。阈值范围可以由用户输入的第二阈值确定，其被表示为(1-th ₂，1+th ₂)。当V ₁/V ₂的值或V ₂/V ₁的值在阈值范围之外时，表示生产线中的组件存在严重的部件缺失。此时，由信息提供模块215经由触控屏向用户发出警告。

当V ₁/V ₂的值或V ₂/V ₁的值在阈值范围之内时，由数据计算单元214执行步骤409。在步骤409中，数据计算单元214将预期点云与实际点云进行配准。在配准时，首先利用预期点云和实际点云的三维边界框的交并比对预期点云与实际点云进行初始配准，并确定预期点云相对于实际点云的初始配准参数。接下来，使用ICP方法对预期点云和实际点云进行精确配准。上面已经参照图1详细描述了初始配准和精确配准的过程，在此将不再赘述。

在步骤410中，数据计算单元214根据用户输入的第三阈值th ₃，将预期点云中坐标的z值大于该第三阈值th ₃的点移除，从而移除预期点云中表示组件的底面的点。

在步骤411中，数据计算单元214将配准后的预期点云和实际点云进行比较，以判断组件中是否存在缺失部件和/或未对准部件。数据计算单元214以实际点云为参照对象，基于预设的第四阈值th ₄、第五阈值th ₅、第六阈值th ₆和第七阈值th ₇，使用kd树将预期点云与实际点云进行比较，从而判断组件中是否存在缺失部件和/或未对准部件。上面已经参照图1详细描述了缺失部件和未对准部件的判断过程，在此将不再赘述。

当组件中存在缺失部件和/或未对准部件时，由信息提供单元215执行步骤412。在步骤412中，信息提供单元215根据预期点云中代表组件中的缺失部件和/或未对准部件的点的坐标和三维设计模型数据来确定缺失部件和/或未对准部件的部件标识。随后，信息提供单元215经由触控屏212在三维设计模型中对缺失部件和/或未对准部件进行高亮显示。上面已经参照图1详细描述了确定缺失部件和未对准部件的部件标识的过程，在此将不再赘述。

当组件中不存在缺失部件和未对准部件时，触控屏212显示的三维设计模型中不具有任何高亮显示的部件。

在上面的实施例中，既能检查出组件中的缺失部件，又能检查出组件中的未对准部件，还可以向人员提供指示信息，因此能辅助监控生产线中组件的装配质量。该方法简单、便捷且高效，不仅能提高组件检查的准确性，而且无需高昂的人力成本。此外，向人员指示组件中存在缺失部件和/或未对准部件在很大程度上减少了所花费的精力和时间。而且，可以根据需要调整对三维设计模型数据的采样深度来生成预期点云，提高了生成点云的灵活性。通过粗粒度和细粒度的组件双重检查机制，能够提高组件的检查速度和效率。 在进行预期点云和实际点云的配准时，通过计算它们的三维边界框的交并比来确定预期点云的初始配准参数后再进行精确配准，也能够提高组件的检查速度和效率。

图9示出了根据本公开的一个实施例的生产线装配组件的检查装置。参照图9，装置900包括数据获取单元901、数据计算单元902和信息提供单元903。数据获取单元901被配置为获取表示组件的预期三维表面特征的第一数据集和表示组件的实际三维表面特征的第二数据集，其中，组件由多个部件装配而成。数据计算单元902被配置为基于第一数据集和第二数据集，判断组件中是否存在缺失部件和/或未对准部件。信息提供单元903被配置为当组件中存在缺失部件和/或未对准部件时，提供指示信息。图8中的各单元可以利用软件、硬件(例如集成电路、FPGA等)或者软硬件结合的方式来实现。

在一些实施例中，第一数据集为组件的预期点云，预期点云中的每个点都至少包括组件的预期三维表面上的一个点的位置信息，并且，第二数据集为组件的实际点云，实际点云中的每个点都至少包括组件的实际三维表面上的一个点的位置信息。

在一些实施例中，数据计算单元902被进一步配置为：基于预期点云的体积和实际点云的体积，判断组件中是否存在缺失部件。

在一些实施例中，数据计算单元902进一步包括(图9中未示出)：点云配准单元，其被配置为将预期点云和实际点云进行配准；以及点云比较单元，其被配置为将配准后的预期点云和实际点云进行比较，以判断组件中是否存在缺失部件和/或未对准部件。

在一些实施例中，点云比较单元被进一步配置为：针对预期点云中的每个点，判断实际点云中是否存在该点的对应点，如果实际点云中存在对应点，则从预期点云中移除该点；根据预期点云中的剩余点之间的距离，将剩余点分成多个组；以及基于多个组中的每个组的体积或点的数量，判断组件中是否存在缺失部件和/或未对准部件。

在一些实施例中，信息提供单元903被进一步配置为：当组件中存在缺失部件和/或未对准部件时，确定缺失部件和/或未对准部件的标识；以及基于缺失部件和/或未对准部件的标识，经由显示界面在组件的三维设计模型中 指示缺失部件和/或未对准部件。

在一些实施例中，点云比较单元被进一步配置为：针对实际点云中的每个点，判断预期点云中是否存在该点的对应点，如果预期点云中存在对应点，则从实际点云中移除该点；根据实际点云中的剩余点之间的距离，将剩余点分成多个组；以及基于多个组中的每个组的体积或点的数量，判断组件中是否存在未对准部件。

在一些实施例中，信息提供单元903被进一步配置为：当组件中存在未对准部件时，确定未对准部件的标识；以及基于未对准部件的标识，经由显示界面在组件的三维设计模型中指示未对准部件。

在一些实施例中，点云配准单元被进一步配置为：确定预期点云相对于实际点云的初始配准参数，初始配准参数使预期点云和实际点云的三维边界框的交并比最大；以及基于预期点云的初始配准参数，将预期点云和实际点云进行再次配准。

在一些实施例中，数据获取单元901被进一步配置为：根据预设的采样深度，基于组件的三维设计模型生成组件的预期点云，其中，预设的采样深度是可调整的；获取来自深度摄像头的组件的实际点云，深度摄像头设置在组件上方，并且被配置为环绕组件旋转拍摄并生成组件的所述实际点云。

在一些实施例中，装置900还包括点云预处理单元(图中未示出)，其被配置为对组件的实际点云进行滤波。

图10示出了根据本公开的一个实施例的用于执行生产线装配组件的检查方法的计算设备的框图。从图10中可以看出，用于对工厂中的现场设备进行维护的计算设备1000包括处理器1001以及与处理器1001耦合的存储器1002。存储器1002用于存储计算机可执行指令，当计算机可执行指令被执行时使得处理器1001执行以上实施例中的方法。

此外，替代地，上述方法能够通过计算机可读存储介质来实现。计算机可读存储介质上载有用于执行本公开的各个实施例的计算机可读程序指令。计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是但不限于电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计 算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。

因此，在另一个实施例中，本公开提出了一种计算机可读存储介质，该计算机可读存储介质具有存储在其上的计算机可执行指令，计算机可执行指令用于执行本公开的各个实施例中的方法。

在另一个实施例中，本公开提出了一种计算机程序产品，该计算机程序产品被有形地存储在计算机可读存储介质上，并且包括计算机可执行指令，该计算机可执行指令在被执行时使至少一个处理器执行本公开的各个实施例中的方法。

一般而言，本公开的各个示例实施例可以在硬件或专用电路、软件、固件、逻辑，或其任何组合中实施。某些方面可以在硬件中实施，而其他方面可以在可以由控制器、微处理器或其他计算设备执行的固件或软件中实施。当本公开的实施例的各方面被图示或描述为框图、流程图或使用某些其他图形表示时，将理解此处描述的方框、装置、系统、技术或方法可以作为非限制性的示例在硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备，或其某些组合中实施。

用于执行本公开的各个实施例的计算机可读程序指令或者计算机程序产品也能够存储在云端，在需要调用时，用户能够通过移动互联网、固网或者其他网络访问存储在云端上的用于执行本公开的一个实施例的计算机可读程序指令，从而实施依据本公开的各个实施例所公开的技术方案。

虽然已经参考若干具体实施例描述了本公开的实施例，但是应当理解，本公开的实施例并不限于所公开的具体实施例。本公开的实施例旨在涵盖在所附权利要求的精神和范围内所包括的各种修改和等同布置。权利要求的范围符合最宽泛的解释，从而包含所有这样的修改及等同结构和功能。

Claims (24)

1. 生产线装配组件的检查方法，包括：

   获取表示所述组件的预期三维表面特征的第一数据集和表示所述组件的实际三维表面特征的第二数据集，其中，所述组件由多个部件装配而成；

   基于所述第一数据集和所述第二数据集，判断所述组件中是否存在缺失部件和/或未对准部件；以及

   当所述组件中存在缺失部件和/或未对准部件时，提供指示信息。
2. 根据权利要求1所述的方法，其中，所述第一数据集为所述组件的预期点云，所述预期点云中的每个点都至少包括所述组件的预期三维表面上的一个点的位置信息，并且，所述第二数据集为所述组件的实际点云，所述实际点云中的每个点都至少包括所述组件的实际三维表面上的一个点的位置信息。
3. 根据权利要求2所述的方法，其中，基于所述第一数据集和所述第二数据集，判断所述组件中是否存在缺失部件和/或未对准部件进一步包括：

   基于所述预期点云的体积和所述实际点云的体积，判断所述组件中是否存在缺失部件。
4. 根据权利要求2所述的方法，其中，基于所述第一数据集和所述第二数据集，判断所述组件中是否存在缺失部件和/或未对准部件进一步包括：

   将所述预期点云和所述实际点云进行配准；以及

   将配准后的所述预期点云和所述实际点云进行比较，以判断所述组件中是否存在缺失部件和/或未对准部件。
5. 根据权利要求4所述的方法，其中，将配准后的所述预期点云和所述实际点云进行比较，以判断所述组件中是否存在缺失部件和/或未对准部件进一步包括：

   针对所述预期点云中的每个点，判断所述实际点云中是否存在所述点的 对应点，如果所述实际点云中存在所述对应点，则从所述预期点云中移除所述点；

   根据所述预期点云中的剩余点之间的距离，将所述剩余点分成多个组；以及

   基于所述多个组中的每个组的体积或点的数量，判断所述组件中是否存在缺失部件和/或未对准部件。
6. 根据权利要求5所述的方法，其中，当所述组件中存在缺失部件和/或未对准部件时，提供指示信息进一步包括：

   当所述组件中存在缺失部件和/或未对准部件时，确定所述缺失部件和/或所述未对准部件的标识；以及

   基于所述缺失部件和/或所述未对准部件的标识，经由显示界面在所述组件的三维设计模型中指示所述缺失部件和/或所述未对准部件。
7. 根据权利要求4所述的方法，其中，将配准后的所述预期点云和所述实际点云进行比较，以判断所述组件中是否存在缺失部件和/或未对准部件进一步包括：

   针对所述实际点云中的每个点，判断所述预期点云中是否存在所述点的对应点，如果所述预期点云中存在所述对应点，则从所述实际点云中移除所述点；

   根据所述实际点云中的剩余点之间的距离，将所述剩余点分成多个组；以及

   基于所述多个组中的每个组的体积或点的数量，判断所述组件中是否存在未对准部件。
8. 根据权利要求7所述的方法，其中，当所述组件中存在缺失部件和/或未对准部件时，提供指示信息进一步包括：

   当所述组件中存在未对准部件时，确定所述未对准部件的标识；以及

   基于所述未对准部件的标识，经由显示界面在所述组件的三维设计模型中指示所述未对准部件。
9. 根据权利要求4所述的方法，其中，将所述预期点云和所述实际点云进行配准进一步包括：

   确定所述预期点云相对于所述实际点云的初始配准参数，所述初始配准参数使所述预期点云和所述实际点云的三维边界框的交并比最大；以及

   基于所述预期点云的所述初始配准参数，将所述预期点云和所述实际点云进行再次配准。
10. 根据权利要求2所述的方法，其中，获取表示所述组件的预期三维表面特征的第一数据集和表示所述组件的实际三维表面特征的第二数据集进一步包括：

    根据预设的采样深度，基于所述组件的三维设计模型生成所述组件的所述预期点云，其中，所述预设的采样深度是可调整的；以及

    获取来自深度摄像头的所述组件的所述实际点云，所述深度摄像头设置在所述组件上方，并且被配置为环绕所述组件旋转拍摄并生成所述组件的所述实际点云。
11. 根据权利要求2所述的方法，还包括：对所述组件的所述实际点云进行滤波。
12. 生产线装配组件的检查装置，包括：

    数据获取单元，其被配置为获取表示所述组件的预期三维表面特征的第一数据集和表示所述组件的实际三维表面特征的第二数据集，其中，所述组件由多个部件装配而成；

    数据计算单元，其被配置为基于所述第一数据集和所述第二数据集，判断所述组件中是否存在缺失部件和/或未对准部件；以及

    信息提供单元，其被配置为当所述组件中存在缺失部件和/或未对准部件时，提供指示信息。
13. 根据权利要求12所述的装置，其中，所述第一数据集为所述组件 的预期点云，所述预期点云中的每个点都至少包括所述组件的预期三维表面上的一个点的位置信息，并且，所述第二数据集为所述组件的实际点云，所述实际点云中的每个点都至少包括所述组件的实际三维表面上的一个点的位置信息。
14. 根据权利要求13所述的装置，其中，所述数据计算单元被进一步配置为：

    基于所述预期点云的体积和所述实际点云的体积，判断所述组件中是否存在缺失部件。
15. 根据权利要求13所述的装置，其中，所述数据计算单元进一步包括：

    点云配准单元，其被配置为将所述预期点云和所述实际点云进行配准；以及

    点云比较单元，其被配置为将配准后的所述预期点云和所述实际点云进行比较，以判断所述组件中是否存在缺失部件和/或未对准部件。
16. 根据权利要求15所述的装置，其中，所述点云比较单元被进一步配置为：

    针对所述预期点云中的每个点，判断所述实际点云中是否存在所述点的对应点，如果所述实际点云中存在所述对应点，则从所述预期点云中移除所述点；

    根据所述预期点云中的剩余点之间的距离，将所述剩余点分成多个组；以及

    基于所述多个组中的每个组的体积或点的数量，判断所述组件中是否存在缺失部件和/或未对准部件。
17. 根据权利要求16所述的装置，其中，所述信息提供单元被进一步配置为：

    当所述组件中存在缺失部件和/或未对准部件时，确定所述缺失部件和/ 或所述未对准部件的标识；以及

    基于所述缺失部件和/或所述未对准部件的标识，经由显示界面在所述组件的三维设计模型中指示所述缺失部件和/或所述未对准部件。
18. 根据权利要求15所述的装置，其中，所述点云比较单元被进一步配置为：

    针对所述实际点云中的每个点，判断所述预期点云中是否存在所述点的对应点，如果所述预期点云中存在所述对应点，则从所述实际点云中移除所述点；

    根据所述实际点云中的剩余点之间的距离，将所述剩余点分成多个组；以及

    基于所述多个组中的每个组的体积或点的数量，判断所述组件中是否存在未对准部件。
19. 根据权利要求18所述的装置，其中，所述信息提供单元被进一步配置为：

    当所述组件中存在未对准部件时，确定所述未对准部件的标识；以及

    基于所述未对准部件的标识，经由显示界面在所述组件的三维设计模型中指示所述未对准部件。
20. 根据权利要求15所述的装置，其中，所述点云配准单元被进一步配置为：

    确定所述预期点云相对于所述实际点云的初始配准参数，所述初始配准参数使所述预期点云和所述实际点云的三维边界框的交并比最大；以及

    基于所述预期点云的所述初始配准参数，将所述预期点云和所述实际点云进行再次配准。
21. 根据权利要求13所述的装置，其中，所述数据获取单元被进一步配置为：

    根据预设的采样深度，基于所述组件的三维设计模型生成所述组件的所 述预期点云，其中，所述预设的采样深度是可调整的；以及

    获取来自深度摄像头的所述组件的所述实际点云，所述深度摄像头设置在所述组件上方，并且被配置为环绕所述组件旋转拍摄并生成所述组件的所述实际点云。
22. 计算设备，包括：

    处理器；以及

    存储器，其用于存储计算机可执行指令，当所述计算机可执行指令被执行时使得所述处理器执行根据权利要求1-11中任一项所述的方法。
23. 计算机可读存储介质，所述计算机可读存储介质具有存储在其上的计算机可执行指令，所述计算机可执行指令用于执行根据权利要求1-11中任一项所述的方法。
24. 计算机程序产品，所述计算机程序产品被有形地存储在计算机可读存储介质上，并且包括计算机可执行指令，所述计算机可执行指令在被执行时使至少一个处理器执行根据权利要求1-11中任一项所述的方法。

Images