WO2021120186A1 - 分布式产品缺陷分析系统、方法及计算机可读存储介质 - Google Patents

Abstract

一种分布式产品缺陷分析系统（104），用于产品制造过程中的产品缺陷分析，包括产品制造消息处理集群（201）、产品缺陷识别集群（202）、产品图像数据库（203）、客户端设备（204），其中：所述产品图像数据库（203），被配置为存储产品制造过程中产生的产品图像；所述产品制造消息处理集群（201），被配置为：根据产品制造消息，生成产品缺陷分析任务，其中，所述产品缺陷分析任务包括第一缺陷识别任务；所述产品缺陷识别集群（202），被配置为：基于所述第一缺陷识别任务，通过缺陷识别模型识别所述产品图像中的产品缺陷内容，其中，所述产品缺陷内容包括产品的缺陷类型、缺陷位置和缺陷大小中的任意一项或多项；所述客户端设备（204），被配置为输出产品缺陷识别结果。

Description

分布式产品缺陷分析系统、方法及计算机可读存储介质 技术领域

本公开涉及一种分布式产品缺陷分析系统、方法及计算机可读存储介质。

背景技术

在产品制造过程中，例如半导体产品的制造过程中，由于设备、参数、操作、环境干扰等环节存在的问题，会导致产出的产品不符合工艺要求甚至导致不良出现，所以需要在每道工序后及时把不符合要求的不良缺陷产品的不良种类、不良大小、位置等信息计算识别出来，进行及时的修正和改善，避免不良的继续产生。目前传统的识别方法主要是依靠人工检测。这要求对检测人员进行专业培训。尤其在生产的产品型号多、问题复杂的情况下，例如半导体产品的缺陷种类繁多，可能包括微粒、残留、线不良、孔洞、溅落、静电击穿、褶皱、膜层变色、气泡等，需要检测人员投入较长时间和专注力去进行缺陷查找和有关判断。

综上，现有技术手段解决上述问题存在效率较低，准确度较低的问题。

发明内容

本公开至少一实施例提供了一种分布式产品缺陷分析系统，用于产品制造过程中的产品缺陷分析，包括产品制造消息处理集群、产品缺陷识别集群、产品图像数据库、客户端设备，其中：产品图像数据库，被配置为存储产品制造过程中产生的产品图像；产品制造消息处理集群，被配置为：根据产品制造消息，生成产品缺陷分析任务，其中，产品缺陷分析任务包括第一缺陷识别任务；该产品缺陷识别集群，被配置为：基于第一缺陷识别任务，通过缺陷识别模型识别该产品图像中的产品缺陷内容，其中，产品缺陷内容包括产品的缺陷类型、缺陷位置和缺陷大小中的任意一项或多项；客户端设备，被配置为输出产品缺陷识别结果。

本公开至少一实施例提供了一种基于分布式系统的产品缺陷分析方法，包括：根据产品制造消息，生成产品缺陷分析任务，其中产品缺陷分析任务包 括第一缺陷识别任务；基于第一缺陷识别任务，通过缺陷识别模型识别该产品图像中的产品缺陷内容，其中，该产品缺陷内容包括产品的缺陷类型、缺陷位置和缺陷大小中的任意一项或多项；输出产品缺陷识别结果。

本公开至少一实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的产品缺陷分析方法。

附图说明

为了更清楚地说明本公开至少一实施例的技术方案，下面将对实施例的描述中所需要使用的附图作简单的介绍。下面描述中的附图仅仅是本公开的示例性实施例。

图1是示出产品制造过程中的场景的示例示意图。

图2是示出根据本公开的至少一实施例的站点的示例示意图。

图3是示出根据本公开至少一实施例的分布式产品缺陷分析系统的另一示意图。

图4是示出根据本公开至少一实施例的处理产品制造消息的方法的流程图。

图5是示出根据本公开至少一个实施例的发送产品缺陷任务的方法的示意图。

图6是示出根据本公开至少一实施例的产品制造消息处理集群调度产品缺陷分析任务的示意图。

图7是示出根据本公开至少一实施例的分布式产品缺陷分析系统中的客户端设备的图形用户界面的示意图。

图8是示出根据本公开至少一实施例的分布式产品缺陷分析系统中的客户端设备的图形用户界面的另一示意图。

图9是示出根据本公开至少一实施例的分布式产品缺陷分析系统中的客户端设备的图形用户界面的再一示意图。

图10是示出本公开至少一个实施例的产品缺陷分析方法的示意图。

图11是示出根据本公开另一个实施例的分布式产品缺陷分析系统的示意图。

具体实施方式

以下将参照附图更充分地描述本公开实施例，在附图中示出了本公开实施例。然而，可以用很多不同形式来实施本公开，并且本公开不应理解为受限于在此所阐述的实施例。在全文中，使用相似的标号表示相似的元件。

在此所使用的术语仅用于描述特定实施例的目的，而并非意欲限制本公开。如在此所使用的那样，单数形式的“一个”、“这个”意欲同样包括复数形式，除非上下文清楚地另有所指。还应当理解，当在此使用时，术语“包括”指定出现所声明的特征、整体、步骤、操作、元件和/或组件，但并不排除出现或添加一个或多个其它特征、整体、步骤、操作、元件、组件和/或其群组。

除非另外定义，否则在此所使用的术语(包括技术术语和科学术语)具有与本公开所属领域的普通技术人员所共同理解的相同意义。在此所使用的术语应解释为具有与其在该说明书的上下文以及有关领域中的意义一致的意义，而不能以理想化的或过于正式的意义来解释，除非在此特意如此定义。

以下参照示出根据本公开实施例的方法、装置(系统)和/或计算机程序产品的框图和/或流程图描述本公开。应理解，可以通过计算机程序指令来实现框图和/或流程图示图的一个方框以及方框的组合。可以将这些计算机程序指令提供给通用计算设备、专用计算设备的处理器和/或其它可编程数据处理装置，使得经由计算设备处理器和/或其它可编程数据处理装置执行的指令创建用于实现框图和/或流程图块中所指定的功能/动作的方法。

相应地，还可以用硬件和/或软件(包括固件、驻留软件、微码等)来实施本公开。更进一步地，本公开可以采取计算机可使用或计算机可读存储介质上的计算机程序产品的形式，其具有在介质中实现的计算机可使用或计算机可读程序代码，以由指令执行系统来使用或结合指令执行系统而使用。在本公开上下文中，计算机可使用或计算机可读介质可以是任意介质，其可以包含、存储、通信、传输、或传送程序，以由指令执行系统、装置或设备使用，或结合指令执行系统、装置或设备使用。

目前，在产品制造的缺陷检测的过程中，仍主要采用人工对产品制造消息进行分析的方式。人工处理产品制造消息存在诸多不稳定因素，会导致检测质量的下降，从而给产品质量带来隐患。另一方面，检测过程中，所有数据均是手动录入，效率低下，同时人工在有限的时间内在待检测产品的图像上获取的信息颗粒度较粗，对后续的缺陷原因查找和分析带来不便。基于上述全部或部 分的原因，本公开提出以下实施例。

需注意，本公开在半导体产品制造的上下文中进行描述，然而可以设想的是，本公开的实施例不限于应用于半导体产品制造，而是可以应用于任何产品的制造过程中。

下文中提及的产品，包括了实际生产过程中的原材料，以及经过每一道加工工艺(产品制造设备处理)后的半成品或成品，例如，在半导体行业中，产品包括从最开始进入生产线的玻璃、经历曝光工艺的阵列基板、经历过成盒工艺的屏幕等。产品图像，包括了由图像获取设备(如照相机、AOI设备等)直接获取的产品图像，也包括了包含缺陷内容标注的产品图像(即经历过缺陷内容识别的产品图像)。

工厂中的产品制造系统较复杂，产品制造消息的处理又涉及到多个系统的通讯、文件和图像传输和硬件资源调度。同时整个系统需要保证其的高可用性和高并发性，以保证产品制造的顺利进行。

为此，本公开提出了一种分布式产品缺陷分析系统、方法和计算机可读存储介质，其可以应用在各种产品的生产中，尤其是半导体显示设备的生产过程中，以提高产品制造过程中产品缺陷识别的效率。

图1是示出产品制造过程中的场景100的示例示意图。

参考图1，在场景100中多个产品依次经过站点101。站点101表示在整个生产线流程中产品完成一道加工工序可能会经过的一台设备或多台设备组成的系统。

例如，半导体行业中阵列基板的光刻工序，对应该工序的站点101可以是包括清洗设备、前烘设备、冷却设备、涂胶设备、曝光设备、显影设备、后烘设备、冷却设备等组成的系统。站点101也可以是对应曝光工序的单一设备(曝光设备)。当产品进入站点101时，站点101会捕获到进入站点消息(trackin消息)。而当产品离开站点101时，站点会捕获到离开站点消息(trackout消息)。为了保证产品的品质，trackin消息和trackout消息中的产品信息/产品数据均需满足产品制造的要求。

站点101还可以是产品制造过程中的虚拟站点，其表示对产品进行检测分析的非实体形式的加工的步骤。例如，将产品缺陷分析作为一道工序，站点101作为产品缺陷分析的系统，可以对经过的产品进行缺陷分析，获取并分析用于产品缺陷检测的所有过程信息，进而确定产品缺陷。当产品缺陷无法满足 产品制造要求时，站点101将发出警报并使该产品无法进入下一个站点，或指示该产品进入对应维修工序的站点。

站点101可以包括分布式产品缺陷分析系统104。站点101还可以包括图像获取设备102和产品制造消息服务设备103中的任意一个或多个。图像获取设备102、产品制造消息服务设备103和产品缺陷分析系统104可以是包括处理器和存储器的计算设备。这些设备可以通过网络连接。上述各设备之间可以直接或间接地互相通信，例如，通过网络互相发送和接收数据和/或信号。网络可以是基于互联网和/或电信网的物联网(Internet of Things)，其可以是有线网也可以是无线网，例如，其可以是局域网(LAN)、城域网(MAN)、广域网(WAN)、蜂窝数据通信网络等能实现信息交换功能的电子网络。

在本公开中，站点101主要应用于产品的缺陷检测、分析和处理。本领域技术人员应当理解，站点101还可以应用于产品制造生产的其他流程中。

图像获取设备102用于获取产品在制造过程中的产品图像，可以是照相机、摄像头等设备。例如，在半导体行业中的屏幕缺陷检测过程中，图像获取设备102可以是AOI(Automated Optical Inspection，光学自动检测)设备。AOI设备可以对制造过程中的产品进行光学检查，判断产品图像与标准产品图像之间的不同，从而将其认定为缺陷并拍照，进而获得带有产品缺陷图形的产品图像，方便后续缺陷类型的识别和分析。图像获取设备102还可以是其他具有图像获取功能的摄像头或者照相机。图像获取设备102可以把所拍摄的产品图像和对应文件发送到产品图像数据库中。产品图像数据库可以是分布式文件系统(Distributed File System，DFS)或者其他数据存储设备。

产品制造消息服务设备103用于监控和管理生产制造过程中产生的全部或部分产品制造消息。在智能化的生产过程中，会产生大量的产品制造消息，产品制造消息包括了产品制造过程中产生的生产记录信息。通过产品制造消息可以知晓产品已经经过的产品制造设备以及经历该设备处理的结果信息。例如，产品制造消息服务设备103包括制造执行系统(Manufacturing Execution System，MES)，也可以包括主管信息系统(Executive Information System，EIS)，产品制造消息服务设备103还可以是其他用于监控产品制造的设备，本公开对此不作限制。产品制造消息服务设备103可以捕获产品制造流程中的全部或部分产品制造消息，并将这些产品制造消息广播或发送至产品缺陷分析系统104。

分布式产品缺陷分析系统104可以对产品制造消息进行进一步的处理，生成对产品缺陷进行检测分析的产品缺陷分析任务，包括利用缺陷识别模型对产品进行缺陷识别的任务、由检测人员对产品进行缺陷识别的任务、训练缺陷识别模型的任务等。分布式产品缺陷分析系统104在完成产品缺陷分析之后，可以将分析结果返回至产品制造消息处理设备103中，还可以返回至图像获取设备102中。

图2示例性地绘出根据本公开至少一实施例的分布式产品缺陷分析系统104的示意图。

分布式产品缺陷分析系统104是一组计算机，通过网络相互连接传递消息与通信后并协调它们的行为而形成的系统。组件之间彼此进行交互以实现一个共同的目标。网络可以是基于互联网和/或电信网的物联网(Internet of Things)，其可以是有线网也可以是无线网，例如，其可以是局域网(LAN)、城域网(MAN)、广域网(WAN)、蜂窝数据通信网络等能实现信息交换功能的电子网络。分布式计算系统可以具有软件组件，诸如软件对象或其他类型的个体可寻址的孤立实体，诸如分布式对象、代理、动作方(actor)、虚拟组件等。通常，每个这样的组件个体可寻址，并且在分布式系统中具有唯一的身份(诸如整数、GUID、字符串或不透明数据结构等)。在允许地理分布的分布式系统中，应用可以通过部署而被驻留在一个集群中。存在支持分布式计算环境的各种系统、组件和网络配置。例如，计算系统可以通过有线或无线系统，通过本地网络或广泛分布式网络连接在一起。当前，很多网络耦合到因特网，其为广泛分布式计算提供基础设施，并且包括很多不同的网络，尽管任何网络基础设施可以用于例如在各种示例中描述的易发生于系统的通信。

分布式产品缺陷分析系统104通过计算设备和系统之间的通信交换提供计算机资源和服务的共享。这些资源和服务包括针对对象(例如文件)的信息交换、高速缓存存储装置和磁盘存储装置。这些资源和服务还包括跨多个处理单元的处理能力的共享，用于负载平衡、资源扩展、处理的专业化等。例如，分布式产品缺陷分析系统104可以包括具有诸如客户端设备/服务器、对等或混合架构的网络拓扑和网络基础设施的主机。

图2是示出根据本公开的至少一实施例的站点101的示例示意图。

参考图2，分布式产品缺陷分析系统104可以包括产品制造消息处理集群201、产品缺陷识别集群202、产品图像数据库203、客户端设备204。分布式 产品缺陷分析系统104还可以包括模型管理服务器等其他服务器或集群。

上述的集群(cluster)(例如，上述的产品制造消息处理集群201、产品缺陷识别集群202)可以包括两个或多个相互独立的、通过网络连接的计算机。这些计算机构成了组，并以单一系统的模式加以管理。当集群与外界交互时，集群可以作为一个独立的服务器。

分布式产品缺陷分析系统104还可以包括产品制造消息处理集群201、产品缺陷识别集群202、客户端设备204、产品图像数据库203上运行的程序、方法、数据存储、可编程逻辑等。可以理解，分布式产品缺陷分析系统104中的各个设备可以是不同种类的硬件设备，例如个人数字助理(PDA)、音频/视频设备、移动电话、MP3播放器、个人计算机、膝上型计算机、服务器等。

分布式产品缺陷分析系统104可以包括产品制造消息处理集群201、产品缺陷识别集群202和客户端设备204。可选地，产品制造消息服务设备103和图像获取设备102也可以被包括在分布式产品缺陷分析系统104中。产品制造消息处理集群201可以与产品制造消息服务设备103通信。产品制造消息服务设备103、产品制造消息处理集群201和产品缺陷识别集群202可以是包括处理器和存储器的计算设备。这些设备可以通过网络连接。上述各设备之间可以直接或间接地互相通信，例如，通过网络互相发送和接收数据和/或信号。

产品图像数据库203被配置为存储产品制造过程中产生的产品图像。产品制造过程中产生的产品图像可以包括产品在制造过程中由图像获取设备102获取的产品图像，也可以包括通过其他途径获取并存入产品图像数据库的产品图像。例如，AOI设备获取产品图像后，可以直接存储在产品图像数据库203中，也可以存储在工厂数据库中，再将工厂数据库中的产品图像传输到产品图像数据库203中。由工厂数据库将产品图像传输到产品图像数据库203中可以保证分布式产品缺陷分析系统104在对产品图像数据库203中产品图像进行调用、存储等操作时，不会对工厂中的其他数据造成影响。产品图像数据库203可以是分布式文件系统(Distributed File System，DFS)，也可以是关系型数据库(Oracle、Redis和MySQL)。

产品制造消息处理集群201被配置为根据产品制造消息，生成产品缺陷分析任务，所述产品缺陷分析任务包括第一缺陷识别任务。

如上所述，产品缺陷分析系统104可以作为整个产品制造流程中的检测站点。工厂生产的不同流水线作业的产品在检测流程中都可能流入站点101。 目前，在工厂中，由于产品丰富且工艺复杂，因此，会产生大量的产品制造消息。产品制造消息处理集群201可以获取由图像获取设备102产生的产品制造消息或者由产品制造消息服务设备103接收的产品制造消息，并对该产品制造消息的内容进行解析，从而生成产品缺陷分析任务，实现对分布式产品缺陷分析系统104的其他设备或集群进行任务分配和调度。产品制造消息处理集群201还可以将分布式产品缺陷分析系统104产生的产品制造消息反馈给产品制造消息服务设备103。

在本公开中，产品制造消息可以包括产品制造站点信息和/或产品信息。其中，产品制造站点信息包括站点的标识、站点的物理位置(例如，AOI设备的物理位置)、站点在产品制造流程中的节点信息(例如，在曝光流程中的缺陷识别/检测、在清洗流程中的识别/缺陷等等)等，这些信息可以辅助识别或定位到具体的站点。产品信息可以是产品类型、产品名称、产品标识、产品优先级等等，这些信息可以辅助识别或定位到具体的产品。本领域技术人员应当理解，产品制造消息的内容并不局限于上述示例，只要其与产品制造流程中的缺陷识别/检测相关联即可。

产品制造消息可以是批量产品制造消息也可以是单一产品制造消息。例如，在AOI设备对产品流水线的屏幕产品进行检查时，AOI设备可以在一张屏幕(或大玻璃基板屏，又称为Glass)检测完成后发送单一产品制造消息作为一个产品制造消息到产品制造消息服务设备103，并发送图片文件(.jpg/.gls)到产品图像数据库203，或者其也可以向当前工厂中所有激活的设备发送单一产品制造消息。AOI设备还可能以LOT为单位(1Lot中包含20个Glass，每个Glass为单张大玻璃基板屏幕)来发送批量产品制造消息。例如，当一个LOT检测完成时，AOI会发送批量产品制造消息(例如，批量产品信息)作为一个产品制造消息到产品制造消息服务设备103或其他任何相关的设备。在产品制造过程中，通常以批量产品(LOT产品)为单位进行加工生产，即批量产品经历的产品制造站点、工艺流程等均一致，因此，在工厂中通常以批量产品制造消息作为一个产品制造消息进行传递，能够更高效的进行产品制造消息管理。

产品制造消息可能包括了与产品缺陷识别无关的内容，产品制造消息处理集群201通过对产品制造消息进行解析，获取产品类型等与产品缺陷识别相关的信息，并基于该信息，生成对应的产品缺陷分析请求消息，并通过发送 产品缺陷分析请求消息的方式分发产品缺陷分析任务。

例如在对一个批量产品制造消息解析时，产品制造消息处理集群201可以从中获取多个产品中包含的产品图像数量、产品图像对应的产品类型、产品图像的尺寸等等。产品图像可以是半导体屏幕从基板、到沉积、刻蚀再到最后成盒的任意一个步骤中拍摄的图像。在生成产品缺陷分析请求消息时，产品制造消息处理集群201需要判断产品缺陷分析任务中要进行分析的产品类型、要执行的产品产品缺陷分析任务类型(例如，人工智能识别、人工识别等等)。之后，产品制造消息处理集群201还可以对产品缺陷分析请求消息后进行消息格式验证，在确定产品缺陷分析请求消息的格式合格后再通过发送产品缺陷分析请求消息的方式向分布式产品缺陷分析系统104中的其他设备(如，产品缺陷识别集群、客户端设备等)分发产品缺陷分析任务。产品缺陷分析任务类型用于指示不同类型的产品缺陷分析任务。产品缺陷分析任务包括第一缺陷识别任务，其中第一缺陷识别任务是指由基于人工智能进行缺陷识别的任务，该任务可以由产品缺陷识别集群202执行。因此，产品制造消息处理集群201可以根据产品制造消息生成第一缺陷识别任务，并将该第一缺陷识别任务发送给产品缺陷识别集群202。

产品缺陷识别集群202可以是能够利用GPU计算资源执行人工智能推理(视觉识别)和训练任务的一个或多个设备。基于人工智能进行的推理任务可以是基于缺陷识别模型的缺陷识别任务，该缺陷识别模型主要是基于深度学习的神经网络模型。例如，缺陷识别模型可以是基于前馈神经网络的。前馈网络可以被实现为无环图，其中节点布置在层中。通常，前馈网络拓扑包括输入层和输出层，输入层和输出层通过至少一个隐藏层分开。隐藏层将由输入层接收到的输入变换为对在输出层中生成输出有用的表示。网络节点经由边缘全连接至相邻层中的节点，但每个层内的节点之间不存在边缘。在前馈网络的输入层的节点处接收的数据经由激活函数被传播(即，“前馈”)至输出层的节点，所述激活函数基于系数(“权重”)来计算网络中的每个连续层的节点的状态，所述系数分别与连接这些层的边缘中的每一个相关联。缺陷识别模型的输出可以采用各种形式，本公开对此不作限制。缺陷识别模型还可以包括其他神经网络模型，例如，卷积神经网络(CNN)模型、循环神经网络(RNN)模型、生成式对抗网络(GAN)模型，但不限于此，也可以采用本领域技术人员公知的其他神经网络模型。

神经网络模型通常需要通过训练获得。产品缺陷识别集群202也对神经网络模型进行训练，主要包括以下步骤：选择网络拓扑；使用表示被网络建模的问题的一组训练数据；以及调节权重，直到网络模型针对训练数据集的所有实例表现为具有最小误差。例如，在用于神经网络的监督式学习训练过程期间，将由网络响应于表示训练数据集中的实例的输入所产生的输出与该实例的“正确”的已标记输出相比较；计算表示所述输出与已标记输出之间的差异的误差信号；以及当将误差信号向后传播穿过网络的层时，调节与所述连接相关联的权重以最小化该误差。当从训练数据集的实例中生成的每个输出的误差被最小化时，该神经网络模型被视为“已经过训练”，并可以用于人工智能推理任务。

神经网络模型的推理和训练过程中，涉及大量参数、激活值、梯度值的缓冲区，其每个值在每一次训练迭代中都要被完全更新，对计算和吞吐能力的需求非常高。而GPU具有强并行能力和高显存带宽，在处理与训练深度神经网络相关联的计算时极其高效。因此，使用多个GPU集成的GPU集群可以有效地提高神经网络模型的训练和推理速度，并且产品缺陷识别集群202还可以对硬件资源进行调度和分配。

在本公开的至少一个实施例中，产品缺陷识别集群202可以被配置为基于第一缺陷识别任务，通过缺陷识别模型识别产品图像中的产品缺陷内容，其中，产品缺陷内容包括产品的缺陷类型、缺陷位置和缺陷大小中的任意一项或多项。其中，产品缺陷内容包括产品的缺陷类型、缺陷位置和缺陷大小中的任意一项或多项。产品缺陷识别集群202接收到产品制造消息处理集群201发送的第一缺陷识别任务后，通过已经训练好的缺陷识别模型，对存储在产品图像数据库203中的产品图像进行产品缺陷内容的识别，即识别产品的缺陷类型、缺陷位置和缺陷大小中的任意一项或多项。

在本公开的实施例中，基于所述第一缺陷识别任务，通过缺陷识别模型识别产品图像中的产品缺陷内容的实现方式如下，首先将产品图像缩放至固定像素大小MxN(也可不进行缩放)，然后将MxN图像送入深度卷积神经网络(VGG/Resnet/MobileNet等)；通过多层卷积层、激活层、池化层，获得整个图像的特征图(feature maps)；把特征图输入到筛选区域网络(ZF/SSD/RPN等)，经过计算，获得建议区域(proposal region)；然后，针对建议区域进行卷积池化等操作，获得建议区域的区域特征图(proposal feature)，再将区 域特征图(proposal feature)送入后续全连接和softmax网络作分类(classification即分类proposal到底是什么缺陷),获得最大概率的缺陷类别作为最后分类结果，记录类别和概率。另外建议区域(proposal region)的坐标和尺寸代表了缺陷的位置和大小。基于缺陷模型识别产品缺陷内容的方法可以采用上述方法的类似变形或者其他本领域技术人员公知的方法，本公开在此不做限定。

例如，在半导体行业中，缺陷类型可以包括微粒(particle)、残留(remain)、线不良(line)、孔洞(hole)、溅落(splash)、褶皱(wrinkle)、膜层变色(film color)、气泡(bubble)等，还可以基于每个缺陷类型进行更多小类的划分，例如微粒类型可基于不同形态微粒缺陷分为普通微粒P1(Normal Particle)、散沙微粒P2(Sand Particle)、沉积性微粒P3(Wall Particle)等。缺陷位置可以指示缺陷位于产品图像的具体坐标位置，从而确定包括缺陷所处的电路板上的具体坐标位置、缺陷与背景电路的关系(例如缺陷是否完全落在Gate内、与之相交、还是其外附近等)等。缺陷大小可以包括缺陷的长度或者缺陷的区域面积等。

产品制造消息处理集群201和产品缺陷识别集群202可以作为客户端设备/服务器架构中的服务器，以提供数据服务，诸如从客户端设备204中接收数据，存储数据，处理数据，向客户端设备204传输数据。服务器通常是通过远程或本地网络(例如因特网或无线网络基础设施)可访问的远程计算机系统。

客户端设备204被配置为输出产品缺陷识别结果。客户端设备204可以是向相关工作人员展示产品缺陷识别结果的一个或多个终端，产品缺陷识别结果可以包括产品缺陷识别内容，也可以包括基于产品缺陷内容分析后的警示信息等。客户端设备204可以包括显示器，显示器可以显示产品缺陷识别集群202识别的产品缺陷内容，从而让相关工作人员对产品缺陷进行进一步判断分析。客户端设备204还可以包括报警装置，用于对缺陷识别结果进行报警，从而警示相关工作人员进行对应的处理。

例如，客户端设备204可以是访问由另一计算机(例如，服务器)提供的共享网络资源的计算机。客户端设备204可以是请求由另一程序或过程提供的服务的过程，例如大致一组指令或任务。客户端设备过程利用所请求的服务，而不必“知道”关于其他程序或服务本身的任何工作细节。例如，在本公开的实施例中，客户端设备204利用产品制造消息处理集群201、产品缺陷识别集 群202的集体能力来使整个产品生产流水线受益。在这点上，分布式产品缺陷分析系统104中的各种设备可以具有可以参与资源管理机制的应用、对象或资源。客户端设备204还可以包含应用，其可以利用适于与根据本公开的各种实现提供的应用通信或实现该应用的API或其他对象、软件、固件和/或硬件。

根据情况，上述的产品制造消息处理集群201、产品缺陷识别集群202、客户端设备204都可以被认为是客户端设备、服务器或两者，本公开并不以此为限。分布式产品缺陷分析系统104中的各个设备都可以是活动的，通过通信介质彼此通信，从而提供分布式功能并且允许多个客户端设备204利用服务器的信息收集能力。

本申请通过分布式产品缺陷分析系统104，将通过该站点的缺陷分析任务进行拆分，形成用于系统调度的产品制造消息处理集群、用于人工智能推理/训练的产品缺陷识别集群、用于模型更新部署的模型管理集群、用于数据存储的产品图像数据库、用于输出产品缺陷分析结果的客户端设备等。分布式产品缺陷分析系统104可以存储多个子任务并将这些子任务分别部署到不同的服务器中，在每个单点服务器中又做了高可用的集群。在一些实施例中，系统调度和模型管理可以作为一个集群。因此，分布式产品缺陷分析系统104可以缩短每张产品图像的处理时间，使得产品生产线上的相关工作人员可以直观地监控生产线上的产品生产进度，提升了产品制造的良率。

图3是示出根据本公开至少一实施例的分布式产品缺陷分析系统104的另一示意图，其示例性地示出了分布式产品缺陷分析系统104的技术架构。

分布式产品缺陷分析系统104可以使用Eclipse、Maven、Jupyter和VS2017等开发工具来进行开发。开发语言包括Python、C++、C#和Java等。分布式产品缺陷分析系统104中的各个设备、各个集群之间可以采用一种或多种通信协议来相互通信，例如，FTP、TCP/IP、HSMS和Tibco等。可选地，分布式产品缺陷分析系统104还可以使用多种不同的数据库(例如，DFS、Oracle、Redis和MySQL)来存储数据、图片和缺陷识别模型等。

如图3所示，分布式产品缺陷分析系统104总体上可以被划分为应用层、服务层、引擎层、数据层、算法层和框架层。

应用层可以实现缺陷类型识别、缺陷位置识别、缺陷大小识别、不良趋势分析和报警分析等功能。客户端设备204可以通过其显示器呈现用户图形界 面。用户图形界面上可以显示标注缺陷位置和大小的图像、缺陷类型的结果、不良趋势分析的结果和报警分析的结果等。

服务层可以用于实现异常检测、缺陷定位、产品分类、尺寸计算、日志分析和精密测量等功能。这些功能可以由客户端设备204来实现，也可以由产品缺陷识别集群202或产品制造消息处理集群201来实现。

引擎层包括训练引擎，其用于训练缺陷识别模型。该训练引擎可以实现初始缺陷识别模型、缺陷识别模型迭代、优化引擎和生成缺陷识别模型引擎的功能。引擎层还包括预测引擎，其用于利用缺陷识别模型从产品图像中识别产品缺陷内容。预测引擎可以实现实时预测、动态评估、性能统计和指标反馈等功能。引擎层的各项功能可以由模型管理集群来实现，也可以由产品缺陷识别集群202来实现。

数据层包括用于进行数据预处理的模块。数据预处理包括图像清洗、图像预处理、数据集构造和归一化处理。数据层中还可以包括用于进行数据标注的模块。数据标注包括对产品图像进行半自动标注、自动标注和样本分类等。进行数据预处理的模块和进行数据标注的模块可以被包括在模型管理集群中，也可以被包括在产品制造消息处理集群201中，数据层中的数据可以存储在产品图像数据库203中。

算法层包括与计算机视觉、机器学习和深度学习相关的算法。计算机视觉相关的算法包括形态学、阈值分割、背景建模、OpenCV、FFT(傅里叶变换)和霍夫变换相关算法。机器学习相关算法包括K均值聚类算法、集成算法、和密度聚类算法等。深度学习相关算法包括Densenet、GAN、AutoEncoder、Faster-rcnn、VGG和ResNet算法等。

框架层中涵盖了分布式产品缺陷分析系统104在架构过程中使用的框架，例如，OpenCV、Aforge、TensorFlow、Keras、SpringCloud、Vue以及用于容器调度的Kubermetes等。

本领域技术人员应当理解，分布式产品缺陷分析系统104可以应用的技术不局限于上述的示例，本公开的实施例并不以此为限。

图4是示出根据本公开至少一实施例的处理产品制造消息的方法400的流程图，其示出了产品制造消息处理集群201处理产品制造消息的过程。

产品制造消息服务处理集群201在监听产品制造消息时，监听消息的方式可以包括：轮询和中断。轮询的方式监听产品制造消息是指以预设频率不断 的监听并接收产品制造消息，中断的方式监听是指产品制造消息服务处理集群201获知特定产品制造消息产生时监听并接收该产品制造消息，接收完该产品制造消息后中断监听，直至再次获知该特定产品制造消息产生后再继续监听。可选地，采用中断的方式监听需要提前对产品制造消息发送设备进行信息注册。

在操作401中，对产品制造消息服务设备103进行注册信息设置。其中，注册信息包括产品制造站点信息和/或第一产品信息。对产品制造消息服务设备103得到注册信息设置可通过产品制造消息处理集群201发送注册信息实现，也可以直接在产品制造消息服务设备103上进行设置。产品制造消息服务设备103可以通过注册信息获知产品制造消息处理集群201希望知晓的与注册信息相关的产品制造消息。与注册信息相关的产品制造消息包括包含产品制造站点信息或第一产品信息的产品制造消息。从而，在产品制造消息服务设备103收集到与注册信息相关的产品制造消息时，可以优先发送该产品制造消息给产品制造消息处理集群201。因此，产品制造消息处理集群201可以以中断的方式监听该产品制造消息。其中，产品制造站点信息包括站点的标识、站点的物理位置(例如，AOI设备的物理位置)、站点在产品制造流程中的节点信息(例如，在曝光流程中的缺陷识别/检测、在清洗流程中的识别/缺陷等等)等中的一项或多项，这些信息可以辅助识别或定位到具体的站点。第一产品信息可以是产品类型、产品名称、产品标识、产品优先级等种的一项或多项，这些信息可以辅助识别或定位到具体的产品。本领域技术人员应当理解，产品制造站点信息和第一产品信息的内容并不局限于上述示例，只要其与产品制造流程中的缺陷识别/检测相关联即可。图4中以对产品制造消息服务设备103进行注册为例说明，本领域技术人员应当理解，也可以对图像获取设备102进行注册。

在操作402中，基于注册信息，产品制造消息处理集群201被配置为以中断的方式监听第一产品制造消息。其中，第一产品制造消息包括与注册信息相关的产品制造消息。第一产品制造消息可以是批量产品制造消息也可以是单一产品制造消息，只要其与注册信息中的产品制造站点信息或第一产品信息相关联即可。当第一产品制造消息与产品制造站点信息相关联时，第一产品制造消息可以包括产品制造消息服务设备103所识别出的站点的变化信息、状态信息等等。当第一产品制造消息与第一产品相关联时，第一产品制造消息 可以包括该产品的图像所存储的地址、该产品对应的产品图像数量、当前产品的制造进程等等。

在操作403中，产品制造消息处理集群201被配置为以轮询的方式监听第二产品制造消息，其中，第二产品制造消息与注册信息无关。产品制造消息服务设备103可以使用相同的端口广播第一产品制造消息和第二产品制造消息，其也可以使用不同的端口广播第一产品制造消息和第二产品制造消息，本公开对此不做限制。可选地，第二产品制造消息中可能包括与注册信息的内容不相关的信息，例如，当前工厂环境的温度和湿度等等。当然，第二产品制造消息可以是批量产品制造消息也可以是单一产品制造消息。

在操作404中，产品制造消息处理集群201确定第二产品制造消息是否包括产品制造关键字。若第二产品制造消息包括产品制造关键字，在操作405中，产品制造消息处理集群201保留该第二产品制造信息。若第二产品制造消息不包括产品制造关键字，在操作406中，产品制造消息处理集群201丢弃该第二产品制造信息。

产品制造消息处理集群201向产品制造消息服务设备103进行的注册可能需要较多的流程，例如需要相关人员对此进行配置、核验等等。但是，在工厂中，产品可能是不断调整和更新的。另外，对于有些设备(某些AOI设备)可能无法进行注册。因此，产品制造消息处理集群201还可以监听与注册信息无关的消息。例如，可以通过轮询的方式监听与注册信息无关的消息。产品制造关键字列表中存储着与注册信息无关的但是对产品缺陷识别、检测、分析有关的产品制造关键字。当产品制造消息处理集群201接收到了第二产品制造消息时，其可以分析第二产品制造消息中的各个字段，并将这些字段与产品制造关键字列表进行比对，并且保留包括了产品制造关键字的第二产品制造消息。例如，假设相关人员发现最近几个批次生产的屏幕中的产品缺陷很有可能是由于环境湿度过大导致的。此时，相关人员可以在产品制造关键字列表中增设关键字：环境湿度。然后，当产品制造消息处理集群201接收到与环境湿度有关的消息时，就可以保留这样的信息，以便于相关人员进行分析。当相关人员排除掉环境湿度这样的影响因素后，可以将产品制造关键字列表中的环境湿度关键字去掉，以减少产品制造消息处理集群201中存储的冗余信息，提高产品制造消息处理集群201的消息处理效率。在获取环境湿度信息的整个过程中，产品制造消息处理集群201并不需要向产品制造消息服务设备103 注册，减少了产品制造消息处理的流程。

通过这样的机制，产品制造消息处理集群201可以优先监听注册过的信息，同时对非注册的信息进行按照产品制造关键字进行筛选。产品制造消息处理集群201不仅监听经注册的消息，还可以监听所有产品制造消息服务设备103发出的消息，进而提高了系统的可扩展性。

在产品制造消息的监听和广播过程中，工厂制造系统对处理产品制造消息的要求较高。可选地，为了防止消息丢失，产品制造消息处理集群201还可以具有消息缓存和消息队列功能。产品制造消息处理集群201可以将产品制造消息缓存到RabbitMQ中来进行消息队列管理，以防止由于延时或其他异常造成消息的丢失问题。

在本公开的至少一实施例中，第一产品制造消息包括批量产品制造消息，第二产品制造消息包括单一产品制造消息。因此，产品制造消息处理集群201可以被配置为以中断的方式监听批量产品制造消息，以轮询的方式监听单一产品制造消息。

如上所述，工业生产中，将多件产品组成一个批次(LOT)，同一批次进行相同的加工工艺流程，便于产品制造消息的记录和整理。一个批量产品制造消息是指同一批次(如，LOT)的多件产品的产品制造消息总和，一个单一产品制造消息是指该一件单一产品(如，GLASS)的产品制造消息。

在产品制造过程中，通常以批量产品为单位(LOT)进行制造消息的记录和传递，这样能够提高消息处理的效率。但在产品缺陷分析任务过程中，可提前在产品制造消息服务设备103上设置与批量产品制造消息相关的注册信息，这样，产品制造消息处理集群201以中断的方式监听该批量产品制造消息，提高了消息接收和处理的效率。但批量产品制造消息需要在批量产品全部处理完成后才会发送给产品制造消息处理集群201，而这段时间可能会导致进行产品缺陷检测分析系统中的某些设备(如产品缺陷识别集群202)处于空闲状态。因此，产品制造消息处理集群201还可以在中断的间隙以轮询的方式监听单一产品制造消息，并且及时处理单一产品制造消息。这样可以使得在接收到批量产品制造消息时已经完成了该批次大部分的单一产品制造消息的处理，从而提高了产品制造消息处理集群201的消息处理效率。单一产品可以是该批量产品中的一个产品，也可以不是该批量产品中的。若单一产品是该批量产品中的一个产品，则在监听到该批量产品制造消息时，可对之后轮询监听到的 该批量产品的其他单一产品制造消息不进行处理或不再监听该批量产品的其他单一产品制造消息，进一步提高产品制造消息处理集群201的消息处理效率。

可选地，监听到的产品制造消息可以是图像获取设备102产生的产品制造消息或者产品制造消息服务设备103获取的产品制造消息，也可以是产品图像数据库203中产生的产品制造消息(如产品图像数据的生成消息)，本公开在此不作限定。

图5是示出根据本公开至少一个实施例的发送产品缺陷任务的方法500的示意图。

参见图5，可选地，产品制造消息处理集群201根据产品消息生成产品缺陷分析任务还包括操作501至505。

在本公开的一些实施例中，根据产品制造消息，生成产品缺陷分析任务包括：根据产品制造消息，确定是否存在与产品类型相对应的缺陷识别模型。若存在与产品类型相对应的缺陷识别模型，生成第一缺陷识别任务；向产品缺陷识别集群202发送第一缺陷识别任务。若不存在与产品缺陷类型相对应的缺陷识别模型，生成第二缺陷识别任务，向客户端设备204发送第二缺陷识别任务。

在操作501中，根据产品制造消息，确定是否存在与产品类型相对应的缺陷识别模型。

产品缺陷识别集群202基于缺陷识别模型进行的缺陷识别任务其实质是基于人工智能的视觉识别，缺陷识别模型需要训练得到。工厂生产制造中，可能会出现不同类型的产品或经历由于工艺参数等的调整导致同类型产品的缺陷发生变化，从而导致缺陷识别模型可能无法识别出产品缺陷。因此，产品制造消息处理集群201需根据产品制造消息判断产品缺陷识别集群202能否识别出产品缺陷，从而生成对应的产品缺陷分析任务，若产品缺陷识别集群202无法识别，则将产品缺陷分析任务发送给客户端设备，由用户基于客户端设备显示的产品图像进行人工识别。因此，产品缺陷分析任务包括第一缺陷识别任务和第二缺陷识别任务，其中，第一缺陷识别任务是指基于人工智能进行缺陷识别的任务，第二缺陷识别任务是指基于人工进行缺陷识别任务。

例如，产品制造消息处理集群201对获取的产品制造消息进行解析，获取产品类型，确定是否存在与产品类型相对应的缺陷识别模型，从而生成对应 的产品缺陷分析任务。

如果产品类型为已知产品类型(即训练过的产品)并确定存在与产品类型相对应的缺陷识别模型，则可基于产品类型对应的缺陷识别模型进行缺陷任务分析的执行，因此生成第一缺陷识别任务，并向产品缺陷识别集群发送第一缺陷分析任务。

如果产品类型为未知产品(即未训练过的产品)，则确定不存在与产品类型相对应的缺陷识别模型，则需要人工识别，因此生成第二缺陷识别任务，向客户端设备发送第二缺陷识别任务。

如果产品类型为已知产品但基于该产品类型对应的缺陷识别模型识别不出产品缺陷内容(如识别得分低于预设阈值)，则也可以确定为不存在与产品类型相对应的缺陷识别模型。如果缺陷识别模型的性能不足以满足对应产品类型的缺陷分析任务(如准确率、召回率低于预设阈值)，也可以确定为不存在与产品类型相对应的缺陷识别模型。产品制造消息处理集群201还可以通过人工判断、缺陷识别模型预判断等其他方式进行确定，本公开对产品制造消息处理集群201确定是否存在产品类型相对应的缺陷识别模型的方式不作限制。

若存在与产品类型相对应的缺陷识别模型，在操作502中，产品制造消息处理集群201生成第一缺陷识别任务，并向产品缺陷识别集群202发送该第一缺陷识别任务。

产品制造消息处理集群201可以通过发送第一产品缺陷分析请求消息的方式发送第一产品缺陷识别任务。第一产品缺陷分析请求消息包括产品类型、产品图像的存储地址、产品图像的数量和对缺陷识别模型进行缺陷识别的任务标识(该任务标识指示利用产品图像的存储地址、产品图像的数量对该产品类型的产品图像进行缺陷识别)。产品缺陷识别集群202接收第一产品缺陷分析请求消息，即接收到第一产品缺陷识别任务后，基于第一产品缺陷分析请求消息中的产品图像的存储地址，从该产品图像数据库203中获取待进行缺陷识别的产品图像，根据产品类型，加载与产品类型对应的缺陷识别模型，基于该缺陷模型对产品图像进行缺陷识别。由于产品和站点较多，且缺陷识别模型的加载时间较长，产品缺陷识别集群202可以按照预先设置提前加载缺陷识别模型。在设置变更后，产品缺陷识别集群202还可以利用独立的后台服务器完成对模型的加载，避免了产品变更时，需要大量时间加载模型的过程， 从而提高了整体效率。由于产线每天会产生大量的图像进行缺陷识别模型算法的检测工作，产品缺陷识别集群202还可以对GPU资源进行合理的调度和分配，以提高硬件资源的使用效率。

在产品缺陷识别集群202完成产品图像的第一产品缺陷识别任务之后，在操作503中，产品缺陷识别集群202将第一缺陷识别结果发送给产品制造消息处理集群201。第一缺陷识别结果包括以下各项中的一项或多项：缺陷类型识别、缺陷位置、缺陷大小。

可选地，产品制造消息处理集群201还可以监控产品缺陷识别模型的推理性能，即产品缺陷识别集群202基于该产品缺陷识别模型处理第一产品缺陷识别任务的准确率(Accuracy)、精确率(Precision)、召回率(Recall)、F分数(FScore)和速度中的一项或多项。其中，速度可以指产品缺陷识别集群202识别产品图像的速度(其单位可以是产品图像的数量/秒等)。可以通过如下公式(1)计算出准确率，通过如下公式(2)计算出精确率，通过如下公式(3)计算出召回率，之后通过如下公式(4)计算出F分数：

Accuracy＝(TP+TN)/(TP+FP+TN+FN)     (1)；

Precision＝TP/(TP+FP)        (2)；

Recall＝TP/(TP+FN)       (3)；

F _Score＝[(1+β ²)·Precision·Recall]/(β ²·Precision+Recall)        (4)。

其中，TP(Ture Positive，真正)表示计算结果为正，实际结果也为正，也就是说，缺陷识别模型经推理计算后，得到的计算结果为A(这里，A代表一种结果)，实际结果也为A，此时计算结果与实际结果一致。

FP(False Positive，假正)表示计算结果为正，实际结果为负，也就是说，缺陷识别模型经推理计算后，得到的计算结果A，但实际结果为非A，此时计算结果和实际结果不一致。

FN(False Negative，假负)表示计算结果为负，实际结果为正，也就是说，缺陷识别模型经推理计算后，得到的计算结果为非A，但实际结果是A，此时计算结果和实际结果不一致。

TN(Ture Negative，真负)表示推理计算结果为负，实际结果也为负，也就是说，缺陷识别模型经推理计算后，得到的计算结果为非A，实际结果也为非A，此时计算结果与实际结果一致。

在工厂生产过程中，产品电路的背景复杂多样，许多产品缺陷容易混淆，产品的生产计划也会随着订单进行调整，这些因素都给模型性能带来较大的 挑战。产品的变更、工艺变化或者产品图片的调整都可能会导致人工智能缺陷识别模型的性能变差。产品制造消息处理集群201可以定期或实时对缺陷识别模型的性能进行监控。如果产品缺陷识别模型的性能不能满足生产时，将及时进行调整。例如，产品制造消息处理集群201可以在出现问题时及时报警，并进行新的缺陷识别模型的部署和确认。

产品制造消息处理集群201可以通过以下3种方式来监控产品缺陷识别集群202基于产品缺陷识别模型处理第一产品缺陷识别任务的准确率、精确率、召回率和F分数等。本领域技术人员应当理解，以下3种方式仅是示例，产品制造消息处理集群201还可以通过其它方式来监控产品缺陷分析任务，只要能够获得处理产品缺陷分析任务的准确率、精确率、召回率或F分数中的任意一项即可。

方式一：通过标准数据样本进行监控

在产品图像数据库203中可以预先存储标准数据样本。标准数据样本可以由资深工厂操作人员和高级检测人员进行审核，以确定样本的选定范围(例如，缺陷种类、缺陷数量和缺陷分布等)与缺陷识别模型训练样本保持一致。然后，产品制造消息处理集群201可以比对通过缺陷识别模型的推理结果与人工设定的标准结果，进而统计该缺陷识别模型的准确率、精确率、召回率或F分数等。同时，产品制造消息处理集群201还可以对标准样本数据按照时间周期、生产状况、人工调整模式等进行更新。

方式二：通过在线抽检模型进行监控

在工厂的生产过程中，多名(例如，3名)高级检测人员可以对产品缺陷进行随机抽检，例如，这些高级检测人员可以针对某个产品缺陷抽取多张产品缺陷图像(例如100张产品缺陷图像)，然后，人工判断和标记该产品缺陷。之后，多名检测人员可以利用上述标记后的产品缺陷将缺陷识别模型针对同一份样本的推理结果分别独立地进行复核。在复核结束后，可以将多名检测人员针对同一产品缺陷的推理结果进行投票，投票最高的结果可以作为标准结果。然后将该标准结果与缺陷识别模型的推理结果进行比较以监控该缺陷识别模型的准确率、精确率、召回率或F分数等。

方式三：抽取产品批次进行监控

多名(例如，3名)高级检测人员可以抽取人工智能缺陷识别模型对整个批次(例如，一个LOT，其中，一个LOT可以包括20张Glass，而每张Glass 中可能包括50至300个不等的产品缺陷)的产品缺陷的推理结果进行复核。产品制造消息处理设备603获取复核结果，并根据复核结果确定人工智能缺陷识别模型的准确率、精确率、召回率或F分数等。

在工厂生产过程中，产品制造消息处理集群201还可以监控用于缺陷识别模型的计算机资源的使用效率，包括内存、显存等使用情况，以确定GPU资源是否存在异常等。产品制造消息处理集群201可以根据产品缺陷识别集群202中GPU的负载情况进行任务分配，优先将缺陷识别任务或模型训练任务分配给负载较低的GPU进行推理或训练任务。如果使用了几乎全部的计算机资源也无法完全完成缺陷识别的推理工作，这时候可能需要动态地增加硬件资源等。

若不存在与产品类型相对应的缺陷识别模型，在操作504中，产品制造消息处理集群201生成第二缺陷识别任务，并向客户端设备204发送该第二缺陷识别任务。产品制造消息处理集群201可以通过发送第二产品缺陷分析请求消息的方式发送第二产品缺陷识别任务。第二产品缺陷分析请求消息包括产品类型、产品图像的存储地址、产品图像的数量和对缺陷识别模型进行缺陷识别的任务标识(该任务标识指示利用产品图像的存储地址、产品图像的数量对该产品类型的产品图像进行显示以用于人工识别)。客户端设备204接收第二产品缺陷分析请求消息，即接收到第二产品缺陷识别任务后，基于第二产品缺陷分析请求消息中的产品图像的存储地址，从该产品图像数据库203中获取待进行缺陷识别的产品图像，将该产品图像通过客户端设备的显示器显示出来，用于人工缺陷识别。

当用户完成人工缺陷识别任务后，客户端设备204获取人工识别缺陷结果，在操作503中，客户端设备204将第二缺陷识别结果发送给产品制造消息处理集群201。第二缺陷识别结果包括以下各项中的一项或多项：缺陷类型识别标注、缺陷位置标注、缺陷大小标注。

产品制造消息处理集群201还可以监控进行缺陷识别的人工资源的状态。例如，在工厂生产过程中，可能存在操作人员的工作效率不高而导致待处理的任务不能及时处理的情况，或者，某些重要的报警信息没有被操作人员及时处理的情况。这些情况都会给生产带来较大的损失。因此，产品制造消息处理集群201还可以监控用于人工识别产品缺陷内容的客户端设备204的状态。例如，产品制造消息处理设备603可以监控其推送给客户端设备204的人工处 理产品缺陷分析任务的速度(例如，监控操作人员是否按照正常的速度在进行产品图片的人工识别)，判断操作员的工作效率和工作状态。从而结合调度计划，优化产品缺陷识别/检测的任务分配。

产品制造消息处理集群201还可以监控工厂系统中的生产状态。在产品缺陷检测过程中，可能会发生大规模缺陷聚集情况。产品制造消息处理集群201可以把产品缺陷信息与工厂中处理该产品缺陷科室或工艺部门进行匹配，并向这些科室和部门中的客户端设备204及时发送报警信息。如果该产品缺陷需要对应的部门/科室针对缺陷进行工艺或生产调整，产品制造消息处理集群201可以实时监控报警信息和报警被处理的状态。并且在出现严重报警没有及时处理的情况，产品制造消息处理集群201会自动升级报警信息，同时将升级后的报警信息发送到该科室上一级的部门领导的客户端设备204，以督促相关科室/部门及时重视和处理报警信息。

图6是示出根据本公开至少一实施例的产品制造消息处理集群201调度产品缺陷分析任务的示意图。

参见图6，产品制造消息处理集群201被配置为：基于生成多个产品缺陷分析任务的时间顺序、产品的优先级顺序和产品调度计划中的任意一项或多项对产品缺陷分析任务进行排序以建立产品缺陷分析任务队列。

其中，基于生成多个产品缺陷分析任务的时间顺序对产品缺陷分析任务进行排序是为了方便按照时间顺序进行调度。也即，按照监听到产品制造消息的进入待处理队列的先后顺序，进行对应硬件资源匹配进行处理。如图6所示，假设接收到依次接收到9条产品制造消息，并据此建立了9个产品缺陷分析任务Job1值Job9，于是可以将这9个任务按照接收顺序排列。顺序调度的方式设定简单，并且可以和生产计划在时间上进行较好的匹配。

基于产品的优先级对产品缺陷分析任务进行排序包括按照设定的产品优先级进行调度。也即，按照产品在生产计划中的优先级进行排序。整个调度消息队列是一个动态的调度过程，可以将优先级高的产品插入产品缺陷分析任务队列靠前的位置。如图6所示，假设Job2和Job3的优先级高于Job1，因此可以将Job2和Job3排列在Job1之前进行处理。基于优先级的调度能优先保证高优先级的产品的检测任务顺利完成。

基于产品调度计划对产品缺陷分析任务进行排序可以使得用户能够指定对应的调度计划，同时支持临时插入和调整调度计划。例如，如图6所示的 将Job9临时插入到Job2和Job3之间。由此，用户可以对某些产品或缺陷进行重点的监控和验证，同时可以综合其他流水线上的信息进行临时干预整个产品制造流水线上的工作。

本公开的一些实施例可以综合以上三种方式中的任意一项或多项对产品缺陷分析任务进行排序以构建产品缺陷分析任务队列。

可选地，产品制造消息处理集群，还被配置为：根据所述产品缺陷识别集群202的负载情况，控制产品缺陷分析任务队列中的产品缺陷分析任务的发送速度。

参见图6，由于产品的流入站点101的频率和数量是不确定的，从而会导致流入的需要检测的产品有时会突然变得很多，有时又很少，其流入任务数量随时间的变化可以如流入任务数量图所示。如果不经调度，产品缺陷识别集群202的检测分析工作将有时压力过大而有时又相对较空闲，导致产品缺陷分析任务的处理效率不高。产品缺陷分析任务队列位于产品制造消息处理集群201中，为图像获取设备产生产品图像和产品缺陷识别集群202进行产品缺陷分析任务之间提供了时间缓冲。

产品缺陷分析任务队列中的产品缺陷分析任务包括待执行产品缺陷分析的任务，产品制造消息处理设备可根据产品缺陷识别集群202的负载情况，控制产品缺陷分析任务队列中任务的发送速度。当产品制造消息数量大于预设阈值，以及/或者产品缺陷分析任务队列中的任务数量高于预设阈值，以及/或者产品缺陷识别集群202负载大于预设阈值时，降低任务发送速度，当产品制造消息数量小于预设阈值，以及/或者产品缺陷分析任务队列中的任务数量小于预设阈值，以及/或者产品制造辅助设备负载小于预设阈值时，增加任务发送速度。如图6所示，经调度之后流出任务数量随时间的变化基本保持了均衡(如流出任务数量图所示)。

产品制造消息处理集群201还可以根据客户端设备204的负载情况，控制产品缺陷分析任务队列中的产品缺陷分析任务向客户端设备204的发送速度，以及当存在多个客户端设备时，根据客户端设备处理产品缺陷分析任务(人工识别缺陷任务)的速度，相对应的控制不同客户端设备发送缺陷分析任务的速度。例如，当某个客户端设备(如204-1)处理产品缺陷分析任务的速度低于其他客户端设备(如204-2)处理产品缺陷分析任务的速度时，降低发送给客户端设备204-1的任务发送速度；当某个客户端设备(如204-1)处理 产品缺陷分析任务的速度高于其他客户端设备(如204-2)处理产品缺陷分析任务的速度时，增加发送给客户端设备204-1的任务发送速度。本公开的实施例可以对各种产品的分析任务进行合理的调度和分配，进而合理地分配了计算资源和任务，同时最大效率的满足实际生产的需要。

图7是示出根据本公开至少一实施例的分布式产品缺陷分析系统104中的客户端设备204的图形用户界面700的示意图。

客户端设备204包括显示器。该显示器可以显示图形用户界面(GUI)700，其用于人机交互。图形用户界面700可包括窗口、图标、滚动条和用户用来将命令输入给装置的任何其它图形用户界面对象。应该理解，本发明示例性实施例可包括各种形状、设计和结构的各种的GUI。

示例性人机交互包括调整一个或多个用户界面对象的位置和/或尺寸，或激活按钮，或打开由图形用户界面对象代表的文件/应用程序，以及将元数据与一个或多个用户界面对象相关联，或以其他方式操纵图形用户界面。示例性图形用户界面包括数字图像、视频、文本、图标、控制元件诸如按钮和其他图形。在一些情况下，用户将需要相关应用程序中对图形用户界面对象执行此类操纵。

可选地，客户端设备204可以生成产品图像区701、快捷功能区702、任务列表区703、任务详情区704、操作功能区705、任务选择区706、缩略图区707中的一项或多项，并将其显示在显示器的图形界面700上。

可选地，显示器被配置为显示产品缺陷识别集群识别的产品图像，该产品图像包含产品缺陷内容标注，产品缺陷内容标注包括：缺陷标记框、缺陷标记框坐标、缺陷类别标注和缺陷类别得分。产品缺陷识别集群识别得到的产品图像可以显示在产品图像区701中。包含产品缺陷内容标注的产品图像是产品缺陷识别集群202基于第一缺陷识别任务得到的产品图像。产品缺陷识别集群202识别产品图像的缺陷内容(缺陷类型、位置和大小)后，在该产品图像上进行自动标注，并通过显示器显示出来。

例如，在产品图像中用方框/圆框将产品缺陷部分圈出(例如图7中的白色方框7011)，并标出方框的顶点坐标(x1，y1)和(x2，y2)，以此来展示缺陷位置和大小，并在方框附近进行文字标注用于指示缺陷的类型(例如图7中白色方框7011上方的P6)和缺陷类别得分(例如图7中白色方框7011上方的0.96)。

缺陷类别标注、缺陷坐标和大小、以及产品缺陷得分还可以以详情的方式显示在图形用户界面700中的其他组件中(诸如当前处理任务框801)。本公开对此不作限制。显示器通过显示产品缺陷识别集群识别的产品图像，可以让用户直观的看到产品缺陷识别集群202的缺陷识别效果，并进行复核，以确保人工智能识别的准确性。显示缺陷类别得分，代表了人工智能识别出该缺陷类别的概率。通过显示缺陷类别得分，用户可对得分较低的缺陷识别结果进行更有针对性的复核。

显示器还被配置为显示产品缺陷识别集群无法识别的产品图像，即不含产品缺陷内容标注的产品图像。产品缺陷识别集群无法识别的产品图像包括基于第二缺陷识别任务进行产品缺陷识别的产品图像，还包括产品缺陷集群识别后缺陷类型得分低于某一阈值的产品图像。工业生产中，为保证工艺流程的顺利进行，对缺陷分析模型的准确率要求极高，因此，若产品缺陷识别集群202无法识别或识别得分(识别概率)较低时，全部推送至客户端设备204，通过人工识别来保证缺陷识别的准确率。因此，当产品缺陷识别集群无法识别产品图像时，可不对产品图像进行任何标注，并将不含产品缺陷内容标注的产品图像显示在产品图像显示区701中。

客户端设备204被配置为获取用户输入的产品缺陷识别指令；基于该产品缺陷识别指令，显示产品缺陷识别集群202无法识别的产品图像的产品缺陷内容标注。

客户端设备204被配置为生成快捷功能区702，显示器被配置为显示快捷功能按钮，该快捷功能按钮位于快捷功能区702中。快捷功能按钮可以包括基础功能按钮“上一张”、“下一张”、“确认”等按钮实现产品图像的切换，还包括缺陷位置标记区7011通过对缺陷框坐标和大小的编辑，实现对缺陷位置标记框的编辑，还可以包括产品缺陷类型设置按钮，如缺陷大类设置区7022中的“微粒”、“残留”、“孔洞”、“溅落”、“褶皱”、“气泡”等，以及对应的缺陷小类设置区7023的“P1”、“P2”、“P3”等，通过快捷按钮实现对产品图像缺陷类型的标注。可选地，快捷功能区702也可以对产品缺陷类型进行快捷键设置，从而省去快捷功能区702的诸多缺陷类型设置按钮。客户端设备204还可以实时捕捉鼠标位置，并将鼠标的位置转换成在该产品图像上的具体位置和大小，用户可利用鼠标画出产品图像中产品缺陷的位置和大小。客户端设备可以获取用户基于快捷功能区702或者其他形式输入的 产品缺陷识别指令，基于该产品缺陷识别指令，实现产品缺陷内容的人工标注，从而显示出产品缺陷识别集群无法识别的产品图像的产品缺陷内容标注。

客户端设备204还被配置为获取用户输入的产品缺陷复核指令，基于该产品缺陷复核指令，确认或修改待复核产品图像中的产品缺陷内容标注。待复核产品图像中的产品缺陷内容标注，可以是产品缺陷识别集群201识别得到的，也可以是人工识别得到的。例如，基于人工智能的产品缺陷内容识别能够高效地完成对产品的分类标注，但是由于产线工艺复杂以及随着加工工艺的改进，可能会导致缺陷识别模型的识别效果出现波动。因此，需要有经验的工作人员定期复核，保证人工智能识别的准确性和稳定性。又例如，初级的工作人员进行的人工识别后的产品缺陷内容标注，可由经验丰富的工作人员再次进行复核，从而确保初级工作人员人工标注的准确性。因此，客户端设备204为用户提供了产品缺陷识别复核的相关功能应用。

例如，用户可以在客户端设备204选择待复核产品图像的类型，待复核产品图像的类型包括缺陷识别集群202基于缺陷识别模型识别的产品图像和人工识别的产品图像。待复核产品图像显示在产品图像区701中。

假设，待复核产品图像中的微粒缺陷P6错误地识别成了微粒缺陷P2。用户可通过点击/触摸快捷功能区702中产品缺陷类型设置按钮“P6”，从而使得客户端设备获得用户输入的该产品缺陷复核指令，并基于该复核指令，将包含产品缺陷识别内容的产品图像中的缺陷类型标注P2改为P6，从而修改待复核产品图像中的产品缺陷内容。

假设，待复核产品图像中的产品缺陷内容标注完成正确，则可以通过点击/触摸快捷功能区702中的基础功能按钮“下一张”或“确认”，客户端设备获取用户输入的该产品缺陷复核指令，确认待复核产品图像中的产品缺陷内容，从而使产品图像区701中的产品图像跳转至下一张待复核的产品图像。

假设，缺陷识别模型识别出的缺陷位置标记框位置或大小错误，则可以通过在缺陷位置标记区7021输入缺陷位置标记框的位置或大小信息，进行缺陷位置调整。用户还可以通过鼠标的点击和拖动来选取产品缺陷的位置和大小。客户端设备204可以实时捕捉鼠标位置，并将鼠标的位置转换成在该产品图像上的具体位置和大小。用户还可以直接在产品图像区701的包含产品缺陷识别内容的产品图像上直接画出新的缺陷位置标记框来取代旧的缺陷位置标记框。客户端设备204还可以通过用户使用的其他输入方式(如键盘快捷键 设置)来获取产品缺陷复核指令，本公开对此不作限制。

显示器还可以被配置为显示多个产品缺陷分析任务对应的任务列表。客户端设备204可以将产品制造消息处理集群201生成的多个产品缺陷分析任务以名称列表的形式显示在任务列表区703中。这些产品缺陷分析任务的排序可以按照设定的规则进行变化。例如，最上端的产品缺陷分析任务是当前处理的任务-产品缺陷分析任务1。从第二个产品缺陷分析任务开始，剩下的产品缺陷分析任务将按照产品优先级和时间优先级进行自动排序。任务列表区703中的每个产品缺陷分析任务名称可以代表同一批次的批量产品(lot)的多条产品缺陷分析任务的集合，也可以代表单一产品(glass)的一条产品缺陷分析任务。任务名称可以包括代表批量产品或单一产品的编号，也可以包括产品类型等，在此不做限定。在产品制造过程中，由于产品不断的经过各个站点，将会实时地生成多条产品缺陷分析任务，任务列表区703中的名称列表的数量将不断的增加，任务的排列顺序也可能因优先级等因素不断的变化。

显示器还被配置为显示当前产品缺陷分析任务的任务详情，该任务详情可显示在任务详情区704中。例如，当前正在处理的产品缺陷分析任务为产品缺陷分析任务1。任务详情包括产品信息、站点信息和缺陷类型信息等。缺陷类型信息可以通过缺陷识别模型识别而获取的。用户也可点击任务列表区703中的任意一个任务名称，该任务的详细信息将展示在任务详情区704中。当一个产品缺陷分析任务名称中包含批量产品的多个产品缺陷分析任务时，任务详情区704也可以逐条将每个单一产品的任务详情显示出来。

客户端设备204还可以被配置为获取用户输入的多个产品缺陷分析任务的执行优先级调整指令；基于该调整指令，修改任务列表中的产品缺陷分析任务排序。用户可通过触控操作、鼠标操作、键盘输入等操作向客户端设备204输入针对多个产品缺陷分析任务的执行优先级调整指令。客户端设备204还可以获取其他输入方式进行的优先级调整指令的输入。客户端设备204获取到调整指令后，可以调整产品消息制造集群201中产品缺陷分析任务队列的执行顺序，也可以调整客户端设备204执行产品缺陷分析任务的顺序。基于该调整指令，对应客户端设备204显示的任务列表区703中的产品缺陷分析任务排序也将做出对应修改。

例如，假设用户希望调整产品缺陷分析任务的执行排序。用户可以拖动任务列表区703中的产品缺陷分析任务，例如将图7中的产品缺陷分析任务2 拖动到产品缺陷分析任务3之后，进而将产品缺陷分析任务2的优先级调整到低于产品缺陷分析任务3的优先级。客户端设备204可以捕获用户的操作，由此获取多个产品缺陷分析任务的执行优先级调整指令。在获取了执行优先级调整指令之后，客户端设备204将基于该调整指令，修改多个产品缺陷分析任务中的一个或多个产品缺陷分析任务的执行优先级。同时，客户端设备204基于调整指令，修改任务列表区703中的产品缺陷分析任务排序。此时，产品缺陷分析任务3将显示在产品任务2的上方。

用户还可以以其他的方式直接或间接地设置各个产品缺陷分析任务的优先级。例如，用户可以通过预设的优先级调整快捷键或者图形界面700上预设的优先级调整按钮将产品缺陷分析任务2至5选定为优先级高。客户端设备204可以通过优先级调整按钮获取多个产品缺陷分析任务的执行优先级调整指令。在获取了执行优先级调整指令之后，客户端设备204将基于该调整指令，修改多个产品缺陷分析任务中的一个或多个产品缺陷分析任务的执行优先级。同时，客户端设备204基于调整指令，修改任务列表区703中的产品缺陷分析任务排序。例如，客户端设备204可以将产品缺陷分析任务2至5将一直固定显示在任务列表区703的上端，直到产品缺陷分析任务2-5完成。剩下的产品缺陷分析任务将从产品缺陷分析任务6开始，继续按照产品优先级和时间优先级进行排序。

显示器还被配置为显示多张产品图像设备的缩略图，该缩略图可在缩略图区707中显示。缩略图区707中的缩略图与产品图像区701中的产品图像相比只是尺寸上进行了缩小。可选地，产品图像区701中的产品图像可以是缩略图1的放大图。用户可以点击任意一张缩略图，从而使产品图像区801中显示对应该缩略图放大后的产品图像。缩略图可以是包含产品缺陷识别内容的产品图像的缩略图，也可以是无产品缺陷识别内容的产品图像的缩略图。多张缩略图可以是当缺陷分析任务中的批量产品的所有产品图像的缩略图，也可以是单一产品中的所有产品图像的缩略图，还可以是同种缺陷类型下的所有产品图像的缩略图。可选地，用户通过点击任务详情区704中的单一产品中的某一缺陷类型，对应的缩略图区707中将显示该类型下的全部缩略图。

显示器被配置为显示多个操作功能按钮，该操作功能按钮位于操作功能区705中。客户端设备获取用户输入的开始或结束操作指令，基于开始操作指令，产品制造消息处理集群201开始将产品缺陷分析任务或缺陷识别结果 发送至该客户端设备204，基于结束操作指令，产品制造消息处理集群201停止将产品缺陷分析任务或缺陷识别结果发送至该客户端设备。客户端设备204获取用户输入的在线或离线操作指令，基于在线操作指令，客户端设备204可实时接收的产品缺陷分析任务，基于离线操作指令，客户端设备204将不再接受产品缺陷分析任务，而用户可在离线状态下对存储在客户端设备204的未完成的产品缺陷分析任务进行复核或人工识别。客户端设备204还可以基于用户输入的其他操作功能指令，进行相对应的功能执行。

显示器还被配置为显示任务选择按钮，该任务选择按钮位于任务选择区706中。客户端设备204获取用户输入的复核任务功能选择(如用户点击AI按钮)，对应的任务详情区704、缩略图区707、产品图像区701将显示产品缺陷识别集群202识别的产品图像，可用于用户的复核。客户端设备204获取用户输入的人工识别功能选择(如用户点击OP按钮)，对应的任务详情区704、缩略图区707、产品图像区701将无产品识别内容的产品图像，可用于用人工识别。客户端设备204还可以获取用户输入的跳转功能选择，从而对缩略图区707的图片进行跳转，可用于用户的抽样复核。

可选地，显示器还被配置为显示与所述多个产品缺陷分析任务中的至少一个产品缺陷分析任务相关联的参考信息。参考信息包括：标准产品图像和产品缺陷识别标准。客户端设备204可以在产品图像区701中显示与当前正在处理的产品缺陷分析任务1相关联的产品图像，而在标准产品图像框(图中未示出)中显示标准产品图像。客户端设备204还可以在产品缺陷识别标准框805中显示产品缺陷识别标准。如果存在多张产品图像，用户可以通过快捷功能区702中的上一张/下一张按钮来选择产品图像。用户还可以通过客户端设备设置的放大缩小按钮来对产品图像区701和标准产品图像框中的图像分别进行缩放。通过比较产品图像区701中的产品图像和标准产品图像框中的标准产品图像，相关工作人员可以更直观的确定产品缺陷的内容。

图8是示出根据本公开至少一实施例的分布式产品缺陷分析系统104中的客户端设备204图形用户界面的另一示意图，其示例性地示出了图形用户界面700的另一呈现形式。

可选地，客户端设备204还可以生成消息处理配置框801、系统配置框802和产品图像数据库配置框803中的一项或多项，并将其显示在图形用户界面700上。

客户端设备204可以根据站点101的需求，对产品制造消息的接收和发送进行配置。正如上所述，产品制造消息处理集群201要监听产品制造消息服务设备103发送的产品制造消息。因此，客户端设备204可以对产品制造消息处理集群201和产品制造消息服务设备103之间的通信进行设置。具体地，客户端设备204可以在图形用户界面700中示出消息处理配置框701。消息处理配置框701示出了以下各项通信设置：产品制造站点信息、产品信息、产品制造消息接收端口、产品制造消息发送端口、产品制造消息的长度、产品制造关键字、产品制造消息注册信息、产品制造消息通信协议。用户可以通过编辑消息处理配置框801中的各个选项来对上述信息进行修改。

由于产品制造消息处理集群201、产品缺陷识别集群202、客户端设备204都可能直接对产品图像数据库203中产品图像进行读取/删改的操作。因此，客户端设备204还可以配置产品制造消息处理集群201、产品缺陷识别集群202、客户端设备204与产品图像数据库203之间的通信设置，例如，产品制造消息处理集群201、产品缺陷识别集群202、客户端设备204连接产品图像数据库203的IP地址、端口号等等。

客户端设备204还可能需要对产品图像数据库203的存储进行配置。相关工作人员可以通过编辑产品图像数据库配置框803中的各项内容来对产品图像数据库203的存储进行配置。例如，对产品图像数据库203进行以下各项存储设置中的一项或多项：共享存储的挂载权限、分配空间和访问权限。例如，可以将产品缺陷识别集群202对产品图像数据库203的访问权限设置为“只读”，以保证产品缺陷识别集群202不会错误地删除产品图像数据库203中的产品图像。

客户端设备204还可能需要对产品缺陷识别集群202的消息接收端口、消息发送端口、通信协议和IP地址等进行设置，便于产品缺陷识别集群202接收产品制造消息处理集群201分发的产品缺陷分析任务。相关工作人员可以通过编辑系统配置框802中的各项内容来对产品缺陷识别集群202的通信细节进行设置。

后续产品制造工厂的业务还可能扩大，因此在业务层面、计算资源、存储资源等方面都可能存在调整。当工厂中新增硬件时，可以在不改变现有系统运行的转态下，客户端设备204进行对新增硬件进行设置，而不改变原有设备的配置。

考虑整个系统的复杂性，不同级别的人员具有不同的权限。

客户端设备204可以设置用户组信息、组内用户信息和用户权限信息。可选地，客户端设备204还被配置为：获取产品缺陷分析任务的权限调整信息；基于所述权限调整信息调整产品缺陷分析任务的权限。其中，权限调整信息包括以下各项中的一项或多项：用户组调整信息、组内用户调整信息和用户权限调整信息。

用户可以通过客户端设备204来编辑用户组信息、组内用户信息和用户权限，还可以通过编辑用户组信息来将用户按组进行详细的管理。例如用户可以添加，保存和删除组的信息。用户可以通过编辑组内用户信息来管理组内的用户(例如，添加、删除、编辑该用户组的成员)。用户还可以根据每个用户的需求进行详细的权限设定，例如直接编辑某个用户的用户权限。用户权限是该用户是否能够处理某项产品缺陷分析任务的权限，例如，复核产品缺陷识别集群202的产品缺陷内容、对产品制造消息处理集群201的通信设置等等。

客户端设备204可以获取到用户的编辑操作，并将这些操作信息整合成产品缺陷分析任务的权限调整信息，并且根据权限调整信息来调整产品缺陷分析任务的权限。

在本公开的实施例中，产品制造消息处理集群201还被配置为：生成缺陷识别模型训练任务；产品缺陷识别集群202，被配置为：基于该缺陷识别模型训练任务，训练缺陷识别模型。

由于产品和站点众多，利用通用的缺陷识别模型并不能解决所有问题，所以需要提供多种缺陷识别模型来对不同的产品类型的产品进行判断。在工厂生产的过程中，还可能存在对缺陷识别模型进行微调的需求。例如，当工厂流水线的生产工艺发生变化，或者生产设备进行变更之后，产生的AOI图像将会变化。这样的变化会导致工厂流水线的缺陷识别模型的推理性能下降，需要重新训练缺陷识别模型。又例如，新增的产品类型可能会产生不同于原有产品类型的缺陷，原有的缺陷识别模型无法对该产品类型的缺陷进行识别。

因此，当缺陷识别模型的推理性能(准确率、精确率、召回率和F分数)无法满足要求或缺陷识别模型无法识别产品缺陷时，产品制造消息处理集群201可以生成缺陷识别模型训练任务，并发送给产品缺陷识别集群进行新的缺陷识别模型的训练。产品制造消息处理集群201可以向客户端设备204转发的训练缺陷识别模型的结果数据。客户端设备204在接收到这些转发数据后， 可以显示这些结果数据。

产品制造消息处理集群201可以对多个训练好的缺陷识别模型按照站点、产品、时间节点等进行管理，并配置新的缺陷识别模型的训练和测试等等。由于每个缺陷识别模型都需要进行训练、验证、测试和评估才能使用，在训练缺陷识别模型并且计算资源有限的情况下，产品制造消息处理集群201可以对缺陷识别模型训练的任务按照优先级、训练数量、硬件资源的状态，进行缺陷识别模型训练任务调度和合理分配，该调度和分配方案与产品缺陷分析任务的类似，在此不再赘述。

产品制造消息处理集群201还可以实现将缺陷识别模型训练可视化的功能(其可视化的结果将在客户端设备204中显示)，以便于用户实时观察缺陷识别模型训练的状态(例如，缺陷识别模型的训练是否收敛等)，以及是否终止或者调整训练过程。随着数据集的不断丰富，训练参数的不断优化，针对同一种产品或缺陷检测，如果新训练的缺陷识别模型比旧缺陷识别模型效果要好，产品制造消息处理集群201还可以在缺陷识别模型库中对该缺陷识别模型进行更新。产品制造消息处理集群201还可以向产品缺陷识别集群202发起训练任务并且按照训练过程反馈的过程信息(例如Loss、验证的准确率等)，对缺陷识别模型实时地进行评估，以确定缺陷识别模型训练的过程是否正常。

产品制造消息处理集群201还可以针对训练所需的训练集、验证集、测试集进行增加、删除、修改编辑等。产品制造消息处理集群201还可以按照产品要求进行缺陷识别模型的部署，并在部署前进行通过评估与测试等工作。上述关于模型训练相关功能的实现可以由产品制造消息处理集群实现，也可以单独部署模型管理设备进行模型训练管理功能的实现，本公开对此不作限制。

产品缺陷识别集群202基于接收的缺陷识别模型训练任务，获取产品图像数据库203中的产品图像样本。产品图像数据库203中的产品图像样本为已经经过识别出缺陷内容(已标注)的产品图像。基于参数和产品图像，产品缺陷分析集群1305训练人工智能缺陷识别模型。产品缺陷识别集群202可以设置特殊的事务请求消息格式probe(消息体中包含”taskNum”键)为心跳包，可规律地返回相应GPU节点任务队列中的任务量，以及会把每个GPU节点设置成可训练/可推理/可训练可推理三种类型中的一种，并以列表形式管理每种GPU节点上的任务量。结合任务类型和该种GPU节点上的任务量来推送任务到最优的GPU节点上，产品缺陷分析集群1305可管理GPU节点以及 完成任务调度，从而高效利用GPU资源。

例如，产品缺陷识别集群202和产品制造消息处理集群201可以通过以下示例方式实现缺陷识别模型的训练或推理。首先，产品缺陷识别集群202和产品制造消息处理集群201建立socket网络连接。产品制造消息处理集群201通过tcp消息向产品缺陷识别集群202发送事务请求类型消息。其中，事务请求类型消息可以是以下七种类型的，其以type字段标识，例如，推理任务、训练任务、训练状态查询、提前终止训练、节点信息查询(查询当前GPU节点的唯一标识号以及类型)、任务队列清除以及任务状态查询。产品缺陷识别集群202收到消息后，将解析事务请求类型消息中的“type”字段。若“type”表示该产品缺陷分析任务是推理任务或训练任务这两种类型，由于因为这两种任务耗时较长，产品缺陷识别集群202会将该任务实例化，并放入任务队列中。若“type”表示其余五种类型，产品缺陷识别集群202会将任务实例化，并直接调用运行函数，完成相应的操作，并快速返回结果给产品制造消息处理集群201。

产品缺陷识别集群202中的任务管理器会从任务队列中获取推理/训练任务对象，调用相应的推理/训练算法，并将任务结果以定义好的tcp消息返回给产品制造消息处理集群201。产品缺陷识别集群202会将接收到的所有结果消息返回给产品制造消息处理集群201。产品制造消息处理集群201最终将结果消息返回给客户端设备204，客户端设备204会对结果消息解析用于前端界面展示或者存储于数据库。

客户端设备204的显示器被配置为显示缺陷识别模型的训练状态。例如，产品制造消息处理集群201可以将产品缺陷分析响应消息转发给客户端设备204，客户端设备204则将其显示在显示器上，然后呈现给用户。产品制造消息处理集群201还可以将有关缺陷识别模型的训练状态的消息转发给客户端设备204，客户端设备204则将其显示在显示器上，然后呈现给用户。

图9是示出根据本公开至少一实施例的分布式产品缺陷分析系统104中的客户端设备204的图形用户界面700的再一示意图。

可选地，客户端设备204还可以生成模型训练状态框901并将其显示在图形用户界面700上。由于缺陷识别模型的训练是一个耗时的过程，如果缺陷识别模型开始训练时，参数、数据设置不合理，经过长时间的训练得到的缺陷识别模型可能是错误的，不准确的。为了避免在训练结束时才发现问题，客 户端设备204可以可视化地显示缺陷识别模型的训练过程，实时观察缺陷识别模型训练的状态，是否收敛等，及时终止或者调整训练过程。

可选地，客户端设备204还可以生成新旧模型对比框902并将其显示在图形用户界面700上。客户端设备204还可以生成功能按钮框903，功能按钮框903中包括发起离线测试的功能键、发起在线测试的功能键、以及部署新的缺陷识别模型的功能键。

假设产品缺陷识别集群202已经训练好了新的第一缺陷识别模型，用户准备将其替换原有的第二缺陷识别模型。

用户可以通过点击发起离线测试的功能键，来发起第一缺陷识别模型的离线测试。客户端设备204可以将缺陷识别模型需进行离线测试的消息发送给产品制造消息处理集群201。产品制造消息处理集群201分发对第一缺陷识别模型进行离线测试的分析任务以获取第一缺陷识别模型的离线测试结果。假设此时产品缺陷识别集群202中正在使用第二缺陷识别模型对该类型的产品缺陷进行分析。产品缺陷识别集群202可以使用第二缺陷识别模型推理产生的数据作为测试集对第一缺陷识别模型进行离线测试，以比较第一缺陷识别模型和第二缺陷识别模型的优劣。此时，新旧模型对比框902中显示第一缺陷识别模型和第二缺陷识别模型的对比图像。新旧模型对比框902中还可以直接显示第二缺陷识别模型识别的产品缺陷内容(其显示方式参照缺陷识别模型参考框7011)。用户可以通过功能按钮框903对第一缺陷识别模型识别的产品缺陷内容进行复核和标记。产品缺陷识别集群202再将复核和标记后的数据作为测试集进行测试，其测试的结果(也即第一缺陷识别模型的离线测试结果)将类似的显示在新旧模型对比框902中。

第一缺陷识别模型的离线测试完成后，产品制造消息处理集群201将获取第一缺陷识别模型的离线测试结果，其指示了第一缺陷识别模型的分析产品缺陷的准确率、分析速度等。如果离线测试结果满足了预设标准(例如，第一缺陷识别模型的准确率大于第二缺陷识别模型的准确率)，用户可以通过点击发起在线测试的功能键，来发起第一缺陷识别模型的在线测试。本领域技术人员应当理解，上述的预设标准还可以包括召回率、F值等指标中的任意一项指标的比较，本公开不对预设标准做出限定，只要能衡量两个缺陷识别模型的优劣即可。

第一缺陷识别模型的在线测试也可以称为第一缺陷识别模型的灰度发布 过程。产品缺陷识别集群202可以使用工厂流水线上产生的实时数据来对第一缺陷识别模型进行在线测试。第一缺陷识别模型与第二缺陷识别模型都使用相同的实时数据，并分别推理产生不同的产品缺陷推理结果。相关工作人员/产品缺陷分析系统104可以进一步分析第一缺陷识别模型的在线测试结果是否满足预设标准(例如，是否优于第二缺陷识别模型对相同的数据推理产生的产品缺陷推理结果)。

假设第一缺陷识别模型已通过离线测试。产品制造消息处理集群201在读取到生产线实时产生数据后，将该数据复制成两份，分别分发给利用第二缺陷识别模型执行产品缺陷识别推理任务的第一产品缺陷分析节点、和执行第一缺陷识别模型在线测试的第二产品缺陷分析节点。第一产品缺陷分析节点和第二产品缺陷分析节点可以是产品缺陷识别集群202中的不同的GPU节点，也可以是能够执行缺陷识别模型的分析或测试的其它设备。第一产品缺陷分析节点和第二产品缺陷分析节点可以为相同的设备也可以是不同的设备，本公开对此不作限制。

第一产品缺陷分析节点和第二产品缺陷分析节点接收到产品制造消息处理集群201发送的用于在线测试的产品缺陷分析任务后，第二产品缺陷分析节点可以加载第一缺陷识别模型进行在线测试。第一缺陷识别模型的在线测试与第二缺陷识别模型的推理是同步进行的，并且二者的数据来源一致。若第一缺陷识别模型的推理结果优于第二缺陷识别模型的推理结果，则说明第一缺陷识别模型的实时处理效果达到了模型更新要求，可以替换第而缺陷识别模型。

在第一人工智能缺陷识别模型的离线测试结果或在线测试结果均满足预设标准的情况下，用户可以通过点击部署新的缺陷识别模型的功能键(此时客户端设备204获取了缺陷识别模型调整信息，该缺陷识别模型调整信息将第二缺陷识别模型替换为第一缺陷识别模型)，以使得产品制造消息处理集群201向产品缺陷识别集群202发送缺陷识别模型替换请求。从而，产品缺陷识别集群202中的第二缺陷识别模型可以被替换为第一缺陷识别模型。

经过以上三个操作，由第一缺陷识别模型可以通过方便的离线测试、高效可视化的灰度发布(在线测试)、更新发布的全过程。

该灰度发布与上线过程不影响生产线上的原有的缺陷识别模型(第二缺陷识别模型)的实时推理任务，因此对生产线的正常生产没有影响，不会造成 传统的手动测试部署新缺陷识别模型(第一缺陷识别模型)造成的系统停机等带来的巨大损失。并且，灰度发布过程中使用的测试数据都是客户端设备204中用户复判后的结果和旧缺陷识别模型产生的实时推理数据，没有用到其他的测试数据，这样可以节约大量的测试数据收集成本。

本领域技术人员应当理解图9仅示出了多个示例呈现形式，其上的各个框还可以有其他的排布方式，本公开并不对其的排布方式进行限制。

本公开的实施例提供了一种基于分布式系统的产品缺陷分析方法，该方法可以是基于上述分布式产品缺陷系统所实施的所有方法，本领域技术人员应当理解，产品缺陷分析方法可基于不同步骤或任务分别部署在任意相同或不同的服务器或集群中。

图10是示出本公开至少一个实施例的产品缺陷分析方法1000的示意图。

参见图10，可选地，基于分布式系统的产品缺陷分析方法1000包括操作1010至1030。

在操作1010中，根据产品制造消息，生成产品缺陷分析任务，其中所述产品缺陷分析任务包括第一缺陷识别任务。

在操作1020中，基于所述第一缺陷识别任务，通过缺陷识别模型识别所述产品图像中的产品缺陷内容，其中，所述产品缺陷内容包括产品的缺陷类型、缺陷位置和缺陷大小中的任意一项或多项。

在操作1030中，输出产品缺陷识别结果。

在本公开的一些实施例中，产品制造消息包括批量产品制造消息和单一产品制造消息，在操作1010之前，还包括：以中断的方式监听所述批量产品制造消息；以轮询的方式监听所述单一产品制造消息。

在本公开的一些实施例中，操作1010还包括根据产品制造消息，确定是否存在与产品类型相对应的缺陷识别模型；若存在与产品类型相对应的缺陷识别模型，生成所述第一缺陷识别任务；若不存在与产品类型相对应的缺陷识别模型，生成第二缺陷识别任务。

图11是示出根据本公开另一个实施例的分布式产品缺陷分析系统100的示意图，其包括代表可以实现本文描述的各种技术的一个或多个系统和/或设备的示例计算设备1100。计算设备1100可以是例如终端设备、片上系统、和/或任何其它合适的计算设备或计算系统。

如图示的示例计算设备1100包括彼此通信耦合的处理系统1110、一个或 多个计算机可读介质1120以及一个或多个I/O接口1130。尽管未示出，但是计算设备1100还可以包括系统总线或其他数据和命令传送系统，其将各种组件彼此耦合。系统总线可以包括不同总线结构的任何一个或组合，所述总线结构诸如存储器总线或存储器控制器、外围总线、通用串行总线、和/或利用各种总线架构中的任何一种的处理器或局部总线。还构思了各种其他示例，诸如控制和数据线。

处理系统1110代表使用硬件执行一个或多个操作的功能。因此，处理系统1110被图示为包括可被配置为处理器、功能块等的硬件元件。这可以包括在硬件中实现作为专用集成电路或使用一个或多个半导体形成的其它逻辑器件。硬件元件不受其形成的材料或其中采用的处理机构的限制。例如，处理器可以由(多个)半导体和/或晶体管(例如，电子集成电路(IC))组成。在这样的上下文中，处理器可执行指令可以是电子可执行指令。硬件元件代表以硬件形式实现的指令、模块、可编程器件逻辑和/或固定器件逻辑，其在一些实施例中可以用于实现本文描述的技术的至少一些方面。硬件元件可以包括集成电路或片上系统、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、复杂可编程逻辑器件(CPLD)以及硅中的其它实现或其他硬件设备的组件。在这种上下文中，硬件元件可以作为执行由硬件元件所体现的指令、模块和/或逻辑所定义的程序任务的处理设备，

计算机可读介质1120被图示为包括存储器/存储装置。存储器/存储装置表示与一个或多个计算机可读介质相关联的存储器/存储容量。存储器/存储装置可以包括诸如易失性和非易失性、可移动和不可移动介质和/或以适用于存储信息(诸如计算机可读指令、数据结构、程序模块、逻辑元件/电路或其他数据)的方法或技术实现的存储设备之类的硬件。计算机可读存储介质的示例可以包括但不限于RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字通用盘(DVD)或其他光学存储装置、硬盘、盒式磁带、磁带，磁盘存储装置或其他磁存储设备，或其他存储设备、有形介质或适于存储期望信息并可以由计算机访问的制品。计算机可读介质1120可以以下面进一步描述的各种其他方式进行配置。

所描述的模块和技术的实现可以存储在某种形式的计算机可读介质上或者跨某种形式的计算机可读介质传输。计算机可读介质可以包括可由计算设备1100访问的各种介质。作为示例而非限制，计算机可读介质可以包括“计 算机可读存储介质”和“计算机可读信号介质”。

与单纯的信号传输、载波或信号本身相反，“计算机可读存储介质”是指能够持久存储信息的介质和/或设备，和/或有形的存储装置。因此，计算机可读存储介质是指非信号承载介质。计算机可读存储介质包括诸如易失性和非易失性、可移动和不可移动介质和/或以适用于存储信息(诸如计算机可读指令、数据结构、程序模块、逻辑元件/电路或其他数据)的方法或技术实现的存储设备之类的硬件。计算机可读存储介质的示例可以包括但不限于RAM、ROM、EEPROM、闪存或其它存储器技术、CD-ROM、数字通用盘(DVD)或其他光学存储装置、硬盘、盒式磁带、磁带，磁盘存储装置或其他磁存储设备，或其他存储设备、有形介质或适于存储期望信息并可以由计算机访问的制品。

“计算机可读信号介质”是指被配置为诸如经由网络将指令发送到计算设备1100的硬件的信号承载介质。信号介质典型地可以将计算机可读指令、数据结构、程序模块或其他数据体现在诸如载波、数据信号或其它传输机制的调制数据信号中。信号介质还包括任何信息传递介质。术语“调制数据信号”是指以这样的方式对信号中的信息进行编码来设置或改变其特征中的一个或多个的信号。作为示例而非限制，通信介质包括诸如有线网络或直接连线的有线介质以及诸如声波、RF、红外和其它无线介质的无线介质。

一个或多个输入/输出接口1130代表允许用户向计算设备1100键入命令和信息并且还允许使用各种输入/输出设备将信息呈现给用户和/或其他组件或设备的功能。输入设备的示例包括键盘、光标控制设备(例如，鼠标)、麦克风(例如，用于语音输入)、扫描仪、触摸功能(例如，被配置为检测物理触摸的容性或其他传感器)、相机(例如，可以采用可见或不可见的波长(诸如红外频率)将不涉及触摸的运动检测为手势)等等。输出设备的示例包括显示设备(例如，监视器或投影仪)、扬声器、打印机、网卡、触觉响应设备等。因此，计算设备1100可以以下面进一步描述的各种方式进行配置以支持用户交互。

本文可以在软件硬件元件或程序模块的一般上下文中描述各种技术。一般地，这些模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、元素、组件、数据结构等。本文所使用的术语“模块”，“功能”和“组件”一般表示软件、固件、硬件或其组合。本文描述的技术的特征是与平台无 关的，意味着这些技术可以在具有各种处理器的各种计算平台上实现。

前述的组合也可以用于实现本文所述的各种技术和模块。因此，可以将软件、硬件或程序模块和其它程序模块实现为在某种形式的计算机可读存储介质上和/或由一个或多个硬件元件体现的一个或多个指令和/或逻辑。计算设备110可以被配置为实现与软件和/或硬件模块相对应的特定指令和/或功能。因此，例如通过使用处理系统的计算机可读存储介质和/或硬件元件，可以至少部分地以硬件来实现将模块实现为可由计算设备1100作为软件执行的模块。指令和/或功能可以由一个或多个制品(例如，一个或多个计算设备1100和/或处理系统1110)可执行/可操作以实现本文所述的技术、模块和示例。

本文描述的技术可以由计算设备1110的这些各种配置来支持，并且不限于本文所描述的技术的具体示例。所述处理系统1110和计算机可读存储介质1120还可以通过使用分布式系统在“云”上全部或部分地实现。

本公开还提供一种其上存储计算机可执行指令的计算机可读存储介质，该指令当由计算设备执行时，使得所述计算设备实现产品缺陷分析方法1000。

在本文的讨论中，描述了各种不同的实施例。应当领会和理解，本文描述的每个实施例可以单独使用或与本文所述的一个或多个其他实施例相关联地使用。

本公开采用的人工智技术可以解放人力，并且大大缩短了每张产品图像的处理时间，同时规避了纯人工检测所带来的不稳定性。本公开的一些实施例还有助于及时进行预警和报警提示，避免持续产生同样的不良缺陷。由于采用人工智能技术大大提高检测准确度，降低或完全避免漏检，可间接提升良率。由于人工智能检测反馈及时，对中间过程可及时调整，可以避免缺陷的二次产生，从而同样间接提升良率。

虽然已经结合具体实施例描述了本公开，但是本领域技术人员将理解，可以做出许多改变和修改，并且可以对其元件进行等效替换，而不背离本公开的真正范围。此外，可以做出许多修改来使本公开的教导与特定情况适配，而不背离其中心范围。因此，本公开并不限于这里作为实现本公开而构思的最佳模式而公开的特定实施例，相反本公开包括落入所附权利要求书范围内的所有实施例。

Claims (21)

1. 一种分布式产品缺陷分析系统，用于产品制造过程中的产品缺陷分析，包括产品制造消息处理集群、产品缺陷识别集群、产品图像数据库、客户端设备，其中：

   所述产品图像数据库，被配置为存储产品制造过程中产生的产品图像；

   所述产品制造消息处理集群，被配置为：

   根据产品制造消息，生成产品缺陷分析任务，其中，所述产品缺陷分析任务包括第一缺陷识别任务；

   所述产品缺陷识别集群，被配置为：

   基于所述第一缺陷识别任务，通过缺陷识别模型识别所述产品图像中的产品缺陷内容，其中，所述产品缺陷内容包括产品的缺陷类型、缺陷位置和缺陷大小中的任意一项或多项；

   所述客户端设备，被配置为输出产品缺陷识别结果。
2. 如权利要求1所述的分布式产品缺陷分析系统，其中，所述产品制造消息包括与注册信息相关的第一产品制造消息，所述产品制造消息处理集群被配置为：以中断的方式监听第一产品制造消息。
3. 如权利要求2所述的分布式产品缺陷分析系统，其中，所述产品制造消息还包括与注册信息无关的第二产品制造消息，所述产品制造消息处理集群还被配置为：以轮询的方式监听所述第二产品制造消息。
4. 如权利要求3所述的分布式产品缺陷分析系统，其中，所述以轮询的方式监听所述第二产品制造消息之后，还包括：

   确定所述第二产品制造消息是否包括产品制造关键字；

   若所述第二产品制造消息包括所述产品制造关键字，保留所述第二产品制造信息；以及

   若所述第二产品制造消息不包括所述产品制造关键字，丢弃所述第二产品制造信息。
5. 如权利要求4所述的分布式产品缺陷分析系统，其中，所述第一产品制造消息包括批量产品制造消息，所述第二产品制造消息包括单一产品制造消息。
6. 如权利要求1所述的分布式产品缺陷分析系统，所述根据产品制造消息，生成产品缺陷分析任务包括：

   根据产品制造消息，确定是否存在与产品类型相对应的缺陷识别模型；

   若存在与产品类型相对应的缺陷识别模型，生成所述第一缺陷识别任务；

   向所述产品缺陷识别集群发送所述第一缺陷分析任务。
7. 如权利要求6所述的分布式产品缺陷分析系统，其中，所述根据产品制造消息，生成产品缺陷分析任务还包括：

   若不存在与产品类型相对应的缺陷识别模型，生成第二缺陷识别任务，

   向所述客户端设备发送所述第二缺陷分析任务。
8. 如权利要求1所述的分布式产品缺陷分析系统，其中，所述产品制造消息处理集群，被配置为：

   基于生成多个所述产品缺陷分析任务的时间顺序、产品的优先级顺序和产品调度计划中的任意一项或多项对产品缺陷分析任务进行排序以建立产品缺陷分析任务队列。
9. 如权利要求8所述的分布式产品缺陷分析系统，其中，所述产品制造消息处理集群，还被配置为：

   根据所述产品缺陷识别集群的负载情况，控制所述产品缺陷分析任务队列中的产品缺陷分析任务的发送速度。
10. 如权利要求1所述的分布式产品缺陷分析系统，其中，所述缺陷识别模型包括：前馈神经网络缺陷识别模型、卷积神经网络模型、循环神经网络模型、生成式对抗网络模型中的任意一项或多项。
11. 如权利要求1所述的分布式产品缺陷分析系统，其中，所述客户端设备包括显示器，其中，所述输出产品缺陷识别结果还包括：

    所述显示器显示所述产品缺陷识别集群识别的产品图像。
12. 如权利要求11所述的分布式产品缺陷分析系统，其中，所述产品缺陷识别集群识别的产品图像包括产品缺陷内容标注，所述产品缺陷内容标注包括以下各项中的任意一项或多项：缺陷标记框、缺陷标记框坐标、缺陷类别标注和缺陷类别得分。
13. 如权利要求11所述的分布式产品缺陷分析系统，其中，所述显示器被配置为显示所述产品缺陷识别集群无法识别的产品图像。
14. 如权利要求13所述的分布式产品缺陷分析系统，所述客户端设备还被配置为：

    获取用户输入的产品缺陷识别指令；

    基于所述产品缺陷识别指令，显示所述产品缺陷识别集群无法识别的产品图像的产品缺陷内容标注。
15. 如权利要求12或14所述的分布式产品缺陷分析系统，其中，所述客户端设备还被配置为：

    获取用户输入的产品缺陷复核指令；

    基于所述产品缺陷复核指令，确认或修改待复核产品图像中的产品缺陷内容标注。
16. 如权利要求11所述的分布式产品缺陷分析系统，其中，所述显示器还被配置为：

    显示多个所述产品缺陷分析任务对应的任务列表。
17. 如权利要求15所述的分布式产品缺陷分析系统，其中，所述客户端设备还被配置为：

    获取用户输入的多个所述产品缺陷分析任务的执行优先级调整指令；

    基于所述调整指令，修改所述任务列表中的产品缺陷分析任务排序。
18. 如权利要求1所述的分布式产品缺陷分析系统，其中，

    所述产品制造消息处理集群还被配置为：生成缺陷识别模型训练任务；

    所述产品缺陷识别集群还被配置为：基于所述缺陷识别模型训练任务，训练缺陷识别模型。
19. 一种基于分布式系统的产品缺陷分析方法，包括：

    根据产品制造消息，生成产品缺陷分析任务，其中所述产品缺陷分析任务包括第一缺陷识别任务；

    基于所述第一缺陷识别任务，通过缺陷识别模型识别所述产品图像中的产品缺陷内容，其中，所述产品缺陷内容包括产品的缺陷类型、缺陷位置和缺陷大小中的任意一项或多项；

    输出产品缺陷识别结果。
20. 根据权利要求19所述的产品缺陷分析方法，其中，根据产品制造消息，生成产品缺陷分析任务包括：

    根据产品制造消息，确定是否存在与产品类型相对应的缺陷识别模型；

    若存在与产品类型相对应的缺陷识别模型，生成所述第一缺陷识别任务；

    若不存在与产品类型相对应的缺陷识别模型，生成第二缺陷识别任务。
21. 一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现根据权利要求19至20中任意一项所述的产品缺陷分析方法。

Images