WO2023236371A1 - 用于电缆元件识别的视觉分析方法 - Google Patents
用于电缆元件识别的视觉分析方法 Download PDFInfo
- Publication number
- WO2023236371A1 WO2023236371A1 PCT/CN2022/116051 CN2022116051W WO2023236371A1 WO 2023236371 A1 WO2023236371 A1 WO 2023236371A1 CN 2022116051 W CN2022116051 W CN 2022116051W WO 2023236371 A1 WO2023236371 A1 WO 2023236371A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- picture
- pictures
- analysis model
- training
- recognition analysis
- Prior art date
Links
- 238000004458 analytical method Methods 0.000 title claims abstract description 124
- 230000000007 visual effect Effects 0.000 title claims abstract description 21
- 238000012549 training Methods 0.000 claims abstract description 93
- 230000007847 structural defect Effects 0.000 claims abstract description 14
- 238000012360 testing method Methods 0.000 claims description 49
- 238000012795 verification Methods 0.000 claims description 40
- 238000012545 processing Methods 0.000 claims description 25
- 230000000717 retained effect Effects 0.000 claims description 9
- 238000013480 data collection Methods 0.000 claims description 8
- 238000007781 pre-processing Methods 0.000 claims description 4
- 238000001914 filtration Methods 0.000 claims description 3
- 238000010200 validation analysis Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 abstract description 4
- 238000000034 method Methods 0.000 description 15
- 238000007689 inspection Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Definitions
- the present invention relates to the field of visual recognition, and in particular to a visual analysis method for cable component recognition.
- the object of the present invention is to provide a visual analysis method for cable component identification, which includes the steps of constructing and labeling picture data sets, preparing training data sets and model training, and training the preset recognition analysis model so that the preset recognition
- the analysis model can accurately identify cable components; then use the preset recognition analysis model that has completed training to identify the cable component information present in the target image, so as to label the target image; the above analysis method can complete the production
- the produced cable components are photographed, and then the preset recognition analysis model is used to identify and analyze the captured pictures, so as to quickly and comprehensively determine the structural quality of each cable component, so as to accurately understand the possible structural defects and defects of each cable component. Screen out cable components with unqualified quality in a timely manner.
- a visual analysis method for cable component identification including the following steps:
- Step S1 construct and label a picture data set: collect a predetermined number of pictures with a predetermined format, filter and preprocess each picture to obtain a picture data set; according to the picture attributes of the picture, each element of the picture data set is Label and comment each picture, thereby classifying each picture into different sub-collections under the picture data collection;
- Step S2 prepare a training data set: select pictures contained in corresponding sub-sets from the picture data set, and combine the selected pictures to form a training data set; split the training data set to obtain Several training data related files;
- Step S3 model training: train the preset recognition analysis model according to the training data related files
- Step S4 cable component recognition: input the target picture into the preset recognition analysis model that has completed training, perform recognition processing on the target picture, and determine the cable component information present in the target picture; and based on the cable component information, Label the target image.
- step S1 a predetermined number of pictures with a predetermined format are collected. After filtering and preprocessing each picture, the obtained picture data set specifically includes:
- the format of the pictures is jpg format or bmp format
- step S1 label notes are made for each picture in the picture data set according to the picture attributes of the picture, thereby classifying each picture into different sub-collections under the picture data set. Specifically include:
- each picture is classified into different sub-collections under the picture data collection.
- step S2 selecting pictures included in the corresponding subset from the picture data set, and combining the selected pictures to form a training data set specifically includes:
- All selected pictures are then randomly arranged and combined to form a training data set.
- step S2 the training data set is split to obtain several training data related files, including:
- training set, verification set and test set are respectively used as training set data related files, verification set data related files and test set data related files.
- training the preset recognition analysis model according to the training data related files specifically includes:
- Step S301 input the pictures contained in the training set data related files into the preset recognition analysis model, thereby training the preset recognition analysis model;
- Step S302 Use the pictures contained in the verification set data-related files to perform verification processing on the trained preset recognition analysis model, and obtain the verification results of the preset identification analysis model for the pictures contained in the verification set data-related files;
- Step S303 then use the pictures contained in the text related to the test set data to perform test processing on the trained preset recognition analysis model; based on the results of the test processing, determine whether the preset recognition analysis model is fully trained.
- step S302 the trained preset recognition analysis model is verified, and the verification results obtained by the preset identification analysis model for the pictures contained in the verification set data related files specifically include:
- step S303 If the preset recognition analysis model matches the pictures exceeding the first preset number threshold in the verification set data related files, then enter the following step S303; otherwise, return to step S301 to continue training the preset recognition analysis model. .
- step S303 the trained preset recognition analysis model is tested using pictures contained in the text related to the test set data; and based on the results of the test processing, the preset recognition model is judged. Identifying and analyzing whether the model is well trained includes:
- step S301 and step S302 determine the number of pictures that the preset recognition analysis model has tested correctly in the text related to the test set data; if the number of pictures exceeds the second preset quantity threshold, determine the preset recognition analysis model The training is complete; otherwise, it is determined that the training of the preset recognition analysis model is incomplete, and returns to step S301 and step S302 again.
- step S4 the target picture is input into the preset recognition analysis model that has completed the training, the target picture is recognized and processed, and the cable component information that determines the presence of the target picture specifically includes :
- the target picture is input into the preset recognition analysis model that has completed the training, and the types of cable components present in the picture of the target picture, the structural defects of the cable components and their locations are identified.
- annotating the target picture according to the cable component information specifically includes:
- the present invention has the following beneficial effects:
- the visual analysis method for cable component identification includes the steps of constructing and labeling picture data sets, preparing training data sets, and model training.
- the preset identification analysis model is trained so that the preset identification analysis model can have the ability to analyze cables.
- the accuracy of component recognition then use the preset recognition analysis model that has completed training to identify the cable component information present in the target image, so as to annotate the target image; the above analysis method can photograph the cable components that have been produced.
- the preset recognition analysis model to identify and analyze the captured pictures, so as to quickly and comprehensively determine the structural quality of each cable component, so as to accurately understand the possible structural defects of each cable component and promptly report unqualified components. Cable components are screened out.
- Figure 1 is a schematic flow chart of the visual analysis method for cable component identification provided by this application.
- an embodiment means that a particular feature, structure or characteristic described in connection with the embodiment can be included in at least one embodiment of the present application.
- the appearances of this phrase in various places in the specification are not necessarily all referring to the same embodiment, nor are separate or alternative embodiments mutually exclusive of other embodiments. Those skilled in the art understand, both explicitly and implicitly, that the embodiments described herein may be combined with other embodiments.
- an embodiment of the present application provides a visual analysis method for cable component identification.
- the visual analysis method for cable component identification includes the following steps:
- Step S1 construct and label a picture data set: collect a predetermined number of pictures with a predetermined format, filter and preprocess each picture to obtain a picture data set; according to the picture attributes of the picture, each picture in the picture data set is Make label notes to classify each picture into different sub-collections under the picture data collection;
- Step S2 prepare the training data set: select the pictures contained in the corresponding sub-set from the picture data set, and combine the selected pictures to form a training data set; split the training data set to obtain several training data related document;
- Step S3 model training: train the preset recognition analysis model based on the relevant files of the training data;
- Step S4 cable component recognition: input the target image into the preset recognition analysis model that has completed training, perform recognition processing on the target image, and determine the cable component information present in the target image; and label the target image based on the cable component information.
- the above-mentioned visual analysis method includes the steps of constructing and labeling picture data sets, preparing training data sets and model training, and training the preset recognition analysis model so that the preset recognition analysis model can have the accuracy of identifying cable components; reuse
- the preset recognition and analysis model that has completed training can identify the cable component information present in the target image to annotate the target image; the above analysis method can photograph the cable components that have completed production, and then use the preset recognition and analysis model to
- the captured pictures are identified and analyzed to quickly and comprehensively determine the structural quality of each cable element, so as to accurately understand the possible structural defects of each cable element and to screen out cable elements with unqualified quality in a timely manner.
- step S1 collect a predetermined number of pictures with a predetermined format, and after filtering and preprocessing each picture, the obtained picture data set specifically includes:
- the format of the pictures is jpg format or bmp format;
- the collected pictures have a sufficient quantity and matching format, so that the subsequent preset recognition analysis model can directly identify and analyze the pictures, without the need for additional format conversion of the pictures, and reduce the pre-processing workload of the pictures.
- removing pictures with lower actual brightness values effectively avoids the inability of the preset recognition analysis model to accurately identify due to insufficient brightness of the pictures; while performing pixel interpolation processing on pictures with smaller actual resolution values can Effectively improve the resolution of pictures and ensure the recognizability of picture content.
- step S1 label and comment each picture in the picture data set according to the picture attributes of the picture, thereby classifying each picture into different sub-collections under the picture data set, including:
- each picture is classified into different sub-collections under the picture data collection.
- the picture chromaticity information and the picture line outline information of the picture are used as the picture attributes of the picture, so that the picture attributes of the picture can be identified in terms of color and outline;
- the picture chromaticity information refers to the existence of the picture picture Chroma value
- screen line wheel library information refers to the thickness and curvature of the line outline in the picture screen.
- step S2 select the pictures contained in the corresponding sub-set from the picture data set, and combine the selected pictures to form a training data set, which specifically includes:
- All selected pictures are then randomly arranged and combined to form a training data set.
- step S2 the training data set is split to obtain several training data related files, including:
- training set, verification set and test set are respectively used as training set data related files, verification set data related files and test set data related files.
- the image types contained in the training set, verification set, and test set can be enriched to the greatest extent, so that the preset recognition analysis model can adapt to the recognition of different types of images, and accordingly improve its recognition accuracy.
- the preset recognition analysis model may be but is not limited to a tensorflow model, which is a type of DNN model.
- training the preset recognition analysis model according to the training data related files specifically includes:
- Step S301 input the pictures contained in the files related to the training set data into the preset recognition analysis model, thereby training the preset recognition analysis model;
- Step S302 use the pictures contained in the files related to the verification set data to perform verification processing on the trained preset recognition analysis model, and obtain the verification results of the preset identification analysis model on the pictures included in the files related to the verification set data;
- Step S303 then use the pictures contained in the text related to the test set data to perform test processing on the trained preset recognition analysis model; based on the results of the test processing, determine whether the preset recognition analysis model is fully trained.
- the files related to the training set data, the files related to the verification set data, and the texts related to the test set data are used to train, verify, and test the preset recognition analysis model respectively, thereby ensuring the reliability and reliability of the preset recognition analysis model for image recognition. Accuracy.
- step S302 a verification process is performed on the trained preset recognition analysis model, and the verification results obtained by the preset recognition analysis model for the pictures contained in the verification set data related files specifically include:
- step S303 If the preset recognition analysis model matches the pictures in the verification set data-related files that exceed the first preset number threshold, then enter the following step S303; otherwise, return to step S301 to continue training the preset recognition analysis model.
- step S303 use the pictures contained in the relevant text of the test set data to perform test processing on the trained preset recognition analysis model; based on the results of the test processing, judging whether the preset recognition analysis model is fully trained specifically includes:
- the picture content test results determine the number of pictures that the preset recognition analysis model can correctly test in the text related to the test set data; if the number of pictures exceeds the second preset quantity threshold, it is determined that the preset recognition analysis model is well trained; otherwise, determine The preset recognition analysis model training is incomplete, and returns to step S301 and step S302 again.
- the preset recognition analysis model can be trained, verified, and tested in a closed-loop manner to ensure that the preset recognition analysis model achieves corresponding learning convergence and improves the accuracy of image recognition by the preset recognition analysis model.
- step S4 the target picture is input into the preset recognition analysis model that has completed training, the target picture is recognized and processed, and the cable component information that determines the existence of the target picture specifically includes:
- the cable components that have been manufactured are photographed to obtain the corresponding target pictures, and then the target pictures are input into the preset recognition analysis model that has completed the training.
- the preset recognition analysis model can accurately determine the cables present in the target picture. Component types, structural defects of cable components and their locations to achieve rapid batch identification of target images.
- annotating the target picture according to the cable component information specifically includes:
- the corresponding cable element type, structural defect type and relevant text information of its location are marked near each cable element in the target picture, so that the user can intuitively obtain the existence of the cable element from the target picture. Structural defects, thereby accurately screening and distinguishing cable components.
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Software Systems (AREA)
- Databases & Information Systems (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
Abstract
一种用于电缆元件识别的视觉分析方法，包括构建与标签图片数据集合、准备训练数据集合和模型训练的步骤，对预设识别分析模型进行训练，使得预设识别分析模型能够具有对电缆元件进行识别的准确性；再利用完成训练的预设识别分析模型，识别目标图像画面中存在的电缆元件信息，以此对目标图片进行标注；上述分析方法能够对完成生产制作的电缆元件进行拍摄，再利用预设识别分析模型对拍摄得到的图片进行识别分析，从而快速全面地确定每个电缆元件的结构质量情况，便于准确了解每个电缆元件可能存在的结构缺陷和及时将质量不合格的电缆元件筛选出来。
Description
本发明涉及视觉识别领域，尤其涉及一种用于电缆元件识别的视觉分析方法。
电缆元件的类型繁多，不同的电缆元件在生产制作过程中，不可避免会因工艺因素的影响而存在一定的结构缺陷，从而影响电缆元件的工作性能。
目前，都是通过人工检查的方式对电缆元件进行抽检识别，但是人工检查的方式无法对所有电缆元件进行逐一仔细的识别分析，这不仅需要耗费较多的人力和时间来实现对电缆元件的质量检查，并且还无法保证质量检查的正确性，从而使得一些质量不合格的电缆元件流入市面。
本发明的目的在于提供一种用于电缆元件识别的视觉分析方法，其包括构建与标签图片数据集合、准备训练数据集合和模型训练的步骤，对预设识别分析模型进行训练，使得预设识别分析模型能够具有对电缆元件进行识别的准确性；再利用完成训练的预设识别分析模型，识别目标图像画面中存在的电缆元件信息，以此对目标图片进行标注；上述分析方法能够对完成生产制作的电缆元件进行拍摄，再利用预设识别分析模型对拍摄得到的图片进行识别分析，从而快速全面地确定每个电缆元件的结构质量情况，便于准确了解每个电缆元件可能存在的结构缺陷和及时将质量不合格的电缆元件筛选出来。
本发明的目的是通过以下技术方案实现：
一种用于电缆元件识别的视觉分析方法，包括如下步骤：
步骤S1，构建与标签图片数据集合：收集预定数量和具有预定格式的图片，对每个图片进行筛选与预处理后，得到图片数据集合；根据图片的画面属性，对所述图片数据集合的每个图片进行标签备注，从而将每个图片归类到图片数据集合下属的不同子集合中；
步骤S2，准备训练数据集合：从所述图片数据集合中选择对应的子集合包含的图片，并将选择的图片进行组合，从而形成训练数据集合；对所述训练数据集合进行拆分，从而得到若干训练数据相关文件；
步骤S3，模型训练：根据所述训练数据相关文件，对预设识别分析模型进行训练；
步骤S4，电缆元件识别：将目标图片输入到完成训练的预设识别分析模型中，对所述目标图片进行识别处理，确定所述目标图片存在的电缆元件信息；并根据所述电缆元件信息，对所述目标图片进行标注。
在其中一实施例中，在所述步骤S1中，收集预定数量和具有预定格式的图片，对每个图片进行筛选与预处理后，得到图片数据集合具体包括：
收集不少于100张具有预定格式的图片，所述图片的格式为jpg格式或bmp格式；
获取每个图片的图片实际亮度值，若所述图片实际亮度值在预设亮度值范围内，则将相应的图片保留；否则，将相应的图片剔除；
获取上述保留的图片的图片实际分辨率值，若所述图片实际分辨率值小于预设分辨率阈值，则对相应的图片进行像素插值处理；
再将所有保留的图片集成得到图片数据集合。
在其中一实施例中，在所述步骤S1中，根据图片的画面属性，对所述图片数据集合的每个图片进行标签备注，从而将每个图片归类到图片数据集合下属的不同子集合中具体包括：
获取所述图片数据集合的每个图片的画面色度信息和画面线条轮廓信息；
根据所述画面色度信息和画面线条轮廓信息，对所述图片数据集合的每个图片进行色度属性和线条轮廓属性的标签备注；
根据上述标签备注的结果，将每个图片归类到图片数据集合下属的不同子集合中。
在其中一实施例中，在所述步骤S2中，从所述图片数据集合中选择对应的子集合包含的图片，并将选择的图片进行组合，从而形成训练数据集合具体包括：
按照预定图片选择总数量和每个子集合对应的图片选择数量比例，从每个子集合中随机选择相应数量的图片；
再将所有选择的图片进行随机排列组合，从而形成训练数据集合。
在其中一实施例中，在所述步骤S2中，对所述训练数据集合进行拆分，从而得到若干训练数据相关文件具体包括：
根据预设的训练集图片数量百分比例值、验证集图片数量百分比例值和测试集合图片数量百分比例值，从所述训练数据集合中分别随机提取互不相同的图片，从而将提取得到的图片存放到训练集、验证集和测试集中；
再将训练集、验证集和测试集分别作为训练集数据相关文件、验证集数据相关文件和测试集数据相关文件。
在其中一实施例中，在所述步骤S3中，根据所述训练数据相关文件，对预设识别分析模型进行训练具体包括：
步骤S301，将所述训练集数据相关文件包含的图片输入到预设识别分析模型中，从而对预设识别分析模型进行训练；
步骤S302，利用所述验证集数据相关文件包含的图片，对经过训练的预设识别分析模型进行验证处理，得到预设识别分析模型对所述验证集数据相关文件包含的图片的验证结果；
步骤S303，再利用所述测试集数据相关文本包含的图片，对经过训练的预设识别分析模型进行测试处理；根据所述测试处理的结果，判断预设识别分析模型是否训练完善。
在其中一实施例中，在所述步骤S302中，对经过训练的预设识别分析模型进行验证处理，得到预设识别分析模型对所述验证集数据相关文件包含的图片的验证结果具体包括：
对经过训练的预设识别分析模型进行验证处理，得到预设识别分析模型对所述验证集数据相关文件包含的每个图片的验证匹配与否；
若预设识别分析模型对所述验证集数据相关文件中超过第一预设数量阈值的图片验证匹配，则进入下面步骤S303；否则，返回到步骤S301，继续对对预设识别分析模型进行训练。
在其中一实施例中，在所述步骤S303中，利用所述测试集数据相关文本包含的图片，对经过训练的预设识别分析模型进行测试处理；根据所述测试处理的结果，判断预设识别分析模型是否训练完善具体包括：
利用所述测试集数据相关文本包含的图片，对经过训练的预设识别分析模型进行测试处理，得到预设识别分析模型对每个图片的图片画面内容测试结果；
根据所述图片画面内容测试结果，确定预设识别分析模型对所述测试集数据相关文本中测试正确的图片数量；若所述图片数量超过第二预设数量阈值，则确定预设识别分析模型训练完善；否则，确定预设识别分析模型训练不完善，并且重新返回步骤S301和步骤S302。
在其中一实施例中，在所述步骤S4中，将目标图片输入到完成训练的预设识别分析模型中，对所述目标图片进行识别处理，确定所述目标图片存在的电缆元件信息具体包括：
将目标图片输入到完成训练的预设识别分析模型中，识别所述目标图片的画面存在的电缆元件类型、电缆元件的结构缺陷及其存在位置。
在其中一实施例中，在所述步骤S4中，根据所述电缆元件信息，对所述目标图片进行标注具体包括：
在目标图片的画面存在的每个电缆元件附近标注其对应的电缆元件类型、结构缺陷类型及其存在位置的相关文本信息。
与现有技术相比，本发明具有如下有益效果：
本申请提供的用于电缆元件识别的视觉分析方法包括构建与标签图片数据集合、准备训练数据集合和模型训练的步骤，对预设识别分析模型进行训练，使得预设识别分析模型能够具有对电缆元件进行识别的准确性；再利用完成训练的预设识别分析模型，识别目标图像画面中存在的电缆元件信息，以此对目标图片进行标注；上述分析方法能够对完成生产制作的电缆元件进行拍摄，再利用预设识别分析模型对拍摄得到的图片进行识别分析，从而快速全面地确定每个电缆元件的结构质量情况，便于准确了解每个电缆元件可能存在的结构缺陷和及时将质量不合格的电缆元件筛选出来。
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。其中：
图1是本申请提供的用于电缆元件识别的视觉分析方法的流程示意图。
为使本申请的上述目的、特征和优点能够更为明显易懂，下面结合附图，对本申请的具体实施方式做详细的说明。可以理解的是，此处所描述的具体实施例仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本申请保护的范围。
本申请中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
请参阅图1所示，本申请一实施例提供的用于电缆元件识别的视觉分析方法，用于电缆元件识别的视觉分析方法包括如下步骤：
步骤S1，构建与标签图片数据集合：收集预定数量和具有预定格式的图片，对每个图片进行筛选与预处理后，得到图片数据集合；根据图片的画面属性，对图片数据集合的每个图片进行标签备注，从而将每个图片归类到图片数据集合下属的不同子集合中；
步骤S2，准备训练数据集合：从图片数据集合中选择对应的子集合包含的图片，并将选择的图片进行组合，从而形成训练数据集合；对训练数据集合进行拆分，从而得到若干训练数据相关文件；
步骤S3，模型训练：根据训练数据相关文件，对预设识别分析模型进行训练；
步骤S4，电缆元件识别：将目标图片输入到完成训练的预设识别分析模型中，对目标图片进行识别处理，确定目标图片存在的电缆元件信息；并根据电缆元件信息，对目标图片进行标注。
上述视觉分析方法包括构建与标签图片数据集合、准备训练数据集合和模型训练的步骤，对预设识别分析模型进行训练，使得预设识别分析模型能够具有对电缆元件进行识别的准确性；再利用完成训练的预设识别分析模型，识别目标图像画面中存在的电缆元件信息，以此对目标图片进行标注；上述分析方法能够对完成生产制作的电缆元件进行拍摄，再利用预设识别分析模型对拍摄得到的图片进行识别分析，从而快速全面地确定每个电缆元件的结构质量情况，便于准确了解每个电缆元件可能存在的结构缺陷和及时将质量不合格的电缆元件筛选出来。
可选地，在步骤S1中，收集预定数量和具有预定格式的图片，对每个图片进行筛选与预处理后，得到图片数据集合具体包括：
收集不少于100张具有预定格式的图片，图片的格式为jpg格式或bmp格式；
获取每个图片的图片实际亮度值，若图片实际亮度值在预设亮度值范围内，则将相应的图片保留；否则，将相应的图片剔除；
获取上述保留的图片的图片实际分辨率值，若图片实际分辨率值小于预设分辨率阈值，则对相应的图片进行像素插值处理；
再将所有保留的图片集成得到图片数据集合。
通过上述方式，能够保证收集的图片具有足够的数量和匹配格式，便于后续预设识别分析模型直接对图片进行识别分析，不需要对图片进行额外的格式转换，减少图片的预处理工作量。此外，将图片实际亮度值较低的图片进行剔除，有效避免由于图片的亮度不足而导致预设识别分析模型无法准确进行识别；而对图片实际分辨率值较小的图片进行像素插值处理，能够有效地提升图片的分辨率，保证图片画面内容的可识别性。
可选地，在步骤S1中，根据图片的画面属性，对图片数据集合的每个图片进行标签备注，从而将每个图片归类到图片数据集合下属的不同子集合中具体包括：
获取图片数据集合的每个图片的画面色度信息和画面线条轮廓信息；
根据画面色度信息和画面线条轮廓信息，对图片数据集合的每个图片进行色度属性和线条轮廓属性的标签备注；
根据上述标签备注的结果，将每个图片归类到图片数据集合下属的不同子集合中。
通过上述方式，以图片的画面色度信息和画面线条轮廓信息作为图片的画面属性，这样能够在颜色和轮廓两个方面对图片的画面属性进行识别；其中画面色度信息是指图片画面存在的色度值，画面线条轮库信息是指图片画面中线条轮廓的粗细和弯曲程度。再根据画面色度信息和画面线条轮廓信息，对每个图片进行关于色度属性和线条轮廓属性的标签备注，从而从颜色和轮廓两个方面对图片进行细化区分。
可选地，在步骤S2中，从图片数据集合中选择对应的子集合包含的图片，并将选择的图片进行组合，从而形成训练数据集合具体包括：
按照预定图片选择总数量和每个子集合对应的图片选择数量比例，从每个子集合中随机选择相应数量的图片；
再将所有选择的图片进行随机排列组合，从而形成训练数据集合。
通过上述方式，按照预定图片选择总数量和每个子集合对应的图片选择数量比例，从每个子集合中随机选择相应数量的图片，这样能够保证训练数据集合中包含不同画面色度信息和画面线条轮廓信息的图片，从而实现后续对预设识别分析模型的训练、验证和测试全面性与可靠性。
可选地，在步骤S2中，对训练数据集合进行拆分，从而得到若干训练数据相关文件具体包括：
根据预设的训练集图片数量百分比例值、验证集图片数量百分比例值和测试集合图片数量百分比例值，从训练数据集合中分别随机提取互不相同的图片，从而将提取得到的图片存放到训练集、验证集和测试集中；
再将训练集、验证集和测试集分别作为训练集数据相关文件、验证集数据相关文件和测试集数据相关文件。
通过上述方式，能够最大限度丰富训练集、验证集和测试集各自包含的图片类型，使得预设识别分析模型能够适应对不同类型图片的识别，相应提高其识别准确性。其中，预设识别分析模型可为但不限于是tensorflow模型，其属于DNN模型的一种。
可选地，在步骤S3中，根据训练数据相关文件，对预设识别分析模型进行训练具体包括：
步骤S301，将训练集数据相关文件包含的图片输入到预设识别分析模型中，从而对预设识别分析模型进行训练；
步骤S302，利用验证集数据相关文件包含的图片，对经过训练的预设识别分析模型进行验证处理，得到预设识别分析模型对验证集数据相关文件包含的图片的验证结果；
步骤S303，再利用测试集数据相关文本包含的图片，对经过训练的预设识别分析模型进行测试处理；根据测试处理的结果，判断预设识别分析模型是否训练完善。
通过上述方式，利用训练集数据相关文件、验证集数据相关文件、测试集数据相关文本分别对预设识别分析模型进行训练、验证、测试，从而保证预设识别分析模型对图片的识别可靠性与精确性。
可选地，在步骤S302中，对经过训练的预设识别分析模型进行验证处理，得到预设识别分析模型对验证集数据相关文件包含的图片的验证结果具体包括：
对经过训练的预设识别分析模型进行验证处理，得到预设识别分析模型对验证集数据相关文件包含的每个图片的验证匹配与否；
若预设识别分析模型对验证集数据相关文件中超过第一预设数量阈值的图片验证匹配，则进入下面步骤S303；否则，返回到步骤S301，继续对对预设识别分析模型进行训练。
可选地，在步骤S303中，利用测试集数据相关文本包含的图片，对经过训练的预设识别分析模型进行测试处理；根据测试处理的结果，判断预设识别分析模型是否训练完善具体包括：
利用测试集数据相关文本包含的图片，对经过训练的预设识别分析模型进行测试处理，得到预设识别分析模型对每个图片的图片画面内容测试结果；
根据图片画面内容测试结果，确定预设识别分析模型对测试集数据相关文本中测试正确的图片数量；若图片数量超过第二预设数量阈值，则确定预设识别分析模型训练完善；否则，确定预设识别分析模型训练不完善，并且重新返回步骤S301和步骤S302。
通过上述方式，能够对预设识别分析模型进行闭环形式的训练、验证、测试，确保预设识别分析模型达到相应的学习收敛性，提高预设识别分析模型对图片的识别精确性。
可选地，在步骤S4中，将目标图片输入到完成训练的预设识别分析模型中，对目标图片进行识别处理，确定目标图片存在的电缆元件信息具体包括：
将目标图片输入到完成训练的预设识别分析模型中，识别目标图片的画面存在的电缆元件类型、电缆元件的结构缺陷及其存在位置。
通过上述方式，对完成生产制造的电缆元件进行拍摄得到相应的目标图片，再将目标图片输入到完成训练的预设识别分析模型中，预设识别分析模型可准确确定目标图片的画面存在的电缆元件类型、电缆元件的结构缺陷及其存在位置，实现对目标图片的快速批量识别。
可选地，在步骤S4中，根据电缆元件信息，对目标图片进行标注具体包括：
在目标图片的画面存在的每个电缆元件附近标注其对应的电缆元件类型、结构缺陷类型及其存在位置的相关文本信息。
通过上述方式，在目标图片的画面存在的每个电缆元件附近标注其对应的电缆元件类型、结构缺陷类型及其存在位置的相关文本信息，这样用户能够从目标图片中直观地得到电缆元件存在的结构缺陷情况，从而准确对电缆元件进行筛选区分。
上述仅为本发明的一个具体实施方式，其它基于本发明构思的前提下做出的任何改进都视为本发明的保护范围。
Claims (10)
- 一种用于电缆元件识别的视觉分析方法，其特征在于，包括如下步骤：步骤S1，构建与标签图片数据集合：收集预定数量和具有预定格式的图片，对每个图片进行筛选与预处理后，得到图片数据集合；根据图片的画面属性，对所述图片数据集合的每个图片进行标签备注，从而将每个图片归类到图片数据集合下属的不同子集合中；步骤S2，准备训练数据集合：从所述图片数据集合中选择对应的子集合包含的图片，并将选择的图片进行组合，从而形成训练数据集合；对所述训练数据集合进行拆分，从而得到若干训练数据相关文件；步骤S3，模型训练：根据所述训练数据相关文件，对预设识别分析模型进行训练；步骤S4，电缆元件识别：将目标图片输入到完成训练的预设识别分析模型中，对所述目标图片进行识别处理，确定所述目标图片存在的电缆元件信息；并根据所述电缆元件信息，对所述目标图片进行标注。
- 根据权利要求1所述的用于电缆元件识别的视觉分析方法，其特征在于，在所述步骤S1中，收集预定数量和具有预定格式的图片，对每个图片进行筛选与预处理后，得到图片数据集合具体包括：收集不少于100张具有预定格式的图片，所述图片的格式为jpg格式或bmp格式；获取每个图片的图片实际亮度值，若所述图片实际亮度值在预设亮度值范围内，则将相应的图片保留；否则，将相应的图片剔除；获取上述保留的图片的图片实际分辨率值，若所述图片实际分辨率值小于预设分辨率阈值，则对相应的图片进行像素插值处理；再将所有保留的图片集成得到图片数据集合。
- 根据权利要求2所述的用于电缆元件识别的视觉分析方法，其特征在于，在所述步骤S1中，根据图片的画面属性，对所述图片数据集合的每个图片进行标签备注，从而将每个图片归类到图片数据集合下属的不同子集合中具体包括：获取所述图片数据集合的每个图片的画面色度信息和画面线条轮廓信息；根据所述画面色度信息和画面线条轮廓信息，对所述图片数据集合的每个图片进行色度属性和线条轮廓属性的标签备注；根据上述标签备注的结果，将每个图片归类到图片数据集合下属的不同子集合中。
- 根据权利要求1所述的用于电缆元件识别的视觉分析方法，其特征在于，在所述步骤S2中，从所述图片数据集合中选择对应的子集合包含的图片，并将选择的图片进行组合，从而形成训练数据集合具体包括：按照预定图片选择总数量和每个子集合对应的图片选择数量比例，从每个子集合中随机选择相应数量的图片；再将所有选择的图片进行随机排列组合，从而形成训练数据集合。
- 根据权利要求4所述的用于电缆元件识别的视觉分析方法，其特征在于，在所述步骤S2中，对所述训练数据集合进行拆分，从而得到若干训练数据相关文件具体包括：根据预设的训练集图片数量百分比例值、验证集图片数量百分比例值和测试集合图片数量百分比例值，从所述训练数据集合中分别随机提取互不相同的图片，从而将提取得到的图片存放到训练集、验证集和测试集中；再将训练集、验证集和测试集分别作为训练集数据相关文件、验证集数据相关文件和测试集数据相关文件。
- 根据权利要求5所述的用于电缆元件识别的视觉分析方法，其特征在于，在所述步骤S3中，根据所述训练数据相关文件，对预设识别分析模型进行训练具体包括：步骤S301，将所述训练集数据相关文件包含的图片输入到预设识别分析模型中，从而对预设识别分析模型进行训练；步骤S302，利用所述验证集数据相关文件包含的图片，对经过训练的预设识别分析模型进行验证处理，得到预设识别分析模型对所述验证集数据相关文件包含的图片的验证结果；步骤S303，再利用所述测试集数据相关文本包含的图片，对经过训练的预设识别分析模型进行测试处理；根据所述测试处理的结果，判断预设识别分析模型是否训练完善。
- 根据权利要求6所述的用于电缆元件识别的视觉分析方法，其特征在于，在所述步骤S302中，对经过训练的预设识别分析模型进行验证处理，得到预设识别分析模型对所述验证集数据相关文件包含的图片的验证结果具体包括：对经过训练的预设识别分析模型进行验证处理，得到预设识别分析模型对所述验证集数据相关文件包含的每个图片的验证匹配与否；若预设识别分析模型对所述验证集数据相关文件中超过第一预设数量阈值的图片验证匹配，则进入下面步骤S303；否则，返回到步骤S301，继续对对预设识别分析模型进行训练。
- 根据权利要求7所述的用于电缆元件识别的视觉分析方法，其特征在于，在所述步骤S303中，利用所述测试集数据相关文本包含的图片，对经过训练的预设识别分析模型进行测试处理；根据所述测试处理的结果，判断预设识别分析模型是否训练完善具体包括：利用所述测试集数据相关文本包含的图片，对经过训练的预设识别分析模型进行测试处理，得到预设识别分析模型对每个图片的图片画面内容测试结果；根据所述图片画面内容测试结果，确定预设识别分析模型对所述测试集数据相关文本中测试正确的图片数量；若所述图片数量超过第二预设数量阈值，则确定预设识别分析模型训练完善；否则，确定预设识别分析模型训练不完善，并且重新返回步骤S301和步骤S302。
- 根据权利要求8所述的用于电缆元件识别的视觉分析方法，其特征在于，在所述步骤S4中，将目标图片输入到完成训练的预设识别分析模型中，对所述目标图片进行识别处理，确定所述目标图片存在的电缆元件信息具体包括：将目标图片输入到完成训练的预设识别分析模型中，识别所述目标图片的画面存在的电缆元件类型、电缆元件的结构缺陷及其存在位置。
- 根据权利要求9所述的用于电缆元件识别的视觉分析方法，其特征在于，在所述步骤S4中，根据所述电缆元件信息，对所述目标图片进行标注具体包括：在目标图片的画面存在的每个电缆元件附近标注其对应的电缆元件类型、结构缺陷类型及其存在位置的相关文本信息。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US18/018,857 US11727673B1 (en) | 2022-06-09 | 2022-08-31 | Visual analysis method for cable element identification |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210649558.7A CN114943875A (zh) | 2022-06-09 | 2022-06-09 | 用于电缆元件识别的视觉分析方法 |
| CN202210649558.7 | 2022-06-09 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2023236371A1 true WO2023236371A1 (zh) | 2023-12-14 |
Family
ID=82909461
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/CN2022/116051 WO2023236371A1 (zh) | 2022-06-09 | 2022-08-31 | 用于电缆元件识别的视觉分析方法 |
Country Status (2)
| Country | Link |
|---|---|
| CN (1) | CN114943875A (zh) |
| WO (1) | WO2023236371A1 (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114943875A (zh) * | 2022-06-09 | 2022-08-26 | 苏州大学 | 用于电缆元件识别的视觉分析方法 |
| US11727673B1 (en) | 2022-06-09 | 2023-08-15 | Soochow University | Visual analysis method for cable element identification |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109492698A (zh) * | 2018-11-20 | 2019-03-19 | 腾讯科技（深圳）有限公司 | 一种模型训练的方法、对象检测的方法以及相关装置 |
| CN109657694A (zh) * | 2018-10-26 | 2019-04-19 | 平安科技（深圳）有限公司 | 图片自动分类方法、装置及计算机可读存储介质 |
| US20200134804A1 (en) * | 2018-10-26 | 2020-04-30 | Nec Laboratories America, Inc. | Fully convolutional transformer based generative adversarial networks |
| CN111784673A (zh) * | 2020-06-30 | 2020-10-16 | 创新奇智(上海)科技有限公司 | 缺陷检测模型训练和缺陷检测方法、设备及存储介质 |
| CN113393414A (zh) * | 2020-03-11 | 2021-09-14 | 上海宝信软件股份有限公司 | 基于深度学习的冷轧带钢磨后辊印缺陷检测方法及系统 |
| CN114461986A (zh) * | 2022-01-17 | 2022-05-10 | 北京快乐茄信息技术有限公司 | 一种训练识别标识模型的方法、图像识别的方法和装置 |
| CN114943875A (zh) * | 2022-06-09 | 2022-08-26 | 苏州大学 | 用于电缆元件识别的视觉分析方法 |
-
2022
- 2022-06-09 CN CN202210649558.7A patent/CN114943875A/zh active Pending
- 2022-08-31 WO PCT/CN2022/116051 patent/WO2023236371A1/zh unknown
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109657694A (zh) * | 2018-10-26 | 2019-04-19 | 平安科技（深圳）有限公司 | 图片自动分类方法、装置及计算机可读存储介质 |
| US20200134804A1 (en) * | 2018-10-26 | 2020-04-30 | Nec Laboratories America, Inc. | Fully convolutional transformer based generative adversarial networks |
| CN109492698A (zh) * | 2018-11-20 | 2019-03-19 | 腾讯科技（深圳）有限公司 | 一种模型训练的方法、对象检测的方法以及相关装置 |
| CN113393414A (zh) * | 2020-03-11 | 2021-09-14 | 上海宝信软件股份有限公司 | 基于深度学习的冷轧带钢磨后辊印缺陷检测方法及系统 |
| CN111784673A (zh) * | 2020-06-30 | 2020-10-16 | 创新奇智(上海)科技有限公司 | 缺陷检测模型训练和缺陷检测方法、设备及存储介质 |
| CN114461986A (zh) * | 2022-01-17 | 2022-05-10 | 北京快乐茄信息技术有限公司 | 一种训练识别标识模型的方法、图像识别的方法和装置 |
| CN114943875A (zh) * | 2022-06-09 | 2022-08-26 | 苏州大学 | 用于电缆元件识别的视觉分析方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114943875A (zh) | 2022-08-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| WO2023236371A1 (zh) | 用于电缆元件识别的视觉分析方法 | |
| CN105808416B (zh) | 一种人机图形交互界面的自动化测试方法和系统 | |
| CN103914839A (zh) | 一种基于隐写分析的图像拼接篡改检测方法及装置 | |
| JP2021532434A (ja) | 顔特徴抽出モデル訓練方法、顔特徴抽出方法、装置、機器および記憶媒体 | |
| CN111583180B (zh) | 一种图像的篡改识别方法、装置、计算机设备及存储介质 | |
| CN113222913B (zh) | 一种电路板缺陷检测定位方法、装置和存储介质 | |
| CN113706490B (zh) | 一种晶片缺陷检测方法 | |
| CN111522951A (zh) | 一种基于图像识别的敏感数据识别与分类的技术方法 | |
| WO2023236372A1 (zh) | 基于图片识别的表面缺陷检测方法 | |
| US20200090319A1 (en) | Machine learning method implemented in aoi device | |
| CN110569804A (zh) | 基于文本数据的失效场景判断方法及系统、服务器及介质 | |
| CN109685756A (zh) | 影像特征自动辨识装置、系统及方法 | |
| CN107607205A (zh) | 线束颜色顺序检测系统和方法 | |
| US11727673B1 (en) | Visual analysis method for cable element identification | |
| CN113128522B (zh) | 目标识别方法、装置、计算机设备和存储介质 | |
| CN114419008A (zh) | 一种图像质量评估方法及系统 | |
| CN116363567B (zh) | 一种基于aoi视觉检测的晶圆缺陷识别方法及系统 | |
| CN113866182A (zh) | 一种用于检测显示模组缺陷的检测方法及系统 | |
| CN111178204B (zh) | 一种视频数据编辑识别方法、装置、智能终端及存储介质 | |
| CN114187625A (zh) | 一种基于视频源自动探测技术的视频检测方法 | |
| CN113947564A (zh) | 一种电力行业低压台区计量设备图像校验方法及系统 | |
| CN111524120B (zh) | 基于深度学习的印刷品细小划痕、套印偏差检测方法 | |
| CN114387564A (zh) | 一种基于YOLOv5的磕头机停抽检测方法 | |
| CN112967224A (zh) | 一种基于人工智能的电子电路板检测系统、方法及介质 | |
| CN112991324A (zh) | 一种磁粉检测过程可视化传输的检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 22945505 Country of ref document: EP Kind code of ref document: A1 |