KR102261941B1 - Time series data fingerprinting and image deep learning analysis methods for product defect detection - Google Patents

Time series data fingerprinting and image deep learning analysis methods for product defect detection Download PDF

Info

Publication number
KR102261941B1
KR102261941B1 KR1020190156472A KR20190156472A KR102261941B1 KR 102261941 B1 KR102261941 B1 KR 102261941B1 KR 1020190156472 A KR1020190156472 A KR 1020190156472A KR 20190156472 A KR20190156472 A KR 20190156472A KR 102261941 B1 KR102261941 B1 KR 102261941B1
Authority
KR
South Korea
Prior art keywords
data
time
image
deep learning
contour line
Prior art date
Application number
KR1020190156472A
Other languages
Korean (ko)
Inventor
이정수
이영철
김정태
송재경
김정인
임창수
Original Assignee
한국생산기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국생산기술연구원 filed Critical 한국생산기술연구원
Priority to KR1020190156472A priority Critical patent/KR102261941B1/en
Application granted granted Critical
Publication of KR102261941B1 publication Critical patent/KR102261941B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0221—Preprocessing measurements, e.g. data collection rate adjustment; Standardization of measurements; Time series or signal analysis, e.g. frequency analysis or wavelets; Trustworthiness of measurements; Indexes therefor; Measurements using easily measured parameters to estimate parameters difficult to measure; Virtual sensor creation; De-noising; Sensor fusion; Unconventional preprocessing inherently present in specific fault detection methods like PCA-based methods
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0243—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults model based detection method, e.g. first-principles knowledge model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06K9/627—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

The present invention relates to a time series data fingerprinting and image deep learning analysis method for use in CNN deep learning analysis based on time series process data collected from various industries and an analysis system thereof. The system comprises: a sensing unit which detects a plurality of positions or temperatures of a product production device; a data acquisition unit which acquires the data detected by the sensing unit as time-series process data; and an image conversion unit which converts the time series process data acquired by the data acquisition unit into image data. The image conversion unit includes: a contour line creation unit for displaying the time series process data according to a setting of a circular template; and a color input unit for inputting the boundaries between contour lines in different colors to clarify the boundaries between the contour lines created by the contour line creation unit. Therefore, the present invention can increase the accuracy of the determination of good/defective products in a product production process.

Description

생산 제품 불량 검출을 위한 시계열 데이터 지문화 및 이미지 딥러닝 분석 방법 및 분석 시스템{Time series data fingerprinting and image deep learning analysis methods for product defect detection} Time series data fingerprinting and image deep learning analysis methods for product defect detection

본 발명은 생산 제품 불량 검출을 위한 시계열 데이터 지문화 및 이미지 딥러닝 분석 방법 및 분석 시스템에 관한 것으로, 특히 다양한 산업군에서 수집된 시계열의 공정데이터를 바탕으로 CNN(Convolutional Neural Networks) 딥러닝 분석에 활용하기 위한 시계열 데이터 지문화 및 이미지 딥러닝 분석 방법 및 분석 시스템에 관한 것이다.The present invention relates to a time-series data fingerprinting and image deep-learning analysis method and analysis system for detecting product defects. In particular, based on time-series process data collected from various industries, it is utilized for deep learning analysis of CNN It relates to a time series data fingerprinting and image deep learning analysis method and analysis system for

일반적으로, 다이캐스팅은 필요한 주조형상에 완전히 일치하도록 정확하게 기계 가공된 강제의 금형에 용해금속을 주입하여 금형과 동일한 주물을 얻는 정밀주조법으로, 아연·알루미늄·구리·마그네슘 및 이들의 합금 등 기계부품 주조에 다양하게 활용된다.In general, die casting is a precision casting method that obtains the same casting as the mold by injecting molten metal into a steel mold that has been precisely machined to completely match the required casting shape, casting mechanical parts such as zinc, aluminum, copper, magnesium, and alloys thereof. is used in various ways in

이러한 다이캐스팅 공정은 고생산성으로 제조비용이 저렴한 이점이 있으나 기계적 특성 및 열화에 의한 물성 저하 등의 단점이 있으므로, 최근에는 상술한 다이캐스팅 공정의 단점을 극복한 고효율, 고특성의 고진공 다이캐스팅 공정을 이용한 부품개발에 대한 연구가 이루어지고 있다.This die casting process has the advantage of low manufacturing cost due to high productivity, but has disadvantages such as deterioration of mechanical properties and physical properties due to deterioration. Research is being done on development.

다이캐스팅 공정으로 주조시 주조부품의 품질에 영향을 미치는 주조공정 변수로 작용하는 조건으로는 일반적으로 용해온도, 주입온도, 사출압력 등이 있으므로, 각각의 조건을 최적화하는 것이 필요하다. 또 고진공 다이캐스팅에서는 주조 후 물성향상을 위한 열처리를 수행할 수 있기 때문에 여러 열처리조건에서 열처리변형 및 신율 향상을 위한 조건의 최적화가 필요하다.When casting in the die-casting process, conditions that act as casting process variables that affect the quality of cast parts include melting temperature, injection temperature, and injection pressure, so it is necessary to optimize each condition. In addition, in high vacuum die casting, heat treatment to improve physical properties can be performed after casting, so it is necessary to optimize the conditions for heat treatment deformation and elongation improvement under various heat treatment conditions.

이와 같은 다이캐스팅 공정 관리 기법을 살펴보면 측정된 공정데이터를 기준으로 6-sigma 등의 생산관리 기법을 적용하지만, 최근에는 공정데이터를 바탕으로 딥러닝 엔진을 이용한 양품/불량 판정을 진행하고 있다. Looking at the die-casting process management technique, a production management technique such as 6-sigma is applied based on the measured process data, but recently, good/defective judgment using a deep learning engine based on the process data is in progress.

그러나 측정되는 공정의 시계열 데이터를 기준으로 양품/불량을 판단할 경우에는 공정데이터의 샘플링 비율에 따라 방대한 양의 공정데이터가 입력으로 적용되므로, 딥러닝 엔진의 학습 및 데이터 처리 결과의 정확도 상에서 문제점이 발생한다.However, when judging good/defective products based on the time series data of the process being measured, a large amount of process data is applied as an input according to the sampling rate of the process data, so there is a problem in the accuracy of the learning and data processing results of the deep learning engine. Occurs.

이러한 문제를 해결하기 위한 기술의 일 예가 하기 문헌 1 내지 3 등에 개시되어 있다.An example of a technique for solving this problem is disclosed in Documents 1 to 3 and the like.

예를 들어, 하기 특허문헌 1에는 설비로부터 취득되는 데이터를 신호로 입력 받는 단계, 상기 입력된 신호로부터 특징을 추출하여 특징 맵 이미지를 생성하는 단계 및 상기 생성된 특징 맵 이미지와 2차원 CNN을 기반으로 기학습된 특징 맵 이미지를 이용하여 설비 상태를 분류하는 단계를 포함하고, 상기 특징 맵 이미지를 생성하는 단계는 상기 입력된 신호로부터 부대역 신호를 추출하는 단계, 상기 추출된 부대역 신호로부터 특징 값을 산출하는 단계, 상기 산출된 특징 값의 행렬을 특징 맵 이미지로 변환하는 단계 및 상기 변환된 특징 맵 이미지를 상기 CNN의 입력 크기로 분할 및 정렬하고 벡터로 변환한 후, 상기 변환된 벡터의 중간 값을 상기 특징 맵 이미지에 대입하여 정규화하는 단계를 포함하는 설비 상태 진단방법에 대해 개시되어 있다.For example, in Patent Document 1 below, a step of receiving data acquired from a facility as a signal, a step of extracting a feature from the input signal to generate a feature map image, and a step of generating a feature map image based on the generated feature map image and a two-dimensional CNN and classifying the equipment state using the previously learned feature map image, wherein the generating of the feature map image includes extracting a sub-band signal from the input signal, and a feature from the extracted sub-band signal. Calculating a value, transforming the matrix of the calculated feature values into a feature map image, and dividing and aligning the transformed feature map image with the input size of the CNN and transforming it into a vector, Disclosed is a method for diagnosing a facility state including normalizing an intermediate value by substituting an intermediate value into the feature map image.

또 하기 특허문헌 2에는 분석 대상 시스템의 상태와 관련된 분석 대상 데이터를 입력받는 입력부, 상기 입력된 분석 대상 데이터를 이미지 데이터로 변환하는 데이터 처리부, 그리고 상기 변환된 이미지 데이터를 입력받아 학습하고, 학습이 완료된 후 이미지 데이터로 변환된 분석 대상 데이터를 입력받아 상기 분석 대상 시스템의 이상 행위를 검출하거나 신경망부를 포함하는 데이터 이미지화를 이용한 이상 행위 분석 시스템에 대해 개시되어 있다.In addition, in Patent Document 2, an input unit for receiving analysis target data related to the state of an analysis target system, a data processing unit for converting the input analysis target data into image data, and receiving and learning the converted image data, learning is performed Disclosed is an abnormal behavior analysis system that receives analysis target data converted into image data after completion and detects an abnormal behavior of the analysis target system or uses data imaging including a neural network.

한편, 하기 특허문헌 3에는 회전체에 인가되는 입력 부하 또는 회전체를 통해 출력되는 출력 부하에 대한 시점별 신호를 획득하는 센싱부, 상기 시점별 신호를 시간과 주파수 성분으로 변환하여 이미지 형태로 변환시키는 변환부, 상기 변환부를 통해 변환된 이미지를 딥 러닝 모듈의 학습 입력 데이터로 처리하여 학습시키는 학습부 및 상기 학습부를 통한 결과를 기반으로 해당 신호에서 추출된 특징에 따라 상기 회전체의 고장 여부를 진단하는 진단부를 포함하는 딥 러닝과 웨이블렛 변환을 이용한 회전체의 고장 진단 시스템에 대해 개시되어 있다.On the other hand, in Patent Document 3 below, a sensing unit for obtaining a signal for each time point for an input load applied to the rotating body or an output load output through the rotating body, the signal for each time point is converted into time and frequency components and converted into an image form Based on the result through a transform unit, a learning unit that processes and learns the image converted through the transform unit as learning input data of the deep learning module, and the learning unit, it is determined whether the rotating body is malfunctioning according to the characteristics extracted from the signal. Disclosed is a system for diagnosing a malfunction of a rotating body using deep learning and wavelet transformation including a diagnostic unit for diagnosis.

대한민국 등록특허공보 제10-1818394호(2018.01.08 공개)Republic of Korea Patent Publication No. 10-1818394 (published on 2018.01.08) 대한민국 공개특허공보 제2019-0027237호(2019.03.14 공개)Republic of Korea Patent Publication No. 2019-0027237 (published on March 14, 2019) 대한민국 등록특허공보 제10-1998559호(2009.07.04 등록)Republic of Korea Patent Publication No. 10-1998559 (registered on July 4, 2009)

상술한 바와 같은 특허문헌 1에 개시된 기술에서는 설비 등에서 취득한 데이터를 이미지로 변환하고, 변환된 이미지를 이용하여 딥러닝 분석에 의해 상기 설비 등의 이상 여부나 제품의 불량 여부를 판단하지만, 상기 특허문헌 1은 방대한 양의 공정데이터가 입력으로 적용되기 때문에 딥러닝 엔진의 학습 및 데이터 처리 결과의 정확도가 저하된다는 문제가 있었다.In the technology disclosed in Patent Document 1 as described above, data acquired from equipment, etc. is converted into an image, and the converted image is used to determine whether the equipment is abnormal or whether the product is defective by deep learning analysis. 1 has a problem in that the accuracy of the learning and data processing results of the deep learning engine is lowered because a large amount of process data is applied as an input.

또 상기 특허문헌 2에서는 분석 대상 시스템의 상태와 관련된 분석 대상 데이터를 이미지화한 후 딥러닝 기반의 이미지 인식을 통해 분석 대상 시스템에서의 이상행위를 분류 및 인식하는 기술에 대해 개시되어 있고, 특허문헌 3에서는 회전체의 한정된 실측 데이터를 웨이블렛 변환을 통해 2차원 이미지로 변환시키고 이를 딥러닝 모듈을 통해 학습시킴으로써 회전체 고장에 대한 신호 특징을 스스로 추출하는 기술에 대해 개시되어 있지만, 상기 특허문헌 2 및 3에서도 방대한 양의 공정데이터가 입력으로 적용되기 때문에 딥러닝 엔진의 학습 및 데이터 처리 결과의 정확도가 저하된다는 문제가 있었다.In addition, Patent Document 2 discloses a technique for classifying and recognizing abnormal behavior in the analysis target system through deep learning-based image recognition after imaging the analysis target data related to the state of the analysis target system, and Patent Literature 3 In the Patent Documents 2 and 3, although limited actual measurement data of a rotating body is converted into a two-dimensional image through wavelet transformation and learned through a deep learning module, a technique for extracting signal characteristics for a rotating body failure by itself is disclosed. Also, there was a problem that the accuracy of the learning and data processing results of the deep learning engine deteriorated because a large amount of process data was applied as an input.

즉, 상술한 바와 같은 종래의 기술로서, 예를 들어 스마트형 공장에서 적용하고 있는 딥러닝 기반의 제품의 양품/불량 판단 방식의 경우, 공정 데이터 변수의 개수, 공정 데이터 측정 위치의 개수, 샘플링 레이트가 증가함에 따라 딥러닝 엔진에 입력되는 데이터의 양이 기하급수적으로 증가함으로써 학습의 속도 및 정확도가 저하되는 문제점이 있었다.That is, as a conventional technique as described above, for example, in the case of a good/defective judgment method of a deep learning-based product applied in a smart factory, the number of process data variables, the number of process data measurement positions, and the sampling rate There was a problem in that the speed and accuracy of learning decreased as the amount of data input to the deep learning engine increased exponentially with the increase of .

예를 들어, 다이캐스팅 금형의 온도 데이터를 5개소에서 사이클 당 10회 샘플링하는 경우 1 사이클 당 50개의 공정 데이터가 입력되며, 이는 온도 데이터의 측정 위치의 수와 샘플링 레이트가 증가될 경우 입력 데이터는 급진적으로 방대(10개소에 대하여 사이클 당 500회 샘플링시 1 사이클 당 5000개의 입력 데이터 발생)해져 이와 같은 방대한 데이터의 처리를 위한 학습의 속도 및 정확도가 저하되는 문제점이 있었다.For example, if the temperature data of a die-casting mold is sampled 10 times per cycle at 5 locations, 50 process data are input per cycle, which means that when the number of measurement locations and the sampling rate of temperature data are increased, the input data becomes radical. As a result, there is a problem in that the speed and accuracy of learning for processing such a vast amount of data is lowered due to the large number of samples (5000 input data per cycle when sampling 500 times per cycle for 10 locations).

본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위해 이루어진 것으로서, 다양한 산업군에서 수집된 시계열의 공정데이터를 바탕으로 각 공정 사이클의 핵심 정보를 담고 있는 지문화 이미지를 제작하고 이를 바탕으로 CNN 딥러닝 분석을 통하여 제품의 양품/불량을 판단할 수 있는 시계열 데이터 지문화 및 이미지 딥러닝 분석 방법 및 분석 시스템을 제공하는 것이다.The purpose of the present invention is to solve the above problems, and based on time series process data collected from various industries, a fingerprint image containing core information of each process cycle is produced, and based on this, CNN deep learning It is to provide a time-series data fingerprinting and image deep learning analysis method and analysis system that can determine good/defective products through analysis.

상기 목적을 달성하기 위해 본 발명에 따른 시계열 데이터 지문화 및 이미지 딥러닝 분석 시스템은 생산 제품 불량 검출을 위해 시계열 데이터를 지문화하고 이미지화하는 딥러닝 분석 시스템으로서, 제품 생산 기기의 복수의 위치 또는 온도를 감지하는 감지부, 상기 감지부에서 감지된 데이터를 시계열적 공정 데이터로 취득하는 데이터 취득부, 상기 데이터 취득부에서 취득된 시계열적 공정 데이터를 이미지 데이터로 변환하는 이미지 변환부를 포함하고, 상기 이미지 변환부는 원형 템플릿의 설정에 따라 상기 시계열적 공정 데이터를 도시하는 등고선 작성부와 상기 등고선 작성부에 의해 작성된 등고선의 경계를 명확하게 하기 위해 등고선의 경계 사이를 서로 다른 컬러로 입력하는 컬러 입력부를 포함하는 것을 특징으로 한다.In order to achieve the above object, the time series data fingerprinting and image deep learning analysis system according to the present invention is a deep learning analysis system for fingerprinting and imaging time series data for product defect detection, a plurality of locations or temperatures of product production equipment A sensing unit for detecting a, a data acquisition unit for acquiring the data sensed by the sensing unit as time-series process data, and an image conversion unit for converting the time-series process data acquired by the data acquisition unit into image data, the image The conversion unit includes a contour line creation unit showing the time-series process data according to the setting of a circular template and a color input unit for inputting different colors between the contour lines to clarify the boundary between the contour lines created by the contour line creation unit characterized in that

또 본 발명에 따른 시계열 데이터 지문화 및 이미지 딥러닝 분석 시스템에서, 상기 원형 템플릿은 상기 데이터 취득부에서 취득된 각 데이터의 측정 포인터의 위치에 대응하도록 지름이 서로 다른 동심원으로 이루어지고, 상기 등고선 작성부는 상기 원형의 템플릿에 각 측정 위치의 측정값을 시계열 순서에 따라 원주 방향을 따라 도시하는 방식으로 상기 시계열적 공정 데이터를 이미지 데이터로 변환하는 것을 특징으로 한다.In addition, in the time series data fingerprinting and image deep learning analysis system according to the present invention, the circular template is made of concentric circles with different diameters to correspond to the positions of the measurement pointers of each data acquired by the data acquisition unit, and the contour lines are created The unit converts the time-series process data into image data in such a way that the measured values of each measurement position are shown along the circumferential direction in the time-series order on the circular template.

또 본 발명에 따른 시계열 데이터 지문화 및 이미지 딥러닝 분석 시스템에서, 상기 등고선 작성부는 각 측정 위치의 시계열적 공정 데이터를 폐곡선으로 연결하고, 상기 컬러 입력부는 상기 폐곡선의 각각의 내부 면적 또는 서로 이웃하는 폐곡선 사이의 면적을 서로 다른 컬러로 입력하여 이미지 데이터를 생성하는 것을 특징으로 한다.In addition, in the time series data fingerprinting and image deep learning analysis system according to the present invention, the contour line creation unit connects the time series process data of each measurement position with a closed curve, and the color input unit each inner area of the closed curve or adjacent to each other It is characterized in that the image data is generated by inputting the area between the closed curves in different colors.

또 본 발명에 따른 시계열 데이터 지문화 및 이미지 딥러닝 분석 시스템에서, 상기 이미지 데이터는 상기 제품 생산 기기에서 생산된 제품의 양부 판단을 하기 위한 딥러닝 분석을 위한 학습부에 적용되는 것을 특징으로 한다.In addition, in the time series data fingerprinting and image deep learning analysis system according to the present invention, the image data is characterized in that it is applied to the learning unit for deep learning analysis for determining the quality of the product produced by the product production device.

또 본 발명에 따른 시계열 데이터 지문화 및 이미지 딥러닝 분석 시스템에서, 상기 등고선 작성부는 상기 데이터 취득부에서 취득된 시계열 데이터를 상기 원형의 템플릿의 원주방향을 x축으로 하고, r 방향으로 각 시점의 위치 또는 온도 값을 도시하여 지문 형상의 등고선을 작성하는 것을 특징으로 한다.In addition, in the time series data fingerprinting and image deep learning analysis system according to the present invention, the contour line creation unit uses the time series data acquired in the data acquisition unit as the x-axis in the circumferential direction of the circular template, and in the r direction at each time point. It is characterized in that the contour line of the fingerprint shape is created by plotting the position or temperature value.

또 본 발명에 따른 시계열 데이터 지문화 및 이미지 딥러닝 분석 시스템에서, 상기 등고선 작성부는 각 공정별로 사이클 타임이 다를 수 있으므로 최대 사이클 타임을 기준으로 하여 360도가 회전하여 원점으로 돌아온 경우를 최대 사이클 타임으로 선정을 하고, 최대 사이클 타임에 못 미치는 데이터가 없는 부분은 0으로 선정하여 등고선을 작성하는 것을 특징으로 한다.In addition, in the time-series data fingerprinting and image deep learning analysis system according to the present invention, since the cycle time of the contour line creation unit may be different for each process, the case where the contour line creation unit rotates 360 degrees based on the maximum cycle time and returns to the origin is the maximum cycle time It is characterized in that the contour line is created by selecting the part with no data less than the maximum cycle time as 0.

또한, 상기 목적을 달성하기 위해 본 발명에 따른 시계열 데이터 지문화 및 이미지 딥러닝 분석 방법은 생산 제품 불량 검출을 위해 시계열 데이터를 지문화하고 이미지화하는 딥러닝 분석 방법으로서, (a) 제품 생산 기기의 복수의 위치 또는 온도를 감지하는 단계, (b) 상기 단계 (a)에서 감지된 데이터를 시계열적 공정 데이터로 취득하는 단계, (c) 상기 단계 (b)에서 취득된 각 데이터의 측정 포인터의 위치에 대응하도록 지름이 서로 다른 동심원으로 원형 템플릿을 설정하는 단계, (d) 상기 원형의 템플릿에 각 측정 위치의 측정값을 시계열 순서에 따라 원주 방향을 따라 도시하는 방식으로 상기 시계열적 공정 데이터로 등고선을 작성하는 단계, (e) 상기 단계 (d)에서 작성된 등고선의 경계를 명확하게 하기 위해 상기 등고선의 경계 사이를 서로 다른 컬러로 입력하는 단계를 포함하는 것을 특징으로 한다.In addition, in order to achieve the above object, the time series data fingerprinting and image deep learning analysis method according to the present invention is a deep learning analysis method for fingerprinting and imaging time series data for product defect detection, (a) product production equipment Sensing a plurality of positions or temperatures, (b) acquiring the data sensed in the step (a) as time-series process data, (c) the position of the measurement pointer of each data acquired in the step (b) setting a circular template with concentric circles having different diameters to correspond to, (d) showing the measured values of each measurement position on the circular template along the circumferential direction in a chronological order as a contour line as the time-series process data and (e) inputting different colors between the borders of the contour lines in order to clarify the boundaries of the contour lines created in step (d).

또 본 발명에 따른 시계열 데이터 지문화 및 이미지 딥러닝 분석 방법에서, 상기 단계 (d)에서 등고선의 작성은 취득된 시계열 데이터를 원형의 템플릿의 원주방향을 x축으로 하고, r 방향으로 각 시점의 위치 또는 온도 값을 도시하여 지문 형상의 등고선으로 작성하는 것을 특징으로 한다.In addition, in the time series data fingerprinting and image deep learning analysis method according to the present invention, the creation of contour lines in step (d) takes the obtained time series data in the circumferential direction of the circular template as the x axis, and in the r direction at each time point. It is characterized in that it is written as a contour line in the shape of a fingerprint by showing the position or temperature value.

또 본 발명에 따른 시계열 데이터 지문화 및 이미지 딥러닝 분석 방법에서, 상기 단계 (d)에서 등고선의 작성은 각 공정에서 최대 사이클 타임을 기준으로 하여 360도가 회전하여 원점으로 돌아온 경우를 최대 사이클 타임으로 선정하고, 최대 사이클 타임에 못 미치는 데이터가 없는 부분은 0으로 선정하여 등고선을 작성하는 것을 특징으로 한다.In addition, in the time-series data fingerprinting and image deep learning analysis method according to the present invention, the creation of contour lines in step (d) is based on the maximum cycle time in each process rotates 360 degrees and returns to the origin as the maximum cycle time. It is characterized in that the contour line is created by selecting a portion with no data less than the maximum cycle time as 0.

상술한 바와 같이, 본 발명에 따른 시계열 데이터 지문화 및 이미지 딥러닝 분석 방법 및 분석 시스템에 의하면, 시계열적 공정 데이터를 이미지 데이터로 변환하는 이미지 변환부를 마련하는 것에 의해 광범위하고 각 데이터 포인 간 복잡한 상호관계를 해석하기 어려운 시계열 데이터를 직접적으로 딥러닝 분석에 이용할 수 있다는 효과가 얻어진다.As described above, according to the time series data fingerprinting and image deep learning analysis method and analysis system according to the present invention, by providing an image conversion unit that converts time series process data into image data, a wide range of complex interactions between data points The effect is that time series data, which is difficult to interpret relationships, can be directly used for deep learning analysis.

또 본 발명에 따른 시계열 데이터 지문화 및 이미지 딥러닝 분석 방법 및 분석 시스템에 의하면, 이미지 변환부에 의해 마련된 이미지 데이터는 시계열 공정데이터가 취득되는 모든 산업의 생산 공정에 공통적으로 적용될 수 있으며, 제품 생산 과정에서 양품/불량 판정의 정확도를 향상시킬 수 있다는 효과가 얻어진다.In addition, according to the time series data fingerprinting and image deep learning analysis method and analysis system according to the present invention, the image data prepared by the image conversion unit can be commonly applied to the production process of all industries in which the time series process data is acquired, and product production In the process, the effect of improving the accuracy of good/defective judgment is obtained.

도 1은 CNN(Convolutional Neural Network) 구조의 일 예를 나타내는 도면,
도 2는 본 발명에 따른 시계열 데이터 지문화 및 이미지 딥러닝 분석 시스템의 구성을 나타내는 블록도,
도 3은 본 발명에 따른 시계열 데이터 지문화 및 이미지 딥러닝 분석 방법을 설명하기 위한 흐름도,
도 4는 도 3에 도시된 원형 템플릿의 설정의 일 예를 설명하기 위한 도면,
도 5는 도 4에 의해 작성된 등고선에 컬러를 입력한 일 예를 나타내는 도면.1 is a diagram showing an example of a CNN (Convolutional Neural Network) structure;
2 is a block diagram showing the configuration of a time series data fingerprinting and image deep learning analysis system according to the present invention;
3 is a flowchart for explaining a time series data fingerprinting and image deep learning analysis method according to the present invention;
4 is a view for explaining an example of the setting of the circular template shown in FIG. 3;
FIG. 5 is a view showing an example of inputting a color to the contour line created in FIG. 4; FIG.

본 발명의 상기 및 그 밖의 목적과 새로운 특징은 본 명세서의 기술 및 첨부 도면에 의해 더욱 명확하게 될 것이다.The above and other objects and novel features of the present invention will become more apparent from the description of the present specification and accompanying drawings.

본원에서 사용하는 "딥러닝 모듈"은 CNN(Convolutional Neural Network) 구조를 기반으로 마련될 수 있으며, 이 CNN은 인공 신경 회로망(ANN, Artificial Neural Networks)의 일종으로, 인공 신경 회로망은 신경 뉴런(Neuron) 구조를 본따 만든 것으로 뉴런과 뉴런 사이의 시냅스(Synapse)의 연결 구조를 본따 패턴이나 알고리즘을 학습할 수 있도록 만들어진 망으로써, 도 1에 도시된 바와 같이, 입력층(Input Layer), 은닉층(Hidden Layer), 출력층(Output Layer) 형태를 기본으로 각 층의 방식에 따라 다양한 종류로 나눌 수 있다. 즉 CNN은 입력, 특징 추출, 특징을 위치변경이나 왜곡에 따라 변함이 없게 처리, 분류 및 출력하도록 구성된다.The "deep learning module" used herein may be prepared based on a Convolutional Neural Network (CNN) structure, which is a kind of Artificial Neural Networks (ANN), and the artificial neural network is a neural neuron (Neuron). ) structure, which is a network created to learn patterns or algorithms by imitating the neuron-to-synapse connection structure. As shown in FIG. 1, the input layer, the hidden layer (Hidden) Layer) and output layer type, it can be divided into various types according to the method of each layer. In other words, CNN is configured to process, classify, and output input, feature extraction, and feature unchanged according to position change or distortion.

또 본 발명에서 사용하는 용어 "등고선"은 지도상에서 지표면의 동일 해발고도점을 연결한 선과 같이, 원형 템플릿의 설정에 따라 감지부에서 감지된 시계열적 공정 데이터를 방사형으로 도시한 것을 의미한다.In addition, the term "contour line" used in the present invention means radially showing the time-series process data sensed by the sensing unit according to the setting of a circular template, such as a line connecting points of the same elevation of the earth's surface on a map.

한편, 본 발명에 따른 생산 제품 불량 검출을 위한 시계열 데이터 지문화 및 이미지 딥러닝 분석 방법 및 분석 시스템에서는 제품 생산 단계에서 각 공정 사이클에 대하여 복수의 위치에서 시계열적으로 측정된 다수의 공정 데이터를 방사형 템플릿에 등고선 형태로 도시하여 다수의 공정 데이터를 모두 포함하는 하나의 이미지 데이터로 변환하고, 이와 같이 변환된 이미지 데이터를 이용하여 CNN 기반 딥러닝 분석에 의해 제품의 양품/불량 판정에 적용할 수 있는 기법을 제공한다.On the other hand, in the time-series data fingerprinting and image deep learning analysis method and analysis system for product defect detection according to the present invention, a plurality of process data measured in time-series at a plurality of locations for each process cycle in the product production stage is radially It is shown in the form of contour lines on the template and converted into one image data that includes all of a number of process data, and using the converted image data, it can be applied to product good/defective judgment by CNN-based deep learning analysis. provides the technique.

또 본 발명의 공정데이터 지문화 이미지를 바탕으로 한 제품의 양품/불량 판정 방법은 시계열 데이터를 기준으로 생산제품의 양품/불량 판단을 적용하는 자동차, 전기전자, 조선 등 모든 분야에 적용이 가능하며, 본 발명의 기술 설명에서는 일 예로서 다이캐스팅 공정에서 취득된 공정데이터를 바탕으로 한 양품/불량 판정에 대해 기술한다.In addition, the product quality/defect determination method based on the process data fingerprinting image of the present invention can be applied to all fields such as automobiles, electric and electronics, shipbuilding, etc., where quality/defect determination of manufactured products is applied based on time series data. , In the technical description of the present invention, as an example, good/defective judgment based on process data acquired in the die casting process will be described.

따라서 본 발명에서는 시계열 공정데이터를 바탕으로 딥러닝 분석에 활용하기 위한 시계열 데이터 지문화 방법 및 이를 이용한 딥러닝 학습 엔진을 제공한다. 다이캐스팅 공정을 예로 들면 금형 내의 다양한 포인트에서 시계열 온도 데이터가 측정되며, 각 포인트에서 측정된 데이터들을 방사형 템플릿을 이용하여 데이터 포인트별로 지름이 다른 원 위에 데이터를 도시한 후, 이 데이터 내부에 등고선과 유사한 형태로 특정 컬러를 입력하면 지문과 유사한 형태의 이미지가 취득된다. 이러한 이미지를 통하여 CNN(Convolutional Neural Networks) 분석에 적용하면 생산 제품의 양품/불량 판정을 용이하게 고속으로 진행할 수 있다.Accordingly, the present invention provides a time series data fingerprinting method for use in deep learning analysis based on time series process data and a deep learning learning engine using the same. Taking the die casting process as an example, time-series temperature data is measured at various points in the mold, and the data measured at each point are plotted on a circle with different diameters for each data point using a radial template, and then inside this data, similar to a contour line When a specific color is input in the form, an image in a form similar to a fingerprint is obtained. If it is applied to CNN (Convolutional Neural Networks) analysis through these images, it is possible to easily and quickly determine good/defective products.

이하, 본 발명에 따른 실시 예를 도면에 따라서 설명한다.Hereinafter, an embodiment according to the present invention will be described with reference to the drawings.

또 이하 실시 예에서는 다이캐스팅 공정 데이터를 바탕으로 시계열 데이터 지문화 및 이미지 딥러닝 분석에 대해 설명한다.In addition, in the following embodiments, fingerprinting of time series data and image deep learning analysis will be described based on the die-casting process data.

도 2는 본 발명에 따른 시계열 데이터 지문화 및 이미지 딥러닝 분석 시스템의 구성을 나타내는 블록도이다.2 is a block diagram showing the configuration of a time series data fingerprinting and image deep learning analysis system according to the present invention.

본 발명에 따른 시계열 데이터 지문화 및 이미지 딥러닝 분석 시스템은 생산 제품 불량 검출을 위해 시계열 데이터를 지문화하고 이미지화하는 딥러닝 분석 시스템으로서, 도 2에 도시된 바와 같이, 제품 생산 기기의 복수의 위치 또는 온도를 감지하는 감지부(100), 상기 감지부(100)에서 감지된 데이터를 시계열적 공정 데이터로 취득하는 데이터 취득부(200), 상기 데이터 취득부(200)에서 취득된 시계열적 공정 데이터를 이미지 데이터로 변환하는 이미지 변환부(300)를 포함한다.The time series data fingerprinting and image deep learning analysis system according to the present invention is a deep learning analysis system for fingerprinting and imaging time series data for product defect detection, as shown in FIG. 2 , a plurality of locations of product production equipment Alternatively, the sensing unit 100 for sensing a temperature, the data acquiring unit 200 acquiring the data sensed by the sensing unit 100 as time-series process data, and time-series process data acquired by the data acquiring unit 200 and an image conversion unit 300 that converts to image data.

상기 감지부(100)는 생산 제품에 대해 불량 여부를 검출하기 위해 제품 생산에 관여되는 기기 또는 제품들의 위치, 온도, 회전, 진동, 전압, 전류, 토크 등을 감지하기 위한 감지 센서를 구비할 수 있다.The detection unit 100 may include a detection sensor for detecting the position, temperature, rotation, vibration, voltage, current, torque, etc. of devices or products involved in product production in order to detect whether the product is defective. have.

상기 데이터 취득부(200)는 일정 시간 내에 감지 센서에서 감지된 각각의 신호 값을 취득한다.The data acquisition unit 200 acquires each signal value detected by the detection sensor within a predetermined time.

예를 들어, 다이캐스팅 각 공정 사이클에서 금형의 각 포인트에서 온도의 시계열 데이터를 취득하는 경우, 취득되는 데이터의 개수는 데이터 취득 샘플링 레이트에 따라 달라지지만, 대략 20초의 공정시간 및 50Hz의 샘플링 레이트를 가정하면 각 데이터 취득 포인트 당 1000개의 입력이 취득된다. For example, when acquiring time series data of temperature at each point of the mold in each process cycle of die casting, the number of acquired data depends on the data acquisition sampling rate, but assume a process time of approximately 20 seconds and a sampling rate of 50 Hz Then, 1000 inputs are acquired for each data acquisition point.

이때, 데이터를 7개의 포인트에서 취득된다고 가정하면, 입력으로 이용되는 데이터는 7,000개로 상당히 과도한 양의 입력이 주어지게 된다. 또한, 실제 공정에서는 공정 데이터의 시간에 따른 추세 및 최대, 최소 또는 다른 데이터 포인트와의 상대적인 관계가 중요하기 때문에 7,000개 데이터의 상대적인 관계 등이 적절하게 학습 되어 양품/불량을 판단할 수 있는 딥러닝 엔진 학습에는 상당한 난이도가 따른다.At this time, assuming that data is acquired at 7 points, the number of data used as input is 7,000, which is a fairly excessive amount of input. In addition, in the actual process, since the time-dependent trend of process data and the relative relationship with the maximum, minimum, or other data points are important, the relative relationship of 7,000 data is properly learned and deep learning that can judge good or bad products. Engine learning comes with considerable difficulty.

따라서 본 발명에서는 상기 데이터 취득부(200)에서 취득된 데이터베이스를 바탕으로 지문 형태로 공정 사이클의 정보를 담고 있는 특정 이미지 데이터로 변환한 뒤, 이 이미지를 딥러닝 CNN 분석을 통하여 양품/불량을 판단하는 방법을 제공한다. Therefore, in the present invention, based on the database acquired by the data acquisition unit 200, it is converted into specific image data containing information of the process cycle in the form of a fingerprint, and then the image is judged good/defective through deep learning CNN analysis. provides a way to

상기 이미지 변환부(300)는 도 2에 도시된 바와 같이, 원형 템플릿의 설정에 따라 시계열적 공정 데이터를 도시하는 등고선 작성부(310)와 상기 등고선 작성부(310)에 의해 작성된 등고선의 경계를 명확하게 하기 위해 등고선의 경계 사이를 서로 다른 컬러로 입력하는 컬러 입력부(320)를 포함한다.As shown in FIG. 2 , the image conversion unit 300 includes a contour line creation unit 310 showing time-series process data according to the setting of a circular template and a contour line created by the contour line creation unit 310. For clarity, a color input unit 320 for inputting different colors between contour boundaries is included.

상기 원형 템플릿은 상기 데이터 취득부(200)에서 취득된 각 데이터의 측정 포인터의 위치에 대응하도록 지름이 서로 다른 동심원으로 이루어지고, 상기 등고선 작성부(310)는 원형의 템플릿에 각 측정 위치의 측정값을 시계열 순서에 따라 원주 방향을 따라 도시하는 방식으로 시계열적 공정 데이터를 이미지 데이터로 변환시킨다.The circular template is made of concentric circles having different diameters to correspond to the positions of the measurement pointers of each data acquired by the data acquisition unit 200, and the contour line creation unit 310 measures each measurement position on the circular template. Time-series process data is converted into image data in a manner in which values are plotted along the circumferential direction in time-series order.

상기 등고선 작성부(310)는 각 측정 위치의 시계열적 공정 데이터를 폐곡선으로 연결한다. 즉 등고선 작성부(310)는 상기 데이터 취득부(200)에서 취득된 시계열 데이터를 상기 원형의 템플릿의 원주방향을 x축으로 하고, r 방향으로 각 시점의 위치 또는 온도 값을 도시하여 지문 형상의 등고선을 작성한다.The contour line creation unit 310 connects the time-series process data of each measurement position with a closed curve. That is, the contour line creation unit 310 uses the time series data acquired by the data acquisition unit 200 as the x-axis in the circumferential direction of the circular template, and by plotting the position or temperature value of each viewpoint in the r direction to form a fingerprint shape. Create contour lines.

또 상기 등고선 작성부(310)는 각 공정별로 사이클 타임이 다를 수 있으므로, 최대 사이클 타임을 기준으로 하여 360도가 회전하여 원점으로 돌아온 경우를 최대 사이클 타임으로 선정을 하고, 최대 사이클 타임에 못 미치는 데이터가 없는 부분은 0으로 선정하여 등고선을 작성한다.In addition, since the contour line creation unit 310 may have a different cycle time for each process, a case in which 360 degrees is rotated and returned to the origin based on the maximum cycle time is selected as the maximum cycle time, and data that is less than the maximum cycle time A contour line is created by selecting 0 for the part where there is no .

상기 컬러 입력부(320)는 상기 등고선 작성부(310)에 의해 작성된 폐곡선의 각각의 내부 면적 또는 서로 이웃하는 폐곡선 사이의 면적을 서로 다른 컬러로 입력하여 이미지 데이터를 생성하는 것에 의해 분리경계가 명확하게 된다.The color input unit 320 inputs each inner area of the closed curve created by the contour line creation unit 310 or the area between neighboring closed curves in different colors to generate image data, so that the separation boundary is clearly defined. do.

상기 이미지 변환부(300)에서 작성된 이미지 데이터는 도 2에 도시된 바와 같이, 제품 생산 기기에서 생산된 제품의 양부 판단을 하기 위한 딥러닝 분석을 위한 학습부(400)에 적용되며, 학습부(400)의 학습 결과는 진단부(500)로 출력되어 생산제품의 양품/불량 판단에 사용된다.The image data created by the image conversion unit 300 is applied to the learning unit 400 for deep learning analysis for determining the quality of a product produced by a product production device, as shown in FIG. 2 , and the learning unit ( The learning result of 400) is output to the diagnosis unit 500 and is used to determine whether the product is good or bad.

다음에 본 발명에 따른 시계열 데이터 지문화 및 이미지 딥러닝 분석 방법에 대해 도 3 내지 도 5에 따라 설명한다.Next, a time series data fingerprinting and image deep learning analysis method according to the present invention will be described with reference to FIGS. 3 to 5 .

도 3은 본 발명에 따른 시계열 데이터 지문화 및 이미지 딥러닝 분석 방법을 설명하기 위한 흐름도이고, 도 4는 도 3에 도시된 원형 템플릿의 설정의 일 예를 설명하기 위한 도면이며, 도 5는 도 4에 의해 작성된 등고선에 컬러를 입력한 일 예를 나타내는 도면이다.3 is a flowchart for explaining a method for fingerprinting time-series data and image deep learning analysis according to the present invention, FIG. 4 is a diagram for explaining an example of the setting of the circular template shown in FIG. 3, and FIG. It is a diagram showing an example of inputting a color to the contour line created by 4 .

본 발명에 따른 시계열 데이터 지문화 및 이미지 딥러닝 분석 방법은 생산 제품 불량 검출을 위해 시계열 데이터를 지문화하고 이미지화하는 딥러닝 분석 방법으로서, 도 3에 도시된 바와 같이, 제품 생산 기기 예를 들어, 다이캐스팅 각 공정 사이클에서 금형의 각 포인트에서 온도를 감지한다(S10). 그러나 이에 한정되는 것은 아니고, 제품 생산에 관여되는 기기 또는 제품들의 위치, 온도, 회전, 진동, 전압, 전류, 토크 등을 감지할 수도 있다.The time series data fingerprinting and image deep learning analysis method according to the present invention is a deep learning analysis method for fingerprinting and imaging time series data for product defect detection, as shown in FIG. 3 , a product production device, for example, In each die casting process cycle, the temperature is sensed at each point of the mold (S10). However, the present invention is not limited thereto, and the position, temperature, rotation, vibration, voltage, current, torque, etc. of devices or products involved in product production may be sensed.

이어서, 상기 단계 S10에서 감지된 데이터를 시계열적 공정 데이터로 취득하는 단계(S20),Subsequently, acquiring the data sensed in step S10 as time-series process data (S20),

다음에, 상기 단계 S20에서 취득된 각 데이터의 측정 포인터의 위치에 대응하도록 이미지 변환부(300)의 등고선 작성부(310)는 지름이 서로 다른 동심원으로 원형 템플릿을 설정한다(S30). 즉 도 4에 도시된 바와 같이, 시계열 노드 점과 측정 위치별 원형 템플릿을 작성한다. 한편, 원형 템플릿은 컬러 입력부(320)에서의 입력을 위해 도 4에 도시된 바와 같이, 각각의 동심원을 서로 다른 색으로 설정할 수도 있다. Next, the contour line creation unit 310 of the image conversion unit 300 sets a circular template with concentric circles having different diameters to correspond to the position of the measurement pointer of each data acquired in step S20 (S30). That is, as shown in FIG. 4 , a circular template for each time series node point and measurement position is created. Meanwhile, in the circular template, as shown in FIG. 4 , for input from the color input unit 320 , each concentric circle may be set to a different color.

다음에 등고선 작성부(310)는 상기 단계 S30에서 설정된 상기 원형의 템플릿에 각 측정 위치의 측정값을 시계열 순서에 따라 원주 방향을 따라 도시하는 방식으로 상기 시계열적 공정 데이터로 등고선을 작성하여 이미지로 변환한다(S40).Next, the contour line creation unit 310 creates a contour line with the time-series process data in a manner that shows the measured values of each measurement position along the circumferential direction in a time-series order on the circular template set in the step S30, and creates an image. converted (S40).

즉, 상기 등고선 작성부(310)는 각 데이터 측정 포인터별로 고유의 지름을 가진 원형 템플릿을 설정한 뒤에 데이터 취득부(200)에서 취득된 시계열 데이터를 원의 원주방향을 x축으로 가정하여 r 방향으로 각 시점의 온도 값들을 원형 템플릿 상에 도시한다. 이때 각 공정별로 사이클 타임이 다를 수 있으므로, 상기 등고선 작성부(310)는 최대 사이클 타임을 기준으로 하여 360도가 회전하여 원점으로 돌아온 경우를 최대 사이클 타임으로 선정을 하고, 최대 사이클 타임에 못 미치는 데이터가 없는 부분은 0으로 선정한다. That is, the contour line creation unit 310 sets a circular template having a unique diameter for each data measurement pointer and then sets the time series data acquired by the data acquisition unit 200 in the r direction assuming that the circumferential direction of the circle is the x axis. The temperature values at each time point are plotted on a circular template. At this time, since the cycle time may be different for each process, the contour line creation unit 310 selects the case where it rotates 360 degrees based on the maximum cycle time and returns to the origin as the maximum cycle time, and data less than the maximum cycle time The part without '0' is selected.

이런 과정을 모든 데이터 측정 포인트에 대해서 적용을 하면 등고선 형태로 각 데이터 포인트가 모두 표현이 된 이미지가 취득된다. If this process is applied to all data measurement points, an image in which each data point is expressed in the form of a contour line is obtained.

계속해서 상기 단계 S40에서 작성된 등고선의 경계를 명확하게 하기 위해 도 5에 도시된 바와 같이, 컬러 입력부(320)가 상기 등고선의 경계 사이를 서로 다른 컬러로 입력한다(S50).5 , the color input unit 320 inputs different colors between the borders of the contour lines as shown in FIG. 5 in order to clarify the boundaries of the contour lines created in step S40 (S50).

상술한 바와 같이, 등고선 작성부(310)에서 취득된 이미지의 분리경계를 명확하기 위하여 도 5에 도시된 바와 같이, 서로 다른 컬러로 등고선 이미지 경계의 내부를 채워주면 학습부(400)에서 CNN 분석에 이용할 수 있는 이미지가 취득된다. As described above, in order to clarify the separation boundary of the image acquired by the contour line creation unit 310, as shown in FIG. 5, if the inside of the contour image boundary is filled with different colors, the CNN analysis in the learning unit 400 An image that can be used for

따라서 진단부(500)에서는 이 컬러 이미지를 CNN 알고리즘을 이용하여 양품/불량 판정에 이용할 수 있다.Therefore, the diagnosis unit 500 may use this color image for good/defective determination using a CNN algorithm.

상술한 바와 같이, 본 발명에 따른 생산 제품 불량 검출을 위한 시계열 데이터 지문화 및 이미지 딥러닝 분석 방법 및 분석 시스템에서는 측정 위치별로 지름이 다른 동심원 형태의 원형 템플릿 상에 원주 방향을 따라 각 측정 위치별로 시계열 공정 데이터를 도시하여 이미지 데이터로 변환하는 방식을 마련하므로, 측정 위치의 수나 샘플링 레이트가 증가하는 경우에도 원형 템플릿의 수를 증가시키거나 원주 방향의 노드점을 증가시키는 것에 의하여 사이클당 전체 공정 데이터를 하나의 이미지로 변환할 수 있다.As described above, in the time-series data fingerprinting and image deep learning analysis method and analysis system for detecting product defects according to the present invention, each measurement position is performed at each measurement position along the circumferential direction on a circular template in the form of concentric circles with different diameters for each measurement position. Since a method of converting time series process data into image data is provided, even if the number of measurement positions or sampling rate increases, the total process data per cycle by increasing the number of circular templates or increasing the node points in the circumferential direction can be converted into a single image.

이상 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.Although the invention made by the present inventors has been described in detail according to the above embodiments, the present invention is not limited to the above embodiments and various modifications can be made without departing from the gist of the present invention.

본 발명에 따른 생산 제품 불량 검출을 위한 시계열 데이터 지문화 및 이미지 딥러닝 분석 방법 및 분석 시스템을 사용하는 것에 의해 제품 생산 과정에서 양품/불량 판정의 정확도를 향상시킬 수 있다.By using the time-series data fingerprinting and image deep learning analysis method and analysis system for product defect detection according to the present invention, it is possible to improve the accuracy of good/defective determination in the product production process.

100 : 감지부
200 : 데이터 취득부
300 : 이미지 변환부
400 : 학습부
500 : 진단부100: sensing unit
200: data acquisition unit
300: image conversion unit
400: study
500: diagnostic unit

Claims (9)

생산 제품 불량 검출을 위해 시계열 데이터를 지문화하고 이미지화하는 딥러닝 분석 시스템으로서,
제품 생산 기기의 복수의 위치 또는 온도를 감지하는 감지부,
상기 감지부에서 감지된 데이터를 시계열적 공정 데이터로 취득하는 데이터 취득부,
상기 데이터 취득부에서 취득된 시계열적 공정 데이터를 이미지 데이터로 변환하는 이미지 변환부를 포함하고,
상기 이미지 변환부는 원형 템플릿의 설정에 따라 상기 시계열적 공정 데이터를 도시하는 등고선 작성부와 상기 등고선 작성부에 의해 작성된 등고선의 경계를 명확하게 하기 위해 등고선의 경계 사이를 서로 다른 컬러로 입력하는 컬러 입력부를 포함하고,
상기 등고선 작성부는 상기 데이터 취득부에서 취득된 시계열 데이터를 상기 원형의 템플릿의 원주방향을 x축으로 하고, r 방향으로 각 시점의 위치 또는 온도 값을 도시하여 지문 형상의 등고선을 작성하는 것을 특징으로 하는 시계열 데이터 지문화 및 이미지 딥러닝 분석 시스템.As a deep learning analysis system that fingerprints and images time series data for product defect detection,
A sensing unit that detects a plurality of positions or temperatures of the product production device,
a data acquisition unit that acquires the data sensed by the sensing unit as time-series process data;
An image conversion unit for converting the time-series process data acquired by the data acquisition unit into image data,
The image conversion unit is a contour line creation unit showing the time-series process data according to the setting of a circular template and a color input for inputting different colors between the contour lines to clarify the boundary between the contour lines created by the contour line creation unit including wealth,
The contour line creation unit creates a contour line in the shape of a fingerprint by using the time series data obtained in the data acquisition unit as the x-axis in the circumferential direction of the circular template, and by plotting the position or temperature value of each viewpoint in the r direction. Time series data fingerprinting and image deep learning analysis system. 제1항에서,
상기 원형 템플릿은 상기 데이터 취득부에서 취득된 각 데이터의 측정 포인터의 위치에 대응하도록 지름이 서로 다른 동심원으로 이루어지고,
상기 등고선 작성부는 상기 원형의 템플릿에 각 측정 위치의 측정값을 시계열 순서에 따라 원주 방향을 따라 도시하는 방식으로 상기 시계열적 공정 데이터를 이미지 데이터로 변환하는 것을 특징으로 하는 시계열 데이터 지문화 및 이미지 딥러닝 분석 시스템.In claim 1,
The circular template is made of concentric circles with different diameters to correspond to the positions of the measurement pointers of each data acquired by the data acquisition unit,
Time-series data fingerprinting and image deep, characterized in that the contour line creation unit converts the time-series process data into image data in such a way that the measured values of each measurement position are shown along the circumferential direction in the time-series order on the circular template Running analysis system. 제2항에서,
상기 등고선 작성부는 각 측정 위치의 시계열적 공정 데이터를 폐곡선으로 연결하고,
상기 컬러 입력부는 상기 폐곡선의 각각의 내부 면적 또는 서로 이웃하는 폐곡선 사이의 면적을 서로 다른 컬러로 입력하여 이미지 데이터를 생성하는 것을 특징으로 하는 시계열 데이터 지문화 및 이미지 딥러닝 분석 시스템.In claim 2,
The contour line creation unit connects the time-series process data of each measurement position with a closed curve,
Time series data fingerprinting and image deep learning analysis system, characterized in that the color input unit generates image data by inputting each inner area of the closed curve or the area between neighboring closed curves in different colors. 제1항에서,
상기 이미지 데이터는 상기 제품 생산 기기에서 생산된 제품의 양부 판단을 하기 위한 딥러닝 분석을 위한 학습부에 적용되는 것을 특징으로 하는 시계열 데이터 지문화 및 이미지 딥러닝 분석 시스템.In claim 1,
The image data is a time series data fingerprinting and image deep learning analysis system, characterized in that it is applied to the learning unit for deep learning analysis for determining the quality of the product produced by the product production device. 삭제delete 제3항에서,
상기 등고선 작성부는 각 공정별로 사이클 타임이 다를 수 있으므로 최대 사이클 타임을 기준으로 하여 360도가 회전하여 원점으로 돌아온 경우를 최대 사이클 타임으로 선정을 하고, 최대 사이클 타임에 못 미치는 데이터가 없는 부분은 0으로 선정하여 등고선을 작성하는 것을 특징으로 하는 시계열 데이터 지문화 및 이미지 딥러닝 분석 시스템.In claim 3,
Since the cycle time may be different for each process, the contour line creation unit selects the case where it rotates 360 degrees based on the maximum cycle time and returns to the origin as the maximum cycle time, and the part without data less than the maximum cycle time is set to 0. Time series data fingerprinting and image deep learning analysis system, characterized in that selecting and creating contour lines. 생산 제품 불량 검출을 위해 시계열 데이터를 지문화하고 이미지화하는 딥러닝 분석 방법으로서,
(a) 제품 생산 기기의 복수의 위치 또는 온도를 감지하는 단계,
(b) 상기 단계 (a)에서 감지된 데이터를 시계열적 공정 데이터로 취득하는 단계,
(c) 상기 단계 (b)에서 취득된 각 데이터의 측정 포인터의 위치에 대응하도록 지름이 서로 다른 동심원으로 원형 템플릿을 설정하는 단계,
(d) 상기 원형의 템플릿에 각 측정 위치의 측정값을 시계열 순서에 따라 원주 방향을 따라 도시하는 방식으로 상기 시계열적 공정 데이터로 등고선을 작성하는 단계,
(e) 상기 단계 (d)에서 작성된 등고선의 경계를 명확하게 하기 위해 상기 등고선의 경계 사이를 서로 다른 컬러로 입력하는 단계를 포함하고,
상기 단계 (d)에서 등고선의 작성은 취득된 시계열 데이터를 원형의 템플릿의 원주방향을 x축으로 하고, r 방향으로 각 시점의 위치 또는 온도 값을 도시하여 지문 형상의 등고선으로 작성하는 것을 특징으로 하는 시계열 데이터 지문화 및 이미지 딥러닝 분석 방법.A deep learning analysis method for fingerprinting and imaging time-series data for product defect detection,
(a) sensing a plurality of positions or temperatures of the product production device;
(b) acquiring the data sensed in step (a) as time-series process data;
(c) setting a circular template with concentric circles having different diameters to correspond to the position of the measurement pointer of each data acquired in step (b);
(d) creating a contour line with the time-series process data in such a way that the measured values of each measurement position are plotted along the circumferential direction in the time-series order on the circular template;
(e) inputting different colors between the borders of the contour lines to clarify the boundaries of the contour lines created in step (d),
In step (d), the contour line is created as a contour line in the shape of a fingerprint by using the obtained time series data as the x-axis in the circumferential direction of the circular template, and by plotting the position or temperature value at each time point in the r direction. Time series data fingerprinting and image deep learning analysis method. 삭제delete 제7항에서,
상기 단계 (d)에서 등고선의 작성은 각 공정에서 최대 사이클 타임을 기준으로 하여 360도가 회전하여 원점으로 돌아온 경우를 최대 사이클 타임으로 선정하고, 최대 사이클 타임에 못 미치는 데이터가 없는 부분은 0으로 선정하여 등고선을 작성하는 것을 특징으로 하는 시계열 데이터 지문화 및 이미지 딥러닝 분석 방법.
In claim 7,
In step (d) above, when the contour line is created based on the maximum cycle time in each process, the case where it rotates 360 degrees and returns to the origin is selected as the maximum cycle time, and the part with no data less than the maximum cycle time is selected as 0 Time series data fingerprinting and image deep learning analysis method, characterized in that to create a contour line.
KR1020190156472A 2019-11-29 2019-11-29 Time series data fingerprinting and image deep learning analysis methods for product defect detection KR102261941B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190156472A KR102261941B1 (en) 2019-11-29 2019-11-29 Time series data fingerprinting and image deep learning analysis methods for product defect detection

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190156472A KR102261941B1 (en) 2019-11-29 2019-11-29 Time series data fingerprinting and image deep learning analysis methods for product defect detection

Publications (1)

Publication Number Publication Date
KR102261941B1 true KR102261941B1 (en) 2021-06-08

Family

ID=76399333

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190156472A KR102261941B1 (en) 2019-11-29 2019-11-29 Time series data fingerprinting and image deep learning analysis methods for product defect detection

Country Status (1)

Country Link
KR (1) KR102261941B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005133115A (en) * 2003-10-28 2005-05-26 Nippon Steel Corp Method, apparatus and computer program for monitoring operation of blast furnace
JP2006106870A (en) * 2004-09-30 2006-04-20 Toshiba Corp Process management device
KR101818394B1 (en) 2017-05-11 2018-01-12 울산대학교 산학협력단 Method and apparatus for diagnosing facility condition
KR20190027237A (en) 2017-09-06 2019-03-14 주식회사 씨티아이랩 System Anomaly Behavior Analysis Technology based on Deep Learning Using Imaged Data
KR20190067441A (en) * 2017-12-07 2019-06-17 한국생산기술연구원 Fault Diagnosis System and Method For Rotating Device Using Deep Learning and Wavelet Transform

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005133115A (en) * 2003-10-28 2005-05-26 Nippon Steel Corp Method, apparatus and computer program for monitoring operation of blast furnace
JP2006106870A (en) * 2004-09-30 2006-04-20 Toshiba Corp Process management device
KR101818394B1 (en) 2017-05-11 2018-01-12 울산대학교 산학협력단 Method and apparatus for diagnosing facility condition
KR20190027237A (en) 2017-09-06 2019-03-14 주식회사 씨티아이랩 System Anomaly Behavior Analysis Technology based on Deep Learning Using Imaged Data
KR20190067441A (en) * 2017-12-07 2019-06-17 한국생산기술연구원 Fault Diagnosis System and Method For Rotating Device Using Deep Learning and Wavelet Transform
KR101998559B1 (en) 2017-12-07 2019-07-10 한국생산기술연구원 Fault Diagnosis System For Rotating Device Using Deep Learning and Wavelet Transform

Similar Documents

Publication Publication Date Title
Jiang et al. HDCB-Net: A neural network with the hybrid dilated convolution for pixel-level crack detection on concrete bridges
CN108444708B (en) Method for establishing rolling bearing intelligent diagnosis model based on convolutional neural network
EP3776462B1 (en) System and method for image-based target object inspection
CN111695598B (en) Monitoring data abnormity diagnosis method based on generation countermeasure network
CN108195841A (en) Vibration environment injection mold exception defect inspection method based on GFV-SIFT features
US20190360942A1 (en) Information processing method, information processing apparatus, and program
JP4776259B2 (en) Pattern evaluation method, pattern alignment method, and program
KR102417415B1 (en) Die-casting product defect detection method and system based on deep learning anomaly detection
CN113361944B (en) Safe production index abnormity rapid sensing method based on Internet of things and artificial intelligence
CN111539152A (en) Rolling bearing fault self-learning method based on two-stage twin convolutional neural network
CN112734750B (en) Tank cover visual detection and positioning method and system, medium and device
CN112304611A (en) Deep learning-based bearing fault diagnosis method
CN114088400B (en) Rolling bearing fault diagnosis method based on envelope permutation entropy
CN117668518B (en) Discrete intelligent manufacturing method and system
KR102261941B1 (en) Time series data fingerprinting and image deep learning analysis methods for product defect detection
Cho et al. Quality-discriminative localization of multisensor signals for root cause analysis
CN111539951B (en) Visual detection method for outline size of ceramic grinding wheel head
KR102558232B1 (en) Space filling curve transformation method and system for deep learning analysis of manufacturing time series data
CN110320802B (en) Complex system signal time sequence identification method based on data visualization
CN117095236A (en) Method and system for evaluating test accuracy of blade root wheel groove
Zhou et al. Prior Knowledge-Augmented Meta-Learning for Fine-Grained Fault Diagnosis
CN116452493A (en) Method for detecting defects in a shaped metal part
CN116188445A (en) Product surface defect detection and positioning method and device and terminal equipment
Eguchi et al. Interactive Visual Inspection of a Rough-Alignment Plastic Part Based on HLAC Features and One-Class SVM
Raj et al. Vision based feature diagnosis for automobile instrument cluster using machine learning

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant