KR102558232B1 - Space filling curve transformation method and system for deep learning analysis of manufacturing time series data - Google Patents
Space filling curve transformation method and system for deep learning analysis of manufacturing time series data Download PDFInfo
- Publication number
- KR102558232B1 KR102558232B1 KR1020200145182A KR20200145182A KR102558232B1 KR 102558232 B1 KR102558232 B1 KR 102558232B1 KR 1020200145182 A KR1020200145182 A KR 1020200145182A KR 20200145182 A KR20200145182 A KR 20200145182A KR 102558232 B1 KR102558232 B1 KR 102558232B1
- Authority
- KR
- South Korea
- Prior art keywords
- data
- curve
- space filling
- deep learning
- image
- Prior art date
Links
- 238000013135 deep learning Methods 0.000 title claims abstract description 60
- 238000004458 analytical method Methods 0.000 title claims abstract description 50
- 238000004519 manufacturing process Methods 0.000 title claims description 40
- 238000011426 transformation method Methods 0.000 title 1
- 238000000034 method Methods 0.000 claims abstract description 84
- 238000006243 chemical reaction Methods 0.000 claims abstract description 67
- 230000008569 process Effects 0.000 claims description 43
- 238000004512 die casting Methods 0.000 claims description 16
- 238000003860 storage Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 3
- 230000002950 deficient Effects 0.000 abstract description 18
- 230000002708 enhancing effect Effects 0.000 abstract description 2
- 238000013527 convolutional neural network Methods 0.000 description 18
- 238000005516 engineering process Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000013473 artificial intelligence Methods 0.000 description 6
- 238000005266 casting Methods 0.000 description 6
- 238000005070 sampling Methods 0.000 description 6
- 230000007547 defect Effects 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- 239000000090 biomarker Substances 0.000 description 4
- 238000013136 deep learning model Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000001965 increasing effect Effects 0.000 description 4
- 241000282326 Felis catus Species 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 238000010438 heat treatment Methods 0.000 description 3
- 206010000117 Abnormal behaviour Diseases 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000002347 injection Methods 0.000 description 2
- 239000007924 injection Substances 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000035772 mutation Effects 0.000 description 2
- 230000000704 physical effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 229910000831 Steel Inorganic materials 0.000 description 1
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005495 investment casting Methods 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000002844 melting Methods 0.000 description 1
- 230000008018 melting Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000013450 outlier detection Methods 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000010959 steel Substances 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- G06T3/0031—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0004—Industrial image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
- Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
- Y02P90/30—Computing systems specially adapted for manufacturing
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- General Factory Administration (AREA)
Abstract
특정한 이미지 변환 기법을 이용하여 시계열 데이터의 정보가 공간상에 특정한 토폴로지(topology)적 성격을 가지고 상관관계를 갖도록 변환하여 딥러닝의 활용성을 높이기 위한 공간 충전 곡선 변환 방법 및 시스템에 관한 것으로, a) 각 공정 데이터에서 양품의 데이터만 선별적으로 학습하도록 딥러닝 분석 알고리즘을 적용하여 시계열 공정 데이터를 마련하는 단계, (b) 정보 저장률의 극대화 및 데이터 간의 상관관계 정보를 용이하게 해석하기 위해 시계열 데이터를 공간 충전 프랙탈 곡선 변환을 통하여 이미지 데이터로 변환하는 단계, (c) 상기 공간 충전 프랙탈 곡선으로 형성된 이미지를 기반으로 딥러닝 CNN 분석을 적용하여 제품의 양품/불량을 판정하는 단계를 포함하는 구성을 마련하여, 상호관계를 해석하기 힘든 시계열 데이터를 공간 충전 곡선으로 변환하여 딥러닝 분석에 이용할 수 있다.It relates to a space filling curve conversion method and system for enhancing the utilization of deep learning by converting information of time series data to have a specific topological character in space and to have a correlation using a specific image conversion technique. and (c) applying deep learning CNN analysis based on the image formed by the space filling fractal curve to determine good/defective quality of the product. Time series data for which it is difficult to interpret correlations can be converted into space filling curves and used for deep learning analysis.
Description
본 발명은 제조업 현장에서 얻어지는 시계열 데이터 딥러닝 분석을 위한 공간 충전 곡선 변환 방법 및 시스템에 관한 것으로, 특히 특정한 이미지 변환 기법을 이용하여 시계열 데이터의 정보가 공간상에 특정한 토폴로지(topology)적 성격을 가지고 상관관계를 갖도록 변환하여 딥러닝의 활용성을 높이기 위한 공간 충전 곡선 변환 방법 및 시스템에 관한 것이다.The present invention relates to a space filling curve conversion method and system for deep learning analysis of time series data obtained at a manufacturing site, and more particularly, to a space filling curve conversion method and system for enhancing the utilization of deep learning by converting information of time series data to have a specific topological characteristic and correlation using a specific image conversion technique.
최근, 딥러닝을 포함한 머신 러닝 기술을 매우 빠르게 발전하고 있지만 실제 산업 인공지능 기술의 제조업 현장 활용은 매우 더디게 진행되고 있다. 이것은 제조업 현장에서 얻어지는 데이터의 고유한 특성에 기인한다. 즉, 양품/불량 비율의 극단적 비대칭성, 레이블링 되어있는 양질의 제조 데이터 희귀성, 양품/불량 구분의 모호성, 시계열 데이터의 방대성의 고유한 특성에 기인한다.Recently, machine learning technologies, including deep learning, are developing very rapidly, but the actual use of industrial artificial intelligence technology in manufacturing sites is progressing very slowly. This is due to the unique characteristics of data obtained from manufacturing sites. In other words, it is due to the unique characteristics of extreme asymmetry of the good/defective ratio, the rarity of labeled manufacturing data, the ambiguity of good/defective classification, and the vastness of time-series data.
이와 같은 딥러닝 기술은 이미지 분석, 자연어 처리, 스마트 팩토리 등 다양한 분야에 이용되고 있다. 특히, 기존의 딥러닝 분석은 시각 이미지 처리 및 활용에서 매우 뛰어난 성능을 보이고 있다. 스마트 팩토리 등 산업 분야 활용에서 제품의 제작 공정의 양품/불량을 검출하는 경우를 생각해보면, 온도, 압력, 전압, 전류 등 다양한 데이터들은 시계열의 형태를 보이고 있다. Such deep learning technology is used in various fields such as image analysis, natural language processing, and smart factories. In particular, the existing deep learning analysis shows excellent performance in visual image processing and utilization. Considering the case of detecting good/defective products in the manufacturing process in industrial applications such as smart factories, various data such as temperature, pressure, voltage, and current show a time series form.
한편, 다이캐스팅은 필요한 주조형상에 완전히 일치하도록 정확하게 기계 가공된 강제의 금형에 용해금속을 주입하여 금형과 동일한 주물을 얻는 정밀주조법으로, 아연·알루미늄·구리·마그네슘 및 이들의 합금 등 기계부품 주조에 다양하게 활용된다.On the other hand, die casting is a precision casting method in which molten metal is injected into a steel mold accurately machined to perfectly match the required casting shape to obtain a casting identical to that of the mold.
이러한 다이캐스팅 공정은 고생산성으로 제조비용이 저렴한 이점이 있으나 기계적 특성 및 열화에 의한 물성 저하 등의 단점이 있으므로, 최근에는 상술한 다이캐스팅 공정의 단점을 극복한 고효율, 고특성의 고진공 다이캐스팅 공정을 이용한 부품개발에 대한 연구가 이루어지고 있다.This die-casting process has the advantage of low manufacturing cost due to high productivity, but has disadvantages such as deterioration of mechanical properties and physical properties due to deterioration. Recently, research has been conducted on the development of parts using a high-efficiency, high-characteristic, high-vacuum die-casting process that overcomes the disadvantages of the above-mentioned die-casting process.
다이캐스팅 공정으로 주조시 주조부품의 품질에 영향을 미치는 주조공정 변수로 작용하는 조건으로는 일반적으로 용해온도, 주입온도, 사출압력 등이 있으므로, 각각의 조건을 최적화하는 것이 필요하다. 또 고진공 다이캐스팅에서는 주조 후 물성향상을 위한 열처리를 수행할 수 있기 때문에 여러 열처리조건에서 열처리변형 및 신율 향상을 위한 조건의 최적화가 필요하다.Conditions that act as casting process variables that affect the quality of cast parts during casting through the die casting process generally include melting temperature, injection temperature, and injection pressure, so it is necessary to optimize each condition. In addition, in high vacuum die casting, since heat treatment for improving physical properties can be performed after casting, it is necessary to optimize conditions for heat treatment deformation and elongation improvement under various heat treatment conditions.
이와 같은 다이캐스팅 공정 관리 기법은 측정된 공정데이터를 기준으로 6-sigma 등의 생산관리 기법을 적용하지만, 최근에는 공정데이터를 바탕으로 상술한 바와 같은 딥러닝 엔진을 이용한 양품/불량 판정을 진행하고 있다. Such a die-casting process management technique applies a production management technique such as 6-sigma based on measured process data, but recently, based on process data, good/defective products are judged using the deep learning engine as described above.
그러나 측정되는 공정의 시계열 데이터를 기준으로 양품/불량을 판단할 경우에는 공정데이터의 샘플링 비율에 따라 방대한 양의 공정데이터가 입력으로 적용되므로, 딥러닝 엔진의 학습 및 데이터 처리 결과의 정확도 상에서 문제점이 발생한다.However, when determining good/defective products based on the time series data of the measured process, a huge amount of process data is applied as input according to the sampling rate of the process data, causing problems in the accuracy of learning and data processing results of the deep learning engine.
이러한 기술의 일 예가 하기 문헌 1 내지 3 등에 개시되어 있다.One example of this technique is disclosed in Documents 1 to 3 below.
예를 들어, 하기 특허문헌 1에는 변이를 포함한 염기서열을 1차원 스트링, 2차원 이미지 또는 3차원 큐빅 형태의 변환데이터로 변환하고, 변환된 데이터를 임상정보(질병 혹은 표현형)와의 연관성을 활용하여, 인공지능 딥러닝을 통한 바이오마커 검출 방법으로서, 대상 개체군 유전체들의 염기서열 변이를 수집하는 단계, 수집된 염기서열에 이배수체 유전체의 변이가 반영된 변환데이터를 생성하는 단계, 생성된 상기 변환데이터로 인공지능 딥러닝 모델을 수행하는 단계, 상기 인공지능 딥러닝 모델을 통해 산출된 결과들이 연결된 네트워크(FCN: fully connected network)를 생성하는 단계와 상기 인공지능 딥러닝 모델을 통해 산출된 결과를 통하여 바이오마커를 산출하는 단계를 포함하는 인공지능 딥러닝 모델을 이용한 바이오마커 검출 방법에 대해 개시되어 있다.For example, in Patent Document 1 below, a base sequence containing mutations is converted into conversion data in the form of a one-dimensional string, a two-dimensional image, or a three-dimensional cubic, and a biomarker detection method through artificial intelligence deep learning using the association of the converted data with clinical information (disease or phenotype). A biomarker detection method using an artificial intelligence deep learning model is disclosed, which includes the steps of performing a deep learning model, generating a fully connected network (FCN) in which results calculated through the artificial intelligence deep learning model are connected, and calculating a biomarker through the result calculated through the artificial intelligence deep learning model.
또 하기 특허문헌 2에는 설비로부터 취득되는 데이터를 신호로 입력받는 단계, 상기 입력된 신호로부터 특징을 추출하여 특징 맵 이미지를 생성하는 단계 및 상기 생성된 특징 맵 이미지와 2차원 CNN을 기반으로 기학습된 특징 맵 이미지를 이용하여 설비 상태를 분류하는 단계를 포함하고, 상기 특징 맵 이미지를 생성하는 단계는 상기 입력된 신호로부터 부대역 신호를 추출하는 단계, 상기 추출된 부대역 신호로부터 특징값을 산출하는 단계, 상기 산출된 특징값의 행렬을 특징 맵 이미지로 변환하는 단계 및 상기 변환된 특징 맵 이미지를 상기 CNN의 입력 크기로 분할 및 정렬하고 벡터로 변환한 후, 상기 변환된 벡터의 중간 값을 상기 특징 맵 이미지에 대입하여 정규화하는 단계를 포함하는 설비 상태 진단방법에 대해 개시되어 있다.In addition, Patent Document 2 includes the steps of receiving data obtained from equipment as a signal, extracting features from the input signal to generate a feature map image, and classifying a facility state using the generated feature map image and a feature map image pre-learned based on a 2D CNN. Disclosed is a facility state diagnosis method comprising dividing and arranging the converted feature map image according to the input size of the CNN, converting the transformed vector into a vector, and substituting a median value of the converted vector into the feature map image for normalization.
한편, 하기 특허문헌 3에는 분석 대상 시스템의 상태와 관련된 분석 대상 데이터를 입력받는 입력부, 상기 입력된 분석 대상 데이터를 이미지 데이터로 변환하는 데이터 처리부, 그리고 상기 변환된 이미지 데이터를 입력받아 학습하고, 학습이 완료된 후 이미지 데이터로 변환된 분석 대상 데이터를 입력받아 상기 분석 대상 시스템의 이상 행위를 검출하거나 신경망부를 포함하는 데이터 이미지화를 이용한 이상 행위 분석 시스템에 대해 개시되어 있다.On the other hand, Patent Document 3 below discloses an input unit that receives analysis target data related to the state of the analysis target system, a data processing unit that converts the input analysis target data into image data, and receives and learns the converted image data, receives the analysis target data converted into image data after learning is completed, detects abnormal behavior of the analysis target system, or uses data imaging including a neural network unit.
상술한 바와 같은 특허문헌 1에 개시된 기술에서는 변이를 포함한 염기서열을 1차원 스트링, 2차원 이미지 또는 3차원 큐빅 형태의 변환데이터로 변환하고, 변환된 데이터를 임상정보와의 연관성을 활용하여, 인공지능 딥러닝을 통한 바이오마커를 검출하는 힐버트 커브의 생성 기술에 대해 개시되어 있지만, 설계된 선의 색깔, 두께 및 질감을 가지고 이미지 공간을 형성하지 못하므로, 제품의 품질을 모니터링하기 위해 압력, 온도를 시간에 따라 측정되는 데이터에 적용할 수 없다는 문제가 있었다.In the technology disclosed in Patent Document 1 as described above, a Hilbert curve generation technology for converting base sequences including mutations into conversion data in the form of a one-dimensional string, two-dimensional image, or three-dimensional cubic form, and detecting a biomarker through artificial intelligence deep learning by utilizing the converted data's correlation with clinical information is disclosed, but cannot form an image space with the color, thickness, and texture of a designed line, so pressure and temperature cannot be applied to data measured over time to monitor product quality There was a problem.
또 상기 특허문헌 2에 개시된 기술에서는 설비 등에서 취득한 데이터를 이미지로 변환하고, 변환된 이미지를 이용하여 딥러닝 분석에 의해 상기 설비 등의 이상 여부나 제품의 불량 여부를 판단하지만, 상기 특허문헌 2는 방대한 양의 공정데이터가 입력으로 적용되기 때문에 딥러닝 엔진의 학습 및 데이터 처리 결과의 정확도가 저하된다는 문제가 있었다.In addition, in the technology disclosed in Patent Document 2, data obtained from equipment, etc. is converted into an image, and the converted image is used to determine whether the equipment is abnormal or whether the product is defective by deep learning analysis. However, Patent Document 2 has a problem that the accuracy of learning and data processing results of the deep learning engine is lowered because a huge amount of process data is applied as input.
또한, 상기 특허문헌 3에서는 분석 대상 시스템의 상태와 관련된 분석 대상 데이터를 이미지화한 후 딥러닝 기반의 이미지 인식을 통해 분석 대상 시스템에서의 이상행위를 분류 및 인식하는 기술에 대해 개시되어 있지만, 상기 특허문헌 3에서도 방대한 양의 공정데이터가 입력으로 적용되기 때문에 딥러닝 엔진의 학습 및 데이터 처리 결과의 정확도가 저하된다는 문제가 있었다.In addition, Patent Document 3 discloses a technology for classifying and recognizing abnormal behavior in the system to be analyzed through deep learning-based image recognition after imaging the data to be analyzed related to the state of the system to be analyzed. However, Patent Document 3 also has a problem that the accuracy of learning and data processing results of the deep learning engine is lowered because a large amount of process data is applied as an input.
즉, 상술한 바와 같은 종래의 기술로서, 예를 들어 스마트형 공장에서 적용하고 있는 딥러닝 기반의 제품의 양품/불량 판단 방식의 경우, 공정 데이터 변수의 개수, 공정 데이터 측정 위치의 개수, 샘플링 레이트가 증가함에 따라 딥러닝 엔진에 입력되는 데이터의 양이 기하급수적으로 증가함으로써 학습의 속도 및 정확도가 저하되는 문제점이 있었다.That is, in the case of the conventional technology as described above, for example, in the case of a deep learning-based product quality/defect judgment method applied in a smart factory, the number of process data variables, the number of process data measurement locations, and the sampling rate increase. As the amount of data input to the deep learning engine increases exponentially, there is a problem in that the speed and accuracy of learning decrease.
예를 들어, 다이캐스팅 금형의 온도 데이터를 5개소에서 사이클 당 10회 샘플링하는 경우 1 사이클 당 50개의 공정 데이터가 입력되며, 이는 온도 데이터의 측정 위치의 수와 샘플링 레이트가 증가될 경우 입력 데이터는 급진적으로 방대(10개소에 대하여 사이클 당 500회 샘플링시 1 사이클 당 5000개의 입력 데이터 발생)해져 이와 같은 방대한 데이터의 처리를 위한 학습의 속도 및 정확도가 저하되는 문제점이 있었다.For example, when the temperature data of a die-casting mold is sampled 10 times per cycle at 5 locations, 50 process data are input per cycle, which means that when the number of measurement locations and sampling rate of the temperature data are increased, the input data is rapidly voluminous (when sampling 500 times per cycle for 10 locations, 5000 input data are generated per cycle), there is a problem in that the speed and accuracy of learning for processing such a large amount of data deteriorates.
본 발명의 목적은 상술한 바와 같은 문제점을 해결하기 위해 이루어진 것으로서, 제품의 생산 공정에서 생산된 제품의 품질과 관련된 변수가 시계열 데이터로 모니터링 되는 공정에서 활용되어 제품의 양품/불량을 딥러닝 기반으로 판단하는데 활용할 수 있는 공간 충전 곡선 변환 방법 및 시스템을 제공하는 것이다.An object of the present invention has been made to solve the above-described problems, and to provide a space filling curve conversion method and system that can be used to determine good/defective products based on deep learning by utilizing variables related to the quality of products produced in the production process to be monitored with time-series data.
본 발명의 다른 목적은 분석하고자 하는 데이터가 시계열의 형태를 띠는 다이캐스팅 생산 공정에서 제품의 품질을 모니터링하기 위해 압력, 온도를 시간에 따라 측정한 경우 측정된 데이터를 공간 충전 곡선으로 변환하여 활용할 수 있는 공간 충전 곡선 변환 방법 및 시스템을 제공하는 것이다.Another object of the present invention is to provide a space filling curve conversion method and system that can be used by converting the measured data into a space filling curve when pressure and temperature are measured over time to monitor product quality in a die casting production process in which the data to be analyzed takes the form of a time series.
본 발명의 또 다른 목적은 분석하고자 하는 데이터가 시계열의 형태를 띠는 금융 데이터의 경우 시간에 따른 가격의 변화 추이가 시계열의 형태를 띠고 있으므로, 금융 데이터의 미래 추이, 이상치 감지 등에 활용할 수 있는 공간 충전 곡선 변환 방법 및 시스템을 제공하는 것이다.Another object of the present invention is to provide a space filling curve conversion method and system that can be used for future trend of financial data, outlier detection, etc., since the trend of price change over time is in the form of a time series in the case of financial data in which the data to be analyzed is in the form of a time series.
상기 목적을 달성하기 위해 본 발명에 따른 공간 충전 곡선 변환 방법은 제조업 시계열 데이터 딥러닝 분석을 위한 공간 충전 곡선 변환 방법으로서, (a) 각 공정 데이터에서 양품의 데이터만 선별적으로 학습하도록 딥러닝 분석 알고리즘을 적용하여 시계열 공정 데이터를 마련하는 단계, (b) 정보 저장률의 극대화 및 데이터 간의 상관관계 정보를 용이하게 해석하기 위해 시계열 데이터를 공간 충전 프랙탈 곡선 변환을 통하여 이미지 데이터로 변환하는 단계, (c) 상기 공간 충전 프랙탈 곡선으로 형성된 이미지를 기반으로 딥러닝 CNN 분석을 적용하여 제품의 양품/불량을 판정하는 단계를 포함하는 것을 특징으로 한다.In order to achieve the above object, the space filling curve conversion method according to the present invention is a space filling curve conversion method for deep learning analysis of time series data in the manufacturing industry, comprising: (a) preparing time series process data by applying a deep learning analysis algorithm to selectively learn only good data from each process data; (b) converting time series data into image data through space filling fractal curve conversion to easily interpret correlation information between data and maximizing information storage rate; It is characterized by including the step of determining good/defective products by applying CNN analysis.
또 본 발명에 따른 공간 충전 곡선 변환 방법에서, 상기 단계 (b)에서 이미지 데이터의 변환은 상기 단계 (a)에서의 시계열 데이터를 "빨-주-노-초-파-남-보"의 그라데이션 컬러맵으로 작성하고, 상기 그라데이션 컬러맵에 대해 페아노 커브 또는 힐버트 커브 규칙에 따라 공간 충전 커브를 형성하는 것에 의해 실행되는 것을 특징으로 한다.In the space filling curve conversion method according to the present invention, the conversion of image data in step (b) is characterized in that the time series data in step (a) is created as a gradient color map of “red-week-yellow-second-blue-south-bow”, and a space filling curve is formed according to the Peano curve or Hilbert curve rule for the gradient color map.
또 본 발명에 따른 공간 충전 곡선 변환 방법에서, 상기 단계 (b)에서 프랙탈 곡선 변환은 프랙탈 차원, 프랙탈 라인의 색상, 프랙탈 라인의 진폭, 프랙탈 곡선 간의 위상 차이를 변화시켜 실행되는 것을 특징으로 한다.In the space filling curve conversion method according to the present invention, the fractal curve conversion in step (b) is performed by changing the fractal dimension, the color of the fractal line, the amplitude of the fractal line, and the phase difference between the fractal curves.
또한, 상기 목적을 달성하기 위해 본 발명에 따른 공간 충전 곡선 변환 시스템은 제조업 시계열 데이터 딥러닝 분석을 위한 공간 충전 곡선 변환 시스템으로서, 제품들의 위치, 온도, 회전, 진동, 전압, 전류 또는 토크 중의 어느 하나의 상태를 감지하는 감지부, 상기 감지부에서 감지된 데이터를 시계열적 공정 데이터로 취득하는 데이터 취득부, 상기 데이터 취득부에서 취득된 시계열적 공정 데이터를 이미지 데이터로 변환하는 이미지 변환부를 포함하고, 상기 이미지 변환부는 상기 시계열 데이터를 공간 충전 프랙탈 곡선으로 변환하는 것을 특징으로 한다.In order to achieve the above object, a space charge curve conversion system according to the present invention is a space charge curve conversion system for deep learning analysis of time-series data in a manufacturing industry, comprising: a sensor for detecting any one of the position, temperature, rotation, vibration, voltage, current, or torque of products; a data acquisition unit for acquiring data sensed by the sensor as time-series process data; and an image converter for converting the time-series process data obtained from the data acquisition unit into image data. The image converter converts the time-series data into a space charge fractal curve characterized by
또 본 발명에 따른 공간 충전 곡선 변환 시스템에서, 상기 이미지 변환부는 상기 시계열 데이터를 그라데이션 컬러맵으로 작성하는 컬러맵 작성부와 상기 컬러맵 작성부에 의해 작성된 그라데이션 컬러맵에 대해 공간 충전 커브를 형성하는 공간 충전부를 포함하는 것을 특징으로 한다.In addition, in the space filling curve conversion system according to the present invention, the image conversion unit includes a color map generator that creates a gradation color map from the time-series data and a space filling unit that forms a space fill curve for the gradation color map created by the color map generator.
또 본 발명에 따른 공간 충전 곡선 변환 시스템에서, 상기 컬러맵 작성부는 상기 시계열 데이터를 "빨-주-노-초-파-남-보"의 그라데이션 컬러맵으로 표현하고, 상기 공간 충전 커브는 상기 컬러맵을 페아노 커브(Peano curve) 또는 힐버트 커브(Hilbert curve) 규칙에 의해 2차원 이미지로 형성하는 것을 특징으로 한다.In addition, in the space filling curve conversion system according to the present invention, the color map creation unit expresses the time series data as a gradation color map of “red-week-yellow-second-blue-south-bot”, and the space filling curve is characterized in that the color map is formed into a two-dimensional image according to a Peano curve or Hilbert curve rule.
또 본 발명에 따른 공간 충전 곡선 변환 시스템에서, 상기 공간 충전 커브는 상기 2차원 이미지 형상의 데이터를 순차적으로 3차원 공간에 배열하여 3차원 형태로 형성하는 것을 특징으로 한다.In the space filling curve conversion system according to the present invention, the space filling curve is formed in a three-dimensional form by sequentially arranging the data of the two-dimensional image shape in a three-dimensional space.
또 본 발명에 따른 공간 충전 곡선 변환 시스템에서, 상기 이미지 데이터는 제품의 양부 판단을 하는 딥러닝 분석을 위한 학습부에 적용되는 것을 특징으로 한다.In addition, in the space filling curve conversion system according to the present invention, the image data is characterized in that it is applied to a learning unit for deep learning analysis that determines the quality of a product.
상술한 바와 같이, 본 발명에 따른 제조업 시계열 데이터 딥러닝 분석을 위한 공간 충전 곡선 변환 방법 및 시스템에 의하면, 기존의 시계열 데이터를 공간상의 상관관계를 지니는 이미지로 변환할 수 있어 딥러닝 분석의 정확도를 증대시킬 수 있다는 효과가 얻어진다.As described above, according to the space filling curve conversion method and system for deep learning analysis of manufacturing time series data according to the present invention, the existing time series data can be converted into images having spatial correlation, thereby increasing the accuracy of deep learning analysis. The effect is obtained.
또 본 발명에 따른 제조업 시계열 데이터 딥러닝 분석을 위한 공간 충전 곡선 변환 방법 및 시스템에 의하면, 각 데이터 포인트 간의 상호관계를 해석하기 힘든 시계열 데이터를 직접적으로 이미지로 변환하여 딥러닝 분석에 이용할 수 있다는 효과가 얻어진다.In addition, according to the space filling curve conversion method and system for deep learning analysis of manufacturing time series data according to the present invention, the time series data, which is difficult to interpret the correlation between each data point, can be directly converted into an image and used for deep learning analysis. The effect is obtained.
또 본 발명에 따른 제조업 시계열 데이터 딥러닝 분석을 위한 공간 충전 곡선 변환 방법 및 시스템에 의하면, 제조업 분야의 공정데이터에 범용적으로 이용할 수 있으면서도, 제조업 분야 데이터 처리를 위해서 맞춤형으로 개발된 특화 알고리즘이므로 다양한 제조업 분야에 적용 확대를 진행할 수 있다는 효과가 얻어진다.In addition, according to the space filling curve conversion method and system for deep learning analysis of manufacturing time series data according to the present invention, while being universally usable for process data in the manufacturing sector, it is a specialized algorithm developed customized for processing data in the manufacturing sector. Therefore, the effect of expanding application to various manufacturing fields is obtained.
또한, 본 발명에 따른 제조업 시계열 데이터 딥러닝 분석을 위한 공간 충전 곡선 변환 방법 및 시스템에 의하면, 제품의 양품/불량 판정 알고리즘을 적용하여 제조업 분야의 장비 레벨에서 탑재하여 보다 성능이 뛰어난 스마트 생산 장비 개발에 응용될 수 있다는 효과도 얻어진다.In addition, according to the space filling curve conversion method and system for deep learning analysis of manufacturing time series data according to the present invention, a good/defective judgment algorithm of a product is applied and loaded at the equipment level in the manufacturing field, thereby providing better performance. An effect that can be applied to the development of smart production equipment is also obtained.
도 1은 CNN(Convolutional Neural Network) 구조의 일 예를 나타내는 도면,
도 2는 본 발명에 따른 공간 충전 곡선 변환을 설명하기 위한 도면,
도 3은 본 발명에 따른 제조업 시계열 데이터 딥러닝 분석을 위한 공간 충전 곡선 변환 시스템의 구성을 나타내는 블록도,
도 4는 본 발명에 의한 공간 충전 프랙탈 변환에 따른 CNN 연계 모듈 기반의 양품/불량 판단의 일 예를 설명하기 위한 도면,
도 5는 본 발명에 따른 제조업 시계열 데이터 딥러닝 분석을 위한 공간 충전 곡선 변환 방법을 설명하기 위한 흐름도.1 is a diagram showing an example of a structure of a Convolutional Neural Network (CNN);
2 is a diagram for explaining space filling curve conversion according to the present invention;
3 is a block diagram showing the configuration of a space filling curve conversion system for deep learning analysis of manufacturing time series data according to the present invention;
4 is a diagram for explaining an example of good/defective determination based on a CNN-linked module according to space filling fractal transformation according to the present invention;
5 is a flowchart illustrating a space filling curve conversion method for deep learning analysis of manufacturing time series data according to the present invention.
본 발명의 상기 및 그 밖의 목적과 새로운 특징은 본 명세서의 기술 및 첨부 도면에 의해 더욱 명확하게 될 것이다.The above and other objects and novel features of the present invention will become more apparent from the description of this specification and accompanying drawings.
본원에서 사용하는 "딥러닝 모듈"은 CNN(Convolutional Neural Network) 구조를 기반으로 마련될 수 있으며, 이 CNN은 인공 신경 회로망(ANN, Artificial Neural Networks)의 일종이며, 인공 신경 회로망은 신경 뉴런(Neuron) 구조를 본떠 만든 것으로 뉴런과 뉴런 사이의 시냅스(Synapse)의 연결 구조를 본떠 패턴이나 알고리즘을 학습할 수 있도록 만들어진 망으로써, 예를 들어 도 1에 도시된 바와 같이, 입력층(Input Layer), 은닉층(Hidden Layer), 출력층(Output Layer) 형태를 기본으로 각 층의 방식에 따라 다양한 종류로 나눌 수 있다. 즉 CNN은 입력, 특징 추출, 특징을 위치변경이나 왜곡에 따라 변함이 없게 처리, 분류 및 출력하도록 구성된다.The "deep learning module" used herein may be prepared based on the structure of a CNN (Convolutional Neural Network), which is a type of Artificial Neural Networks (ANN). It can be divided into various types depending on the method of each layer based on the form of the hidden layer and output layer. In other words, CNN is configured to process, classify, and output input, feature extraction, and feature unchanged according to position change or distortion.
또 본 발명에 적용되는 딥러닝 분석용 시각 이미지는 서로 연관이 있는 정보들이 특정 공간, 형태상에서 색깔, 질감, 포토로지 등의 형태로 공간상의 상관관계를 가진다. 예를 들어, 이미지 상의 고양이를 분석하는 경우를 보면 고양이에 관련된 정보는 필연적으로 이미지 상의 특정 지점에 분포되어 있으며, 고양이의 특징을 판단할 수 있는 귀, 눈, 입, 수염 등 상관관계가 있는 정보가 공간상에서 특정한 형태로 분포되어 있다. 따라서 본 발명에서는 특정한 이미지 변환 기법을 이용하여 시계열 데이터의 정보가 공간상에 특정한 포토로지적 성격을 가지고 상관관계를 갖도록 변환하여 딥러닝의 활용성을 높이는 것이다.In addition, the visual image for deep learning analysis applied to the present invention has a spatial correlation in the form of color, texture, photology, etc. in a specific space and shape of information related to each other. For example, in the case of analyzing a cat in an image, information related to the cat is inevitably distributed at a specific point on the image, and correlated information such as ears, eyes, mouth, and whiskers that can determine the characteristics of the cat is distributed in a specific form in space. Therefore, in the present invention, by using a specific image conversion technique, information of time-series data is converted to have a specific photological characteristic in space and to have a correlation, thereby increasing the utilization of deep learning.
즉, 본 발명에서는 딥러닝 분석의 성능을 증대시키기 위하여 주어진 시계열 데이터를 이미지로 변환하여 분석의 성능을 증대시키는 것으로서, 예를 들어 제조업의 공정데이터 분석에 특화된 딥러닝 알고리즘 개발을 위해 공간 충전 프랙탈 곡선 변환을 통한 시계열 데이터의 이미지 변환 기법을 마련하고, 시계열 데이터 이미지 변환, CNN 알고리즘을 연계하여 제품의 양품/불량 판정 모듈을 개발하였다.That is, in the present invention, in order to increase the performance of deep learning analysis, given time series data is converted into an image to increase the performance of the analysis. For example, to develop a deep learning algorithm specialized for analyzing process data in the manufacturing industry, an image conversion technique of time series data through space-filling fractal curve conversion was prepared, and a product quality/defect determination module was developed by linking time series data image conversion and CNN algorithm.
구체적으로, 본 발명에서는 시계열 데이터를 이미지로 변환시키기 위하여 이미지의 2차원 공간을 충전하는 곡선을 시계열 데이터를 통하여 형성시키는 방법을 마련하였다. 2차원 공간을 충전하는 곡선으로 변환하는 방법은 예를 들어, 2차원 공간 충전 프랙탈 곡선을 이용하여 프랙탈 곡선이 특수하게 설계된 선의 색깔, 두께 및 질감을 가지고 이미지 공간을 채우도록 마련한 것이다.Specifically, in the present invention, a method of forming a curve filling a two-dimensional space of an image through time-series data is provided in order to convert time-series data into an image. A method of converting a 2D space into a curve that fills the 2D space is prepared so that the fractal curve fills the image space with a specially designed color, thickness, and texture of a line using, for example, a 2D space filling fractal curve.
또 본 발명의 시계열 데이터의 이미지를 바탕으로 한 제품의 양품/불량 판정 방법은 시계열 데이터를 기준으로 생산제품의 양품/불량 판단을 적용하는 자동차, 전기전자, 조선 등 모든 분야에 적용이 가능하며, 본 발명의 기술 설명에서는 일 예로서 다이캐스팅 공정에서 취득된 공정데이터를 바탕으로 한 양품/불량 판정에 대해 기술한다.In addition, the method for determining good/defective products based on images of time-series data of the present invention can be applied to all fields such as automobiles, electric/electronic, shipbuilding, etc., where good/defective judgments of manufactured products are applied based on time-series data.
따라서 본 발명에서는 시계열 공정데이터를 바탕으로 딥러닝 분석에 활용하기 위한 공간 충전 곡선 변환 방법 및 시스템을 딥러닝 학습 엔진을 제공할 수 있다. 다이캐스팅 공정을 예로 들면 금형 내의 다양한 포인트에서 시계열 온도 데이터가 측정되며, 각 포인트에서 측정된 데이터들을 색깔, 질감, 포토로지 등의 형태로 공간상의 상관관계를 이용하여 데이터 포인트별로 공간 충전 프랙탈 곡선 변환을 적용하여 이미지를 취득된다. 이러한 이미지를 통하여 CNN(Convolutional Neural Networks) 분석에 적용하면 생산 제품의 양품/불량 판정을 용이하게 고속으로 진행할 수 있다.Therefore, the present invention can provide a deep learning learning engine with a space filling curve conversion method and system for use in deep learning analysis based on time series process data. Taking the die-casting process as an example, time-series temperature data is measured at various points in the mold, and an image is obtained by applying space-filling fractal curve conversion for each data point using spatial correlation in the form of color, texture, photology, etc. of the measured data at each point. If such images are applied to CNN (Convolutional Neural Networks) analysis, good/defective judgment of manufactured products can be easily and quickly performed.
이하, 본 발명에 따른 실시 예를 도면에 따라서 설명한다.Hereinafter, an embodiment according to the present invention will be described according to the drawings.
또 이하 실시 예에서는 다이캐스팅 공정 데이터를 바탕으로 시계열 데이터의 공간 충전 곡선 변환에 대해 설명한다.In addition, in the following embodiment, a space filling curve conversion of time series data based on die casting process data will be described.
먼저, 공간 충전 프랙탈 곡선을 이용하여 시계열 데이터를 이미지로 변환하는 방법에 대해서 도 2에 따라 설명한다. 도 2는 본 발명에 따른 공간 충전 곡선 변환을 설명하기 위한 도면이다.First, a method of converting time series data into an image using a space filling fractal curve will be described according to FIG. 2 . 2 is a diagram for explaining space filling curve conversion according to the present invention.
본 발명에서는 프랙탈 곡선을 이용하여 공간 충전을 하기 위해 페아노 커브(Peano curve), 힐버트 커브(Hilbert curve) 등의 공간 충전 커브(Spcae-filling curve)를 이용할 수 있다. 도 2의 (a)는 페아노 커브의 모습을 도시한 것이다. 공간 충전 커브는 도 2의 (a)와 같이 특정 유닛(Unit)이 반복되면서 2차원 공간을 채우게 된다. 이때 반복되는 특정 유닛은 시계열 데이터와 매칭하여 정보를 저장할 수 있다. In the present invention, a space-filling curve such as a Peano curve or a Hilbert curve may be used to fill a space using a fractal curve. Figure 2 (a) shows the appearance of the Peano curve. As shown in (a) of FIG. 2, the space filling curve fills a two-dimensional space while repeating a specific unit. In this case, the repeated specific unit may store information by matching with time series data.
본 발명에서는 예를 들어, 특정한 그라데이션으로 표현되는 컬러맵(Colormap)을 형성하고, 이 컬러맵과 시계열 데이터의 강도(Intensity)를 매칭하여, 공간 충전 커브에 저장하는 방식을 적용한다. In the present invention, for example, a method of forming a colormap represented by a specific gradation, matching the intensity of time-series data with the colormap, and storing the data in a space filling curve is applied.
즉, 본 발명에서는 도 2의 (b)에 도시된 바와 같이 예를 들어, 0에서 100까지 시간 t에 따라서 선형으로 증가하는 다이캐스팅 공정의 시계열 데이터에 적용한다. That is, in the present invention, as shown in (b) of FIG. 2, for example, it is applied to the time series data of the die casting process that increases linearly with time t from 0 to 100.
그러면 0을 보라색, 100을 빨간색에 매칭하여 "빨-주-노-초-파-남-보"의 그라데이션 컬러맵으로 표현한 뒤, 이를 공간 충전 커브의 반복되는 유닛에 저장하면 도 2의 (b)와 같은 형태로 마련된다. Then, 0 is matched to purple and 100 is matched to red to express the gradation color map of "red-week-no-second-blue-south-bo", and then storing it in the repeating unit of the space filling curve. It is prepared in the form shown in (b) of FIG.
이때 시계열 데이터 범위와 매칭되는 유닛의 개수, 컬러맵, 선의 두께, 각 유닛당 매칭되는 시계열 데이터의 개수, 시계열 데이터의 상 전위(Phase-shifting)를 변환시켜 가면서 적절한 형태의 이미지를 형성할 수 있다. 즉 1차원의 시계열 데이터를 페아노 커브 또는 힐버트 커브 규칙에 따른 공간 충전 커브를 형성하는 것에 의해 2차원 이미지로 배열할 수 있다. 또 본 발명에서는 2차원 이미지 형상의 데이터를 순차적으로 3차원 공간에 배열하여 큐빅 형태인 3차원 형태로 생성할 수도 있다.At this time, the number of units matching the time series data range, the color map, the thickness of the line, the number of time series data matched for each unit, and the phase-shifting of the time series data are converted to form an image of an appropriate shape. That is, one-dimensional time-series data can be arranged in a two-dimensional image by forming a space filling curve according to the Peano curve or Hilbert curve rule. In addition, in the present invention, data of a 2D image shape may be sequentially arranged in a 3D space to generate a cubic 3D form.
도 3은 본 발명에 따른 제조업 시계열 데이터 딥러닝 분석을 위한 공간 충전 곡선 변환 시스템의 구성을 나타내는 블록도 이고, 도 4는 본 발명에 의한 공간 충전 프랙탈 변환에 따른 CNN 연계 모듈 기반의 양품/불량 판단의 일 예를 설명하기 위한 도면이다. 3 is a block diagram showing the configuration of a space filling curve conversion system for deep learning analysis of manufacturing time series data according to the present invention, and FIG. 4 is a CNN-linked module-based good/defective judgment according to space filling fractal conversion according to the present invention. It is a diagram for explaining an example.
본 발명에 따른 공간 충전 곡선 변환 시스템은 제조업 시계열 데이터 딥러닝 분석을 위한 시스템으로서, 도 3에 도시된 바와 같이, 제품 생산 기기의 복수의 위치 또는 온도를 감지하는 감지부(100), 상기 감지부(100)에서 감지된 데이터를 시계열적 공정 데이터로 취득하는 데이터 취득부(200), 상기 데이터 취득부(200)에서 취득된 시계열적 공정 데이터를 이미지 데이터로 변환하는 이미지 변환부(300)를 포함한다. A space filling curve conversion system according to the present invention is a system for deep learning analysis of time-series data in a manufacturing industry, and as shown in FIG.
상기 감지부(100)는 생산 제품에 대해 불량 여부를 검출하기 위해 제품 생산에 관여되는 기기 또는 제품들의 위치, 온도, 회전, 진동, 전압, 전류, 토크 등을 감지하기 위한 감지 센서를 구비할 수 있다.The detection unit 100 may include a sensor for detecting the position, temperature, rotation, vibration, voltage, current, torque, etc. of devices or products involved in product production in order to detect defects in the product.
상기 데이터 취득부(200)는 제조업 분야의 대표적인 공정데이터 유형인 시계열 데이터를 마련하기 위해 일정 시간 내에 감지 센서에서 감지된 각각의 신호 값을 취득한다. 예를 들어, 다이캐스팅 각 공정 사이클에서 금형의 각 포인트에서 온도의 시계열 데이터를 취득하는 경우, 취득되는 데이터의 개수는 데이터 취득 샘플링 레이트에 따라 달라지지만, 대략 20초의 공정시간 및 50Hz의 샘플링 레이트를 가정하면 각 데이터 취득 포인트 당 1000개의 입력이 취득된다. The data acquisition unit 200 acquires each signal value sensed by the detection sensor within a certain period of time to prepare time-series data, which is a typical process data type in the manufacturing field. For example, when acquiring time-series data of the temperature at each point of the mold in each die casting process cycle, the number of data acquired varies depending on the data acquisition sampling rate, but assuming a process time of approximately 20 seconds and a sampling rate of 50 Hz, 1000 inputs are acquired for each data acquisition point.
이때, 데이터를 7개의 포인트에서 취득된다고 가정하면, 입력으로 이용되는 데이터는 7,000개로 상당히 과도한 양의 입력이 주어지게 된다. 또한, 실제 공정에서는 공정 데이터의 시간에 따른 추세 및 최대, 최소 또는 다른 데이터 포인트와의 상대적인 관계가 중요하기 때문에 7,000개 데이터의 상대적인 관계 등이 적절하게 학습 되어 양품/불량을 판단할 수 있는 딥러닝 엔진 학습에는 상당한 난이도가 따른다.At this time, assuming that data is acquired at 7 points, the number of data used as input is 7,000, which is a considerably excessive amount of input. In addition, since the trend over time of the process data and the relative relationship with the maximum, minimum, or other data points are important in the actual process, it is quite difficult to learn the deep learning engine that can properly learn the relative relationship of 7,000 data to determine good/defective products.
따라서 본 발명에서는 상기 데이터 취득부(200)에서 취득된 데이터베이스를 바탕으로 이미지 데이터로 변환한 뒤, 이 이미지를 딥러닝 CNN 분석을 통하여 양품/불량을 판단하는 시스템 및 방법을 제공할 수 있다. Therefore, the present invention can provide a system and method for converting image data based on the database acquired by the data acquisition unit 200 and then determining good/defective quality through deep learning CNN analysis of the image.
상기 이미지 변환부(300)는 제조업 분야의 대표적인 공정데이터 유형인 시계열 데이터를 공간 충전 프랙탈 곡선 변환을 통하여 이미지 데이터로 변환하기 위해 마련되며, 도 3에 도시된 바와 같이, 선형으로 증가하는 다이캐스팅 공정의 시계열 데이터를 "빨-주-노-초-파-남-보"의 그라데이션 컬러맵으로 표현하는 컬러맵 작성부(310)와 상기 컬러맵 작성부(310)에 의해 작성된 그라데이션 컬러맵에 대해 페아노 커브 또는 힐버트 커브 규칙에 따른 공간 충전 커브를 형성하는 공간 충전부(320)를 포함한다.The image conversion unit 300 is provided to convert time-series data, which is a representative process data type in the manufacturing field, into image data through space-filling fractal curve conversion. As shown in FIG. 3, the color map creation unit 310 expressing the linearly increasing time-series data of the die-casting process as a gradation color map of “red-week-yellow-second-pa-south-bo” and the Peano curve or Hilbert curve rule for the gradation color map created by the color map creation unit 310 and a space filling unit 320 forming a space filling curve according to
즉, 상기 이미지 변환부(300)에서는 시계열 데이터를 이미지 데이터로 변환하여 제조업의 공정데이터 유형을 기존 딥러닝 분석 알고리즘을 적용하여 분석하기 적합한 형태로 변환한다. 이미지 변환 과정에서 공간 충전 프랙탈 곡선으로 형성하여 정보 저장률의 극대화 및 데이터 간의 상관관계 정보를 해석하기 수월한 형태로 변환한다.That is, the image conversion unit 300 converts time-series data into image data and converts the manufacturing process data type into a form suitable for analysis by applying an existing deep learning analysis algorithm. In the image conversion process, it is formed as a space-filling fractal curve to maximize the information storage rate and convert the correlation information between data into a form that is easy to interpret.
또한, 본 발명에 따른 공간 충전 곡선 변환 시스템에서는 공간충전 프랙탈 곡선의 프랙탈 차원, 프랙탈 라인의 색상, 프랙탈 라인의 진폭, 프랙탈 곡선 간의 위상 차이를 변화시켜 가면서 이미지 정보가 최대화되며 판독이 수월한 변환 알고리즘을 도출할 수 있다.In addition, in the space filling curve conversion system according to the present invention, the fractal dimension of the space filling fractal curve, the color of the fractal line, the amplitude of the fractal line, and the phase difference between the fractal curves are varied, thereby maximizing image information and deriving a conversion algorithm that is easy to read.
상기 이미지 변환부(300)에서 작성된 이미지 데이터는 도 3에 도시된 바와 같이, 제품 생산 기기에서 생산된 제품의 양부 판단을 하기 위한 딥러닝 분석을 위한 학습부(400)에 적용되며, 학습부(400)의 학습 결과는 진단부(500)로 출력되어 생산제품의 양품/불량 판단에 사용된다.As shown in FIG. 3, the image data created by the image conversion unit 300 is applied to the learning unit 400 for deep learning analysis to determine the quality of products produced by the product production equipment, and the learning result of the learning unit 400 is output to the diagnosis unit 500 and used to determine good/defective products.
즉, 본 발명에 따른 공간 충전 곡선 변환 시스템에서는 공간 충전 프랙탈 곡선으로 형성된 이미지를 기반으로 도 4에 도시된 바와 같은 딥러닝 CNN 분석을 적용하여 제품의 양품/불량을 판정하는 모듈을 마련할 수 있다.That is, in the space filling curve conversion system according to the present invention, a module for determining whether a product is good or bad can be prepared by applying deep learning CNN analysis as shown in FIG. 4 based on an image formed of a space filling fractal curve.
상기 학습부(400)에서는 예를 들어 Inception, Resnet, PNASnet, mobile_net 등의 고성능 CNN 알고리즘을 적용하여 양품/불량 판정의 정확도를 분석할 수 있다.In the learning unit 400, for example, high-performance CNN algorithms such as Inception, Resnet, PNASnet, and mobile_net may be applied to analyze the accuracy of quality/defect determination.
다음에 본 발명에 따른 제조업 시계열 데이터 딥러닝 분석을 위한 공간 충전 곡선 변환 방법에 대해 도 5를 참조하여 설명한다.Next, a space filling curve conversion method for deep learning analysis of manufacturing time series data according to the present invention will be described with reference to FIG. 5 .
도 5는 본 발명에 따른 제조업 시계열 데이터 딥러닝 분석을 위한 공간 충전 곡선 변환 방법을 설명하기 위한 흐름도이다.5 is a flowchart illustrating a space filling curve conversion method for deep learning analysis of manufacturing time series data according to the present invention.
본 발명에 따른 공간 충전 곡선 변환 방법은 제조업 시계열 데이터 딥러닝 분석을 위한 공간 충전 곡선 변환 방법으로서, 먼저 각 공정 데이터에서 양품의 데이터만 선별적으로 학습하도록 딥러닝 분석 알고리즘을 적용하여 시계열 공정 데이터를 마련한다. 즉 제품 생산 기기 예를 들어, 다이캐스팅 각 공정 사이클에서 금형의 각 포인트에서 온도를 감지한다(S10). 그러나 이에 한정되는 것은 아니고, 제품 생산에 관여되는 기기 또는 제품들의 위치, 온도, 회전, 진동, 전압, 전류, 토크 등을 감지할 수도 있다. 그러나 이에 한정되는 것은 아니고, 금융 데이터의 경우, 시간에 따른 가격의 변화 추이가 시계열의 형태를 띠고 있으므로, 금융 데이터의 미래 추이, 이상치 감지 등에 활용할 수도 있다.The space filling curve conversion method according to the present invention is a space filling curve conversion method for deep learning analysis of manufacturing time series data. First, time series process data is prepared by applying a deep learning analysis algorithm to selectively learn only good product data from each process data. That is, the temperature is sensed at each point of the mold in each process cycle of a product production device, for example, die casting (S10). However, it is not limited thereto, and may sense the position, temperature, rotation, vibration, voltage, current, torque, etc. of devices or products involved in product production. However, it is not limited thereto, and in the case of financial data, since the trend of price change over time takes the form of a time series, it can be used for future trend of financial data, detection of outliers, and the like.
이어서, 상기 단계 S10에서 감지된 데이터를 시계열적 공정 데이터로 취득하고(S20), 정보 저장률의 극대화 및 데이터 간의 상관관계 정보를 용이하게 해석도록, 상기 단계 S20에서 취득한 시계열 데이터에 대해 공간 충전 프랙탈 곡선 변환을 통하여 이미지 데이터로 변환하기 위해, 선형으로 증가하는 다이캐스팅 공정의 시계열 데이터를 도 2에 도시된 바와 같이, "빨-주-노-초-파-남-보"의 그라데이션 컬러맵으로 작성한다(S30).Subsequently, the data detected in the step S10 is acquired as a time series process data (S20), and the correlation information between the data is maximized and the correlation information between the data is easily interpreted, and the time series data of the di -casting process that increases by linear to conversion to image data is converted to image data for the time series data acquired in the step S20, FIG. As shown in, it is written as a gradient color map of "Red-Lord-No-Pa-Pa-Nam-Bo" (S30).
이어서, 상기 단계 S30에 의해 작성된 그라데이션 컬러맵에 대해 페아노 커브 또는 힐버트 커브 규칙에 따른 공간 충전 커브를 형성하는 공간 충전을 마련한다(S40). 상술한 단계 S30 및 S40에 의해 이미지 변환 과정에서 공간 충전 프랙탈 곡선으로 형성하여 정보 저장률의 극대화 및 데이터 간의 상관관계 정보를 해석하기 수월한 형태로 변환한다. 또 각각의 시계열 데이터들을 색깔, 질감, 포토로지 등의 형태로 공간상의 상관관계를 이용하여 데이터 포인트별로 공간 충전 프랙탈 곡선 변환을 적용하여 이미지를 취득한다. 즉, 공간충전 프랙탈 곡선의 프랙탈 차원, 프랙탈 라인의 색상, 프랙탈 라인의 진폭, 프랙탈 곡선 간의 위상 차이를 변화시켜 가면서 이미지 정보를 최대화할 수 있다.Subsequently, space filling for forming a space filling curve according to the Peano curve or Hilbert curve rule is prepared for the gradient color map created in step S30 (S40). In the image conversion process by the above steps S30 and S40, a space filling fractal curve is formed to maximize the information storage rate and convert the correlation information between data into a form that is easy to interpret. In addition, an image is acquired by applying a space-filling fractal curve transformation for each data point using spatial correlation in the form of color, texture, photology, etc. for each time-series data. That is, image information can be maximized while changing the fractal dimension of the space-filling fractal curve, the color of the fractal line, the amplitude of the fractal line, and the phase difference between the fractal curves.
상기 단계 S40에서 공간 충전 프랙탈 곡선으로 형성된 이미지를 기반으로 딥러닝 CNN 분석을 적용하여 제품의 양품/불량을 판정한다. 즉, Inception, Resnet, PNASnet, mobile_net 등의 고성능 CNN 알고리즘을 적용하여 양품/불량 판정의 정확도를 분석할 수 있다.Based on the image formed by the space filling fractal curve in step S40, deep learning CNN analysis is applied to determine whether the product is good or bad. That is, it is possible to analyze the accuracy of quality/defect determination by applying high-performance CNN algorithms such as Inception, Resnet, PNASnet, and mobile_net.
상술한 바와 같이, 본 발명에 따른 제조업 시계열 데이터 딥러닝 분석을 위한 공간 충전 곡선 변환 방법 및 시스템에서는 각 데이터 포인트 간의 상호관계를 해석하기 힘든 시계열 데이터에 대해 시계열 데이터 범위와 매칭되는 유닛의 개수, 컬러맵, 선의 두께, 각 유닛당 매칭되는 시계열 데이터의 개수, 시계열 데이터의 상 전위(Phase-shifting)를 변환시켜 가면서 적절한 형태의 이미지를 형성하는 공간 충전 곡선으로 변환하여 딥러닝 분석에 이용할 수 있다.As described above, in the space filling curve conversion method and system for deep learning analysis of manufacturing time series data according to the present invention, for time series data for which it is difficult to interpret the correlation between data points, the number of units matching the time series data range, color map, line thickness, the number of time series data matched for each unit, and the phase-shifting of the time series data are converted into a space filling curve that forms an image of an appropriate shape, and can be used for deep learning analysis.
이상 본 발명자에 의해서 이루어진 발명을 상기 실시 예에 따라 구체적으로 설명하였지만, 본 발명은 상기 실시 예에 한정되는 것은 아니고 그 요지를 이탈하지 않는 범위에서 여러 가지로 변경 가능한 것은 물론이다.Although the invention made by the present inventors has been specifically described according to the above embodiments, the present invention is not limited to the above embodiments and can be changed in various ways without departing from the gist of the invention.
본 발명에 따른 제조업 시계열 데이터 딥러닝 분석을 위한 공간 충전 곡선 변환 방법 및 시스템을 사용하는 것에 의해 각 데이터 포인트 간의 상호관계를 해석하기 힘든 시계열 데이터를 공간 충전 곡선으로 변환하여 딥러닝 분석에 이용할 수 있다.By using the space filling curve conversion method and system for deep learning analysis of manufacturing time series data according to the present invention, time series data in which it is difficult to interpret the correlation between each data point can be converted into a space filling curve and used for deep learning analysis.
100 : 감지부
200 : 데이터 취득부
300 : 이미지 변환부
310 : 컬러맵 작성부
320 : 공간 충전부100: sensing unit
200: data acquisition unit
300: image conversion unit
310: color map creation unit
320: space filling unit
Claims (8)
(a) 다이캐스팅 각 공정 데이터에서 양품의 데이터만 선별적으로 학습하도록 딥러닝 분석 알고리즘을 적용하여 시계열 공정 데이터를 마련하는 단계,
(b) 정보 저장률의 최적화 및 데이터 간의 상관관계 정보를 용이하게 해석하기 위해 시계열 데이터를 공간 충전 프랙탈 곡선 변환을 통하여 이미지 데이터로 변환하는 단계,
(c) 상기 공간 충전 프랙탈 곡선으로 형성된 이미지를 기반으로 딥러닝 CNN 분석을 적용하여 제품의 양품/불량을 판정하는 단계를 포함하고,
상기 단계 (b)에서 이미지 데이터의 변환은 상기 단계 (a)에서의 시계열 데이터를 "빨-주-노-초-파-남-보"의 그라데이션 컬러맵으로 작성하고, 상기 그라데이션 컬러맵에 대해 페아노 커브 또는 힐버트 커브 규칙에 따라 공간 충전 커브를 형성하며,
2차원 이미지 형상의 데이터를 순차적으로 3차원 공간에 배열하여 큐빅 형태인 3차원 형태로 생성하는 것에 의해 실행되는 것을 특징으로 하는 공간 충전 곡선 변환 방법.A space filling curve conversion method for deep learning analysis of manufacturing time series data,
(a) preparing time-series process data by applying a deep learning analysis algorithm to selectively learn only good product data from each die-casting process data;
(b) converting time-series data into image data through space-filling fractal curve transformation in order to optimize information storage rate and easily interpret correlation information between data;
(c) determining whether the product is good or bad by applying deep learning CNN analysis based on the image formed by the space filling fractal curve;
In the step (b), the image data is converted into a gradient color map of "red-week-yellow-second-blue-south-vio" from the time-series data in step (a), and a space filling curve is formed according to the Peano curve or Hilbert curve rule for the gradient color map,
A space filling curve conversion method characterized in that it is executed by sequentially arranging data of a two-dimensional image shape in a three-dimensional space to generate a three-dimensional form in a cubic form.
상기 단계 (b)에서 프랙탈 곡선 변환은 프랙탈 차원, 프랙탈 라인의 색상, 프랙탈 라인의 진폭, 프랙탈 곡선 간의 위상 차이를 변화시켜 실행되는 것을 특징으로 하는 공간 충전 곡선 변환 방법.In paragraph 1,
In step (b), the fractal curve conversion is performed by changing the fractal dimension, the color of the fractal line, the amplitude of the fractal line, and the phase difference between the fractal curves.
제품들의 위치, 온도, 회전, 진동, 전압, 전류 또는 토크 중의 어느 하나의 상태를 감지하는 감지부,
상기 감지부에서 감지된 데이터를 시계열적 공정 데이터로 취득하는 데이터 취득부,
상기 데이터 취득부에서 취득된 시계열적 공정 데이터를 이미지 데이터로 변환하는 이미지 변환부를 포함하고,
상기 이미지 변환부는 상기 시계열 데이터를 공간 충전 프랙탈 곡선으로 변환하도록, 상기 시계열 데이터를 그라데이션 컬러맵으로 작성하는 컬러맵 작성부와 상기 컬러맵 작성부에 의해 작성된 그라데이션 컬러맵에 대해 공간 충전 커브를 형성하는 공간 충전부를 포함하고,
상기 컬러맵 작성부는 상기 시계열 데이터를 "빨-주-노-초-파-남-보"의 그라데이션 컬러맵으로 표현하며,
2차원 이미지 형상의 데이터를 순차적으로 3차원 공간에 배열하여 큐빅 형태인 3차원 형태로 생성하는 것을 특징으로 하는 공간 충전 곡선 변환 시스템.A space filling curve conversion system for deep learning analysis of manufacturing time series data,
A sensor that detects any one of the position, temperature, rotation, vibration, voltage, current, or torque of products,
A data acquisition unit for acquiring the data sensed by the sensing unit as time-series process data;
An image conversion unit for converting the time-sequential process data acquired by the data acquisition unit into image data;
The image conversion unit includes a color map creation unit that creates a gradient color map from the time series data and a space filling unit that forms a space filling curve with respect to the gradient color map created by the color map creation unit, so as to convert the time series data into a space filling fractal curve,
The color map creation unit expresses the time series data as a gradation color map of "red-week-yellow-second-blue-south-vio",
A space filling curve conversion system characterized by generating a cubic three-dimensional form by sequentially arranging data of a two-dimensional image shape in a three-dimensional space.
상기 공간 충전 커브는 상기 컬러맵을 페아노 커브(Peano curve) 또는 힐버트 커브(Hilbert curve) 규칙에 의해 2차원 이미지로 형성하는 것을 특징으로 하는 공간 충전 곡선 변환 시스템.In paragraph 4,
Wherein the space filling curve converts the color map into a two-dimensional image according to a Peano curve or a Hilbert curve rule.
상기 이미지 데이터는 제품의 양부 판단을 하는 딥러닝 분석을 위한 학습부에 적용되는 것을 특징으로 하는 공간 충전 곡선 변환 시스템.
In paragraph 6,
The image data is a space filling curve conversion system, characterized in that applied to the learning unit for deep learning analysis for determining the quality of the product.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200145182A KR102558232B1 (en) | 2020-11-03 | 2020-11-03 | Space filling curve transformation method and system for deep learning analysis of manufacturing time series data |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200145182A KR102558232B1 (en) | 2020-11-03 | 2020-11-03 | Space filling curve transformation method and system for deep learning analysis of manufacturing time series data |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220059691A KR20220059691A (en) | 2022-05-10 |
| KR102558232B1 true KR102558232B1 (en) | 2023-07-25 |
Family
ID=81591768
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200145182A KR102558232B1 (en) | 2020-11-03 | 2020-11-03 | Space filling curve transformation method and system for deep learning analysis of manufacturing time series data |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102558232B1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102647331B1 (en) * | 2023-07-07 | 2024-03-13 | 주식회사 아임토리 | System for providing time-series data based data sampling service |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006106870A (en) | 2004-09-30 | 2006-04-20 | Toshiba Corp | Process management device |
Family Cites Families (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2013522595A (en) * | 2010-03-10 | 2013-06-13 | スリーエム イノベイティブ プロパティズ カンパニー | Application-specific repetitive defect detection in the web manufacturing process |
| KR101818394B1 (en) | 2017-05-11 | 2018-01-12 | 울산대학교 산학협력단 | Method and apparatus for diagnosing facility condition |
| KR102048240B1 (en) | 2017-09-06 | 2019-11-25 | 주식회사 씨티아이랩 | System Anomaly Behavior Analysis Technology based on Deep Learning Using Imaged Data |
| KR101950395B1 (en) | 2017-09-25 | 2019-02-20 | (주)신테카바이오 | Method for deep learning-based biomarker discovery with conversion data of genome sequences |
| KR102165396B1 (en) * | 2018-10-08 | 2020-10-14 | 주식회사 원프레딕트 | Method of data imaging for equipments diagnosis and diagnosis method using the same |
-
2020
- 2020-11-03 KR KR1020200145182A patent/KR102558232B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006106870A (en) | 2004-09-30 | 2006-04-20 | Toshiba Corp | Process management device |
Non-Patent Citations (1)
| Title |
|---|
| Tsinganos et al. A Hilbert Curve Based Representation of sEMG Signals for Gesture Recognition. 2019 International Conference on Systems, Signals and Image Processing (IWSSIP), 201-206 pages. 2019.08.* |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220059691A (en) | 2022-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Rudolph et al. | Same same but differnet: Semi-supervised defect detection with normalizing flows | |
| Feng et al. | Similarity-based meta-learning network with adversarial domain adaptation for cross-domain fault identification | |
| CN110211045A (en) | Super-resolution face image method based on SRGAN network | |
| Wang et al. | An effective defect detection method based on improved Generative Adversarial Networks (iGAN) for machined surfaces | |
| CN110533058A (en) | Information processing method, information processing unit and program | |
| CN112541908B (en) | Casting flash recognition method based on machine vision and storage medium | |
| KR20220061360A (en) | Die-casting product defect detection method and system based on deep learning anomaly detection | |
| CN110909615A (en) | Target detection method based on multi-scale input mixed perception neural network | |
| KR102558232B1 (en) | Space filling curve transformation method and system for deep learning analysis of manufacturing time series data | |
| CN115205647A (en) | Plant image segmentation method based on attention mechanism and multi-scale feature fusion | |
| CN117451744A (en) | Method, device, equipment and storage medium for detecting defect of infrared lens | |
| Maestro-Watson et al. | Deep learning for deflectometric inspection of specular surfaces | |
| Ekambaram et al. | Identification of defects in casting products by using a convolutional neural network | |
| CN115456938A (en) | Metal part crack detection method based on deep learning and ultrasonic infrared image | |
| Jiang et al. | Interpretability-aware industrial anomaly detection using autoencoders | |
| Chakrabarti et al. | Efficient modeling of digital shadows for production processes: a case study for quality prediction in high pressure die casting processes | |
| CN117132600B (en) | Injection molding product quality detection system and method based on image | |
| CN115601357B (en) | Stamping part surface defect detection method based on small sample | |
| García-Moreno et al. | Molten pool tracking using a superpixel-based approach in a laser metal deposition process | |
| JP2020140365A (en) | Product quality defect prediction system | |
| Eguchi et al. | Interactive Visual Inspection of a Rough-Alignment Plastic Part Based on HLAC Features and One-Class SVM | |
| KR102261941B1 (en) | Time series data fingerprinting and image deep learning analysis methods for product defect detection | |
| Gui et al. | Multimodal data fusion in 3-D printing quality prediction | |
| Kaashki et al. | A Deep-learning-based Approach to Automatically Measuring Foots from a 3D scan | |
| Pavel et al. | On Change Detection in the State of the Human Faces by Thermal Images and Renyi Information Measures |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |