KR102172271B1 - Fault diagnosis apparatus and method based on machine-learning - Google Patents

Fault diagnosis apparatus and method based on machine-learning Download PDF

Info

Publication number
KR102172271B1
KR102172271B1 KR1020190056906A KR20190056906A KR102172271B1 KR 102172271 B1 KR102172271 B1 KR 102172271B1 KR 1020190056906 A KR1020190056906 A KR 1020190056906A KR 20190056906 A KR20190056906 A KR 20190056906A KR 102172271 B1 KR102172271 B1 KR 102172271B1
Authority
KR
South Korea
Prior art keywords
learning
image
displacement
model
image signal
Prior art date
Application number
KR1020190056906A
Other languages
Korean (ko)
Inventor
윤종필
정승현
박진형
신우상
구교권
김민수
Original Assignee
한국생산기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국생산기술연구원 filed Critical 한국생산기술연구원
Priority to KR1020190056906A priority Critical patent/KR102172271B1/en
Application granted granted Critical
Publication of KR102172271B1 publication Critical patent/KR102172271B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)

Abstract

The present invention relates to a failure diagnosis technique, and more particularly, to a machine learning based failure diagnosis device capable of stably monitoring an object and accurately performing failure diagnosis on the object by acquiring a high-resolution image regardless of a surrounding environment by using a machine learning technique, and a method thereof. To this end, the machine learning based failure diagnosis device according to the present invention comprises: an image generation part that converts a displacement signal of an object into an image signal according to a first model pre-trained based on deep-learning; and a diagnosis part that detects defects of the object by analyzing the image signal according to a second model pre-trained based on deep learning.

Description

머신러닝 기반 고장진단 장치 및 방법{Fault diagnosis apparatus and method based on machine-learning}Fault diagnosis apparatus and method based on machine-learning

본 발명은 고장진단 기술에 관한 것으로서, 상세하게는 머신러닝 기술을 사용하여 주변환경에 관계없이 고해상도 영상을 획득함으로써 대상물을 안정적으로 모니터링하고 대상물의 고장진단을 정밀하게 수행할 수 있는 머신러닝 기반 고장진단 장치 및 방법에 관한 것이다. The present invention relates to a fault diagnosis technology, and in detail, machine learning-based faults capable of stably monitoring an object and accurately performing fault diagnosis of the object by obtaining a high-resolution image regardless of the surrounding environment using machine learning technology. It relates to a diagnostic device and method.

복합재 구조체, 제품 표면 등의 다양한 제품이나 설비의 상태나 고장을 진단하기 위해 머신 비전을 이용한 비파괴 검사 방법이 많이 쓰인다. 카메라와 영상처리 기법을 이용하여 표면의 상태를 자동으로 판단하는 기술은 마치 사람이 24시간 모니터링을 하는 것과 같은 업무를 대신한다. Non-destructive inspection methods using machine vision are widely used to diagnose the condition or failure of various products or facilities such as composite structures and product surfaces. The technology that automatically judges the state of the surface using cameras and image processing techniques takes the place of the task of a human being monitoring 24 hours a day.

일반적으로 머신 비전을 이용할 수 있는 환경이 되기 위해서는 일정 밝기가 유지되고 카메라를 설치할 수 있는 공간이 있어야 한다. In general, in order to become an environment in which machine vision can be used, a certain brightness must be maintained and there must be a space for installing a camera.

하지만, 그렇지 못한 환경 예를 들어, 자동차 내부, 항공기나 선박의 엔진실과 같이 카메라와 조명을 설치할 수 없다거나 자연광의 밝기가 변하는 상황에서는 일정한 영상을 획득하는 것이 어렵다. 따라서, 간접적인 방법으로 고장진단을 위한 신호를 생성해야 한다.However, it is difficult to obtain a certain image in a situation where cameras and lighting cannot be installed or the brightness of natural light changes, such as in an environment where it is not possible, for example, inside a car, an engine room of an aircraft or a ship. Therefore, it is necessary to generate a signal for fault diagnosis in an indirect way.

간접적인 고장진단 방법으로서, 표면의 결함(예를 들어, 복합재 표면의 균열)을 감지하기 위해 대상물의 표면에 스트레인 게이지 등의 센서를 설치한다. 스트레인 게이지를 이용하면 균열이 있는 표면의 신호와 균열이 없는 정상 표면의 신호가 다르게 표현된다. As an indirect fault diagnosis method, a sensor such as a strain gauge is installed on the surface of an object to detect a surface defect (for example, a crack on the surface of a composite material). When a strain gauge is used, the signal of a cracked surface and that of a normal surface without cracks are expressed differently.

그러나, 이러한 간접적인 고장진단 방법에서 사용되는 스트레인 게이지의 경우 물리적인 한계로 인해서 많은 수의 센서를 설치할 수 없기 때문에, 저해상도 신호밖에 얻을 수 없고 저해상도 신호를 이용해서는 정확한 예측이 어려우며 감지 성능이 급격히 저하되는 문제점이 있다. However, in the case of the strain gauge used in this indirect fault diagnosis method, because a large number of sensors cannot be installed due to physical limitations, only low-resolution signals can be obtained, and accurate prediction using low-resolution signals is difficult, and detection performance is rapidly degraded. There is a problem.

미국공개특허 제2017-0193680호US Patent Publication No. 2017-0193680

본 발명은 상기와 같은 문제점을 해결하기 위해 창안된 것으로서, 본 발명의 목적은 자연광의 밝기가 변하는 상황에서도 일정한 영상을 획득하여 대상 제품의 표면을 안정적으로 모니터링하는 것이다. The present invention was invented to solve the above problems, and an object of the present invention is to stably monitor the surface of a target product by acquiring a constant image even in a situation where the brightness of natural light changes.

본 발명의 다른 목적은 적은 수의 센서 신호를 이용하더라도 대상 제품에 대해 정확한 위치의 결함 검사와 같은 다양하고 정밀한 고장 진단 및 예측을 수행하는 것이다. Another object of the present invention is to perform various and precise failure diagnosis and prediction, such as defect inspection at an accurate location, for a target product even when a small number of sensor signals are used.

이를 위하여, 본 발명에 따른 머신러닝 기반 고장진단 장치는 딥 러닝(deep-learning) 기반으로 사전 학습된 제1 모델에 따라 대상물의 변위신호를 영상신호로 변환하는 영상 생성부와, 딥 러닝 기반으로 사전 학습된 제2 모델에 따라 영상신호를 분석하여 대상물의 결함을 검출하는 진단부를 포함한다. To this end, the machine learning-based fault diagnosis apparatus according to the present invention includes an image generator that converts a displacement signal of an object into an image signal according to a first model pre-trained based on deep-learning, and a deep learning-based system. And a diagnostic unit for detecting a defect of an object by analyzing the image signal according to the pre-learned second model.

또한, 본 발명에 따른 머신러닝 기반 고장진단 방법은 딥 러닝(deep-learning) 기반으로 사전 학습된 제1 모델에 따라 대상물의 변위신호를 처리하여 영상신호를 생성하는 단계와, 딥 러닝 기반으로 사전 학습된 제2 모델에 따라 영상신호를 분석하여 대상물의 결함을 검출하는 단계를 포함한다. In addition, the machine learning-based failure diagnosis method according to the present invention comprises the steps of generating an image signal by processing a displacement signal of an object according to a first model pre-trained based on deep-learning, and generating an image signal based on deep learning. And detecting a defect of the object by analyzing the image signal according to the learned second model.

또한, 본 발명에 따른 머신러닝 기반 고장진단 방법은 변위센서의 변위 데이터 및 이미지센서의 고해상도 영상 데이터를 제공받아 오토인코더 모델을 이용해 변위신호로부터 영상신호가 생성되도록 영상 생성부를 학습시키는 제1 학습 단계와, GAN 모델을 이용해 상기 제1 학습 단계에서 학습된 영상 생성부에 의해 생성된 영상신호가 상기 고해상도 영상 데이터와 구별되지 못하는 수준까지 도달하도록 영상 생성부를 학습시키는 제2 학습 단계와, 상기 제1 학습 단계 및 상기 제2 학습 단계에서 학습된 영상 생성부를 통해 변위신호로부터 영상신호를 생성하는 단계를 포함한다. In addition, the machine learning-based failure diagnosis method according to the present invention is a first learning step of learning an image generator to generate an image signal from a displacement signal using an autoencoder model by receiving displacement data of a displacement sensor and high-resolution image data of an image sensor. And, a second learning step of training the image generator to reach a level indistinguishable from the high-resolution image data by the image signal generated by the image generator learned in the first learning step using the GAN model; and the first And generating an image signal from the displacement signal through the learning step and the image generator learned in the second learning step.

상술한 바와 같이, 본 발명에 따른 머신러닝 기반 고장진단 장치는 자연광의 밝기가 변하는 상황에서도 일정한 영상을 획득하여 대상 제품의 표면을 안정적으로 모니터링할 수 있다. As described above, the machine learning-based fault diagnosis apparatus according to the present invention can stably monitor the surface of a target product by acquiring a constant image even when the brightness of natural light changes.

또한, 본 발명에 따르면 적은 수의 센서를 사용해도 고해상도의 영상을 얻을 수 있기 때문에 대상 제품에 대한 고장 진단 원인을 정확하고 정밀하게 파악할 수 있는 효과가 있다. In addition, according to the present invention, since a high-resolution image can be obtained even with a small number of sensors, it is possible to accurately and accurately identify the cause of a failure diagnosis for a target product.

도 1은 본 발명에 따른 머신러닝 기반 고장진단 장치의 구성을 나타낸 도면.
도 2는 본 발명에 따른 영상 생성부의 구성을 나타낸 도면.
도 3은 본 발명에 따른 영상 생성부를 학습시키기 위한 구성을 나타낸 도면.
도 4는 본 발명에 따른 진단부의 구성을 나타낸 도면.
도 5는 본 발명에 따른 머신러닝 기반 고장진단 방법을 나타낸 순서도.
도 6은 본 발명에 따른 머신러닝 기반 모델을 설명하기 위한 도면.1 is a diagram showing the configuration of a machine learning-based fault diagnosis apparatus according to the present invention.
2 is a view showing the configuration of an image generator according to the present invention.
3 is a diagram showing a configuration for training an image generator according to the present invention.
4 is a diagram showing the configuration of a diagnosis unit according to the present invention.
5 is a flowchart showing a machine learning-based failure diagnosis method according to the present invention.
6 is a diagram for explaining a machine learning-based model according to the present invention.

이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세하게 설명한다. 본 발명의 구성 및 그에 따른 작용 효과는 이하의 상세한 설명을 통해 명확하게 이해될 것이다. Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. The configuration of the present invention and its effect will be clearly understood through the detailed description below.

도 1은 본 발명에 따른 머신러닝 기반 고장진단 장치의 구성을 나타낸 것이다. 1 shows the configuration of a machine learning-based fault diagnosis apparatus according to the present invention.

도 1을 참조하면, 머신러닝 기반 고장진단 장치는 영상 생성부(100) 및 진단부(200)를 포함한다. Referring to FIG. 1, a machine learning-based fault diagnosis apparatus includes an image generator 100 and a diagnosis unit 200.

영상 생성부(100)는 스트레인 게이지 등의 변위센서로부터 입력된 변위신호를 영상신호로 변환한다. 스트레인 게이지 등의 변위센서는 복합재 구조체, 제품 표면 등에 설치되어 대상물의 상태나 변위를 측정할 수 있다. The image generator 100 converts a displacement signal input from a displacement sensor such as a strain gauge into an image signal. Displacement sensors such as strain gauges are installed on composite structures, product surfaces, etc. to measure the state or displacement of an object.

변위센서의 변위신호를 영상신호로 변환하기 위해, 본 발명은 딥 러닝(deep-learning)의 하나인 오토인코더(auto-encoder) 기술을 사용한다. In order to convert the displacement signal of the displacement sensor into an image signal, the present invention uses an auto-encoder technology, which is one of deep-learning.

오토 인코더는 하나의 히든 레이어(hidden layer)가 있는 신경망 구조로서, 입력 신호와 동일하거나 유사한 신호가 출력되도록 학습하는 방법이다. 본 발명에서는 변위센서의 변위 데이터와 이미지센서의 고해상도 영상 데이터를 한 쌍으로 준비하여 오토 인코더 방식으로 영상 생성부(100)를 학습시킨다. Auto-encoder is a neural network structure with one hidden layer, and is a method of learning to output a signal identical or similar to an input signal. In the present invention, displacement data of a displacement sensor and high-resolution image data of an image sensor are prepared as a pair, and the image generator 100 is trained by an auto encoder method.

영상 생성부(100)에 적용되는 딥 러닝 기반의 학습 모델을 제1 모델이라고 칭한다. The deep learning-based learning model applied to the image generator 100 is referred to as a first model.

진단부(200)는 영상신호를 분석하여 대상물의 상태나 고장을 진단한다. 본 발명에서는 고해상도 영상 데이터와 진단결과 데이터를 준비하여 딥 러닝 기술을 사용해 진단부(200)를 학습시킨다. The diagnosis unit 200 analyzes the image signal to diagnose a condition or a failure of the object. In the present invention, high-resolution image data and diagnosis result data are prepared, and the diagnosis unit 200 is trained using deep learning technology.

진단부(200)에 적용되는 딥 러닝 기반의 학습 모델을 제2 모델이라고 칭한다. A deep learning-based learning model applied to the diagnosis unit 200 is referred to as a second model.

도 2는 본 발명에 따른 영상 생성부의 구성을 나타낸 것이고, 도 3은 본 발명에 따른 영상 생성부를 학습시키기 위한 구성을 나타낸 것이다. 2 shows the configuration of an image generator according to the present invention, and FIG. 3 shows a configuration for learning the image generator according to the present invention.

도 2를 참조하면, 영상 생성부(100)는 오토인코더 방식을 사용하여 인코더(102) 및 디코더(104)로 구성된다. Referring to FIG. 2, the image generation unit 100 includes an encoder 102 and a decoder 104 using an auto-encoder method.

인코더(102)는 변위신호를 입력받아 특징 맵(feature map)을 출력한다. The encoder 102 receives the displacement signal and outputs a feature map.

도 2에는 도시되어 있지 않지만, 인코더(102)는 컨벌루션 기반 잔류 학습 블록과 풀링 층으로 구성되어 있다. 잔류 학습 블록과 풀링 층은 복수 개 연결되어 있다. Although not shown in FIG. 2, the encoder 102 is composed of a convolution-based residual learning block and a pooling layer. A plurality of residual learning blocks and pooling layers are connected.

잔류학습(residual learning) 블록은 변위신호가 입력되면 컨벌루션(convolution), 배치 정규화(batch normalization) 및 활성함수(ReLU)를 적용하여 특징 맵(feature map)을 추출한다. When a displacement signal is input, the residual learning block extracts a feature map by applying convolution, batch normalization, and an activation function (ReLU).

풀링 층(pooling layer)은 소정 크기의 커널과 보폭(stride)으로 최대 풀링(max pooling)하여 특징 맵을 다운샘플링(downsampling)한다. The pooling layer downsampling the feature map by performing max pooling with a kernel of a predetermined size and a stride.

인코더(102)에서 잔류학습과 풀링 과정이 반복적으로 진행되면서 최종적인 특징 맵이 출력된다. As the residual learning and the pulling process are repeatedly performed in the encoder 102, a final feature map is output.

디코더(104)는 특징 맵을 입력받아 영상신호를 출력한다. The decoder 104 receives the feature map and outputs an image signal.

도 2에는 도시되어 있지 않지만, 디코더(104)는 컨벌루션(convolution)과 업샘플링(upsampling) 과정을 반복적으로 진행하면서 영상신호를 출력하게 된다. Although not shown in FIG. 2, the decoder 104 outputs an image signal while repeatedly performing convolution and upsampling processes.

영상 생성부(100)는 훈련 집합으로서 변위 데이터와 고해상도 영상 데이터를 제공받아 오토인코더 방식으로 학습되면서 가중치(weight), 바이어스(bias) 등의 파라미터 값들이 최적화된다. The image generator 100 receives displacement data and high-resolution image data as a training set, and is trained in an auto-encoder method to optimize parameter values such as weight and bias.

그런데 오토인코더 방식으로 영상 생성부(200)가 학습되더라도 영상 생성부(200)에서 출력된 영상신호는 훈련 집합의 고해상도 영상 데이터와 달리 해상도가 떨어질 수 있다. However, even if the image generator 200 is trained by the auto-encoder method, the image signal output from the image generator 200 may have a lower resolution than the high-resolution image data of the training set.

이를 보완하기 위해, 본 발명은 영상 생성부(100)에 딥 러닝의 GAN(Generative Adversarial Network) 모델을 사용한다. To compensate for this, the present invention uses a deep learning Generative Adversarial Network (GAN) model in the image generator 100.

GAN 모델은 생성기(generator)와 분별기(discriminator)를 서로 대립시켜 실제와 유사한 데이터가 생성되도록 학습하는 방법이다. In the GAN model, a generator and a discriminator are confronted with each other to learn to generate data similar to the real one.

도 3을 참조하면, GAN 모델의 생성기(10)가 본 발명의 영상 생성부(100)에 해당한다. 영상 생성부(100)는 오토인코더 방식으로 학습된 후 GAN 모델을 이용해 다시 한 번 학습된다. 3, the generator 10 of the GAN model corresponds to the image generator 100 of the present invention. The image generating unit 100 is trained using an auto-encoder method and then trained once again using a GAN model.

영상 생성부(100)가 생성기(10)에 적용되면, 생성기(10)는 오토인코더 방식에 따라 변위신호(1)를 영상신호(2)로 변환하여 출력한다. 분별기(20)는 고해상도 영상 데이터(3)를 훈련집합으로 제공받고 생성기(10)로부터 입력된 영상신호와 훈련집합의 고해상도 영상 데이터를 구별한다. When the image generator 100 is applied to the generator 10, the generator 10 converts the displacement signal 1 into the image signal 2 according to the auto-encoder method and outputs the converted signal. The classifier 20 receives the high-resolution image data 3 as a training set and distinguishes the image signal input from the generator 10 from the high-resolution image data of the training set.

GAN 모델의 학습은 생성기(10)가 만들어낸 영상신호를 분별기(20)가 구별할 수 없는 수준까지 도달하는 것이다. The learning of the GAN model is to reach a level in which the classifier 20 cannot distinguish the image signal generated by the generator 10.

이와 같이, 오토인코더 방식으로 학습된 영상 생성부(100)는 다시 한번 GAN 모델을 통해 분별기(20)가 생성기(10)의 영상신호와 훈련집합의 고해상도 영상 데이터를 구별할 수 없는 수준에 도달할 때까지 학습된다. In this way, the image generator 100 learned by the auto-encoder method once again reaches a level in which the classifier 20 cannot distinguish the image signal of the generator 10 from the high-resolution image data of the training set through the GAN model. It is learned until you do.

따라서, 본 발명에 따른 영상 생성부(100)는 오토인코더와 GAN 모델에 근거해 학습된 복합 모델이다. Therefore, the image generator 100 according to the present invention is a complex model learned based on the autoencoder and the GAN model.

도 4는 본 발명에 따른 진단부의 구성을 나타낸 것이다. 4 shows the configuration of a diagnosis unit according to the present invention.

도 4를 참조하면, 진단부(200)는 특징추출 모듈(202) 및 분류 모듈(204)로 구성될 수 있다. Referring to FIG. 4, the diagnosis unit 200 may include a feature extraction module 202 and a classification module 204.

특징추출 모듈(202)은 영상 생성부(100)의 영상신호로부터 특징 맵을 추출한다. 특징추출 모듈(202)은 컨벌루션과 풀링이 반복되는 컨벌루션층(convolution layer)으로 구성되어 영상신호의 특징 맵을 생성한다. The feature extraction module 202 extracts a feature map from the image signal of the image generator 100. The feature extraction module 202 is composed of a convolution layer in which convolution and pooling are repeated to generate a feature map of an image signal.

분류 모듈(204)은 특징추출 모듈(202)에서 출력된 특징 맵에 대해 완전 연결(fully connected)하고 이를 활성함수(예를 들어, sigmoid 함수)에 입력하여 고장 원인을 분류한다. The classification module 204 classifies the cause of the failure by fully connected to the feature map output from the feature extraction module 202 and inputs it to an activation function (eg, a sigmoid function).

도 5는 본 발명에 따른 머신러닝 기반 고장진단 방법을 나타낸 순서도이고, 도 6은 각 단계에 적용된 머신러닝 기반 모델을 설명하기 위한 도면이다. 5 is a flowchart illustrating a machine learning-based failure diagnosis method according to the present invention, and FIG. 6 is a diagram illustrating a machine learning-based model applied to each step.

도 5를 참조하면, 변위신호 측정 단계(S10)는 복합재 구조체, 제품 표면 등의 대상물에 설치된 변위센서로부터 변위신호를 측정하는 단계이다. 5, the displacement signal measuring step (S10) is a step of measuring a displacement signal from a displacement sensor installed on an object such as a composite structure or a product surface.

대상물에 많은 수의 변위센서를 설치할 수 없기 때문에 도 3에 도시된 바와 같이, 색이 칠해진 부분에만 변위신호가 검출되고 나머지 부분에서는 변위신호가 검출되지 않는다. Since a large number of displacement sensors cannot be installed on the object, as shown in FIG. 3, the displacement signal is detected only in the colored portion and the displacement signal is not detected in the remaining portions.

영상신호 생성 단계(S20)는 오토인코더와 GAN 학습이 동시에 적용된 제1 모델을 이용해 고해상도 영상신호를 생성하는 단계이다. The image signal generation step (S20) is a step of generating a high-resolution image signal using a first model to which the autoencoder and GAN learning are simultaneously applied.

제1 모델을 얻기 위해, 먼저 변위센서의 변위 데이터 및 이미지센서의 고해상도 영상 데이터를 훈련집합으로 제공받고 오토인코더 모델을 이용해 변위신호로부터 영상신호가 생성되도록 영상 생성부(100)를 학습시키는 제1 학습 과정을 수행한다. In order to obtain the first model, first, the displacement data of the displacement sensor and the high-resolution image data of the image sensor are provided as a training set, and the image generator 100 is trained to generate an image signal from the displacement signal using an autoencoder model. Conduct the learning process.

다음, GAN 모델을 이용해 제1 학습 과정에서 학습된 영상 생성부(100)에 의해 생성된 영상신호가 훈련집합의 고해상도 영상 데이터와 구별되지 못하는 수준에 도달할 때까지 영상 생성부(100)를 학습시키는 제2 학습 과정을 수행한다.Next, using the GAN model, the image generator 100 is trained until the image signal generated by the image generator 100 learned in the first learning process reaches a level that is indistinguishable from the high-resolution image data of the training set. Perform the second learning process to let you know.

이와 같이 오토인코더 방식에 의한 제1 학습 과정과 GAN 모델에 의한 제2 학습 과정을 거쳐 제1 모델이 만들어지고 이렇게 만들어진 제1 모델이 영상 생성부(100)에 적용된다. As described above, a first model is created through a first learning process using an auto-encoder method and a second learning process using a GAN model, and the first model thus created is applied to the image generator 100.

고장진단 단계(S30)는 컨벌루션층과 분류층으로 구성된 신경망이 적용된 제2 모델을 이용해 대상물의 고장 원인을 분류하는 단계이다. The failure diagnosis step S30 is a step of classifying the cause of a failure of an object using a second model to which a neural network composed of a convolutional layer and a classification layer is applied.

도 6을 참조하면, 영상신호 생성 단계(S20)에 사용되는 제1 모델은 비지도 학습의 오토인코더와 GAN 모델이 혼합 적용되어 있으며, 고장 진단 단계(S30)에 사용되는 제2 모델은 지도학습의 CNN(Convolution Neural Network) 및 DMLP(Deep Multi-Layer Perceptron)이 적용되어 있다. 6, the first model used in the image signal generation step (S20) is a mixture of an unsupervised learning autoencoder and a GAN model, and the second model used in the fault diagnosis step (S30) is supervised learning. CNN (Convolution Neural Network) and DMLP (Deep Multi-Layer Perceptron) are applied.

이상의 설명은 본 발명을 예시적으로 설명한 것에 불과하며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술적 사상에서 벗어나지 않는 범위에서 다양한 변형이 가능할 것이다. The above description is only illustrative of the present invention, and various modifications may be made without departing from the technical spirit of the present invention by those of ordinary skill in the technical field to which the present invention belongs.

따라서 본 발명의 명세서에 개시된 실시 예들은 본 발명을 한정하는 것이 아니다. 본 발명의 범위는 아래의 특허청구범위에 의해 해석되어야 하며, 그와 균등한 범위 내에 있는 모든 기술도 본 발명의 범위에 포함되는 것으로 해석해야 할 것이다. Therefore, the embodiments disclosed in the specification of the present invention do not limit the present invention. The scope of the present invention should be interpreted by the following claims, and all technologies within the scope equivalent thereto should be interpreted as being included in the scope of the present invention.

1: 변위신호 2: 영상신호
3: 훈련집합 고해상도 영상 10: 생성기
20: 분별기 100: 영상 생성부
102: 인코더 104: 디코더
200: 진단부 202: 특징추출 모듈
204: 분류 모듈 1: displacement signal 2: video signal
3: Training set high-resolution image 10: Generator
20: separator 100: image generator
102: encoder 104: decoder
200: diagnostic unit 202: feature extraction module
204: classification module

Claims (7)

딥 러닝(deep-learning) 기반으로 사전 학습된 제1 모델에 따라 대상물의 변위신호를 영상신호로 변환하는 영상 생성부와,
딥 러닝 기반으로 사전 학습된 제2 모델에 따라 영상신호를 분석하여 대상물의 결함을 검출하는 진단부를 포함하며,
상기 영상 생성부는 변위센서의 변위 데이터와 이미지센서의 고해상도 영상 데이터를 제공받아 오토인코더 방식으로 학습된 후 GAN 모델을 이용해 다시 한 번 학습되는 것을 특징으로 하는 머신러닝 기반 고장진단 장치. An image generator that converts a displacement signal of an object into an image signal according to a first model pre-trained based on deep-learning, and
It includes a diagnostic unit for detecting a defect of the object by analyzing the image signal according to the second model pre-trained based on deep learning,
The image generation unit receives displacement data of a displacement sensor and high-resolution image data of an image sensor, is trained by an auto-encoder method, and then is trained again using a GAN model. 삭제delete 제1항에 있어서,
상기 진단부는 컨벌루션층과 분류층으로 구성된 신경망을 사용하여 대상물의 고장원인을 분류하는 것을 특징으로 하는 머신러닝 기반 고장진단 장치. The method of claim 1,
The diagnostic unit classifies the cause of the failure of the object using a neural network composed of a convolutional layer and a classification layer. 딥 러닝(deep-learning) 기반으로 사전 학습된 제1 모델에 따라 대상물의 변위신호를 처리하여 영상신호를 생성하는 단계와,
딥 러닝 기반으로 사전 학습된 제2 모델에 따라 영상신호를 분석하여 대상물의 결함을 검출하는 단계를 포함하며,
상기 영상신호를 생성하는 단계는 오토인코더와 GAN 학습이 동시에 적용된 학습모델을 이용해 고해상도 영상신호를 생성하는 것을 특징으로 하는 머신러닝 기반 고장진단 방법.Generating an image signal by processing a displacement signal of an object according to a first model pre-trained based on deep-learning, and
Including the step of detecting a defect of the object by analyzing the image signal according to the second model pre-trained based on deep learning,
The generating of the image signal comprises generating a high-resolution image signal by using a learning model to which the auto-encoder and GAN learning are applied at the same time. 삭제delete 제4항에 있어서,
상기 대상물의 결함을 검출하는 단계는 컨벌루션층과 분류층으로 구성된 신경망을 사용하여 대상물의 고장원인을 분류하는 것을 특징으로 하는 머신러닝 기반 고장진단 방법.The method of claim 4,
The step of detecting the defect of the object comprises classifying the cause of the failure of the object using a neural network composed of a convolutional layer and a classification layer. 변위센서의 변위 데이터 및 이미지센서의 고해상도 영상 데이터를 제공받아 오토인코더 모델을 이용해 변위신호로부터 영상신호가 생성되도록 영상 생성부를 학습시키는 제1 학습 단계와,
GAN 모델을 이용해 상기 제1 학습 단계에서 학습된 영상 생성부에 의해 생성된 영상신호가 상기 고해상도 영상 데이터와 구별되지 못하는 수준까지 도달하도록 영상 생성부를 학습시키는 제2 학습 단계와,
상기 제1 학습 단계 및 상기 제2 학습 단계에서 학습된 영상 생성부를 통해 변위신호로부터 영상신호를 생성하는 단계를 포함하는 머신러닝 기반 고장진단 방법.A first learning step of learning an image generator to generate an image signal from a displacement signal using an autoencoder model by receiving displacement data of the displacement sensor and high-resolution image data of the image sensor;
A second learning step of training the image generator to reach a level indistinguishable from the high-resolution image data by using the GAN model so that the image signal generated by the image generator learned in the first learning step reaches a level indistinguishable from the high-resolution image data;
And generating an image signal from the displacement signal through the image generating unit learned in the first learning step and the second learning step.
KR1020190056906A 2019-05-15 2019-05-15 Fault diagnosis apparatus and method based on machine-learning KR102172271B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190056906A KR102172271B1 (en) 2019-05-15 2019-05-15 Fault diagnosis apparatus and method based on machine-learning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190056906A KR102172271B1 (en) 2019-05-15 2019-05-15 Fault diagnosis apparatus and method based on machine-learning

Publications (1)

Publication Number Publication Date
KR102172271B1 true KR102172271B1 (en) 2020-10-30

Family

ID=73048306

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190056906A KR102172271B1 (en) 2019-05-15 2019-05-15 Fault diagnosis apparatus and method based on machine-learning

Country Status (1)

Country Link
KR (1) KR102172271B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114021455A (en) * 2021-11-03 2022-02-08 中国计量大学上虞高等研究院有限公司 Improved DRAGAN and data driving combined water chilling unit fault detection and diagnosis method

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003348607A (en) * 2002-05-28 2003-12-05 Olympus Optical Co Ltd Imaging apparatus and method
KR20090120842A (en) * 2008-05-21 2009-11-25 울산대학교 산학협력단 Apparatus and method of defect diagnosis through transform signals of sound and vibration of machine into image signals
KR101292070B1 (en) * 2012-05-30 2013-08-01 재단법인 중소조선연구원 Drop test apparatus of leisure boat and mtehod thereof
KR20190018798A (en) * 2017-08-16 2019-02-26 강병수 car noise sound with Convolution Nueral Network classification method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003348607A (en) * 2002-05-28 2003-12-05 Olympus Optical Co Ltd Imaging apparatus and method
KR20090120842A (en) * 2008-05-21 2009-11-25 울산대학교 산학협력단 Apparatus and method of defect diagnosis through transform signals of sound and vibration of machine into image signals
KR101292070B1 (en) * 2012-05-30 2013-08-01 재단법인 중소조선연구원 Drop test apparatus of leisure boat and mtehod thereof
KR20190018798A (en) * 2017-08-16 2019-02-26 강병수 car noise sound with Convolution Nueral Network classification method

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Tensile Properties Estimation Method Using Convolutional LSTM Model, Journal of The Korea Society of Computer and Information, 2018.11. *
기계공학에서의 인공지능 적용 사례, 기계저널, 2017.03.* *
딥 러닝을 이용한 비전 기반 인장편 특성 추정, 대한전기학회, 2017. *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114021455A (en) * 2021-11-03 2022-02-08 中国计量大学上虞高等研究院有限公司 Improved DRAGAN and data driving combined water chilling unit fault detection and diagnosis method
CN114021455B (en) * 2021-11-03 2024-04-30 中国计量大学上虞高等研究院有限公司 Water chilling unit fault detection and diagnosis method combining improvement DRAGAN and data driving

Similar Documents

Publication Publication Date Title
Liu et al. Review on automated condition assessment of pipelines with machine learning
EP3800588A1 (en) System and method using knowledge distillation for training a machine learning classifier
US10621717B2 (en) System and method for image-based target object inspection
KR102209401B1 (en) Apparatus and method for fault diagnosis of gearbox using cnn
US20200402221A1 (en) Inspection system, image discrimination system, discrimination system, discriminator generation system, and learning data generation device
JP6707920B2 (en) Image processing apparatus, image processing method, and program
WO2021059909A1 (en) Data generation system, learning device, data generation device, data generation method, and data generation program
KR102168724B1 (en) Method And Apparatus for Discriminating Normal and Abnormal by using Vision Inspection
CN116030048B (en) Lamp inspection machine and method thereof
US11127127B2 (en) Full-field imaging learning machine (FILM)
US20190360942A1 (en) Information processing method, information processing apparatus, and program
KR102383139B1 (en) Industrial facility failure prediction diagnosis data learning labeling system and method based on artificial intelligence
KR20220156769A (en) Method and system of classifying products manufactured by manufacturing process
KR20200092143A (en) System and method for diagnosising display panel using deep learning neural network
KR102300049B1 (en) Fault diagnosis apparatus and method using frequency analysis based on machine-learning
WO2021100483A1 (en) Model generation apparatus, estimation apparatus, model generation method, and model generation program
JP2012018066A (en) Device for inspecting abnormality
KR102154413B1 (en) Defect signal diagnostics apparatus and method using acoustic emission
US20210304400A1 (en) System and method for inspection of heat recovery steam generator
KR102172271B1 (en) Fault diagnosis apparatus and method based on machine-learning
JP7046760B2 (en) Signal analysis device, signal analysis method, and signal analysis program
CN113706496A (en) Aircraft structure crack detection method based on deep learning model
KR102298708B1 (en) Method of inspecting defects present in the inspection object and apparatuses performing the same
CN117585553A (en) Elevator abnormality detection method, elevator abnormality detection device, computer equipment and storage medium
JP2023145412A (en) Defect detection method and system

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant