KR102057081B1 - Working error detecting apparatus and method for automatic manufacturing line - Google Patents

Working error detecting apparatus and method for automatic manufacturing line Download PDF

Info

Publication number
KR102057081B1
KR102057081B1 KR1020170184243A KR20170184243A KR102057081B1 KR 102057081 B1 KR102057081 B1 KR 102057081B1 KR 1020170184243 A KR1020170184243 A KR 1020170184243A KR 20170184243 A KR20170184243 A KR 20170184243A KR 102057081 B1 KR102057081 B1 KR 102057081B1
Authority
KR
South Korea
Prior art keywords
production line
automated production
sample signal
error detection
loss function
Prior art date
Application number
KR1020170184243A
Other languages
Korean (ko)
Other versions
KR20190081594A (en
Inventor
윤일동
오동렬
Original Assignee
한국외국어대학교 연구산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국외국어대학교 연구산학협력단 filed Critical 한국외국어대학교 연구산학협력단
Priority to KR1020170184243A priority Critical patent/KR102057081B1/en
Publication of KR20190081594A publication Critical patent/KR20190081594A/en
Application granted granted Critical
Publication of KR102057081B1 publication Critical patent/KR102057081B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/4184—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by fault tolerance, reliability of production system
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B21/00—Systems involving sampling of the variable controlled
    • G05B21/02—Systems involving sampling of the variable controlled electric
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
  • Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

본 발명은 자동화 생산 라인의 작업 오류 검출 장치 및 방법에 관한 것으로, 고차원 데이터를 저차원 데이터로 압축했다 다시 고차원 데이터로 확장하는 오토 인코더(Autoencoder) 기술을 이용해 단위 작업들이 차례로 반복되는 작업 패턴을 가지는 자동화 생산 라인의 작업 오류 가능성을 간편하면서도 신속 정확하게 진단하여 예측할 수 있도록 한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an apparatus and method for detecting an operation error of an automated production line. It is a simple, quick and accurate diagnosis and prediction of the possibility of errors in an automated production line.

Description

자동화 생산 라인의 작업 오류 검출 장치 및 방법{Working error detecting apparatus and method for automatic manufacturing line}Working error detecting apparatus and method for automatic manufacturing line

본 발명은 음향 기반 오류 검출 기술에 관련한 것으로, 특히 단위 작업들이 차례로 반복되는 자동화 생산 라인의 작업 오류 검출 장치 및 방법에 관한 것이다.TECHNICAL FIELD The present invention relates to sound-based error detection technology, and more particularly, to an apparatus and method for detecting operation errors in an automated production line in which unit operations are repeated in sequence.

표면 실장 부품을 인쇄기판(PCB)에 부착하는 SMD(Surface Mount Device) 조립 공정은 스텝 이송 트레이에 의해 PCB 기판이 입고되면, 로봇의 팔이 또 다른 스텝 이송 트레이에 의해 이송되는 표면 실장 부품을 흡착하여 집은 후, PCB 기판 위치로 이동시켜 PCB 기판상에 표면 실장 부품을 납땜 등을 통해 장착한 다음, 스텝 이송 트레이를 통해 PCB 기판을 출고하는 과정을 거친다.Surface Mount Device (SMD) assembly process, which attaches surface-mount components to printed circuit boards (PCBs), allows the robot's arm to adsorb surface-mount components to be transported by another step-transfer tray when the PCB board is received by the step-transfer tray. After picking up, the substrate is moved to a position of the PCB substrate, and the surface-mounted component is mounted on the PCB substrate by soldering or the like, and then the PCB substrate is shipped through the step feed tray.

즉, SMD(Surface Mount Device) 조립 공정 라인은 PCB 기판 입고, 부품 집기, 부품 이동, 부품 장착, PCB 기판 출고를 포함하는 단위 작업들이 차례로 반복되는 일정한 작업 패턴을 가진다.That is, the Surface Mount Device (SMD) assembly process line has a uniform work pattern in which unit operations including PCB substrate receipt, component pick-up, component movement, component mounting, and PCB substrate shipment are sequentially repeated.

이와 같은 자동화 생산 라인의 경우, 단위 작업들이 차례로 반복되는 작업 패턴을 가지므로, 어떤 단위 작업에서 장애가 발생하여 작업이 중지되면, 자동화 생산 라인 전체가 동작하지 못하는 태생적인 구조를 가진다.In the case of such an automated production line, since the unit operations have a work pattern that is repeated in sequence, if the operation is stopped due to a failure in a unit operation, the entire automated production line does not operate.

따라서, 자동화 생산 라인의 단위 작업들의 오류를 빠르게 검출하여 장애가 발생한 단위 작업을 빠르게 복구하는 것은 자동화 생산 라인에서는 매우 중요한 이슈이다.Therefore, it is very important issue in the automated production line to quickly detect the error of the unit operations of the automated production line and quickly recover the failed unit work.

대한민국 공개특허 제10-2014-0030017호(2014.0.11)에서 공정 처리 모듈의 제어에 이용되는 제어 신호가 갖는 제어 주파수를 측정하여, 제어 주파수가 기준 주파수 이상이면 공정 처리 모듈에 에러가 발생한 것으로 판단하는 공정 처리 모듈의 에러를 검출하는 방법을 개시하고 있다.In Korean Patent Laid-Open No. 10-2014-0030017 (2014.0.11), a control frequency of a control signal used to control a process module is measured, and when the control frequency is higher than the reference frequency, it is determined that an error occurs in the process module. A method of detecting an error of a process module to be disclosed is disclosed.

이 기술은 제어신호의 주파수 특성을 분석하여 공정 처리 모듈의 에러를 검출하는 방식으로, 공정 처리 모듈이 동작하는 동안 제어 신호는 항상 거의 동일한 제어 주파수를 유지하므로, 제어 주파수가 기준 주파수를 벗어나는지 판단함으로써 공정 처리 모듈의 에러를 검출할 수 있도록 한 것이다.This technique analyzes the frequency characteristics of the control signal to detect errors in the process module. The control signal always maintains almost the same control frequency during operation of the process module, so that the control frequency deviates from the reference frequency. By doing so, an error of the process module can be detected.

단위 작업들이 차례로 반복되는 작업 패턴을 가지는 자동화 생산 라인의 경우, 각 단위 작업 구간에서 발생하는 음향은 일정한 패턴을 보이며, 특정 단위 작업 구간에서 오류가 발생할 경우 자동화 생산 라인 전체의 음향 패턴이 변할 것이다.In the case of an automated production line having a work pattern in which unit operations are repeated in sequence, the sound generated in each unit work section has a constant pattern, and if an error occurs in a specific unit work section, the acoustic pattern of the entire automated production line will change.

일반적으로 정보가 발생하는 도메인(Domain)과 정상/비정상 샘플을 구분하는 도메인은 다를 수 있으며, 샘플(Sample) 데이터가 발생하는 도메인에서 획득된 샘플 데이터를 이용해 정상/비정상 샘플을 구분하는 도메인에서 정상 또는 비정상을 구분하는 것은 쉬운 일이 아니다.In general, the domain where information is generated and the domain that distinguishes normal / abnormal samples may be different, and the domain that distinguishes normal / abnormal samples using sample data obtained from the domain where sample data occurs is normal. Or distinguishing abnormalities is not easy.

자동화 생산 라인의 각 단위 작업들에서 발생하는 오류들은 매우 드물게 발생하고, 어떠한 오류가 언제, 어떻게, 왜 발생하는지 특정하기가 어려우므로, 기계 학습(Machine Learning) 방법을 적용하여 정상/비정상 데이터를 학습시키는데 어려움이 발생한다.Errors in each unit of an automated production line are very rare, and it is difficult to specify when, how, and why errors occur, so that machine learning is applied to learn normal and abnormal data. Difficulty occurs.

따라서, 본 발명자는 고차원 데이터를 저차원 데이터로 압축했다 다시 고차원 데이터로 확장하는 오토 인코더(Autoencoder) 기술을 이용해 단위 작업들이 차례로 반복되는 작업 패턴을 가지는 자동화 생산 라인의 작업 오류 가능성을 간편하면서도 신속 정확하게 진단하여 예측할 수 있는 기술에 대한 연구를 하였다.Therefore, the present inventor uses an autoencoder technology that compresses high-dimensional data into low-dimensional data and then expands it into high-dimensional data, thereby easily and quickly correcting the possibility of an error in an automated production line having an operation pattern in which unit operations are repeated in sequence. We studied the technology that can be diagnosed and predicted.

대한민국 공개특허 제10-2014-0030017호(2014.0.11)Republic of Korea Patent Publication No. 10-2014-0030017 (2014.0.11)

본 발명은 상기한 취지하에 발명된 것으로, 고차원 데이터를 저차원 데이터로 압축했다 다시 고차원 데이터로 확장하는 오토 인코더(Autoencoder) 기술을 이용해 단위 작업들이 차례로 반복되는 작업 패턴을 가지는 자동화 생산 라인의 작업 오류 가능성을 간편하면서도 신속 정확하게 진단하여 예측할 수 있는 자동화 생산 라인의 작업 오류 검출 장치 및 방법을 제공함을 그 목적으로 한다.The present invention has been invented in view of the above, and an operation error of an automated production line having an operation pattern in which unit operations are repeated in sequence by using an autoencoder technology that compresses high-dimensional data into low-dimensional data and then expands it into high-dimensional data. It is an object of the present invention to provide an apparatus and method for detecting an operation error in an automated production line that can easily and quickly diagnose and predict a possibility.

상기한 목적을 달성하기 위한 본 발명의 일 양상에 따르면, 자동화 생산 라인의 작업 오류 검출 장치가 단위 작업들이 차례로 반복되는 자동화 생산 라인의 음향을 실시간 검출하는 적어도 하나의 음향 센서와; 음향 센서에 의해 실시간 검출되는 자동화 생산 라인의 시간 도메인 음향 신호를 국소 푸리에 변환(STFT : Short-Time Fourier Transform)하여 주파수 도메인의 변환 샘플 신호를 생성하는 국소 푸리에 변환기와; 국소 푸리에 변환기에 의해 생성되어 입력되는 고차원의 변환 샘플 신호를 인코딩(Encoding)하여 압축한 후, 다시 디코딩(Decoding)하여 입력과 동일한 고차원의 복원 샘플 신호로 확장하는 오토 인코더(Autoencoder)와; 변환 샘플 신호와 복원 샘플 신호 간의 차이에 관련된 손실 함수(Loss Function)를 계산하고, 계산된 손실 함수(Loss Function)를 기준값과 비교하여 자동화 생산 라인의 비정상 여부를 판단하는 오류 판단기를 포함한다.According to an aspect of the present invention for achieving the above object, at least one acoustic sensor for real-time detection of the sound of the automated production line in which the unit operations are repeated, the operation error detection device of the automated production line; A local Fourier transform (STFT: Short-Time Fourier Transform) of the automated production line detected in real time by the acoustic sensor to generate a transformed sample signal in the frequency domain; An autoencoder that encodes and compresses a high-order transformed sample signal generated and input by a local Fourier transformer, and then decodes and expands it into a high-dimensional reconstructed sample signal identical to the input; An error determiner for calculating a loss function related to the difference between the transformed sample signal and the restored sample signal, and comparing the calculated loss function with a reference value, determines an abnormality of the automated production line.

본 발명의 부가적인 양상에 따르면, 자동화 생산 라인의 작업 오류 검출 장치가 오토 인코더를 학습시키는 학습기를 더 포함할 수 있다.According to an additional aspect of the present invention, an operation error detection apparatus of an automated production line may further include a learner for learning an auto encoder.

본 발명의 부가적인 양상에 따르면, 학습기가 음향 센서에 의해 실시간 검출되는 자동화 생산 라인의 시간 도메인 음향 신호를 일정 시간 동안 샘플링하고, 일정 시간 동안 샘플링된 자동화 생산 라인의 시간 도메인 음향 신호를 국소 푸리에 변환(STFT : Short-Time Fourier Transform)하여 주파수 도메인의 변환 샘플 신호를 생성하고, 고차원의 변환 샘플 신호를 인코딩(Encoding)하여 압축한 후, 다시 디코딩(Decoding)하여 입력과 동일한 고차원의 복원 샘플 신호로 확장했을 때, 변환 샘플 신호와 복원 샘플 신호 간의 차이에 관련된 손실 함수가 최소가 되는 방향으로 오토 인코더를 학습시칼 수 있다.According to an additional aspect of the present invention, a learner samples a time domain acoustic signal of an automated production line that is detected in real time by an acoustic sensor for a period of time, and local Fourier transforms the time domain acoustic signal of the automated production line that has been sampled for a period of time. (STFT: Short-Time Fourier Transform) to generate a transformed sample signal in the frequency domain, encode and compress the high-order transform sample signal, and then decode again to obtain the same high-dimensional reconstructed sample signal as the input. When extended, the auto encoder can be trained in a direction that minimizes the loss function associated with the difference between the transform sample signal and the reconstructed sample signal.

본 발명의 부가적인 양상에 따르면, 자동화 생산 라인의 작업 오류 검출 장치가 오류 판단기에 의해 자동화 생산 라인이 비정상이라 판단된 경우, 이를 경고하는 경고부를 더 포함할 수 있다.According to an additional aspect of the present invention, the operation error detection device of the automated production line may further include a warning unit that warns when the automated production line is determined to be abnormal by an error determiner.

본 발명의 또 다른 양상에 따르면, 자동화 생산 라인의 작업 오류 검출 방법이 음향 센서에 의해 실시간 검출되는 자동화 생산 라인의 시간 도메인 음향 신호를 국소 푸리에 변환(STFT : Short-Time Fourier Transform)하여 주파수 도메인의 변환 샘플 신호를 생성하는 국소 푸리에 변환 단계와; 국소 푸리에 변환 단계에 의해 생성되어 입력되는 고차원의 변환 샘플 신호를 오토 인코더(Autoencoder)를 사용해 인코딩(Encoding)하여 압축한 후, 다시 디코딩(Decoding)하여 입력과 동일한 고차원의 복원 샘플 신호로 확장하는 오토 인코딩 단계와; 변환 샘플 신호와 복원 샘플 신호 간의 차이에 관련된 손실 함수(Loss Function)를 계산하고, 계산된 손실 함수(Loss Function)를 기준값과 비교하여 자동화 생산 라인의 비정상 여부를 판단하는 오류 판단 단계를 포함할 수 있다.According to another aspect of the present invention, a method for detecting an operation error of an automated production line includes a short-time fourier transform (STFT) of a time domain acoustic signal of an automated production line that is detected in real time by an acoustic sensor. A local Fourier transform step of generating a transform sample signal; The high-order transformed sample signal generated and input by the local Fourier transform step is encoded by using an autoencoder, compressed, and then decoded to be decoded and expanded to the same high-dimensional reconstructed sample signal as the input. An encoding step; Calculating a loss function related to the difference between the transform sample signal and the restored sample signal, and comparing the calculated loss function with a reference value to determine an abnormality of the automated production line. have.

본 발명의 부가적인 양상에 따르면, 자동화 생산 라인의 작업 오류 검출 방법이 오토 인코더를 학습시키는 학습단계를 더 포함할 수 있다.According to an additional aspect of the present invention, a method for detecting an operation error of an automated production line may further include a learning step of learning an auto encoder.

본 발명의 부가적인 양상에 따르면, 학습단계에서 음향 센서에 의해 실시간 검출되는 자동화 생산 라인의 시간 도메인 음향 신호를 일정 시간 동안 샘플링하고, 일정 시간 동안 샘플링된 자동화 생산 라인의 시간 도메인 음향 신호를 국소 푸리에 변환(STFT : Short-Time Fourier Transform)하여 주파수 도메인의 변환 샘플 신호를 생성하고, 고차원의 변환 샘플 신호를 인코딩(Encoding)하여 압축한 후, 다시 디코딩(Decoding)하여 입력과 동일한 고차원의 복원 샘플 신호로 확장했을 때, 변환 샘플 신호와 복원 샘플 신호 간의 차이에 관련된 손실 함수가 최소가 되는 방향으로 오토 인코더를 학습시킬 수 있다.According to an additional aspect of the present invention, a time domain acoustic signal of an automated production line detected in real time by an acoustic sensor in a learning step is sampled for a predetermined time, and the time domain acoustic signal of the automated production line sampled for a predetermined time is applied to a local Fourier. Short-Time Fourier Transform (STFT) to generate a transformed sample signal in the frequency domain, encodes and compresses the high-order transform sample signal, decodes it again, and then decodes the same high-dimensional reconstructed sample signal to the input When extended to, the auto encoder can be trained in a direction that minimizes the loss function associated with the difference between the transform sample signal and the reconstructed sample signal.

본 발명의 부가적인 양상에 따르면, 자동화 생산 라인의 작업 오류 검출 방법이 오류 판단단계에 의해 자동화 생산 라인이 비정상이라 판단된 경우, 이를 경고하는 경고단계를 더 포함할 수 있다.According to an additional aspect of the present invention, the operation error detection method of the automated production line may further include a warning step for warning this, when it is determined that the automated production line is abnormal by the error determination step.

본 발명의 부가적인 양상에 따르면, 손실 함수(Loss Function)가 평균 제곱 오차(Mean Square Error) 또는 바이너리 크로스 엔트로피(Binary Cross-Entropy)일 수 있다.According to an additional aspect of the present invention, the loss function may be Mean Square Error or Binary Cross-Entropy.

본 발명은 단위 작업들이 차례로 반복되는 작업 패턴을 가지는 자동화 생산 라인의 작업 오류 가능성을 오토 인코더(Autoencoder)를 이용해 간편하면서도 신속 정확하게 진단하여 예측할 수 있으므로, 자동화 생산 라인의 작업 오류가 심각해지기 전에 미연에 대처할 수 있는 효과가 있다.The present invention can easily and quickly diagnose and predict the possibility of an operation error of an automated production line in which unit operations have a repeating work pattern in sequence, and thus, before the operation error of the automated production line becomes serious, There is a coping effect.

또한, 본 발명은 자동화 생산 라인의 기계나 부품이 교체되었을 때나 새로운 기계가 도입되었을 때, 자동화 생산 라인의 정상 상태에서의 작업 음향을 충분한 시간 동안 샘플링하고, 이를 이용해 오토 인코더(Autoencoder)를 학습하여 오토 인코더(Autoencoder)를 재정의 하는 것만으로 자동화 생산 라인의 작업 오류를 검출할 수 있으므로, 적용이 간편하면서도 편리한 효과가 있다.In addition, the present invention, when the machine or parts of the automated production line is replaced, or when a new machine is introduced, sampling the working sound in the steady state of the automated production line for a sufficient time, by using this to learn the autoencoder (Autoencoder) By redefining the autoencoder, it is possible to detect the operation error of the automated production line, which makes the application simple and convenient.

도 1 은 본 발명에 따른 자동화 생산 라인의 작업 오류 검출 장치의 일 실시예의 구성을 도시한 블럭도이다.
도 2 는 국소 푸리에 변환을 통해 시간 도메인 음향 신호가 주파수 도메인 음향 신호로 변환된 예를 도시한 도면이다.
도 3 은 본 발명에 따른 자동화 생산 라인의 작업 오류 검출 장치에 사용되는 오토 인코더의 동작을 설명하기 위한 도면이다.
도 4 는 본 발명에 따른 자동화 생산 라인의 작업 오류 검출 방법의 일 실시예의 구성을 도시한 흐름도이다.1 is a block diagram showing the configuration of an embodiment of an operation error detection apparatus of an automated production line according to the present invention.
2 is a diagram illustrating an example in which a time domain acoustic signal is converted into a frequency domain acoustic signal through a local Fourier transform.
3 is a view for explaining the operation of the auto encoder used in the operation error detection device of the automated production line according to the present invention.
Figure 4 is a flow chart showing the configuration of one embodiment of a job error detection method of an automated production line according to the present invention.

이하, 첨부된 도면을 참조하여 기술되는 바람직한 실시예를 통하여 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 기술하기로 한다. 특정 실시예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있으나, 이는 본 발명의 다양한 실시예들을 특정한 형태로 한정하려는 것은 아니다.Hereinafter, the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily understand and reproduce the present invention. Although specific embodiments are illustrated in the drawings and related detailed description is described, it is not intended to limit the various embodiments of the invention to specific forms.

본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명 실시예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.In the following description of the present invention, detailed descriptions of well-known functions or configurations will be omitted if it is determined that the detailed description of the embodiments of the present invention may unnecessarily obscure the gist of the present invention.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. When a component is referred to as being "connected" or "connected" to another component, it may be directly connected to or connected to that other component, but it may be understood that other components may be present in between. Should be.

반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해될 수 있어야 할 것이다. On the other hand, when a component is referred to as being "directly connected" or "directly connected" to another component, it should be understood that there is no other component in between.

도 1 은 본 발명에 따른 자동화 생산 라인의 작업 오류 검출 장치의 일 실시예의 구성을 도시한 블럭도이다. 도 1 에 도시한 바와 같이, 이 실시예에 따른 자동화 생산 라인의 작업 오류 검출 장치(100)는 적어도 하나의 음향 센서(110)와, 국소 푸리에 변환기(120)와, 오토 인코더(Autoencoder)(130)와, 오류 판단기(140)를 포함한다. 1 is a block diagram showing the configuration of an embodiment of an operation error detection apparatus of an automated production line according to the present invention. As shown in FIG. 1, the operation error detection apparatus 100 of the automated production line according to this embodiment includes at least one acoustic sensor 110, a local Fourier transducer 120, and an autoencoder 130. ) And an error determiner 140.

음향 센서(110)는 단위 작업들이 차례로 반복되는 자동화 생산 라인의 음향을 실시간 검출한다. 작업들이 차례로 반복되는 작업 패턴을 가지는 자동화 생산 라인에서 실시간으로 발생하는 음향에 의해 음향 센서(110)의 진동판이 진동하여 자계가 형성되고, 자계에 의해 발생되는 기전력에 의해 음향 신호 파형이 실시간 출력된다.The acoustic sensor 110 detects in real time the sound of an automated production line in which unit operations are repeated in sequence. The vibration plate of the acoustic sensor 110 is vibrated by a sound generated in real time in an automated production line having a work pattern in which tasks are repeated one by one, and a magnetic field is formed, and an acoustic signal waveform is output in real time by electromotive force generated by the magnetic field. .

국소 푸리에 변환기(120)와, 오토 인코더(Autoencoder)(130) 및 오류 판단기(140)는 마이컴(MICOM)(도면 도시 생략)에서 실행되는 소프트웨어 형태로 구현될 수 있다.The local Fourier transformer 120, the autoencoder 130, and the error determiner 140 may be implemented in the form of software executed in a MICOM (not shown).

국소 푸리에 변환기(120)는 음향 센서(110)에 의해 실시간 검출되는 자동화 생산 라인의 시간 도메인 음향 신호를 국소 푸리에 변환(STFT : Short-Time Fourier Transform)하여 주파수 도메인의 변환 샘플 신호를 생성한다.The local Fourier transformer 120 generates a short-time fourier transform (STFT) of the time domain acoustic signal of the automated production line detected by the acoustic sensor 110 in real time to generate a transformed sample signal of the frequency domain.

예컨대, 국소 푸리에 변환기(120)가 음향 센서(110)에 의해 실시간 검출되는 자동화 생산 라인의 음향 신호 데이터를 특정 윈도우(Window) 크기와, 특정 오버렙(Overlap) 길이로 샘플링하여, 특정 Hz의 샘플링 레이트로 특정 초씩 분할하여 국소 푸리에 변환(STFT)하도록 구현될 수 있다.For example, the local Fourier transducer 120 samples the acoustic signal data of the automated production line detected by the acoustic sensor 110 in real time to a specific window size and a specific overlap length, thereby sampling a specific Hz. It may be implemented to local Fourier transform (STFT) by dividing by specific seconds by rate.

음향 센서(110)에 의해 실시간 검출되는 자동화 생산 라인의 시간 도메인 음향 신호는 여러 소리들이 혼합된 복합파인데, 시간 도메인(시계열 데이터)상에서는 어떤 소리가 들어있는지 알 수 없기 때문에 소리 특징을 파악하기 위해서는 국소 푸리에 변환부(121)를 통해 국소 푸리에 변환(Short-Time Fourier Transform)하여 주파수 도메인의 음향 신호로 변환해야 한다.The time domain acoustic signal of the automated production line detected by the acoustic sensor 110 in real time is a complex wave in which several sounds are mixed. In order to understand sound characteristics, it is impossible to know what sounds are contained in the time domain (time series data). The local Fourier transform unit 121 performs a local Fourier transform (Short-Time Fourier Transform) to be converted into an acoustic signal in the frequency domain.

도 2 는 국소 푸리에 변환을 통해 시간 도메인 음향 신호가 주파수 도메인 음향 신호로 변환된 예를 도시한 도면으로, 좌측은 시간 도메인 음향 신호 파형이고, 우측은 국소 푸리에 변환을 통해 주파수 도메인으로 변환된 음향 신호를 나타내고 있다. 도 2 에 도시한 바와 같이 주파수 도메인으로 변환된 음향 신호로부터 주파수 성분을 파악할 수 있다.FIG. 2 is a diagram illustrating an example in which a time domain acoustic signal is converted into a frequency domain acoustic signal through a local Fourier transform; a left side is a time domain acoustic signal waveform, and a right side is an acoustic signal converted into a frequency domain through a local Fourier transform. Indicates. As shown in FIG. 2, the frequency component can be grasped from the acoustic signal converted into the frequency domain.

오토 인코더(Autoencoder)(130)는 국소 푸리에 변환기(120)에 의해 생성되어 입력되는 고차원의 변환 샘플 신호를 인코딩(Encoding)하여 압축한 후, 다시 디코딩(Decoding)하여 입력과 동일한 고차원의 복원 샘플 신호로 확장한다.The autoencoder 130 encodes and compresses a high-order transform sample signal generated and input by the local Fourier transformer 120, and then decodes the same high-dimensional reconstructed sample signal as input. Expand to

도 3 은 본 발명에 따른 자동화 생산 라인의 작업 오류 검출 장치에 사용되는 오토 인코더의 동작을 설명하기 위한 도면이다. 오토 인코더(130)는 입력 레이어(Input Layer)(131)와, 은닉 레이어(Hidden Layer)(132)와, 출력 레이어(Output Layer)(133)로 이루어진다.3 is a view for explaining the operation of the auto encoder used in the operation error detection device of the automated production line according to the present invention. The auto encoder 130 includes an input layer 131, a hidden layer 132, and an output layer 133.

이 때, 입력 레이어(Input Layer)(131)와, 은닉 레이어(Hidden Layer)(132)는 고차원의 입력 데이터(변환 샘플 신호)를 저차원의 다양체(Manifold)에 매핑(Mapping)되는 저차원 데이터로 압축시키는 인코더(Encoder)로 동작한다.At this time, the input layer 131 and the hidden layer 132 are low-dimensional data in which high-dimensional input data (converted sample signals) are mapped to low-dimensional manifolds. It works as an encoder to compress with.

한편, 은닉 레이어(Hidden Layer)(132)와, 출력 레이어(Output Layer)(133)는 저차원의 다양체(Manifold)에 매핑(Mapping)되는 저차원 데이터를 다시 입력 데이터와 동일한 고차원의 출력 데이터(복원 샘플 신호)로 확장시키는 디코더(Decoder)로 동작한다.On the other hand, the hidden layer (132) and the output layer (Output Layer) 133 is a low-dimensional data mapped to a low-dimensional manifold (Mapping) again the same high-level output data ( And a decoder which extends to a reconstructed sample signal.

오토 인코더(130)는 압축과 확장 과정에서 정보 손실을 최소화하는 방향으로 입력 데이터의 특징을 학습한다. 압축된 저차원의 벡터는 입력이 압축된 추상화된 정보를 가지며, 이는 곧 입력의 가장 핵심적인 특징을 학습하는 것과 같다. 입력 데이터의 특징 학습을 위한 손실 함수(Loss Function)는 입력과 출력의 차이며, 다음과 같다.The auto encoder 130 learns the characteristics of the input data in the direction of minimizing information loss during compression and expansion. Compressed low-dimensional vectors have abstracted information whose input is compressed, which is like learning the most essential features of the input. Loss function for learning characteristics of input data is the difference between input and output.

Figure 112017131202911-pat00001
Figure 112017131202911-pat00001

여기서, LAE는 손실함수, x는 입력, i는 차원(노드), h는 인코딩 함수(압축), g는 디코딩 함수(압축이 확장된 출력), L은 각 차원의 손실이다. 이 때, 입력과 출력의 차이는 평균 제곱 오차(Mean Square Error) 또는 바이너리 크로스 엔트로피(Binary Cross-Entropy) 등의 적절한 손실 함수로 정의하여 사용할 수 있다.Where L AE is the loss function, x is the input, i is the dimension (node), h is the encoding function (compression), g is the decoding function (compressed output), and L is the loss of each dimension. In this case, the difference between the input and the output may be defined as an appropriate loss function such as mean square error or binary cross-entropy.

오류 판단기(140)는 변환 샘플 신호와 복원 샘플 신호 간의 차이에 관련된 손실 함수(Loss Function)를 계산하고, 계산된 손실 함수(Loss Function)를 기준값과 비교하여 자동화 생산 라인의 비정상 여부를 판단한다.The error determiner 140 calculates a loss function related to the difference between the converted sample signal and the restored sample signal, and compares the calculated loss function with a reference value to determine whether the automated production line is abnormal. .

오토 인코더(130)에 의한 압축(인코딩) 과정에서 변환 샘플 신호의 고주파 성분이 유실되고, 오토 인코더(130)에 의한 복원(디코딩) 과정에서 최대한 복원한다 하더라도 복원 샘플 신호는 변환 샘플 신호와 완전히 동일하지 않다.Although the high frequency component of the converted sample signal is lost during the compression (encoding) process by the auto encoder 130, and the maximum recovery is performed during the recovery (decoding) process by the auto encoder 130, the restored sample signal is exactly the same as the converted sample signal. Not.

그런데, 복원 샘플 신호가 변환 샘플 신호와 완전히 동일하지는 않더라도, 오류가 없는 정상적인 음향 신호라면 복원 샘플 신호는 변환 샘플 신호와 최대한 비슷하게 생성된다.However, even if the restored sample signal is not exactly the same as the converted sample signal, the restored sample signal is generated as close as possible to the converted sample signal as long as it is a normal acoustic signal without error.

그러나, 오류가 있는 비정상 음향 신호는 정상 음향 신호와는 완전 다른 특징을 가지고 있기 때문에, 비정상 음향 신호는 정상 음향 신호 데이터로 학습된 오토 인코더(130)의 저차원 다양체에 잘 매핑되지 않을 것이고, 결국 오토 인코더(130)에 의해 제대로 복원되지 않아 복원 샘플 신호는 변환 샘플 신호와 완전히 다르게 된다.However, since the faulty abnormal acoustic signal has a completely different characteristic from the normal acoustic signal, the abnormal acoustic signal will not be well mapped to the low dimensional manifold of the auto encoder 130 trained with the normal acoustic signal data. The reconstructed sample signal is completely different from the converted sample signal because it is not properly reconstructed by the auto encoder 130.

따라서, 오류 판단기(140)는 오토 인코더(130)로 입력되는 변환 샘플 신호와, 오토 인코더(130)로부터 출력되는 복원 샘플 신호 간의 차이 정도에 따라 자동화 생산 라인이 정상인지 오류가 발생할 가능성이 있는지 진단할 수 있게 된다.Therefore, the error determiner 140 determines whether the automated production line is normal or an error may occur depending on the degree of difference between the converted sample signal input to the auto encoder 130 and the reconstructed sample signal output from the auto encoder 130. It can be diagnosed.

이와 같이 구현함에 의해 본 발명은 자동화 생산 라인의 작업 오류 가능성을 오토 인코더(Autoencoder)를 이용해 간편하면서도 신속 정확하게 진단하여 예측할 수 있으므로, 자동화 생산 라인의 작업 오류가 심각해지기 전에 미연에 대처할 수 있다.By implementing in this way, the present invention can easily and quickly diagnose and predict the possibility of an operation error of an automated production line using an auto encoder, and thus it is possible to cope with the delay before the operation error of the automated production line becomes serious.

한편, 본 발명의 부가적인 양상에 따르면, 자동화 생산 라인의 작업 오류 검출 장치(100)가 학습기(150)를 더 포함할 수 있다. 학습기(150)는 오토 인코더(130)를 학습시킨다.On the other hand, according to an additional aspect of the present invention, the task error detection apparatus 100 of the automated production line may further include a learner 150. The learner 150 trains the auto encoder 130.

이 때, 학습기(150)가 음향 센서(110)에 의해 실시간 검출되는 자동화 생산 라인의 시간 도메인 음향 신호를 일정 시간 동안 샘플링(Sampling)하고, 일정 시간 동안 샘플링된 자동화 생산 라인의 시간 도메인 음향 신호를 국소 푸리에 변환(STFT : Short-Time Fourier Transform)하여 주파수 도메인의 변환 샘플 신호를 생성하고, 고차원의 변환 샘플 신호를 인코딩(Encoding)하여 압축한 후, 다시 디코딩(Decoding)하여 입력과 동일한 고차원의 복원 샘플 신호로 확장했을 때, 변환 샘플 신호와 복원 샘플 신호 간의 차이에 관련된 손실 함수가 최소가 되는 방향으로 오토 인코더(130)를 학습시키도록 구현될 수 있다.At this time, the learner 150 samples the time domain acoustic signal of the automated production line detected by the acoustic sensor 110 in real time for a predetermined time, and the time domain acoustic signal of the automated production line sampled for a predetermined time. Local Fourier Transform (STFT) to generate a transformed sample signal in the frequency domain, encodes and compresses the high-order transformed sample signal, decodes it, and then decodes it to the same high-dimensional restoration When extended to the sample signal, it may be implemented to train the auto encoder 130 in a direction in which the loss function related to the difference between the transform sample signal and the reconstructed sample signal is minimized.

변환 샘플 신호와 복원 샘플 신호 간의 차이에 관련된 손실 함수가 최소가 된다는 말은 오토 인코더(130)로 입력되는 변환 샘플 신호와, 오토 인코더(130)에 의해 복원 샘플 신호가 압축된 후 다시 확장되어 출력되는 복원 샘플 신호가 거의 유사하다는 것을 말한다.The loss function related to the difference between the transform sample signal and the reconstructed sample signal is minimized is that the converted sample signal input to the auto encoder 130 and the reconstructed sample signal are compressed and expanded again by the auto encoder 130 to be output. It is said that the recovered sample signal is almost similar.

자동화 생산 라인의 각 단위 작업들에서 발생하는 오류들은 매우 드물게 발생하고, 어떠한 오류가 언제, 어떻게, 왜 발생하는지 특정하기가 어려우므로, 오류가 발생한 상황에서의 자동화 생산 라인의 음향을 샘플링하여 오토 인코더(130)를 학습하는 것은 의미가 없다.Errors in each unit operation of an automated production line are very rare and it is difficult to specify when, how and why an error occurs. Learning 130 is not meaningful.

따라서, 본 발명은 학습기(150)를 통해 오류가 발생하지 않은 상황에서의 자동화 생산 라인의 음향을 샘플링하여 오토 인코더(130)를 학습하되, 변환 샘플 신호와 복원 샘플 신호 간의 차이에 관련된 손실 함수가 최소가 되는 방향으로 오토 인코더(130)를 학습시켜 최적화한다.Accordingly, in the present invention, while learning the auto encoder 130 by sampling the sound of the automated production line in a situation where no error occurs through the learner 150, there is a loss function related to the difference between the transform sample signal and the reconstructed sample signal. The auto encoder 130 is learned and optimized in the direction of minimization.

이에 따라, 본 발명은 자동화 생산 라인의 기계나 부품이 교체되었을 때나 새로운 기계가 도입되었을 때, 자동화 생산 라인의 정상 상태에서의 작업 음향을 충분한 시간 동안 샘플링하고, 이를 이용해 오토 인코더(Autoencoder)를 학습하여 오토 인코더(Autoencoder)를 재정의 하는 것만으로 자동화 생산 라인의 작업 오류를 검출할 수 있으므로, 적용이 간편하면서도 편리하다.Accordingly, the present invention, when the machine or parts of the automated production line is replaced or when a new machine is introduced, the working sound in the steady state of the automated production line is sampled for a sufficient time, and using this to learn the autoencoder By redefining the autoencoder, it is possible to detect the operation error of the automated production line, which makes the application simple and convenient.

한편, 본 발명의 부가적인 양상에 따르면, 자동화 생산 라인의 작업 오류 검출 장치(100)가 경고부(160)를 더 포함할 수 있다. 경고부(160)는 오류 판단기(140)에 의해 자동화 생산 라인이 비정상이라 판단된 경우, 이를 경고한다.On the other hand, according to an additional aspect of the present invention, the operation error detection apparatus 100 of the automated production line may further include a warning unit 160. The warning unit 160 warns this when the automated production line is determined to be abnormal by the error determiner 140.

예컨대, 경고부(160)가 오류 판단기(140)에 의해 자동화 생산 라인이 정상이라 판단된 경우에는 A색의 램프나 LED를 점등시키고, 자동화 생산 라인이 비정상이라 판단된 경우에는 B색의 램프나 LED를 점등시키는 등의 시각적인 방식으로 경고를 수행하도록 구현될 수 있다.For example, the warning unit 160 turns on a lamp or LED of A color when the automated production line is judged to be normal by the error determiner 140, and a lamp of B color when the automated production line is determined to be abnormal. Or a warning in a visual manner, such as by lighting an LED.

이와는 달리, 경고부(160)가 오류 판단기(140)에 의해 자동화 생산 라인이 정상이라 판단된 경우에는 경고음을 출력하지 않다가, 자동화 생산 라인이 비정상이라 판단된 경우에 경고음을 출력하는 등의 청각적인 방식으로 경고를 수행하도록 구현될 수도 있다.Unlike this, the warning unit 160 does not output a warning sound when the automated production line is determined to be normal by the error determiner 140, and outputs a warning sound when the automated production line is determined to be abnormal. It may be implemented to perform the alert in an audible manner.

이와 같이 구현함에 의해 본 발명은 오토 인코더(Autoencoder)를 이용한 자동화 생산 라인의 작업 오류 진단 결과, 자동화 생산 라인의 작업 오류 가능성이 있다 진단될 경우, 이를 사용자에게 경고함으로써 자동화 생산 라인의 작업 오류가 심각해지기 전에 자동화 생산 라인의 작업 오류에 대한 신속한 대처가 가능하도록 할 수 있다.By implementing in this way, the present invention results in the operation error diagnosis of the automated production line using an auto encoder, and there is a possibility of the operation error of the automated production line. It is possible to respond quickly to operational errors in automated production lines before losing.

이상에서 설명한 바와 같은 본 발명에 따른 자동화 생산 라인의 작업 오류 검출 장치의 작업 오류 검출 동작을 도 4 를 통해 알아본다. 도 4 는 본 발명에 따른 자동화 생산 라인의 작업 오류 검출 방법의 일 실시예의 구성을 도시한 흐름도이다.The operation error detection operation of the operation error detection device of the automated production line according to the present invention as described above will be described with reference to FIG. Figure 4 is a flow chart showing the configuration of one embodiment of a job error detection method of an automated production line according to the present invention.

국소 푸리에 변환 단계(410)에서 자동화 생산 라인의 작업 오류 검출 장치가 음향 센서에 의해 실시간 검출되는 자동화 생산 라인의 시간 도메인 음향 신호를 국소 푸리에 변환(STFT : Short-Time Fourier Transform)하여 주파수 도메인의 변환 샘플 신호를 생성한다. 국소 푸리에 변환(STFT)과 관련해서는 기 설명하였으므로, 중복 설명은 생략한다.In the local Fourier transform step 410, the operation error detection device of the automated production line performs local Fourier transform (STFT) of the time domain acoustic signal of the automated production line which is detected in real time by an acoustic sensor to transform the frequency domain. Generate a sample signal. Since the local Fourier transform (STFT) has been described above, redundant description is omitted.

그 다음, 오토 인코딩 단계(420)에서 자동화 생산 라인의 작업 오류 검출 장치가 국소 푸리에 변환 단계(410)에 의해 생성되어 입력되는 고차원의 변환 샘플 신호를 오토 인코더(Autoencoder)를 사용해 인코딩(Encoding)하여 압축한 후, 다시 디코딩(Decoding)하여 입력과 동일한 고차원의 복원 샘플 신호로 확장한다. 오토 인코더(Autoencoder)에 의한 데이터 압축 및 확장과 관련해서는 기 설명하였으므로, 중복 설명은 생략한다. Then, in the auto encoding step 420, the operation error detection device of the automated production line encodes the high-dimensional transform sample signal generated and input by the local Fourier transform step 410 by using an autoencoder. After compression, it is decoded again to extend to the same high-dimensional reconstructed sample signal as the input. Since data compression and expansion by an autoencoder has been described above, redundant description is omitted.

그 다음, 오류 판단 단계(430)에서 자동화 생산 라인의 작업 오류 검출 장치가 변환 샘플 신호와 복원 샘플 신호 간의 차이에 관련된 손실 함수(Loss Function)를 계산하고, 계산된 손실 함수(Loss Function)를 기준값과 비교하여 자동화 생산 라인의 비정상 여부를 판단한다. Then, in the error determination step 430, the operation error detection device of the automated production line calculates a loss function related to the difference between the transformed sample signal and the restored sample signal, and calculates the calculated loss function as a reference value. In comparison with this, it is determined whether the automated production line is abnormal.

예컨대, 손실 함수(Loss Function)가 평균 제곱 오차(Mean Square Error) 또는 바이너리 크로스 엔트로피(Binary Cross-Entropy)일 수 있고, 손실 함수(Loss Function)를 이용하여 자동화 생산 라인의 비정상 여부를 판단하는 것과 관련해서는 기 설명하였으므로, 중복 설명은 생략한다.For example, the loss function may be Mean Square Error or Binary Cross-Entropy, and the loss function may be used to determine whether an automated production line is abnormal. Since it has been described previously, duplicate description thereof will be omitted.

이와 같이 구현함에 의해, 본 발명은 자동화 생산 라인의 작업 오류 가능성을 오토 인코더(Autoencoder)를 이용해 간편하면서도 신속 정확하게 진단하여 예측할 수 있으므로, 자동화 생산 라인의 작업 오류가 심각해지기 전에 미연에 대처할 수 있다.By implementing in this way, the present invention can easily and quickly diagnose and predict the possibility of an operation error of an automated production line using an auto encoder, and thus it is possible to cope with the delay before the operation error of the automated production line becomes serious.

한편, 발명의 부가적인 양상에 따르면, 자동화 생산 라인의 작업 오류 검출 방법이 학습단계(405)를 더 포함할 수 있다. 학습단계(405)에서 자동화 생산 라인의 작업 오류 검출 장치는 오토 인코더(Autoencoder)를 학습시킨다.On the other hand, according to an additional aspect of the invention, a method for detecting a job error of an automated production line may further include a learning step 405. In the learning step 405, the operation error detection device of the automated production line learns the autoencoder.

이 때, 자동화 생산 라인의 작업 오류 검출 장치가 학습단계(405)에서 음향 센서에 의해 실시간 검출되는 자동화 생산 라인의 시간 도메인 음향 신호를 일정 시간 동안 샘플링하고, 일정 시간 동안 샘플링된 자동화 생산 라인의 시간 도메인 음향 신호를 국소 푸리에 변환(STFT : Short-Time Fourier Transform)하여 주파수 도메인의 변환 샘플 신호를 생성하고, 고차원의 변환 샘플 신호를 인코딩(Encoding)하여 압축한 후, 다시 디코딩(Decoding)하여 입력과 동일한 고차원의 복원 샘플 신호로 확장했을 때, 변환 샘플 신호와 복원 샘플 신호 간의 차이에 관련된 손실 함수가 최소가 되는 방향으로 오토 인코더를 학습시키도록 구현될 수 있다.At this time, the operation error detection device of the automated production line samples the time domain sound signal of the automated production line detected by the acoustic sensor in real time in the learning step 405 for a predetermined time, and the time of the automated production line sampled for a predetermined time. Local Fourier Transform (STFT) of the domain acoustic signal to generate a transformed sample signal in the frequency domain, encodes and compresses the high-order transformed sample signal, and decodes the input and When extended to the same high-dimensional reconstructed sample signal, it can be implemented to train the auto encoder in a direction that minimizes the loss function associated with the difference between the transform sample signal and the reconstructed sample signal.

변환 샘플 신호와 복원 샘플 신호 간의 차이에 관련된 손실 함수가 최소가 되는 방향으로 오토 인코더를 학습시키는 것과 관련해서는 기 설명하였으므로, 중복 설명은 생략한다.Since the auto encoder is trained in a direction in which the loss function related to the difference between the transform sample signal and the reconstructed sample signal is minimized, the description thereof is omitted.

본 발명은 학습단계(405)를 통해 오류가 발생하지 않은 상황에서의 자동화 생산 라인의 음향을 샘플링하여 오토 인코더를 학습시키되, 변환 샘플 신호와 복원 샘플 신호 간의 차이에 관련된 손실 함수가 최소가 되는 방향으로 오토 인코더를 학습시켜 최적화할 수 있다.According to the present invention, an automatic encoder is trained by sampling sound of an automated production line in a situation where an error does not occur through a learning step 405, but the loss function related to the difference between the transform sample signal and the reconstructed sample signal is minimized. This can be optimized by learning the auto encoder.

이에 따라, 본 발명은 자동화 생산 라인의 기계나 부품이 교체되었을 때나 새로운 기계가 도입되었을 때, 자동화 생산 라인의 정상 상태에서의 작업 음향을 충분한 시간 동안 샘플링하고, 이를 이용해 오토 인코더(Autoencoder)를 학습하여 오토 인코더(Autoencoder)를 재정의 하는 것만으로 자동화 생산 라인의 작업 오류를 검출할 수 있으므로, 적용이 간편하면서도 편리하다.Accordingly, the present invention, when the machine or parts of the automated production line is replaced or when a new machine is introduced, the working sound in the steady state of the automated production line is sampled for a sufficient time, and using this to learn the autoencoder By redefining the autoencoder, it is possible to detect the operation error of the automated production line, which makes the application simple and convenient.

한편, 발명의 부가적인 양상에 따르면, 자동화 생산 라인의 작업 오류 검출 방법이 경고단계(440)를 더 포함할 수 있다. 경고단계(440)에서 자동화 생산 라인의 작업 오류 검출 장치가 오류 판단단계(430)에 의해 자동화 생산 라인이 비정상이라 판단된 경우, 이를 경고한다. 이 때, 경고는 시각적인 방법 또는 청각적인 방법에 의해 수행될 수 있으며, 이와 관련해서는 기 설명하였으므로, 중복 설명은 생략한다.On the other hand, according to an additional aspect of the invention, the operation error detection method of the automated production line may further comprise a warning step 440. In operation 440, when the operation error detection device of the automated production line determines that the automated production line is abnormal by the error determination step 430, the warning is warned. In this case, the warning may be performed by a visual method or an auditory method, and since it has been described above, duplicate description thereof will be omitted.

이와 같이 구현함에 의해 본 발명은 오토 인코더(Autoencoder)를 이용한 자동화 생산 라인의 작업 오류 진단 결과, 자동화 생산 라인의 작업 오류 가능성이 있다 진단될 경우, 이를 사용자에게 경고함으로써 자동화 생산 라인의 작업 오류가 심각해지기 전에 자동화 생산 라인의 작업 오류에 대한 신속한 대처가 가능하도록 할 수 있다.By implementing in this way, the present invention results in the operation error diagnosis of the automated production line using an auto encoder, and there is a possibility of the operation error of the automated production line. It is possible to respond quickly to operational errors in automated production lines before losing.

이상에서 설명한 바와 같이, 본 발명은 단위 작업들이 차례로 반복되는 작업 패턴을 가지는 자동화 생산 라인의 작업 오류 가능성을 오토 인코더(Autoencoder)를 이용해 간편하면서도 신속 정확하게 진단하여 예측할 수 있으므로, 자동화 생산 라인의 작업 오류가 심각해지기 전에 미연에 대처할 수 있는 효과가 있다.As described above, the present invention can easily and quickly diagnose and predict a work error possibility of an automated production line in which unit operations have a work pattern which is repeated one by one. There is an effect to cope before it becomes serious.

또한, 본 발명은 자동화 생산 라인의 기계나 부품이 교체되었을 때나 새로운 기계가 도입되었을 때, 자동화 생산 라인의 정상 상태에서의 작업 음향을 충분한 시간 동안 샘플링하고, 이를 이용해 오토 인코더(Autoencoder)를 학습하여 오토 인코더(Autoencoder)를 재정의 하는 것만으로 자동화 생산 라인의 작업 오류를 검출할 수 있으므로, 적용이 간편하면서도 편리하다. In addition, the present invention, when the machine or parts of the automated production line is replaced, or when a new machine is introduced, sampling the working sound in the steady state of the automated production line for a sufficient time, by using this to learn the autoencoder (Autoencoder) Simple redefinition of the autoencoder allows detection of operation errors in the automated production line, making application simple and convenient.

본 발명의 다양한 실시예에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는, 예컨대, 프로그래밍 모듈의 형태로 컴퓨터로 읽을 수 있는 저장매체(Computer-Readable Storage Media)에 저장된 명령어로 구현될 수 있다. At least a portion of an apparatus (e.g., modules or functions thereof) or method (e.g., operations) according to various embodiments of the present invention may be, for example, a computer-readable storage medium in the form of a programming module. Storage media).

명령어는, 하나 이상의 프로세서에 의해 실행될 경우, 하나 이상의 프로세서가 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장매체는 프로그래밍 모듈의 적어도 일부는, 예를 들면, 프로세서에 의해 구현(Implement)(예: 실행)될 수 있다. 프로그래밍 모듈의 적어도 일부는 하나 이상의 기능을 수행하기 위한, 예를 들면, 모듈, 프로그램, 루틴, 명령어 세트(Sets of Instructions) 또는 프로세스 등을 포함할 수 있다.When an instruction is executed by one or more processors, the one or more processors may perform a function corresponding to the instruction. The computer-readable storage medium may be implemented (eg, executed) by at least a portion of a programming module, for example, by a processor. At least some of the programming modules may include, for example, modules, programs, routines, sets of instructions, or processes for performing one or more functions.

그리고, 본 명세서 및 도면에 개시된 다양한 실시예들은 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 다양한 실시예들의 범위를 한정하고자 하는 것은 아니다. In addition, the various embodiments disclosed in the specification and the drawings are merely presented as specific examples for clarity and are not intended to limit the scope of the various embodiments of the present invention.

따라서, 본 발명의 다양한 실시예들의 범위는 여기에서 설명된 실시예들 이외에도 본 발명의 다양한 실시예들의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 다양한 실시예들의 범위에 포함되는 것으로 해석되어야 한다.Accordingly, the scope of various embodiments of the present invention includes all changes or modifications derived based on the technical spirit of various embodiments of the present invention in addition to the embodiments described herein are included in the scope of the various embodiments of the present invention. Should be interpreted as

본 발명은 음향 기반 오류 검출 기술분야 및 이의 응용 기술분야에서 산업상으로 이용 가능하다.The present invention is industrially applicable in the acoustic based error detection art and its application art.

100 : 작업 오류 검출 장치
110 : 음향 센서
120 : 국소 푸리에 변환기
130 : 오토 인코더
131 : 입력 레이어
132 : 은닉 레이어
133 : 출력 레이어
140 : 오류 판단기
150 : 학습기
160 : 경고부100: operation error detection device
110: acoustic sensor
120: Local Fourier Converter
130: auto encoder
131: input layer
132: hidden layer
133: output layer
140: error determiner
150: learner
160: warning unit

Claims (10)

단위 작업들이 차례로 반복되는 자동화 생산 라인의 음향을 실시간 검출하는 적어도 하나의 음향 센서와;
음향 센서에 의해 실시간 검출되는 자동화 생산 라인의 시간 도메인 음향 신호를 국소 푸리에 변환(STFT : Short-Time Fourier Transform)하여 주파수 도메인의 변환 샘플 신호를 생성하는 국소 푸리에 변환기와;
국소 푸리에 변환기에 의해 생성되어 입력되는 고차원의 변환 샘플 신호를 인코딩(Encoding)하여 압축한 후, 다시 디코딩(Decoding)하여 입력과 동일한 고차원의 복원 샘플 신호로 확장하는 오토 인코더(Autoencoder)와;
오토 인코더로 입력되는 변환 샘플 신호와, 오토 인코더로부터 출력되는 고주파 성분이 유실된 복원 샘플 신호 간의 차이에 관련된 손실 함수(Loss Function)를 계산하고, 계산된 손실 함수(Loss Function)를 기준값과 비교하여 자동화 생산 라인의 비정상 여부를 판단하는 오류 판단기를;
포함하는 자동화 생산 라인의 작업 오류 검출 장치.At least one acoustic sensor for detecting in real time the sound of an automated production line in which unit operations are repeated;
A local Fourier transform (STFT: Short-Time Fourier Transform) of the automated production line detected in real time by the acoustic sensor to generate a transformed sample signal in the frequency domain;
An autoencoder for encoding and compressing a high-order transformed sample signal generated and input by a local Fourier transformer, and then decoding and expanding the high-order reconstructed sample signal that is identical to the input;
The loss function related to the difference between the converted sample signal input to the auto encoder and the restored sample signal from which the high frequency component output from the auto encoder is lost is calculated, and the calculated loss function is compared with the reference value. An error determiner for determining whether an automated production line is abnormal;
Device for detecting operation errors in automated production lines. 제 1 항에 있어서,
자동화 생산 라인의 작업 오류 검출 장치가:
오토 인코더를 학습시키는 학습기를;
더 포함하는 자동화 생산 라인의 작업 오류 검출 장치.The method of claim 1,
The operation error detection device of the automated production line is:
A learner for learning auto encoders;
Operation error detection device of the automated production line further comprising. 제 2 항에 있어서,
학습기가:
음향 센서에 의해 실시간 검출되는 자동화 생산 라인의 시간 도메인 음향 신호를 일정 시간 동안 샘플링하고, 일정 시간 동안 샘플링된 자동화 생산 라인의 시간 도메인 음향 신호를 국소 푸리에 변환(STFT : Short-Time Fourier Transform)하여 주파수 도메인의 변환 샘플 신호를 생성하고, 고차원의 변환 샘플 신호를 인코딩(Encoding)하여 압축한 후, 다시 디코딩(Decoding)하여 입력과 동일한 고차원의 복원 샘플 신호로 확장했을 때, 변환 샘플 신호와 복원 샘플 신호 간의 차이에 관련된 손실 함수가 최소가 되는 방향으로 오토 인코더를 학습시키는 자동화 생산 라인의 작업 오류 검출 장치.The method of claim 2,
Learner:
The time domain acoustic signal of the automated production line detected by the acoustic sensor in real time is sampled for a predetermined time, and the time domain acoustic signal of the automated production line sampled for a predetermined time is subjected to a local Fourier transform (STFT). A transform sample signal and a reconstructed sample signal are generated when a transform sample signal of a domain is generated, the high-order transform sample signal is encoded, compressed, and then decoded again to be extended to the same high-dimensional reconstructed sample signal as the input. An operation error detection device for an automated production line that trains an auto encoder in a direction that minimizes the loss function associated with the difference between them. 제 1 항에 있어서,
손실 함수(Loss Function)가:
평균 제곱 오차(Mean Square Error) 또는 바이너리 크로스 엔트로피(Binary Cross-Entropy)인 자동화 생산 라인의 작업 오류 검출 장치.The method of claim 1,
Loss Function:
Operational error detection device of automated production line which is Mean Square Error or Binary Cross-Entropy. 제 1 항 내지 제 4 항 중의 어느 한 항에 있어서,
자동화 생산 라인의 작업 오류 검출 장치가:
오류 판단기에 의해 자동화 생산 라인이 비정상이라 판단된 경우, 이를 경고하는 경고부를;
더 포함하는 자동화 생산 라인의 작업 오류 검출 장치.The method according to any one of claims 1 to 4,
The operation error detection device of the automated production line is:
A warning unit for warning the automated production line if it is determined by the error determiner to be abnormal;
Operation error detection device of the automated production line further comprising. 음향 센서에 의해 실시간 검출되는 자동화 생산 라인의 시간 도메인 음향 신호를 국소 푸리에 변환(STFT : Short-Time Fourier Transform)하여 주파수 도메인의 변환 샘플 신호를 생성하는 국소 푸리에 변환 단계와;
국소 푸리에 변환 단계에 의해 생성되어 입력되는 고차원의 변환 샘플 신호를 오토 인코더(Autoencoder)를 사용해 인코딩(Encoding)하여 압축한 후, 다시 디코딩(Decoding)하여 입력과 동일한 고차원의 복원 샘플 신호로 확장하는 오토 인코딩 단계와;
오토 인코더로 입력되는 변환 샘플 신호와, 오토 인코더로부터 출력되는 고주파 성분이 유실된 복원 샘플 신호 간의 차이에 관련된 손실 함수(Loss Function)를 계산하고, 계산된 손실 함수(Loss Function)를 기준값과 비교하여 자동화 생산 라인의 비정상 여부를 판단하는 오류 판단 단계를;
포함하는 자동화 생산 라인의 작업 오류 검출 방법.A local Fourier transform (STFT: Short-Time Fourier Transform) of the automated production line detected in real time by the acoustic sensor to generate a transformed sample signal in the frequency domain;
The high-order transformed sample signal generated and input by the local Fourier transform step is encoded by using an autoencoder, compressed, and then decoded to be decoded and expanded to the same high-dimensional reconstructed sample signal as the input. An encoding step;
The loss function related to the difference between the converted sample signal input to the auto encoder and the restored sample signal from which the high frequency component output from the auto encoder is lost is calculated, and the calculated loss function is compared with the reference value. An error determination step of determining whether the automated production line is abnormal;
Job error detection method of automated production line, including. 제 6 항에 있어서,
자동화 생산 라인의 작업 오류 검출 방법이:
오토 인코더를 학습시키는 학습단계를;
더 포함하는 자동화 생산 라인의 작업 오류 검출 방법.The method of claim 6,
The operation error detection method of the automated production line is:
A learning step of learning an auto encoder;
Operation error detection method of an automated production line further comprising. 제 7 항에 있어서,
학습단계에서:
음향 센서에 의해 실시간 검출되는 자동화 생산 라인의 시간 도메인 음향 신호를 일정 시간 동안 샘플링하고, 일정 시간 동안 샘플링된 자동화 생산 라인의 시간 도메인 음향 신호를 국소 푸리에 변환(STFT : Short-Time Fourier Transform)하여 주파수 도메인의 변환 샘플 신호를 생성하고, 고차원의 변환 샘플 신호를 인코딩(Encoding)하여 압축한 후, 다시 디코딩(Decoding)하여 입력과 동일한 고차원의 복원 샘플 신호로 확장했을 때, 변환 샘플 신호와 복원 샘플 신호 간의 차이에 관련된 손실 함수가 최소가 되는 방향으로 오토 인코더를 학습시키는 자동화 생산 라인의 작업 오류 검출 방법.The method of claim 7, wherein
In the learning phase:
The time domain acoustic signal of the automated production line detected by the acoustic sensor in real time is sampled for a predetermined time, and the time domain acoustic signal of the automated production line sampled for a predetermined time is subjected to a local Fourier transform (STFT). A transform sample signal and a reconstructed sample signal are generated when a transform sample signal of a domain is generated, the high-order transform sample signal is encoded, compressed, and then decoded again to be extended to the same high-dimensional reconstructed sample signal as the input. A method for detecting operational errors in an automated production line that trains the auto encoder in a direction that minimizes the loss function associated with the difference between them. 제 6 항에 있어서,
손실 함수(Loss Function)가:
평균 제곱 오차(Mean Square Error) 또는 바이너리 크로스 엔트로피(Binary Cross-Entropy)인 자동화 생산 라인의 작업 오류 검출 방법.The method of claim 6,
Loss Function:
Method of detecting operation errors in an automated production line which is Mean Square Error or Binary Cross-Entropy. 제 6 항 내지 제 9 항 중의 어느 한 항에 있어서,
자동화 생산 라인의 작업 오류 검출 방법이:
오류 판단단계에 의해 자동화 생산 라인이 비정상이라 판단된 경우, 이를 경고하는 경고단계를;
더 포함하는 자동화 생산 라인의 작업 오류 검출 방법.The method according to any one of claims 6 to 9,
The operation error detection method of the automated production line is:
If it is determined that the automated production line is abnormal by the error determining step, a warning step for warning this;
Operation error detection method of an automated production line further comprising.
KR1020170184243A 2017-12-29 2017-12-29 Working error detecting apparatus and method for automatic manufacturing line KR102057081B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170184243A KR102057081B1 (en) 2017-12-29 2017-12-29 Working error detecting apparatus and method for automatic manufacturing line

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170184243A KR102057081B1 (en) 2017-12-29 2017-12-29 Working error detecting apparatus and method for automatic manufacturing line

Publications (2)

Publication Number Publication Date
KR20190081594A KR20190081594A (en) 2019-07-09
KR102057081B1 true KR102057081B1 (en) 2019-12-18

Family

ID=67261418

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170184243A KR102057081B1 (en) 2017-12-29 2017-12-29 Working error detecting apparatus and method for automatic manufacturing line

Country Status (1)

Country Link
KR (1) KR102057081B1 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102344426B1 (en) 2020-04-20 2021-12-27 한국외국어대학교 연구산학협력단 Apparatus for detecting anomaly operation of the smd assembly device
KR102344424B1 (en) 2020-04-20 2021-12-27 한국외국어대학교 연구산학협력단 Data preprocessing method for detecting work errors in the process for assembling surface mount device
JP7504772B2 (en) * 2020-11-05 2024-06-24 株式会社東芝 Abnormality determination device, learning device, and abnormality determination method
CN112966819B (en) * 2021-03-04 2024-04-09 南方科技大学 Method, device, server and storage medium for detecting data outside distribution
WO2023200992A1 (en) * 2022-04-13 2023-10-19 The Penn State Research Foundation Systems and methods for remote machine and equipment monitoring using compressed sensing techniques

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005121639A (en) * 2003-09-22 2005-05-12 Omron Corp Inspection method, inspection apparatus and diagnostic apparatus for facility
JP2017207904A (en) * 2016-05-18 2017-11-24 エヌ・ティ・ティ・コミュニケーションズ株式会社 Abnormality detection system, model generation device, abnormality detection device, abnormality detection method, model generation program, and abnormality detection program
KR101809654B1 (en) * 2014-06-03 2017-12-18 에이피시스템 주식회사 Substrate processing apparatus and operating method thereof

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101430737B1 (en) 2012-08-31 2014-08-14 세메스 주식회사 Error detection method and Substrate treating method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005121639A (en) * 2003-09-22 2005-05-12 Omron Corp Inspection method, inspection apparatus and diagnostic apparatus for facility
KR101809654B1 (en) * 2014-06-03 2017-12-18 에이피시스템 주식회사 Substrate processing apparatus and operating method thereof
JP2017207904A (en) * 2016-05-18 2017-11-24 エヌ・ティ・ティ・コミュニケーションズ株式会社 Abnormality detection system, model generation device, abnormality detection device, abnormality detection method, model generation program, and abnormality detection program

Also Published As

Publication number Publication date
KR20190081594A (en) 2019-07-09

Similar Documents

Publication Publication Date Title
KR102057081B1 (en) Working error detecting apparatus and method for automatic manufacturing line
KR101996489B1 (en) Working error detecting apparatus for automatic manufacturing line
CN108363365B (en) Method and device for monitoring the condition of a structure
CA2827000C (en) Apparatus and method for error concealment in low-delay unified speech and audio coding (usac)
US9714884B2 (en) Method and device for recognizing state of noise-generating machine to be investigated
JP2018205758A (en) Coding of spectral coefficients of spectrum of audio signal
JP2020060558A (en) Motion non-sensitive feature for condition-based maintenance of factory robot
ATE453950T1 (en) ERROR DETECTION BY EVALUATION OF VARIABLES OF THE FIELD-ORIENTED CONTROL
EP4297027A2 (en) Audio encoder, audio decoder, method for encoding an audio signal and method for decoding an encoded audio signal
JP2008250594A (en) Device diagnostic method, device-diagnosing module and device with device-diagnosing module mounted thereon
CN111650922A (en) Smart home abnormity detection method and device
US11947863B2 (en) Intelligent audio analytic apparatus (IAAA) and method for space system
WO2009068156A3 (en) Rotary encoder comprising internal error control and method therefor
US11830518B2 (en) Sound data processing method, sound data processing device, and program
US20130279710A1 (en) Systems and methods for sensing the operational status of an acoustic horn
CN105103226B (en) Low complex degree tone adaptive audio signal quantization
KR102344426B1 (en) Apparatus for detecting anomaly operation of the smd assembly device
KR102344424B1 (en) Data preprocessing method for detecting work errors in the process for assembling surface mount device
CN109743651B (en) Method and device for adjusting deformation of silica gel sleeve of microphone array
CN109765038B (en) Degradation detection method for structural member applying structural unit
JP4771131B2 (en) Motor control device
JP4910080B2 (en) A and B two-phase signal diagnosis method and apparatus in servo driver
JP4349888B2 (en) Engine evaluation device
JP2015138365A (en) positioner
JP4303072B2 (en) Engine evaluation device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant