KR20190081594A - Working error detecting apparatus and method for automatic manufacturing line - Google Patents

Working error detecting apparatus and method for automatic manufacturing line Download PDF

Info

Publication number
KR20190081594A
KR20190081594A KR1020170184243A KR20170184243A KR20190081594A KR 20190081594 A KR20190081594 A KR 20190081594A KR 1020170184243 A KR1020170184243 A KR 1020170184243A KR 20170184243 A KR20170184243 A KR 20170184243A KR 20190081594 A KR20190081594 A KR 20190081594A
Authority
KR
South Korea
Prior art keywords
production line
automated production
sample signal
error
signal
Prior art date
Application number
KR1020170184243A
Other languages
Korean (ko)
Other versions
KR102057081B1 (en
Inventor
윤일동
오동렬
Original Assignee
한국외국어대학교 연구산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국외국어대학교 연구산학협력단 filed Critical 한국외국어대학교 연구산학협력단
Priority to KR1020170184243A priority Critical patent/KR102057081B1/en
Publication of KR20190081594A publication Critical patent/KR20190081594A/en
Application granted granted Critical
Publication of KR102057081B1 publication Critical patent/KR102057081B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM]
    • G05B19/4184—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS] or computer integrated manufacturing [CIM] characterised by fault tolerance, reliability of production system
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B21/00—Systems involving sampling of the variable controlled
    • G05B21/02—Systems involving sampling of the variable controlled electric
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/18—Status alarms
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/02—Total factory control, e.g. smart factories, flexible manufacturing systems [FMS] or integrated manufacturing systems [IMS]

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Quality & Reliability (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)
  • Investigating Or Analyzing Materials By The Use Of Ultrasonic Waves (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

The present invention relates to an apparatus for detecting a working error of an automatic manufacturing line and to a method thereof. By using an autoencoder technology compressing high dimensional data into low dimensional data and then expanding the low dimensional data into the high dimensional data, the possibility of a working error of an automatic manufacturing line where unit operations have a repeating pattern of work, can be simply, quickly, and precisely diagnosed and predicted.

Description

자동화 생산 라인의 작업 오류 검출 장치 및 방법{Working error detecting apparatus and method for automatic manufacturing line}Technical Field [0001] The present invention relates to an apparatus and method for detecting an operation error in an automated production line,

본 발명은 음향 기반 오류 검출 기술에 관련한 것으로, 특히 단위 작업들이 차례로 반복되는 자동화 생산 라인의 작업 오류 검출 장치 및 방법에 관한 것이다.The present invention relates to an acoustic-based error detection technique, and more particularly, to an apparatus and method for detecting an operation error of an automated production line in which unit operations are sequentially repeated.

표면 실장 부품을 인쇄기판(PCB)에 부착하는 SMD(Surface Mount Device) 조립 공정은 스텝 이송 트레이에 의해 PCB 기판이 입고되면, 로봇의 팔이 또 다른 스텝 이송 트레이에 의해 이송되는 표면 실장 부품을 흡착하여 집은 후, PCB 기판 위치로 이동시켜 PCB 기판상에 표면 실장 부품을 납땜 등을 통해 장착한 다음, 스텝 이송 트레이를 통해 PCB 기판을 출고하는 과정을 거친다.The SMD (Surface Mount Device) assembly process for attaching surface mount components to a printed circuit board (PCB) is a process in which when a PCB substrate is loaded by a step transfer tray, the arm of the robot sucks the surface mount component transferred by another step transfer tray After the house is moved to the PCB substrate position, the surface mount component is mounted on the PCB substrate by soldering or the like, and then the PCB substrate is taken out through the step transfer tray.

즉, SMD(Surface Mount Device) 조립 공정 라인은 PCB 기판 입고, 부품 집기, 부품 이동, 부품 장착, PCB 기판 출고를 포함하는 단위 작업들이 차례로 반복되는 일정한 작업 패턴을 가진다.That is, the SMD (Surface Mount Device) assembly process line has a uniform operation pattern in which the unit operations including the PCB substrate loading, parts assembly, component movement, component mounting, and PCB substrate loading are repeated in order.

이와 같은 자동화 생산 라인의 경우, 단위 작업들이 차례로 반복되는 작업 패턴을 가지므로, 어떤 단위 작업에서 장애가 발생하여 작업이 중지되면, 자동화 생산 라인 전체가 동작하지 못하는 태생적인 구조를 가진다.In the case of such an automated production line, since the unit operations have a repetitive operation pattern, when the operation is stopped due to a failure in a unit operation, the entire automated production line can not operate.

따라서, 자동화 생산 라인의 단위 작업들의 오류를 빠르게 검출하여 장애가 발생한 단위 작업을 빠르게 복구하는 것은 자동화 생산 라인에서는 매우 중요한 이슈이다.Therefore, it is a very important issue in the automated production line to quickly detect errors in the unit operations of the automated production line and to quickly recover the failed unit operations.

대한민국 공개특허 제10-2014-0030017호(2014.0.11)에서 공정 처리 모듈의 제어에 이용되는 제어 신호가 갖는 제어 주파수를 측정하여, 제어 주파수가 기준 주파수 이상이면 공정 처리 모듈에 에러가 발생한 것으로 판단하는 공정 처리 모듈의 에러를 검출하는 방법을 개시하고 있다.In Korean Patent Laid-Open Publication No. 10-2014-0030017 (Apr. 11, 2014), the control frequency of the control signal used for controlling the process module is measured. If the control frequency is higher than the reference frequency, it is judged that an error has occurred in the process module And a method for detecting an error in a process processing module.

이 기술은 제어신호의 주파수 특성을 분석하여 공정 처리 모듈의 에러를 검출하는 방식으로, 공정 처리 모듈이 동작하는 동안 제어 신호는 항상 거의 동일한 제어 주파수를 유지하므로, 제어 주파수가 기준 주파수를 벗어나는지 판단함으로써 공정 처리 모듈의 에러를 검출할 수 있도록 한 것이다.This technique analyzes the frequency characteristics of the control signal to detect the error of the process module. Since the control signal always maintains almost the same control frequency during the operation of the process module, it is determined whether the control frequency deviates from the reference frequency So that an error of the process module can be detected.

단위 작업들이 차례로 반복되는 작업 패턴을 가지는 자동화 생산 라인의 경우, 각 단위 작업 구간에서 발생하는 음향은 일정한 패턴을 보이며, 특정 단위 작업 구간에서 오류가 발생할 경우 자동화 생산 라인 전체의 음향 패턴이 변할 것이다.In the case of an automated production line having a work pattern in which the unit operations are repeated in sequence, the sound generated in each unit work section has a certain pattern, and if an error occurs in a specific unit work section, the acoustic pattern of the entire automated production line will change.

일반적으로 정보가 발생하는 도메인(Domain)과 정상/비정상 샘플을 구분하는 도메인은 다를 수 있으며, 샘플(Sample) 데이터가 발생하는 도메인에서 획득된 샘플 데이터를 이용해 정상/비정상 샘플을 구분하는 도메인에서 정상 또는 비정상을 구분하는 것은 쉬운 일이 아니다.Generally, the domain in which the information is generated may be different from the domain in which the normal / abnormal sample is distinguished. In the domain in which the normal / abnormal sample is discriminated using the sample data obtained in the domain in which the sample data is generated, It is not easy to distinguish between abnormalities.

자동화 생산 라인의 각 단위 작업들에서 발생하는 오류들은 매우 드물게 발생하고, 어떠한 오류가 언제, 어떻게, 왜 발생하는지 특정하기가 어려우므로, 기계 학습(Machine Learning) 방법을 적용하여 정상/비정상 데이터를 학습시키는데 어려움이 발생한다.Errors that occur in each unit of an automated production line are very rare and it is difficult to specify when, how, and why an error occurs. Therefore, by applying a machine learning method, normal / abnormal data is learned Difficulties arise.

따라서, 본 발명자는 고차원 데이터를 저차원 데이터로 압축했다 다시 고차원 데이터로 확장하는 오토 인코더(Autoencoder) 기술을 이용해 단위 작업들이 차례로 반복되는 작업 패턴을 가지는 자동화 생산 라인의 작업 오류 가능성을 간편하면서도 신속 정확하게 진단하여 예측할 수 있는 기술에 대한 연구를 하였다.Accordingly, the present inventor has developed a method of easily and quickly correcting the possibility of an operation error of an automated production line having an operation pattern in which unit operations are repeated one by one by using an autoencoder technology that compresses high dimensional data into low dimensional data and then re- And the technology that can be diagnosed and predicted.

대한민국 공개특허 제10-2014-0030017호(2014.0.11)Korean Patent Publication No. 10-2014-0030017 (Apr.

본 발명은 상기한 취지하에 발명된 것으로, 고차원 데이터를 저차원 데이터로 압축했다 다시 고차원 데이터로 확장하는 오토 인코더(Autoencoder) 기술을 이용해 단위 작업들이 차례로 반복되는 작업 패턴을 가지는 자동화 생산 라인의 작업 오류 가능성을 간편하면서도 신속 정확하게 진단하여 예측할 수 있는 자동화 생산 라인의 작업 오류 검출 장치 및 방법을 제공함을 그 목적으로 한다.The present invention has been invented under the above-mentioned circumstances, and it is an object of the present invention to provide an automatic error correction method and an error correction method in an automatic production line having an operation pattern in which unit operations are repeated one after another by using an autoencoder technology which compresses high dimensional data into low dimensional data, And an object of the present invention is to provide an apparatus and method for detecting an operation error of an automated production line that can diagnose and predict a possibility with a simple but prompt and accurate manner.

상기한 목적을 달성하기 위한 본 발명의 일 양상에 따르면, 자동화 생산 라인의 작업 오류 검출 장치가 단위 작업들이 차례로 반복되는 자동화 생산 라인의 음향을 실시간 검출하는 적어도 하나의 음향 센서와; 음향 센서에 의해 실시간 검출되는 자동화 생산 라인의 시간 도메인 음향 신호를 국소 푸리에 변환(STFT : Short-Time Fourier Transform)하여 주파수 도메인의 변환 샘플 신호를 생성하는 국소 푸리에 변환기와; 국소 푸리에 변환기에 의해 생성되어 입력되는 고차원의 변환 샘플 신호를 인코딩(Encoding)하여 압축한 후, 다시 디코딩(Decoding)하여 입력과 동일한 고차원의 복원 샘플 신호로 확장하는 오토 인코더(Autoencoder)와; 변환 샘플 신호와 복원 샘플 신호 간의 차이에 관련된 손실 함수(Loss Function)를 계산하고, 계산된 손실 함수(Loss Function)를 기준값과 비교하여 자동화 생산 라인의 비정상 여부를 판단하는 오류 판단기를 포함한다.According to one aspect of the present invention, there is provided an apparatus and method for detecting an operation error of an automated production line, the apparatus comprising: at least one acoustic sensor for detecting in real time the sound of an automated production line, A local Fourier transformer for generating a frequency domain transformed sample signal by performing a time-domain Fourier transform (STFT) on a time domain acoustic signal of an automated production line detected in real time by an acoustic sensor; An autoencoder that encodes and compresses a high-resolution transformed sample signal generated and input by the local Fourier transformer, and then decompresses the transformed sample signal to expand the reconstructed sample signal to a higher-order reconstructed sample signal that is the same as the input; And an error determiner for calculating a loss function related to the difference between the converted sample signal and the restored sample signal and comparing the calculated loss function with a reference value to determine whether or not the automated production line is abnormal.

본 발명의 부가적인 양상에 따르면, 자동화 생산 라인의 작업 오류 검출 장치가 오토 인코더를 학습시키는 학습기를 더 포함할 수 있다.According to a further aspect of the present invention, a work error detecting device of an automated production line may further comprise a learning device for learning an auto encoder.

본 발명의 부가적인 양상에 따르면, 학습기가 음향 센서에 의해 실시간 검출되는 자동화 생산 라인의 시간 도메인 음향 신호를 일정 시간 동안 샘플링하고, 일정 시간 동안 샘플링된 자동화 생산 라인의 시간 도메인 음향 신호를 국소 푸리에 변환(STFT : Short-Time Fourier Transform)하여 주파수 도메인의 변환 샘플 신호를 생성하고, 고차원의 변환 샘플 신호를 인코딩(Encoding)하여 압축한 후, 다시 디코딩(Decoding)하여 입력과 동일한 고차원의 복원 샘플 신호로 확장했을 때, 변환 샘플 신호와 복원 샘플 신호 간의 차이에 관련된 손실 함수가 최소가 되는 방향으로 오토 인코더를 학습시칼 수 있다.According to a further aspect of the present invention, a time-domain acoustic signal of an automated production line in which a learning device is detected in real time by an acoustic sensor is sampled for a predetermined time, and a time domain acoustic signal of a sampled automated production line is subjected to a local Fourier transform (STFT) to generate a transformed sample signal in the frequency domain, encodes and compresses the transformed sample signal of a high dimensional dimension, and then decodes the transformed sample signal to obtain a high-order reconstructed sample signal When extended, the auto encoder can be cut off in a direction that minimizes the loss function associated with the difference between the converted sample signal and the restored sample signal.

본 발명의 부가적인 양상에 따르면, 자동화 생산 라인의 작업 오류 검출 장치가 오류 판단기에 의해 자동화 생산 라인이 비정상이라 판단된 경우, 이를 경고하는 경고부를 더 포함할 수 있다.According to a further aspect of the present invention, the operation error detecting apparatus of the automated production line may further include a warning unit for alerting the automation production line when it is determined that the automated production line is abnormal by the error judgment unit.

본 발명의 또 다른 양상에 따르면, 자동화 생산 라인의 작업 오류 검출 방법이 음향 센서에 의해 실시간 검출되는 자동화 생산 라인의 시간 도메인 음향 신호를 국소 푸리에 변환(STFT : Short-Time Fourier Transform)하여 주파수 도메인의 변환 샘플 신호를 생성하는 국소 푸리에 변환 단계와; 국소 푸리에 변환 단계에 의해 생성되어 입력되는 고차원의 변환 샘플 신호를 오토 인코더(Autoencoder)를 사용해 인코딩(Encoding)하여 압축한 후, 다시 디코딩(Decoding)하여 입력과 동일한 고차원의 복원 샘플 신호로 확장하는 오토 인코딩 단계와; 변환 샘플 신호와 복원 샘플 신호 간의 차이에 관련된 손실 함수(Loss Function)를 계산하고, 계산된 손실 함수(Loss Function)를 기준값과 비교하여 자동화 생산 라인의 비정상 여부를 판단하는 오류 판단 단계를 포함할 수 있다.According to still another aspect of the present invention, there is provided a method of detecting an operation error of an automated production line by performing a short-time Fourier transform (STFT) on a time domain acoustic signal of an automated production line, A local Fourier transform step of generating a transformed sample signal; A high-order transformed sample signal generated and input by the local Fourier transforming step is encoded by using an autoencoder to be compressed and then decoded to be expanded to the same high-order reconstructed sample signal as the input signal. Encoding step; And an error determination step of determining an abnormality of the automated production line by calculating a loss function related to the difference between the converted sample signal and the restored sample signal and comparing the calculated loss function with a reference value have.

본 발명의 부가적인 양상에 따르면, 자동화 생산 라인의 작업 오류 검출 방법이 오토 인코더를 학습시키는 학습단계를 더 포함할 수 있다.According to a further aspect of the present invention, a method of detecting an operation error of an automated production line may further include a learning step of learning an auto encoder.

본 발명의 부가적인 양상에 따르면, 학습단계에서 음향 센서에 의해 실시간 검출되는 자동화 생산 라인의 시간 도메인 음향 신호를 일정 시간 동안 샘플링하고, 일정 시간 동안 샘플링된 자동화 생산 라인의 시간 도메인 음향 신호를 국소 푸리에 변환(STFT : Short-Time Fourier Transform)하여 주파수 도메인의 변환 샘플 신호를 생성하고, 고차원의 변환 샘플 신호를 인코딩(Encoding)하여 압축한 후, 다시 디코딩(Decoding)하여 입력과 동일한 고차원의 복원 샘플 신호로 확장했을 때, 변환 샘플 신호와 복원 샘플 신호 간의 차이에 관련된 손실 함수가 최소가 되는 방향으로 오토 인코더를 학습시킬 수 있다.According to a further aspect of the present invention, a time-domain acoustic signal of an automated production line that is detected in real time by an acoustic sensor in a learning step is sampled for a predetermined time, and a time-domain acoustic signal of an automated production line, (STFT) to generate a transformed sample signal in the frequency domain, encodes the transformed sample signal in a high-dimensional manner, compresses the transformed sample signal, and then decodes the transformed sample signal to obtain a reconstructed high- It is possible to learn the auto encoder in such a direction that the loss function associated with the difference between the converted sample signal and the restored sample signal becomes minimum.

본 발명의 부가적인 양상에 따르면, 자동화 생산 라인의 작업 오류 검출 방법이 오류 판단단계에 의해 자동화 생산 라인이 비정상이라 판단된 경우, 이를 경고하는 경고단계를 더 포함할 수 있다.According to a further aspect of the present invention, an operation error detection method of an automated production line may further include a warning step of warning the automation production line when it is determined that the automated production line is abnormal by the error determination step.

본 발명의 부가적인 양상에 따르면, 손실 함수(Loss Function)가 평균 제곱 오차(Mean Square Error) 또는 바이너리 크로스 엔트로피(Binary Cross-Entropy)일 수 있다.According to a further aspect of the present invention, the loss function may be a Mean Square Error or a Binary Cross-Entropy.

본 발명은 단위 작업들이 차례로 반복되는 작업 패턴을 가지는 자동화 생산 라인의 작업 오류 가능성을 오토 인코더(Autoencoder)를 이용해 간편하면서도 신속 정확하게 진단하여 예측할 수 있으므로, 자동화 생산 라인의 작업 오류가 심각해지기 전에 미연에 대처할 수 있는 효과가 있다.The present invention can easily and quickly diagnose and predict the possibility of an operation error of an automated production line having a job pattern in which unit operations are repeated one by one in an easy and fast manner by using an autoencoder, There is an effect that can cope.

또한, 본 발명은 자동화 생산 라인의 기계나 부품이 교체되었을 때나 새로운 기계가 도입되었을 때, 자동화 생산 라인의 정상 상태에서의 작업 음향을 충분한 시간 동안 샘플링하고, 이를 이용해 오토 인코더(Autoencoder)를 학습하여 오토 인코더(Autoencoder)를 재정의 하는 것만으로 자동화 생산 라인의 작업 오류를 검출할 수 있으므로, 적용이 간편하면서도 편리한 효과가 있다.In addition, the present invention takes a sufficient time to sample a working sound in a normal state of an automated production line when a machine or a part of an automated production line is replaced or a new machine is introduced, and learns an autoencoder By redefining the autoencoder, it is possible to detect the operation error of the automated production line, so that the application is simple and convenient.

도 1 은 본 발명에 따른 자동화 생산 라인의 작업 오류 검출 장치의 일 실시예의 구성을 도시한 블럭도이다.
도 2 는 국소 푸리에 변환을 통해 시간 도메인 음향 신호가 주파수 도메인 음향 신호로 변환된 예를 도시한 도면이다.
도 3 은 본 발명에 따른 자동화 생산 라인의 작업 오류 검출 장치에 사용되는 오토 인코더의 동작을 설명하기 위한 도면이다.
도 4 는 본 발명에 따른 자동화 생산 라인의 작업 오류 검출 방법의 일 실시예의 구성을 도시한 흐름도이다.1 is a block diagram showing a configuration of an embodiment of an apparatus for detecting an operation error of an automated production line according to the present invention.
2 is a diagram showing an example in which a time domain acoustic signal is converted into a frequency domain acoustic signal through a local Fourier transform.
3 is a view for explaining an operation of an auto encoder used in an apparatus for detecting an operation error of an automated production line according to the present invention.
4 is a flowchart showing a configuration of an embodiment of an operation error detection method of an automated production line according to the present invention.

이하, 첨부된 도면을 참조하여 기술되는 바람직한 실시예를 통하여 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 기술하기로 한다. 특정 실시예들이 도면에 예시되고 관련된 상세한 설명이 기재되어 있으나, 이는 본 발명의 다양한 실시예들을 특정한 형태로 한정하려는 것은 아니다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Reference will now be made in detail to embodiments of the present invention, examples of which are illustrated in the accompanying drawings, wherein like reference numerals refer to the like elements throughout. While specific embodiments have been illustrated and described in the accompanying drawings, it is not intended that the various embodiments of the invention be limited to any particular form.

본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명 실시예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. It is to be understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, .

반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해될 수 있어야 할 것이다. On the other hand, when an element is referred to as being "directly connected" or "directly connected" to another element, it should be understood that there are no other elements in between.

도 1 은 본 발명에 따른 자동화 생산 라인의 작업 오류 검출 장치의 일 실시예의 구성을 도시한 블럭도이다. 도 1 에 도시한 바와 같이, 이 실시예에 따른 자동화 생산 라인의 작업 오류 검출 장치(100)는 적어도 하나의 음향 센서(110)와, 국소 푸리에 변환기(120)와, 오토 인코더(Autoencoder)(130)와, 오류 판단기(140)를 포함한다. 1 is a block diagram showing a configuration of an embodiment of an apparatus for detecting an operation error of an automated production line according to the present invention. 1, an operation error detecting apparatus 100 of an automated production line according to this embodiment includes at least one acoustic sensor 110, a local Fourier transformer 120, an autoencoder 130 And an error determination unit 140. [

음향 센서(110)는 단위 작업들이 차례로 반복되는 자동화 생산 라인의 음향을 실시간 검출한다. 작업들이 차례로 반복되는 작업 패턴을 가지는 자동화 생산 라인에서 실시간으로 발생하는 음향에 의해 음향 센서(110)의 진동판이 진동하여 자계가 형성되고, 자계에 의해 발생되는 기전력에 의해 음향 신호 파형이 실시간 출력된다.The acoustic sensor 110 real-time detects the sound of the automated production line in which the unit operations are repeated one after another. The vibration plate of the acoustic sensor 110 is vibrated by the sound generated in real time in the automated production line having the operation pattern in which the operations are repeated in order and the acoustic signal waveform is outputted in real time by the electromotive force generated by the magnetic field .

국소 푸리에 변환기(120)와, 오토 인코더(Autoencoder)(130) 및 오류 판단기(140)는 마이컴(MICOM)(도면 도시 생략)에서 실행되는 소프트웨어 형태로 구현될 수 있다.The local Fourier transformer 120, the autoencoder 130 and the error determiner 140 may be implemented in the form of software executed in a MICOM (not shown).

국소 푸리에 변환기(120)는 음향 센서(110)에 의해 실시간 검출되는 자동화 생산 라인의 시간 도메인 음향 신호를 국소 푸리에 변환(STFT : Short-Time Fourier Transform)하여 주파수 도메인의 변환 샘플 신호를 생성한다.The local Fourier transformer 120 generates a frequency domain transformed sample signal by performing a short-time Fourier transform (STFT) on a time domain acoustic signal of an automated production line detected by the acoustic sensor 110 in real time.

예컨대, 국소 푸리에 변환기(120)가 음향 센서(110)에 의해 실시간 검출되는 자동화 생산 라인의 음향 신호 데이터를 특정 윈도우(Window) 크기와, 특정 오버렙(Overlap) 길이로 샘플링하여, 특정 Hz의 샘플링 레이트로 특정 초씩 분할하여 국소 푸리에 변환(STFT)하도록 구현될 수 있다.For example, the local Fourier transformer 120 samples the sound signal data of an automated production line, which is detected in real time by the acoustic sensor 110, with a specific window size and a specific overlap length, (STFT) by dividing by a certain number of seconds at a predetermined rate.

음향 센서(110)에 의해 실시간 검출되는 자동화 생산 라인의 시간 도메인 음향 신호는 여러 소리들이 혼합된 복합파인데, 시간 도메인(시계열 데이터)상에서는 어떤 소리가 들어있는지 알 수 없기 때문에 소리 특징을 파악하기 위해서는 국소 푸리에 변환부(121)를 통해 국소 푸리에 변환(Short-Time Fourier Transform)하여 주파수 도메인의 음향 신호로 변환해야 한다.Since the time domain sound signal of the automated production line detected in real time by the sound sensor 110 is a complex wave in which a plurality of sounds are mixed, it is not known what kind of sound is contained in the time domain (time series data) Time Fourier transform through the local Fourier transform unit 121 to convert it into a frequency domain sound signal.

도 2 는 국소 푸리에 변환을 통해 시간 도메인 음향 신호가 주파수 도메인 음향 신호로 변환된 예를 도시한 도면으로, 좌측은 시간 도메인 음향 신호 파형이고, 우측은 국소 푸리에 변환을 통해 주파수 도메인으로 변환된 음향 신호를 나타내고 있다. 도 2 에 도시한 바와 같이 주파수 도메인으로 변환된 음향 신호로부터 주파수 성분을 파악할 수 있다.2 shows an example in which a time-domain acoustic signal is converted into a frequency-domain acoustic signal by a local Fourier transform, the left-hand side is a time-domain acoustic signal waveform, and the right-hand side is an acoustic signal Respectively. The frequency component can be grasped from the acoustic signal converted into the frequency domain as shown in FIG.

오토 인코더(Autoencoder)(130)는 국소 푸리에 변환기(120)에 의해 생성되어 입력되는 고차원의 변환 샘플 신호를 인코딩(Encoding)하여 압축한 후, 다시 디코딩(Decoding)하여 입력과 동일한 고차원의 복원 샘플 신호로 확장한다.The autoencoder 130 encodes and compresses a high-resolution transformed sample signal generated and input by the local Fourier transformer 120 and then decodes the transformed sample signal to generate a reconstructed high-order sample signal .

도 3 은 본 발명에 따른 자동화 생산 라인의 작업 오류 검출 장치에 사용되는 오토 인코더의 동작을 설명하기 위한 도면이다. 오토 인코더(130)는 입력 레이어(Input Layer)(131)와, 은닉 레이어(Hidden Layer)(132)와, 출력 레이어(Output Layer)(133)로 이루어진다.3 is a view for explaining an operation of an auto encoder used in an apparatus for detecting an operation error of an automated production line according to the present invention. The auto encoder 130 includes an input layer 131, a hidden layer 132, and an output layer 133.

이 때, 입력 레이어(Input Layer)(131)와, 은닉 레이어(Hidden Layer)(132)는 고차원의 입력 데이터(변환 샘플 신호)를 저차원의 다양체(Manifold)에 매핑(Mapping)되는 저차원 데이터로 압축시키는 인코더(Encoder)로 동작한다.In this case, the input layer 131 and the hidden layer 132 are formed of low-dimensional data (low-dimensional data) that is mapped to low-dimensional manifolds, As an encoder.

한편, 은닉 레이어(Hidden Layer)(132)와, 출력 레이어(Output Layer)(133)는 저차원의 다양체(Manifold)에 매핑(Mapping)되는 저차원 데이터를 다시 입력 데이터와 동일한 고차원의 출력 데이터(복원 샘플 신호)로 확장시키는 디코더(Decoder)로 동작한다.On the other hand, the hidden layer 132 and the output layer 133 convert low-dimensional data mapped to a low-dimensional manifold into high-dimensional output data (A reconstructed sample signal).

오토 인코더(130)는 압축과 확장 과정에서 정보 손실을 최소화하는 방향으로 입력 데이터의 특징을 학습한다. 압축된 저차원의 벡터는 입력이 압축된 추상화된 정보를 가지며, 이는 곧 입력의 가장 핵심적인 특징을 학습하는 것과 같다. 입력 데이터의 특징 학습을 위한 손실 함수(Loss Function)는 입력과 출력의 차이며, 다음과 같다.The auto encoder 130 learns the characteristics of the input data in the direction of minimizing information loss during the compression and expansion processes. Compressed low-dimensional vectors have abstracted information with compressed inputs, which is like learning the most essential features of the input. The loss function for feature learning of input data is the difference between the input and output, as follows.

Figure pat00001
Figure pat00001

여기서, LAE는 손실함수, x는 입력, i는 차원(노드), h는 인코딩 함수(압축), g는 디코딩 함수(압축이 확장된 출력), L은 각 차원의 손실이다. 이 때, 입력과 출력의 차이는 평균 제곱 오차(Mean Square Error) 또는 바이너리 크로스 엔트로피(Binary Cross-Entropy) 등의 적절한 손실 함수로 정의하여 사용할 수 있다.Here, L is the loss AE function, x is the input, i is D (node), h is the encoding function (compression), g is a decoding function (compressed output is extended), L is the loss in each dimension. In this case, the difference between the input and the output can be defined as an appropriate loss function such as a mean square error or a binary cross-entropy.

오류 판단기(140)는 변환 샘플 신호와 복원 샘플 신호 간의 차이에 관련된 손실 함수(Loss Function)를 계산하고, 계산된 손실 함수(Loss Function)를 기준값과 비교하여 자동화 생산 라인의 비정상 여부를 판단한다.The error determiner 140 calculates a loss function related to the difference between the converted sample signal and the restored sample signal and compares the calculated loss function with a reference value to determine whether or not the automated production line is abnormal .

오토 인코더(130)에 의한 압축(인코딩) 과정에서 변환 샘플 신호의 고주파 성분이 유실되고, 오토 인코더(130)에 의한 복원(디코딩) 과정에서 최대한 복원한다 하더라도 복원 샘플 신호는 변환 샘플 신호와 완전히 동일하지 않다.Even if the high frequency component of the converted sample signal is lost in the process of compression (encoding) by the auto encoder 130 and restored as much as possible during the restoration (decoding) process by the auto encoder 130, the restored sample signal is completely identical to the converted sample signal I do not.

그런데, 복원 샘플 신호가 변환 샘플 신호와 완전히 동일하지는 않더라도, 오류가 없는 정상적인 음향 신호라면 복원 샘플 신호는 변환 샘플 신호와 최대한 비슷하게 생성된다.However, even if the reconstructed sample signal is not exactly the same as the converted sample signal, the reconstructed sample signal is generated as close as possible to the converted sample signal if it is a normal acoustic signal with no error.

그러나, 오류가 있는 비정상 음향 신호는 정상 음향 신호와는 완전 다른 특징을 가지고 있기 때문에, 비정상 음향 신호는 정상 음향 신호 데이터로 학습된 오토 인코더(130)의 저차원 다양체에 잘 매핑되지 않을 것이고, 결국 오토 인코더(130)에 의해 제대로 복원되지 않아 복원 샘플 신호는 변환 샘플 신호와 완전히 다르게 된다.However, since an erroneous acoustic signal with an error has characteristics completely different from a normal acoustic signal, the abnormal acoustic signal will not be well mapped to the low dimensional manifold of the auto encoder 130 that is learned as normal acoustic signal data, The restored sample signal is completely different from the converted sample signal because it is not correctly restored by the auto encoder 130. [

따라서, 오류 판단기(140)는 오토 인코더(130)로 입력되는 변환 샘플 신호와, 오토 인코더(130)로부터 출력되는 복원 샘플 신호 간의 차이 정도에 따라 자동화 생산 라인이 정상인지 오류가 발생할 가능성이 있는지 진단할 수 있게 된다.Therefore, the error determiner 140 determines whether there is a possibility that an automated production line is normal or an error occurs depending on the degree of difference between the converted sample signal inputted to the auto encoder 130 and the restored sample signal outputted from the auto encoder 130 Diagnosis can be made.

이와 같이 구현함에 의해 본 발명은 자동화 생산 라인의 작업 오류 가능성을 오토 인코더(Autoencoder)를 이용해 간편하면서도 신속 정확하게 진단하여 예측할 수 있으므로, 자동화 생산 라인의 작업 오류가 심각해지기 전에 미연에 대처할 수 있다.According to the present invention, it is possible to easily and quickly diagnose and predict an operation error probability of an automated production line by using an autoencoder, so that it is possible to cope with a problem before the operation error of the automated production line becomes serious.

한편, 본 발명의 부가적인 양상에 따르면, 자동화 생산 라인의 작업 오류 검출 장치(100)가 학습기(150)를 더 포함할 수 있다. 학습기(150)는 오토 인코더(130)를 학습시킨다.According to a further aspect of the present invention, an apparatus for detecting an operation error of an automated production line may further include a learning device. The learning device 150 learns the auto encoder 130. [

이 때, 학습기(150)가 음향 센서(110)에 의해 실시간 검출되는 자동화 생산 라인의 시간 도메인 음향 신호를 일정 시간 동안 샘플링(Sampling)하고, 일정 시간 동안 샘플링된 자동화 생산 라인의 시간 도메인 음향 신호를 국소 푸리에 변환(STFT : Short-Time Fourier Transform)하여 주파수 도메인의 변환 샘플 신호를 생성하고, 고차원의 변환 샘플 신호를 인코딩(Encoding)하여 압축한 후, 다시 디코딩(Decoding)하여 입력과 동일한 고차원의 복원 샘플 신호로 확장했을 때, 변환 샘플 신호와 복원 샘플 신호 간의 차이에 관련된 손실 함수가 최소가 되는 방향으로 오토 인코더(130)를 학습시키도록 구현될 수 있다.At this time, the learning device 150 samples the time domain sound signal of the automated production line, which is detected in real time by the acoustic sensor 110, for a predetermined time, and outputs the time domain sound signal of the automated production line A transformed sample signal in the frequency domain is generated by performing a short-time Fourier transform (STFT) on a high-order transformed sample signal, and a high-order transformed sample signal is encoded and then compressed to be decoded again. It can be implemented to learn the auto encoder 130 in such a direction that the loss function associated with the difference between the converted sample signal and the restored sample signal becomes minimum when extended to the sample signal.

변환 샘플 신호와 복원 샘플 신호 간의 차이에 관련된 손실 함수가 최소가 된다는 말은 오토 인코더(130)로 입력되는 변환 샘플 신호와, 오토 인코더(130)에 의해 복원 샘플 신호가 압축된 후 다시 확장되어 출력되는 복원 샘플 신호가 거의 유사하다는 것을 말한다.The fact that the loss function related to the difference between the converted sample signal and the restored sample signal is minimized means that the converted sample signal inputted to the auto encoder 130 and the restored sample signal after being compressed by the auto encoder 130 are expanded again, The restored sample signals are almost similar.

자동화 생산 라인의 각 단위 작업들에서 발생하는 오류들은 매우 드물게 발생하고, 어떠한 오류가 언제, 어떻게, 왜 발생하는지 특정하기가 어려우므로, 오류가 발생한 상황에서의 자동화 생산 라인의 음향을 샘플링하여 오토 인코더(130)를 학습하는 것은 의미가 없다.Errors occurring in each unit of an automation production line occur very rarely and it is difficult to specify when, how, and why errors occur. Therefore, by sampling the sound of an automated production line in the event of an error, (130) is meaningless.

따라서, 본 발명은 학습기(150)를 통해 오류가 발생하지 않은 상황에서의 자동화 생산 라인의 음향을 샘플링하여 오토 인코더(130)를 학습하되, 변환 샘플 신호와 복원 샘플 신호 간의 차이에 관련된 손실 함수가 최소가 되는 방향으로 오토 인코더(130)를 학습시켜 최적화한다.Therefore, according to the present invention, the auto encoder 130 samples the sound of the automated production line in a situation where no error occurs through the learning device 150, and learns the loss function related to the difference between the converted sample signal and the restored sample signal The auto encoder 130 is learned and optimized in the direction of minimum.

이에 따라, 본 발명은 자동화 생산 라인의 기계나 부품이 교체되었을 때나 새로운 기계가 도입되었을 때, 자동화 생산 라인의 정상 상태에서의 작업 음향을 충분한 시간 동안 샘플링하고, 이를 이용해 오토 인코더(Autoencoder)를 학습하여 오토 인코더(Autoencoder)를 재정의 하는 것만으로 자동화 생산 라인의 작업 오류를 검출할 수 있으므로, 적용이 간편하면서도 편리하다.Accordingly, the present invention provides a system and method for sampling a working sound in a normal state of an automated production line for a sufficient time when a machine or a part of an automated production line is replaced or a new machine is introduced, Therefore, it is simple and convenient to apply because it is possible to detect the operation error of the automated production line by merely redefining the autoencoder.

한편, 본 발명의 부가적인 양상에 따르면, 자동화 생산 라인의 작업 오류 검출 장치(100)가 경고부(160)를 더 포함할 수 있다. 경고부(160)는 오류 판단기(140)에 의해 자동화 생산 라인이 비정상이라 판단된 경우, 이를 경고한다.Meanwhile, according to an additional aspect of the present invention, the operation error detecting apparatus 100 of the automated production line may further include the warning unit 160. The warning unit 160 alerts the automation production line when it is determined that the automated production line is abnormal by the error determination unit 140.

예컨대, 경고부(160)가 오류 판단기(140)에 의해 자동화 생산 라인이 정상이라 판단된 경우에는 A색의 램프나 LED를 점등시키고, 자동화 생산 라인이 비정상이라 판단된 경우에는 B색의 램프나 LED를 점등시키는 등의 시각적인 방식으로 경고를 수행하도록 구현될 수 있다.For example, when the warning unit 160 determines that the automated production line is normal by the error determination unit 140, the A lamp or LED is turned on, and when the automated production line is determined to be abnormal, Or to perform a warning in a visual manner, such as lighting an LED.

이와는 달리, 경고부(160)가 오류 판단기(140)에 의해 자동화 생산 라인이 정상이라 판단된 경우에는 경고음을 출력하지 않다가, 자동화 생산 라인이 비정상이라 판단된 경우에 경고음을 출력하는 등의 청각적인 방식으로 경고를 수행하도록 구현될 수도 있다.Alternatively, when the warning unit 160 does not output a warning sound when the automatic determination unit 140 determines that the automated production line is normal, the alarm unit 160 outputs a warning sound when the automated production line is determined to be abnormal Or may be implemented to perform an alert in an audible manner.

이와 같이 구현함에 의해 본 발명은 오토 인코더(Autoencoder)를 이용한 자동화 생산 라인의 작업 오류 진단 결과, 자동화 생산 라인의 작업 오류 가능성이 있다 진단될 경우, 이를 사용자에게 경고함으로써 자동화 생산 라인의 작업 오류가 심각해지기 전에 자동화 생산 라인의 작업 오류에 대한 신속한 대처가 가능하도록 할 수 있다.In this way, the present invention can diagnose the operation error of the automated production line using the auto encoder, and if there is a possibility of operation error of the automated production line, It is possible to quickly cope with an operation error of an automation production line before it is erased.

이상에서 설명한 바와 같은 본 발명에 따른 자동화 생산 라인의 작업 오류 검출 장치의 작업 오류 검출 동작을 도 4 를 통해 알아본다. 도 4 는 본 발명에 따른 자동화 생산 라인의 작업 오류 검출 방법의 일 실시예의 구성을 도시한 흐름도이다.The operation error detection operation of the operation error detection apparatus of the automated production line according to the present invention as described above will be described with reference to FIG. 4 is a flowchart showing a configuration of an embodiment of an operation error detection method of an automated production line according to the present invention.

국소 푸리에 변환 단계(410)에서 자동화 생산 라인의 작업 오류 검출 장치가 음향 센서에 의해 실시간 검출되는 자동화 생산 라인의 시간 도메인 음향 신호를 국소 푸리에 변환(STFT : Short-Time Fourier Transform)하여 주파수 도메인의 변환 샘플 신호를 생성한다. 국소 푸리에 변환(STFT)과 관련해서는 기 설명하였으므로, 중복 설명은 생략한다.In the local Fourier transform step 410, the operation error detection device of the automated production line is time-domain Fourier transformed (STFT) in the automated production line, which is detected in real time by the acoustic sensor, And generates a sample signal. Since the STFT has been described above, redundant description is omitted.

그 다음, 오토 인코딩 단계(420)에서 자동화 생산 라인의 작업 오류 검출 장치가 국소 푸리에 변환 단계(410)에 의해 생성되어 입력되는 고차원의 변환 샘플 신호를 오토 인코더(Autoencoder)를 사용해 인코딩(Encoding)하여 압축한 후, 다시 디코딩(Decoding)하여 입력과 동일한 고차원의 복원 샘플 신호로 확장한다. 오토 인코더(Autoencoder)에 의한 데이터 압축 및 확장과 관련해서는 기 설명하였으므로, 중복 설명은 생략한다. Then, in the auto encoding step 420, the operation error detection device of the automated production line encodes the high-resolution converted sample signal generated and input by the local Fourier transform step 410 using an autoencoder After decompressing, the signal is decoded again and expanded to a higher-order reconstructed sample signal identical to the input signal. Since data compression and expansion by an autoencoder has been described above, redundant description is omitted.

그 다음, 오류 판단 단계(430)에서 자동화 생산 라인의 작업 오류 검출 장치가 변환 샘플 신호와 복원 샘플 신호 간의 차이에 관련된 손실 함수(Loss Function)를 계산하고, 계산된 손실 함수(Loss Function)를 기준값과 비교하여 자동화 생산 라인의 비정상 여부를 판단한다. Then, in the error determination step 430, the operation error detection device of the automated production line calculates a loss function related to the difference between the converted sample signal and the restored sample signal, and outputs the calculated loss function as a reference value And determines whether or not the automated production line is abnormal.

예컨대, 손실 함수(Loss Function)가 평균 제곱 오차(Mean Square Error) 또는 바이너리 크로스 엔트로피(Binary Cross-Entropy)일 수 있고, 손실 함수(Loss Function)를 이용하여 자동화 생산 라인의 비정상 여부를 판단하는 것과 관련해서는 기 설명하였으므로, 중복 설명은 생략한다.For example, the loss function may be a mean square error or a binary cross-entropy, and it may be determined whether or not the automated production line is abnormal by using a loss function Since redundancy has been described above, redundant explanation is omitted.

이와 같이 구현함에 의해, 본 발명은 자동화 생산 라인의 작업 오류 가능성을 오토 인코더(Autoencoder)를 이용해 간편하면서도 신속 정확하게 진단하여 예측할 수 있으므로, 자동화 생산 라인의 작업 오류가 심각해지기 전에 미연에 대처할 수 있다.According to the present invention, the present invention can easily and quickly diagnose and predict the possibility of operation error of an automated production line by using an autoencoder, so that it can be dealt with before the operation error of the automated production line becomes serious.

한편, 발명의 부가적인 양상에 따르면, 자동화 생산 라인의 작업 오류 검출 방법이 학습단계(405)를 더 포함할 수 있다. 학습단계(405)에서 자동화 생산 라인의 작업 오류 검출 장치는 오토 인코더(Autoencoder)를 학습시킨다.Meanwhile, according to a further aspect of the invention, a method of detecting an operation error of an automated production line may further include a learning step (405). In the learning step 405, the operation error detecting device of the automated production line learns an autoencoder.

이 때, 자동화 생산 라인의 작업 오류 검출 장치가 학습단계(405)에서 음향 센서에 의해 실시간 검출되는 자동화 생산 라인의 시간 도메인 음향 신호를 일정 시간 동안 샘플링하고, 일정 시간 동안 샘플링된 자동화 생산 라인의 시간 도메인 음향 신호를 국소 푸리에 변환(STFT : Short-Time Fourier Transform)하여 주파수 도메인의 변환 샘플 신호를 생성하고, 고차원의 변환 샘플 신호를 인코딩(Encoding)하여 압축한 후, 다시 디코딩(Decoding)하여 입력과 동일한 고차원의 복원 샘플 신호로 확장했을 때, 변환 샘플 신호와 복원 샘플 신호 간의 차이에 관련된 손실 함수가 최소가 되는 방향으로 오토 인코더를 학습시키도록 구현될 수 있다.At this time, the operation error detection device of the automated production line samples the time domain sound signal of the automated production line, which is detected in real time by the acoustic sensor in the learning step 405, for a predetermined time, The transformed sample signal of the frequency domain is generated by performing a short-time Fourier transform (STFT) of the domain sound signal, and the high-order transformed sample signal is encoded and then compressed to be decoded. It is possible to realize the learning of the auto-encoder in such a direction that the loss function related to the difference between the converted sample signal and the restored sample signal becomes minimum when extended to the same high-dimensional restored sample signal.

변환 샘플 신호와 복원 샘플 신호 간의 차이에 관련된 손실 함수가 최소가 되는 방향으로 오토 인코더를 학습시키는 것과 관련해서는 기 설명하였으므로, 중복 설명은 생략한다.The description has been made with respect to the learning of the auto encoder in such a direction that the loss function related to the difference between the converted sample signal and the restored sample signal is minimized.

본 발명은 학습단계(405)를 통해 오류가 발생하지 않은 상황에서의 자동화 생산 라인의 음향을 샘플링하여 오토 인코더를 학습시키되, 변환 샘플 신호와 복원 샘플 신호 간의 차이에 관련된 손실 함수가 최소가 되는 방향으로 오토 인코더를 학습시켜 최적화할 수 있다.In the learning step 405, the sound of the automated production line is sampled in the absence of an error to learn the auto-encoder, and in a direction in which the loss function related to the difference between the converted sample signal and the restored sample signal is minimized The auto encoder can be learned and optimized.

이에 따라, 본 발명은 자동화 생산 라인의 기계나 부품이 교체되었을 때나 새로운 기계가 도입되었을 때, 자동화 생산 라인의 정상 상태에서의 작업 음향을 충분한 시간 동안 샘플링하고, 이를 이용해 오토 인코더(Autoencoder)를 학습하여 오토 인코더(Autoencoder)를 재정의 하는 것만으로 자동화 생산 라인의 작업 오류를 검출할 수 있으므로, 적용이 간편하면서도 편리하다.Accordingly, the present invention provides a system and method for sampling a working sound in a normal state of an automated production line for a sufficient time when a machine or a part of an automated production line is replaced or a new machine is introduced, Therefore, it is simple and convenient to apply because it is possible to detect the operation error of the automated production line by merely redefining the autoencoder.

한편, 발명의 부가적인 양상에 따르면, 자동화 생산 라인의 작업 오류 검출 방법이 경고단계(440)를 더 포함할 수 있다. 경고단계(440)에서 자동화 생산 라인의 작업 오류 검출 장치가 오류 판단단계(430)에 의해 자동화 생산 라인이 비정상이라 판단된 경우, 이를 경고한다. 이 때, 경고는 시각적인 방법 또는 청각적인 방법에 의해 수행될 수 있으며, 이와 관련해서는 기 설명하였으므로, 중복 설명은 생략한다.On the other hand, according to a further aspect of the invention, the method of detecting an operational error of an automated production line may further comprise a warning step (440). In the warning step 440, the operation error detection device of the automated production line alerts the user if the automated production line is determined to be abnormal by the error determination step 430. At this time, the warning can be performed by a visual method or an auditory method, and a redundant explanation is omitted because it has been described earlier.

이와 같이 구현함에 의해 본 발명은 오토 인코더(Autoencoder)를 이용한 자동화 생산 라인의 작업 오류 진단 결과, 자동화 생산 라인의 작업 오류 가능성이 있다 진단될 경우, 이를 사용자에게 경고함으로써 자동화 생산 라인의 작업 오류가 심각해지기 전에 자동화 생산 라인의 작업 오류에 대한 신속한 대처가 가능하도록 할 수 있다.In this way, the present invention can diagnose the operation error of the automated production line using the auto encoder, and if there is a possibility of operation error of the automated production line, It is possible to quickly cope with an operation error of an automation production line before it is erased.

이상에서 설명한 바와 같이, 본 발명은 단위 작업들이 차례로 반복되는 작업 패턴을 가지는 자동화 생산 라인의 작업 오류 가능성을 오토 인코더(Autoencoder)를 이용해 간편하면서도 신속 정확하게 진단하여 예측할 수 있으므로, 자동화 생산 라인의 작업 오류가 심각해지기 전에 미연에 대처할 수 있는 효과가 있다.As described above, according to the present invention, it is possible to easily and quickly diagnose and predict the possibility of an operation error of an automated production line having a job pattern in which unit operations are repeated in sequence, using an auto encoder, There is an effect that can cope with before it becomes serious.

또한, 본 발명은 자동화 생산 라인의 기계나 부품이 교체되었을 때나 새로운 기계가 도입되었을 때, 자동화 생산 라인의 정상 상태에서의 작업 음향을 충분한 시간 동안 샘플링하고, 이를 이용해 오토 인코더(Autoencoder)를 학습하여 오토 인코더(Autoencoder)를 재정의 하는 것만으로 자동화 생산 라인의 작업 오류를 검출할 수 있으므로, 적용이 간편하면서도 편리하다. In addition, the present invention takes a sufficient time to sample a working sound in a normal state of an automated production line when a machine or a part of an automated production line is replaced or a new machine is introduced, and learns an autoencoder By redefining the autoencoder, it is easy to apply because it can detect the operation error of the automated production line.

본 발명의 다양한 실시예에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는, 예컨대, 프로그래밍 모듈의 형태로 컴퓨터로 읽을 수 있는 저장매체(Computer-Readable Storage Media)에 저장된 명령어로 구현될 수 있다. At least a portion of a device (e.g., modules or functions thereof) or a method (e.g., operations) according to various embodiments of the present invention may be stored in a computer-readable storage medium Storage Media).

명령어는, 하나 이상의 프로세서에 의해 실행될 경우, 하나 이상의 프로세서가 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 읽을 수 있는 저장매체는 프로그래밍 모듈의 적어도 일부는, 예를 들면, 프로세서에 의해 구현(Implement)(예: 실행)될 수 있다. 프로그래밍 모듈의 적어도 일부는 하나 이상의 기능을 수행하기 위한, 예를 들면, 모듈, 프로그램, 루틴, 명령어 세트(Sets of Instructions) 또는 프로세스 등을 포함할 수 있다.An instruction, when executed by one or more processors, may perform one or more functions corresponding to the instruction. A computer-readable storage medium may be implemented (e.g., implemented) by at least a portion of a programming module, for example, by a processor. At least some of the programming modules may include, for example, modules, programs, routines, sets of instructions, or processes for performing one or more functions.

그리고, 본 명세서 및 도면에 개시된 다양한 실시예들은 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 다양한 실시예들의 범위를 한정하고자 하는 것은 아니다. It is to be understood that the various embodiments disclosed in the present specification and drawings are only illustrative of specific examples for the purpose of understanding and are not intended to limit the scope of various embodiments of the present invention.

따라서, 본 발명의 다양한 실시예들의 범위는 여기에서 설명된 실시예들 이외에도 본 발명의 다양한 실시예들의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 다양한 실시예들의 범위에 포함되는 것으로 해석되어야 한다.Accordingly, the scope of the various embodiments of the present invention should not be limited by the above-described embodiments, and all changes or modifications that come about based on the technical ideas of various embodiments of the present invention are included in the scope of various embodiments of the present invention. Should be interpreted as being.

본 발명은 음향 기반 오류 검출 기술분야 및 이의 응용 기술분야에서 산업상으로 이용 가능하다.INDUSTRIAL APPLICABILITY The present invention is industrially applicable in the field of acoustic-based error detection technology and its application field.

100 : 작업 오류 검출 장치
110 : 음향 센서
120 : 국소 푸리에 변환기
130 : 오토 인코더
131 : 입력 레이어
132 : 은닉 레이어
133 : 출력 레이어
140 : 오류 판단기
150 : 학습기
160 : 경고부100: Operation error detection device
110: acoustic sensor
120: local Fourier transformer
130: Auto encoder
131: input layer
132: Hidden layer
133: Output layer
140:
150: Learning machine
160: Warning section

Claims (10)

단위 작업들이 차례로 반복되는 자동화 생산 라인의 음향을 실시간 검출하는 적어도 하나의 음향 센서와;
음향 센서에 의해 실시간 검출되는 자동화 생산 라인의 시간 도메인 음향 신호를 국소 푸리에 변환(STFT : Short-Time Fourier Transform)하여 주파수 도메인의 변환 샘플 신호를 생성하는 국소 푸리에 변환기와;
국소 푸리에 변환기에 의해 생성되어 입력되는 고차원의 변환 샘플 신호를 인코딩(Encoding)하여 압축한 후, 다시 디코딩(Decoding)하여 입력과 동일한 고차원의 복원 샘플 신호로 확장하는 오토 인코더(Autoencoder)와;
변환 샘플 신호와 복원 샘플 신호 간의 차이에 관련된 손실 함수(Loss Function)를 계산하고, 계산된 손실 함수(Loss Function)를 기준값과 비교하여 자동화 생산 라인의 비정상 여부를 판단하는 오류 판단기를;
포함하는 자동화 생산 라인의 작업 오류 검출 장치.At least one acoustic sensor for detecting in real time the sound of an automated production line in which the unit operations are repeated in order;
A local Fourier transformer for generating a frequency domain transformed sample signal by performing a time-domain Fourier transform (STFT) on a time domain acoustic signal of an automated production line detected in real time by an acoustic sensor;
An autoencoder that encodes and compresses a high-resolution transformed sample signal generated and input by the local Fourier transformer, and then decompresses the transformed sample signal to expand the reconstructed sample signal to a higher-order reconstructed sample signal that is the same as the input;
An error determiner for calculating a loss function related to the difference between the converted sample signal and the restored sample signal and comparing the calculated loss function with a reference value to determine whether the automated production line is abnormal;
An apparatus for detecting an operation error of an automated production line. 제 1 항에 있어서,
자동화 생산 라인의 작업 오류 검출 장치가:
오토 인코더를 학습시키는 학습기를;
더 포함하는 자동화 생산 라인의 작업 오류 검출 장치.The method according to claim 1,
Operation error detection device of automated production line:
A learning device for learning an auto encoder;
Further comprising an operation error detection device of an automated production line. 제 2 항에 있어서,
학습기가:
음향 센서에 의해 실시간 검출되는 자동화 생산 라인의 시간 도메인 음향 신호를 일정 시간 동안 샘플링하고, 일정 시간 동안 샘플링된 자동화 생산 라인의 시간 도메인 음향 신호를 국소 푸리에 변환(STFT : Short-Time Fourier Transform)하여 주파수 도메인의 변환 샘플 신호를 생성하고, 고차원의 변환 샘플 신호를 인코딩(Encoding)하여 압축한 후, 다시 디코딩(Decoding)하여 입력과 동일한 고차원의 복원 샘플 신호로 확장했을 때, 변환 샘플 신호와 복원 샘플 신호 간의 차이에 관련된 손실 함수가 최소가 되는 방향으로 오토 인코더를 학습시키는 자동화 생산 라인의 작업 오류 검출 장치.3. The method of claim 2,
Learners:
A time domain sound signal of an automated production line detected in real time by an acoustic sensor is sampled for a predetermined time and a time domain sound signal of an automated production line sampled for a predetermined time is subjected to a short-time Fourier transform (STFT) Domain transformed sample signal is encoded and then a high-order transformed sample signal is encoded and expanded to be decoded and expanded to a higher-order reconstructed sample signal that is the same as the input. The transformed sample signal and the reconstructed sample signal The automatic encoder learns the error encoder in a direction in which the loss function related to the difference between the minimum and maximum values is minimized. 제 1 항에 있어서,
손실 함수(Loss Function)가:
평균 제곱 오차(Mean Square Error) 또는 바이너리 크로스 엔트로피(Binary Cross-Entropy)인 자동화 생산 라인의 작업 오류 검출 장치.The method according to claim 1,
Loss Function:
An apparatus for detecting an operation error of an automated production line which is a mean square error or a binary cross-entropy. 제 1 항 내지 제 4 항 중의 어느 한 항에 있어서,
자동화 생산 라인의 작업 오류 검출 장치가:
오류 판단기에 의해 자동화 생산 라인이 비정상이라 판단된 경우, 이를 경고하는 경고부를;
더 포함하는 자동화 생산 라인의 작업 오류 검출 장치.5. The method according to any one of claims 1 to 4,
Operation error detection device of automated production line:
A warning unit for warning the automation production line when it is determined by the error judgment unit that the automation production line is abnormal;
Further comprising an operation error detection device of an automated production line. 음향 센서에 의해 실시간 검출되는 자동화 생산 라인의 시간 도메인 음향 신호를 국소 푸리에 변환(STFT : Short-Time Fourier Transform)하여 주파수 도메인의 변환 샘플 신호를 생성하는 국소 푸리에 변환 단계와;
국소 푸리에 변환 단계에 의해 생성되어 입력되는 고차원의 변환 샘플 신호를 오토 인코더(Autoencoder)를 사용해 인코딩(Encoding)하여 압축한 후, 다시 디코딩(Decoding)하여 입력과 동일한 고차원의 복원 샘플 신호로 확장하는 오토 인코딩 단계와;
변환 샘플 신호와 복원 샘플 신호 간의 차이에 관련된 손실 함수(Loss Function)를 계산하고, 계산된 손실 함수(Loss Function)를 기준값과 비교하여 자동화 생산 라인의 비정상 여부를 판단하는 오류 판단 단계를;
포함하는 자동화 생산 라인의 작업 오류 검출 방법.A local Fourier transform step of generating a frequency domain transformed sample signal by performing a time-domain Fourier transform (STFT) on a time domain acoustic signal of an automated production line detected in real time by an acoustic sensor;
A high-order transformed sample signal generated and input by the local Fourier transforming step is encoded by using an autoencoder to be compressed and then decoded to be expanded to the same high-order reconstructed sample signal as the input signal. Encoding step;
Calculating a loss function related to the difference between the converted sample signal and the restored sample signal and comparing the calculated loss function with a reference value to determine whether the automated production line is abnormal;
A method for detecting an operational error in an automated production line including: 제 6 항에 있어서,
자동화 생산 라인의 작업 오류 검출 방법이:
오토 인코더를 학습시키는 학습단계를;
더 포함하는 자동화 생산 라인의 작업 오류 검출 방법.The method according to claim 6,
A method of detecting an operational error in an automated production line is:
Learning step for learning the auto encoder;
A method for detecting operational errors in an automated production line that further includes: 제 7 항에 있어서,
학습단계에서:
음향 센서에 의해 실시간 검출되는 자동화 생산 라인의 시간 도메인 음향 신호를 일정 시간 동안 샘플링하고, 일정 시간 동안 샘플링된 자동화 생산 라인의 시간 도메인 음향 신호를 국소 푸리에 변환(STFT : Short-Time Fourier Transform)하여 주파수 도메인의 변환 샘플 신호를 생성하고, 고차원의 변환 샘플 신호를 인코딩(Encoding)하여 압축한 후, 다시 디코딩(Decoding)하여 입력과 동일한 고차원의 복원 샘플 신호로 확장했을 때, 변환 샘플 신호와 복원 샘플 신호 간의 차이에 관련된 손실 함수가 최소가 되는 방향으로 오토 인코더를 학습시키는 자동화 생산 라인의 작업 오류 검출 방법.8. The method of claim 7,
At the learning stage:
A time domain sound signal of an automated production line detected in real time by an acoustic sensor is sampled for a predetermined time and a time domain sound signal of an automated production line sampled for a predetermined time is subjected to a short-time Fourier transform (STFT) Domain transformed sample signal is encoded and then a high-order transformed sample signal is encoded and expanded to be decoded and expanded to a higher-order reconstructed sample signal that is the same as the input. The transformed sample signal and the reconstructed sample signal The automatic encoder is learned in such a direction that the loss function associated with the difference between the minimum and maximum values is minimized. 제 6 항에 있어서,
손실 함수(Loss Function)가:
평균 제곱 오차(Mean Square Error) 또는 바이너리 크로스 엔트로피(Binary Cross-Entropy)인 자동화 생산 라인의 작업 오류 검출 방법.The method according to claim 6,
Loss Function:
A method of detecting an operation error of an automated production line, wherein the error is a mean square error or a binary cross-entropy. 제 6 항 내지 제 9 항 중의 어느 한 항에 있어서,
자동화 생산 라인의 작업 오류 검출 방법이:
오류 판단단계에 의해 자동화 생산 라인이 비정상이라 판단된 경우, 이를 경고하는 경고단계를;
더 포함하는 자동화 생산 라인의 작업 오류 검출 방법.10. The method according to any one of claims 6 to 9,
A method of detecting an operational error in an automated production line is:
A warning step of warning when the automated production line is determined to be abnormal by the error determination step;
A method for detecting operational errors in an automated production line that further includes:
KR1020170184243A 2017-12-29 2017-12-29 Working error detecting apparatus and method for automatic manufacturing line KR102057081B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170184243A KR102057081B1 (en) 2017-12-29 2017-12-29 Working error detecting apparatus and method for automatic manufacturing line

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170184243A KR102057081B1 (en) 2017-12-29 2017-12-29 Working error detecting apparatus and method for automatic manufacturing line

Publications (2)

Publication Number Publication Date
KR20190081594A true KR20190081594A (en) 2019-07-09
KR102057081B1 KR102057081B1 (en) 2019-12-18

Family

ID=67261418

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170184243A KR102057081B1 (en) 2017-12-29 2017-12-29 Working error detecting apparatus and method for automatic manufacturing line

Country Status (1)

Country Link
KR (1) KR102057081B1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112966819A (en) * 2021-03-04 2021-06-15 南方科技大学 Method and device for detecting out-of-distribution data, server and storage medium
KR20210129500A (en) 2020-04-20 2021-10-28 한국외국어대학교 연구산학협력단 Apparatus for detecting anomaly operation of the smd assembly device
KR20210129499A (en) 2020-04-20 2021-10-28 한국외국어대학교 연구산학협력단 Data preprocessing method for detecting work errors in the process for assembling surface mount device
JP2022074890A (en) * 2020-11-05 2022-05-18 株式会社東芝 Abnormality determination device, learning device, and abnormality determination method
WO2023200992A1 (en) * 2022-04-13 2023-10-19 The Penn State Research Foundation Systems and methods for remote machine and equipment monitoring using compressed sensing techniques

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140030017A (en) 2012-08-31 2014-03-11 세메스 주식회사 Error detection method and substrate treating method

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005121639A (en) * 2003-09-22 2005-05-12 Omron Corp Inspection method, inspection apparatus and diagnostic apparatus for facility
KR101809654B1 (en) * 2014-06-03 2017-12-18 에이피시스템 주식회사 Substrate processing apparatus and operating method thereof
JP6847591B2 (en) * 2016-05-18 2021-03-24 エヌ・ティ・ティ・コミュニケーションズ株式会社 Anomaly detection system, model generator, anomaly detection device, anomaly detection method, model generation program, and anomaly detection program

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140030017A (en) 2012-08-31 2014-03-11 세메스 주식회사 Error detection method and substrate treating method

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210129500A (en) 2020-04-20 2021-10-28 한국외국어대학교 연구산학협력단 Apparatus for detecting anomaly operation of the smd assembly device
KR20210129499A (en) 2020-04-20 2021-10-28 한국외국어대학교 연구산학협력단 Data preprocessing method for detecting work errors in the process for assembling surface mount device
JP2022074890A (en) * 2020-11-05 2022-05-18 株式会社東芝 Abnormality determination device, learning device, and abnormality determination method
CN112966819A (en) * 2021-03-04 2021-06-15 南方科技大学 Method and device for detecting out-of-distribution data, server and storage medium
CN112966819B (en) * 2021-03-04 2024-04-09 南方科技大学 Method, device, server and storage medium for detecting data outside distribution
WO2023200992A1 (en) * 2022-04-13 2023-10-19 The Penn State Research Foundation Systems and methods for remote machine and equipment monitoring using compressed sensing techniques

Also Published As

Publication number Publication date
KR102057081B1 (en) 2019-12-18

Similar Documents

Publication Publication Date Title
KR20190081594A (en) Working error detecting apparatus and method for automatic manufacturing line
EP3407200B1 (en) Method and device for updating online self-learning event detection model
JP4079892B2 (en) Encoder and motor control device
KR101996489B1 (en) Working error detecting apparatus for automatic manufacturing line
JP2008250594A (en) Device diagnostic method, device-diagnosing module and device with device-diagnosing module mounted thereon
CN1102328C (en) Portable telephone device
CN111650922A (en) Smart home abnormity detection method and device
JP2012239170A (en) Signal processing during fault conditions
EP3584779A1 (en) Alert fault detection system and method
CN109870999B (en) Method and automation system for error-protected detection of measured values
CN109032823A (en) A kind of extremely self-healing method and device of voice module
CN202371269U (en) Valve controller
CN110268342A (en) Electronic circuit for the field device in automatic technology
WO2022173041A1 (en) Abnormal sound determination system, abnormal sound determination device, and program
KR102344426B1 (en) Apparatus for detecting anomaly operation of the smd assembly device
JP6163112B2 (en) Positioner
JP7472012B2 (en) Abnormal signal extraction device
CN113295086A (en) Precision testing system of rotary transformer
US8049524B2 (en) Method for detecting component defects of an analog signal processing circuit, especially for a measurement transmitter
CN110597698B (en) Method for analyzing the cause of at least one anomaly
CN112415292B (en) Piezoelectric device on-line detection device and method
JP2008076414A (en) Encoder and control apparatus of electric motor
JP3183824B2 (en) Vehicle alarm device
CN112637751A (en) Voice module test circuit, method, device and storage medium
US20220308099A1 (en) System and method for analyzing waveform applied to servo motor system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant