KR20210129500A - 표면 실장 부품 조립 장비의 작동 오류 검출 장치 - Google Patents

표면 실장 부품 조립 장비의 작동 오류 검출 장치 Download PDF

Info

Publication number
KR20210129500A
KR20210129500A KR1020200047590A KR20200047590A KR20210129500A KR 20210129500 A KR20210129500 A KR 20210129500A KR 1020200047590 A KR1020200047590 A KR 1020200047590A KR 20200047590 A KR20200047590 A KR 20200047590A KR 20210129500 A KR20210129500 A KR 20210129500A
Authority
KR
South Korea
Prior art keywords
smd
sound
assembly equipment
motion
deep learning
Prior art date
Application number
KR1020200047590A
Other languages
English (en)
Other versions
KR102344426B1 (ko
Inventor
윤일동
Original Assignee
한국외국어대학교 연구산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국외국어대학교 연구산학협력단 filed Critical 한국외국어대학교 연구산학협력단
Priority to KR1020200047590A priority Critical patent/KR102344426B1/ko
Publication of KR20210129500A publication Critical patent/KR20210129500A/ko
Application granted granted Critical
Publication of KR102344426B1 publication Critical patent/KR102344426B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05K—PRINTED CIRCUITS; CASINGS OR CONSTRUCTIONAL DETAILS OF ELECTRIC APPARATUS; MANUFACTURE OF ASSEMBLAGES OF ELECTRICAL COMPONENTS
    • H05K13/00—Apparatus or processes specially adapted for manufacturing or adjusting assemblages of electric components
    • H05K13/08—Monitoring manufacture of assemblages
    • H05K13/083—Quality monitoring using results from monitoring devices, e.g. feedback loops
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Operations Research (AREA)
  • Manufacturing & Machinery (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Automatic Assembly (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

본 발명은 딥러닝 기반으로 SMD 조립 장비에서 발생되는 동작음을 이용하여 동작 오류를 검출하는 동작 오류 검출 장치로, SMD 조립 장비의 기본 동작음과 SMD 조립 장비가 기본 동작을 수행하게 하는 프로그램 코드를 매핑하여 학습하는 동작음 학습부와, SMD 조립 장비가 SMD를 조립하도록 사전 설정된 프로그램 코드로부터 조립 공정에서 발생할 동작음을 예측하여 생성하는 동작음 예측부와, 생성된 동작음으로 딥러닝 모델을 학습시키고, 학습된 딥러닝 모델을 통해 SMD 조립 장비가 SMD를 조립하며 발생시키는 실제 동작음으로부터 동작 오류를 검출하는 동작 오류 검출부를 포함한다.

Description

표면 실장 부품 조립 장비의 작동 오류 검출 장치{APPARATUS FOR DETECTING ANOMALY OPERATION OF THE SMD ASSEMBLY DEVICE}
음향을 기반으로 하는 오류 검출 기술에 관한 것으로, 보다 상세하게는 표면 실장 부품(Surface Mounted Device, SMD) 조립 장비의 작동 오류를 조립 장비의 작동음을 이용하여 검출하는 장치에 관한 발명이 개시된다.
인쇄 회로 기판(PCB)의 표면에 표면 실장 부품(Surface mounted component, SMC)를 직접 부착시켜 표면 실장 장치(Surface mounted device, SMD)를 조립하는 자동화 설비가 생산되고 있다. SMD를 조립하는 자동화 설비는 다품종의 SMD를 소량으로 조립하고, 조립 공정에서 설비의 작동 속도가 매우 빠른 특징을 가지고 있다.
SMD 조립 공정은 PCB 기판 입고, 부품 집기, 부품 이동, 부품 장착, PCB 기판 출고 등을 포함하는 단위 작업들이 순차적으로 반복되는 일정한 작업 패턴을 가진다.
단위 작업들이 순차적으로 반복되는 작업 패턴을 가지므로, 어떤 단위 작업에서 장애가 발생하여 작업이 중지되면, SMD 조립 공정 전체가 영향을 받아 자동화된 조립 공정이 멈추게 된다.
따라서, SMD 조립 공정에서는 단위 작업들의 오류를 빠르게 검출하고 장애가 발생한 단위 작업을 빠르게 복구하는 것이 중요하다.
대한민국 공개특허 제10-2019-0081594호(2019.07.09 공개)에 자동화 생산 라인에서 발생되는 음향 데이터를 딥러닝 모델인 오토 인코더(Auto-Encoder) 모델을 이용하여 분석하여 자동화 생산 라인의 작업 오류를 예측하는 방법이 개시되어 있다.
SMD 조립 공정의 SMD 조립 설비가 다양한 제품을 조립하는 경우 다양한 조립 환경에 매우 빠르게 적응할 수 있는 오류 검출 모델이 필요하나, 오토 인코더를 이용하는 모델은 학습에 사용되는 매개 변수가 많아 학습에 소요되는 시간이 다소 긴 경향이 있다. 따라서, SMD 조립 설비가 조립하는 대상 제품을 자주 변경하고 새로운 대상 제품으로 변경하는데 필요한 준비 시간보다 학습 시간이 긴 경우에는 실제 조립 공정에 적용하기가 곤란할 수 있다.
제10-2019-0081594호
본 발명은 SMD 조립 장비를 동작시키는 프로그램 코드로부터 SMD 조립 장비의 작동음을 예측하여 생성하고, 생성된 작동음을 이용하여 딥 러닝 모델을 사전 학습시켜 새로운 SMD 부품에 대하여도 빠르게 SMD 조립 장비의 작동 오류를 검출할 수 있는 장치를 제공하는 것을 목적으로 한다.
본 발명의 일 양상에 따르면, 딥러닝 기반으로 표면 실장 부품(Surface mounted device, SMD) 조립 장비에서 발생되는 동작음을 이용하여 동작 오류를 검출하는 동작 오류 검출 장치는 동작음 학습부와, 동작음 예측부와, 동작 오류 검출부를 포함한다.
동작음 학습부는 SMD 조립 장비의 기본 동작음과 SMD 조립 장비가 기본 동작을 수행하게 하는 프로그램 코드를 매핑하여 학습하고, 동작음 예측부는 SMD 조립 장비가 SMD를 조립하도록 사전 설정된 프로그램 코드로부터 조립 공정에서 발생할 동작음을 예측하여 생성하며, 동작 오류 검출부는 생성된 동작음으로 딥러닝 모델을 학습시키고, 학습된 딥러닝 모델을 통해 SMD 조립 장비가 SMD를 조립하며 발생시키는 실제 동작음으로부터 동작 오류를 검출한다.
동작 오류 검출부의 딥러닝 모델은 생성된 동작음을 입력 파형 데이터로 입력 받아 출력 파형 데이터를 복원하며, 입력 파형 데이터와 출력 파형 데이터의 오차를 최소화하도록 학습하는 순환 신경망(Recurrent Neural Network, RNN) 인코더-디코더 모델일 수 있다.
동작 오류 검출부의 딥러닝 모델은 입력 파형 데이터를 MFCC(Mel-Frequency Cepstral Coefficients) 기법 또는 STFT(Short-Time Fourier Transform) 기법을 적용하여 특징을 추출하는 전처리 후 모델의 입력으로 사용할 수 있다.
본 발명에 의하면 SMD 조립 장비를 동작시키는 프로그램 코드로부터 SMD 조립 장비의 작동음을 예측하여 생성할 수 있고, 생성된 작동음을 이용하여 딥 러닝 모델을 사전 학습시킬 수 있어 새로운 SMD 부품에 대하여도 빠르게 SMD 조립 장비의 작동 오류를 검출할 수 있다.
도 1은 본 발명의 일 양상에 따르는 딥러닝 기반 SMD 조립 장비의 동작 오류를 검출하는 동작 오류 검출 장치의 블록 구성도이다.
도 2는 일 양상에 따른 본 발명의 딥러닝 모델의 예시이다.
도 3은 일 양상에 따른 동작 오류 검출 장치의 동작 오류 검출을 위한 학습 절차를 도시한 절차도이다.
전술한, 그리고 추가적인 양상들은 첨부된 도면을 참조하여 설명하는 실시 예들을 통해 구체화된다. 각 실시 예들의 구성 요소들은 다른 언급이나 상호간에 모순이 없는 한 실시 예 내에서 다양한 조합이 가능한 것으로 이해된다. 블록도의 각 블록은 어느 경우에 있어서 물리적인 부품을 표현할 수 있으나 또 다른 경우에 있어서 하나의 물리적인 부품의 기능의 일부 혹은 복수의 물리적인 부품에 걸친 기능의 논리적인 표현일 수 있다. 때로는 블록 혹은 그 일부의 실체는 프로그램 명령어들의 집합(set)일 수 있다. 이러한 블록들은 전부 혹은 일부가 하드웨어, 소프트웨어 혹은 이들의 결합에 의해 구현될 수 있다.
도 1은 본 발명의 일 양상에 따르는 딥러닝 기반 SMD 조립 장비의 동작 오류를 검출하는 동작 오류 검출 장치의 블록 구성을 도시하고 있다. 본 발명의 일 양상에 따르면, 딥러닝 기반으로 표면 실장 부품(Surface mounted device, SMD) 조립 장비에서 발생되는 동작음을 이용하여 동작 오류를 검출하는 동작 오류 검출 장치(10)는 동작음 학습부(100)와, 동작음 예측부(120)와, 동작 오류 검출부(140)를 포함한다.
SMD(Surface Mounted Device)는 PCB(Printed Circuit Board) 위에 작은 전자부품들이 부착된 장치이다. SMD 조립 공정은 자동화된 생산 라인에서 작동하는 SMD 조립 장비를 통해 다품종의 SMD를 소량으로 생산하는 공정이다. SMD 조립 공정에서 하나의 기기에서 장애가 발생하여 멈추게 되면 해당 기기뿐만 아니라 자동화 생산 라인 전체가 영향을 받아 SMD 조립을 멈추게 된다. 따라서, SMD 조립 공정에서는 오류를 빠르게 검출할 수 있어야 한다.
동작 오류 검출 장치(10)는 딥러닝 기반으로 자동화된 SMD 조립 공정에서 발생하는 SMD 조립 장비의 동작 오류를 검출하는 장치로 SMD 조립 공정에서 발생되는 소리 즉, 음향 데이터를 이용하여 동작 오류를 검출하는 장치이다. SMD 조립 공정은 PCB 입고, 부품 취득, 부품 부착, PCB 출고 등을 포함하는 단위 작업들이 사전에 설정된 프로그램에 따라 반복되는 공정이다. SMD 조립 공정에 사용되는 SMD 조립 장비들은 사전에 설정된 프로그램 순서에 따라 작동하므로 오류나 부품 부족에 의한 정지 등의 예외적인 상황을 제외하면 항상 일정하게 동작한다. 따라서, SMD 조립 장비의 동작 소리로부터 오류를 검출할 수 있으며, 동작 소리로부터 오류를 검출하는 동작 오류 검출 장치(10)들이 딥러닝 기술을 기초로 연구되고 있다. SMD 조립 공정은 다품종의 SMD를 소량으로 생산하는 공정이므로 생산하는 대상 제품의 전환이 빠르게 발생한다. 따라서, 딥 러닝 기술에 기초한 동작 오류 검출 장치(10)들이 새로운 제품의 생산 공정을 빠르게 학습할 필요가 있으며, 빠른 학습을 위하여 음향 데이터를 그대로 사용하지 않고 전처리하여 학습에 걸리는 시간을 줄이는 방향으로 연구되고 있다.
본 발명의 일 양상에 따르는 동작 오류 검출 장치(10)는 프로세서, 메모리, 입출력 장치 등을 포함하는 PC, 서버 등의 컴퓨팅 장치인 하드웨어와 해당 장치 실행되는 프로그램 명령어 세트로 구성될 수 있다.
동작음 학습부(100)는 SMD 조립 장비의 기본 동작음과 SMD 조립 장비가 기본 동작을 수행하게 하는 프로그램 코드를 매핑하여 학습한다. SMD 조립 장비의 동작은 SMD를 조립하기 위해 장비를 동작시키는 제어 명령 즉, 프로그램에 기반한다. 즉, PCB 입고, 부품 취득, 부품 부착, PCB 출고 등을 포함하는 기본 동작 요소들은 기본적으로 사전에 설정된 프로그램의 순서에 따라 동작한다. 따라서, SMD 조립 장비의 기본 동작 요소들은 동작 오류나 부품 부족에 의한 정지 등을 제외하면 일정하게 동작하며 같은 동작은 동일한 동작음을 발생시킨다. SMD 조립 장비를 동작시키는 프로그램에 따라 SMD 조립 장비가 동작하므로 프로그램 코드에 따라 SMD 조립 장비의 동작이 정해지며 같은 동작은 동일한 동작음을 발생시키게 되어 프로그램 코드와 SMD 조립 장비의 조립음을 매핑할 수 있다. 도 1에 도시된 것과 같이 동작음 학습부(100)는 SMD 조립 장비의 기본 동작에 대한 동작음과 해당 기본 동작에 대한 프로그램 코드를 입력 받아 매핑하여 학습한다. 동작음 학습부(100)는 기본 동작음과 프로그램 코드를 매핑한 매핑 데이터를 출력한다.
동작음 학습부(100)는 메모리에 로드되어 동작 오류 검출 장치(10)의 프로세서에 실행되는 프로그램 명령어 세트로 구현될 수 있다.
동작음 예측부(120)는 SMD 조립 장비가 SMD를 조립하도록 사전 설정된 프로그램 코드로부터 조립 공정에서 발생할 동작음을 예측하여 생성한다. 동작 오류 검출 장치(10)는 SMD 조립 장비가 새로운 SMD 제품을 조립할 때마다 매번 조립을 위한 SMD 조립 장비의 동작음을 취득하여 학습한 후 동작 오류를 검출하는 방식 대신 SMD 제품을 조립하는 순서가 저장된 프로그램 코드로부터 SMD 조립 장비가 해당 SMD 제품을 조립하며 발생시킬 동작음을 예측하여 합성하고, 이 합성된 동작음을 실제 동작음처럼 학습하여 SMD 조립 장비의 동작 오류를 검출한다. 따라서, SMD 조립 장비가 조립해야 하는 SMD가 빈번히 바뀌더라도 조립할 새 SMD에 대하여 실제 조립 공정 전이라도 조립할 때 발생될 동작음을 미리 프로그램 코드로부터 합성하여 학습 데이터를 생성할 수 있으므로, 조립할 제품 전환을 위한 대기시간보다 학습시간이 길게 걸려도 문제되지 않는다. 또한, 종래에는 동작 오류 검출 장치(10)는 조립할 SMD 제품 별로 따로 조립 동작음을 취득하여 학습하였으나 본 발명의 동작 오류 검출 장치(10)는 프로그램 코드로부터 SMD 조립 장비의 동작음 합성할 수 있으므로 기본 동작음을 한번 학습(동작음 학습부(100)를 통해 동작음과 프로그램 코드를 매핑하여 학습)하면 SMD 제품 별로 조립 동작음을 취득할 필요가 없어지게 된다.
발명의 양상에 따라서는 동작음 예측부(120)는 프로그램 코드와 매핑된 기본 동작음을 변형할 수 있다. 예를 들어, 부품을 취득하는 기본 동작에 대하여 부품의 종류가 달라 SMD 조립 장비의 특정 기구(예, 로봇 팔 등)가 부품을 취득하기 위해 해당 기구가 움직이는 시간이 길어지는 경우 이미 학습된 동작음과 프로그램 코드 매핑 데이터를 이용하여 늘어난 시간만큼 동작음을 길게 합성할 수 있다. 또 다른 양상으로는 같은 기본 동작이라 하더라도 부품을 취득하기 위해 기구가 움직이는 시간이 다르면 다른 동작으로 인식하고 동작음과 해당 코드를 별도로 학습할 수도 있다(예, 동일한 기구가 부품 취득을 위한 이동하는 시간이 2초와 3초인 두 동작이 있을 때 이를 별개의 기본 동작으로 학습할 수 있다.).
동작음 예측부(120)는 동작음 학습부(100)로부터 SMD 조립 장비들의 기본 동작음과 해당 동작에 대한 프로그램 코드가 매핑된 데이터를 수신하여 저장하고, SMD 조립을 위한 장비 동작에 대한 프로그램 코드를 입력 받고 저장된 매핑 데이터를 이용하여 SMD 조립 장비의 동작을 예측하여 동작음을 합성하여 출력한다. 이때 출력되는 합성된 동작음은 딥러닝 기반의 동작 오류 검출 모델의 학습 데이터로 사용된다.
동작 오류 검출부(140)는 딥러닝 모델(142)을 포함하고, 동작 오류 검출부(140)는 생성된 동작음을 학습 데이터로 사용하여 딥러닝 모델(142)을 학습시킨다.
동작 오류 검출부(140)의 딥러닝 모델(142)은 제한이 없다. 지도학습 모델에 기반할 수도 있고, 비지도학습 모델에 기반할 수도 있다.
지도학습 모델에 기반한 것으로 SVM(Support Vector Machine) 또는 CNN(Convolution Neural Network)과 같은 분류 모델을 이용하여 음향 기반으로 오류를 검출하는 모델이 있다. 이들 분류 모델은 잘 알려진 클래스를 분류할 때 높은 성능을 보여준다. 다만, SVM 및 CNN과 같은 지도학습 모델을 학습시키기 위해서는 모든 종류의 정상 및 비정상 데이터를 수집해야 하는 문제가 있다. 따라서, 동작음 예측부(120)가 비정상 상태에 대한 조립 동작음을 생성하거나 비정상 상태의 조립 동작음을 수집하여야 한다. 다만, 비정상 상태 데이터 수집은 실질적으로 불가능할 수 있는 문제가 있다. 이럴 경우 SVM 및 CNN 모델은 새로운 정상 상태의 데이터에 대하여 비정상 상태로 분류할 수 있으며, 그 반대의 경우로 새로운 비정상 상태를 정상 상태로 분류할 수 있어, 새로운 데이터에 대하여 분류 오류를 일으킬 가능성이 있다.
비지도학습 모델에 기반한 것으로 오토인코더(Auto-Encoder) 또는 RNN(Recurrent Neural Network) 인코더-디코더 모델을 이용하여 음향 기반으로 오류를 검출하는 모델이 있다. 지도학습 모델과는 달리 비지도학습 모델은 클래스 구분 없이 정상 상태 데이터만 사용하여 학습할 수 있다. 비지도학습 모델의 경우에도 조립 공정을 통해 정상 상태 데이터를 수집할 수 있기 때문에 조립 공정을 거치지 않은 특정 SMD에 대한 정상 상태 데이터를 수집하는 것은 불가능하다. 그러나 본 발명의 동작 오류 검출 장치(10)는 동작음 예측부(120)를 통해 SMD 조립 공정에 대한 프로그램 코드로부터 SMD 조립 장비들의 동작음을 합성할 수 있어 조립 공정을 실제로 거치지 않고도 정상 상태 데이터를 수집할 수 있다. 따라서, 비지도학습 모델의 딥러닝 모델을 적용하는 것이 바람직하다.
동작 오류 검출부(140)는 동작음 예측부(120)가 합성한 SMD 조립 장비의 동작음으로 사전 학습된 딥러닝 모델(142)을 통해 SMD 조립 장비가 SMD를 조립하며 발생시키는 실제 동작음으로부터 동작 오류를 검출한다. 동작 오류 검출부(140)는 새로 조립할 SMD에 대하여도 딥러닝 모델(142)을 사전 학습이 가능하므로 학습에 소요되는 시간에 영향 받지 않게 된다. 동작 오류 검출부(140)의 딥러닝 모델(142)이 RNN 인코더-디코더 모델인 경우 입력된 SMD 조립 장비의 동작음과 RNN 인코더-디코더를 거쳐 복원된 출력 동작음과의 오차를 이용하여 SMD 조립 장비의 동작 오류를 검출한다.
도 2는 일 양상에 따른 본 발명의 딥러닝 모델의 예시를 도시하고 있다. 발명의 일 양상에 따르면, 동작 오류 검출부(140)의 딥러닝 모델(142)은 생성된 동작음을 입력 파형 데이터로 입력 받아 출력 파형 데이터를 복원하며, 입력 파형 데이터와 출력 파형 데이터의 오차를 최소화하도록 학습하는 순환 신경망(Recurrent Neural Network, RNN) 인코더-디코더 모델일 수 있다.
도 2를 참조하여 설명하면, 학습 단계에서 입력 벡터 x i 는 SMD 조립 공정에서 발생되는 SMD 조립 장비들의 동작음의 일정 구간에 대한 주파수 성분 대신 동작음 예측부(120)가 프로그램 코드로부터 예측하여 합성한 동작음의 일정 구간에 대한 주파수 성분이다. 중간 벡터(latent vector) z i 는 인코더의 출력으로 압축된 공간에서 동작음의 특성을 표현한다. 디코더는 중간 벡터 시퀀스를 입력 데이터로 하여 출력 벡터 y i 를 생성하며, y i 와 x i 의 차이를 최소화하는 방향으로 학습된다. 오류를 검출하는 단계에서는 입력 벡터 x i 는 SMD 조립 공정에서 발생되는 SMD 조립 장비들의 동작음의 일정 구간에 대한 주파수 성분이다.
도 2는 기본적인 RNN 셀 대신 BLSTM (Bidirectional LSTM) 셀을 사용하는 BLSTM 기반 인코더-디코더 모델을 도시하고 있다. BLSTM은 순방향 LSTM과 역방향 LSTM으로 구성된다. 다른 예로 BLSTM 대신 LSTM을 사용하여 구성될 수도 있다.
동작 오류 검출부(140)의 딥러닝 모델(142)은 입력 파형 데이터를 MFCC(Mel-Frequency Cepstral Coefficients) 기법 또는 STFT(Short-Time Fourier Transform) 기법을 적용하여 특징을 추출하는 전처리 후 모델의 입력으로 사용할 수 있다. 입력 파형 데이터를 그대로 사용할 수 있지만 이럴 경우 학습해야 할 파라미터의 수가 많아지는 문제가 있다.
딥러닝 모델(142)은 MFCC 특징 추출 기법을 사용하여 입력 파형 데이터를 처리할 수 있다. 이러한 MFCC 특징 추출 기법은 스피치 인식(speech recognition)에 매우 유용한데, 이는 스펙트럼으로부터 주파수 정보를 추출하여 데이터의 차원(dimension)을 감소시켜, 계산양 및 훈련 시간을 감소시킬 수 있다.
또한 딥러닝 모델(142)은 입력 파형 데이터를 소정의 길이 또는 설정된 출력 데이터의 길이와 소정의 오버랩 비율로 분할할 수 있다. 딥러닝 모델(142)은 소정의 길이 또는 설정된 출력 데이터 길이, 오버랩 비율 및 분할된 파형 데이터의 길이를 기준으로 윈도우 사이즈를 결정하고, 결정된 윈도우 사이즈를 갖는 윈도우로 파형 데이터를 윈도윙한다. 이때, 적용되는 윈도우 함수는 해닝 윈도우 함수일 수 있다. 딥러닝 모델(142)은 윈도윙된 파형 데이터를 STFT 변환, 즉 시간-주파수 도메인으로 변환하여 특징을 추출할 수 있다.
또한, 딥러닝 모델(142)은 STFT 변환 된 스펙트럼을 이용하여 MFCC를 구할 수도 있다.
도 3은 일 양상에 따른 동작 오류 검출 장치의 동작 오류 검출을 위한 학습 절차를 도시한 절차도이다. 도 3을 참조하여 설명하면, 동작음 학습부(100)는 SMD 조립 장비의 기본 동작에 대한 동작음과 해당 기본 동작에 대한 프로그램 코드를 입력 받아 매핑하여 학습한다(S1000). 동작음 학습부(100)는 기본 동작음과 프로그램 코드를 매핑한 매핑 데이터를 출력한다. 동작음 예측부(120)는 동작음 학습부(100)로부터 SMD 조립 장비들의 기본 동작음과 해당 동작에 대한 프로그램 코드가 매핑된 데이터를 수신하여 저장하고, 새 SMD 제품 조립에 대한 SMD 조립 장비 구동 프로그램 코드를 입력 받고 저장된 매핑 데이터를 이용하여 SMD 조립 장비의 동작을 예측하여 동작음을 합성하여 출력한다(S1020). 동작 오류 검출부(140)는 합성된 동작음을 학습 데이터로 사용하여 딥러닝 모델(142)을 학습한다(S1040).
이상에서 본 발명을 첨부된 도면을 참조하는 실시 예들을 통해 설명하였지만 이에 한정되는 것은 아니며, 이들로부터 당업자라면 자명하게 도출할 수 있는 다양한 변형 예들을 포괄하도록 해석되어야 한다. 특허청구범위는 이러한 변형 예들을 포괄하도록 의도되었다.

Claims (3)

  1. 딥러닝 기반으로 표면 실장 부품(Surface mounted device, SMD) 조립 장비에서 발생되는 동작음을 이용하여 동작 오류를 검출하는 동작 오류 검출 장치에 있어서,
    SMD 조립 장비의 기본 동작음과 SMD 조립 장비가 기본 동작을 수행하게 하는 프로그램 코드를 매핑하여 학습하는 동작음 학습부;
    SMD 조립 장비가 SMD를 조립하도록 사전 설정된 프로그램 코드로부터 조립 공정에서 발생할 동작음을 예측하여 생성하는 동작음 예측부; 및
    생성된 동작음으로 딥러닝 모델을 학습시키고, 학습된 딥러닝 모델을 통해 SMD 조립 장비가 SMD를 조립하며 발생시키는 실제 동작음으로부터 동작 오류를 검출하는 동작 오류 검출부;
    를 포함하는 SMD 조립 장비 동작 오류 검출 장치.
  2. 제 1 항에 있어서, 딥러닝 모델은
    생성된 동작음을 입력 파형 데이터로 입력 받아 출력 파형 데이터를 복원하며, 입력 파형 데이터와 출력 파형 데이터의 오차를 최소화하도록 학습하는 순환 신경망(Recurrent Neural Network, RNN) 인코더-디코더 모델인 SMD 조립 장비 동작 오류 검출 장치.
  3. 제 2 항에 있어서, 딥러닝 모델은
    입력 파형 데이터를 MFCC(Mel-Frequency Cepstral Coefficients) 기법 또는 STFT(Short-Time Fourier Transform) 기법을 적용하여 특징을 추출하는 전처리 후 모델의 입력으로 사용하는 SMD 조립 장비 동작 오류 검출 장치.
KR1020200047590A 2020-04-20 2020-04-20 표면 실장 부품 조립 장비의 작동 오류 검출 장치 KR102344426B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200047590A KR102344426B1 (ko) 2020-04-20 2020-04-20 표면 실장 부품 조립 장비의 작동 오류 검출 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200047590A KR102344426B1 (ko) 2020-04-20 2020-04-20 표면 실장 부품 조립 장비의 작동 오류 검출 장치

Publications (2)

Publication Number Publication Date
KR20210129500A true KR20210129500A (ko) 2021-10-28
KR102344426B1 KR102344426B1 (ko) 2021-12-27

Family

ID=78232728

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200047590A KR102344426B1 (ko) 2020-04-20 2020-04-20 표면 실장 부품 조립 장비의 작동 오류 검출 장치

Country Status (1)

Country Link
KR (1) KR102344426B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024063527A1 (ko) * 2022-09-20 2024-03-28 주식회사 고영테크놀러지 기판 처리 공정을 제어하는 장치, 방법 및 기록 매체

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060005587A (ko) * 2004-07-13 2006-01-18 학교법인 울산공업학원 선형예측코딩을 이용한 기계장비의 고장진단 시스템 및 방법
JP2017090606A (ja) * 2015-11-09 2017-05-25 日本電信電話株式会社 異常音検出装置、異常音検出学習装置、これらの方法及びプログラム
KR101996489B1 (ko) * 2017-12-28 2019-07-04 한국외국어대학교 연구산학협력단 자동화 생산 라인의 작업 오류 검출 장치
KR20190081594A (ko) 2017-12-29 2019-07-09 한국외국어대학교 연구산학협력단 자동화 생산 라인의 작업 오류 검출 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060005587A (ko) * 2004-07-13 2006-01-18 학교법인 울산공업학원 선형예측코딩을 이용한 기계장비의 고장진단 시스템 및 방법
JP2017090606A (ja) * 2015-11-09 2017-05-25 日本電信電話株式会社 異常音検出装置、異常音検出学習装置、これらの方法及びプログラム
KR101996489B1 (ko) * 2017-12-28 2019-07-04 한국외국어대학교 연구산학협력단 자동화 생산 라인의 작업 오류 검출 장치
KR20190081594A (ko) 2017-12-29 2019-07-09 한국외국어대학교 연구산학협력단 자동화 생산 라인의 작업 오류 검출 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024063527A1 (ko) * 2022-09-20 2024-03-28 주식회사 고영테크놀러지 기판 처리 공정을 제어하는 장치, 방법 및 기록 매체

Also Published As

Publication number Publication date
KR102344426B1 (ko) 2021-12-27

Similar Documents

Publication Publication Date Title
Cao et al. Excavation equipment recognition based on novel acoustic statistical features
US20180348728A1 (en) Process analysis apparatus, process analysis method, and process analysis program
Bansal et al. A real-time predictive maintenance system for machine systems
JP7335293B2 (ja) ネットワークの訓練方法、装置、電子機器、記憶媒体およびコンピュータプログラム
CN111539514A (zh) 用于生成神经网络的结构的方法和装置
JP2021119381A (ja) 音声スペクトル生成モデルの学習方法、装置、電子機器及びコンピュータプログラム製品
KR101996489B1 (ko) 자동화 생산 라인의 작업 오류 검출 장치
KR20180003123A (ko) 메모리 셀 유닛 및 메모리 셀 유닛들을 포함하는 순환 신경망
JP2018065221A (ja) 機械学習により外力の検出精度を向上させた人協調ロボットシステム
JP2008517386A (ja) 異常検出の方法およびシステム
EP3759558B1 (en) Intelligent audio analytic apparatus (iaaa) and method for space system
EP3759789B1 (en) System and method for audio and vibration based power distribution equipment condition monitoring
KR102344426B1 (ko) 표면 실장 부품 조립 장비의 작동 오류 검출 장치
KR102057081B1 (ko) 자동화 생산 라인의 작업 오류 검출 장치 및 방법
KR20220007051A (ko) 로봇과 인간 간의 통신에서의 노이즈 감소 기법
US20230298609A1 (en) Generalized Automatic Speech Recognition for Joint Acoustic Echo Cancellation, Speech Enhancement, and Voice Separation
EP4295359A1 (en) System and method for data augmentation and speech processing in dynamic acoustic environments
KR102344424B1 (ko) 표면 실장 장치 조립 공정의 작업 오류 검출을 위한 데이터 전처리 방법
JP7004866B2 (ja) マルチレベル・パターン認識に基づく複雑な動作システムにおけるコンディションの評価のためのシステム及び方法
US20220044049A1 (en) Method, apparatus, device and storage medium for determining displayed recognized text
US12112741B2 (en) System and method for data augmentation and speech processing in dynamic acoustic environments
Bansal et al. A real-time predictive maintenance system for machine systems-An alternative to expensive motion sensing technology
Cho CNN-based Autoencoder and Post-Training Quantization for On-Device Anomaly Detection of Cartesian Coordinate Robots
KR20240135273A (ko) 시간-주파수 특징을 활용한 생산적 적대 오토인코더 기반 이상탐지 장치 및 방법
Bhavani et al. Speech Recognition using the NN

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant