KR102497585B1 - 인공지능을 이용한 oht 이상감지 시스템 - Google Patents

인공지능을 이용한 oht 이상감지 시스템 Download PDF

Info

Publication number
KR102497585B1
KR102497585B1 KR1020210098244A KR20210098244A KR102497585B1 KR 102497585 B1 KR102497585 B1 KR 102497585B1 KR 1020210098244 A KR1020210098244 A KR 1020210098244A KR 20210098244 A KR20210098244 A KR 20210098244A KR 102497585 B1 KR102497585 B1 KR 102497585B1
Authority
KR
South Korea
Prior art keywords
data
sensor data
oht
unit
sensor
Prior art date
Application number
KR1020210098244A
Other languages
English (en)
Other versions
KR20230016798A (ko
Inventor
고영남
성태진
강재우
Original Assignee
주식회사 뉴로다임
(주)플루토솔루션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 뉴로다임, (주)플루토솔루션 filed Critical 주식회사 뉴로다임
Priority to KR1020210098244A priority Critical patent/KR102497585B1/ko
Publication of KR20230016798A publication Critical patent/KR20230016798A/ko
Application granted granted Critical
Publication of KR102497585B1 publication Critical patent/KR102497585B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0243—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults model based detection method, e.g. first-principles knowledge model
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0221—Preprocessing measurements, e.g. data collection rate adjustment; Standardization of measurements; Time series or signal analysis, e.g. frequency analysis or wavelets; Trustworthiness of measurements; Indexes therefor; Measurements using easily measured parameters to estimate parameters difficult to measure; Virtual sensor creation; De-noising; Sensor fusion; Unconventional preprocessing inherently present in specific fault detection methods like PCA-based methods
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0224—Process history based detection method, e.g. whereby history implies the availability of large amounts of data
    • G05B23/0227—Qualitative history assessment, whereby the type of data acted upon, e.g. waveforms, images or patterns, is not relevant, e.g. rule based assessment; if-then decisions
    • G05B23/0235—Qualitative history assessment, whereby the type of data acted upon, e.g. waveforms, images or patterns, is not relevant, e.g. rule based assessment; if-then decisions based on a comparison with predetermined threshold or range, e.g. "classical methods", carried out during normal operation; threshold adaptation or choice; when or how to compare with the threshold
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
    • G05B23/0275—Fault isolation and identification, e.g. classify fault; estimate cause or root of failure
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/67—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere
    • H01L21/67005—Apparatus not specifically provided for elsewhere
    • H01L21/67242—Apparatus for monitoring, sorting or marking
    • H01L21/67253—Process monitoring, e.g. flow or thickness monitoring
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/67—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere
    • H01L21/67005—Apparatus not specifically provided for elsewhere
    • H01L21/67242—Apparatus for monitoring, sorting or marking
    • H01L21/67288—Monitoring of warpage, curvature, damage, defects or the like
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L21/00—Processes or apparatus adapted for the manufacture or treatment of semiconductor or solid state devices or of parts thereof
    • H01L21/67—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere
    • H01L21/677—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere for conveying, e.g. between different workstations
    • H01L21/67703—Apparatus specially adapted for handling semiconductor or electric solid state devices during manufacture or treatment thereof; Apparatus specially adapted for handling wafers during manufacture or treatment of semiconductor or electric solid state devices or components ; Apparatus not specifically provided for elsewhere for conveying, e.g. between different workstations between different workstations
    • H01L21/67733—Overhead conveying

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Manufacturing & Machinery (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Power Engineering (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

본 발명은, OHT(Overhead Hoist Transfer)에 설치된 복수개의 구동모터들과 연결된 센서들에 의하여 센서데이타를 측정하는 센서부와; 센서데이타들을 수집 및 분석하여 센서데이타들을 학습에 적합하도록 가공하는 전처리부와; 전처리부에 의하여 가공된 센서데이타들을 비지도학습모델과 지도학습모델의 조합을 기반으로 학습하여 센서데이타의 이상유무를 모니터링하고, OHT의 이상유무를 예측하는 인공지능모듈;을 포함하는 것을 특징으로 하는 인공지능을 이용한 OHT 이상감지 시스템을 제공할 수 있다. 상기한 바에 따르면 인공지능 학습모델을 제공하여 OHT의 이상유무를 효과적으로 모니터링 및 예측 관리할 수 있어 OHT의 작동 연속성을 확보할 수 있는 효과를 제공할 수 있다.

Description

인공지능을 이용한 OHT 이상감지 시스템 {OHT anomaly detection system using artificial intelligence}
본 발명은 인공지능을 이용한 OHT 이상감지 시스템에 관한 것으로서, 보다 상세하게는 인공지능을 기반으로 하여 OHT의 이상유무를 모니터링하고 예측 관리할 수 있는 인공지능을 이용한 OHT 이상감지 시스템에 관한 것이다.
일반적으로 반도체 생산 공정은 인력에 의한 작업을 최소화함으로써 반도체 소재의 오염과 훼손을 방지하고 수율을 극대화하는 기술들이 집약되어 있으며, 이러한 기술 중 반도체 웨이퍼가 장착된 웨이퍼 캐리어를 각각의 공정장비로 운반해주기 위하여 OHT(Overhead Hoist Transfer)를 주로 이용하고 있다.
이러한 OHT는 도 1에 도시된 바와 같이 물류 자동화 서버의 명령에 따라 생산라인의 천정에 장착된 레일을 따라 지정된 위치로 이동하고, 공정이 필요한 웨이퍼 캐리어를 공정 장비의 포트에 로딩하거나, 공정이 완료된 웨이퍼 캐리어를 공정 장비로부터 언로딩하여 다음 공정 단계로 운반하는 기능을 한다.
한편, 이러한 반도체 제조 공정은 기기상의 결함 등으로 인해 공정이 중단되거나 사고가 발생하게 되면 생산성이 급격하게 저하될 뿐만 아니라 중단 후 재가동하는 것이 매우 어렵기 때문에 공정의 연속성이 대단이 중요하며 보장되어야 한다.
그런데, 종래의 OHT 시스템은 모터를 포함하는 주요구성에 대한 작동 감시 및 이들의 제어에 대해서만 중점적으로 관리할 수 있도록 되어 있기 때문에 공정 중단 시 이를 신속하게 감지하고 대응하는 것은 적합할지 모르나 공정 중단을 미리 예측하여 공정 중단을 원천적으로 방지할 수는 없어 반도체 장비와 같이 공정의 연속성이 매우 중요하고 꼭 확보되어야 하는 장비의 경우에는 한계가 있었다.
대한민국 등록특허 제10-1539316호
본 발명은 인공지능을 이용하여 OHT 시스템의 이상여부를 감지 및 이를 미리 예측하여 OHT 시스템의 작동 연속성을 확보할 수 있다.
또한, 본 발명은 OHT의 구동모터에 설치된 센서들로부터 출력되는 센서데이타들의 특성에 대응하여 학습에 적합한 형태로 가공하고 센서데이타들의 효과적인 분석 및 학습이 가능한 인공지능 학습모델을 제공하여 OHT의 이상유무를 효과적으로 모니터링 및 예측 관리할 수 있는 인공지능을 이용한 OHT 이상감지 시스템을 제공하는 것을 목적으로 한다.
본 발명은, OHT(Overhead Hoist Transfer)에 설치된 복수개의 구동모터들과 연결된 센서들에 의하여 센서데이타를 측정하는 센서부와; 상기 센서데이타들을 수집 및 분석하여 상기 센서데이타들을 학습에 적합하도록 가공하는 전처리부와; 상기 전처리부에 의하여 가공된 상기 센서데이타들을 비지도학습모델과 지도학습모델의 조합을 기반으로 학습하여 상기 센서데이타의 이상유무를 모니터링하고, 상기 OHT의 이상유무를 예측하는 인공지능모듈;을 포함하는 것을 특징으로 하는 인공지능을 이용한 OHT 이상감지 시스템을 제공할 수 있다.
여기서, 상기 전처리부는, 상기 센서데이타들을 수집하고 수집된 센서데이타들을 스케일링 또는 샘플링하는 수집분석부와, 샘플링된 상기 센서데이타들을 설정된 정상 또는 비정상 조건에 따라 태깅하는 태깅부와, 태깅된 상기 센서데이타들을 상기 인공지능모듈의 학습에 적합한 데이타로 정제 및 변환하는 데이타가공부를 포함할 수 있다.
또한, 상기 수집분석부는, 상기 센서데이타들 중 상기 구동모터의 토크와 속도 데이타를 수집할 수 있다.
또한, 상기 데이타가공부는, 상기 센서데이타들에서 데이타오류를 제거 또는 수정하여 데이타의 적합성을 유지하도록 가공하는 오류검토부와, 상기 센서데이타들을 설정조건에 따라 샘플링하는 샘플링부와, 상기 센서데이타들을 노멀라이징하는 노멀라이징부와, 상기 센서데이타들을 상기 인공지능모듈의 학습에 적합한 형태로 변환하는 데이타변환부를 포함할 수 있다.
또한, 상기 수집분석부는, 해당 각 센서에 대하여 데이타범위 분석모델에 의하여 계산된 최대값 및 최소값과, 측정된 상기 센서데이타의 최대값과 최대값을 비교 분석하여 설정 최대값과 최소값을 확정할 수 있다.
상기 노멀라이징부는, 획득된 상기 센서의 최대값과 최대값의 경험치와, 측정된 상기 센서데이타들의 최대값과 최소값을 토대로 상기 센서데이타들을 노멀라이징할 수 있다.
또한, 상기 데이타변환부는, 상기 센서데이타들을 2차원형태의 테이터로 변환한 후 json 파일 형태로 변경할 수 있다.
한편, 상기 인공지능모듈은, 상기 전처리부에 의하여 가공된 상기 센서데이타를 상기 비지도학습모델을 기반으로 상기 센서데이타의 이상유무를 모니터링하는 이상치 검출기와, 상기 이상치 검출기로부터 출력된 상기 센서데이타를 상기 지도학습모델을 기반으로 상기 센서데이타를 분류하여 이상 센서를 판별하고 상기 OHT의 이상유무를 예측하는 분류기를 포함할 수 있다.
여기서, 상기 이상치 검출기는, 다층의 히든레이어를 갖는 오토인코더 형태를 기반으로 1DConv와 LSTM의 조합으로 이루어진 비지도학습모델을 이용하여 상기 센서데이타의 이상유무를 모니터링할 수 있다.
또한, 상기 분류기는, 딥러닝 또는 SVM을 이용하여 상기 센서데이타를 분류할 수 있다.
본 발명에 따른 인공지능을 이용한 OHT 이상감지 시스템은, 전처리부를 통해 OHT의 모터에 설치된 센서들로부터 출력되는 센서데이타들의 특성에 대응하여 학습에 적합한 형태로 가공함으로써 인공지능 모듈의 학습효과를 보다 향상시킬 수 있으며, OHT 모터의 센서데이타들의 효과적인 분석 및 학습이 가능한 인공지능 학습모델을 제공하여 OHT의 이상유무를 효과적으로 모니터링 및 예측 관리할 수 있어 OHT의 작동 연속성을 확보할 수 있는 효과를 제공할 수 있다.
또한, 본 발명에 따른 인공지능을 이용한 OHT 이상감지 시스템은, Json 파일을 사용하여 프로그램의 수정 없이 다양한 데이타로 다양한 모델 실험이 가능하고, 중간 단계의 데이타 생성으로 훈련 효율 향상 및 대규모 데이타 훈련이 가능하다.
또한, 본 발명에 따른 인공지능을 이용한 OHT 이상감지 시스템은, 일단계 비지도학습을 통한 센서 이상 여부 판단과 이상감지를 실행하고, 이 결과를 가지고 2단계에서 지도학습을 하여 정상/이상 구분 및 예측하는 분류기를 포함하여, 보다 정밀한 이상감지를 할 수 있으며 OHT의 이상유무 예측의 신뢰성을 높여 OHT의 작동 연속성을 보장할 수 있는 효과를 제공할 수 있다.
도 1은 일반적인 OHT를 나타내는 도면이다.
도 2는 본 발명의 실시예에 따른 인공지능을 이용한 OHT 이상감지 시스템의 구성을 나타내는 블록도이다.
도 3은 본 발명의 실시예에 따른 인공지능을 이용한 OHT 이상감지 시스템에서 전처리부의 세부구성을 나타내는 블록도이다.
도 4는 본 발명의 실시예에 따른 인공지능을 이용한 OHT 이상감지 시스템의 전처리부에서 데이타가공부의 세부구성을 나타내는 블록도이다.
도 5는 본 발명의 실시예에 따른 인공지능을 이용한 OHT 이상감지 시스템에서 인공지능모듈의 세부구성을 나타내는 블록도이다.
도 6 및 도 7은 본 발명의 실시예에 따른 인공지능을 이용한 OHT 이상감지 시스템에서 수집분석부에 의해서 수집된 실제데이타와 이에 대한 그래프를 각각 나타내고 있다.
도 8은 본 발명의 실시예에 따른 인공지능을 이용한 OHT 이상감지 시스템에서 태깅부에서의 이상구간 태깅 프로그램 실행예를 나타낸 그래프이다.
도 9는 본 발명의 실시예에 따른 인공지능을 이용한 OHT 이상감지 시스템에서 샘플링부에 의한 데이타 샘플링 결과를 나타낸 그래프이다.
도 10은 본 발명의 실시예에 따른 인공지능을 이용한 OHT 이상감지 시스템에서 샘플링부의 샘플링 방법을 예시적으로 나타낸 도면이다.
도 11 및 도 12는 본 발명의 실시예에 따른 인공지능을 이용한 OHT 이상감지 시스템에서 노말라이징부에서의 인코딩정보 json file예를 나타낸 도면이다.
도 13 및 도 14는 본 발명의 실시예에 따른 인공지능을 이용한 OHT 이상감지 시스템에서 인공지능모듈의 오토인코더의 기본 형태와 구조를 나타낸 도면이다.
도 15 및 도 16은 본 발명의 실시예에 따른 인공지능을 이용한 OHT 이상감지 시스템에서 이상치 검출기에서의 훈련결과를 나타낸 그래프이다.
도 17은 본 발명의 실시예에 따른 인공지능을 이용한 OHT 이상감지 시스템에서 이상치 검출기의 실행화면을 나타낸 도면이다.
도 18은 본 발명의 실시예에 따른 인공지능을 이용한 OHT 이상감지시스템에서 이상치 검출기의 출력 분포도를 나타낸 도면이다.
도 19는 본 발명의 실시예에 따른 인공지능을 이용한 OHT 이상감지 시스템에서 분류기의 실행화면을 나타낸 도면이다.
도 20은 본 발명의 실시예에 따른 인공지능을 이용한 OHT 이상감지 시스템에서 비정상데이타 비율별 테스트 실행화면을 나타낸 도면이다.
이하, 본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다. 명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈", "수단" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 이하의 설명에서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용되는 용어로서, 그 자체에 의미가 한정되지 아니하며, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였으며, 본 명세서 전체에 걸쳐 사용되는 동일한 참조번호는 동일한 구성요소를 나타낸다. 그리고 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
먼저, 본 발명의 실시예에 따른 인공지능을 이용한 OHT 이상감지 시스템(이하 'OHT 이상감지 시스템'이라 한다,400)은, OHT의 구동모터에 설치된 센서(110)들의 센서데이타를 분석하여 구동모터의 이상을 감지 및 이를 예측하는 것을 목적으로 한다. 이를 위해 본 발명의 OHT 이상감지 시스템(400)은, 데이타 수집 및 분석, 데이타 태깅(어노테이션), 데이타 변환, 딥러닝 훈련을 포함하여 구성될 수 있으며, 이를 통해 구성된 모델의 훈련결과 분석 및 IoT장비와의 포팅을 통해 이상감지의 신뢰성을 검증할 수 있다.
한편, 본 발명은 인공지능을 이용하여 OHT의 이상을 감지 및 예측하는 경우를 나타내었으나, OHT장비 외 다양한 IoT장비에도 적용될 수 있음은 물론이다.
이하에서는 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
도 2를 참조하면, 본 발명의 실시예에 따른 인공지능을 이용한 OHT 이상감지 시스템(400)은, 센서부(100)와, 전처리부(200)와, 인공지능모듈(300)을 포함한다.
먼저, 센서부(100)는, OHT(Overhead Hoist Transfer)에 설치된 복수개의 구동모터들과 연결된 센서(110)들을 포함하고, 이러한 센서(110)들을 통하여 OHT 구동모터의 토크와 속도를 포함하는 센서데이타들을 측정하고, 측정된 센서데이타들을 설정 데이타저장부로 전송할 수 있다.
여기서, 센서데이타들은 OHT의 작동에 큰 영향을 미치는 구동모터의 데이터를 적용하며, 세부적으로는 시간당 측정되는 토크와 속도 데이터를 포함할 수 있다.
전처리부(200)는, 데이타저장부로부터 센서데이타들을 수집 및 분석하여 센서데이타들을 학습에 적합하도록 가공하여 인공지능모듈(300)의 학습능력과 처리시간을 향상시키고, 가공된 센서데이타들을 데이타저장부로 전송할 수 있다.
도 3을 참조하면, 전처리부(200)는, 수집분석부(210)와, 태깅부(220)와, 데이타가공부(230)를 포함할 수 있다.
먼저, 수집분석부(210)는, 센서데이타들을 수집하고 수집된 센서데이타들을 전체 또는 일부를 볼 수 있으며, 이들 센서데이타들을 스케일링 또는 샘플링할 수 있다.
이러한 수집분석부(210)는, 소스데이타로서의 센서데이타들을 설정 시간 단위로 샘플링할 수 있으며, 이들 센서데이타들은 이차원 데이타로 구성될 수 있다.
바람직하게, 수집분석부(210)는, 시간당 설정 개수의 샘플값을 갖는 동적데이타를 수집할 수 있으며, 바람직하게 OHT의 구동모터 각각에 대한 토크값과 속도값에 대한 데이터를 수집하는 것이 바람직하다.
한편, 수집분석부(210)는, 해당 각 센서(110)에 대하여 설정 데이타범위 분석모델에 의하여 계산된 최대값 및 최소값과, 측정된 실제 센서데이타의 최대값과 최대값을 파악 후 이를 비교 분석하여 설정 최대값과 최소값을 확정하여 정상데이타 범위를 분석할 수 있다.
태깅부(220)는, 수집분석부(210)에 의하여 전개된 센서데이타들에서 설정된 정상 또는 비정상 조건에 따라 센서데이타들을 태깅할 수 있다. 즉, 태깅부(220)는, 정상 및 비정상이 혼재된 센서데이타들을 분리 표시하며, 설정 프로그램에 의하여 이상 구간을 마킹할 수 있다.
데이타가공부(230)는, 태깅부(220)에 의하여 태깅된 센서데이타들을 인공지능모듈(300)의 학습에 적합한 데이타로 정제 및 변환하는 역할을 한다.
도 4를 참조하면, 데이타가공부(230)는, 오류검토부(231)와, 샘플링부(232)와, 노멀라이징부(233)와, 데이타변환부(234)를 포함할 수 있다.
먼저, 오류검토부(231)는, 센서데이타들에서 데이타오류를 제거 또는 수정하여 데이타의 적합성을 유지하도록 가공하는 역할을 한다. 이러한 오류검토부(231)는 센서데이타 중 형태가 불량하거나 센서값의 누락 등을 포함하는 오류를 처리하며, 이러한 처리방식으로 삭제 또는 복사 또는 채우기 등 다양한 방법을 이용할 수 있다.
샘플링부(232)는, 센서데이타들을 설정조건에 따라 샘플링하는 역할을 하며, 인공지능모듈(300)의 학습 데이타 량을 조절하여 시스템의 부하를 줄이고, 최소한의 데이타로 학습 성능을 향상시키도록 데이타의 량을 최적화한다. 한편, 샘플링부(232)는, 1/10, 1/100, 1/200 등 다양한 샘플링 비율로 센서데이타들을 샘플링할 수 있으며, 데이타의 최적화와 샘플링에 따른 데이타의 소실 등을 고려하여 그 비율을 설정할 수 있다.
한편, 샘플링부(232)는 전술한 샘플링 비율에 따라 샘플링을 하고, 이에 추가적으로 설정 조건에 따라 추가적으로 샘플링할 수 있다. 이러한 설정조건은 기본 샘플링 수(nterval), 샘플링 시작점(pos), 추가 샘플링간 위치 차이(inc)에 따라 샘플링을 실시할 수 있으며, 이에 대한 실시예는 후술하기로 한다.
노멀라이징부(233)는, 샘플링부(232)에 의하여 샘플링된 데이타들을 인공지능모듈(300)의 학습 훈련을 효율적으로 할 수 있도록 센서데이타들을 노멀라이징하는 역할을 한다.
이러한 노멀라이징부(233)는, 전문가 등으로부터 획득된 센서(110)의 최대값과 최대값의 경험치와, 측정된 센서데이타들의 최대값과 최소값을 토대로 센서데이타들을 노멀라이징할 수 있다.
데이타변환부(234)는, 센서데이타들을 인공지능모듈(300)의 학습에 적합한 형태로 변환하는 역할을 한다. 세부적으로, 데이타변환부(234)는, 센서데이타들을 2차원형태의 테이터로 변환한 후 json 파일 형태로 변경할 수 있다.
이하에서는 인공지능모듈(300)에 대하여 살펴보기로 한다. 인공지능모듈(300)은, 데이타저장부로부터 전처리부(200)에 의하여 가공된 센서데이타들을 비지도학습모델과 지도학습모델의 조합을 기반으로 학습하여 센서데이타의 이상유무를 모니터링하고, 센서데이타를 통해 이상 구동모터를 자동으로 감지하여 OHT의 이상을 감지 및 예측하는 역할을 한다.
도 5를 참조하면, 인공지능모듈(300)은, 이상치 검출기(310)와, 데이타베이스(320)와, 분류기(330)를 포함할 수 있다.
이상치 검출기(310)는, 데이타저장부로부터 전처리부(200)에 의하여 가공된 센서데이타를 비지도학습모델을 기반으로 센서데이타의 이상유무를 모니터링하는 역할을 한다.
이러한 이상치 검출기(310)는, 다층의 히든레이어를 갖는 오토인코더 형태를 기반으로 비지도학습모델을 이용하여 센서데이타의 이상유무를 모니터링하도록 구성될 수 있다.
한편, 여기에서 이상치 검출기(310)는 비지도 학습모델로서 서로다른 공지의 LSTM과 1DConv 모델을 적용할 수 있는데, LSTM 또는 1DConv 또는 LSTM과 1DConv의 조합 등 다양한 모델을 적용할 수 있다. 하지만, 바람직하게는, 상기 이상치 검출기(310)는, LSTM와 1DConv의 조합으로 구성된 모델이 실험적으로 가장 바람직한 모델임을 확인할 수 있다.
데이타베이스(320)는, 이상치 검출기(310)에 의하여 생성된 데이타들을 저장하고, 분류기(330)로 전송하여 훈련 효율을 향상시키고, 대규모 데이타 훈련이 가능하도록 하는 역할을 한다. 여기서, 데이타베이스(320)는 이상치 검출기(310)에서 실행한 결과를 json file 형식으로 저장하는 것이 바람직하나 이에 한정하지는 않는다. 또한, 데이타베이스(320)는 경우에 따라 다양한 형태 또는 생략이 가능하다.
분류기(330)는, 이상치 검출기(310)로부터 출력된 센서데이타를 지도학습모델을 기반으로 센서데이타를 분류하여 이상 센서(110)를 판별하고 OHT의 이상유무를 예측할 수 있다. 이때, 분류기(330)는, 공지의 딥러닝 또는 SVM을 이용하여 센서데이타를 분류할 수 있다.
이하 본 발명의 실시예에 따른 OHT 이상감지 시스템에 대하여 실시예를 통하여 보다 세부적으로 살펴보기로 하며, 이 중 전처리부(200)와 인공지능모듈(300)에 대하여 중점적으로 살펴보기로 한다.
우선, 하기의 실시예에 따른 OHT 이상감지 시스템은, Json file을 사용하여 데이타 가공, 훈련 및 테스트 진행이 가능하여 프로그램의 수정 없이 다양한 데이타로 다양한 모델 실험 가능하며, 중간 단계의 데이타 생성으로 훈련 효?? 향상 및 대규모 데이타 훈련 가능할 뿐만 아니라 일단계 비지도학습을 통한 센서 이상 여부 판단 및 2단계 분류기를 통한 상세 구분 기능을 포함한다.
그리고 하기에서 OHT 이상감지 시스템은, 데이타 수집 및 분석, 데이타 태깅(어노테이션), 데이타 변환, 딥러닝 훈련을 할 수 있도록 구성될 수 있으며, 더불어 훈련 결과 분석, IoT장비 포팅의 과정을 거칠 수 있다. 이때, 데이터 태깅, 데이터 변환, 딥러닝 훈련 및 훈련 결과 분석 과정은 필요에 따라 복수 회 수행할 수 있으며, 특히 딥러닝 훈련과 이의 훈련 결과 분석은 하기와 같은 다양한 방법을 통해 지속적으로 이루어져 이를 토대로 가장 적합한 모델을 구성할 수 있다.
먼저, 전처리부(200)에 대하여 살펴보기로 한다.
1.1 데이타 수집 및 분석
1) 데이타 보유 현황
데이타 보유 현황에 대하여 살펴볼 때, 수집분석부(210)는, OHT의 4개의 구동 모터 각각의 센서데이타들을 소스데이타로 하여, 73개의 정상 CSV 파일데이타와 23개의 비정상 데이타를 보유하고, 하나의 파일은 1/1000초 단위로 샘플링 된 8개 센서의 6만5천라인의 데이타로 이루어졌으며, 65,000 x 8의 이차원 데이타로 구성될 수 있다. 이때, 8개의 센서 데이터는 4개의 구동 모터 각각의 속도와 토크 값이다.
2) 데이타 기초 분석
데이타 기초 분석과 관련하여, 주어진 센서데이타의 분석 시작은 실제 데이타를 살펴보는 것이다. 이때, 전술한 바와 같이 실제 센서데이타는 CSV문서로 텍스트이기 때문에 데이타를 직접 숫자로 보거나 설정 프로그램을 통해 그래픽 등 시각적으로 화면에서 볼 수 있으며, 센서데이타들은 데이타 전체를 보거나 일부 칼럼(센서)들을 보거나 스케일링이나 샘플링해서 데이타를 볼 수 있다. 도 6은 이러한 실제 데이타를 예시적으로 나타낸 도면이며, 도 7은 실제데이타의 그래프를 예시적으로 나타낸 도면이다.
3) 정상 데이타 범위 분석
한편, 수집분석부(210)는, 정상 데이타 범위 분석을 위하여 데이타 제공자로부터 각 센서의 최대값과 최소값을 제공받고, 설정 프로그램을 실행하여 전체 센서들의 실제 최대값과 최소값을 파악하여 이를 비교하고, 이를 통해 해당 각 센서에 대한 센서데이타의 최대값과 최소값을 확정할 수 있다. 이때, 센서데이타의 최대값과 최소값은 이후 수행되는 데이타변환 시에 사용될 수 있다.
1.2 데이타 태깅(어노테이션)
센서데이타들 중 비정상 데이타는 비정상 상태만을 포함하는 하나의 데이타 화일일 수도 있고, 정상 비정상이 혼재된 데이타도 있을 수 있다. 때문에 태깅부(220)는, 혼재된 센서데이타들에서 정상/비정상을 분리 표시하며, 프로그램에 의하여 이상 구간의 마킹을 할 수 있다. 도 8은 이상 구간 태깅 프로그램 실행 예를 나타낸 도면이다.
1.3 데이타 변환
데이타가공부(230)는, 수집한 센서데이타들을 실제 딥러닝 훈련에 쓰기 위해서는 데이타 적합성 유지, 데이타 샘플링, 데이타 노멀라이징, 데이타 형태 변환을 포함하는 다양한 데이타의 정제 및 변환이 필요하다.
1) 데이타 적합성 유지
보통 센서에 입력된 데이터는 오류가 포함되어 있는 경우가 흔하다. 때문에, 데이타가공부(230)는, 데이타 적합성 유지를 위하여 센서에서 입력된 데이타에 포함된 오류를 초기에 제거해야할 필요가 있다.
이를 위해, 데이타가공부(230)는 NaN(Not a Number) 처리를 할 수 있다. 세부적으로, 데이타가공부(230)는, 센서서데이타의 경우 모두 실수인데 종종 센서데이타가 없거나 형태가 불량인 데이타 오류가 발생할 수 있기 때문에 이러한 데이타 오류를 적절히 처리한다.
다시 말해, 데이타가공부(230)는, 센서데이타의 입력이 없는 빈칸의 데이타와 같이 처리데이타상의 오류를 처리함은 물론, 센서데이타의 출력빈도(초당 샘플수)가 다를 경우에 대해서도 빈 시간대에 센서데이타를 채워 넣어 가공할 수 있다.
한편, 이러한 처리방법으로 데이타가공부(230)는, 빈 데이타를 채워 넣는 방법으로 처음값의 복사, 마지막값의 복사, 중간값 채우기 등을 통해 오류를 처리할 수 있으며, 본 발명에서는 처음값을 아래로 복사하는 방법을 사용하였다.
2) 데이타 샘플링
이러한 데이타 오류를 처리하고 나면, 데이타가공부(230)는, 샘플링부(232)를 통해 센서데이타들을 샘플링 한다. 이러한 샘플링의 필요성은, OHT의 4개의 구동모터에 설치된 센서의 초당 1000개 x 8개 정도의 센서데이타들을 그대로 딥러닝에 적용하면 데이타의 량이 방대하여 IoT장비에 적용하기 불가하기 때문에 최소한의 데이타로 최대의 딥러닝 성능을 만들어내려면 데이타 샘플링을 통해 입력데이타의 량을 최적화해야하기 때문이다.
본 발명에서는, 처음 1/10, 1/100, 1/200 등의 샘플링을 하여 눈으로 검증하고, 이 후 딥러닝 훈련을 통하여 최적의 샘플링 방법을 선정 하였다.
도 9는 샘플링률에 따른 결과를 나타낸 그래프로서, 1/10 샘플링 결과, 1/100 샘플링 결과, 1/200 샘플링 결과를 각각 나타내고 있다. 이들 그래프를 살펴보면 샘플링율(sampling rate)을 높일수록 그래프의 디테일이 점점 사라지는 것을 알 수 있다.
한편, 이렇게 1/n 샘플링을 하면 (n-1)/n x 100%의 데이타는 소실되는데, 이는 n이 커질수록 많은 데이타의 낭비를 초래하기 때문이다. 예를 들어 1/100 샘플링을 하면 99%의 데이타는 사라지게 되는 것이다.
이를 해결하기 위해 샘플링부(232)는, 도 10에 도시된 바와 같은 방식을 사용하여 추가적인 샘플링을 했으며, 사용 변수로서 interval은 기본 샘플링 수를, pos는 샘플링 시작점을, inc는 추가 샘플링간 위치 차이를 각각 나타낸다.
이때, 샘플링부(232)는, 실시예로 도 10에 도시된 바와 같이 interval=100, pos=0, inc=5를 사용하여 샘플링하여, 원본 csv하나마다 21개의 샘플링 데이타를 생성하였다.
3) 데이타 노말라이징
한편, 상기한 샘플링 데이타들을 생성하면 노멀라이징부(233)를 통해 데이타 노멀라이징을 수행한다. 이러한 데이타 노멀라이징은, 딥러닝 훈련을 효율적으로 하기 위해 각 센서데이타를 [-1.1] 사이로 노말라이즈를 하며, 이를 위해 각 센서의 최대/최소값을 이용한다.
여기서, 각 센서의 최대/최소값은 전문가의 경험 및 예측에 의한 각 센서의 최대/최소값을 입수하고, 노멀라이징부(233)는 전체 데이타를 검사하여 실제값을 구한 후에 이를 토대로 최대/최소값을 구한 다음 실제로 노멀라이징을 실행한다.
4) 데이타 형태 변환
이렇게 노멀라이징된 센서데이타들은 데이타변환부(234)에 의하여 형태를 인공지능모듈(300)의 딥러닝에 적합한 형태로 변환된다.
우선, 딥러닝에 사용되는 데이타의 형태는 다양한데, 데이타 배열의 차원만을 생각하자면 1/2/3차원 데이타의 형태가 대부분이고, 본 발명에서는 시계열 데이타의 특성을 가장 잘 나타내주는 2차원형태의 데이타로 변환된다.
한편, 전술한 바와 같이 본 발명은 실시예에서 센서의 수를 8개로 고정되므로 X축, 혹은 칼럼 수는 8개로 고정이고, 시간축에 해당하는 Y축, 혹은 로는 다양한 선택이 가능하다. 본 발명에서는 시간축의 갯수와 샘플링수의 조합에 의한 다양한 데이타로 실험한 결과 1/100샘플링에 시간축 100개 내외 정도가 가장 적합하다고 판단되었으며, 이에 기본 입력데이타는 100 x 8, 10초 x 8센서로 사용하였다.
나아가, 데이타변환부(234)의 데이타 변환 방법으로는 시계열 데이타에 가장 널리 쓰이는 'stride encoding'기법을 사용하였으나, 이는 바람직한 실시예로 이에 한정하지는 않는다.
5) json file 사용
본 발명에서 데이타변환부(234)는, 데이타 변화를 위한 정보를 json file에 담아 쉽게 변경 가능하게 했으며, 데이타 속성이나 인코딩 등의 정보를 담는 json과 원본 데이타와 인코딩된 데이타의 위치나 리스트 등의 정보를 담는 json으로 구분하였다. 도 11은 인코딩 정보 json file의 예를 나타내며, 도 12는 데이타 정보 json file예를 나타내고 있다.
전술한 바와 같이 데이타변환부(234)는, 인코딩 정보 json file에는 원본 csv file의 정보, 사용 칼럼 정보, 인코딩 방법, 각 센서 데이타의 최소/최대값 등이 포함될 수 있으며, 데이타 정보 json file에는 원본 csv file의 폴더 위티와 리스트 정보, 인코딩된 화일이 들어갈 폴더 정보 및 train/validation/test 데이타로 나누는 비율 등의 정보가 포함될 수 있다.
이하에서는, 이상치 검출기(310)와 분류기(330)에서의 각 수행방법에 대하여 상세하게 살펴보기로 한다.
1.4 딥러닝 훈련
본 발명의 실시예에서, 인공지능모듈(300)은, 전술한 바와 같이 정상 데이터만을 사용하고 비지도학습모델을 기반으로 하는 이상치 검출기(310)와, 비정상 데이터를 포함하고 지도학습을 기반으로 하는 분류기(330)를 통하여 구동모터의 이상을 자동으로 검지, 판별 및 예측하는 것으로 설명한 바 있다.
1.4.1 이상치 검출기
이상치 검출기(310)는 오토인코더 형태를 기반으로 하며, 세부적으로는 1DConv, LSTM, 혹은 1DConv + LSTM의 조합으로 구성할 수 있다.
여기서, 오토인코더(Autoencoder)는 단순히 입력을 출력으로 복사하는 신경망으로서, 네트워크에 여러 가지 방법으로 제약을 줌으로써 어려운 신경망으로 만들 수 있다. 도 13은 이러한 오토인코더의 기본형태를 나타낸 도면으로, 오토인코더는 hidden layer의 뉴런 수를 input layer(입력층) 보다 작게 해서 데이타를 압축(차원을 축소)한다거나, 입력 데이타에 노이즈(noise)를 추가한 후 원본 입력을 복원할 수 있도록 네트워크를 학습시키는 등 다양한 오토인코더가 있는데, 이러한 제약들은 오토인코더가 단순히 입력을 바로 출력으로 복사하지 못하도록 방지하며, 데이타를 효율적으로 표현(representation)하는 방법을 학습하도록 제어할 수 있다.
본 발명에서의 인공지능모듈(300)은, 도 14에 도시된 바와 같이 다층의 히든레이어를 갖는 'Stacked Autoencoder'를 사용하였으며, 각 히든레이어에는 1D Convolution, LSTM을 조합하였다. 한편, 본 발명에서 실제 실험에 사용한 모델은 총 6종으로 모델명으로는 1.0, 1.2, 2.2, 2.3, 2.5, 3.0 등이 있다.
한편, 이상치 검출기(310)에서의 학습 훈련에 앞서 기본적인 패러미터의 범위를 조정할 필요가 있으며, 이를 위해 다수의 사전 실험을 통하여 아래와 같은 Learning Rate, Batch size, Sampling parameters같은 기초 패러미터의 범위를 정했다.
?? Learning Rate: 0.0001 ~ 0.001
?? Batch size: 64
?? Sampling interval=100, pos=0, inc=5
훈련속도 측면에서, 하나의 모델에 대한 훈련 시간이 GPU하나를 사용 했을 때, 1DConv 모델의 경우 1~30만 epoch 훈련에 하루 이틀 정도 걸리고, LSTM 모델의 경우에는 수백~수천 epoch에 수 시간에서 하루 정도 소요되며, 훈련 속도는 1DConv모델이 훨씬 오래 걸리지만 추론 속도는 LSTM모델에 비해 훨씬 빠르며, LSTM모델의 경우 최신 GPU에서 초당 1000번 이상의 추론 속도를 보인다.
입력 데이타는 train/validation/test 데이타를 각각 8:1:1 정도의 비율로 나눠 사용하였으며, 훈련완료 후 최종 train loss는 모델에 따라서 0.0001~0.00001 정도를 보이고, validation이나 test 셋의 경우에도 비슷한 분포를 보인다.
도 15는 이상치 검출기에 의한 초기 훈련 결과를 나타내고 있는 것으로 패러미터 변화에 따라 evaluation loss가 발산하는 것을 확인할 수 있으며, 도 16은 정상훈련결과를 나타내는 것으로서 모델마다 전체적으로 수렴하는 모양을 보이는 것으로 확인되었다.
1.4.2 분류기
이하에서는 분류기(330)에 대하여 살펴보기로 한다.
우선, 이상치 검출기(310)는 정상 데이타만을 사용해서 비지도학습으로 훈련 했지만, 분류기(330)는 이상치 검출기(310)의 출력을 입력으로 하여 SVM을 사용하고 훈련하여 추론할 수 있게 하였다.
바람직하게는, 분류기(330)는 일괄처리로 실행되며, 이상치 검출기(310)를 실행한 결과를 json file에 저장하고 그걸 사용해서 분류기(330)를 실행 하는 구조로 구성될 수 있다.
1.5 훈련 결과 분석
1) 이상치 검출기의 실험 및 분석
각 실시예별(모델별) 훈련 실험 결과는 표 1과 같다.
표 1
Figure 112021086487617-pat00001
표 1을 참조하면, 위의 성능 지표와 타겟 하드웨어와의 관계를 고려하여 모델을 선택하는데, IoT장비의 경우에는 1.2모델이 적합하고, PC이상의 경우에는 2.2/2.3/2.5 중에서 취사 선택하여 사용하는 것이 바람직하다.
이때, 패러미터의 숫자와 1 batch 속도가 비례하지 않는 이유는, LSTM의 경우 외부에 보이는 패러미터수는 작지만 내부 구조가 복잡하며, 순차적인 처리가 필요하기 때문에 패러미터 수에비해 처리 속도가 느리기 때문이다.
한편, 이상치 검출 실험 및 분석과 관련하여, validation, test 데이타를 사용하였으며, 입력 데이타는 전술한 방법으로 인코딩하여 100 x 8의 2차원 매트릭스를 기본 입력 단위로 하여 추론 결과를 살펴보았다. 여기서, 모델마다 조금씩 다른 결과를 보이는데 여기서는 2.2모델의 결과를 주로 사용했다. 도 17은 이상치 검출기의 실행화면을 나타내고 있다.
상기한 이상치 검출기의 실행 화면을 살펴보면, validation셋 1920개 중에서 3개의 이상치를 발견했고, test셋 1920개에서는 6개의 이상치를 발견하였음을 확인할 수 있었으며, 실행 속도는 1920개를 5~6초에 실행해서 초당 400개 정도의 추론 속도를 보이고 있었다.
도 18은 이상치 검출기(310) 출력 분포도를 나타낸 그래프로서, (a)는 1.2모델의 결과이고, (b)는 2.2모델의 결과이다. 이때, Y축은 빈도, X축은 이상치 측정 수치를 나타낸다.
도 18을 참조하면, 이상치 검출기(310)의 훈련 결과에서도 2.2모델의 train loss가 1.2 모델보다 작았는데, 출력 분포의 경우에도 2.2모델의 기본값이 작고 적은쪽으로 많이 몰려있는걸 알 수 있다. 여기에서, 이렇게 숫자가 작은 쪽에 몰려있다는 것은 모델이 더 최적화되어 있음을 의미한다.
2) 분류기 실험 및 분석
먼저, 이상치 검출기로 분류기용 데이타를 생성하고, 분류기가 데이타의 이상 여부를 판단한다.
이렇게 생성한 72개의 정상 데이타 csv와 19개의 오류 데이터 csv를 사용하였으며, 각각 34개씩 샘플링하여, 정상 2448개, 오류 646개의 데이타로 실험하였으며, 이러한 분류기의 실행화면을 도 19에 나타내었다.
상기한 바에 따라 이상치 검출기(310)로 분류기(330)용 데이타를 생성하고, 분류기(330)가 데이타의 이상 여부를 판단할 수 있으며, 이때 전체 데이타 중에서 랜덤하게 선택한 1/2로 훈련하고 분류 실험을 하였다.
분류기(330) 성능 지표를 살펴보면, 민감도가 0.97 특이도가 0.99 기록했고 다른 모든 지표에서도 0.97이상의 좋은 결과를 보였다. 이때, 정상을 정상으로 판단한 것을 TP(True Positive)로 산정했다.
도 20은 비정상 데이타 비율별 테스트 실행화면을 나타낸 것으로서, 1에 가까운 우수한 성능 결과를 보였다.
한편, 분류기(330)의 특성을 파악하기 위해 정상/비정상 데이타의 비율을 변경해 나가면서 실험했으며, 비정상 데이타의 비율을 각각 1%, 10%, 20%, 50%를 섞어서 실험을 진행하였으며, 표 2는 이러한 실험 결과를 나타낸다.
표 2
Figure 112021086487617-pat00002
1.6 IoT장비 포팅
IoT장비는 메모리나 CPU리소스가 충분하지 않기 때문에 일반 PC에서 돌아가는 딥러닝 시스템을 그대로 사용하기에는 무리가 있다. 때문에, IoT장비를 위하여 일반 tensorflow가 아닌 tensorflow-lite을 사용했으며, 이를 위해 훈련된 모델을 가벼운 tensorflow-lite용 모델로 변환하여 사용하였다. 결과, 정확도 면에서는 약간 떨어졌지만 (1% 내외) 실행 속도는 IoT장비에서도 100ms이하로 충분히 사용 가능함을 확인할 수 있었다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100 : 센서부 110 : 센서
200 : 전처리부 210 : 수집분석부
220 : 태깅부 230 : 데이타가공부
231 : 오류검토부 232 : 샘플링부
233 : 노멀라이징부 234: 데이타변환부
300 : 인공지능모듈 310 : 이상치 검출기
320 : 데이타베이스 330 : 분류기
400 : OHT 이상감지 시스템

Claims (8)

  1. OHT(Overhead Hoist Transfer)에 설치된 복수개의 구동모터들과 연결된 센서들에 의하여 센서데이타를 측정하는 센서부와;
    상기 센서데이타들을 수집 및 분석하여 상기 센서데이타들을 학습에 적합하도록 가공하는 전처리부와;
    상기 전처리부에 의하여 가공된 상기 센서데이타들을 비지도학습모델과 지도학습모델의 조합을 기반으로 학습하여 상기 센서데이타의 이상유무를 모니터링하고, 상기 OHT의 이상유무를 예측하는 인공지능모듈;을 포함하되,
    상기 전처리부는,
    상기 센서데이타들을 수집하고 수집된 센서데이타들을 스케일링 또는 샘플링하는 수집분석부와, 샘플링된 상기 센서데이타들을 설정된 정상 또는 비정상 조건에 따라 태깅하는 태깅부와, 태깅된 상기 센서데이타들을 상기 인공지능모듈의 학습에 적합한 데이타로 정제 및 변환하는 데이타가공부를 포함하고,
    상기 수집분석부는,
    해당 각 센서에 대하여 데이타범위 분석모델에 의하여 계산된 최대값 및 최소값과, 측정된 상기 센서데이타의 최대값과 최소값을 비교 분석하여 설정 최대값과 최소값을 확정하고,
    노멀라이징부는,
    획득된 상기 센서의 최대값과 최소값의 경험치와, 측정된 상기 센서데이타들의 최대값과 최소값을 토대로 상기 센서데이타들을 노멀라이징하며,
    상기 데이타가공부는,
    상기 센서데이타들에서 데이타오류를 제거 또는 수정하여 데이타의 적합성을 유지하도록 가공하는 오류검토부와, 상기 센서데이타들을 1/n 샘플링 비율로 상기 센서데이타들을 샘플링하고, 샘플링에 따른 (n-1)/n×100%의 데이터의 소실을 고려하여 샘플링 수, 샘플링 시작점, 추가 샘플링간 위치 차이에 따라 추가적으로 샘플링하는 샘플링부와, 상기 센서데이타들을 노멀라이징하는 노멀라이징부와, 상기 센서데이타들을 상기 인공지능모듈의 학습에 적합한 형태로 변환하고, 상기 센서데이타의 입력이 없는 빈 데이타를 처음값의 복사, 마지막값의 복사, 중간값 채우기 중 어느 하나를 통해 처리하는 데이타변환부를 포함하고,
    상기 인공지능모듈은,
    상기 전처리부에 의하여 가공된 상기 센서데이타를 다층의 히든레이어를 갖는 오토인코더 형태를 기반으로 상기 비지도학습모델을 기반으로 상기 센서데이타의 이상유무를 모니터링하는 이상치 검출기와, 상기 이상치 검출기로부터 출력된 상기 센서데이타를 상기 지도학습모델을 기반으로 상기 센서데이타를 분류하여 이상 센서를 판별하고 상기 OHT의 이상유무를 예측하는 분류기와, 상기 이상치 검출기에 의하여 생성된 데이터들을 저장하고 상기 분류기로 전송하여 대규모 데이터 훈련이 가능하도록 하는 데이터베이스를 포함하는 것을 특징으로 하는 인공지능을 이용한 OHT 이상감지 시스템.
  2. 삭제
  3. 제 1 항에 있어서,
    상기 수집분석부는,
    상기 센서데이타들 중 상기 구동모터의 토크와 속도 데이타를 수집하는 것을 특징으로 하는 인공지능을 이용한 OHT 이상감지 시스템.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 제 1 항에 있어서,
    상기 데이타변환부는,
    상기 센서데이타들을 2차원형태의 테이터로 변환한 후 json 파일 형태로 변경하는 것을 특징으로 하는 인공지능을 이용한 OHT 이상감지 시스템.
  8. 삭제
KR1020210098244A 2021-07-27 2021-07-27 인공지능을 이용한 oht 이상감지 시스템 KR102497585B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210098244A KR102497585B1 (ko) 2021-07-27 2021-07-27 인공지능을 이용한 oht 이상감지 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210098244A KR102497585B1 (ko) 2021-07-27 2021-07-27 인공지능을 이용한 oht 이상감지 시스템

Publications (2)

Publication Number Publication Date
KR20230016798A KR20230016798A (ko) 2023-02-03
KR102497585B1 true KR102497585B1 (ko) 2023-02-08

Family

ID=85225853

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210098244A KR102497585B1 (ko) 2021-07-27 2021-07-27 인공지능을 이용한 oht 이상감지 시스템

Country Status (1)

Country Link
KR (1) KR102497585B1 (ko)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101539316B1 (ko) 2015-03-20 2015-07-27 주식회사 인시스템스 Oht 제어 센서시스템
KR102501884B1 (ko) * 2018-07-06 2023-02-21 에임시스템 주식회사 기계 학습 기반의 설비 이상 진단 시스템 및 방법
KR102246005B1 (ko) * 2019-05-10 2021-04-29 주식회사 에스에프에이 스마트 팩토리를 위한 이동 설비의 실시간 센싱 데이터 처리 시스템 및 그 방법

Also Published As

Publication number Publication date
KR20230016798A (ko) 2023-02-03

Similar Documents

Publication Publication Date Title
WO2023071217A1 (zh) 基于深度迁移学习的多工况流程工业故障检测诊断方法
AU2018203321B2 (en) Anomaly detection system and method
KR20200096861A (ko) 불량 감지 방법 및 장치
CN111160687B (zh) 主动资产监控
KR102464762B1 (ko) 경험적 공유 지식 기반의 인공지능을 활용한 설비고장 예지보전 방법
KR20230021272A (ko) 인공지능을 이용한 교량 건전성 모니터링 시스템
US8560279B2 (en) Method of determining the influence of a variable in a phenomenon
CN109871002B (zh) 基于张量标签学习的并发异常状态识别与定位系统
Ghosh et al. A novel automata and neural network based fault diagnosis system for PLC controlled manufacturing systems
KR102416474B1 (ko) 기계학습 기반 고장 진단 장치 및 방법
Arul et al. Data anomaly detection for structural health monitoring of bridges using shapelet transform
CN113687972A (zh) 业务系统异常数据的处理方法、装置、设备及存储介质
CN116089218A (zh) 基于Kubernetes的历史数据和趋势分析的动态基线告警方法及系统
Hagedorn et al. Understanding unforeseen production downtimes in manufacturing processes using log data-driven causal reasoning
KR102497585B1 (ko) 인공지능을 이용한 oht 이상감지 시스템
Cohen et al. Machine learning for diagnosis of event synchronization faults in discrete manufacturing systems
Mohamed Almazrouei et al. A review on the advancements and challenges of artificial intelligence based models for predictive maintenance of water injection pumps in the oil and gas industry
Cohen et al. Fault diagnosis of timed event systems: An exploration of machine learning methods
Jallepalli et al. Data-driven fault classification using support vector machines
Schuetz et al. Discovering Actionable Knowledge for Industry 4.0: From Data Mining to Predictive and Prescriptive Analytics
Engbers et al. Applicability of algorithm evaluation metrics for predictive maintenance in production systems
Turkoglu et al. Application of data mining in failure estimation of cold forging machines: An industrial research
Moleda et al. Regression methods for detecting anomalies in flue gas desulphurization installations in coal-fired power plants based on sensor data
Ayed et al. Explainable Prediction of Machine-Tool Breakdowns Based on Combination of Natural Language Processing and Classifiers
Karagiorgou et al. On making factories smarter through actionable predictions based on time-series data

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right