KR20230159657A - 인공지능을 이용한 스마트 팩토리의 비정상 동작 감지 시스템 및 그 방법 - Google Patents

인공지능을 이용한 스마트 팩토리의 비정상 동작 감지 시스템 및 그 방법 Download PDF

Info

Publication number
KR20230159657A
KR20230159657A KR1020220057676A KR20220057676A KR20230159657A KR 20230159657 A KR20230159657 A KR 20230159657A KR 1020220057676 A KR1020220057676 A KR 1020220057676A KR 20220057676 A KR20220057676 A KR 20220057676A KR 20230159657 A KR20230159657 A KR 20230159657A
Authority
KR
South Korea
Prior art keywords
unit
data
value
normal
analysis
Prior art date
Application number
KR1020220057676A
Other languages
English (en)
Inventor
임은재
서대호
Original Assignee
임은재
서대호
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 임은재, 서대호 filed Critical 임은재
Priority to KR1020220057676A priority Critical patent/KR20230159657A/ko
Publication of KR20230159657A publication Critical patent/KR20230159657A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G01D21/02—Measuring two or more variables by means not covered by a single other subclass
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
    • G05B23/0267—Fault communication, e.g. human machine interface [HMI]
    • G05B23/027—Alarm generation, e.g. communication protocol; Forms of alarm
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
    • G05B23/0267—Fault communication, e.g. human machine interface [HMI]
    • G05B23/0272—Presentation of monitored results, e.g. selection of status reports to be displayed; Filtering information to the user
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
    • G05B23/0286—Modifications to the monitored process, e.g. stopping operation or adapting control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Manufacturing & Machinery (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

본 발명은 인공지능을 이용한 스마트 팩토리의 비정상 동작 감지 시스템 및 그 방법에 관한 것이다.
이러한 본 발명의 실시예에 따르면, 장치의 영상정보와 상기 장치가 설치된 공간에서 획득되는 환경정보로부터 작업데이터를 획득하는 데이터획득부, 상기 데이터획득부에서 획득된 작업데이터 중, 정상으로 분류된 정상데이터를 학습하는 인공지능 학습부, 상기 인공지능 학습부에서 학습한 정상데이터와 상기 데이터획득부에서 실시간으로 획득되는 실시간데이터를 비교분석하는 분석부 및 상기 분석부에서 분석한 분석값이 상기 정상데이터를 기준으로 기 설정된 임계값을 초과할 경우 비정상으로 판단하고, 알람을 발생시키거나 상기 장치의 작동을 중지시키는 제어부를 포함하는 인공지능을 이용한 스마트 팩토리의 비정상 동작 감지 시스템.

Description

인공지능을 이용한 스마트 팩토리의 비정상 동작 감지 시스템 및 그 방법{ABNORMAL MOTION DETECTION SYSTEM FOR SMART FACTORY USING ARTIFICIAL INTELLIGENCE AND USING THE SAME}
본 발명은 인공지능을 이용한 스마트 팩토리의 비정상 동작 감지 시스템 및 그 방법에 관한 것이다.
여러 부품이 조합 또는 결합되어 완성되는 자동차, 가전제품 등의 경우, 여러 부품 중 하나에서 미미한 오작동이 발생하더라도 정상 동작하는 데 장애가 발생할 수 있으므로, 조합 또는 결합되는 여러 부품 하나하나마다 양품인지 불량품인지를 선별해 내는 것이 매우 중요하며, 정밀검사 중 하나가 비전검사(Vision inspection)가 있다.
기존의 비전검사장치의 비전검사 방식은 검사대상물을 촬영한 촬영영상과 기 저장된 양품영상을 비교하여 양품인지 아니면 불량품인지를 선별해 내는 방식, 매우 단순한 방식을 채용하고 있다.
따라서, 기존의 비전검사 방식은 비전검사 방식 자체의 정확도가 100% 보장되지 않는 한, 검사 결과의 오류(예: 양품을 불량품으로 선별하는 경우, 불량품을 양품으로 선별하는 경우 등)가 발생할 수밖에 없는데, 비전검사 방식 자체의 정확도가 100% 보장되는 것은 사실상 불가능하므로 결국 잦은 검사 결과 오류가 발생하게 된다.
본 발명의 배경이 되는 기술은 대한민국 등록특허 제10-2108956호(2020.05.12. 공고)에 개시되어 있다.
상술한 바와 같은 문제점을 해결하기 위해 본 발명은 정상데이터를 인공지능 학습하고, 장치의 작동에 의한 실시간데이터에서 비정상상태를 인공지능으로 감지하도록 하는 인공지능을 이용한 스마트 팩토리의 비정상 동작 감지 시스템 및 그 방법을 제공을 목적으로 한다.
본 발명의 실시예에 따르면, 장치의 영상정보와 상기 장치가 설치된 공간에서 획득되는 환경정보로부터 작업데이터를 획득하는 데이터획득부, 상기 데이터획득부에서 획득된 작업데이터 중, 정상으로 분류된 정상데이터를 학습하는 인공지능 학습부, 상기 인공지능 학습부에서 학습한 정상데이터와 상기 데이터획득부에서 실시간으로 획득되는 실시간데이터를 비교분석하여 분석값을 연산하는 분석부 및 상기 분석값이 상기 정상데이터를 기준으로 기 설정된 임계값을 초과할 경우 비정상으로 판단하고, 알람을 발생시키거나 상기 장치의 작동을 중지시키는 제어부를 포함한다.
상기 분석값과 상기 실시간데이터가 저장되는 저장부 및 상기 분석값을 확인 가능하도록 표시하는 표시부를 더 포함하고, 상기 데이터획득부는 상기 영상정보를 획득하는 영상 촬영부 및 상기 환경정보를 획득하는 환경센서부를 포함하고, 상기 환경센서부는 모션센서, 음향센서, 진동센서, 근접센서, 광센서, 파티클센서, 가스감지센서, 화재감지센서, 온도센서, 습도센서를 통한 하나 이상의 정보를 획득하고, 상기 분석값은 상기 실시간데이터의 측정값을 통해 분석되는 에러값과, 기 설정된 분석시간 동안 상기 실시간데이터가 상기 임계값 범위에 포함되는 정상상태의 비율을 나타내는 정상값 및 상기 에러값이 상기 임계값을 벗어난 피크값을 포함하고, 상기 표시부는 상기 실시간데이터를 타임라인으로 표시하는 데이터표시부, 상기 에러값, 정상값 및 피크값 중 어느 하나 이상을 표시하는 값표시부, 상기 분석부의 동작유무의 상태를 표시하는 상태표시부, 상기 영상촬영부가 다수개인 경우, 상기 영상촬영부를 선택하는 촬영부 선택부, 상기 촬영부선택부로부터 선택된 영상촬영부의 실시 간 획득되는 실시간영상을 표시하는 제1영상표시부를 포함할 수 있다.
상기 분석부는 임계초과 설정값이 설정되면, 상기 임계초과설정값 이상으로 피크값이 나타난 비정상 구간을 추출하고, 상기 정상데이터와 실시간데이터의 영상정보로부터 비정상 구간의 시간에 대응하는 정상영상과 비정상 영상을 각각 추출하며, 상기 표시부는 추출된 비정상 구간을 상기 데이터표시부의 타임라인에 표시하는 오류표시부, 상기 비정상 구간이 선택되면, 선택된 비정상 구간의 비정상 영상과 정상영상을 표시하는 제2영상표시부를 더 포함할 수 있다.
본 발명의 다른 실시예에 따르면, 인공지능 학습부가 머신러닝 학습하기 위한 정상상태의 정상데이터를 획득하기 위하여, 환경정보에 대한 조건을 설정하는 조건설정단계, 상기 조건설정단계에서 설정된 조건으로 데이터획득부가 장치의 정상데이터를 획득하는 정상데이터획득단계, 인공지능 학습부가 데이터획득부에서 획득된 정상데이터를 학습하는 인공지능 학습단계, 상기 장치가 작동하는 동안, 상기 데이터획득부로 장치의 실시간데이터를 획득하는 실시간데이터획득단계, 분석부가 상기 정상데이터와 상기 실시간데이터를 비교분석하여 분석값을 연산하는 분석단계 및 제어부가 상기 분석부에서 분석한 분석값이 상기 정상데이터를 기준으로 기 설정된 임계값을 초과할 경우 비정상으로 판단하고, 알람을 발생시키거나 상기 장치의 작동을 중지시키는 제어단계를 포함한다.
이상 살펴본 바와 같은 본 발명의 효과는, 정상데이터를 인공지능 학습하고, 장치의 작동에 의한 실시간데이터에서 비정상상태를 인공지능으로 감지하도록 하는 인공지능을 이용한 스마트 팩토리의 비정상 동작 감지 시스템 및 그 방법을 제공할 수 있다.
도 1은 본 발명의 바람직한 실시예에 따른 인공지능을 이용한 스마트 팩토리의 비정상 동작 감지 시스템을 나타낸 구성도이다.
도 2 내지 도 5는 본 발명의 바람직한 실시예에 따른 인공지능을 이용한 스마트 팩토리의 비정상 동작 감지 시스템의 표시부를 통해 표시되는 상태를 나타낸 예시도이다.
도 6은 본 발명의 바람직한 실시예에 따른 인공지능을 이용한 스마트 팩토리의 비정상 동작 감지 방법을 나타낸 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 구현예(態樣, aspect)(또는 실시예)들을 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 명세서에서 사용한 용어는 단지 특정한 구현예(태양, 態樣, aspect)(또는 실시예)를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, ~포함하다~ 또는 ~이루어진다~ 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
본 명세서에서 기재한 ~제1~, ~제2~ 등은 서로 다른 구성 요소들임을 구분하기 위해서 지칭할 것일 뿐, 제조된 순서에 구애받지 않는 것이며, 발명의 상세한 설명과 청구범위에서 그 명칭이 일치하지 않을 수 있다.
이하, 본 발명의 실시예들에 의하여 인공지능을 이용한 스마트 팩토리의 비정상 동작 감지 시스템을 설명하기 위한 도면들을 참고하여 본 발명에 대해 설명하도록 한다.
도 1을 참조하면, 본 발명에 따른 인공지능을 이용한 스마트 팩토리의 비정상 동작 감지 시스템은, 데이터획득부(10), 인공지능 학습부(20), 분석부(30), 제어부(40), 저장부(50) 및 표시부(60)를 포함한다.
먼저, 데이터획득부(10)는, 장치의 영상정보와 장치가 설치된 공간에서 획득되는 환경정보로부터 작업데이터를 획득한다.
영상정보는 기 설정된 코딩에 의해 영상 또는 데이터용량이 축소될 수 있으나, 이에 한정하지 않는다.
여기서, 데이터획득부(10)는, 영상정보를 획득하는 영상촬영부(11) 및 환경정보를 획득하는 환경센서부(12)를 포함한다.
또한, 환경센서부(12)는, 모션센서, 음향센서, 진동센서, 근접센서, 광센서, 파티클센서, 가스감지센서, 화재감지센서, 온도센서, 습도센서를 통한 하나 이상의 정보를 획득할 수 있다. 이때, 각 센서는 장치가 기 구비된 장소에 설치되고, 데이터획득부(10)와 연결된다.
이렇게 데이터획득부(10)를 통해서 다양하고 다수의 정보를 획득하는 것은, 장치가 작동 중에, 외부요인에 의해서 다수의 환경정보 중 하나의 환경정보가 변화할 경우 장치에 문제 또는 작업 불량이 발생했다고 판단할 수 있다. 그러나, 변화한 환경정보는 외부요인에 의한 일시적인 변화이지 장치의 문제가 아닌 경우가 있다. 예를 들어, 장치의 작동 중, 작업자의 행동으로 인해 소음이 발생하면, 음향센서에서 오류를 감지하지만, 모션센서나 진동센서에서는 오류를 감지하지 않게 되며, 이는 장치의 작동에 문제가 없다는 것을 의미한다.
따라서, 데이터획득부(10)를 통해서 다양하고 다수의 정보를 획득함으로써, 장치의 작동에 따른 오류를 좀 더 명확하게 판단할 수 있는 것이다.
이와 같이, 데이터획득부(10)가 획득하는 영상정보와 환경정보를 작업데이터라 하며, 작업데이터는 후술할 인공지능 학습부(20)가 학습할 정상데이터와 실제 장치의 작동으로 실시간으로 획득되는 실시간데이터로 분류될 수 있다.
또한, 장치라 함은 부품 또는 제품을 생산하기 위해 반복적인 작업을 수행하는 반도체 장비 또는 로봇 등을 예로 들 수 있으나, 이에 한정하지 않는다.
인공지능 학습부(20)는, 데이터획득부(10)에서 획득된 작업데이터 중, 정상으로 분류된 정상데이터를 학습한다.
여기서, 인공지능 학습부(20)는, 머신러닝 알고리즘으로 학습할 수 있으나, 이에 한정하지 않는다.
그리고, 인공지능 학습부(20)가 머신러닝 학습하기 위해서 정상데이터를 획득하기 위한 다양한 조건을 설정할 수 있도록 조건설정부(21)를 포함할 수 있다. 이때, 조건설정부(21)로 다양한 조건을 설정하는 것을 레시피라 한다. 즉, 정상데이터는 레시피의 설정에 따라 오류없이 장치의 정상작동이 이루어질 때 획득되는 데이터를 말한다. 그리고, 레시피와 정상데이터는 환경센서부(12)의 센서별로 설정 및 획득되며, 각 센서로 획득되는 정보를 통해서 장치의 오류를 종합적으로 판단하고, 제어가 가능하다.
도 2의 (a)를 참조하면, 조건설정부(21)는 레시피의 이름, 생산부서, 사용자 이름 등을 입력할 수 있으며, 하나 이상의 레시피를 설정, 저장, 삭제 등을 할 수 있다.
그리고, 도 2의 (b)를 참조하면, 조건설정부(21)는 환경정보를 획득하기 위한 센서의 종류를 선택할 수 있으며, 각 센서로부터 획득되는 에러값이 기 설정된 임계값을 초과한 피크값을 설정할 수 있다.
여기서, 피크값은 에러값이 임계값을 초과하는 정도를 %로 설정될 수 있다. 그리고, %를 민감도(아라비아 숫자)로 표기할 수도 있다. 예를 들어, 임계초과값이 5%이면 민감도를 '1'로 표기할 수 있다.
그리고, 피크값이 획득되는 경우, 피크값에 따라 오류를 표시하는 오류표시 동작을 설정할 수 있다.
오류표시 동작의 예로는, 'Pass', 'Warning Pop-up', 'EMC'가 있을 수 있다.
'Pass'는 특정 동작없이 오류값만 저장할 수 있다. 'Warning Pop-up'은 후술할 표시부(60)에 경고팝업창을 띄우고, 이상감지에 대한 기 설정된 메시지를 표시할 수 있다. 또한, 'EMC'는 비상정지가 이루어지도록 할 수 있다.
또한, 도 2의 (c)를 참조하면, 조건설정부(21)는 오류값 중 최고값을 표시하되, 작업공정 1주기, 하루, 한달 등을 선택하여 표시할 수 있다.
그리고, 도 2의 (d)를 참조하면, 레시피의 머신러닝 학습시간을 설정할 수 있다.
또한, 도 2의 (e)를 참조하면, 조건설정부(21)는 후술할 분석부(30)가 비정상영상(14)을 추출하는 경우, 오류가 발생한 시점을 기준으로 전후에 포함될 영상의 추출시간을 설정할 수 있다. 예를 들어, 조건설정부(21)로 추출시간이 3초로 설정된 경우, 실시간데이터의 영상정보에서 3분 15초에서 오류가 발생하였고, 3분 15초에 대응하는 비정상영상(14)을 추출할 때, 비정상영상(14)은 3분 12초부터 18초까지의 영상일 수 있는 것이다.
그리고, 도 2의 (f)를 참조하면, 조건설정부(21)는 추출된 비정상영상(14)의 저장위치 등을 설정할 수 있다.
상술한 바와 같이, 조건설정부(21)로 설정된 레시피를 통해 장치의 작업이 오류없이 진행된 경우, 정상데이터가 획득된다. 또한, 레시피를 통해서 정상데이터가 생성될 수도 있다.
분석부(30)는 인공지능 학습부(20)에서 학습한 정상데이터와 데이터획득부(10)에서 실시간으로 획득되는 실시간데이터를 비교분석한다.
또한, 분석부(30)의 분석값은 실시간데이터의 측정값을 통해 분석되는 에러값과, 기 설정된 분석시간 동안 실시간데이터가 임계값 범위에 포함되는 정상상태의 비율을 나타내는 정상값 및 에러값이 임계값을 벗어난 피크값을 포함할 수 있다.
여기서, 정상값은 기 설정된 분석시간 동안에서 오류값이 임계값 범위에 포함됨을 정상상태를 %로 나타낼 수 있으며, 피크값은 에러값이 임계값을 초과한 정도를 %로 나타낼 수 있다.
그리고, 분석부(30)는, 임계초과설정값이 설정되면, 임계초과설정값 이상으로 피크값이 나타난 비정상 구간을 추출하고, 정상데이터와 실시간데이터의 영상정보로부터 비정상 구간의 시간에 대응하는 정상영상(13)과 비정상영상(14)을 각각 추출한다.
이때, 추출되는 비정상영상(14)은 조건설정부(21)에서 설정된 추출시간에 따라 추출된다.
여기서, 에러값은, 하기 수학식 1에 의해 산출될 수 있다.
수학식 1에서 표준편차에 3을 곱한 이유는 표준정규분포를 가정했을 때, 99%의 신뢰도를 보이기 때문이다. 또한, 오류값이 임계값을 초과하면 비정상으로 판된다.
또한, 에러값은 낮을수록 안정적인 정상상태임을 나타낼 수 있다. 예를 들어, 에러값이 '0'이면 정상데이터와 실시간데이터가 완전일치하는 것을 나타내는 것이다. 그러나, 에러값이 '0'이 될 확률은 매우 낮다. 그 이유는 정상데이터를 획득할 때와 실시간데이터가 획득될 때의 환경에서 온도, 습도, 바람 등의 미세한 차이가 발생하기 때문이다. 이에 따라, 에러값에 대한 임계값을 설정하되, 임계값은 사용자에 의해 센서별로 각각 다르게 설정될 수 있다.
또한, 피크값은 하기 수학식 2에 의해 산출될 수 있다.
이때, 후술할 제어부(40)는 피크값에 따라 설정한 알람이 발생시킬 수 있으며, 그 알람은 피크값에 따라 다르게 발생할 수 있다. 상술한 분석부(30)를 통한 각 센서의 분석값은 데이터마이닝의 데이터로 활용될 수 있으며, 데이터마이닝으로 현장의 잠재적 사고가능성을 복합적으로 예지하고 분석할 수 있다.
제어부(40)는 분석부(30)에서 분석한 분석값이 정상데이터를 기준으로 기 설정된 임계값을 초과할 경우 비정상으로 판단하고, 알람을 발생시키거나 장치의 작동을 중지시킨다.
이때, 제어부(40)는 하나의 센서에 대해 피크값이 발생하면 알람을 발생시 킬 수 있으나, 바람직하게는 비정상상태를 보다 정확하게 판단하기 위해서 환경센 서부(12)의 모든 센서에 대해서 에러값이 임계값을 초과했을 때 알람을 발생시키는 것일 수 있으나, 이에 한정하지 않는다.
저장부(50)는 분석부(30)에서 분석한 분석값과 실시간데이터가 저장된다. 또한, 영상정보와 환경정보도 저장될 수 있다. 특히, 영상정보가 저장될 때는 기 설정된 코딩에 의해 압축되어 저장될 수 있다.
도 3 내지 도 5를 참조하면, 표시부(60)는 분석부(30)의 분석값을 확인가 능하도록 표시한다.
이러한 표시부(60)는 데이터표시부(61), 값표시부(62), 상태표시부(63), 촬영부선택부(64), 제1영상표시부(65), 오류표시부(66) 및 제2영상표시부(67)를 포 함한다.
도 3을 참조하면, 데이터표시부(61)는 정상데이터와 실시간데이터를 타임 라인으로 표시할 수 있다. 이때, 데이터표시부(61)는 환경센서부(12)의 각 센서마 다 타임라인을 표시할 수 있다. 그리고, 데이터표시부(61)는 기 설정된 레시피가 선택됨에 따라 타임라인을 표시할 수 있다.
값표시부(62)는 정상값과 피크값을 표시한다. 이때, 피크값은 기 설정된 기간 동안 에러값이 임계값을 가장 높게 벗어난 값으로 표시될 수 있다.
상태표시부(63)는 분석부(30)의 동작유무의 상태를 표시한다.
이때, 상태표시부(63)는 레시피가 선택되지 않고, 분석버튼(68)이 선택되면 'Please select A.I Recipe'와 같은 메시지를 표시할 수 있다.
또한, 분석버튼(68)의 경우, 분석부(30)가 동작하는 동안 칼라로 표시되고, 동작하지 않을 경우에는 흑백으로 표시될 수 있다.
촬영부선택부(64)는 영상촬영부(11)가 다수개인 경우, 영상촬영부(11)를 선택할 수 있다. 예를 들어, 영상촬영부(11)가 4개일때, 각 영상촬영부(11)를 선택 하거나 전부 선택을 할 수 있다.
제1영상표시부(65)는 촬영부선택부(64)로부터 선택된 영상촬영부(11)의 실시간 획득되는 실시간영상을 표시한다. 또한, 제1영상표시부(65)는 디스플레이부(모니터)의 전체화면으로 표시할 수도 있다.
오류표시부(66)는 분석부(30)로부터 추출된 비정상 구간을 데이터표시부(61)의 타임라인에 표시할 수 있다.
제2영상표시부(67)는 비정상 구간이 선택되면, 선택된 비정상 구간의 비 정상영상(14)과 정상영상(13)을 표시한다.
예를 들어, 도 4를 참조하면, 표시부(60)는 환경센서, 분석기간, 시기 및 피크값을 선택할 수 있다. 이에 따라, 표시부(60)는 분석부(30)의 분석값을 표시한 다.
특히, 피크값이 선택됨에 따라, 피크값에 해당하는 비정상 구간이 분석부(30)로부터 추출되며, 비정상 구간은 타임라인에 표시된다. 도 4와 같이, 피크값이 20%로 선택되면, 20% 이상인 비정상 구간이 녹색바로 타임라인에 표시된다. 그리고, 녹색바가 선택되면 빨간색바로 변경되어 표시된다. 이때, 빨간색바로 변경된 비정상 구간의 비정상영상(14)과 정상영상(13)이 표시되며, 피크값도 함께 표시된다.
표시부(60)는 비정상영상(14)과 정상영상(13)을 동시 또는 각각 재생시킬 수 있다.
이와 같이, 비정상 구간의 비정상영상(14)과 정상영상(13)을 확인함에 따라, 보다 정확하고 신속히 비정상상태를 확인할 수 있다.
그리고, 표시부(60)는 비정상영상(14)을 재생할 때, 음향센서로 획득된 음향정보와 싱크로하여 소리를 출력할 수도 있다.
또한, 레시피가 다수로 설정된 경우에는, 도 5와 같이, 분석부(30)가 분석 하는 분석값을 다수 확인할 수 있다.
한편, 도 6을 참조하면, 본 발명에 따른 인공지능을 이용한 스마트 팩토리의 비정상 동작 감지 방법은 조건설정단계(S10), 정상데이터획득단계(S20), 인공지능 학습단계(S30), 실시간데이터획득단계(S40), 분석단계(S50), 제어단계(S60)를 포함한다.
조건설정 단계(S10)는 인공지능 학습부(20)가 머신러닝 학습하기 위한 정상상태의 정상데이터를 획득하기 위하여, 환경정보에 대한 조건을 설정한다. 즉, 레시피를 설정한다.
정상데이터획득단계(S20)는 조건설정단계(S10)에서 설정된 조건으로 데이터획득부(10)가 장치의 정상데이터를 획득한다.
인공지능 학습단계(S30)는 인공지능 학습부(20)가 데이터획득부(10)에서 획득된 정상데이터를 학습한다.
실시간데이터 획득단계(S40)는 장치가 작동하는 동안, 데이터획득부(10)로 장치의 실시간데이터를 획득한다.
분석단계(S50)는 정상데이터와 실시간데이터를 비교분석한다.
제어단계(S60)는 제어부(40)가 분석부(30)에서 분석한 분석값이 정상데이 터를 기준으로 기 설정된 임계값을 초과할 경우 비정상으로 판단하고, 알람을 발생 시키거나 상기 장치의 작동을 중지시킨다.
여기서, 인공지능을 이용한 스마트 팩토리의 비정상 동작 감 지 방법에 대한 상세한 설명은, 인공지능을 이용한 스마트 팩토리의 비정상 동작 감지 시스템의 구성에 의해 이루어지는 동일하므로, 생략한다.
10: 데이터획득부 11: 영상촬영부
12: 환경센서부 13: 정상영상
14: 비정상영상 20: 인공지능 학습 부
21: 조건설정부 30: 분석부
40: 제어부 50: 저장부
60: 표시부 61: 데이터표시부
62: 값표시부 63: 상태표시부
64: 촬영부선택부 65: 제1영상표시부
66: 오류표시부 67: 제2영상표시 부
68: 분석버튼

Claims (4)

  1. 장치의 영상정보와, 상기 장치가 설치된 공간에서 획득되는 환경정보로부터 작업데이터를 획득하는 데이터획득부;
    상기 데이터획득부에서 획득된 작업데이터 중, 정상으로 분류된 정상데이터를 학습하는 인공지능 학습부;
    상기 인공지능 학습부에서 학습한 정상데이터와 상기 데이터획득부에서 실시간으로 획득되는 실시간데이터를 비교분석하여 분석값을 연산하는 분석부; 및
    상기 분석값이 상기 정상데이터를 기준으로 기 설정된 임계값을 초과할 경우 비정상으로 판단하고, 알람을 발생 시키거나 상기 장치의 작동을 중지시키는 제어부;를 포함하는 인공지능을 이용한 스마트 팩토리의 비정상 동작 감지 시스템.
  2. 제1항에 있어서,
    상기 분석값과 상기 실시간데이터가 저장되는 저장부; 및
    상기 분석값을 확인 가능하도록 표시하는 표시부;를 더 포함하고,
    상기 데이터획득부는 상기 영상정보를 획득하는 영상촬영부 및 상기 환경정보를 획득하는 환경센서부를 포함하고,
    상기 환경센서부는 모션센서, 음향센서, 진동센서, 근접센서, 광센서, 파티클센서, 가스감지센서, 화재감지센서, 온도센서, 습도센서를 통한 하나 이상의 정보를 획득하고,
    상기 분석값은 상기 실시간데이터의 측정값을 통해 분석되는 에러값과, 기 설정된 분석시간 동안 상기 실시간데이터가 상기 임계값 범위에 포함되는 정상상태의 비율을 나타내는 정상값 및 상기 에러값이 상기 임계값을 벗어난 피크값을 포함하고,
    상기 표시부는,
    상기 실시간데이터를 타임라인으로 표시하는 데이터표시부,
    상기 에러값, 정상값 및 피크값 중 어느 하나 이상을 표시하는 값표시부,
    상기 분석부의 동작유무의 상태를 표시하는 상태표시부,
    상기 영상촬영부가 다수개인 경우, 상기 영상촬영부를 선택하는 촬영부 선택부,
    상기 촬영부선택부로부터 선택된 영상촬영부의 실시 간 획득되는 실시간영상을 표시하는 제1영상표시부를 포함하는 인공지능을 이용한 스마트 팩토리의 비정상 동작 감지 시스템.
  3. 제2항에 있어서,
    상기 분석부는,
    임계초과 설정값이 설정되면, 상기 임계초과설정값 이상으로 피크값이 나타난 비정상 구간을 추출하고, 상기 정상데이터와 실시간데이터의 영상정보로부터 비정상 구간의 시간에 대응하는 정상영상과 비정상영상을 각각 추출하며,
    상기 표시부는,
    추출된 비정상 구간을 상기 데이터표시부의 타임라인에 표시하는 오류표시부
    상기 비정상 구간이 선택되면, 선택된 비정상 구간의 비정상영상과 정상영상을 표시하는 제2영상표시부를 더 포함하는 인공지능을 이용한 스마트 팩토리의 비정상 동작 감지 시스템.
  4. 인공지능 학습부가 머신러닝 학습하기 위한 정상상태의 정상데이터를 획득하기 위하여, 환경정보에 대한 조건을 설정하는 조건설정단계;
    상기 조건설정단계에서 설정된 조건으로 데이터획득부가 장치의 정상데이터를 획득하는 정상데이터획득단계;
    인공지능 학습부가 데이터획득부에서 획득된 정상데이터를 학습하는 인공지능 학습단계;
    상기 장치가 작동하는 동안, 상기 데이터획득부로 장치의 실시간데이터를 획득하는 실시간데이터획득단계;
    분석부가 상기 정상데이터와 상기 실시간데이터를 비교분석하여 분석값을 연산하는 분석단계; 및
    제어부가 상기 분석부에서 분석한 분석값이 상기 정상데이터를 기준으로 기 설정된 임계값을 초과할 경우 비정상으로 판단하고, 알람을 발생시키거나 상기 장치의 작동을 중지시키는 제어단계;를 포함하는 인공지능을 이용한 스마트 팩토리의 비정상 동작 감지 방법.
KR1020220057676A 2022-05-11 2022-05-11 인공지능을 이용한 스마트 팩토리의 비정상 동작 감지 시스템 및 그 방법 KR20230159657A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220057676A KR20230159657A (ko) 2022-05-11 2022-05-11 인공지능을 이용한 스마트 팩토리의 비정상 동작 감지 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220057676A KR20230159657A (ko) 2022-05-11 2022-05-11 인공지능을 이용한 스마트 팩토리의 비정상 동작 감지 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR20230159657A true KR20230159657A (ko) 2023-11-21

Family

ID=88982276

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220057676A KR20230159657A (ko) 2022-05-11 2022-05-11 인공지능을 이용한 스마트 팩토리의 비정상 동작 감지 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR20230159657A (ko)

Similar Documents

Publication Publication Date Title
US20120254664A1 (en) Automatic test system for digital display systems
WO2019146315A1 (ja) 異常検知システム、異常検知方法、および、プログラム
JP6668262B2 (ja) 自動的なレシピ安定性の監視および報告
KR101683195B1 (ko) 다중 카메라를 이용한 영상 진단 장치
US11836911B2 (en) Image data management method, production apparatus, production system, image data management method for production system, and non-transitory computer-readable recording medium
WO2017138238A1 (ja) 監視装置及び監視装置の制御方法
US20180149557A1 (en) Information processing apparatus, information processing system, information processing method, and information processing program
US20190300030A1 (en) Method and apparatus for identifying faults for a technical system
JP2012198606A (ja) フィールド機器
JP2021179740A (ja) 監視装置、監視方法、プログラムおよびモデル訓練装置
JP6540532B2 (ja) 監視装置及び監視装置の制御方法
US9720015B2 (en) Intelligent visualization in the monitoring of process and/or system variables
JP7481956B2 (ja) 推論装置、方法、プログラムおよび学習装置
KR20230159657A (ko) 인공지능을 이용한 스마트 팩토리의 비정상 동작 감지 시스템 및 그 방법
JP5710230B2 (ja) 監視システムおよび監視方法
US20140257752A1 (en) Analyzing measurement sensors based on self-generated calibration reports
JP4980687B2 (ja) 監視システム
JPH11125694A (ja) 原子力プラント室内総合監視システム
KR20030020535A (ko) 유공압 솔레노이드밸브 성능진단 장치 및 그 방법
JP2011039676A (ja) 監視装置及び警報通知方法
JP2020198047A (ja) 稼働監視装置及び稼働監視方法
DE102009043080A1 (de) Verfahren zur Detektion von Rauch und/oder Flammen und Detektionssystem
WO2022149465A1 (ja) 解析装置、解析システム、解析プログラム、および解析方法
US20240046609A1 (en) Information processing apparatus, information processing method, and program
KR102283187B1 (ko) 전투 체계의 장비 모니터링 방법