KR20220095167A - 인공지능 검증 시스템 및 방법 - Google Patents

인공지능 검증 시스템 및 방법 Download PDF

Info

Publication number
KR20220095167A
KR20220095167A KR1020210190810A KR20210190810A KR20220095167A KR 20220095167 A KR20220095167 A KR 20220095167A KR 1020210190810 A KR1020210190810 A KR 1020210190810A KR 20210190810 A KR20210190810 A KR 20210190810A KR 20220095167 A KR20220095167 A KR 20220095167A
Authority
KR
South Korea
Prior art keywords
data
artificial intelligence
test data
process data
test
Prior art date
Application number
KR1020210190810A
Other languages
English (en)
Inventor
임대근
김진욱
Original Assignee
(주)심플랫폼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)심플랫폼 filed Critical (주)심플랫폼
Publication of KR20220095167A publication Critical patent/KR20220095167A/ko
Priority to PCT/KR2022/019013 priority Critical patent/WO2023128320A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/418—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM]
    • G05B19/41885—Total factory control, i.e. centrally controlling a plurality of machines, e.g. direct or distributed numerical control [DNC], flexible manufacturing systems [FMS], integrated manufacturing systems [IMS], computer integrated manufacturing [CIM] characterised by modeling, simulation of the manufacturing system
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0221—Preprocessing measurements, e.g. data collection rate adjustment; Standardization of measurements; Time series or signal analysis, e.g. frequency analysis or wavelets; Trustworthiness of measurements; Indexes therefor; Measurements using easily measured parameters to estimate parameters difficult to measure; Virtual sensor creation; De-noising; Sensor fusion; Unconventional preprocessing inherently present in specific fault detection methods like PCA-based methods
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0243—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults model based detection method, e.g. first-principles knowledge model

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Manufacturing & Machinery (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Debugging And Monitoring (AREA)

Abstract

본 발명의 일실시예에 따른 인공지능 검증 시스템은 공정장비로부터 공정 데이터를 수신하는 센싱부, 상기 공정 데이터를 변환하여 테스트 데이터를 생성하는 테스트 데이터 생성부, 상기 테스트 데이터를 읽어 실제 공정 데이터와 동일한 형태로 상기 센싱부에 전송하는 시뮬레이션부, 상기 시뮬레이션부에서 전송되는 테스트 데이터를 수신하여 인공지능 모델을 이용하여 이상여부를 판단하는 이상여부 판단부 및 상기 테스트 데이터 및 상기 이상여부 판단부의 판단 결과를 비교하여 상기 인공지능 모델의 적정성을 판단하는 인공지능 검증부를 포함하여 구성될 수 있다.

Description

인공지능 검증 시스템 및 방법 {Artificial Intelligence Verification System and Method}
본 발명은 인공지능 검증 시스템 및 방법에 관한 것으로, 지능형 공장 등에서 데이터분석을 수행중인 인공지능이 적절한 분석 동작을 수행하고 있는지 분석하는 시스템 및 방법에 관한 것이다.
인공지능 기술의 도입이 활발해지면서, 다양한 분야에서 인공지능 기술이 활용되고 있다. 특히, 지능형 공장 등과 같이 여러 기계장치, 공정을 관리해야 하는 상황에서 인공지능이 각 공정 및 기계장치의 상태를 모니터링하고 이상신호를 감지하여 관리자에게 제공하는 것은 복잡한 공정 관리에 활용되고 있다.
그러나, 인공지능 기술의 경우 이상여부를 판단하는 판단 과정을 설명하지 않고 분석결과만을 제시하기 때문에, 적정한 판단이 이루어졌는지를 검증하는 것이 매우 어렵다.
종래기술인 한국공개특허 제10-2020-090061호, "인공신경망 모델의 검증 방법 및 장치"는 이와 같은 인공신경망을 검증하기 위한 것으로 학습 프로세스의 실행에 따라 생성되는 체크포인트에서 검증을 수행하는 기능을 제공하고 있다. 이와 같이 종래기술에서는 학습 과정에서 인공지능이 적절한 모델을 구축하는지를 검증하는 경우가 많은데, 실제 적용된 상황에서 인공지능이 적정하게 동작하는지를 검증하는 데에는 어려움이 있다.
한국공개특허 제10-2020-090061호
본 발명은 인공지능 검증을 통해 인공지능이 적정하게 동작하고 있는지 판단할 수 있도록 하는 것을 목적으로 한다.
본 발명은 실제 운영중인 환경에서 인공지능을 검증할 수 있도록 하여 실제 환경에 부합하는 인공지능 검증이 이루어질 수 있도록 하는 것을 목적으로 한다.
본 발명은 별도의 테스트 데이터 셋을 생성하여 인공지능을 검증함으로써, 실제 운영중인 환경에 영향을 주지 않고도 인공지능 검증이 이루어질 수 있도록 하는 것을 목적으로 한다.
이러한 목적을 달성하기 위하여 본 발명의 일실시예에 따른 인공지능 검증 시스템은 공정장비로부터 공정 데이터를 수신하는 센싱부, 상기 공정 데이터를 변환하여 테스트 데이터를 생성하는 테스트 데이터 생성부, 상기 테스트 데이터를 읽어 실제 공정 데이터와 동일한 형태로 상기 센싱부에 전송하는 시뮬레이션부, 상기 시뮬레이션부에서 전송되는 테스트 데이터를 수신하여 인공지능 모델을 이용하여 이상여부를 판단하는 이상여부 판단부 및 상기 테스트 데이터 및 상기 이상여부 판단부의 판단 결과를 비교하여 상기 인공지능 모델의 적정성을 판단하는 인공지능 검증부를 포함하여 구성될 수 있다.
이 때, 테스트 데이터 생성부는 이상치 데이터를 생성하기 위한 파라미터를 수신하고, 상기 수신한 파라미터를 적용하여 상기 공정 데이터를 변환하여 테스트 데이터를 생성할 수 있다.
또한, 상기 이상치 데이터를 생성하기 위한 파라미터는 상기 공정 데이터의 최고치/최저치 조정 정보를 포함하고, 상기 테스트 데이터 생성부는 상기 파라미터의 최고치/최저치 조정 정보를 참조하여 상기 공정 데이터 중 일부의 최고치/최저치를 조정하여 테스트 데이터를 생성할 수 있다.
또한, 상기 테스트 데이터 생성부는 과거의 실제 이상 발생 데이터를 학습하여 상기 공정 데이터 중 이상 발생 이전 패턴과 유사한 패턴을 탐지하고, 상기 탐지된 패턴 이후의 상기 공정 데이터에 대해서 상기 최고치/최저치 조정을 수행하여 테스트 데이터를 생성할 수 있다.
본 발명은 인공지능 검증을 통해 인공지능이 적정하게 동작하고 있는지 판단할 수 있도록 하는 효과를 얻을 수 있다.
본 발명은 실제 운영중인 환경에서 인공지능을 검증할 수 있도록 하여 실제 환경에 부합하는 인공지능 검증이 이루어질 수 있도록 하는 효과를 얻을 수 있다.
본 발명은 별도의 테스트 데이터 셋을 생성하여 인공지능을 검증함으로써, 실제 운영중인 환경에 영향을 주지 않고도 인공지능 검증이 이루어질 수 있도록 하는 효과를 얻을 수 있다.
도 1은 본 발명의 일실시예에 따른 인공지능 검증 시스템의 내부 구성을 도시한 구성도이다.
도 2는 본 발명의 일실시예에 따른 인공지능 검증 시스템이 적용된 경우의 하드웨어 구성도를 도시한 도면이다.
도 3은 본 발명의 일실시예에 따른 인공지능 검증 시스템에서 공정 데이터를 수신하여 저장하는 예시를 도시한 도면이다.
도 4는 본 발명의 일실시예에 따른 인공지능 검증 시스템에서 테스트 데이터를 생성하는 예시를 도시한 도면이다.
도 5는 본 발명의 일실시예에 따른 인공지능 검증 시스템에서 테스트 데이터를 이용하여 검증을 수행하는 예시를 도시한 도면이다.
도 6은 본 발명의 일실시예에 따른 인공지능 검증 방법의 흐름을 도시한 흐름도이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략하기로 한다. 또한 본 발명의 실시예들을 설명함에 있어 구체적인 수치는 실시예에 불과하며 이에 의하여 발명의 범위가 제한되지 아니한다.
본 발명에 따른 인공지능 검증 시스템은 중앙처리장치(CPU) 및 메모리(Memory, 기억장치)를 구비하고 인터넷 등의 통신망을 통하여 다른 단말기와 연결 가능한 서버의 형태로 구성될 수 있다. 그러나 본 발명이 중앙처리장치 및 메모리 등의 구성에 의해 한정되지는 아니한다. 또한, 본 발명에 따른 인공지능 검증 시스템은 물리적으로 하나의 장치로 구성될 수도 있으며, 복수의 장치에 분산된 형태로 구현될 수도 있다.
본 발명의 인공지능 검증 시스템의 동작은 아래의 승인기준 및 승인환경에 따라 승인된다.
[승인 기준]
인수테스트(AI 검증) 목록에 대한 검증 시 결함사항이 발생하면 결함에 대한 처리가 모두 완료된 시점을 인수테스트(AI 검증) 완료시점으로 한다. 정의된 테스트 내용대로 시스템이 정상적으로 모두 수행될 경우 테스트를 종료하고 인수 테스트(AI 검증) 승인서에 외부전문가의 최종 확인을 득한다.
[인수테스트(AI 검증) 환경]
인수테스트(AI 검증)는 실제 운영 중인 환경에서 실시한다. 단, AI 알고리즘 정확도를 검증하기 위해서는 생산 현장에서 인위적으로 문제를 일으켜서 확인하는 방법은 불가하여, 테스트 데이터 셋을 준비하여 테스트 데이터를 통하여 검증을 실시한다.
도 1은 본 발명의 일실시예에 따른 인공지능 검증 시스템의 내부 구성을 도시한 구성도이다.
본 발명의 일실시예에 따른 인공지능 검증 시스템(101)은 센싱부(110), 테스트 데이터 생성부(120), 시뮬레이션부(130), 이상여부 판단부(140) 및 인공지능 검증부(150)를 포함하여 구성될 수 있다. 각각의 구성요소들은 물리적으로 동일한 컴퓨터 시스템 내에서 동작하는 소프트웨어 모듈일 수 있으며, 물리적으로 2개 이상으로 분리된 컴퓨터 시스템이 서로 연동하여 동작할 수 있도록 구성된 형태일 수 있는데, 동일한 기능을 포함하는 다양한 실시형태가 본 발명의 권리범위에 속한다.
센싱부(110)는 공정장비로부터 공정 데이터를 수신한다. 공정 데이터는 각종 공정 장비에서 생성되는 데이터로 공정장비에서 직접 전송하는 데이터일 수도 있고, 공정장비를 모니터링하기 위한 모니터링 장치 또는 센서로부터 수집되는 데이터일 수도 있다. 공정을 모니터링하기 위한 인공지능 시스템의 경우 이 공정 데이터를 이용하여 공정의 이상 여부를 탐지하게 되는데, 이 인공지능 시스템이 공정의 이상여부를 제대로 탐지하는지를 확인하기 위해서는 실제 이 공정 데이터와 동일한 형태의 데이터를 이용하여 분석할 필요가 있다.
센싱부(110)에서 공정 데이터가 수신되면 이 정보를 인공지능 시스템에서 분석하여 공정장비의 이상 여부를 판단하기 때문에, 인공지능 시스템이 정상적으로 동작하는지 확인하기 위해서는 이 센싱부(110)에 테스트를 위한 데이터를 입력하고 인공지능 시스템의 이상여부 판단 결과를 검토하는 것이 필요하다.
따라서, 센싱부(110)는 실제 공정 데이터를 수집하는것뿐 아니라, 테스트 데이터를 입력받아 인공지능 시스템에서 내부적으로 동일하게 테스트를 수행할 수 있도록 구성될 필요가 있다.
테스트 데이터 생성부(120)는 상기 공정 데이터를 변환하여 테스트 데이터를 생성한다. 임의로 이상 상황을 만들어 내는 것은 불가능하며, 임의로 생성한 데이터를 이용하여 테스트할 경우, 실제 상황과 동일한 테스트가 진행된다고 보기 어렵기 때문에, 실제 공정장비에서 수집되는 공정 데이터를 저장하였다가, 이 데이터를 일부 변환하여 이상치를 생성함으로써, 실제 공정 환경에서 이상치가 발생되었을 때, 인공지능 시스템이 이를 제대로 탐지해 낼 수 있는지 확인할 수 있다.
테스트 데이터 생성부(120)는 이상치 데이터를 생성하기 위한 파라미터를 수신하고, 상기 수신한 파라미터를 적용하여 상기 공정 데이터를 변환하여 테스트 데이터를 생성한다. 실제 공정 데이터를 변환하여 테스트 데이터를 생성할 때에, 어느 정도의 이상치까지 인공지능 시스템이 감지해 낼 수 있는지 다양한 테스트를 수행하기 위해서는 관리자가 이상치의 적용 정도를 파라미터로 설정하여 다양한 환경에서 테스트를 할 수 있도록 해야 한다. 따라서 테스트 데이터 생성부(120)는 관리자가 설정하는 파라미터에 따라서 공정 데이터의 변환 정도를 다르게 설정하여 다양한 테스트 데이터를 생성할 수 있다.
테스트 데이터 생성부(120)에서 수신하는 이상치 데이터를 생성하기 위한 파라미터는 상기 공정 데이터의 최고치/최저치 조정 정보를 포함한다. 공정 데이터는 일반적으로 정상 범위 내에서 값이 존재하게 되며, 이상치 데이터는 이 중 특정 값이 정상범위를 벗어나서 나타나게 되는 경우가 많다. 따라서, 특정 구간의 데이터에 대해서 최고치와 최저치를 조정할 수 있도록 함으로써, 이상 데이터를 생성할 수 있다. 예를 들어, 최고치를 200%, 최저치를 30%로 변환하도록 파라미터가 설정되어 있는 경우, 공정 데이터의 변환 구간 내의 최고값을 2배로, 최저값을 30%로 각각 조정하여 테스트 데이터를 생성하도록 설정할 수 있다.
테스트 데이터 생성부(120)는 상기 파라미터의 최고치/최저치 조정 정보를 참조하여 상기 공정 데이터 중 일부의 최고치/최저치를 조정하여 테스트 데이터를 생성한다. 공정 데이터를의 최고치 및 최저치를 변환할 때에는 실제 이상 패턴이 발생하였던 과거의 데이터를 참조하여 변환하는 것이 바람직하며, 최고치 및 최저치만 조정하는 것이 아니라, 최고치 및 최저치의 주변 값들도 조정함으로써, 실제 발생될 수 있는 데이터와 유사하게 변환하는 것이 중요하다. 예를 들어, 최고치를 200%로 변환할 경우, 최고치 바로 이전의 값은 180%, 그 이전은 160%와 같은 형태로 반영하여, 실제 상황과 최대한 유사하도록 데이터를 변환할 필요가 있다.
또한, 테스트 데이터 생성부(120)는 시간 축을 조정하여 시간을 늘리거나 줄임으로써 데이터를 변환할 수 있는데, 시간을 얼마나 늘리고 줄일지에 대한 정보를 상기 파라미터에 설정하도록 함으로써, 다양한 테스트 데이터를 생성하도록 할 수 있다.
테스트 데이터 생성부(120)는 과거의 실제 이상 발생 데이터를 학습하여 상기 공정 데이터 중 이상 발생 이전 패턴과 유사한 패턴을 탐지하고, 상기 탐지된 패턴 이후의 상기 공정 데이터에 대해서 상기 최고치/최저치 조정을 수행하여 테스트 데이터를 생성한다. 전체 공정 데이터 중에서 어느 구간에 대해서 이상치를 발생시킬지를 결정하는 것도 매우 중요한데, 아무 구간에서나 랜덤하게 이상치를 발생시키게 되면 실제 오류 상황과 괴리가 발생될 수 있어, 정확한 테스트가 어려울 수 있다.
따라서, 테스트 데이터 생성부(120)는 과거 동일한 공정장비에서 오류가 발생되었던 패턴을 확인하고, 이 패턴과 최대한 유사한 패턴을 전체 공정 데이터 내에서 탐색한 뒤, 해당 패턴 이후의 구간에 대해 이상치가 발생되도록 변환함으로써, 실제 오류 상황을 최대한 유사하게 재현해 내도록 할 수 있다.
테스트 데이터 생성부(120)는 이와 같이 변환을 통해 생성한 테스트 데이터를 저장장치에 저장해 두고, 관리자가 인공지능 시스템의 인공지능 모델에 대한 테스트를 진행할 때, 이를 활용하도록 한다.
시뮬레이션부(130)는 상기 테스트 데이터를 읽어 실제 공정 데이터와 동일한 형태로 상기 센싱부에 전송한다. 상술한 바와 같이, 테스트 데이터를 이용하여 인공지능 시스템의 인공지능 모델을 테스트하기 위해서는 테스트 데이터가 실제 데이터인 것처럼 입력될 필요가 있다. 따라서, 시뮬레이션부(130)에서는 실제 데이터가 입력되는 것과 동일한 형태로 센싱부(110)에 테스트 데이터를 전송한다.
시뮬레이션부(130)에서 실제 데이터와 동일한 형태로 전송하기 위하여, 시계열적인 데이터를 해당 시점에 맞춰서 센싱부(110)에 전달할 수 있으며, 이를 통해 센싱부(110)에서는 실제 실시간으로 시계열 데이터가 입력되는 것처럼 동작하여, 실제 인공지능 시스템의 인공지능 모델이 정확히 동작하는지 테스트할 수 있다.
이상여부 판단부(140)는 상기 시뮬레이션부에서 전송되는 테스트 데이터를 수신하여 인공지능 모델을 이용하여 이상여부를 판단한다. 이상여부 판단부(140)에서는 실제 공정장비의 이상 여부를 판단하는 인공지능 모델을 이용하여 입력되는 테스트 데이터에 대한 이상치 탐지를 실행하게 된다. 따라서, 테스트 데이터에 이상치를 강제로 생성하여 입력한 뒤, 이 이상치를 인공지능 모델이 제대로 탐지해 내는지 확인할 수 있다.
이상여부 판단부(140)는 실제 공정장비의 이상을 판단하는 시스템을 그대로 활용할 수도 있고, 해당 시스템에 적용된 인공지능 모델과 동일한 모델을 적용항 백업 시스템을 이용하여 테스트를 수행하는 것도 가능하다.
인공지능 검증부(150)는 상기 테스트 데이터 및 상기 이상여부 판단부의 판단 결과를 비교하여 상기 인공지능 모델의 적정성을 판단한다. 테스트 데이터를 변환하여 이상치가 포함된 데이터를 입력하였을 때, 실제 이상여부 판단부(140)에서 이상이 있다는 판단을 하게 되면 제대로 된 이상 탐지가 이루어지고 있는 것이 된다. 따라서, 이상치가 포함된 테스트 데이터에서 이상 탐지가 이루어지는지, 이상치가 포함되지 않은 정상 테스트 데이터에서 이상이 없다는 판단을 하는지를 종합적으로 검토하여, 인공지능 모델이 적정하게 동작하는지 판단할 수 있다.
이 때, 인공지능 검증부(150)에서는 관리자가 파라미터를 다양하게 조정하여 생성한 복수의 테스트 데이터에 대한 테스트 결과를 비교하여, 어느 정도의 변형을 하였을 때부터 인공지능 모델이 이를 감지하는지를 확인할 수 있으며, 이를 통해 인공지능 모델의 정확도를 분석할 수 있다.
도 2는 본 발명의 일실시예에 따른 인공지능 검증 시스템이 적용된 경우의 하드웨어 구성도를 도시한 도면이다.
도면에 도시한 바와 같이, 본 발명에 따른 인공지능 검증 시스템은 실제 공정장비가 위치한 생산현장 내에서 수집되는 공정 데이터를 수신하여 이를 분석할 수 있도록 구성될 수 있으며, 생산현장과는 게이트웨이를 통해 연결될 수 있는 클라우드 서버 등의 원격지에 위치할 수 있다.
도면의 예시에서는 게이트웨이에서 공정 데이터를 수신하여 파일시스템 등에 파이로 저장하는 역할을 수행하고, 클라우드 서버에 설치된 인공지능 검증 시스템에서 이를 수신하여 인공지능 모델에 대한 검증을 수행하는 형태로 구현될 수 있다. 이는 실제 생산현장 내에 인공지능 검증을 위한 시스템을 두기 어려운 현실적인 문제를 고려한 것으로, 상황에 따라 물리적 구성은 달라질 수 있다.
도 3은 본 발명의 일실시예에 따른 인공지능 검증 시스템에서 공정 데이터를 수신하여 저장하는 예시를 도시한 도면이다.
도면에 도시한 바와 같이, IoT 클라우드 서버에 위치한 인공지능 시스템(AI Server)에서 인공지능 모델을 이용하여 공정 데이터를 분석하여 이상치를 탐지 또는 예측하고, 이를 통해 공정을 효율적으로 관리할 수 있도록 한다.
이 때, 게이트웨이에서 전달되는 공정 데이터를 파일 형태로 저장해 두고, 이를 클라우드 서버에 설치된 인공지능 검증 시스템에서 분석하여 인공지능 모델이 적정하게 동작하는지 판단할 수 있다.
도 4는 본 발명의 일실시예에 따른 인공지능 검증 시스템에서 테스트 데이터를 생성하는 예시를 도시한 도면이다.
도면에 도시한 것처럼 게이트웨이에서는 설정 파일(Configure File)에 저장되어 있는 파라미터 값을 읽어 이를 기반으로 앞서 도 3에서 저장한 공정 데이터를 변환하여 테스트 데이터를 생성하게 된다. 이 때, 설정 파일(Configure File)에 기록되어 있는 파라미터 값을 관리자가 조정함에 따라서 다양한 상황의 테스트 데이터가 생성될 수 있고 이를 통하여 다양한 관점에서 인공지능 모델을 검증하는 것이 가능하게 된다.
도 5는 본 발명의 일실시예에 따른 인공지능 검증 시스템에서 테스트 데이터를 이용하여 검증을 수행하는 예시를 도시한 도면이다.
도면에 도시한 것처럼, 인공지능 모델을 검증하기 위해서는 실제 공정장비가 아닌 시뮬레이션부(도면에서 PLC Simulator)에서 테스트 데이터를 읽어 클라우드 서버에 위치한 인공지능 시스템으로 전송하게 된다.
이처럼 실제 데이터가 아닌 이상치로 변형한 테스트 데이터를 동일한 시스템에 전송함으로써, 이와 같은 이상치가 발생하였을 때, 정확하게 이를 탐지하고 예측해 낼 수 있는지 검증하는 것이 가능하다.
도 6은 본 발명의 일실시예에 따른 인공지능 검증 방법의 흐름을 도시한 흐름도이다.
본 발명에 따른 인공지능 검증 방법은 중앙처리장치 및 메모리를 구비하는 인공지능 검증 시스템(101)에서 동작하는 인공지능 검증 방법에 관한 것으로 이와 같은 컴퓨팅 시스템에서 구동될 수 있다.
따라서, 인공지능 검증 방법은 상술한 인공지능 검증 시스템(101)에 대하여 설명된 특징적인 구성을 모두 포함하고 있으며, 아래의 설명에서 생략되어 있는 경우라도, 상술한 인공지능 검증 시스템(101)에 대한 설명을 참조하여 구현할 수 있다.
센싱 단계(S601)는 공정장비로부터 공정 데이터를 수신한다. 공정 데이터는 각종 공정 장비에서 생성되는 데이터로 공정장비에서 직접 전송하는 데이터일 수도 있고, 공정장비를 모니터링하기 위한 모니터링 장치 또는 센서로부터 수집되는 데이터일 수도 있다. 공정을 모니터링하기 위한 인공지능 시스템의 경우 이 공정 데이터를 이용하여 공정의 이상 여부를 탐지하게 되는데, 이 인공지능 시스템이 공정의 이상여부를 제대로 탐지하는지를 확인하기 위해서는 실제 이 공정 데이터와 동일한 형태의 데이터를 이용하여 분석할 필요가 있다.
센싱 단계(S601)에서 공정 데이터가 수신되면 이 정보를 인공지능 시스템에서 분석하여 공정장비의 이상 여부를 판단하기 때문에, 인공지능 시스템이 정상적으로 동작하는지 확인하기 위해서는 이 센싱부(110)에 테스트를 위한 데이터를 입력하고 인공지능 시스템의 이상여부 판단 결과를 검토하는 것이 필요하다.
따라서, 센싱 단계(S601)는 실제 공정 데이터를 수집하는것뿐 아니라, 테스트 데이터를 입력받아 인공지능 시스템에서 내부적으로 동일하게 테스트를 수행할 수 있도록 구성될 필요가 있다.
테스트 데이터 생성 단계(S602)는 상기 공정 데이터를 변환하여 테스트 데이터를 생성한다. 임의로 이상 상황을 만들어 내는 것은 불가능하며, 임의로 생성한 데이터를 이용하여 테스트할 경우, 실제 상황과 동일한 테스트가 진행된다고 보기 어렵기 때문에, 실제 공정장비에서 수집되는 공정 데이터를 저장하였다가, 이 데이터를 일부 변환하여 이상치를 생성함으로써, 실제 공정 환경에서 이상치가 발생되었을 때, 인공지능 시스템이 이를 제대로 탐지해 낼 수 있는지 확인할 수 있다.
테스트 데이터 생성 단계(S602)는 이상치 데이터를 생성하기 위한 파라미터를 수신하고, 상기 수신한 파라미터를 적용하여 상기 공정 데이터를 변환하여 테스트 데이터를 생성한다. 실제 공정 데이터를 변환하여 테스트 데이터를 생성할 때에, 어느 정도의 이상치까지 인공지능 시스템이 감지해 낼 수 있는지 다양한 테스트를 수행하기 위해서는 관리자가 이상치의 적용 정도를 파라미터로 설정하여 다양한 환경에서 테스트를 할 수 있도록 해야 한다. 따라서 테스트 데이터 생성부(120)는 관리자가 설정하는 파라미터에 따라서 공정 데이터의 변환 정도를 다르게 설정하여 다양한 테스트 데이터를 생성할 수 있다.
테스트 데이터 생성 단계(S602)에서 수신하는 이상치 데이터를 생성하기 위한 파라미터는 상기 공정 데이터의 최고치/최저치 조정 정보를 포함한다. 공정 데이터는 일반적으로 정상 범위 내에서 값이 존재하게 되며, 이상치 데이터는 이 중 특정 값이 정상범위를 벗어나서 나타나게 되는 경우가 많다. 따라서, 특정 구간의 데이터에 대해서 최고치와 최저치를 조정할 수 있도록 함으로써, 이상 데이터를 생성할 수 있다. 예를 들어, 최고치를 200%, 최저치를 30%로 변환하도록 파라미터가 설정되어 있는 경우, 공정 데이터의 변환 구간 내의 최고값을 2배로, 최저값을 30%로 각각 조정하여 테스트 데이터를 생성하도록 설정할 수 있다.
테스트 데이터 생성 단계(S602)는 상기 파라미터의 최고치/최저치 조정 정보를 참조하여 상기 공정 데이터 중 일부의 최고치/최저치를 조정하여 테스트 데이터를 생성한다. 공정 데이터를의 최고치 및 최저치를 변환할 때에는 실제 이상 패턴이 발생하였던 과거의 데이터를 참조하여 변환하는 것이 바람직하며, 최고치 및 최저치만 조정하는 것이 아니라, 최고치 및 최저치의 주변 값들도 조정함으로써, 실제 발생될 수 있는 데이터와 유사하게 변환하는 것이 중요하다. 예를 들어, 최고치를 200%로 변환할 경우, 최고치 바로 이전의 값은 180%, 그 이전은 160%와 같은 형태로 반영하여, 실제 상황과 최대한 유사하도록 데이터를 변환할 필요가 있다.
또한, 테스트 데이터 생성 단계(S602)는 시간 축을 조정하여 시간을 늘리거나 줄임으로써 데이터를 변환할 수 있는데, 시간을 얼마나 늘리고 줄일지에 대한 정보를 상기 파라미터에 설정하도록 함으로써, 다양한 테스트 데이터를 생성하도록 할 수 있다.
테스트 데이터 생성 단계(S602)는 과거의 실제 이상 발생 데이터를 학습하여 상기 공정 데이터 중 이상 발생 이전 패턴과 유사한 패턴을 탐지하고, 상기 탐지된 패턴 이후의 상기 공정 데이터에 대해서 상기 최고치/최저치 조정을 수행하여 테스트 데이터를 생성한다. 전체 공정 데이터 중에서 어느 구간에 대해서 이상치를 발생시킬지를 결정하는 것도 매우 중요한데, 아무 구간에서나 랜덤하게 이상치를 발생시키게 되면 실제 오류 상황과 괴리가 발생될 수 있어, 정확한 테스트가 어려울 수 있다.
따라서, 테스트 데이터 생성 단계(S602)는 과거 동일한 공정장비에서 오류가 발생되었던 패턴을 확인하고, 이 패턴과 최대한 유사한 패턴을 전체 공정 데이터 내에서 탐색한 뒤, 해당 패턴 이후의 구간에 대해 이상치가 발생되도록 변환함으로써, 실제 오류 상황을 최대한 유사하게 재현해 내도록 할 수 있다.
테스트 데이터 생성 단계(S602)는 이와 같이 변환을 통해 생성한 테스트 데이터를 저장장치에 저장해 두고, 관리자가 인공지능 시스템의 인공지능 모델에 대한 테스트를 진행할 때, 이를 활용하도록 한다.
시뮬레이션 단계(S603)는 상기 테스트 데이터를 읽어 실제 공정 데이터와 동일한 형태로 상기 센싱부에 전송한다. 상술한 바와 같이, 테스트 데이터를 이용하여 인공지능 시스템의 인공지능 모델을 테스트하기 위해서는 테스트 데이터가 실제 데이터인 것처럼 입력될 필요가 있다. 따라서, 시뮬레이션부(130)에서는 실제 데이터가 입력되는 것과 동일한 형태로 센싱부(110)에 테스트 데이터를 전송한다.
시뮬레이션 단계(S603)에서 실제 데이터와 동일한 형태로 전송하기 위하여, 시계열적인 데이터를 해당 시점에 맞춰서 센싱 단계(S601)에 전달할 수 있으며, 이를 통해 센싱 단계(S601)에서는 실제 실시간으로 시계열 데이터가 입력되는 것처럼 동작하여, 실제 인공지능 시스템의 인공지능 모델이 정확히 동작하는지 테스트할 수 있다.
이상여부 판단 단계(S604)는 상기 시뮬레이션부에서 전송되는 테스트 데이터를 수신하여 인공지능 모델을 이용하여 이상여부를 판단한다. 이상여부 판단부(140)에서는 실제 공정장비의 이상 여부를 판단하는 인공지능 모델을 이용하여 입력되는 테스트 데이터에 대한 이상치 탐지를 실행하게 된다. 따라서, 테스트 데이터에 이상치를 강제로 생성하여 입력한 뒤, 이 이상치를 인공지능 모델이 제대로 탐지해 내는지 확인할 수 있다.
이상여부 판단 단계(S604)는 실제 공정장비의 이상을 판단하는 시스템을 그대로 활용할 수도 있고, 해당 시스템에 적용된 인공지능 모델과 동일한 모델을 적용항 백업 시스템을 이용하여 테스트를 수행하는 것도 가능하다.
인공지능 검증 단계(S605)는 상기 테스트 데이터 및 상기 이상여부 판단부의 판단 결과를 비교하여 상기 인공지능 모델의 적정성을 판단한다. 테스트 데이터를 변환하여 이상치가 포함된 데이터를 입력하였을 때, 실제 이상여부 판단부(140)에서 이상이 있다는 판단을 하게 되면 제대로 된 이상 탐지가 이루어지고 있는 것이 된다. 따라서, 이상치가 포함된 테스트 데이터에서 이상 탐지가 이루어지는지, 이상치가 포함되지 않은 정상 테스트 데이터에서 이상이 없다는 판단을 하는지를 종합적으로 검토하여, 인공지능 모델이 적정하게 동작하는지 판단할 수 있다.
이 때, 인공지능 검증 단계(S605)에서는 관리자가 파라미터를 다양하게 조정하여 생성한 복수의 테스트 데이터에 대한 테스트 결과를 비교하여, 어느 정도의 변형을 하였을 때부터 인공지능 모델이 이를 감지하는지를 확인할 수 있으며, 이를 통해 인공지능 모델의 정확도를 분석할 수 있다.
본 발명에 따른 인공지능 검증 방법은 컴퓨터가 실행하도록 기능시키기 위한 프로그램으로 제작되어 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.
컴퓨터로 읽을 수 있는 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CDROM, DVD 와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.
프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서는 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있다.
101: 인공지능 검증 시스템
110: 센싱부 120: 테스트 데이터 생성부
130: 시뮬레이션부 140: 이상여부 판단부
150: 인공지능 검증부

Claims (9)

  1. 공정장비로부터 공정 데이터를 수신하는 센싱부;
    상기 공정 데이터를 변환하여 테스트 데이터를 생성하는 테스트 데이터 생성부;
    상기 테스트 데이터를 읽어 실제 공정 데이터와 동일한 형태로 상기 센싱부에 전송하는 시뮬레이션부;
    상기 시뮬레이션부에서 전송되는 테스트 데이터를 수신하여 인공지능 모델을 이용하여 이상여부를 판단하는 이상여부 판단부; 및
    상기 테스트 데이터 및 상기 이상여부 판단부의 판단 결과를 비교하여 상기 인공지능 모델의 적정성을 판단하는 인공지능 검증부
    를 포함하는 것을 특징으로 하는 인공지능 검증 시스템.
  2. 제1항에 있어서,
    테스트 데이터 생성부는
    이상치 데이터를 생성하기 위한 파라미터를 수신하고, 상기 수신한 파라미터를 적용하여 상기 공정 데이터를 변환하여 테스트 데이터를 생성하는 것
    을 특징으로 하는 인공지능 검증 시스템.
  3. 제2항에 있어서,
    상기 이상치 데이터를 생성하기 위한 파라미터는
    상기 공정 데이터의 최고치/최저치 조정 정보를 포함하고,
    상기 테스트 데이터 생성부는
    상기 파라미터의 최고치/최저치 조정 정보를 참조하여 상기 공정 데이터 중 일부의 최고치/최저치를 조정하여 테스트 데이터를 생성하는 것
    을 특징으로 하는 인공지능 검증 시스템.
  4. 제3항에 있어서,
    상기 테스트 데이터 생성부는
    과거의 실제 이상 발생 데이터를 학습하여 상기 공정 데이터 중 이상 발생 이전 패턴과 유사한 패턴을 탐지하고, 상기 탐지된 패턴 이후의 상기 공정 데이터에 대해서 상기 최고치/최저치 조정을 수행하여 테스트 데이터를 생성하는 것
    을 특징으로 하는 인공지능 검증 시스템.
  5. 중앙처리장치 및 메모리를 구비하는 인공지능 검증 시스템에서 동작하는 인공지능 검증 방법에 있어서,
    공정장비로부터 공정 데이터를 수신하는 센싱 단계;
    상기 공정 데이터를 변환하여 테스트 데이터를 생성하는 테스트 데이터 생성 단계;
    상기 테스트 데이터를 읽어 실제 공정 데이터와 동일한 형태로 상기 센싱 단계에 전송하는 시뮬레이션 단계;
    상기 시뮬레이션 단계에서 전송되는 테스트 데이터를 수신하여 인공지능 모델을 이용하여 이상여부를 판단하는 이상여부 판단 단계; 및
    상기 테스트 데이터 및 상기 이상여부 판단 단계의 판단 결과를 비교하여 상기 인공지능 모델의 적정성을 판단하는 인공지능 검증 단계
    를 포함하는 것을 특징으로 하는 인공지능 검증 방법.
  6. 제5항에 있어서,
    테스트 데이터 생성 단계는
    이상치 데이터를 생성하기 위한 파라미터를 수신하고, 상기 수신한 파라미터를 적용하여 상기 공정 데이터를 변환하여 테스트 데이터를 생성하는 것
    을 특징으로 하는 인공지능 검증 방법.
  7. 제6항에 있어서,
    상기 이상치 데이터를 생성하기 위한 파라미터는
    상기 공정 데이터의 최고치/최저치 조정 정보를 포함하고,
    상기 테스트 데이터 생성 단계는
    상기 파라미터의 최고치/최저치 조정 정보를 참조하여 상기 공정 데이터 중 일부의 최고치/최저치를 조정하여 테스트 데이터를 생성하는 것
    을 특징으로 하는 인공지능 검증 방법.
  8. 제7항에 있어서,
    상기 테스트 데이터 생성 단계는
    과거의 실제 이상 발생 데이터를 학습하여 상기 공정 데이터 중 이상 발생 이전 패턴과 유사한 패턴을 탐지하고, 상기 탐지된 패턴 이후의 상기 공정 데이터에 대해서 상기 최고치/최저치 조정을 수행하여 테스트 데이터를 생성하는 것
    을 특징으로 하는 인공지능 검증 방법.
  9. 제5항 내지 제8항 중 어느 한 항의 방법을 컴퓨터가 실행하도록 기능시키기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.
KR1020210190810A 2020-12-29 2021-12-29 인공지능 검증 시스템 및 방법 KR20220095167A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2022/019013 WO2023128320A1 (ko) 2020-12-29 2022-11-29 인공지능 검증 시스템 및 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200186324 2020-12-29
KR20200186324 2020-12-29

Publications (1)

Publication Number Publication Date
KR20220095167A true KR20220095167A (ko) 2022-07-06

Family

ID=82400059

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210190810A KR20220095167A (ko) 2020-12-29 2021-12-29 인공지능 검증 시스템 및 방법

Country Status (2)

Country Link
KR (1) KR20220095167A (ko)
WO (1) WO2023128320A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023128320A1 (ko) * 2020-12-29 2023-07-06 (주)심플랫폼 인공지능 검증 시스템 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200090061A (ko) 2019-01-18 2020-07-28 한국전자통신연구원 인공신경망 모델의 검증 방법 및 장치

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180130925A (ko) * 2017-05-30 2018-12-10 국방과학연구소 머신 러닝을 위한 학습 이미지를 자동 생성하는 인공 지능 장치 및 그의 제어 방법
KR102086815B1 (ko) * 2018-01-12 2020-03-09 세종대학교산학협력단 인공 신경망을 구성하는 복수의 학습 모델 중 최적 학습 모델 선택 방법 및 장치
US20190377984A1 (en) * 2018-06-06 2019-12-12 DataRobot, Inc. Detecting suitability of machine learning models for datasets
KR102531645B1 (ko) * 2020-02-24 2023-05-11 주식회사 마키나락스 모델의 성능 테스트를 위한 컴퓨터 프로그램
KR20220095167A (ko) * 2020-12-29 2022-07-06 (주)심플랫폼 인공지능 검증 시스템 및 방법
KR102327420B1 (ko) * 2021-03-19 2021-11-16 국민대학교산학협력단 훈련 데이터를 생성하고 검증하는 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200090061A (ko) 2019-01-18 2020-07-28 한국전자통신연구원 인공신경망 모델의 검증 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023128320A1 (ko) * 2020-12-29 2023-07-06 (주)심플랫폼 인공지능 검증 시스템 및 방법

Also Published As

Publication number Publication date
WO2023128320A1 (ko) 2023-07-06

Similar Documents

Publication Publication Date Title
US20200327435A1 (en) Systems and methods for sequential power system model parameter estimation
US20200379424A1 (en) Systems and methods for enhanced power system model validation
CN112052172B (zh) 第三方通道的快速测试方法、装置和电子设备
JP7068246B2 (ja) 異常判定装置、および、異常判定方法
US20200380618A1 (en) Systems and methods for enhanced power system model validation
CN109791516A (zh) 用于在具有自x特性的自主系统中使用的监测和控制单元
KR20220095167A (ko) 인공지능 검증 시스템 및 방법
CN115080299B (zh) 软件故障反馈处理方法、装置、介质及设备
CN106201887B (zh) 一种离线数据任务的验证方法及装置
EP3735636B1 (en) Artificial intelligence enabled output space exploration for guided test case generation
Jhunjhunwala et al. A design pattern for monitoring adapter connections in IEC 61499
CN110716843A (zh) 系统故障分析处理方法、装置、存储介质及电子设备
CN111078444B (zh) 用于故障行为的安全分析的系统和方法
US20230325640A1 (en) Artificial intelligence-based anomaly detection and prediction
CN115865630B (zh) 基于深度学习的网络设备故障诊断方法及系统
US11790249B1 (en) Automatically evaluating application architecture through architecture-as-code
US20210109764A1 (en) Interface Device and Method for Configuring the Interface Device
CN114219035A (zh) 一种多传感器的数据融合方法及装置
US20230222382A1 (en) Systems and methods for machine learning model training and deployment
EP4016364A1 (en) Computing device and method for developing a system model utilizing a simulation assessment module
KR102418118B1 (ko) 주파수 합성을 이용한 딥러닝 기반 설비 진단 장치 및 방법
KR102660993B1 (ko) 제조 실행 시스템에서 인공지능 학습을 위한 데이터 증강 방법 및 시스템
CN111796805B (zh) 一种aml语言性能验证方法
CN110705133B (zh) 一种预测性维护的方法及预测性维护设备
EP4105846A1 (en) Verification component for verifying an artificial intelligence, ai, model