KR20210049555A - 시설의 센싱 데이터를 이미지화하여 시설의 상태를 판단하는 시스템 및 방법 - Google Patents

시설의 센싱 데이터를 이미지화하여 시설의 상태를 판단하는 시스템 및 방법 Download PDF

Info

Publication number
KR20210049555A
KR20210049555A KR1020190133998A KR20190133998A KR20210049555A KR 20210049555 A KR20210049555 A KR 20210049555A KR 1020190133998 A KR1020190133998 A KR 1020190133998A KR 20190133998 A KR20190133998 A KR 20190133998A KR 20210049555 A KR20210049555 A KR 20210049555A
Authority
KR
South Korea
Prior art keywords
state
image
sensing data
facility
pixel
Prior art date
Application number
KR1020190133998A
Other languages
English (en)
Other versions
KR102342476B1 (ko
Inventor
김익재
최희승
임현기
최예지
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020190133998A priority Critical patent/KR102342476B1/ko
Priority to US17/013,859 priority patent/US11580629B2/en
Publication of KR20210049555A publication Critical patent/KR20210049555A/ko
Application granted granted Critical
Publication of KR102342476B1 publication Critical patent/KR102342476B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0221—Preprocessing measurements, e.g. data collection rate adjustment; Standardization of measurements; Time series or signal analysis, e.g. frequency analysis or wavelets; Trustworthiness of measurements; Indexes therefor; Measurements using easily measured parameters to estimate parameters difficult to measure; Virtual sensor creation; De-noising; Sensor fusion; Unconventional preprocessing inherently present in specific fault detection methods like PCA-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G06T7/001—Industrial image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30108—Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Automation & Control Theory (AREA)
  • Probability & Statistics with Applications (AREA)
  • Image Analysis (AREA)

Abstract

실시예들은 쿼리시점에서의 센싱 데이터를 복수의 센서를 통해 수신하는 단계; 상기 센싱 데이터에 기초하여 쿼리시간에서 상기 시설의 상태를 나타내는, 쿼리시간에서의 상태 이미지를 생성하는 단계; 및 미리 학습된 상태 판단 모델에 상기 상태 이미지를 적용하여 상기 쿼리시간에서 비정상 상태가 발생했는지 여부를 판단하는 단계를 포함하는, 시설의 센싱 데이터를 이미지화하여 시설의 상태를 판단하는 방법 및 시스템에 관련된다.

Description

시설의 센싱 데이터를 이미지화하여 시설의 상태를 판단하는 시스템 및 방법{SYSTEM AND METHOD FOR DETERMINING SITUATION OF FACILITY BY IMAGING SEINSING DATA OF FACILITY}
본 발명은 시설의 상태를 모니터링하는 기술에 관한 것으로서, 보다 상세하게는 시설에 설치된 복수의 센서를 통해 획득된 센싱 데이터를 시설의 실시간 상태를 나타내는 이미지로 변환하고, 상기 상태 이미지에 기초하여 비정상 상태의 발생 여부를 판단하는 시스템 및 방법에 관한 것이다.
현재 대규모, 고도화된 공장은 어느 정도 자동화가 이루어진 상태이다. 그러나, 21세기 들어서 인구 고령화로 인해 노동인구가 부족해지고, 숙련된 노동자가 점점 줄어들고 있다. 여기에 소비자의 요구가 다변화, 다양화되면서 제품의 수명 주기는 점점 줄어들어, 기존의 자동화 수준으로 구성된 공장으로는 이러한 기업 환경에서 살아남기에 많은 어려움이 있다.
최근 IT 기술의 발전으로 인해, 이러한 공장 자동화가 한층 더 진화된 스마트 팩토리가 시도되고 있다. 스마트 팩토리란 사람이 일일이 제품을 조립, 포장하고 기계를 점검할 필요 없이 모든 과정이 자동으로 진행되는 공장이다. 특히, IoT(Internet of Things) 기술을 사용하여 공장의 상태에 능동적으로 응답하면서 제품을 생산할 수 있어, 단순히 제품을 생산하는 부분에 주로 자동화되어있는 기존의 자동화 공장과 구분된다.
스마트 팩토리에서는 공정 운영 시 설비(예컨대, 주요 장비)의 안정성을 확보하기 위해 다수의 센서를 설치하여 실시간으로 센싱 데이터를 측정한다. 상기 스마트 팩토리에는 정밀한 측정을 위해, 팩토리 내 계통, 설비의 유형에 적합한 다양한 유형의 센서가 설치된다.
종래에는 상기 복수의 센서의 센싱 데이터를 기반으로 기존의 통계적 방법론 및 시계열 데이터 입력 기반의 신경망 모델(nueral network model) 등을 사용하여 스마트 팩토리의 상태를 진단하고 있다. 여기서, 상기 통계적 방법론은 회귀 분석(Regression analysis), ARIMA(Auto-regressive Integrated Moving Average) 등을 포함하며, 상기 신경망 모델은 RNN(Recurrent Neural Networks), LSTM(Long Short-Term Memory models)등을 포함한다.
스마트 팩토리에서 발생하는 데이터는 다수의 유형의 시계열 데이터(예컨대, 다변수 시계열 데이터)를 포함한다. 상기 통계적 방법론은 입력 데이터의 변수가 많아질수록 최적의 변수를 찾는데 한계가 있다. 또한 상기 신경망 모델은 입력 데이터의 모든 변수가 완전히 연결되어 있는 관계성을 가지고 있어, 다변수 내에서 나타난 부분적 상관관계를 분석하는데 한계가 있다.
특허공개공보 제10-2017-0125265호
Goodfellow, Ian J.; Pouget-Abadie, Jean; Mirza, Mehdi; Xu, Bing; Warde-Farley, David; Ozair, Sherjil; Courville, Aaron; Bengio, Yoshua (2014). "Generative Adversarial Networks"
본 발명의 일 측면에 따르면 다변수 시계열 데이터에 기초하여 현장 상태를 판단하는데 있어, 다변수 데이터 간의 국부적 연결성을 처리할 수 있도록 다변수 시계열 데이터를 이미지화 처리하고, 또한 변환된 상태 이미지를 기반으로 이미지와 상태 간의 관계를 학습하여 비정상 상태 판단을 할 수 있는 시스템을 제공한다.
이 외에도, 발전소의 상태를 판단하는 방법 및 이를 기록한 컴퓨터 판독가능 매체를 제공할 수 있다.
본 발명의 일 측면에 따른 시설의 센싱 이미지를 이미지화하여 시설의 상태를 판단하는 방법은 프로세서를 포함한 컴퓨팅 장치에 의해 수행되며, 상기 방법은: 쿼리시점에서의 센싱 데이터를 복수의 센서를 통해 수신하는 단계; 상기 센싱 데이터에 기초하여 쿼리시간에서 상기 시설의 상태를 나타내는, 쿼리시간에서의 상태 이미지를 생성하는 단계; 및 미리 학습된 상태 판단 모델에 상기 상태 이미지를 적용하여 상기 쿼리시간에서 비정상 상태가 발생했는지 여부를 판단하는 단계를 포함할 수 있다.
일 실시예에서, 상기 복수의 센서는 복수의 유형을 가지며, 상기 센싱 데이터는 다변수 시계열 데이터일 수 있다.
일 실시예에서, 상기 방법은: 상기 상태 이미지 생성 이전에 상기 센싱 데이터를 정규화하기 위해 전처리하는 단계를 더 포함할 수 있다.
일 실시예에서, 상기 상태 이미지를 생성하는 단계는, 쿼리시간에서의 각 센서의 센싱 데이터를 배열하는 단계; 및 상기 복수의 센서가 N개인 경우, N*N의 픽셀 세트를 형성하는 단계를 포함하며, 각 픽셀은 제1 센서 및 제2 센서에 연관된다.
일 실시예에서, 상기 쿼리시간에서의 각 센서의 센싱 데이터를 배열하는 단계는, 미리 저장된 센서의 순서번호에 따라 배열되며, 상기 센서의 순서번호는 시설 내 설비의 구동 순서에 따를 수 있다.
일 실시예에서, 상기 상태 이미지를 생성하는 단계는, 상기 픽셀에 연관된 제1 센서 및 제2 센서를 통해 수신된, 쿼리시간에서의 제1 센싱 데이터와 제2 센싱 데이터 간의 차이에 기초하여 상기 쿼리시간에서의 픽셀의 색상 값을 산출하는 단계; 미리 저장된 색상 테이블에서 산출된 색상 값에 대응하는 색상을 검색하는 단계; 및 검색된 색상을 상기 색상에 부여하는 단계를 포함할 수 있다.
일 실시예에서, 상기 쿼리시간에서의 픽셀의 색상 값을 산출하는 단계는, 상기 쿼리시간에서 소정의 시간 간격 이전의 시간 상에서의 제1 센싱 데이터와 제2 센싱 데이터 간의 시간별 차이에 기초하여 상기 픽셀의 시간별 색상 값을 산출하는 단계; 상기 시간별 색상 값에 시간별 시간 가중치를 각각 적용하는 단계; 및 상기 가중치 적용 결과에 기초하여 소정 시간 간격 상에서의 픽셀의 색상 값을 상기 쿼리시간에서의 픽셀의 색상 값으로 산출하는 단계를 포함할 수 있다.
일 실시예에서, 상기 시간별 시간 가중치는 쿼리시점에 가까울수록 더 높은 값을 가질 수 있다.
일 실시예에서, 상기 쿼리시간에서 비정상 상태가 발생했는지 여부를 판단하는 단계는, 미리 학습된 상태 판단 모델에 상기 상태 이미지를 적용하여 상태 보조 이미지를 생성하는 단계; 상기 상태 이미지 및 상태 보조 이미지에 기초하여 쿼리시점에서의 비정상 점수를 산출하는 단계; 및 상기 비정상 점수가 미리 설정된 임계치 보다 높은 경우 상기 쿼리시간에서 비정상 상황이 발생했다고 판단하는 단계를 포함할 수 있다.
일 실시예에서, 상기 상태 판단 모델은, 데이터를 입력받은 경우, 학습에 사용된 훈련 샘플의 데이터 분포와 복원 오차가 최소가 되거나 데이터 분포에 속하게 하는 출력 데이터를 생성하도록 학습된다.
일 실시예예서, 상기 학습에 사용된 훈련 샘플은 정상 상태의 센싱 데이터를 포함하며, 상기 데이터 분포는 상기 훈련 샘플의 상태 이미지의 데이터 분포일 수 있다.
일 실시예에서, 상기 상태 판단 모델은, 비정상 상태의 센싱 데이터를 포함한 센싱 데이터에 기초하여 생성된 상태 이미지가 적용된 경우, 정상 상태를 나타내는 상태 이미지와 벡터 간의 간격이 가장 가까운 상태 보조 이미지를 생성하도록 구성된다.
일 실시예에서, 상기 방법은: 비정상 상태로 판단된 경우, 상기 상태 이미지에 기초하여 비정상 상태를 감지한 센서를 검출하는 단계를 더 포함할 수 있다.
일 실시예에서, 상기 센서를 검출하는 단계는, 상기 상태 이미지, 그리고 상기 상태 판단 모델에 의해 생성된 상태 보조 이미지에 기초하여 쿼리시간에서의 잔차 이미지를 생성하는 단계; 상기 잔차 이미지에 포함된 픽셀의 색상 값에 기초하여 미리 설정된 잔차 임계치를 보다 큰 색상 값을 갖는 픽셀을 결정하는 단계; 및 상기 결정된 픽셀에 연관된 센서를 결정하는 단계를 포함하되, 상기 잔차 임계치는 정상 상태의 센싱 데이터에 기초한 잔차 이미지 내 픽셀의 색상 값 보다 큰 것일 수 있다.
일 실시예에서, 상기 결정된 픽셀에 연관된 센서를 결정하는 단계는, 상기 잔차 이미지 내에서 상기 결정된 픽셀에 연관된 센서의 순서번호에 기초하여 연관된 센서를 결정하는 단계를 포함할 수 있다.
본 발명의 다른 일 측면에 따른 컴퓨터 판독가능 기록매체는, 컴퓨팅 장치에 의해 판독가능하고, 상기 컴퓨팅 장치에 의해 동작 가능한 프로그램 명령어를 저장할 수 있다. 상기 프로그램 명령어가 상기 컴퓨팅 장치의 프로세서에 의해 실행되는 경우 상술한 실시예들에 따른 시설의 상태를 판단하는 방법을 수행하게 한다.
본 발명의 또 다른 일 측면에 따른 시설의 센싱 이미지를 이미지화하여 시설의 상태를 판단하는 시스템은: 시설에 설치된 복수의 센서; 상기 복수의 센서를 통해 센싱 데이터를 수신하는 수신장치; 상기 센싱 데이터에 기초하여 쿼리시간에서의 상기 시설의 상태를 나타내는 상태 이미지를 생성하는 이미지 변환부; 미리 학습된 상태 판단 모델에 상기 상태 이미지를 적용하여 상기 쿼리시간에서 비정상 상태가 발생했는지 여부를 판단하는 상태 판단부; 및 상기 시설의 적어도 일부 영역의 상태가 비정상 상태로 판단된 경우, 비정상 상태를 감지한 센서를 검출하는 비정상 위치 검출부를 포함할 수 있다.
일 실시예에서, 상기 상태 판단 모델은, 데이터를 입력받은 경우, 학습에 사용된 훈련 샘플의 데이터 분포와 복원 오차가 최소가 되거나 데이터 분포에 속하게 하는 출력 데이터를 생성하도록 학습될 수 있다.
일 실시예에서, 상기 상태 판단 모델은, 비정상 상태의 센싱 데이터를 포함한 센싱 데이터에 기초하여 생성된 상태 이미지가 적용된 경우, 정상 상태를 나타내는 상태 이미지와 벡터 간의 간격이 가장 가까운 상태 보조 이미지를 생성하도록 구성된다.
일 실시예에서, 상기 비정상 위치 검출부는, 상기 상태 이미지, 그리고 상기 상태 판단 모델에 의해 생성된 상태 보조 이미지에 기초하여 쿼리시간에서의 잔차 이미지를 생성하고, 상기 잔차 이미지에 포함된 픽셀의 색상 값에 기초하여 미리 설정된 잔차 임계치를 보다 큰 색상 값을 갖는 픽셀을 결정하며, 그리고 상기 결정된 픽셀에 연관된 센서를 결정하도록 구성되며, 상기 잔차 임계치는 정상 상태의 센싱 데이터에 기초한 잔차 이미지 내 픽셀의 색상 값 보다 큰 것일 수 있다.
본 발명의 일 측면에 따른 시설의 상태를 판단하는 시스템은 둘 이상의 유형의 복수의 센서를 통해 획득된 다변수 시계열 데이터를 사용하여도 비정상 상태의 발생 여부를 판단할 수 있다.
특히, 상태 판단 모델을 통해 다변수 시계열 데이터를 이미지화 처리함으로써, 다변수 시계열 데이터의 국부적 연결성에 기초하여 상태를 판단할 수 있다.
또한, 비정상 상태로 판단된 경우, 상기 상태 이미지 및 상기 상태 이미지로부터 생성된 상태 보조 이미지에 기초하여 잔차 이미지를 생성함으로써 비정상 상태를 감지한 센서의 위치 또는 비정상 상태 발생 위치를 검출할 수 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명 또는 종래 기술의 실시예의 기술적 해결책을 보다 명확하게 설명하기 위해, 실시예에 대한 설명에서 필요한 도면이 아래에서 간단히 소개된다. 아래의 도면들은 본 명세서의 실시예를 설명하기 목적일 뿐 한정의 목적이 아니라는 것으로 이해되어야 한다. 또한, 설명의 명료성을 위해 아래의 도면들에서 과장, 생략 등 다양한 변형이 적용된 일부 요소들이 도시될 수 있다.
도 1은, 본 발명의 일 실시예에 따른, 시설의 상태를 판단하는 시스템의 동작을 개략적으로 설명하기 위한 도면이다.
도 2는, 본 발명의 일 실시예에 따른, 시설의 센싱 데이터를 이미지화 하여 시설의 상태를 판단하는 시스템의 개략적인 블록도이다.
도 3은, 본 발명의 일 실시예에 따른, 상태 이미지을 형성하는 픽셀 구조를 도시한 도면이다.
도 4는, 본 발명의 일 실시예에 따른, 상태 판단 모델의 학습 과정을 도시한 흐름도이다.
도 5는, 본 발명의 일 실시예에 따른, 상태 판단 모델 구조의 개념도이다.
도 6은, 본 발명의 일 실시예에 따른, 시설의 상태를 판단하는 방법의 흐름도이다.
도 7은, 본 발명의 일 실시예에 따른, 정상 상태 이미지를 도시한 도면이다.
도 8은, 도 7의 상태 이미지로부터 생성된 상태 보조 이미지를 도시한 도면이다.
도 9는, 도 7의 정상 상태 이미지 및 도 8의 상태 보조 이미지에 기초한 잔차 이미지를 도시한 도면이다.
도 10은, 본 발명의 일 실시예에 따른, 비정상 상태 이미지를 도시한 도면이다.
도 11은, 도 10의 상태 이미지로부터 생성된 상태 보조 이미지를 도시한 도면이다.
도 12는, 도 10의 비정상 상태 이미지 및 도 11의 상태 보조 이미지에 기초한 잔차 이미지를 도시한 도면이다.
여기서 사용되는 전문 용어는 단지 특정 실시예를 언급하기 위한 것이며, 본 발명을 한정하는 것을 의도하지 않는다. 여기서 사용되는 단수 형태들은 문구들이 이와 명백히 반대의 의미를 나타내지 않는 한 복수 형태들도 포함한다. 명세서에서 사용되는 "포함하는"의 의미는 특정 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분을 구체화하며, 다른 특성, 영역, 정수, 단계, 동작, 요소 및/또는 성분의 존재나 부가를 제외시키는 것은 아니다.
다르게 정의하지는 않았지만, 여기에 사용되는 기술용어 및 과학용어를 포함하는 모든 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 일반적으로 이해하는 의미와 동일한 의미를 가진다. 보통 사용되는 사전에 정의된 용어들은 관련기술문헌과 현재 개시된 내용에 부합하는 의미를 가지는 것으로 추가 해석되고, 정의되지 않는 한 이상적이거나 매우 공식적인 의미로 해석되지 않는다.
본 명세서에서, 비정상 상태는 설비의 고장, 작동 중단 등과 같은, 미리 설정된 시설 내 설비의 구동 결과에 영향을 미치는 모든 상태 및/또는 고장, 과부하 등과 같은 전술한 상태를 야기할 가능성이 매우 높은 결함을 포함한다. 예를 들어, 비정상 상태는 고장 상태 및 위험 상태를 포함할 수 있다. 정상 상태는 비정상 상태 이외의 상태로서, 미리 설정된 발전 설비의 동작 결과를 얻을 수 있는 상태를 지칭한다. 예를 들어, 정격 범위 내 오차의 경우 정상 상태로 지칭될 수 있다.
또한, 상기 비정상 상태는 센서의 고장을 포함한다. 상기 센서의 고장의 경우 고장 센서의 감지 대상인 특정 설비가 특정 시점에서는 정상 작동하여 이상이 없을 수 있다. 그러나, 미래에서 상기 특정 설비가 실제로 고장이 난 경우, 상기 센서의 고장으로 인해 추가적인 문제가 야기될 수 있다.
본 명세서에서 시설은 복수의 설비를 포함하는 다양한 구조물을 지칭한다. 예를 들어, 발전소, 공장, 스마트 팩토리 등을 포함할 수 있다. 이하, 설명의 명료성을 위해, 시스템이 설치되는 시설을 스마트 팩토리로 지칭하나, 이에 제한되지 않는다는 것이 통상의 기술자에게 명백할 것이다.
이하에서, 도면을 참조하여 본 발명의 실시예들에 대하여 상세히 살펴본다.
도 1은, 본 발명의 일 실시예에 따른, 시설의 상태를 판단하는 시스템의 동작을 개략적으로 설명하기 위한 도면이다.
도 1을 참조하면, 상기 시설의 상태를 판단하는 시스템(이하, “시설 상태 판단 시스템”)(1)은 다수의 설비가 설치된 시설에 미리 설치된 복수의 센서를 통해 상기 시설 내부 상태를 감지 및 모니터링하며, 시설의 적어도 일부 영역의 상태가 비정상인지 여부를 판단한다.
일 실시예에서, 상기 상태 시설 상태 판단 시스템(1)은 복수의 센서를 통해 획득된 센싱 데이터를 이미지 변환하여 쿼리시간에서의 상태 이미지를 생성하고; 상기 상태 이미지를 미리 학습된 상태 판단 모델에 적용하여 상기 상태 이미지에 대응하는 쿼리시점이 비정상 상태인지를 판단할 수 있다.
또한, 상기 상태 시설 상태 판단 시스템(1)은 시설 내 적어도 일부 영역이 비정상 상태로 판단된 경우, 비정상 상태가 감지된 위치를 검출할 수 있다.
도 2는, 본 발명의 일 실시예에 따른, 시설의 센싱 데이터를 이미지화 하여 시설의 상태를 판단하는 시스템의 개략적인 블록도이다.
도 2를 참조하면, 상기 시설 상태 시설 상태 판단 시스템(1)은 시설에 설치된 복수의 센서(미도시)를 통해 센싱 데이터를 수신하는 수신장치(100); 상기 센싱 데이터에 기초하여 쿼리시간에서의 상기 시설의 상태를 나타내는 상태 이미지를 생성하는 이미지 변환부(300); 미리 학습된 상태 판단 모델에 상기 상태 이미지를 적용하여 상기 쿼리시간에서 비정상 상태가 발생했는지 여부를 판단하는 상태 판단부(500)를 포함한다. 일부 실시예에서, 상기 시설 상태 시설 상태 판단 시스템(1)은 상기 시설의 적어도 일부 영역의 상태가 비정상 상태로 판단된 경우, 비정상 상태의 발생 위치를 검출하도록 구성된 비정상 위치 검출부(900)를 더 포함할 수도 있다.
실시예들은 전적으로 하드웨어이거나, 전적으로 소프트웨어이거나, 또는 부분적으로 하드웨어이고 부분적으로 소프트웨어인 측면을 가질 수 있다. 예컨대, 상기 시설 상태 시설 상태 판단 시스템(1)은 데이터 처리 능력이 구비된 하드웨어 및 이를 구동시키기 위한 운용 소프트웨어를 통칭할 수 있다. 본 명세서에서 "부(unit)", “모듈(module)”“장치”, 또는 "시스템" 등의 용어는 하드웨어 및 해당 하드웨어에 의해 구동되는 소프트웨어의 조합을 지칭하는 것으로 의도된다. 예를 들어, 하드웨어는 CPU(Central Processing Unit), GPU(Graphic Processing Unit) 또는 다른 프로세서(processor)를 포함하는 데이터 처리 기기일 수 있다. 또한, 소프트웨어는 실행중인 프로세스, 객체(object), 실행파일(executable), 실행 스레드(thread of execution), 프로그램(program) 등을 지칭할 수 있다.
일 실시예에서, 상기 시설 상태 판단 시스템(1)은 복수의 센서와 전기적으로 연결된, 프로세서를 포함한 컴퓨팅 장치일 수도 있다. 그러나, 이에 제한되진 않는다.
수신장치(100)는 시설의 상태를 모니터링하고 비정상 상태가 발생했는지를 판단하는데 사용되는 센싱 데이터를 상기 시설에 미리 설치된 복수의 센서를 통해 수신한다. 수신장치(100)는 상기 센서와 유/무선으로 연결되어 상기 센싱 데이터를 수신하도록 구성된다. 상기 수신장치(100)는 장치 간의 통신들을 위한 다양한 통신 방법을 이용할 수 있으며, 예를 들어, 버스, 연결 핀 커넥터(contact pin connectors), 와이어를 포함할 수 있다. 또는 하나 이상의 네트워크 프로토콜을 통해 하나 이상의 네트워크 상에서 데이터를 수신하도록 구성될 수도 있다.
센서는 시설(예컨대, 스마트 팩토리)의 구동 상태 및/또는 주변 상태(즉, 시설의 상태)에 대한 정보를 얻을 수 있는 다양한 센서를 포함한다. 예를 들어, 센서는 온도 센서, 압력 센서, 수분 센서, 중력 센서, 지자기 센서, 모션 센서, 자이로 센서, 가속도 센서, 기울임 센서, 밝기 센서, 후각 센서, 뎁스 센서, 밴딩 센서, 오디오 센서, 이미지 센서, 및 이들의 조합을 포함할 수 있다.
센서는 상기 시설에 설치된 설비에 연관된다. 본 명세서에서, 단일 센서가 단일 설비에 연관될 수도 있다. 또는 단일 센서가 하나 이상의 설비에 연관될 수도 있다. 이 경우, 단일 센서는 하나 이상의 설비가 위치한 영역의 상태를 감지한다. 또는 다수의 센서가 단일 설비에 연관될 수도 있다. 이 경우, 상기 다수의 센서는 하나 이상의 유형의 센서를 포함한다.
이러한 센서와 설비 간의 연관 관계는 상기 시설 상태 판단 시스템(1)에 저장될 수도 있다. 일 실시예에서, 상기 연관 관계는 센서 테이블로 저장될 수도 있다. 상기 센서 테이블은 센서 식별자, 센서 세부 정보(예컨대, 유형 등), 연관된 설비, 센서 설치 위치 등을 포함한다.
상기 센서 테이블은 시설 구동 순서 또는 센서의 순서 번호를 더 포함할 수도 있다.
상기 시설 내 하나 이상의 설비는 일련의 동작을 순서대로 진행하도록 설계될 수도 있다. 상기 설계 순서는 시설 구동 순서로 지칭될 수 있다. 또한, 각 설비에 연관된 센서는 순서 번호를 가질 수 있다. 여기서, 순서 번호는 미리 설계된 동작을 순서대로 수행하는 설비들 간의 동작 순서에 연관된다. 예를 들어, 제1 설비가 제2 설비 보다 먼저 동작하도록 시설 구동 순서가 정해진 경우, 제1 설비에 연관된 제1 센서가 제2 설비에 연관된 제2 센서 보다 우선하는 순서 번호를 가진다.
일 예에서, 상기 시설이 화력 발전소의 통풍 계통인 경우, 시설 구동 순서에 따른 설비의 동작은: 1차 공기 통풍기(PAF) 동작, 압입송풍기(FDF, Forced Draft Fan)의 동작, 보일러(Furance)의 동작, 쿨러(예컨대, GGH cooler)의 동작, 유인송풍기(IDF, Induced Draft Fan)의 동작, 탈황 동작의 순서로 진행된다. 이 경우, 1차 공기 통풍기에 연관된 센서가 가장 우선된 순서 번호(예컨대, 1번)를 가지고, 이어서 압입송풍기에 연관된 센서(예컨대 2번), 보일러에 연관된 센서, 쿨러에 연관된 순서, 유인송풍기에 연관된 센서, 탈황 설비에 연관된 센서 순으로 순서 번호를 가진다.
이와 같이 상기 순서 번호는 시설 구동 순서에 의존한다. 복수의 센서가 동일한 동작 순서에 관련된 경우, 상기 복수의 센서는 서로 다른 임의의 순서 번호를 가지나, 그 이전의 동작 순서와 관련된 센서의 순서 번호 보다는 큰 값을 가지며, 그 이후의 동작 순서와 관련된 센서의 순서 번호 보다는 작은 값을 가진다.
센싱 데이터는 시설에 설치된 복수의 센서가 시설의 상태를 감지한 결과 데이터로서, 쿼리시간 및 감지 결과로 구성되는 데이터이다. 감지 결과는 센서에 따라 다양한 정보를 포함할 수 있다. 예를 들어, 감지 결과는 열, 온도, 습도, 압력, 이미지, 음성, 속도, 위치 정보 또는 이들의 조합일 수 있다.
일 실시예에서, 상기 센싱 데이터는 실시간 센싱 데이터일 수 있다. 그러나, 이에 제한되진 않느다. 예를 들어, 상기 센싱 데이터는 사용자가 모니터링을 원하는 사용자 설정 시간에서의 센싱데이터일 수 있다. 일부 실시예에서, 실시간 센싱 데이터는 단위 시간 당 센싱 데이터일 수도 있다.
센싱 데이터는 정상 상태인 경우의 센싱 데이터 및/또는 비정상 상태(예컨대, 위험 상태, 고장 상태 등)인 경우의 센싱 데이터를 포함한다. 또한, 복수의 센서로부터 획득된 센싱 데이터는 각 센서가 감지한 센싱 데이터를 포함한다.
추가적으로, 수신장치(100)는 센싱 데이터를 수신할 경우, 상기 센싱 데이터와 관련된 데이터를 더 수신할 수도 있다. 상기 센싱 데이터와 관련된 데이터는, 예를 들어 센서 식별자, 설비 식별자, 순서 번호 등을 포함할 수 있다.
상기 시설 상태 판단 시스템(1)은 이러한 관련 데이터(예를 들어 센서 식별자)를 수신한 경우, 만약 시설 상태 판단 시스템(1)이 비정상 상태의 발생을 판단한다면, 상기 관련 데이터 및 저장된 센서 테이블을 사용하여 비정상 상태를 감지한 센서를 검출할 수도 있다.
일 실시예에서, 상기 시설 상태 판단 시스템(1)은 복수의 센서를 통해 수신된 센싱 데이터를 전처리하는 전처리부(200)를 더 포함할 수도 있다.
상기 전처리부(200)는 센싱 데이터의 노이즈를 제거하는 디노이징 동작을 수행하도록 구성된다. 상기 디노이징 동작은, 예를 들어 이동 평균 방식(Moving Average Filter) 등을 포함하나, 이에 제한되진 않는다. 상기 전처리부(200)는 디노이징 동작을 통해 센싱 데이터의 큰 노이즈를 제거할 수도 있다.
또한, 상기 전처리부(200)는 복수의 센서를 통해 수신된 센싱 데이터를 동일한 도메인을 갖게 하기 위해 정규화하도록 구성될 수 있다.
센싱 데이터는 시설에 미리 설치된 센서의 종류가 하나 이상인 경우, 다차원 센싱 데이터이다. 상기 다차원 센싱 데이터는 다변수 시계열 데이터로 표현될 수 있다. 예를 들어, 센서를 통해 감지된 센싱 데이터는 각 센서별로 시간에 따른 그래프로 표현될 수 있다. 또는, 센싱 데이터는 l×N 행렬로 표현될 수 있으며, l은 시간, N은 시설에 설치된 센서의 개수를 나타낸다. 센싱 데이터의 행렬은 각 센서가 시간에서 감지된 감지 결과로 구성된다.
상기 센싱 데이터가 다변수 시계열 데이터의 경우, 상기 센싱 데이터는, 단일 도메인으로 정의되지 않는다.
전처리부(200)는 다양한 정규화 방식을 통해 센싱 데이터를 정규화하여, 상기 복수의 센서를 통해 수신한 센싱 데이터로서 다변수 시계열 데이터가 동일한 도메인을 갖게 한다. 상기 도메인 정규화 방식은, 예를 들어 최대값-최소값 정규화, 또는 평균을 0으로 갖고 분산을 1로 갖는, z-정규화(z-normalization) 방식 등을 포함할 수 있으나, 이에 제한되진 않는다.
이미지 변환부(300)는 수신장치(100)의 센싱 데이터 또는 전처리부(200)의 전처리 데이터에 기초하여 상태 판단을 요청하는 시간(이하, 쿼리시간(Query time, TQ)로 지칭됨)에서의 상태 이미지를 생성하도록 구성된다. 상기 상태 이미지는 시설의 상태를 나타내는 이미지이다.
이미지 변환부(300)는 상기 복수의 센서의 수에 의존하여 상태 이미지에 포함된 픽셀의 수를 결정한다. 예를 들어, N개의 센서가 미리 설치된 경우, 이미지 변환부(300)는 상태 이미지를 생성하기 위해 N×N의 픽셀 세트를 형성한다.
일 실시예에서, 이미지 변환부(300)는 센서의 순서번호로 픽셀 세트 내 픽셀을 좌표화할 수 있게 픽셀 세트를 형성할 수 있다.
이미지 변환부(300)는 시설 구동 순서(또는 센서의 순서 번호)에 따라 각 센서의 센싱 데이터를 배열한다.
전술한 바와 같이, 상기 센싱 데이터는 다변수 시계열 데이터로서 각기 다른 물리적 특징(예컨대, 온도, 습도, 압력 등)을 나타내는 N개의 센서를 통해 획득된다. 각 센서별 센싱 데이터는 임의의 순서로 수신장치(100)를 통해 수신될 수 있다. 이 경우, 수신장치(100)의 센싱 데이터 또는 전처리부(200)의 전처리 데이터는 임의의 순서로 배열된다.
이미지 변환부(300)는 (예컨대, 저장된 센서 테이블을 사용하여) 순서 번호로 센싱 데이터를 배열한다. 그러면, 각 센서별 센싱 데이터가 센서 순서 번호로 차례대로 배열된다. 예를 들어, N개의 센서가 설치된 경우, 제1 센서로부터 제N 센서가 시설 구동 순서에 따른 센서의 순서 번호에 의해 차례대로 1행 N열로 배열된다. 또한, N행 1열로도 배열될 수 있다.
도 3은, 본 발명의 일 실시예에 따른, 상태 이미지을 형성하는 픽셀 구조를 도시한 도면이다.
도 3을 참조하면, 이미지 변환부(300)는 순서번호에 따른 1행 N열 및 N행 1열에 기초하여 N×N의 픽셀 세트를 형성한다. 그러면, 픽셀 세트 내 각 픽셀은 센서의 순서번호에 연관되어, 결국 센서에 연관되게 된다.
상기 픽셀 세트 내 픽셀은 1,.., i, .., N의 수평 좌표, 및 1, .., j, .., N의 수직 좌표로 식별될 수 있으며, 결국 각 픽셀은 (i, j)로 좌표화될 수 있다. 여기서, i, j는 1 이상 N이하의 정수 값으로서, 상기 i, j는 동일한 값을 가질 수 있다.
예를 들어, 도 3의 픽셀(P1)은 제1 센서 및 제2 센서에 연관되어 있으며, 상기 제1 및 제2 센서를 통해 (예컨대, (1,2)로서) 좌표화될 수 있다.
이러한 순서번호에 따른 배열로 인해, 상태 이미지의 각 픽셀은 센서에 연관되며, N×N픽셀을 포함한 상태 이미지에 포함된 각 픽셀은 연관된 센서의 순서번호를 통해 좌표화된다. 또한, 상기 상태 이미지는 각 픽셀에 대응하는 센서가 감지하는 상태를 나타낼 수 있다.
이미지 변환부(300)는 픽셀 세트를 형성하고, 픽셀에 색상을 부여하여 상태 이미지를 생성한다.
일 실시예에서, 이미지 변환부(300)는 픽셀의 색상 값을 산출하고, 미리 저장된 색상 테이블을 사용하여 산출된 색상 값에 대응하는 색상을 상기 픽셀의 색상으로 결정한다.
일부 실시예에서, 상기 픽셀의 색상 값은 연관된 센서의 센싱 데이터의 차이에 기초하여 산출된다.
예를 들어, 픽셀에 연관된 센서가 제i 센서 및 제j 센서인 경우, 픽셀(i, j)의 색상 값(Ii,j)은 아래의 수학식을 통해 산출될 수 있다.
Figure pat00001
여기서, xi는 제i 센서의 센싱 데이터, xj는 제j 센서의 센싱 데이터를 나타낸다.
한편, 상태 이미지에서 (i, i)인 픽셀인 경우, 정상 상태 여부에 관계 없이 항상 0의 색상 값을 가진다. 따라서, 본 명세서에서는 특별한 언급이 없는한, 상태 이미지에서의 픽셀을 언급하는 것은 (i, i)는 제외하여 본 발명의 실시예들을 설명한다.
이미지 변환부(300)는 상기 수학식 1에 의해 산출된 색상 값에 대응하는 색상을 색상 테이블에서 대응하는 색상을 검색하여 이를 해당 픽셀의 색상으로 결정한다.
이미지 변환부(300)는 미리 저장된 색상 테이블을 사용하여 각 픽셀의 색상 값에 대응하는 색상을 결정하고, 결정된 색상을 해당 픽셀에 부여한다.
상기 색상 테이블은 색상 값의 스케일 범위 및 색상 집합을 포함한다. 상기 색상 집합은 가시광선 색상 모델, 또는 RGB 색상 모델(즉, RGB 색상 계열) 중 적어도 일부 색상을 포함할 수 있다. 그러나, 이에 제한되지 않으며 (예컨대, HSV, YCbCr, CMY 등과 같은) 다양한 색상 모델의 적어도 일부 색상을 포함할 수 있다. 다른 일예에서, 색상 집합은 흰색 및 검은색 등으로 구성된 그레이 색상 모델의 색상 모두를 포함할 수도 있다.
일부 실시예에서, 색상 집합의 색상은 연속된 색으로 표현될 수 있다. 여기서, 연속은 색상 모델을 분류하는 기준으로 표현된다. 예를 들어, 상기 색상 집합이 그레이 색상 모델의 적어도 일부 색상을 포함한 경우, 색상의 연속 여부는 밝기로 표현된다. 또는 상기 색상 집합이 가시광선 색상 모델인 경우, 색상의 연속 여부는 파장에 따라 표현된다.
이미지 변환부(300)는 쿼리시간에서 상태 이미지를 생성하므로, 상기 색상 값은 쿼리시간에서의 색상 값으로 지칭될 수도 있다. 이 경우, N개의 센서에서 각각 센싱 데이터(x1 TQ, xi TQ, .., xj TQ,.. xn TQ)가 획득되며, 이미지 변환부(300)는 쿼리시간에서의 제i 센서의 센싱 데이터(xi t) 및 제j 센서의 센싱 데이터(xj t)를 사용하여 각 픽셀의 색상 값을 각각 산출하고, 대응하는 색상을 각각 결정하고, 결국 색상을 포함한 상태 이미지를 생성한다.
또한, 이미지 변환부(300)는 특정 시간(예컨대, 쿼리시간)에서의 상태 이미지를 생성하기 위해, 특정 시간에서의 센싱 데이터 및 상기 특정 시간으로부터 소정의 시간 간격을 갖는 과거 시간까지의 시간에서의 센싱 데이터를 더 사용할 수 있다.
즉, 상태 이미지는 현재 시간 및 과거 시간의 센싱 데이터에 기초하여 생성될 수 있다.
이미지 변환부(300)는 소정의 시간 윈도우(d)에 포함된 시간에서의 센싱 데이터(또는 전처리 데이터)에 기초하여 쿼리시간에서의 픽셀의 색상 값을 산출한다. 여기서, 시간 윈도우(d)는 쿼리시간에서 과거의 임의의 시간까지의 소정의 시간 간격을 나타낸다.
단일 시점(예컨대, 쿼리시간)의 센싱 데이터만을 이용하는 것 보다 그 이전에 누적된 센싱 데이터를 함께 이용하는 것이 보다 정확하게 비정상 상태를 판단할 수 있다. 하지만, 계산 비용(computational cost)의 문제로 매 순간 과거의 모든 센싱 데이터를 입력으로 사용할 수는 없다. 이를 위해, 이미지 변환부(300)는 미리 설정된 시간 윈도우(d)에 포함된 현재 시간(t) 및 그 이전의 시간(t-1 등)에서의 센싱 데이터를 사용하도록 구성된다.
이미지 변환부(300)는 현재시간(t)에서의 상태 이미지를 생성하기 위해, 시간 윈도우(d)에 포함된 현재시간(t) 및 그 이전의 시간의 센싱 데이터를 사용한다.
일 실시예에서, 이미지 변환부(300)는 시간 윈도우(d)에 포함된 시간별 센싱 데이터에 기초하여 시간 윈도우(d)에 포함된 각 시간에서의 픽셀의 색상 값을 산출하고; 그리고 시간 윈도우(d)에 포함된 각 시간에서의 색상 값에 각 시간에서의 시간 가중치를 적용하여 시간 윈도우(d) 상에서의 픽셀의 색상 값을 계산한다. 일부 실시예에서, 각 시간에서의 픽셀의 색상 값은 상기 수학식 1에 의해 계산될 수 있다.
예를 들어, 이미지 변환부(300)는 시간 윈도우(d)에 포함된 시간별(t, t-1, t-2, .., t-d+1)로 각각의 시간에서의 픽셀의 색상 값(Ii,j t, Ii,j t-1, Ii,j t-2 , .., Ii,j t--d+1)을 산출한다. 상기 시간별 픽셀의 색상 값에 미리 설정된 시간 가중치(w0, w1, .., wd-1)가 적용된다. 이미지 변환부(300)는 시간별 가중치 적용 결과에 기초하여 시간 윈도우(d) 상에서의 픽셀의 색상 값(I)을 계산한다.
쿼리시간에서의 비정상 상태의 발생 여부를 판단하기 위한 센싱 데이터의 중요도는 쿼리시간에 가까울수록 크다. 따라서, 상기 시간 가중치는 쿼리시간(예컨대, 현재시간(t))에 가까울수록 큰 값을 가진다. 예를 들어, 쿼리시간(예컨대, 현재시간(t))의 시간 가중치(w0)가 가장 큰 값을 가지며, 쿼리시간에서 시간 윈도우(d)만큼 이전 시간, 즉 시간 윈도우(d)에서 가장 과거의 시간의 시간 가중치(wd-1)는 가장 작은 값을 가진다.
상기 시간 가중치는 해당 센서에 의한 센싱 데이터의 통계 등에 기초하여 설정된다.
일 실시예에서, 시간 윈도우(d) 상에서의 픽셀의 색상 값(I)은 아래의 수학식을 통해 계산된다.
Figure pat00002
이미지 변환부(300)는 상기 시간 윈도우(d) 상에서의 픽셀이 색상 값에 대응하는 색상을 해당 픽셀의 색상으로 결정함으로써, 시간 윈도우만큼의 이전 시간의 센싱 데이터가 더 반영된 상태 이미지를 생성할 수 있다.
정상 상태에서는 센싱 데이터의 변화가 거의 없다. 따라서, 정상 상태의 센싱 데이터만에 기초하여 상태 이미지를 생성하는 경우, 상기 상태 이미지의 색상 값은 (예컨대, 동일 또는 유사 색상 계열에 대응하는) 가까운 색상 값을 가진다. 따라서, 각 픽셀이 동일 또는 가까운 색상을 갖는 상태 이미지는 복수의 센서를 통해 수신하는 센싱 데이터에 비정상 상태의 센싱 데이터가 포함되지 않는 것을 나타낸다.
반면, 비정상 상태에서는 센싱 데이터의 변화가 있다. 특히, 비정상 상태의 정도에 따라 센싱 데이터의 변화가 비례하는 것이 일반적이다. 따라서, 비정상 상태의 센싱 데이터를 포함한 센싱 데이터에 기초하여 상태 이미지를 생성하는 경우, 상기 상태 이미지는 적어도 일부 픽셀이 다른 픽셀과 큰 차이를 갖는 (예컨대, 상이한 색상 계열에 대응하는) 색상 값을 가진다.
따라서, 적어도 일부 픽셀의 색상이 (예컨대, 정상 상태 이미지가 주로 갖는 색상과) 상이한 색상을 갖는 상태 이미지는 복수의 센서를 통해 수신한 센싱 데이터가 비정상 상태의 센싱 데이터를 포함하는 것을 나타낸다. 따라서, 상기 상태 이미지가 사용자에게 제공되면, 사용자는 이 상태 이미지만으로도 적어도 하나의 센서가 비정상 상태를 감지했다는 사실을 제공받을 수 있다.
이와 같이 상기 시설 상태 판단 시스템(1)에 의해 생성된 상태 이미지는 소정의 시간 간격만큼의 과거 시간부터 현재 시간까지의 센싱 데이터를 포함하고 있으며, 각 픽셀이 위치는 센서와의 연관성을 나타낸다. 이로 인해, 쿼리시간에서의 비정상 상태의 발생 여부를 판단하는데 보다 정확한 판단이 가능하며, 비정상 상태의 발생을 의미하는 색상을 갖는 픽셀에 연관되는 센서를 검출할 수 있다.
상기 시설 상태 판단 시스템(1)은 사용자의 편의성을 최대화하기 위해 (예컨대, 이미지 변환부(300)를 통해 생성된) 쿼리시점에서의 상태 이미지를 분석하여 쿼리시간에서 시설 내에 비정상 상태가 발생했는지를 판단하는 상태 판단부(500)를 포함한다.
상태 판단부(500)는 상기 쿼리시간에서의 상태 이미지를 미리 학습된 상태 판단 모델에 적용하여 상태 이미지가 비정상 상태를 나타내는지를 판단한다. 상기 상태 이미지가 비정상 상태의 센싱 데이터를 포함한 센싱 데이터를 사용하여 생성된 경우, 비정상 상태를 나타내는 상태이미지로 판단되며, 결국 쿼리시간에서 시설 내 적어도 일부 영역에서 비정상 상태가 발생했다고 판단된다.
도 4는, 본 발명의 일 실시예에 따른, 상태 판단 모델의 학습 과정을 도시한 흐름도이다.
도 4를 참조하면, 상태 판단 모델의 학습 과정은: 복수의 훈련 샘플(training sample)을 수신하는 단계(S410); 상기 복수의 훈련 샘플을 전처리하는 단계(S420); 훈련 샘플의 상태 이미지를 생성하는 단계(S430); 및 정상 상태를 판단할 수 있게 하는 상태 보조 이미지를 생성하도록 상태 판단 모델을 학습하는 단계(S450)를 포함한다.
단계(S410)에서, 각 훈련 샘플은 정상 상태의 센싱 데이터를 포함한다. 일 실시예에서, 각 훈련 샘플은 시설이 임의의 시간 동안 정상 운영되어 획득된 일련의 정상 상태의 센싱 데이터를 포함할 수 있다.
일부 실시예에서, 단계(S410)의 훈련 샘플의 센싱 데이터는 노이즈 제거 처리 및/또는 정규화 처리될 수도 있다(S420). 전처리된 훈련 샘플의 센싱 데이터는 학습을 위한 상태 이미지를 생성하는데 사용된다.
상기 노이즈 제거 처리 과정과 정규화 처리 과정은 위에서 서술한 전처리부(200)의 동작과 유사하므로 자세한 설명은 생략한다.
단계(S410)의 센싱 데이터(또는 단계(S420)의 전처리 데이터)에 기초하여 훈련 샘플의 상태 이미지가 생성된다. 일부 실시예에서, 상기 이미지 변환부(300)가 시간 윈도우(d)를 사용하도록 구성된 경우, 훈련 샘플의 상태 이미지는 시간 윈도우(d) 상에서의 픽셀의 색상 값을 사용하여 생성된다. 상기 상태 이미지의 생성 과정은 위에서 서술한 이미지 변환부(300)의 동작과 유사하므로 자세한 설명은 생략한다.
단계(S450)에서 상태 판단 모델의 이미지 생성 능력이 학습된다. 상기 상태 판단 모델은, 예를 들어 AE(Auto-Encoder), VAE(Variational Auto-Encoder), GAN(Generative Adversarial Network) 등을 포함한 이미지 생성 구조를 가지며, 정상 상태의 데이터에 기초하여 이미지를 생성하는 기계학습 모델이다.
도 5는, 본 발명의 일 실시예에 따른, 상태 판단 모델 구조의 개념도이다.
도 5를 참조하면, 상태 판단 모델은 GAN 구조를 갖도록 모델링될 수 있다. 도 5의 상태 판단 모델은 생성기(generator, G) 및 판별기(discriminator, D)를 포함한다. 상기 생성기는 입력 데이터에 노이즈를 적용하여 새로운 데이터를 출력하도록 구성된다. 일부 실시예에서, 상기 생성기는 스킵 연결을 사용한 인코더-디코더 구조를 가진다.
상기 생성기는 실제 데이터와 가까운 데이터를 생성함으로써 판별기를 속여 그 가까운 데이터를 실제 데이터로 판별하게 하는 것을 목표로 가진다. 판별기는 상기 실제 데이터와 생성기의 출력 데이터를 식별하는 것을 목표로 가진다.
학습이 진행되면, 생성기와 판별기는 각각의 목표를 달성하기 위해 모델 내 파라미터를 갱신한다. 상기 판별기는 실수할 확률을 낮추기 위해 학습하고, 생성기는 임의의 노이즈로부터 출력한 데이터에 대해서 판별기가 실수할 확률을 높이기 위해 학습한다. 즉, 상기 생성기와 판별기는 minimax problem을 풀기 위해 학습된다. Minimax problem을 풀기위한 학습과정은 비특허문헌 1(Goodfellow, Ian J.; Pouget-Abadie, Jean; Mirza, Mehdi; Xu, Bing; Warde-Farley, David; Ozair, Sherjil; Courville, Aaron; Bengio, Yoshua (2014). "Generative Adversarial Networks") 등에 개시되어 있는 바, 본 명세서에서 자세한 설명은 생략한다.
이러한 학습 과정에서 판별기는 입력 값의 정답(즉, 훈련 데이터)로부터 피드백을 받고, 생성기는 판별기로부터 피드백을 받는다. 충분히 학습되어 학습 완료된 생성기는 입력 데이터와 최대한 가까운 데이터를 출력하도록 구성되므로, 생성기는 입력 데이터와 최대한 가까운 데이터를 출력하도록 구성된다. 여기서, 가까운 출력 데이터는, 예를 들어 정상 상태를 나타내는 상태 이미지와 벡터 간격이 최소가 되는 데이터이다.
일 실시예에서, 상기 상태 판단 모델을 학습하기 위해 정상 상태 이미지만을 학습의 입력 데이터 및 판별기를 위한 실제 데이터로 사용한다. 생성기는 다양한 정상 변주의 정상 상태 이미지의 분포(예컨대, 픽셀의 색상 분포)를 학습하게 된다. 이 때, 생성기는 판별기를 속일 만큼의 실제적인 유사 이미지를 생성하도록 학습된다. 또한 상기 생성기는 입력 이미지와 생성 이미지의 복원 오차가 최소가 되도록 더 학습된다.
예를 들어, 상기 생성기는 아래의 목적 함수(L)를 풀기 위해 학습된다.
Figure pat00003
이 목적 함수는 GAN 손실 함수(LGAN)와 복원 손실 함수(Lrec, reconstruction loss function 의 결합으로 이루어져 있다. GAN 손실 함수는 상기 비특허문헌 1에 개시된 minimax problem을 풀기위한 함수이다. 복원 손실 함수()는 생성기에서 입력 이미지와 생성 이미지 간의 복원 오차의 최소화를 풀기위한 함수이다. 상기 복원 손실 함수는, 예를 들어
Figure pat00004
,
Figure pat00005
등으로 표현될 수 있다.
이와 같이 학습이 끝난 생성기를 포함한, 상태 판단 모델은 훈련 샘플의 센싱 데이터의 분포를 학습하였기 때문에, 상기 상태 판단 모델은 상태 판단을 요청하는 데이터(예컨대, 쿼리시간에서의 상태 이미지)가 들어오면, 상기 요청 데이터와 복원 오차가 적으면서 동시에 훈련 데이터 분포에 속하는 생성 이미지를 출력해 낸다.
상태 판단 모델에 의해 생성되는 새로운 이미지는, 정상 상태를 판단하기 위해 주도적으로 사용되는 상태 이미지를 보조하는 역할을 하므로, 상태 보조 이미지(situation secondary image)로 지칭될 수 있다. 전술한 바와 같이 생성기가 학습되면, 정상 상태를 나타내는 상태 이미지와 매우 가까운 상태 보조 이미지가 생성된다.
따라서, 학습된 상퐝 판단 모델은 쿼리 이미지가 정상 상태 이미지인 경우, 입력 이미지와 거의 동일한 출력 이미지를 생성한다. 예를 들어, 정상 상태를 나타내는 상태 이미지와 매우 가까운 상태 보조 이미지가 생성된다.
반면, 쿼리 이미지가 비정상 상태 이미지인 경우 입력 이미지와 (미리 학습된 정상 데이터 분포를 기준으로) 가장 적은 오차를 갖는 데이터 분포를 갖는 출력 이미지를 생성한다. 예를 들어, 비정상 상태를 나타내는 부분(예컨대, 비정상 센싱 데이터를 감지한 센서에 연관된 픽셀)은 정상 상태를 나타내는 부분에 가장 가까운 거리를 갖는 색상으로 변환되어 출력된다. 위에서 서술한 바와 같이, 정상 상태일 경우 낮은 색상 값이 산출되도록 상태 판단 모델이 학습된다. 즉, 비정상 상태를 나타내는 상태 이미지의 상태 보조 이미지 내에서는 비정상 상태를 감지한 센서에 연관된 픽셀의 색상 값이 감소하게 된다.
그 결과, 비정상 상태의 상태 이미지와 비교하여, 비정상 상태를 나타내는 부분에서 차이를 갖는 상태 보조 이미지가 출력된다. 이에 대해서는 아래의 비정상 위치 검출부(900) 및 도 12를 참조하여 보다 상세하게 서술한다.
상기 상태 판단 모델은 프로세서를 포함한 컴퓨팅 장치에 의해 수행된다. 상기 상태 판단 모델은, 예를 들어 상기 시설 상태 판단 시스템(1)에 의해 학습되거나, 또는 외부 컴퓨팅 장치에 의해 학습되어 상기 시설 상태 판단 시스템(1)에 제공된 것일 수 있다.
다시 도 2를 참조하면, 상태 판단부(500)는 상기 상태 이미지를 미리 학습된 상태 판단 모델에 적용하여 상기 상태 이미지의 보조 이미지(즉, 상태 보조 이미지)를 생성하고, 상기 상태 이미지 및 상태 보조 이미지에 기초하여 비정상 점수(abnoramly score)를 산출한다. 상기 비정상 점수는 상기 상태 이미지를 생성하는데 사용된 센싱 데이터의 쿼리시점에서의 상태가 비정상에 해당하는 정도를 수치화한 것이다.
일 실시예에서, 상태 판단부(500)는 상기 상태 이미지 및 상태 보조 이미지의 차이에 기초하여 비정상 점수를 산출한다.
예를 들어, 상태 판단부(500)는 아래의 수학식을 통해 비정상 점수(anomaly score)를 산출한다.
Figure pat00006
여기서, Q는 상태 이미지를 나타내며, G(Q)는 상태 판단 모델(예컨대, 도 5의 생성기)을 통해 생성된 상태 보조 이미지를 나타낸다.
일부 실시예에서, 상기 상태 판단 모델이 도 5의 모델인 경우, 비정상 점수는 상태 이미지 및 상태 보조 이미지를 판별기(D)에 입력하여 출력된 특징 벡터(f) 간의 차이에 기초하여 산출된다. 예를 들어, 상태 판단부(500)는 아래의 수학식을 통해 비정상 점수를 산출할 수도 있다.
Figure pat00007
여기서, f는 상태 판단 모델의 판별기에서 출력된 특징벡터를 나타낸다.
이와 같이 산출된 상기 비정상 점수는 0에 가까울수록 정상 상태를 나타내며, 클수록 비정상 상태를 나타낸다.
상태 판단부(500)는 비정상 점수 및 미리 설정된 임계치를 비교하여 상기 비정상 점수를 산출하는데 사용된 상태 이미지가 감지된 시간에서 시설에 비정상 상태가 발생했는지 판단한다. 상기 상태 판단부(500)의 비정상 상태 판단은 시설 내 전부에서 비정상 상태가 발생한 것에 제한되지 않으며, 시설 내 일부(예컨대, 특정 단일 지점)에서만 비정상 상태가 발생한 또한 포함한다.
상기 임계치는 정상 상태를 나타내는 비정상 점수 보다 높은 임의의 값이다. 상기 임계치는 시설의 유형, 시설에 설치된 설비의 특성(예컨대, 설비에 연관된 동작의 구동 순서에서의 중요도, 비상시 대체 설비의 유무 등), 센싱 데이터에 기초한 비정상 상태의 통계 등에 기초하여 설정된다.
상태 판단부(500)는 비정상 점수가 임계치 이하인 경우, 정상 상태로 판단한다. 그러면 시설의 상태를 모니터링하는 동작을 계속하여 수행한다.
한편, 비정상 점수가 임계치 보다 큰 경우, 비정상 상태로 판단한다. 일부 실시예에서, 상기 시설 상태 판단 시스템(1)은 (예를 들어 상태 판단부(500)를 통해) 비정상 상태일 경우 수행하도록 미리 설정된 비정상 상태에서의 동작(들)을 수행할 수 있다. 상기 비정상 상태에서의 동작은 예를 들어 사용자에게 주의, 경고, 비정상 상태 발생 알림, 비상 프로세스 수행 등을 포함한다.
추가적으로, 상기 상태 판단부(500)는 시설의 상태를 판단하기 위해 하나 이상의 임계치를 사용하도록 더 구성될 수 있다. 예를 들어, 상기 임계치는 제1 내지 제3의 임계치를 포함하며, 제3 임계치는 비정상 상태의 알림, 제2 임계치는 경고, 제1 임계치는 주의를 제공하는데 사용된다. 상기 제3 임계치가 가장 높은 비정상 점수를 가지며, 제1 임계치가 가장 낮은 비정상 점수를 가진다. 상기 제2 임계치는 제1 임계치와 제3 임계치 사이의 값을 가진다.
비정상 위치 검출부(900)는 비정상 상태가 발생했다고 판단된 경우 상기 비정상 상태의 발생 위치를 검출하도록 구성된다. 상기 비정상 상태의 발생 위치는 해당 비정상 상태를 감지한 센서의 위치에 기초하여 검출된다.
상기 발생 위치는 비정상 상태를 나타내는 센싱 데이터를 감지한 센서의 위치, 센서에 연관된 설비의 위치, 등을 포함한다.
일 예에서, 상기 비정상 상태의 발생 위치는 해당 비정상 상태를 감지한 센서의 위치로 검출될 수 있다. 다른 일 예에서, 상기 비정상 상태의 발생 위치는 해당 비정상 상태를 감지한 센서의 감지 범위에 해당하는 영역으로 검출될 수 있다.
일 실시예에서, 비정상 위치 검출부(900)는 쿼리시간에서의 상태 이미지와 상기 쿼리시간에서의 상태 보조 이미지에 기초하여 쿼리시간에서의 잔차 이미지를 생성하고, 상기 잔차 이미지에 포함된 픽셀의 색상에 기초하여 해당 비정상 상태를 감지한 센서의 위치를 검출할 수 있다.
상기 잔차 이미지(residual image)는 상태 이미지와 상태 보조 이미지 간의 잔차를 산출하여 생성된다. 상기 잔차 이미지를 사용하지 않으면, 모든 센서에서 비정상 상태를 감지한 경우에는 비정상 상태의 발생 위치를 정확하게 알기 어렵다. 상기 잔차 이미지는 모든 센서에서 비정상 상태를 감지한 경우, 비정상 상태의 발생 위치를 알수 있게 한다.
일 예에서, 상기 잔차 이미지는 아래의 수학식을 통해 산출될 수도 있다.
Figure pat00008
다른 일 예에서, 상기 잔차 이미지는 픽셀별로 산출된, 상태 이미지에 포함된 픽셀의 색상 값과 상태 보조 이미지에 포함된 픽셀의 색상 값의 차이로 생성될 수도 있다.
전술한 바와 같이, 상태 보조 이미지는 정상 상태에 최대한 가까운 이미지를 생성하도록 학습된 상태 판단 모델에 의해 생성된다. 따라서, 정상 상태를 나타내는 상태 이미지가 상기 모델에 입력된 경우, 상기 상태 보조 이미지는 잔차가 없거나 있어도 매우 작게 하는 결과를 야기한다. 그 결과, 센싱 데이터가 모두 정상 상태를 나타내는 경우, 상태 이미지와 상태 보조 이미지의 픽셀 간의 차이가 적어 매우 적은 색상 값을 가진다. 이로 인해, 잔차 이미지는 대부분의 영역 또는 모든 영역이 동일 또는 유사한 색(또는 색 계열)로 이루어진다. 여기서, 동일 또는 유사한 색은 0에 가까운 색상 값에 대응하는 색상 계열을 나타낸다. 상기 잔차 이미지는 0에 가까운 비정상 점수를 나타낸다.
반면, 센싱 데이터가 비정상 상태의 센싱 데이터를 포함한 경우, 상태 보조 이미지는 비정상 상태를 감지한 센서에 연관된 픽셀에서 차이가 발생한다. 이러한 픽셀의 색상 값이 정상 상태에 가깝게 변환되었기 때문이다.
따라서, 비정상 상태 이미지와 이의 상태 보조 이미지 간의 잔차 이미지는 이러한 픽셀에서 잔차를 갖게 된다. 예를 들어, 쿼리시간에서의 센싱 데이터가 n번째 센서에 의해 검출된 이상이 있는 데이터를 포함한 경우, 쿼리시간에서의 상태 이미지와 상태 보조 이미지를 통해 얻어진 잔차이미지의 n번째 행과 n 번째열(단, (n, n)은 제외)에서 큰 색상 값을 가지게 된다. 따라서, n번째 행 과 n번째 열(단, (n, n)은 제외)에서는 색상 값0에 대응하지 않는 색상을 갖게 된다.
즉, 비정상 상태에서의 잔차 이미지의 데이터 분포는 비정상 상태를 감지한 센서에 연관된 픽셀의 데이터와 그렇지 않은 픽셀의 데이터로 분류될 수도 있다.
일부 실시예에서, 잔차 이미지의 픽셀의 색상 값이 잔차 임계치 보다 큰 경우, 비정상 상태를 감지한 센서에 연관된 픽셀로 결정될 수도 있다. 상기 잔차 임계치는 상기 정상 상태의 경우에서는 발생하지 않는, 상대적으로 큰 값을 나타낸다. 상기 잔차 임계치 보다 큰 색상 값을 갖는 픽셀은 비정상 상태를 감지한 센서에 연관된다.
정상 상태를 감지한 센서에만 연관된 픽셀과 비정상 상태를 감지한 센서에 연관된 픽셀은 서로 다른 색상을 가진다. 전술한 바와 같이 픽셀은 센서에 연관되어 있어, 결국, 잔차 이미지 내에서 정상 상태에서의 잔차 이미지의 색상과 상이한 색상을 갖는 픽셀을 검출하고 (즉, 잔차 임계치 보다 큰 색상 값을 갖는 픽셀을 검출하고), 검출된 픽셀에 연관된 센서의 순서번호를 결정하여 비정상 상태를 감지한 센서를 결정할 수 있다.
상기 판단 시스템(1)이 본 명세서에 서술되지 않은 다른 구성요소를 포함할 수도 있다는 것이 통상의 기술자에게 명백할 것이다. 예를 들어, 상기 시설 상태 판단 시스템(1)은 네트워크 인터페이스, 데이터 엔트리를 위한 입력 장치, 및 디스플레이, 인쇄 또는 다른 데이터 표시를 위한 출력 장치, 실시예들을 실행하기 위해 요구되는 데이터 또는 정보를 저장하는 저장 장치(예컨대, 메모리)를 포함하는, 본 명세서에 서술된 동작에 필요한 다른 하드웨어 요소를 포함할 수도 있다.
본 발명의 다른 일 측면에 따른 시설의 상태를 판단하는 방법은 프로세서를 포함한 컴퓨팅 장치(예컨대, 상기 시설 상태 판단 시스템(1))에 의해 수행될 수 있다.
도 6은, 본 발명의 일 실시예에 따른, 시설의 상태를 판단하는 방법의 흐름도이다.
도 6을 참조하면, 쿼리시점에서의 시설의 상태를 판단하기 위해, (예컨대, 수신장치(100)에 의해) 우선 시설에 설치된 복수의 센서를 통해 센싱 데이터를 수신한다(S610). 복수의 센서의 유형에 따라 상기 센싱 데이터는 다변수 시계열 데이터일 수 있다. 상기 복수의 센서는 제i 및 제j 센서를 포함한다.
일부 실시예에서, 단계(S610)에서 수신하는 센싱 데이터는 쿼리시점 보다 이전 시간에서의 센싱 데이터를 더 포함할 수도 있다.
일 실시예에서, 수신된 센싱 데이터는 (예컨대, 전처리부(200)에 의해) 전처리될 수도 있다(S620). 일 실시예에서, 상기 전처리 단계(S620)는: 센싱 데이터를 정규화하는 단계; 및/또는 센싱 데이터의 노이즈를 제거하는 단계를 포함한다.
예를 들어, 단계(S610)의 센싱 데이터가 다변수 시계열 데이터로서 각각의 데이터 범위가 상이한 경우, 범위가 다른 센싱 데이터를 동일한 분포에서 비교 가능하도록 평균 값을 0으로 갖고 분산 값을 1로 갖는 z-정규화 방식을 통해 상기 센싱 데이터를 정규화할 수도 있다. 그리고 정규화된 센싱 데이터를 이동 평균 방식(Moving Average Filter) 등을 통해 큰 노이즈를 제거할 수도 있다.
그 후, (예컨대, 이미지 변환부(300)에 의해) 센싱 데이터의 쿼리시점(t)에서의 상태 이미지를 생성한다(S630). 상기 상태 이미지는 실시간, 또는 사용자가 요청하는 특정 시간에서의 시설의 상태를 나타내는 이미지를 포함한다. 여기서, 실시간 상태 이미지는 단위 시간 당 상태 이미지를 포함한다.
일 실시예에서, 상기 상태 이미지를 생성하는 단계(S630)는: 상기 복수의 센서의 개수에 의존하여 상태 이미지를 복수의 픽셀을 결정하는 단계를 포함한다. N개의 센서가 설치된 경우, (예컨대, 각 단위시간 마다) N x N 픽셀을 갖는 이미지로 센싱 데이터를 변환한다.
각 픽셀은 제i 및 제j 센서에 연관되나, 상기 제i 및 제j 센서는 동일한 센서일 수도 있다.
일부 실시예에서, 상기 복수의 픽셀을 결정하는 단계는: 미리 설정된 시설 구동 순서에 따라서 센서의 센싱 데이터(또는 전처리 데이터)를 배열하는 단계를 포함한다. 이 경우, 픽셀을 상기 시설 구동 순서에 따른 센서의 순서 번호로 좌표화할 수 있다.
또한, 상기 단계(S630)는 연관된 제i 및 제j 센서의 센싱 데이터에 기초하여 각 픽셀의 색상을 결정하는 단계를 더 포함한다.
일부 실시예에서, 상기 쿼리시점(t)에서의 각 픽셀의 색상을 결정하는 단계는: 제i 및 제j 센서의 센싱 데이터의 차이를 산출하여 픽셀의 색상 값을 계산하는 단계; 및 미리 저장된 색상 테이블을 사용하여 계산된 색상 값에 대응하는 색상을 결정하고, 결정된 색상을 해당 픽셀에 부여하는 단계를 포함한다. 상기 색상의 결정은 미리 저장된 색상 테이블을 사용하여 수행된다.
상기 일부 실시예에서, 상기 제i 및 제j 센서의 센싱 데이터의 차이는 상기 수학식 1을 통해 산출될 수도 있다.
일 실시예에서, 상태 이미지는 쿼리시간을 기준으로 소정의 시간 간격을 갖는 이전 시간까지의 센싱 데이터를 사용하여 산출될 수도 있다(S630). 상기 소정의 시간 간격은 시간 윈도우(d)로 지칭될 수도 있다.
이 경우, 단계(S610)에서 시간 윈도우에 포함된 시간에서의 센싱 데이터가 수신된다. 일부 실시예에서, 시간 윈도우에 포함된 시간에서의 센싱 데이터가 전처리된다(S620).
상기 실시예에서, 시간 윈도우에 포함된 시간의 센싱 데이터에 기초한 상태 이미지를 생성하기 위해, 시간 윈도우 상에서의 픽셀의 색상 값이 쿼리시간에서의 픽셀의 색상 값으로 산출된다.
일부 실시예에서, 시간 윈도우 상에서의 픽셀의 색상 값은: 시간 윈도우(d)에 포함된 시간별 센싱 데이터에 기초하여 시간 윈도우(d)에 포함된 각 시간에서의 픽셀의 색상 값을 산출하는 단계; 및 시간 윈도우(d)에 포함된 각 시간에서의 색상 값에 각 시간에서의 시간 가중치를 적용하여 시간 윈도우(d) 상에서의 픽셀의 색상 값을 계산하는 단계를 포함한다. 여기서, 시간 윈도우에 포함된 각 시간에서의 픽셀의 색상 값은 상기 수학식 1에 의해 계산될 수 있다.
상기 일부 실시예에서, 시간 윈도우 상에서의 픽셀 색상 값을 계산하기 위한 시간 가중치 적용 결과는 상기 수학식 2를 통해 표현되는, 가중치 평균 방식에 의해 계산될 수도 있다.
단계(S630) 이후 (예컨대, 상태 판단부(500)에 의해) 상태 이미지를 미리 학습된 상태 판단 모델에 적용하여 상기 상태 보조 이미지를 생성하고, 상기 상태 이미지와 이에 대한 상태 보조 이미지에 기초하여 비정상 점수를 산출하며(S650), 산출된 쿼리시간에서의 비정상 점수와 미리 설정된 임계치를 비교하여 쿼리시간에서 시설에서 비정상 상태가 발생했는지 여부를 판단한다(S660).
또한, 상기 판단 방법은: 비정상 상태로 판단된 경우(S680), 비정상 상태의 발생 위치를 검출하는 단계를 더 포함할 수도 있다(S690).
일 실시예에서, 상기 비정상 상태의 발생 위치를 검출하는 단계(S690)는: 쿼리시간에서의 상태 이미지 및 상태 보조 이미지에 기초하여 쿼리시간에서의 잔차 이미지를 생성하는 단계; 상기 잔차 이미지에 포함된 픽셀의 색상 값에 기초하여 미리 설정된 잔차 임계치를 보다 큰 색상 값을 갖는 픽셀을 결정하는 단계; 상기 결정된 픽셀에 연관된 센서를 결정하는 단계; 및 결정된 센서의 위치를 검출하는 단계를 포함한다. 연관된 센서는 비정상 상태를 감지한 센서로서 검출된다.
이하, 센싱 데이터가 정상 상태일 경우에서 단계(S630 내지 S690)의 동작은 도 7 내지 도 9를 참조하여 상세하게 서술하고, 센싱 데이터가 비정상 상태일 경우에서 단계(S630 내지 S690)의 동작은 도 10 내지 도 12를 참조하여 상세하게 서술한다.
도 7은, 본 발명의 일 실시예에 따른, 정상 상태 이미지를 도시한 도면이다.
복수의 센서를 통해 수신한 센싱 데이터가 정상 상태의 센싱 데이터를 포함하는 경우, 정상 상태 이미지가 생성된다(S630).
각 센서별 전처리된 센싱 데이터가 그래프로 도시된 도 7을 참조하면, 정상 상태에서는 복수의 센서를 통해 수신한 센싱 데이터의 변화가 거의 없다. 예를 들어, 도 7에 도시된 바와 같이, 센싱 데이터의 분포가 상대적으로 좁은 센서 값 범위를 가진다.
따라서, 제i 센서의 센싱 데이터 및 제j 센서의 센싱 데이터의 차이에 기초한 픽셀의 색상 값의 분포는 상대적으로 좁은 범위를 가지며, 결국 저상 상태를 나타내는 상태 이미지(즉, 정상 상태 이미지)는 동일 또는 유사 계열 색상을 갖는 픽셀로 형성된다. 예를 들어, 도 7에 도시된 바와 같이, 파란 색 계열의 색상을 갖는 픽셀을 포함하는 상태 이미지가 생성된다.
도 8은, 도 7의 상태 이미지로부터 생성된 상태 보조 이미지를 도시한 도면이다.
단계(S630)에서 쿼리시간의 상태 이미지가 생성되면, 상기 상태 이미지를 미리 학습된 상태 판단 모델에 적용하여 쿼리시간에서의 상태 보조 이미지를 생성한다(S650).
위에서 서술한 바와 같이, 정상 상태의 센싱 데이터를 사용하여 학습된 상태 판단 모델(예컨대, 도 5의 생성기)은 정상 상태의 데이터 분포(예컨대, 정상 상태의 색상 값 분포)를 갖는 출력 데이터를 생성하도록 구성된다.
학습이 완료된 상태 판단 모델은 쿼리 이미지가 정상 상태 이미지인 경우, 정상 상태 이미지와 가까운 상태 보조 이미지를 생성하도록 구성된다.
예를 들어, 도 7의 정상 상태 이미지를 상기 상태 판단 모델에 입력한 경우, 도 8에 도시된 바와 같이 도 7의 정상 상태 이미지와 가까운 상태 보조 이미지가 생성된다.
또한, 도 8의 정상 상태 이미지 및 도 9의 해당 상태 보조 이미지에 기초하여 산출된, 쿼리시간(QT)에서의 비정상 점수는 비정상 상황의 발생 여부를 판단하기 위한 임계치와 비교하여 그 이하로 산출된다.
도 9는, 도 7의 정상 상태 이미지 및 도 8의 상태 보조 이미지에 기초한 잔차 이미지를 도시한 도면이다.
정상 상태 이미지 및 그에 대한 상태 보조 이미지는, 상대적으로 유사한 데이터 분포를 갖게 된다. 따라서, 정상 상태 이미지와 그에 대한 상태 보조 이미지에 기초한 잔차 이미지는 픽셀의 색상 값으로 0 또는 매우 낮은 값을 갖게된다. 그 결과, 예를 들어, 0인 색상 값이 검정색 계열에 대응하는 정보를 포함한 색상 테이블을 사용한 경우, 도 10에 도시된 바와 같이 잔차 이미지의 대부분 픽셀이 검은색을 가진다.
도 10은, 본 발명의 일 실시예에 따른, 비정상 상태 이미지를 도시한 도면이다.
도 10의 센싱 데이터의 그래프에서, 센서 순서 번호가 170 내지 180 사이(예컨대, 175번)인 센서에서 정상 상태의 센싱 데이터와 명확히 구분되는 센싱 데이터가 감지된다.
쿼리시간의 센싱 데이터가 비정상 상태의 센싱 데이터를 포함한 경우, 비정상 상태 이미지가 생성된다(S630).
센싱 데이터의 분포 또한 도 7에 도시된 정상 상태에서의 센싱 데이터의 분포와 상이하다. 따라서, 비정상 상태를 감지한 상기 센서의 센싱 데이터, 그리고 정상 상태를 감지한 센서의 센싱 데이터 사이에는 상대적으로 큰 차이가 발생하게 된다. 예를 들어, z-정규화를 거친 경우, 비정상 상태를 감지한 센서의 센싱 데이터는, 도 10에 도시된 바와 같이, 다른 정상 상태를 감지한 센서의 센싱 데이터와의 데이터 간격이 모두 멀어지게 되기 때문이다. 결국 비정상 상태를 감지한 센서와 그렇지 않은 센서에 연관된 픽셀은 정상 상태를 지한 센서에만 연관된 픽셀과 비교하여 상이한 색상 값을 갖게 된다.
결국, 도 10에 도시된 바와 같이, 순서번호 175에 연관된 175번째 행과 175번째 열의 픽셀(단, (175,175) 픽셀은 제외)은 상대적으로 큰 색상 값을 나타내는 노란색을 가진다.
도 11은, 도 10의 상태 이미지로부터 생성된 상태 보조 이미지를 도시한 도면이다.
단계(S630)에서 쿼리시간의 상태 이미지가 생성되면, 상기 상태 이미지를 미리 학습된 상태 판단 모델에 적용하여 쿼리시간에서의 상태 보조 이미지를 생성한다(S650).
위에서 서술한 생성기의 특성으로 인해, 학습이 완료된 생성기는 쿼리 이미지가 비정상 상태 이미지인 경우, 쿼리 이미지가 비정상 상태 이미지인 경우 입력 이미지와 (미리 학습된 정상 데이터 분포를 기준으로) 가장 적은 오차를 갖는 데이터 분포를 갖는 출력 이미지를 생성한다. 따라서, 상태 보조 이미지 내에서는 비정상 상태를 감지한 센서에 연관된 픽셀의 색상 값이 비정상 상태 이미지 내에서 비정상 상태를 감지한 센서에 연관된 픽셀의 색상 값 보다 작아지게 된다.
도 10의 상태 이미지를 상태 판단 모델에 적용하면, 도 11에 도시된 바와 같이, 175번째 센서에 연관된 픽셀의 색상이 노란색에서 보다 파란색에 가까운 색으로 변환된 상태 보조 이미지가 출력된다. 위에서 설명한 바와 같이, 파란색의 색상 값이 노란색의 색상 값 보다 낮다.
또한, 도 9의 비정상 상태 이미지 및 도 10의 상태 보조 이미지에 기초하여 산출된, 쿼리시간(QT)에서의 비정상 점수는 비정상 상황을 판단하기 위한 임계치 보다 큰 값을 가진다.
도 12는, 도 10의 비정상 상태 이미지 및 도 11의 상태 보조 이미지에 기초한 잔차 이미지를 도시한 도면이다.
비정상 상태 이미지 및 상태 보조 이미지는 비정상 상태를 감지한 센서에 연관된 픽셀에서 상대적으로 큰 차이를 갖는 색상 값을 가진다. 따라서, 잔차 이미지는 비정상 상태를 감지한 센서에 연관된 픽셀에서, 비정상 상태를 감지하지 않은 센서에만 연관된 다른 픽셀과 상대적으로 큰 색상 값 차이를 가지며, 이로 인해 구별되는 색상을 가진다.
예를 들어, 잔차 이미지 내에서 제175 행 및 제175열의 픽셀(단, (175,175) 픽셀은 제외)는 색상 값이 상대적으로 큰 색상 값을 가진다. 일부 실시예에서, 상기 상대적으로 큰 색상 값은 잔차 임계치 보다 큰 값일 수 있다.
이와 같이 색상 값(또는 색상)에 기초하여 비정상 상태를 감지한 센서에 연관된 픽셀을 결정하면, 결정된 픽셀의 행과 열에 기초하여 비정상 상태를 감지한 센서의 순서 번호를 산출할 수 있고, 결국 비정상 상태를 감지한 센서의 위치를 검출할 수 있다. 예를 들어, 도 12에서는 비정상 상태를 감지한 센서에 연관된 픽셀은 제175 행의 픽셀, 및 제175 열의 픽셀(단, (175,175)은 제외)이 결정된다. 그러면 175이 비정상 상태를 감지한 센서의 순서 번호로서 산출되고, 제175 센서의 위치에 기초하여 비정상 상태의 발생 위치가 검출된다.
이와 같이, 상기 시설 상태 판단 시스템(1) 및 방법을 사용하면, 둘 이상의 유형의 복수의 센서를 통해 획득된 다변수 시계열 데이터를 사용하여도 비정상 상태의 발생 여부를 판단할 수 있다.
또한, 비정상 상태로 판단된 경우, 상기 상태 이미지 및 상기 상태 이미지로부터 생성된 상태 보조 이미지에 기초하여 잔차 이미지를 생성함으로써 비정상 상태를 감지한 센서의 위치 또는 비정상 상태 발생 위치를 검출할 수 있다.
이상에서 설명한 실시예들에 따른 시설의 센싱 데이터를 이미지화하여 시설의 상태를 판단하는 시스템(1)및 방법에 의한 동작은 적어도 부분적으로 컴퓨터 프로그램으로 구현되어, 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 예를 들어, 프로그램 코드를 포함하는 컴퓨터-판독가능 매체로 구성되는 프로그램 제품과 함께 구현되고, 이는 기술된 임의의 또는 모든 단계, 동작, 또는 과정을 수행하기 위한 프로세서에 의해 실행될 수 있다.
상기 컴퓨터는 데스크탑 컴퓨터, 랩탑 컴퓨터, 노트북, 스마트 폰, 또는 이와 가까운 것과 같은 컴퓨팅 장치일 수도 있고 통합될 수도 있는 임의의 장치일 수 있다. 컴퓨터는 하나 이상의 대체적이고 특별한 목적의 프로세서, 메모리, 저장공간, 및 네트워킹 구성요소(무선 또는 유선 중 어느 하나)를 가지는 장치다. 상기 컴퓨터는 예를 들어, 마이크로소프트의 윈도우와 호환되는 운영 체제, 애플 OS X 또는 iOS, 리눅스 배포판(Linux distribution), 또는 구글의 안드로이드 OS와 같은 운영체제(operating system)를 실행할 수 있다.
상기 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록신원확인 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장신원확인 장치 등을 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 또한, 본 실시예를 구현하기 위한 기능적인 프로그램, 코드 및 코드 세그먼트(segment)들은 본 실시예가 속하는 기술 분야의 통상의 기술자에 의해 용이하게 이해될 수 있을 것이다.
이상에서 살펴본 본 발명은 도면에 도시된 실시예들을 참고로 하여 설명하였으나 이는 예시적인 것에 불과하며 당해 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 실시예의 변형이 가능하다는 점을 이해할 것이다. 그러나, 이와 같은 변형은 본 발명의 기술적 보호범위 내에 있다고 보아야 한다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해서 정해져야 할 것이다.
한국의 경우 2009년부터 2015년 6월까지 공기업 발전소의 고장으로 인한 피해액은 대략 1조 4천억원, 민간 기업 발전소의 고장으로 인한 피해액은 대략 2606억원으로 집계되고 있다.
본 발명의 일 측면에 따른 시설의 센싱 데이터를 이미지화하여 시설의 상태를 판단하는 시스템은 4차 산업 기술 중 하나인 기계 러닝(machine learning)을 이용하여 모델링된 상태 판단 모델을 통해 다변수 시계열 데이터를 이미지화 처리함으로써, 다변수 시계열 데이터의 국부적 연결성에 기초하여 상태를 보다 정확하게 판단할 수 있다.
따라서, 상기 시스템을 활용하면 엄청난 경제적, 자원적 손실을 방지할 것으로 예상된다.

Claims (20)

  1. 프로세서를 포함한 컴퓨팅 장치에 의해 수행되는 시설의 센싱 이미지를 이미지화하여 시설의 상태를 판단하는 방법에 있어서,
    쿼리시점에서의 센싱 데이터를 복수의 센서를 통해 수신하는 단계;
    상기 센싱 데이터에 기초하여 쿼리시간에서 상기 시설의 상태를 나타내는, 쿼리시간에서의 상태 이미지를 생성하는 단계; 및
    미리 학습된 상태 판단 모델에 상기 상태 이미지를 적용하여 상기 쿼리시간에서 비정상 상태가 발생했는지 여부를 판단하는 단계를 포함하는 방법.
  2. 제1항에 있어서,
    상기 복수의 센서는 복수의 유형을 가지며,
    상기 센싱 데이터는 다변수 시계열 데이터인 것을 특징으로 하는 방법.
  3. 제1항에 있어서,
    상기 상태 이미지 생성 이전에 상기 센싱 데이터를 정규화하기 위해 전처리하는 단계를 더 포함하는 방법.
  4. 제1항에 있어서, 상기 상태 이미지를 생성하는 단계는,
    쿼리시간에서의 각 센서의 센싱 데이터를 배열하는 단계; 및
    상기 복수의 센서가 N개인 경우, N*N의 픽셀 세트를 형성하는 단계를 포함하며,
    각 픽셀은 제1 센서 및 제2 센서에 연관되는 것을 특징으로 하는 방법.
  5. 제4항에 있어서, 상기 쿼리시간에서의 각 센서의 센싱 데이터를 배열하는 단계는,
    미리 저장된 센서의 순서번호에 따라 배열되며,
    상기 센서의 순서번호는 시설 내 설비의 구동 순서에 따르는 것을 특징으로 하는 방법.
  6. 제4항에 있어서, 상기 상태 이미지를 생성하는 단계는,
    상기 픽셀에 연관된 제1 센서 및 제2 센서를 통해 수신된, 쿼리시간에서의 제1 센싱 데이터와 제2 센싱 데이터 간의 차이에 기초하여 상기 쿼리시간에서의 픽셀의 색상 값을 산출하는 단계;
    미리 저장된 색상 테이블에서 산출된 색상 값에 대응하는 색상을 검색하는 단계; 및
    검색된 색상을 상기 색상에 부여하는 단계를 포함하는 방법.
  7. 제6항에 있어서, 상기 쿼리시간에서의 픽셀의 색상 값을 산출하는 단계는,
    상기 쿼리시간에서 소정의 시간 간격 이전의 시간 상에서의 제1 센싱 데이터와 제2 센싱 데이터 간의 시간별 차이에 기초하여 상기 픽셀의 시간별 색상 값을 산출하는 단계;
    상기 시간별 색상 값에 시간별 시간 가중치를 각각 적용하는 단계; 및
    상기 가중치 적용 결과에 기초하여 소정 시간 간격 상에서의 픽셀의 색상 값을 상기 쿼리시간에서의 픽셀의 색상 값으로 산출하는 단계를 포함하는 방법.
  8. 제7항에 있어서,
    상기 시간별 시간 가중치는 쿼리시점에 가까울수록 더 높은 값을 갖는 것을 특징으로 하는 방법.
  9. 제1항에 있어서, 상기 쿼리시간에서 비정상 상태가 발생했는지 여부를 판단하는 단계는,
    미리 학습된 상태 판단 모델에 상기 상태 이미지를 적용하여 상태 보조 이미지를 생성하는 단계;
    상기 상태 이미지 및 상태 보조 이미지에 기초하여 쿼리시점에서의 비정상 점수를 산출하는 단계; 및
    상기 비정상 점수가 미리 설정된 임계치 보다 높은 경우 상기 쿼리시간에서 비정상 상황이 발생했다고 판단하는 단계를 포함하는 방법.
  10. 제9항에 있어서, 상기 상태 판단 모델은,
    데이터를 입력받은 경우, 학습에 사용된 훈련 샘플의 데이터 분포와 복원 오차가 최소가 되거나 데이터 분포에 속하게 하는 출력 데이터를 생성하도록 학습된 것을 특징으로 하는 방법.
  11. 제10항에 있어서, 상기 학습에 사용된 훈련 샘플은 정상 상태의 센싱 데이터를 포함하며,
    상기 데이터 분포는 상기 훈련 샘플의 상태 이미지의 데이터 분포인 것을 특징으로 하는 방법.
  12. 제9항에 있어서, 상기 상태 판단 모델은,
    비정상 상태의 센싱 데이터를 포함한 센싱 데이터에 기초하여 생성된 상태 이미지가 적용된 경우, 정상 상태를 나타내는 상태 이미지와 벡터 간의 간격이 가장 가까운 상태 보조 이미지를 생성하는 것을 특징으로 하는 방법.
  13. 제1항에 있어서,
    비정상 상태로 판단된 경우, 상기 상태 이미지에 기초하여 비정상 상태를 감지한 센서를 검출하는 단계를 더 포함하는 방법.
  14. 제13항에 있어서, 상기 센서를 검출하는 단계는,
    상기 상태 이미지, 그리고 상기 상태 판단 모델에 의해 생성된 상태 보조 이미지에 기초하여 쿼리시간에서의 잔차 이미지를 생성하는 단계;
    상기 잔차 이미지에 포함된 픽셀의 색상 값에 기초하여 미리 설정된 잔차 임계치를 보다 큰 색상 값을 갖는 픽셀을 결정하는 단계; 및
    상기 결정된 픽셀에 연관된 센서를 결정하는 단계를 포함하되,
    상기 잔차 임계치는 정상 상태의 센싱 데이터에 기초한 잔차 이미지 내 픽셀의 색상 값 보다 큰 것을 특징으로 하는 방법.
  15. 제14항에 있어서, 상기 결정된 픽셀에 연관된 센서를 결정하는 단계는,
    상기 잔차 이미지 내에서 상기 결정된 픽셀에 연관된 센서의 순서번호에 기초하여 연관된 센서를 결정하는 단계를 포함하는 방법.
  16. 컴퓨팅 장치에 의해 판독가능하고, 상기 컴퓨팅 장치에 의해 동작 가능한 프로그램 명령어를 저장하는 컴퓨터 판독가능 기록매체로서, 상기 프로그램 명령어가 상기 컴퓨팅 장치의 프로세서에 의해 실행되는 경우 상기 프로세서가 제1항 내지 제15항 중 어느 하나의 항에 따른 시설의 상태를 판단하는 방법을 수행하게 하는 컴퓨터 판독가능 기록매체.
  17. 시설의 센싱 이미지를 이미지화하여 시설의 상태를 판단하는 시스템에 있어서,
    시설에 설치된 복수의 센서;
    상기 복수의 센서를 통해 센싱 데이터를 수신하는 수신장치;
    상기 센싱 데이터에 기초하여 쿼리시간에서의 상기 시설의 상태를 나타내는 상태 이미지를 생성하는 이미지 변환부;
    미리 학습된 상태 판단 모델에 상기 상태 이미지를 적용하여 상기 쿼리시간에서 비정상 상태가 발생했는지 여부를 판단하는 상태 판단부; 및
    상기 시설의 적어도 일부 영역의 상태가 비정상 상태로 판단된 경우, 비정상 상태를 감지한 센서를 검출하는 비정상 위치 검출부를 포함하는 시스템.
  18. 제17항에 있어서, 상기 상태 판단 모델은,
    데이터를 입력받은 경우, 학습에 사용된 훈련 샘플의 데이터 분포와 복원 오차가 최소가 되거나 데이터 분포에 속하게 하는 출력 데이터를 생성하도록 학습된 것을 특징으로 하는 시스템.
  19. 제17항에 있어서, 상기 상태 판단 모델은,
    비정상 상태의 센싱 데이터를 포함한 센싱 데이터에 기초하여 생성된 상태 이미지가 적용된 경우, 정상 상태를 나타내는 상태 이미지와 벡터 간의 간격이 가장 가까운 상태 보조 이미지를 생성하는 것을 특징으로 하는 시스템.
  20. 제17항에 있어서, 상기 비정상 위치 검출부는,
    상기 상태 이미지, 그리고 상기 상태 판단 모델에 의해 생성된 상태 보조 이미지에 기초하여 쿼리시간에서의 잔차 이미지를 생성하고,
    상기 잔차 이미지에 포함된 픽셀의 색상 값에 기초하여 미리 설정된 잔차 임계치를 보다 큰 색상 값을 갖는 픽셀을 결정하며, 그리고
    상기 결정된 픽셀에 연관된 센서를 결정하도록 구성되며,
    상기 잔차 임계치는 정상 상태의 센싱 데이터에 기초한 잔차 이미지 내 픽셀의 색상 값 보다 큰 것을 특징으로 하는 시스템.
KR1020190133998A 2019-10-25 2019-10-25 시설의 센싱 데이터를 이미지화하여 시설의 상태를 판단하는 시스템 및 방법 KR102342476B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020190133998A KR102342476B1 (ko) 2019-10-25 2019-10-25 시설의 센싱 데이터를 이미지화하여 시설의 상태를 판단하는 시스템 및 방법
US17/013,859 US11580629B2 (en) 2019-10-25 2020-09-08 System and method for determining situation of facility by imaging sensing data of facility

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190133998A KR102342476B1 (ko) 2019-10-25 2019-10-25 시설의 센싱 데이터를 이미지화하여 시설의 상태를 판단하는 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20210049555A true KR20210049555A (ko) 2021-05-06
KR102342476B1 KR102342476B1 (ko) 2021-12-24

Family

ID=75586168

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190133998A KR102342476B1 (ko) 2019-10-25 2019-10-25 시설의 센싱 데이터를 이미지화하여 시설의 상태를 판단하는 시스템 및 방법

Country Status (2)

Country Link
US (1) US11580629B2 (ko)
KR (1) KR102342476B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102332699B1 (ko) * 2021-06-04 2021-12-01 (주)재상피앤에스 영상 모델 기반 ai 알고리즘을 활용한 공간 환경 상태변화 감지 이벤트처리 시스템
KR102488815B1 (ko) * 2022-10-25 2023-01-18 (주)천도엔지니어링 인공지능(ai)을 이용한 공동주택 소방설비 점검 시스템
KR20230079802A (ko) * 2021-11-29 2023-06-07 주식회사 데이터스튜디오 타임 시리즈 데이터 예측을 위한 학습 이미지를 생성하는 방법 및 장치
KR102568300B1 (ko) * 2022-07-25 2023-08-17 임혜경 센서 데이터를 이용하는 상황 인식 시스템 및 그것의 상황 인식 방법
KR102637782B1 (ko) * 2022-12-26 2024-02-15 전남대학교산학협력단 에너지 데이터를 활용하기 위한 유전 알고리즘 기반 엣지 컴퓨팅 내 개인화된 딥러닝 모델 운용 방법과 시스템

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102342476B1 (ko) * 2019-10-25 2021-12-24 한국과학기술연구원 시설의 센싱 데이터를 이미지화하여 시설의 상태를 판단하는 시스템 및 방법
US11403496B2 (en) 2020-11-04 2022-08-02 Silicon Laboratories Inc. Detecting anomalous events in a discriminator of an embedded device
CN113870081B (zh) * 2021-07-01 2024-05-03 重庆大学 一种乡村重构动力评价方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170125265A (ko) 2016-05-04 2017-11-14 두산중공업 주식회사 플랜트 이상 감지를 위한 자동 학습 시스템 및 방법
KR101818394B1 (ko) * 2017-05-11 2018-01-12 울산대학교 산학협력단 설비 상태 진단 방법 및 장치
JP2019070930A (ja) * 2017-10-06 2019-05-09 株式会社日立パワーソリューションズ 異常検知装置および異常検知方法
KR20190067441A (ko) * 2017-12-07 2019-06-17 한국생산기술연구원 딥 러닝과 웨이블렛 변환을 이용한 회전체의 고장 진단 시스템

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7233932B2 (en) * 2005-05-31 2007-06-19 Honeywell International, Inc. Fault detection system and method using approximate null space base fault signature classification
US20070090059A1 (en) * 2005-07-22 2007-04-26 Plummer Robert J Remote water quality monitoring systems and techniques
US20070178844A1 (en) * 2006-01-31 2007-08-02 Mutsuya Ii Method and system for identifying signal frequencies emitted at a known location using geographically distributed RF sensors
KR101094074B1 (ko) 2010-04-22 2011-12-15 주식회사 지오네트 성능저하 및 고장원인 조기 진단을 위한 알고리즘 분석모델 제작방법
KR101351309B1 (ko) 2012-03-26 2014-02-13 주식회사 지오네트 패턴인식 기술을 이용한 제어설비 고장진단 시스템 및 고장진단 방법
US20140266777A1 (en) * 2013-03-15 2014-09-18 Leeo, Inc. Environmental monitoring device
EP3232282B1 (de) 2016-04-12 2018-09-12 Siemens Aktiengesellschaft Diagnoseeinrichtung und verfahren zur überwachung des be-triebs einer technischen anlage
KR101825809B1 (ko) 2016-05-04 2018-03-22 두산중공업 주식회사 플랜트 이상 감지 시스템 및 방법
CN110023861B (zh) 2016-08-22 2023-01-13 罗伯特·博世有限公司 用于监控制造工厂的系统和方法
KR102025145B1 (ko) 2017-09-01 2019-09-25 두산중공업 주식회사 플랜트 데이터 예측 장치 및 방법
US11487640B2 (en) * 2018-09-11 2022-11-01 Oracle International Corporation Replacing stair-stepped values in time-series sensor signals with inferential values to facilitate prognostic-surveillance operations
CN110177122A (zh) * 2019-06-18 2019-08-27 国网电子商务有限公司 一种识别网络安全风险的模型建立方法及装置
KR102342476B1 (ko) * 2019-10-25 2021-12-24 한국과학기술연구원 시설의 센싱 데이터를 이미지화하여 시설의 상태를 판단하는 시스템 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170125265A (ko) 2016-05-04 2017-11-14 두산중공업 주식회사 플랜트 이상 감지를 위한 자동 학습 시스템 및 방법
KR101818394B1 (ko) * 2017-05-11 2018-01-12 울산대학교 산학협력단 설비 상태 진단 방법 및 장치
JP2019070930A (ja) * 2017-10-06 2019-05-09 株式会社日立パワーソリューションズ 異常検知装置および異常検知方法
KR20190067441A (ko) * 2017-12-07 2019-06-17 한국생산기술연구원 딥 러닝과 웨이블렛 변환을 이용한 회전체의 고장 진단 시스템

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Goodfellow, Ian J.; Pouget-Abadie, Jean; Mirza, Mehdi; Xu, Bing; Warde-Farley, David; Ozair, Sherjil; Courville, Aaron; Bengio, Yoshua (2014). "Generative Adversarial Networks"
MAD-GAN: Multivariate Anomaly Detection for Time Series Data with Generative Adversarial Networks, ICANN 2019.09.* *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102332699B1 (ko) * 2021-06-04 2021-12-01 (주)재상피앤에스 영상 모델 기반 ai 알고리즘을 활용한 공간 환경 상태변화 감지 이벤트처리 시스템
KR20230079802A (ko) * 2021-11-29 2023-06-07 주식회사 데이터스튜디오 타임 시리즈 데이터 예측을 위한 학습 이미지를 생성하는 방법 및 장치
KR102568300B1 (ko) * 2022-07-25 2023-08-17 임혜경 센서 데이터를 이용하는 상황 인식 시스템 및 그것의 상황 인식 방법
KR102488815B1 (ko) * 2022-10-25 2023-01-18 (주)천도엔지니어링 인공지능(ai)을 이용한 공동주택 소방설비 점검 시스템
KR102637782B1 (ko) * 2022-12-26 2024-02-15 전남대학교산학협력단 에너지 데이터를 활용하기 위한 유전 알고리즘 기반 엣지 컴퓨팅 내 개인화된 딥러닝 모델 운용 방법과 시스템

Also Published As

Publication number Publication date
US20210125323A1 (en) 2021-04-29
US11580629B2 (en) 2023-02-14
KR102342476B1 (ko) 2021-12-24

Similar Documents

Publication Publication Date Title
KR102342476B1 (ko) 시설의 센싱 데이터를 이미지화하여 시설의 상태를 판단하는 시스템 및 방법
US10914608B2 (en) Data analytic engine towards the self-management of complex physical systems
EP3552067B1 (en) Methods and systems for discovery of prognostic subsequences in time series
LU502731B1 (en) Method for monitoring abnormality of power production, apparatus, computer device, and storage medium therefor
JP2022519228A (ja) 工業プロセスで使用されるコンポーネントから発生する信号の異常を検出及び測定するためのシステムと方法
US9146800B2 (en) Method for detecting anomalies in a time series data with trajectory and stochastic components
US11593299B2 (en) Data analysis device, data analysis method and data analysis program
JP7275062B2 (ja) 時変システム動作における異常検出のためのシステム、方法およびコンピュータ読取可能記憶媒体
CN113344133B (zh) 一种时序行为异常波动检测方法及系统
KR102331463B1 (ko) 이송장치를 구동하는 모터에 관한 머신러닝 기반 예지보전방법 및 시스템
KR20220083284A (ko) 발전소 운전 건전성을 예측하기 위한 계통별 발전량 및 잔여 유효 수명 예측 방법 및 이를 수행하는 시스템
CN117351271A (zh) 高压配电线路监控设备故障监测方法、系统及其存储介质
US20230297095A1 (en) Monitoring device and method for detecting anomalies
US11954131B2 (en) Time-series data processing method
CN115965625A (zh) 一种基于视觉识别的仪表检测装置及其检测方法
KR102555371B1 (ko) M-svdd 기법을 이용한 스마트 공장의 이상 징후 탐지 시스템 및 그 방법
US20220230028A1 (en) Determination method, non-transitory computer-readable storage medium, and information processing device
US11320809B2 (en) Factory management system and control system
CN112380947A (zh) 智能化中央厨房的操作人员管理方法、系统和电子设备
CN116668859B (zh) 一种gis设备机房环境监控装置
JPH1042274A (ja) 異常監視方法および装置
US20220365673A1 (en) Non-intrusive shared processing method and system for pop-up window
KR102450030B1 (ko) 발전설비의 고장을 감지하는 시스템 및 방법
US20240046609A1 (en) Information processing apparatus, information processing method, and program
KR102253820B1 (ko) 발전 설비의 상황을 모니터링하기 위한 이미지 생성 장치 및 방법

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant