KR20200085491A

KR20200085491A - 신경망 기반 센서 이상 감지를 위한 서비스 제공 시스템 및 방법, 그리고 컴퓨터 프로그램이 기록된 비휘발성 기록매체

Info

Publication number: KR20200085491A
Application number: KR1020190001645A
Authority: KR
Inventors: 조윤주
Original assignee: 에스케이플래닛 주식회사
Priority date: 2019-01-07
Filing date: 2019-01-07
Publication date: 2020-07-15

Abstract

본 발명은 신경망 기반 센서 이상 감지를 위한 서비스 제공 시스템 및 방법, 그리고 컴퓨터 프로그램이 기록된 비휘발성 기록매체에 관한 것으로서, 더욱 상세히는 센서로부터 수집된 데이터를 신경망 모델을 통해 학습시켜 해당 신경망 모델을 통해 센서의 이상 여부를 직관적으로 판단할 수 있는 시각화된 정보를 제공하여 센서의 데이터에 대한 오류 여부 관련 라벨링 편의성 및 정확도를 높이고, 센서의 데이터에 대한 라벨링을 통해 생성된 라벨링 데이터를 이용하여 높은 정확도를 가진 센서의 이상 감지를 위한 신경망 기반 지도 학습 모델을 제공하는 신경망 기반 센서 이상 감지를 위한 서비스 제공 시스템 및 방법, 그리고 컴퓨터 프로그램이 기록된 비휘발성 기록매체에 관한 것이다.

Description

신경망 기반 센서 이상 감지를 위한 서비스 제공 시스템 및 방법, 그리고 컴퓨터 프로그램이 기록된 비휘발성 기록매체{Service providing system and method for detecting sensor abnormality based on neural network, and non-transitory computer readable medium having computer program recorded thereon}

현재 다양한 분야에서 온도, 미세먼지, 인체 감지 등과 같은 다양한 용도의 센서가 사용되고 있으며, 이러한 센서는 목적에 따라 센싱 대상에 대한 측정을 통해 데이터를 생성하여 이러한 센서의 데이터를 필요로 하는 장치나 시스템에 제공하게 되며, 해당 장치나 시스템은 센서로부터 수집된 데이터를 이용하여 사용자에게 각종 정보를 제공하거나 사용자의 편의와 관련된 각종 서비스를 제공할 수 있다.

이러한 센서에서 제공되는 데이터는 장치나 시스템의 신뢰성과 연관되므로 센서의 이상 여부에 대한 관리가 매우 중요하다.

그러나, 이러한 센서를 운영하는 센서 운영 주체는 운영사항을 데이터로 남겨두지 않는 경우가 많을 뿐만 아니라 센서의 이상 여부를 판단하기 위해 센서를 관리하는 별도의 전문 인력이 상황에 따른 분석 방법을 사용하여 불규칙하게 수작업으로 비정상 여부를 판단하므로 이상 발생 센서에 대한 신속한 대처가 어려운 문제가 있다.

최근 이러한 문제를 개선하여 센서 이상 여부에 대한 판단을 자동화하기 위한 방식이 일부 등장하고 있으나, 이러한 기존 방식 역시 일부 선별된 데이터를 이용해 센서 상태(정상 혹은 비정상)와 그때의 데이터 패턴을 분석하여 특징을 도출한 후 도출된 특징을 센서로부터 제공되는 데이터의 패턴과 단순 비교하여 센서의 이상 여부를 판단하는 정도에 그치므로, 센서의 이상 여부 판단을 위한 기준 패턴 도출에 이용되는 데이터가 극히 한정되어 해당 기준 패턴에 대한 신뢰도를 보장하기 어려울 뿐더러 이러한 한정된 데이터를 기반으로 도출된 소수의 기준 패턴으로 비정상 센서를 구분하는데 한계가 있어 기존 방식은 센서의 이상 여부 판단에 대한 정확도 및 신뢰도가 크게 떨어지는 문제가 있다.

이를 개선하여, 최근 신경망(딥러닝) 기반 지도 학습 모델의 발전과 더불어 센서의 이상 여부를 자동 판단하도록 지도 학습 모델을 이용한 방법이 시도되고 있다.

그러나, 해당 지도 학습 모델이 센서의 이상 여부를 판단하도록 하기 위해서는 센서의 실측 데이터에 오류 여부를 라벨링한 라벨링 데이터를 지도 학습 모델에 학습시키는 과정이 필요하나 센서가 운영된 기간이 짧거나 센서의 교체가 이루어진 경우 이러한 라벨링된 데이터 뿐만 아니라 실측 데이터 역시 수집량이 지극히 작아 지도 학습 모델이 일정 수준 이상의 정확도를 가지도록 학습시키기에 충분치 않을 뿐만 아니라 학습에 충분한 라벨링 데이터를 수집하기 위해서 기존에는 해당 라벨링된 데이터를 센서의 실측 데이터를 기반으로 다수의 전문 인력이 수작업으로 생성하여야 하는데 전문 인력 각자가 서로 상이한 주관적 판단에 의해 라벨링된 데이터를 생성하므로 일관성이 떨어지며 이로 인해 지도 학습 모델의 신뢰성 및 정확도를 보장하기 어려운 문제가 있다.

한국등록특허 제10-0748699호

본 발명은 센서의 이상 감지를 위한 신경망 기반 지도 학습 모델의 학습에 필요한 센서의 실측 데이터에 대한 오류 여부가 라벨링된 라벨링 데이터 뿐만 아니라 실측 데이터가 부족한 상태에서 초기에 해당 센서와 상이한 종류의 이종 센서와 관련된 다수의 라벨링 데이터가 미리 학습된 유사 신경망 모델에 센서의 실측 데이터를 학습시켜 해당 유사 신경망 모델을 통해 센서의 실측 데이터별로 오류 여부에 대한 일정 수준 이상의 정확도를 보장하는 결과를 제공함과 아울러 센서의 실측 데이터를 복수의 신경망에 학습시켜 센서의 실측 데이터별로 오류 여부에 대한 결과와 오류 판정 이유에 대한 근거를 포함하는 시각화 정보가 제공되도록 하여 실측 데이터에 대한 신속하고 정확한 라벨링을 보장함으로써, 센서와 관련되어 신뢰성 있는 라벨링된 데이터의 수를 신속하게 증가시켜 이상 발생 센서의 검출을 위해 지도 학습 모델을 학습시키는데 필요한 라벨링 데이터를 신속하고 용이하게 확보할 수 있도록 지원함과 동시에 확보된 라벨링 데이터를 이용한 신경망 기반 지도 학습 모델에 대한 학습을 통해 센서 이상 판단과 관련하여 높은 정확도를 가진 지도 학습 모델을 제공하여 센서 관리에 대한 편의성 및 신뢰도를 높이는데 그 목적이 있다.

본 발명의 실시예에 따른 신경망 기반 센서 이상 감지를 위한 서비스 제공 방법은 데이터 수집부가 센서로부터 실측 데이터를 수집하고, 수집된 실측 데이터 중 미리 설정된 조건에 따라 비정상 데이터를 필터링하여 제외하는 수집 단계와, 상기 데이터 수집부에 의해 수집된 실측 데이터의 개수가 미리 설정된 기준치 이하인 경우 데이터 분석부가 상기 센서와 상이한 종류의 이종 센서로 학습 완료된 유사 신경망 모델을 포함하는 트랜스퍼 러닝부를 통해 상기 데이터 수집부로부터 수신되는 실측 데이터로 상기 유사 신경망 모델을 학습시키고, 상기 유사 신경망 모델을 통해 상기 실측 데이터에 대한 오류 여부 관련 초기 결과 정보를 제공하고, 상기 초기 결과 정보를 표시하며 사용자 입력을 수신하는 상기 사용자 인터페이스부를 통한 오류 확인 정보에 따라 상기 실측 데이터 대한 라벨링을 수행하여 생성된 라벨링 데이터를 저장하는 초기 단계 및 신경망으로 구성된 비지도 학습 모델 및 생성 모델을 포함하는 상기 데이터 분석부가 상기 초기 단계에서 상기 실측 데이터를 상기 비지도 학습 모델 및 생성 모델에 학습시키고, 상기 실측 데이터의 개수가 미리 설정된 기준치를 초과하는 경우 상기 비지도 학습 모델을 통해 생성된 상기 실측 데이터별 오류 여부와 상기 센서 관련 유사 데이터 패턴이 학습된 생성 모델이 제공하는 추정 데이터와 상기 실측 데이터 사이의 편차를 통해 실측 데이터별 오류 확인이 가능한 시각화 정보를 제공하여 상기 시각화 정보를 수신하여 표시하는 상기 사용자 인터페이스부를 통한 상기 오류 확인 정보에 따라 상기 실측 데이터에 대한 라벨링을 수행하는 적재 단계를 포함할 수 있다.

본 발명과 관련된 일 예로서, 상기 비지도 학습 모델은 LSTM이며, 상기 생성 모델은 GAN, AnoGAN 또는 VAE인 것을 특징으로 할 수 있다.

본 발명과 관련된 일 예로서, 상기 수집 단계는 상기 데이터 수집부가 데이터 클러스터링을 통해 생성된 군집을 기준으로 비정상 데이터를 필터링하는 클러스터링 검사, 물리 한계 검사, 단계 검사, 지속성 검사 및 중앙값 필터 검사 중 적어도 하나를 통해 상기 센서로부터 수신되는 실측 데이터 중 비정상 데이터를 필터링하는 것을 특징으로 할 수 있다.

본 발명과 관련된 일 예로서, 상기 수집 단계는 상기 데이터 수집부가 상기 비정상 데이터 관련 필터링 정보를 생성하여 제공하는 단계 및 상기 적재 단계는 상기 데이터 분석부가 상기 데이터 수집부로부터 제공되는 필터링 정보를 상기 시각화 정보에 포함시켜 제공하는 단계를 더 포함하는 것을 특징으로 할 수 있다.

본 발명과 관련된 일 예로서, 상기 적재 단계는 상기 데이터 분석부가 상기 생성 모델에 상기 실측 데이터를 학습시켜 상기 센서의 데이터 패턴과 유사한 데이터 패턴을 생성하도록 하고, 상기 생성 모델을 통해 상기 추정 데이터에 대한 오류 판정을 수행하여 상기 오류 판정에 근거하여 상기 유사 데이터 패턴을 가변하면서 정상 상태의 센서에 대한 유사 데이터 패턴을 생성하도록 상기 생성 모델을 학습시키는 것을 특징으로 할 수 있다.

본 발명과 관련된 일 예로서, 상기 초기 단계 및 적재 단계는 상기 데이터 수집부에 의해 누적 저장된 실측 데이터를 대상으로 상기 데이터 분석부가 상기 오류 확인 정보를 기초로 오류로 확인된 실측 데이터를 오류 데이터로 라벨링하여 저장하고, 상기 오류 데이터 이외의 상기 실측 데이터를 정상 데이터로 라벨링하여 저장하는 단계를 더 포함하는 것을 특징으로 할 수 있다.

본 발명의 실시예에 따른 신경망 기반 센서 이상 감지를 위한 서비스 제공 방법은 신경망 모델인 지도 학습 모델이 구성된 지도 학습부가 상기 오류 데이터 및 정상 데이터 중 어느 하나로 라벨링된 실측 데이터를 포함하는 라벨링 데이터를 상기 지도 학습 모델을 통해 학습하여 상기 센서의 이상 여부에 대한 분석 정보를 제공하는 단계를 더 포함하는 것을 특징으로 할 수 있다.

본 발명과 관련된 일 예로서, 상기 지도 학습부에 구성된 지도 학습 모델은 덴스넷(DenseNet)인 것을 특징으로 할 수 있다.

본 발명과 관련된 일 예로서, 상기 적재 단계는 상기 데이터 분석부가 상기 초기 결과 정보를 상기 시각화 정보와 함께 제공하는 단계 및 상기 데이터 분석부가 상기 유사 신경망 모델과 비지도 학습 모델 및 생성 모델에 각각 학습되는 실측 데이터의 개수에 따라 유사 신경망 모델과 비지도 학습 모델 및 생성 모델의 학습 상태를 산출하고, 해당 학습 상태에 따라 유사 신경망 모델이 포함된 트랜스퍼 러닝부에서 제공되는 초기 결과 정보와 비지도 학습 모델 및 생성 모델에 의해 생성되는 시각화 정보 각각에 포함된 실측 데이터별 오류 여부에 대한 정확도와 관련하여 가중치를 서로 상이하게 가변 설정하면서 상기 설정된 가중치에 따라 상기 정확도가 변경된 초기 결과 정보 및 시각화 정보를 사용자 인터페이스부에 제공하는 단계를 더 포함하는 것을 특징으로 할 수 있다.

본 발명과 관련된 일 예로서, 상기 적재 단계는 상기 데이터 분석부가 상기 데이터 수집부에 의해 DB에 저장된 실측 데이터를 기초로 특정 센서의 측정 장소의 공간 정보를 이용하여 상기 특정 센서와 가장 인접한 타 센서로부터 수집된 데이터와 상기 특정 센서에서 수집된 데이터 사이의 편차와 상관관계를 분석하는 공간분석 및 상기 특정 센서에 대응되어 시간대별 데이터 변화와 단위 시간당 데이터 변화를 산출하는 변동 분석 중 적어도 하나를 수행하여 상기 특정 센서가 비정상 센서로 검출되면 상기 특정 센서에 대한 이상 감지 정보를 생성한 후 상기 시각화 정보에 포함시키는 단계를 더 포함하는 것을 특징으로 할 수 있다.

본 발명의 다른 실시예에 따른 서비스 제공 장치의 신경망 기반 센서 이상 감지를 위한 서비스 제공 방법에 있어서, 서비스 제공 장치가 센서로부터 실측 데이터를 수집하고, 미리 설정된 조건에 따른 오류 데이터를 필터링하는 단계와, 상기 수집된 실측 데이터의 개수가 미리 설정된 기준치 이하인 경우 서비스 제공 장치가 상기 센서와 상이한 종류의 이종 센서로 학습 완료된 유사 신경망 모델을 포함하는 트랜스퍼 러닝부를 통해 상기 실측 데이터로 상기 유사 신경망 모델을 학습시키고, 상기 유사 신경망 모델을 통해 상기 실측 데이터에 대한 오류 여부 관련 초기 결과 정보를 생성하여 사용자 입력을 수신하는 상기 사용자 인터페이스부를 통해 표시되도록 제공하고, 상기 사용자 인터페이스부를 통해 수신된 오류 확인 정보에 따라 상기 실측 데이터 대한 라벨링을 수행하여 생성된 라벨링 데이터를 저장하는 단계 및 신경망으로 구성된 비지도 학습 모델 및 생성 모델을 포함하는 상기 서비스 제공 장치가 상기 실측 데이터를 상기 비지도 학습 모델 및 생성 모델에 학습시키고, 상기 실측 데이터의 개수가 미리 설정된 기준치를 초과하는 경우 상기 비지도 학습 모델을 통해 생성된 상기 실측 데이터별 오류 여부와 상기 센서 관련 유사 데이터 패턴이 학습된 생성 모델이 제공하는 추정 데이터와 상기 실측 데이터 사이의 편차를 통해 실측 데이터별 오류 확인이 가능한 시각화 정보를 제공하여 상기 시각화 정보를 수신하여 표시하는 상기 사용자 인터페이스부를 통한 상기 오류 확인 정보에 따라 상기 실측 데이터에 대한 라벨링을 수행하는 단계를 포함할 수 있다.

본 발명의 실시예에 따른 컴퓨터로 읽을 수 있는 비휘발성 기록매체에는 상술한 신경망 기반 센서 이상 감지를 위한 서비스 제공 방법을 수행하도록 컴퓨터를 기능시키기 위한 컴퓨터 프로그램이 기록될 수 있다.

본 발명의 실시예에 따른 신경망 기반 센서 이상 감지를 위한 서비스 제공 시스템은 센서로부터 데이터를 수집하고, 미리 설정된 조건에 따라 오류 데이터를 필터링하는 데이터 수집부 및 상기 데이터 수집부에 의해 수집된 실측 데이터의 개수가 미리 설정된 기준치 이하인 경우 상기 센서와 상이한 종류의 이종 센서로 학습 완료된 유사 신경망 모델을 포함하는 트랜스퍼 러닝부를 통해 상기 데이터 수집부로부터 수신되는 실측 데이터로 상기 유사 신경망 모델을 학습시키고, 상기 유사 신경망 모델을 통해 상기 실측 데이터에 대한 오류 여부 관련 초기 결과 정보를 제공하고, 상기 초기 결과 정보를 표시하며 사용자 입력을 수신하는 상기 사용자 인터페이스부를 통한 오류 확인 정보에 따라 상기 실측 데이터 대한 라벨링을 수행하여 생성된 라벨링 데이터를 저장하며, 상기 실측 데이터를 신경망으로 구성된 비지도 학습 모델 및 생성 모델에 학습시키고, 상기 실측 데이터의 개수가 미리 설정된 기준치를 초과하는 경우 상기 비지도 학습 모델을 통해 생성된 상기 실측 데이터별 오류 여부와 상기 센서 관련 유사 데이터 패턴이 학습된 생성 모델이 제공하는 추정 데이터와 상기 실측 데이터 사이의 편차를 통해 실측 데이터별 오류 확인이 가능한 시각화 정보를 제공하여 상기 시각화 정보를 수신하여 표시하는 상기 사용자 인터페이스부를 통한 상기 오류 확인 정보에 따라 상기 실측 데이터에 대한 라벨링을 수행하는 데이터 분석부를 포함할 수 있다.

본 발명은 센서의 실측 데이터가 부족한 초기 상태에서 센서와 유사한 데이터 패턴을 가지는 이종 센서에 대해 이미 충분히 학습이 이루어져 일정 수준 이상의 정확도를 가지는 유사 신경망 모델에 이상 여부의 분석 대상인 센서의 실측 데이터를 학습시켜 실측 데이터가 부족한 초기에도 일정 수준 이상의 정확도를 가진 라벨링 데이터가 수집되도록 하면서 센서에 특화된 비지도 학습 모델 및 생성 모델의 정확도가 시간이 지나면서 일정 수준 이상으로 향상된 경우 비지도 학습 모델 및 생성 모델을 통해 제공되는 결과로 실측 데이터의 라벨링이 선택되도록 하여 실측 데이터의 오류 여부에 대한 신뢰성 있는 라벨링 데이터를 수집하는 기간을 크게 단축함과 아울러 해당 라벨링 데이터를 센서의 이상 여부를 판단하는 신경망 기반 지도 학습 모델에 학습시켜 높은 수준의 정확도를 가진 신경망 기반 지도 학습 모델을 제공함으로써, 센서의 이상 여부 판단에 대한 편의성 및 신뢰성을 보장하는 효과가 있다.

또한, 본 발명은 라벨링 데이터의 학습을 통해 센서의 이상 여부를 판정하는 지도 학습 모델의 판정 정확도를 일정 수준 이상으로 향상시키기 위해 필요한 라벨링 데이터의 개수를 수집하는데 요구되는 기간을 단축시켜 지도 학습 모델의 구축 기간을 크게 단축함과 아울러 사용자의 실측 데이터에 대한 오류 판정 과정에서 근거 자료를 통해 사용자가 오류 여부를 용이하게 선택할 수 있도록 지원하여 사용자의 주관을 최대한 배제한 라벨링 데이터를 수집함으로써 라벨링 데이터를 기반으로 학습하여 센서의 이상 여부를 판단하는 신경망 기반 지도 학습 모델의 센서 관련 이상 여부 판단에 대한 정확도 및 신뢰도를 크게 향상시키는 효과가 있다.

도 1은 본 발명의 실시예에 따른 신경망 기반 센서 이상 감지를 위한 서비스 제공 시스템의 구성도.
도 2는 본 발명의 실시예에 따른 신경망 기반 센서 이상 감지를 위한 서비스 제공 시스템의 물리적 구성을 나타낸 구성도.
도 3 및 도 4는 본 발명의 실시예에 따른 QC부의 데이터 필터링 과정을 도시한 예시도.
도 5는 본 발명의 실시예에 따른 신경망 기반 센서 이상 감지를 위한 서비스 제공 시스템의 동작 방식에 따른 시계열적 구성을 나타낸 구성도.
도 6은 본 발명의 실시예에 따른 신경망 기반 센서 이상 감지를 위한 서비스 제공 시스템을 구성하는 유사 신경망 모델과 비지도 학습 모델 및 생성 모델의 실측 데이터 개수 변화에 따른 정확도 변화를 나타낸 예시도.
도 7은 본 발명의 실시예에 따른 데이터 분석부의 상세 구성도 및 상세 동작 실시예를 나타낸 도면.
도 8 및 도 9는 본 발명의 실시예에 따른 비지도 학습부의 동작 예시도.
도 10은 본 발명의 실시예에 따른 생성 모델 학습부의 동작 예시도.
도 11은 본 발명의 실시예에 따른 시각화 정보의 예시도.
도 12는 본 발명의 실시예에 따른 신경망 기반 센서 이상 감지를 위한 서비스 제공 방법의 순서도.

본 발명에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.

또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서 "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.

또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.

도 1은 본 발명의 실시예에 따른 신경망 기반 센서 이상 감지를 위한 서비스 제공 시스템의 구성도로서, 도시된 바와 같이 데이터 수집부(100)와, 데이터 분석부(200) 및 사용자 인터페이스부(300)를 포함하여 구성될 수 있다.

이때, 도 1에 도시된 구성 요소보다 많은 구성 요소에 의해 신경망 기반 센서 이상 감지를 위한 서비스 제공 시스템이 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 신경망 기반 센서 이상 감지를 위한 서비스 제공 시스템이 구현될 수도 있다.

또한, 상기 데이터 수집부(100)와, 데이터 분석부(200) 및 사용자 인터페이스부(300) 각각은 개별 서버로 구성될 수도 있으며, 데이터 수집부(100), 데이터 분석부(200) 및 사용자 인터페이스부(300) 상호 간 통신망을 통해 연결되어 신경망 기반 센서 이상 감지를 위한 서비스 제공 시스템을 구성할 수도 있다.

이때, 통신망은 유/무선 통신망을 포함할 수 있으며, 이러한 무선 통신망의 일례로 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS), 5G 이동통신 서비스, 블루투스(Bluetooth), LoRa(Long Range), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication: NFC), 초음파 통신(Ultra Sound Communication: USC), 가시광 통신(Visible Light Communication: VLC), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct) 등이 포함될 수 있다. 또한, 유선 통신망으로는 유선 LAN(Local Area Network), 유선 WAN(Wide Area Network), 전력선 통신(Power Line Communication: PLC), USB 통신, 이더넷(Ethernet), 시리얼 통신(serial communication), 광/동축 케이블 등이 포함될 수 있다.

또한, 신경망 기반 센서 이상 감지를 위한 서비스 제공 시스템은 단일 서비스 제공 장치로 구성될 수 있으며, 해당 서비스 제공 장치에 데이터 수집부(100), 데이터 분석부(200) 및 사용자 인터페이스부(300)가 포함되어 구성될 수 있다.

한편, 데이터 수집부(100)는 하나 이상의 센서와 연결되어 하나 이상의 센서 각각으로부터 센서가 생성한 실측 데이터를 수신하여 수집할 수 있다.

이때, 데이터 수집부(100)는 통신망을 통해 센서와 연결되거나 통신 선로를 통해 센서와 연결될 수도 있다.

또한, 데이터 수집부(100)는 센서의 실측 데이터를 이용하여 정보를 제공하는 외부 장치와 통신망을 통해 연결되거나 유선 연결되어 해당 센서의 실측 데이터를 외부 장치로부터 수신할 수도 있음은 물론이다.

또한, 데이터 수집부(100)는 하나 이상의 센서 각각으로부터 수신되는 실측 데이터를 수집하여 상기 데이터 분석부(200)로 제공할 수 있다.

이때, 데이터 수집부(100)는 미리 설정된 조건에 따라 비정상 데이터를 필터링할 수 있으며, 이를 통해 실측 데이터 중에서 센서가 배치되는 환경이나 데이터 전송 환경에서 발생하는 요인에 의해 발생하는 비정상 데이터를 필터링할 수 있다.

한편, 데이터 분석부(200) 또는 데이터 수집부(100)는 DB(400)를 포함하여 구성될 수 있으며, 데이터 분석부(200)가 데이터 수집부(100)로부터 수신되는 실측 데이터를 해당 DB(400)에 누적 저장하거나 데이터 수집부(100)가 실측 데이터를 해당 DB(400)에 누적 저장할 수 있다.

이때, 데이터 분석부(200) 또는 데이터 수집부(100)는 비정상 데이터를 DB(400)에 저장하지 않을 수 있다.

또한, 데이터 분석부(200)는 신경망 모델(딥러닝(Deep learning) 모델)인 비지도 학습 모델과 생성 모델을 포함하여 구성될 수 있다.

이에 따라, 데이터 분석부(200)는 DB(400)에 누적 저장된 실측 데이터의 현재 개수(또는 현재 합산 용량)가 미리 설정된 제 1 기준치 이하인 경우 상기 데이터 수집부(100)로부터 수신된 센서의 실측 데이터를 비지도 학습 모델 및 생성 모델에 학습시킬 수 있으며, 상기 데이터 분석부(200)는 실측 데이터를 기반으로 센서(또는 실측 데이터)의 데이터 패턴이 학습된 비지도 학습 모델을 통해 상기 데이터 수집부(100)로부터 수신되는 실측 데이터별로 오류 여부를 출력할 수 있다.

이때, 데이터 분석부(200)는 DB(400)에 누적 저장되는 실측 데이터에 대한 오류 여부를 라벨링(labeling)한 라벨링 데이터의 현재 개수(또는 현재 합산 용량)가 미리 설정된 제 2 기준치 이하인 상태에서 비지도 학습 모델 및 생성 모델을 지속적으로 학습시켜 하기에서 설명하는 동작을 통해 라벨링 데이터의 수를 신속하게 증가시킬 수 있다.

또한, 본 발명에서 설명하는 현재 개수는 누적 개수를 의미할 수 있으며, 현재 합산 용량은 누적 합산 용량을 의미할 수 있다.

또한, 데이터 분석부(200)는 실측 데이터의 학습을 통해 실측 데이터의 데이터 패턴과 유사한 유사 데이터 패턴을 생성하는(또는 학습하는) 생성 모델을 통해 해당 유사 데이터 패턴을 기초로 현재 시점 이후에 출력될 것으로 예상되는 데이터에 대한 인공 데이터(가상 데이터)인 추정 데이터를 생성하여 출력할 수 있다.

이때, 데이터 분석부(200)는 추정 데이터를 생성 모델에 학습시켜 추정 데이터 관련 시계열 데이터 패턴을 기초로 추정 데이터별 오류 여부가 해당 생성 모델을 통해 판정되도록 하고, 해당 생성 모델에서 출력하는 추정 데이터별 오류 여부가 다시 생성 모델에 학습되도록 할 수 있다.

이를 통해, 데이터 분석부(200)는 생성 모델에 생성된(학습된) 유사 데이터 패턴을 추정 데이터별 오류 여부에 따라 가변시키면서 유사 데이터 패턴에 의해 산출되는 추정 데이터와 정상 상태인 센서의 데이터 패턴에 따른 실측 데이터 사이의 편차를 감소시킬 수 있으며, 이를 통해 생성 모델을 통해 정상 상태의 센서에서 출력되는 실측 데이터의 시계열 변화와 추정 데이터의 시계열 변화 사이의 편차를 낮추어 정상 상태인 센서의 실측 데이터에 근접한 추정 데이터가 생성 모델을 통해 지속적으로 산출되도록 할 수 있다.

즉, 데이터 분석부(200)는 상기 생성 모델에 상기 실측 데이터를 학습시켜 상기 센서의 데이터 패턴과 유사한 데이터 패턴을 생성하도록 하고, 상기 생성 모델을 통해 상기 추정 데이터에 대한 오류 판정을 수행하여 상기 오류 판정에 근거하여 상기 유사 데이터 패턴을 가변하면서 정상 상태의 센서에 대한 유사 데이터 패턴을 생성하도록 상기 생성 모델을 학습시킬 수 있다.

한편, 데이터 분석부(200)는 비지도 학습 모델을 통해 센서의 실측 데이터별 오류 여부를 생성하고, 생성 모델을 통해 출력되는 추정 데이터별로 동일 시점의 실측 데이터와의 편차를 포함하는 비교 정보를 생성할 수 있다.

또한, 데이터 분석부(200)는 상기 센서 관련 유사 데이터 패턴이 학습된 생성 모델이 제공하는 추정 데이터와 상기 데이터 수집부(100)로부터 제공되는 실측 데이터 사이의 편차와 상기 실측 데이터별 오류 여부를 통해 실측 데이터별 오류 확인이 가능한 시각화 정보를 생성할 수 있다.

이때, 시각화 정보는 상기 데이터 분석부(200)에 의해 생성되는 상기 실측 데이터별 오류 여부에 대한 결과 정보와 상기 비교 정보를 포함할 수 있으며, 해당 비교 정보는 시간별 추정 데이터와, 시간별 추정 데이터와 상호 매칭되는 시간별 실측 데이터 및 추정 데이터별로 동일 시점의 실측 데이터와의 편차 등을 포함할 수 있다.

또한, 시각화 정보는 그래픽 정보로 구성될 수 있다.

즉, 데이터 분석부(200)는 비지도 학습 모델을 통해 실측 데이터의 시계열적 데이터 패턴과 미리 설정된 기준치 이상의 오차를 나타내는지에 따라 실측 데이터에 대한 오류 여부를 판단하여 데이터 수집부(100)에 의해 수집된 실측 데이터별 오류 여부를 사용자에게 시각화 정보를 통해 제공함과 아울러 생성 모델을 통해 해당 실측 데이터의 데이터 패턴과 유사 데이터 패턴을 학습한 후 정상 센서의 데이터 변화에 따른 추후 예상되는 시계열 추정 데이터를 출력하여 시점별로 실측 데이터와 이러한 생성 모델을 통해 출력되는 추정 데이터 사이의 편차 정도를 사용자가 확인할 수 있도록 해당 시각화 정보를 통해 제공할 수 있다.

다시 말해, 데이터 분석부(200)는 센서의 실측 데이터별로 오류 여부를 사용자가 판정할 수 있도록 시각화 정보를 제공할 수 있다.

상술한 구성에서, 데이터 분석부(200)는 DB(400)에 누적 저장된 모든 실측 데이터의 현재 개수(또는 현재 합산 용량)가 미리 설정된 제 1 기준치 이하인 경우 실측 데이터를 비지도 학습 모델과 생성 모델에 학습시킬 수 있으며, 상기 실측 데이터가 미리 설정된 제 1 기준치를 초과하는 경우 상기 시각화 정보를 생성할 수 있다.

이를 통해, 데이터 분석부(200)는 실측 데이터의 학습이 일정 수준 이상 이루어져 비지도 학습 모델과 생성 모델에 대해 일정 수준 이상의 정확도를 기대할 수 있을 만큼의 실측 데이터가 DB(400)에 수집된 경우에 시각화 정보를 제공할 수 있다.

이때, 데이터 분석부(200)는 실측 데이터의 수집 개수(수집량)에 관계 없이 시각화 정보를 생성하여 제공할 수도 있음은 물론이다.

한편, 사용자 인터페이스부(300)는 데이터 분석부(200)로부터 제공되는 시각화 정보를 표시할 수 있으며, 사용자 입력을 기초로 시각화 정보에 포함된 실측 데이터들 중에서 사용자에 의해 오류로 판정된 실측 데이터인 오류 데이터 관련 오류 확인 정보를 생성하여 데이터 분석부(200)에 제공할 수 있다.

이때, 오류 확인 정보에는 오류로 판정된 실측 데이터가 하나 이상 포함될 수 있다.

이에 따라, 데이터 분석부(200)는 오류 확인 정보를 기초로 오류 데이터에 대응되는 DB(400)에 저장된 실측 데이터를 오류 데이터로 라벨링하여 라벨링 데이터를 생성할 수 있으며, 해당 라벨링 데이터를 DB(400)에 저장할 수 있다.

이때, 데이터 분석부(200)는 실측 데이터에 오류 확인 정보에 따른 오류 여부에 대한 라벨링 관련 라벨링 정보를 포함시켜 라벨링 정보를 포함하는 실측 데이터를 라벨링 데이터로 DB(400)에 저장하거나, 오류 확인 정보를 기초로 특정 실측 데이터의 오류 여부를 라벨링하기 위한 라벨링 식별 데이터를 해당 특정 실측 데이터와 별도로 생성한 후 상기 특정 실측 데이터와 매칭하여 한 쌍으로 DB(400)에 저장할 수도 있다.

여기서, 라벨링 데이터는 상기 라벨링 식별 데이터와 매칭되는 특정 실측 데이터 및 해당 라벨링 식별 데이터를 포함할 수 있다.

또한, DB(400)에 저장되는 라벨링 데이터는 특정 실측 데이터의 라벨링(오류 데이터 또는 정상 데이터) 관련 라벨링 정보와, 해당 특정 실측 데이터를 포함하여 구성될 수 있다.

또한, 상기 데이터 수집부(100)에 의해 수집되어 DB(400)에 누적 저장된 실측 데이터를 대상으로 상기 데이터 분석부(200)는 상기 오류 확인 정보를 기초로 오류로 확인된 실측 데이터를 오류 데이터로 라벨링하여 저장하고, 상기 오류 데이터 이외의 상기 실측 데이터를 정상 데이터로 라벨링하여 저장할 수 있다.

일례로, 데이터 분석부(200)는 DB(400)에 누적 저장된 하나 이상의 실측 데이터를 대상으로 확인하여 오류 확인 정보에 따른 오류 데이터에 대응되는 실측 데이터의 생성 시점을 기준으로 이전에 생성(수집)되고 라벨링되지 않은 실측 데이터가 DB(400)에 존재하는 경우 오류 데이터인 실측 데이터의 생성 시점을 기준으로 이전에 생성된(수집된) 라벨링되지 않은 실측 데이터를 대상으로 사용자에 의해 오류로 판정되지 않은 실측 데이터를 자동으로 정상 데이터로 라벨링하여 라벨링 데이터를 생성한 후 DB(400)에 저장할 수 있으며, 이를 통해 정상인 실측 데이터에 대한 자동 라벨링을 수행할 수 있다.

한편, 본 발명에서 설명하는 신경망 모델(또는 신경망)은 입력층(Input Layer), 하나 이상의 은닉층(Hidden Layers) 및 출력층(Output Layer)으로 구성된 딥러닝(Deep Learning) 알고리즘으로 구성될 수 있으며, 상기 신경망 모델에는 DNN(Deep Neural Network), RNN(Recurrent Neural Network), CNN(Convolutional Neural Network), SVM(Support Vector Machine) 등과 같은 다양한 종류의 신경망이 적용될 수 있다.

상술한 구성을 통해, 본 발명은 센서의 교체가 이루어지거나 센서의 최초 동작 시점부터 경과된 시간이 오래 되지 않아 센서로부터 제공된 실측 데이터에 대한 오류 여부가 라벨링된 라벨링 데이터 뿐만 아니라 실측 데이터가 충분히 수집되지 않은 상태여서 센서의 비정상 여부를 판정하기 위한 신경망 기반 지도 학습 모델을 학습시키 어려운 상황에서 센서에서 제공되는 실측 데이터에 대한 오류 여부를 사용자가 용이하게 판단할 수 있는 오류 근거가 포함된 시각화 정보를 제공하여 사용자의 오류 판정에 따른 센서의 실측 데이터에 대한 오류 여부 관련 라벨링을 통해 객관적 신뢰성이 있는 라벨링 데이터를 용이하고 신속하게 수집함으로써 지도 학습 모델의 센서 이상 여부 판단에 필요한 다수의 라벨링 데이터를 확보할 수 있도록 지원하고, 이를 통해 해당 라벨링 데이터를 기반으로 센서의 비정상 여부를 판단하는 지도 학습 모델을 학습시켜 지도 학습 모델의 비정상 센서에 대한 식별 정확도를 높일 수 있도록 지원함으로써 비정상 센서를 구분하기 위한 신경망 기반 지도 학습 모델을 신속하게 구축할 수 있도록 지원함과 아울러 이러한 지도 학습 모델을 통해 비정상 센서의 식별에 대한 편의성 및 정확도를 높일 수 있다.

상술한 구성을 토대로 이하 도면을 참고하여 본 발명의 실시예에 따른 신경망 기반 센서 이상 감지를 위한 서비스 제공 시스템의 상세 동작 실시예를 설명한다.

도 2는 본 발명의 실시예에 따른 신경망 기반 센서 이상 감지를 위한 서비스 제공 시스템의 상세 구성도이다.

이때, 상술한 바와 같이 본 발명의 실시예에 따른 데이터 수집부(100), 데이터 분석부(200) 및 사용자 인터페이스부(300)가 포함된 신경망 기반 센서 이상 감지를 위한 서비스 제공 시스템은 데이터 수집부(100), 데이터 분석부(200) 및 사용자 인터페이스부(300) 각각이 개별 서버로 구성되거나 데이터 수집부(100), 데이터 분석부(200) 및 사용자 인터페이스부(300)가 포함된 하나의 서비스 제공 장치로 구성될 수 있다.

한편, 데이터 수집부(100)는 도시된 바와 같이 QC(Quality control)부(110)와, 클러스터링(Clustering)부(120)를 포함하여 구성될 수 있다.

데이터 수집부(100)는 복수의 센서로부터 데이터를 수집하여 QC부(110) 및 클러스터링부(120)로 제공할 수 있다.

QC부(110)는 센서로부터 수신되는 데이터의 품질을 판단하기 위한 조건이 미리 설정되며, 해당 조건을 만족하지 않는 실측 데이터를 비정상 데이터로 판단하여 데이터 분석부(200)로 제공하지 않고 필터링하여 제외시킬 수 있다.

또한, 데이터 수집부(100)는 QC부(110)에 의해 제외된 비정상 데이터인 실측 데이터를 DB(400)에 저장하지 않을 수 있다.

이때, QC부(110)는 물리한계 검사, 단계 검사, 지속성 검사 및 중앙값 필터 검사 중 적어도 하나를 포함하는 조건이 미리 설정될 수 있다.

도 3 및 도 4를 통해 상기 QC부(110)의 데이터 필터링 과정을 설명하면, 우선 물리 한계 검사는 센서가 허용할 수 있는 관측값의 범위에 대한 오류 여부를 검사하는 알고리즘으로서, QC부(110)는 해당 알고리즘을 통해 실측 데이터가 미리 지정된 물리한계 범위 내에 있으면 "정상", 그 범위를 벗어나면 "비정상"으로 판정하여 "비정상"으로 판정된 실측 데이터를 필터링하여 제외시킬 수 있다.

또한, 단계 검사는 시계열 데이터의 시간변동량을 점검하는 검사로서, QC부(110)는 현재의 실측 데이터와 바로 이전의 실측 데이터 사이의 변동값이 미리 정한 문턱값(즉, 최대변동량)보다 크면 "비정상", 작으면 "정상"으로 판정하여 "비정상"으로 판정된 실측 데이터를 필터링하여 제외시킬 수 있다. 이때, QC부(110)는 문턱값으로 사용되는 값을 센서의 과거 실측 데이터 대한 통계분석을 통하여 산출할 수 있다.

또한, 지속성 검사는 풍향계가 얼거나 강우량계의 수구 막힘 등과 같이 센서의 장애가 발생하여 변화가 없는 실측 데이터를 필터링하기 위한 검사로서, QC부(110)는 센서로부터 수신되는 실측 데이터를 기초로 미리 설정된 시간 동안의 변동값을 검출하고, 변동값이 미리 설정된 최소변동량보다 작으면 "비정상", 최소변동량보다 크면 "정상"으로 판정하여 "비정상"으로 판정된 실측 데이터를 필터링하여 제외시킬 수 있다. 이때, QC부(110)는 지속성 검사에 필요한 최소변동량을 센서의 과거 관측자료 관련 과거 실측 데이터에 대한 통계분석을 통해 산출할 수 있다.

또한, 중앙값 필터 검사는 관측값(실측 데이터)의 변동이 짧은 시간 동안 매우 급격하게 일어나는 경우와 같은 임펄스 잡음에 해당하는 실측 데이터를 필터링 하기 위한 검사로서, 예를 들면, 레이더나 수직측풍장비의 경우, 바람의 시선속도값을 측정할 때 지형에코와 같은 요인에 의하여 비정상적인 값들이 산출되기도 하며 이를 필터링하기 위한 검사이다. 즉, QC부(110)는 중앙값 필터 검사를 통해 실측 데이터의 변동량을 파악하고, 해당 변동량이 미리 설정된 짧은 시간 동안 미리 설정된 기준값 이상인 경우 해당 변동량 산출에 이용된 복수의 실측 데이터를 임펄스 잡음으로 판단하고, 임펄스 잡음으로 판단된 해당 복수의 실측 데이터를 비정상 데이터로 필터링하여 제외시킬 수 있다.

한편, 클러스터링부(120)는 미리 설정된 조건에 따라 데이터 수집부(100)를 통해 수집된 센서의 실측 데이터를 클러스터링하여 군집 분석을 통해 군집과 미리 설정된 기준거리 이상 이격되어 있는 데이터를 비정상 데이터로 필터링하여 제외시킬 수 있다.

상술한 구성을 통해, 데이터 수집부(100)는 복수의 센서로부터 수신되는 실측 데이터들 중에서 미리 설정된 하나 이상의 조건에 따라 비정상 데이터를 필터링하여 데이터 분석부(200)에 제공할 수 있다.

데이터 분석부(200)는 도 2에 도시된 바와 같이, 비지도 학습부(210) 및 생성 모델 학습부(220)를 포함하여 구성될 수 있다.

데이터 분석부(200)는 실측 데이터에 대한 오류 여부를 라벨링하여 생성되는 DB(400)에 누적 저장된 모든 라벨링 데이터의 현재 개수(또는 현재 합산 용량)가 미리 설정된 제 2 기준치 이하인 상태에서 데이터 수집부(100)로부터 센서의 실측 데이터를 수신하며, 해당 센서의 실측 데이터를 비지도 학습부(210) 및 생성 모델 학습부(220)에 제공할 수 있다.

비지도 학습부(210)는 신경망 모델인 비지도 학습 모델을 포함하여 구성되며, 비지도 학습부(210)는 센서의 실측 데이터를 비지도 학습 모델에 학습시켜 센서의 시계열 데이터 패턴이 학습되도록 할 수 있다.

또한, 비지도 학습부(210)는 센서의 시계열 데이터 패턴이 학습된 비지도 학습 모델을 통해 센서의 실측 데이터별로 오류 여부를 출력할 수 있다.

일례로, 비지도 학습부(210)는 시계열 데이터 패턴이 학습된 비지도 학습 모델을 통해 데이터 패턴의 시계열 범위와 실측 데이터 사이의 차이(편차)에 따라 실측 데이터별 오류 여부에 대한 결과 정보를 출력할 수 있다.

또한, 생성 모델 학습부(220)는 신경망 모델인 생성 모델을 포함하여 구성될 수 있으며, 생성 모델 학습부(220)는 센서의 실측 데이터를 생성 모델에 학습시켜 센서의 시계열 데이터 패턴과 유사한 유사 데이터 패턴이 생성되도록 학습시킬 수 있다.

이를 통해, 생성 모델 학습부(220)는 센서의 시계열 데이터 패턴과 유사한 유사 데이터 패턴이 생성된(학습된) 생성 모델을 통해 현재 시점을 기준으로 다음 시점의 실측 데이터에 대응되며 센서의 데이터 패턴과 유사한 유사 데이터 패턴에 기반하여 다음 시점에 예상되는 데이터인 추정 데이터를 생성하여 출력할 수 있다.

상술한 구성에 따라, 데이터 분석부(200)는 비지도 학습부(210)를 통해 제공되는 실측 데이터별 오류 여부를 포함하고, 생성 모델을 통해 제공되는 시계열 추정 데이터를 동일시점의 실측 데이터와 비교한 비교 정보를 포함하는 시각화 정보를 센서에 대응되어 생성할 수 있으며, 해당 시각화 정보를 사용자 인터페이스부(300)에 제공할 수 있다.

또한, 사용자 인터페이스부(300)는 디스플레이부(310)와, 인터페이스 제어부(320) 및 입력부(330)를 포함하여 구성될 수 있다.

사용자 인터페이스부(300)에 구성된 인터페이스 제어부(320)는 디스플레이부(310)와 입력부(330)를 제어하도록 구성되며, 사용자 인터페이스부(300)는 사용자 단말로서 구성될 수도 있다.

이때, 사용자 인터페이스부(300)는 데이터 분석부(200)와 통신하거나 상호 인터페이스하기 위한 통신부가 구성될 수 있으며, 해당 통신부를 통해 사용자 인터페이스부(300)의 인터페이스 제어부(320)가 데이터 분석부(200)와 상호 통신할 수 있다.

또한, 사용자 단말은 스마트 폰(Smart Phone), 휴대 단말기(Portable Terminal), 이동 단말기(Mobile Terminal), 개인 정보 단말기(Personal Digital Assistant: PDA), PMP(Portable Multimedia Player) 단말기, 텔레매틱스(Telematics) 단말기, 내비게이션(Navigation) 단말기, 개인용 컴퓨터(Personal Computer), 노트북 컴퓨터, 슬레이트 PC(Slate PC), 태블릿 PC(Tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(Wearable Device, 예를 들어, 워치형 단말기(Smartwatch), 글래스형 단말기(Smart Glass), HMD(Head Mounted Display) 등 포함), 와이브로(Wibro) 단말기, IPTV(Internet Protocol Television) 단말기, 스마트 TV, 디지털방송용 단말기, 텔레비전(Television), 3D 텔레비전, 홈 시어터(Home Theater) 시스템, AVN(Audio Video Navigation) 단말기, A/V(Audio/Video) 시스템, 플렉시블 단말기(Flexible Terminal) 등과 같은 다양한 단말기를 포함할 수 있다.

한편, 사용자 인터페이스부(300)의 인터페이스 제어부(320)는 데이터 분석부(200)로부터 시각화 정보를 수신하여 디스플레이부(310)를 통해 표시할 수 있다.

또한, 인터페이스 제어부(320)는 사용자 입력을 수신하며 사용자 인터페이스부(300)에 구성된 입력부(330)를 통한 사용자 입력을 기초로 디스플레이부(310)에 표시된 시각화 정보에 포함되는 하나 이상의 실측 데이터 중 오류가 발생한 데이터를 오류 데이터로 선택한 오류 확인 정보를 생성할 수 있다.

이때, 오류 확인 정보에는 오류가 발생한 오류 데이터로 사용자에 의해 선택된 하나 이상의 실측 데이터가 포함될 수 있다.

또한, 인터페이스 제어부(320)는 사용자 인터페이스부(300)를 통해 오류 확인 정보를 데이터 분석부(200)에 제공할 수 있다.

이에 따라, 데이터 분석부(200)는 사용자 인터페이스부(300)로부터 수신되는 오류 확인 정보를 기초로 센서로부터 수집되어 DB(400)에 저장된 실측 데이터별로 라벨링을 수행하여 DB(400)에 저장할 수 있다.

일례로, 데이터 분석부(200)는 오류 확인 정보를 기초로 오류 데이터에 대응되는 실측 데이터를 오류 데이터로 라벨링하여 라벨링 데이터를 생성할 수 있으며, 해당 라벨링 데이터를 DB(400)에 저장할 수 있다.

또한, 데이터 분석부(200)는 DB(400)에 누적 저장된 하나 이상의 실측 데이터를 대상으로 확인하여 오류 확인 정보에 따른 오류 데이터에 대응되는 실측 데이터의 생성 시점을 기준으로 이전에 생성(수집)되고 라벨링되지 않은 실측 데이터가 DB(400)에 존재하는 경우 오류 데이터인 실측 데이터의 생성 시점을 기준으로 이전에 생성된(수집된) 라벨링되지 않은 실측 데이터를 대상으로 사용자에 의해 오류로 판정되지 않은 실측 데이터를 자동으로 정상 데이터로 라벨링하여 라벨링 데이터를 생성한 후 DB(400)에 저장할 수 있으며, 이를 통해 정상인 실측 데이터에 대한 자동 라벨링을 수행할 수 있다.

상술한 구성을 통해, 본 발명은 센서가 교체되거나 센서 운영 기간이 충분치 않아(오래 되지 않아) 센서의 이상 여부를 신경망 기반 지도 학습 모델을 통해 판단하도록 하기 위해 지도 학습 모델에 학습시키기 위한 오류 여부가 라벨링된 센서의 데이터가 부족한 상태에서 센서로부터 수신되는 실측 데이터를 별도의 복수 신경망에 학습시켜 센서의 데이터 패턴에 기반하여 실측 데이터에 대한 오류 판정 결과와 더불어 정상 상태의 센서 관련 유사 데이터 패턴을 기반으로 시점별로 추정한 데이터와 실측 데이터 사이의 비교를 통해 실측 데이터의 오류 판정에 대한 근거 자료를 포함하는 시각화 정보를 사용자에게 제공하여 사용자가 오류 데이터를 신속하고 정확하게 라벨링할 수 있도록 지원할 수 있다.

이를 통해, 본 발명은 라벨링 데이터의 학습을 통해 센서의 오류 여부를 판정하는 지도 학습 모델의 판정 정확도를 일정 수준 이상으로 향상시키기 위해 필요한 라벨링 데이터의 개수를 수집하는데 요구되는 기간을 단축시켜 지도 학습 모델의 구축 기간을 크게 단축함과 아울러 사용자의 실측 데이터에 대한 오류 판정 과정에서 근거 자료를 통해 사용자가 오류 여부를 선택할 수 있도록 지원하여 사용자의 주관을 최대한 배제한 라벨링 데이터를 수집함으로써 라벨링 데이터를 기반으로 학습하여 센서의 이상 여부를 판단하는 신경망 기반 지도 학습 모델의 센서 관련 이상 여부 판단에 대한 정확도 및 신뢰도를 크게 향상시킬 수 있다.

한편, 상술한 구성에서 라벨링되지 않은 실측 데이터만을 이용하여 신경망 모델인 비지도 학습 모델 및 생성 모델을 학습시키는 경우 초기에 수집된 실측 데이터가 부족하여 해당 실측 데이터를 기반으로 학습된 비지도 학습 모델 및 생성 모델은 센서의 데이터 패턴이 충분히 학습되지 않은 상태에서 실측 데이터의 오류 여부에 대한 결과를 제공하므로 학습 초기에 정확도가 낮아 시각화 정보에서 오류로 판정되지 않은 데이터 일부에 대해서도 사용자가 의심을 가지고 오류 여부를 확인해야 한다.

따라서, 이는 사용자의 부담을 증가시킬 수 있으므로, 이를 해결하기 위해 본 발명의 실시예에 따른 데이터 분석부(200)는 도 2 및 도 5에 도시된 바와 같이 트랜스퍼 러닝부(230) 및 룰 모델 분석부(240)를 더 포함하여 구성될 수 있으며, 해당 트랜스퍼 러닝부(230) 및 룰 모델 분석부(240)의 추가 구성을 통해 일정 수준 이상의 정확도를 가진 실측 데이터의 오류 여부에 대한 초기 결과 정보를 제공하여 사용자가 검토해야 하는 오류로 확인된 실측 데이터의 오류 여부 확인에 대한 부담을 경감시킴과 아울러 센서의 라벨링 데이터가 부족한 초기부터 라벨링 데이터의 수집 속도를 향상시킬 수 있도록 지원한다.

도 2 및 도 5를 통해, 트랜스퍼 러닝부(230) 및 룰 모델 분석부(240)가 추가 구성된 본 발명의 실시예에 따른 신경망 기반 센서 이상 감지를 위한 서비스 제공 시스템의 상세 동작 구성을 설명한다.

도 2는 본 발명의 실시예에 따른 신경망 기반 센서 이상 감지를 위한 서비스 제공 시스템의 물리적 구성을 나타낸 구성도이며, 도 5는 본 발명의 실시예에 따른 신경망 기반 센서 이상 감지를 위한 서비스 제공 시스템의 동작 방식에 따른 시계열적 구성을 나타낸 구성도이다.

도시된 바와 같이, 센서와 관련하여 DB(400)에 누적 저장된 모든 실측 데이터의 현재 개수(또는 현재 합산 용량)가 미리 설정된 제 1 기준치 이하인 상태에서 상기 데이터 수집부(100)의 QC부(110)와 클러스터링부(120) 및 상기 데이터 분석부(200)에 포함된 트랜스퍼 러닝부(230)가 초기 단계 수행부로서 동작할 수 있다.

상기 QC부(110)와 클러스터링부(120)는 상술한 바와 같이 센서로부터 수신된 실측 데이터 중 비정상 데이터를 필터링하여 트랜스퍼 러닝부(230)에 제공할 수 있다.

또한, 트랜스퍼 러닝부(230)는 데이터 수집부(100)의 데이터 수집 대상인 센서와 상이한 종류의 이종 센서에서 제공되는 실측 데이터를 라벨링한 다수(대용량)의 라벨링 데이터가 학습된 상태이며 상기 센서와 오류 판정 과정이 유사한 신경망으로 구성된 유사 신경망 모델을 포함하여 구성될 수 있다.

이때, 해당 유사 신경망 모델은 DenseNet으로 구성될 수 있으며, 바람직하게는 DenseNet40으로 구성되는 것이 바람직하다.

이에 따라, 트랜스퍼 러닝부(230)는 유사 신경망 모델에 데이터 수집부(100)로부터 수신되는 실측 데이터를 학습시켜 이종 센서에 대한 실측 데이터의 오류 판정에 대해 일정 수준 이상의 정확도를 가지는 데이터 패턴이 학습된 유사 신경망 모델의 데이터 패턴이 상기 센서에 최적화되도록 상기 유사 신경망 모델을 가변시킬 수 있다.

이때, 트랜스퍼 러닝부(230)에 구성된 유사 신경망 모델은 CNN 기반 신경망 모델로 구성될 수 있으며, 하나 이상의 콘볼루션 계층(Convolutional Layer), 통합 계층(Pooling Layer) 및 완전하게 연결된 계층(Fully Connected Layer)을 포함하여 구성될 수 있다.

또한, 트랜스퍼 러닝부(230)는 유사 신경망 모델에서 특징 추출을 위한 콘볼루션 계층에 설정된 가중치를 고정된 상태로 이용하며, 완전하게 연결된 계층에 센서로부터 수신된 실측 데이터를 학습시켜 센서와 관련된 데이터 패턴으로 유사 신경망 모델이 최적화되도록 할 수 있다.

또한, 상술한 구성에서 데이터 분석부(200)가 상기 센서와 상이한 종류의 이종 센서로 학습 완료된 유사 신경망 모델을 포함하는 트랜스퍼 러닝부(230)를 통해 상기 데이터 수집부(100)로부터 수신되는 실측 데이터로 상기 유사 신경망 모델을 학습시킬 수 있다.

즉, 데이터 분석부(200)는 트랜스퍼 러닝부(230)를 통해 센서의 실측 데이터에 대한 전이 학습 기능(트랜스퍼 러닝, transfer learning)을 지원할 수 있다.

한편, 트랜스퍼 러닝부(230)는 실측 데이터로 전이 학습된 유사 신경망 모델을 통해 데이터 수집부(100)로부터 수집되는 실측 데이터별로 오류 여부를 판정하여 실측 데이터별 오류 여부가 포함된 초기 결과 정보를 생성할 수 있으며, 데이터 분석부(200)는 트랜스퍼 러닝부(230)가 생성한 초기 결과 정보를 사용자 인터페이스부(300)로 제공할 수 있다.

또한, 사용자 인터페이스부(300)는 해당 초기 결과 정보를 디스플레이부(310)를 통해 표시할 수 있으며, 인터페이스 제어부(320)는 입력부(330)를 통한 사용자 입력을 기초로 초기 결과 정보에 포함된 실측 데이터 중에서 사용자 입력에 따라 사용자에 의해 오류로 확인된 실측 데이터에 대한 오류 확인 정보를 데이터 분석부(200)에 제공할 수 있다.

상술한 구성에서, 트랜스퍼 러닝부(230)는 센서와 상이하지만 센서와 유사한 데이터 패턴을 가지는 이종 센서와 관련된 다수의 라벨링 데이터가 이미 학습되어 이종 센서에 대한 이상 여부 판정시 일정 수준 이상의 정확도를 보장하는 유사 신경망 모델에 센서의 실측 데이터를 전이 학습시켜 해당 센서에 대해서도 실측 데이터에 대한 오류 여부 판정시 이종 센서보다는 부족하지만 일정 수준 이상의 정확도를 보장할 수 있다.

이를 통해, 센서로부터 수집된 실측 데이터의 수집 개수(수집량)가 부족하여 학습량이 부족한 비지도 학습 모델에서 제공되는 결과 정보의 정확도가 기대치를 충족하지 못하는 상황에서 트랜스퍼 러닝부(230)를 통해 센서로부터 수집되는 실측 데이터별 오류 여부에 대한 소정의 기대치 이상인 정확도를 보장하는 초기 결과 정보를 사용자에게 제공하여 실측 데이터의 오류 판정이 잘못되는 경우를 크게 감소시킬 수 있으며, 이를 통해 사용자가 초기 결과 정보에 따른 오류 판정 결과를 신뢰하면서 적은 수의 실측 데이터에 대해서만 오류 판정 결과에 대한 확인을 수행하도록 지원하여 사용자의 부담을 크게 경감시킬 수 있다.

또한, 트랜스퍼 러닝부(230)의 일정 수준 이상의 정확도를 보장하는 초기 결과 정보 제공에 따라 사용자의 오류 확인 속도를 증가시켜 사용자의 오류 확인에 따라 라벨링 데이터를 신속하게 증가시킬 수 있다.

한편, 데이터 분석부(200)는 사용자 인터페이스부(300)로부터 초기 결과 정보에 대응되어 수신된 오류 확인 정보에 따라 상술한 바와 같이 오류 확인 정보에 대응되는 DB(400)에 저장된 실측 데이터를 오류 데이터로 라벨링하고, 오류로 확인되지 않은 실측 데이터를 정상 데이터로 라벨링하여 라벨링 데이터를 DB(400)에 누적 저장할 수 있다.

한편, 비지도 학습부(210)와 생성 모델 학습부(220) 및 룰 모델 분석부(240)는 DB(400)에 누적 저장된 모든 실측 데이터의 현재 개수(현재 합산 용량)가 미리 설정된 제 1 기준치를 초과시 시각화 정보를 제공하는 데이터 적재 단계 수행부에 포함되어 구성될 수 있으며, 상기 데이터 분석부(200)는 상기 DB(400)에 누적 저장된 모든 실측 데이터의 현재 개수(또는 현재 합산 용량)가 미리 설정된 제 1 기준치를 초과하는 경우 상기 비지도 학습부(210) 및 생성 모델 학습부(220)를 통해 상술한 바와 같이 시각화 정보를 상기 사용자 인터페이스부(300)를 통해 제공할 수 있다.

이때, 상기 데이터 분석부(200)는 상기 DB(400)에 누적 저장되는 모든 실측 데이터의 현재 개수(또는 현재 합산 용량)가 미리 설정된 제 1 기준치 이하인 상태에서도 상기 비지도 학습부(210)를 통해 비지도 학습 모델에 실측 데이터를 학습시키고 생성 모델 학습부(220)를 통해 생성 모델에 실측 데이터를 학습시킬 수 있으며, 비지도 학습부(210) 및 생성 모델 학습부(220)를 통해 제공되는 결과 정보 및 비교 정보를 기초로 시각화 정보를 생성하여 사용자 인터페이스부(300)에 제공할 수 있다.

즉, 데이터 분석부(200)는 초기 단계 수행부의 트랜스퍼 러닝부(230)에서 생성된 초기 결과 정보를 사용자 인터페이스부(300)에 제공(전송)할 때 비지도 학습부(210) 및 생성 모델 학습부(220)를 통해 생성된 시각화 정보를 함께 사용자 인터페이스부(300)에 제공할 수 있다.

또한, 데이터 분석부(200)는 상기 DB(400)에 누적 저장된 모든 실측 데이터의 현재 개수(또는 현재 합산 용량)가 미리 설정된 제 1 기준치를 초과하는 경우에도 트랜스퍼 러닝부(230)를 통해 제공되는(생성되는) 초기 결과 정보를 시각화 정보와 함께 사용자 인터페이스부(300)에 제공할 수 있다.

또한, 상기 데이터 분석부(200)는 유사 신경망 모델과 비지도 학습 모델 및 생성 모델에 각각 학습되는 실측 데이터의 개수에 따라 유사 신경망 모델과 비지도 학습 모델 및 생성 모델의 학습 상태를 산출하고, 해당 학습 상태에 따라 유사 신경망 모델이 포함된 트랜스퍼 러닝부(230)에서 제공되는 초기 결과 정보와 비지도 학습 모델 및 생성 모델에 의해 생성되는 시각화 정보 각각에 포함된 실측 데이터별 오류 여부에 대한 정확도 관련 가중치를 서로 상이하게 가변 설정하면서 상기 설정된 가중치에 따라 상기 정확도가 변경된 초기 결과 정보 및 시각화 정보를 사용자 인터페이스부(300)에 제공할 수 있다.

일례로, 데이터 분석부(200)는 초기 결과 정보에 포함되는 유사 신경망 모델에 의해 산출된 실측 데이터별 오류 여부에 대한 정확도에 초기 결과 정보에 대응되어 설정된 가중치를 적용하여 해당 가중치가 초기 결과 정보의 정확도에 반영된 초기 결과 정보에 대한 제 1 최종 정확도를 산출하여 상기 초기 결과 정보에 포함시켜 제공할 수 있다.

또한, 데이터 분석부(200)는 시각화 정보에 대해서도 비지도 학습 모델 및 생성 모델에 의해 산출된 결과 정보 및 비교 정보 각각의 정확도에 시각화 정보에 대응되어 설정된 가중치를 적용하여 해당 가중치가 비지도 학습 모델에 의해 산출된 결과 정보의 정확도 및 생성 모델에 의해 산출된 비교 정보의 정확도에 반영된 시각화 정보에 대한 제 2 최종 정확도를 산출한 후 시각화 정보에 포함시켜 제공할 수 있다.

즉, 도 6에 도시된 바와 같이 센서로부터 데이터 수집부(100)에 의해 수집된 실측 데이터가 부족한 초기에는 트랜스퍼 러닝부(230)에 의해 산출되는 초기 결과 정보의 정확도가 높지만, 시간이 흐르면서 비지도 학습 모델 및 생성 모델에 의해 산출되는 시각화 정보의 정확도가 점차 향상되면서 실측 데이터가 일정 이상 수집되면 초기 결과 정보의 정확도보다 높은 값을 가지게 된다.

이는, 트랜스퍼 러닝부(230)가 동작 초기에는 이종 센서에 대해 일정 수준 이상의 정확도를 보장하는 유사 신경망 모델에 실측 데이터의 수집 대상인 센서로부터 수신된 실측 데이터의 파라미터를 적용하는 것만으로 해당 센서에 대해서도 어느 정도의 정확도를 보장하는 실측 데이터에 대한 오류 판단 결과를 제공할 수 있으나 해당 유사 신경망 모델이 이종 센서에 특화되어 있어 정확도가 정체되는 반면 비지도 학습부(210)의 비지도 학습 모델 및 생성 모델 학습부(220)의 생성 모델은 시간이 지나면서 학습되는 실측 데이터의 개수가 늘어날 수록 점차 센서의 데이터 패턴에 특화되어 정확도가 점진적으로 향상되고 실측 데이터가 일정 이상 수집되면 유사 신경망 모델보다 높은 정확도를 보장하게 되기 때문이다.

이에 따라, 데이터 분석부(200)는 초기 결과 정보에 설정된 정확도와 시각화 정보에 설정된 정확도에 대해 트랜스퍼 러닝부(230)와 비지도 학습부(210) 및 생성 모델 학습부(220) 각각의 실측 데이터 관련 학습 상태에 따라 가중치를 변경하면서 적용할 수 있으며, DB(400)에 누적 저장된 실측 데이터의 현재 개수(또는 현재 합산 용량)가 미리 설정된 제 1 기준치 초과시에는 초기 결과 정보에 설정된 가중치보다 시각화 정보에 설정된 가중치가 더 높은 값을 가지도록 가중치를 변경할 수 있다.

이를 통해, 데이터 분석부(200)는 초기 결과 정보 및 시각화 정보를 통해 가중치가 적용된 최종 정확도(제 1 최종 정확도, 제 2 최종 정확도)를 제공하며, 사용자가 해당 최종 정확도를 기초로 시간이 지나면서 점차 시각화 정보를 기초로 실측 데이터의 오류 여부를 결정하도록 유도할 수 있다.

한편, 데이터 분석부(200)는 사용자 인터페이스부(300)에 초기 결과 정보 및 시각화 정보 중 적어도 하나를 제공할 수 있으며, 초기 결과 정보 및 시각화 정보 중 어느 하나에 대응되어 오류 확인 정보 수신시 해당 오류 확인 정보에 대응되는 실측 데이터를 DB(400)에서 확인하고, 오류 확인 정보에 대응되는 실측 데이터별로 오류 여부를 라벨링하여 라벨링 데이터를 생성한 후 DB(400)에 누적 저장할 수 있다.

한편, 데이터 적재 단계 수행부에 포함되는 룰 모델 분석부(240)는 센서의 이상 여부를 판단하기 위한 하나 이상의 서로 다른 룰(rule)이 각각 대응되어 설정된 하나 이상의 서로 다른 룰 모델을 포함되며, DB(400)에 센서별로 저장된 실측 데이터를 대상으로 미리 설정된 하나 이상의 룰 모델을 적용하여 비정상적으로 동작하는 비정상 센서가 검출되면 해당 비정상 센서에 대한 이상 감지 정보를 생성할 수 있다.

이에 따라, 데이터 분석부(200)는 룰 모델 분석부(240)가 생성한 이상 감지 정보를 시각화 정보에 포함시켜 사용자 인터페이스부(300)에 제공되도록 할 수 있으며, 시각화 정보에 포함된 이상 감지 정보를 기초로 사용자가 센서의 이상(비정상) 여부를 판단 가능하도록 제공할 수 있다.

또한, 데이터 분석부(200)는 이상 감지 정보가 포함된 시각화 정보를 기초로 사용자에 의해 선택된 비정상 센서를 데이터 수집 대상에서 제외시키기 위한 제외 정보를 사용자 인터페이스부(300)로부터 수신하고, 해당 제외 정보를 기초로 데이터 수집부(100)를 제어하여 데이터 수집부(100)에서 비정상 센서로부터 실측 데이터를 더 이상 수집하지 않도록 할 수 있다.

이를 통해, 데이터 분석부(200)는 학습 과정에서 이미 이상이 발생하여 오동작 중인 비정상 센서의 비정상 데이터가 데이터 분석부(200)에 포함된 신경망 모델들에 학습되지 않도록 방지할 수 있으며, 이에 따라 비정상 센서의 데이터 패턴이 데이터 분석부(200)에 포함된 신경망 모델들에 학습되지 않도록 할 수 있다.

한편, 본 발명의 실시예에 따른 신경망 기반 센서 이상 감지를 위한 서비스 제공 시스템은 지도 학습부(500)를 더 포함하여 구성될 수 있으며, 해당 지도 학습부(500)는 DB(400)에 누적 저장된 모든 라벨링 데이터의 현재 개수(또는 현재 합산 용량)가 미리 설정된 제 2 기준치를 초과하여 누적되면 오류 누적 단계 수행부로서 동작할 수 있다.

이때, 지도 학습부(500)는 별도의 신경망 모델인 지도 학습 모델을 포함하여 구성될 수 있으며, 지도 학습부(500)에 구성된 지도 학습 모델은 DenseNet으로 구성될 수 있다.

이에 따라, 지도 학습부(500)는 DB(400)에 누적 저장된 라벨링 데이터를 지도 학습부(500)에 포함된 지도 학습 모델에 학습시켜 정상 센서의 데이터 패턴과 비정상 센서의 데이터 패턴 또는 센서의 데이터 패턴을 학습할 수 있다.

또한, 지도 학습부(500)는 DB(400)에 누적 저장된 모든 라벨링 데이터의 현재 개수(또는 현재 합산 용량)가 미리 설정된 제 2 기준치를 초과하여 지도 학습 모델의 학습이 충분히 이루어진 경우 데이터 수집부(100)를 통해 특정 센서에 대응되어 데이터 수집부(100)에 의해 수집되거나 DB(400)에 누적 저장되는 다수의 시계열 실측 데이터를 데이터 수집부(100)로부터 수신하거나 DB(400)로부터 추출하여 수신하고, 시계열 실측 데이터를 기반으로 생성한 특정 센서의 데이터 패턴을 DB(400)에 저장된 라벨링 데이터를 기초로 미리 학습된 정상 센서 및 비정상 센서 각각의 데이터 패턴 또는 센서의 데이터 패턴과 상호 비교하여 해당 특정 센서의 정상 또는 비정상을 판단하여 특정 센서의 이상 여부에 대한 분석 정보를 제공할 수 있다.

이때, 지도 학습부(500)는 사용자 인터페이스부(300)와 연결되어 사용자 인터페이스부(300)를 통해 해당 분석 정보를 제공할 수 있다.

상술한 구성을 통해, 본 발명은 센서의 실측 데이터가 부족한 초기 상태에서 센서와 유사한 데이터 패턴을 가지는 이종 센서에 대해 이미 충분히 학습이 이루어져 일정 수준 이상의 정확도를 가지는 유사 신경망 모델에 이상 여부의 분석 대상인 센서의 실측 데이터를 학습시켜 실측 데이터가 부족한 초기에도 일정 수준 이상의 정확도를 가진 라벨링 데이터가 수집되도록 하면서 센서에 특화된 비지도 학습 모델 및 생성 모델의 정확도가 시간이 지나면서 일정 수준 이상으로 향상된 경우 비지도 학습 모델 및 생성 모델을 통해 제공되는 결과로 실측 데이터의 라벨링이 선택되도록 하여 실측 데이터의 오류 여부에 대한 라벨링 데이터를 수집하는 기간을 크게 단축함과 아울러 해당 라벨링 데이터를 센서의 이상 여부를 판단하는 신경망 기반 지도 학습 모델에 학습시켜 높은 수준의 정확도를 가진 신경망 기반 지도 학습 모델을 제공함으로써, 센서의 이상 여부 판단에 대한 편의성 및 신뢰성을 보장할 수 있다.

도 7은 본 발명의 실시예에 따른 데이터 분석부(200)의 상세 구성도 및 상세 동작 실시예를 나타낸 도면이다.

도시된 바와 같이, 데이터 분석부(200)는 상술한 비지도 학습부(210)와, 생성 모델 학습부(220)와, 룰 모델 분석부(240) 및 트랜스퍼 러닝부(230)를 포함하고, 데이터 누적부(250) 및 라벨 데이터 생성부(260)를 더 포함하여 구성될 수 있다.

우선, 트랜스퍼 러닝부(230)는 센서의 데이터 패턴과 편차가 미리 설정된 설정값 이하이며 상기 센서와 상이한 종류의 이종 센서에 대한 다수의 라벨링 데이터가 학습 완료되어 상기 이종 센서 관련 데이터 패턴이 학습된 유사 신경망 모델을 포함하여 구성될 수 있다.

또한, 데이터 분석부(200)에 구성된 데이터 누적부(250)가 데이터 분석부(200)의 전반적인 제어 기능을 수행하는 제어 모듈로서 구성될 수 있으나, 이에 한정되지 않고 데이터 분석부(200)에 구성된 다른 구성부가 제어 모듈로서 구성될 수도 있다. 본 발명에서 설명하는 데이터 분석부(200)의 기능은 데이터 누적부(250)에 의해 수행되는 것으로 설명될 수 있다.

또한, 데이터 누적부(250)는 데이터 수집부(100)로부터 실측 데이터 수신시마다 DB(400)에 해당 실측 데이터를 누적 저장할 수 있으며, DB(400)에 누적 저장된 모든 실측 데이터의 현재 개수(또는 현재 합산 용량)를 확인하여 모든 실측 데이터의 현재 개수(또는 현재 합산 용량)가 미리 설정된 제 1 기준치 이하인 경우 트랜스퍼 러닝부(230)에 DB(400)에 누적 저장된 실측 데이터를 제공할 수 있다.

또한, 트랜스퍼 러닝부(230)는 실측 데이터를 유사 신경망 모델에 학습시키며, 이종 센서의 데이터 패턴이 학습 완료된 유사 신경망 모델이 지도 학습 모델에 의한 이상 여부의 판단 대상인 상기 센서의 데이터 패턴에 최적화되도록 유사 신경망 모델을 구성하는 레이어 일부의 파라미터가 가변되도록 할 수 있다.

또한, 트랜스퍼 러닝부(230)는 데이터 누적부(250)에 의해 제공되는 시계열 실측 데이터별로 유사 신경망 모델을 통해 오류 여부를 판정하여 초기 결과 정보를 사용자 인터페이스부(300)에 제공할 수 있다.

또한, 데이터 누적부(250)는 초기 결과 정보에 대응되어 사용자 인터페이스부(300)로부터 사용자 입력에 따라 오류로 확인된 하나 이상의 실측 데이터에 대한 오류 확인 정보를 수신할 수 있다.

이때, 데이터 누적부(250)는 오류 확인 정보를 라벨 데이터 생성부(260) 제공할 수 있다.

또한, 라벨 데이터 생성부(260)는 오류 확인 정보를 기초로 DB(400)에 누적 저장된 실측 데이터를 대상으로 오류 확인 정보에 따라 오류로 확인된 실측 데이터별로 오류 여부를 라벨링하여 라벨링 데이터를 생성한 후 DB(400)에 누적 저장할 수 있다.

이때, 라벨 데이터 생성부(260)는 DB(400)에 누적 저장된 실측 데이터들 중 오류 데이터로 라벨링된 실측 데이터의 생성 시점 이전에 생성되고 오류 데이터로 라벨링되지 않은 실측 데이터를 정상 데이터로 자동 라벨링할 수 있으며, 이와 같은 실측 데이터의 자동 라벨링을 통해 오류 데이터 또는 정상 데이터로 라벨링된 실측 데이터(또는 라벨링 데이터)의 수를 크게 증가시킬 수 있다.

또한, 데이터 누적부(250)는 DB(400)에 누적 저장된 모든 실측 데이터의 현재 개수(또는 현재 합산 용량)가 미리 설정된 제 1 기준치 이하인 상태에서 비지도 학습부(210)의 비지도 학습 모델과 생성 모델 학습부(220)의 생성 모델에 DB(400)에 누적 저장된 실측 데이터를 제공하여 비지도 학습 모델 및 생성 모델이 학습되도록 할 수 있다.

한편, 비지도 학습부(210)는 신경망 모델인 비지도 학습 모델을 포함하여 구성되며, 해당 비지도 학습 모델은 LSTM(Long Short Term Memory) 기반 모델로 구성될 수 있다.

도 8 및 도 9를 참고하여 비지도 학습 모델의 상세 동작 구성을 설명하면, 도시된 바와 같이 LSTM으로 구성된 비지도 학습 모델은 센서의 실측 데이터와 같이 시계열 데이터를 모델링하는데 적합한 딥러닝 모델 구조로서, 과거 t-1, t-2,..., t-n시점의 데이터를 이용하여 센서의 시계열 데이터 패턴을 학습하도록 구성된다.

또한, 비지도 학습 모델은 일반적인 시계열 데이터의 패턴을 학습하여 과거 t-1, t-2,..,t-n시점의 데이터를 이용해 t 시점의 기준 데이터를 산출할 수 있다.

이에 따라, 비지도 학습 모델은 LSTM 기반으로 산출한 t 시점의 기준 데이터와 해당 t 시점의 센서로부터 제공된 실측 데이터 사이의 편차(residual error)를 산출하여 해당 편차가 데이터 패턴에 따른 제 3 기준치 이상인 경우 실측 데이터를 오류 데이터로 판정하고, 제 3 기준치 이하인 경우 실측 데이터를 정상 데이터로 판정할 수 있다.

즉, 도 9에 도시된 바와 같이 비지도 학습부(210)는 편차(residual error)를 이용해 예외점(anomaly point)이 발생한 실측 데이터를 오류 데이터로 판정하는 LSTM 기반의 비지도 학습 모델을 통해 실측 데이터의 오류 여부에 대한 결과 정보를 출력할 수 있다.

한편, 생성 모델 학습부(220)는 신경망 모델인 생성 모델을 포함하여 구성될 수 있으며, 해당 생성 모델은 GAN(Generative Adversarial Network), VAE(Variational Auto-Encoder) 및 AnoGAN(Anomaly detection with GAN) 중 어느 하나를 기반으로 하는 신경망 모델로 구성될 수 있다.

생성 모델은 데이터가 생성되는 과정을 확률분포 형태로 학습하는 모델로서, 입력 데이터의 패턴을 학습하여 이와 유사한 패턴을 가진 새로운 데이터를 생성할 수 있는 모델이다.

즉, 생성 모델은 실측 데이터의 학습을 통해 센서의 데이터 패턴을 학습하며, 이를 통해 센서의 데이터 패턴과 유사한 유사 데이터 패턴을 산출하고 이를 기반으로 미래 시점의 센서 관련 데이터를 인공적으로 생성할 수 있으며, 이러한 인공적으로 생성한 센서 관련 데이터를 추정 데이터로 생성할 수 있다.

이때, 생성 모델 학습부(220)는 추정 데이터를 생성 모델에 학습시켜 추정 데이터의 시계열 데이터 패턴을 기초로 추정 데이터별 오류 여부가 생성 모델을 통해 판정되도록 하고, 해당 생성 모델에서 출력하는 추정 데이터별 오류 여부가 다시 생성 모델에 학습되도록 하여 추정 데이터와 정상 센서에서 제공되는 실측 데이터 사이의 편차를 감소시킬 수 있으며, 이를 통해 생성 모델을 통해 정상 센서에서 제공되는 실측 데이터의 시계열 변화와 추정 데이터의 시계열 변화 사이의 편차를 낮추어 정상 센서의 데이터 패턴과 차이가 미미한 추정 데이터 기반 데이터 패턴이 학습된 생성 모델을 통해 지속적으로 정상 센서의 시계열 실측 데이터에 근접한 시계열 추정 데이터가 산출되도록 할 수 있다.

이에 따라, 생성 모델 학습부(220)는 생성 모델이 생성하는 추정 데이터와 데이터 수집부(100)로부터 제공되는 실측 데이터를 상호 비교한 비교 정보를 생성할 수 있다.

이때, 생성 모델 학습부(220)는 도 10(a)에 도시된 바와 같이 정상 센서에 대해서 시계열 추정 데이터 관련 추정값들의 제 1 변화 패턴과 센서의 실측 데이터 관련 실제 측정값들의 제 2 변화 패턴이 거의 유사한 비교 정보를 출력할 수 있으며, 도 10(b)에 도시된 바와 같이 비정상 센서에 대해서는 제 1 변화 패턴과 제 2 변화 패턴이 서로 상이한 비교 정보를 출력할 수 있다.

또한, 생성 모델 학습부(220)는 제 1 변화 패턴과 제 2 변화 패턴 간의 차이를 이상 징후 점수로 정량화하여 비교 정보에 포함시킬 수 있으며, 비정상 상태일 가능성이 클수록 높은 이상 징후 점수를 산출할 수 있다.

한편, 데이터 누적부(250)는 상술한 바와 같이 비지도 학습부(210)가 생성한 결과 정보와 생성 모델 학습부(220)가 생성한 비교 정보를 포함하는 시각화 정보를 생성하여 사용자 인터페이스부(300)로 제공할 수 있다.

이에 대한 일례를 도 11을 참조하여 설명하면, 데이터 누적부(250)는 비지도 학습 모델(LSTM)을 통해 산출된 결과 정보와 생성 모델(AnoGAN)을 통해 산출된 비교 정보를 포함하는 시각화 정보를 사용자 인터페이스부(300)에 제공하여 사용자 인터페이스부(300)를 통해 해당 시각화 정보가 표시되도록 할 수 있다.

이때, 데이터 수집부(100)는 QC부(110) 및 클러스터링부(120)를 통해 센서로부터 수신되는 실측 데이터 중에서 비정상 데이터로 판정되어 필터링된 실측 데이터와 관련된 필터링 정보를 생성할 수 있으며, 이를 데이터 분석부(200)로 제공할 수 있다.

또한, 데이터 분석부(200)에 구성된 데이터 누적부(250)는 데이터 수집부(100)로부터 실측 데이터와 함께 제공되는 필터링 정보를 시각화 정보에 포함시켜 사용자 인터페이스부(300)에 제공할 수 있으며, 이를 통해 비정상 데이터로 판정된 실측 데이터의 필터링 이유를 시각적으로 확인가능하도록 제공할 수 있다.

또한, 데이터 분석부(200)는 상술한 바와 같이 룰 모델 분석부(240)를 포함하여 구성되며, 룰 모델 분석부(240)는 센서의 이상 여부를 판단하기 위한 하나 이상의 서로 다른 룰(rule)이 각각 대응되어 설정된 하나 이상의 서로 다른 룰 모델을 포함되며, DB(400)에 센서별로 저장된 실측 데이터를 대상으로 미리 설정된 하나 이상의 룰 모델을 적용하여 비정상적으로 동작하는 비정상 센서를 검출한 후 해당 비정상 센서에 대한 이상 감지 정보를 생성할 수 있다.

이에 따라, 데이터 누적부(250)는 룰 모델 분석부(240)가 생성한 이상 감지 정보를 시각화 정보에 포함시켜 사용자 인터페이스부(300)에 제공되도록 할 수 있으며, 시각화 정보에 포함된 이상 감지 정보를 기초로 사용자가 센서의 이상(비정상) 여부를 판단 가능하도록 제공할 수 있다.

일례로, 룰 모델 분석부(240)는 DB(400)에 저장된 실측 데이터를 기초로 특정 센서의 측정 장소의 공간 정보를 이용하여 상기 특정 센서와 가장 인접한 타 센서로부터 수집된 데이터와 상기 특정 센서에서 수집된 데이터 사이의 편차와 상관관계를 분석하는 공간분석 관련 제 1 룰 및 상기 특정 센서에 대응되어 시간대별 데이터 변화와 단위 시간당 데이터 변화를 산출하는 변동 분석 관련 제 2 룰 중 적어도 하나를 수행하여 상기 특정 센서가 비정상으로 판단된 경우 해당 특정 센서에 대한 이상 감지 정보를 생성할 수 있다.

또한, 데이터 누적부(250)는 이상 감지 정보가 포함된 시각화 정보를 기초로 사용자에 의해 선택된 비정상 센서를 데이터 수집 대상에서 제외시키기 위한 제외 정보를 사용자 인터페이스부(300)로부터 수신하고, 해당 제외 정보를 기초로 데이터 수집부(100)를 제어하여 데이터 수집부(100)에서 비정상 센서로부터 실측 데이터를 더 이상 수집하지 않도록 할 수 있다.

이를 통해, 데이터 분석부(200)는 제외된 비정상 센서의 비정상 데이터가 데이터 분석부(200)에 포함된 신경망 모델들에 학습되지 않도록 방지할 수 있으며, 이에 따라 비정상 센서의 데이터 패턴이 데이터 분석부(200)에 포함된 신경망 모델들에 학습되지 않도록 할 수 있다.

한편, 데이터 분석부(200)에 포함된 데이터 누적부(250)는 사용자 인터페이스부(300)로부터 시각화 정보를 기초로 사용자가 오류가 발생한 오류 데이터로 선택한 하나 이상의 실측 데이터를 포함하는 오류 확인 정보를 수신할 수 있다.

한편, 데이터 누적부(250)는 데이터 수집부(100)로부터 실측 데이터를 수신하여 해당 실측 데이터를 비지도 학습부(210)와 생성 모델 학습부(220)에 제공하여 학습시킬 수 있으며, 해당 실측 데이터를 DB(400)에 누적 저장할 수 있다.

상술한 구성에서, 데이터 누적부(250)는 데이터 분석부(200)에 포함된 비지도 학습부(210)와 생성 모델 학습부(220)가 DB(400)에 누적 저장된 모든 실측 데이터의 현재 개수(또는 현재 합산 용량)가 미리 설정된 제 1 기준치 이하인 경우 실측 데이터를 비지도 학습 모델 및 생성 모델에 학습만 시키도록 동작시킬 수 있으며, 상기 DB(400)에 누적 저장된 모든 실측 데이터의 현재 개수(현재 합산 용량)가 미리 설정된 제 1 기준치를 초과하는 경우 비지도 학습 모델 및 생성 모델을 통해 상기 시각화 정보를 생성하도록 제어할 수 있다.

또한, 해당 시각화 정보는 비지도 학습부(210), 생성 모델 학습부(220) 또는 데이터 누적부(250)에 의해 생성될 수 있으며, 비지도 학습부(210), 생성 모델 학습부(220) 및 데이터 누적부(250) 중 어느 하나가 데이터 분석부(200)에 구성되는 다른 구성부를 제어하도록 동작할 수 있으나, 데이터 누적부(250)가 데이터 분석부(200)의 모든 구성부를 제어하는 것으로 설명한다.

또한, 데이터 누적부(250)는 데이터 분석부(200)에 의해 사용자 인터페이스부(300)에 제공된 시각화 정보에 대응되어 사용자 인터페이스부(300)로부터 수신되는 오류 확인 정보를 데이터 분석부(200)에 포함된 라벨 데이터 생성부(260)에 제공할 수 있다.

이에 따라, 라벨 데이터 생성부(260)는 DB(400)에 저장된 복수의 실측 데이터를 대상으로 오류 확인 정보에 따라 오류로 판정된 실측 데이터를 오류 데이터로 라벨링할 수 있다.

또한, 라벨 데이터 생성부(260)는 DB(400)에 저장된 실측 데이터들 중 오류 데이터로 라벨링된 실측 데이터의 생성 시점 이전에 생성된 오류 데이터로 라벨링되지 않은 실측 데이터를 정상 데이터로 자동 라벨링할 수 있으며, 이와 같은 실측 데이터의 자동 라벨링을 통해 오류 데이터 또는 정상 데이터로 라벨링된 실측 데이터인 라벨링 데이터의 수를 크게 증가시킬 수 있다.

한편, 상술한 구성에서 데이터 누적부(250)는 유사 신경망 모델과 비지도 학습 모델 및 생성 모델에 각각 학습되는 실측 데이터의 개수에 따라 유사 신경망 모델과 비지도 학습 모델 및 생성 모델의 학습 상태를 산출하고, 해당 학습 상태에 따라 유사 신경망 모델이 포함된 트랜스퍼 러닝부(230)에서 제공되는 초기 결과 정보와 비지도 학습 모델 및 생성 모델에 의해 생성되는 시각화 정보 각각에 포함된 실측 데이터별 오류 여부에 대한 정확도 관련 가중치를 서로 상이하게 가변 설정하면서 상기 설정된 가중치에 따라 상기 정확도가 변경된 초기 결과 정보 및 시각화 정보를 사용자 인터페이스부(300)에 제공할 수 있다.

일례로, 데이터 누적부(250)는 트랜스퍼 러닝부(230)를 통해 유사 신경망 모델에 의해 산출된 실측 데이터별 오류 여부에 대한 초기 결과 정보에 포함되는 정확도에 유사 신경망 모델의 학습 상태에 따라 초기 결과 정보에 대응되어 설정된 가중치를 적용하여 해당 가중치를 초기 결과 정보의 정확도에 반영시킬 수 있으며, 이러한 반영에 따라 초기 결과 정보에 대한 제 1 최종 정확도를 산출한 후 상기 초기 결과 정보에 포함시켜 제공할 수 있다.

이때, 데이터 누적부(250)는 유사 신경망 모델에 학습되는 실측 데이터의 개수가 많아질수록 상술한 바와 같이 유사 신경망 모델이 비지도 학습 모델 및 생성 모델보다 정확도가 떨어지게 되므로, 유사 신경망 모델에 적용되는 가중치를 점차 낮출 수 있다.

또한, 데이터 누적부(250)는 비지도 학습부(210) 및 생성 모델 학습부(220)를 통해 시각화 정보에 대해서도 비지도 학습 모델 및 생성 모델에 의해 산출된 결과 정보 및 비교 정보 각각의 정확도에 비지도 학습 모델 및 생성 모델의 학습 상태에 따라 시각화 정보에 대응되어 설정된 가중치를 적용하여 해당 가중치가 비지도 학습 모델에 의해 산출된 결과 정보의 정확도 및 생성 모델에 의해 산출된 비교 정보의 정확도에 반영되도록 하고, 이러한 반영에 따라 시각화 정보에 대한 제 2 최종 정확도를 산출한 후 시각화 정보에 포함시켜 제공할 수 있다.

이때, 데이터 누적부(250)는 비지도 학습 모델 및 생성 모델에 학습되는 실측 데이터의 개수가 많아질수록 상술한 바와 같이 비지도 학습 모델 및 생성 모델이 유사 신경망 모델보다 정확도가 높아지게 되므로, 비지도 학습 모델 및 생성 모델에 적용되는 가중치를 점차 높일 수 있다.

이에 따라, 데이터 누적부(250)는 초기 결과 정보에 설정된 정확도와 시각화 정보에 설정된 정확도를 트랜스퍼 러닝부(230)와 비지도 학습부(210) 및 생성 모델 학습부(220) 각각의 실측 데이터 관련 학습 상태에 따라 가중치를 변경할 수 있으며, DB(400)에 누적 저장된 실측 데이터의 현재 개수(현재 합산 용량)가 미리 설정된 제 1 기준치 초과시에는 초기 결과 정보에 설정된 가중치보다 시각화 정보에 설정된 가중치가 더 높은 값을 가지도록 가중치를 변경할 수 있다.

이를 통해, 데이터 누적부(250)는 초기 결과 정보 및 시각화 정보를 통해 가중치가 적용된 최종 정확도(제 1 최종 정확도, 제 2 최종 정확도)를 제공하며, 사용자가 해당 최종 정확도를 기초로 시간이 지나면서 점차 시각화 정보를 기초로 실측 데이터의 오류 여부를 결정하도록 유도할 수 있다.

한편, 본 발명의 실시예에 따른 신경망 기반 센서 이상 감지를 위한 서비스 제공 시스템은 지도 학습부(500)를 더 포함하여 구성될 수 있다.

지도 학습부(500)는 별도의 신경망 모델인 지도 학습 모델을 포함하여 구성될 수 있으며, 지도 학습부(500)에 구성된 지도 학습 모델은 DenseNet으로 구성될 수 있다.

이에 따라, 지도 학습부(500)는 DB(400)에 저장된 라벨링 데이터를 지도 학습부(500)에 포함된 지도 학습 모델에 학습시켜 정상 센서의 데이터 패턴과 비정상 센서의 데이터 패턴을 학습할 수 있으며, 이를 통해 지도 학습부(500)는 데이터 수집부(100)를 통해 특정 센서에 대응되어 수집되는 다수의 시계열 실측 데이터를 데이터 수집부(100)로부터 수신하거나 DB(400)로부터 상기 특정 센서 관련 다수의 시계열 실측 데이터를 추출하여 수신하고, 시계열 실측 데이터를 기반으로 생성한 특정 센서의 데이터 패턴을 미리 학습된 정상 센서 및 비정상 센서 각각의 데이터 패턴 또는 센서의 데이터 패턴과 상호 비교하여 해당 특정 센서의 정상 또는 비정상을 판단하여 특정 센서의 이상 여부에 대한 분석 정보를 제공할 수 있다.

상술한 바와 같이, 본 발명은 센서의 이상 여부를 판단하는 신경망 모델의 정확도를 일정 수준 이상으로 향상시키기 위해 필요한 개수만큼의 라벨링 데이터를 용이하고 신속하게 수집하여 센서의 이상 여부를 판단하는 신경망 모델의 구축 용이성 및 편의성을 보장할 수 있다.

도 12는 본 발명의 실시예에 따른 신경망 기반 센서 이상 감지를 위한 서비스 제공 방법에 대한 순서도이다.

도시된 바와 같이, 데이터 수집부(100)는 하나 이상의 센서와 연결되어 하나 이상의 센서 각각으로부터 센서가 생성한 실측 데이터를 수신하여 수집할 수 있다(S1).

이때, 데이터 수집부(100)는 미리 설정된 조건에 따라 비정상 데이터를 필터링할 수 있으며, 이를 통해 센서가 배치되는 환경이나 데이터 전송 환경에서 발생하는 요인에 의해 발생하는 비정상 데이터를 필터링할 수 있다.

한편, 데이터 분석부(200)는 DB(400)를 포함하여 구성될 수 있으며, 데이터 수집부(100)로부터 수신되는 데이터를 센서별로 해당 DB(400)에 저장할 수 있다.

또한, 데이터 분석부(200)는 센서와 관련하여 DB(400)에 누적 저장된 모든 실측 데이터의 현재 개수(또는 현재 합산 용량)가 미리 설정된 제 1 기준치 이하이고(S2), DB(400)에 누적 저장된 실측 데이터의 오류 여부를 라벨링한 DB(400)에 누적 저장된 모든 라벨링 데이터의 현재 개수(현재 합산 용량)가 미리 설정된 제 2 기준치 이하인 경우 상기 센서와 상이한 종류의 이종 센서로 학습 완료된 유사 신경망 모델을 포함하는 트랜스퍼 러닝부(230)를 통해 상기 데이터 수집부(100)로부터 수신되는 실측 데이터로 상기 유사 신경망 모델을 학습시키고, 상기 유사 신경망 모델을 통해 상기 실측 데이터에 대한 오류 여부 관련 초기 결과 정보를 사용자 인터페이스부(300)에 제공할 수 있다(S3).

또한, 데이터 분석부(200)는 사용자 인터페이스부(300)로부터 초기 결과 정보에 대응되어 수신된 오류 확인 정보에 따라 실측 데이터 대한 라벨링을 수행하여 생성된 라벨링 데이터를 DB(400)에 누적 저장할 수 있다(S4).

또한, 데이터 분석부(200)는 DB(400)에 누적 저장된 모든 라벨링 데이터의 현재 개수(또는 현재 합산 용량)가 미리 설정된 제 2 기준치 이하인 상태에서 DB(400)에 누적 저장된 모든 실측 데이터의 현재 개수(또는 현재 합산 용량)를 확인하여 해당 모든 실측 데이터의 현재 개수(또는 현재 합산 용량)가 미리 설정된 제 1 기준치 이하인 경우 DB(400)에 누적 저장되는 실측 데이터를 상기 데이터 분석부(200)에 포함된 비지도 학습 모델과 생성 모델에 지속적으로 학습시킬 수 있다(S5).

또한, 데이터 분석부(200)는 DB(400)에 누적 저장된 모든 실측 데이터의 현재 개수(현재 합산 용량)가 미리 설정된 제 1 기준치를 초과하는 경우(S2) 상기 데이터 분석부(200)는 데이터 수집부(100)로부터 실측 데이터 수신시마다 실측 데이터의 학습에 따라 센서의 데이터 패턴이 학습된 비지도 학습 모델에 실측 데이터를 적용하거나 DB(400)에 누적 저장된 실측 데이터를 적용하여 상기 데이터 수집부(100)로부터 수신되어 DB(400)에 누적 저장되는 실측 데이터별 오류 여부가 포함된 결과 정보를 비지도 학습 모델을 통해 출력(생성)할 수 있다.

또한, 데이터 분석부(200)는 DB(400)에 저장된 모든 실측 데이터의 현재 개수(현재 합산 용량)가 미리 설정된 제 1 기준치를 초과하는 경우(S2) DB(400)에 누적 저장된 실측 데이터의 학습을 통해 실측 데이터의 데이터 패턴과 유사한 유사 데이터 패턴을 생성하는 생성 모델을 통해 해당 유사 데이터 패턴을 기초로 현재 시점 이후에 출력될 것으로 예상되는 데이터에 대한 인공 데이터(가상 데이터)인 추정 데이터를 생성하여 출력할 수 있다.

이때, 데이터 분석부(200)는 추정 데이터를 생성 모델에 학습시켜 추정 데이터의 시계열 데이터 패턴을 기초로 추정 데이터별 오류 여부가 판정되도록 하고, 해당 생성 모델에서 출력하는 추정 데이터별 오류 여부가 다시 생성 모델에 학습되도록 하여 추정 데이터와 정상 센서에 의해 생성된 실측 데이터 사이의 편차를 감소시킬 수 있으며, 이를 통해 생성 모델을 통해 실측 데이터의 시계열 변화와 추정 데이터의 시계열 변화 사이의 편차를 낮추어 정상 센서에 의해 생성된 실측 데이터에 근접한 추정 데이터가 생성 모델을 통해 지속적으로 산출되도록 할 수 있다.

또한, 데이터 분석부(200)는 DB(400)에 누적 저장된 모든 실측 데이터의 현재 개수(현재 합산 용량)가 미리 설정된 제 1 기준치 초과시에도 데이터 수집부(100)로부터 수신되는 실측 데이터를 비지도 학습 모델 및 생성 모델에 지속적으로 학습시킬 수 있다(S6).

또한, 데이터 분석부(200)는 상기 결과 정보 및 비교 정보를 기초로 상기 센서 관련 유사 데이터 패턴이 학습된 생성 모델이 제공하는 추정 데이터와 상기 실측 데이터 사이의 편차 및 상기 실측 데이터별 오류 여부를 통해 실측 데이터별 오류 확인이 가능한 시각화 정보를 생성할 수 있다(S7).

또한, 시각화 정보는 그래픽 정보로 구성될 수 있다.

즉, 데이터 분석부(200)는 비지도 학습 모델을 통해 실측 데이터의 시계열적 데이터 패턴과 미리 설정된 기준치(또는 제 3 기준치) 이상의 오차를 나타내는 실측 데이터에 대한 오류 여부를 사용자에게 시각화 정보를 통해 제공함과 아울러 생성 모델을 통해 해당 실측 데이터의 데이터 패턴과 유사 데이터 패턴을 학습하여 추후 예상되는 정상 센서의 데이터 변화에 대한 시계열 추정 데이터를 출력하여 시점별로 실측 데이터가 이러한 생성 모델을 통해 출력되는 추정 데이터와의 편차 정도를 사용자가 확인할 수 있도록 해당 시각화 정보를 통해 제공할 수 있다.

상술한 구성에서, 데이터 분석부(200)는 DB(400)에 누적 저장된 모든 실측 데이터의 현재 개수(또는 현재 합산 용량)가 미리 설정된 제 1 기준치 이하인 경우 실측 데이터를 비지도 학습 모델과 생성 모델에 학습시킬 수 있으며, 상기 모든 실측 데이터의 현재 개수(또는 현재 합산 용량)가 미리 설정된 제 1 기준치를 초과하는 경우 상기 시각화 정보를 생성하여 사용자 인터페이스부(300)에 제공할 수 있다.

또한, 데이터 분석부(200)는 DB(400)에 누적 저장된 실측 데이터의 현재 개수(현재 합산 용량)가 미리 설정된 제 1 기준치를 초과한 경우에도 트랜스퍼 러닝부(230)를 통해 생성되는 초기 결과 정보를 사용자 인터페이스부(300)에 시각화 정보와 함께 제공할 수 있다.

한편, 사용자 인터페이스부(300)는 데이터 분석부(200)로부터 제공되는 시각화 정보를 표시할 수 있으며, 사용자 입력을 기초로 시각화 정보에 포함된 실측 데이터들 중에서 사용자에 의해 오류로 판정된 실측 데이터인 하나 이상의 오류 데이터 관련 오류 확인 정보를 생성하여 데이터 분석부(200)에 제공할 수 있다.

이에 따라, 데이터 분석부(200)는 오류 확인 정보를 기초로 오류 데이터에 대응되는 실측 데이터를 오류 데이터로 라벨링하여 라벨링 데이터를 생성할 수 있으며, 해당 라벨링 데이터를 DB(400)에 누적 저장할 수 있다(S8).

이때, 데이터 분석부(200)는 실측 데이터에 오류 확인 정보에 따른 오류 여부에 대한 라벨링 관련 라벨링 정보를 포함시켜 라벨링 정보를 포함하는 실측 데이터를 라벨링 데이터로 DB(400)에 저장하거나, 특정 실측 데이터의 오류 여부를 라벨링하기 위한 라벨링 식별 데이터를 해당 특정 실측 데이터와 별도로 생성한 후 상기 특정 실측 데이터와 매칭하여 한 쌍으로 DB(400)에 저장할 수도 있다.

한편, 지도 학습부(500)는 DB(400)에 누적 저장된 모든 라벨링 데이터의 현재 개수(현재 합산 용량)를 확인할 수 있으며, 상기 모든 라벨링 데이터의 현재 개수(현재 합산 용량)가 미리 설정된 제 2 기준치를 초과하는 경우(S9) 지도 학습부(500)에 포함된 지도 학습 모델에 DB(400)에 누적 저장된 라벨링 데이터를 학습시켜 센서의 데이터 패턴이 지도 학습 모델에 학습되도록 할 수 있다(S10).

또한, 지도 학습부(500)는 데이터 수집부(100)로부터 복수의 센서별 시계열 실측 데이터를 수신하거나 DB(400)로부터 복수의 센서별 시계열 실측 데이터를 추출하여 수신할 수 있으며, 센서별로 수신되는 복수의 실측 데이터를 지도 학습 모델에 적용하여 지도 학습 모델을 통해 센서별로 이상 여부에 대한 분석 정보를 제공할 수 있다(S11).

이때, 지도 학습부(500)는 사용자 인터페이스부(300)와 통신 연결되어 사용자 인터페이스부(300)를 통해 해당 분석 정보를 제공할 수 있다.

상술한 바와 같이, 본 발명은 센서의 이상 감지를 위한 신경망 기반 지도 학습 모델의 학습에 필요한 센서의 데이터에 대한 오류 여부가 라벨링된 라벨링 데이터가 부족한 상태에서 센서의 실측 데이터를 복수의 신경망 모델에 비지도 학습 방식으로 학습시켜 센서의 실측 데이터별로 오류 여부에 대한 결과와 오류 판정 이유에 대한 근거를 포함하는 시각화 정보를 사용자에게 제공하여 사용자가 이상이 발생한 센서를 객관적으로 명확하게 구분할 수 있도록 지원함과 아울러 이러한 시각화 정보를 통해 사용자 입력에 따라 센서의 오류 여부 관련되어 신뢰성 있는 라벨링된 데이터의 수를 신속하게 증가시켜 이상 발생 센서의 검출을 위한 지도 학습 모델을 학습시키는데 필요한 라벨링 데이터를 신속하고 용이하게 확보할 수 있도록 지원함으로써, 해당 지도 학습 모델의 구축에 필요한 시간을 단축함과 아울러 라벨링 데이터의 지도 학습 모델에 대한 학습을 통해 센서 관리에 대한 편의성 및 신뢰도를 높일 수 있다.

즉, 본 발명은 센서의 교체가 이루어지거나 센서의 최초 동작 시점부터 경과된 시간이 오래 되지 않아 센서로부터 제공된 실측 데이터에 대한 오류 여부가 라벨링된 라벨링 데이터가 충분히 수집되지 않은 상태여서 센서의 비정상 여부를 판정하기 위한 신경망 기반 지도 학습 모델을 학습시키 어려운 상황에서 초기에 해당 센서와 상이한 종류의 이종 센서와 관련된 다수의 라벨링 데이터가 미리 학습된 유사 신경망 모델에 센서의 실측 데이터를 학습시켜 해당 유사 신경망 모델을 통해 센서의 실측 데이터별로 오류 여부에 대한 일정 수준 이상의 정확도를 보장하는 결과를 제공함과 아울러 센서의 실측 데이터를 복수의 신경망에 학습시켜 센서의 실측 데이터별로 오류 여부에 대한 결과와 오류 판정 이유에 대한 근거를 포함하는 시각화 정보가 제공되도록 하여 실측 데이터에 대한 신속한 오류 여부 관련 라벨링을 통해 객관적 신뢰성이 있는 라벨링 데이터를 용이하고 신속하게 수집함으로써 지도 학습 모델의 센서 이상 여부 판단에 필요한 다수의 라벨링 데이터를 확보할 수 있도록 지원하고, 이를 통해 해당 라벨링 데이터를 기반으로 센서의 비정상 여부를 판단하는 지도 학습 모델을 학습시켜 지도 학습 모델의 비정상 센서에 대한 검출 정확도를 높일 수 있도록 지원함으로써 비정상 센서를 구분하기 위한 신경망 기반 지도 학습 모델을 신속하게 구축할 수 있도록 지원함과 아울러 이러한 지도 학습 모델을 통해 비정상 센서의 검출에 대한 편의성 및 정확도를 높일 수 있다.

한편, 상술한 구성에서 사용자 인터페이스부(300)가 사용자 단말로서 구성되는 경우 해당 사용자 단말은 입력부(330), 통신부, 저장부, 표시부, 음성 출력부 및 제어부로 구성된다. 사용자 단말의 구성 요소 모두가 필수 구성 요소인 것은 아니며, 사용자 단말의 구성 요소보다 많은 구성 요소에 의해 사용자 단말이 구현될 수도 있고, 그보다 적은 구성 요소에 의해서도 사용자 단말이 구현될 수도 있다.

이때, 표시부는 디스플레이부(310)로 구성될 수 있으며, 제어부는 인터페이스 제어부(320)로 구성될 수 있다.

통신부는 유/무선 통신망을 통해 내부의 임의의 구성 요소 또는 외부의 임의의 적어도 하나의 단말기와 통신 연결한다. 이때, 외부의 임의의 단말기는 데이터 분석부(200) 등을 포함할 수 있다. 여기서, 무선 인터넷 기술로는 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS) 등이 있으며, 통신부는 상기에서 나열되지 않은 인터넷 기술까지 포함한 범위에서 적어도 하나의 무선 인터넷 기술에 따라 데이터를 송수신하게 된다. 또한, 근거리 통신 기술로는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication: NFC), 초음파 통신(Ultra Sound Communication: USC), 가시광 통신(Visible Light Communication: VLC), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct) 등이 포함될 수 있다. 또한, 유선 통신 기술로는 유선 LAN(Local Area Network), 유선 WAN(Wide Area Network), 전력선 통신(Power Line Communication: PLC), USB 통신, 이더넷(Ethernet), 시리얼 통신(serial communication), 광/동축 케이블 등이 포함될 수 있다.

또한, 통신부는 유니버설 시리얼 버스(Universal Serial Bus: USB)를 통해 임의의 단말과 정보를 상호 전송할 수 있다.

또한, 통신부는 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등), 5G 이동통신 서비스 등에 따라 구축된 이동 통신망 상에서 외부 장치와 무선 신호를 송수신한다.

또한, 통신부는 제어부의 제어에 의해, 데이터 분석부(200)로부터 전송되는 각종 정보를 수신한다.

저장부는 다양한 사용자 인터페이스(User Interface: UI), 그래픽 사용자 인터페이스(Graphic User Interface: GUI) 등을 저장한다.

또한, 저장부는 사용자 단말이 동작하는데 필요한 데이터와 프로그램 등을 저장한다.

즉, 저장부는 사용자 단말에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션), 사용자 단말의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는 무선 통신을 통해 외부 서비스 제공 장치로부터 다운로드 될 수 있다. 또한, 이러한 응용 프로그램 중 적어도 일부는 사용자 단말의 기본적인 기능(예를 들어, 전화 착신, 발신 기능, 메시지 수신, 발신 기능)을 위하여 출고 당시부터 사용자 단말 상에 존재할 수 있다. 한편, 응용 프로그램은 저장부에 저장되고, 사용자 단말에 설치되어, 제어부에 의하여 사용자 단말의 동작(또는 기능)을 수행하도록 구동될 수 있다.

또한, 저장부는 플래시 메모리 타입(Flash Memory Type), 하드 디스크 타입(Hard Disk Type), 멀티미디어 카드 마이크로 타입(Multimedia Card Micro Type), 카드 타입의 메모리(예를 들면, SD 또는 XD 메모리 등), 자기 메모리, 자기 디스크, 광디스크, 램(Random Access Memory: RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory: ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 중 적어도 하나의 저장매체를 포함할 수 있다. 또한, 사용자 단말은 인터넷(internet)상에서 저장부의 저장 기능을 수행하는 웹 스토리지(web storage)를 운영하거나, 또는 웹 스토리지와 관련되어 동작할 수도 있다.

또한, 저장부는 제어부의 제어에 의해 통신부를 통해 수신된 해당 인터페이스 관련 정보, 웹 페이지 관련 정보, 컨텐츠 또는 결제 정보를 저장할 수 있다.

표시부는 제어부의 제어에 의해 저장부에 저장된 사용자 인터페이스 및/또는 그래픽 사용자 인터페이스를 이용하여 다양한 메뉴 화면 등과 같은 다양한 콘텐츠를 표시할 수 있다. 여기서, 표시부에 표시되는 콘텐츠는 다양한 텍스트 또는 이미지 데이터(각종 정보 데이터 포함)와 아이콘, 리스트 메뉴, 콤보 박스 등의 데이터를 포함하는 메뉴 화면 등을 포함한다. 또한, 표시부는 터치 스크린 일 수 있다.

또한, 표시부는 액정 디스플레이(Liquid Crystal Display: LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display: TFT LCD), 유기 발광 다이오드(Organic Light-Emitting Diode: OLED), 플렉시블 디스플레이(Flexible Display), 3차원 디스플레이(3D Display), 전자잉크 디스플레이(e-ink display), LED(Light Emitting Diode) 중에서 적어도 하나를 포함할 수 있다.

또한, 표시부는 입체영상을 표시하는 입체 디스플레이부(310)로서 구성될 수 있다.

입체 디스플레이부(310)에는 스테레오스코픽 방식(안경 방식), 오토 스테레오스코픽 방식(무안경 방식), 프로젝션 방식(홀로그래픽 방식) 등의 3차원 디스플레이 방식이 적용될 수 있다.

음성 출력부는 제어부에 의해 소정 신호 처리된 신호에 포함된 음성 정보를 출력한다. 여기서, 음성 출력부에는 리시버(receiver), 스피커(speaker), 버저(buzzer) 등이 포함될 수 있다.

또한, 음성 출력부는 제어부에 의해 생성된 안내 음성을 출력한다.

또한, 음성 출력부는 제어부의 제어에 의해 통신부를 통해 수신된 정보에 대응하는 음성 정보를 출력할 수 있다.

제어부는 사용자 단말의 전반적인 제어 기능을 실행한다.

또한, 제어부는 저장부에 저장된 프로그램 및 데이터를 이용하여 사용자 단말의 전반적인 제어 기능을 실행한다. 제어부는 RAM, ROM, CPU, GPU, 버스를 포함할 수 있으며, RAM, ROM, CPU, GPU 등은 버스를 통해 서로 연결될 수 있다. CPU는 저장부에 액세스하여, 저장부에 저장된 O/S를 이용하여 부팅을 수행할 수 있으며, 저장부에 저장된 각종 프로그램, 콘텐츠, 데이터 등을 이용하여 다양한 동작을 수행할 수 있다.

또한, 사용자 단말은 해당 사용자 단말에 연결되는 모든 외부기기와의 인터페이스 역할을 수행하는 인터페이스부를 더 포함할 수도 있다. 예를 들면, 인터페이스부는 유/무선 헤드셋 포트(Headset Port), 외부 충전기 포트, 유/무선 데이터 포트, 메모리 카드(Memory Card) 포트, 식별 모듈이 구비된 장치를 연결하는 포트, 오디오 I/O(Input/Output) 포트, 비디오 I/O(Input/Output) 포트, 이어폰 포트 등으로 구성될 수 있다. 여기서, 식별 모듈은 사용자 단말의 사용 권한을 인증하기 위한 각종 정보를 저장한 칩으로서, 사용자 인증 모듈(User Identity Module: UIM), 가입자 인증 모듈(Subscriber Identity Module: SIM), 범용 사용자 인증 모듈(Universal Subscriber Identity Module: USIM) 등을 포함할 수 있다. 또한, 식별 모듈이 구비된 장치는 스마트 카드(Smart Card) 형식으로 제작될 수 있다. 따라서, 식별 모듈은 포트를 통하여 사용자 단말과 연결될 수 있다. 이와 같은 인터페이스부는 외부 기기로부터 데이터를 수신하거나 전원을 수신하여 사용자 단말 내부의 각 구성 요소에 전달하거나 사용자 단말 내부의 데이터가 외부 기기로 전송되도록 한다.

또한, 인터페이스부는 사용자 단말이 외부 크래들(Cradle)과 연결될 때 크래들로부터의 전원이 해당 사용자 단말에 공급되는 통로가 되거나, 사용자에 의해 크래들에서 입력되는 각종 명령 신호가 해당 사용자 단말로 전달되는 통로가 될 수 있다. 크래들로부터 입력되는 각종 명령 신호 또는 해당 전원은 사용자 단말이 크래들에 정확히 장착되었음을 인지하기 위한 신호로 동작될 수도 있다.

또한, 사용자 단말은 사용자에 의한 버튼 조작 또는 임의의 기능 선택에 따른 신호를 수신하거나, 디스플레이되는 화면을 터치/스크롤하는 등의 조작에 의해 생성된 명령 또는 제어 신호를 수신하기 위한 입력부(330)를 더 포함할 수도 있다.

입력부(330)는 사용자의 명령, 선택, 데이터, 정보 중에서 적어도 하나를 입력 받기 위한 수단으로서, 숫자 또는 문자 정보를 입력 받고 다양한 기능을 설정하기 위한 다수의 입력키 및 기능키를 포함할 수 있다.

또한, 입력부(330)는 키 패드(Key Pad), 돔 스위치 (Dome Switch), 터치 패드(정압/정전), 터치 스크린(Touch Screen), 조그 휠, 조그 스위치, 조그 셔틀(Jog Shuttle), 마우스(mouse), 스타일러스 펜(Stylus Pen), 터치 펜(Touch Pen) 등의 다양한 장치가 사용될 수 있다. 특히, 표시부가 터치스크린 형태로 형성된 경우, 입력의 기능 중 일부 또는 전부는 표시부를 통해 수행될 수 있다.

또한, 사용자 단말의 각각의 구성부(또는 모듈)는 사용자 단말의 메모리(또는 저장부) 상에 저장되는 소프트웨어일 수 있다. 메모리는 사용자 단말의 내부 메모리 일 수 있으며, 외장형 메모리 또는 다른 형태의 저장 장치일 수 있다. 또한, 메모리는 비휘발성 메모리일 수 있다. 메모리 상에 저장되는 소프트웨어는 실행 시 사용자 단말로 하여금 특정 동작을 수행하도록 하는 명령어 세트를 포함할 수 있다.

이상에서 설명된 사용자 단말, 데이터 수집부(100), 데이터 분석부(200), 사용자 인터페이스부(300), 지도 학습부(500), 서비스 제공 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다.

또한, 실시예들에서 설명된 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다.

상술한 실시예에서 설명한 본 발명의 실시예에 따른 신경망 기반 센서 이상 감지를 위한 서비스 제공 방법은 컴퓨터 프로그램으로 작성 가능하며, 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 해당 컴퓨터 프로그램은 컴퓨터가 브라우저와 어플리케이션 상호 간 사용자 매칭을 위한 서비스 제공 방법을 수행하도록 기능시키기 위한 프로그램(컴퓨터 프로그램)이 기록된 컴퓨터로 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터나 본 발명의 실시예에 따른 사용자 단말, 데이터 수집부(100), 데이터 분석부(200), 사용자 인터페이스부(300), 지도 학습부(500), 서비스 제공 장치 등에 의하여 읽혀지고 실행됨으로써 신경망 기반 센서 이상 감지를 위한 서비스 제공 방법을 구현할 수 있다.

정보저장매체는 자기 기록매체, 광 기록매체를 포함한다. 본 발명의 실시예에 따른 신경망 기반 센서 이상 감지를 위한 서비스 제공 방법을 구현하는 컴퓨터 프로그램은 사용자 단말, 데이터 수집부(100), 데이터 분석부(200), 사용자 인터페이스부(300), 지도 학습부(500), 서비스 제공 장치의 내장 메모리에 저장 및 설치될 수 있다. 또는, 본 발명의 실시예에 따른 신경망 기반 센서 이상 감지를 위한 서비스 제공 방법을 구현하는 컴퓨터 프로그램을 저장 및 설치한 스마트 카드 등의 외장 메모리가 인터페이스를 통해 사용자 단말, 데이터 수집부(100), 데이터 분석부(200), 사용자 인터페이스부(300), 지도 학습부(500), 서비스 제공 장치 등에 장착될 수도 있다.

본 명세서에 기술된 다양한 장치 및 구성부는 하드웨어 회로(예를 들어, CMOS 기반 로직 회로), 펌웨어, 소프트웨어 또는 이들의 조합에 의해 구현될 수 있다. 예를 들어, 다양한 전기적 구조의 형태로 트랜지스터, 로직게이트 및 전자회로를 활용하여 구현될 수 있다.

전술된 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100: 데이터 수집부 110: QC부
120: 클러스터링부 200: 데이터 분석부
210: 비지도 학습부 220: 생성 모델 학습부
230: 트랜스퍼 러닝부 240: 룰 모델 분석부
250: 데이터 누적부 260: 라벨 데이터 생성부
300: 사용자 인터페이스부 310: 디스플레이부
320: 인터페이스 제어부 330: 입력부
400: DB 500: 지도 학습부

Claims

데이터 수집부가 센서로부터 실측 데이터를 수집하고, 수집된 실측 데이터 중 미리 설정된 조건에 따라 비정상 데이터를 필터링하여 제외하는 수집 단계;
상기 데이터 수집부에 의해 수집된 실측 데이터의 개수가 미리 설정된 기준치 이하인 경우 데이터 분석부가 상기 센서와 상이한 종류의 이종 센서로 학습 완료된 유사 신경망 모델을 포함하는 트랜스퍼 러닝부를 통해 상기 데이터 수집부로부터 수신되는 실측 데이터로 상기 유사 신경망 모델을 학습시키고, 상기 유사 신경망 모델을 통해 상기 실측 데이터에 대한 오류 여부 관련 초기 결과 정보를 제공하고, 상기 초기 결과 정보를 표시하며 사용자 입력을 수신하는 상기 사용자 인터페이스부를 통한 오류 확인 정보에 따라 상기 실측 데이터 대한 라벨링을 수행하여 생성된 라벨링 데이터를 저장하는 초기 단계; 및
신경망으로 구성된 비지도 학습 모델 및 생성 모델을 포함하는 상기 데이터 분석부가 상기 초기 단계에서 상기 실측 데이터를 상기 비지도 학습 모델 및 생성 모델에 학습시키고, 상기 실측 데이터의 개수가 미리 설정된 기준치를 초과하는 경우 상기 비지도 학습 모델을 통해 생성된 상기 실측 데이터별 오류 여부와 상기 센서 관련 유사 데이터 패턴이 학습된 생성 모델이 제공하는 추정 데이터와 상기 실측 데이터 사이의 편차를 통해 실측 데이터별 오류 확인이 가능한 시각화 정보를 제공하여 상기 시각화 정보를 수신하여 표시하는 상기 사용자 인터페이스부를 통한 상기 오류 확인 정보에 따라 상기 실측 데이터에 대한 라벨링을 수행하는 적재 단계를 포함하는 신경망 기반 센서 이상 감지를 위한 서비스 제공 방법.
제 1항에 있어서,
상기 비지도 학습 모델은 LSTM이며, 상기 생성 모델은 GAN, AnoGAN 또는 VAE인 것을 특징으로 하는 신경망 기반 센서 이상 감지를 위한 서비스 제공 방법.
제 1항에 있어서,
상기 수집 단계는 상기 데이터 수집부가 데이터 클러스터링을 통해 생성된 군집을 기준으로 비정상 데이터를 필터링하는 클러스터링 검사, 물리 한계 검사, 단계 검사, 지속성 검사 및 중앙값 필터 검사 중 적어도 하나를 통해 상기 센서로부터 수신되는 실측 데이터 중 비정상 데이터를 필터링하는 것을 특징으로 하는 신경망 기반 센서 이상 감지를 위한 서비스 제공 방법.
제 3항에 있어서,
상기 수집 단계는 상기 데이터 수집부가 상기 비정상 데이터 관련 필터링 정보를 생성하여 제공하는 단계; 및
상기 적재 단계는 상기 데이터 분석부가 상기 데이터 수집부로부터 제공되는 필터링 정보를 상기 시각화 정보에 포함시켜 제공하는 단계를 더 포함하는 것을 특징으로 하는 신경망 기반 센서 이상 감지를 위한 서비스 제공 방법.
제 1항에 있어서,
상기 적재 단계는 상기 데이터 분석부가 상기 생성 모델에 상기 실측 데이터를 학습시켜 상기 센서의 데이터 패턴과 유사한 데이터 패턴을 생성하도록 하고, 상기 생성 모델을 통해 상기 추정 데이터에 대한 오류 판정을 수행하여 상기 오류 판정에 근거하여 상기 유사 데이터 패턴을 가변하면서 정상 상태의 센서에 대한 유사 데이터 패턴을 생성하도록 상기 생성 모델을 학습시키는 것을 특징으로 하는 신경망 기반 센서 이상 감지를 위한 서비스 제공 방법.
제 1항에 있어서,
상기 초기 단계 및 적재 단계는 상기 데이터 수집부에 의해 누적 저장된 실측 데이터를 대상으로 상기 데이터 분석부가 상기 오류 확인 정보를 기초로 오류로 확인된 실측 데이터를 오류 데이터로 라벨링하여 저장하고, 상기 오류 데이터 이외의 상기 실측 데이터를 정상 데이터로 라벨링하여 저장하는 단계를 더 포함하는 것을 특징으로 하는 신경망 기반 센서 이상 감지를 위한 서비스 제공 방법.
제 1항에 있어서,
신경망 모델인 지도 학습 모델이 구성된 지도 학습부가 상기 오류 데이터 및 정상 데이터 중 어느 하나로 라벨링된 실측 데이터를 포함하는 라벨링 데이터를 상기 지도 학습 모델을 통해 학습하여 상기 센서의 이상 여부에 대한 분석 정보를 제공하는 단계를 더 포함하는 것을 특징으로 하는 신경망 기반 센서 이상 감지를 위한 서비스 제공 방법.
제 7항에 있어서,
상기 지도 학습부에 구성된 지도 학습 모델은 덴스넷(DenseNet)인 것을 특징으로 하는 신경망 기반 센서 이상 감지를 위한 서비스 제공 방법.
제 1항에 있어서,
상기 적재 단계는
상기 데이터 분석부가 상기 초기 결과 정보를 상기 시각화 정보와 함께 제공하는 단계; 및
상기 데이터 분석부가 상기 유사 신경망 모델과 비지도 학습 모델 및 생성 모델에 각각 학습되는 실측 데이터의 개수에 따라 유사 신경망 모델과 비지도 학습 모델 및 생성 모델의 학습 상태를 산출하고, 해당 학습 상태에 따라 유사 신경망 모델이 포함된 트랜스퍼 러닝부에서 제공되는 초기 결과 정보와 비지도 학습 모델 및 생성 모델에 의해 생성되는 시각화 정보 각각에 포함된 실측 데이터별 오류 여부에 대한 정확도와 관련하여 가중치를 서로 상이하게 가변 설정하면서 상기 설정된 가중치에 따라 상기 정확도가 변경된 초기 결과 정보 및 시각화 정보를 사용자 인터페이스부에 제공하는 단계를 더 포함하는 것을 특징으로 하는 신경망 기반 센서 이상 감지를 위한 서비스 제공 방법.
제 1항에 있어서,
상기 적재 단계는 상기 데이터 분석부가 상기 데이터 수집부에 의해 DB에 저장된 실측 데이터를 기초로 특정 센서의 측정 장소의 공간 정보를 이용하여 상기 특정 센서와 가장 인접한 타 센서로부터 수집된 데이터와 상기 특정 센서에서 수집된 데이터 사이의 편차와 상관관계를 분석하는 공간분석 및 상기 특정 센서에 대응되어 시간대별 데이터 변화와 단위 시간당 데이터 변화를 산출하는 변동 분석 중 적어도 하나를 수행하여 상기 특정 센서가 비정상 센서로 검출되면 상기 특정 센서에 대한 이상 감지 정보를 생성한 후 상기 시각화 정보에 포함시키는 단계를 더 포함하는 것을 특징으로 하는 신경망 기반 센서 이상 감지를 위한 서비스 제공 방법.
서비스 제공 장치의 서비스 제공 방법에 있어서,
서비스 제공 장치가 센서로부터 실측 데이터를 수집하고, 미리 설정된 조건에 따른 오류 데이터를 필터링하는 단계;
상기 수집된 실측 데이터의 개수가 미리 설정된 기준치 이하인 경우 서비스 제공 장치가 상기 센서와 상이한 종류의 이종 센서로 학습 완료된 유사 신경망 모델을 포함하는 트랜스퍼 러닝부를 통해 상기 실측 데이터로 상기 유사 신경망 모델을 학습시키고, 상기 유사 신경망 모델을 통해 상기 실측 데이터에 대한 오류 여부 관련 초기 결과 정보를 생성하여 사용자 입력을 수신하는 상기 사용자 인터페이스부를 통해 표시되도록 제공하고, 상기 사용자 인터페이스부를 통해 수신된 오류 확인 정보에 따라 상기 실측 데이터 대한 라벨링을 수행하여 생성된 라벨링 데이터를 저장하는 단계; 및
신경망으로 구성된 비지도 학습 모델 및 생성 모델을 포함하는 상기 서비스 제공 장치가 상기 실측 데이터를 상기 비지도 학습 모델 및 생성 모델에 학습시키고, 상기 실측 데이터의 개수가 미리 설정된 기준치를 초과하는 경우 상기 비지도 학습 모델을 통해 생성된 상기 실측 데이터별 오류 여부와 상기 센서 관련 유사 데이터 패턴이 학습된 생성 모델이 제공하는 추정 데이터와 상기 실측 데이터 사이의 편차를 통해 실측 데이터별 오류 확인이 가능한 시각화 정보를 제공하여 상기 시각화 정보를 수신하여 표시하는 상기 사용자 인터페이스부를 통한 상기 오류 확인 정보에 따라 상기 실측 데이터에 대한 라벨링을 수행하는 단계를 포함하는 신경망 기반 센서 이상 감지를 위한 서비스 제공 방법.
제 1항 및 제 11항 중 어느 한 항에 따른 방법을 수행하도록 컴퓨터를 기능시키기 위한 컴퓨터 프로그램이 기록된 컴퓨터로 읽을 수 있는 비휘발성 기록매체.
센서로부터 데이터를 수집하고, 미리 설정된 조건에 따라 오류 데이터를 필터링하는 데이터 수집부; 및
상기 데이터 수집부에 의해 수집된 실측 데이터의 개수가 미리 설정된 기준치 이하인 경우 상기 센서와 상이한 종류의 이종 센서로 학습 완료된 유사 신경망 모델을 포함하는 트랜스퍼 러닝부를 통해 상기 데이터 수집부로부터 수신되는 실측 데이터로 상기 유사 신경망 모델을 학습시키고, 상기 유사 신경망 모델을 통해 상기 실측 데이터에 대한 오류 여부 관련 초기 결과 정보를 제공하고, 상기 초기 결과 정보를 표시하며 사용자 입력을 수신하는 상기 사용자 인터페이스부를 통한 오류 확인 정보에 따라 상기 실측 데이터 대한 라벨링을 수행하여 생성된 라벨링 데이터를 저장하며, 상기 실측 데이터를 신경망으로 구성된 비지도 학습 모델 및 생성 모델에 학습시키고, 상기 실측 데이터의 개수가 미리 설정된 기준치를 초과하는 경우 상기 비지도 학습 모델을 통해 생성된 상기 실측 데이터별 오류 여부와 상기 센서 관련 유사 데이터 패턴이 학습된 생성 모델이 제공하는 추정 데이터와 상기 실측 데이터 사이의 편차를 통해 실측 데이터별 오류 확인이 가능한 시각화 정보를 제공하여 상기 시각화 정보를 수신하여 표시하는 상기 사용자 인터페이스부를 통한 상기 오류 확인 정보에 따라 상기 실측 데이터에 대한 라벨링을 수행하는 데이터 분석부를 포함하는 신경망 기반 센서 이상 감지를 위한 서비스 제공 시스템.