KR20230031117A - 계산 비용을 최소화하기 위한 인공신경망 기반의 이상 탐지를 위한 장치 및 이를 위한 방법 - Google Patents

계산 비용을 최소화하기 위한 인공신경망 기반의 이상 탐지를 위한 장치 및 이를 위한 방법 Download PDF

Info

Publication number
KR20230031117A
KR20230031117A KR1020220015788A KR20220015788A KR20230031117A KR 20230031117 A KR20230031117 A KR 20230031117A KR 1020220015788 A KR1020220015788 A KR 1020220015788A KR 20220015788 A KR20220015788 A KR 20220015788A KR 20230031117 A KR20230031117 A KR 20230031117A
Authority
KR
South Korea
Prior art keywords
input data
learning
data
detection model
unit
Prior art date
Application number
KR1020220015788A
Other languages
English (en)
Inventor
박영현
김명진
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Priority to US17/894,641 priority Critical patent/US20230065385A1/en
Publication of KR20230031117A publication Critical patent/KR20230031117A/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

본 발명의 이상 탐지를 위한 방법은 탐지부가 탐지모델에 입력 데이터를 입력하는 단계와, 탐지모델이 상기 입력 데이터의 차원을 유지하면서 상기 입력 데이터에 대한 연산을 수행하여 상기 입력 데이터를 모사하는 복원 데이터를 산출하는 단계와, 탐지부가 상기 입력 데이터와 상기 복원 데이터와의 차이를 나타내는 검증 오차를 산출하는 단계와, 상기 탐지부가 상기 검증오차가 미리 도출된 기준치 이상이면, 상기 입력 데이터에 대응하여 이상을 탐지하는 단계를 포함한다.

Description

계산 비용을 최소화하기 위한 인공신경망 기반의 이상 탐지를 위한 장치 및 이를 위한 방법{Apparatus for anomaly detection based on artificial neural network to minimize computational cost and method therefor}
본 발명은 이상 탐지 기술에 관한 것으로, 더욱 상세하게는, 계산 비용을 최소화하기 위한 인공신경망 기반의 이상 탐지를 위한 장치 및 이를 위한 방법 에 관한 것이다.
최근 인공신경망을 도입, 이상 탐지를 자동화하여 사람의 피로를 최소화 하려는 노력이 있다. 자동화에 있어 단일 모니터링 장비, 즉, 고성능 판별 장치로 다수 대상에 대한 이상 탐지를 수행 하도록 시스템을 구성 할 수 있다. 하지만 이 경우, 고성능 판별 장치에 오류가 발생하면, 연결된 모든 모니터링 대상의 상태를 확인 할 수 없게 된다.
전술한 문제를 완화하기 위한 방법으로 엣지 디바이스의 도입을 고려 할 수 있다. 엣지 디바이스, 즉, 엣지 판별 장치 각각의 모니터링 대상에 대해 1 대 1 대응 설치한다면 특정 엣지 판별 장치에 오류가 발생한 상황에서도 다른 엣지 판별 장치에 연결된 장치들의 상태는 문제 없이 모니터링 할 수 있다. 더욱이 상기 고성능 판별 장치를 하나 설치 할 비용으로 더 많은 수량의 엣지 판별 장치를 설치 할 수 있다는 비용 효율도 얻을 수 있다. 다만, 엣지 판별 장치의 경우 전력 및 컴퓨팅 자원의 제한으로 고수준의 복잡한 연산을 수행하기 어려울 수 있어 인공신경망을 도입하려면 해당 신경망의 복잡도를 최대한 낮추어야 한다.
한국공개특허 제2021-0065276호 (2021년06월04일 공개)
본 발명의 목적은 엣지 컴퓨팅 목적의 또는 고효율 인공신경망을 필요로 하는 이상 탐지 시, 계산 비용을 최소화 할 수 있는 장치 및 방법을 제공함에 있다.
본 발명의 이상 탐지를 위한 방법은 탐지부가 탐지모델에 입력 데이터를 입력하는 단계와, 탐지모델이 상기 입력 데이터의 차원을 유지하면서 상기 입력 데이터에 대한 연산을 수행하여 상기 입력 데이터를 모사하는 복원 데이터를 산출하는 단계와, 탐지부가 상기 입력 데이터와 상기 복원 데이터와의 차이를 나타내는 검증 오차를 산출하는 단계와, 상기 탐지부가 상기 검증오차가 미리 도출된 기준치 이상이면, 상기 입력 데이터에 대응하여 이상을 탐지하는 단계를 포함한다.
상기 복원 데이터를 산출하는 단계는 상기 탐지모델의 복수의 계층 각각이 입력되는 데이터의 차원을 유지하면서 연산을 수행하여 출력되는 데이터를 산출함으로써, 상기 입력 데이터와 값의 차이가 있지만 동일한 차원을 가지는 상기 복원 데이터를 산출하는 것을 특징으로 한다.
상기 방법은 상기 입력 데이터를 입력하는 단계 전, 학습부가 학습용 입력 데이터를 마련하는 단계와, 상기 학습부가 학습용 입력 데이터를 학습이 완료되지 않은 검출모델에 입력하는 단계와, 상기 검출모델이 상기 학습용 입력 데이터에 대한 연산을 수행하여 상기 입력 데이터의 차원을 유지하면서 상기 입력 데이터를 모사하는 학습용 복원 데이터를 산출하는 단계와, 상기 학습부가 상기 학습용 입력 데이터와 학습용 복원 데이터의 차이인 복원 손실을 산출하는 단계와, 상기 학습부가 상기 복원 손실이 최소가 되도록 상기 검출모델의 가중치를 갱신하는 최적화를 수행하는 단계를 더 포함한다.
상기 방법은 상기 입력 데이터를 입력하는 단계 전, 학습부가 학습용 입력 데이터를 마련하는 단계와, 상기 학습부가 학습용 입력 데이터를 학습이 완료되지 않은 검출모델에 입력하는 단계와, 상기 검출모델의 트랜지스터가 상기 학습용 입력 데이터에 대한 연산을 수행하여 상기 입력 데이터의 차원을 유지하면서 상기 입력 데이터를 모사하는 학습용 복원 데이터를 산출하는 단계와, 상기 검출모델의 판별자가 상기 학습용 입력 데이터 및 상기 학습용 복원 데이터에 대한 연산을 수행하여 상기 학습용 입력 데이터 및 상기 학습용 복원 데이터 각각이 진짜일 확률과 가짜일 확률을 나타내는 판별값을 산출하는 단계와, 상기 학습부가 상기 학습용 입력 데이터 및 상기 학습용 복원 데이터에 대한 판별값의 차이인 적대적 손실을 산출하는 단계와, 상기 학습부가 상기 적대적 손실이 최소가 되도록 상기 검출모델의 가중치를 갱신하는 최적화를 수행하는 단계를 더 포함한다.
상기 방법은 상기 학습부가 수학식 θ=μ+(k×σ)에 따라 상기 임계치를 산출하는 단계를 더 포함한다. 여기서, 상기 μ는 복수의 검사용 입력 데이터와 복수의 검사용 입력 데이터에 대응하는 복수의 검사용 복원 데이터 간의 평균제곱손실의 평균이고, 상기 σ는 상기 복수의 검사용 입력 데이터와 상기 복수의 검사용 입력 데이터에 대응하는 상기 복수의 모사 검사용 입력 데이터 간의 평균제곱손실의 표준 편차이고, 상기 k는 상기 표준편차에 대한 가중치인 것을 특징으로 한다.
본 발명의 이상 탐지를 위한 장치는 탐지모델에 입력 데이터를 입력하고, 탐지모델이 상기 입력 데이터의 차원을 유지하면서 상기 입력 데이터에 대한 연산을 수행하여 상기 입력 데이터를 모사하는 복원 데이터를 산출하면, 상기 입력 데이터와 상기 복원 데이터와의 차이를 나타내는 검증 오차를 산출하고, 상기 검증오차가 미리 도출된 기준치 이상이면, 상기 입력 데이터에 대응하여 이상을 탐지하는 탐지부를 포함한다.
상기 탐지모델은 복수의 계층을 포함하며, 상기 복수의 계층 각각은 입력되는 데이터의 차원을 유지하면서 연산을 수행하여 출력되는 데이터를 산출함으로써, 상기 입력 데이터와 값의 차이가 있지만 동일한 차원을 가지는 상기 복원 데이터를 산출하는 것을 특징으로 한다.
상기 장치는 학습용 입력 데이터를 학습이 완료되지 않은 검출모델에 입력하고, 상기 검출모델이 상기 학습용 입력 데이터에 대한 연산을 수행하여 상기 입력 데이터의 차원을 유지하면서 상기 입력 데이터를 모사하는 학습용 복원 데이터를 산출하면, 상기 학습용 입력 데이터와 학습용 복원 데이터의 차이인 복원 손실을 산출하고, 상기 복원 손실이 최소가 되도록 상기 검출모델의 가중치를 갱신하는 최적화를 수행하는 학습부를 더 포함한다.
상기 장치는 학습용 입력 데이터를 학습이 완료되지 않은 검출모델에 입력하고, 상기 검출모델의 트랜지스터가 상기 학습용 입력 데이터에 대한 연산을 수행하여 상기 입력 데이터의 차원을 유지하면서 상기 입력 데이터를 모사하는 학습용 복원 데이터를 산출하고, 상기 검출모델의 판별자가 상기 학습용 입력 데이터 및 상기 학습용 복원 데이터에 대한 연산을 수행하여 상기 학습용 입력 데이터 및 상기 학습용 복원 데이터 각각이 진짜일 확률과 가짜일 확률을 나타내는 판별값을 산출하면, 상기 학습용 입력 데이터 및 상기 학습용 복원 데이터에 대한 판별값의 차이인 적대적 손실을 산출하고, 상기 적대적 손실이 최소가 되도록 상기 검출모델의 가중치를 갱신하는 최적화를 수행하는 학습부를 더 포함한다.
상기 학습부는 수학식 θ=μ+(k×σ)에 따라 상기 임계치를 산출하며, 상기 μ는 복수의 검사용 입력 데이터와 복수의 검사용 입력 데이터에 대응하는 복수의 검사용 복원 데이터 간의 평균제곱손실의 평균이고, 상기 σ는 상기 복수의 검사용 입력 데이터와 상기 복수의 검사용 입력 데이터에 대응하는 상기 복수의 모사 검사용 입력 데이터 간의 평균제곱손실의 표준 편차이고, 상기 k는 상기 표준편차에 대한 가중치인 것을 특징으로 한다.
본 발명에 따르면, 인코더가 정보를 압축하고, 디코더가 압축된 정보를 확장하는 형태의 병목(bottleneck) 구조 없이 연산을 수행하여 차원의 축소 및 확장 없이 입력 데이터에 대한 복원 데이터를 생성하기 때문에 연산에 소요되는 자원, 부하 및 시간을 단축할 수 있다. 이에 따라, 이상 탐지를 위한 계산 비용을 최소화 할 수 있다.
도 1은 본 발명의 실시예에 따른 계산 비용을 최소화하기 위한 인공신경망 기반의 이상 탐지를 위한 장치의 구성을 설명하기 위한 도면이다. 도 2는 본 발명의 일 실시예에 따른 병목 구조가 없는 인공신경망과 종래의 병목 구조를 가지는 인공신경망을 비교하기 위한 도면이다. 도 3은 본 발명의 다른 실시예에 따른 병목 구조가 없는 인공신경망과 종래의 병목 구조를 가지는 인공신경망을 비교하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 탐지모델을 학습시키는 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 다른 실시예에 따른 탐지모델을 학습시키는 방법을 설명하기 위한 흐름도이다.
도 6은 본 발명의 실시예에 따른 계산 비용을 최소화하기 위한 인공신경망 기반의 이상 탐지를 위한 방법을 설명하기 위한 흐름도이다.
도 7은 본 발명의 일 실시예에 따른 계산 비용을 최소화하기 위한 인공신경망 기반의 이상 탐지를 위한 장치를 구현하기 위한 하드웨어 시스템의 예시도이다.
본 발명의 과제 해결 수단의 특징 및 이점을 보다 명확히 하기 위하여, 첨부된 도면에 도시된 본 발명의 특정 실시 예를 참조하여 본 발명을 더 상세하게 설명한다.
다만, 하기의 설명 및 첨부된 도면에서 본 발명의 요지를 흐릴 수 있는 공지 기능 또는 구성에 대한 상세한 설명은 생략한다. 또한, 도면 전체에 걸쳐 동일한 구성 요소들은 가능한 한 동일한 도면 부호로 나타내고 있음에 유의하여야 한다.
이하의 설명 및 도면에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위한 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시 예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하기 위해 사용하는 것으로, 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 뿐, 상기 구성요소들을 한정하기 위해 사용되지 않는다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다.
더하여, 어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급할 경우, 이는 논리적 또는 물리적으로 연결되거나, 접속될 수 있음을 의미한다. 다시 말해, 구성요소가 다른 구성요소에 직접적으로 연결되거나 접속되어 있을 수 있지만, 중간에 다른 구성요소가 존재할 수도 있으며, 간접적으로 연결되거나 접속될 수도 있다고 이해되어야 할 것이다.
또한, 본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 본 명세서에서 기술되는 "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
또한, "일(a 또는 an)", "하나(one)", "그(the)" 및 유사어는 본 발명을 기술하는 문맥에 있어서(특히, 이하의 청구항의 문맥에서) 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.
아울러, 본 발명의 범위 내의 실시 예들은 컴퓨터 실행가능 명령어 또는 컴퓨터 판독가능 매체에 저장된 데이터 구조를 가지거나 전달하는 컴퓨터 판독가능 매체를 포함한다. 이러한 컴퓨터 판독가능 매체는, 범용 또는 특수 목적의 컴퓨터 시스템에 의해 액세스 가능한 임의의 이용 가능한 매체일 수 있다. 예로서, 이러한 컴퓨터 판독가능 매체는 RAM, ROM, EPROM, CD-ROM 또는 기타 광 디스크 저장장치, 자기 디스크 저장장치 또는 기타 자기 저장장치, 또는 컴퓨터 실행가능 명령어, 컴퓨터 판독가능 명령어 또는 데이터 구조의 형태로 된 소정의 프로그램 코드 수단을 저장하거나 전달하는 데에 이용될 수 있고, 범용 또는 특수 목적 컴퓨터 시스템에 의해 액세스 될 수 있는 임의의 기타 매체와 같은 물리적 저장 매체를 포함할 수 있지만, 이에 한정되지 않는다.
이하의 설명 및 특허 청구 범위에서, "네트워크"는 컴퓨터 시스템들 및/또는 모듈들 간의 전자 데이터를 전송할 수 있게 하는 하나 이상의 데이터 링크로서 정의된다. 정보가 네트워크 또는 다른 (유선, 무선, 또는 유선 또는 무선의 조합인) 통신 접속을 통하여 컴퓨터 시스템에 전송되거나 제공될 때, 이 접속은 컴퓨터-판독가능매체로서 이해될 수 있다. 컴퓨터 판독가능 명령어는, 예를 들면, 범용 컴퓨터 시스템 또는 특수 목적 컴퓨터 시스템이 특정 기능 또는 기능의 그룹을 수행하도록 하는 명령어 및 데이터를 포함한다. 컴퓨터 실행가능 명령어는, 예를 들면, 어셈블리어, 또는 심지어는 소스코드와 같은 이진, 중간 포맷 명령어일 수 있다.
아울러, 본 발명은 퍼스널 컴퓨터, 랩탑 컴퓨터, 핸드헬드 장치, 멀티프로세서 시스템, 마이크로프로세서-기반 또는 프로그램 가능한 가전제품(programmable consumer electronics), 네트워크 PC, 미니컴퓨터, 메인프레임 컴퓨터, 모바일 전화, PDA, 페이저(pager) 등을 포함하는 다양한 유형의 컴퓨터 시스템 구성을 가지는 네트워크 컴퓨팅 환경에서 적용될 수 있다. 본 발명은 또한 네트워크를 통해 유선 데이터 링크, 무선 데이터 링크, 또는 유선 및 무선 데이터 링크의 조합으로 링크된 로컬 및 원격 컴퓨터 시스템 모두가 태스크를 수행하는 분산형 시스템 환경에서 실행될 수 있다. 분산형 시스템 환경에서, 프로그램 모듈은 로컬 및 원격 메모리 저장 장치에 위치될 수 있다.
먼저, 본 발명의 실시예에 따른 계산 비용을 최소화하기 위한 인공신경망 기반의 이상 탐지를 위한 장치에 대해서 설명하기로 한다. 도 1은 본 발명의 실시예에 따른 계산 비용을 최소화하기 위한 인공신경망 기반의 이상 탐지를 위한 장치의 구성을 설명하기 위한 도면이다. 도 2는 본 발명의 일 실시예에 따른 병목 구조가 없는 인공신경망과 종래의 병목 구조를 가지는 인공신경망을 비교하기 위한 도면이다. 도 3은 본 발명의 다른 실시예에 따른 병목 구조가 없는 인공신경망과 종래의 병목 구조를 가지는 인공신경망을 비교하기 위한 도면이다.
도 1을 참조하면, 본 발명의 실시예에 따른 이상탐지장치(10)는 학습부(100) 및 탐지부(200)를 포함한다.
학습부(100)는 탐지모델(DM)을 생성하기 위한 것이다. 학습부(100)는 학습 데이터를 이용하여 탐지모델(DM)을 생성할 수 있다. 학습부(100)는 탐지모델(DM)을 생성하면, 생성된 탐지모델(DM)을 탐지부(200)에 제공할 수 있다.
탐지부(200)는 탐지모델(DM)을 통해 입력 데이터를 분석하여 입력 데이터에 이상의 여부를 탐지하기 위한 것이다. 입력 데이터는 비디오 신호, 오디오 신호 등의 시계열 데이터, Gray-scale 또는 RGB로 표현되는 사진 및 영상, depth 카메라, 적외선카메라, 열화상 카메라 등에서 촬영된 영상 데이터, 센서에 의해 측정된 신호, Gray-scale 또는 RGB로 표현되는 사진 및 영상, depth 카메라, 적외선카메라, 열상 카메라 등에서 촬영된 영상 데이터 등이 될 수 있다. 예컨대, 측정 데이터의 경우, 심전도 신호를 예로 들면 맥박이 데이터의 객체가 될 수 있다. 오디오 신호의 경우, 오디오를 예로 들면 음성 발화 등 발생한 소리가 데이터의 객체가 될 수 있다.
탐지모델(DM)은 모두 복수의 계층을 포함하며, 복수의 계층 각각은 복수의 연산을 수행한다. 어느 하나의 계층의 복수의 연산 모듈의 연산 결과 각각은 가중치가 적용되어 다음 계층에 전달된다. 이는 현 계층의 연산 결과에 가중치가 적용되어 다음 계층의 연산에 입력되는 것을 의미한다. 즉, 탐지모델(DM)은 복수의 계층의 가중치가 적용되는 복수의 연산을 수행한다. 이러한 탐지모델(DM)은 RBM(Restricted Boltzmann Machine), AE(Auto-Encoder), GAN(Generative Adversarial Network) 등을 예시할 수 있다. 탐지모델(DM)의 복수의 계층은 완전연결계층(Fully-connected layer), 컨벌루션계층(Convolutional layer), 순환계층(Recurrent layer), 그래프계층(Graph layer) 중 하나 이상의 조합을 포함한다.
본 발명의 실시예에 따른 탐지모델(DM)은 병목(bottleneck) 구조를 가지지 않는다. 도 2의 (A)에 도시된 바와 같은 AE(Auto-Encoder)인 경우, 병목 구조는 입력 데이터(X)를 압축하여 잠재벡터(Z)를 생성하는 인코더(Encoder) 및 잠재벡터(Z)를 다시 확장하여 복원 데이터(
Figure pat00001
)를 산출하는 디코더(Decoder)를 포함한다. 반면, 본 발명의 실시예에 따른 탐지모델(DM)이 AE인 경우, 도 2의 (B)와 같이, 입력 데이터(X)를 압축하고, 압축된 정보를 확장하는 형태의 병목(bottleneck) 구조 없이 연산을 수행하는 트랜지스터(Transistor)를 포함한다. 이러한 트랜지스터(Transistor)는 데이터의 차원을 변화시키지 않는 하나의 이상의 인공신경망 계층으로 이루어진다. 즉, 트랜지스터(Transistor)는 차원의 축소 및 확장 없이 입력 데이터(X)에 대한 복원 데이터(
Figure pat00002
)를 생성한다.
마찬가지로, 도 3의 (A)에 도시된 바와 같은 종래의 GAN(Generative Adversarial Network)인 경우, 인코더(Encoder) 및 디코더(Decoder)를 포함하는 병목 구조와 판별자(Discriminator)를 포함한다. 반면, 본 발명의 탐지모델(DM)이 GAN인 경우, 병목 구조 없이, 트랜지스터(Transistor)와 판별자(Discriminator)를 포함한다.
탐지모델(DM)이 도 2의 (B) 혹은 도 3의 (B)와 같은 트랜지스터(Transistor) 구조를 가지기 때문에, 탐지모델(DM)의 복수의 계층은 입력되는 데이터에 대해 각 계층의 가중치(혹은 가중치 필터)를 적용하여 1차적으로 변환하고, 1차적으로 변환된 데이터에 비선형 활성 함수(nonlinear activation function)을 적용하여 2차적으로 변환한 후, 2차적으로 변환된 데이터를 다음 계층으로 전파한다. 이때, 복수의 계층은 각 계층에 입력되는 데이터의 차원을 유지하면서 연산(1차, 2차 변환)을 수행하여 출력되는 데이터를 산출한다. 이에 따라, 트랜지스터(Transistor)에서 최종적으로 출력되는 복원 데이터(
Figure pat00003
)는 입력 데이터(X)와 값(정보)의 차이가 있지만 동일한 차원을 가진다.
탐지부(200)는 전술한 바와 같은 탐지모델(DM)을 이용하여 입력 데이터에 대해 복수의 계층 간 가중치가 적용되는 복수의 연산을 수행하여 복원 데이터를 생성하고, 입력 데이터와 복원 데이터와의 차이를 나타내는 검증 오차를 산출하고, 산출된 검증 오차가 학습부(100)에 의해 미리 산출된 임계치 이상인 경우, 입력 데이터에 이상이 있는 것으로 판단한다.
다음으로, 본 발명의 일 실시예에 따른 탐지모델(DM), 즉, 도 2의 (B)와 같은 트랜지스터 구조의 탐지모델(DM)을 학습시키는 방법에 대해서 설명하기로 한다. 도 4는 본 발명의 일 실시예에 따른 탐지모델을 학습시키는 방법을 설명하기 위한 흐름도이다.
도 4를 참조하면, 학습부(100)는 S110 단계에서 학습용 입력 데이터를 마련한다. 학습용 입력 데이터는 정상 상태의 입력 데이터를 의미한다.
학습부(100)는 S120 단계에서 학습용 입력 데이터를 학습이 완료되지 않은 탐지모델(DM)에 입력한다. 이러한 탐지모델(DM)은 앞서 도 2의 (B)에서 설명된 바와 같은 트랜지스터(Transistor) 구조를 가진다.
그러면, 탐지모델(DM)은 S130 단계에서 학습용 입력 데이터에 대해 복수의 계층 간 가중치가 적용되는 복수의 연산을 통해 학습용 입력 데이터를 모사하는 학습용 복원 데이터를 산출한다. 탐지모델(DM)이 도 2의 (B)와 같은 트랜지스터(Transistor) 구조를 가지기 때문에, 복수의 계층은 각 계층에 입력되는 데이터의 차원을 유지하면서 연산을 수행하여 출력되는 데이터를 산출한다. 이에 따라, 최종적으로 출력되는 학습용 복원 데이터는 학습용 입력 데이터와 값(정보)의 차이가 있지만 동일한 차원을 가진다.
그러면, 학습부(100)는 S130 단계에서 손실 함수를 통해 학습용 입력 데이터와 학습용 입력 데이터를 모사하여 생성한 복원 데이터 간의 차이를 나타내는 복원 손실을 산출한다.
그런 다음, 학습부(100)는 S140 단계에서 복원 손실이 최소화되도록 최적화 알고리즘을 통해 탐지모델(DM)의 가중치를 갱신하는 최적화를 수행한다.
다음으로, 학습부(100)는 S150 단계에서 학습 종료를 위해 필요한 조건을 만족하는지 여부를 판별한다. 여기서, 조건은 앞서(S130) 산출된 복원 손실이 기 설정된 목표치 미만인지 여부가 될 수 있다.
S150 단계의 판별 결과, 학습 종료를 위해 필요한 조건을 만족하지 않으면, 즉, 앞서(S130) 산출된 복원 손실이 목표치 이상이면, S120 단계로 진행하여 전술한 S120 단계 내지 S150 단계를 반복한다. 이는 학습이 서로 다른 복수의 학습용 입력 데이터를 이용하여 반복되는 것을 의미한다.
반면, S150 단계의 판별 결과, 학습 종료를 위해 필요한 조건을 만족하면, 즉, 앞서(S130) 산출된 복원 손실이 목표치 미만이면, S160 단계로 진행하여 학습을 종료한다.
학습이 완료되면, 학습부(100)는 S170 단계에서 탐지모델(DM)의 임계치를 도출한다. 일 실시예에 따르면, 학습부(100)는 복수의 검사용 입력 데이터를 마련한다. 검사용 입력 데이터는 학습용 입력 데이터와 동일한 방법으로 마련된다. 즉, 검사용 입력 데이터는 학습용 입력 데이터와 동일하게, 정상 상태의 입력 데이터를 의미한다. 이어서, 학습부(100)는 복수의 검사용 입력 데이터를 학습이 완료된 탐지모델(DM)에 입력한다. 그러면, 탐지모델(DM)이 복수의 검사용 입력 데이터를 모사하는 복수의 검사용 복원 데이터를 산출한다. 이에 따라, 학습부(100)는 다음의 수학식 1을 통해 탐지모델(DM)의 임계치를 산출한다.
Figure pat00004
수학식 1에서 θ는 임계치를 나타낸다. 여기서, μ는 복수의 검사용 입력 데이터와 복수의 검사용 입력 데이터에 대응하는 복수의 검사용 복원 데이터 간의 평균제곱손실(MSE: Mean Squared Error)의 평균을 나타낸다. σ는 복수의 검사용 입력 데이터와 복수의 검사용 입력 데이터에 대응하는 복수의 검사용 복원 데이터 간의 평균제곱손실의 표준편차를 나타낸다. 그리고 k는 표준편차에 대한 가중치이며, 표준편차에 대한 가중치는 미리 설정되는 값이다. 학습부(100)는 학습이 완료된 탐지모델(DM) 및 탐지모델(DM)의 임계치를 탐지부(200)에 제공한다.
다음으로, 본 발명의 다른 실시예에 따른 탐지모델(DM), 즉, 도 3의 (B)와 같은 트랜지스터 및 판별자를 포함하는 구조의 탐지모델(DM)을 학습시키는 방법에 대해서 설명하기로 한다. 도 5는 본 발명의 다른 실시예에 따른 탐지모델을 학습시키는 방법을 설명하기 위한 흐름도이다.
도 5를 참조하면, 학습부(100)는 먼저, S210 단계에서 학습용 입력 데이터를 마련한다. 학습용 입력 데이터는 정상 상태의 입력 데이터를 의미한다.
학습부(100)는 S220 단계에서 학습용 입력 데이(X)터를 학습이 완료되지 않은 탐지모델(DM)에 입력한다. 이러한 탐지모델(DM)은 앞서 도 3의 (B)에서 설명된 바와 같은 트랜지스터(Transistor) 및 판별자(Discriminator)를 포함하는 구조를 가진다.
그러면, 탐지모델(DM)의 트랜지스터(Transistor)는 S230 단계에서 학습용 입력 데이터(X)에 대해 복수의 계층 간 가중치가 적용되는 복수의 연산을 통해 학습용 입력 데이터를 모사하는 학습용 복원 데이터(
Figure pat00005
)를 산출한다. 탐지모델(DM)이 도 2의 (B)와 같은 트랜지스터(Transistor) 구조를 가지기 때문에, 복수의 계층은 각 계층에 입력되는 데이터의 차원을 유지하면서 연산을 수행하여 출력되는 데이터를 산출한다. 이에 따라, 최종적으로 출력되는 학습용 복원 데이터(
Figure pat00006
)는 학습용 입력 데이터(X)와 값(정보)의 차이가 있지만 동일한 차원을 가진다.
이어서, 탐지모델(DM)의 판별자(Discriminator)는 S240 단계에서 학습용 입력 데이터(x) 및 학습용 복원 데이터(
Figure pat00007
) 각각에 대한 연산을 수행하여 판별값을 산출한다. 판별값은 학습용 입력 데이터(x)에 대응하여 학습용 입력 데이터(x)가 트랜지스터(Transistor)에 의해 가공되지 않은 진짜(Real)일 확률과, 트랜지스터(Transistor)에 의해 가공된 가짜(Fake)일 확률을 포함한다. 또한, 판별값은 학습용 복원 데이터(
Figure pat00008
)에 대응하여 학습용 복원 데이터(
Figure pat00009
)가 트랜지스터(Transistor)에 의해 가공되지 않은 진짜(Real)일 확률과, 트랜지스터(Transistor)에 의해 가공된 가짜(Fake)일 확률을 포함한다.
다음으로, 학습부(100)는 S250 단계에서 학습용 입력 데이터(X) 및 학습용 복원 데이터(
Figure pat00010
) 각각에 대한 판별자(DN)의 연산 결과인 판별값의 차이인 적대적 손실을 산출한다.
이어서, 학습부(100)는 S260 단계에서 적대적 손실이 최소화되도록 최적화 알고리즘을 통해 탐지모델(DM)의 가중치를 갱신하는 최적화를 수행한다.
다음으로, 학습부(100)는 S270 단계에서 학습 종료를 위해 필요한 조건을 만족하는지 여부를 판별한다. 여기서, 조건은 앞서(S250) 산출된 복원 손실이 기 설정된 목표치 미만인지 여부가 될 수 있다.
S270 단계의 판별 결과, 학습 종료를 위해 필요한 조건을 만족하지 않으면, 즉, 앞서(S250) 산출된 복원 손실이 목표치 이상이면, S220 단계로 진행하여 전술한 S220 단계 내지 S270 단계를 반복한다. 이는 학습이 서로 다른 복수의 학습용 입력 데이터를 이용하여 반복되는 것을 의미한다.
반면, S270 단계의 판별 결과, 학습 종료를 위해 필요한 조건을 만족하면, 즉, 앞서(S250) 산출된 복원 손실이 목표치 미만이면, S280 단계로 진행하여 학습을 종료한다.
학습이 완료되면, 학습부(100)는 S290 단계에서 탐지모델(DM)의 임계치를 도출한다. 일 실시예에 따르면, 학습부(100)는 복수의 검사용 입력 데이터를 마련한다. 검사용 입력 데이터는 학습용 입력 데이터와 동일한 방법으로 마련된다. 즉, 검사용 입력 데이터는 학습용 입력 데이터와 동일하게, 정상 상태의 입력 데이터를 의미한다. 이어서, 학습부(100)는 복수의 검사용 입력 데이터를 학습이 완료된 탐지모델(DM)에 입력한다. 그러면, 탐지모델(DM)이 복수의 검사용 입력 데이터를 모사하는 복수의 검사용 복원 데이터를 산출한다. 이에 따라, 학습부(100)는 전술한 수학식 1을 통해 탐지모델(DM)의 임계치를 산출한다. 학습부(100)는 학습이 완료된 탐지모델(DM) 및 산출된 탐지모델(DM)의 임계치를 탐지부(200)에 제공한다.
다음으로, 본 발명의 실시예에 따른 계산 비용을 최소화하기 위한 인공신경망 기반의 이상 탐지를 위한 방법에 대해서 설명하기로 한다. 도 6은 본 발명의 실시예에 따른 계산 비용을 최소화하기 위한 인공신경망 기반의 이상 탐지를 위한 방법을 설명하기 위한 흐름도이다.
도 6을 참조하면, 탐지부(200)는 S310 단계에서 입력 데이터를 수신할 수 있다. 이상 탐지를 위해 수집된 데이터이다. 이러한 입력 데이터는 비디오 신호, 오디오 신호 등의 시계열 데이터, Gray-scale 또는 RGB로 표현되는 사진 및 영상, depth 카메라, 적외선카메라, 열화상 카메라 등에서 촬영된 영상 데이터, 센서에 의해 측정된 신호, Gray-scale 또는 RGB로 표현되는 사진 및 영상, depth 카메라, 적외선카메라, 열상 카메라 등에서 촬영된 영상 데이터 등이 될 수 있다. 예컨대, 측정 데이터의 경우, 심전도 신호를 예로 들면 맥박이 데이터의 객체가 될 수 있다. 오디오 신호의 경우, 오디오를 예로 들면 음성 발화 등 발생한 소리가 데이터의 객체가 될 수 있다.
탐지부(200)는 S320 단계에서 입력 데이터를 탐지모델(DM)에 입력한다. 그러면, 탐지모델(DM)의 트랜지스터(Transistor)는 S330 단계에서 학습용 입력 데이터(X)에 대해 복수의 계층 간 가중치가 적용되는 복수의 연산을 통해 학습용 입력 데이터를 모사하는 학습용 복원 데이터(
Figure pat00011
)를 산출한다. 탐지모델(DM)이 도 2의 (B) 혹은 도 3의 (B)와 같은 트랜지스터(Transistor) 구조를 가지기 때문에, 복수의 계층은 각 계층에 입력되는 데이터의 차원을 유지하면서 연산을 수행하여 출력되는 데이터를 산출한다. 이에 따라, 트랜지스터(Transistor)에서 최종적으로 출력되는 복원 데이터(
Figure pat00012
)는 입력 데이터(X)와 값(정보)의 차이가 있지만 동일한 차원을 가진다.
다음으로, 탐지부(200)는 S340 단계에서 다음의 수학식 2에 따라 입력 데이터(X)와 복원 데이터(
Figure pat00013
)와의 차이를 나타내는 검증 오차를 산출한다.
그런 다음, 탐지부(200)는 S350 단계에서 다음의 수학식 2에 따라 입력 데이터(X)와 복원 데이터(
Figure pat00014
)와의 차이를 나타내는 검증오차가 다음의 수학식 2에 따라 결정되는 기준치(
Figure pat00015
) 이상인지 여부를 판단한다.
Figure pat00016
이에 따라, S350 단계의 판단 결과, 검증 오차(
Figure pat00017
가 기준치(
Figure pat00018
) 이상이면, 탐지부(200)는 S360 단계에서 해당 입력 데이터에 대응하여 이상이 발생한 것을 탐지할 수 있다.
도 7은 본 발명의 일 실시예에 따른 계산 비용을 최소화하기 위한 인공신경망 기반의 이상 탐지를 위한 장치를 구현하기 위한 하드웨어 시스템의 예시도이다.
도 7에 도시된 바와 같이, 본 발명의 일 실시예에 따른 하드웨어 시스템(2000)은, 프로세서부(2100), 메모리 인터페이스부(2200), 및 주변장치 인터페이스부(2300)를 포함하는 구성을 가질 수 있다.
이러한, 하드웨어 시스템(2000) 내 각 구성은, 개별 부품이거나 하나 이상의 집적 회로에 집적될 수 있으며, 이러한 각 구성들은 버스 시스템(도시 안됨)에 의해서 결합될 수 있다.
여기서, 버스 시스템의 경우, 적절한 브리지들, 어댑터들, 및/또는 제어기들에 의해 연결된 임의의 하나 이상의 개별적인 물리 버스들, 통신 라인들/인터페이스들, 및/또는 멀티 드롭(multi-drop) 또는 포인트 투 포인트(point-to-point) 연결들을 나타내는 추상화(abstraction)이다.
프로세서부(2100)는 하드웨어 시스템에서 다양한 기능들을 수행하기 위해 메모리 인터페이스부(2200)를 통해 메모리부(2210)와 통신함으로써, 메모리부(2210)에 저장된 다양한 소프트웨어 모듈을 실행하는 역할을 수행하게 된다.
여기서, 메모리부(2210)에는 앞서 도 2를 참조하여 설명한 학습부(100) 및 탐지부(200)를 포함하는 구성 각각은 소프트웨어 모듈 형태로 저장될 수 있으며, 그 외 운영 체계(OS)가 추가로 저장될 수 있다. 이러한 학습부(100) 및 탐지부(200)를 포함하는 구성은 프로세서부(2100)에 로드되어 실행될 수 있다.
이상 설명한 학습부(100) 및 탐지부(200)를 포함하는 각 구성은 프로세서에 의해 실행되는 소프트웨어 모듈 또는 하드웨어 모듈 형태로 구현되거나, 소프트웨어 모듈과 하드웨어 모듈이 조합된 형태로도 구현될 수 있다.
이와 같이, 프로세서에 의해 실행되는 소프트웨어 모듈, 하드웨어 모듈, 내지는 소프트웨어 모듈과 하드웨어 모듈이 조합된 형태는 실제 하드웨어 시스템(예: 컴퓨터 시스템)으로 구현될 수 있을 것이다.
운영 체계(예: I-OS, Android, Darwin, RTXC, LINUX, UNIX, OS X, WINDOWS, 또는 VxWorks와 같은 임베디드 운영 체계)의 경우, 일반적인 시스템 작업들(예를 들어, 메모리 관리, 저장 장치 제어, 전력 관리 등)을 제어 및 관리하는 다양한 절차, 명령어 세트, 소프트웨어 컴포넌트 및/또는 드라이버를 포함하고 있으며 다양한 하드웨어 모듈과 소프트웨어 모듈 간의 통신을 용이하게 하는 역할을 수행하게 된다.
참고로, 메모리부(2210)는 캐쉬, 메인 메모리 및 보조 기억장치(secondary memory)를 포함하지만 이에 제한되지 않는 메모리 계층구조가 포함할 수 있는데, 이러한 메모리 계층구조의 경우 예컨대 RAM(예: SRAM, DRAM, DDRAM), ROM, FLASH, 자기 및/또는 광 저장 장치[예: 디스크 드라이브, 자기 테이프, CD(compact disk) 및 DVD(digital video disc) 등]의 임의의 조합을 통해서 구현될 수 있다.
주변장치 인터페이스부(2300)는 프로세서부(2100)와 주변장치 간에 통신을 가능하게 하는 역할을 수행한다.
여기서 주변장치의 경우, 하드웨어 시스템(2000)에 상이한 기능을 제공하기 위한 것으로서, 본 발명의 일 실시예에서는, 예컨대, 통신부(2310)가 포함될 수 있다.
여기서, 통신부(2310)는 다른 장치와의 통신 기능을 제공하는 역할을 수행하는 수행하게 되며, 이를 위해 예컨대, 안테나 시스템, RF 송수신기, 하나 이상의 증폭기, 튜너, 하나 이상의 발진기, 디지털 신호 처리기, 코덱(CODEC) 칩셋, 및 메모리 등을 포함하지만 이에 제한되지는 않으며, 이 기능을 수행하는 공지의 회로를 포함할 수 있다.
이러한, 통신부(2310)가 지원하는 통신 프로토콜로는, 예컨대, 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 5G 통신시스템, 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS), 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra-Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication: NFC), 초음파 통신(Ultra Sound Communication: USC), 가시광 통신(Visible Light Communication: VLC), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct) 등이 포함될 수 있다. 또한, 유선 통신망으로는 유선 LAN(Local Area Network), 유선 WAN(Wide Area Network), 전력선 통신(Power Line Communication: PLC), USB 통신, 이더넷(Ethernet), 시리얼 통신(serial communication), 광/동축 케이블 등이 포함될 수 있으며, 이제 제한되는 것이 아닌, 다른 장치와의 통신 환경을 제공할 수 있는 프로토콜은 모두 포함될 수 있다.
본 발명의 일 실시예에 따른 하드웨어 시스템(2000)에서 메모리부(2210)에 소프트웨어 모듈 형태로 저장되어 있는 각 구성은 프로세서부(2100)에 의해 실행되는 명령어의 형태로 메모리 인터페이스부(2200)와 주변장치 인터페이스부(2300)를 매개로 통신부(2310)와의 인터페이스를 수행한다.
이상에서 설명한 바와 같이, 본 명세서는 다수의 특정한 구현물의 세부사항들을 포함하지만, 이들은 어떠한 발명이나 청구 가능한 것의 범위에 대해서도 제한적인 것으로서 이해되어서는 안 되며, 오히려 특정한 발명의 특정한 실시 형태에 특유할 수 있는 특징들에 대한 설명으로서 이해되어야 한다. 개별적인 실시 형태의 문맥에서 본 명세서에 기술된 특정한 특징들은 단일 실시형태에서 조합하여 구현될 수도 있다. 반대로, 단일 실시 형태의 문맥에서 기술한 다양한 특징들 역시 개별적으로 혹은 어떠한 적절한 하위 조합으로도 복수의 실시형태에서 구현 가능하다. 나아가, 특징들이 특정한 조합으로 동작하고 초기에 그와 같이 청구된 바와 같이 묘사될 수 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우에 그 조합으로부터 배제될 수 있으며, 그 청구된 조합은 하위 조합이나 하위 조합의 변형물로 변경될 수 있다.
마찬가지로, 특정한 순서로 도면에서 동작들을 묘사하고 있지만, 이는 바람직한 결과를 얻기 위하여 도시된 그 특정한 순서나 순차적인 순서대로 그러한 동작들을 수행하여야 한다거나 모든 도시된 동작들이 수행되어야 하는 것으로 이해되어서는 안 된다. 특정한 경우, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다. 또한, 상술한 실시 형태의 다양한 시스템 컴포넌트의 분리는 그러한 분리를 모든 실시형태에서 요구하는 것으로 이해되어서는 안되며, 설명한 프로그램 컴포넌트와 시스템들은 일반적으로 단일의 소프트웨어 제품으로 함께 통합되거나 다중 소프트웨어 제품에 패키징 될 수 있다는 점을 이해하여야 한다.
본 명세서에서 설명한 주제의 특정한 실시 형태를 설명하였다. 기타의 실시형태들은 이하의 청구항의 범위 내에 속한다. 예컨대, 청구항에서 인용된 동작들은 상이한 순서로 수행되면서도 여전히 바람직한 결과를 성취할 수 있다. 일 예로서, 첨부 도면에 도시한 프로세스는 바람직한 결과를 얻기 위하여 반드시 그 특정한 도시된 순서나 순차적인 순서를 요구하지 않는다. 특정한 구현 예에서, 멀티태스킹과 병렬 프로세싱이 유리할 수 있다.
본 기술한 설명은 본 발명의 최상의 모드를 제시하고 있으며, 본 발명을 설명하기 위하여, 그리고 당업자가 본 발명을 제작 및 이용할 수 있도록 하기 위한 예를 제공하고 있다. 이렇게 작성된 명세서는 그 제시된 구체적인 용어에 본 발명을 제한하는 것이 아니다. 따라서, 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 당업자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다.
따라서 본 발명의 범위는 설명된 실시 예에 의하여 정할 것이 아니고 특허청구범위에 의해 정하여져야 한다.
본 발명은 계산 비용을 최소화하기 위한 인공신경망 기반의 이상 탐지를 위한 장치 및 이를 위한 방법에 관한 것으로서, 본 발명에 따르면, 인코더가 정보를 압축하고, 디코더가 압축된 정보를 확장하는 형태의 병목(bottleneck) 구조 없이 연산을 수행하여 차원의 축소 및 확장 없이 입력 데이터에 대한 복원 데이터를 생성하기 때문에 연산에 소요되는 자원, 부하 및 시간을 단축할 수 있다. 이에 따라, 이상 탐지를 위한 계산 비용을 최소화 할 수 있다. 따라서 본 발명은 시판 또는 영업의 가능성이 충분할 뿐만 아니라 현실적으로 명백하게 실시할 수 있는 정도이므로 산업상 이용가능성이 있다.
10: 교통서버 11: 통신부
12: 저장부 13: 제어부
20: 차량장치 30: 관리장치
100: 학습부 200: 신호처리부
300: 인식부 400: 통지부

Claims (10)

  1. 탐지부가 탐지모델에 입력 데이터를 입력하는 단계;
    탐지모델이 상기 입력 데이터의 차원을 유지하면서 상기 입력 데이터에 대한 연산을 수행하여 상기 입력 데이터를 모사하는 복원 데이터를 산출하는 단계;
    탐지부가 상기 입력 데이터와 상기 복원 데이터와의 차이를 나타내는 검증 오차를 산출하는 단계; 및
    상기 탐지부가 상기 검증오차가 미리 도출된 기준치 이상이면,
    상기 입력 데이터에 대응하여 이상을 탐지하는 단계; 를 포함하는 것을 특징으로 하는 이상 탐지를 위한 방법.
  2. 제1항에 있어서,
    상기 복원 데이터를 산출하는 단계는
    상기 탐지모델의 복수의 계층 각각이 입력되는 데이터의 차원을 유지하면서 연산을 수행하여 출력되는 데이터를 산출함으로써,
    상기 입력 데이터와 값의 차이가 있지만 동일한 차원을 가지는 상기 복원 데이터를 산출하는 것을 특징으로 하는 이상 탐지를 위한 방법.
  3. 제1항에 있어서,
    상기 입력 데이터를 입력하는 단계 전,
    학습부가 학습용 입력 데이터를 마련하는 단계;
    상기 학습부가 학습용 입력 데이터를 학습이 완료되지 않은 검출모델에 입력하는 단계;
    상기 검출모델이 상기 학습용 입력 데이터에 대한 연산을 수행하여 상기 입력 데이터의 차원을 유지하면서 상기 입력 데이터를 모사하는 학습용 복원 데이터를 산출하는 단계;
    상기 학습부가 상기 학습용 입력 데이터와 학습용 복원 데이터의 차이인 복원 손실을 산출하는 단계;
    상기 학습부가 상기 복원 손실이 최소가 되도록 상기 검출모델의 가중치를 갱신하는 최적화를 수행하는 단계; 를 더 포함하는 것을 특징으로 하는 이상 탐지를 위한 방법.
  4. 제1항에 있어서,
    상기 입력 데이터를 입력하는 단계 전,
    학습부가 학습용 입력 데이터를 마련하는 단계;
    상기 학습부가 학습용 입력 데이터를 학습이 완료되지 않은 검출모델에 입력하는 단계;
    상기 검출모델의 트랜지스터가 상기 학습용 입력 데이터에 대한 연산을 수행하여 상기 입력 데이터의 차원을 유지하면서 상기 입력 데이터를 모사하는 학습용 복원 데이터를 산출하는 단계;
    상기 검출모델의 판별자가 상기 학습용 입력 데이터 및 상기 학습용 복원 데이터에 대한 연산을 수행하여 상기 학습용 입력 데이터 및 상기 학습용 복원 데이터 각각이 진짜일 확률과 가짜일 확률을 나타내는 판별값을 산출하는 단계;
    상기 학습부가 상기 학습용 입력 데이터 및 상기 학습용 복원 데이터에 대한 판별값의 차이인 적대적 손실을 산출하는 단계; 및
    상기 학습부가 상기 적대적 손실이 최소가 되도록 상기 검출모델의 가중치를 갱신하는 최적화를 수행하는 단계; 를 더 포함하는 것을 특징으로 하는 이상 탐지를 위한 방법.
  5. 제3항 또는 제4항에 있어서,
    상기 학습부가 수학식 θ=μ+(k×σ)에 따라 상기 임계치를 산출하는 단계;
    를 더 포함하며,
    상기 μ는 복수의 검사용 입력 데이터와 복수의 검사용 입력 데이터에 대응하는 복수의 검사용 복원 데이터 간의 평균제곱손실의 평균이고,
    상기 σ는 상기 복수의 검사용 입력 데이터와 상기 복수의 검사용 입력 데이터에 대응하는 상기 복수의 모사 검사용 입력 데이터 간의 평균제곱손실의 표준 편차이고,
    상기 k는 상기 표준편차에 대한 가중치인 것을 특징으로 하는 이상 탐지를 위한 방법.
  6. 탐지모델에 입력 데이터를 입력하고,
    탐지모델이 상기 입력 데이터의 차원을 유지하면서 상기 입력 데이터에 대한 연산을 수행하여 상기 입력 데이터를 모사하는 복원 데이터를 산출하면,
    상기 입력 데이터와 상기 복원 데이터와의 차이를 나타내는 검증 오차를 산출하고,
    상기 검증오차가 미리 도출된 기준치 이상이면, 상기 입력 데이터에 대응하여 이상을 탐지하는 탐지부; 를 포함하는 것을 특징으로 하는 이상 탐지를 위한 장치.
  7. 제6항에 있어서,
    상기 탐지모델은 복수의 계층을 포함하며,
    상기 복수의 계층 각각은
    입력되는 데이터의 차원을 유지하면서 연산을 수행하여 출력되는 데이터를 산출함으로써,
    상기 입력 데이터와 값의 차이가 있지만 동일한 차원을 가지는 상기 복원 데이터를 산출하는 것을 특징으로 하는 이상 탐지를 위한 장치.
  8. 제6항에 있어서,
    상기 장치는
    학습용 입력 데이터를 학습이 완료되지 않은 검출모델에 입력하고,
    상기 검출모델이 상기 학습용 입력 데이터에 대한 연산을 수행하여 상기 입력 데이터의 차원을 유지하면서 상기 입력 데이터를 모사하는 학습용 복원 데이터를 산출하면,
    상기 학습용 입력 데이터와 학습용 복원 데이터의 차이인 복원 손실을 산출하고,
    상기 복원 손실이 최소가 되도록 상기 검출모델의 가중치를 갱신하는 최적화를 수행하는 학습부; 를 더 포함하는 것을 특징으로 하는 이상 탐지를 위한 장치.
  9. 제6항에 있어서,
    상기 장치는
    학습용 입력 데이터를 학습이 완료되지 않은 검출모델에 입력하고,
    상기 검출모델의 트랜지스터가 상기 학습용 입력 데이터에 대한 연산을 수행하여 상기 입력 데이터의 차원을 유지하면서 상기 입력 데이터를 모사하는 학습용 복원 데이터를 산출하고,
    상기 검출모델의 판별자가 상기 학습용 입력 데이터 및 상기 학습용 복원 데이터에 대한 연산을 수행하여 상기 학습용 입력 데이터 및 상기 학습용 복원 데이터 각각이 진짜일 확률과 가짜일 확률을 나타내는 판별값을 산출하면,
    상기 학습용 입력 데이터 및 상기 학습용 복원 데이터에 대한 판별값의 차이인 적대적 손실을 산출하고,
    상기 적대적 손실이 최소가 되도록 상기 검출모델의 가중치를 갱신하는 최적화를 수행하는 학습부;를 더 포함하는 것을 특징으로 하는 이상 탐지를 위한 장치.
  10. 제8항 또는 제9항에 있어서,
    상기 학습부는
    수학식 θ=μ+(k×σ)에 따라 상기 임계치를 산출하며,
    상기 μ는 복수의 검사용 입력 데이터와 복수의 검사용 입력 데이터에 대응하는 복수의 검사용 복원 데이터 간의 평균제곱손실의 평균이고,
    상기 σ는 상기 복수의 검사용 입력 데이터와 상기 복수의 검사용 입력 데이터에 대응하는 상기 복수의 모사 검사용 입력 데이터 간의 평균제곱손실의 표준 편차이고,
    상기 k는 상기 표준편차에 대한 가중치인 것을 특징으로 하는 이상 탐지를 위한 장치.

KR1020220015788A 2021-08-26 2022-02-07 계산 비용을 최소화하기 위한 인공신경망 기반의 이상 탐지를 위한 장치 및 이를 위한 방법 KR20230031117A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/894,641 US20230065385A1 (en) 2021-08-26 2022-08-24 Apparatus and method for anomaly detection

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20210113011 2021-08-26
KR1020210113011 2021-08-26

Publications (1)

Publication Number Publication Date
KR20230031117A true KR20230031117A (ko) 2023-03-07

Family

ID=85513455

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220015788A KR20230031117A (ko) 2021-08-26 2022-02-07 계산 비용을 최소화하기 위한 인공신경망 기반의 이상 탐지를 위한 장치 및 이를 위한 방법

Country Status (1)

Country Link
KR (1) KR20230031117A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210065276A (ko) 2019-11-26 2021-06-04 충북대학교 산학협력단 오토 인코더 기법을 이용한 수출입 물동량에 대한 이상치 탐지 방법 및 이를 기록한 기록매체

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210065276A (ko) 2019-11-26 2021-06-04 충북대학교 산학협력단 오토 인코더 기법을 이용한 수출입 물동량에 대한 이상치 탐지 방법 및 이를 기록한 기록매체

Similar Documents

Publication Publication Date Title
US11108575B2 (en) Training models for IOT devices
WO2022088082A1 (zh) 基于缺陷检测的任务处理方法、装置及设备及存储介质
US11412574B2 (en) Split predictions for IoT devices
CN111523640A (zh) 神经网络模型的训练方法和装置
US20190037040A1 (en) Model tiering for iot device clusters
CN115905450B (zh) 一种基于无人机监控的水质异常溯源方法及系统
CN112789628A (zh) 电子装置及其控制方法
US11838192B2 (en) Apparatus and method for monitoring network
KR20230031117A (ko) 계산 비용을 최소화하기 위한 인공신경망 기반의 이상 탐지를 위한 장치 및 이를 위한 방법
US20230065385A1 (en) Apparatus and method for anomaly detection
US20240153059A1 (en) Method and system for anomaly detection using multimodal knowledge graph
US20230215143A1 (en) Detection method, device, apparatus, and storage medium
CN116400670A (zh) 采煤机控制系统的仿真测试方法及系统
WO2020055659A1 (en) Generation and utilization of self-improving data-driven models with selective simulation of 3d object design
US20240045411A1 (en) Anomaly Detection Method and Apparatus for Dynamic Control System, and Computer-Readable Medium
CN116017543A (zh) 信道状态信息反馈增强方法、装置、系统和存储介质
US20210168195A1 (en) Server and method for controlling server
CN114611698A (zh) 模型的部署方法、装置、电子设备及存储介质
EP3659321B1 (en) Tiered data processing for iot device clusters
KR20230115143A (ko) 로그 스케일링 손실함수를 이용한 학습모델을 생성하기 위한 장치 및 이를 위한 방법
CN115204026A (zh) 车辆数据模型的训练方法、装置、车辆、介质和程序产品
KR20230075260A (ko) 센서의 문맥 인식 기반 결측값을 보간하기 위한 장치 및 이를 위한 방법
KR20230127475A (ko) 인공신경망을 기반으로 하는 실시간 공정 진단을 위한 장치 및 이를 위한 방법
KR20230045499A (ko) 주행 소음의 지속 시간을 이용한 노면의 상태를 분석하기 위한 장치 및 이를 위한 방법
WO2024045642A1 (zh) 一种数据异常检测方法及装置