KR20200033515A - 다중특징 추출 및 전이학습 기반 기계학습 장치/방법 및 이를 이용한 누출 탐지 장치 - Google Patents

다중특징 추출 및 전이학습 기반 기계학습 장치/방법 및 이를 이용한 누출 탐지 장치 Download PDF

Info

Publication number
KR20200033515A
KR20200033515A KR1020180112873A KR20180112873A KR20200033515A KR 20200033515 A KR20200033515 A KR 20200033515A KR 1020180112873 A KR1020180112873 A KR 1020180112873A KR 20180112873 A KR20180112873 A KR 20180112873A KR 20200033515 A KR20200033515 A KR 20200033515A
Authority
KR
South Korea
Prior art keywords
learning
feature
model
features
transfer
Prior art date
Application number
KR1020180112873A
Other languages
English (en)
Inventor
배지훈
김관중
문순성
박진호
양봉수
여도엽
오세원
윤두병
이정한
조성익
김내수
표철식
Original Assignee
한국전자통신연구원
한국원자력연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 한국원자력연구원 filed Critical 한국전자통신연구원
Priority to KR1020180112873A priority Critical patent/KR20200033515A/ko
Priority to US16/564,400 priority patent/US20200097850A1/en
Publication of KR20200033515A publication Critical patent/KR20200033515A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G06K9/00201—
    • G06K9/00744—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0221—Preprocessing measurements, e.g. data collection rate adjustment; Standardization of measurements; Time series or signal analysis, e.g. frequency analysis or wavelets; Trustworthiness of measurements; Indexes therefor; Measurements using easily measured parameters to estimate parameters difficult to measure; Virtual sensor creation; De-noising; Sensor fusion; Unconventional preprocessing inherently present in specific fault detection methods like PCA-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/086—Learning methods using evolutionary algorithms, e.g. genetic algorithms or genetic programming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/12—Computing arrangements based on biological models using genetic models
    • G06N3/126—Evolutionary algorithms, e.g. genetic algorithms or genetic programming

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Automation & Control Theory (AREA)
  • Image Analysis (AREA)

Abstract

본 발명에서는 복수 개의 센서들로부터 수집된 시계열 데이터로부터 다중특징을 추출하고 이를 전이학습하는 장치/방법 및 이를 활용하여 플랜트 배관계에서의 누출탐지 장치를 제안한다. 본 발명에 따르면, 복수 개의 센서들로부터 수집된 시계열 데이터로부터 기계잡음 및 소음에 강인한 다중 특징들을 추출하고 이에 대해 전이학습 기반으로 기계학습을 수행하는 방법이 제공된다. 이 방법은 다수의 센서로부터 입력받은 각 센서별 데이터 스트림으로부터 다중특징을 추출하는 다중특징 추출부; 상기 다중특징에 대해 사전 학습완료된 학습 모델로부터 유용한 다중특징 보를 추출하고 이 추출된 다중특징 정보를 하기의 다중특징 학습부로 전달하여 상기 다중특징에 대한 전이학습을 수행하는 모델을 생성하는 전이학습 모델 생성부; 상기 다중특징별 전이학습 모델로부터 학습변수를 입력받아 다중특징에 대해 병렬학습을 수행하여 비용(loss)을 계산하여 출력하는 다중특징 학습부를 포함한다.

Description

다중특징 추출 및 전이학습 기반 기계학습 장치/방법 및 이를 이용한 누출 탐지 장치 {Machine learning method/apparatus based on multiple features extraction and transfer learning and apparatus for leak detection using same}
본 발명은 다수의 센서로부터 측정된 신호 특성을 반영한 다중특징 추출과 전이학습에 기반한 기계학습 장치/방법, 그리고 이를 이용하여 플랜트 배관계의 누출감시(leak monitoring)를 수행하기 위한 장치에 관한 것이다.
최근, 인간의 뇌를 모방한 딥러닝 기술이 크게 발전함에 따라 영상인식/처리, 자동 음성인식, 비디오 행동인식, 자연어 처리 등 각종 응용 분야에서 딥러닝 기술 기반의 기계학습을 활발히 적용하고 있는 추세이다. 응용 분야별로 특정의 센서로부터 측정신호를 받아 이 신호의 해당 응용에 특화된 신호 특성을 반영하여 기계학습을 수행하도록 특화된 학습 모델을 구성하는 것이 필요하다.
한편, 초기 건설시에 설치된 플랜트 배관들의 노후화가 진행되어 부식(corrosion) 및 감육(wall thinning), 누출(leak) 등의 발생 사례들이 꾸준히 보고되고 있으며, 이러한 노후화된 배관계의 조기 누출탐지 요구가 증대되고 있다. 이러한 누출탐지 방법으로 비교적 값이 저렴한 음향센서를 이용할 수 있는데, 현재, 누출이 발생할 경우 고주파영역에서 음향신호가 검출된다는 실험결과를 기반으로 누출을 판정하는 기기가 상용화되어 사용되고 있다.
하지만, 플랜트에서 발생되는 다양한 기계잡음이나 소음환경으로 인해 미세 누출의 진위를 판별하는 데에 어려움이 있으며, 또한 이러한 방식으로는 원격의 상시 감시가 불가능하여 조기 누출감지에 한계가 있다. 따라서, 노후화된 플랜트 배관계의 조기 누출탐지를 위하여 기계운전 등의 소음환경하에서도 미세누출을 검출할 수 있는 데이터 신호처리 기법과 이를 이용한 상시 누출감시 기술이 매우 중요하다. 그러나, 아직까지 미세누출 검출 신호처리에 기반하여 누출탐지를 지속/상시적으로 수행하는 체계적인 시스템의 개발은 미진한 상태이다.
따라서, 본 발명에서는 복수 개의 센서들로부터 수집된 시계열 데이터로부터 다중특징을 추출하고 이를 전이학습하는 방법과 함께, 이를 활용하여 플랜트 배관계에서의 누출탐지를 수행하도록 하여 상술한 문제점들을 해결하고자 한다.
상기 과제를 해결하기 위하여, 본 발명의 한 측면에 따르면, 복수 개의 센서들로부터 수집된 시계열 데이터로부터 기계잡음 및 소음에 강인한 다중 특징들을 추출하고 이에 대해 전이학습 기반으로 기계학습을 수행하는 장치/방법을 제공하고자 한다.
이 제1측면에 따르면, 다수의 센서로부터 입력받은 각 센서별 데이터 스트림으로부터 다중특징을 추출하는 다중특징 추출부 - 여기서 다중특징은 상기 입력 데이터의 특성으로부터 앰비규티 영역변환된 앰비규티 특징과, 각 센서별 데이터 스트림을 구성하는 패킷구간의 수에 따라 다중의 추세구간별로 추출된 다중추세 상관관계 특징을 포함함; 상기 다중특징에 대해 사전 학습완료된 학습 모델로부터 유용한 다중특징 정보를 추출하고 이 추출된 다중특징 정보를 하기의 다중특징 학습부로 전달하여 상기 다중특징별로 전이학습을 수행하는 학습 모델을 생성하는 전이학습 모델 생성부; 상기 다중특징별 학습 모델로부터 학습변수를 입력받아 다중특징들에 대해 병렬학습을 수행하여 비용을 계산하여 출력하는 다중특징 학습부를 포함하는 다중특징 추출 및 전이학습 기반 기계학습 장치가 제공된다.
이 기계학습 장치의 실시예에 따르면, 상기 다중특징 추출부는 상기 앰비규티 특징을 추출하는 추출기를 포함하는데, 이 앰비규티 특징 추출기는, 각 센서들로부터 전송된 데이터 스트림으로부터 상호 시간-주파수 스펙트럼 변환과 2D 푸리에 변환을 이용한 앰비규티 영역변환을 통하여 센서 데이터 형태의 특성을 영상특징으로 변환시키도록 구성될 수 있다.
여기서, 상기 앰비규티 특징은 2차원의 특징을 깊이 방향으로 축적하여 생성된 3차원의 볼륨특징을 포함할 수 있다.
또한, 상기 기계학습 장치의 실시예에 따르면, 상기 다중특징 추출부는 상기 다중추세 상관관계 특징을 추출하는 다중추세 상관관계 특징 추출기를 포함하는데, 이 다중추세 상관관계 특징 추출기는, 각 센서별 데이터 스트림에서 상이한 수의 패킷구간으로 구성된 다수의 추세구간 동안 추출된 데이터들로 열벡터들을 구성하여, 각 추세구간별 열벡터 크기가 서로 동일하도록 각 추세구간별로 데이터를 추출하여 다중추세 상관관계 특징을 출력하도록 구성될 수 있다.
또한, 상기 기계학습 장치의 실시예에 따르면, 상기 전이학습 모델 생성부에서 생성되는 학습 모델은 사전 학습완료된 정보를 추출하여 전달하는 선생모델과 상기 추출된 정보를 받고자 하는 학생모델을 포함하는데, 이 학생모델은 상기 다중특징의 수와 동일한 수로 구성되어, 사전학습 완료된 선생모델의 유용한 정보가 이들 다수의 다중특징별 학생모델들로 각각 전달되어 학습될 수 있다. 또는, 상기 전이학습 모델 생성부에서 생성되는 학습 모델은 사전 학습완료된 정보를 추출하여 전달하는 선생모델과 상기 추출된 정보를 받고자 하는 학생모델을 포함하는데, 이 학생모델은 단일의 공통모델로 구성되어, 사전학습 완료된 선생모델의 유용한 정보가 이 단일의 공통의 학생모델로 전달되어 학습될 수 있다.
또한, 상기 기계학습 장치의 실시예에 따르면, 상기 선생모델로부터 추출되는 유용한 정보는 학습데이터 입력으로부터 임의의 레이어까지의 학습변수 정보를 포함하는 특징맵의 출력값에 해당하는 하나의 힌트정보이며, 이 단일 힌트정보의 전달은, 선생모델에서 선택된 레이어에서의 특징맵 출력결과와 학생모델에서 선택된 레이어에서의 특징맵 출력결과 사이의 유클리디안 거리에 대한 손실함수가 최소가 되도록 수행될 수 있다.
또한, 상기 기계학습 장치의 실시예에 따르면, 상기 전이학습 모델 생성부에서 생성되는 학습 모델을 주기적으로 업데이트하는 수단이 추가로 포함될 수 있다.
또한, 상기 기계학습 장치의 실시예에 따르면, 다중특징 학습부로부터 학습된 결과들을 받아 학습 결과를 최종 평가하는 다중특징 평가부를 추가로 포함될 수 있다. 그리고 이 경우에 상기 다중특징 평가부 내에 입력된 학습결과들을 바탕으로 비용에 따른 다중특징의 최적 조합이 얻어질 때까지 다중특징의 조합을 반복 수행하는 다중특징 조합 최적화부가 추가로 포함될 수 있다.
한편, 상기 과제를 해결하기 위한 본 발명의 다른 측면에 따르면, 다수의 센서에서 전송된 데이터 스트림으로부터의 다중특징 추출 및 전이학습에 기반한 기계학습 방법이 제공되는데, 이 방법은, 다수의 센서로부터 입력받은 각 센서별 데이터 스트림으로부터 다중특징을 추출하는 다중특징 추출절차 - 여기서 다중특징은 상기 입력 데이터의 특성으로부터 앰비규티 영역변환된 앰비규티 특징과, 각 센서별 데이터 스트림을 구성하는 패킷구간의 수에 따라 다중의 추세구간별로 추출된 다중추세 상관관계 특징을 포함함; 상기 다중특징에 대해 사전 학습완료된 학습 모델로부터 유용한 다중특징 정보를 추출하고 이 추출된 다중특징 정보를 하기의 다중특징 학습절차로 전달하여 상기 다중특징별로 전이학습을 수행하는 학습 모델을 생성하는 전이학습 모델 생성절차; 상기 다중특징별 학습 모델로부터 학습변수를 입력받아 다중특징에 대해 병렬학습을 수행하여 비용을 계산하여 출력하는 다중특징 학습절차를 포함한다.
또 한편, 상기 과제를 해결하기 위한 본 발명의 또 다른 측면에 따르면, 다수의 센서에서 전송된 데이터 스트림으로부터의 다중특징 추출 및 전이학습에 기반한 기계학습 장치를 이용한 미세누출 탐지 장치가 제공된다.
이 장치는 다수의 센서로부터 입력받은 각 센서별 데이터 스트림으로부터 다중특징을 추출하는 다중특징 추출부 - 여기서 다중특징은 상기 입력 데이터의 특성으로부터 앰비규티 영역변환된 앰비규티 특징과, 각 센서별 데이터 스트림을 구성하는 패킷구간의 수에 따라 다중의 추세구간별로 추출된 다중추세 상관관계 특징을 포함함; 상기 다중특징에 대해 사전 학습완료된 학습 모델로부터 유용한 정보를 추출하고 이 추출된 유용한 정보를 하기의 다중특징 학습부로 전달하여 상기 다중특징별로 전이학습을 수행하는 학습 모델을 생성하는 전이학습 모델 생성부; 상기 다중특징 학습 모델로부터 학습변수를 입력받아 다중특징에 대해 병렬학습을 수행하여 비용을 계산하여 출력하는 다중특징 학습부; 상기 다중특징 학습부에서 생성된 학습 모델로부터 학습된 결과들을 받아 미세누출 여부를 최종 평가하는 다중특징 평가부를 포함한다.
이상에서 소개한 본 발명의 구성 및 작용은 차후에 도면과 함께 설명하는 구체적인 실시예를 통하여 더욱 명확해질 것이다.
본 발명에 따른 다중특징 추출 및 전이학습에 따르면, 복수 개의 센서로부터 시계열 데이터들을 수집하고 이 시계열 데이터로부터 미세누출 영상특징들을 추출하여 전이학습 기반의 다중특징 앙상블 학습을 수행하고 평가함으로써 최적의 성능을 도출할 수 있으며, 특히, 이러한 다중특징 추출 및 전이학습에 기반한 미세누출 탐지 장치 및 방법에 따르면, 미세누출을 조기에 감지하여 최적의 성능을 도출할 수 있다. 구체적으로, 플랜트 환경하에서 기계잡음 및 소음, 주변잡음이 발생하더라도 본 발명에서 제안한 영상화 신호처리 기법을 통하여 미세 누출신호 특성이 잘 반영된 영상/볼륨 특징들을 추출함으로써, 누출탐지의 신뢰도를 크게 향상시킬 수 있다. 더하여, 패턴인식에 강인한 딥러닝 학습에 적합한 미세누출 영상 특징들을 추출함으로써, 복수 개의 센서들을 이용한 데이터 수집단계서부터, 특징추출, 전이학습 기반 앙상블 최적화 학습을 통하여 데이터 기반 미세누출의 조기검출 및 상시 감시가 가능해진다.
도 1은 본 발명의 일 실시예에 따른 다중특징 추출 및 전이학습 장치/방법 및 이를 이용한 미세누출 탐지 장치/방법의 구성도
도 2는 다중특징 추출부(20) 내의 앰비규티 특징 추출기(22)의 세부 구성도
도 3은 앰비규티 영상특징들의 다양한 예시
도 4는 다수의 앰비규티 특징들을 깊이 방향으로 합성하여 얻어진 볼륨특징
도 5는 다중추세 상관관계 영상특징 추출의 예시도
도 6은 다중특징 전이학습 구조 방식의 예시도
도 7은 단일 힌트정보 추출 및 학습의 예시도
도 8은 다중 힌트정보 추출 및 학습의 예시도
도 9는 전이학습 모델을 이용한 다중특징 학습부(40)의 구성 예시도
도 10은 본 발명의 다른 실시예에 따른 다중특징 추출 및 전이학습 방법 및 이를 이용한 미세누출 탐지 장치의 구성도
도 11은 다중특징조합 객체 및 가중치 객체들을 포함하는 유전체 생성 방법의 예시도
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 기술되어 있는 실시예를 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예는 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 기재에 의해 정의된다.
한편, 본 명세서에서 사용된 용어는 실시예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자 이외의 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
이하, 본 발명의 바람직한 실시예를 첨부 도면을 참조하여 상세히 설명한다. 이제 설명할 실시예는 다수의 센서로부터 취득된 정보로부터의 다중특징 추출 및 전이학습 방법과 이 다중특징 추출 및 전이학습을 이용하여 플랜트 배관계에서의 미세누출을 탐지하는 장치에 관한 것이다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가급적 동일한 부호를 부여하고 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있는 경우에는 그 상세한 설명을 생략한다.
도 1은 본 발명의 일 실시예에 따른 다중특징 추출 및 전이학습 방법 및 이를 이용한 미세누출 탐지 장치/방법의 전체 구성도이다. 이 실시예에 따른 다중특징 추출 및 전이학습 장치/방법은 다수 개(M)의 센서(10) 입력, 다중특징 추출부/추출절차(20), 전이학습 모델 생성부/생성절차(30), 다중특징 학습부/학습절차(40), 다중특징 평가부/평가절차(50)를 포함한다. 이하에서는 본 발명의 장치의 구성요소인 '...부' 및 '... 기'를 대표로 설명하겠지만, 본 발명의 방법의 구성요소인 '...절차'의 기능 내지는 프로세스도 또한 '...부' 및 '...기'와 실질적으로 동일하다.
다중특징 추출부(20)는 앰비큐티 특징(ambiguity feature) 추출기(22) 및 복수 개의 다중추세 상관관계 특징 추출기(24)들로 구성되어 있으며, 복수 개의 센서(10)로부터 시계열 데이터들을 입력받아 미세누출 탐지를 위한 특성이 잘 반영되고 딥러닝 학습에 적합한 영상특징들을 추출한다.
도 2는 다중특징 추출부(20) 내의 앰비규티 특징 추출기(22)의 세부 구성도이다. 앰비규티 특징 추출기(22)는, 예시로서, 도 2와 같이 근접거리의 시간 지연차가 존재하는 두 개의 센서들로부터 1차원 시계열 센서1 데이터(12a)와 1차원 시계열 센서2 데이터(12b)를 수신하여, 이들 입력 신호로부터 잡음을 제거하기 위한 필터링(221a, 221b)을 행한 후, 단구간 퓨리에 변환(STFT: short time Fourier transform) 혹은 웨이블렛 변환(wavelet transform) 기법을 이용한 상호 시간-주파수 스펙트럼 변환기(Cross time-frequency spectrum transform)(223)와 2D 푸리에 변환기(229)를 이용한 앰비규티 영역변환을 통하여 1차원 시계열 데이터 형태의 특성(예를 들어, 누출음 특성)을 앰비규티 영상특징(231)으로 변환시킨다.
이때, 도 2의 상호 시간-주파수 스펙트럼 변환기(223)의 출력 P는, 여기에 입력된 필터링된 시계열 데이터 x, y가 단구간 푸리에 변환기(224a, 224b)를 통해 변환된 X' 및 Y'로부터 아래 수학식 1과 같이 요소별 곱셈기(225)와 복소공액연산기(227)의 연산을 이용하여 구할 수 있다.
Figure pat00001
여기서,
Figure pat00002
는 2차원 행렬의 요소별 곱셈 연산을, conj(*)는 복소공액 연산을 의미한다.
도 3은 미세누출 탐지시 기계잡음에 의해 발생할 수 있는 다양한 신호와 누출음에 대하여 상기 도 2의 영상화 기법을 적용하여 출력된 앰비규티 영상특징(231)들을 비교하기 위한 것이다.
처프(chirp) 신호(a), 충격신호(b), 정현파 신호(c)는 2차원 영역에서 특정 기울기를 갖는 사선으로 표현되는 반면, 누출신호(d, e)는 점 형태로 표현되는 것을 관찰할 수 있다. 미세누출 신호가 담긴 이들 점 형태의 앰비규티 영상특징(d, e)은 도 3과 같이 이론적으로는 점 형태의 특징((d)의 점선 원 내)으로 표현되나(d), 실제로는 누출신호가 점유하는 대역폭에 따라 점 형태가 타원형 등의 퍼진 형태((e)의 점선 원 내)로 나타날 수 있다(e). 따라서, 본 발명에서 제안하는 영상화 기법에 따르면 기존의 누설탐지 방법에서 용이하게 구분하지 못했던 분산신호(chirp 신호), 충격신호, 정현파 신호 등의 기계잡음 신호들을 용이하게 구분할 수 있는 장점이 있다.
한편, 기계잡음 및 소음 등의 큰 잡음환경하에서 센서(10)로부터 데이터를 수집할 경우 미세누출 검출의 경우에도 점 형태의 미세누출 특징이 영상으로 표현되지 않을 수 있기 때문에 기계학습 적용시 인식 오류가 발행할 수 있다.
이러한 문제점을 해결하기 위하여 도 4에서 보는 것과 같이 각 센서 쌍 S(#1,#2), ..., S(#i,#j)로부터 추출된 복수 개의 W(width)×H(height) 2차원 앰비규티 영상특징(231)들을 깊이(D) 방향으로 축적하여 합성한 3차원의 영상특징을 추출한다. 본 발명에서는 이 3차원의 영상특징을 '볼륨특징'(233)(volume feature)이라고 명명하기로 한다. 점 형태가 누락된 앰비규티 영상이 일부 존재하더라도 볼륨특징(233) 내에는 점 형태가 표현되어 있는 다른 앰비규티 영상들이 있을 수 있기 때문에 이를 이용하여 상호보완적 학습이 가능해진다.
다음으로, 다중특징 추출부(20) 내의 다중추세 상관관계 특징 추출기(24)는 도 5와 같이 각 센서별 데이터가 소정의 패킷주기(241)와 패킷구간(243)을 갖도록 구성된 스트림, 즉, m차 센서 데이터 스트림(245)(m=1, 2, ..., M)에서 소수의 패킷구간들로 구성되는 단기 추세구간(Ts) 동안 추출된 데이터들을 이용하여 M개의 열벡터로 구성하고, 여러 개의 패킷구간들로 구성되는 중기 추세구간(Tm) 동안 각 센서별로 추출된 데이터들을 이용하여 M개의 열벡터를 구성하고, 다수의 장기간 패킷구간들로 구성되는 장기 추세구간(Tl) 동안 각 센서별로 추출된 데이터들을 이용하여 M개의 열벡터를 구성한다. 이때, 각 추세구간별 열벡터 크기가 서로 동일하도록 각 추세별로 데이터를 추출한다. 각 추세별로 데이터들을 추출하여 열벡터를 구성할 때에는, 원본 데이터에 대하여 직접 리샘플링(resampling)을 수행하거나 원본 데이터를 저역통과필터(low-pass filter: LPF), 고역통과필터(high-pass filter: HPF), 대역통과필터(band-pass filter: BPF)를 이용하여 필터링한 후 리샘플링을 수행하여 열벡터를 구성할 수 있다. 또한, 리샘플링 동작시 최대값, 산술 평균값, 기하 평균값, 가중치 평균값 등과 같은 대표값들을 추출할 수 있다. 이렇게 추세별로 추출된 열벡터들을 도 5에서와 같이 합하여(concatenation) 행렬 A를 구성한 다음, 수학식 2와 같이 그람(Gramian) 연산을 이용하여 행렬 G를 생성한다. 행렬 G는 다중추세 상관관계 영상특징(247)이다.
Figure pat00003
여기서,
Figure pat00004
는 두 벡터 간의 내적곱,
Figure pat00005
는 행렬 A를 구성하는 벡터,
Figure pat00006
는 G를 구성하는 행렬요소를 나타낸다. 따라서, 수학식 2에 따른 다중추세 상관관계 영상특징(247)을 표현하는 행렬 G는 각 센서별로 각 추세별 상관관계 정보를 영상으로 표현한다.
상기 다중추세 상관관계 영상특징(247) 생성시에는, 1) 각 추세별로 입력되는 원본 데이터를 그대로 이용하여 상기에서 기술한 리샘플링 및 그람연산 과정을 적용하여 영상특징을 생성하거나, 2) 각 추세별로 입력되는 원본 데이터를 RMS(Root Mean Square) 데이터로 변환한 다음 상기에서 기술한 리샘플링 및 그람연산 과정을 적용하여 영상특징을 생성하거나, 3) 각 추세별로 입력되는 원본 데이터를 주파수 스펙트럼 데이터로 변환한 다음 상기에서 기술한 리샘플링 및 그람연산 과정들을 적용하여 영상특징을 생성하는 등 다양한 신호처리 과정을 거친 후 복수 개의 다중추세 상관관계 영상특징(247)들을 추출할 수 있다(특징#2 ~ 특징#N).
다시 도 1을 참조하면, 전이학습 모델 생성부(30)는 사전학습 완료된 선생모델(32)로부터 유용한 정보를 추출하고 이 추출된 정보를 도 1의 다중특징 학습부(40)로 전달하여 전이학습(transfer learning)을 수행하도록 한다. 여기서, 사전 학습완료된 정보를 추출하여 전달하고자 하는 모델을 선생모델(teacher model)로, 상기 추출된 정보를 받고자 하는 모델을 학생모델(student model)로 정의한다.
본 발명에서 제안하는 다중특징 전이학습 구조는 도 6(a)와 같이 사전학습 완료된 선생모델(32)의 유용한 정보가 도 1의 다중특징 학습부(40)를 이루는 학습기들과 동일한 개수인 N개의 다중특징별 학생모델(34-1 ~ 34-N)들로 각각 전달하여 학습하도록 구성하거나, 도 6(b)와 같이 사전학습 완료된 선생모델(32)의 유용한 정보를 단일의 공통 학생모델(36)로 전달하여 학습한 후에 도 1의 다중특징 학습부(40)가 이 공통모델(36)을 이용하여 다중특징 학습을 수행하도록 구성할 수 있다.
보다 구체적으로 예를 통해 설명하면, 사전학습 완료된 선생모델(32)로부터 추출되는 유용한 정보는 도 7(a)에서와 같이 입력 학습데이터(320)로부터 임의의 특정 레이어(321)까지의 학습변수(weights) 정보를 포함하는 특징맵(feature maps)(323)의 출력값에 해당하는 하나의 힌트정보(hint information)로 정의될 수 있다.
이 단일 힌트정보를 전달하기 위한 전이학습 방법은, 도 7(b)를 참조하면, 정보를 전달하고자 하는 선생모델(32)에서 선택된 레이어(321)에서의 특징맵 출력결과(323)와 정보를 받고자 하는 학생모델(34)에서 선택된 레이어(341)에서의 특징맵 출력결과(343) 사이의 유클리디안 거리(Euclidean distance)에 대한 손실함수가 최소가 되도록 수행된다. 즉, 학생모델(34)의 특징맵(343) 출력이 사전학습 완료된 선생모델(32)의 특징맵(323) 출력과 닮아가도록 전이학습을 수행한다.
상기 도 7의 단일 힌트정보 추출 및 학습방법은 도 6의 두 가지 전이학습 구조 모두에 적용 가능하다. 도 6(a)의 전이학습 구조에 대하여 도 7의 전이학습 방법을 적용할 경우 N개의 학생모델(34) 각각에 대하여 해당되는 각 볼륨특징(233)을 학습데이터로 이용하여 전이학습을 수행할 수 있다. 또한, 도 6(b)의 전이학습 구조에 대하여 도 7의 전이학습 방법을 적용할 경우 단일 공통모델(36)에 대하여 서로 다른 N개의 볼륨특징(233)들을 합하여 이를 학습데이터로 이용하여 전이학습을 수행할 수 있다.
한편, 상기에서 기술한 힌트정보와 함께, 다음의 수학식 3과 같이 특징맵 출력에 대한 그람연산을 이용하여 힌트상관관계를 표현하는 행렬 G'를 선생모델의 추출정보로 이용할 수 있다.
Figure pat00007
여기서, F는 특징맵 출력을 2차원 행렬로 재구성한 행렬을, g ij는 G'를 구성하는 행렬요소를 각각 나타낸다.
따라서, 선생모델에서 학생모델로 추출정보를 전달시, 상기 도 7에서 기술한 힌트정보를 단독으로 전달하거나, 수학식 3의 힌트상관관계 정보를 단독으로 전달하거나, 두 정보에 사용자가 정의한 가중치를 부여하여 두 정보에 대한 유클리디안 손실함수의 총합이 최소가 되도록 전이학습을 수행할 수 있다.
한편, 전이학습에 이용되는 학습데이터로는, 상기에서 기술한 바와 같이 도 1의 다중특징 추출부(20)에서 추출된 N개의 볼륨특징(233)을 이용할 수 있는데, 이 경우 볼륨특징을 구성하는 각 픽셀의 값이 순수 랜덤데이터로 구성된 볼륨특징들을 이용할 수 있다. 이는 다중특징 추출부(20)에서 추출된 볼륨특징 개수가 적을 경우 전이학습에 필요한 충분한 데이터를 확보할 수 있음에, 그리고 동시에, 사전 학습완료된 선생모델에 존재하는 정보를 일반화하여 추출하는 데 그 의미가 있을 수 있다.
상술한 사전학습 완료된 선생모델(32)로부터 복수 개의 레이어(321)들을 선택하고 여기에 해당하는 다중 힌트정보들을 추출하여 이들을 도 1의 다중특징 학습부(40)로 전달하기 위한 방법에는, 다중 힌트정보 동시학습 방법과 다중 힌트정보 순차학습 방법이 있다.
다중 힌트정보 동시학습 방법은 도 8(a)와 같이 선생모델(32)과 학생모델(34)에서 선택된 L개의 다중 레이어 쌍(321-1, 321-2, ..., 321-L)(341-1, 341-2, ..., 341-L)에서, 선생모델(32)의 특징맵(323-1, ..., 323-L) 출력결과들과 학생모델(34)의 특징맵(343-1, ..., 343-L) 출력결과들 사이의 유클리디안 거리의 총합에 대한 손실함수가 최소가 되도록 동시에 학습하는 방법이다.
다중 힌트정보 순차학습 방법은 상기 도 8(a)의 경우와 같이 동일하게 선택된 L개의 다중 레이어 쌍에서 최하위 레이어로부터 최상위 레이어까지 힌트정보를 하나씩 순차적으로 전달하는 방법으로, 먼저 도 8(b)와 같이 가장 하위 레이어인 레이어1(321-1; 341-1)에서의 선생모델(32)과 학생모델(34) 사이의 특징맵 출력결과(323-1; 343-1)에 대한 유클리디안 손실함수가 최소가 되도록 학습을 수행하여 학습변수를 저장한다. 그 다음, 저장된 학습변수를 그대로 로드(load)한 다음 레이어1(321-1; 341-1)에서부터 레이어2(321-2; 341-2)까지의 학습변수를 랜덤으로 초기화한 다음, 도 8(c)와 같이 차상위 레이어2(321-2; 341-2)에서의 선생모델(32) 및 학생모델(34) 사이의 특징맵 출력결과(323-2; 343-2)에 대한 유클리디안 손실함수가 최소가 되도록 학습을 수행하여 학습변수를 저장한다. 다음으로, 상기 저장된 학습변수를 그대로 로드하고 차상위 레이어3(미도시)까지 나머지 학습변수를 랜덤으로 초기화한 다음, 최상위 레이어L(321-L; 341-L)로 도달할 때까지 상기 순차적 절차를 반복 수행한다. 여기서도, 상기 다중 힌트정보 추출 및 학습 방법 역시 도 6의 두 가지 전이학습 구조에 모두 적용 가능하다.
한편, 다중 힌트정보 추출시 선생모델(32)에서 추출되는 정보는 상기 단일 힌트정보 추출 및 전달에 대해서 기술한 바와 같이 힌트정보 및 힌트상관관계 정보 모두 다중 힌트정보 추출에 적용될 수 있으며, 다중 힌트정보 전달시 또한 각 레이어에 대하여 힌트정보를 단독으로 전달하거나, 각 레이어에 대하여 힌트상관관계 정보를 단독으로 전달하거나, 각 레이어에 대하여 상기 두 정보에 대한 가중치를 부여하여 전달할 수 있다.
이 경우의 전이학습에 이용되는 학습데이터 또한 상기 단일 힌트정보에 대한 전이학습 방법과 마찬가지로, 도 1의 다중특징 추출부(20)에서 추출된 N개의 볼륨특징(233)을 이용할 수 있으며, 또한, 이 경우에 볼륨특징을 구성하는 각 픽셀의 값이 순수 랜덤데이터들로 구성된 볼륨특징(233)들을 이용할 수 있다.
한편, 전이학습을 위한 상기 선생모델(32)과 학생모델(34)은 주기적으로(사용자가 정한 주기에 따라) 학습데이터를 수집하여 업데이트를 수행할 수 있다. 보다 구체적으로 해당 주기에 추가 데이터를 이용하여 기존의 선생모델(32)을 추가 학습하여 업데이트한 다음 본 발명에서 기술하였던 전이학습 기법을 이용하여 기존 학생모델(34)들도 추가 학습하도록 하여 새로이 업데이트를 수행할 수 있다. 업데이트의 또 다른 방법으로는, 수집되는 데이터 분포에 변화가 생길 경우 변화가 발생한 데이터를 수집하고 추가 학습을 수행하여 모델 업데이트를 수행할 수 있다. 또한, 수집되는 데이터 분포가 사용자가 정의한 영역에서 벗어날 경우, 상기 업데이트 절차를 수행할 수 있다. 일 실시예로, 전이학습 모델 생성부(30)로 입력되는 영상특징의 히스토그램 분포에 대한 쿨백-라이브러 발산(Kullback-Leibler divergence)을 이용한 유사도를 측정하여 전이학습을 통한 모델 업데이트를 수행할 수 있다.
도 9는 전술한 전이학습 모델을 이용한 다중특징 학습부(40)의 구성 예시도이다. 도 1의 다중특징 학습부(40)의 각 학습기(42-1, ..., 42-N)는 상기 도 6, 도 7, 도 8을 참조하여 기술한 전이학습 방법으로 출력된 학습변수(421-1, ..., 421-N)를 입력받아 각 학습기별로 학습변수 랜덤초기화(423)를 하여 다중특징 학습을 위한 N개 학습기로 구성되는 학습기모델을 구성한다.
도 9(a)는 도 6의 (a)에 상응하여, 각 학습기(42-1, ..., 42-N)마다 학생모델#1에 대한 학습변수(421-1), 학생모델#2에 대한 학습변수(421-2), ..., 학생모델#N에 대한 학습변수(421-1)를 받아서 N개의 학습기(42-1, ..., 42-N)로 학습기 모델을 구성하는 것이고, 도 9(b)는 도 6의 (b)에 상응하여, 각 학습기(42-1, ..., 42-N)마다 공통 학생모델(공통모델)에 대한 학습변수(425)를 받아서 N개의 학습기(42-1, ..., 42-N)로 학습기 모델을 구성하는 것이다.
보다 구체적으로, 상기 도 6(a)의 방식으로 전이학습을 수행할 경우, 각 특징별 학생모델(34)들에 대하여 도 7 혹은 도 8에서 기술한 전이학습 방법을 수행하여 최종 저장된 N개의 학습변수들을 각각 로드하고, 각 학습기 모델에 대하여 전이학습을 위하여 선택된 최종 레이이에서 마지막 출력 레이어까지의 나머지 학습변수를 각각 랜덤으로 초기화하여 다중특징 학습부(40)를 구성한다. 한편, 상기 도 6(b)의 방식으로 전이학습을 수행할 경우에는, 단일 공통모델에 대하여 도 7 혹은 도 8에서 기술한 전이학습 방법을 수행하여 최종 저장된 단일 학습변수를 로드하고, 각 특징별로 상기 로드한 학습변수가 저장된 공통모델을 이용하여 마지막 출력 레이어까지의 나머지 학습변수를 각각 랜덤으로 초기화하여 다중특징 학습부(40)를 구성한다.
따라서, 상기 다중특징 추출부(20)로부터 출력된 N개의 볼륨특징들을 입력받아 각 볼륨특징별로 전이학습 결과로 이루어진 N개의 학습기들로 병렬학습을 수행하고 비용(loss)을 계산한다. 이때, 비용은 학습기에서 학습한 학습모델, 정확도, 복잡도를 비롯한 결과들을 이용하여 계산할 수 있다.
이상에서와 같이 본 발명은 장치 측면 또는 방법적 측면으로 실시가능한데, 특히 본 발명의 실시예의 각 구성요소의 기능(function) 또는 과정(process)은 DSP(digital signal processor), 프로세서, 컨트롤러, ASIC(application-specific IC), 프로그래머블 로직소자(FPGA 등), 기타 전자소자 중의 적어도 하나 그리고 이들의 조합이 포함되는 하드웨어 요소로써 구현가능하다. 또한 하드웨어 요소와 결합되어 또는 독립적으로 소프트웨어로써도 구현가능한데, 이 소프트웨어는 컴퓨터 판독가능한 기록매체에 저장가능하다.
이상에서 설명한 내용은 다수의 센서로부터 취득된 정보로부터의 다중특징 추출 및 전이학습에 관련된 내용이고, 이제부터는 이 다중특징 추출 및 전이학습을 이용하여 플랜트 배관계에서의 미세누출을 탐지하는 장치에 관련된 내용을 설명한다.
도 1로 다시 돌아가면, 상기 다중특징 추출부(20)로부터 출력된 N개의 볼륨특징들을 입력받아 각 볼륨특징별 전이학습 결과로 이루어진 N개의 학습기들로 병렬학습을 수행하고, 비용(loss)을 계산하여 다중특징 평가부(50)에 전달한다. 다중특징 평가부(50)는 다중특징 학습부(40)에서 만들어진 N개의 학습기로부터 학습된 결과들을 받아 애그리게이션(aggregation) 하여 미세누출의 감지 여부를 최종 평가한다(미세누출 탐지 응용이 아닌 경우에는 해당 응용에서의 관심사항인 예컨대, 정확도, 손실함수, 복잡도 등을 평가한다). 이때, 상기 애그리게이션 방법은 각 학생모델 학습기의 소프트맥스 레이어(softmax layer)를 이용하여 최종 출력단 확률분포들을 합하거나, 상기 확률분포에 학습결과에 따른 서로 다른 가중치를 부여하여 합산하거나, 다수결 결정(majority voting) 방법 또는 그 외의 룰(rule) 기반으로 판단하는 등 여러 방법들이 적용될 수 있다.
마지막으로, 도 10은 도 1의 구성에 다중특징 조합 최적화부(60)가 추가로 포함된 다른 실시예의 구성도이다. 다중특징 조합 최적화부(60)는 다중특징 평가부(50) 내에 입력된 N개의 학습결과들을 바탕으로 비용에 따른 다중특징들의 최적 조합이 수행될 때까지 조합 제어기(도시하지 않음)의 제어를 반복 수행한다. 일 실시예로 다중특징 조합의 최적화를 위하여 유전자 알고리즘(genetic algorithm)과 같은 전역최적화 기법을 이용할 수 있다. 보다 구체적으로, 도 11과 같이 다중특징들의 이진정보를 조합한 객체와 다중특징 평가부(50)에서 다중특징 학습부(40) 내 N개의 학생모델들로부터 학습된 결과에 대한 가중치를 부여하여 애그리게이션을 수행하기 위한 가중치 객체들을 조합하여 하나의 유전체를 구성할 수 있다. 이때, '1'은 선택된 특징이 병렬학습에 포함되는 것이고, '0'은 병렬학습에서 제외되는 것을 의미한다. 상기 조합에 의해 생성된 초기집단은 다중특징 학습부(40) 및 다중특징 평가부(50)로 전달되어 상기 유전체 조합에 따라 가중치가 부여된 병렬학습 구성들을 초기집단의 개수만큼 동일한 학생 모델에 대하여 학습을 수행하고 비용을 계산하여 평가한다. 이때, 비용은 학습기에서 학습한 학습모델, 정확도, 복잡도 등을 비롯한 결과들을 이용하여 계산할 수 있다. 만약, 비용함수가 원하는 조건에 만족하지 않으면, 유전자 연산자를 이용한 교배 및 돌연변이 과정을 통하여 특징조합 및 가중치 조합에 대한 새로운 집단을 생성한다. 상기 생성된 집단은 다시 다중특징 학습부(40)로 전달되어 학습을 수행하고 비용을 계산하여 평가한다. 따라서, 비용함수 평가를 기준으로 한 조건이 충족될 때까지 유전자 연산을 이용한 새로운 집단의 생성과 특징 및 가중치 조합, 학습 후 비용 평가 등과 같은 프로세서가 원하는 목표가 달성될 때까지 반복 수행한다.
이상, 본 발명의 바람직한 실시예를 통하여 본 발명의 구성을 상세히 설명하였으나, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 본 명세서에 개시된 내용과는 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 보호범위는 상기 상세한 설명보다는 후술한 특허청구범위에 의하여 정해지며, 특허청구의 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태는 본 발명의 기술적 범위에 포함되는 것으로 해석되어야 한다.
1차원 시계열 센서1 데이터(12a); 1차원 시계열 센서2 데이터(12b); 앰비규티 영상특징(231); 센서 쌍(S(#1,#2), ..., S(#i,#j)); 볼륨특징(233); 패킷주기(241); 패킷구간(243); m차 센서 데이터 스트림(245); 단기 추세구간(Ts); 중기 추세구간(Tm); 장기 추세구간(Tl); 행렬(A); 행렬(G); 다중추세 상관관계 영상특징(247); 선생모델(32); 학생모델(34-1~34-N); 공통 학생모델(36); 학습데이터 입력(320); 선택된레이어(321, 321-1, 321-2, 321-L); 특징맵(323); 특징맵(343); 선택된레이어(341, 341-1, 341-2, 341-L); 학습기(42-1, ..., 42-N); 학습변수(421-1, ..., 421-N); 학습변수 랜덤초기화(423)

Claims (19)

  1. 다수의 센서에서 전송된 데이터 스트림으로부터의 다중특징 추출 및 전이학습에 기반한 기계학습 장치에 있어서,
    다수의 센서로부터 입력받은 각 센서별 데이터 스트림으로부터 다중특징을 추출하는 다중특징 추출부 - 여기서 다중특징은 상기 입력 데이터의 특성으로부터 앰비규티 영역변환된 앰비규티 특징과, 각 센서별 데이터 스트림을 구성하는 패킷구간의 수에 따라 다중의 추세구간별로 추출된 다중추세 상관관계 특징을 포함함;
    상기 다중특징에 대해 사전 학습완료된 학습 모델로부터 유용한 다중특징 정보를 추출하고 이 추출된 다중특징 정보를 하기의 다중특징 학습부로 전달하여 상기 다중특징별로 전이학습을 수행하는 학습 모델을 생성하는 전이학습 모델 생성부;
    상기 다중특징별 학습 모델로부터 학습변수를 입력받아 다중특징들에 대해 병렬학습을 수행하여 비용을 계산하여 출력하는 다중특징 학습부를 포함하는 다중특징 추출 및 전이학습 기반 기계학습 장치.
  2. 제1항에서, 상기 다중특징 추출부는 상기 앰비규티 특징을 추출하는 추출기를 포함하되, 이 앰비규티 특징 추출기는,
    각 센서들로부터 전송된 데이터 스트림으로부터 상호 시간-주파수 스펙트럼 변환과 2D 푸리에 변환을 이용한 앰비규티 영역변환을 통하여 센서 데이터 형태의 특성을 영상특징으로 변환시키도록 구성되는 다중특징 추출 및 전이학습 기반 기계학습 장치.
  3. 제2항에서, 상기 앰비규티 특징은 2차원의 특징을 깊이 방향으로 축적하여 생성된 3차원의 볼륨특징을 포함하는 다중특징 추출 및 전이학습 기반 기계학습 장치.
  4. 제1항에서, 상기 다중특징 추출부는 상기 다중추세 상관관계 특징을 추출하는 다중추세 상관관계 특징 추출기를 포함하되, 이 다중추세 상관관계 특징 추출기는
    각 센서별 데이터 스트림에서 상이한 수의 패킷구간으로 구성된 다수의 추세구간 동안 추출된 데이터들로 열벡터들을 구성하여, 각 추세구간별 열벡터 크기가 서로 동일하도록 각 추세구간별로 데이터를 추출하여 다중추세 상관관계 특징을 출력하도록 구성되는 다중특징 추출 및 전이학습 기반 기계학습 장치.
  5. 제1항에서, 상기 전이학습 모델 생성부에서 생성되는 학습 모델은 사전 학습완료된 정보를 추출하여 전달하는 선생모델과 상기 추출된 정보를 받고자 하는 학생모델을 포함하되,
    상기 학생모델은 상기 다중특징의 수와 동일한 수로 구성되어, 사전학습 완료된 선생모델의 유용한 정보가 이들 다수의 다중특징별 학생모델들로 각각 전달되어 학습되는 것을 특징으로 하는 다중특징 추출 및 전이학습 기반 기계학습 장치.
  6. 제1항에서, 상기 전이학습 모델 생성부에서 생성되는 학습 모델은 사전 학습완료된 정보를 추출하여 전달하는 선생모델과 상기 추출된 정보를 받고자 하는 학생모델을 포함하되,
    상기 학생모델은 단일의 공통모델로 구성되어, 사전학습 완료된 선생모델의 유용한 정보가 이 단일의 공통의 학생모델로 전달되어 학습되는 것을 특징으로 하는 다중특징 추출 및 전이학습 기반 기계학습 장치.
  7. 제5항 또는 제6항에서, 상기 선생모델로부터 추출되는 유용한 정보는 학습데이터 입력으로부터 임의의 레이어까지의 학습변수 정보를 포함하는 특징맵의 출력값에 해당하는 하나의 힌트정보이며,
    이 단일 힌트정보의 전달은, 선생모델에서 선택된 레이어에서의 특징맵 출력결과와 학생모델에서 선택된 레이어에서의 특징맵 출력결과 사이의 유클리디안 거리에 대한 손실함수가 최소가 되도록 수행되는 다중특징 추출 및 전이학습 기반 기계학습 장치.
  8. 제1항에서, 상기 전이학습 모델 생성부에서 생성되는 학습 모델을 주기적으로 업데이트하는 수단을 추가로 포함하는 다중특징 추출 및 전이학습 기반 기계학습 장치.
  9. 제1항에서, 다중특징 학습부로부터 학습된 결과들을 받아 학습 결과를 최종 평가하는 다중특징 평가부를 추가로 포함하는 다중특징 추출 및 전이학습 기반 기계학습 장치.
  10. 제9항에서, 상기 다중특징 평가부 내에 입력된 학습결과들을 바탕으로 비용에 따른 다중특징의 최적 조합이 얻어질 때까지 다중특징의 조합을 반복 수행하는 다중특징 조합 최적화부를 추가로 포함하는 다중특징 추출 및 전이학습 기반 기계학습 장치.
  11. 다수의 센서에서 전송된 데이터 스트림으로부터의 다중특징 추출 및 전이학습에 기반한 기계학습 방법에 있어서,
    다수의 센서로부터 입력받은 각 센서별 데이터 스트림으로부터 다중특징을 추출하는 다중특징 추출절차 - 여기서 다중특징은 상기 입력 데이터의 특성으로부터 앰비규티 영역변환된 앰비규티 특징과, 각 센서별 데이터 스트림을 구성하는 패킷구간의 수에 따라 다중의 추세구간별로 추출된 다중추세 상관관계 특징을 포함함;
    상기 다중특징에 대해 사전 학습완료된 학습 모델로부터 유용한 다중특징 정보를 추출하고 이 추출된 다중특징 정보를 하기의 다중특징 학습절차로 전달하여 상기 다중특징별로 전이학습을 수행하는 학습 모델을 생성하는 전이학습 모델 생성절차;
    상기 다중특징별 학습 모델로부터 학습변수를 입력받아 다중특징에 대해 병렬학습을 수행하여 비용을 계산하여 출력하는 다중특징 학습절차를 포함하는 다중특징 추출 및 전이학습 기반 기계학습 방법.
  12. 제11항에서, 상기 다중특징 추출절차는 상기 앰비규티 특징을 추출하는 추출절차를 포함하되, 이 앰비규티 특징 추출절차는,
    각 센서들로부터 전송된 데이터 스트림으로부터 상호 시간-주파수 스펙트럼 변환과 2D 푸리에 변환을 이용한 앰비규티 영역변환을 통하여 센서 데이터 형태의 특성을 영상특징으로 변환시키는 것을 특징으로 하는 다중특징 추출 및 전이학습 기반 기계학습 방법.
  13. 제12항에서, 상기 앰비규티 특징은 2차원의 특징을 깊이 방향으로 축적하여 생성된 3차원의 볼륨특징을 포함하는 다중특징 추출 및 전이학습 기반 기계학습 방법.
  14. 제11항에서, 상기 다중특징 추출절차는 상기 다중추세 상관관계 특징을 추출하는 다중추세 상관관계 특징 추출절차를 포함하되, 이 다중추세 상관관계 특징 추출절차는
    각 센서별 데이터 스트림에서의 상이한 수의 패킷구간을 갖는 다수의 추세구간 동안 추출된 데이터들로 열벡터들을 구성하여, 각 추세구간별 열벡터 크기가 서로 동일하도록 각 추세구간별로 데이터를 추출하여 다중추세 상관관계 특징을 출력하는 것을 특징으로 하는 다중특징 추출 및 전이학습 기반 기계학습 방법.
  15. 제11항에서, 상기 전이학습 모델 생성부에서 생성되는 학습 모델을 주기적으로 업데이트하는 절차를 추가로 포함하는 다중특징 추출 및 전이학습 기반 기계학습 방법.
  16. 제11항에서, 상기 다중특징 학습절차로부터 학습된 결과들을 받아 학습 결과를 최종 평가하는 다중특징 평가절차를 추가로 포함하는 다중특징 추출 및 전이학습 기반 기계학습 방법.
  17. 제16항에서, 상기 다중특징 평가절차로 입력된 학습결과들을 바탕으로 비용에 따른 다중특징의 최적 조합이 얻어질 때까지 다중특징의 조합을 반복 수행하는 다중특징 조합 최적화절차를 추가로 포함하는 다중특징 추출 및 전이학습 기반 기계학습 방법.
  18. 다수의 센서에서 전송된 데이터 스트림으로부터의 다중특징 추출 및 전이학습에 기반한 기계학습 장치를 이용한 미세누출 탐지 장치에 있어서,
    다수의 센서로부터 입력받은 각 센서별 데이터 스트림으로부터 다중특징을 추출하는 다중특징 추출부 - 여기서 다중특징은 상기 입력 데이터의 특성으로부터 앰비규티 영역변환된 앰비규티 특징과, 각 센서별 데이터 스트림을 구성하는 패킷구간의 수에 따라 다중의 추세구간별로 추출된 다중추세 상관관계 특징을 포함함;
    상기 다중특징에 대해 사전 학습완료된 학습 모델로부터 유용한 정보를 추출하고 이 추출된 유용한 정보를 하기의 다중특징 학습부로 전달하여 상기 다중특징별로 전이학습을 수행하는 학습 모델을 생성하는 전이학습 모델 생성부;
    상기 다중특징 학습 모델로부터 학습변수를 입력받아 다중특징에 대해 병렬학습을 수행하여 비용을 계산하여 출력하는 다중특징 학습부;
    상기 다중특징 학습부에서 생성된 학습 모델로부터 학습된 결과들을 받아 미세누출 여부를 최종 평가하는 다중특징 평가부를 포함하는 미세누출 탐지 장치.
  19. 제18항에서, 상기 다중특징 평가부 내에 입력된 학습결과들을 바탕으로 비용에 따른 다중특징의 최적 조합이 얻어질 때까지 다중특징의 조합을 반복 수행하는 다중특징 조합 최적화부를 추가로 포함하는 미세누출 탐지 장치.
KR1020180112873A 2018-09-20 2018-09-20 다중특징 추출 및 전이학습 기반 기계학습 장치/방법 및 이를 이용한 누출 탐지 장치 KR20200033515A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180112873A KR20200033515A (ko) 2018-09-20 2018-09-20 다중특징 추출 및 전이학습 기반 기계학습 장치/방법 및 이를 이용한 누출 탐지 장치
US16/564,400 US20200097850A1 (en) 2018-09-20 2019-09-09 Machine learning apparatus and method based on multi-feature extraction and transfer learning, and leak detection apparatus using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180112873A KR20200033515A (ko) 2018-09-20 2018-09-20 다중특징 추출 및 전이학습 기반 기계학습 장치/방법 및 이를 이용한 누출 탐지 장치

Publications (1)

Publication Number Publication Date
KR20200033515A true KR20200033515A (ko) 2020-03-30

Family

ID=69883267

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180112873A KR20200033515A (ko) 2018-09-20 2018-09-20 다중특징 추출 및 전이학습 기반 기계학습 장치/방법 및 이를 이용한 누출 탐지 장치

Country Status (2)

Country Link
US (1) US20200097850A1 (ko)
KR (1) KR20200033515A (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111781244A (zh) * 2020-07-15 2020-10-16 中国科学院自动化研究所 基于长短期记忆网络的红外热成像式涂层检测方法
CN112307650A (zh) * 2020-11-27 2021-02-02 浙江浙能技术研究院有限公司 一种用于超超临界锅炉受热面管壁超温预警的多步预测方法
KR102232138B1 (ko) * 2020-11-17 2021-03-25 (주)에이아이매틱스 지식 증류 기반 신경망 아키텍처 탐색 방법
KR20210142533A (ko) * 2020-05-18 2021-11-25 가부시끼가이샤 히다치 세이사꾸쇼 처리 조건 탐색 장치 및 처리 조건 탐색 방법
KR20220008135A (ko) * 2020-07-13 2022-01-20 서강대학교산학협력단 영상 초해상도 처리 방법 및 장치
KR20220069404A (ko) * 2020-11-20 2022-05-27 네이버 주식회사 범용적인 감정 분석 서비스를 위한 방법 및 장치

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11620515B2 (en) * 2019-11-07 2023-04-04 Salesforce.Com, Inc. Multi-task knowledge distillation for language model
US11475239B2 (en) * 2019-11-21 2022-10-18 Paypal, Inc. Solution to end-to-end feature engineering automation
CN111488972B (zh) * 2020-04-09 2023-08-08 北京百度网讯科技有限公司 数据迁移方法、装置、电子设备和存储介质
CN112149541A (zh) * 2020-09-14 2020-12-29 清华大学 一种用于睡眠分期的模型训练方法及装置
CN112348685A (zh) * 2020-10-09 2021-02-09 中南大学 信用评分方法、装置、设备及存储介质
CN112348124B (zh) * 2021-01-05 2021-04-20 北京航空航天大学 一种基于数据驱动的微小故障诊断方法及装置
CN112732450B (zh) * 2021-01-22 2022-07-05 清华大学 端-边-云协同框架下的机器人知识图谱生成系统及方法
KR20220114716A (ko) 2021-02-09 2022-08-17 삼성에스디에스 주식회사 이미지 클러스터링 방법 및 그 장치
CN113537237B (zh) * 2021-06-25 2024-01-16 西安交通大学 一种多特征零件质量信息智能感知方法、系统及装置
CN113435671B (zh) * 2021-08-30 2021-11-19 北京恒信启华信息技术股份有限公司 一种智能分布式选线系统及选线方法
US11450225B1 (en) * 2021-10-14 2022-09-20 Quizlet, Inc. Machine grading of short answers with explanations
CN113743382B (zh) * 2021-11-04 2022-01-25 苏州万店掌软件技术有限公司 一种货架陈列检测方法、装置及系统
CN114548382B (zh) * 2022-04-25 2022-07-15 腾讯科技（深圳）有限公司 迁移训练方法、装置、设备、存储介质及程序产品
CN115310727B (zh) * 2022-10-11 2023-02-03 山东建筑大学 一种基于迁移学习的建筑冷热电负荷预测方法及系统

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210142533A (ko) * 2020-05-18 2021-11-25 가부시끼가이샤 히다치 세이사꾸쇼 처리 조건 탐색 장치 및 처리 조건 탐색 방법
KR20220008135A (ko) * 2020-07-13 2022-01-20 서강대학교산학협력단 영상 초해상도 처리 방법 및 장치
CN111781244A (zh) * 2020-07-15 2020-10-16 中国科学院自动化研究所 基于长短期记忆网络的红外热成像式涂层检测方法
KR102232138B1 (ko) * 2020-11-17 2021-03-25 (주)에이아이매틱스 지식 증류 기반 신경망 아키텍처 탐색 방법
WO2022108015A1 (ko) * 2020-11-17 2022-05-27 (주)에이아이매틱스 지식 증류 기반 신경망 아키텍처 탐색 방법
KR20220069404A (ko) * 2020-11-20 2022-05-27 네이버 주식회사 범용적인 감정 분석 서비스를 위한 방법 및 장치
CN112307650A (zh) * 2020-11-27 2021-02-02 浙江浙能技术研究院有限公司 一种用于超超临界锅炉受热面管壁超温预警的多步预测方法

Also Published As

Publication number Publication date
US20200097850A1 (en) 2020-03-26

Similar Documents

Publication Publication Date Title
KR20200033515A (ko) 다중특징 추출 및 전이학습 기반 기계학습 장치/방법 및 이를 이용한 누출 탐지 장치
CN109670474B (zh) 一种基于视频的人体姿态估计方法、装置及设备
CN111242071B (zh) 一种基于锚框的注意力遥感图像目标检测方法
CN112580782B (zh) 基于通道增强的双注意力生成对抗网络及图像生成方法
Sen et al. Sparsity-based approaches for damage detection in plates
CN105637331B (zh) 异常检测装置、异常检测方法
CN114966600B (zh) 一种探地雷达B-scan图像杂波抑制方法及系统
CN112257741B (zh) 一种基于复数神经网络的生成性对抗虚假图片的检测方法
WO2008016109A1 (fr) Procédé d'optimisation de jeu de données d'apprentissage pour dispositif d'identification du signal et dispositif d'identification du signal capable d'optimiser le jeu de données d'apprentissage
JP6690489B2 (ja) 情報処理装置、情報処理方法、およびプログラム
CN114333074B (zh) 基于动态轻量高分辨率网络的人体姿态估计方法
Copiaco et al. Scalogram neural network activations with machine learning for domestic multi-channel audio classification
US20240135145A1 (en) Generation of Realistic Data for Training Of Artificial Neural Networks
WO2020250231A1 (en) System and method of enhancing a performance of an electromagnetic sensor
CN113673312A (zh) 基于深度学习的雷达信号脉内调制识别方法
US20210304004A1 (en) Method for processing elastic wave data, elastic wave processing device using same, and program therefor
CN115937516B (zh) 一种图像语义分割方法、装置、存储介质及终端
CN115223033A (zh) 一种合成孔径声呐图像目标分类方法及系统
KR102472115B1 (ko) 다자간 온라인 업무 협업을 위한 증강현실 기반의 화상회의를 제공하기 위한 장치 및 이를 위한 방법
JP2016006478A (ja) 顕著度画像生成装置、方法、及びプログラム
CN115903018A (zh) 一种基于物理信息神经网络的背景噪声程函成像方法
CN114898147A (zh) 一种基于双端多注意力学习的新冠肺炎胸片图像分类系统
JP2019086473A (ja) 学習プログラム、検出プログラム、学習方法、検出方法、学習装置および検出装置
CN112380949B (zh) 一种微震波到时点检测方法及系统
Shin et al. Markov chain-based mass estimation method for loose part monitoring system and its performance