KR20190111631A - 멀티모달 딥러닝 기반의 이종 센서 신호 처리를 위한 장치 및 방법 - Google Patents

멀티모달 딥러닝 기반의 이종 센서 신호 처리를 위한 장치 및 방법 Download PDF

Info

Publication number
KR20190111631A
KR20190111631A KR1020180034022A KR20180034022A KR20190111631A KR 20190111631 A KR20190111631 A KR 20190111631A KR 1020180034022 A KR1020180034022 A KR 1020180034022A KR 20180034022 A KR20180034022 A KR 20180034022A KR 20190111631 A KR20190111631 A KR 20190111631A
Authority
KR
South Korea
Prior art keywords
sensor
modal
data
deep learning
reliability
Prior art date
Application number
KR1020180034022A
Other languages
English (en)
Other versions
KR102061810B1 (ko
Inventor
최상일
유한주
최장학
Original Assignee
단국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 단국대학교 산학협력단 filed Critical 단국대학교 산학협력단
Priority to KR1020180034022A priority Critical patent/KR102061810B1/ko
Priority to US16/180,492 priority patent/US11307064B2/en
Publication of KR20190111631A publication Critical patent/KR20190111631A/ko
Application granted granted Critical
Publication of KR102061810B1 publication Critical patent/KR102061810B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0243—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults model based detection method, e.g. first-principles knowledge model
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D3/00—Indicating or recording apparatus with provision for the special purposes referred to in the subgroups
    • G01D3/08—Indicating or recording apparatus with provision for the special purposes referred to in the subgroups with provision for safeguarding the apparatus, e.g. against abnormal operation, against breakdown
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D18/00—Testing or calibrating apparatus or arrangements provided for in groups G01D1/00 - G01D15/00
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B21/00—Systems involving sampling of the variable controlled
    • G05B21/02—Systems involving sampling of the variable controlled electric
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0221—Preprocessing measurements, e.g. data collection rate adjustment; Standardization of measurements; Time series or signal analysis, e.g. frequency analysis or wavelets; Trustworthiness of measurements; Indexes therefor; Measurements using easily measured parameters to estimate parameters difficult to measure; Virtual sensor creation; De-noising; Sensor fusion; Unconventional preprocessing inherently present in specific fault detection methods like PCA-based methods
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
    • G05B23/0283—Predictive maintenance, e.g. involving the monitoring of a system and, based on the monitoring results, taking decisions on the maintenance schedule of the monitored system; Estimating remaining useful life [RUL]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Automation & Control Theory (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

본 발명은 멀티모달 심층 오토인코더를 이용하여 특정 센서에 대해 다른 모달 센서의 입력을 기반으로 그 동작의 신뢰도를 산정하고, 추출된 공통정보를 바탕으로 이상 동작 센서의 정상 출력을 복원할 수 있도록 한 멀티모달 딥러닝 기반의 이종 센서 신호 처리를 위한 장치 및 방법에 관한 것으로, 단일모달 센서에 대해 매 샘플링(sampling) 주기마다 센서 출력의 일반성(normality)을 측정하고, 이를 바탕으로 센서의 이상 동작을 감지하는 개별 센서 고장 진단부;멀티모달 심층 오토인코더로 구성되어 멀티모달 사이에 존재하는 연관관계를 학습하고, 이를 기반으로 멀티모달 입력으로부터 모달 간에 공유되는 공통의 정보를 추출하고 센서간 상호 고장 진단을 하는 센서간 상호 고장 진단부;다른 모달의 센서로부터 추출한 공통정보를 이용하여 특정 센서의 출력 값이 누락되었을 경우에도 다른 센서 정보를 이용하여 해당 센서의 출력 값을 예측하여 복원하는 복원 대상 센서 출력값 복원부;를 포함하는 것이다.

Description

멀티모달 딥러닝 기반의 이종 센서 신호 처리를 위한 장치 및 방법{System and Method for Processing Multi type Sensor Signal Based on Multi modal Deep Learning}
본 발명은 이종 센서 신호 처리에 관한 것으로, 구체적으로 멀티모달 심층 오토인코더를 이용하여 특정 센서에 대해 다른 모달 센서의 입력을 기반으로 그 동작의 신뢰도를 산정하고, 추출된 공통정보를 바탕으로 이상 동작 센서의 정상 출력을 복원할 수 있도록 한 멀티모달 딥러닝 기반의 이종 센서 신호 처리를 위한 장치 및 방법에 관한 것이다.
최근 운전자 편의 및 안전을 위해서 다양한 운전자보조시스템(Advanced Driver Assistance Systems, ADAS)이 개발되어 사용되고 있다.
예를 들어, 차량의 전방 차량을 인식하여 일정 거리를 유지하면서 차량속도를 자동으로 제어하는 스마트 크루즈 컨트롤(Smart Cruise Control, SCC), 운전자 부주의로 인해 차량이 방향 지시등 없이 차선을 이탈 시 조향을 제어하여 차선 안으로 복귀할 수 있도록 보조해주는 차선유지 보조시스템(Lane Keeping Assist System, LKAS), 주차공간을 인식하여 운전자 대신 주차를 수행해주는 주차조향보조 시스템(Smart Parking Assist System, SPAS) 등 다양한 시스템들이 차량에 적용되고 있고, 적용범위 및 기능이 점차 확대되고 있는 추세이다.
이와 같은 시스템들은 운전자가 주행하는 환경을 인식하여 주행상황에 맞추어 보조를 하기 위해 레이더(RADAR), 라이더(LIDAR), 카메라, 초음파 센서 등 다양한 센서를 장착되어 운전자의 눈과 같은 역할을 수행한다.
운전자보조시스템은 센서를 통해 획득한 거리 및 속도 등 다양한 주변환경에 대한 정보를 바탕으로 차량의 가감속 또는 조향 등에 대한 보조제어를 수행한다.
이와 같은 운전자보조시스템에서 실시간으로 센서의 오동작 여부를 판단하여 오차를 보정하는 기능은 필수적이라고 할 수 있다.
이와 같은 첨단 운전자 지원 시스템에서 센서는 외부 환경을 인지하는 유일한 경로이다. 이러한 센서 및 센싱 정보 전달 체계에 이상이 발생할 경우 ADAS 시스템의 심대한 결함 발생이 불가피하다.
그리고 자율주행 시스템으로 향하는 ADAS의 기술 발전 방향에서 여러 종류, 다수의 센서 사용이 불가피하다. 이러한 방대한 센서 데이터를 효과적으로 검수하는 자동화된 알고리즘이 반드시 필요하다.
또한, 센서의 이상동작이 감지되더라도 주행 상황에 따라 운행을 즉각적으로 중단할 수 없는 경우가 많다.
뿐만 아니라 추후 기술의 발전에 따라 수동 운전에 미숙한 차량 이용객이 늘어날 것으로 전망되므로 수리를 위한 차량의 이동 가능성을 높이는 것이 중요하다.
특히, 센서 간 상호 검증을 위한 기술 개발이 요구되고 있다.
지역, 시간, 날씨 등 센서가 작동하는 다양한 환경에 대해 살펴봐야 하는 모든 검증 케이스를 확보하는 것은 물리적으로 어려울 뿐 아니라 비효율적이다.
센서들이 인지하는 영역이 겹치는 경우가 많으며 인지 영역이 겹치지 않는다 하더라도 날씨나 조도 정보와 같이 센서들이 공통으로 영향을 받는 요인들이 다수 존재한다.
대규모 파손이 아닌 이상 다수의 센서가 동시에 고장날 확률 낮기 때문에 센서 간 공유되는 정보를 통해 상호 검증하는 방식을 도입하여 보다 효율적이고 포괄적인 센서 검증이 가능하도록 하는 것이 필요하다.
특히, 이상 동작 센서의 정상 출력을 복원할 수 있도록 하는 새로운 기술의 개발이 요구되고 있다.
대한민국 공개특허 제10-2017-0068059호 대한민국 공개특허 제10-2015-0011620호 대한민국 공개특허 제10-2017-0116305호
본 발명은 이와 같은 종래 기술의 운전자보조시스템 등의 다수의 센서를 이용하는 시스템에서의 문제를 해결하기 위한 것으로, 딥러닝을 이용하는 알고리즘을 통해 센서의 이상을 감지하는 것에 의해 특정 단일모달의 개별 센서에 대해 그 고장 유무를 진단할 수 있도록 한 멀티모달 딥러닝 기반의 이종 센서 신호 처리를 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 멀티모달 센서의 경우에 멀티모달리티를 이용하여 센서 간 공유되는 공통정보를 추출하는 딥러닝 네트워크의 설계를 가능하도록 한 멀티모달 딥러닝 기반의 이종 센서 신호 처리를 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 멀티모달 심층 오토인코더를 이용하여 특정 센서에 대해 다른 모달 센서의 입력을 기반으로 그 동작의 신뢰도를 산정하고, 추출된 공통정보를 바탕으로 이상 동작 센서의 정상 출력을 복원할 수 있도록 한 멀티모달 딥러닝 기반의 이종 센서 신호 처리를 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명은 동일한 환경에 대해 다른 종류의 센서들을 이용하여 동시에 취득한 데이터들을 이용하여 모달 간의 복잡한 상호 연관성을 대량의 학습데이터를 통해 자동으로 학습할 수 있도록 하여 멀티모달 센서의 이상 동작 감지의 효율성을 높인 멀티모달 딥러닝 기반의 이종 센서 신호 처리를 위한 장치 및 방법을 제공하는데 그 목적이 있다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
이와 같은 목적을 달성하기 위한 본 발명에 따른 멀티모달 딥러닝 기반의 이종 센서 신호 처리를 위한 장치는 단일모달 센서에 대해 매 샘플링(sampling) 주기마다 센서 출력의 일반성(normality)을 측정하고, 이를 바탕으로 센서의 이상 동작을 감지하는 개별 센서 고장 진단부;멀티모달 심층 오토인코더로 구성되어 멀티모달 사이에 존재하는 연관관계를 학습하고, 이를 기반으로 멀티모달 입력으로부터 모달 간에 공유되는 공통의 정보를 추출하고 센서간 상호 고장 진단을 하는 센서간 상호 고장 진단부;다른 모달의 센서로부터 추출한 공통정보를 이용하여 특정 센서의 출력 값이 누락되었을 경우에도 다른 센서 정보를 이용하여 해당 센서의 출력 값을 예측하여 복원하는 복원 대상 센서 출력값 복원부;를 포함하는 것을 특징으로 한다.
여기서, 개별 센서 고장 진단부는, 각각의 개별 센서의 출력 정보를 압축하는 정보 압축기와,학습데이터를 통해 모델링한 동적 양상을 이용하여 이전시간의 압축 데이터로부터 현재시각의 압축데이터가 될 것으로 예상되는 값을 도출하는 동적정보 신뢰도 측정기와,특정 시간에서의 센서 출력에 대해 정상 및 비정상의 관점에서 신뢰도를 계산하는 개별입력 신뢰도 측정기와,각각 복원 및 압축데이터 분포에 대한 신뢰도 가중치를 기준으로 선형 회귀 분석기를 이용하여 최종 신뢰도를 산출하는 최종 신뢰도 측정기를 포함하는 것을 특징으로 한다.
그리고 개별입력 신뢰도 측정기는 특정 시간
Figure pat00001
에서의 센서 출력
Figure pat00002
에 대해 정상 및 비정상의 관점에서 신뢰도를 계산하기 위하여,
Figure pat00003
를 VAE(variational auto-encoder)에 인가하여 압축된 데이터
Figure pat00004
를 얻고, 이
Figure pat00005
로부터 입력을 다시 복원한
Figure pat00006
를 얻은 후,
Figure pat00007
에 대해서는 학습데이터에서 추출했던 압축 데이터들과 압축 공간에서 얼마나 가까이 위치하는지를 측정하고, 복원 데이터에 대해서는
Figure pat00008
값을 측정하여 이를 신뢰도 계산에 반영하는 것을 특징으로 한다.
그리고 개별입력 신뢰도 측정기는 개별 입력 신뢰도를,
Figure pat00009
으로 산출하고, 여기서,
Figure pat00010
과
Figure pat00011
는 각각 복원 및 압축데이터 분포에 대한 신뢰도 가중치를 의미하는 것을 특징으로 한다.
그리고 동적 정보 신뢰도 측정기는, 학습데이터를 통해 모델링한 동적 양상을 이용하여 이전시간의 압축 데이터
Figure pat00012
으로부터 현재시각의 압축데이터가 될 것으로 예상되는
Figure pat00013
를 도출하고, 동적 정보 신뢰도
Figure pat00014
는
Figure pat00015
으로 구하는 것을 특징으로 한다.
그리고 멀티모달 심층 오토인코더는 3가지 종류의 모달 데이터로부터 공통의 정보를 추출하는 구조에서, 각 모달에서의 입력 데이터
Figure pat00016
,
Figure pat00017
,
Figure pat00018
에 대해 서로 독립적인 추상화 과정을 거친 후 이들로부터 공통정보(shared representation)
Figure pat00019
를 추출하는 인코더(encoder)와,추출된 공통정보를 통해 다시 입력 데이터에 대한 복원
Figure pat00020
,
Figure pat00021
,
Figure pat00022
를 생성하는 디코더(decoder)로 구성되는 것을 특징으로 한다.
그리고 멀티모달을 이용한 멀티 센서간 상호 검증을 위하여,
Figure pat00023
개의 학습데이터
Figure pat00024
를 기반으로 다음의 목적함수
Figure pat00025
을 최적화 하도록 멀티모달 오토인코더를 학습하고,
Figure pat00026
여기서
Figure pat00027
는 네트워크의 계수(parameter)를 의미하며
Figure pat00028
와
Figure pat00029
는 각각 디코더와 인코더의 출력을 의미하는 것을 특징으로 한다.
그리고검증하고자 하는 센서를
Figure pat00030
, 검증에 사용하고자 하는 센서들을
Figure pat00031
,
Figure pat00032
라 하면, 멀티모달 심층 오토인코더를 사용하여 센서
Figure pat00033
,
Figure pat00034
로부터 공통정보
Figure pat00035
를 추출하고, 검증 대상인 센서
Figure pat00036
의 데이터에 대한 압축결과
Figure pat00037
를 다층 퍼셉트론(multi-layer perceptron)의 입력으로 인가하는 것을 특징으로 한다.
그리고 복원 대상 센서 출력값 복원부는, 새로운 가상의 데이터를 생성하는 generator 네트워크
Figure pat00038
와 생성된 데이터와 실제 데이터를 구분하는 discriminator 네트워크
Figure pat00039
로 구성되어 서로 상대방에 대해 상보적인 결과를 도출하는 경쟁 관계를 바탕으로 학습을 수행하는 GAN(Generative Adversarial Network) 딥러닝 모델이 적용되는 것을 특징으로 한다.
그리고 실제 취득 데이터들이 확률분포
Figure pat00040
를 따르고, 확률분포
Figure pat00041
로부터 샘플링 된 저차원 노이즈
Figure pat00042
를 입력으로 하여
Figure pat00043
가 만든 가상의 데이터를
Figure pat00044
라 할 때, GAN은 학습과정에서 다음의 목적함수를 최적화하고,
Figure pat00045
Figure pat00046
의 입장에서는 자신이 생성한 데이터들을
Figure pat00047
가 실제 데이터로 판별하도록 학습되며,
Figure pat00048
의 입장에서는
Figure pat00049
가 만든 데이터를 실제 데이터에서 솎아내는 방향으로 학습하는 것을 특징으로 한다.
다른 목적을 달성하기 위한 본 발명에 따른 멀티모달 딥러닝 기반의 이종 센서 신호 처리를 위한 방법은 이종 센서로 결합된 다중모달 센서 네트워크에서의 센서 고장 진단 및 복원을 위하여, 단일모달 센서에 대해 매 샘플링(sampling) 주기마다 센서 출력의 일반성(normality)을 측정하고, 이를 바탕으로 센서의 이상 동작을 감지하는 개별 센서 고장 진단 단계;멀티모달 심층 오토인코더를 이용하여 멀티모달 사이에 존재하는 연관관계를 학습하고, 이를 기반으로 멀티모달 입력으로부터 모달 간에 공유되는 공통의 정보를 추출하고 센서간 상호 고장 진단을 하는 단계;다른 모달의 센서로부터 추출한 공통정보를 이용하여 특정 센서의 출력 값이 누락되었을 경우에도 다른 센서 정보를 이용하여 해당 센서의 출력 값을 예측하여 복원하는 단계;를 포함하는 것을 특징으로 한다.
그리고 복원 대상 센서의 출력값 복원을 위하여, 새로운 가상의 데이터를 생성하는 generator 네트워크
Figure pat00050
와 생성된 데이터와 실제 데이터를 구분하는 discriminator 네트워크
Figure pat00051
로 구성되어 서로 상대방에 대해 상보적인 결과를 도출하는 경쟁 관계를 바탕으로 학습을 수행하는 GAN(Generative Adversarial Network) 딥러닝 모델을 적용하는 것을 특징으로 한다.
이와 같은 본 발명에 따른 멀티모달 딥러닝 기반의 이종 센서 신호 처리를 위한 장치 및 방법은 다음과 같은 효과를 갖는다.
첫째, 딥러닝을 이용하는 알고리즘을 통해 센서의 이상을 감지하는 것에 의해 특정 단일모달의 개별 센서에 대해 그 고장 유무를 진단할 수 있다.
둘째, 멀티모달 센서의 경우에 멀티모달리티를 이용하여 센서 간 공유되는 공통정보를 추출하는 딥러닝 네트워크의 설계를 가능하도록 한다.
셋째, 멀티모달 심층 오토인코더를 이용하여 특정 센서에 대해 다른 모달 센서의 입력을 기반으로 그 동작의 신뢰도를 산정하고, 추출된 공통정보를 바탕으로 이상 동작 센서의 정상 출력을 복원할 수 있도록 한다.
넷째, 동일한 환경에 대해 다른 종류의 센서들을 이용하여 동시에 취득한 데이터들을 이용하여 모달 간의 복잡한 상호 연관성을 대량의 학습데이터를 통해 자동으로 학습할 수 있도록 하여 멀티모달 센서의 이상 동작 감지의 효율성을 높일 수 있다.
다섯째, 멀티모달 딥러닝을 이용한 멀티모달 데이터의 분석에 의해 탐지 대상에 대한 입체적이고 정확한 분석을 가능하게 할 뿐만 아니라, 학습을 통해 추출된 단일모달 데이터 간의 공통정보(shared representation)는 센서 검증 이외에도 물체의 인식, 이상 신호 복원, 오작동 방지 등 다양한 용도로 활용이 가능하도록 한다.
여섯째, 멀티모달 심층 오토인코더를 사용하는 것에 의해 수많은 데이터에 의한 학습을 통해 다중 입력 사이에 존재하는 공통의 정보를 추출하고, 이러한 공통 정보를 기반으로 누락되거나 오염된 입력 값을 탐지하는데 그 기술적 가능성을 높일 수 있다.
일곱째, 손상된 입력 값에 대한 대안 값을 추론하는 데에도 탁원할 성능을 보이므로 센서와 관련된 다양한 형태의 시스템에 적용 가능하다.
도 1은 본 발명에 따른 단일 모달 개별 센서 검증을 위한 장치의 구성도
도 2는 멀티모달 심층 오토인코더의 일 예를 나타낸 구성도
도 3은 본 발명에 따른 멀티모달을 이용한 멀티 센서간 상호 검증을 위한 장치의 구성도
도 4는 통합 센서 검증 장치를 나타낸 구성도
도 5는 센서 출력 복원 알고리즘의 개요를 나타낸 구성도
이하, 본 발명에 따른 멀티모달 딥러닝 기반의 이종 센서 신호 처리를 위한 장치 및 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.
본 발명에 따른 멀티모달 딥러닝 기반의 이종 센서 신호 처리를 위한 장치 및 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.
도 1은 본 발명에 따른 단일 모달 개별 센서 검증을 위한 장치의 구성도이다.
본 발명에 따른 멀티모달 딥러닝 기반의 이종 센서 신호 처리를 위한 장치 및 방법은 멀티모달 심층 오토인코더를 이용하여 특정 센서에 대해 다른 모달 센서의 입력을 기반으로 그 동작의 신뢰도를 산정하고, 추출된 공통정보를 바탕으로 이상 동작 센서의 정상 출력을 복원할 수 있도록 한 것이다.
이를 위하여 본 발명은 딥러닝을 이용한 알고리즘을 통해 센서의 이상을 감지하는 구성을 포함하고, 특정 단일모달의 개별 센서에 대해 그 고장 유무를 진단하는 구성 및 멀티모달리티를 이용하여 센서 간 공유되는 공통정보를 추출하는 딥러닝 네트워크의 설계를 위한 구성을 포함할 수 있다.
어떤 대상(객체)에 대한 정보는 영상, 소리 등 다양한 형태로 수집될 수 있다. 이러한 데이터의 형태(type)를 모드(mode)라고 부르는데, 객체를 탐지하는 센서의 종류에 따라 다양한 모드의 신호(데이터)들을 얻을 수 있다.
최근 들어 딥러닝(deep learning)에 관한 연구가 매우 활발히 이루어지고 있는 가운데, 그동안의 연구는 주로 영상(spatial mode), 음성(temporal mode) 등과 같이 단일 모드에서의 신호(single-modal signal)를 다양한 환경과 변이(variation)가 있어도 강인하게 다룰 수 있는 알고리즘의 개발에 집중되어 왔다.
본 발명에 따른 멀티모달 딥러닝 기반의 이종 센서 신호 처리를 위한 장치 및 방법은 같은 대상에 대해 각각 다른 센서에서 취득된 멀티모달 데이터(multi-modal data)들로부터 공통된 정보를 추출하는 새로운 형태의 딥러닝을 위한 구성을 포함하고, 다양한 상황에 대해 개별 센서의 정상 동작 여부를 검증하고, 멀티모달 딥러닝 네트워크를 통해 추출한 공통정보를 바탕으로 각각의 센서 신호들의 이상 유무를 상호 검증하는 구성을 포함한다.
특히, 공통정보를 이용하여 이상 센서의 신호를 복원하는 멀티모달 딥러닝 기반의 이종(multi-type) 센서 신호 검증 및 복원을 위한 구성을 포함한다.
모달리티(modality)란 센서의 독립된 단일 채널을 일컫는다.
센서 네트워크는 어떠한 센서 채널(종류)의 데이터를 사용하느냐에 따라 단일모달과 멀티모달 센서 네트워크로 분류될 수 있다.
예를 들어, 가시광선 영역의 시각 정보만을 사용하는(RGB 카메라) 센서라면 이는 단일모달(single-modal) 센서 네트워크이며 시각 외 촉각, 후각 등 여러 채널에 대한 센서들을 함께 사용 한다면 멀티모달 센서 네트워크이다.
다만, 같은 종류의 센서를 사용하더라도, 센서의 감지 영역에 따라 얻어진 데이터가 다른 성질을 보이는 경우에도 멀티모달리티(multi-modality)를 가지고 있다고 할 수 있다.
먼저, RNN(Recurrent Neural Network)과 VAE((Variational Auto-Encoder)를 이용한 개별 센서 신호 진단에 관하여 설명하면 다음과 같다.
심층 오토인코더는 입력데이터의 통계적인 특성을 이용하여 보다 효율적인 정보 압축을 수행하도록 하는 네트워크이다.
이 중에서도 변분오토인코더(variational auto-encoder, VAE)는 학습에서 사용된 입력 데이터를 저차원의 특징 공간으로 매핑 하도록 하는 네트워크로, 학습된 압축 결과를 바탕으로 특정 입력 데이터가 얼마나 일반적인(normal) 데이터인지 판단할 수 있는 근거를 제공해준다.
본 발명은 VAE의 이러한 특성을 이용하여 단일모달 센서에 대해 매 샘플링(sampling) 주기마다 센서 출력의 일반성(normality)을 측정하고, 이를 바탕으로 센서의 이상 동작을 감지한다.
이와 더불어, 시계열 데이터의 동적 특성을 모델링하는데 특화된 되먹임 인공신경망(recurrent neural network, RNN)을 도입하여 센서 출력의 동적인 양상을 모델링하고 이를 통해 센서의 이상 유무를 보다 정확히 판별할 수 있도록 하는 것이다.
본 발명에 따른 개별 센서 신호 검증을 위한 장치를 나타낸 도1a에서와 같이, 각각의 개별 센서의 출력 정보를 압축하는 정보 압축기(100)와, 학습데이터를 통해 모델링한 동적 양상을 이용하여 이전시간의 압축 데이터로부터 현재시각의 압축데이터가 될 것으로 예상되는 값을 도출하는 동적정보 신뢰도 측정기(200)와, 특정 시간에서의 센서 출력에 대해 정상/비정상의 관점에서 신뢰도를 계산하는 개별입력 신뢰도 측정기(300)와, 각각 복원 및 압축데이터 분포에 대한 신뢰도 가중치를 기준으로 선형 회귀 분석기를 이용하여 최종 신뢰도를 산출하는 최종 신뢰도 측정기(400)를 포함한다.
개별 입력 신호에 대한 신뢰도 측정기는 특정 시간
Figure pat00052
에서의 센서 출력
Figure pat00053
에 대해 정상/비정상의 관점에서 신뢰도를 계산하는 모듈이다.
먼저,
Figure pat00054
를 VAE에 인가하여 압축된 데이터
Figure pat00055
를 얻고, 이
Figure pat00056
로부터 입력을 다시 복원한
Figure pat00057
를 얻은 후,
Figure pat00058
에 대해서는 학습데이터에서 추출했던 압축 데이터들과 압축 공간에서 얼마나 가까이 위치하는지를 측정한다.
복원 데이터에 대해서는
Figure pat00059
값을 측정하여 이를 신뢰도 계산에 반영한다.
VAE의 경우 학습데이터로부터 추출된 압축데이터를 영평균(zero-mean)으로 분포시키는 특징을 가지고 있기 때문에
Figure pat00060
의 절대 값이 클수록, 이는 학습데이터로부터 멀리 떨어져 있음을 의미한다.
따라서, 최종적인 신뢰도는 다음과 같이 계산될 수 있다.
Figure pat00061
여기서,
Figure pat00062
과
Figure pat00063
는 각각 복원 및 압축데이터 분포에 대한 신뢰도 가중치를 의미한다.
동적 정보 신뢰도 측정기에서는 학습데이터를 통해 모델링한 동적 양상을 이용하여 이전시간의 압축 데이터
Figure pat00064
으로부터 현재시각의 압축데이터가 될 것으로 예상되는
Figure pat00065
를 도출한다.
이는 학습데이터의 관점에서 보았을 때, 정상적인 센서의 동작을 반영한 예측이므로, 실제 센서 값이 이와 다른 양상을 보이면 이를 이상 징후로 볼 수 있다.
그러므로 동적 정보 신뢰도
Figure pat00066
는 다음과 같이 구할 수 있다.
Figure pat00067
최종 신뢰도
Figure pat00068
는
Figure pat00069
와
Figure pat00070
를 입력으로 하는 선형 회귀 분석기를 이용하여 산출한다.
그리고 멀티모달 데이터 수집에 관하여 설명하면 다음과 같다.
멀티모달을 위한 네트워크를 구현하기 위해서는 동일한 환경에 대해 다른 종류의 센서들을 이용하여 동시에 취득한 데이터들이 필요하다.
본 발명의 실시 예에서는 대용량 데이터 취득의 용이성, 결과물의 활용성 등을 고려하여 멀티모달의 대표적 응용분야인 ADAS(Advanced Driving Assistant System) 분야의 데이터를 이용하여 목표 네트워크를 구현할 수 있다.
센서 데이터의 종류로는 RGB 컬러 영상과 Lidar 센서 데이터를 사용할 수 있고, 두 종류 이상의 센서 데이터로부터 효과적인 공통정보를 추출할 수 있다.
멀티모달 심층 오토인코더(Multi-modal Deep Auto-encoder, MMDAE)에 관하여 설명하면 다음과 같다.
딥러닝 알고리즘의 일종인 멀티모달 심층 오토인코더는 수많은 데이터로부터 멀티모달 사이에 존재하는 연관관계를 학습하고, 이를 기반으로 멀티모달 입력으로부터 모달 간에 공유되는 공통의 정보를 추출하는 것에 특화된 딥러닝 네트워크이다.
또한, 이러한 공통정보를 바탕으로 특정 모달의 입력이 누락되었을 시, 다른 모달의 입력정보를 이용하여 누락된 모달의 입력을 예측하는 데에도 탁월한 성능을 보이기 때문에 센서 이상 동작의 감지 및 보완을 위한 기술로 적합하다.
도 2는 멀티모달 심층 오토인코더의 일 예를 나타낸 구성도이다.
도 2는 3가지 종류의 모달 데이터로부터 공통의 정보를 추출하는 멀티모달 심층 오토인코더를 나타낸 것이다.
해당 구조는 각 모달에서의 입력 데이터
Figure pat00071
,
Figure pat00072
,
Figure pat00073
에 대해 서로 독립적인 추상화 과정을 거친 후 이들로부터 공통정보(shared representation)
Figure pat00074
를 추출하는 인코더(encoder)와, 추출된 공통정보를 통해 다시 입력 데이터에 대한 복원
Figure pat00075
,
Figure pat00076
,
Figure pat00077
를 생성하는 디코더(decoder)로 구성되어 있다.
이는 입력 데이터로부터 저손실 및 고압축을 수행하는 오토인코더의 기본 구조를 멀티모달에 적합하게 확장한 구조로 모달 간의 복잡한 상호 연관성을 대량의 학습데이터를 통해 자동으로 학습할 수 있도록 하여 멀티모달 센서의 이상 동작 감지에 적합한 특성을 갖도록 한 것이다.
도 3은 본 발명에 따른 멀티모달을 이용한 멀티 센서간 상호 검증을 위한 장치의 구성도이다.
센서 A 출력(500a)을 검증하기 위하여 센서 B 출력(500b),센서 C 출력(500c)의 공통정보를 추출하는 공통정보 추출기(600)와, 공통정보 추출기(600)에서 추출된 공통정보를 이용하여 센서 A 출력(500a)을 검증하는 센서 출력 검증부(700)를 포함한다.
Figure pat00078
개의 학습데이터
Figure pat00079
를 기반으로 다음의 목적함수
Figure pat00080
을 최적화 하도록 멀티모달 오토인코더를 학습한다.
Figure pat00081
여기서
Figure pat00082
는 네트워크의 계수(parameter)를 의미하며
Figure pat00083
와
Figure pat00084
는 각각 디코더와 인코더의 출력을 의미한다.
멀티모달 심층 오토인코더(MMDAE)를 이용한 멀티 센서 간 상호 검증은 다음과 같이 이루어진다.
멀티모달 데이터 내에 공통정보가 내재되어 있는 경우, 멀티모달 심층 오토인코더는 그 학습 방법에 따라 특정 모달에 대한 입력이 누락되었다 하더라도 공통정보를 안정적으로 추출할 수 있다. 뿐만 아니라, 이렇게 추출된 공통정보를 바탕으로 입력이 누락된 모달에 대해 그 입력을 예측할 수 있다.
본 발명은 이와 같은 멀티모달 심층 오토인코터의 이러한 특성을 이용하여 특정 센서에 대해 다른 모달 센서의 입력을 기반으로 그 동작의 신뢰도를 산정한다.
멀티 센서 간 상호 진단을 위한 구성은 다음과 같다.
다른 모달의 센서 입력을 이용하여 검증 대상 센서의 동작 이상 유무를 판단한다.
도 4는 통합 센서 검증 장치를 나타낸 구성도이다.
검증하고자 하는 센서를
Figure pat00085
, 검증에 사용하고자 하는 센서들을
Figure pat00086
,
Figure pat00087
라 하면,멀티모달 심층 오토인코더를 사용하여 센서
Figure pat00088
,
Figure pat00089
로부터 공통정보
Figure pat00090
를 추출하고, 검증 대상인 센서
Figure pat00091
의 데이터에 대한 압축결과
Figure pat00092
를 다층 퍼셉트론(multi-layer perceptron)의 입력으로 인가한다.
해당 다층 퍼셉트론은 정상 동작하는 센서들의 데이터로부터 학습된 것으로서, 테스트 시 인가된 입력이 학습 시 사용된 데이터와 얼마나 상이한지를 바탕으로 동작 신뢰도
Figure pat00093
를 산정하는 역할을 한다.
개별 센서 진단 결과와 상호 진단 결과에 의한 통합 센서 검증 과정에서 검증 대상 센서를 제외한 나머지 센서들은 기본적으로 모두 정상 동작하는 것을 가정한다.
하지만, 실제 시스템이 운용될 경우 어떠한 센서가 비정상적으로 작동할지에 대해서는 미리 알 수 없으므로 각 센서들이 개별적으로 고장 날 가능성을 함께 고려한다.
본 발명은 멀티 센서 간 상호 진단 알고리즘에서 검증 보조 역할로 사용되는 각 센서에 대해 개별 센서 진단 알고리즘을 이용하여 그 동작의 신뢰도를 판단하고, 이러한 신뢰도를 바탕으로 검증하고자 하는 센서의 동작 신뢰도 산정 과정에서 해당 센서의 영향을 조정하는 구성을 포함한다.
도 4에서와 같이, 각 센서의 출력에 대해 개별 센서 고장 진단 알고리즘을 적용하고, 그 결과를 바탕으로 상호진단 결과의 비중을 조절하여 최종 신뢰도를 산정한다.
그리고 학습된 공통정보를 이용한 이상 센서의 신호 복원은 다음과 같이 이루어진다.
도 5는 센서 출력 복원 알고리즘의 개요를 나타낸 구성도이다.
멀티모달 시스템에서는 해당 시스템의 목표 기능을 제대로 수행하는 것도 중요하지만 특정 모달의 센서에 문제가 생겼을 때 이는 전체적인 시스템의 안정성에 매우 치명적일 수 있기 때문에 이상 동작을 하는 센서에 대해 그 동작을 보완하는 것이 필요하다.
GAN(Generative Adversarial Network)은 대상 도메인으로부터 실제 취득된 데이터와 매우 유사하면서도 기존에 존재하지 않았던 새로운 데이터를 생성하는 것을 목표로 고안된 딥러닝 모델이다.
이는 새로운 가상의 데이터를 생성하는 generator 네트워크
Figure pat00094
와 생성된 데이터와 실제 데이터를 구분하는 discriminator 네트워크
Figure pat00095
로 구성되어 있으며, 두 network가 서로 상대방에 대해 상보적인 결과를 도출하는 경쟁 관계를 바탕으로 학습을 수행한다.
실제 취득 데이터들이 확률분포
Figure pat00096
를 따르고, 확률분포
Figure pat00097
로부터 샘플링 된 저차원 노이즈
Figure pat00098
를 입력으로 하여
Figure pat00099
가 만든 가상의 데이터를
Figure pat00100
라 할 때, GAN은 학습과정에서 다음의 목적함수를 최적화 한다.
Figure pat00101
즉,
Figure pat00102
의 입장에서는 자신이 생성한 데이터들을
Figure pat00103
가 실제 데이터로 판별하도록 학습되며,
Figure pat00104
의 입장에서는
Figure pat00105
가 만든 데이터를 실제 데이터에서 솎아내는 방향으로 학습된다.
이는 서로 상보적인 방향으로 학습되는 것이므로 학습과정의 어느 시점부터는 두 네트워크 모두 전체 목적함수의 결과를 개선하지 못하게 되는데 이를 내쉬 평형 상태(Nash equilibrium)라 부른다.
본 발명에 따른 멀티모달 딥러닝 기반의 이종 센서 신호 처리를 위한 장치 및 방법에서는 이러한 GAN의 특성들을 기반으로, 정상 동작 센서의 출력 값에 대한 가상의 데이터를 생성하되 임의의 저차원 값이 아닌, 다른 모달의 센서로부터 추출한 공통정보를 이용하여 특정 센서의 출력 값이 누락되었을 경우에도 다른 센서 정보를 이용하여 해당 센서의 출력 값을 예측할 수 있도록 한다.
도 5에서와 같이, 먼저 복원 대상을 제외한 나머지 센서들의 출력 값을 이용하여 공통정보를 추출한 후, 이를 이용하여 모든 센서의 예상 출력 값을 생성한다.
이렇게 생성된 복원 대상 센서의 출력 값은 GAN에서의 generator가 생성한 가상의 데이터에 대응된다.
본 발명은 이렇게 생성된 출력 복원 값이 실제 데이터와 유사하게 도출되도록 하기 위해 학습과정에서 discriminator를 추가로 도입하여 이를 통해 결과적으로 특정 센서에 대해 그 출력 값을 정확하게 예측한다.
이상에서 설명한 본 발명에 따른 멀티모달 딥러닝 기반의 이종 센서 신호 처리를 위한 장치 및 방법은 딥러닝을 이용하는 알고리즘을 통해 센서의 이상을 감지하는 것에 의해 특정 단일모달의 개별 센서에 대해 그 고장 유무를 진단하고, 멀티모달 센서의 경우에 멀티모달리티를 이용하여 센서 간 공유되는 공통정보를 추출하는 딥러닝 네트워크의 설계를 가능하도록 한 것이다.
특히, 멀티모달 심층 오토인코더를 이용하여 특정 센서에 대해 다른 모달 센서의 입력을 기반으로 그 동작의 신뢰도를 산정하고, 추출된 공통정보를 바탕으로 이상 동작 센서의 정상 출력을 복원할 수 있도록 한 것이다.
이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.
그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100. 정보 압축기 200. 동적정보 신뢰도 측정기
300. 개별입력 신뢰도 측정기 400. 최종 신뢰도 측정기

Claims (12)

  1. 단일모달 센서에 대해 매 샘플링(sampling) 주기마다 센서 출력의 일반성(normality)을 측정하고, 이를 바탕으로 센서의 이상 동작을 감지하는 개별 센서 고장 진단부;
    멀티모달 심층 오토인코더로 구성되어 멀티모달 사이에 존재하는 연관관계를 학습하고, 이를 기반으로 멀티모달 입력으로부터 모달 간에 공유되는 공통의 정보를 추출하고 센서간 상호 고장 진단을 하는 센서간 상호 고장 진단부;
    다른 모달의 센서로부터 추출한 공통정보를 이용하여 특정 센서의 출력 값이 누락되었을 경우에도 다른 센서 정보를 이용하여 해당 센서의 출력 값을 예측하여 복원하는 복원 대상 센서 출력값 복원부;를 포함하는 것을 특징으로 하는 멀티모달 딥러닝 기반의 이종 센서 신호 처리를 위한 장치.
  2. 제 1 항에 있어서, 개별 센서 고장 진단부는,
    각각의 개별 센서의 출력 정보를 압축하는 정보 압축기와,
    학습데이터를 통해 모델링한 동적 양상을 이용하여 이전시간의 압축 데이터로부터 현재시각의 압축데이터가 될 것으로 예상되는 값을 도출하는 동적정보 신뢰도 측정기와,
    특정 시간에서의 센서 출력에 대해 정상 및 비정상의 관점에서 신뢰도를 계산하는 개별입력 신뢰도 측정기와,
    각각 복원 및 압축데이터 분포에 대한 신뢰도 가중치를 기준으로 선형 회귀 분석기를 이용하여 최종 신뢰도를 산출하는 최종 신뢰도 측정기를 포함하는 것을 특징으로 하는 멀티모달 딥러닝 기반의 이종 센서 신호 처리를 위한 장치.
  3. 제 2 항에 있어서, 개별입력 신뢰도 측정기는 특정 시간
    Figure pat00106
    에서의 센서 출력
    Figure pat00107
    에 대해 정상 및 비정상의 관점에서 신뢰도를 계산하기 위하여,
    Figure pat00108
    를 VAE(variational auto-encoder)에 인가하여 압축된 데이터
    Figure pat00109
    를 얻고, 이
    Figure pat00110
    로부터 입력을 다시 복원한
    Figure pat00111
    를 얻은 후,
    Figure pat00112
    에 대해서는 학습데이터에서 추출했던 압축 데이터들과 압축 공간에서 얼마나 가까이 위치하는지를 측정하고,
    복원 데이터에 대해서는
    Figure pat00113
    값을 측정하여 이를 신뢰도 계산에 반영하는 것을 특징으로 하는 멀티모달 딥러닝 기반의 이종 센서 신호 처리를 위한 장치.
  4. 제 3 항에 있어서, 개별입력 신뢰도 측정기는 개별 입력 신뢰도를,
    Figure pat00114
    으로 산출하고,
    여기서,
    Figure pat00115
    과
    Figure pat00116
    는 각각 복원 및 압축데이터 분포에 대한 신뢰도 가중치를 의미하는 것을 특징으로 하는 멀티모달 딥러닝 기반의 이종 센서 신호 처리를 위한 장치.
  5. 제 2 항에 있어서, 동적 정보 신뢰도 측정기는,
    학습데이터를 통해 모델링한 동적 양상을 이용하여 이전시간의 압축 데이터
    Figure pat00117
    으로부터 현재시각의 압축데이터가 될 것으로 예상되는
    Figure pat00118
    를 도출하고,
    동적 정보 신뢰도
    Figure pat00119
    는
    Figure pat00120
    으로 구하는 것을 특징으로 하는 멀티모달 딥러닝 기반의 이종 센서 신호 처리를 위한 장치.
  6. 제 1 항에 있어서, 멀티모달 심층 오토인코더는 3가지 종류의 모달 데이터로부터 공통의 정보를 추출하는 구조에서,
    각 모달에서의 입력 데이터
    Figure pat00121
    ,
    Figure pat00122
    ,
    Figure pat00123
    에 대해 서로 독립적인 추상화 과정을 거친 후 이들로부터 공통정보(shared representation)
    Figure pat00124
    를 추출하는 인코더(encoder)와,
    추출된 공통정보를 통해 다시 입력 데이터에 대한 복원
    Figure pat00125
    ,
    Figure pat00126
    ,
    Figure pat00127
    를 생성하는 디코더(decoder)로 구성되는 것을 특징으로 하는 멀티모달 딥러닝 기반의 이종 센서 신호 처리를 위한 장치.
  7. 제 6 항에 있어서, 멀티모달을 이용한 멀티 센서간 상호 검증을 위하여,
    Figure pat00128
    개의 학습데이터
    Figure pat00129
    를 기반으로 다음의 목적함수
    Figure pat00130
    을 최적화 하도록 멀티모달 오토인코더를 학습하고,
    Figure pat00131

    여기서
    Figure pat00132
    는 네트워크의 계수(parameter)를 의미하며
    Figure pat00133
    와
    Figure pat00134
    는 각각 디코더와 인코더의 출력을 의미하는 것을 특징으로 하는 멀티모달 딥러닝 기반의 이종 센서 신호 처리를 위한 장치.
  8. 제 1 항 또는 제 6 항에 있어서, 검증하고자 하는 센서를
    Figure pat00135
    , 검증에 사용하고자 하는 센서들을
    Figure pat00136
    ,
    Figure pat00137
    라 하면,
    멀티모달 심층 오토인코더를 사용하여 센서
    Figure pat00138
    ,
    Figure pat00139
    로부터 공통정보
    Figure pat00140
    를 추출하고, 검증 대상인 센서
    Figure pat00141
    의 데이터에 대한 압축결과
    Figure pat00142
    를 다층 퍼셉트론(multi-layer perceptron)의 입력으로 인가하는 것을 특징으로 하는 멀티모달 딥러닝 기반의 이종 센서 신호 처리를 위한 장치.
  9. 제 1 항에 있어서, 복원 대상 센서 출력값 복원부는,
    새로운 가상의 데이터를 생성하는 generator 네트워크
    Figure pat00143
    와 생성된 데이터와 실제 데이터를 구분하는 discriminator 네트워크
    Figure pat00144
    로 구성되어 서로 상대방에 대해 상보적인 결과를 도출하는 경쟁 관계를 바탕으로 학습을 수행하는 GAN(Generative Adversarial Network) 딥러닝 모델이 적용되는 것을 특징으로 하는 멀티모달 딥러닝 기반의 이종 센서 신호 처리를 위한 장치.
  10. 제 9 항에 있어서, 실제 취득 데이터들이 확률분포
    Figure pat00145
    를 따르고, 확률분포
    Figure pat00146
    로부터 샘플링 된 저차원 노이즈
    Figure pat00147
    를 입력으로 하여
    Figure pat00148
    가 만든 가상의 데이터를
    Figure pat00149
    라 할 때, GAN은 학습과정에서 다음의 목적함수를 최적화하고,
    Figure pat00150

    Figure pat00151
    의 입장에서는 자신이 생성한 데이터들을
    Figure pat00152
    가 실제 데이터로 판별하도록 학습되며,
    Figure pat00153
    의 입장에서는
    Figure pat00154
    가 만든 데이터를 실제 데이터에서 솎아내는 방향으로 학습하는 것을 특징으로 하는 멀티모달 딥러닝 기반의 이종 센서 신호 처리를 위한 장치.
  11. 이종 센서로 결합된 다중모달 센서 네트워크에서의 센서 고장 진단 및 복원을 위하여,
    단일모달 센서에 대해 매 샘플링(sampling) 주기마다 센서 출력의 일반성(normality)을 측정하고, 이를 바탕으로 센서의 이상 동작을 감지하는 개별 센서 고장 진단 단계;
    멀티모달 심층 오토인코더를 이용하여 멀티모달 사이에 존재하는 연관관계를 학습하고, 이를 기반으로 멀티모달 입력으로부터 모달 간에 공유되는 공통의 정보를 추출하고 센서간 상호 고장 진단을 하는 단계;
    다른 모달의 센서로부터 추출한 공통정보를 이용하여 특정 센서의 출력 값이 누락되었을 경우에도 다른 센서 정보를 이용하여 해당 센서의 출력 값을 예측하여 복원하는 단계;를 포함하는 것을 특징으로 하는 멀티모달 딥러닝 기반의 이종 센서 신호 처리를 위한 방법.
  12. 제 11 항에 있어서, 복원 대상 센서의 출력값 복원을 위하여,
    새로운 가상의 데이터를 생성하는 generator 네트워크
    Figure pat00155
    와 생성된 데이터와 실제 데이터를 구분하는 discriminator 네트워크
    Figure pat00156
    로 구성되어 서로 상대방에 대해 상보적인 결과를 도출하는 경쟁 관계를 바탕으로 학습을 수행하는 GAN(Generative Adversarial Network) 딥러닝 모델을 적용하는 것을 특징으로 하는 멀티모달 딥러닝 기반의 이종 센서 신호 처리를 위한 방법.
KR1020180034022A 2018-03-23 2018-03-23 멀티모달 딥러닝 기반의 이종 센서 신호 처리를 위한 장치 및 방법 KR102061810B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180034022A KR102061810B1 (ko) 2018-03-23 2018-03-23 멀티모달 딥러닝 기반의 이종 센서 신호 처리를 위한 장치 및 방법
US16/180,492 US11307064B2 (en) 2018-03-23 2018-11-05 Apparatus and method for processing multi-type sensor signal on the basis of multi-modal deep learning

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180034022A KR102061810B1 (ko) 2018-03-23 2018-03-23 멀티모달 딥러닝 기반의 이종 센서 신호 처리를 위한 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20190111631A true KR20190111631A (ko) 2019-10-02
KR102061810B1 KR102061810B1 (ko) 2020-01-02

Family

ID=67983675

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180034022A KR102061810B1 (ko) 2018-03-23 2018-03-23 멀티모달 딥러닝 기반의 이종 센서 신호 처리를 위한 장치 및 방법

Country Status (2)

Country Link
US (1) US11307064B2 (ko)
KR (1) KR102061810B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210061517A (ko) * 2019-11-19 2021-05-28 한국생산기술연구원 머신러닝에 의해 생성된 가상 데이터를 이용한 고장 진단 방법 및 장치
KR20210090394A (ko) * 2020-01-10 2021-07-20 (주)알파랩에이아이 머신러닝을 이용한 지능형 스마트팜 운영 시스템
WO2022075543A1 (ko) * 2020-10-05 2022-04-14 서울대학교 산학협력단 멀티모달센서를 이용한 이상탐지 방법 및 이를 수행하기 위한 컴퓨팅 장치
KR20220074277A (ko) * 2020-11-27 2022-06-03 한국과학기술연구원 발전설비의 고장을 조기 감지하는 모니터링 시스템 및 방법
KR20230065419A (ko) * 2021-11-04 2023-05-12 서울대학교산학협력단 자율 주행 차량 또는 로봇을 위한 장애물 탐지 시스템
US11651053B2 (en) 2020-10-07 2023-05-16 Samsung Electronics Co., Ltd. Method and apparatus with neural network training and inference
CN116859724A (zh) * 2023-06-21 2023-10-10 北京百度网讯科技有限公司 时序自回归同时决策和预测的自动驾驶模型及其训练方法

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6572269B2 (ja) * 2017-09-06 2019-09-04 株式会社東芝 学習装置、学習方法、およびプログラム
KR101967339B1 (ko) * 2018-03-06 2019-04-09 단국대학교 산학협력단 심층학습 기반의 ａｄａｓ 센서 고장 진단 및 백업을 위한 장치 및 방법
US10878643B2 (en) * 2018-07-19 2020-12-29 Denso International America, Inc. Multi-sensor management systems for ADAS
JP7205328B2 (ja) * 2019-03-19 2023-01-17 富士通株式会社 推定プログラム、推定装置および推定方法
CN111891134B (zh) * 2019-05-06 2022-09-30 北京百度网讯科技有限公司 自动驾驶处理系统和片上系统、监测处理模块的方法
CN111026058B (zh) * 2019-12-16 2021-01-12 浙江大学 基于瓦瑟斯坦距离和自编码器的半监督深度学习故障诊断方法
JP7332238B2 (ja) * 2020-03-10 2023-08-23 エスアールアイ インターナショナル タスク固有のデータ利用のための物理学により誘導されたディープマルチモーダル埋め込みのための方法及び装置
CN111795819B (zh) * 2020-06-12 2021-06-22 燕山大学 一种融合振动与电流信号协同学习的齿轮箱故障诊断方法
US11461681B2 (en) * 2020-10-14 2022-10-04 Openstream Inc. System and method for multi-modality soft-agent for query population and information mining
CN113255733B (zh) * 2021-04-29 2023-04-07 西安交通大学 多模态数据缺失下的无监督异常检测方法
CN113298265B (zh) * 2021-05-22 2024-01-09 西北工业大学 一种基于深度学习的异构传感器潜在相关性学习方法
KR20230006247A (ko) 2021-07-02 2023-01-10 단국대학교 산학협력단 딥러닝 앙상블 기반의 보행 패턴을 이용한 사용자 식별을 위한 멀티 모달 퓨샷 학습 장치
CN113639993B (zh) * 2021-08-17 2022-06-07 燕山大学 多模态多任务卷积神经网络的齿轮箱故障诊断方法
CN113671917B (zh) * 2021-08-19 2022-08-02 中国科学院自动化研究所 针对多模态工业过程异常状态的检测方法、系统、设备
CN114662617B (zh) * 2022-05-18 2022-08-09 国网浙江省电力有限公司杭州供电公司 基于多模态学习策略的多源数据编织系统处理方法及装置
US20230393662A1 (en) * 2022-06-02 2023-12-07 Sony Interactive Entertainment Inc. Extend the game controller functionality with virtual buttons using hand tracking
CN116796159B (zh) 2023-08-17 2023-11-17 浙江恒逸石化有限公司 染色效果预测方法、染色效果预测模型的训练方法和装置
CN117074628B (zh) * 2023-10-17 2024-01-09 山东鑫建检测技术有限公司 一种多传感器空气质量检测设备故障定位方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150011620A (ko) 2013-07-23 2015-02-02 현대오트론 주식회사 차간 거리용 센서 고장 보상 시스템 및 방법
KR20170068059A (ko) 2015-12-09 2017-06-19 현대자동차주식회사 운전자보조시스템용 센서의 고장진단 및 보정을 위한 장치 및 방법
KR20170116305A (ko) 2016-04-08 2017-10-19 한국전자통신연구원 코파일럿 차량을 위한 이종 다중 센서의 추적정보 융합기반 주변 장애물 인식 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8972053B2 (en) * 2011-08-30 2015-03-03 5D Robotics, Inc. Universal payload abstraction
US9649058B2 (en) * 2013-12-16 2017-05-16 Medtronic Minimed, Inc. Methods and systems for improving the reliability of orthogonally redundant sensors

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150011620A (ko) 2013-07-23 2015-02-02 현대오트론 주식회사 차간 거리용 센서 고장 보상 시스템 및 방법
KR20170068059A (ko) 2015-12-09 2017-06-19 현대자동차주식회사 운전자보조시스템용 센서의 고장진단 및 보정을 위한 장치 및 방법
KR20170116305A (ko) 2016-04-08 2017-10-19 한국전자통신연구원 코파일럿 차량을 위한 이종 다중 센서의 추적정보 융합기반 주변 장애물 인식 장치

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210061517A (ko) * 2019-11-19 2021-05-28 한국생산기술연구원 머신러닝에 의해 생성된 가상 데이터를 이용한 고장 진단 방법 및 장치
KR20210090394A (ko) * 2020-01-10 2021-07-20 (주)알파랩에이아이 머신러닝을 이용한 지능형 스마트팜 운영 시스템
WO2022075543A1 (ko) * 2020-10-05 2022-04-14 서울대학교 산학협력단 멀티모달센서를 이용한 이상탐지 방법 및 이를 수행하기 위한 컴퓨팅 장치
US11651053B2 (en) 2020-10-07 2023-05-16 Samsung Electronics Co., Ltd. Method and apparatus with neural network training and inference
KR20220074277A (ko) * 2020-11-27 2022-06-03 한국과학기술연구원 발전설비의 고장을 조기 감지하는 모니터링 시스템 및 방법
KR20230065419A (ko) * 2021-11-04 2023-05-12 서울대학교산학협력단 자율 주행 차량 또는 로봇을 위한 장애물 탐지 시스템
CN116859724A (zh) * 2023-06-21 2023-10-10 北京百度网讯科技有限公司 时序自回归同时决策和预测的自动驾驶模型及其训练方法
CN116859724B (zh) * 2023-06-21 2024-03-15 北京百度网讯科技有限公司 时序自回归同时决策和预测的自动驾驶模型及其训练方法

Also Published As

Publication number Publication date
KR102061810B1 (ko) 2020-01-02
US20190293462A1 (en) 2019-09-26
US11307064B2 (en) 2022-04-19

Similar Documents

Publication Publication Date Title
KR102061810B1 (ko) 멀티모달 딥러닝 기반의 이종 센서 신호 처리를 위한 장치 및 방법
US10946864B2 (en) Apparatus and method for fault diagnosis and back-up of advanced driver assistance system sensors based on deep learning
CN110334886B (zh) 基于深度学习的设备诊断系统和方法
EP3454289B1 (en) Plant abnormality detection method and system
US11639112B2 (en) Fusion of data of multiple sensors for object identification
KR102158497B1 (ko) 자율주행 평가시스템
JP7340265B2 (ja) 異常検出装置、異常検出方法、およびプログラム
CN102473301B (zh) 动作解析装置及动作解析方法
KR20140049137A (ko) 의료영상 분석장치 및 방법
CN108427400B (zh) 一种基于神经网络解析冗余的飞机空速管故障诊断方法
KR20200001910A (ko) 발전소 고장 예측 및 진단시스템의 학습모델을 위한 학습데이터 생성장치 및 방법
Dietrich et al. Detecting external measurement disturbances based on statistical analysis for smart sensors
US20230111973A1 (en) Method for monitoring logical consistency in a machine learning model and associated monitoring device
Capisani et al. Sliding mode observers for vision-based fault detection, isolation and identification in robot manipulators
KR20180126311A (ko) 대상 시스템의 상태 진단 및 원인 분석 시스템 및 방법
US20220327042A1 (en) Method for testing a product
KR100786229B1 (ko) 3상 유도전동기의 온라인 고장진단방법
JP2020107248A (ja) 異常判定装置および異常判定方法
US20200258379A1 (en) Determination of movement information with surroundings sensors
Lu et al. A data-based approach for sensor fault detection and diagnosis of Electro-Pneumatic brake
Steiner et al. Modeling the effects of software on safety and reliability in complex embedded systems
IL292806A (en) Method, device and computer program for operating a sensor system for detecting objects in the environment of a vehicle
KR102533298B1 (ko) 시스템 가용도에 기반하여 고장진단모델을 평가하는 장치 및 방법
Orf et al. Modeling localization uncertainty for enhanced robustness of automated vehicles
Esen et al. Simulation-based Safety Assurance for an AVP System incorporating Learning-Enabled Components

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant