KR20230152448A - Enas를 적용한 소음 및 진동 데이터 기반 이상상태 진단을 위한 ai 진단모델 자동생성 방법 - Google Patents

Enas를 적용한 소음 및 진동 데이터 기반 이상상태 진단을 위한 ai 진단모델 자동생성 방법 Download PDF

Info

Publication number
KR20230152448A
KR20230152448A KR1020220052223A KR20220052223A KR20230152448A KR 20230152448 A KR20230152448 A KR 20230152448A KR 1020220052223 A KR1020220052223 A KR 1020220052223A KR 20220052223 A KR20220052223 A KR 20220052223A KR 20230152448 A KR20230152448 A KR 20230152448A
Authority
KR
South Korea
Prior art keywords
model
noise
enas
vibration data
abnormal conditions
Prior art date
Application number
KR1020220052223A
Other languages
English (en)
Inventor
이동철
정인수
이주현
장준혁
노경진
Original Assignee
현대자동차주식회사
기아 주식회사
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사, 한양대학교 산학협력단 filed Critical 현대자동차주식회사
Priority to KR1020220052223A priority Critical patent/KR20230152448A/ko
Priority to US17/949,441 priority patent/US20230351174A1/en
Priority to DE102022210195.2A priority patent/DE102022210195A1/de
Priority to CN202211247177.2A priority patent/CN117009846A/zh
Publication of KR20230152448A publication Critical patent/KR20230152448A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H17/00—Measuring mechanical vibrations or ultrasonic, sonic or infrasonic waves, not provided for in the preceding groups
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01H—MEASUREMENT OF MECHANICAL VIBRATIONS OR ULTRASONIC, SONIC OR INFRASONIC WAVES
    • G01H1/00—Measuring characteristics of vibrations in solids by using direct conduction to the detector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M7/00—Vibration-testing of structures; Shock-testing of structures
    • G01M7/02—Vibration-testing by means of a shake table
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/092—Reinforcement learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/0985—Hyperparameter optimisation; Meta-learning; Learning-to-learn
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0808—Diagnosing performance data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

본 발명은 ENAS를 적용한 소음 및 진동 데이터 기반 이상상태 진단을 위한 AI 진단모델 자동생성 방법에 있어서, 자동차의 센서로부터 상기 소음 및 진동 데이터를 입력 데이터로 취득하는 단계(S10), 상기 입력데이터를 전처리하는 단계(S20), 특징을 추출하는 단계(S30), 추출된 특징으로부터 AI 진단모델에 적합한 특징(feature)의 조합을 선택하는 단계(S40), 상기 AI 진단모델의 구조를 탐색하고 선택하는 단계(S50), 상기 Al 진단모델의 구조를 최적화하는 단계(S60), 상기 AI 진단 모델의 구조를 탐색하고 선택(S50), 최적화(S60), 및 상기 Al 진단모델을 평가하는 단계(S70)하는 단계이며, 최초 계산된 상기 AI 진단모델 및 상기 AI 진단모델을 이루는 파라미터를 ENAS(Efficient Neural Architecture Search)에 기반해, 상기 AI 진단모델의 업데이트에 상기 파라미터를 공유(sharing)하는 것을 특징으로 한다.

Description

ENAS를 적용한 소음 및 진동 데이터 기반 이상상태 진단을 위한 AI 진단모델 자동생성 방법 { Automatic generation method of AI diagnostic model for diagnosing abnormal conditions based on noise and vibration data with application of ENAS }
본 발명은 AI 진단모델을 자동으로 설계하기 위해, ENAS를 활용하여 소음 및 진동 데이터 기반으로 ENAS를 적용한 부품의 이상상태 진단을 위한 AI 진단모델 자동생성 방법에 관한 발명이다.
지금까지 특정 센서값이나 신호의 한계치(threshold) 등 센서 기반해 취득된 데이터를 분석해, 관찰 대상이 되는 시스템이나 기계장치의 이상상태를 분석하고, 인공지능을 적용해 보다 나은 결과를 추구해왔다. 그러나, 인공지능에 기반한 진단 모델을 이용 시, 개발자의 노하우에 의존한 진단 알고리즘을 주로 적용하는 원인으로, 전체가 아닌 개발자의 노하우가 집중된 특정 문제에 대해서만 진단 성능이 발휘되고, 적용되었다. 따라서, 개발자에 익숙한 데이터가 반복적으로 취득되고 분석됨으로서, 데이터 오버피팅이 발생하는 문제점이 발생할 수 있다.
이에, 새로운 문제 상황이 발생 시, 신규 모델을 구성한 뒤, 최적화 모델인지 여부에 대한 검증을 해야 하며, 이로인해 엄청난 계산량이 필요할 수 있다. 따라서, 일련의 과정이 자동화됨으로서 개발자 노하우에 의존하지 않으면서도, 보다 최적화된 모델을 생성하는 기법에 대한 필요성이 대두되고 있다.
출원번호 10-2018-0160833 (공개번호 10-2020-0075148 A)
본 발명의 목적은 ENAS(Efficient Neural Architecture Search) 기술을 적용한 인공지능 진단 모델(Deep Learning Model) 자동 최적화 생성 기술 및 프레임워크 툴(Framework tool)을 이용해 소음 및 진동 데이터 기반 이상상태 진단을 위한 AI 진단모델 자동생성 방법을 제시하고자 한다.
상기 기술적 과제를 해결하기 위한 본 발명의 일실시예는 ENAS를 적용한 소음 및 진동 데이터 기반 이상상태 진단을 위한 AI 진단모델 자동생성 방법에 있어서, 자동차의 센서로부터 상기 소음 및 진동 데이터를 입력 데이터로 취득하는 단계(S10), 상기 입력데이터를 전처리하는 단계(S20), 특징을 추출하는 단계(S30), 추출된 특징으로부터 AI 진단모델에 적합한 특징(feature)의 조합을 선택하는 단계(S40), 상기 AI 진단모델의 구조를 탐색하고 선택하는 단계(S50), 상기 Al 진단모델의 구조를 최적화하는 단계(S60), 상기 AI 진단 모델의 구조를 탐색하고 선택(S50) 및 최적화(S60)하는 단계에서 최초 계산된 상기 AI 진단모델 및 상기 AI 진단모델을 구성하는 파라미터를 ENAS(Efficient Neural Architecture Search)에 기반하고, 상기 AI 진단모델의 업데이트 시, 상기 파라미터를 공유(sharing)하는 것을 특징으로 한다.
본 발명의 또다른 실시예는 소음 및 진동 데이터 기반 이상상태 진단을 위한 AI 진단모델 자동생성 방법에 있어서, 센서에 의해 자동차의 상기 소음 및 진동 데이터를 입력 데이터로 취득하는 단계(S10), 상기 입력데이터를 전처리하는 단계(S20), 전처리된 상기 입력데이타로부터 특징을 추출하는 단계(S30), 추출된 특징으로부터 AI 진단모델에 적합한 특징(feature)의 조합을 선택하는 단계(S40), 상기 AI 진단모델의 구조를 탐색하고 선택하는 단계(S50), 상기 Al 진단모델의 구조를 최적화하는 단계(S60); 및 정확도(accuracy)가 일정 이상으로 높고, 상기 AI 진단모델의 깊이(depth) 변화에 따라 더 많은 레이어(layer)를 추가해도 상기 정확도의 변화율이 일정이하로 수렴되면 학습진행을 중단하는 상기 Al 진단모델을 평가하는 단계(S70)를 포함하며, 최초 계산된 상기 AI 진단모델 및 상기 AI 진단모델을 이루는 파라미터를 ENAS(Efficient Neural Architecture Search)에 기반하고, 상기 AI 진단모델의 업데이트 시, 상기 파라미터를 공유(sharing)하는 것을 특징으로 한다.
본 발명에 의한 ENAS를 적용한 소음 및 진동 데이터 기반 이상상태 진단을 위한 AI 진단모델 자동생성 방법은 인공지능 개발자의 노하우에 의존하는 것이 아닌, 객관적인 생성 모델의 성능 최적화를 통한 강건성 높은 딥러닝(Deep Learning) 모델을 자동생성하는 것이 가능하다.
또한, NAS(Neural Architecture Search) 기법에 대비하여, 적은 GPU 용량 및 빠른 모델 생성이 가능한 ENAS(Efficient Neural Architecture Search) 기술을 자동차 이상상태 진단 분야로 확장하는 효과가 있다.
도 1은 본 발명의 전체 블럭도이다.
도 2는 자동화된 특징학습 단계 및 ENAS가 적용되는 단계(stage)에 대한 블럭도이다.
도 3은 모델 선택단계(S50)를 구성하는 블럭도이다.
도 4는 ENAS가 적용되는 단계(stage)에 대한 개념도이다.
본 발명을 실시하기 위한 구체적인 내용을 도면과 함께 설명한다.
신경망 구조 탐색(Neural Architecture Search)이란, 자동화된 머신러닝 모델링을 의미하는 오토머신러닝(AutoML)의 일종으로, 인공지능 머신러닝 모델을 구성하는 신경망 아키텍쳐를 최적화하는 자동생성 방법론이면서도 자동화 툴(tool)로서, 순환신경망(RNN)을 통해 파생되는 신경망을 학습하여 최적의 인공신경망 구조를 탐색하는 기법이다.
신경망 구조 탐색(Neural Architecture Search)은 순환신경망(Recurrent Neural Network)을 통해 파생되는 신경망을 학습하여 최적의 인공신경망 구조를 탐색할 수 있다. 신경망 구조 탐색에서 RNN controller의 역할이 중요하다. RNN controller는 신경망 구조 후보군을 만들어주는 역할을 하고, 신경망 구조를 학습시키고 성능을 측정한다. 측정결과는 더 좋은 신경망 구조를 찾는데 도움을 준다. RNN컨트롤러는 학습을 통해 신경망 구조 후보군 중 특정 모델로 수렴되도록하고, 이 과정에서 신경망 구조 후보군의 신경망 구조에 대한 정확도가 보상 신호(reward signal)로 사용되게 된다.
한편, RNN controller에 의해 만들어지는 신경망 구조 후보군 - 이를 child model이라 함 - 은 학습한 가중치(weight)를 모두 버리고, 이로인해 매번 모델을 새로이 만들 때마다 새로운 학습을 수행함에 따라, 계산량이 폭증하게 된다.
신경망 구조 탐색(Neural Architecture Search)에서는 제한 없는 모델 구조를 생성, 학습 완료 후 파라미터를 모두 초기화한다. 따라서, 모델 학습에 소요되는 시간이 기하급수적으로 증가하며, 이로인해 최종 모델 성능을 확인하기까지 모델의 정확도 판단이 불가능하다.
본 발명에서 적용되는 ENAS(Efficient Neural Architecture Search)는 효율적인 신경망 구조 탐색을 의미한다. ENAS(Efficient Neural Architecture Search)는 지정해준 모델 깊이에 대한 구조 조합을 탐색하는 것이 특징이며, 최초 모델로부터 후속 계산되는 모델까지 각 모델 구조의 파라미터를 공유(parameter sharing)하는 것이 특징이다. 즉, ENAS(Efficient Neural Architecture Search) 기반한 소음 및 진동 데이터와 같은 유형의 분류 모델은 설정한 모델 구조 깊이 내에서 최적화가 진행되며, 가장 우수한 알고리즘만 남기고 각 파라미터를 최적화하는 기법으로 개발 시간을 단축하고, 성능 확인이 용이하다.
본 발명은 센서로부터 취득한 자동차의 소음 및 진동 데이터 기반 이상상태 진단을 위한 AI 진단모델 자동화를 함에 있어서, ENAS와 강화학습을 적용한 것을 특징으로 한다.
도 1은 ENAS(Efficient Neural Architecture Search)가 적용된 본 발명의 전체 블럭도이다.
S10의 단계는 센서로부터 취득된 입력데이터로, 학습 데이터(Train data) 및 시험 데이터(Test data) 및 평가 데이터(Validation data)로 구분된 데이터를 포함할 수 있다. 자동차 외부의 센서를 이용하거나 자동차 내부에 센서를 장착시켜 소음 및 진동 데이터의 수집하고, 수집된 데이터를 별도 저장장치 또는 외부 서버에 저장했다가 진단모델 학습 시 불러올 수도 있다.
학습 데이터는 모델 학습을 위해 사용된다. 평가 데이터는 모델 학습의 중간에 성능 확인을 위해 사용되며, 학습 데이터와 함께 모델 업데이트를 위해 사용된다. 시험 데이터는 구축된 AI 진단모델의 검증에 사용된다.
S20은 데이터의 전처리 과정을 나타내며, 데이터 사전 정형화 단계로서 데이터셋(dataset)이 정해진다. 본 발명에서 사용되는 데이터셋는 소음 데이터셋 또는 진동 데이터셋(dataset)이며, 예로서 자동차에서 측정되는 시간(t)에 따른 소음 또는 진동 데이터(dB)를 포함한다.
S20의 단계를 통해 유형 별 수집되는 소음 또는 진동 데이터 중 외란이 적은 양질의 데이터인지에 대한 데이터의 적절성의 적절성 판단이 이루어진다. 샘플링 율(sampling rate)을 일치화하며, 이를 위해 다시 샘플링(Resampling)이 이루어지기도 한다. 주파수 필터로서 high/low/band pass filter를 선택적으로 적용할 수도 있다.
데이터의 전처리에 사용되는 알고리즘은 데이터 입력 시 visual inspection으로 노이즈를 제거하고 데이터 간 길이를 통일시키는 Crop, 전체 데이터 샘플링레이트를 통일시키는 Resampling, 특정 주파수대역을 제거하거나 추출하는 high/low/band pass filter, harmonic, percussive 파형 성분을 분리추출하는 HPSS(harmonic/percussive sound separation), 데이터값 스케일링을 자동수행하는 Normalization, 주로 CAN에서 활용되며 이상치를 탐지하고 제거하는 Outlier detection, 차원을 축소하는 PCA 로부터 선택적으로 사용될 수 있다.
S10 및 S20의 단계를 통해 ENAS 프레임워크 수행을 위한 준비가 완료된다.
S30은 특징 추출단계로서, 특징 추출을 위한 다양한 필터 기법 및 신호처리 기법을 1개 또는 복합해서 특징을 추출하는데 사용하도록 선택할 수 있다. 예로서, FFT, Mel-spectogram, HPSS 등의 기법을 사용할 수 있다. FFT(Fast Fourier Transform)을 사용하여 타겟이 되는 소음의 중요 주파수 대역 크기(magnitude) 값을 dB-scale로 변환하여 특징벡터로 사용할 수 있다. Mel-spectrogram은 FFT로 변환한 Spectogram을 주파수 축에 Mel-filter bank를 적용하여 멜 단위로 바꾼 spectogram을 특징벡터로 사용할 수 있다. HPSS(Harmonic-percussuve source separation)은 FFT 후 Spectogram에 대해 주파수 축 상에서 Harmonic(고주파)와 Percussive(타음) 성분을 분리한 뒤, 주파수 축을 따라 Horizonontal median filter를 적용하여 H 성분을 분리하고, 시간 축을 따라 vertical median filter를 적용하여 P 성분을 분리한다. H/P 또는 P/H 비율에 한계점(Threshold)을 적용하여 binary mask를 생성하고, 입력신호(input signal)의 STFT 계수와 Binary mask를 element-wise multiplication하여 최종적으로 H와 P성분을 분리할 수 있다. 이상, 3가지 특징 추출 기법을 적용해서 이중 1개 또는 2개 이상의 특징을 모델에 적용할 수 있다.
S40은 특징 선택단계로서, 모델링에 적합한 특징(feature)을 조합을 선택하여 ENAS 모델링에 반영하게 된다. 학습 데이터셋(Train dataset)의 매 epoch를 진행하면서 가장 좋은 보상신호(정확도)가 나오는 조합을 탐색하여 반영한다.
S50은 ENAS의 에이전트(Agent) 역할을 하는 RNN 컨트롤러(controller)에서 단위모델인 Normal cell 및 Reduction cell의 구조를 설정하는 역할을 수행하는 단계이다. 단위모델이란, 1쌍의 Normal cell 및 Reduction cell으로 구성된 모델을 의미하며, 이는 다층으로 확장되는 S70의 전체모델(full model)의 기초가 된다.
S50에서 ENAS(Efficient Neural Architecture Search)기반으로 딥러닝 모델의 최적화가 진행된다. 계산이 이루어지는 서버의 계산 성능이 가능한 범위 내에서 모델구축을 위한 구조를 탐색 및 선택하는데 있어서, 모델 파라미터 공유를 통한 효율적인 모델 탐색기법인 ENAS(Efficient Neural Architecture Search)을 적용한다.
S60은 RNN 컨트롤러(controller)에서 생성된 모델의 파라미터를 및 하이퍼 파라미터(Hyper-parameter) 설정을 업데이트 하여 Normal cell 및 Reduction cell으로 구성된 단위모델의 최적화를 통해 정확도를 높이는 과정이다.
S40, S50 및 S60의 단계를 반복수행함으로서, 자동으로 최적의 단위모델을 생성하게 되며, 정확도가 수렴하게 되는 모델을 찾게 되면, 조기 정지(Early stopping)으로 단위모델을 마무리 한다.
S70은 앞서 S50에서 탐색된 단위모델을 이용하여 깊은(deep) 모델 구조층을 가진 전체모델(full model)을 생성하게 되며, 이때 Grid Search를 이용하여 Normal cell, Reduction cell 순서와 개수를 최적화하게 되는 자동화 영역으로서 정확도가 개선된다. S70의 과정에서 단위모델에서 업데이트된 파라미터를 모두 초기화하고 구조만 생성하며, 정확도(Accuracy)를 향상시키기 위해, 다시 전체모델에 대한 학습을 통해 파라미터 업데이트를 진행하여 최적화한다. S70의 과정에서 단위모델에서 업데이트된 파라미터를 모두 초기화하고 구조만 생성함으로서 전체모델(full model)을 조합하고, 정확도(Accuracy)를 향상시키기 위해, 초기화된 파라미터를 업데이트해서 전체모델을 다시 최적화하며, 일정 정확도에 도달 시, S80의 단계로 진행된다.
S80은 ENAS의 최종 진단모델은 서버에서 계산 및 실행이 이루어지도록 코드가 구현되는 API형태로 제공되거나, 사용하고자 하는 디바이스 환경에 맞는 형태(Android, C++,C언어 등) 등 실행파일 형태로 기기 별로 파일형태로 저장해 사용자의 기기에서 사용하는 단계이다.
도 2는 자동화된 딥러닝 모델링 과정 중 ENAS가 적용된 특징 추출단계(S30)로부터 가능한 특징을 조합하는 특징 선택단계(S40)를 나타낸다. 특징 추출단계(S30) 및 특징 선택단계(S40)은 자동으로 특징을 학습(Automated Feature Learning)하는 단계이다. 입력 데이터 중 학습 데이터를 이용하여 AI 진단모델을 생성하게 되는데 특징 간 분류 카테고리 구분이 잘 표현되는 특징 조합을 학습 데이터를 통해, 특히 전체 학습데이타 중 일부 학습데이타를 사용하면서 찾아내는 과정이다.
선택된 특징들에 의해 단위모델 탐색 및 선택하는 단계(S50) 및 S50의 단위모델로부터 신경망 구조(Neural Architecture)를 탐색하고, Best Model을 찾기 위해 신경망 구조(Neural Architecture)를 탐색에 의해 만들어진 모델을 평가 (S70)하는 과정을 나타낸 것이다.
도 2에 도시된 단위모델 탐색 및 선택 단계(S50)은 ENAS 알고리즘을 통해 성능이 우수한 단위모델(Normal cell / Reduction cell) 구조를 탐색하여 탐색하는 단계이고, 전체모델 선택 단계(S70)는 단위모델로부터 Best Model인 전체모델 (S70)이 선택됨을 나타낸다.
S50에서 단위모델을 탐색 및 선택하는 단계는 학습데이터를 이용하여 RNN 컨트롤러에서 설정한 모델의 파라미터를 업데이트하여 정확도를 높이는 과정이며, 정확도는 입력 데이터 중 평가 데이터(Validation data)로 확인하고, 이 값을 보상신호(Rewards)로 선택하여 보상신호가 좋아지는(개선되는) 방향으로 학습하며 단위모델 구조를 탐색한다. 탐색된 단위모델을 이용하여 깊은 모델 구조층을 생성하게 되며, 이때 Grid Search를 이용하여 Normal cell, Reduction cell 순서와 개수를 최적화하게 되는 자동화 영역으로, 이 단계에서는 단위모델에서 업데이트된 파라미터를 모두 초기화하고 구조만 생성하여 다시 전체모델에 대한 학습을 통해 파라미터 업데이트를 진행하여 모델을 최적화하게 된다.
한편, 도 3은 ENAS(Efficient Neural Architecture Search)가 적용된 모델 탐색 및 선택단계(S50)를 더욱 세분화한 개념도이다. 도 3의 모델 선택단계는 모델구조를 탐색 및 학습을 과정으로, 파라미터 조정단계(S50-A)와 컨트롤러 학습단계(S50-B)로 구분된다. 모델구조를 탐색 및 학습을 과정은1 Epoch를 대상으로 하며, 1 Epoch란 학습 데이터 전체를 의미한다.
파라미터 조정단계(S50-A)는 agent인 RNN 컨트롤러가 구조 문자열(architecture string)를 생성해 environment에서 프록시 모델을 만드는 단계(S51), 입력 데이터 중 학습 데이터(Train data)가 미니배치(Mini-Batch)로 프록시 모델로 전달되는 단계(S52), 및 프록시 모델에서 파라미터 업데이트를 하는 단계(S53)로 구성된다.
즉, environment의 프록시 모델(proxy model)은 학습모드이고, RNN 컨트롤러는 에이전트(agent)로서 평가모드로 설정된다. RNN 컨트롤러의 역할은 입력 데이터 중 학습 데이터(train data)에 대해 미니배치마다 연산과 데이터 흐름의 조합으로 구조 문자열(architecture string)에 대한 샘플링을 실시하는 것이다. 딥러닝에서 배치(batch)는 모델의 가중치를 한번 업데이트시킬 때 사용되는 샘플들의 묶음을 의미한다. 미니배치(Mini-Batch)는 전체 데이터를 학습시키는 배치에 비해, 전체 데이터를 N등분하여 각각의 학습 데이터를 배치 방식으로 학습시키는 것으로 미니배치(Mini-Batch)는 배치에 비해 시간을 줄일 수 있다.
샘플링된 구조 문자열(architecture string)을 environment의 프록시 모델로 전달하여 모델의 구조를 변경하고, 미니배치 사이즈의 데이터를 변경된 프록시 모델에 입력한다.
파라미터 조정단계(S50-A)의 초기에는 RNN 컨트롤러가 무작위 모델구조를 샘플링하기 때문에, 대부분의 프록시 모델의 파라미터 값들이 조정(tuning)되어야 한다. 탐색이 진행되면서 RNN 컨트롤러의 출력이 점점 하나의 형태로 수렴하게 되며, 자주 사용되는 프록시 모델의 파라미터 값만 업데이트한다.
컨트롤러 학습단계(S50-B)는 agent인 RNN 컨트롤러가 샘플링된 구조 문자열(architecture string)을 environment의 프록시 모델로 전달하는 단계(S55), 입력 데이터 중 검증 데이터(Validation data)가 미니배치(Mini-Batch)로 프록시 모델로 전달되는 단계(S56), 구조가 변경된 프록시 모델에서 정확도(Accuracy)를 측정하는 단계(S57) 및 측정된 정확도를 강화학습의 보상(Reward)로 하여 RNN 컨트롤러가 파라미터 업데이트를 하는 단계(S58)로 구성된다. 즉, 컨트롤러 학습단계(S50-B)에서 프록시 모델은 평가모드이고, RNN 컨트롤러는 학습모드로 설정된다. RNN컨트롤러는 파라미터 최적화가 어느 정도 이루어진 프록시 모델에 샘플링된 구조 문자열(architecture string)를 전달해 프록시 모델의 구조를 변경한다. 변경된 프록시 모델에 입력 데이터 중 검증 데이터(validation data)를 미니배치로 입력하여, 미니배치 내에서의 정확도(Accuracy)를 출력한다. 변경되는 프록시 모델구조마다 정확도를 측정할 수 있고, 측정한 정확도(Accuracy)를 높이기 위해 보상(Reward)하는 강화학습에 의해 파라미터 값을 업데이트하고, RNN 컨트롤러를 학습시킨다.
도 4는 도 2에 도시된 단위모델 탐색 및 선택 단계(S50)에서 ENAS 알고리즘을 통해 성능이 우수한 단위모델(Normal cell / Reduction cell) 구조를 탐색하는 단계와, 단위모델로부터 Best Model인 전체모델 (S70)이 구성됨을 나타낸다.
모델 탐색 및 선택 단계(S50)에서의 전체모델 구조는 평가단계(S70)에서의 모델구조보다 적은 레이어 개수로 구성된다. 각 연산들(Edge)마다 파라미터를 가지기 때문에 메모리 소모가 많이 발생하기 때문에, 모델 탐색 및 선택 단계(S50)에서는 레이어 개수를 적게하여 모델을 구성하고 모델 탐색단계 완료 후, 모델 평가단계(S70)에서는 찾은 셀 구조를 탐색단계의 레어어 개수보다 더 많게 하여 모델을 학습한다.
모델 평가단계(S70)에서 적용되는 기법은 학습률(Learning rate) 변화 및 Grid Search 기법을 적용해 단위모델 깊이의 변화를 선택할 수 있다. 정확도가 일정 이상으로 높을 뿐 아니라, 모델의 깊이(depth) 변화에 따라 더 많은 레이어를 구성하더라도 정확도의 변화율에서 일정 이하로 수렴되면 학습 진행을 중단시킨다.
모델 평가단계(S70)에서는 모델 탐색 및 선택 단계(S50)에서 찾은 단위모델, 즉 일반셀(Normal cell) 및 감소셀(Reduction cell)로부터 일반셀(Normal cell) N회, 감소셀(Reduction cell) 1회의 구성을 M회(M, N은 자연수) 반복하면서 파라미터 조정(tunning)을 통해 전체모델(full model)을 구성한다.
한편, 모델의 성능을 극대화하기 위해 데이터 증강(Data Argumentation), 코사인 어닐링 학습률 스케일링(Cosine Annealing Schedule), Auxiliary Head와 같은 딥러닝 일반화(Generation) 기법을 사용한다. 정확도의 변화 추세를 탐색하고, 정확도가 일정 이상으로 높을 뿐 아니라, 모델의 깊이(depth) 변화, 즉 더 많은 레이어를 구성하더라도 정확도의 변화율에서 일정 이하로 수렴되면 학습 진행을 중단 시킴으로서, 연산 시간을 단축할 수 있다.
본 발명에서 ENAS는 모델의 레이어의 구조적인 특징으로 Google Net의 Inception module을 기반으로 소음, 진단 Task에 최적화되도록 재구성한다. 자동차 도메인 특성과 소음 및 진동 신호 특성을 고려하여 Inception module의 연산조합을 찾는 것을 목표로 한다.
1개의 레이어를 구성하기 위해 다수 개의 다른 종류의 연산 N개로 최적의 조합을 결성하여 레이어를 구성한다. 다수의 연산의 종류로는 Identity, 3X3 convolution, 5 X 5 convolution, average pooling, max pooling 등이 있다.
본 발명은 손실함수(Loss function)에 있어서, stochastic gradient decent를 사용하여 cross entropy loss를 통해 모델을 학습한다. 복잡한 task의 경우, MSE(Mean Squared Error), RMSE(Root Mean Squared Error), Binary Cross entropy, Categorical Cross entropy, Sparse categorical cross entropy loss function 들을 조합하여 사용한다. 나아가, Ensemble method를 적용하여 가중치를 적용한 Loss function을 사용할 수도 있다.

Claims (13)

  1. 소음 및 진동 데이터 기반 이상상태 진단을 위한 AI 진단모델 자동생성 방법에 있어서,
    센서에 의해 자동차의 상기 소음 및 진동 데이터를 입력 데이터로 취득하는 단계(S10);
    상기 입력데이터를 전처리하는 단계(S20);
    상기 AI 진단 모델의 구조를 탐색하고 선택(S50) 및 최적화(S60)하는 단계에서 최초 계산된 상기 AI 진단모델 및 상기 AI 진단모델을 이루는 파라미터를 ENAS(Efficient Neural Architecture Search)에 기반해, 상기 AI 진단모델의 업데이트에 상기 파라미터를 공유(sharing)하는 것을 특징으로 하는 ENAS를 적용한 소음 및 진동 데이터 기반 이상상태 진단을 위한 AI 진단모델 자동생성 방법.
  2. 제1항에 있어서,
    상기 AI 진단모델의 구조를 탐색하고 선택하는 단계(S50)는
    파라미터 조정단계(S50-A)와 컨트롤러 학습단계(S50-B)로 구분되는 것을 특징으로 하는 ENAS를 적용한 소음 및 진동 데이터 기반 이상상태 진단을 위한 AI 진단모델 자동생성 방법.
  3. 제2항에 있어서,
    상기 파라미터 조정단계(S50-A)는,
    RNN 컨트롤러가 샘플링된 구조 문자열(architecture string)를 생성해 프록시 모델로 전달하는 단계(S51);
    를 포함하는 ENAS를 적용한 소음 및 진동 데이터 기반 이상상태 진단을 위한 AI 진단모델 자동생성 방법.
  4. 제3항에 있어서,
    상기 파라미터 조정단계(S50-A)는,
    입력 데이터 중 학습 데이터(Train data)가 미니배치(Mini-Batch)로 상기 프록시 모델로 전달되는 단계(S52); 를 추가로 포함하는 ENAS를 적용한 소음 및 진동 데이터 기반 이상상태 진단을 위한 AI 진단모델 자동생성 방법.
  5. 제4항에 있어서,
    상기 파라미터 조정단계(S50-A)는,
    상기 프록시 모델에서 상기 파라미터 업데이트를 하는 단계(S53)를 추가로 포함하는 ENAS를 적용한 소음 및 진동 데이터 기반 이상상태 진단을 위한 AI 진단모델 자동생성 방법.
  6. 제2항에 있어서,
    상기 컨트롤러 학습단계(S50-B)는,
    RNN 컨트롤러가 샘플링된 구조 문자열(architecture string)를 생성해 프록시 모델로 전달하는 단계(S55);
    를 포함하는
    ENAS를 적용한 소음 및 진동 데이터 기반 이상상태 진단을 위한 AI 진단모델 자동생성 방법
  7. 제6항에 있어서,
    상기 컨트롤러 학습단계(S50-B)는,
    입력 데이터 중 검증 데이터(Validation data)가 미니배치(Mini-Batch)로 상기 프록시 모델로 전달되는 단계(S56);
    를 추가로 포함하는 ENAS를 적용한 소음 및 진동 데이터 기반 이상상태 진단을 위한 AI 진단모델 자동생성 방법
  8. 제7항에 있어서,
    상기 컨트롤러 학습단계(S50-B)는,
    구조가 변경된 상기 프록시 모델에서 정확도(Accuracy)를 측정하는 단계(S57);
    를 추가로 포함하는 ENAS를 적용한 소음 및 진동 데이터 기반 이상상태 진단을 위한 AI 진단모델 자동생성 방법
  9. 제8항에 있어서,
    상기 컨트롤러 학습단계(S50-B)는,
    측정된 정확도를 높이기 위해 보상(Reward)하는 강화학습에 의해 파라미터 값을 업데이트하고 상기 RNN 컨트롤러가 업데이트된 파라미터에 의해 학습되는 단계(S58);를 추가로 포함하는 ENAS를 적용한 소음 및 진동 데이터 기반 이상상태 진단을 위한 AI 진단모델 자동생성 방법
  10. 제1항에 있어서,
    상기 AI 진단모델의 구조를 탐색하고 선택하는 단계(S50)는
    일반셀(Normal cell) 및 감소셀(Reduction cell)로 단위모델을 탐색하는 상기 AI 진단모델의 탐색단계; 를 포함하는 ENAS를 적용한 소음 및 진동 데이터 기반 이상상태 진단을 위한 AI 진단모델 자동생성 방법
  11. 제10항에 있어서,
    상기 Al 진단모델을 평가하는 단계(S70)를 추가로 포함하며,
    정확도(accuracy)가 일정 이상으로 높고, 상기 AI 진단모델의 깊이(depth) 변화에 따라 더 많은 레이어(layer)를 추가해도 상기 정확도의 변화율이 일정이하로 수렴되면 학습진행을 중단하는 ENAS를 적용한 소음 및 진동 데이터 기반 이상상태 진단을 위한 AI 진단모델 자동생성 방법
  12. 제11항에 있어서,
    상기 AI진단 모델은 서버에서 API형태로 제공되거나, 사용자 디바이스 환경의 형태로 파일형태로 저장되는 ENAS를 적용한 소음 및 진동 데이터 기반 이상상태 진단을 위한 AI 진단모델 자동생성 방법
  13. 소음 및 진동 데이터 기반 이상상태 진단을 위한 AI 진단모델 자동생성 방법에 있어서,
    센서에 의해 자동차의 상기 소음 및 진동 데이터를 입력 데이터로 취득하는 단계(S10);
    상기 입력데이터를 전처리하는 단계(S20);
    전처리된 상기 입력데이타로부터 특징을 추출하는 단계(S30);
    추출된 특징으로부터 AI 진단모델에 적합한 특징(feature)의 조합을 선택하는 단계(S40);
    상기 AI 진단모델의 구조를 탐색하고 선택하는 단계(S50);
    상기 Al 진단모델의 구조를 최적화하는 단계(S60); 및
    정확도(accuracy)가 일정 이상으로 높고, 상기 AI 진단모델의 깊이(depth) 변화에 따라 더 많은 레이어(layer)를 추가해도 상기 정확도의 변화율이 일정이하로 수렴되면 학습진행을 중단하는 상기 Al 진단모델을 평가하는 단계(S70)이며,
    최초 계산된 상기 AI 진단모델 및 상기 AI 진단모델을 이루는 파라미터를 ENAS(Efficient Neural Architecture Search)에 기반해, 상기 AI 진단모델의 업데이트에 상기 파라미터를 공유(sharing)하는 것을 특징으로 하는 ENAS를 적용한 소음 및 진동 데이터 기반 이상상태 진단을 위한 AI 진단모델 자동생성 방법
KR1020220052223A 2022-04-27 2022-04-27 Enas를 적용한 소음 및 진동 데이터 기반 이상상태 진단을 위한 ai 진단모델 자동생성 방법 KR20230152448A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020220052223A KR20230152448A (ko) 2022-04-27 2022-04-27 Enas를 적용한 소음 및 진동 데이터 기반 이상상태 진단을 위한 ai 진단모델 자동생성 방법
US17/949,441 US20230351174A1 (en) 2022-04-27 2022-09-21 Method of automatically creating ai diagnostic model for diagnosing abnormal state based on noise and vibration data to which enas is applied
DE102022210195.2A DE102022210195A1 (de) 2022-04-27 2022-09-27 Verfahren zur automatischen Erstellung eines KI-Diagnosemodells zur Diagnose eines anormalen Zustands auf der Grundlage von Geräusch- und Vibrationsdaten, auf die ENAS angewendet wird
CN202211247177.2A CN117009846A (zh) 2022-04-27 2022-10-12 自动创建应用enas的ai诊断模型的方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220052223A KR20230152448A (ko) 2022-04-27 2022-04-27 Enas를 적용한 소음 및 진동 데이터 기반 이상상태 진단을 위한 ai 진단모델 자동생성 방법

Publications (1)

Publication Number Publication Date
KR20230152448A true KR20230152448A (ko) 2023-11-03

Family

ID=88306683

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220052223A KR20230152448A (ko) 2022-04-27 2022-04-27 Enas를 적용한 소음 및 진동 데이터 기반 이상상태 진단을 위한 ai 진단모델 자동생성 방법

Country Status (4)

Country Link
US (1) US20230351174A1 (ko)
KR (1) KR20230152448A (ko)
CN (1) CN117009846A (ko)
DE (1) DE102022210195A1 (ko)

Also Published As

Publication number Publication date
CN117009846A (zh) 2023-11-07
US20230351174A1 (en) 2023-11-02
DE102022210195A1 (de) 2023-11-02

Similar Documents

Publication Publication Date Title
Dong et al. Bearing degradation process prediction based on the PCA and optimized LS-SVM model
CN114357663B (zh) 一种训练齿轮箱故障诊断模型方法、齿轮箱故障诊断方法
Xia et al. Multi-stage fault diagnosis framework for rolling bearing based on OHF Elman AdaBoost-Bagging algorithm
CN113935460A (zh) 类不平衡数据集下的机械故障智能诊断方法
KR20190126449A (ko) 기술 시스템을 제어하기 위한 방법 및 제어 디바이스
Rampone et al. Neural network aided glitch-burst discrimination and glitch classification
CN111160106B (zh) 一种基于gpu的光纤振动信号特征提取及分类的方法及系统
CN115758212A (zh) 一种基于并行网络和迁移学习的机械设备故障诊断方法
Saravanakumar et al. Hierarchical symbolic analysis and particle swarm optimization based fault diagnosis model for rotating machineries with deep neural networks
Ye et al. A deep learning-based method for automatic abnormal data detection: Case study for bridge structural health monitoring
CN114676716A (zh) 刀具剩余寿命预测方法、装置和介质
CN113884844A (zh) 一种变压器局部放电类型识别方法及系统
CN114331214A (zh) 基于强化学习的域自适应轴承声纹故障诊断方法及系统
Li et al. Structural health monitoring data anomaly detection by transformer enhanced densely connected neural networks
CN117828350A (zh) 跨工况不平衡数据的轴承故障诊断方法及系统
CN116029221B (zh) 一种电力设备故障诊断方法、装置、设备及介质
Castro-Cabrera et al. Adaptive classification using incremental learning for seismic-volcanic signals with concept drift
KR20230152448A (ko) Enas를 적용한 소음 및 진동 데이터 기반 이상상태 진단을 위한 ai 진단모델 자동생성 방법
CN116399592A (zh) 一种基于通道注意力双路径特征提取的轴承故障诊断方法
CN115758237A (zh) 基于智能巡检机器人的轴承故障分类方法及系统
US11941923B2 (en) Automation method of AI-based diagnostic technology for equipment application
Hao et al. New fusion features convolutional neural network with high generalization ability on rolling bearing fault diagnosis
CN114720129A (zh) 一种基于双向gru的滚动轴承剩余寿命预测方法及系统
CN114676717A (zh) 轴承剩余寿命预测方法、装置和介质
CN113420870A (zh) 用于水声目标识别的U-Net结构生成对抗网络及方法