KR20220155834A - 장비 적용을 위한 ai 기반 진단 기술 자동화 방법 - Google Patents

Abstract

본 발명은 자동차 내 회전체로부터 진동 데이타, 소음 데이터 및 CAN 데이터 중 어느 한 개 이상의 데이터를 입력받는 단계; 입력된 데이터를 트리밍하는 데이터 입력 처리 단계; 트리밍된 데이터로부터 특징(features)을 추출하는 단계; 진동 데이타, 소음 데이터 및 CAN 데이터 중 어느 한 개 이상의 데이터에 대한 하이퍼파라미터를 설정값을 정하는 단계; 개별 모델로서 ML(machine learning) 및 DL(deep learning)을 모두 포함하도록 총합 N개의 모델을 생성하고, N개의 상기 개별 모델에 대해 앙상블 모델 구조를 생성하는 단계;를 포함하며, N개의 상기 개별 모델의 비용함수값이 최소가 되도록 상기 하이퍼파라미터에 의한 상기 파라미터 업데이트가 진행됨에 따라, 보상이 최적화되면서 상기 앙상블 모델 구조를 이루는 N개의 상기 개별 모델 구조가 변경된다

Description

장비 적용을 위한 AI 기반 진단 기술 자동화 방법{ Method of AI-Based Diagnostic Technology Automation For Application To Equipment }

본 발명은 차량 내 수집된 빅데이터 유형별, 즉 소음 및 진동의 센서 측정값, CAN 신호 등의 특징 추출부터 인공지능 모델 아케텍쳐을 찾는 AI 기반 진단 기술 자동화 방법에 관한 것으로, 보다 구체적으로 장비에 적용하기 위한 AI 기반 진단 기술 자동화 방법이다..

자동화된 Machine Learning(자동화된 ML 또는 AutoML이라고도 함)은 시간 소모적이고 반복적인 기계 학습 모델 개발 작업을 자동화하는 프로세스이다. 기존의 기계 학습 모델 개발은 리소스를 많이 사용하므로 수십 개의 모델을 생성하고 비교하는 데 상당한 도메인 지식과 시간이 필요하다. 자동화된 Machine Learning을 사용하면 모델을 얻는 데 걸리는 시간을 단축할 수 있다.

최근 인공지능의 발전으로 산업체에서 이를 이용한 진단 및 제어 관련 기술이 급속도로 발전하고 있다. 그러나, 현재 인공지능 진단 및 제어 기술의 수준은 인공 지능 관련된 담당자의 경험을 바탕으로 개인의 능력에 의존적인 진단 모델을 생성하고 있다. 즉, 차량에서 수집된 빅데이터에 대해서 필요한 특징(feature) 추출을 위해 공개된 분석법을 적용하고 있다.

이러한 방법은 진단 성능을 위해 시행착오 과정을 반복하면서 모델을 개발하게 됨에 따라 많은 시간과 노력이 필요하며, 개발된 진단 모델이 최고 성능의 모델인지 판단도 어렵다는 문제가 있다.

최근, 자동화된 머신러닝(자동화된 ML 또는 AutoML이라고도 함)에 대한 시도가 이루어지고 있다. 자동화된 머신러닝은 시간 소모적이고 반복적인 기계 학습 모델 개발 작업을 자동화하는 프로세스이다. 기존의 기계 학습 모델 개발은 리소스를 많이 사용하므로 수십 개의 모델을 생성하고 비교하는 데 상당한 도메인 지식과 시간이 필요하다. 즉, 머신러닝을 최대한 효과적으로 활용하려면 고도로 훈련된 데이터 과학자들로 구성된 팀을 동원하여 각 단계마다 개입하면서 모델을 구축, 적용, 최적화해야 한다.

자동화된 머신러닝을 사용하면 모델을 얻는 데 걸리는 시간을 단축할 수 있다. 그러나, 자동화된 머신러닝을 적용하기 위해서도 데이터의 수집 및 특성 파악, 알고리즘의 선택 및 적용, 훈련 및 조정 등 자동화된 머신러닝이 가능하기 위한 장벽이 존재한다..

한국공개특허 10-2020-0075148(2020.6.26 공개)

본 발명은 차량에서 수집된 빅데이터 유형별, 즉 소음 및 진동의 센서 측정값, CAN 신호 등의 특징 추출을 자동으로 수행하고, 머신러닝 뿐 아니라 딥러닝 아케텍쳐까지 자동적으로 찾고, 탑재하고자하는 장비에 적용이 가능한 파일을 자동 생성함으로서, 누구나 사용가능한 범용의 AI 기반 진단 기술 자동화 방법을 제공함을 목적으로 한다.

상기와 같은 목적을 달성하기 위한 본 발명은 차량 내 회전체로부터 수집된 진동 데이타, 소음 데이터 및 CAN 데이터 중 어느 한 개 이상의 데이터를 입력받는 단계; 입력된 데이터를 트리밍하는 데이터 입력 처리 단계; 트리밍된 데이터로부터 특징(features)을 추출하는 단계; 진동 데이타, 소음 데이터 및 CAN 데이터 중 어느 한 개 이상의 데이터에 대한 하이퍼파라미터를 설정값을 정하는 단계; 개별 모델로서 ML(machine learning) 및 DL(deep learning)을 모두 포함하도록 총합 N개의 모델을 생성하고, N개의 상기 개별 모델에 대해 앙상블 예측 모델 구조를 생성하는 단계;를 포함하며, N개의 상기 개별 모델의 비용함수값이 최소가 되도록 상기 하이퍼파라미터에 의한 상기 파라미터 업데이트가 진행됨에 따라, 보상이 최적화되면서 상기 앙상블 예측 모델 구조를 이루는 N개의 상기 개별 모델 구조가 변경된다.

또한, 데이터 입력 처리단계는 문제 주파수 대역 및 데이터 시간 길이에 따라 데이터 트리밍을 하는 것을 특징으로 한다.

또한, 트리밍된 데이터는 훈련(train) 데이터, 검증(validation) 데이터, 시험(test) 데이터로 분류되는 것을 특징으로 한다.

또한, 트리밍된 데이터로부터 특징(features)을 추출하는 단계;는 분류성능 판단지표에 따라 1개 또는 2개이상의 독립적인 특징 추출을 위한 알고리즘을 사용하되, 앙상블(Ensemble) 예측을 선택적으로 추가 적용하는 것을 특징으로 한다.

도 1은 본 발명의 전체 구성을 나타내는 블록도이다.
도 2는 하이퍼파라미터의 예시를 나타낸다.
도 3은 인공지능 개별 모델에 대해 앙상블(Ensenble) 예측모델이 적용된 것을 나타낸다.
도 4는 도 3의 앙상블 예측모델이 적용된 개별 인공지능 모델의 비용함수를 나타낸다.
도 5는 본 발명을 통해 산출된 모델을 서버에 저장하고 사용하는 실시예이다.
도 6은 본 발명을 통해 산출된 모델을 포터블 장비에 저장하고 사용하는 실시예이다.

이하 본 발명의 실시 예를 첨부된 예시도면을 참조로 상세히 설명하며, 이러한 실시 예는 일례로서 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 여러 가지 상이한 형태로 구현될 수 있으므로, 여기에서 설명하는 실시 예에 한정되지 않는다.

본 발명은 이러한 자동화 머신러닝(AutoML)을 딥러닝(AutoML/DL)까지 포함하도록 확장해서 구현하고, 최적화과정을 통해 자동화를 실현하기 위한 것이다.

자동화는 계산 단계에 따라 크게 세 가지로 구분될 수 있다.

첫째는 AI 모델을 학습하기 위해 데이터에서 중요한 특징(feature)을 선택하고 인코딩하는 방식에 대한 특징 엔지니어링(feature engineering) 자동화다. 특징 엔지니어링은 데이터에 대한 도메인 정보를 사용하여 ML 알고리즘의 기능을 개선 하는 데 도움이 되는 기능을 만드는 프로세스이다.

둘째는 AI 모델 학습에 필요한 인간의 설정, 즉 하이퍼파라미터를 자동으로 탐색해 주는 것이다.

딥 러닝 모델 학습에 필요한 하이퍼파라미터는 다양한 종류가 있다. 모델의 파라미터 업데이트를 얼마만큼 큰 단위로 할지 결정하는 학습률(learning rate), 데이터를 얼마나 쪼개 학습할지의 단위인 미니배치 사이즈(mini-batch size), 데이터를 몇 번 반복 학습할지에 대한 단위 에폭(epoch), 이 밖에 모멘텀이라든지 콘볼루션 필터의 수, 스트라이드 등 인간이 설정해 주어야 하는 값이다. 많은 경우 딥 러닝 학습 프레임워크(TensorFlow, PyTorch 등)에서는 기본적으로 잘 작동하는 설정을 디폴트로 제공하고 있다. 하지만 기본 설정으로도 학습이 잘되지 않는다면 실험 결과를 살핀 뒤 하이퍼파라미터를 조금씩 튜닝해 줘야 한다.

셋째는 AI 모델의 구조 자체를 더 효율적인 방향으로 찾아주는 아키텍처 탐색의 자동화이다. 즉, 하이퍼파라미터뿐만 아니라 최적의 아키텍처를 찾아주는 방법에 관한 것이다. 아키텍처는 모델을 이루는 구조를 말하는데, 인간이 어떤 방식으로 모델 구조를 짤지 생각하지 않아도 자동 탐색을 통해 최적 구조를 찾을 수 있다. AutoML을 활용하면 인간이 각각의 구조를 고민하고 하이퍼파라미터를 튜닝할 필요 없이 최적의 환경을 기계가 대신 결정해 줄 수 있다. 일반적으로 AutoML을 활용하면 인간이 고안한 모델 이상의 성능을 낼 수 있다. 기계는 인간이 생각도 못한 조합의 설정이나 구조를 시도해 볼 수 있고 기존의 설정 관습이나 제약에 얽매이지 않기 때문이다.

본 발명을 구성하는 각 단계별로 도 1에 의해 설명한다.

본 발명은 차량 내 회전체로부터 수집된 진동 데이타, 소음 데이터 및 CAN 데이터 중 어느 한 개 이상의 데이터를 제어기(미도시)에서 입력받는다. 여기서 회전체란, 동력 발생 또는 동력 전달을 위한 회전체로서 엔진, 변속기, 모터, 감속기 등을 의미한다.

첫째, 데이터 입력 처리단계(S10)이다. 본 발명에서는 데이터의 저장 공간을 미리 지정해서 할당하는 행위만 인간이 설정할 뿐, 그 이외에는 모두 기 설정된 조건에 따라 자동화단계(Automation)이다. 데이터의 저장공간을 미리 확보하는 것은 이 분야에서는 로그인, 로그아웃처럼 인간의 단순한 설정 행위릴 뿐 발명의 주 내용은 아님을 분명히 한다.

트리밍 조건(trimming)에도 자동화되어 data trimming을 진행한다. 즉, 유저 인터페이스 영역에서 선택에 따라 소음 데이터 또는 진동 데이터 및 각각에 추가될 수 있는 CAN 데이터로 구분될 수 있다. 소음, 진동 및 CAN 데이터는 차량 내 회전체에 설치된 소음센서, 진동센서 및 CAN 통신으로부터 취득된다. 데이터 입력 처리단계(S10)에서는 입력된 데이터를 트리밍하는 데이터 입력 처리가 수행된다.

한편, 센서나 통신으로 취득된 데이터는 그 속성에 따라 진단유형이 구분된다. 예로, On/Off 혹은 True/False와 같이 데이터가 간단히 2개 패턴을 가진 진단유형이 될 수도 있고, 진단유형이 2개보다 클 수도 있다. 데이터의 유형은 전체 데이터의 속성으로부터 미리 설정된 규칙에 따라 진단 유형이 자동으로 결정될 수 있고, 진단유형의 개수에 따라 이진분류 및 다중 분류로 구분되는데, 진단 유형이 2개인 경우 이진 분류이고, 진단 유형이 3개 이상인 경우 다중 분류이다. 데이터의 정리는 미리 생성해둔 유형별 폴더에 데이터를 저장할 수 있다.

소음, 진동 및 CAN 데이터에는 공동적으로 재현 모드 및 데이터 시간이 정의될 수 있다. 또한, 소음 및 진동 데이터에 대해서는 문제 주파수 구간을 정의할 수 있다. 재현 모드란, 반복되는 데이터의 취득을 최소로 하기 위해 반복되거나 재현(repeat)되는 모드를 정의하는 것이다. 데이터 시간은 문제 유형이 발생할 때 데이터를 수집하는 기준으로 데이터 취득 시간을 정의한 것이다. 엔진회전수, 차속 등 이러한 재현 모드 정의나 데이터 시간 정의를 통해 데이터 취득 규모를 줄일 수 있도록 정의할 수 있다. 문제 주파수 구간 정의는 문제 유형이 발생하는 시간 폭 혹은 시간의 길이를 정의한 것이다.

데이터 입력처리단계에서 수행되는 데이터 트리밍 조건은 문제 주파수 대역 및 데이터 시간 길이이며, 이러한 트리밍 조건이 반영되어 취득 데이터에 대한 데이터 트리밍이 진행된다.

차량 내 회전체로부터 수집된 데이타는 전처리부(pre-processor)에서 설정한 기준에 따라 진단 유형 별로 분류된 훈련(train) 데이터, 검증(validation) 데이터, 시험(test) 데이터를 엽력받아, 계산부(processor)에서 자동화를 위한 계산과정이 수행된다. 계산부의 위치는 자동화 시스템 전용으로 데이터 취득하는 센서와 일체될 수도 있고, 이와 별개로 생성 모델을 적용하려는 장비 내 위치하는 장비에 위치할 수도 있다.

훈련 데이터(Train dataset)는 모델을 학습하기 위한 데이터이다. 모델을 학습하는데는 오직 훈련 데이터(Train dataset)만 이용한다.

검증 데이터(validation dataset)은 학습이 이미 완료된 모델을 검증하기위한 데이터(dataset)이다.

시험 데이터(Test dataset)은 학습과 검증이 완료된 모델의 성능을 평가하기위한 데이터(dataset)이다.

검증 데이터(validation dataset)와 시험 데이터(test dataset)의 공통점은 데이터를 통해 모델을 update 즉, 학습을 시키지 않는다는 것이다.

즉, 검증 데이터(validation dataset)는 모델을 update, 즉 학습을 시키진 않지만 학습에 관여는 한다. 시험 데이터(test dataset)은 학습에 전혀 관여하지 않고 오직 '최종 성능'을 평가하기 위해 쓰인다.

이렇게 검증 데이터(validation dataset)와 시험 데이터(test dataset)은 모두 이미 학습을 완료한 모델에 대해 평가하고 학습을 시키지 않는다.

한편, 소음 및 진동 데이터 트리밍 포맷은 웨이브 파일 포맷(wave file format), 아스키 파일 포맷(ASCII file format)의 2가지 유형으로 생성되며, CAN 데이터 트리밍 포맷은 아스키 파일 포맷(ASCII file format), CSV file format의 2가지 유형으로 생성될 수 있다.

한편, 본 발명에서 데이터 입력 처리단계(S10)는 차량에서 수집된 데이터를 유형별로 분류하고 데이터를 트리밍(trimming)하는 반자동화 단계(Semi-Automation)일 수도 있다. 자동화단계와 반자동화단계의 차이는 인간의 결합여부에 있다. Semi-Automation은 컴퓨터 컨트롤러에 의해 조정된 인간과 기계의 결합 활동에 의해 계산부(processor)에서 수행된다. 반자동 제조 프로세스는 일반적으로 단계를 수행해야 하는 시점에 메시지를 보내는 컴퓨터 컨트롤러에 의해 조정된다. 컨트롤러는 일반적으로 인간이 수행한 단계가 인간-기계 인터페이스 또는 프로세스 내에 배포된 전자 센서를 통해 완료되었다는 피드백을 기다린다.

반자동 프로세스 내의 제어기는 기계를 직접 제어하거나 프로세스 내에 배포된 기계로 신호를 전송할 수 있다. 이 과정에서 인간이 설정을 하거나 판단을 하는 부분을 감안해 반자동 제조 프로세스(Semi-Automation)라고 한다.

둘째, 입력 데이터(10)로부터 특징을 자동 추출하고 최적화하는 자동화 머신러닝 및 딥러닝 단계(S20)이다. 즉, 트리밍된 데이터로부터 특징(features)을 추출하는 단계이다. 입력 데이터(10)의 특징 추출 전에는 데이터 분류가 어렵지만, 입력 데이터 특징을 추출한 뒤에는 유형 별 데이터 분류가 용이하다. 특징 추출을 위해 적용되는 신호처리 기법 알고리즘은 인공지능 진단에서 사용하는 신호분석 기법이 있고, 사람의 청각을 표현하는 NVH 신호분석 기법인 Sound Quality Metrics도 인공지능 진단에 포함시킬 수 있다.

인공지능 진단에서 사용하는 신호분석 기법은 시간분석(time 분석), 주파수 분석(frequency 분석)이 있다. 먼저, 시간분석(time 분석)에 관한 인자는 Max, RMS, Varience, Skewness, Kurtosis, Zero crossing rate 등이 있다.

한편, 주파수 분석(frequency 분석)을 통해 특징을 추출하는 신호분석 기법은 Spectrogram,Mel filterbank, Harmonic Percussive separation. Spectral centroid, Spectral flatness. wavelet 등이 있다.

한편, 사람의 청감을 표현하는 NVH 신호분석 기법을 인공지능 진단에 포함시킨 특징을 추출하는 신호분석 기법으로 음질(Sound Quality) 분석에 관련된 알고리즘과 관련 인자는 다음과 같다. 즉, Loudness은 사람의 귀에 감지되는 소리의 강도를 나타내는 지수이고 Sharpness는 소리의 날카로운 정도를 나타내는 지수이며, Fluctuate strength는 20Hz까지 음의 완만한 진폭변조(Slower amplitude modulation)에 대한 주관적 인지를 나타내는 지수이고, Tonality는 음의 전체레벨과 각 주파수 성분의 레벨을 비교하여 음의 스펙트럼에서 음조이고, Impulsiveness는 음의 충격강도이고, Modulation는 음의 변환을 의미한다.

훈련(train) 데이터 중에서 일정 부분비율인 20%정도의 데이터를 활용해, 특징 추출을 위해 적용되는 알고리즘을 적용하여 입력 데이터로부터 특징을 추출한다. 데이터를 일부만 사용하면 그만큼 계산 시간과 공간이 절감될 수 있다.

앞서 예시한 특징 추출을 위해 적용되는 알고리즘을 적용해 입력데이타로부터 특징을 추출하고, 강화학습을 적용해 분류성능 판단지표 기준으로 보상(reward)을 진행한다. 강화학습의 목적은 과정에서 받는 보상의 총합, 즉 누적보상(cumulative reward)을 최대화하는 것이다.

보상(reward)이란, 얼마나 잘하고 있는지에 대한 평가이다. 분류성능 판단 지표란, 분류성능 평가 지표라고도 하며, 정확도(accuracy), 오차행렬(confusion matrix), 정밀도(precision), 재현율(recall) 등이 성능 평가 지표로 많이 사용된다.

따라서, 분류성능 판단지표 기준으로 보상한다는 의미는 정확도, 오차행렬, 정밀도, 재현율 등 분류성능 평가지표로부터 얼마나 계산을 잘하고 있는지에 대해 평가하는 것을 의미한다.

이를 위해, 먼저 1개의 특징추출을 위한 독립 알고리즘만이 적용된 특징 성능을 판단하는 것이다. 즉, 1개의 독립된 특징 추출 알고리즘으로도 특징 성능의 추출이 잘 진행되는지 판단할 수 있다. 두 번째는 2개 이상의 독립된 특징 추출 알고리즘을 결함하여 특징 성능의 추출이 잘 진행되는지 판단할 수 있다. 이 경우 2개 이상의 독립 알고리즘에 대해서는 1:1의 가중치를 부여할 수 있다. 세 번째는 앞서 2개 이상의 독립 알고리즘을 결함하여 특징 성능을 추출하되 앙상블(Ensemble) 예측 을 적용해서 특징 성능의 추출이 잘되고 있는지를 판단할 수 있다. 이때 2개 이상의 독립 알고리즘을 결함에 대해 가중치 합이 1.0이 된다. 앙상블 예측이란, 인공지능에서 여러 개의 알고리즘을 사용해 그 예측을 결합함으로써 보다 정확한 예측을 도출하는 학습방식인 앙상블 학습(Ensemble learning)을 의미한다.

보상을 기준으로 최고치 성능을 발휘하는 특징 추출 방식을 확정하고, 입력데이타(10)는 훈련 데이터(train data set), 시험 데이터(test dataset), 검증 데이터(validation dataset) 전체에 고정된 특징을 추출하는 방식을 적용하여 유형 별 폴더에 자동 저장된다.

셋째, 하이퍼파라미터를 최적화하는 단계(S30)이다.

즉, 진단 모델의 성능 인자 중 하이퍼파라미터의 설정을 자동화하는 단계이다. 하이퍼파라미터란, 모델 구성에 필요한 인자로서 성능에 영향을 주는 파라미터이다로서 도 2에 예시되어 있다. 하이퍼파라미터를 최적화하는 단계(S30)는 진동 데이타, 소음 데이터 및 CAN 데이터 중 어느 한 개 이상의 데이터에 대한 하이퍼파라미터를 설정값을 정하게 된다.

하이퍼파라미터의 예시로서, 배치 사이즈(batch size), 최대 epoch(최대 literation 수), 러닝 레이드(Learning rate), 정규화 파라미터( Regularization parameter로서, drop out rate, L1 & L2 regularization 등), Weight & Bias initialization 값, Layer 수, Node 수, DL/ML Model의 인자로서 Number of filters, Filter size, Stride, Padding, Dilation rate가 있으며, 각종 Pooling 기법 적용 시 pooling rate(ratio), Activation function의 종류, Ensemble 모델 구성 시 각 모델의 가중치 등이 있다.

데이터 입력 처리 단계에서 생성된 분류 유형별 데이터를 입력 받으면 자동으로 처리될 수 있다. 이를 위한 과정은 먼저, 입력 데이터가 진동이나 소음 데이터 인지를 판단한다. 이때 추가적으로 CAN 데이터 여부도 판단될 수 있다(step1). 이후, 진동이나 소음 데이터(추가적으로 CAN 데이터) 유형에 적절한 하이퍼파라미터 설정값을 적용한다(step2). 이후, 모델 최적화 반복 수행을 진행하면서 하이퍼파라미터를 업데이트한다(step3). 최종 하이퍼파라미터 값이 적용된 모델을 통해 최종 모델 파라미터 업데이트를 자동 수행한다(step4). 이후, 모델 검증 데이터(validation dataset)을 통해 최종 모델의 정확도를 추출한다(step5). 마지막으로 시험 데이터(test dataset)를 통해 모델을 검증한다(step6).

데이터 전처리 후 Auto 머신러닝을 준비하는 단계에서, 주파수 필터링 및 신호처리기법이 적용될 때 및 전처리 데이터를 시각화(기본 분석 plot)하는 단계에서 각 작업마다 하이퍼파라미터가 자동으로 정해진다(automated setting hyper parameters). 즉, 소음 데이터, 진동 데이터, 추가적으로 CAN 데이터에 대해서 이진 혹은 다중 분류를 위해 배치 사이즈(batch size), 학습율(learning rate), 드롭 아웃(drop out) 등에서 하이퍼파라미터가 앞서 step1 ~ step 6을 통해 자동으로 정해진다.

넷째, 모델을 탐색하는 자동화 머신러닝 및 딥러닝 단계(S40)이다.

먼저, 모델 구조가 개별 모델로만 이루어진 경우이다. 개별 모델의 일예로서, 서포트 벡터 머신(Support vector machine), Convolution Network, DensNet Algorithm, Other algorithm의 다양한 예측값 중 개별 딥러닝/머신러닝 모델에 대한 성능 평가 결과는 동일 입력값에 대해서도 개별 모델의 진단결과는 예시(DensNet Algorithm만 Flase)와 같이 True 또는 False 로 상이할 수 있다. 즉, 개별 모델은 동일 입력에 대해서 진단 결과가 True or False 로 나타날 가능성이 높다.

이러한 문제 극복을 위해 Ensemble 방식의 적용이 필요하다. 도 3에서 서포트 벡터 머신(Support vector machine), Convolution Network, Other algorithm에서는 ‘1’로 표기된 True, DensNet Algorithm에서는 ‘2’로 표기된 False로 나타낸 예시인데, Ensemble prediction(앙상블 예측)을 적용하면 전체결과는 '1'의 True가 된다. 즉, 개별 모델의 성능을 추론해 모델을 조합하고 가중치를 부여함으로서, 1개의 통합 모델이 되고 성능이 향상될 수 있다. DensNet Algorithm의 경우 전체 모델에서 기능은 하지만 낮은 가중치를 부여한다. 그 이유는 특이 조건에 대한 진단 시 정확도가 높아질 가능성이 있기 때문이다.

예시로 제시된, 서포트 벡터 머신(support vector machine, SVM)은 주어진 샘플 그룹에 대해 그룹 분류(classification) 규칙을 찾아내는 기법 중 하나이다. 합성곱 신경망(Convolutional neural network, CNN)은 시각적 영상을 분석하는 데 사용되는 다층의 피드-포워드적인 인공신경망의 한 종류이다. 서포트 벡터 머신(support vector machine, SVM)은 머신러닝 알고리즘이며, 합성곱 신경망(Convolutional neural network, CNN) 및 DensNet Algorithm은 딥러닝 알고리즘이다.

즉, N개의 개별 함수에는 ML 알고리즘 및 DL 알고리즘이 모두 포함되는 것으로 ML 알고리즘만으로 구성된 것돠 차별된다. 특히, 딥 러닝에서 심층 신경망으로 분류되며, 시각적 영상 분석에 주로 적용되는 DensNet Algorithm은 Dense Convolutional Network을 의미한다.

모델을 탐색하는 자동화 머신러닝 및 딥러닝 단계(S40)에서는 개별 모델로서 ML(machine learning) 및 DL(deep learning)을 모두 포함하도록 총합 N개의 모델을 생성하고, N개의 상기 개별 모델에 대해 앙상블 예측 모델 구조를 생성하게 된다.

다섯째, 모델 구조 최적화 단계(S30 및 S40)이다.

모델 구조 최적화 단계는 하이퍼파라미터를 정한 뒤, 딥러닝 아키텍쳐를 생성하는 단계로서, 딥러닝/머신러닝의 자동 모델 구조를 생성하는 단계이다. 앞서 하이퍼파라미터 단계로부터 튜닝을 통해 최적의 하이퍼파라미터가 결정되는 과정은 모델의 훈련(training), 즉 훈련(train) 데이터를 통해 최적의 모델 파라미터를 결정하는 것이 가능했다. 이로부터, 각 레이어(layer) 별로 가중치(weight) 파라미터 및 바이어스(bias) 파라미터가 업데이트 된다.

파라미터 업데이트는 모델 내부의 연산결과로부터 모델의 비용함수(Cost Function)가 최소가 되도록 진행된다. 즉, 전방(forward) 및 후방(backward) 연산을 통한 모델 학습 결과로서 자동화 시스템에서 설정된 값으로 최적화된 모델 수립 및 하이퍼파라미터에 의해 파라미터가 자동 업데이트 됨으로서 모델 구조가 변경된다.

하이퍼파라미터를 최적화는 그리드 서치(grid search), 랜덤 서치(random search), 램덤 라틴 하이퍼큐브(Random Latin Hypercube) 등의 자동화 알고리즘에 의해 이루어진다.

하이퍼파라미터를 최적화하면 모델 성능을 향상시키는데 큰 도움이 된다. 그리드 서치는 리스트로 지정된 여러 하이퍼파라미터 값을 받아 모든 조합에 대해 모델 성능을 평가하여 최적의 하이퍼파라미터 조합을 찾는다. 그리드 서치(격자 탐색)은 모델 하이퍼파라미터에 넣을 수 있는 값들을 순차적으로 입력한 뒤에 가장 높은 성능을 보이는 하이퍼파라미터들을 찾는 탐색 방법이다. 그리드 서치는 말그대로 모든 경우를 테이블로 만든뒤 격자로 탐색하는 방식에 해당한다면, 랜덤 서치는 하이퍼파라미터 값을 랜덤하게 넣어보고 그중 우수한 값을 보인 하이퍼파라미터를 활용해 모델을 생성한다는 것이다. 랜덤 Latin Hypercube는 그리드 서치와 랜덤 서치를 서로 보완한 알고리즘이다.

AutoML 모델 및 하이퍼파라미터의 업데이트는 기존에는 개발자 경험에 의한 모델 및 기타 설정값을 입력했지만, 본 발명에서는 자동 모델 구조 생성 시, 검증 데이터(validation dataset) 기준으로 정확도 보상(rewadrd)를 통해 자동으로 생성된다.

여섯째, 비용함수 최적화 단계(S50 및 S60)이다. 도 4에서 Mean Square error, 크로스 엔트로피, Focal loss, 기타 다양한 진단 모델의 파라미터는 모델의 성능에 영향을 주는 인자이며, 모든 파라미터는 Cost(loss) 함수값이 최소가 되는 방향, 즉 손실함수의 최적화 방향으로 업데이트 된다. 즉, N개의 비용함수의 성능결과에서, 개별 비용함수(cost function) 성능을 평가해, Cost(loss)가 '1'인 True로서 결과에 영향을 주거나, Cost(loss)가 ‘2’인 False로서 결과에 영향을 제각각 줄 수 있다. 따라서, 개별 비용함수 성능에 Ensemble 비용 함수를 적용하면, 개별 비용 함수의 결과에 가중치가 부여되며, 이를 통해 1개의 비용 함수 적용시 발생할 수 있는 오버피팅(overfitting) 현상을 방지할 수 있으며, 강건한 모델 구성이 가능하다.

손실함수는 정답에 대한 오류를 숫자로 나타내는 것으로 오답에 가까울수록 큰 값이 나온다. 반대로 정답에 가까울수록 작은 값이 나온다. 가장 많이 사용하는 손실함수 MSE(Mean Squared Error), CEE(Cross Entropy Error), Focal Loss 등이 있다.

비용함수(Cost function)의 성능 향상 기법은 대표적인 3개의 비용함수의 개별적인 성능 확인을 통해 가능하다. 비용함수로 이루어진 Ensemble model을 만들기 위해 automation 알고리즘이 적용될 수 있다. 이때 비용함수는 1차 개별 비용 함수에 따라 추론 모델의 성능에 큰 영향을 주는 경우, Ensemble 알로리듬 적용이 필요하다.

N개의 상기 개별 모델의 비용함수값이 최소가 되도록 상기 하이퍼파라미터에 의한 상기 파라미터 업데이트가 진행됨에 따라, 보상이 최적화되면서 상기 앙상블 예측 모델 구조를 이루는 N개의 상기 개별 모델 구조가 변경된다. 여기서 보상은, 모델 정확도 성능에 대한 보상을 의미한다. N개의 개별 모델 별 결과와, 앙상블 모델을 적용한 결과를 비교하고, 산출된 모델의 정확도 출력에서 검증 데이터를 사용해 검증을 한 뒤, 반복되는 개별 모델의 설정은 랜덤으로 선택될 수 있으며, 앙상블 예측 모델 내에서의 가중치도 랜덤으로 선택될 수 있다.

이를 정리하면, 장비를 통해 실시간 계측된 입력데이타 및 기 저장된 별도 데이터를 적용해 입력데이터를 수집(S10)한 후, 데이터 입력부(10)에서 입력된 데이터의 신호를 분석해 특징을 추출(S20)하며, 하이퍼파라미터를 설정(S30), 인공지능 아키텍쳐를 설정(S30), 손실함수를 도출(S40)하고, 도출된 손실함수를 최소화함으로서 인공지능 DL/ML 구조가 최적화(S50)된다. 도면번호 40의 순환블럭은 인공지능 DL/ML 모델이 최적화되는 위의 과정이 반복적으로 순환되면서 자동으로 최적화되는 순환블록(40)을 의미한다.

한편, 순환블럭(40) 내에서는 훈련 데이터 및 검증 데이터에 의해 생성된 모델을 훈련 및 검증하며, 순환블록에서 훈련 및 검증을 종료(S80)한 진단 모델에 대해서는 전처리부에서 분류된 시험 데이터(30)에 의해 정확도를 진단(S90)한다. 진단 결과 정확하다고 판정되면 진단기술을 실행할 수 있는 파일을 생성할 수 있다(S100). 입력데이타로부터 파일 생성까지 전체를 진단모델생성 블록(20)이라고 한다.

도 5는 진단모델 생성 블록에서 자동 특징이 추출된 진단 모델이 진단기 즉, 진단용 장비에 설치되고, 실차에서 측정된 데이터로부터 수집된 입력 데이터를 이용해 진단 결과를 출력할 수 있다. 이때 진단모델생성 블록(20)에서 자동 특징이 추출된 진단 모델은 진단기를 위해 준비된 진단기 서버로 전송될 수 있다. 실차에서 측정된 데이터로부터 수집된 입력 데이터를 진단기 서버로 전송함으로서, 진단 결과를 진단기 서버로부터 수신해 출력할 수 있다.

도 6은 진단모델생성 블록(20)에서 자동으로 특징이 추출된 진단 모델을 Low level 언어파일로 만들어 추출/배포하고, 포터블한 장비에 탑재하는 것으로, 실차에서 측정된 데이터로부터 수집된 입력 데이터를 진단기 서버로 전송하지 않고, 직접적으로 진단 결과를 포터블 장비에 의해 실시간으로 출력하는 것도 가능하다.

즉, Low level 언어(C, C++, JAVA)에 기반한 기본 소프트웨어로 구성해 입/출력을 정형화함으로서 전문가 수준의 모델 결과가 자동 생성되는 것을 또다른 목적으로 한다. 즉, 전처리 데이터 유형에 맞는 특징(feature)을 자동 설정하고, 딥러닝 아키텍쳐를 자동설계한 제품의 생성이 가능하다. Low level 언어에 기반한 기본 소프트웨어의 구성이 필요한 이유는 정형화된 데이터 입/출력 형태로 구성해 적용가능한 형태의 compile 수행을 위해서이며, 포터블 애플리케이션 파일(APK)의 생성을 가능하게 한다.

이를 적용한 실시예로서, 본 발명인 장비 적용을 위한 AI 기반 진단 기술 자동화 방법이 개발 부분 장비에서 운영되는 경우이며, 서버 또는 클라우드 방식으로 적용될 수 있다.

또다른 실시예로서, 모델 최적화 자동 실시는 동일하나, 고성능 서버가 아닌 포터블 장비에 바로 적용가능하도록 Low level 언어로 변환되도록 한다. 복잡한 DL/ML 모델에 대해서 Low level 언어로 변환되어, 입력 신호에 대한 정보 승계, 모델 결과에 대한 출력신호를 정의하고, 포터블 장비의 운영체계인 안드로이드, ISO 환경에서 구동가능한 형태의 AI 진단 모델 라이브러리를 생성하고 배포 및 적용가능하다.

10 데이터 입력부
20 진단모델생성 블록
30 시험 데이터(Test dataset)
40 순환블럭

Claims (11)

1. 차량내 회전체로부터 수집된 진동 데이타, 소음 데이터 및 CAN 데이터 중 어느 한 개 이상의 데이터를 입력받는 단계;
   상기 입력된 데이터를 트리밍하는 데이터 입력 처리 단계;
   상기 트리밍된 데이터로부터 특징(features)을 추출하는 단계;
   상기 진동 데이타, 소음 데이터 및 CAN 데이터 중 어느 한 개 이상의 데이터에 대한 하이퍼파라미터를 설정값을 정하는 단계;
   개별 모델로서 ML(machine learning) 및 DL(deep learning)을 모두 포함하도록 총합 N개의 모델을 생성하고, N개의 상기 개별 모델에 대해 앙상블 예측 모델 구조를 생성하는 단계;
   를 포함하며,
   N개의 상기 개별 모델의 비용함수값이 최소가 되도록 상기 하이퍼파라미터에 의한 상기 파라미터 업데이트가 진행됨에 따라,
   모델 정확도 성능에 대한 보상이 최적화되면서 상기 앙상블 예측 모델 구조를 이루는 N개의 상기 개별 모델 구조가 변경되는 것을 특징으로 하는
   장비 적용을 위한 AI 기반 진단 기술 자동화 방법.
2. 제1항에 있어서,
   상기 데이터 입력 처리단계는 문제 주파수 대역 및 데이터 시간 길이에 따라 데이터 트리밍을 하는 것을 특징으로 하는
   장비 적용을 위한 AI 기반 진단 기술 자동화 방법
3. 제2항에 있어서,
   상기 트리밍된 데이터는 훈련(train) 데이터, 검증(validation) 데이터, 시험(test) 데이터로 분배되는 것을 특징으로 하는
   장비 적용을 위한 AI 기반 진단 기술 자동화 방법
4. 제3항에 있어서,
   상기 트리밍된 데이터로부터 특징(features)을 추출하는 단계;는
   분류성능 판단지표에 따라 1개 또는 2개이상의 독립적인 특징 추출을 위한 알고리즘을 사용하되, 앙상블 (Ensemble) 예측 모델을 선택적으로 추가적용하는 것을 특징으로 하는
   장비 적용을 위한 AI 기반 진단 기술 자동화 방법
5. 제4항에 있어서,
   2개이상의 독립적인 특징 추출을 위한 알고리듬을 사용하는 경우는 각각의 특징 추출 알고리듬이 1:1의 가중치를 가지고,
   Ensemble 방식을 선택적으로 추가적용하는 경우는 가중치의 합이 1인 것을 특징으로 하는
   장비 적용을 위한 AI 기반 진단 기술 자동화 방법
6. 제1항에 있어서,
   상기 하이퍼파라미터를 최적화하는 단계;는
   그리드 서치, 랜덤 서치 또는 랜덤 라틴 하이퍼큐브 자동화 알고리듬에 의해 이루어지며, 상기 하이퍼파라미터가 업데이트 진행됨으로서서, 상기 자동 ML 및 DL 모델 구조가 최적화되는 것을 특징으로 하는
   장비 적용을 위한 AI 기반 진단 기술 자동화 방법
7. 제6항에 있어서,
   최종의 상기 하이퍼파라미터가 적용된 상기 자동 ML 및 DL 모델 구조를 최적화가 이루어지면,
   검증 데이터(validation dataset)에 의해 모델 검증 후, 시험 데이터(test dataset)로 최종 모델의 평가가 이루어지는 것을 특징으로 하는
   장비 적용을 위한 AI 기반 진단 기술 자동화 방법
8. 제7항에 있어서,
   N개의 상기 개별 함수의 비용함수(cost function)를 확인한 뒤, 상기 앙상블 (Ensemble) 예측 모델에 N개의 상기 비용함수(cost function)를 적용함으로서 강건한 모델구성이 되는 것을 특징으로 하는
   장비 적용을 위한 AI 기반 진단 기술 자동화 방법법
9. 제8항에 있어서,
   상기 앙상블 (Ensemble) 예측 모델의 비용함수를 구성하는 개별 비용함수에는 가중치가 부여된 것을 특징으로 하는
   장비 적용을 위한 AI 기반 진단 기술 자동화 방법
10. 제1항에 있어서,
    상기 회전체는 동력 발생 또는 동력 전달을 위한 회전체인 것을 특징으로 하는
    장비 적용을 위한 AI 기반 진단 기술 자동화 방법
11. 청구항1의 장비 적용을 위한 AI 기반 진단 기술 자동화 방법이 적용된 장비
    

Images