KR20190018798A - 차량 소음의 컨벌루션 뉴럴 네트워크에 의한 소음 분류 방법 - Google Patents

Abstract

본발명은 자동 및 소음을 측정하여 이미지를 딥러닝하는 기술로서 자동차의 소음을 wave 형태로 입력받아 1초단위로 데이타를 튜닝후 CNN(Convolution Neural Nerwork) 알고리즘으로 알고리즘후 분류 하는 기술에 관한 것이며 또 그 분류 된 고장 타입에 따라 Decomvolution 통하여 그 원음을 추정하고 소리및 진동으로 그 고장 상태를 알려주는 기술에 관한것이다.

Description

차량 소음의 컨벌루션 뉴럴 네트워크에 의한 소음 분류 방법 { car noise sound with Convolution Nueral Network classification method }

본발명은 자동 및 소음을 측정하여 이미지를 딥러닝하는 기술 CNN(Convolution Neural Nerwork) 알고리즘으로 최적의 정확도로 분류하는 기술에 관한 것이며 또 그 분류 된 고장 타입에 따라 Decomvolution 통하여 그 원음을 추정하고 소리 및 진동으로 그 고장 상태를 알려주는 기술에 관한 것이다.

1. Convolution이란 어떤 신호가 시스템을 거쳐 결과를 얻고자 할 때 사용되는 개념으로 input f(t)와 system g(t)의 *로 나타낸다.즉 입력이 시스템을 지날 때 콘볼루션 연산을 통하여 결과를 얻게되는 것이다. convolution in time form에서의 (수식1) 은 다음과 같다.

(수식1)

2. 이미지에서 Convolution은 2 차원 함수로 생각할 수 있습니다. 많은 중요한 이미지 변환은 "커널"이라는 매우 작은 로컬 함수로 이미지 함수를 컨볼빙하는 컨볼루션입니다.(도1)

3. 컨벌루션 뉴럴 네트워크 (Connolutional Neural Network, CNN)는 하나 이상의 컨볼 루션 레이어 (종종 서브 샘플링 단계가 있음)로 구성되고 표준 멀티 레이어 뉴럴 네트워크 와 같이 하나 이상의 완전히 연결된 레이어가 이어집니다 . CNN의 아키텍처는 입력 이미지 (또는 음성 신호와 같은 다른 2D 입력)의 2D 구조를 이용하도록 설계되었습니다. 이는 로컬 연결 및 연결된 가중치와 함께 변환 불변 (invariant) 기능을 발생시키는 풀링 (pooling)의 형태로 이루어집니다. CNN의 또 다른 이점은 동일한 수의 숨겨진 유닛을 가진 완전히 연결된 네트워크보다 더 적은 수의 매개 변수를 가지고 훈련이 쉽다는 것입니다. 이 기사에서는 그라디언트 기반 최적화를 사용하기 위해 모델의 매개 변수와 관련하여 그라디언트를 계산하기위한 CNN 컨볼 루션 레이어 다음에는 완전히 연결된 레이어가 여러 개있을 수 있습니다. 조밀하게 연결된 레이어는 표준 다중 레이어 신경망 의 레이어와 동일 합니다

(도2) : 풀링을 가진 길쌈 신경망의 첫 번째 계층. 같은 색상의 단위는 가중치가 있고 다른 색상의 단위는 다른 필터 맵을 나타냅니다.

4. CNN은 선택적으로 완전히 연결된 레이어가 뒤 따르는 여러 개의 컨벌루션 및 서브 샘플링 레이어로 구성됩니다. 컨벌루션 레이어에 대한 입력은m × m × r엠 엑스 엠 엑스 아르 자형 이미지 위치 엠엠 이미지의 높이와 너비입니다. 아르 자형아르 자형 채널 수입니다. 예를 들어 RGB 이미지에는 r = 3아르 자형=삼. 컨벌루션 레이어는케이케이 크기의 필터 (또는 커널) n x n x q엔 엑스 엔 엑스 큐 어디에 엔엔 이미지의 크기보다 작고 큐큐 채널 수와 같을 수도 있습니다. 아르 자형아르 커널마다 다를 수 있습니다. 필터의 크기는 국부적으로 연결된 구조를 발생 시키며,이 구조는 각각 이미지와 결합되어 생성됩니다. kk 크기의 특징지도 m - n + 1m-n+1. 각 맵은 평균 또는 최대 풀링으로 일반적으로 서브 샘플링됩니다.p x p피 엑스 피인접한 영역 p는 작은 이미지 (예 : MNIST)에서 2 사이의 범위를 가지며 더 큰 입력의 경우 보통 5보다 크지 않습니다. 서브 샘플링 레이어 전후에 추가 바이어스 및 S 자형 비선형 성이 각 피쳐 맵에 적용됩니다. 아래 그림은 (convolutional) 서브 샘플링 서브 레이어로 구성된 CNN의 전체 레이어를 보여줍니다. 같은 색깔의 유닛은 묶여 있다.(도3)

종래의 기술은 자동차 소음을 측정 후 스마트폰으로 전송하는 방법과 단순한 아이디어에 초첨이 맞추어진 반면 본 발명은 차량의 소음을 측정한 웨이브 파일을 이미지화하여 딥러닝 CNN 분류 알고리즘을 이용하여 상세하고 정확성 높은 피쳐로 분류를 한다음 그 결과를 Deoconvloution을 적용하여 최초의 음원에 가까운 특성의 파형데이타를 운전자의 운전대 또는 방석에 진동으로 알려줌으로써 안전하고 즐거운 운전을 가능 하도록 하는 기술이다.

상기 목적을 달성하기 위한 본 발명의 특징에 따른 CNN 기반의 딥러닝 알고리즘을 이용하여 (100)음향 수신부 모듈에서 수신 된 차량의 음향 데이타를 수집하고 그 음향 데이타의 잡음을 제거하고 1초 segment 단위로 자르는 음향튜닝부(200), 그 튜닌된 데이타를 이미지 segment로 형태로 변환하는 음향 이미지 변환부 (300) , 수집된 대량의 트레이닝 이미지의 피쳐를추출하고 딥러닝을 하는 CNN하는 학습부(400) , 학습된 트레이닝 피쳐를 그룹별로 분리하는 분류부(500) , 학습된 데이타가 어떤 파형의 형태의원본인지를 알아보기 위하여 active된 픽셋을 알아내기 위한 Decomvolution부(600), Decomvolution부(600)은 완벽한 최초의 wave 로 복원은 불가능하나 그 추출 된 파형을 운전자에게 소리 진동으로 알리는 소리진동알림부(700)으로 구성하여 해결한다.

CNN 을 활용함으로써 데이타의 압축 분할 압축을 반복함으로써 데이타의 피쳐를 추출함으로써 데이타 연산을 줄여 DDN 등, LSTM 기존 wave 파형을 검출하는 방법 보다 빠fms 딥러닝 훈련을 가능하게 하고 양질의 정확도 90%까지 검출 할수있도록 하였다. 또 그 분류된 고장 진단을 소리외에 진동으로 그특징을 알려줌으로써 운전자는 고장 유형에 따른 적절한 조치를 할수 있도록 하였다.

상기 목적을 달성하기 위한 본 발명의 특징에 따른 CNN 기반의 딥러닝 알고리즘을 이용하여 (100)음향 수신부 모듈에서 수신 된 차량의 음향 데이타를 수집하고 그 음향데이타를 잡음을 제거하고 1초 segment 단위로 자르는 음향튜닝부(200), 튜닝된 데이타를 이미지 segment로 형태로 변환하는 음향 이미지 변환부 (300) , 수집된 대량의 트레이닝 이미지의 피쳐를추출하고 딥러닝을 하는 CNN하는 학습부(400) , 학습된 트레이닝 피쳐를 그룹별로 분리하는 분류부(500) , 학습된 데이타가 어떤 파형의 형태의원본인지를 알아보기 위하여 active된 픽셋을 알아내기 위한 Decomvolution부(600), Decomvolution부(600)은 완벽한 최초의 wave 로 복원은 불가능하나 그 추출 된 파형을 운전자에게 소리 진동으로 알리는 소리 진동알림부(700)으로 구성하여 해결한다.

아키텍쳐는 [도3]과 같다.

입력이미자가 5x5 형태의 convouluion 2*2*2 pooling 32@5*5의 convolutions 레이어는 입력 이미지의 일부 영역과 연결되어 있으며, 이 연결된 영역과 자신의 가중치의 내적 연산 (dot product) 을 계산하게 된다. 2*2*2의형태의 Pooling 48@4x4 Comvolutions 2x2x2 형태의 풀링을 특징으로 하는 피처 추출

RELU 레이어는 max(0,x)와 같이 각 요소에 적용되는 액티베이션 함수 (activation function)이다. 이 레이어는 볼륨의 크기를 변화시키지 않는다 512,20의 ANN classifcation을 포함하는 CNN 딥러닝 알고리즘을 적용 하는 형태 각각의 숫자는 소음의 샘플링과 잡음정도에 따라 변경할수 있을 것이다.

RELU 레이어는 max(0,x)와 같이 각 요소에 적용되는 액티베이션 함수 (activation function)이다. 이 레이어는 볼륨의 크기를 변화시키지 않는다 ([32x32x12])POOL 레이어는 (가로,세로) 차원에 대해 다운샘플링 (downsampling)을 수행해 [16x16x12]와 같이 줄어든 볼륨을 출력한다.

FC (fully-connected) 레이어는 클래스 점수들을 계산해 [1x1x10]의 크기를 갖는 볼륨을 출력한다. 10개 숫자들은 10개 카테고리에 대한 클래스 점수에 해당한다. 레이어의 이름에서 유추 가능하듯, 이 레이어는 이전 볼륨의 모든 요소와 연결되어 있다.

10: 음향 딥러닝모듈
100: 음향수신부
200: 음향튜닝부
300: 음향이미지변환부
400: CNN학습부
500: CNN분류부
600: deconvolution부
700: 이미지 to wave부
800: 소리 진동 알림부

Claims (4)

1. 차량에서 수집한 소음파형데이타를 sine, cos파형태로 이미지를 추출 하여 convolution neural network에 피쳐와 레이블링된 파일과 함께 다중레이어 측으로 학습하고 테스트할 차량의 소음 데이틀 비교하여 가장 가까운 피쳐와 가까운 파형 이미지를 분류하여 확률로 분류하는 기술
   
2. 차량에서 수집한 소음 파형 데이타의 주기의 시작점과 종료지점을 찾아 각각의 파형 이미지를 추출하는 음향신호의 sine cos파의 이미지를 1초단위로 피쳐를 추출하여 피쳐의 모음과 id와 라벨링된 파일과 convolution neural network 다중레이어 층으로 학습 하고 테스트할 1초 sine cos 파 이미지를 1초간의 피쳐를 추출하여 학습된 데이타에서 가장 비슷한 종류의 1초 id를 분류 하는 기술
   
3. 일반적인 자동차는 중요 부품의 고장 여부를 센싱하기 위한 다수의 센서와 센서로부터 수신된 정보를 이용하여 진단 ecu, 전자제어식 브레이크 시스템용 ECU, 자동차 운동 제어 시스템용 ECU, 내부통신 게이트웨이용 ECU의 파형을 수집하여 [청구항 3] 또는 [청구항 4]과 같은 방식으로 고장 및 이상 유무를 분류 하는 방법
4. [청구항 2],[청구항 3]에서 각각의 기술로 분류된 고장 형태를 진동으로 운전대, 브레이크 페달, 좌석의 방석을 통하여 운전자에게 알려주는 방법

Images