KR102026300B1 - 인공지능 시스템을 이용하여 자동차 비정상신호를 감지하는 방법 - Google Patents

Abstract

본 발명은 인공지능 시스템을 이용하여 자동차 비정상신호를 감지하는 방법에 관한 것으로, 자동차의 하나 이상의 부품으로부터 시계열적인 전기신호를 수집하는 신호수집 단계와, 클러스터링 알고리즘을 이용하여 수집된 전기신호를 정상신호와 비정상신호로 클러스터링하는 클러스터링 단계와 딥러닝 알고리즘을 이용하여 클러스터링 결과를 반복적으로 학습하는 딥러닝 단계를 포함한다.

Description

인공지능 시스템을 이용하여 자동차 비정상신호를 감지하는 방법{METHOD FOR DETECTING ABNORMAL SIGNAL OF VEHICLE BY USING ARTIFICIAL INTELLIGENCE SYSTEM}

본 발명은 인공지능 시스템을 이용하여 자동차 비정상신호를 감지하는 방법에 관한 것으로, 더 상세하게는 클러스터링 알고리즘 및 딥러닝 알고리즘을 이용하여 자동차의 각 부품들로부터 수집되는 시계열 전자신호에서 비정상신호를 감지하는 기술에 관한 것이다.

인공지능은 인간의 지능으로 할 수 있는 사고, 학습, 자기계발 등을 컴퓨터가 할 수 있도록 하는 방법을 연구하는 컴퓨터 공학 및 정보기술의 한 분야로서, 컴퓨터가 인간의 지능적인 행동을 모방할 수 있도록 하는 것을 말한다.

또한, 인공지능은 그 자체로 존재하는 것이 아니라, 컴퓨터 과학의 다른 분야와 직간접으로 많은 관련을 맺고 있다. 특히 현대에는 정보기술의 여러 분야에서 인공지능적 요소를 도입하여 그 분야의 문제 풀이에 활용하려는 시도가 매우 활발하게 이루어지고 있다.

최근에는 데이터의 생성 양·주기·형식 등이 방대한 빅데이터들을 분석해 미래를 예측하는 머신러닝 기술이 주목받고 있다. 머신러닝은 데이터를 수집, 분석해 미래를 예측한다는 점에서 빅데이터 분석과 유사하지만 컴퓨터 스스로 방대한 데이터를 수집, 학습할 수 있다는 점에서 차이가 있다. 이는 인공지능(Artificial Intelligence)의 한 분야로, 빅데이터 핵심 기술로 각광받고 있다.

특히 포털사이트에서 제공하는 검색어 자동 완성 기능, 엘리베이터에 센서를 달아 속도·출입문 오작동 등의 정보를 분석해 사고 발생 가능성을 예측하는 것, 범죄자와 잠재적 범죄자의 심리나 행동을 분석해 범행이 어떤 시점 또는 어떤 장소에서 발생할 가능성이 높은지를 예측하는 것 등이 머신러닝의 예이며, 자동차 분야에서도 인공지능과 머신러닝을 통한 다양한 시도가 이루어지고 있다.

한편, 대한민국 등록특허공보 10-1339228에 의하면, ESC 시스템 및 그에 구비된 압력센서를 이용한 자동차의 브레이크 신호 제어장치에 관한 기술이 개시되어 있는데, 이 방식은 운전자에 의해 조작되는 브레이크 페달, 브레이크 페달의 작동을 유압으로 전환하는 마스터실린더, 브레이크 작동을 다른 자동차에 알리도록 점등되는 스톱램프 및 자동차의 주행 자세를 안정적으로 제어하는 ESC 시스템을 포함하는 자동차의 브레이크 신호 제어장치를 제공하며, ESC 시스템 및 그에 구비된 압력센서를 이용하여 브레이크의 이상 신호를 감지하는 기술을 개시하고 있다.

그러나 이러한 종래기술은 자동차의 부품설비가 노후화됨에 따라서 발생하는 비정상신호를 적시에 감지하지 못하는 문제가 발생하며, 초기에 오류가 있는 알고리즘을 탑재하는 경우 비정상신호 감지를 효율적으로 실행하지 못하는 치명적인 문제가 있다.

따라서 자동차에서 발생할 수 있는 비정상상태를 감지하는 기술에도 인공지능과 머신러닝 기술을 적용하여 기존의 기술과는 차별화되는 기술을 개발할 필요성이 있다.

본 발명은 전술한 종래의 기술에서 진보한 것으로서, 자동차로부터 수집되는 각종 시계열 신호로부터 여러 가지 클러스터링 알고리즘을 이용하여 정상과 비정상신호를 구별하고, 이를 딥러닝 알고리즘을 통해 컴퓨터에 학습시켜 향후 자동차에서 발생하는 신호를 실시간으로 분석하여 비정상신호를 감지해내는 것을 목적으로 한다.

전술한 목적을 달성하기 위하여, 본 발명은 자동차의 하나 이상의 부품으로부터 시계열적인 전기신호를 수집하는 신호수집 단계와, 클러스터링 알고리즘을 이용하여 수집된 전기신호를 정상신호와 비정상신호로 클러스터링하는 클러스터링 단계와, 딥러닝 알고리즘을 이용하여 클러스터링 결과를 반복적으로 학습하는 딥러닝 단계를 포함하는 인공지능 시스템을 이용하여 자동차 비정상신호를 감지하는 방법을 제공한다.

본 발명의 일 특징에 의하면, 상기 클러스터링 단계는 수집된 전기신호의 분포 데이터를 PCA(Principal component analysis) 알고리즘을 이용하여 3차원의 아이겐(eigen) 벡터 공간에 프로젝션(projection)하는 단계와, k-means 알고리즘을 이용하여 프로젝션된 데이터를 정상신호와 비정상신호로 클러스터링하는 단계를 포함할 수 있다.

본 발명의 다른 특징에 의하면, 상기 클러스터링 단계는 수집된 전기신호를 FFT(Fast Fourier Transform)를 적용하여 주파수 영역으로 변환하는 단계와, 스펙트로그램(spectrogram) 기법을 이용하여 변환된 전기신호의 진폭 값에 따라서 정상신호와 비정상신호로 클러스터링하는 단계를 포함할 수 있다.

본 발명의 또 다른 특징에 의하면, 상기 클러스터링 알고리즘은 적어도 2 이상의 서로 다른 클러스터링 알고리즘이 적용되며, 상기 클러스터링 단계에서 서로 다른 클러스터링 알고리즘을 적용한 클러스터링 결과들을 서로 상호 비교하는 검증단계를 추가로 수행할 수 있다.

또한 전술한 목적을 달성하기 위하여, 본 발명은 자동차의 하나 이상의 부품으로부터 시계열적인 전기신호를 수집하는 신호수집부와, 클러스터링 알고리즘을 이용하여 수집된 전기신호를 정상신호와 비정상신호로 클러스터링하는 비지도 학습부와, 딥러닝 알고리즘을 이용하여 클러스터링 결과를 반복적으로 학습하여 신경망 가중치를 결정하는 지도 학습부와, 상기 신호 수집부를 통해 수집된 전기신호를 상기 신경망 가중치에 따라 분석하여 정상신호와 비정상신호로 구분하는 신호 판별부를 포함하는 자동차 비정상신호를 감지하는 인공지능 시스템을 제공한다.

본 발명의 일 특징에 의하면, 상기 지도 학습부는 상기 신호 수집부에서 분석된 결과를 이용하여 상기 신경망 가중치를 업데이트할 수 있다.

본 발명의 다른 특징에 의하면, 상기 신호 판별부에서 비정상신호가 감지되는 경우, 자동차에 설치된 계기판 또는 인포테인먼트 시스템에 고장내역을 알림하는 통신부를 더 포함할 수 있다.

본 발명의 또 다른 특징에 의하면, 상기 통신부는 상기 신호 판별부에서 비정상신호가 감지되는 경우 외부 정비소에 설치된 단말로 고장내역을 알림할 수 있다.

본 발명의 또 다른 특징에 의하면, 상기 인공지능 시스템은 2 이상의 서로 다른 클러스터링 알고리즘을 저장하는 알고리즘 관리부를 더 포함하며, 상기 비지도 학습부는 서로 다른 클러스터링 알고리즘을 적용한 클러스터링 결과들을 서로 상호 비교하여 검증할 수 있다.

본 발명의 또 다른 특징에 의하면, 상기 신호 수집부는 OBD-2(on-board diagnostic 2) 모듈을 포함할 수 있다.

본 발명의 또 다른 특징에 의하면, 상기 신호 수집부는 근거리 무선 통신 모듈을 더 포함하며, 수집된 전기신호를 근거리 무선 통신 방식을 통해 외부의 사용자 단말로 전달할 수 있다.

본 발명에 따른 인공지능 시스템을 이용하여 자동차 비정상신호를 감지하는 방법에 의하면, 자동차의 비정상상태를 조기에 감지하여 사용자의 안전을 지킬 수 있다.

또한, 본 발명에 따른 인공지능 시스템을 이용하여 자동차 비정상신호를 감지하는 방법에 의하면, 자동차를 적시에 정비하여 불필요한 수리비를 절약할 수 있다.

또한, 본 발명에 따른 인공지능 시스템을 이용하여 자동차 비정상신호를 감지하는 방법에 의하면, 지속적인 딥러닝 학습 과정을 통하여 비정상신호 감지 알고리즘을 최적의 상태로 유지할 수 있다.

여기에서 언급한 발명의 효과 이외에도 아래의 발명의 상세한 설명에서 다른 효과가 추가로 언급될 수 있다.

도 1은 본 발명의 실시예에 따른 자동차 비정상신호를 감지하는 인공지능 시스템 및 인공지능 시스템과 연동되는 자동차 부품들의 개략도.
도 2는 본 발명의 실시예에 따른 인공지능 시스템을 이용하여 자동차 비정상신호를 감지하는 방법의 동작 순서를 나타낸 흐름도.
도 3은 본 발명의 실시예에 따른 자동차로부터 수집된 시계열 데이터를 나타낸 도시도.
도 4는 본 발명의 실시예에 따른 인공지능 시스템으로 수집된 신호의 클러스터링 방법의 세부흐름을 나타낸 순서도.
도 5는 본 발명의 실시예에 따른 클러스터링 알고리즘의 동작 순서를 도식화한 도시도.
도 6은 본 발명의 실시예에 따른 3차원 아이겐 벡터 공간에서 k-means 클러스터링 알고리즘이 수행되는 과정을 시각적으로 나타낸 도시도.
도 7은 본 발명의 실시예에 따른 클러스터링 결과를 시계열로 표현한 도시도.
도 8은 본 발명의 실시예에 따른 컷오프 알고리즘을 시간영역에서 시각적으로 나타낸 도시도.
도 9는 본 발명의 실시예에 따른 주파수 도메인 분석 방법을 이용한 클러스터링을 시각적으로 나타낸 도시도.
도 10은 본 발명의 실시예에 따른 k-means 알고리즘과 컷오프 알고리즘을 이용한 크로스 체크 방법을 시각적으로 나타낸 도시도.
도 11은 본 발명의 실시예에 따른 k-means 알고리즘과 주파수 도메인 분석 방법을 이용한 크로스 체크 방법을 시각적으로 나타낸 도시도.
도 12는 본 발명의 실시예에 따른 딥러닝을 이용한 지도학습 방법을 시각적으로 나타낸 도시도.
도 13은 본 발명의 실시예에 따른 자동차 비정상신호를 감지하는 인공지능 시스템의 세부 구성도.

이하에서는 본 발명의 실시 예에 관하여 첨부도면을 참조하여 상세하게 설명하기로 한다. 다만, 이하에서 설명되는 실시 예는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 발명을 쉽게 실시할 수 있을 정도로 상세하게 설명하기 위한 것에 불과하며, 이로 인해 본 발명의 보호범위가 한정되는 것을 의미하지는 않는다. 그리고 본 발명의 여러 실시 예를 설명함에 있어서, 동일한 기술적 특징을 갖는 구성요소에 대하여는 동일한 도면부호를 사용하기로 한다.

하나 이상의 실시예의 예시적인 구현이 이하에서 제공됨에도, 개시된 시스템, 장치, 및/또는 방법은 현재 알려져 있거나 존재하는 임의의 수많은 기술을 이용하여 구현될 수 있다는 것을 처음부터 이해해야 한다. 본 개시는, 여기서 도시되고 설명된 예시적인 설계 및 구현을 포함하는, 이하에서 도시된 예시적인 구현, 도면 및 테크닉에 한정되지 않으며, 이들의 등가물의 모든 범위와 함께 청구 범위의 범위 내에서 변경될 수 있다. 종래 기술의 특정 측면이 본 개시를 용이하게 하기 위해 논의되었지만, 출원인은 이러한 기술적 측면에 대해 결코 권리를 포기하지 않으며, 본 개시는 여기서 논의된 하나 이상의 종래의 기술적 측면을 더 포함할 수 있다.

도 1은 본 발명의 실시예에 따른 자동차 비정상신호를 감지하는 인공지능 시스템 및 인공지능 시스템과 연동되는 자동차 부품들의 개략도이다.

자동차(200)에는 조향장치, 변속기, 클러치, 브레이크, 연료계, 진동계 및 가속도계 등 자동차를 구성하는 수많은 부품이 설치되어 있다. 차량과 컴퓨터 성능의 발전과 함께 자동변속기 제어를 비롯해 구동계통, 제동계통, 조향계통 등 차량의 많은 부분을 제어하는 역할을 ECU(electronic control unit)이 담당하고 있다. 또한, ECU와 부품 간에 제어신호 및 구동상태 신호 등의 전기신호를 송수신하기 위하여, 조향장치 센서, 변속기 센서, 클러치 센서, 브레이크 센서 등과 같이 각 부품별로 센서가 장착될 수 있다. 또한, 전기신호는 OBD(On Board Diagnostics) 모듈 또는 OBD-2 모듈을 이용하여 ECU로부터 차량외부로 각 센서로부터 수집된 신호를 외부로 전달할 수 있다.

OBD는 기관제어시스템에 집적되어 있는, 법적으로 규정된 하위 진단/감시 시스템이다. OBD는 전 운전영역에 걸쳐 배기가스 및 증발가스와 관련된 모든 시스템을 감시하고, 감시하고 있는 시스템들에 고장이 발생할 경우, 고장내역은 ECU에 저장되며, 표준화된 인터페이스(interface)인 16핀 진단 컨넥터를 통해 이를 조회할 수도 있다. 이외에도 추가로 계기판의 고장 지시등(MIL：Malfunction Indicator Lamp) 또는 메시지를 통해 운전자에게 고장 메시지를 전달할 수 있다.

이때 OBD-2 모듈은 블루투스 통신방식을 이용하여 스마트폰 등 외부 기기로 수집된 전기신호를 자체적으로 정상/비정상 신호를 진단하거나 또는 스마트폰과 같은 외부 기기로 전달할 수 있다. 본 발명에서는 자동차의 각 센서들로부터 수집된 전기신호를 OBD-2를 이용하여 외부기기로 전달되면 외부기기에 탑재된 인공지능 알고리즘이 실시간 비정상 신호를 분석하여 필요 시 사용자 및 정비소에 알려주게 된다. 또 다른 방식으로는 신호를 수집하고 외부 기기로 신호를 전달하는 기능만 있는 OBD-2를 개조하여 아두이노(Arduino)나 라스베리파이(Raspberry Pi) 같은 중앙처리장치(CPU)를 탑재한 마이크로 컨트롤러 보드를 이용하여 이상신호를 탐지하는 알고리즘을 탑재 후 OBD-2 보드가 직접 이상 신호를 탐지할 수 있다. 이상신호가 비정상적으로 여러 번 반복 탐지되면 그 결과를 스마트폰과 같은 외부기기에 전달한다. 추가로 자동차의 모든 센서에서 발생되는 신호를 일정한 시간단위로 저장하여 스마트폰과 같은 외부 기기에 전달하여 자동차 정비시 전체적인 고장 유무를 판정하는데 활용할 수 있다.

본 발명의 실시예에 따른 자동차 비정상신호를 감지하는 인공지능 시스템(100)은 이렇게 자동차(200)에 설치된 조향장치, 변속기, 클러치, 브레이크, 연료계, 진동계 및 가속도계 등 자동차를 구성하는 수많은 부품들로부터 발생되는 전기신호를 수집한다.

이렇게 수집된 각 부품의 전기신호를 분석하여 정상신호와 비정상신호의 패턴을 구분하고, 딥러닝 알고리즘을 통해 컴퓨터에게 정상신호와 비정상신호를 구분하는 패턴을 학습시킨다. 이러한 딥러닝 학습 과정을 통해 도출된 알고리즘을 IoT(internet of things)로 구현이 가능한 마이크로 컨트롤러 보드에 탑재하고, 탑재된 보드를 통해 자동차에 설치된 수많은 부품들로부터 발생되는 신호를 분석하여 자동차 비정상신호를 감지하게 된다. 또는 도출된 알고리즘을 외부의 사용자 단말에 전달하여, 자동차로부터 실시간으로 수집되는 전기신호를 외부의 사용자 단말에서 검증하여 정상신호와 비정상신호를 구별하는 방식으로도 운용이 가능하다.

이하에서는 자동차 비정상신호를 감지하는 인공지능 시스템과 인공지능 시스템을 이용하여 자동차 비정상신호를 감지하는 방법에 대하여 상세하게 설명한다.

도 2는 본 발명의 실시예에 따른 인공지능 시스템을 이용하여 자동차 비정상신호를 감지하는 방법의 동작 순서를 나타낸 흐름도이다.

우선, 인공지능 시스템이 자동차에 설치된 각 부품으로부터 시계열적인 전기신호를 수집한다(S110).

이렇게 수집된 전기신호는 도 3에서 보는 바와 같이, x축 시간영역과 y축 센서신호 크기영역을 기준으로 시계열적인 그래프 형태로 표현될 수 있다. 앞으로는 편의상 동일한 부품으로부터 수집된 서로 다른 2개의 시계열적 전기신호를 X 데이터 또는 X 전기신호와 Y 데이터 또는 Y 전기신호로 구분하여 설명한다. 도 3에 도시된 그래프는 동일 자동차에서 수집된 두 개의 X, Y 시계열 데이터 세트에 관한 것이다. 이러한 데이터세트는 csv 포맷 파일로 이루어질 수 있으며, csv 포맷 파일에는 시간(time)값, X데이터값, Y데이터값이 포함될 수 있다. 도 3에 도시된 그래프의 데이터세트에는 정상/비정상 레이블 표시가 없고, 정상/비정상 구분을 위해서는 다양한 클러스터링 알고리즘을 통해 X데이터와 Y데이터를 비교 분석하는 것이 필요하다.

이후, 클러스터링 알고리즘을 이용하여 수집된 전기신호를 정상신호와 이상신호로 클러스터링(clustering)을 수행한다(S120).

클러스터링이란 군집이론에 따라 데이터의 군집을 분류하는 작업을 의미한다. 클러스터링은 머신 러닝(machine learning) 분야에서 라벨(label) 데이터 없이 주어진 데이터들을 효과적으로 구분할 수 있는 군집을 특성을 찾아 적절한 군집으로 구분하고, 각 군집의 특성으로부터 군집들 간의 특성의 차이를 분석하는 것에 유용하다.

자동차의 각 부품으로부터 수집된 전기신호들은 단순한 데이터의 집합체에 불과하기 때문에 이들 신호가 어떠한 부분이 비정상적인 신호를 나타내는 것인지를 알기 위해서는 정상신호와 비정상신호의 구간을 구분할 필요성이 있고, 클러스터링 과정을 통해서 정상신호와 비정상신호를 구분하여 정상 및 비정상 레이블(label)을 부여하여 각 구간을 구분할 수 있게 된다.

한편, 효율적인 자동탐지 알고리즘을 도출하기 위해서는 고장이 없는 무결한 부품의 전기신호를 우선적으로 입력하고, 이를 기준으로 정상신호와 비정상신호를 구분하는 클러스터링을 수행하는 것이 바람직하다.

도 4 내지 도 11은 이러한 클러스터링 수행 방법을 설명하기 위한 도면으로 이에 관한 상세한 설명은 후술한다.

이후, DNN(Deep Neural Networks) 또는 RNN(Recurrent Neural Network) 등에 기반을 둔 딥러닝 알고리즘을 이용하여 클러스터링 결과를 반복적으로 학습하여 딥러닝 신경망의 가중치를 결정하고 업데이트하는 과정을 반복한다(S130).

이렇게 딥러닝 학습 과정을 통해서 도출된 결과는 부품별로 딥러닝 신경망의 가중치를 갖는 프로그램 형태로 자동차에 탑재되고, 자동차를 운행하면서 발생되는 각 부품의 새로운 전기신호를 수집 및 분석하여 비정상 신호가 발생하는지를 판별한다(S140).

도 4는 본 발명의 실시예에 따른 PCA(Principal Component Analysis) 알고리즘을 이용하여 인공지능 시스템으로 수집된 신호의 클러스터링 방법의 세부흐름을 나타낸 순서도이고, 도 5는 이러한 세부흐름을 그래프와 수식으로 도식화한 것이다.

도 3을 통해 언급한 바와 같이 동일한 부품으로부터 시계열적으로 분포된 2개의 전기신호가 수집되면, 이를 분석하여 전기신호 분포 데이터의 분포특성을 파악하고, 9가지 특성인자(f1, ... , f9)로 구분하여 공분산 매트릭스를 생성한다(S210).

이때, 도 5에서 보는 바와 같이 타임 윈도우(time window)는 200obs 만큼 이동하여 특성인자를 구분하기 위한 데이터를 분석할 수 있으며, 타임 윈도우의 간격은 상황에 따라 달라질 수 있다.

이후 생성된 공분산 매트릭스를 통해 아이겐(eigen) 벡터와 아이겐 값을 생성한다(S220).

이후 생성된 아이겐 벡터 중 도드라지는 주성분을 기준으로 공간을 재구성하고 전기신호 분포 데이터를 프로젝션(projection)한다(S230). 본 실시예에서는 도 6에서 도시하는 바와 같이 9가지 아이겐(eigen) 벡터 중 가장 큰 3개의 벡터를 3개의 주성분(PC1, PC2, PC3)으로 하여 유효특성 차원을 축소하고 프로젝션을 수행한다.

이후 프로젝션된 데이터에 k-평균(means) 알고리즘을 적용하여 정상신호와 비정상신호로 클러스터링을 수행한다(S240). k-평균 알고리즘은 각 그룹의 중심 (centroid)과 그룹 내의 데이터 오브젝트와의 거리의 제곱합을 비용 함수로 정하고, 이 함수 값을 최소화하는 방향으로 각 데이터 오브젝트의 소속 그룹을 업데이트 해 줌으로써 클러스터링을 수행하게 된다.

이때 PCA를 이용하여 유효특성 차원을 축소하고 k-means 알고리즘 기반의 클러스터링 수행하면, 도 7과 같이 정상신호 구간(실선)과 비정상신호 구간(점선)의 2가지 클래스로 전기신호가 구분될 수 있다. 이때, 첫 번째 주요인자(principal component) 중 진동 횟수의 특성이 클러스터 판별식에 70% 이상의 비중을 차지할 수 있다.

도 8은 본 발명의 실시예에 따른 컷오프 알고리즘을 시간영역에서 시각적으로 나타낸 도시도이다.

컷오프 알고리즘에 따른 클러스터링 방식은 도 3을 통해 언급한 바와 같이 동일한 부품으로부터 시계열적으로 분포된 2개의 전기신호가 수집되면, 아래의 (수식 1)에 따라

및

의 크기를 계산하여, 각 계산 값이 미리 정하여진 비율의 범위에 속하면 비정상 신호 영역으로 구분한다. 이때

및

가 상위 1.5%구간에 속하는 경우 비정상 신호 영역으로 분류하는 것이 바람직하다.

(수식 1)

(여기서, t=시간)

도 9는 본 발명의 실시예에 따른 주파수 도메인 분석 방법을 이용한 클러스터링을 시각적으로 나타낸 도시도이다.

주파수 도메인 분석 방법을 이용한 클러스터링은 수집된 전기신호를 FFT(Fast Fourier Transform)를 적용하여 주파수 영역으로 변환하고, 도 9에서 보는 바와 같이 스펙트로그램(spectrogram) 기법을 이용하여 변환된 전기신호의 진폭 값에 따라서 정상신호와 비정상신호로 클러스터링한다.

일 실시예로, FFT를 위한 윈도우 크기(window size)는 300, 샘플링 주파수는 300Hz, 윈도우 오버랩(window overlap)은 50%, x축에서 300Hz를 1 unit으로 분석 환경을 설정할 수 있다. 이에 따라 FFT를 수행하면 300개 관측 구간에 대하여 주파수 도메인으로 데이터가 치환되며, 각 구간은 150 stride(관측 구간)씩 이동하여 FFT를 반복적으로 수행한다. 이후 스펙토그램 기법을 이용하여 FFT를 통해 치환된 관측 구간의 데이터의 스펙트럼을 가시화하고 비정상 여부를 판단할 수 있게 된다.

FFT(Fast Fourier Transform)는 DFT(Discrete Fourier Transform)를 Fourier Transform의 계산과정에서 나타나는 대칭성과 반복성의 특성을 이용하여 보다 빠르게 계산해주는 알고리즘이다. 여기서 Fourier transform은 시간의 변수를 가지는 함수를 주파수에 종속되는 함수로 변환하는 것으로 음파 및 전자파 분석 등에 주로 사용된다. Fourier transform은 모든 주기함수를 사인함수(sin)와 코사인함수(cos)를 이용하여 무한대 중첩을 통해 표현할 수 있다는 Fourier 급수를 기반으로 한다. DFT는 수식 2와 같이 모든 주기함수를 사인함수(sin)와 코사인함수(cos)를 이용하여 무한대 중첩을 통해 표현할 수 있다는 Fourier transform을 N개의 샘플 데이터를 가지고 정의하는 방법이다.

(수식 2)

수식 2에서 Euler 공식에 의하여

로 표현할 수 있다.

(수식 3)

FFT를 이용하여 시간변수의 데이터를 주파수 변수의 데이터로 변환하면 각 주파수 마다 진폭 (amplitude)을 갖는 분포도를 얻는다. 이를 스펙토그램이라고 한다. 300개의 관찰점을 입력값으로 FFT로 분석한 후 스펙토그램을 통해 주파수별 진폭을 다시 시간축으로 표현하여 상대적으로 도드라진 진폭을 갖는 구간을 비정상 구간으로 판단한다.

한편, 앞에서 설명한 클러스터링은 (clustering)을 서로 다른 클러스터링 알고리즘을 적용한 클러스터링 결과들을 서로 상호 비교(cross check)하여 비정상 구간을 더 높은 확률로 분석해낼 수 있다.

도 10은 본 발명의 실시예에 따른 k-means 알고리즘과 컷오프 알고리즘을 이용한 크로스 체크 방법을 시각적으로 나타낸 도시도이고, 도 11은 본 발명의 실시예에 따른 k-means 알고리즘과 주파수 도메인 분석 방법을 이용한 크로스 체크 방법을 시각적으로 나타낸 도시도이다.

도 10에서 보는 바와 같이, 입력된 신호는 k-means 알고리즘과 컷오프 알고리즘을 통해 정상신호와 비정상신호로 분류되며, 이들 알고리즘의 분석결과를 상호 비교하여, 겹치는 구간이 많을수록 비정상 확률이 높은 영역으로 구분되고, 반대로 겹치는 구간이 적을수록 비정상 확률이 중간 또는 낮은 영역으로 구분될 수 있다.

도 11에서 보는 바와 같이, 입력된 신호는 k-means 알고리즘과 주파수 도메인 분석 방법을 통해 정상신호와 비정상신호로 분류되며, 이들 알고리즘의 분석결과를 상호 비교하여, 겹치는 구간이 많을수록 비정상 확률이 높은 영역으로 구분되고, 반대로 겹치는 구간이 적을수록 비정상 확률이 중간 또는 낮은 영역으로 구분될 수 있다.

도 12는 본 발명의 실시예에 따른 딥러닝을 이용한 지도학습 방법을 시각적으로 나타낸 도시도이다.

딥러닝은 인공신경망 이론을 근거로 하는 지도학습 알고리즘이다. 지도학습이란 데이터에 레이블이 붙은 것을 가지고 학습하는 것을 말하는데, 예를 들면 사진에 고양이, 강아지, 자동차라고 태그(tag)가 있는 데이터세트로 그림이 어떤 것인지를 컴퓨터가 맞출 수 있도록 논리를 학습시키는 것을 말한다. 인공신경망은 사람의 뉴런과 시냅스를 통해 인지된 데이터가 정보화되듯이 이러한 것을 모방한 학습 알고리즘이다. 인풋 레이어(input layer), 히든 레이어 1(hidden layer 1), 히든 레이어 2(hidden layer 2), 히든 레이어 3(hidden layer 3), 아웃 레이어(output layer) 등 각 레이어에 있는 노드들은 뉴런과 같은 역할을 하고 앞에서 전달받은 신호를 취합하고 증폭시키는 역할을 한다. 뉴런 또는 노드에서 취합된 데이터는 다음 레이어의 뉴런으로 전달되는데 이때 각 연결마다 가중치를 두어 정보의 중요성에 따라 증폭이 달라진다. 최종 레이어까지 전달된 데이터는 결과 값을 예측하는데 실제 값과의 차이인 에러 또는 로스트(lost) 함수를 최소화하기 위해 이를 미분하고 최솟값을 만드는 가중치를 구하는 것이 목표이고 최솟값이 구해지면 학습이 완료된다. 학습이 완료되면 새로운 자동차 부품의 전기신호 데이터를 읽어 들여 각 레이어를 거쳐 신호를 앞으로 전달하면서 가중치가 곱해지고 정상신호 구간과 비정상 신호 구간의 결과를 예측할 수 있게 된다.

도 13은 본 발명의 실시예에 따른 자동차 비정상신호를 감지하는 인공지능 시스템의 세부 구성도이다.

본 발명의 실시예에 따른 자동차 비정상신호를 감지하는 인공지능 시스템은 신호수집부(110), 비지도학습부(120), 지도학습부(130), 알고리즘 관리부(140), 신호판별부(150) 및 통신부(160)를 포함하여 구성된다. 각 구성들은 필요에 따라 자동차 영역(A), 서버 영역(B), 사용자 단말 영역(C)으로 구분되어 위치할 수 있다.

신호수집부(110)는 자동차(A)에 설치되며, 자동차의 하나 이상의 부품으로부터 시계열적인 전기신호를 수집한다. 이때 신호수집부(110)는 OBD-2 모듈 방식을 적용할 수 있다.

이렇게 신호수집부(110)를 통해 수집된 전기신호들은 OBD-2 모듈 방식과 블루투스 통신방식을 이용하여 외부의 서버(B)로 전달될 수 있으며, 서버(B)는 비지도 학습부(120), 지도학습부(130), 알고리즘 관리부(140)를 포함하여 구성된다.

비지도 학습부(120)는 클러스터링 알고리즘을 이용하여 수집된 전기신호를 정상신호와 비정상신호로 클러스터링하고, 지도 학습부(130)는 딥러닝 알고리즘을 이용하여 클러스터링 결과를 반복적으로 학습하여 신경망 가중치를 결정하며, 알고리즘 관리부(140)는 k-평균 알고리즘, 컷오프 알고리즘, 주파수 도메인 분석 알고리즘 등 각종 클러스터링 알고리즘을 저장한다.

서버(B)의 비지도 학습부(120), 지도학습부(130), 알고리즘 관리부(140) 등의 구성을 통해 정상 신호와 비정상 신호를 구분하는 기준을 정립하는 클러스터링 과정과 딥러닝 과정을 거쳐 신경망 가중치 프로그램이 도출된다.

도출된 신경망 가중치 프로그램은 스마트폰 등의 외부의 사용자 단말(C)에 포함된 신호판별부(150)에 탑재되어 신호 수집부(110)로 수집된 전기신호를 신경망 가중치에 따라 분석하여 정상신호와 비정상신호로 구분한다. 이때 영역 (C)는 OBD-2와 중앙처리장치가 결합된 마이크로 컨트롤러 보드가 될 수 있다.

이때, 신호 판별부(150)에서 비정상신호가 감지되는 경우, 사용자 단말(C)의 통신부(160)를 통해 자동차에 설치된 계기판 또는 인포테인먼트 시스템과 외부 정비소에 설치된 단말로 고장내역이 통지된다.

한편, 서버(B)의 비지도 학습부(120)는, 서로 다른 클러스터링 알고리즘을 적용한 클러스터링 결과들을 서로 상호 비교하여 검증할 수 있다.

이때, 지도 학습부(130)는, 신호 수집부(110)에서 분석된 결과를 이용하여 신경망 가중치를 지속적으로 업데이트하고, 외부의 클라우드 서버로도 자동차의 전기신호와 클러스터링 분석 결과 정보와 딥러닝 학습 결과 정보가 전달되며, 수집된 정보들을 바탕으로 지속적인 반복학습 과정을 거쳐 이상 징후 탐지 정확도를 개선할 수 있는 딥러닝 모델 가중치를 생성하고, 이를 인공지능 시스템에 전달하여 업데이트함으로써 더욱 정확한 비정상신호를 감지하는 것이 가능하다.

한편, 앞서 설명한 자동차 이상신호를 감지하는 방법은 본 발명의 실시예에 따른 자동차 비정상신호를 감지하는 인공지능 시스템을 통해 수행될 수 있으며, 이에 대한 상세한 설명은 앞서 설명한 바와 중복되는 내용이므로 생략한다.

이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거니와 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크 (floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상에서 본 발명의 실시 예에 관하여 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 특허청구범위를 벗어남이 없이 다양하게 변형 실시할 수 있을 것으로 이해된다.

Claims (12)

1. 신호 수집부가, 자동차의 하나 이상의 부품으로부터 시계열적인 전기신호를 수집하는 신호수집 단계;
   비지도 학습부가, 서로 다른 복수의 클러스터링 알고리즘들 각각을 이용하여 수집된 전기신호를 클러스터링하는 단계;
   상기 비지도 학습부가, 상기 클러스터링 알고리즘들에 의한 클러스터링 결과들을 상호 비교검증하여 정상신호와 비정상신호로 구분하는 단계;
   지도 학습부가, DNN(Deep Neural Network) 및 RNN(Recurrent Neural Network) 중 어느 하나에 기반한 딥러닝 알고리즘을 이용하여 클러스터링 결과를 반복적으로 학습하여 신경망 가중치를 결정하는 딥러닝 단계; 및
   신호 판별부가, 상기 클러스터링하는 단계 및 상기 딥러닝 단계를 거쳐 도출된 신경망 가중치 프로그램을 이용하여 상기 신호 수집부로부터 수집된 전기신호를 상기 신경망 가중치에 따라 분석하여 정상신호와 비정상신호로 구분하는 단계를 포함하고,
   상기 클러스터링 알고리즘들은 k-평균 알고리즘, 컷 오프 알고리즘, 주파수 도메인 분석 알고리즘 중 둘 이상의 알고리즘을 포함하는 인공지능 시스템을 이용하여 자동차 비정상신호를 감지하는 방법.
2. 삭제
3. 삭제
4. 삭제
5. 삭제
6. 자동차의 하나 이상의 부품으로부터 시계열적인 전기신호를 수집하는 신호수집부;
   서로 다른 복수의 클러스터링 알고리즘들을 이용하여 수집된 전기신호를 클러스터링하고, 클러스터링 결과들을 상호 비교검증하여 정상신호와 비정상신호로 구분하는 비지도 학습부;
   DNN(Deep Neural Network) 및 RNN(Recurrent Neural Network) 중 어느 하나에 기반한 딥러닝 알고리즘을 이용하여 클러스터링 결과를 반복적으로 학습하여 신경망 가중치를 결정하는 지도 학습부; 및
   상기 비지도 학습부와 상기 지도 학습부에 의해 도출된 신경망 가중치 프로그램을 이용하여 상기 신호 수집부를 통해 수집된 전기신호를 상기 신경망 가중치에 따라 분석하여 정상신호와 비정상신호로 구분하는 신호 판별부를 포함하고,
   상기 클러스터링 알고리즘들은 k-평균 알고리즘, 컷 오프 알고리즘, 주파수 도메인 분석 알고리즘 중 둘 이상의 알고리즘을 포함하는 자동차 비정상신호를 감지하는 인공지능 시스템.
7. 청구항 6에 있어서,
   상기 지도 학습부는 상기 신호 수집부에서 분석된 결과를 이용하여 상기 신경망 가중치를 업데이트하는 것을 특징으로 하는 자동차 비정상신호를 감지하는 인공지능 시스템.
8. 청구항 6에 있어서,
   상기 신호 판별부에서 비정상신호가 감지되는 경우, 자동차에 설치된 계기판 또는 인포테인먼트 시스템에 고장내역을 알림하는 통신부를 더 포함하는 자동차 비정상신호를 감지하는 인공지능 시스템.
9. 청구항 8에 있어서,
   상기 통신부는 상기 신호 판별부에서 비정상신호가 감지되는 경우 외부 정비소에 설치된 단말로 고장내역을 알림하는 것을 특징으로 하는 자동차 비정상신호를 감지하는 인공지능 시스템.
10. 청구항 6에 있어서,
    상기 인공지능 시스템은 상기 클러스터링 알고리즘들을 저장하는 알고리즘 관리부를 더 포함하는 인공지능 시스템.
11. 청구항 6에 있어서,
    상기 신호 수집부는 OBD-2(on-board diagnostic 2) 모듈을 포함하는 것을 특징으로 하는 자동차 비정상신호를 감지하는 인공지능 시스템.
12. 청구항 11에 있어서,
    상기 신호 수집부는 근거리 무선 통신 모듈을 더 포함하며, 수집된 전기신호를 근거리 무선 통신 방식을 통해 외부의 사용자 단말로 전달하는 것을 특징으로 하는 자동차 비정상신호를 감지하는 인공지능 시스템.

Images