KR20210073883A - 양방향 차량상태정보 제공이 가능한 정보공유 플랫폼, 이를 갖는 시스템, 그리고 이의 방법 - Google Patents

양방향 차량상태정보 제공이 가능한 정보공유 플랫폼, 이를 갖는 시스템, 그리고 이의 방법 Download PDF

Info

Publication number
KR20210073883A
KR20210073883A KR1020190164634A KR20190164634A KR20210073883A KR 20210073883 A KR20210073883 A KR 20210073883A KR 1020190164634 A KR1020190164634 A KR 1020190164634A KR 20190164634 A KR20190164634 A KR 20190164634A KR 20210073883 A KR20210073883 A KR 20210073883A
Authority
KR
South Korea
Prior art keywords
information
vehicle
driver
diagnosis
data
Prior art date
Application number
KR1020190164634A
Other languages
English (en)
Inventor
정인수
이동철
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020190164634A priority Critical patent/KR20210073883A/ko
Priority to US16/880,738 priority patent/US11775820B2/en
Priority to DE102020206616.7A priority patent/DE102020206616A1/de
Priority to CN202010522399.5A priority patent/CN112937475A/zh
Publication of KR20210073883A publication Critical patent/KR20210073883A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/008—Registering or indicating the working of vehicles communicating information to a remotely located station
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R16/00—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for
    • B60R16/02—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements
    • B60R16/023—Electric or fluid circuits specially adapted for vehicles and not otherwise provided for; Arrangement of elements of electric or fluid circuits specially adapted for vehicles and not otherwise provided for electric constitutive elements for transmission of signals between vehicle parts or subsystems
    • B60R16/0231—Circuits relating to the driving or the functioning of the vehicle
    • B60R16/0232—Circuits relating to the driving or the functioning of the vehicle for measuring vehicle parameters and indicating critical, abnormal or dangerous conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/02—Ensuring safety in case of control system failures, e.g. by diagnosing, circumventing or fixing failures
    • B60W50/0205—Diagnosing or detecting failures; Failure detection models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/176—Support for shared access to files; File sharing support
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G06F9/38—Concurrent instruction execution, e.g. pipeline, look ahead
    • G06F9/3836—Instruction issuing, e.g. dynamic instruction scheduling or out of order instruction execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/20—Administration of product repair or maintenance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/30—Transportation; Communications
    • G06Q50/40—
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0808—Diagnosing performance data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/40—Bus networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/40—Bus networks
    • H04L2012/40208—Bus networks characterized by the use of a particular bus standard
    • H04L2012/40215—Controller Area Network CAN
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/40—Bus networks
    • H04L2012/40267—Bus for use in transportation systems
    • H04L2012/40273—Bus for use in transportation systems the transportation system being a vehicle

Abstract

차량의 상태진단을 위한 진동, 소음신호를 통해 수집된 유형별 빅데이터를 이용한 딥러닝(Deep Learning) 알고리즘을 구현할 수 있는 빅데이터 기반 상태 진단 정보 제공 차량이 개시된다. 상기 빅데이터 기반 상태 진단 정보 제공 차량은, 구성 부품들의 진동 데이터 및 소음 데이터를 생성하는 센싱 유닛, 및 상기 진동 및 소음 데이터로 이루어진 빅데이터를 기반으로 딥러닝 기반 진단을 통해 상기 구성 부품들중 미리 정해진 개수로 선별하는 진단 결과 출력 정보를 생성하는 그래픽 제어기를 포함하는 것을 특징으로 한다.

Description

양방향 차량상태정보 제공이 가능한 정보공유 플랫폼, 이를 갖는 시스템, 그리고 이의 방법{Information sharing platform for providing bidrectional vehicle state information, System having the vehicle, and Method thereof}
본 발명은 차량 운행 기술에 관한 것으로서, 더 상세하게는 차량에서 개별적으로 발생하는 이상소음, 이상진동 데이터 기반 이상상태 진단 인공지능 데이터를 확대하여, 진단결과 저장을 통한 이상상태 진행단계 예측이 가능한 정보를 제공하여 차량의 서비스 알람을 가능하게 하는 양방향 차량상태정보 제공이 가능한 정보공유 플랫폼 및 방법에 대한 것이다.
또한, 본 발명은 양산된 차량의 관리 매뉴얼 및 정비 또는 차량의 설정 관련 데이터를 DB화하여 운전자가 음성으로 문의한 것에 대한 즉각적이며, 정확한 정보를 제공하는 양방향 차량상태정보 제공이 가능한 정보공유 플랫폼 및 방법에 대한 것이다.
차량 주행중 발생하는 문제를 진단하고 이를 해소하기 정보를 제공하는 기술이 제안되고 있다. 이를 위해, 위치기반 서비스, 기본 제어 서비스, 정기적인 차량 점검 관련 일정 알람을 제공한다.
이 경우, 운전자 스스로 문제를 판단하고 서비스 센터에 예약을 진행하여 직접 방문해야 된다는 문제점이 있다. 서비스 센터를 방문하게 되면 간단한 문제임에도 이상 상태 정밀 진단이 실행되어 차량 수리 및 비용이 발생할 수 있다. 따라서, 수리에 대한 불만 발생시 고객 만족도가 하락할 수 있다는 문제점이 있다.
또한, 현재 방식의 경우, 제한적인 정보 제공과 차량의 상태 진단을 통한 관리 서비스의 제공이 불가하다는 단점이 있다.
1. 한국공개특허번호 제10-2019-0042203호 2. 한국공개특허번호 제10-2018-0029543호
본 발명은 위 배경기술에 따른 문제점을 해소하기 위해 제안된 것으로서, 차량의 상태진단을 위한 진동, 소음신호를 통해 수집된 유형별 빅데이터를 이용한 딥러닝(Deep Learning) 알고리즘을 구현할 수 있는 양방향 차량상태정보 제공이 가능한 정보공유 플랫폼 및 방법을 제공하는데 그 목적이 있다.
또한, 본 발명은 현재 차량의 상태 진단 및 주행관련 예측 정보 제공, 고객이 차량에 대해 궁금한 문의사항에 대해 차량 전문가의 지식을 빅데이터화하여 제공하는 운전자와 차량의 양방향 통신이 가능한 양방향 차량상태정보 제공이 가능한 정보공유 플랫폼 및 방법을 제공하는데 다른 목적이 있다.
또한, 본 발명은 운전습관, 주 이용도로등과 같은 운전자의 주행패턴을 주기적으로 학습하여 이 데이터를 기반으로 고객에게 효율적인 운전 패던 가이드를 제공할 수 있는 양방향 차량상태정보 제공이 가능한 정보공유 플랫폼 및 방법을 제공하는데 또 다른 목적이 있다.
또한, 본 발명은 양산된 차량의 관리 매뉴얼 및 정비 또는 차량의 설정 관련 데이터를 데이터베이스화하여 운전자가 음성으로 문의한 것에 대한 즉각적이며, 정확한 정보를 제공할 수 있는 양방향 차량상태정보 제공이 가능한 정보공유 플랫폼 및 방법을 제공하는데 또 다른 목적이 있다.
본 발명은 위에서 제시된 과제를 달성하기 위해, 차량의 상태진단을 위한 진동, 소음신호를 통해 수집된 유형별 빅데이터를 이용한 딥러닝(Deep Learning) 알고리즘을 구현할 수 있는 양방향 차량상태정보 제공이 가능한 정보공유 플랫폼을 제공한다.
상기 양방향 차량상태정보 제공이 가능한 정보공유 플랫폼은,
차량상태 진단이 가능한 구성 부품들에 설치된 센서류에 의한 측정 데이터 및 차량 CAN(Controller Area Network) 정보를 수집 하는 통신 제어기; 및
상기 수집된 데이터로 이루어진 빅데이터를 기반으로 딥러닝 기반 진단을 통해 상기 구성 부품들중 미리 정해진 선별 기준으로 생성된 진단 결과 출력 정보를 운전자에게 제공하는 그래픽 제어기;;를 포함하는 것을 특징으로 한다.
또한, 상기 선별 기준은 상기 상기 측정 데이터의 진동 데이터 및 소음 데이터 중 적어도 하나이상을 서로 비교하여 순위별로 이루어지는 것을 특징으로 한다.
또한, 상기 진단 결과 출력 정보는 해당 구성부품 및 이상 확률값을 포함하는 것을 특징으로 한다.
또한, 상기 그래픽 제어기는 운전자의 주행 패턴 데이터를 기반으로 상기 운전자의 성향을 분류하는 운전 성향 분석 정보를 생성하는 것을 특징으로 한다.
또한, 상기 운전 성향 분석 정보는 상기 운전자의 성향을 현재의 진단 결과와 이전의 진단 결과를 비교하여 연비형 또는 동력 성능형으로 분류하는 것을 특징으로 한다.
또한, 상기 딥러닝 기반 진단은 양방향 GRU (Gated Recurrent Unit), DNN(Deep Neural Network), 및 어텐션 메커니즘(Attention mechanism)을 포함하는 것을 특징으로 한다.
또한, 상기 딥러닝 진단은 운전자의 실행 명령어가 음성 또는 텍스트로 입력되면 이루어지는 것을 특징으로 한다.
또한, 상기 그래픽 제어기는 상기 딥러닝 기반 진단이 상기 실행 명령어의 분류에 따라 해당하는 딥러닝 진단이 실행되도록 다수의 인공지능 모듈을 포함하는 것을 특징으로 한다.
또한, 상기 실행 명령어의 분류에 상기 다수의 인공지능 모듈이 미리 매칭되어 설정되는 것을 특징으로 한다.
또한, 상기 실행 명령어 중 특정 순위 실행 명령어의 파악 정확도가 미리 설정되는 정확도 이하이면 재입력되는 것을 특징으로 한다.
다른 한편으로, 본 발명의 일실시예는, 위에 기술된 운전자와 차량간 양방향 차량상태정보 제공이 가능한 정보공유 플랫폼; 통신망으로 상기 정보공유 플랫폼과 연결되어, 입력된 운전자의 질문 유형에 따른 답변 정보를 데이터베이스로 저장하여 제공하는 중앙 서버; 및 상기 답변 정보를 입력하는 적어도 하나의 통신 단말기;를 포함하는 것을 특징으로 하는 빅데이터 기반 상태 진단 정보 제공 시스템을 제공한다.
이때, 상기 질문 유형은 차량 매뉴얼 관련 정보, 현재 차량 상태 관련 정보, 및 기술적 지식 정보 중 어느 하나인 것을 특징으로 한다.
또 다른 한편으로, 본 발명의 또 다른 일실시예는, 통신 제어기가 구성 부품들의 센서류에 의한 측정 데이터 및 차량 CAN(Controller Area Network) 정보를 수집하는 수집하는 수집 단계;
그래픽 제어기가 상기 수집된 데이터로 이루어진 빅데이터를 기반으로 딥러닝 기반 진단을 실행하는 진단 실행 단계; 및 상기 그래픽 제어기가 상기 딥러닝 기반 진단의 실행을 통해 상기 구성 부품들중 미리 정해진 선별기준으로 생성되는 진단 결과 출력 정보를 운전자에게 제공하는 제공단계;를 포함하는 것을 특징으로 하는 운전자와 차량간 양방향 차량상태정보 제공이 가능한 정보공유 방법을 제공한다.
본 발명에 따르면, 기존 제안 기술인 딥러닝(Deep Learning) 기반 문제소음 발생원 진단 기술을 진단 기록 정보 저장뿐만 아니라 예측 활용으로 확대할 수 있다. 부연하면, 문제 소음/진동 발생원의 진단 결과(마일리지별 주기적인 진단)를 진단 항목/문제수준 레벨/변화량등을 저장할 수 있다. 또한, 주기적으로 축적되는 데이터 정보를 이용하여 서비스 주기 알림, 문제 부품의 악화정도를 예측결과로 제공할 수 있다.
또한, 본 발명의 다른 효과로서 텍스트 마이닝(Text Mining) 기반 차량 지식 서비스 기술을 제공할 수 있다는 점을 들 수 있다. 부여하면, 양산차량의 매뉴얼 (차량 기능, 정비, 설정등) 전체를 데이터베이스(Database)화하여 차량내 저장(업데이트 포함)할 수 있다. 또한, 음성인식 + 텍스트 입력등의 방식으로 차량의 궁금증 입력 디바이스 구축이 가능하다. 또한, 텍스트 마이닝(Deep Learning 기법)을 이용한 최적의 답변 검색 및 운전자에게 음성 혹은 텍스트등으로 제공이 가능하다.
또한, 본 발명의 또 다른 효과로서는 차체/PT(Power train)를 포함한 차량의 상태진단 결과에 특화된 차량 지식 서비스 기술을 제공할 수 있다는 점을 들 수 있다. 부연하면, 운전자가 주행중 느끼는 NVH(noise, vibration, harshness) 특성에 대한 진단 명령 입력시 기술에 의한 진단결과 제공이 가능하다.
또한, 제조사 개발 데이터베이스를 통해 진단된 부품의 정상상태 NVH 데이터와 비정상 상태 NVH 데이터를 플레이백(Playback)하여 현재 증상의 정확한 상태 정보를 피드백(Feedback)해주는 서비스 제공이 가능하다. 또한, 문제소음/진동 진단에 사용되는 훈련(Training) 데이터의 대표값을 출력해주고, 현재 주행중인 차량에서 측정된 데이터를 제공하는 방식으로, 이는 오디오를 통해 출력하거나, 분석데이터를 디스플레이해주는 방식이 모두 해당될 수 있다.
도 1은 본 발명의 일실시예에 따른 차량의 구성 블럭도이다.
도 2는 본 발명의 일실시예에 따른 빅데이터 기반 상태 진단 정보 제공 시스템의 구성 블럭도이다.
도 3은 도 1에 도시된 그래픽 제어기의 세부 구성 블럭도이다.
도 4는 본 발명의 일실시예에 따른 빅데이터 기반 상태 진단 정보에 따른 처리 과정을 보여주는 개념도이다.
도 5는 본 발명의 일실시예에 따른 딥러닝 기반 엔진 이상 상태의 진단 알고리즘을 보여주는 개념도이다.
도 6 및 도 7은 본 발명의 일실시예에 따른 딥러닝 기반 양방향 정보 공유 서비스 플랫폼 알고리즘의 흐름도이다.
도 8은 본 발명의 일실시예에 따른 전문 지식 빅데이터 및 텍스트 마이닝 분류를 통한 정보 제공 과정을 보여주는 흐름도이다.
도 9는 본 발명의 일실시예에 따른 운전자의 주행 패턴에 기반한 정보 제공의 개념도이다.
도 10은 본 발명의 일실시예에 따른 딥러닝 기반 주행 패턴 학습을 분석하여 안내 정보를 제공하는 과정을 보여주는 개념도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 구체적으로 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용한다. 제 1, 제 2등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성요소는 제 2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제 1 구성요소로 명명될 수 있다. "및/또는" 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다.
일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미가 있는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않아야 한다.
이하 첨부된 도면을 참조하여 본 발명의 일실시예에 따른 빅데이터 기반 상태 진단 정보 제공 시스템 및 방법을 상세하게 설명하기로 한다.
도 1은 본 발명의 일실시예에 따른 차량(100)의 구성 블럭도이다. 도 1을 참조하면, 차량(100)은, 엔진(110), 센싱 유닛(120), 인공지능 스피커 유닛(130), 엔진 제어기(140), 그래픽 제어기(150), 차량 제어기(160), 통신 제어기(170), 무선 통신부(180) 등을 포함하여 구성될 수 있다.
엔진(110)은 가솔린을 연료로하는 CVVT(Continuous Variable Valve Timing), DOHC(Double Over Head Camshaft), CAT(Continuous Valve Timing), GAI(Gasoline Direct Injection), MPI(Multi Point Injection) 엔진, 디젤을 연료로하는 CRDI(Common Rail Direct Injection,), HTI(High direction Turbo Intercooler), VGT(Variable Geometry Turbocharge) 엔진, 가스를 연료로하는 LPi(Liquid Propane injection) 엔진 등이 될 수 있다.
센싱 유닛(120)은 센서류를 총칭한 것으로, 차량의 진동 데이터, 소음 데이터를 생성하는 기능을 수행한다. 부연하면, 차량에 구성되는 부품들에 진동 센서, 소음 센서 등을 설치하여 진동 데이터, 소음 데이터를 생성하는 기능을 수행한다. 또한, 파워 트레인(PT: Power Train)에 대해서도 진동, 소음 데이터를 생성한다. 파워 트레인은 동력을 전달하는 일련의 부품들로 트랜스미션, 클러치 등이 될 수 있다.
도 1에서는 이해를 위해 센싱 유닛(120)를 엔진(110) 블럭과 별도로 도시하였으나, 엔진(110)에 통합되어 구성될 수 있다.
인공지능 스피커 유닛(130)은 운전자의 음성을 입력받아 인식하고 이를 텍스트 정보로 변환하여 그래픽 제어기(150)에 전송하는 기능을 수행한다. 또한, 인공지능 스피커 유닛(130)은 그래픽 제어기(150)를 통해 운전자의 질문에 대한 답변을 음성으로 변환하여 제공한다. 이를 위해 인공지능 스피커 유닛(130)에는 음성을 출력하는 스피커(131), 음성을 입력받는 마이크(132), 마이크로프로세서, 전자 회로, 음성 인식 프로그램, 음성 텍스트 변환 프로그램 등이 구성될 수 있다.
엔진 제어기(140)는 차량 제어기의 제어에 따라 엔진(110)의 출력을 제어하는 기능을 수행한다. 또한, 엔진 제어기(140)는 엔진(110)의 제어에 관련한 엔진 제어 데이터를 생성한다.
센싱 유닛(120), 엔진 제어기(140) 등을 통해 엔진 제어 데이터, 차량내 통신 메시지 데이터(즉 CAN(Controller Area Network) 데이터), 환경 데이터 등이 수집될 수 있다. 차량내 통신 메시지 데이터, 환경 데이터 등은 엔진의 다양한 상태 모니터링 데이터가 될 수 있다. 엔진 데이터는 엔진에 관련한 데이터로서 RPM(revolution per minute), 기통 정보, 배기량 등을 들 수 있다.
엔진 제어 데이터는 엔진의 제어에 관련한 데이터로서 냉각수 온도, 오일 온도, 공기 온도, 연소 압력 등을 들 수 있다. 차량내 통신 메시지 데이터는 엔진 제어, 트랜스미션 제어, ABS(Anti-lock Brake System)(미도시), 액티브 서스펜션(미도시), 변속과 같이 주행과 밀접한 관련이 있는 제어뿐만 아니라, 미러 조정장치(미도시), 썬루프(미도시), 파워 윈도우(미도시), 좌석 조절장치(미도시) 등과 같은 차량의 보조 장치의 제어에 관련한 데이터이다.
차량내 통신 메시지 데이터는 차량 데이터 및 환경 데이터를 포함하는 개념이다. 따라서, 환경 데이터는 차량 데이터를 제외한 데이터가 된다. 환경 데이터로서는 에어 컨디셔너의 동작 정보, 도어의 상태 정보 등을 들 수 있다.
도 1을 계속 참조하면, 특히 센싱 유닛(120)은 엔진룸, 차량 실내의 NVH (noise, vibration, harshness)를 측정한다.
그래픽 제어기(150)는 GPU(Graphic Processing Unit) 등을 포함하며, 빅데이터를 기반으로 딥러닝을 통해 진단 및 예측을 수행한다. 부연하면, 다양한 이상 소음 및 진동 데이터로 이루어진 빅데이터를 기반으로 딥러닝을 통해 이상 상태를 진단하는 기능을 수행한다. 또한, 빅데이터를 분류하여 진단된 해당 이상 상태에 대한 지식 검색을 통해 자료 정보를 제공받아 운전자에게 제공하는 기능을 수행한다.
이러한 딥러닝을 수행하기 위해 그래픽 제어기(150)는 GPU(Graphic Process Unit)를 포함할 수 있다. GPU의 내부에는 연산 로직 유닛(Arithmetic Logic Unit) 코어가 수천개 내지 수만개가 배치된다. 따라서, 동시 병렬 처리가 가능하다.
차량 제어기(160)는 차량을 제어하기 위한 구성 부품들을 제어하는 기능을 한다. 특히, 차량 제어기(160)는 그래픽 제어기(150)를 통해 엔진(미도시)을 제어하는 엔진 제어기(140)로부터 엔진 정보를 획득할 수 있다. 엔진 정보로는 엔진 RPM(revolution per minute), 엔진 시동, 아이들(idle) 상태 등을 들 수 있다. 차량 제어기(160)는 ECU(Electronic Control Unit), HCU(Hybrid Control Unit) 등이 될 수 있다. 도 1에서는 엔진만을 도시하였으나, 엔진과 모터(미도시) 둘다가 구성될 수도 있고, 모터만으로 구성될 수 있다. 모터가 구성되는 경우, 모터를 제어하기 위한 모터 제어기(미도시)가 구성될 수 있다. 모터 제어기는 모터를 제어하기 위해 인버터, 컨버터 등을 포함하여 구성될 수 있다.
통신 제어기(170)는 차량내 구성부품들간 통신을 제어하는 기능을 수행한다. 구성부품들간 통신은 MM-CAN(Multimedia-Controller Area Network), B-CAN(Body-Controller Area Network), 고속 CAN(Controller Area Network), 통신라인(예, 500 kbps), CAN-FD(Flexible Data-Rate) 통신라인, Flexlay 통신라인, LIN(Local Interconnect Network) 통신 라인, PLC(Power Line Communication) 통신 라인, CP(Control Pilot) 통신 라인 등으로 연결되어, 제어기들 상호간에 정보를 주고받으면서 상위 제어기는 하위 제어기에 명령을 전달하도록 되어 있다.
무선 통신부(180)는 외부에 데이터를 전송하거나 외부로부터 데이터를 수신하는 기능을 수행한다. 이를 위해 무선 통신부(180)는 마이크로프로세서, 통신 회로 등을 포함하여 구성될 수 있다. 물론, 무선 통신부(180)만을 도시하였으나, 유선 통신도 가능하다.
또한, 도 1에는 메모리를 미도시하였으나, 메모리가 구성될 수 있다. 메모리는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD(Secure Digital) 또는 XD(eXtreme Digital) 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read Only Memory), PROM(Programmable Read Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
도 2는 본 발명의 일실시예에 따른 빅데이터 기반 상태 진단 정보 제공 시스템(200)의 구성 블럭도이다. 도 2를 참조하면, 빅데이터 기반 운행 정보 제공 시스템(200)은 차량(100), 제 1 및 제 2 통신망(210-1,210-2), 중앙 서버(220), 제 1 내지 제 n 통신 단말기(230-1 내지 230-n) 등으로 구성될 수 있다. 차량(100)의 무선 통신부(180)는 제 1 통신망(210-1)을 통해 중앙 서버(220)와 통신으로 연결될 수 있다. 또한, 제 1 내지 제 n 통신 단말기(230-1 내지 230-n)는 제 2 통신망(210-2)을 통해 중앙 서버(220)와 통신으로 연결될 수 있다.
제 1 및 제 2 통신망(210-1,210-2)은 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 공중교환 전화망(PSTN), 공중교환 데이터망(PSDN), 종합정보통신망(ISDN: Integrated Services Digital Networks), 광대역 종합 정보 통신망(BISDN: Broadband ISDN), 근거리 통신망(LAN: Local Area Network), 대도시 지역망(MAN: Metropolitan Area Network), 광역 통신망(WLAN: Wide LAN) 등이 될 수 있다.
그러나, 본 발명은 이에 한정되지는 않으며, 무선 통신망인 CDMA(Code Division Multiple Access), WCDMA(Wideband Code Division Multiple Access), Wibro(Wireless Broadband), WiFi(Wireless Fidelity), HSDPA(High Speed Downlink Packet Access) 망, 블루투쓰(bluetooth), NFC(Near Field Communication) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 될 수 있다. 또는, 이들 유선 통신망 및 무선 통신망의 조합일 수 있다.
중앙 서버(220)는 획득 모듈(221), 분석 모듈(222), 답변 모듈(223) 등을 포함하여 구성될 수 있다. 획득 모듈(221)은 그래픽 제어기(150) 및/또는 인공지능 스피커(130)를 통해 차량(100)에서 생성된 진단 결과 또는 차량 관련 지식 문의 정보를 제 1 통신망(210-1)을 통해 획득하는 기능을 수행한다.
분석 모듈(222)은 진단 결과 정보 또는 지식 문의 정보를 분석하는 기능을 수행한다.
답변 모듈(223)은 분석 모듈(222)에 의해 생성되는 분석 정보와 답변 지식 빅데이터를 매칭하여 답변 정보를 생성하여 차량(100) 측에 전송하는 기능을 수행한다. 답변용 지식 빅데이터는 제 1 데이터베이스(225)에 저장된다. 물론, 제 1 데이터베이스(225)는 기술 전문가들이 제 1 내지 제 n 통신 단말기(230-1 내지 230-n)를 이용하여 문의에 대한 답변을 저장한 곳이다. 또한, 제 1 데이터베이스(225)는 차량별 매뉴얼 정보, 구성부품별 매뉴얼 정보 등을 포함할 수 있다.
제 2 데이터베이스(227)는 차량에 대한 차량 정보 및 운전자 정보 등을 저장한다. 운전자 정보로는 성명, 전화번호, 주소 등을 들 수 있고, 차량 정보로는 차량 등록 번호(VIN: Vehicle Identification Number), 생산 연도, 차량 종류, 엔진 종류 등을 들 수 있다.
도 2에서는 제 1 데이터베이스(225)와 제 2 데이터베이스(227)로 별도로 구성하였으나, 이는 이해를 위한 것으로 하나의 데이터베이스에 구성이 가능하다. 또한, 제 1 데이터베이스(225)와 제 2 데이터베이스(227)는 중앙 서버(220)에 구성될 수도 있고, 별도의 데이터베이스 서버로 구성할 수도 있다.
제 1 내지 제 n 통신 단말기(230-1 내지 230-n)는 기술 전문가가 소유하는 단말기로서, 휴대폰(mobile phone), 스마트폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 내비게이션, 노트 패드 등이 될 수 있다. 따라서, 기술 전문가는 제 1 내지 제 n 통신 단말기(230-1 내지 230-n)를 통해 차량에 관해 운전자 요구 정보를 공유하여 답변 정보를 작성할 수 있다. 운전자 요구 정보는 기술 문의, 매뉴얼 문의 등이 될 수 있다.
도 3은 도 1에 도시된 그래픽 제어기(150)의 세부 구성 블럭도이다. 도 3을 참조하면, 입력 모듈(310), 진단 예측 모듈(320), 운전 성향 분석 모듈(330), 출력 모듈(340), 출력부(350) 등을 포함하여 구성될 수 있다. 입력 모듈(310)은 센싱 유닛(120), 엔진 제어기(140)에 의해 생성된 데이터를 수집하는 기능을 수행한다. 부연하면, 입력 모듈(310)은 진동 데이터, 소음 데이터, 차량내 통신 메시지 데이터 등을 수집하여 빅 데이터를 생성한다. 또한, 입력 모듈(310)은 운전자의 주행 패턴 데이터, 도로 데이터, 교통 데이터 등을 추가적으로 수집할 수 있다. 주행 패턴 데이터는 안전거리, 과속, 급가속, 급감속, 급정거, 급출발 등을 포함할 수 있다. 도로 데이터는 GPS(Global Positioning System) 기반 도로 데이터가 될 수 있다. 교통 데이터는 교통량을 나타낸다. 이들 도로 데이터 및/또는 교통 데이터는 무선 통신부(180)를 통해 GPS 시스템으로부터 전송받을 수 있다.
진단 예측 모듈(320)은 딥러닝을 적용하여 소음 및/또는 진동이 가장 큰 3개의 해당 구성 부품을 출력하는 기능을 수행한다. 예를 들면, 진단 결과 출력 정보는 다음과 같이 표현될 수 있다.
순위 해당 구성부품 이상 확률값
1순위 X1 부품 87.0%
2순위 X2 부품 84.3%
3순위 X3 부품 70.0%
물론, 표 1의 3개의 상위 진단 결과는 예시이며, 3개보다 많거나 적을 수도 있다. 또한, 진단 결과 출력 정보에는 추가 정보가 저장될 수 있다. 추가 정보로는 순위별 진단 확률값, 순위별 진동 레벨(dB) 및 소음 레벨(dB) 등을 들 수 있다. 순위별 진단 확률값은 각 순위별 범위값을 들 수 있다. 예를 들면, 1순위는 85% ~ 100%, 2순위는 75% ~ 84.9%, 3순위는 65% ~ 69.9%를 들 수 있다.
운전 성향 분석 모듈(320)은 딥러닝을 이용하여 운전자의 주행 패턴 데이터를 기반으로 운전자의 성향을 분류하는 기능을 수행한다. 즉 성향은 공격적인 운전성향, 연비위주형 운전성향, 일반적인 운전성향, 보호위주형 운전성향이다.
도 3을 계속 참조하면, 출력 모듈(340)은 진단 예측 모듈(320) 및 운전 성향 분석 모듈(330)에 의해 생성된 진단 결과 출력 정보 및 운전 성향 분석 정보에 해당하는 안내 정보를 운전자에게 제공하는 기능을 수행한다. 안내 정보는 음성, 문자, 및 그래픽의 조합으로 이루어질 수 있다. 부연하면, 음성의 경우, 인공 지능 스피커 유닛(130)을 통해 출력하고, 문자, 그래픽의 경우, 출력부(350)를 통해 출력한다.
출력부(350)는 안내 정보를 출력하는 기능을 수행한다. 이를 위해, 디스플레이가 구성될 수 있다. 디스플레이는 LCD(Liquid Crystal Display), LED(Light Emitting Diode) 디스플레이, OLED(Organic LED) 디스플레이, 터치 스크린, 플렉시블 디스플레이, HUD(Head Up Display) 등이 될 수 있다. 물론, 출력부(350)는 정보의 출력뿐만 아니라 입력 수단으로도 기능한다. 부연하면, 출력부(350)가 터치 스크린이면 운전자가 텍스트를 터치 스크린을 통해 실행 명령어를 입력하는 것도 가능하다.
도 2 및 도 3에 기재된 "~모듈"의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 소프트웨어 및/또는 하드웨어로 구현될 수 있다. 하드웨어 구현에 있어, 상술한 기능을 수행하기 위해 디자인된 ASIC(application specific integrated circuit), DSP(digital signal processing), PLD(programmable logic device), FPGA(field programmable gate array), 프로세서, 마이크로프로세서, 다른 전자 유닛 또는 이들의 조합으로 구현될 수 있다. 소프트웨어 구현에 있어, 소프트웨어 구성 컴포넌트(요소), 객체 지향 소프트웨어 구성 컴포넌트, 클래스 구성 컴포넌트 및 작업 구성 컴포넌트, 프로세스, 기능, 속성, 절차, 서브 루틴, 프로그램 코드의 세그먼트, 드라이버, 펌웨어, 마이크로 코드, 데이터, 데이터베이스, 데이터 구조, 테이블, 배열 및 변수를 포함할 수 있다. 소프트웨어, 데이터 등은 메모리에 저장될 수 있고, 프로세서에 의해 실행된다. 메모리나 프로세서는 당업자에게 잘 알려진 다양한 수단을 채용할 수 있다.
도 4는 본 발명의 일실시예에 따른 빅데이터 기반 상태 진단 정보에 따른 처리 과정을 보여주는 개념도이다. 도 4를 참조하면, 운전자가 인공지능 스피커 유닛(130)을 통해 차량 상태 점검 요청을 하면, 그래픽 제어기(150)가 진단 모드 진입을 유도한다(단계 S410). 부연하면, 인공지능 스피커 유닛(130)이 운전자의 명령 음성을 인식하고, 이를 신호 처리하여 그래픽 제어기(150)에 전송하면 그래픽 제어기(150)가 진단 모드를 실행한다. 물론, 진단 모드 진입을 위해서, 차량중 일부 기능에 대한 동작을 음성으로 안내한다. 예를 들면, 다음과 같다.
예시1: 아이들 상태 유지, 에어 컨디셔너 작동 유무 등을 지시
예시2: 초기 가속 조건 유도
예시3: 고속 주행 조건 유도(도로 상황 반영)
이후, 현재의 진단 결과 기반으로 이상 상태 예측 정보를 제공하고 데이터를 저장한다(단계 S411). 이와 동시에, 진단 모드에 진입하면, 그래픽 제어기(150)에서 차량의 이상 상태 진단 명령 및 딥러닝 기반 진단이 가능하게 된다(단계 S412). 진단 결과에 따라 고장이 발생되면 서비스 센터 탐색 및 예약 서비스를 제공한다(단계 S413).
부연하면, 그래픽 제어기(150)가 중앙 서버(220)를 통해 서비스 센터를 탐색하고, 예약 서비스를 실행한다. 물론, 중앙 서버(220)는 서비스 센터를 관리하는 센터 서버에 미리 연결되어 서로 정보를 공유할 수 있다. 이에 대해서는 널리 공지되어 있으므로 더 이상의 설명은 생략하기로 한다.
한편, 운전자가 인공지능 스피커 유닛(130)를 통해 차량 관리 매뉴얼 및 차량에 대한 기술적 문의를 음성으로 요청한다(단계 S420). 이후, 그래픽 제어기(150)는 중앙 서버(220)에 구현되어 있는 지식 빅데이터 기반을 통해 정확한 정보를 제공받아 출력부(350) 및/또는 인공지능 스피커 유닛(130)을 통해 운전자에게 제공한다(단계 S423). 물론, 단계 S420에서 1차 대응이 불가능한 문의 사항인 경우, 중앙 서버(220)는 이를 데이터베이스에 저장한 후 통신 단말기(230-1 내지 230-n)에 문의 사항을 접근하도록 하여 기술 전문가의 답변이 오면 이를 그래픽 제어기(150)에 제공할 수 있다(단계 S421).
한편, 운전자의 주행 패턴이 획득되면, 그래픽 제어기(150)는 운전자의 주행 패턴을 학습하여 주행 빅데이터 기반으로 운전자의 성향을 분류한다(단계 S430). 운전자 성향은 공격적인 운전성향, 연비위주형 운전성향, 일반적인 운전성향, 보호위주형 운전성향이다. 따라서, 이에 맞게 운전자의 주행 습관 개선을 위한 안내 정보 및 성능 정보를 제공한다(단계 S433).
또한, 주행 패턴에 따른 성능 특성을 예측하고, 주행 습관 분류 모델을 생성할 수 있다(단계 S431).
도 5는 본 발명의 일실시예에 따른 딥러닝 기반 엔진 이상 상태의 진단 알고리즘을 보여주는 개념도이다. 도 5를 참조하면, 빅데이터 정렬 블럭(510)에서 노드(즉 빅데이터)에 대해 순방향(forward), 역방향(backward)의 어텐션 메커니즘(Attention mechanism)이 적용된다. 이러한 어텐션 메커니즘이 적용된 후 노드(watt(t))는 합산기(520)에 의해 가중합되어 DNN 블럭(530)의 인풋 레이어(Input layer)에 입력된다. DNN(Deep Neural Network)에 의해 인풋 레이어(Input layer)에 입력된 값들은 아웃풋 레이어(Output layer)에서 출력되어 소프트맥스(Softmax) 함수 블럭(540)을 거쳐 출력블럭(550)에서 확률값이 산출된다. 출력 블럭(550)에서 모든 입력에 대해 평균값(J)이 산출된다. 이를 수학식으로 나타내면 다음과 같다.
Figure pat00001
여기서, w는 weight 및 bias 파라미터이고, N은 배치(batch) 사이즈이고, yn은 타겟값(target)이고,
Figure pat00002
은 출력값(output)이다.
DNN 수행시 드롭아웃(Drop out)이 이루어진다. 1-레이어(layer) 구조에만 적용되며, epoch 진행시 무작위로 Drop rate 만큼의 노드를 끊어서 학습하므로 마치 여러개의 모델을 앙상블하는 효과가 발생한다. 즉, 오버 피팅(over fitting)의 방지가 가능하여 진단 정확도가 향상된다.
[1,484]는 양방향 RNN(GRU) 학습을 통해 242개의 노드 데이터(즉 빅데이터)를 추출한다는 의미이다. 또한, 121개의 노드 데이터에 양방향(Bidirection) 진행결과 이중 조기 스테이지 앙상블(early stage ensemble) 알고리즘을 적용한다. 따라서, 시작 시간의 242개의 노드 정보와 끝나는 시간의 242개의 노드 데이터 정보를 병합하여 484개의 노드 정보를 획득한다.
기울기 역전파 학습(gradient back-propagation)은 아담 최적화기(adam optimizer)이다.
도 6 및 도 7은 본 발명의 일실시예에 따른 딥러닝 기반 양방향 정보 공유 서비스 플랫폼 알고리즘의 흐름도이다. 도 6 및 도 7을 참조하면, 인공지능 스피터 유닛(130)을 통해 음성 명령어가 입력되면 그래픽 제어기(150)는 진단 실행 명령어를 분류한다(단계 S610,S620). 진단 실행 명령어는 음성 명령어, 텍스트 명령어가 될 수 있다. 물론, 음성 명령어가 텍스트 명령어로 변환되어 그래픽 제어기(150)에 입력되는 것도 가능하다.
명령어 분류가 성공하면 해당하는 인공지능 모듈을 활성화한다(단계 S621,S630,S710). 이와 달리, 실행 명령어 분류가 실패하면 다시 음성 명령어 입력이 진행된다(단계 S601,S610). 부연하면, 3가지 명령어 분류중 1순위 명령어 파악의 정확도가 33.33%이하이면 실행 명령어 재입력 요청의 안내 정보가 운전자에게 제공된다.
이후, 1번 인공지능 모듈 활성의 경우, 실시간 NVH 신호 측정이 이루어지고, NVH 빅데이터 기반으로 학습된 머신이 작동한다(단계 S631,S632). 이후 머신이 작동되면, 즉 딥러닝 기반 진단이 이루어지면, 진단 결과 3순위에 대한 발생원 구성 부품 및 이상 확률값이 출력된다(단계 S633). 물론, 단계 S631 내지 S633을 생략하고, 1번 인공지능 모듈이 활성되면 바로 진단 결과 출력 정보가 출력될 수 있다(단계 S635). 이는 기준을 맞추지 못한 빅데이터가 매우 한정적이거나 3순위의 발생원 구성부품이 절대적인 이상 확률값을 가지고 있는 경우가 해당된다.
진단 결과 출력 정보는 메모리에 저장되고, 3번 인공지능 모듈 활성단계로 진행할 수 있다.
한편, 2번 인공지능 모듈 활성의 경우, 진단 항목을 분류하고, 명령어 분류①에 따라 차량 기본 매뉴얼 검색 항목이 선택되며, 이에 대한 문의 사항에 대한 결과값이 음성, 텍스트 등으로 출력될 수 있다(단계 S642-1,S643,S645). 물론, 단계 S641 내지 S643을 생략하고, 2번 인공지능 모듈이 활성화되면 바로 단계 S645가 수행되는 것도 가능하다.
만일 단계 S641에서 명령어 분류②에 따라 그래픽 제어기(150)는 1번 인공지능 진단 결과에 기반하여 추가 상세 지식 정보를 제공할 수 있다(단계 S642-2),S650). 이후 문제가 발생한 구성부품을 진단하고 소음, 진동의 레벨을 판단하여 서비스 알람 정보 제공을 음성, 텍스트 등으로 출력하거나, 서비스 불필요 항목의 경우, 진단 결과 유발에 대한 기본 정보를 제공한다(단계 S670,S680).
도 7을 참조하면, 3번 인공지능 모듈 활성의 경우, 과거 진단결과와 대비한다. 대비 결과에 따라 성능이 악하된 경우, 성능 영향 구성 부품이면 서비스 알람을 제공한다.(단계 S720,S721)
단계 S720에서, 과거 진단결과와 대비하여 성능이 동등한 경우, 운전자의 주행 패턴 학습 결과와 차량의 성능 최적점을 비교하여 연비형인지 동력 성능형인지 분류한다(단계 S730,S740).
분류 결과, 연비형 분류의 경우, 유지 혹은 동력 성능형 변환 가이드(즉 안내 정보)를 제공한다. 또는 운전 패턴 가이드를 예시한다. 즉, 패달 조작 강도등을 들 수 있다. 또한, 실시간 모니터링 결과를 출력한다. 즉 연비, 동력 등을 출력한다(단계 S750).
한편, 분류 결과, 동력 성능형 분류의 경우, 유지 혹은 연비 개선형 변환 가이드를 제공한다(단계 S760).
도 8은 본 발명의 일실시예에 따른 전문 지식 빅데이터 및 텍스트 마이닝 분류를 통한 정보 제공 과정을 보여주는 흐름도이다. 도 8을 참조하면, 운전자는 질문 유형을 음성 또는 텍스트로 입력하면, 음성 인식 및/또는 텍스트 마이닝 기반으로 유형 분류가 수행된다(단계 S810,S820).
중앙 서버에서는 빅데이터 기반 인공지능 분류 모델을 통해 유형별 답변을 출력한다(단계 S830). 즉, 양산 차량에 제공 메뉴얼 데이터베이스 기반 대응이 가능하다(단계 S831). 물론, 제공 매뉴얼이 없으면, 중앙 서버(220)에 형성된 기술적 전문가 집단 데이터베이스 기반 대응이 가능하다(단계 S832). 이를 위해서는 고객 차량의 진단 결과 정보가 중앙 서버(220)에 저장된다. 진단 결과 정보는 주행 거리, 진단 횟수, 주행거리 증가별 진단 경향, 빅데이터 기반 주요 부품의 이상 상태 예측 모델가 될 수 있다(단계 S801).
또한, 진동/소음, CAN 정보등 데이터 기반 인공지능 차량 진단 결과를 제공한다(단계 S831).
단계 S832에서, 조건 불만족의 경우, 질문유형과 기술분류의 상관성을 고려하여 분류 모델 기간 1차 분류를 한다. 또한 기술 전문가에게 고객 문의 내용을 전달하여 답변을 데이터베이스에 등록한다(단계 S833).
중앙 서버(220)에 등록된 새로운 지식을 빅데이터화할 수도 있다. 따라서, 운전자에게 정확한 지식 제공이 가능하며, 인터넷, SNS, 동호회 등을 공유되는 비정상적인 지식으로 인한 고객 피해 방지가 가능하다(단계 S802).
도 9는 본 발명의 일실시예에 따른 운전 패턴에 기반한 정보 제공의 개념도이다. 도 9를 참조하면, 운전 패턴에 기반한 정보 제공에 따라, 현재 운전 습관(901)을 일반적인 운전 패턴(902)으로 유도한다. 이 경우, 인공 지능 스피커(130)는 "현재 일반적인 주행 패턴보다 높은 가속을 하고 있습니다. 엑셀 패달을 조금 천천히 밟아 보세요!"라는 안내 정보를 출력할 수 있다.
도 10은 본 발명의 일실시예에 따른 딥러닝 기반 운전 패턴 학습을 분석하여 안내 정보를 제공하는 과정을 보여주는 개념도이다. 도 10을 참조하면, 운전 패턴에 따른 성능 영향도를 분석한다(단계 S1010). 즉, 열화 정도 판단 모델과 성능 상관성 판단 모델로 분류 된다. 이러한 분류에 따라 운전자의 성향은 공격적인 운전 성향, 연비 위주형 운전 성향, 일반적인 운전 성향, 보호위주형 운전성향으로 구분될 수 있다(단계 S1020). Case 1,2,4의 경우, 운전습관을 유도하고 동시에 차량 열화 정보를 도시에 제공한다(단계 S1030). Case 3의 경우, 현재 운전 가이드를 유지하도록 하고 차량 열화 정보를 제공한다.
또한, 여기에 개시된 실시형태들과 관련하여 설명된 방법 또는 알고리즘의 단계들은, 마이크로프로세서, 프로세서, CPU(Central Processing Unit) 등과 같은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 (명령) 코드, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다.
상기 매체에 기록되는 프로그램 (명령) 코드는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프 등과 같은 자기 매체(magnetic media), CD-ROM, DVD, 블루레이 등과 같은 광기록 매체(optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 (명령) 코드를 저장하고 수행하도록 특별히 구성된 반도체 기억 소자가 포함될 수 있다.
여기서, 프로그램 (명령) 코드의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
100: 차량
110: 엔진
120: 센싱 유닛
130: 인공 지능 스피커 유닛
140: 엔진 제어기
150: 그래픽 제어기
160: 차량 제어기
170: 통신 제어기
180: 무선 통신부

Claims (20)

  1. 차량상태 진단이 가능한 구성 부품들에 설치된 센서류에 의한 측정 데이터 및 차량 CAN(Controller Area Network) 정보를 수집 하는 통신 제어기; 및
    상기 수집된 데이터로 이루어진 빅데이터를 기반으로 딥러닝 기반 진단을 통해 상기 구성 부품들중 미리 정해진 선별 기준으로 생성된 진단 결과 출력 정보를 운전자에게 제공하는 그래픽 제어기;
    를 포함하는 것을 특징으로 운전자와 차량간 양방향 차량상태정보 제공이 가능한 정보공유 플랫폼.
  2. 제 1 항에 있어서,
    상기 선별 기준은 상기 측정 데이터의 진동 데이터 및 소음 데이터 중 적어도 하나이상을 서로 비교하여 순위별로 이루어지는 것을 특징으로 하는 운전자와 차량간 양방향 차량상태정보 제공이 가능한 정보공유 플랫폼.
  3. 제 1 항에 있어서,
    상기 진단 결과 출력 정보는 해당 구성부품 및 이상 확률값을 포함하는 것을 특징으로 하는 운전자와 차량간 양방향 차량상태정보 제공이 가능한 정보공유 플랫폼.
  4. 제 1 항에 있어서,
    상기 그래픽 제어기는 운전자의 주행 패턴 데이터를 기반으로 상기 운전자의 성향을 분류하는 운전 성향 분석 정보를 생성하는 것을 특징으로 하는 운전자와 차량간 양방향 차량상태정보 제공이 가능한 정보공유 플랫폼.
  5. 제 4 항에 있어서,
    상기 운전 성향 분석 정보는 상기 운전자의 성향을 현재의 진단 결과와 이전의 진단 결과를 비교하여 연비형 또는 동력 성능형으로 분류하는 것을 특징으로 하는 운전자와 차량간 양방향 차량상태정보 제공이 가능한 정보공유 플랫폼.
  6. 제 1 항에 있어서,
    상기 딥러닝 기반 진단은 양방향 GRU (Gated Recurrent Unit), DNN(Deep Neural Network), 및 어텐션 메커니즘(Attention mechanism)을 포함하는 것을 특징으로 하는 운전자와 차량간 양방향 차량상태정보 제공이 가능한 정보공유 플랫폼.
  7. 제 1 항에 있어서,
    상기 딥러닝 진단은 운전자의 실행 명령어가 음성 또는 텍스트로 입력되면 이루어지는 것을 특징으로 하는 운전자와 차량간 양방향 차량상태정보 제공이 가능한 정보공유 플랫폼.
  8. 제 7 항에 있어서,
    상기 그래픽 제어기는 상기 딥러닝 기반 진단이 상기 실행 명령어의 분류에 따라 해당하는 딥러닝 진단이 실행되도록 다수의 인공지능 모듈을 포함하는 것을 특징으로 하는 운전자와 차량간 양방향 차량상태정보 제공이 가능한 정보공유 플랫폼.
  9. 제 8 항에 있어서,
    상기 실행 명령어의 분류에 상기 다수의 인공지능 모듈이 미리 매칭되어 설정되는 것을 특징으로 하는 운전자와 차량간 양방향 차량상태정보 제공이 가능한 정보공유 플랫폼.
  10. 제 8 항에 있어서,
    상기 실행 명령어 중 특정 순위 실행 명령어의 파악 정확도가 미리 설정되는 정확도 이하이면 재입력되는 것을 특징으로 하는 운전자와 차량간 양방향 차량상태정보 제공이 가능한 정보공유 플랫폼.
  11. 제 1 항의 운전자와 차량간 양방향 차량상태정보 제공이 가능한 정보공유 플랫폼;
    통신망으로 상기 정보공유 플랫폼과 연결되어, 입력된 운전자의 질문 유형에 따른 답변 정보를 데이터베이스로 저장하여 제공하는 중앙 서버; 및
    상기 답변 정보를 입력하는 적어도 하나의 통신 단말기;
    를 포함하는 것을 특징으로 하는 빅데이터 기반 상태 진단 정보 제공 시스템.
  12. 제 11 항에 있어서,
    상기 질문 유형은 차량 매뉴얼 관련 정보, 현재 차량 상태 관련 정보, 및 기술적 지식 정보 중 어느 하나인 것을 특징으로 하는 빅데이터 기반 상태 진단 정보 제공 시스템.
  13. 통신 제어기가 구성 부품들의 센서류에 의한 측정 데이터 및 차량 CAN(Controller Area Network) 정보를 수집하는 수집하는 수집 단계;
    그래픽 제어기가 상기 수집된 데이터로 이루어진 빅데이터를 기반으로 딥러닝 기반 진단을 실행하는 진단 실행 단계; 및
    상기 그래픽 제어기가 상기 딥러닝 기반 진단의 실행을 통해 상기 구성 부품들중 미리 정해진 선별기준으로 생성되는 진단 결과 출력 정보를 운전자에게 제공하는 제공단계;
    를 포함하는 것을 특징으로 운전자와 차량간 양방향 차량상태정보 제공이 가능한 정보공유 방법.
  14. 제 13 항에 있어서,
    상기 진단 결과 출력 정보는 해당 구성부품 및 이상 확률값을 포함하는 것을 특징으로 하는 운전자와 차량간 양방향 차량상태정보 제공이 가능한 정보공유 방법.
  15. 제 13 항에 있어서,
    상기 그래픽 제어기는 운전자의 주행 패턴 데이터를 기반으로 상기 운전자의 성향을 분류하는 운전 성향 분석 정보를 생성하는 것을 특징으로 하는 운전자와 차량간 양방향 차량상태정보 제공이 가능한 정보공유 방법.
  16. 제 15 항에 있어서,
    상기 운전 성향 분석 정보는 상기 운전자의 성향을 현재의 진단 결과와 이전의 진단 결과를 비교하여 연비형 또는 동력 성능형으로 분류하는 것을 특징으로 하는 운전자와 차량간 양방향 차량상태정보 제공이 가능한 정보공유 방법.
  17. 제 13 항에 있어서,
    상기 딥러닝 기반 진단은 양방향 GRU (Gated Recurrent Unit), DNN(Deep Neural Network), 및 어텐션 메커니즘(Attention mechanism)을 포함하는 것을 특징으로 하는 운전자와 차량간 양방향 차량상태정보 제공이 가능한 정보공유 방법.
  18. 제 13 항에 있어서,
    상기 딥러닝 진단은 운전자의 실행 명령어가 음성 또는 텍스트로 입력되면 이루어지는 것을 특징으로 하는 운전자와 차량간 양방향 차량상태정보 제공이 가능한 정보공유 방법.
  19. 제 18 항에 있어서,
    상기 그래픽 제어기는 상기 딥러닝 기반 진단이 상기 실행 명령어의 분류에 따라 해당하는 딥러닝 진단이 실행되도록 다수의 인공지능 모듈을 포함하는 것을 특징으로 하는 운전자와 차량간 양방향 차량상태정보 제공이 가능한 정보공유 방법.
  20. 제 19 항에 있어서,
    상기 실행 명령어의 분류에 상기 다수의 인공지능 모듈이 미리 매칭되어 설정되는 것을 특징으로 하는 운전자와 차량간 양방향 차량상태정보 제공이 가능한 정보공유 방법.
KR1020190164634A 2019-12-11 2019-12-11 양방향 차량상태정보 제공이 가능한 정보공유 플랫폼, 이를 갖는 시스템, 그리고 이의 방법 KR20210073883A (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020190164634A KR20210073883A (ko) 2019-12-11 2019-12-11 양방향 차량상태정보 제공이 가능한 정보공유 플랫폼, 이를 갖는 시스템, 그리고 이의 방법
US16/880,738 US11775820B2 (en) 2019-12-11 2020-05-21 Information sharing platform and method capable of providing bidirectional vehicle state information and system having information sharing platform
DE102020206616.7A DE102020206616A1 (de) 2019-12-11 2020-05-27 Informationsaustauschplattform und -verfahren zum bereitstellen von bidirektionalen fahrzeugzustandsinformationen und system mit einer informationsaustauschplattform
CN202010522399.5A CN112937475A (zh) 2019-12-11 2020-06-10 能够提供双向车辆状态信息的信息共享平台和方法以及具有信息共享平台的系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190164634A KR20210073883A (ko) 2019-12-11 2019-12-11 양방향 차량상태정보 제공이 가능한 정보공유 플랫폼, 이를 갖는 시스템, 그리고 이의 방법

Publications (1)

Publication Number Publication Date
KR20210073883A true KR20210073883A (ko) 2021-06-21

Family

ID=76085220

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190164634A KR20210073883A (ko) 2019-12-11 2019-12-11 양방향 차량상태정보 제공이 가능한 정보공유 플랫폼, 이를 갖는 시스템, 그리고 이의 방법

Country Status (4)

Country Link
US (1) US11775820B2 (ko)
KR (1) KR20210073883A (ko)
CN (1) CN112937475A (ko)
DE (1) DE102020206616A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11605187B1 (en) * 2020-08-18 2023-03-14 Corel Corporation Drawing function identification in graphics applications
CN113992533B (zh) * 2021-12-29 2022-03-22 湖南大学 一种车载can总线数据异常检测识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180029543A (ko) 2016-09-13 2018-03-21 오토시맨틱스 주식회사 딥러닝을 통한 자동차 상태 진단 방법
KR20190042203A (ko) 2017-10-16 2019-04-24 현대자동차주식회사 차량의 소음원인 진단방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9633490B2 (en) * 2015-06-11 2017-04-25 Mitsubishi Electric Research Laboratories, Inc. System and method for testing and evaluating vehicle components
EP3566201A4 (en) * 2016-12-22 2020-11-25 Xevo Inc. PROCESS AND SYSTEM FOR PROVIDING SERVICES OF ANALYSIS OF ARTIFICIAL INTELLIGENCE (AIA) FOR PERFORMANCE PREDICTION
US10728461B1 (en) * 2019-01-31 2020-07-28 StradVision, Inc. Method for correcting misalignment of camera by selectively using information generated by itself and information generated by other entities and device using the same
KR20210134638A (ko) * 2019-03-29 2021-11-10 인텔 코포레이션 자율 차량 시스템
JP7212607B2 (ja) * 2019-09-26 2023-01-25 ペンタ・セキュリティ・システムズ・インコーポレーテッド 車両ｃａｎ ｂｕｓ信号を利用した機械学習基盤運転者異常感知方法および装置
US20210108926A1 (en) * 2019-10-12 2021-04-15 Ha Q. Tran Smart vehicle

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180029543A (ko) 2016-09-13 2018-03-21 오토시맨틱스 주식회사 딥러닝을 통한 자동차 상태 진단 방법
KR20190042203A (ko) 2017-10-16 2019-04-24 현대자동차주식회사 차량의 소음원인 진단방법

Also Published As

Publication number Publication date
US20210182669A1 (en) 2021-06-17
CN112937475A (zh) 2021-06-11
US11775820B2 (en) 2023-10-03
DE102020206616A1 (de) 2021-06-17

Similar Documents

Publication Publication Date Title
US10632985B2 (en) Hybrid vehicle and method of predicting driving pattern in the same
KR20210088240A (ko) 무빙계 부품의 상태 진단 장치 및 방법
CN112397088A (zh) 汽车引擎的预测性维护
US20220114560A1 (en) Predictive maintenance
Abas et al. Development of Malaysian urban drive cycle using vehicle and engine parameters
US20230012186A1 (en) System and method for vibroacoustic diagnostic and condition monitoring a system using neural networks
KR20190048061A (ko) 차량 제어 통합 관리 시스템 및 이와 통신을 통해 연결된 중앙 인공지능 서버
KR20210073883A (ko) 양방향 차량상태정보 제공이 가능한 정보공유 플랫폼, 이를 갖는 시스템, 그리고 이의 방법
Siegel et al. Engine misfire detection with pervasive mobile audio
US11620519B2 (en) Big data-based driving information provision system and method thereof
KR102215107B1 (ko) 주행 데이터 기반 차량 상태 예측 시스템 및 방법
Vyas et al. Vehicular edge computing based driver recommendation system using federated learning
Montazeri-Gh et al. Driving condition recognition for genetic-fuzzy HEV control
US20220194394A1 (en) Machine learning device and machine learning system
CN112406875A (zh) 一种车辆能耗的分析方法和装置
Kim et al. An empirical study on real-time data analytics for connected cars: Sensor-based applications for smart cars
US11675999B2 (en) Machine learning device
Panda et al. ML-based vehicle downtime reduction: A case of air compressor failure detection
US20220018906A1 (en) Predicting An Outcome Associated With A Driver Of A vehicle
JP6795116B1 (ja) 車両、及びサーバ
FR3086053A1 (fr) Dispositif de prediction de trajet le plus probable d'un vehicule
CN116465426A (zh) 自动驾驶出租车巡航路径和速度规划方法及装置
KR20220075922A (ko) 차량 고장 여부를 예측하기 위한 인공 신경망 학습 방법, 차량 고장 여부 판단 방법, 및 이를 수행하는 컴퓨팅 시스템
US20210390406A1 (en) Machine learning apparatus, machine learning system, machine learning method, and program
Zlocki et al. Methodology for quantification of fuel reduction potential for adaptive cruise control relevant driving strategies

Legal Events

Date Code Title Description
A201 Request for examination