WO2023149634A1 - 음향 데이터 분석 기반 중고차 ａｉ 성능점검 시스템과 그 처리방법 - Google Patents

음향 데이터 분석 기반 중고차 ａｉ 성능점검 시스템과 그 처리방법 Download PDF

Info

Publication number
WO2023149634A1
WO2023149634A1 PCT/KR2022/019133 KR2022019133W WO2023149634A1 WO 2023149634 A1 WO2023149634 A1 WO 2023149634A1 KR 2022019133 W KR2022019133 W KR 2022019133W WO 2023149634 A1 WO2023149634 A1 WO 2023149634A1
Authority
WO
WIPO (PCT)
Prior art keywords
performance
checklist
used car
vehicle
sound
Prior art date
Application number
PCT/KR2022/019133
Other languages
English (en)
French (fr)
Inventor
박준영
Original Assignee
주식회사 오씨모바일
박준영
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 오씨모바일, 박준영 filed Critical 주식회사 오씨모바일
Publication of WO2023149634A1 publication Critical patent/WO2023149634A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01M—TESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M17/00—Testing of vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/22—Detection or location of defective computer hardware by testing during standby operation or during idle time, e.g. start-up testing
    • G06F11/26—Functional testing
    • G06F11/273—Tester hardware, i.e. output processing circuits
    • G06F11/277—Tester hardware, i.e. output processing circuits with comparison between actual response and known fault-free response
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9032—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/904—Browsing; Visualisation therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry

Definitions

  • the present invention relates to an AI performance inspection system based on sound data analysis and a processing method thereof, and more particularly, to create an emotional quality index for noise, vibration, etc. generated in a vehicle, and to provide analysis results and data based thereon online. It is about a sound data analysis-based AI performance inspection system and its processing method.
  • Patent Registration No. 10-1970641 provides more reliable used car market price information by calculating the performance inspection cost expected in the future and calculating the used car market price by reflecting the performance inspection guarantee insurance for the expected performance inspection cost. It is launching a used car trading system that reflects the performance inspection guarantee insurance, which can reduce the burden of used car performance inspection costs for used car buyers through performance inspection guarantee insurance.
  • Patent Registration No. 10-2305809 for which the present applicant applied for and was granted a patent, atypical data such as acoustic information generated from used cars is collected and analyzed to analyze the normal or abnormal state of the vehicle and the corresponding performance
  • a used car AI performance inspection system that visualizes inspection results and provides them to customers is presented.
  • the existing intelligent performance inspection service system has the advantage of intuitively confirming that there are signs of abnormality in automobile parts such as the engine through the final result graph, but specifically which characteristics are problematic and which characteristics are normal There is a limit to conveying detailed information about to customers, so improvement is required.
  • the present invention was devised in consideration of the above problems, and is an index for emotional quality by classifying acoustic data generated from driving or engine of a vehicle according to criteria such as frequency band and analyzing them in more detail and accurately through AI learning.
  • the purpose of this study is to provide a used car AI performance inspection system based on acoustic data analysis that can provide and a processing method.
  • the present invention provides (a) a performance checklist generation module querying vehicle type information through the license plate number of a used vehicle; (b) collecting unstructured data including sounds generated from mechanical or electronic devices of the used car by the performance checklist generation module using an acoustic sensor; (c) generating an AI performance checklist by diagnosing the collected unstructured data through computer analysis by the performance checklist generation module, performing an AI performance check, and reflecting the result of the AI performance check; And (d) an unstructured data transmission unit providing the AI performance checklist generated by the performance checklist generation module to the customer.
  • the step (c) includes a visualization processing process of generating a visualization processing graphic from a result of computer analysis of the unstructured data and displaying it on the AI performance checklist, and the frequency signal according to a predetermined criterion.
  • a used car AI performance check processing method characterized by performing a segmentation analysis process of classifying by band, scoring the condition in each frequency band and displaying it in the AI performance check table.
  • the segmentation analysis process subdivides the acoustic data into low-frequency band, mid-range, high-frequency band, regular and irregular regions, and scores the state of each region to enter the AI performance checklist. can be displayed
  • scores and total scores for each region in the segmentation analysis process may be visualized in a polygonal graph and displayed on the AI performance checklist.
  • each region may be decomposed into a plurality of characteristic elements, analyzed, and scored in the segmentation analysis process.
  • a user interface having a function of streaming and reproducing the collected acoustic information for a specific part of the used car and the pre-stored standard vehicle acoustic information for each vehicle type may be displayed on the AI performance checklist.
  • the visualization processing graphic is a spectrogram showing the change in time, frequency, and amplitude of the sound signal as a difference in density or color, and a spectrogram of the used car in a normal performance state and a deterioration state, respectively, is generated. and can be displayed on the AI performance checklist.
  • vehicle type information is inquired through the license plate number of the used car, and atypical data including sound generated from mechanical or electronic devices of the used car is collected using an acoustic sensor, and the collected atypical data is collected.
  • a performance checklist generation module that diagnoses data through computer analysis, performs an AI performance check, and generates an AI performance checklist by reflecting the result of the AI performance check; And providing the AI performance checklist generated by the performance checklist generation module to the customer.
  • the performance checklist generation module includes: a vehicle model information inquiry unit that obtains a license plate number of the used car and inquires vehicle model information; a sound signal acquisition unit collecting sound signals generated from mechanical or electronic devices of the used car; a sound information pre-processing unit generating sound data by digitizing the collected sound signals; Vehicle model information DB for storing standard vehicle sound data; a vehicle model information mapping unit configured to map the sound data with the vehicle model information DB to detect signs of abnormality of the vehicle; an acoustic data analyzer that analyzes the acoustic data to score characteristics and conditions of the vehicle; and a performance information report processing unit generating an abnormal symptom report when an abnormal symptom is found in the sound data, and generating a normal report when there is no abnormal symptom, and reflecting the result of the AI performance check.
  • a vehicle model information inquiry unit that obtains a license plate number of the used car and inquires vehicle model information
  • a sound signal acquisition unit collecting sound signals generated from mechanical or electronic devices of the used car
  • a used car AI performance check system based on acoustic data analysis is provided, characterized in that it performs the segmentation analysis process shown in .
  • the visualization processing graphic is a spectrogram showing changes in time, frequency, and amplitude for the sound signal as concentration or color difference, and a spectrogram of each of the normal performance state and the deterioration state of the used car is generated and displayed on the AI performance checklist. can do.
  • the acoustic data analysis-based used car AI performance inspection system and its processing method according to the present invention have the following effects.
  • the AI performance check result is visualized, and the normal performance state and performance deterioration state are compared with a visualization processing graphic such as a spectrogram, and displayed on the customer terminal so that the customer can intuitively know the normal/abnormal state of the car. can be checked with
  • FIG. 1 is a block diagram showing the configuration of a used car AI performance inspection system based on acoustic data analysis according to a preferred embodiment of the present invention.
  • FIG. 2 is a block diagram showing the configuration of a performance checklist generating module in FIG. 1 .
  • FIG. 3 is a block diagram showing the configuration of the acoustic data analyzer in FIG. 2 .
  • FIG. 4 is a flowchart illustrating a process in which a used car AI performance check processing method based on acoustic data analysis according to a preferred embodiment of the present invention is performed.
  • 5 to 7 are tables illustrating acoustic information and vehicle model information processed by the used car AI performance inspection system based on acoustic data analysis according to a preferred embodiment of the present invention.
  • FIG. 8 is a spectrogram showing a comparison between a normal state and an abnormal state of a gasoline engine.
  • 9 to 12 are spectrograms showing examples of visualizing AI performance check results according to the present invention.
  • 13 is a computer capture screen illustrating an AI performance checklist generated according to the present invention.
  • FIG. 1 is a block diagram showing the configuration of a used car AI performance inspection system according to a preferred embodiment of the present invention.
  • the used car AI performance check system 204 includes an online performance checklist request receiver 202, an online performance checklist output unit and access authority transmitter 206, and an unstructured data request receiver. 207, an unstructured data transmission unit 208, and a performance checklist generation module 102.
  • the used car AI performance check system 204 is for on-site customers (car buyers) 101 and includes a performance checklist request receiving unit 202 and a performance checklist document output unit 203.
  • the used car AI performance check system 204 includes a structured data DB 209 that stores text data to be included in the area of a normal vehicle performance checklist, and an access authority DB that stores data to provide performance check results only to approved users. 210, and an unstructured data DB 211 that stores unstructured data generated from mechanical or electronic devices of the vehicle through interior/exterior photography, sound, video, and sensors of the used car.
  • the performance checklist generation module 102 inquires vehicle type information through the license plate number of the used car, takes pictures of the inside/outside of the used car, and captures unstructured data generated from mechanical or electronic devices of the car through sound, video, and sensors. It collects and diagnoses the collected unstructured data through computer analysis to perform an AI performance check to check vehicle performance.
  • the performance check list generation module 102 includes a sound signal acquisition unit 103, a vehicle type information inquiry unit 104, a sound information pre-processing unit 105, a vehicle type information mapping unit 106, and sound data. It includes an analyzer 107, an unstructured data visualization processing unit 108, a vehicle type information DB 111 and a performance information report processing unit 109.
  • the sound signal acquisition unit 103 collects sound signals generated from mechanical and electronic devices of the vehicle.
  • Acoustic signals for detecting abnormal symptoms of a vehicle are collected by an acoustic sensor such as a predetermined microphone installed in a passenger seat or an engine room of the vehicle, under the vehicle, or outside the vehicle. Since various mechanical mechanisms such as wheel parts and drivetrains are combined in a car, it is effective to place them in parts where various internal and external forces act. When installed outside the car, it can be installed at the bottom or side of the entrance of a used car dealer's facilities and places where it is easy to provide service to cars (parking lot, gas station, car wash, repair shop, cafe used by car, etc.) . In such a place, it is advantageous to detect mechanical anomalies when acoustic sensors such as microphones detect frequencies exceeding the audible frequency (20 to 20,000 Hz). Acoustic sensors collect mechanical sounds when the vehicle is moving at a constant speed or when it is stationary. The collected sound signals are analyzed through an analysis computer connected by direct connection or communication to find a pattern of a specific frequency.
  • an analysis computer connected by direct connection or communication to find a pattern of
  • Recognition of vehicle plate number is performed through a camera installed at a service provider's gate facility. If the vehicle number is matched with the detailed vehicle type information of the vehicle in the system or through an external service company, and the database is created, it is possible to group and determine abnormal signs that are specific to a specific vehicle that has entered and exited by vehicle type, thereby recognizing abnormal signs according to vehicle type characteristics, It can be used as targeted data by determining whether it is for a car.
  • the vehicle model information inquiry unit 104 obtains the license plate number of the vehicle and searches vehicle model information. From the vehicle number recognized through the camera installed in the gate facility, the vehicle type information of the vehicle is obtained from the additional information provider or public information API.
  • VIN vehicle identification number
  • Brand Hyundai
  • the acoustic information pre-processing unit 105 digitizes the collected acoustic signals to generate acoustic data. Specifically, the acoustic information pre-processing unit 105 generates acoustic data composed of frequency components generated from mechanical devices of the vehicle by performing Fourier transform and noise removal processing on the collected acoustic signals as shown in FIGS. 4A to 4C.
  • the vehicle model information mapping unit 106 maps sound data with the vehicle model information DB 111 storing various error case information for each vehicle model, thereby detecting signs of abnormality in the vehicle.
  • the sound data analyzer 107 analyzes a pattern of sound information with respect to the sound data generated by the sound information pre-processing unit 105 to detect abnormal symptom events 401 to 404 of the vehicle.
  • a pattern analysis process of acoustic information is schematically illustrated in FIGS. 4 to 6 .
  • the acoustic data analyzer 107 is a module that analyzes and processes characteristics of time-series acoustic data. As shown in FIG. 3, the acoustic data analyzer 107 includes a normalization and analysis section extraction unit 107a, an extraction unit 107b for each frequency (high/middle/low/audible) region, a characteristic information processing unit 107c, and a frequency It includes a characteristic value storage processing unit 107d for each area, a characteristic value DB 107e for each area, a comparison deviation processing unit 107f, a deviation score visualization processing unit 107g, and a reference data characteristic value DB 107h.
  • the frequency (high/mid/low/audible) region extraction unit 107b removes noise from the input sound data and extracts a time interval (usually in seconds) required for normalization and analysis.
  • the characteristic information processing unit 107c classifies and separates the extracted time interval (eg, 4 second interval data) into low frequency, midrange, high frequency, entire audible frequency range, etc. for each frequency domain.
  • each frequency domain may be varied in various ways according to the characteristics of the sound data and information to be found.
  • the characteristic value storage processing unit 107d for each frequency domain decomposes each of the separated zones into a plurality of (eg, 40 to 70) characteristic elements and stores the characteristic information of the acoustic data for each characteristic in the characteristic value DB 107e for each zone. save process.
  • the characteristic value storage processing unit 107d for each frequency domain stores the total value obtained by analyzing and scoring each domain in the characteristic value DB 107e for each domain.
  • the data separated by region contains characteristic information of the frequency of a specific region during a specific time interval, where various characteristics of the sound data (high, low, upward, downward, periodicity, aperiodicity of frequency) within the corresponding interval etc.) is extracted by the characteristic value storage processing unit 107d for each frequency domain and stored in the characteristic value DB 107e for each domain.
  • the characteristic value DB 107e for each region is a database in which characteristic values of acoustic data to be analyzed are stored.
  • the comparison deviation processing unit 107f analyzes the deviation between the characteristic value of the reference data and the characteristic value to be analyzed.
  • the deviation score visualization processing unit 107g scores the analyzed deviations, calculates a score suitable for each characteristic deviation, displays a score table (see 1 in FIG. 13) and displays a polygonal graph (see 2 in FIG. 13). ) is visualized and displayed.
  • the reference data characteristic value DB 107h is a database in which characteristic values of sound data of a specific vehicle (or vehicle type) as a reference are stored.
  • FIG. 8 shows spectrograms of a gasoline engine in a normal state (a) and a state in which only three cylinders operate due to a spark plug failure (b).
  • FIG. 8 it can be confirmed that an abnormal pattern appears in a frequency band of about 10,000 to 13,000 Hz. Therefore, by analyzing the characteristic information of this section, it is possible to efficiently find out the abnormal state of the corresponding engine.
  • the unstructured data visualization processing unit 108 visualizes the AI performance check result to generate a vehicle performance check graph.
  • AI performance check results may include acoustic waveform graphs, images, tables, etc. used in the pattern analysis process of acoustic information as shown in FIGS. 4 to 6 .
  • the unstructured data visualization processing unit 108 as shown in 4 of FIG. 13 , the AI performance check result, through a user interface (UI) that compares and shows a normal performance state and a performance degradation state in a graph, is a customer terminal.
  • UI user interface
  • Visualization processing is performed on the AI performance check result data so that it is displayed on In this way, by displaying the performance deterioration status and normal status graph together, customers can intuitively understand whether or not the performance deterioration is present.
  • the visualization processing unit 102f of the performance checklist generation module 102 processes a sound source file corresponding to a sound signal to generate a visualization processing graphic having a 3D image format including a time axis, a frequency axis, and an intensity axis.
  • the visualization processing graphic may be a spectrogram representing a change in amplitude with respect to time (horizontal axis) and frequency (vertical axis) of the sound signal as a difference in density or color, as described above.
  • the visualization processing unit 102f of the performance checklist generation module 102 displays AI performance check result spectrograms obtained by various analyzes on the AI performance checklist, as shown in FIGS. 9 to 12 .
  • the performance information report processing unit 109 generates an abnormal symptom report when an abnormal symptom is found in the acoustic information, and generates a normal report when there is no abnormal symptom, and reflects it to the AI performance check result.
  • the abnormal symptom report or the normal report generated by the performance information report processing unit 109 is stored in the vehicle type information DB 111 .
  • the performance check list generation module 102 is equipped with an SNS error report processing unit 102i, so that reliability of the database of the vehicle type information DB 111 can be increased and data can be updated quickly.
  • the SNS error report processing unit 102i analyzes the details of the error when an error on a specific vehicle model is reported through SNS such as Internet news or Twitter, and stores the vehicle model information DB 111 when it is determined that the vehicle model has a defect. Update the error data to reflect it.
  • the performance checklist generation module 102 provides a user interface (see 3 in FIG. 13) with a function of streaming and reproducing the acoustic information collected for specific parts of a used car and the standard vehicle acoustic information for each vehicle type stored in advance, respectively. It performs the function of marking on the checklist so that the customer can directly listen to the sound.
  • the unstructured data transmission unit 208 provides the AI performance check result generated by the performance check list generation module 102 to the customer along with the basic performance check result.
  • the AI performance check result includes visualized information generated by the unstructured data visualization processing unit 108 .
  • the used car AI performance check system 204 provides a resume service for AI performance check even after the used car is sold.
  • FIG. 4 is a flowchart illustrating a service method performed by the used car AI performance inspection system according to a preferred embodiment of the present invention.
  • the intelligent performance check service method includes a vehicle seller 100, an intelligent performance check service system 204, an on-site vehicle buyer 101, and an online vehicle It is performed through interaction between buyers 101'.
  • step S106 the intelligent performance check service system 204 completes washing the vehicle for sale (step S106), and in-vehicle / External picture taking (step S107), sound information collection (step S108), basic performance check (step S109), and AI performance check (step S110) are sequentially performed to complete the performance check (step S111).
  • the intelligent performance check service system 204 First, a basic performance checklist is issued and provided to the on-site car purchaser 101 or online car purchaser 101' (step S114). At this time, the performance checklist document output unit 203 provided in the intelligent performance check service system 204 outputs the performance checklists 115 and 116 with documents and/or photos on the basic performance information of the vehicle for sale offline or online. to provide.
  • the AI performance checklist 118 is issued and transmitted to the online car purchaser 101' (step S117).
  • the AI performance checklist 118 is issued by reflecting unstructured performance check data such as audio and video unique to sales vehicles, as well as structured data in the form of documents and photos.
  • the intelligent performance check service system 204 performs pre-processing of Fourier transform and noise removal on the acoustic information signal obtained from the sales vehicle after the vehicle type information inquiry request, and performs pattern analysis through computer learning. Analyze periodic or non-periodic and unusual information. In addition, the intelligent performance check service system 204 maps the analyzed information with the inquired vehicle type information and its own error details (user information such as its own DB, public API or SNS, etc.) for each vehicle type, so that the occurrence of the error is prevented. Evaluate and analyze whether it is a problem limited to the current vehicle or a problem according to the characteristics of each vehicle type. The analyzed reporting information is reflected when issuing the AI performance checklist.
  • the intelligent performance check service system 204 visualizes the AI performance check result through the performance check list generation module 102 to generate a vehicle performance check graph.
  • the AI performance check results reflect sound waveform graphs, images, and tables used in the pattern analysis process of sound information.
  • the performance checklist generation module 102 compares and displays a normal performance state and a performance deterioration state in a graph according to the AI performance check result, while comparing the sound data to the low frequency band, mid-range, high frequency band, regularity and irregularity. It is subdivided into gender domains, and the status of each domain is scored and displayed on the AI performance checklist.
  • a process of inquiring vehicle type information through the license plate number of a used car taking pictures of the inside/outside of a used car, sound, video, and sensors to generate irregularities in the mechanical or electronic devices of the car.
  • the process of collecting data, and the collected atypical data are diagnosed through computer analysis to check performance, and if abnormal signs are found in the acoustic information, an abnormal symptom report is generated, and if there is no abnormal symptom, a normal report is generated
  • the AI performance check procedure that is reflected in the AI performance check result, and the AI performance check result are visualized to show changes in time, frequency, and amplitude of sound signals in the normal performance state and deterioration state of used cars, as well as differences in density or color.
  • a procedure for visualizing a spectrogram which is a visualization processing graphic represented by , and displaying it on the AI performance checklist, dividing the sound signal by frequency band according to a predetermined criterion, scoring the state in each frequency band, and
  • a recording medium e.g., magnetic recording medium, CD-ROM, flash memory
  • a recording medium that records a program that can execute the segmentation analysis processing procedure displayed on the performance checklist and the procedure of providing the AI performance check result to the customer along with the basic performance check result etc.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Development Economics (AREA)
  • Finance (AREA)
  • Databases & Information Systems (AREA)
  • Accounting & Taxation (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Game Theory and Decision Science (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Educational Administration (AREA)
  • Operations Research (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Primary Health Care (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Abstract

본 발명은 비정형 데이터를 컴퓨터 분석한 결과물로부터 시각화 처리 그래픽을 생성하여 AI 성능점검표에 표시하는 시각화 처리 과정과, 음향 신호를 미리 정해진 기준에 따라 주파수 대역별로 구분하여 각각의 주파수 대역에서의 상태를 점수화하고 AI 성능점검표에 표시하는 세분화 분석 처리 과정을 수행하는 것을 특징으로 하는 중고차 AI 성능점검 처리방법을 개시한다.

Description

음향 데이터 분석 기반 중고차 ＡＩ 성능점검 시스템과 그 처리방법
본 출원은 2022년 2월 7일에 출원된 한국특허출원 제10-2022-0015851호와 2022년 2월 9일에 출원된 한국특허출원 10-2022-0017220호에 기초한 우선권을 주장하며, 이 출원들의 명세서 및 도면에 개시된 모든 내용은 본 명세서에 포함된다.
본 발명은 음향 데이터 분석 기반 AI 성능점검 시스템과 그 처리방법에 관한 것으로서, 더욱 상세하게는 차량에서 발생하는 소음, 진동 등에 대한 감성품질 지표를 만들고 분석 결과와 그 근거 데이터를 온라인을 통해 제공할 수 있는 음향 데이터 분석 기반 AI 성능점검 시스템과 그 처리방법에 대한 것이다.
일반적으로, 중고차를 거래하는 데 있어서 자동차를 사고자 하는 사람들은 지역에 위치한 큰 중고차 시장을 방문하고, 이곳에서 매물로 나온 자동차들을 소개받거나 직접 들러 보면서 매물 자동차들을 보기도 하는 식으로 자동차를 선택하는 것이 거래 방법이었으나, 이러한 경우에도 자동차의 자동차등록원부, 보험사고이력, 성능검사표를 보고 판단하는 경우가 많았고 자동차에 대해 조금 아는 경우에 직접 엔진시동을 걸어보는 경우가 대부분이었고, 실제 시험주행까지 하는 경우는 고가의 자동차를 제외하고는 거의 없는 것이 현실이다.
근래에는 온라인 거래가 활성화되고 있으나 온라인에서는 극히 일부의 정보만을 기초로 하여 중고차의 품질을 판단해야 하므로 불만족스러운 거래가 빈번히 발생하는 실정이다. 특히 중고차의 주행이나 엔진 상태 등에 대한 정보가 매우 미흡한 상태이므로 극단적인 정보의 비대칭 상황에서 불공정한 거래가 이루어지는 것이 보통이고 이렇게 거래된 자동차에 문제가 발생했을 때 구매한 고객은 정보의 비대칭에 근거해 사기를 당했다고 생각하게 되고 이는 중고차 매매 산업을 전체적으로 불신하는 풍토로 이어지게 된다.
중고차의 거래를 위해 필수적으로 필요한 성능점검의 방식과 그 증명서에 있어서 현재는 전문 점검자가 통상 경험에 의존하여 부품의 수리, 교체 등과 각종 부품의 누유 등을 검사하고 이를 증명서로 발급하고 있으나, 실사용자인 고객은 차량을 구매하더라도 차량의 엔진구동시나 차량의 주행 중에 발생하는 감성품질에 대해서는 제대로 이해하지 못하는 것이 현실이다. 근래에 온라인 거래, 비대면 거래 등이 점차 활성화되면서 이러한 비대칭 거래는 더욱 심화되고 있다.
대안으로, 등록특허공보 제10-1970641호는 미래에 예상되는 성능점검 비용을 산출하고, 예상되는 성능 점검 비용에 대한 성능 점검 보증 보험을 반영하여 중고차 시세를 산출함으로써 보다 신뢰성 있는 중고차 시세정보를 제공할 수 있고, 성능 점검 보증보험을 통해 중고차 매입자의 중고차 성능 점검 비용 부담을 줄일 수 있도록 한 성능 점검 보증보험이 반영된 중고차 거래 시스템을 개시하고 있다.
그러나, 여전히 중고차 업계는 고객의 선택권을 확대하기 위한 보조적인 수단들을 필요로 하고 있으며, 그러한 수단들은 서류상으로 전달되는 정보에 그치는 것이 아닌 자동차의 주행이나 엔진에서 발생하는 소리 등을 직간접적으로 경험해보는 식으로 4차산업의 시대에 맞는 지능형 성능점검 서비스를 필요로 한다.
다른 대안으로, 본 출원인이 기출원하여 특허를 허여받은 등록특허공보 제10-2305809호에는 중고차에서 발생하는 음향 정보 등의 비정형 데이터를 수집, 분석하여 차량의 정상 또는 비정상 상태를 분석하고 그에 따른 성능점검 결과를 시각화처리하여 고객에게 제공하는 중고차 AI 성능점검 시스템이 제시되어 있다.
그러나, 기존의 지능형 성능점검 서비스 시스템은 최종 결과물 그래프를 통하여 엔진 등의 자동차 부품에 이상 징후가 있음을 직관적으로 확인할 수 있는 장점이 있긴 하나, 구체적으로 어떠한 특성들이 문제가 있고 어떠한 특성들이 정상인지 여부에 대한 상세한 정보를 고객에게 전달하는 데는 한계가 있어서 이에 대한 개선이 요구된다.
본 발명은 상기와 같은 문제점을 고려하여 창안된 것으로서, 자동차의 주행이나 엔진 등에서 발생하는 음향 데이터를 주파수 대역 등과 같은 기준에 따라서 세부 분류하고 AI 학습에 의해 보다 세밀하고 정확하게 분석하여 감성품질에 대한 지표를 제공할 수 있는 음향 데이터 분석 기반 중고차 AI 성능점검 시스템과 그 처리방법을 제공하는 데 그 목적이 있다.
상기와 같은 목적을 달성하기 위해 본 발명은 (a) 성능점검표 생성모듈이 중고차의 차량번호를 통해 차종상세정보를 조회하는 단계; (b) 상기 성능점검표 생성모듈이 음향센서를 이용하여 상기 중고차의 기계 또는 전자 장치들에서 발생하는 음향을 포함하는 비정형 데이터를 수집하는 단계; (c) 상기 성능점검표 생성모듈이 수집된 상기 비정형 데이터를 컴퓨터 분석을 통해 진단하여 AI 성능점검을 수행하고 그에 따른 AI 성능점검 결과를 반영하여 AI 성능점검표를 생성하는 단계; 및 (d) 비정형 데이터 전송부가 상기 성능점검표 생성모듈에 의해 생성된 상기 AI 성능점검표를 고객에게 제공하는 단계;를 포함하고, 상기 단계 (c)는, 상기 비정형 데이터를 컴퓨터 분석한 결과물로부터 시각화 처리 그래픽을 생성하여 상기 AI 성능점검표에 표시하는 시각화 처리 과정과, 상기 음향 신호를 미리 정해진 기준에 따라 주파수 대역별로 구분하여 각각의 주파수 대역에서의 상태를 점수화하고 상기 AI 성능점검표에 표시하는 세분화 분석 처리 과정을 수행하는 것을 특징으로 하는 중고차 AI 성능점검 처리방법을 제공한다.
상기 단계 (c)는, 상기 세분화 분석 처리 과정은 상기 음향 데이터를 저주파 대역, 중음영역, 고주파 대역, 규칙성 및 비규칙성 영역으로 세분하고 각각의 영역에 대한 상태를 점수화하여 상기 AI 성능점검표에 표시할 수 있다.
상기 단계 (c)는, 상기 세분화 분석 처리 과정에서 각각의 영역에 대한 상태를 점수와 총점을 다각형 그래프로 시각화하여 상기 AI 성능점검표에 표시할 수 있다.
상기 단계 (c)는, 상기 세분화 분석 처리 과정에서 상기 각각의 영역을 다수의 특성요소로 분해하여 분석하고 점수화할 수 있다.
상기 단계 (c)는, 상기 중고차의 특정 부품에 대해 수집된 음향정보와 미리 저장된 차종별 표준차량 음향정보를 각각 스트리밍 재생하는 기능을 가진 사용자 인터페이스를 상기 AI 성능점검표에 표시할 수 있다.
상기 단계 (c)는, 상기 시각화 처리 그래픽은 음향 신호에 대한 시간, 주파수 및 진폭의 변화를 농도나 색상 차이로 나타낸 스펙트로그램이고, 상기 중고차의 정상 성능 상태와 성능저하 상태 각각의 스펙트로그램을 생성하여 상기 AI 성능점검표에 표시할 수 있다.
본 발명의 다른 측면에 따르면, 중고차의 차량번호를 통해 차종상세정보를 조회하고, 음향센서를 이용하여 상기 중고차의 기계 또는 전자 장치들에서 발생하는 음향을 포함하는 비정형 데이터를 수집하고 수집된 상기 비정형 데이터를 컴퓨터 분석을 통해 진단하여 AI 성능점검을 수행하고 그에 따른 AI 성능점검 결과를 반영하여 AI 성능점검표를 생성하는 성능점검표 생성모듈; 및 상기 성능점검표 생성모듈에 의해 생성된 상기 AI 성능점검표를 고객에게 제공하는 비정형 데이터 전송부;를 포함하고, 상기 성능점검표 생성모듈은, 상기 중고차의 차량번호를 획득하여 차종 정보를 조회하는 차종정보 조회부; 상기 중고차의 기계 또는 전자 장치들에서 발생하는 음향 신호를 수집하는 음향신호 획득부; 수집된 음향 신호를 디지털화하여 음향 데이터를 생성하는 음향정보 전처리부; 표준차량 음향 데이터를 저장하는 차종정보 DB; 상기 음향 데이터를 상기 차종정보 DB와 맵핑하여 차량의 이상 징후를 검출하는 차종정보 맵핑부; 상기 음향 데이터를 분석하여 차량의 특성 및 상태를 점수화하는 음향 데이터 분석기; 및 상기 음향 데이터에서 이상 징후가 발견된 경우 이상 징후 레포트를 생성하고 이상 징후가 없는 경우에는 정상 레포트를 생성하여 상기 AI 성능점검 결과에 반영하는 성능정보 레포트 처리부;를 포함하고, 상기 음향 데이터를 컴퓨터 분석한 결과물로부터 시각화 처리 그래픽을 생성하여 상기 AI 성능점검표에 표시하는 시각화 처리 과정과, 상기 음향 신호를 미리 정해진 기준에 따라 주파수 대역별로 구분하여 각각의 주파수 대역에서의 상태를 점수화하고 상기 AI 성능점검표에 표시하는 세분화 분석 처리 과정을 수행하는 것을 특징으로 하는 음향 데이터 분석 기반 중고차 AI 성능점검 시스템이 제공된다.
상기 시각화 처리 그래픽은 음향 신호에 대한 시간, 주파수 및 진폭의 변화를 농도나 색상 차이로 나타낸 스펙트로그램이고, 상기 중고차의 정상 성능 상태와 성능저하 상태 각각의 스펙트로그램을 생성하여 상기 AI 성능점검표에 표시할 수 있다.
본 발명에 따른 음향 데이터 분석 기반 중고차 ＡＩ 성능점검 시스템과 그 처리방법은 다음과 같은 효과를 가진다.
첫째, 자동차 부품들은 서로 유기적으로 연결되어 있으며 서로 다른 주기를 가지고 움직이게 된다. 음향 데이터 분석에 기반한 기존의 중고차 성능점검 기술들은 각 부품별 소리를 기록하고 이 소리가 들리는지를 확인하는 방식인데, 기계부품의 특성상 생산시의 오차, 마모도에 따라 동일한 결과를 얻을수 없기 때문에 이러한 접근으로는 정확하게 자동차의 상태를 진단할 수 없는 문제가 있다. 이에 반해, 본 발명은 개별 부품의 고유주파수를 찾는게 아닌 특정 주파수 대역별로 분리하고 그 안에서 벌어지는 주기적, 비주기적 패턴을 분석해서 이를 학습하여 진단에 활용함으로써 세밀한 성능점검을 달성할 수 있고 점검 데이터의 신뢰도를 향상시킬 수 있다.
둘째, 오류 발견 데이터들을 차종정보별로 축적함으로써 유사한 부품들에 의한 유사한 고장, 정비 요인을 사전에 알아 낼 수 있고, 세부 정비 정보를 제공받아 자동차에 대한 상세한 고장, 정비 이력을 축적할 수 있다.
셋째, AI 성능점검 결과를 시각화 처리하여, 정상 성능 상태와 성능저하 상태를 예컨대, 스펙트로그램(Spectrogram)과 같은 시각화 처리 그래픽으로 비교하여 고객 단말기에 표시함에 따라 고객이 자동차의 정상/비정상 상태를 직관적으로 확인할 수 있다.
도 1은 본 발명의 바람직한 실시예에 따른 음향 데이터 분석 기반 중고차 AI 성능점검 시스템의 구성을 도시한 블록도이다.
도 2는 도 1에서 성능점검표 생성모듈의 구성을 도시한 블록도이다.
도 3은 도 2에서 음향 데이터 분석기의 구성을 도시한 블록도이다.
도 4는 본 발명의 바람직한 실시예에 따른 음향 데이터 분석 기반 중고차 AI 성능점검 처리방법이 수행되는 과정을 도시한 절차도이다.
도 5는 내지 도 7은 본 발명의 바람직한 실시예에 따른 음향 데이터 분석 기반 중고차 AI 성능점검 시스템에 의해 처리되는 음향 정보 및 차종 정보를 예시한 테이블이다.
도 8은 가솔린 엔진의 정상 상태와 비정상 상태를 비교하여 보여주는 스펙트로그램이다.
도 9 내지 도 12는 본 발명에 따라 AI 성능점검 결과를 시각화 처리한 예시를 보여주는 스펙트로그램이다.
도 13은 본 발명에 따라 생성된 AI 성능점검표를 예시한 컴퓨터 캡쳐 화면이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 바람직한 실시예에 따른 중고차 AI 성능점검 시스템의 구성을 도시한 블록도이다.
도 1을 참조하면, 본 발명의 바람직한 실시예에 따른 중고차 AI 성능점검 시스템(204)은 온라인 성능점검표 요청수신부(202), 온라인성능점검표 출력부 및 접근권한 전송부(206), 비정형 데이터 요청수신부(207), 비정형 데이터 전송부(208) 및 성능점검표 생성모듈(102)을 포함한다. 또한, 중고차 AI 성능점검 시스템(204)은 현장방문 고객(자동차 구매자)(101)을 위한 것으로서 성능점검표 요청수신부(202)와 성능점검표 문서출력부(203)를 포함한다.
중고차 AI 성능점검 시스템(204)은 통상의 자동차 성능점검표의 영역에 들어갈 텍스트 데이터를 저장하는 정형 데이터 DB(209)와, 승인된 사용자에 한하여 성능점검 결과를 제공하기 위한 데이터를 저장하는 접근권한 DB(210)와, 중고차의 내/외부 사진촬영과 음향, 영상, 센서를 통해 자동차의 기계 또는 전자 장치들에서 발생하는 비정형 데이터를 저장하는 비정형 데이터 DB(211)를 포함하거나 연동하도록 구성된다.
성능점검표 생성모듈(102)은 중고차의 차량번호를 통해 차종상세정보를 조회하고, 상기 중고차의 내/외부 사진촬영과 음향, 영상, 센서를 통해 자동차의 기계 또는 전자 장치들에서 발생하는 비정형 데이터를 수집하고 수집된 상기 비정형 데이터를 컴퓨터 분석을 통해 진단하여 자동차 성능을 점검하는 AI 성능점검을 수행한다.
도 2에 도시된 바와 같이 성능점검표 생성모듈(102)은, 음향신호 획득부(103), 차종정보 조회부(104), 음향정보 전처리부(105), 차종정보 맵핑부(106), 음향 데이터 분석기(107), 비정형 데이터 시각화 처리부(108), 차종정보 DB(111) 및 성능정보 레포트 처리부(109)를 포함한다.
음향신호 획득부(103)는 차량의 기계, 전자 장치들에서 발생하는 음향 신호를 수집한다.
자동차의 이상징후 파악을 위한 음향 신호의 수집은 자동차의 승객석이나 엔진룸, 하부나 자동차의 외부에 설치된 소정의 마이크로폰 등의 음향센서에 의해 수행된다. 자동차 내에는 바퀴 부분이나 구동계 등의 기계적으로 다양한 기구들이 결합되어 있으므로 다양한 내력, 외력이 작용하는 부분에 배치하는 것이 효과적이다. 자동차 외부에 설치되는 경우에는 중고차상사의 시설물 일측을 비롯하여 자동차에 서비스를 제공하기 용이한 곳(주차장, 주유소, 세차장, 정비소, 자동차를 타고 이용하는 카페 등)들의 입구의 하단, 옆면 등에 설치될 수 있다. 이러한 곳에 마이크로폰 등의 음향 센서는 가청주파수(20~20,000Hz)를 넘어서는 주파수까지 검지하는 것이 기계적인 이상징후 포착에 유리하다. 음향 센서는 차량이 일정한 속도로 움직이거나 정지 상태일 때의 기계적인 음향을 수집한다. 이렇게 수집된 음향 신호를 직접 연결 또는 통신으로 연결된 분석컴퓨터를 통해 분석을 해서 특이한 주파수의 패턴을 찾아낸다.
자동차 차량번호의 인식은 서비스 제공사의 게이트 설비에 설치된 카메라를 통해 수행된다. 차량번호를 시스템 내부나 외부 서비스 업체를 통하여 해당 차량의 세부 차종정보를 매칭하여 데이터베이스화 한다면, 출입한 특정 차량에만 해당하는 이상 징후들을 차종별로 묶어서 판별할 수 있어서 차종 특성에 따른 이상징후 인지, 특정 자동차에 대한 것인지 판별하여 타겟팅화 된 데이터로서 사용이 가능해진다.
차종정보 조회부(104)는 자동차의 차량번호를 획득하여 차종 정보를 조회한다. 게이트 설비에 설치된 카메라를 통하여 인식된 차량번호로부터 부가정보 제공 사업자나 공공정보API로부터 해당 차량의 차종 정보를 획득한다.
즉, 해당 자동차의 세부적인 차종정보는, 예컨대 '12가1234' 라는 차량번호를 읽은 후에 '차대번호(VIN)=KN12345678A123456; 브랜드=현대; 모델=그랜져IG; 트림=3.0; 가솔린; 세부트림=익스클루시브 스페셜; 미션=오토; 구동=전륜; 모델=2017년식; 제작=2019년02월; 형식명=HG4EBK-G; 승차정원=5; 원동기형식=G6DG; 배기량=2999; 차체길이=4920; 차체너비=1860; 에어백=어드밴스; 옵션=어라운드뷰; 타이어=19인치; 썬루프=Y' 와 같이 세분화된 분류정보를 획득한다.
음향정보 전처리부(105)는 수집된 음향 신호를 디지털화하여 음향 데이터를 생성한다. 구체적으로, 음향정보 전처리부(105)는 도 4a 내지 도 4c에 나타난 바와 같이 수집된 음향 신호를 푸리에 변환 및 노이즈 제거 처리하여 차량의 기계 장치들에서 발생하는 주파수 성분으로 이루어진 음향 데이터를 생성한다.
차종정보 맵핑부(106)는 음향 데이터를 차종별 각종 오류 사례 정보를 저장하고 있는 차종정보 DB(111)와 맵핑하여 차량의 이상 징후를 검출할 수 있도록 한다.
음향 데이터 분석기(107)는 음향정보 전처리부(105)에 의해 생성된 음향 데이터에 대하여 음향 정보의 패턴을 분석하여 차량의 이상 징후 이벤트(401~404)를 검출한다. 이와 관련하여, 도 4 내지 도 6에는 음향 정보의 패턴 분석 과정이 개략적으로 도시되어 있다.
음향 데이터 분석기(107)는 시계열 음향 데이터의 특성을 분석, 처리하는 모듈이다. 도 3에 도시된 바와 같이 음향 데이터 분석기(107)는 정규화 및 분석구간 추출부(107a), 주파수(고/중/저/가청) 영역별 추출부(107b), 특성정보 처리부(107c), 주파수 영역별 특성값 저장 처리부(107d), 영역별 특성값 DB(107e), 비교편차 처리부(107f), 편차 점수 시각화 처리부(107g) 및 기준데이터 특성값 DB(107h)를 포함한다.
주파수(고/중/저/가청) 영역별 추출부(107b)는 입력된 음향 데이터에서 노이즈를 제거하고 정규화 처리 및 분석에 필요한 시간구간(보통 초 단위)을 추출한다.
특성정보 처리부(107c)는 추출된 시간구간(예컨대, 4초 구간데이터)을 주파수 영역별로 저주파, 중음영역, 고주파, 가청주파수 전체영역 등으로 구분하여 분리한다. 여기서, 음향데이터의 특성과 찾고자 하는 정보에 따라 각 주파수 영역은 다양하게 가변될 수 있다.
주파수 영역별 특성값 저장 처리부(107d)는 상기 분리된 각각의 영역을 다수(예컨대, 40~70여개)의 특성요소로 분해하여 음향 데이터의 특성정보들을 특성별로 영역별 특성값 DB(107e)에 저장 처리한다. 또한, 주파수 영역별 특성값 저장 처리부(107d)는 각각의 영역별로 분석하여 점수화한 합계 값을 영역별 특성값 DB(107e)에 저장한다. 즉, 영역별로 분리된 데이터는 특정 시간구간 동안의 특정영역 주파수의 특성 정보를 담고 있는데, 여기서 해당 구간내에서의 음향데이터의 각종 특성들(주파수의 높음, 낮음, 상향, 하향, 주기성, 비주기성 등)을 주파수 영역별 특성값 저장 처리부(107d)가 추출하여 영역별 특성값 DB(107e)에 저장한다.
영역별 특성값 DB(107e)는 분석하고자 하는 음향데이터의 특성값이 저장되는 데이터베이스이다.
비교편차 처리부(107f)는 기준데이터의 특성값과 분석하고자 하는 특성값의 편차를 분석한다.
편차 점수 시각화 처리부(107g)는 분석된 편차를 점수화 하여 각 특성 편차에 맞는 점수를 산정하고, 그에 따른 점수 테이블(도 13의 1 참조)을 표시함과 아울러 다각형 형태의 그래프(도 13의 2 참조)로 시각화하여 표시한다.
기준데이터 특성값 DB(107h)는 기준이 되는 특정 차량(또는 차종별) 표준차량의 음향 데이터의 특성값이 저장되는 데이터베이스이다.
자동차의 각 부품들은 서로 다른 주파수 대역에서의 음향을 발생시키게 되는데, 상기와 같이 주파수 대역을 세분하고 주기적인 활동에 대한 측정을 통해 해당 부품이 정상적인지 비정상인지를 판별할 수 있다. 예를 들어, 도 8에는 가솔린 엔진의 정상 상태(a)와 점화플러그 고장에 의해 3개의 실린더만 작동하는 상태(b)에 대한 스펙트로그램이 도시되어 있다. 도 8의 (b)를 참조하면, 약 10,000~13,000Hz의 주파수 대역에서 비정상 패턴이 나타남을 확인할 수 있다. 따라서, 이 구간의 특성정보를 분석하면 해당 엔진의 비정상 상태를 효율적으로 알아낼 수 있다.
비정형 데이터 시각화 처리부(108)는 AI 성능점검 결과를 시각화 처리하여 자동차 성능점검 그래프를 생성한다. AI 성능점검 결과에는 도 4 내지 도 6에 나타난 바와 같은 음향 정보의 패턴 분석 과정에 사용된 음향 파형 그래프와 이미지, 테이블 등이 포함될 수 있다. 더욱 바람직하게, 비정형 데이터 시각화 처리부(108)는 도 13의 4에 도시된 바와 같이 상기 AI 성능점검 결과가, 정상 성능 상태와 성능저하 상태를 그래프로 비교해서 보여주는 사용자 인터페이스(UI)를 통하여 고객 단말기에 표시되도록 AI 성능점검 결과 데이터에 대한 시각화 처리를 수행한다. 이와 같이 성능 저하 상태와 정상 상태 그래프를 함께 표시함으로써 고객에게 성능 저하 여부를 직관적으로 이해시킬 수 있다.
구체적으로, 성능점검표 생성모듈(102)의 시각화 처리부(102f)는 음향 신호에 대응하는 음원 파일을 처리하여 시간축, 주파수축 및 강도축를 포함하는 3차원 이미지 포맷을 가진 시각화 처리 그래픽을 생성한다. 바람직하게, 상기 시각화 처리 그래픽은 전술한 바와 같이 음향 신호에 대하여 시간(가로축)과 주파수(세로축)에 대한 진폭의 변화를 농도나 색상 차이로 나타낸 스펙트로그램일 수 있다.
성능점검표 생성모듈(102)의 시각화 처리부(102f)는 도 9 내지 도 12에 도시된 바와 같이 다양한 분석에 의해 얻어진 AI 성능점검 결과 스펙트로그램을 AI 성능점검표에 표시한다.
성능정보 레포트 처리부(109)는 음향 정보에서 이상 징후가 발견된 경우 이상 징후 레포트를 생성하고 이상 징후가 없는 경우에는 정상 레포트를 생성하여 상기 AI 성능점검 결과에 반영한다. 성능정보 레포트 처리부(109)에 의해 생성된 이상 징후 레포트 또는 정상 레포트는 차종정보 DB(111)에 저장된다.
성능점검표 생성모듈(102)에는 SNS 오류보고 처리부(102i)가 구비되어 차종정보 DB(111)의 데이터베이스 신뢰도를 높이고 신속한 데이터 업데이트가 이루어질 수 있다. SNS 오류보고 처리부(102i)는 인터넷 뉴스나 트위터 등과 같은 SNS를 통하여 특정 차종에 대한 오류가 보고되었을 때 그 오류 내역을 분석하고 해당 차종에 결함이 있는 것으로 판단된 경우에 차종정보 DB(111)를 반영하여 오류 데이터를 업데이트한다.
부가적으로, 성능점검표 생성모듈(102)은 중고차의 특정 부품에 대해 수집된 음향정보와 미리 저장된 차종별 표준차량 음향정보를 각각 스트리밍 재생하는 기능을 가진 사용자 인터페이스(도 13의 3 참조)를 AI 성능점검표 상에 표시하여 고객이 직접 해당 음향을 청취할 수 있도록 하는 기능을 수행한다.
비정형 데이터 전송부(208)는 성능점검표 생성모듈(102)에 의해 생성된 AI 성능점검 결과를 기본성능점검 결과와 함께 고객에게 제공한다. 이때, 상기 AI 성능점검 결과는 비정형 데이터 시각화 처리부(108)에 의해 생성된 시각화 처리된 정보를 포함한다.
바람직하게, 중고차 AI 성능점검 시스템(204)은 중고차의 매매가 완료된 이후에도 AI 성능점검에 대한 이력서비스를 제공한다.
도 4는 본 발명의 바람직한 실시예에 따른 중고차 AI 성능점검 시스템에 의해 수행되는 서비스 방법을 도시한 흐름도이다.
도 4에 나타난 바와 같이, 본 발명의 바람직한 실시예에 따른 지능형 성능점검 서비스 방법은 자동차 판매인(100)과, 지능형 성능점검 서비스 시스템(204)과, 현장방문 자동차 구매자(101)와, 온라인 자동차 구매자(101') 간의 상호작용을 통해 수행된다.
먼저, 자동차 판매인(100)에 의해 중고 판매차량의 등록 및 입고가 되면(단계 S104 및 단계 S105), 지능형 성능점검 서비스 시스템(204)은 판매차량의 세차가 완료된 후(단계 S106), 차량 내/외부 사진 촬영(단계 S107), 음향정보 수집(단계 S108), 기본 성능 점검(단계 S109), AI 성능 점검(단계 S110)의 과정을 순차적으로 수행하여 성능 점검을 완료한다(단계 S111).
이후, 현장방문 자동차 구매자(101)로부터 성능 점검표 요청이 수신되거나(단계 S112), 온라인 자동차 구매자(101')로부터 성능 점검표 요청이 수신되었을 때(단계 S113), 지능형 성능점검 서비스 시스템(204)은 일차적으로 기본 성능점검표를 발행하여 현장방문 자동차 구매자(101) 또는 온라인 자동차 구매자(101')에게 제공한다(단계 S114). 이때, 지능형 성능점검 서비스 시스템(204)에 구비된 성능점검표 문서출력부(203)는 판매차량의 기본 성능 정보에 관한 문서 및/또는 사진이 게재된 성능점검표(115,116)를 오프라인 또는 온라인상에서 출력하여 제공한다.
또한, 온라인 자동차 구매자(101')에 대해서는 AI 성능점검표(118)를 발행하여 전송한다(단계 S117). AI 성능점검표(118)는 문서나 사진과 같은 형태의 정형 데이터를 비롯하여 판매차량 고유의 음향, 영상 등의 비정형 성능점검 데이터를 반영하여 발행한다.
구체적으로, 지능형 성능점검 서비스 시스템(204)은 차종정보 조회 요청 후에 판매차량으로부터 획득한 음향 정보 신호에 대해 푸리에 변환(Fourier transform)과 노이즈 제거 작업의 전처리를 수행하고, 컴퓨터 학습을 통한 패턴 분석으로 주기적이거나 비주기적이면서 특이한 정보를 분석한다. 또한, 지능형 성능점검 서비스 시스템(204)은 분석된 정보와 조회된 차종정보 및 자체 보유하고 있는 차종별 오류내역(자체DB, 공공API 또는 SNS 등의 사용자정보 등)과 맵핑하여, 해당 오류의 발생이 현재 차량에 한정된 문제인지, 차종별 특성에 따른 문제인지를 평가, 분석한다. 분석된 레포팅 정보는 AI 성능점검표의 발행 시 반영된다.
지능형 성능점검 서비스 시스템(204)은 성능점검표 생성모듈(102)을 통하여 AI 성능점검 결과를 시각화 처리하여 자동차 성능점검 그래프를 생성한다. AI 성능점검 결과에는 음향 정보의 패턴 분석 과정에 사용된 음향 파형 그래프와 이미지, 테이블 등이 반영된다. 또한, 성능점검표 생성모듈(102)은 상기 AI 성능점검 결과에 따라서 정상 성능 상태와 성능저하 상태를 그래프로 비교해서 표시하는 한편, 음향 데이터를 저주파 대역, 중음영역, 고주파 대역, 규칙성 및 비규칙성 영역으로 세분하고 각각의 영역에 대한 상태를 점수화하여 AI 성능점검표에 표시한다.
본 발명의 또 다른 측면에 따르면, 중고차의 차량번호를 통해 차종상세정보를 조회하는 절차와, 중고차의 내/외부 사진촬영과 음향, 영상, 센서를 통해 자동차의 기계 또는 전자 장치들에서 발생하는 비정형 데이터를 수집하는 절차와, 수집된 상기 비정형 데이터를 컴퓨터 분석을 통해 진단하여 성능을 점검하여, 음향 정보에서 이상 징후가 발견된 경우 이상 징후 레포트를 생성하고 이상 징후가 없는 경우에는 정상 레포트를 생성하여 상기 AI 성능점검 결과에 반영하는 AI 성능점검 절차와, 상기 AI 성능점검 결과를 시각화 처리하여 중고차의 정상 성능 상태와 성능저하 상태 각각의 음향 신호에 대한 시간, 주파수 및 진폭의 변화를 농도나 색상 차이로 나타낸 시각화 처리 그래픽인 스펙트로그램을 생성하여 상기 AI 성능점검표에 표시하는 시각화 처리하는 절차와, 상기 음향 신호를 미리 정해진 기준에 따라 주파수 대역별로 구분하여 각각의 주파수 대역에서의 상태를 점수화하고 상기 AI 성능점검표에 표시하는 세분화 분석 처리 절차와, AI 성능점검 결과를 기본성능점검 결과와 함께 고객에게 제공하는 절차를 컴퓨터상에서 실행할 수 있는 프로그램을 기록한 기록매체(예컨대, 자기기록매체, CD롬, 플래쉬 메모리 등)가 제공된다.
상술한 바와 같이 본 발명에 따르면 특정 주파수 대역별로 분리하고 그 안에서 벌어지는 주기적, 비주기적 패턴을 분석해서 이를 학습하여 진단에 활용함으로써 세밀한 AI 성능점검 결과를 얻을 수 있는 현저한 효과가 있다. 또한, 원천적인 수집 데이터까지도 권한을 부여 받은 고객에게 제공해 줌으로써 구매자에게 해당 매물자동차의 정보가 정확히 전달되지 않음으로써 발생하는 정보의 극단적인 비대칭을 해소할 수 있으며, 온라인으로 자동차를 구매할 수 있는 감성품질을 간접적으로 판단할 수 있도록 하여 중고차 거래의 온라인화를 촉진할 수 있다.
이상에서 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.

Claims (11)

  1. (a) 성능점검표 생성모듈이 중고차의 차량번호를 통해 차종상세정보를 조회하는 단계;
    (b) 상기 성능점검표 생성모듈이 음향센서를 이용하여 상기 중고차의 기계 또는 전자 장치들에서 발생하는 음향을 포함하는 비정형 데이터를 수집하는 단계;
    (c) 상기 성능점검표 생성모듈이 수집된 상기 비정형 데이터를 컴퓨터 분석을 통해 진단하여 AI 성능점검을 수행하고 그에 따른 AI 성능점검 결과를 반영하여 AI 성능점검표를 생성하는 단계; 및
    (d) 비정형 데이터 전송부가 상기 성능점검표 생성모듈에 의해 생성된 상기 AI 성능점검표를 고객에게 제공하는 단계;를 포함하고,
    상기 단계 (c)는,
    상기 비정형 데이터를 컴퓨터 분석한 결과물로부터 시각화 처리 그래픽을 생성하여 상기 AI 성능점검표에 표시하는 시각화 처리 과정과,
    상기 음향 신호를 미리 정해진 기준에 따라 주파수 대역별로 구분하여 각각의 주파수 대역에서의 상태를 점수화하고 상기 AI 성능점검표에 표시하는 세분화 분석 처리 과정을 수행하는 것을 특징으로 하는 음향 데이터 분석 기반 중고차 AI 성능점검 처리방법.
  2. 제1항에 있어서, 상기 단계 (c)는,
    상기 세분화 분석 처리 과정은 상기 음향 데이터를 저주파 대역, 중음영역, 고주파 대역, 규칙성 및 비규칙성 영역으로 세분하고 각각의 영역에 대한 상태를 점수화하여 상기 AI 성능점검표에 표시하는 것을 특징으로 하는 음향 데이터 분석 기반 중고차 AI 성능점검 처리방법.
  3. 제2항에 있어서, 상기 단계 (c)는,
    상기 세분화 분석 처리 과정에서 상기 각각의 영역을 다수의 특성요소로 분해하여 분석하고 점수화하는 것을 특징으로 하는 음향 데이터 분석 기반 중고차 AI 성능점검 처리방법.
  4. 제3항에 있어서, 상기 단계 (c)는,
    상기 세분화 분석 처리 과정에서 각각의 영역에 대한 상태를 점수와 총점을 다각형 그래프로 시각화하여 상기 AI 성능점검표에 표시하는 것을 특징으로 하는 음향 데이터 분석 기반 중고차 AI 성능점검 처리방법.
  5. 제1항에 있어서, 상기 단계 (c)는,
    상기 중고차의 특정 부품에 대해 수집된 음향정보와 미리 저장된 차종별 표준차량 음향정보를 각각 스트리밍 재생하는 기능을 가진 사용자 인터페이스를 상기 AI 성능점검표에 표시하는 것을 특징으로 하는 음향 데이터 분석 기반 중고차 AI 성능점검 처리방법.
  6. 제1항에 있어서, 상기 단계 (c)는,
    상기 시각화 처리 그래픽은 음향 신호에 대한 시간, 주파수 및 진폭의 변화를 농도나 색상 차이로 나타낸 스펙트로그램이고,
    상기 중고차의 정상 성능 상태와 성능저하 상태 각각의 스펙트로그램을 생성하여 상기 AI 성능점검표에 표시하는 것을 특징으로 하는 음향 데이터 분석 기반 중고차 AI 성능점검 처리방법.
  7. 중고차의 차량번호를 통해 차종상세정보를 조회하고, 음향센서를 이용하여 상기 중고차의 기계 또는 전자 장치들에서 발생하는 음향을 포함하는 비정형 데이터를 수집하고 수집된 상기 비정형 데이터를 컴퓨터 분석을 통해 진단하여 AI 성능점검을 수행하고 그에 따른 AI 성능점검 결과를 반영하여 AI 성능점검표를 생성하는 성능점검표 생성모듈; 및
    상기 성능점검표 생성모듈에 의해 생성된 상기 AI 성능점검표를 고객에게 제공하는 비정형 데이터 전송부;를 포함하고,
    상기 성능점검표 생성모듈은,
    상기 중고차의 차량번호를 획득하여 차종 정보를 조회하는 차종정보 조회부;
    상기 중고차의 기계 또는 전자 장치들에서 발생하는 음향 신호를 수집하는 음향신호 획득부;
    수집된 음향 신호를 디지털화하여 음향 데이터를 생성하는 음향정보 전처리부;
    표준차량 음향 데이터를 저장하는 차종정보 DB;
    상기 음향 데이터를 상기 차종정보 DB와 맵핑하여 차량의 이상 징후를 검출하는 차종정보 맵핑부;
    상기 음향 데이터를 분석하여 차량의 특성 및 상태를 점수화하는 음향 데이터 분석기; 및
    상기 음향 데이터에서 이상 징후가 발견된 경우 이상 징후 레포트를 생성하고 이상 징후가 없는 경우에는 정상 레포트를 생성하여 상기 AI 성능점검 결과에 반영하는 성능정보 레포트 처리부;를 포함하고,
    상기 음향 데이터를 컴퓨터 분석한 결과물로부터 시각화 처리 그래픽을 생성하여 상기 AI 성능점검표에 표시하는 시각화 처리 과정과,
    상기 음향 신호를 미리 정해진 기준에 따라 주파수 대역별로 구분하여 각각의 주파수 대역에서의 상태를 점수화하고 상기 AI 성능점검표에 표시하는 세분화 분석 처리 과정을 수행하는 것을 특징으로 하는 음향 데이터 분석 기반 중고차 AI 성능점검 시스템.
  8. 제7항에 있어서,
    상기 세분화 분석 처리 과정은 상기 음향 데이터를 저주파 대역, 중음영역, 고주파 대역, 규칙성 및 비규칙성 영역으로 세분하고 각각의 영역에 대한 상태를 점수화하여 상기 AI 성능점검표에 표시하는 것을 특징으로 하는 음향 데이터 분석 기반 중고차 AI 성능점검 시스템.
  9. 제8항에 있어서,
    상기 세분화 분석 처리 과정에서 상기 각각의 영역을 다수의 특성요소로 분해하여 분석하고 점수화하는 것을 특징으로 하는 음향 데이터 분석 기반 중고차 AI 성능점검 시스템.
  10. 제8항에 있어서,
    상기 세분화 분석 처리 과정에서 각각의 영역에 대한 상태를 점수와 총점을 다각형 그래프로 시각화하여 상기 AI 성능점검표에 표시하는 것을 특징으로 하는 음향 데이터 분석 기반 중고차 AI 성능점검 시스템.
  11. 제7항에 있어서,
    상기 시각화 처리 그래픽은 음향 신호에 대한 시간, 주파수 및 진폭의 변화를 농도나 색상 차이로 나타낸 스펙트로그램이고,
    상기 중고차의 정상 성능 상태와 성능저하 상태 각각의 스펙트로그램을 생성하여 상기 AI 성능점검표에 표시하는 것을 특징으로 하는 음향 데이터 분석 기반 중고차 AI 성능점검 시스템.
PCT/KR2022/019133 2022-02-07 2022-11-30 음향 데이터 분석 기반 중고차 ａｉ 성능점검 시스템과 그 처리방법 WO2023149634A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2022-0015851 2022-02-07
KR20220015851 2022-02-07
KR1020220017220A KR102459471B1 (ko) 2022-02-07 2022-02-09 음향 데이터 분석 기반 중고차 ａｉ 성능점검 시스템과 그 처리방법
KR10-2022-0017220 2022-02-09

Publications (1)

Publication Number Publication Date
WO2023149634A1 true WO2023149634A1 (ko) 2023-08-10

Family

ID=83784497

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/019133 WO2023149634A1 (ko) 2022-02-07 2022-11-30 음향 데이터 분석 기반 중고차 ａｉ 성능점검 시스템과 그 처리방법

Country Status (2)

Country Link
KR (1) KR102459471B1 (ko)
WO (1) WO2023149634A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102459471B1 (ko) * 2022-02-07 2022-10-26 주식회사 오씨모바일 음향 데이터 분석 기반 중고차 ａｉ 성능점검 시스템과 그 처리방법
CN116347318B (zh) * 2023-05-29 2023-08-22 深圳东原电子有限公司 一种音响的智能生产测试方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004362347A (ja) * 2003-06-05 2004-12-24 Shimomoto Shoji ユーザー車検支援システム
KR20150058928A (ko) * 2013-11-21 2015-05-29 이선휘 진동 특성을 이용한 설비의 결함 진단 방법
KR20190023059A (ko) * 2019-02-21 2019-03-07 전자부품연구원 중고자동차 등급 진단 방법
KR20190140363A (ko) * 2018-06-11 2019-12-19 백영우 빅데이터를 활용한 실사용자 중심의 자동차 품질평가 산출 방법 및 이를 통한 개별 맞춤정보 제공 시스템
KR102305809B1 (ko) * 2020-12-23 2021-09-30 주식회사 오씨모바일 중고자동차의 지능형 성능점검 서비스 시스템과 그 방법
KR102459471B1 (ko) * 2022-02-07 2022-10-26 주식회사 오씨모바일 음향 데이터 분석 기반 중고차 ａｉ 성능점검 시스템과 그 처리방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101970641B1 (ko) 2017-12-14 2019-04-19 주식회사 오토매니지먼트컴퍼니 성능 점검 보증보험이 반영된 중고차 거래 시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004362347A (ja) * 2003-06-05 2004-12-24 Shimomoto Shoji ユーザー車検支援システム
KR20150058928A (ko) * 2013-11-21 2015-05-29 이선휘 진동 특성을 이용한 설비의 결함 진단 방법
KR20190140363A (ko) * 2018-06-11 2019-12-19 백영우 빅데이터를 활용한 실사용자 중심의 자동차 품질평가 산출 방법 및 이를 통한 개별 맞춤정보 제공 시스템
KR20190023059A (ko) * 2019-02-21 2019-03-07 전자부품연구원 중고자동차 등급 진단 방법
KR102305809B1 (ko) * 2020-12-23 2021-09-30 주식회사 오씨모바일 중고자동차의 지능형 성능점검 서비스 시스템과 그 방법
KR102459471B1 (ko) * 2022-02-07 2022-10-26 주식회사 오씨모바일 음향 데이터 분석 기반 중고차 ａｉ 성능점검 시스템과 그 처리방법

Also Published As

Publication number Publication date
KR102459471B1 (ko) 2022-10-26

Similar Documents

Publication Publication Date Title
WO2023149634A1 (ko) 음향 데이터 분석 기반 중고차 ａｉ 성능점검 시스템과 그 처리방법
WO2022139409A1 (ko) 중고자동차의 지능형 성능점검 서비스 시스템과 그 방법
US20160343180A1 (en) Automobiles, diagnostic systems, and methods for generating diagnostic data for automobiles
US7925399B2 (en) Method and apparatus for testing vehicle emissions and engine controls using a self-service on-board diagnostics kiosk
CN104155118B (zh) 一种汽车健康体检系统
US10055906B1 (en) System and method to detect emissions OBD false failures
JP4816992B2 (ja) 車両の遠隔故障診断用サーバ、車両の遠隔故障診断方法、遠隔故障診断用プログラム、及び、車載の遠隔故障診断装置
JP2022523687A (ja) 車両オーディオキャプチャおよび診断
CN105683970B (zh) 基于预测的估计器
Rasch et al. What drives fraud in a credence goods market?–Evidence from a field study
US20240134900A1 (en) Automatic annotation for vehicle damage
EP3376198A1 (en) Vehicle-mounted exhaust gas analyzer, exhaust gas analysis system, information processing device, program for exhaust gas analysis system, and exhaust gas analysis method
CN110580052A (zh) 一种车辆检测方法，装置及系统
Alsina-Pagès et al. Anomalous events removal for automated traffic noise maps generation
KR102383051B1 (ko) 딥러닝 모델 기반 자동차 부품검사 서비스 제공 방법
CN112532941A (zh) 车辆源强监测方法、装置、电子设备及存储介质
WO2018074633A1 (ko) 온보드 진단기를 이용하는 차량종합관리 시스템 및 동작 방법
Mato-Méndez et al. Blind separation to improve classification of traffic noise
KR20240020149A (ko) 음향 분석 기능이 향상된 중고차 ａｉ 성능점검 시스템 및 처리방법과 이를 위한 오디오 영상 시각화 장치
KR102094883B1 (ko) 음향기반 자동차 비정상 징후 감지시스템 및 그 처리방법
CN107257913A (zh) 用于更新在导航系统中的停车场信息的方法和导航系统
KR20240011617A (ko) Ａｉ 기반 중고차 진동 분석 및 성능점검 시스템과그 처리방법
CN110509955B (zh) 车载智能检测装置、应用平台、列车的智能检测系统和方法
CN115039124A (zh) 图像处理方法、电子设备、行车记录仪及服务器
JP7439519B2 (ja) 処理装置、処理方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22925101

Country of ref document: EP

Kind code of ref document: A1