JP7462400B2 - 問題騒音の発音源を識別するための騒音データの人工知能装置および前処理方法 - Google Patents

問題騒音の発音源を識別するための騒音データの人工知能装置および前処理方法 Download PDF

Info

Publication number
JP7462400B2
JP7462400B2 JP2019205710A JP2019205710A JP7462400B2 JP 7462400 B2 JP7462400 B2 JP 7462400B2 JP 2019205710 A JP2019205710 A JP 2019205710A JP 2019205710 A JP2019205710 A JP 2019205710A JP 7462400 B2 JP7462400 B2 JP 7462400B2
Authority
JP
Japan
Prior art keywords
noise
artificial intelligence
problematic
intelligence learning
source
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019205710A
Other languages
English (en)
Other versions
JP2020095258A (ja
Inventor
チョン、イン－ス
イ、ドン－チョル
チャン、ジュン－ヒョク
ノ、キョン－ジン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Industry University Cooperation Foundation IUCF HYU
Kia Corp
Original Assignee
Hyundai Motor Co
Industry University Cooperation Foundation IUCF HYU
Kia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020180160833A external-priority patent/KR102681637B1/ko
Application filed by Hyundai Motor Co, Industry University Cooperation Foundation IUCF HYU, Kia Corp filed Critical Hyundai Motor Co
Publication of JP2020095258A publication Critical patent/JP2020095258A/ja
Application granted granted Critical
Publication of JP7462400B2 publication Critical patent/JP7462400B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K11/00—Methods or devices for transmitting, conducting or directing sound in general; Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/16—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general
    • G10K11/175—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound
    • G10K11/178—Methods or devices for protecting against, or for damping, noise or other acoustic waves in general using interference effects; Masking sound by electro-acoustically regenerating the original acoustic waves in anti-phase
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0224—Process history based detection method, e.g. whereby history implies the availability of large amounts of data
    • G05B23/024—Quantitative history assessment, e.g. mathematical relationships between available data; Functions therefor; Principal component analysis [PCA]; Partial least square [PLS]; Statistical classifiers, e.g. Bayesian networks, linear regression or correlation analysis; Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
    • G10L25/30—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique using neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/10—Applications
    • G10K2210/128—Vehicles
    • G10K2210/1282—Automobiles
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K2210/00—Details of active noise control [ANC] covered by G10K11/178 but not provided for in any of its subgroups
    • G10K2210/30—Means
    • G10K2210/301—Computational
    • G10K2210/3028—Filtering, e.g. Kalman filters or special analogue or digital filters
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T90/00—Enabling technologies or technologies with a potential or indirect contribution to GHG emissions mitigation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Automation & Control Theory (AREA)
  • Measurement Of Mechanical Vibrations Or Ultrasonic Waves (AREA)

Description

本発明は、車両騒音、特にパワートレイン騒音のような非定型的な騒音に対する、ディープラーニング（Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）に基づく人工知能を用いた問題騒音の発生源診断技術であって、問題騒音の発音源を識別するための騒音データの人工知能装置および前処理方法に関する。
車両は、数多くの部品が組み立てられてなる完成体である。
特に、車両の動力系は、固有の騒音および振動特性を有している。
しかし、数多くの部品の組み合わせにより発生する騒音情報は非常に膨大である。
騒音は、正常な場合の動作騒音と、異常な場合に現われる問題騒音とが異なって現われる。
問題騒音が発生すると、車両は異常状態に置かれる場合が多い。
しかしながら、非常に複雑な構造を有している車両が発生させる問題騒音情報のみで、車両のどの部位の故障であるかを判断することは非常に難しい。
例えば、車両のパワートレインは、問題騒音が発生した箇所を検出することが非常に難しい。
その理由は、かかる車両の問題騒音は、非定型的に発生するためである。
そのため、従来は、騒音の専門家らが聴音テストにより診断し、過去の経験に頼って問題騒音源を探していた。
この際、複数の騒音の専門家らがセンサやその他の試験条件を用いるとしても、長時間がかかっていた。
それにもかかわらず、問題騒音源を完全に診断することは非常に難しいことであった。
近年、騒音データを用いて問題騒音源を探そうとする努力が行われてきたが、適切な解決方法がない状況である。
ＫＲ２０１８‐００２９３２０Ａ１ ＪＰ２０１３‐２００１４３Ａ１ ＵＳ２０１６‐００７１３３６Ａ１
本発明は、人工知能技法を用いて、騒音データが類型毎に蓄積された騒音ビックデータの資産価値を極大化する、問題騒音の発音源を識別するための騒音データの人工知能装置および前処理方法を提供することをその目的とする。
時間によってサンプリングした騒音のうち問題騒音に対して単位フレームを選定するステップと、前記単位フレームをＮ個のセグメントに分割するステップと、前記セグメント毎に周波数特性を分析し、ログメルフィルタ（Ｌｏｇ Ｍｅｌ Ｆｉｌｔｅｒ）を適用して前記周波数成分を抽出するステップと、前記セグメントに関する情報を平均し、１個の代表フレームとして特徴ベクトル（特徴パラメータ）を出力するステップと、を含む、問題騒音の発音源を識別するための騒音データの前処理方法を含み、前記前処理方法により前記時間の変化によって抽出された特徴パラメータを用いた人工知能学習に、双方向ＲＮＮ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ ＲＮＮ）を適用することを特徴とする、問題騒音の発音源を識別するための騒音データ人工知能学習方法を提供する。
また、前記サンプリングは、問題周波数帯域の２倍の範囲でサンプリングすることを特徴とする、問題騒音の発音源を識別するための騒音データ人工知能学習方法を提供する。
また、前記時間による単位フレームと、次の時間の単位フレームとの間には、オーバーラップを設定することを特徴とする、問題騒音の発音源を識別するための騒音データ人工知能学習方法を提供する。
また、前記人工知能学習にＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）をさらに適用することを特徴とする、問題騒音の発音源を識別するための騒音データ人工知能学習方法を提供する。
また、前記人工知能学習にアテンションメカニズム（Ａｔｔｅｎｔｉｏｎ Ｍｅｃｈａｎｉｓｍ）をさらに適用することを特徴とする、問題騒音の発音源を識別するための騒音データ人工知能学習方法を提供する。
また、前記人工知能学習にアーリーステージアンサンブル（Ｅａｒｌｙ ｓｔａｇｅ ｅｎｓｅｍｂｌｅ）アルゴリズムをさらに適用することを特徴とする、問題騒音の発音源を識別するための騒音データ人工知能学習方法を提供する。
また、前記問題騒音学習データの時間軸が一定に収集される場合、正確度を向上するために、時間‐周波数マップとエンジン回転数‐周波数マップの両方を用いるＥｎｓｅｍｂｌｅ ｍｏｄｅｌ ｏｆ ｊｏｉｎｔｌｙ ｔｒａｉｎｅｄ ＲＮＮｓアルゴリズムをさらに適用することを特徴とする、問題騒音の発音源を識別するための騒音データ人工知能学習方法を提供する。
また、問題騒音の発音源を識別するための騒音データ人工知能学習方法が実現された装置であって、前記装置の入力手段で車両またはパワートレインの騒音を直接測定するか、格納されている騒音データを格納媒体を用いて提供することを特徴とする、問題騒音の発音源を識別するための騒音データ人工知能学習装置を提供する。
第一に、パワートレインの複雑な騒音源が混在している点を考慮し、１～ｎ順位まで確率的な方法により入力される騒音源に対して診断結果を出力することができる多重診断システム概念を適用しているため、低い特性を示す問題騒音の発音源も診断することができる。
第二に、パワートレイン問題騒音のビックデータに基づいて学習されたモデルを生成することで、複合的、且つ非定型的なパワートレイン騒音または車両騒音の高精度の診断が確率的に可能となる。
第三に、非常に短い時間で、問題騒音の発音源を正確に診断することができる。
第四に、ＧＲＵ、ＤＮＮ、アテンションメカニズム、およびアーリーステージアンサンブルアルゴリズムを用いるため、過去時間のデータが消失することが防止される。
第五に、アテンションメカニズムの適用により学習データの重要部分の加重値をさらに与えることで、非定型的な騒音に対する正確な学習モデルの樹立が可能となる。
第六に、人（専門エンジニア）のデータ分析および判断に要する手間を効率的に改善することができる。
本発明の好ましい実施形態による全体フローチャートである。 本発明の好ましい実施形態による類型毎の騒音データの前処理ステップを示す。 本発明の好ましい実施形態による人工知能学習モデルに任意の騒音データを入力して診断する過程を示す。 本発明の好ましい実施形態による人工知能学習に用いられる時間‐周波数マップに関する図である。 本発明の好ましい実施形態によるエンジン回転数‐周波数マップに関する図である。
発明を行うための形態
本発明は様々な変更を加えることができ、種々の実施形態を有することができるものであり、特定の実施形態を図に例示して詳細な説明で具体的に説明する。しかし、これは本発明を特定の実施形態に限定するためのものではなく、本発明の思想および技術範囲に含まれる全ての変更、均等物乃至代替物を含むと理解されるべきである。
各図を説明するにあたり、類似の参照符号を類似の構成要素に用いる。
第１、第２などの用語は、様々な構成要素を説明するために用いることができるが、前記構成要素は、前記用語によって限定されてはならない。前記用語は、１つの構成要素を他の構成要素から区別する目的でのみ用いられる。
例えば、本発明の権利範囲を逸脱することなく第１構成要素は第２構成要素と命名することができ、同様に、第２構成要素も第１構成要素と命名することができる。「および／または」という用語は、記載された複数の関連項目の組み合わせまたは記載された複数の関連項目の何れかの項目を含む。
他に定義されない限り、技術的または科学的な用語を含んでここで用いられる全ての用語は、本発明が属する技術分野において通常の知識を有する者によって一般に理解されるものと同一の意味を有する。
一般に用いられる辞典に定義されているような用語は、関連技術の文脈上有する意味と一致する意味を有すると解釈されるべきであり、本出願で明白に定義しない限り、理想的または過度に形式的な意味で解釈されてはならない。
本発明の問題騒音の発音源を識別するための騒音データの前処理方法を説明する。
任意の騒音は、診断のために必要な問題騒音の類型および発音源の情報が分からない騒音である。
後述するが、本発明では、任意の騒音とともに、測定されたエンジンＲＰＭ情報を用いることができる。
一方、必要に応じて、エンジンＲＰＭ情報なしに、任意の騒音を入力として用いて診断可能である。
図１は本発明の好ましい実施形態による全体フローチャートである。この場合、全体のフローチャートを図２の騒音データ前処理器１００－１を参照して説明すれば、下記の通りである。
先ず、 騒音データ前処理器１００－１の騒音データ入力部（１１０）を介して, 任意の騒音が入力される（Ｓ１）。
騒音データ学習部（１００）を介して, 時間によってサンプリングした騒音のうち問題騒音に対して、単位フレームを選定する（Ｓ２）。
セグメント分割部（2００）を介して, 単位フレームをＮ個のセグメントに分割する（Ｓ３）。
この際、時間によるサンプリングは、問題周波数帯域の２倍の範囲でサンプリングすることが好ましい。
このようなサンプリング作業を、本発明では騒音ビックデータの前処理（Ｐｒｅ‐ｃｏｎｄｉｔｉｏｎｉｎｇ）という。
ビックデータの前処理（Ｐｒｅ‐ｃｏｎｄｉｔｉｏｎｉｎｇ）は、パワートレインの特性を考慮した診断学習に必要であり、パワートレイン騒音の特性分析において重要である。
騒音ビックデータの前処理（Ｐｒｅ‐ｃｏｎｄｉｔｉｏｎｉｎｇ）は、高正確度の学習の特徴パラメータの抽出のために学習に用いられる。
騒音ビックデータの前処理（Ｐｒｅ‐ｃｏｎｄｉｔｉｏｎｉｎｇ）に用いられる技法としては、診断しようとする騒音周波数の２倍数であるＦｒｅｑｕｅｎｃｙ ｓａｍｐｌｉｎｇによりサンプリング（ｒｅ‐ｓａｍｐｌｉｎｇ）することが好ましい。
また、時間による単位フレームと、次の時間の単位フレームとの間には、オーバーラップを設定することが好ましい。
オーバーラップは単位フレームの間にも存在することができる。
オーバーラップは、１個の単位フレームをＮ個のセグメントに分割する場合にも存在することができる。
オーバーラップは、データの損失を防止することをその目的とする。
セグメント分析部(３００)と、平均処理部(４００)を介して, セグメント毎に周波数特性を分析し、ログメルフィルタを適用して周波数成分を抽出する（Ｓ４）。
ログメルフィルタは、低周波成分と高周波成分の両方を使用可能とするために用いられる。
学習モデル統合部(５００)と、学習モデル生成部(６００)と、特徴パラメータ抽出部(６１０)を介して, セグメントに関する情報を平均し、１個の代表フレームとして特徴ベクトル（特徴パラメータ）を出力する（Ｓ５）。
特徴パラメータは無次元の概念であり、特徴ベクトルは次元のある概念であって、特徴パラメータが特徴ベクトルより上位概念である。
しかし、ここで、特徴ベクトルと特徴パラメータは類似の概念で理解され得る。
このような特徴ベクトル(特徴パラメータ)作業を、本発明では騒音ビックデータの前処理（Ｐｒｅ‐ｃｏｎｄｉｔｉｏｎｉｎｇ）という。
一方、出力された特徴ベクトルは、人工知能学習器(７００)の人工知能学習で入力値として用いることができる。
人工知能学習器(７００)の人工知能ロジック（７１０)は、特徴ベクトルを用いて問題騒音の発音源を最終的に識別する（Ｓ６）。
人工知能ロジック(７１０)は、ディープラーニング（Ｄｅｅｐ ｌｅａｒｎｉｎｇ）または機械学習、マシンラーニングなどと類似の意味で理解され得る。
人工知能学習では時間の変化による特徴パラメータを用い、これにより、パワートレイン騒音の特徴である非定型性の特徴を全て把握することができるのである。
この際、人工知能学習には双方向ＲＮＮ（ＧＲＵ：Ｒａｔｅｄ Ｒｅｃｕｒｒｅｎｔ Ｕｎｉｔ）を適用することができる。
ＧＲＵ（Ｇａｔｅｄ Ｒｅｃｕｒｒｅｎｔ Ｕｎｉｔ）とは、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）技法の１つであって、これを用いて時間の変化による人工知能学習モデルを構築することができる。
一方、人工知能学習にＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）をさらに適用することも考慮され得る。
ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）は、Ｍａｎｙ ｔｏ ｏｎｅの確率的正確度を向上するためのアルゴリズムとして用いることができる。
この際、ソフトマックス（ｓｏｆｔ ｍａｘ）技法を適用することも好ましい。
Ｍａｎｙ ｔｏ ｏｎｅ診断技法とは、時間の流れに対する問題騒音の発音源を診断する技術である。
また、人工知能学習にアテンションメカニズムをさらに適用することも好ましい。
アテンションメカニズムは、過去時間データの情報消失を改善するために活用されることができる。
アテンションメカニズムは、時間進行軸において重要な特徴ベクトルに加重値を与える学習技法である。
すなわち、アテンションメカニズムは、学習データの重要部分の加重値をさらに与えることで、非定型的な騒音に対する正確な学習モデルの樹立を可能とする。
この際、双方向ＲＮＮ（ＧＲＵ）を複合して適用することも好ましい。
そして、人工知能学習にアーリーステージアンサンブルアルゴリズムをさらに適用することも可能である。
アーリーステージアンサンブルアルゴリズムとは、ＧＲＵの上位概念であるＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）における問題点のうち過去時間データの重要性を浮かび上がらせる加重値学習技法である。
すなわち、アーリーステージアンサンブル技法は、初期時間と最終時間に対する加重値を均等に分割し、情報を保持するために用いることができる。
図２は本発明の好ましい実施形態による類型毎の騒音データの前処理ステップを示す。
図３は本発明の好ましい実施形態による人工知能学習モデルに任意の騒音データを入力して診断する過程を示す。
図２と図３を参照すれば、騒音データ人工知能学習装置(１)は、問題騒音発音源識別のための騒音データ人工知能学習方法が実現された装置を提供することができる。
前記騒音データ人工知能学習装置(１)は、入力手段(３)と、騒音データ前処理器(１００－１)と、人工知能学習器(７００)と、問題騒音発音源分類器(８００)と、問題騒音判断器(９００)とを含む。
前記入力手段(３)は、騒音測定センサ(３－１)として車両あるいはパワートレインの騒音を直接測定したり、格納媒体(３－２)として格納された騒音データを介して提供を受けることができる。すなわち、格納媒体(３－２)は、騒音データが格納され、これを介して学習モデル生成部(６００)の人工知能学習モデルに適用させることも可能である。
前記騒音データ前処理器(１００－１)は、騒音データ学習部(１００)と、騒音データ入力部(１１０)と、セグメント分割部(２００)と、セグメント分析部(３００)と、平均処理部(４００)と、学習モデル統合部(５００)と、学習モデル生成部(６００)と、特徴パラメータ抽出部(６１０)とから構成される。
前記騒音データ人工知能学習装置(１)の動作は次の通りである。
先ず、騒音データ学習部(１００)によって問題類型毎の騒音データを単位時間毎に学習する。
入力される騒音データ学習部(１００)の騒音データは、任意の騒音である。
この際、単位フレームを選定し、オーバーラップの範囲を選定する。
車両の騒音には様々な類型があるが、非定型的に発生する車両騒音の類型は次のとおりである。
すなわち、時間の長さによって発生する問題騒音として、短時間で発生する問題騒音と長時間で発生する問題騒音がある。
また、周波数成分によって発生する問題騒音として、特定周波数成分の問題騒音が存在する。
本発明の類型毎の騒音データの前処理では、時間的特性と周波数成分特性が全て考慮される。
換言すれば、時間によって変化する騒音特性と、低い周波数成分から高い周波数成分までを全て含むように、時間軸は１個のフレーム単位で分割する。
１個のフレーム単位で分割する理由は、時間によって変化する騒音の特徴を正確に判断するためのことである。
そして、分割された１個のフレームと次の時間のフレームのオーバーラップを設定する。
この際、オーバーラップの比率は均一に適用される。
単位フレームをＮ個のセグメント（例、１個のフレームを計９個のセグメント）にセグメント分割部(２００)で分割が行われ、セグメントごとにセグメント分析部(３００)で周波数特性を分析してログメルフィルタ(Ｌｏｇ Ｍｅｌ Ｆｉｌｔｅｒ)を適用する。
ログメルフィルタを適用した結果が平均処理部(４００)の平均値として出力される。
これは、周波数特性が低い周波数帯域から高い周波数帯域までにおける効率向上のための後処理作業に当たる。
その後、各時間毎の個別データの特徴を抽出した後、学習モデル統合部(５００)の１個の学習モデルに統合させる。
次に、同一の故障現象が発生した時に収集された振動ビックデータを用いた、特徴ベクトル（パラメータ）に基づく学習モデル生成部(６００)の学習モデルを生成する。
人工知能学習器（７００）は、抽出された 特徴パラメータ抽出部(６１０)の特徴ベクトル（パラメータ）を用いて問題騒音の発音源を識別し、問題騒音発音源分類器(８００)の分類結果を導出することができる。
また、人工知能学習器（７００）は、全騒音のうち意味の高いデータを問題騒音判断器(９００)のアテンション結果として出力することができる。
問題騒音判断器(９００)のアテンション結果は、ＮＶＨ（Noise, Vibration, Harshness）専門家集団が騒音の詳細分析時に用いる技法を適用するために用いることができ、近年、データ加重値が高くなり、初期データの加重値は低くなる非定型時間データの分析における欠点を補完する。
図４は、本発明の好ましい実施形態による人工知能学習に用いられる時間‐周波数マップ（７１１）を示したものであり、図５は、本発明の好ましい実施形態によるエンジン回転数‐周波数マップ（７２１）に関する図である。
問題騒音学習データの時間軸が一定に収集される場合には、正確度の向上のために、Ｅｎｓｅｍｂｌｅ ｍｏｄｅｌ ｏｆ ｊｏｉｎｔｌｙ ｔｒａｉｎｅｄ ＲＮＮｓアルゴリズムを用いることができる。
Ｅｎｓｅｍｂｌｅ ｍｏｄｅｌ ｏｆ ｊｏｉｎｔｌｙ ｔｒａｉｎｅｄ ＲＮＮｓアルゴリズムとは、時間‐周波数マップ（７１１）とエンジン回転数‐周波数マップ（７２１）の両方を用いるアルゴリズムである。
Ｅｎｓｅｍｂｌｅ ｍｏｄｅｌ ｏｆ ｊｏｉｎｔｌｙ ｔｒａｉｎｅｄ ＲＮＮｓアルゴリズムは、換言してＪｏｉｎｔｅｄ ｔｉｍｅ ａｎｄ ＲＰＭ ＭＡＰ ａｎａｌｙｓｉｓ技法ともいう。
この際、問題騒音学習データの時間軸が一定に収集される場合とは、同一の時間を基準としてシンクロされる場合を意味する。
例えば、全ての学習データと診断のための格納データの時間軸が１０秒としたときに、このように同一の時間測定データである場合に、時間軸に整形的な騒音データを収集するのである。
本発明のさらに他の好ましい実施形態として、問題騒音の発音源を識別するための騒音データ人工知能学習方法が実現された装置を提供することができる。
この際、入力手段で車両またはパワートレイン騒音を直接測定してもよく、格納されている騒音データを格納媒体を用いて提供してもよい。
すなわち、格納媒体には騒音データが格納されており、これを用いて人工知能学習モデルに適用することも可能である。
一方、本発明の問題騒音発音源識別のための騒音データ人工知能学習方法が実現された装置の好ましい他の実施例として、任意の騒音とエンジンＲＰＭ信号を測定可能なポータブル装備に適用させることができる。
これにより測定された任意の騒音を、ＰＣまたは分析装備に基づくシステムを適用して分析可能である。
本発明は、騒音データを用いて非常に短時間に正確な問題騒音の発音源を診断する技術であって、約５秒以内に問題騒音発音源分類器(８００)の診断結果が出力可能となる。
Ｓ１ 騒音入力
Ｓ２ 単位フレーム選定
Ｓ３ Ｎ個のセグメントに分割
Ｓ４ ログメルフィルタ適用、周波数成分抽出
Ｓ５ 特徴ベクトル出力
Ｓ６ 人工知能を用いた問題騒音発音源の識別

Claims (8)

  1. 騒音データ学習部を介して、時間によってサンプリングした騒音のうち問題騒音に対して単位フレームを選定するステップと、
    セグメント分割部を介して、前記単位フレームをＮ個のセグメントに分割するステップと、
    セグメント分析部と、平均処理部を介して、前記セグメント毎に周波数特性を分析し、ログメルフィルタ（Ｌｏｇ Ｍｅｌ Ｆｉｌｔｅｒ）を適用して前記周波数特性を抽出するステップと、
    学習モデル統合部と、学習モデル生成部と、特徴パラメータ抽出部を介して、前記セグメントに関する情報を平均し、１個の代表フレームとして特徴ベクトル（特徴パラメータ）を出力するステップと、を含む、問題騒音の発音源を識別するための騒音データの前処理方法を含み、
    前記前処理方法により前記時間の変化に従って抽出された特徴パラメータによる人工知能学習に、双方向ＲＮＮ（Ｂｉｄｉｒｅｃｔｉｏｎａｌ ＲＮＮ）を適用することを特徴とする、問題騒音の発音源を識別するための騒音データ人工知能学習方法。
  2. 前記サンプリングは、問題周波数帯域の２倍の範囲でサンプリングすることを特徴とする、請求項１に記載の問題騒音の発音源を識別するための騒音データ人工知能学習方法。
  3. 前記時間による単位フレームと、次の時間の単位フレームとの間には、オーバーラップを設定することを特徴とする、請求項１に記載の問題騒音の発音源を識別するための騒音データ人工知能学習方法。
  4. 前記人工知能学習にＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）をさらに適用することを特徴とする、請求項１に記載の問題騒音の発音源を識別するための騒音データ人工知能学習方法。
  5. 前記人工知能学習にアテンションメカニズム（Ａｔｔｅｎｔｉｏｎ Ｍｅｃｈａｎｉｓｍ）をさらに適用することを特徴とする、請求項４に記載の問題騒音の発音源を識別するための騒音データ人工知能学習方法。
  6. 前記人工知能学習にアーリーステージアンサンブル（Ｅａｒｌｙ ｓｔａｇｅ ｅｎｓｅｍｂｌｅ）アルゴリズムをさらに適用することを特徴とする、請求項５に記載の問題騒音の発音源を識別するための騒音データ人工知能学習方法。
  7. 前記問題騒音の学習データの時間軸が一定に収集される場合、
    正確度を向上するために、時間‐周波数マップとエンジン回転数‐周波数マップの両方を用いるＥｎｓｅｍｂｌｅ ｍｏｄｅｌ ｏｆ ｊｏｉｎｔｌｙ ｔｒａｉｎｅｄ ＲＮＮｓアルゴリズムをさらに適用することを特徴とする、請求項６に記載の問題騒音の発音源を識別するための騒音データ人工知能学習方法。
  8. 請求項７に記載の問題騒音の発音源を識別するための騒音データ人工知能学習方法が実現された装置であって、
    前記装置の入力手段で車両またはパワートレインの騒音を直接測定するか、格納されている騒音データを格納媒体を用いて提供することを特徴とする、問題騒音の発音源を識別するための騒音データ人工知能学習装置。
JP2019205710A 2018-12-13 2019-11-13 問題騒音の発音源を識別するための騒音データの人工知能装置および前処理方法 Active JP7462400B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0160833 2018-12-13
KR1020180160833A KR102681637B1 (ko) 2018-12-13 문제소음 발음원 식별을 위한 소음데이터의 인공지능 장치 및 전처리 방법

Publications (2)

Publication Number Publication Date
JP2020095258A JP2020095258A (ja) 2020-06-18
JP7462400B2 true JP7462400B2 (ja) 2024-04-05

Family

ID=68609941

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019205710A Active JP7462400B2 (ja) 2018-12-13 2019-11-13 問題騒音の発音源を識別するための騒音データの人工知能装置および前処理方法

Country Status (4)

Country Link
US (1) US11494643B2 (ja)
EP (1) EP3667664A1 (ja)
JP (1) JP7462400B2 (ja)
CN (1) CN111325313A (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200075133A (ko) * 2018-12-12 2020-06-26 현대자동차주식회사 빅데이터 정보 기반 문제소음 발생원 진단 방법 및 장치
JP7392633B2 (ja) * 2020-11-10 2023-12-06 トヨタ自動車株式会社 車両の異音検査装置
CN112560173B (zh) * 2020-12-08 2021-08-17 北京京航计算通讯研究所 一种基于深度学习的车辆耐候性温度预测方法及装置
JP2022100163A (ja) 2020-12-23 2022-07-05 トヨタ自動車株式会社 音源推定サーバ、音源推定システム、音源推定装置、音源推定方法
CN113017613B (zh) * 2021-03-03 2022-05-06 四川大学华西医院 基于人工智能的心冲击波信号处理方法及计算机设备
KR20220155834A (ko) * 2021-05-17 2022-11-24 현대자동차주식회사 장비 적용을 위한 ai 기반 진단 기술 자동화 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012018066A (ja) 2010-07-07 2012-01-26 Panasonic Electric Works Sunx Co Ltd 異常検査装置
WO2016117358A1 (ja) 2015-01-21 2016-07-28 三菱電機株式会社 検査データ処理装置および検査データ処理方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR960012078B1 (ko) 1993-09-27 1996-09-12 만도기계 주식회사 자동차부품의 고장진단방법
US8111174B2 (en) * 2007-10-03 2012-02-07 University Of Southern California Acoustic signature recognition of running vehicles using spectro-temporal dynamic neural network
JP2013200143A (ja) 2012-03-23 2013-10-03 Mitsubishi Electric Corp 異常音診断装置および異常音診断システム
GB2519704B (en) 2013-04-26 2017-01-04 Jaguar Land Rover Ltd Vehicle diagnostics methods and apparatus
US9336259B1 (en) * 2013-08-08 2016-05-10 Ca, Inc. Method and apparatus for historical analysis analytics
GB2518663A (en) * 2013-09-27 2015-04-01 Nokia Corp Audio analysis apparatus
KR101741309B1 (ko) 2015-02-17 2017-05-30 한국전자통신연구원 차량의 고장 진단 장치 및 방법
CN105118502B (zh) * 2015-07-14 2017-05-10 百度在线网络技术（北京）有限公司 语音识别系统的端点检测方法及系统
US10319374B2 (en) 2015-11-25 2019-06-11 Baidu USA, LLC Deployed end-to-end speech recognition
KR20180029320A (ko) 2016-09-12 2018-03-21 현대자동차주식회사 자동차 nvh 성능 개선 방법
KR101864860B1 (ko) 2016-09-13 2018-06-05 오토시맨틱스 주식회사 딥러닝을 통한 자동차 상태 진단 방법
CN106710599A (zh) * 2016-12-02 2017-05-24 深圳撒哈拉数据科技有限公司 一种基于深度神经网络的特定声源检测方法与系统
KR20180130672A (ko) * 2017-05-30 2018-12-10 현대자동차주식회사 상황 기반 대화 개시 장치, 시스템, 차량 및 방법
US11178272B2 (en) * 2017-08-14 2021-11-16 Cellcontrol, Inc. Systems, methods, and devices for enforcing do not disturb functionality on mobile devices
KR102324776B1 (ko) 2017-10-16 2021-11-10 현대자동차주식회사 차량의 소음원인 진단방법
CN108445868B (zh) 2018-03-26 2020-12-29 安徽省爱夫卡电子科技有限公司 一种基于现代信号处理技术的汽车智能故障诊断系统及方法
CN108648748B (zh) * 2018-03-30 2021-07-13 沈阳工业大学 医院噪声环境下的声学事件检测方法
US10803885B1 (en) * 2018-06-29 2020-10-13 Amazon Technologies, Inc. Audio event detection
US10726830B1 (en) * 2018-09-27 2020-07-28 Amazon Technologies, Inc. Deep multi-channel acoustic modeling
KR20200041098A (ko) 2018-10-11 2020-04-21 현대자동차주식회사 파워 트레인 부품 고장 진단 방법
US11210565B2 (en) * 2018-11-30 2021-12-28 Microsoft Technology Licensing, Llc Machine learning model with depth processing units

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012018066A (ja) 2010-07-07 2012-01-26 Panasonic Electric Works Sunx Co Ltd 異常検査装置
WO2016117358A1 (ja) 2015-01-21 2016-07-28 三菱電機株式会社 検査データ処理装置および検査データ処理方法

Also Published As

Publication number Publication date
US20200193291A1 (en) 2020-06-18
JP2020095258A (ja) 2020-06-18
EP3667664A1 (en) 2020-06-17
CN111325313A (zh) 2020-06-23
KR20200075148A (ko) 2020-06-26
US11494643B2 (en) 2022-11-08

Similar Documents

Publication Publication Date Title
JP7462400B2 (ja) 問題騒音の発音源を識別するための騒音データの人工知能装置および前処理方法
Lin et al. Hyper-spherical distance discrimination: A novel data description method for aero-engine rolling bearing fault detection
Shen et al. Fault diagnosis of rotating machinery based on the statistical parameters of wavelet packet paving and a generic support vector regressive classifier
RU2669128C2 (ru) Способ и система для акустического анализа машины
CN110702411B (zh) 一种基于时频分析的残差网络滚动轴承故障诊断方法
CN102265227B (zh) 用于在机器状况监视中创建状态估计模型的方法和设备
CN108985279A (zh) 多功能车辆总线mvb波形的故障诊断方法及装置
CN111914883A (zh) 一种基于深度融合网络的主轴轴承状态评估方法及装置
US20190360942A1 (en) Information processing method, information processing apparatus, and program
Hoseinzadeh et al. Modifying the Hilbert-Huang transform using the nonlinear entropy-based features for early fault detection of ball bearings
CN112446144A (zh) 一种大型回转机组故障诊断方法及装置
CN111964909A (zh) 滚动轴承运行状态检测方法、故障诊断方法及系统
CN110398362B (zh) 一种机器人rv减速器故障诊断和定位方法
CN113705096A (zh) 基于小样本深度学习的一类冲击故障诊断
CN114755017A (zh) 一种跨域数据驱动无监督领域共享网络的变转速轴承故障诊断方法
KR102480899B1 (ko) 다채널 신호를 이용한 모터 고장 진단 방법 및 장치
Contreras-Hernandez et al. Motor fault detection using quaternion signal analysis on FPGA
Li et al. Data augmentation via variational mode reconstruction and its application in few-shot fault diagnosis of rolling bearings
CN114707534A (zh) 一种小样本数据下滚动轴承故障诊断方法
CN115931359B (zh) 一种涡轮泵轴承故障诊断方法及装置
JP2002090266A (ja) 余寿命予測装置
KR102681637B1 (ko) 문제소음 발음원 식별을 위한 소음데이터의 인공지능 장치 및 전처리 방법
Weiss et al. Designing a testing framework for transfer learning algorithms (Application Paper)
Listewnik et al. An on-line diagnostics application for evaluation of machine vibration based on standard ISO 10816-1
Tastimur et al. Defect diagnosis of rolling element bearing using deep learning

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220906

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230919

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231013

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240301

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240326

R150 Certificate of patent or registration of utility model

Ref document number: 7462400

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150