JP7153759B2 - Audio noise removal method and system - Google Patents
Audio noise removal method and system Download PDFInfo
- Publication number
- JP7153759B2 JP7153759B2 JP2021069324A JP2021069324A JP7153759B2 JP 7153759 B2 JP7153759 B2 JP 7153759B2 JP 2021069324 A JP2021069324 A JP 2021069324A JP 2021069324 A JP2021069324 A JP 2021069324A JP 7153759 B2 JP7153759 B2 JP 7153759B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- noise
- target
- algorithm
- model library
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 23
- 238000004891 communication Methods 0.000 claims description 27
- 230000009467 reduction Effects 0.000 claims description 27
- 238000012545 processing Methods 0.000 claims description 19
- 230000000694 effects Effects 0.000 claims description 14
- 230000008030 elimination Effects 0.000 claims description 9
- 238000003379 elimination reaction Methods 0.000 claims description 9
- 238000001514 detection method Methods 0.000 claims description 7
- 239000000284 extract Substances 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 claims description 5
- 230000002159 abnormal effect Effects 0.000 claims description 3
- 230000000875 corresponding effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000004807 localization Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000003993 interaction Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000010276 construction Methods 0.000 description 1
- 238000013523 data management Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000011946 reduction process Methods 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Quality & Reliability (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
Description
本願の実施例は車のインターネット及び音声処理技術に関し、特に音声ノイズ除去方法及びシステムに関する。 Embodiments of the present application relate to vehicle Internet and voice processing technology, and more particularly to voice denoising methods and systems.
自動運転車技術の発展に伴い、運転者は運転任務から徐々に解放され始めている。マンマシンインタラクション方式はこれまでに大きく変化し、音声インタラクションはその特有の利便性により、広く応用されている。 With the development of self-driving car technology, drivers are gradually being relieved of their driving duties. Man-machine interaction methods have changed greatly so far, and voice interaction has been widely applied due to its unique convenience.
自動運転車両の走行シーンは複雑で、環境ノイズが走行シーンによって大きく異なるため、現在の音声インタラクションには認識率が低く、ハードウェアコストが高く、自動運転車両の環境ノイズ除去効果が悪いなどの一連の問題があり、車両が乗客の音声指令を正確に理解できない恐れがある。 Because the driving scene of the autonomous vehicle is complex, and the environmental noise varies greatly depending on the driving scene, the current voice interaction has a series of problems such as low recognition rate, high hardware cost, and poor environmental noise removal effect of the autonomous vehicle. and the vehicle may not accurately understand the passenger's voice commands.
本願の実施例は、車内と車外のシーンによって、ノイズカットアルゴリズムの選択と取得を行い、ノイズ解消の効果を高める音声ノイズ除去方法及びシステムを提供する。 Embodiments of the present application provide an audio denoising method and system for selecting and acquiring a noise-cutting algorithm according to the scenes inside and outside the vehicle to enhance the effect of denoising.
第１の態様において、本願の実施例は、車載端末に適用される音声ノイズ除去方法であって、
自車の走行中のノイズを採集して前記ノイズの特徴情報を抽出することと、
自車のモデルライブラリに前記特徴情報にマッチングする目標ノイズカットアルゴリズムが存在しない場合、自車の走行環境と車内環境にマッチングする目標車両を特定し、前記目標車両のモデルライブラリから前記目標ノイズカットアルゴリズムを要求することと、
前記目標車両のモデルライブラリ内の目標ノイズカットアルゴリズムを受信した場合、前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行い、前記目標ノイズカットアルゴリズムを前記モデルライブラリに追加することとを含み、
前記走行環境は、位置する情報ポイントＰＯＩ、道路状況情報、道路セクション情報及び車速の少なくとも１つを含み、前記車内環境は、エンジン情報、ウィンドウ状態及び音声映像再生状態の少なくとも１つを含み、
前記モデルライブラリに、前記特徴情報と前記目標ノイズカットアルゴリズムとの対応関係が記憶されている、音声ノイズ除去方法を提供する。
In a first aspect, an embodiment of the present application is an audio noise elimination method applied to an in-vehicle terminal, comprising:
Collecting noise while the own vehicle is running and extracting characteristic information of the noise;
If there is no target noise cut algorithm that matches the feature information in the model library of the own vehicle, a target vehicle that matches the driving environment and the in-vehicle environment of the own vehicle is specified, and the target noise is removed from the model library of the target vehicle. requesting a cut algorithm;
When the target noise cut algorithm in the model library of the target vehicle is received, noise removal processing is performed on the voice of the user of the vehicle using the target noise cut algorithm, and the target noise cut algorithm is applied to the model library. adding to the library;
The driving environment includes at least one of information points POI located, road condition information, road section information and vehicle speed, and the in-vehicle environment includes at least one of engine information, window status and audiovisual playback status ;
An audio noise reduction method is provided , wherein the model library stores correspondence between the feature information and the target noise reduction algorithm .
第２の態様において、本願の実施例は、自車、目標車両及びクラウドを含む音声ノイズ除去システムであって、
前記自車は、自車の走行中のノイズを採集して前記ノイズの特徴情報を抽出し、自車のモデルライブラリに前記特徴情報にマッチングする目標ノイズカットアルゴリズムが存在しない場合、センサの採集情報と道路状況情報によって自車の走行環境を特定し、前記自車の走行環境と車内環境をクラウドに送信し、前記クラウドから前記目標ノイズカットアルゴリズムを受信し、前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行い、前記目標ノイズカットアルゴリズムを前記モデルライブラリに追加するために用いられ、
前記クラウドは、自車の走行環境と車内環境にマッチングする目標車両を特定し、前記目標車両のモデルライブラリから前記目標ノイズカットアルゴリズムを要求し、前記目標ノイズカットアルゴリズムを前記自車のモデルライブラリにリターンするために用いられ、
前記走行環境は、位置する情報ポイントＰＯＩ、道路状況情報、道路セクション情報及び車速の少なくとも１つを含み、前記車内環境は、エンジン情報、ウィンドウ状態及び音声映像再生状態の少なくとも１つを含む、音声ノイズ除去システムをさらに提供する。
In a second aspect, an embodiment of the present application is an audio denoising system including an ego vehicle, a target vehicle and a cloud, comprising:
The own vehicle collects noise while the own vehicle is running, extracts characteristic information of the noise, and collects sensors when a target noise cut algorithm matching the characteristic information does not exist in the model library of the own vehicle. Identify the driving environment of the own vehicle according to information and road condition information, transmit the driving environment of the own vehicle and the in-vehicle environment to the cloud, receive the target noise cut algorithm from the cloud, and use the target noise cut algorithm Used to perform noise removal processing on the voice of the vehicle user and add the target noise reduction algorithm to the model library,
The cloud identifies a target vehicle that matches the driving environment and the in-vehicle environment of the vehicle, requests the target noise-cutting algorithm from the model library of the target vehicle, and applies the target noise-cutting algorithm to the model of the vehicle. used to return to the library,
The driving environment includes at least one of information points POI located, road condition information, road section information and vehicle speed, and the in-vehicle environment includes at least one of engine information, window status and audiovisual playback status. A noise reduction system is further provided.
第３の態様において、本願の実施例は、自車と、前記自車とは設定距離範囲内にある少なくとも１台の候補車両とを含む音声ノイズ除去システムであって、
前記自車は、自車の走行中のノイズを採集して前記ノイズの特徴情報を抽出し、自車のモデルライブラリに前記特徴情報にマッチングする目標ノイズカットアルゴリズムが存在しない場合、前記候補車両と通信接続を確立し、前記通信接続に基づいて前記候補車両の走行環境及び車内環境を取得し、前記候補車両から走行環境及び車内環境が自車とマッチングする目標車両を特定し、前記目標車両との間の通信接続に基づいて、前記目標車両のモデルライブラリから前記目標ノイズカットアルゴリズムを要求し、前記目標車両から送信された前記目標ノイズカットアルゴリズムを受信する場合、前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行い、前記目標ノイズカットアルゴリズムを前記モデルライブラリに追加するために用いられ、
前記候補車両は、前記自車と通信接続を確立して、前記通信接続に基づいて前記自車に走行環境及び車内環境と、前記目標ノイズカットアルゴリズムを送信するために用いられ、
前記走行環境は、位置する情報ポイントＰＯＩ、道路状況情報、道路セクション情報及び車速の少なくとも１つを含み、前記車内環境は、エンジン情報、ウィンドウ状態及び音声映像再生状態の少なくとも１つを含む、音声ノイズ除去システムをさらに提供する。
In a third aspect, an embodiment of the present application is an audio denoising system including an own vehicle and at least one candidate vehicle within a set distance of the own vehicle, wherein:
The own vehicle collects noise while the own vehicle is running, extracts characteristic information of the noise, and if there is no target noise cut algorithm that matches the characteristic information in the model library of the own vehicle, the candidate vehicle establishes a communication connection with the target vehicle, acquires the driving environment and the vehicle interior environment of the candidate vehicle based on the communication connection, identifies a target vehicle from the candidate vehicle whose driving environment and the vehicle interior environment match the own vehicle, and requesting the target noise-cutting algorithm from the target vehicle 's model library and receiving the target noise-cutting algorithm transmitted from the target vehicle based on a communication connection between used to perform noise removal processing on the voice of the vehicle user and add the target noise reduction algorithm to the model library,
The candidate vehicle is used to establish a communication connection with the own vehicle and transmit the driving environment and the in-vehicle environment and the target noise cut algorithm to the own vehicle based on the communication connection,
The driving environment includes at least one of information points POI located, road condition information, road section information and vehicle speed, and the in-vehicle environment includes at least one of engine information, window status and audiovisual playback status. A noise reduction system is further provided.
本願の実施例では、目標ノイズカットアルゴリズムと特徴情報をモデルライブラリに記憶することにより、車両の計算資源を節約し、運行速度を速めさせ、また、アルゴリズムと特徴情報のマッチングによって、既存のアルゴリズムを直接に呼び出してノイズ解消を行うことができ、車両のノイズカット集音設備を省略し、コストを低減することができ、自車のモデルライブラリに前記特徴情報にマッチングする目標ノイズカットアルゴリズムが存在しない場合、自車の走行環境と車内環境にマッチングする目標車両のモデルライブラリから目標ノイズカットアルゴリズムを要求することにより、走行環境と車内環境にマッチングする際、ノイズも類似するという特徴に基づいて、ノイズカットアルゴリズムの選択と取得を行い、ノイズ解消効果を向上させる。 In the embodiment of the present application, the target noise reduction algorithm and feature information are stored in the model library to save the computational resources of the vehicle and speed up the running speed. can be called directly to eliminate noise, the vehicle 's noise-cut sound collection equipment can be omitted, and the cost can be reduced. If it does not exist, by requesting the target noise cut algorithm from the model library of the target vehicle that matches the driving environment and the in-vehicle environment of the own vehicle, it is based on the feature that the noise is similar when matching the driving environment and the in-vehicle environment. to select and acquire the noise cut algorithm to improve the noise reduction effect.
以下、図面と実施例を参照しながら本願を詳細に説明する。理解されるように、ここで説明される具体的な実施例は、本願を解釈するためのものに過ぎず、本発明に対する限定ではない。なお、説明の便宜上、図面においては、本発明に関連する一部のみを示しており、全ての構造を示すものではない。 The present application will now be described in detail with reference to the drawings and examples. It should be understood that the specific examples described herein are for the purpose of interpreting the application only and are not limitations on the invention. For convenience of explanation, the drawings show only a part related to the present invention, and do not show the entire structure.
本願の実施例は、第１種の音声ノイズ除去方法を提供し、そのフローチャートは図１に示すように、車両走行中に車内のユーザの音声をノイズ除去する場合に適用できる。当該方法は音声ノイズ除去デバイスによって実行されてもよく、当該装置はソフトウェア及び／又はハードウェアで構成されてもよく、かつ一般的に車載端末に集積される。 The embodiment of the present application provides a first kind of voice noise elimination method, the flow chart of which is applicable to noise elimination of the user's voice in the vehicle while the vehicle is running, as shown in FIG. The method may be performed by an audio denoising device, which may consist of software and/or hardware and is typically integrated into the vehicle terminal.
図１に示すように、本実施例に係る方法は具体的に以下のステップを含む。
Ｓ１１０、自車の走行中のノイズを採集して前記ノイズの特徴情報を抽出する。
具体的には、シーンノイズ集音設備により車両の走行中のノイズを採集する。ノイズは走行環境によってもたらされる可能性があり、車内環境によってもたらされる可能性もある。
As shown in FIG. 1, the method according to this embodiment specifically includes the following steps.
S110, collecting the noise while the vehicle is running and extracting the characteristic information of the noise.
Specifically, the noise while the vehicle is running is collected by scene noise collection equipment. The noise can be caused by the driving environment and can also be caused by the vehicle interior environment.
その後、採集されたノイズに対してデータ処理を行い、当該ノイズの特徴情報、例えばスペクトル特徴を抽出する。 Thereafter, data processing is performed on the collected noise to extract feature information of the noise, such as spectral features.
好ましくは、シーンノイズ集音設備によって、車載ネットワーク又はブルートゥース（登録商標）モジュールを介してノイズを特徴抽出モジュールに伝送することで、特徴抽出モジュールによって、前記ノイズの特徴情報を抽出する。 Preferably, the noise is transmitted to the feature extraction module through an in-vehicle network or a Bluetooth(R) module by the scene noise collection equipment, and the feature extraction module extracts the feature information of the noise.
Ｓ１２０、自車のモデルライブラリに特徴情報にマッチングする目標ノイズカットアルゴリズムが存在するかどうかを判断し、存在する場合、Ｓ１３０に移行し、存在しない場合、Ｓ１４０に移行する。 S120, it is determined whether or not there is a target noise reduction algorithm that matches the feature information in the model library of the own vehicle.
ここで、自車も目標車両もモデルライブラリを有し、モデルライブラリには特徴情報とノイズカットアルゴリズムとの対応関係が記憶されている。以下、モデルライブラリにおける構築プロセスを詳細に説明する。 Here, both the own vehicle and the target vehicle have a model library, and the model library stores the correspondence relationship between the feature information and the noise cut algorithm. The construction process in the model library is described in detail below.
ステップ１：シーンノイズ集音設備により異なる走行環境と車内環境でのノイズを採集する。
シーンノイズ集音設備は具体的には車載ノイズ採集モジュールであり、採集したノイズをシーンノイズ採集記憶モジュールに記憶して、シーンノイズデータ管理システムの原始シーン記憶モジュールにアップロードする。
Step 1: Acquire noise in different driving environments and in-vehicle environments with scene noise collection equipment.
The scene noise collection equipment is specifically an in-vehicle noise collection module, which stores the collected noise in the scene noise collection and storage module and uploads it to the original scene storage module of the scene noise data management system.
ステップ２：採集された各ノイズに対してデータ処理を行って特徴情報を抽出する。好ましくは、ウェーブレット変換を連続に行うことにより、当該ノイズの特徴情報を得る。 Step 2: Perform data processing on each collected noise to extract feature information. Preferably, the feature information of the noise is obtained by successively performing wavelet transform.
ステップ３：抽出したノイズの特徴情報を分類してシーンノイズライブラリを構築し、各種類の特徴情報に対応するノイズカットアルゴリズムをノイズカットアルゴリズムライブラリに記憶する。すなわち、シーンノイズライブラリとノイズカットアルゴリズムライブラリは共同でモデルライブラリを構成する。 Step 3: Classify the extracted noise feature information to build a scene noise library, and store noise cut algorithms corresponding to each type of feature information in the noise cut algorithm library. That is , the scene noise library and the noise cut algorithm library jointly constitute a model library.
好ましくは、自車のモデルライブラリに特徴情報とマッチングする目標ノイズカットアルゴリズムが存在するかどうかを判断することは、特徴情報をシーンノイズライブラリにおいて比較することを含む。シーンノイズライブラリにマッチングする特徴情報がある場合、対応するノイズカットアルゴリズムにより自車ユーザの音声に対してノイズ除去処理を行う。その後、ノイズ除去処理後の音声に応答することにより、ユーザ指令を実行する。 Preferably, determining whether there is a target noise cutting algorithm matching the feature information in the model library of the ego vehicle includes comparing the feature information in the scene noise library . If there is matching feature information in the scene noise library, the corresponding noise cut algorithm is used to remove noise from the user's voice. After that, the user command is executed by responding to the noise-removed voice.
Ｓ１３０、前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行う。今回の操作を終了する。 S130, noise removal processing is performed on the voice of the vehicle user using the target noise reduction algorithm. Finish this operation.
Ｓ１４０、自車の走行環境と車内環境にマッチングする目標車両を特定し、前記目標車両のモデルライブラリから前記目標ノイズカットアルゴリズムを要求する。Ｓ１５０を実行し続ける。 S140, identify a target vehicle that matches the driving environment and interior environment of the own vehicle, and request the target noise reduction algorithm from the model library of the target vehicle. Continue executing S150.
具体的に、走行環境は、位置する情報ポイント（Ｐｏｉｎｔ ｏｆ Ｉｎｆｏｒｍａｔｉｏｎ，ＰＯＩ）、道路状況情報、道路セクション情報及び車速の少なくとも１つを含み、前記車内環境は、エンジン情報、ウィンドウ状態及び音声映像再生状態の少なくとも１つを含む。 Specifically, the driving environment includes at least one of a point of information (POI) located, road condition information, road section information and vehicle speed, and the in-vehicle environment includes engine information, window status and audio/video playback. including at least one of the states.
ここで、自車は駐車場、病院、学校、公園などの異なるＰＯＩにある場合にノイズが異なり、渋滞、ピッチング、順調などの道路状況でノイズが異なり、高速、農村小路、国道などの異なる道路セクションでノイズが異なり、車速が異なる場合にノイズも異なる。一方、自車のエンジン型番、コールドスタート状態、ウィンドウの開閉、音声映像が再生するかどうか及び音量等の違いでノイズも顕著に異なる。しかしながら、同じ走行環境と車内環境にある車両のノイズは類似し、そこで、走行環境と車内環境に応じて適切な目標車両を選択することができる。目標車両では、目標ノイズカットモデルを用いてノイズカットを行われている確率が高い、又はノイズカットを行わなくても、そのモデルライブラリに目標ノイズカットアルゴリズムを含む可能性が高い。 Here, the noise is different when the vehicle is located at different POIs such as parking lots, hospitals, schools, parks, etc., the noise is different depending on the road conditions such as congestion, pitching, smoothness, etc. The noise is different in the section, and the noise is also different when the vehicle speed is different. On the other hand, the noise is significantly different depending on the model number of the engine of the own vehicle, the cold start state, the opening and closing of the window, whether or not the audio/video is reproduced, the volume, and the like. However, the noise of vehicles in the same driving environment and the vehicle interior environment are similar, so a suitable target vehicle can be selected according to the driving environment and the vehicle interior environment. The target vehicle is likely to have been noise cut using the target noise cut model, or likely to include the target noise cut algorithm in its model library even if noise cut is not performed.
前記目標車両のモデルライブラリから前記目標ノイズカットアルゴリズムを要求する具体的な実施形態を下述の実施例で説明する。 A specific embodiment of requesting the target noise-cutting algorithm from the target vehicle 's model library is described in the example below.
Ｓ１５０、前記目標車両のモデルライブラリにおける目標ノイズカットアルゴリズムを受信したかどうかを判断する。ＹＥＳであれば、Ｓ１６０に移行し、ＮＯであれば、Ｓ１７０に移行する。 S150, determine whether a target noise reduction algorithm in the target vehicle model library has been received. If YES, the process proceeds to S160, and if NO, the process proceeds to S170.
Ｓ１６０、前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行い、前記目標ノイズカットアルゴリズムを前記モデルライブラリに追加する。今回の操作を終了する。 S160, performing noise removal processing on the voice of the vehicle user using the target noise cut algorithm, and adding the target noise cut algorithm to the model library. Finish this operation.
目標車両のモデルライブラリに目標ノイズカットアルゴリズムが存在する場合、自車は目標車両から送信された目標ノイズカットアルゴリズムを受信する。さらに、ノイズ除去処理と同時にモデルライブラリを更新する。 If the target noise-cutting algorithm exists in the target vehicle 's model library, the host vehicle receives the target noise-cutting algorithm transmitted from the target vehicle. Furthermore, the model library is updated at the same time as the noise removal process.
Ｓ１７０、クラウドに前記目標ノイズカットアルゴリズムを要求する。ここで、目標ノイズカットアルゴリズムは、予めクラウドに記憶される、又は前記クラウドを介して前記ノイズの特徴情報をノイズ解消して得る。 S170, request the target noise-cutting algorithm from the cloud; Here, the target noise cut algorithm is stored in the cloud in advance, or obtained by denoising the feature information of the noise through the cloud.
目標車両のモデルライブラリに目標ノイズカットアルゴリズムが存在しない場合、目標車両のモデルライブラリにおける目標ノイズカットアルゴリズムを受信しない。そこで、ノイズカット処理が円滑に進行されることを保証するために、自車はクラウドのアップロードモジュールを介して、採集したノイズの特徴情報と定位情報をクラウドにアップロードする。さらに、自車は目標車両の定位情報を要求して、目標車両の定位情報をクラウドに一括でアップロードする。 If the target noise-cutting algorithm does not exist in the target vehicle 's model library , then the target noise-cutting algorithm in the target vehicle's model library is not received. Therefore, in order to ensure that the noise reduction process proceeds smoothly, the own vehicle uploads the collected noise feature information and localization information to the cloud through the upload module of the cloud. In addition, the own vehicle requests the localization information of the target vehicle, and batch uploads the localization information of the target vehicle to the cloud.
クラウドは採集されたノイズの特徴情報をクラウドシーンノイズライブラリで比較し、ここで、クラウドシーンノイズライブラリに複数の種類のノイズの特徴情報が記憶される。マッチングする特徴情報が存在する場合、自車と目標車両の定位情報によって、対応する目標ノイズカットアルゴリズムを自車と目標車両のモデルライブラリにリターンする。マッチングする特徴情報が存在しない場合、クラウドは前記ノイズの特徴情報にノイズ解消を行い、目標ノイズカットアルゴリズムを得、自車と目標車両の定位情報によって、前記目標ノイズカットアルゴリズムを前記自車と目標車両のモデルライブラリにリターンする。 The cloud compares the collected noise feature information with a cloud scene noise library, where multiple types of noise feature information are stored in the cloud scene noise library. If there is matching feature information, according to the localization information of the host vehicle and the target vehicle, return the corresponding target noise-cutting algorithms to the model libraries of the host vehicle and the target vehicle. If there is no matching feature information, the cloud performs denoising on the feature information of the noise to obtain a target noise-cutting algorithm; Return to the vehicle 's model library.
Ｓ１８０、前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行い、前記クラウドによって前記目標ノイズカットアルゴリズムを前記自車と前記目標車両のモデルライブラリに追加する。 S180, using the target noise-cutting algorithm to denoise the voice of the user of the own vehicle, and adding the target noise-cutting algorithm to the model libraries of the own vehicle and the target vehicle by the cloud;
本願の実施例では、目標ノイズカットアルゴリズムと特徴情報をモデルライブラリに記憶することにより、車両の計算資源を節約し、運行速度を速めさせ、また、アルゴリズムと特徴情報のマッチングによって既存のアルゴリズムを直接呼び出してノイズ解消を行うことができ、車両のノイズカット集音設備を省略し、コストを低減することができ、自車のモデルライブラリに前記特徴情報にマッチングする目標ノイズカットアルゴリズムが存在しない場合、自車の走行環境と車内環境にマッチングする目標車両のモデルライブラリから目標ノイズカットアルゴリズムを要求することにより、走行環境と車内環境にマッチングする際に、ノイズも類似するという特徴に応じて、ノイズカットアルゴリズムの選択と取得を行い、ノイズ解消効果を向上させる。 In the embodiment of the present application, the target noise reduction algorithm and feature information are stored in the model library to save the computational resources of the vehicle and speed up the running speed. It can be called directly to eliminate noise, omit the noise-cut sound collection equipment of the vehicle, and reduce the cost, and there is no target noise-cut algorithm that matches the feature information in the model library of the own vehicle. In this case, by requesting a target noise reduction algorithm from the target vehicle model library that matches the driving environment and the in-vehicle environment of the own vehicle, according to the feature that the noise is similar when matching the driving environment and the in-vehicle environment. , to select and acquire the noise-cutting algorithm to improve the noise reduction effect.
上述の実施例及び下述の実施例では、自車の走行環境と車内環境にマッチングする目標車両を特定して、前記目標車両のモデルライブラリから前記目標ノイズカットアルゴリズムを要求することには、以下の２種類の選択可能な実施形態を含む。 In the above-described embodiment and the following embodiment, specifying a target vehicle that matches the driving environment and the in-vehicle environment of the own vehicle and requesting the target noise cut algorithm from the model library of the target vehicle includes: It includes the following two alternative embodiments.
第１種の選択可能な実施形態（クラウドを介して特定する）は以下のとおりである。センサの採集情報及び道路状況情報によって自車の走行環境を特定し、前記自車の走行環境と車内環境をクラウドに送信することにより、前記クラウドは自車の走行環境と車内環境にマッチングする目標車両を特定して、前記目標車両のモデルライブラリから前記目標ノイズカットアルゴリズムを要求し、前記目標ノイズカットアルゴリズムを前記自車のモデルライブラリにリターンする。 A first type of optional embodiment (identified via the cloud) is as follows. The driving environment of the own vehicle is specified based on the information collected by the sensors and the road condition information, and the driving environment of the own vehicle and the environment inside the vehicle are transmitted to the cloud so that the cloud can match the environment between the driving environment of the own vehicle and the environment inside the vehicle. Identifying a vehicle, requesting the target noise-cutting algorithm from the target vehicle 's model library and returning the target noise-cutting algorithm to the own vehicle's model library.
ここで、センサはカメラ、車載レーダ及び慣性航法システムを含むが、それらに限定されない。渋滞、ピッチング、順調などの道路状況情報は車載の高精細な地図を介して得られる。採集情報及び道路状況情報を統合して自車の走行環境を得る。車内環境はＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）バスから対応する信号を読み込んで得られる。 Here, sensors include, but are not limited to cameras, on-board radars and inertial navigation systems. Road condition information such as congestion, pitching, smoothness, etc. can be obtained via a high-definition map mounted on the vehicle. The driving environment of the own vehicle is obtained by integrating collected information and road condition information. The in-vehicle environment is obtained by reading corresponding signals from a CAN (Controller Area Network) bus.
クラウドは全ての車両の走行環境及び車内環境をリアルタイムに取得し、自車の走行環境と車内環境にマッチングする目標車両を特定し、且つ前記目標車両のモデルライブラリから前記目標ノイズカットアルゴリズムを要求し、前記目標ノイズカットアルゴリズムを前記自車のモデルライブラリにリターンする。 The cloud acquires the driving environment and interior environment of all vehicles in real time, identifies a target vehicle that matches the driving environment and interior environment of the own vehicle, and requests the target noise reduction algorithm from the model library of the target vehicle. and returns the target noise cut algorithm to the own vehicle 's model library.
第２種の選択可能な実施形態（ポイントツーポイント特定）は以下のとおりである。前記自車とは設定距離範囲内にある少なくとも１台の候補車両を探索し、各前記候補車両と通信接続を確立し、前記通信接続に基づいて各前記候補車両の車内環境を取得し、各前記候補車両の中から、車内環境が自車とマッチングする目標車両を特定し、前記目標車両との通信接続に基づいて、前記目標車両のモデルライブラリから前記目標ノイズカットアルゴリズムを要求する。 A second alternative embodiment (point-to-point specific) is as follows. searching for at least one candidate vehicle within a set distance range from the subject vehicle, establishing a communication connection with each of the candidate vehicles, acquiring an in-vehicle environment of each of the candidate vehicles based on the communication connection, A target vehicle whose in-vehicle environment matches that of the own vehicle is specified from among the candidate vehicles, and the target noise cut algorithm is requested from the model library of the target vehicle based on the communication connection with the target vehicle.
設定距離範囲は通信接続の距離範囲によって特定することができ、通信接続はＷＩＦＩとブルートゥースに限定されず、設定距離範囲は例えば１０メートル又は２０メートルである。説明と区分の便宜上、自車の設定距離範囲内にある車両を候補車両と呼ぶ。距離が近いので、候補車両の走行環境は自車と類似する。これにより、走行環境のマッチングが必要ない。 The set distance range can be specified by the distance range of the communication connection, the communication connection is not limited to WIFI and Bluetooth, and the set distance range is, for example, 10 meters or 20 meters. For convenience of description and classification, vehicles within the set distance range of the own vehicle are called candidate vehicles. Since the distance is short, the driving environment of the candidate vehicle is similar to that of the own vehicle. This eliminates the need for running environment matching.
各候補車両と通信接続を確立した後、前記通信接続に基づいて各候補車両に車内環境の要求情報を送信する。各候補車両は、要求情報に応答し、ＣＡＮ信号から車内環境を得て、通信接続に基づいて自車にリターンする。さらに、自車は各候補車両の中から、車内環境が自車とマッチングする目標車両を特定し、前記目標車両との通信接続に基づいて、前記目標車両のモデルライブラリから前記目標ノイズカットアルゴリズムを要求する。 After establishing a communication connection with each candidate vehicle, the request information of the in-vehicle environment is transmitted to each candidate vehicle based on the communication connection. Each candidate vehicle responds to the requested information, obtains the in-vehicle environment from the CAN signal, and returns to its own vehicle based on the communication connection. Further, the own vehicle identifies a target vehicle whose in-vehicle environment matches the own vehicle from among the candidate vehicles, and based on the communication connection with the target vehicle, the target noise cut algorithm from the model library of the target vehicle request.
上述の実施例と下述の実施例では、前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行った後、ノイズ除去処理を行った後の音声のＳＮ比及び／又は前記自車ユーザの評価情報によって、前記目標ノイズカットアルゴリズムのノイズカット効果を特定することと、前記ノイズカット効果が要求を満たす場合、目標車両に前記目標ノイズカットアルゴリズムのプッシュメッセージを送信することとをさらに含み、前記プッシュメッセージは前記目標車両の現在のノイズカットアルゴリズムを前記目標ノイズカットアルゴリズムに切り替えるようにトリガするために用いられる。 In the above-described embodiment and the following embodiment, after performing noise removal processing on the voice of the vehicle user using the target noise cut algorithm, the SN ratio of the voice after performing the noise removal processing and /or identifying the noise-cutting effect of the target noise-cutting algorithm according to the evaluation information of the vehicle user; and sending a push message of the target noise-cutting algorithm to the target vehicle when the noise-cutting effect meets the requirements. and wherein the push message is used to trigger switching of the target vehicle's current noise-cutting algorithm to the target noise-cutting algorithm.
図１を参照すると、ここでの目標ノイズカットアルゴリズムは、自車のモデルライブラリ、目標車両のモデルライブラリにある、又はクラウドに由来するものである。これに基づいて、Ｓ１３０、Ｓ１６０及びＳ１８０の後、ノイズ除去処理を行った後の音声のＳＮ比及び／又は前記自車ユーザの評価情報によって、前記目標ノイズカットアルゴリズムのノイズカット効果を特定する。 Referring to FIG. 1, the target noise-cutting algorithm here is in the own vehicle 's model library, the target vehicle 's model library, or originates from the cloud. Based on this, after S130, S160 and S180, the noise reduction effect of the target noise reduction algorithm is specified by the SN ratio of the voice after the noise removal processing and/or the evaluation information of the vehicle user. .
具体的には、ノイズ除去後の音声のＳＮ比を算出し、例示的に、ＳＮ比が設定閾値を超える場合、目標ノイズカットアルゴリズムのノイズカット効果が優れていると判断し、ＳＮ比が設定閾値を超えない場合、目標ノイズカットアルゴリズムのノイズカット効果が悪いと判断する。ユーザが車載端末を介して入力した評価情報、例えば評価点数を受信する評価点数によって、目標ノイズカットアルゴリズムのノイズカット効果が優れているか悪いかを特定する。ノイズカット効果が優れていれば、要求を満たし、目標車両に前記目標ノイズカットアルゴリズムのプッシュメッセージを送信する。目標車両は、プッシュメッセージに応答し、現在のノイズカットアルゴリズムを前記目標ノイズカットアルゴリズムに切り替える。目標車両の現在のノイズカットアルゴリズムが目標ノイズカットアルゴリズムである場合、目標ノイズカットアルゴリズムを維持すればよい。 Specifically, the SN ratio of the voice after noise removal is calculated, and exemplarily, when the SN ratio exceeds the set threshold, it is determined that the noise cut effect of the target noise cut algorithm is excellent, and the SN ratio is set If the threshold is not exceeded, it is determined that the noise cut effect of the target noise cut algorithm is poor. Whether the noise reduction effect of the target noise reduction algorithm is good or bad is specified by the evaluation information input by the user via the in-vehicle terminal, for example, the evaluation score received. If the noise-cutting effect is good, it satisfies the requirement and sends a push message of said target noise-cutting algorithm to the target vehicle. The target vehicle responds to the push message by switching its current noise-cutting algorithm to said target noise-cutting algorithm. If the target vehicle's current noise-cutting algorithm is the target noise-cutting algorithm, then the target noise-cutting algorithm may be maintained.
本実施例は目標ノイズカットアルゴリズムのプッシュ効果を特定することによって、目標ノイズカットアルゴリズムに自動的に切り替え、ユーザに感知させない。 The present embodiment automatically switches to the target noise-cutting algorithm by specifying the push effect of the target noise-cutting algorithm and does not make the user perceive it.
上述の実施形態では、前記方法は、周期的に前記クラウドにモデルライブラリのバージョン検出要求を送信することにより、前記クラウドは前記バージョン検出要求に応答し、前記モデルライブラリのバージョンが最新バージョンではないことを検出した場合、前記車載端末に最新バージョンのダウンロードパスをリターンすることと、前記ダウンロードパスに基づいてアップグレードパッケージをダウンロードすることと、前記アップグレードパッケージを実行し、前記モデルライブラリのバージョンを前記最新バージョンにアップグレードすることとをさらに含む。 In the above embodiments, the method periodically sends a model library version detection request to the cloud, so that the cloud responds to the version detection request, and the model library version is the latest version. returning a download path of the latest version to the in-vehicle terminal; downloading an upgrade package according to the download path; executing the upgrade package; Upgrading a version to said latest version.
好ましくは、クラウドは、自車から送信されたモデルライブラリのバージョン検出要求に応答し、前記モデルライブラリのバージョンが最新バージョンではないことを検出した場合、前記自車に最新バージョンのダウンロードパスをリターンし、自車の任務の実行プログレスをリアルタイムで追跡し、任務実行状態が異常であることを発見した場合、対応する処理を行う。例えば、設定時間の間隔を置いた後、最新バージョンのダウンロードパスを再配布する、又は運営・メンテナンス人員にエラーを報告する。 Preferably, when the cloud responds to a model library version detection request sent from the own vehicle and detects that the version of the model library is not the latest version, the download path of the latest version to the own vehicle. to track the progress of the own vehicle's task execution in real time, and if it finds that the task execution status is abnormal, it will take corresponding action. For example, after a set time interval, redistribute the download path for the latest version, or report the error to operation/maintenance personnel.
説明すべきものとして、上述の方法は周期的な操作であり、自車の走行中に操作することができ、自車が静止する時に操作することもできる。周期的にモデルライブラリのバージョンをアップグレードすることにより、多くの場合直接モデルライブラリを介して音声ノイズカットを行うことができ、コストを低減させる。 It should be noted that the above method is a cyclical operation and can be operated while the ego vehicle is moving, and can also be operated when the ego vehicle is stationary. By periodically upgrading the version of the model library, in many cases the audio noise cut can be done directly through the model library, reducing the cost.
図２は本願の実施例に係る音声ノイズ除去システムの構造模式図であり、自車、目標車両及びクラウドを含む。 FIG. 2 is a structural schematic diagram of an audio denoising system according to an embodiment of the present application, including an own vehicle, a target vehicle and a cloud.
自車は、自車の走行中のノイズを採集して前記ノイズの特徴情報を抽出し、自車のモデルライブラリに前記特徴情報にマッチングする目標ノイズカットアルゴリズムが存在しない場合、センサの採集情報と道路状況情報によって自車の走行環境を特定し、前記自車の走行環境と車内環境をクラウドに送信し、前記クラウドから前記目標ノイズカットアルゴリズムを受信し、前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行い、前記目標ノイズカットアルゴリズムを前記モデルライブラリに追加するために用いられる。 The own vehicle collects noise while the own vehicle is running, extracts feature information of the noise, and if there is no target noise cut algorithm matching the feature information in the model library of the own vehicle, collects sensor information. and road condition information to identify the driving environment of the own vehicle, transmit the driving environment of the own vehicle and the in-vehicle environment to the cloud, receive the target noise cut algorithm from the cloud, and use the target noise cut algorithm to automatically It is used to denoise the car user's voice and add the target noise-cutting algorithm to the model library.
前記クラウドは自車の走行環境と車内環境にマッチングする目標車両を特定して、前記目標車両のモデルライブラリから前記目標ノイズカットアルゴリズムを要求し、前記目標ノイズカットアルゴリズムを前記自車のモデルライブラリにリターンするために用いられる。 The cloud identifies a target vehicle that matches the driving environment and interior environment of the vehicle, requests the target noise reduction algorithm from the model library of the target vehicle, and applies the target noise reduction algorithm to the model of the vehicle. Used to return to the library.
前記走行環境は、位置する情報ポイントＰＯＩ、道路状況情報、道路セクション情報及び車速の少なくとも１つを含み、前記車内環境は、エンジン情報、ウィンドウ状態及び音声映像再生状態の少なくとも１つを含む。 The driving environment includes at least one of information points POI located, road condition information, road section information and vehicle speed, and the in-vehicle environment includes at least one of engine information, window status and audiovisual playback status.
好ましくは、前記クラウドは前記ノイズの特徴情報にノイズ解消を行い、目標ノイズカットアルゴリズムを得、前記目標ノイズカットアルゴリズムを前記自車と目標車両のモデルライブラリにリターンするために用いられる。 Preferably, the cloud is used to denoise the noise feature information to obtain a target noise-cutting algorithm and return the target noise-cutting algorithm to the own and target vehicle model libraries.
好ましくは、前記クラウドは、自車から送信されたモデルライブラリのバージョン検出要求に応答し、前記モデルライブラリのバージョンが最新バージョンではないことを検出した場合、前記自車に最新バージョンのダウンロードパスをリターンし、自車の任務の実行プログレスをリアルタイムで追跡し、任務実行状態が異常であることを発見した場合、対応する処理を行うために用いられる。 Preferably, the cloud responds to a model library version detection request sent from the own vehicle, and when detecting that the version of the model library is not the latest version, downloads the latest version to the own vehicle. It is used to return the path, track the progress of the own vehicle's mission execution in real time, and take corresponding actions when it finds that the mission execution status is abnormal.
図３は本願の実施例に係る他の音声ノイズ除去システムの構造模式図であり、自車と、前記自車とは設定距離範囲内にある少なくとも１台の候補車両とを含む。図３では自車と４台の候補車両は同じ方向の３つの車道に走行している。 FIG. 3 is a structural schematic diagram of another audio denoising system according to an embodiment of the present application, including an own vehicle and at least one candidate vehicle within a set distance range from the own vehicle. In FIG. 3, the own vehicle and four candidate vehicles are traveling on three roads in the same direction.
前記自車は、自車の走行中のノイズを採集して、前記ノイズの特徴情報を抽出するために用いられ、自車のモデルライブラリに前記特徴情報にマッチングする目標ノイズカットアルゴリズムが存在しない場合、前記候補車両と通信接続を確立し、前記通信接続に基づいて前記候補車両の車内環境を取得して、前記候補車両から車内環境が自車とマッチングする目標車両を特定し、前記目標車両との間の通信接続に基づいて、前記目標車両のモデルライブラリから前記目標ノイズカットアルゴリズムを要求し、前記目標車両から送信された前記目標ノイズカットアルゴリズムを受信した場合、前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行い、前記目標ノイズカットアルゴリズムを前記モデルライブラリに追加する。 The own vehicle is used to collect noise while the own vehicle is running and extract feature information of the noise, and there is no target noise cut algorithm matching the feature information in the model library of the own vehicle. establishing a communication connection with the candidate vehicle; acquiring the in-vehicle environment of the candidate vehicle based on the communication connection; requesting the target noise-cutting algorithm from the target vehicle 's model library based on a communication connection between and, upon receiving the target noise-cutting algorithm transmitted from the target vehicle, executing the target noise-cutting algorithm is used to perform noise removal processing on the voice of the vehicle user, and the target noise reduction algorithm is added to the model library.
前記候補車両は、前記自車と通信接続を確立して、前記通信接続に基づいて前記自車に車内環境及び前記目標ノイズカットアルゴリズムを送信するために用いられる。
前記走行環境は、位置する情報ポイントＰＯＩ、道路状況情報、道路セクション情報及び車速の少なくとも１つを含み、前記車内環境は、エンジン情報、ウィンドウ状態及び音声映像再生状態の少なくとも１つを含む。
The candidate vehicle is used to establish a communication connection with the own vehicle and transmit the vehicle interior environment and the target noise-cutting algorithm to the own vehicle based on the communication connection.
The driving environment includes at least one of information points POI located, road condition information, road section information and vehicle speed, and the in-vehicle environment includes at least one of engine information, window status and audiovisual playback status.
上述の音声ノイズ除去システムの説明は上述の各実施例の説明を参照することができるため、ここでは説明を省略する。 Since the description of the above-described audio noise elimination system can be referred to the description of each of the above-described embodiments, the description is omitted here.
なお、上述したのは本願の好ましい実施例及び運用される技術原理に過ぎず、当業者であれば理解されるように、本願はここで述べた特定する実施例に限定されるものではなく、当業者であれば本願の保護範囲から逸脱することなく、様々な明らかな変化、再調整及び代替を行うことができる。したがって、上記実施例によって本願をより詳細に説明したが、本願は上記実施例に限定されるものではなく、本願の構想から逸脱することなく、さらに多くの他の等価実施例を含むことができ、本願の保護範囲は添付する特許請求の範囲によって決定される。 It should be noted that the above are only preferred embodiments and operating technical principles of the present application, and those skilled in the art will appreciate that the present application is not limited to the specific embodiments described herein, Various obvious changes, rearrangements and substitutions can be made by those skilled in the art without departing from the scope of protection of the present application. Thus, although the application has been described in more detail with the examples above, the application is not limited to the examples, and can include many other equivalent examples without departing from the concept of the application. , the scope of protection of the present application is determined by the appended claims.
Claims (10)
自車の走行中のノイズを採集し、前記ノイズの特徴情報を抽出することと、
自車のモデルライブラリに前記特徴情報にマッチングする目標ノイズカットアルゴリズムが存在しない場合、自車の走行環境と車内環境にマッチングする目標車両を特定し、前記目標車両のモデルライブラリから前記目標ノイズカットアルゴリズムを要求することと、
前記目標車両のモデルライブラリ内の目標ノイズカットアルゴリズムを受信した場合、前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行い、前記目標ノイズカットアルゴリズムを前記モデルライブラリに追加することとを含み、
前記走行環境は、位置する情報ポイントＰＯＩ、道路状況情報、道路セクション情報及び車速の少なくとも１つを含み、前記車内環境は、エンジン情報、ウィンドウ状態及び音声映像再生状態の少なくとも１つを含み、
前記モデルライブラリに、前記特徴情報と前記目標ノイズカットアルゴリズムとの対応関係が記憶されている、
ことを特徴とする音声ノイズ除去方法。 A voice noise removal method applied to an in-vehicle terminal,
Collecting noise while the vehicle is running and extracting characteristic information of the noise;
If there is no target noise cut algorithm that matches the feature information in the model library of the own vehicle, a target vehicle that matches the driving environment and the in-vehicle environment of the own vehicle is specified, and the target noise is removed from the model library of the target vehicle. requesting a cut algorithm;
When the target noise cut algorithm in the model library of the target vehicle is received, noise removal processing is performed on the voice of the user of the vehicle using the target noise cut algorithm, and the target noise cut algorithm is applied to the model library. adding to the library;
The driving environment includes at least one of information points POI located, road condition information, road section information and vehicle speed, and the in-vehicle environment includes at least one of engine information, window status and audiovisual playback status ;
A correspondence relationship between the feature information and the target noise cut algorithm is stored in the model library .
An audio noise removal method characterized by:
前記目標車両のモデルライブラリに前記目標ノイズカットアルゴリズムが存在しない場合、前記目標ノイズカットアルゴリズムをクラウドに要求することと、
前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行い、前記クラウドを介して前記目標ノイズカットアルゴリズムを前記自車と前記目標車両のモデルライブラリに追加することとをさらに含み、
前記目標ノイズカットアルゴリズムは、予めクラウドに記憶される、又は前記クラウドにより前記ノイズの特徴情報をノイズ解消して得られる、
ことを特徴とする請求項１に記載の音声ノイズ除去方法。 After requesting the target noise cut algorithm from the target vehicle,
requesting the target noise-cutting algorithm from the cloud if the target vehicle 's model library does not contain the target noise-cutting algorithm;
performing noise removal processing on the voice of the user of the own vehicle using the target noise cut algorithm, and adding the target noise cut algorithm to the model libraries of the own vehicle and the target vehicle via the cloud; further includes
The target noise cut algorithm is stored in the cloud in advance, or obtained by denoising the feature information of the noise by the cloud,
2. The audio noise removing method according to claim 1, wherein:
センサの採集情報及び道路状況情報によって、自車の走行環境を特定することと、
前記自車の走行環境及び車内環境をクラウドに送信することにより、前記クラウドは自車の走行環境と車内環境にマッチングする目標車両を特定し、前記目標車両のモデルライブラリから前記目標ノイズカットアルゴリズムを要求し、前記目標ノイズカットアルゴリズムを前記自車のモデルライブラリにリターンすることとを含む、
ことを特徴とする請求項１に記載の音声ノイズ除去方法。 Identifying a target vehicle that matches the driving environment and the in-vehicle environment of the own vehicle and requesting the target noise reduction algorithm from the model library of the target vehicle includes:
Identifying the driving environment of the own vehicle based on information collected by sensors and road condition information;
By transmitting the driving environment and the interior environment of the own vehicle to the cloud, the cloud identifies a target vehicle that matches the driving environment and the interior environment of the own vehicle, and the target noise cut algorithm from the model library of the target vehicle. and returning the target noise-cutting algorithm to the own vehicle 's model library.
2. The audio noise removing method according to claim 1, wherein:
前記自車とは設定距離範囲内にある少なくとも１台の候補車両を探索し、各前記候補車両と通信接続を確立することと、
前記通信接続に基づいて各前記候補車両の車内環境を取得し、各前記候補車両の中から車内環境が自車とマッチングする目標車両を特定することと、
前記目標車両との通信接続に基づいて、前記目標車両のモデルライブラリから前記目標ノイズカットアルゴリズムを要求することとを含む、
ことを特徴とする請求項１に記載の音声ノイズ除去方法。 Identifying a target vehicle that matches the driving environment and the in-vehicle environment of the own vehicle and requesting the target noise reduction algorithm from the model library of the target vehicle includes:
searching for at least one candidate vehicle within a set distance from the subject vehicle and establishing a communication connection with each of the candidate vehicles;
Acquiring an in-vehicle environment of each of the candidate vehicles based on the communication connection, and identifying a target vehicle whose in-vehicle environment matches the own vehicle from among the candidate vehicles;
requesting the target noise-cutting algorithm from a model library of the target vehicle based on a communication connection with the target vehicle;
2. The audio noise removing method according to claim 1, wherein:
ノイズ除去処理を行った後の音声のＳＮ比及び／又は前記自車ユーザの評価情報により、前記目標ノイズカットアルゴリズムのノイズカット効果を特定することと、
前記ノイズカット効果が要求を満たす場合、前記目標車両に前記目標ノイズカットアルゴリズムのプッシュメッセージを送信することとをさらに含み、
前記プッシュメッセージは前記目標車両の現在のノイズカットアルゴリズムを前記目標ノイズカットアルゴリズムに切り替えるようにトリガするために用いられる、
ことを特徴とする請求項１に記載の音声ノイズ除去方法。 After performing noise removal processing on the voice of the vehicle user using the target noise cut algorithm,
Identifying the noise cut effect of the target noise cut algorithm based on the SN ratio of the voice after noise removal processing and/or the evaluation information of the vehicle user ;
sending a push message of the target noise-cutting algorithm to the target vehicle if the noise-cutting effect satisfies a requirement;
the push message is used to trigger a switch from the target vehicle's current noise-cutting algorithm to the target noise-cutting algorithm;
2. The audio noise removing method according to claim 1, wherein:
前記ダウンロードパスに基づいてアップグレードパッケージをダウンロードすることと、
前記アップグレードパッケージを実行し、前記モデルライブラリのバージョンを前記最新バージョンにアップグレードすることとをさらに含む、
請求項１～５のいずれか１項に記載の音声ノイズ除去方法。 By periodically sending a model library version detection request to the cloud , the cloud responds to the version detection request, and if the cloud detects that the model library version is not the latest version, the in-vehicle returning the download path of the latest version to the terminal;
downloading an upgrade package based on the download path;
executing the upgrade package to upgrade the model library version to the latest version;
The audio noise removal method according to any one of claims 1 to 5.
前記自車は、自車の走行中のノイズを採集して前記ノイズの特徴情報を抽出し、自車のモデルライブラリに前記特徴情報にマッチングする目標ノイズカットアルゴリズムが存在しない場合、センサの採集情報と道路状況情報により自車の走行環境を特定し、前記自車の走行環境と車内環境をクラウドに送信し、前記クラウドから前記目標ノイズカットアルゴリズムを受信し、前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行い、前記目標ノイズカットアルゴリズムを前記モデルライブラリに追加するために用いられ、
前記クラウドは、自車の走行環境と車内環境にマッチングする目標車両を特定し、前記目標車両のモデルライブラリから前記目標ノイズカットアルゴリズムを要求し、前記目標ノイズカットアルゴリズムを前記自車のモデルライブラリにリターンするために用いられ、
前記走行環境は、位置する情報ポイントＰＯＩ、道路状況情報、道路セクション情報及び車速の少なくとも１つを含み、前記車内環境は、エンジン情報、ウィンドウ状態及び音声映像再生状態の少なくとも１つを含む、
ことを特徴とする音声ノイズ除去システム。 including ego vehicle, target vehicle and cloud,
The own vehicle collects noise while the own vehicle is running, extracts characteristic information of the noise, and collects sensors when a target noise cut algorithm matching the characteristic information does not exist in the model library of the own vehicle. Identify the driving environment of the own vehicle from information and road condition information, transmit the driving environment of the own vehicle and the in-vehicle environment to the cloud, receive the target noise cut algorithm from the cloud, and use the target noise cut algorithm Used to perform noise removal processing on the voice of the vehicle user and add the target noise reduction algorithm to the model library,
The cloud identifies a target vehicle that matches the driving environment and the in-vehicle environment of the vehicle, requests the target noise-cutting algorithm from the model library of the target vehicle, and applies the target noise-cutting algorithm to the model of the vehicle. used to return to the library,
The driving environment includes at least one of information points POI located, road condition information, road section information and vehicle speed, and the in-vehicle environment includes at least one of engine information, window status and audiovisual playback status.
An audio noise elimination system characterized by:
ことを特徴とする請求項７に記載の音声ノイズ除去システム。 the cloud is used to denoise the noise feature information to obtain a target noise-cutting algorithm and return the target noise-cutting algorithm to the model libraries of the own vehicle and the target vehicle;
8. The audio noise elimination system according to claim 7, characterized in that:
ことを特徴とする請求項７又は８に記載の音声ノイズ除去システム。 The cloud responds to a model library version detection request sent from the vehicle, and when detecting that the version of the model library is not the latest version, returns a download path of the latest version to the vehicle. and track the progress of the mission execution of the own vehicle in real time, and if it finds that the mission execution status is abnormal, it is used to perform corresponding processing,
9. The audio noise elimination system according to claim 7 or 8, characterized in that:
前記自車は、自車の走行中のノイズを採集して前記ノイズの特徴情報を抽出し、自車のモデルライブラリに前記特徴情報にマッチングする目標ノイズカットアルゴリズムが存在しない場合、前記候補車両と通信接続を確立し、前記通信接続に基づいて前記候補車両の走行環境及び車内環境を取得し、前記候補車両から走行環境及び車内環境が自車とマッチングする目標車両を特定し、前記目標車両との間の通信接続に基づいて、前記目標車両のモデルライブラリから前記目標ノイズカットアルゴリズムを要求し、前記目標車両から送信された前記目標ノイズカットアルゴリズムを受信する場合、前記目標ノイズカットアルゴリズムを用いて自車ユーザの音声に対してノイズ除去処理を行い、前記目標ノイズカットアルゴリズムを前記モデルライブラリに追加するために用いられ、
前記候補車両は、前記自車と通信接続を確立して、前記通信接続に基づいて前記自車に走行環境及び車内環境と、前記目標ノイズカットアルゴリズムを送信するために用いられ、
前記走行環境は、位置する情報ポイントＰＯＩ、道路状況情報、道路セクション情報及び車速の少なくとも１つを含み、前記車内環境は、エンジン情報、ウィンドウ状態及び音声映像再生状態の少なくとも１つを含む、
ことを特徴とする音声ノイズ除去システム。 including an own vehicle and at least one candidate vehicle within a set distance from the own vehicle;
The own vehicle collects noise while the own vehicle is running, extracts characteristic information of the noise, and if there is no target noise cut algorithm that matches the characteristic information in the model library of the own vehicle, the candidate vehicle establishes a communication connection with the target vehicle, acquires the driving environment and the vehicle interior environment of the candidate vehicle based on the communication connection, identifies a target vehicle from the candidate vehicle whose driving environment and the vehicle interior environment match the own vehicle, and requesting the target noise-cutting algorithm from the target vehicle 's model library and receiving the target noise-cutting algorithm transmitted from the target vehicle based on a communication connection between used to perform noise removal processing on the voice of the vehicle user and add the target noise reduction algorithm to the model library,
The candidate vehicle is used to establish a communication connection with the own vehicle and transmit the driving environment and the in-vehicle environment and the target noise cut algorithm to the own vehicle based on the communication connection,
The driving environment includes at least one of information points POI located, road condition information, road section information and vehicle speed, and the in-vehicle environment includes at least one of engine information, window status and audiovisual playback status.
An audio noise elimination system characterized by:
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011449222.3A CN112735457B (en) | 2020-12-11 | 2020-12-11 | Voice denoising method and system |
| CN202011449222.3 | 2020-12-11 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022093229A JP2022093229A (en) | 2022-06-23 |
| JP7153759B2 true JP7153759B2 (en) | 2022-10-14 |
Family
ID=75599267
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021069324A Active JP7153759B2 (en) | 2020-12-11 | 2021-04-15 | Audio noise removal method and system |
Country Status (2)
| Country | Link |
|---|---|
| JP (1) | JP7153759B2 (en) |
| CN (1) | CN112735457B (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113257272A (en) * | 2021-06-29 | 2021-08-13 | 深圳小米通讯技术有限公司 | Voice signal processing method and device, electronic equipment and storage medium |
| CN113628632A (en) * | 2021-07-26 | 2021-11-09 | 北京佳讯飞鸿电气股份有限公司 | Voice noise reduction method, device, equipment and storage medium |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170372690A1 (en) | 2016-06-24 | 2017-12-28 | GM Global Technology Operations LLC | Method, system and apparatus for addressing road noise |
| JP2019151323A (en) | 2018-02-28 | 2019-09-12 | ハーマン インターナショナル インダストリーズ インコーポレイテッド | Method and apparatus for continuously optimized road noise cancellation |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107210044B (en) * | 2015-01-20 | 2020-12-15 | 杜比实验室特许公司 | Modeling and reduction of noise in unmanned aerial vehicle propulsion systems |
| US10304329B2 (en) * | 2017-06-28 | 2019-05-28 | Zendrive, Inc. | Method and system for determining traffic-related characteristics |
| EP3678385B1 (en) * | 2017-08-30 | 2023-01-04 | Panasonic Intellectual Property Management Co., Ltd. | Sound pickup device, sound pickup method, and program |
| CN110197670B (en) * | 2019-06-04 | 2022-06-07 | 大众问问(北京)信息科技有限公司 | Audio noise reduction method and device and electronic equipment |
| CN110223669A (en) * | 2019-07-01 | 2019-09-10 | 天津职业技术师范大学(中国职业培训指导教师进修中心) | Processing method, the device and system of car noise |
| CN111128192A (en) * | 2019-12-31 | 2020-05-08 | 深圳市优必选科技股份有限公司 | Voice recognition noise reduction method, system, mobile terminal and storage medium |
| CN112053701A (en) * | 2020-09-11 | 2020-12-08 | 北京小米移动软件有限公司 | Sound pickup control method, sound pickup control apparatus, sound pickup control system, sound pickup device, and sound pickup medium |
-
2020
- 2020-12-11 CN CN202011449222.3A patent/CN112735457B/en active Active
-
2021
- 2021-04-15 JP JP2021069324A patent/JP7153759B2/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170372690A1 (en) | 2016-06-24 | 2017-12-28 | GM Global Technology Operations LLC | Method, system and apparatus for addressing road noise |
| JP2019151323A (en) | 2018-02-28 | 2019-09-12 | ハーマン インターナショナル インダストリーズ インコーポレイテッド | Method and apparatus for continuously optimized road noise cancellation |
Non-Patent Citations (2)
| Title |
|---|
| ［初心者向けクラウド講座］クラウドとは？今さら聞けない基本用語を分かりやすく解説，日本，株式会社div，2020年08月10日，[オンライン],[検索日 2022.5.9],インターネット：<URL：https://web.archive.org/web/20200810021616/https://tech-camp.in/note/technology/81880/> |
| 総務省 安心してインターネットを使うために 国民のための情報セキュリティサイト，日本，総務省，2013年07月09日，[オンライン],[検索日 2022.5.9],インターネット：<URL：https://web.archive.org/web/20130709182654/https://www.soumu.go.jp/main_sosiki/joho_tsusin/security/basic/service/13.html> |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112735457A (en) | 2021-04-30 |
| CN112735457B (en) | 2022-05-17 |
| JP2022093229A (en) | 2022-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102378859B1 (en) | Method of determining quality of map trajectory matching data, device, server and medium | |
| CN108974009B (en) | Method, medium, and system for automatic driving control | |
| JP7153759B2 (en) | Audio noise removal method and system | |
| EP3667638B1 (en) | Traffic lane information management method, running control method, and traffic lane information management device | |
| US10817736B2 (en) | System and methods for identifying unoccupied parking positions | |
| WO2023201964A1 (en) | Vehicle following target determination method and apparatus, and device and medium | |
| US11042159B2 (en) | Systems and methods for prioritizing data processing | |
| US20200408557A1 (en) | Augmented 3d map | |
| US11361555B2 (en) | Road environment monitoring device, road environment monitoring system, and road environment monitoring program | |
| US20210229657A1 (en) | Detection of vehicle operating conditions | |
| CN112238862B (en) | Open and safety monitoring system for autonomous driving platform | |
| JP2018189457A (en) | Information processing device | |
| JP2019175089A (en) | Sensor providing system, in-vehicle device, sensor sharing server, and computer program | |
| US11572731B2 (en) | Vehicle window control | |
| US11631328B2 (en) | Determination device, determination method, and non-transitory computer readable storage medium storing determining program | |
| CN108366233B (en) | Network camera connecting method, device, equipment and storage medium | |
| US20210183173A1 (en) | Automotive Data Processing System with Efficient Generation and Exporting of Metadata | |
| CN111033423B (en) | Method for evaluating a positioning system of an autonomous vehicle | |
| US20220351553A1 (en) | Indexing sensor data about the physical world | |
| JP7115872B2 (en) | Drive recorder and image recording method | |
| WO2022113261A1 (en) | Information collection system, server, vehicle, method, and computer-readable medium | |
| WO2019116537A1 (en) | Information acquisition method, information acquisition device, in-vehicle device, on-road sensor device, and information acquisition system | |
| JP2015125724A (en) | Driving assist device, driving characteristic management server and driving assist system | |
| JP7405795B2 (en) | In-vehicle information processing device, information processing device, and information processing method | |
| US20230024799A1 (en) | Method, system and computer program product for the automated locating of a vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210415 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220517 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220812 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220906 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221003 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7153759 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |