JP7166294B2 - オーディオ処理方法、装置及び記憶媒体 - Google Patents
オーディオ処理方法、装置及び記憶媒体 Download PDFInfo
- Publication number
- JP7166294B2 JP7166294B2 JP2019563781A JP2019563781A JP7166294B2 JP 7166294 B2 JP7166294 B2 JP 7166294B2 JP 2019563781 A JP2019563781 A JP 2019563781A JP 2019563781 A JP2019563781 A JP 2019563781A JP 7166294 B2 JP7166294 B2 JP 7166294B2
- Authority
- JP
- Japan
- Prior art keywords
- audio data
- audio
- target
- data
- obtaining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims description 21
- 238000000034 method Methods 0.000 claims description 52
- 230000005236 sound signal Effects 0.000 claims description 50
- 230000004044 response Effects 0.000 claims description 42
- 230000008569 process Effects 0.000 claims description 24
- 230000002618 waking effect Effects 0.000 claims description 24
- 238000001514 detection method Methods 0.000 claims description 4
- 230000000875 corresponding effect Effects 0.000 description 20
- 230000003993 interaction Effects 0.000 description 18
- 238000004891 communication Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 238000004458 analytical method Methods 0.000 description 7
- 230000003287 optical effect Effects 0.000 description 5
- 230000000295 complement effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000003058 natural language processing Methods 0.000 description 4
- 230000001276 controlling effect Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 238000007726 management method Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000002459 sustained effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/22—Interactive procedures; Man-machine interfaces
- G10L17/24—Interactive procedures; Man-machine interfaces the user being prompted to utter a password or a predefined phrase
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/04—Segmentation; Word boundary detection
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
- G10L17/22—Interactive procedures; Man-machine interfaces
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L21/0216—Noise filtering characterised by the method used for estimating noise
- G10L21/0232—Processing in the frequency domain
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/78—Detection of presence or absence of voice signals
- G10L25/84—Detection of presence or absence of voice signals for discriminating voice from noise
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1822—Parsing for meaning understanding
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L2015/088—Word spotting
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/223—Execution procedure of a spoken command
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
- G10L2015/225—Feedback of the input speech
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
- G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
- G10L21/0208—Noise filtering
- G10L2021/02082—Noise filtering the noise being echo, reverberation of the speech
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Quality & Reliability (AREA)
- Telephone Function (AREA)
Description
本願は、出願番号201910760806.3、出願日2019年08月16日の中国特許出願に基づいて提案しており、該中国特許出願の優先権を主張し、該中国特許出願の全内容が参照により本願に組み込まれる。
ターゲットアプリケーションをウェイクアップ(wake-up)した後、第1オーディオ信号に対応する第1オーディオデータを取得するステップと、
前記第1オーディオデータを取得する過程において、第2オーディオ信号に対応する第2オーディオデータが検出された場合、前記第2オーディオデータを取得するステップと、
前記第1オーディオデータ及び前記第2オーディオデータに基づいて、ターゲットオーディオデータを得るステップと、を含む。
前記第1オーディオデータの取得終了と前記第2オーディオデータの取得開始との間の時間差を決定するステップをさらに含み
前記第1オーディオデータ及び前記第2オーディオデータに基づいて、ターゲットオーディオデータを得るステップは、
前記時間差が第1所定期間以上であれば、前記第1オーディオデータ及び前記第2オーディオデータに基づいて、前記ターゲットオーディオデータを得るステップを含む。
前記時間差が第1所定期間以上であれば、前記第1オーディオデータが完全に入力されたか否かを検出するステップと、
前記第1オーディオデータが完全に入力されていない場合、前記第1オーディオデータ及び前記第2オーディオデータに基づいて、前記ターゲットオーディオデータを得るステップと、を含む。
第1オーディオデータが完全に入力されていない場合、前記第1オーディオデータと前記第2オーディオデータをスプライシングできるか否かを判断するステップと、
前記第1オーディオデータと前記第2オーディオデータをスプライシングできる場合、前記第1オーディオデータと前記第2オーディオデータをスプライシングして、ターゲットオーディオデータを得るステップと、を含む。
前記第1オーディオデータが完全に入力された場合、前記第1オーディオデータ及び前記第2オーディオデータをそれぞれ前記ターゲットオーディオデータとして決定するステップをさらに含む。
前記ターゲットオーディオデータに対して音響エコー除去処理を行うステップと、
音響エコー除去処理後のターゲットオーディオデータに基づいて、応答情報を得るステップと、
前記応答情報を出力するステップと、をさらに含む。
検出対象のオーディオデータを取得するステップと、
前記検出対象のオーディオデータにターゲットアプリケーションをウェイクアップするためのウェイクアップ情報が含まれているか否かを決定するステップと、
前記検出対象オーディオデータに前記ウェイクアップ情報が含まれている場合、前記ターゲットアプリケーションに対してウェイクアップ処理を行うステップと、をさらに含み、
前記オーディオデータは、音声データを含む。
ターゲットアプリケーションをウェイクアップした後、第1オーディオ信号に対応する第1オーディオデータを取得するように構成される第1オーディオ取得モジュールと、
前記第1オーディオデータを取得する過程において、第2オーディオ信号に対応する第2オーディオデータが検出された場合、前記第2オーディオデータを取得するように構成される第2オーディオ取得モジュールと、
前記第1オーディオデータ及び前記第2オーディオデータに基づいて、ターゲットオーディオデータを得るように構成される第1オーディオ決定モジュールと、を備える。
前記第1オーディオデータの取得終了と前記第2オーディオデータの取得開始との間の時間差を決定するように構成される時間決定モジュールをさらに備え、
前記第1オーディオ決定モジュールは、
前記時間差が第1所定期間以上であれば、前記第1オーディオデータ及び前記第2オーディオデータに基づいて、前記ターゲットオーディオデータを得るように構成されるオーディオ決定サブモジュールを備える。
前記時間差が第1所定期間以上であれば、前記第1オーディオデータが完全に入力されたか否かを検出し、
前記第1オーディオデータが完全に入力されていない場合、前記第1オーディオデータ及び前記第2オーディオデータに基づいて、前記ターゲットオーディオデータを得るように構成される。
第1オーディオデータが完全に入力されていない場合、前記第1オーディオデータと前記第2オーディオデータをスプライシングできるか否かを判断し、
前記第1オーディオデータと前記第2オーディオデータをスプライシングできる場合、前記第1オーディオデータと前記第2オーディオデータをスプライシングして、ターゲットオーディオデータを得るように構成される。
前記第1オーディオデータが完全に入力された場合、前記第1オーディオデータ及び前記第2オーディオデータをそれぞれ前記ターゲットオーディオデータとして決定するように構成される第2オーディオ決定モジュールをさらに備える。
前記ターゲットオーディオデータに対して音響エコー除去処理を行うように構成される音響エコー除去モジュールと、
音響エコー除去処理後のターゲットオーディオデータに基づいて、応答情報を得るように構成される応答モジュールと、
前記応答情報を出力するように構成される出力モジュールと、をさらに備える。
検出対象のオーディオデータを取得するように構成される第3オーディオ取得モジュールと、
前記検出対象のオーディオデータにターゲットアプリケーションをウェイクアップするためのウェイクアップ情報が含まれているか否かを決定するように構成される情報決定モジュールと、
前記検出対象オーディオデータに前記ウェイクアップ情報が含まれている場合、前記ターゲットアプリケーションに対してウェイクアップ処理を行うように構成されるウェイクアップモジュールと、をさらに備え、
前記オーディオデータは、音声データを含む。
プロセッサと、
プロセッサにより実行可能な命令を記憶するように構成されるメモリと、を備え、
前記プロセッサは、上記第1態様におけるオーディオ処理方法のステップを実現するために実行されるように構成される。
前記第1オーディオデータの第1セマンティックコンテンツ及び前記第2オーディオデータの第2セマンティックコンテンツに基づいて、前記ターゲットオーディオデータを得るステップを含む。
第1オーディオデータの取得終了と第2オーディオデータの取得開始との間の時間差を決定するステップをさらに含み、
この場合、ステップ103は、
第1オーディオデータの取得終了と第2オーディオデータの取得開始との間の時間差が第1所定期間以上であれば、第1オーディオデータ及び第2オーディオデータに基づいて、ターゲットオーディオデータを得るステップを含む。
時間差が第1所定期間以上であれば、第1オーディオデータが完全に入力されたか否かを検出するステップと、
第1オーディオデータが完全に入力されていない場合、第1オーディオデータ及び第2オーディオデータに基づいて、ターゲットオーディオデータを得るステップと、を含む。
第1オーディオデータが完全に入力されていない場合、第1オーディオデータと第2オーディオデータをスプライシングできるか否かを判断するステップと、
第1オーディオデータと第2オーディオデータをスプライシングできる場合、第1オーディオデータと第2オーディオデータをスプライシングして、ターゲットオーディオデータを得るステップと、を含む。
ターゲットオーディオデータに対して音響エコー除去処理を行うステップと、音響エコー除去処理後のターゲットオーディオデータに基づいて、応答情報を得るステップと、応答情報を出力するステップと、をさらに含む。
検出対象のオーディオデータを取得するステップと、出対象のオーディオデータにターゲットアプリケーションをウェイクアップするウェイクアップ情報が含まれているか否かを決定するステップと、検出対象のオーディオデータにウェイクアップ情報が含まれている場合、ターゲットアプリケーションに対してウェイクアップ処理を行うステップと、をさらに含み、オーディオデータは、音声データを含む。
ユーザー:小愛同学(ここで音声命令を通じて音声アシスタントをウェイクアップするが、アイコン、ショートカットキーをクリックするなどのほかの方式で音声アシスタントをウェイクアップしてもよい)
小愛:はい/プロンプトトーン(応答プロンプト)
ユーザー:今日の天気は、
小愛:今日の天気は、……(今日の天気を放送する)
ユーザー:小愛同学(ここで音声命令を通じて音声アシスタントをウェイクアップするが、アイコン、ショートカットキーをクリックするなどのほかの方式で音声アシスタントをウェイクアップしてもよい)
小愛:はい/プロンプトトーン(応答プロンプト)
ユーザー:明日は、
小愛:明日の北京の天気は……(明日の天気を放送する)
ユーザー:小愛同学(ここで音声命令を通じて音声アシスタントをウェイクアップするが、アイコン、ショートカットキーをクリックするなどのほかの方式で音声アシスタントをウェイクアップしてもよい)
小愛:はい/プロンプトトーン(応答プロンプト)
ユーザー:目覚まし時計を設定したいですが
小愛:目覚まし時計を何時に設定しますか?
ユーザー:夜の7時
小愛:目覚まし時計を夜の7時に設定しました。
ターゲットアプリケーションをウェイクアップした後、第1オーディオ信号に対応する第1オーディオデータを取得するように構成される第1オーディオ取得モジュール301と、
第1オーディオデータを取得する過程において、第2オーディオ信号に対応する第2オーディオデータが検出された場合、第2オーディオデータを取得するように構成される第2オーディオ取得モジュール302と、
第1オーディオデータ及び第2オーディオデータに基づいて、ターゲットオーディオデータを得るように構成される第1オーディオ決定モジュール303と、を備える。
第1オーディオデータの取得終了と第2オーディオデータの取得開始との間の時間差を決定するように構成される時間決定モジュールをさらに備え、
第1オーディオ決定モジュールは、
時間差が第1所定期間以上であれば、第1オーディオデータ及び第2オーディオデータに基づいて、ターゲットオーディオデータを得るオーディオ決定サブモジュールを備える。
時間差が第1所定期間以上であれば、第1オーディオデータが完全に入力されたか否かを検出し、
第1オーディオデータが完全に入力されていない場合、第1オーディオデータ及び第2オーディオデータに基づいて、ターゲットオーディオデータを得るように構成される。
第1オーディオデータが完全に入力されていない場合、第1オーディオデータと第2オーディオデータをスプライシングできるか否かを判断し、
第1オーディオデータと第2オーディオデータをスプライシングできる場合、第1オーディオデータと第2オーディオデータをスプライシングして、ターゲットオーディオデータを得るように構成される。
第1オーディオデータが完全に入力された場合、第1オーディオデータ及び第2オーディオデータをそれぞれターゲットオーディオデータとして決定するように構成される第2オーディオ決定モジュールをさらに備える。
ターゲットオーディオデータに対して音響エコー除去処理を行うように構成される音響エコー除去モジュールと、
音響エコー除去処理後のターゲットオーディオデータに基づいて、応答情報を得るように構成される応答モジュールと、
応答情報を出力するように構成される出力モジュールと、をさらに備える。
検出対象のオーディオデータを取得するように構成される第3オーディオ取得モジュールと、
検出対象のオーディオデータにターゲットアプリケーションをウェイクアップするためのウェイクアップ情報が含まれているか否かを決定するように構成される情報決定モジュールと、
検出対象のオーディオデータにウェイクアップ情報が含まれている場合、ターゲットアプリケーションに対してウェイクアップ処理を行うように構成されるウェイクアップモジュールと、をさらに備え、
オーディオデータは、音声データを含む。
ターゲットアプリケーションをウェイクアップした後、第1オーディオ信号に対応する第1オーディオデータを取得するステップと、
前記第1オーディオデータを取得する過程において、第2オーディオ信号に対応する第2オーディオデータが検出された場合、前記第2オーディオデータを取得するステップと、
前記第1オーディオデータ及び前記第2オーディオデータに基づいて、ターゲットオーディオデータを得るステップと、を含む。
Claims (10)
- オーディオ処理方法であって、前記オーディオ処理方法は、電子機器に適用され、前記オーディオ処理方法は、
ターゲットアプリケーションをウェイクアップした後、第1オーディオ信号に対応する第1オーディオデータを取得するステップと、
前記第1オーディオデータを取得する過程において、第2オーディオ信号に対応する第2オーディオデータが検出された場合、前記第2オーディオデータを取得するステップであって、前記第2オーディオデータの取得が開始される時点は、時間差の分だけ、前記第1オーディオデータの取得が終了される時点よりも後である、ステップと、
前記第1オーディオデータ及び前記第2オーディオデータに基づいて、ターゲットオーディオデータを得るステップと
を含み、
前記オーディオ処理方法は、
前記時間差を決定するステップをさらに含み、
前記第1オーディオデータ及び前記第2オーディオデータに基づいて、ターゲットオーディオデータを得るステップは、
前記時間差が第1所定期間以上であれば、前記第1オーディオデータが完全に入力されたか否かを検出するステップと、
前記第1オーディオデータが完全に入力されていない場合、前記第1オーディオデータと前記第2オーディオデータとをスプライシングできるか否かを判断するステップと、
前記第1オーディオデータと前記第2オーディオデータとをスプライシングできる場合、前記第1オーディオデータと前記第2オーディオデータとをスプライシングして、ターゲットオーディオデータを得るステップと
を含む、オーディオ処理方法。 - 前記オーディオ処理方法は、
前記第1オーディオデータが完全に入力された場合、前記第1オーディオデータ及び前記第2オーディオデータをそれぞれ前記ターゲットオーディオデータとして決定するステップをさらに含む、請求項1に記載のオーディオ処理方法。 - 前記オーディオ処理方法は、
前記ターゲットオーディオデータに対して音響エコー除去処理を行うステップと、
音響エコー除去処理後のターゲットオーディオデータに基づいて、応答情報を得るステップと、
前記応答情報を出力するステップと
をさらに含む、請求項1又は請求項2に記載のオーディオ処理方法。 - 前記オーディオ処理方法は、
検出対象のオーディオデータを取得するステップと、
前記検出対象のオーディオデータにターゲットアプリケーションをウェイクアップするためのウェイクアップ情報が含まれているか否かを決定するステップと、
前記検出対象オーディオデータに前記ウェイクアップ情報が含まれている場合、前記ターゲットアプリケーションに対してウェイクアップ処理を行うステップと
をさらに含み、
前記オーディオデータは、音声データを含む、請求項1又は請求項2に記載のオーディオ処理方法。 - オーディオ処理装置であって、前記オーディオ処理装置は、
ターゲットアプリケーションをウェイクアップした後、第1オーディオ信号に対応する第1オーディオデータを取得するように構成される第1オーディオ取得モジュールと、
前記第1オーディオデータを取得する過程において、第2オーディオ信号に対応する第2オーディオデータが検出された場合、前記第2オーディオデータを取得するように構成される第2オーディオ取得モジュールであって、前記第2オーディオデータの取得が開始される時点は、時間差の分だけ、前記第1オーディオデータの取得が終了される時点よりも後である、第2オーディオ取得モジュールと、
前記第1オーディオデータ及び前記第2オーディオデータに基づいて、ターゲットオーディオデータを得るように構成される第1オーディオ決定モジュールと
を備え、
前記オーディオ処理装置は、
前記時間差を決定するように構成される時間決定モジュールをさらに備え、
前記第1オーディオ決定モジュールは、
前記時間差が第1所定期間以上であれば、前記第1オーディオデータが完全に入力されたか否かを検出することと、
前記第1オーディオデータが完全に入力されていない場合、前記第1オーディオデータと前記第2オーディオデータとをスプライシングできるか否かを判断することと、
前記第1オーディオデータと前記第2オーディオデータとをスプライシングできる場合、前記第1オーディオデータと前記第2オーディオデータとをスプライシングして、ターゲットオーディオデータを得ることと
を行うように構成される、オーディオ処理装置。 - 前記オーディオ処理装置は、
前記第1オーディオデータが完全に入力された場合、前記第1オーディオデータ及び前記第2オーディオデータをそれぞれ前記ターゲットオーディオデータとして決定するように構成される第2オーディオ決定モジュールをさらに備える、請求項5に記載のオーディオ処理装置。 - 前記オーディオ処理装置は、
前記ターゲットオーディオデータに対して音響エコー除去処理を行うように構成される音響エコー除去モジュールと、
音響エコー除去処理後のターゲットオーディオデータに基づいて、応答情報を得るように構成される応答モジュールと、
前記応答情報を出力するように構成される出力モジュールと
をさらに備える、請求項5又は請求項6に記載のオーディオ処理装置。 - 前記オーディオ処理装置は、
検出対象のオーディオデータを取得するように構成される第3オーディオ取得モジュールと、
前記検出対象のオーディオデータにターゲットアプリケーションをウェイクアップするためのウェイクアップ情報が含まれているか否かを決定するように構成される情報決定モジュールと、
前記検出対象オーディオデータに前記ウェイクアップ情報が含まれている場合、前記ターゲットアプリケーションに対してウェイクアップ処理を行うように構成されるウェイクアップモジュールと
をさらに備え、
前記オーディオデータは、音声データを含む、請求項5又は請求項6に記載のオーディオ処理装置。 - オーディオ処理装置であって、
プロセッサと、
前記プロセッサによって実行可能な命令を記憶するように構成されるメモリと
を備え、
前記プロセッサは、請求項1~4のいずれか1項に記載のオーディオ処理方法を実行するように構成される、オーディオ処理装置。 - 非一時的なコンピュータ読み取り可能な記憶媒体であって、前記記憶媒体には、命令が記憶されており、
前記命令は、オーディオ処理装置のプロセッサによって実行されると、請求項1~4のいずれか1項に記載のオーディオ処理方法を実行することを前記オーディオ処理装置に行わせる、非一時的なコンピュータ読み取り可能な記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201910760806.3A CN110619873A (zh) | 2019-08-16 | 2019-08-16 | 音频处理方法、装置及存储介质 |
CN201910760806.3 | 2019-08-16 | ||
PCT/CN2019/110213 WO2021031308A1 (zh) | 2019-08-16 | 2019-10-09 | 音频处理方法、装置及存储介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022501623A JP2022501623A (ja) | 2022-01-06 |
JP7166294B2 true JP7166294B2 (ja) | 2022-11-07 |
Family
ID=68731780
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019563781A Active JP7166294B2 (ja) | 2019-08-16 | 2019-10-09 | オーディオ処理方法、装置及び記憶媒体 |
Country Status (7)
Country | Link |
---|---|
US (1) | US11264027B2 (ja) |
EP (2) | EP4184506A1 (ja) |
JP (1) | JP7166294B2 (ja) |
KR (1) | KR102300257B1 (ja) |
CN (1) | CN110619873A (ja) |
RU (1) | RU2735363C1 (ja) |
WO (1) | WO2021031308A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11431658B2 (en) * | 2020-04-02 | 2022-08-30 | Paymentus Corporation | Systems and methods for aggregating user sessions for interactive transactions using virtual assistants |
CN111583923B (zh) * | 2020-04-28 | 2023-11-14 | 北京小米松果电子有限公司 | 信息控制方法及装置、存储介质 |
CN111598577B (zh) * | 2020-07-24 | 2020-11-13 | 深圳市声扬科技有限公司 | 资源转移方法、装置、计算机设备和存储介质 |
US20220129543A1 (en) * | 2020-10-27 | 2022-04-28 | Arris Enterprises Llc | Secure voice interface in a streaming media device to avoid vulnerability attacks |
CN112837694B (zh) * | 2021-01-29 | 2022-12-06 | 青岛海尔科技有限公司 | 设备唤醒方法、装置、存储介质及电子装置 |
CN113113036B (zh) * | 2021-03-12 | 2023-06-06 | 北京小米移动软件有限公司 | 音频信号处理方法及装置、终端及存储介质 |
CN113329372B (zh) * | 2021-06-08 | 2023-04-28 | 阿波罗智联(北京)科技有限公司 | 用于车载通话的方法、装置、设备、介质和产品 |
CN115798506A (zh) * | 2022-11-10 | 2023-03-14 | 维沃移动通信有限公司 | 语音处理方法、装置、电子设备及存储介质 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017078869A (ja) | 2015-10-19 | 2017-04-27 | グーグル インコーポレイテッド | スピーチエンドポインティング |
WO2019031268A1 (ja) | 2017-08-09 | 2019-02-14 | ソニー株式会社 | 情報処理装置、及び情報処理方法 |
WO2019107145A1 (ja) | 2017-11-28 | 2019-06-06 | ソニー株式会社 | 情報処理装置、及び情報処理方法 |
JP2019101385A (ja) | 2017-12-08 | 2019-06-24 | 富士通株式会社 | 音声処理装置、音声処理方法及び音声処理用コンピュータプログラム |
JP2019117623A (ja) | 2017-12-26 | 2019-07-18 | バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド | 音声対話方法、装置、デバイス及び記憶媒体 |
JP2019207329A (ja) | 2018-05-29 | 2019-12-05 | シャープ株式会社 | 電子機器、電子機器を制御する制御装置、制御プログラムおよび制御方法 |
Family Cites Families (45)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5855000A (en) * | 1995-09-08 | 1998-12-29 | Carnegie Mellon University | Method and apparatus for correcting and repairing machine-transcribed input using independent or cross-modal secondary input |
US7386454B2 (en) * | 2002-07-31 | 2008-06-10 | International Business Machines Corporation | Natural error handling in speech recognition |
US7200559B2 (en) * | 2003-05-29 | 2007-04-03 | Microsoft Corporation | Semantic object synchronous understanding implemented with speech application language tags |
JP4686160B2 (ja) * | 2004-10-04 | 2011-05-18 | 沖コンサルティングソリューションズ株式会社 | 会話記録装置および会話記録方法 |
US7930168B2 (en) * | 2005-10-04 | 2011-04-19 | Robert Bosch Gmbh | Natural language processing of disfluent sentences |
JP5158174B2 (ja) * | 2010-10-25 | 2013-03-06 | 株式会社デンソー | 音声認識装置 |
US9123339B1 (en) * | 2010-11-23 | 2015-09-01 | Google Inc. | Speech recognition using repeated utterances |
US9799328B2 (en) * | 2012-08-03 | 2017-10-24 | Veveo, Inc. | Method for using pauses detected in speech input to assist in interpreting the input during conversational interaction for information retrieval |
US9437186B1 (en) * | 2013-06-19 | 2016-09-06 | Amazon Technologies, Inc. | Enhanced endpoint detection for speech recognition |
JP6235280B2 (ja) * | 2013-09-19 | 2017-11-22 | 株式会社東芝 | 音声同時処理装置、方法およびプログラム |
US10832005B1 (en) * | 2013-11-21 | 2020-11-10 | Soundhound, Inc. | Parsing to determine interruptible state in an utterance by detecting pause duration and complete sentences |
US8843369B1 (en) * | 2013-12-27 | 2014-09-23 | Google Inc. | Speech endpointing based on voice profile |
CN105934791B (zh) * | 2014-01-31 | 2019-11-22 | 惠普发展公司,有限责任合伙企业 | 语音输入命令 |
US9607613B2 (en) | 2014-04-23 | 2017-03-28 | Google Inc. | Speech endpointing based on word comparisons |
DE102014017385B4 (de) * | 2014-11-24 | 2016-06-23 | Audi Ag | Kraftfahrzeug-Gerätebedienung mit Bedienkorrektur |
CN106409295B (zh) * | 2015-07-31 | 2020-06-16 | 腾讯科技(深圳)有限公司 | 从自然语音信息中识别时间信息的方法和装置 |
US10331312B2 (en) * | 2015-09-08 | 2019-06-25 | Apple Inc. | Intelligent automated assistant in a media environment |
US10269341B2 (en) | 2015-10-19 | 2019-04-23 | Google Llc | Speech endpointing |
KR102495517B1 (ko) * | 2016-01-26 | 2023-02-03 | 삼성전자 주식회사 | 전자 장치, 전자 장치의 음성 인식 방법 |
US9659555B1 (en) * | 2016-02-09 | 2017-05-23 | Amazon Technologies, Inc. | Multichannel acoustic echo cancellation |
CN107665706B (zh) * | 2016-07-29 | 2021-05-04 | 科大讯飞股份有限公司 | 快速语音交互方法及系统 |
US10013980B2 (en) * | 2016-10-04 | 2018-07-03 | Microsoft Technology Licensing, Llc | Combined menu-based and natural-language-based communication with chatbots |
CN106875945B (zh) * | 2017-03-09 | 2020-06-26 | 广东美的制冷设备有限公司 | 语音控制方法、装置和空调器 |
CN107146602B (zh) * | 2017-04-10 | 2020-10-02 | 北京猎户星空科技有限公司 | 一种语音识别方法、装置及电子设备 |
KR20180118470A (ko) * | 2017-04-21 | 2018-10-31 | 엘지전자 주식회사 | 음성 인식 장치 및 음성 인식 방법 |
CN107195303B (zh) * | 2017-06-16 | 2021-08-20 | 云知声智能科技股份有限公司 | 语音处理方法及装置 |
CN107146618A (zh) * | 2017-06-16 | 2017-09-08 | 北京云知声信息技术有限公司 | 语音处理方法及装置 |
CN109215642A (zh) * | 2017-07-04 | 2019-01-15 | 阿里巴巴集团控股有限公司 | 人机会话的处理方法、装置及电子设备 |
KR20190008663A (ko) * | 2017-07-17 | 2019-01-25 | 삼성전자주식회사 | 음성 데이터 처리 방법 및 이를 지원하는 시스템 |
US10586534B1 (en) * | 2017-09-27 | 2020-03-10 | Amazon Technologies, Inc. | Voice-controlled device control using acoustic echo cancellation statistics |
CN107863113A (zh) * | 2017-11-08 | 2018-03-30 | 天脉聚源(北京)传媒科技有限公司 | 一种语音上传方法及装置 |
CN108172219B (zh) * | 2017-11-14 | 2021-02-26 | 珠海格力电器股份有限公司 | 识别语音的方法和装置 |
CN108257616A (zh) * | 2017-12-05 | 2018-07-06 | 苏州车萝卜汽车电子科技有限公司 | 人机对话的检测方法以及装置 |
US20190279623A1 (en) * | 2018-03-08 | 2019-09-12 | Kika Tech (Cayman) Holdings Co., Limited | Method for speech recognition dictation and correction by spelling input, system and storage medium |
CN108737933A (zh) * | 2018-05-30 | 2018-11-02 | 上海与德科技有限公司 | 一种基于智能音箱的对话方法、装置及电子设备 |
CN108932942A (zh) * | 2018-06-26 | 2018-12-04 | 四川斐讯信息技术有限公司 | 一种实现智能音箱人机对话的系统及其方法 |
CN108737934B (zh) * | 2018-08-10 | 2024-04-09 | 广东庆昇科技有限公司 | 一种智能音箱及其控制方法 |
CN109147779A (zh) * | 2018-08-14 | 2019-01-04 | 苏州思必驰信息科技有限公司 | 语音数据处理方法和装置 |
CN108986814A (zh) * | 2018-09-04 | 2018-12-11 | 出门问问信息科技有限公司 | 一种唤醒应用服务的方法及装置 |
CN109360551B (zh) * | 2018-10-25 | 2021-02-05 | 珠海格力电器股份有限公司 | 一种语音识别方法及装置 |
CN109545206B (zh) * | 2018-10-29 | 2024-01-30 | 百度在线网络技术(北京)有限公司 | 智能设备的语音交互处理方法、装置和智能设备 |
CN109599124B (zh) * | 2018-11-23 | 2023-01-10 | 腾讯科技(深圳)有限公司 | 一种音频数据处理方法、装置及存储介质 |
CN109599130B (zh) * | 2018-12-10 | 2020-10-30 | 百度在线网络技术(北京)有限公司 | 收音方法、装置及存储介质 |
CN109410944B (zh) * | 2018-12-12 | 2020-06-09 | 百度在线网络技术(北京)有限公司 | 语音交互方法、装置和终端 |
CN110111789B (zh) * | 2019-05-07 | 2022-02-08 | 阿波罗智联(北京)科技有限公司 | 语音交互方法、装置、计算设备和计算机可读介质 |
-
2019
- 2019-08-16 CN CN201910760806.3A patent/CN110619873A/zh active Pending
- 2019-10-09 RU RU2019139979A patent/RU2735363C1/ru active
- 2019-10-09 KR KR1020197033760A patent/KR102300257B1/ko active IP Right Grant
- 2019-10-09 WO PCT/CN2019/110213 patent/WO2021031308A1/zh active Application Filing
- 2019-10-09 JP JP2019563781A patent/JP7166294B2/ja active Active
- 2019-11-26 US US16/696,402 patent/US11264027B2/en active Active
- 2019-11-28 EP EP23150293.1A patent/EP4184506A1/en active Pending
- 2019-11-28 EP EP19212041.8A patent/EP3779968A1/en not_active Withdrawn
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017078869A (ja) | 2015-10-19 | 2017-04-27 | グーグル インコーポレイテッド | スピーチエンドポインティング |
WO2019031268A1 (ja) | 2017-08-09 | 2019-02-14 | ソニー株式会社 | 情報処理装置、及び情報処理方法 |
WO2019107145A1 (ja) | 2017-11-28 | 2019-06-06 | ソニー株式会社 | 情報処理装置、及び情報処理方法 |
JP2019101385A (ja) | 2017-12-08 | 2019-06-24 | 富士通株式会社 | 音声処理装置、音声処理方法及び音声処理用コンピュータプログラム |
JP2019117623A (ja) | 2017-12-26 | 2019-07-18 | バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド | 音声対話方法、装置、デバイス及び記憶媒体 |
JP2019207329A (ja) | 2018-05-29 | 2019-12-05 | シャープ株式会社 | 電子機器、電子機器を制御する制御装置、制御プログラムおよび制御方法 |
Non-Patent Citations (1)
Title |
---|
堀田尚希 他,"音声発話の誤分割修復のための修復必要性の判定",第70回言語・音声理解と対話処理研究会資料,2014年02月26日,pp.45-52,特に、「1 はじめに」~「4 決定木による修復必要性の判定」 |
Also Published As
Publication number | Publication date |
---|---|
EP4184506A1 (en) | 2023-05-24 |
WO2021031308A1 (zh) | 2021-02-25 |
KR102300257B1 (ko) | 2021-09-10 |
US11264027B2 (en) | 2022-03-01 |
KR20210024408A (ko) | 2021-03-05 |
CN110619873A (zh) | 2019-12-27 |
RU2735363C1 (ru) | 2020-10-30 |
JP2022501623A (ja) | 2022-01-06 |
US20210050010A1 (en) | 2021-02-18 |
EP3779968A1 (en) | 2021-02-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7166294B2 (ja) | オーディオ処理方法、装置及び記憶媒体 | |
JP6811758B2 (ja) | 音声対話方法、装置、デバイス及び記憶媒体 | |
RU2667027C2 (ru) | Способ и устройство категоризации видео | |
RU2619893C2 (ru) | Способ и устройство для голосового вызова, способ и устройство для воспроизведения голосового сигнала | |
US9661133B2 (en) | Electronic device and method for extracting incoming/outgoing information and managing contacts | |
CN111696553B (zh) | 一种语音处理方法、装置及可读介质 | |
US11200899B2 (en) | Voice processing method, apparatus and device | |
JP2017527928A (ja) | テキスト入力方法、装置、プログラム及び記録媒体 | |
CN111583923B (zh) | 信息控制方法及装置、存储介质 | |
EP3933570A1 (en) | Method and apparatus for controlling a voice assistant, and computer-readable storage medium | |
CN109101517B (zh) | 信息处理方法、信息处理设备以及介质 | |
WO2020103353A1 (zh) | 多波束选取方法及装置 | |
CN111968680B (zh) | 一种语音处理方法、装置及存储介质 | |
CN111580773A (zh) | 信息处理方法、装置及存储介质 | |
CN109325337A (zh) | 解锁方法及装置 | |
CN108108213A (zh) | 指令集执行方法及装置 | |
CN112002313A (zh) | 交互方法及装置、音箱、电子设备和存储介质 | |
CN111580775B (zh) | 信息控制方法及装置、存储介质 | |
CN113035189A (zh) | 一种文档演示的控制方法、装置和设备 | |
CN111913590A (zh) | 一种输入方法、装置和设备 | |
CN106777075B (zh) | 移动终端的网页刷新方法及装置 | |
CN116030804A (zh) | 一种语音唤醒方法、语音唤醒装置及存储介质 | |
CN116543745A (zh) | 语音录制方法、装置、电子设备及存储介质 | |
CN115495039A (zh) | 音频播放设备、控制方法、装置、电子设备及存储介质 | |
CN117636893A (zh) | 风噪检测方法、装置、可穿戴设备及可读储存介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191118 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211125 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220214 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220617 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220905 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221014 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221025 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7166294 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |