JP7300478B2 - 負の遅延時間の検出方法、装置、電子機器及び記憶媒体 - Google Patents

負の遅延時間の検出方法、装置、電子機器及び記憶媒体 Download PDF

Info

Publication number
JP7300478B2
JP7300478B2 JP2021085181A JP2021085181A JP7300478B2 JP 7300478 B2 JP7300478 B2 JP 7300478B2 JP 2021085181 A JP2021085181 A JP 2021085181A JP 2021085181 A JP2021085181 A JP 2021085181A JP 7300478 B2 JP7300478 B2 JP 7300478B2
Authority
JP
Japan
Prior art keywords
time
time slice
reference signal
slice
negative delay
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021085181A
Other languages
English (en)
Other versions
JP2021132400A (ja
Inventor
政斌 宋
峻▲華▼ ▲許▼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Apollo Intelligent Connectivity Beijing Technology Co Ltd
Original Assignee
Apollo Intelligent Connectivity Beijing Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Apollo Intelligent Connectivity Beijing Technology Co Ltd filed Critical Apollo Intelligent Connectivity Beijing Technology Co Ltd
Publication of JP2021132400A publication Critical patent/JP2021132400A/ja
Application granted granted Critical
Publication of JP7300478B2 publication Critical patent/JP7300478B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/02Circuits for transducers, loudspeakers or microphones for preventing acoustic reaction, i.e. acoustic oscillatory feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/162Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00Circuits for transducers, loudspeakers or microphones
    • H04R3/005Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04RLOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10General applications
    • H04R2499/13Acoustic transducers and sound field adaptation in vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Otolaryngology (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Circuit For Audible Band Transducer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本出願の実施例は、概して、データ処理技術の分野に関し、より具体的には、音声技術の分野に関する。
車載インフォテインメントアプリケーションにおいて、車内の音響システムを利用してオーディオを再生するために、通常、スマートバックミラー、携帯電話などのデバイスの音楽、ナビゲーション音声などのオーディオデータを車載インフォテインメントに転送する必要がある。
しかしながら、スマートバックミラー、携帯電話などのデバイスのオーディオデータが車載インフォテインメントに転送するには秒単位の遅延があり、従来のエコーキャンセルモジュールではこのような大きな遅延を処理することができず、このような超長の遅延を計算するには遅延推定アルゴリズムを必要とし、かつマイクロフォン信号と参照信号とをアラインメントした後、エコーキャンセルアルゴリズムを利用して処理する必要があるが、遅延推定アルゴリズムが長い遅延を計算する際にも誤差があるため、アラインメントされた後のマイクロフォン信号及び参照信号に負の遅延が生じる可能性があり、それにより、エコーキャンセルモジュールが正常に動作することができなくなる。
現時点では、負の遅延検出を実現できるアルゴリズムはまだない。
本出願は、負の遅延検出を実現できる負の遅延時間の検出方法、装置、電子機器及び記憶媒体を提供する。
第1の態様では、負の遅延時間の検出方法を提供し、前記方法は、
i番目(iは正の整数)のタイムスライスのマイクロフォン信号を取得するステップと、
i-n番目(nはiより小さい正の整数)のタイムスライスから前記i番目のタイムスライスまでの参照信号を取得するステップと、
前記i-n番目のタイムスライスから前記i番目のタイムスライスまでの参照信号を第1のバッファエリアに記憶するステップと、
前記i番目のタイムスライスのマイクロフォン信号を第2のバッファエリアに記憶して前記第2のバッファエリア内で前記i番目のタイムスライスのマイクロフォン信号を予め設定された時間だけ遅延させるステップと、
前記i-n番目のタイムスライスから前記i番目のタイムスライスまでの参照信号から、前記i番目のタイムスライスのマイクロフォン信号に対応する類似の参照信号を選択するステップと、
前記i番目のタイムスライスのマイクロフォン信号に対応する時間値、及び前記類似の参照信号に対応する時間値に基づいて、前記負の遅延時間を決定するステップと、を含む。
第2の態様では、負の遅延時間の検出装置を提供し、前記装置は、
i番目(iは正の整数)のタイムスライスのマイクロフォン信号を取得するための第1の取得モジュールと、
i-n番目(nはiより小さい正の整数)のタイムスライスから前記i番目のタイムスライスまでの参照信号を取得するための第2の取得モジュールと、
前記i-n番目のタイムスライスから前記i番目のタイムスライスまでの参照信号を第1のバッファエリアに記憶するための第1の記憶モジュールと、
前記i番目のタイムスライスのマイクロフォン信号を第2のバッファエリアに記憶して前記第2のバッファエリア内で前記i番目のタイムスライスのマイクロフォン信号を予め設定された時間だけ遅延させるための第2の記憶モジュールと、
前記i-n番目のタイムスライスから前記i番目のタイムスライスまでの参照信号から、前記i番目のタイムスライスのマイクロフォン信号に対応する類似の参照信号を選択するための選択モジュールと、
前記i番目のタイムスライスのマイクロフォン信号に対応する時間値、及び前記類似の参照信号に対応する時間値に基づいて、前記負の遅延時間を決定するための決定モジュールと、を含む。
第3態様では、電子機器を提供し、前記電子機器は、
少なくとも1つのプロセッサと、
前記少なくとも1つのプロセッサに通信可能に接続されるメモリと、を含み、
前記メモリには、前記少なくとも1つのプロセッサによって実行可能な命令が記憶され、前記命令は、前記少なくとも1つのプロセッサが第1の態様に記載の負の遅延時間の検出方法を実行できるように、前記少なくとも1つのプロセッサによって実行される。
第4態様では、コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体を提供し、前記コンピュータ命令は、前記コンピュータに第1の態様に記載の負の遅延時間の検出方法を実行させるために用いられる。
第5態様では、コンピュータプログラムを提供し、前記コンピュータプログラムは、コンピュータ上で動作しているときに、前記コンピュータに第1の態様に記載の負の遅延時間の検出方法を実行させるために用いられる。
本出願にて提供される負の遅延時間の検出方法、装置、電子機器及び記憶媒体は、以下のような有益な効果を有する。
i番目(iは正の整数)のタイムスライスのマイクロフォン信号を取得し、i-n番目(nはiより小さい正の整数)のタイムスライスから前記i番目のタイムスライスまでの参照信号を取得し、前記i-n番目のタイムスライスから前記i番目のタイムスライスまでの参照信号を第1のバッファエリアに記憶し、前記i番目のタイムスライスのマイクロフォン信号を第2のバッファエリアに記憶して前記第2のバッファエリア内で前記i番目のタイムスライスのマイクロフォン信号を予め設定された時間だけ遅延させ、前記i-n番目のタイムスライスから前記i番目のタイムスライスまでの参照信号から、前記i番目のタイムスライスのマイクロフォン信号に対応する類似の参照信号を選択し、前記i番目のタイムスライスのマイクロフォン信号に対応する時間値、及び前記類似の参照信号に対応する時間値に基づいて、前記負の遅延時間を決定し、これにより、負の遅延検出が実現され、従来のアルゴリズムでは負の遅延検出を実現できないという欠点を補った。
本明細書に記載の内容は、本出願の実施例の肝心な特徴又は重要な特徴を特定することを意図したものではなく、本出願の範囲を限定することを意図したものでもないことを理解されたい。本出願のその他の特徴は、以下の明細書によって容易に理解される。
図面は、本技術案をよりよく理解するために使用され、本出願を限定するものではない。
本出願の第1の実施例に係る負の遅延時間の検出方法の概略フローチャートである。 本出願の第2の実施例に係る負の遅延時間の検出方法の概略フローチャートである。 本出願の第3実施例に係る負の遅延時間の検出方法の概略フローチャートである。 本出願の具体的な一実施例に係る負の遅延時間検出の概略フローチャートである。 本出願の第4実施例に係る負の遅延時間の検出装置の概略構造図である。 本出願の第5実施例に係る負の遅延時間の検出装置の概略構造図である。 本出願の第6実施例に係る負の遅延時間の検出装置の概略構造図である。 本出願の実施例の負の遅延時間の検出方法を実現するための電子機器のブロック図である。
以下、図面と組み合わせて本出願の例示的な実施例を説明し、理解を容易にするためにその中には本出願の実施例の様々な詳細事項が含まれており、それらは単なる例示的なものと見なされるべきである。したがって、当業者は、本出願の範囲及び精神から逸脱することなく、説明される実施例に対して様々な変更と修正を行うことができる。同様に、わかりやすくかつ簡潔にするために、以下の説明では、周知の機能及び構造の説明を省略する。
以下、図面を参照しながら、本出願の負の遅延時間の検出方法、装置、電子機器及び記憶媒体について説明する。
図1は、本出願の第1の実施例に係る負の遅延時間の検出方法の概略フローチャートであり、当該方法は、本出願に提案される負の遅延時間の検出装置によって実行されることができ、電子機器によっても実行できる。ここで、電子機器は、サーバ、車載端末などのデバイスであってもよく、本出願ではこれに対して限定しない。以下、本出願に提案される負の遅延時間の検出装置で本出願の負の遅延時間の検出方法を実行することを例として、本出願を説明する。
図1に示すように、当該負の遅延時間の検出方法は、ステップ101~ステップ106を含む。
ステップ101、i番目(iは正の整数)のタイムスライスのマイクロフォン信号を取得する。
本出願の実施例において、取得したマイクロフォン信号について、タイムスライスに基づいて、マイクロフォン信号に対してデータ処理を行うことができ、予め設定されたサンプリング周波数及び予め設定されたタイムスライスの持続時間に応じて、マイクロフォン信号を複数のタイムスライスに分割することができる。
ここで、タイムスライスの持続時間を事前に設定してもよく、例えば、1つのタイムスライスの持続時間を8msに設定してもよい。
本出願の実施例において、サンプリング周波数も事前に設定してもよく、サンプリング周波数が異なると、同じ持続時間のタイムスライス内に記録できるサンプリングポイントの数も異なり、タイムスライスに含まれるデータ量も異なる。予め設定されたサンプリング周波数が16KHzであり、1つのタイムスライスの持続時間は8msであると仮定すると、各タイムスライスに記録されるサンプリングポイントの数は128個であり、サンプリング周波数が20KHzであると仮定すると、持続時間が8msである1つのタイムスライス内に記録されるサンプリングポイントの数は160個である。
さらに、予め設定されたサンプリング周波数に基づいてマイクロフォン信号に対してサンプリングすることができ、サンプリングで取得したデータをタイムスライスの各サンプリングポイントに順次記録し、各タイムスライスの持続時間は予め設定された持続時間であり、サンプリングが完了すると、複数のタイムスライスを取得でき、各タイムスライスには、一部のマイクロフォン信号が記録されている。
さらに、本出願の実施例において、複数のタイムスライスからi番目(iは正の整数)のタイムスライスのマイクロフォン信号を取得することができ、かつ、iの値はマイクロフォン信号に対応するタイムスライスの総数以下である。例えば、マイクロフォン信号に対応するタイムスライスの数が8個であると仮定すると、iの最大値は8である。
ステップ102、i-n番目(nはiより小さい正の整数)のタイムスライスからi番目のタイムスライスまでの参照信号を取得する。
本出願の実施例において、参照信号についても、タイムスライスに基づいて参照信号に対してデータ処理することができる。ここで、参照信号とは、スマートバックミラー、携帯電話などの車載インフォテインメントに接続されるデバイスがオーディオデータを再生する際に収集する信号を言い、前述のマイクロフォン信号は、オーディオデータを再生する際にマイクロフォンによって収集されるエコー信号である。
後続の参照信号とマイクロフォン信号とを比較した比較結果の正確性を保証するために、本出願では、マイクロフォン信号を処理時と同じタイムスライス及びサンプリング周波数を用いて参照信号を処理する。例えば、マイクロフォン信号に対応するタイムスライスの持続時間が8msであり、サンプリング周波数が16KHzであると仮定すると、参照信号に対応するタイムスライスの持続時間も8msであり、サンプリング周波数も16KHzであり、これにより、参照信号の対応するタイムスライスに記録されるサンプリングポイントの数と、マイクロフォン信号の対応するタイムスライスに記録されるサンプリングポインの数とが一致することを保証でき、後続で2つの信号の比較が容易になる。
本実施例では、タイムスライスに基づいて参照信号を処理して、複数のタイムスライスの参照信号を取得した後、複数のタイムスライスの参照信号から、i-n番目のタイムスライスからi番目のタイムスライスまでの参照信号を取得することができる。ここで、nの値はi未満のいずれの正の整数であり得る。参照信号はオーディオデータを再生時に収集される信号であり、マイクロフォン信号はオーディオデータの再生プロセスにマイクロフォンによって収集される信号であるため、マイクロフォン信号が参照信号より早くなることがなく、したがって、本出願の実施例において、i番目のタイムスライスまでの参照信号を取得すればよい。
ステップ103、i-n番目のタイムスライスからi番目のタイムスライスまでの参照信号を第1のバッファエリアに記憶する。
本実施例では、取得したi-n番目のタイムスライスからi番目のタイムスライスまでの参照信号について、取得されたこれらの信号をバッファエリアに記憶することができ、当該バッファエリアを第1のバッファエリアと記してもよく、第1のバッファエリアは、先入れ先出しのデータバッファエリアキューであってもよい。
ステップ104、i番目のタイムスライスのマイクロフォン信号を第2のバッファエリアに記憶して第2のバッファエリア内でi番目のタイムスライスのマイクロフォン信号を予め設定された時間だけ遅延させる。
本実施例では、取得したi番目のタイムスライスのマイクロフォン信号もバッファエリアに記憶することができ、マイクロフォン信号を記憶するバッファエリアを第2のバッファエリアと記してもよく、第2のバッファエリアは、先入れ先出しのデータバッファエリアキューであってもよく、かつ、第2のバッファエリアにおいて、i番目のタイムスライスのマイクロフォン信号を予め設定された時間だけ遅延させる。
ここで、予め設定された時間は、実際の状況に応じて決定されてもよく、予め設定された時間の値は、スマートバックミラー、携帯電話などのデバイスが再生するオーディオデータの車載インフォテインメントでの遅延時間、及び遅延推定アルゴリズムで長い遅延時間を計算する際の誤差に関連する。
例を挙げると、異なる車載インフォテインメントにとって、スマートバックミラーによって車載インフォテインメントに再生されるオーディオデータの遅延時間が異なり、最大の遅延時間は800msにもなることができ、全部カバーすることを確保するため、長い遅延は1秒間検出し、遅延推定アルゴリズムの誤差が5%であると仮定すると、1秒の長い遅延時間に対応する誤差は50msであり、生じ得る負の遅延は最大50msになることができ、したがって、負の遅延の問題を解決するため、予め設定された時間を50ms以上の値に設定することができ、例えば、予め設定された時間を60ms、80ms、100msなどに設定できる。
さらに、予め設定された時間に応じて、i番目のタイムスライスのマイクロフォン信号を予め設定された時間だけ遅延させることができる。例えば、予め設定された時間が60msであり、i番目のタイムスライスのマイクロフォン信号の開始時間が9msであると仮定すると、予め設定された時間だけ遅延させた後のi番目のタイムスライスの参照信号の開始時間は69msである。
本出願の実施例の可能な一実施形態では、第1のバッファエリアの長さは第2のバッファエリアの長さより大きい。第1のバッファエリアに記憶されるものは、i-n番目のタイムスライスからi番目のタイムスライスまでの参照信号であり、第2のバッファエリアに記憶されるものは、i番目のタイムスライスのマイクロフォン信号であるため、第1のバッファエリアに記憶する必要のあるデータ量は、第2のバッファエリアに記憶する必要のあるデータ量より多く、したがって、本出願では、第1のバッファエリアの長さを第2のバッファエリアの長さより大きく設定することができ、それにより、毎回取得するマイクロフォン信号のそれぞれについて、複数の参照信号を取得して記憶することを保証でき、後続でマイクロフォン信号に対応する類似の参照信号を正確に識別するために条件を提供する。
ステップ105、i-n番目のタイムスライスからi番目のタイムスライスまでの参照信号からi番目のタイムスライスのマイクロフォン信号に対応する類似の参照信号を選択する。
本実施例では、予め設定された時間だけ遅延させた後のi番目のタイムスライスのマイクロフォン信号について、当該マイクロフォン信号を、i-n番目のタイムスライスからi番目のタイムスライスまでの参照信号中の各々の参照信号と比較することができ、i番目のタイムスライスのマイクロフォン信号と、各々の参照信号との間の類似度を計算し、計算で取得した類似度の値にしたがって、i番目のタイムスライスのマイクロフォン信号との間の類似度の値が最大の参照信号を選択して、i番目のタイムスライスのマイクロフォン信号に対応する類似の参照信号とする。
ステップ106、i番目のタイムスライスのマイクロフォン信号に対応する時間値及び類似の参照信号に対応する時間値に基づいて、負の遅延時間を決定する。
本実施例では、i番目のタイムスライスのマイクロフォン信号に対応する類似の参照信号を決定した後、i番目のタイムスライスのマイクロフォン信号に対応する時間値及び類似の参照信号に対応する時間値に基づいて、両者間の負の遅延時間を決定できる。
実際に再生するとき、類似の参照信号は、オーディオデータを再生する際に採取される信号として、オーディオデータが再生する際に発生するエコー信号(即ち、マイクロフォン信号)の前に生じるべきであり、したがって、類似の参照信号と、i番目のタイムスライスのマイクロフォン信号との間の負の遅延時間を計算するとき、類似の参照信号に対応する時間値からi番目のタイムスライスのマイクロフォン信号に対応する時間値を差し引いて、両者間の負の遅延時間を取得する。また、i番目のタイムスライスのマイクロフォン信号は、予め設定された時間遅延を経た後の信号であるため、それに対応する類似の参照信号がi番目のタイムスライスの参照信号であっても、類似の参照信号のタイムスライスに対応する時間値も、i番目のタイムスライスのマイクロフォン信号に対応する時間値より遅く、これは、実際に再生するときに参照信号が先に現れてからエコー信号が現れるという因果関係と明らかに反しており、したがって、類似の参照信号に対応する時間値からi番目のタイムスライスのマイクロフォン信号に対応する時間値を差し引いて、取得した遅延時間の値は負の遅延時間であり、それにより負の遅延検出が実現される。
さらに、本出願の実施例の可能な一実施形態では、負の遅延検出結果の信頼性を保証するため、複数組のデータを計算することができ、即ち、複数の異なる時刻のマイクロフォン信号と、対応する類似の参照信号との間の負の遅延時間を計算し、各セットのマイクロフォン信号と、対応する類似の参照信号との間の類似度の値がいずれも予め設定された閾値より大きい場合、計算して取得した負の遅延時間が信頼できると考えられる。
本実施例の負の遅延時間の検出方法は、i番目(iは正の整数)のタイムスライスのマイクロフォン信号を取得し、i-n番目(nはiより小さい正の整数)のタイムスライスからi番目のタイムスライスまでの参照信号を取得し、i-n番目のタイムスライスからi番目のタイムスライスまでの参照信号を第1のバッファエリアに記憶し、i番目のタイムスライスのマイクロフォン信号を第2のバッファエリアに記憶して第2のバッファエリア内でi番目のタイムスライスのマイクロフォン信号を予め設定された時間だけ遅延させ、i-n番目のタイムスライスからi番目のタイムスライスまでの参照信号からi番目のタイムスライスのマイクロフォン信号に対応する類似の参照信号を選択し、i番目のタイムスライスのマイクロフォン信号に対応する時間値及び類似の参照信号に対応する時間値に基づいて負の遅延時間を決定する。これにより、負の遅延検出が実現され、従来のアルゴリズムでは負の遅延検出を実現できないという欠点を補った。
スマートバックミラー、携帯電話などのデバイスのオーディオデータが車内の音響システムによって正常に再生できることを保証するため、エコーキャンセルモジュールを設置することによりオーディオデータの伝送過程に生じる遅延時間を処理するが、マイクロフォン信号と参照信号との間に負の遅延が発生すると、エコーキャンセルモジュールが正常に動作することができなくなり、それにより遅延エコーをキャンセルすることができない。それため、エコーキャンセルモジュールが正常に動作できるようにするため、本出願の実施例の可能な一実施形態では、決定された負の遅延時間で参照信号を処理することができ、以下では、図2を参照しながら詳細に説明する。
図2は、本出願の第2の実施例に係る負の遅延時間の検出方法の概略フローチャートであり、図2に示すように、図1に示す実施例に加え、ステップ106の後に、ステップ107をさらに含む。
ステップ107、負の遅延時間をなくすために、負の遅延時間に基づいて類似の参照信号を負の遅延時間だけ早める。
実際にオーディオデータを再生する際に、先に参照信号があってからこそエコー信号(即ち、本出願のマイクロフォン信号)があり、マイクロフォン信号と参照信号との間に負の遅延が生じる場合、これは、実際の因果関係と反するため、エコーキャンセルモジュールが遅延エコーのキャンセル処理を行うことができない。したがって、本出願では、負の遅延時間をなくすために、計算して取得した負の遅延時間に基づいて、類似の参照信号を負の遅延時間だけ早めることができる。
例えば、計算して取得した負の遅延時間が30msであり、類似の参照信号のタイムスライスの開始時間が96msであると仮定すると、負の遅延時間だけ早めた後の類似の参照信号のタイムスライスの開始時間は66msに変化する。
負の遅延時間は、類似の参照信号が、対応するi番目のタイムスライスのマイクロフォン信号よりも遅く生じる時間を表すことができるため、類似の参照信号を負の遅延時間だけ早めた後、類似の参照信号のタイムスライスの開始時間が、遅延後のi番目のタイムスライスのマイクロフォン信号の開始時間と同じになり、それにより、遅延推定アルゴリズムに誤差があったとしても、マイクロフォン信号と参照信号とをアラインメントした後に負の遅延が生じることはなく、アラインメント後のマイクロフォン信号と参照信号とをエコーキャンセルモジュールに入力した後、エコーキャンセルモジュールは遅延エコー処理を行うことができ、エコーキャンセルモジュールが正常に動作できることを保証した。
本実施例の負の遅延時間の検出方法では、負の遅延時間をなくすために、負の遅延時間に基づいて類似の参照信号を負の遅延時間だけ早めることにより、アラインメント後のマイクロフォン信号と参照信号との間に負の遅延が生じないことを保証し、それによりエコーキャンセルモジュールが正常に動作できることを保証し、遅延エコー処理が完了され、車内の音響システムの再生効果を保証し、ユーザの聴覚体験を向上させる。
前述の実施例において、i-n番目のタイムスライスからi番目のタイムスライスまでの参照信号から、i番目のタイムスライスのマイクロフォン信号に対応する類似の参照信号を選択するステップの具体的な実施過程をより明確に説明するために、以下では、図3を参照しながら詳細に説明する。
図3は、本出願の第3実施例に係る負の遅延時間の検出方法の概略フローチャートであり、図3に示すように、図1に示す実施例に加え、ステップ105は、ステップ201~ステップ202を含む。
ステップ201、第2のバッファエリア内のi番目のタイムスライスのマイクロフォン信号と、第1のバッファエリア内のi-n番目のタイムスライスからi番目のタイムスライスまでの参照信号とを比較して、i番目のタイムスライスのマイクロフォン信号と、i-n番目のタイムスライスからi番目のタイムスライスまでの参照信号との類似度を取得する。
通常、オーディオデータは、スペクトル形態で存在し、本出願の実施例において、マイクロフォン信号及び参照信号のタイムスライスに記録されるものは、いずれも各サンプリングポイントのサンプリング値、即ち離散データであるため、第2のバッファエリア内のi番目のタイムスライスのマイクロフォン信号と、第1のバッファエリア内のi-n番目のタイムスライスからi番目のタイムスライスまでの参照信号とを比較して類似度を計算する際に、従来の類似度計算方法を用いてi番目のタイムスライスのマイクロフォン信号と、i-n番目のタイムスライスからi番目のタイムスライスまでの参照信号中のそれぞれの参照信号との間の類似度を計算することができる。
例えば、ユークリッド距離の式を用いてi番目のタイムスライスのマイクロフォン信号と、i-n番目のタイムスライスからi番目のタイムスライスまでの参照信号中の各々の参照信号との間の距離を計算することができ、取得した距離でi番目のタイムスライスのマイクロフォン信号と各参照信号との間の類似度を特徴付ける。
ステップ202、i番目のタイムスライスのマイクロフォン信号と、i-n番目のタイムスライスからi番目のタイムスライスまでの参照信号との間の類似度に基づいて、i番目のタイムスライスのマイクロフォン信号に対応する類似の参照信号を取得する。
本実施例では、計算でi番目のタイムスライスのマイクロフォン信号と、i-n番目のタイムスライスからi番目のタイムスライスまでの参照信号中の各々の参照信号との間の類似度を取得した後、各類似度の値を比較して、類似度の値にしたがってi番目のタイムスライスのマイクロフォン信号に対応する類似の参照信号を決定することができる。
一例示として、各類似度を比較することができ、最大類似度に対応する参照信号を、i番目のタイムスライスのマイクロフォン信号に対応する類似の参照信号として決定する。
別の例示として、計算して取得した各類似度を事前に設定した類似度閾値と比較して、類似度閾値よりも大きい類似度が存在するか否かを判断し、存在する場合、類似度が類似度閾値を越える参照信号をi番目のタイムスライスのマイクロフォン信号に対応する類似の参照信号として決定する。さらに、類似度が類似度閾値を越える参照信号の数が1つ以上である場合、類似度閾値を越える複数の類似度のうち、最大類似度に対応する参照信号をi番目のタイムスライスのマイクロフォン信号に対応する類似の参照信号として決定する。つまり、本例示において、i番目のタイムスライスのマイクロフォン信号と類似の参照信号との目標類似度は予め設定された類似度閾値より大きく、かつ、目標類似度はi番目のタイムスライスのマイクロフォン信号と、i-n番目のタイムスライスからi番目のタイムスライスまでの参照信号との間の類似度中の最大値であり、これにより、類似の参照信号の選択の正確性と信頼性を保証できることにより、負の遅延検出の正確性を向上させるために条件を提供した。
本実施例の負の遅延時間の検出方法は、第2のバッファエリア内のi番目のタイムスライスのマイクロフォン信号と、前記第1のバッファエリア内のi-n番目のタイムスライスからi番目のタイムスライスまでの参照信号とを比較することにより、i番目のタイムスライスのマイクロフォン信号と、前記i-n番目のタイムスライスからi番目のタイムスライスまでの参照信号との間の類似度を取得し、さらに、i番目のタイムスライスのマイクロフォン信号と、i-n番目のタイムスライスからi番目のタイムスライスまでの参照信号との間の類似度に基づいて、i番目のタイムスライスのマイクロフォン信号に対応する類似の参照信号を取得し、これにより、類似の参照信号の選択が実現され、参照信号の選択の正確性を保証し、負の遅延検出を正確に行うために基を築いた。
図4は、本出願の具体的な一実施例に係る負の遅延時間検出の概略フローチャートである。図4に示すように、マイクロフォン信号及び参照信号は、それぞれバッファプールA及びバッファプールBのキューのテール部に記憶され、バッファプールキューは、いずれも先入れ先出しキューである。ここで、バッファプールAは遅延キューであり、即ち、マイクロフォン信号がバッファプールAに入力された後、マイクロフォン信号に対応する録音データは、予め設定された時間だけ遅延し、バッファプールAに記憶されている各ブロックの録音データは遅延後のデータである。バッファプールAに記憶されている録音データについて、バッファプールAから1ブロックの録音データを順次抽出して、バッファプールBに記憶されている参照データと比較し、これによりバッファプールBから現在比較した録音データに最も類似する類似の参照信号を選択し、さらに、現在の録音データの時間値及び類似の参照信号の時間値に基づいて両者間の負の遅延時間を決定するとともに、負の遅延時間をなくすために、負の遅延時間に基づいて類似の参照信号を負の遅延時間だけ早める。例えば、バッファプールA内で現在キューのテールに位置するものがm番目の録音データである場合、m番目のデータをバッファプールB内の各参照データと比較し、n番目の参照データがm番目の録音データに対応する類似の参照データであると仮定すると、n番目の参照データの時間値及びm番目の録音データの時間値に基づいて、両者間の負の遅延時間を決定する。m番目の録音データの比較が完了してから、m+1番目の録音データをバッファプールB内の各参照データと比較し、このように類推して、バッファプールA内の録音データを全部比較するまで、同様に行う。選択可能に、1ブロックの録音データの比較が完了すると、バッファプールAのストレージスペースを節約して、引き続いて新しい録音データを受信できるように、当該ブロックの録音データをバッファプールAからクリアしてもよい。
バッファプールに入力されたマイクロフォン信号を遅延処理してから、参照信号と比較して、対応する類似の参照信号を探し、さらに、類似の参照信号とマイクロフォン信号との時間差に基づいて負の遅延時間を計算することにより、負の遅延検出が実現され、従来のアルゴリズムでは負の遅延検出を実現できないという欠点を補った。
上記実施例を実現するために、本出願は、負の遅延時間の検出装置をさらに提案する。
図5は、本出願の第4実施例に係る負の遅延時間の検出装置の概略構造図である。図5に示すように、当該負の遅延時間の検出装置50は、第1の取得モジュール510、第2の取得モジュール520、第1の記憶モジュール530、第2の記憶モジュール540、選択モジュール550、及び決定モジュール560を含む。
第1の取得モジュール510は、i番目(iは正の整数である)のタイムスライスのマイクロフォン信号を取得するために用いられる。
第2の取得モジュール520は、i-n番目(nはiより小さい正の整数)のタイムスライスからi番目のタイムスライスまでの参照信号を取得するために用いられる。
第1の記憶モジュール530は、i-n番目のタイムスライスからi番目のタイムスライスまでの参照信号を第1のバッファエリアに記憶するために用いられる。
第2の記憶モジュール540は、i番目のタイムスライスのマイクロフォン信号を第2のバッファエリアに記憶して第2のバッファエリア内でi番目のタイムスライスのマイクロフォン信号を予め設定された時間だけ遅延させるために用いられる。
選択可能に、第1のバッファエリアの長さは前記第2のバッファエリアの長さより大きい。
選択モジュール550は、i-n番目のタイムスライスからi番目のタイムスライスまでの参照信号からi番目のタイムスライスのマイクロフォン信号に対応する類似の参照信号を選択するために用いられる。
決定モジュール560は、i番目のタイムスライスのマイクロフォン信号に対応する時間値及び類似の参照信号に対応する時間値に基づいて、負の遅延時間を決定するために用いられる。
さらに、本出願の実施例の可能な一実施形態では、図6に示すように、図5に示す実施例に加え、当該負の遅延時間の検出装置50は、さらに、
負の遅延時間をなくすために、負の遅延時間に基づいて類似の参照信号を負の遅延時間だけ早めるための処理モジュール570を含む。
本出願の実施例の可能な一実施形態では、図7に示すように、図5に示す実施例に加え、選択モジュール550は、
第2のバッファエリア内のi番目のタイムスライスのマイクロフォン信号と、第1のバッファエリア内のi-n番目のタイムスライスからi番目のタイムスライスまでの参照信号とを比較して、i番目のタイムスライスのマイクロフォン信号と、i-n番目のタイムスライスからi番目のタイムスライスまでの参照信号との類似度を取得するための比較ユニット551と、
i番目のタイムスライスのマイクロフォン信号と、i-n番目のタイムスライスからi番目のタイムスライスまでの参照信号との間の類似度に基づいて、i番目のタイムスライスのマイクロフォン信号に対応する類似の参照信号を取得するための取得ユニット552と、を含む。
本出願の実施例の可能な一実施形態では、i番目のタイムスライスのマイクロフォン信号と類似の参照信号との目標類似度は予め設定された類似度閾値よりも大きく、かつ、目標類似度は、i番目のタイムスライスのマイクロフォン信号と、i-n番目のタイムスライスからi番目のタイムスライスまでの参照信号との間の類似度中の最大値である。
なお、前述の負の遅延時間の検出方法実施例に対する解釈と説明は、本実施例の負の遅延時間の検出装置にも適用でき、その実現原理は類似するため、ここでは詳細な説明を省略する。
本出願の実施例の負の遅延時間の検出装置では、i番目(iは正の整数)のタイムスライスのマイクロフォン信号を取得し、i-n番目(nはiより小さい正の整数)のタイムスライスから前記i番目のタイムスライスまでの参照信号を取得し、前記i-n番目のタイムスライスから前記i番目のタイムスライスまでの参照信号を第1のバッファエリアに記憶し、前記i番目のタイムスライスのマイクロフォン信号を第2のバッファエリアに記憶して前記第2のバッファエリア内で前記i番目のタイムスライスのマイクロフォン信号を予め設定された時間だけ遅延させ、前記i-n番目のタイムスライスから前記i番目のタイムスライスまでの参照信号から、前記i番目のタイムスライスのマイクロフォン信号に対応する類似の参照信号を選択し、前記i番目のタイムスライスのマイクロフォン信号に対応する時間値、及び前記類似の参照信号に対応する時間値に基づいて前記負の遅延時間を決定することにより、負の遅延検出が実現され、従来のアルゴリズムでは負の遅延検出を実現できないという欠点を補った。
本出願の実施例によれば、本出願は、電子機器及びコンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体をさらに提供する。
図8に示すように、本出願の実施例の負の遅延時間の検出方法を実現するための電子機器のブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ、及び他の適切なコンピュータなどの様々な形態のデジタルコンピュータを表すことを目的とする。電子機器は、パーソナルデジタルプロセッサ、携帯電話、スマートフォン、ウェアラブルデバイス、他の類似するコンピューティングデバイスなどの様々な形態のモバイルデバイスを表すこともできる。本明細書で示されるコンポーネント、それらの接続と関係、及びそれらの機能は単なる例であり、本明細書の説明及び/又は要求される本出願の実現を制限することを意図したものではない。
図8に示すように、当該電子機器は、1つ又は複数のプロセッサ801と、メモリ802と、高速インターフェース及び低速インターフェースを含む、各コンポーネントを接続するためのインターフェースと、を含む。各コンポーネントは、異なるバスで相互に接続され、共通のマザーボードに取り付けられるか、又は必要に応じて他の方式で取り付けることができる。プロセッサは、電子機器内で実行される命令を処理することができ、当該命令は、外部入力/出力装置(例えば、インターフェースに結合されたディスプレイデバイスなど)にGUIの図形情報をディスプレイするためにメモリ内又はメモリに記憶されている命令を含む。他の実施形態では、必要に応じて、複数のプロセッサ及び/又は複数のバスを、複数のメモリと一緒に使用することができる。同様に、複数の電子機器を接続することができ、各電子機器は、一部の必要な操作(例えば、サーバアレイ、1グループのブレードサーバ、又はマルチプロセッサシステムとする)を提供することができる。図8では、1つのプロセッサ801を例とする。
メモリ802は、本出願により提供される非一時的なコンピュータ読み取り可能な記憶媒体である。その中で、前記メモリには、前記少なくとも1つのプロセッサが本出願により提供される負の遅延時間の検出方法を実行するように、少なくとも1つのプロセッサによって実行可能な命令が記憶されている。本出願の非一時的なコンピュータ読み取り可能な記憶媒体には、コンピュータに本出願により提供される負の遅延時間の検出方法を実行させるためのコンピュータ命令が記憶されている。
メモリ802は、非一時的なコンピュータ読み取り可能な記憶媒体として、本出願の実施例における負の遅延時間の検出方法に対応するプログラム命令/モジュール(例えば、図5に示す第1の取得モジュール510、第2の取得モジュール520、第1の記憶モジュール530、第2の記憶モジュール540、選択モジュール550及び決定モジュール560)のような、非一時的なソフトウェアプログラム、非一時的なコンピュータ実行可能なプログラム及びモジュールを記憶する。プロセッサ801は、メモリ802に記憶されている非一時的なソフトウェアプログラム、命令及びモジュールを実行することによって、サーバの様々な機能アプリケーション及びデータ処理を実行し、すなわち上記方法の実施例における負の遅延時間の検出方法を実現する。
メモリ802は、プログラムストレージエリアとデータストレージエリアとを含むことができる。ここで、プログラムストレージエリアは、オペレーティングシステム、少なくとも1つの機能に必要なアプリケーションプログラムを記憶することができ、データストレージエリアは、負の遅延時間の検出方法を実行する電子機器の使用によって作成されたデータなどを記憶することができる。また、メモリ802は、高速ランダムアクセスメモリを含むことができ、非一時的なメモリをさらに含むことができ、例えば、少なくとも1つの磁気ディスクストレージデバイス、フラッシュメモリデバイス、又は他の非一時的なソリッドステートストレージデバイスである。いくつかの実施例では、メモリ802は、プロセッサ801に対して遠隔に設定されたメモリを選択的に含むことができ、これらの遠隔メモリは、ネットワークを介して負の遅延時間の検出方法を実行する電子機器に接続されることができる。上記ネットワークの例は、インターネット、イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、及びその組み合わせを含むが、これらに限定されない。
負の遅延時間の検出方法を実行する電子機器は、入力装置803と出力装置804とをさらに含んでもよい。プロセッサ801、メモリ802、入力装置803、及び出力装置804は、バス又は他の方式を介して接続することができ、図8では、バスを介して接続することを例とする。
入力装置803は、入力された数字又は文字情報を受信し、負の遅延時間の検出方法を実行する電子機器のユーザ設定及び機能制御に関するキー信号入力を生成することができ、例えば、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、ポインティングスティック、1つ又は複数のマウスボタン、トラックボール、ジョイスティックなどの入力装置である。出力装置804は、ディスプレイデバイス、補助照明装置(例えば、LED)、及び触覚フィードバックデバイス(例えば、振動モータ)などを含むことができる。当該ディスプレイデバイスは、液晶ディスプレイ(LCD)、発光ダイオード(LED)ディスプレイ、及びプラズマディスプレイを含むことができるが、これらに限定されない。いくつかの実施形態で、ディスプレイデバイスは、タッチスクリーンであってもよい。
本明細書で説明されるシステムと技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、特定用途向けASIC(特定用途向け集積回路)、コンピュータハードウェア、ファームウェア、ソフトウェア、及び/又はそれらの組み合わせで実現することができる。これらの様々な実施形態は、1つ又は複数のコンピュータプログラムで実施され、当該1つ又は複数のコンピュータプログラムは、少なくとも1つのプログラマブルプロセッサを含むプログラム可能なシステムで実行及び/又は解釈することができ、当該プログラマブルプロセッサは、専用又は汎用のプログラマブルプロセッサであってもよく、ストレージシステム、少なくとも1つの入力装置、及び少なくとも1つの出力装置からデータ及び命令を受信し、データ及び命令を当該ストレージシステム、当該少なくとも1つの入力装置、及び当該少なくとも1つの出力装置に伝送することができる。
これらのコンピューティングプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードとも呼ばれる)は、プログラマブルプロセッサの機械命令を含んでもよく、高レベルのプロセス及び/又は対象指向プログラミング言語、及び/又はアセンブリ/機械言語でこれらのコンピューティングプログラムを実施することができる。本明細書に使用されるような、「機械読み取り可能な媒体」及び「コンピュータ読み取り可能な媒体」という用語は、機械命令及び/又はデータをプログラマブルプロセッサに提供するための任意のコンピュータプログラム製品、機器、及び/又は装置(例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス(PLD))を指し、機械読み取り可能な信号である機械命令を受信する機械読み取り可能な媒体を含む。「機械読み取り可能な信号」という用語は、機械命令及び/又はデータをプログラマブルプロセッサに提供するための任意の信号を指す。
ユーザとのインタラクションを提供するために、説明されているシステム及び技術をコンピュータ上で実施することができ、当該コンピュータは、ユーザに情報を表示するためのディスプレイ装置(例えば、CRT(陰極線管)又はLCD(液晶ディスプレイ)モニタ)と、キーボード及びポインティングデバイス(例えば、マウス又はトラックボール)とを有し、ユーザは、当該キーボード及び当該ポインティングデバイスによって入力をコンピュータに提供することができる。他の種類の装置も、ユーザとのインタラクションを提供することができ、例えば、ユーザに提供されるフィードバックは、任意の形態のセンシングフィードバック(例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック)であってもよく、任意の形態(音響入力と、音声入力と、触覚入力とを含む)でユーザからの入力を受信することができる。
ここで、説明されるシステム及び技術は、バックエンドコンポーネントを含むコンピューティングシステム(例えば、データサーバとする)、又はミドルウェアコンポーネントを含むコンピューティングシステム(例えば、アプリケーションサーバ)、又はフロントエンドコンポーネントを含むコンピューティングシステム(例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータであり、ユーザは、当該グラフィカルユーザインタフェース又は当該ウェブブラウザによって、説明されるシステム及び技術の実施形態とインタラクションする)、又はこのようなバックエンドコンポーネントと、ミドルウェアコンポーネントと、フロントエンドコンポーネントの任意の組み合わせを含むコンピューティングシステムで実施することができる。任意の形態又は媒体のデジタルデータ通信(例えば、通信ネットワーク)によってシステムのコンポーネントを相互に接続することができる。通信ネットワークの例は、ローカルエリアネットワーク(LAN)と、ワイドエリアネットワーク(WAN)と、インターネットとを含む。
コンピュータシステムは、クライアントとサーバとを含むことができる。クライアントとサーバは、一般的に、互いに離れており、通常に通信ネットワークを介してインタラクションする。対応するコンピュータ上で実行され、かつ互いにクライアント-サーバの関係を有するコンピュータプログラムによって、クライアントとサーバとの関係が生成される。
本出願の実施例の技術的解決手段は、i番目(iは正の整数)のタイムスライスのマイクロフォン信号を取得し、i-n番目(nはiより小さい正の整数)のタイムスライスからi番目のタイムスライスまでの参照信号を取得し、i-n番目のタイムスライスからi番目のタイムスライスまでの参照信号を第1のバッファエリアに記憶し、i番目のタイムスライスのマイクロフォン信号を第2のバッファエリアに記憶して第2のバッファエリア内でi番目のタイムスライスのマイクロフォン信号を予め設定された時間だけ遅延させ、i-n番目のタイムスライスからi番目のタイムスライスまでの参照信号から、i番目のタイムスライスのマイクロフォン信号に対応する類似の参照信号を選択し、i番目のタイムスライスのマイクロフォン信号に対応する時間値及び類似の参照信号に対応する時間値に基づいて負の遅延時間を決定することにより、負の遅延検出が実現され、従来のアルゴリズムでは負の遅延検出を実現できないという欠点を補った。そして、負の遅延時間をなくすために、負の遅延時間に基づいて類似の参照信号を負の遅延時間だけ早めることにより、アラインメント後のマイクロフォン信号と参照信号との間に負の遅延が生じないことを保証し、それによりエコーキャンセルモジュールが正常に動作できることを保証し、遅延エコー処理を完了させ、車内の音響システムの再生効果を保証し、ユーザの聴覚体験を向上させる。
上記に示される様々な形態のフローを使用して、ステップを並べ替え、追加、又は削除することができる。例えば、本出願に記載されている各ステップは、並列に実行されてもよいし、順次的に実行されてもよいし、異なる順序で実行されてもよいが、本出願で開示されている技術案の所望の結果を実現することができれば、本明細書では限定されない。
上記具体的な実施形態は、本出願の保護範囲を制限するものではない。当業者は、設計要件と他の要因に基づいて、様々な修正、組み合わせ、サブコンビネーション、及び代替を行うことができる。本出願の精神と原則内で行われる任意の修正、同等の置換、及び改善などは、いずれも本出願の保護範囲内に含まれるべきである。

Claims (13)

  1. 負の遅延時間の検出方法であって、
    i番目(iは正の整数)のタイムスライスのマイクロフォン信号を取得するステップと、
    i-n番目(nはiより小さい正の整数)のタイムスライスから前記i番目のタイムスライスまでの参照信号を取得するステップと、
    前記i-n番目のタイムスライスから前記i番目のタイムスライスまでの参照信号を第1のバッファエリアに記憶するステップと、
    前記i番目のタイムスライスのマイクロフォン信号を第2のバッファエリアに記憶して前記第2のバッファエリア内で前記i番目のタイムスライスのマイクロフォン信号を予め設定された時間だけ遅延させるステップと、
    前記i-n番目のタイムスライスから前記i番目のタイムスライスまでの参照信号から、予め設定された時間だけ遅延後の前記i番目のタイムスライスのマイクロフォン信号に対応する類似の参照信号を選択するステップと、
    予め設定された時間だけ遅延後の前記i番目のタイムスライスのマイクロフォン信号に対応する時間値、及び前記類似の参照信号に対応する時間値に基づいて、前記負の遅延時間を決定するステップと、を含む、
    ことを特徴とする負の遅延時間の検出方法。
  2. 前記i-n番目のタイムスライスから前記i番目のタイムスライスまでの参照信号から、予め設定された時間だけ遅延後の前記i番目のタイムスライスのマイクロフォン信号に対応する類似の参照信号を選択するステップは、
    前記第2のバッファエリア内の予め設定された時間だけ遅延後の前記i番目のタイムスライスのマイクロフォン信号を、前記第1のバッファエリア内のi-n番目のタイムスライスから前記i番目のタイムスライスまでの参照信号と比較して、予め設定された時間だけ遅延後の前記i番目のタイムスライスのマイクロフォン信号と、前記i-n番目のタイムスライスから前記i番目のタイムスライスまでの参照信号との間の類似度を取得するステップと、
    前記i番目のタイムスライスのマイクロフォン信号と、前記i-n番目のタイムスライスから前記i番目のタイムスライスまでの参照信号との間の類似度に基づいて、予め設定された時間だけ遅延後の前記i番目のタイムスライスのマイクロフォン信号に対応する類似の参照信号を取得するステップと、を含む、
    ことを特徴とする請求項1に記載の負の遅延時間の検出方法。
  3. 予め設定された時間だけ遅延後の前記i番目のタイムスライスのマイクロフォン信号と前記類似の参照信号との目標類似度は予め設定された類似度閾値よりも大きく、かつ、前記目標類似度は、予め設定された時間だけ遅延後の前記i番目のタイムスライスのマイクロフォン信号と、前記i-n番目のタイムスライスから前記i番目のタイムスライスまでの参照信号との間の類似度中の最大値である、
    ことを特徴とする請求項2に記載の負の遅延時間の検出方法。
  4. 前記第1のバッファエリアの長さは前記第2のバッファエリアの長さよりも大きい、
    ことを特徴とする請求項1に記載の負の遅延時間の検出方法。
  5. 前記i番目のタイムスライスの時間値及び前記類似の参照信号に対応する時間値に基づいて、前記負の遅延時間を決定するステップの後、
    前記負の遅延時間をなくすために、前記負の遅延時間に基づいて、前記類似の参照信号を前記負の遅延時間だけ早めるステップをさらに含む、
    ことを特徴とする請求項1に記載の負の遅延時間の検出方法。
  6. 負の遅延時間の検出装置であって、
    i番目(iは正の整数)のタイムスライスのマイクロフォン信号を取得するための第1の取得モジュールと、
    i-n番目(nはiより小さい正の整数)のタイムスライスから前記i番目のタイムスライスまでの参照信号を取得するための第2の取得モジュールと、
    前記i-n番目のタイムスライスから前記i番目のタイムスライスまでの参照信号を第1のバッファエリアに記憶するための第1の記憶モジュールと、
    前記i番目のタイムスライスのマイクロフォン信号を第2のバッファエリアに記憶して前記第2のバッファエリア内で前記i番目のタイムスライスのマイクロフォン信号を予め設定された時間だけ遅延させるための第2の記憶モジュールと、
    前記i-n番目のタイムスライスから前記i番目のタイムスライスまでの参照信号から、前記i番目のタイムスライスのマイクロフォン信号に対応する類似の参照信号を選択するための選択モジュールと、
    予め設定された時間だけ遅延後の前記i番目のタイムスライスのマイクロフォン信号に対応する時間値、及び前記類似の参照信号に対応する時間値に基づいて、前記負の遅延時間を決定するための決定モジュールと、を含む、
    ことを特徴とする負の遅延時間の検出装置。
  7. 前記選択モジュールは、
    前記第2のバッファエリア内の予め設定された時間だけ遅延後の前記i番目のタイムスライスのマイクロフォン信号を、前記第1のバッファエリア内のi-n番目のタイムスライスから前記i番目のタイムスライスまでの参照信号と比較して、予め設定された時間だけ遅延後の前記i番目のタイムスライスのマイクロフォン信号と、前記i-n番目のタイムスライスから前記i番目のタイムスライスまでの参照信号との間の類似度を取得するための比較ユニットと、
    予め設定された時間だけ遅延後の前記i番目のタイムスライスのマイクロフォン信号と、前記i-n番目のタイムスライスから前記i番目のタイムスライスまでの参照信号との間の類似度に基づいて、予め設定された時間だけ遅延後の前記i番目のタイムスライスのマイクロフォン信号に対応する類似の参照信号を取得するための取得ユニットと、を含む、
    ことを特徴とする請求項6に記載の負の遅延時間の検出装置。
  8. 予め設定された時間だけ遅延後の前記i番目のタイムスライスのマイクロフォン信号と前記類似の参照信号との目標類似度は予め設定された類似度閾値よりも大きく、かつ、前記目標類似度は、予め設定された時間だけ遅延後の前記i番目のタイムスライスのマイクロフォン信号と、前記i-n番目のタイムスライスから前記i番目のタイムスライスまでの参照信号との間の類似度中の最大値である、
    ことを特徴とする請求項7に記載の負の遅延時間の検出装置。
  9. 前記第1のバッファエリアの長さは前記第2のバッファエリアの長さよりも大きい、
    ことを特徴とする請求項6に記載の負の遅延時間の検出装置。
  10. 前記負の遅延時間をなくすために、前記負の遅延時間に基づいて、前記類似の参照信号を前記負の遅延時間だけ早めるための処理モジュールをさらに含む、
    ことを特徴とする請求項6に記載の負の遅延時間の検出装置。
  11. 少なくとも1つのプロセッサと、
    前記少なくとも1つのプロセッサに通信可能に接続されるメモリと、を含み、
    前記メモリには、前記少なくとも1つのプロセッサによって実行可能な命令が記憶され、前記命令は、前記少なくとも1つのプロセッサによって実行される場合、前記少なくとも1つのプロセッサが請求項1~5のいずれか1項に記載の負の遅延時間の検出方法を実行させる、
    ことを特徴とする電子機器。
  12. コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、前記コンピュータ命令は、前記コンピュータに請求項1~5のいずれか1項に記載の負の遅延時間の検出方法を実行させるために用いられる、
    ことを特徴とする非一時的なコンピュータ読み取り可能な記憶媒体。
  13. コンピュータ上で動作しているときに、請求項1~5のいずれか1項に記載の負の遅延時間の検出方法を前記コンピュータに実行させる、
    ことを特徴とするコンピュータプログラム。
JP2021085181A 2020-05-21 2021-05-20 負の遅延時間の検出方法、装置、電子機器及び記憶媒体 Active JP7300478B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010438966.9A CN111736797B (zh) 2020-05-21 2020-05-21 负延时时间的检测方法、装置、电子设备及存储介质
CN202010438966.9 2020-05-21

Publications (2)

Publication Number Publication Date
JP2021132400A JP2021132400A (ja) 2021-09-09
JP7300478B2 true JP7300478B2 (ja) 2023-06-29

Family

ID=72647539

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021085181A Active JP7300478B2 (ja) 2020-05-21 2021-05-20 負の遅延時間の検出方法、装置、電子機器及び記憶媒体

Country Status (3)

Country Link
JP (1) JP7300478B2 (ja)
KR (1) KR102436302B1 (ja)
CN (1) CN111736797B (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005051744A (ja) 2003-07-17 2005-02-24 Matsushita Electric Ind Co Ltd 通話装置
WO2012049986A1 (ja) 2010-10-12 2012-04-19 日本電気株式会社 信号処理装置、信号処理方法、並びに信号処理プログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07303061A (ja) * 1994-05-07 1995-11-14 N T T Idou Tsuushinmou Kk エコーキャンセラおよびエコーパス推定方法
JP3396393B2 (ja) * 1997-04-30 2003-04-14 沖電気工業株式会社 エコー・雑音成分除去装置
KR100852642B1 (ko) * 2007-01-11 2008-08-18 삼신이노텍 주식회사 음 지연과 레벨 감쇄를 통한 서라운드 입체음향 시스템 및그 구현방법
CN104902116B (zh) * 2015-03-27 2018-05-25 腾讯科技(深圳)有限公司 一种音频数据与参考信号的时间对齐方法及装置
GB2543275A (en) 2015-10-12 2017-04-19 Nokia Technologies Oy Distributed audio capture and mixing
CN107026934B (zh) * 2016-10-27 2019-09-27 华为技术有限公司 一种声源定位方法和装置
US9916840B1 (en) 2016-12-06 2018-03-13 Amazon Technologies, Inc. Delay estimation for acoustic echo cancellation
CA3000122C (en) * 2018-03-29 2019-02-26 Cae Inc. Method and system for determining a position of a microphone
CN108881652B (zh) * 2018-07-11 2021-02-26 北京大米科技有限公司 回音检测方法、存储介质和电子设备
CN110166882B (zh) * 2018-09-29 2021-05-25 腾讯科技(深圳)有限公司 远场拾音设备、及远场拾音设备中采集人声信号的方法
CN109817235B (zh) * 2018-12-12 2024-05-24 深圳市潮流网络技术有限公司 一种VoIP设备的回声消除方法
CN110246513B (zh) * 2019-07-08 2021-08-24 维沃移动通信有限公司 语音信号的处理方法及移动终端
CN110956975B (zh) * 2019-12-06 2023-03-24 展讯通信(上海)有限公司 回声消除方法及装置
CN110956947B (zh) * 2019-12-24 2023-05-09 无锡吉兴汽车声学部件科技有限公司 一种基于曲轴传感信号的低延时汽车主动降噪系统及方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005051744A (ja) 2003-07-17 2005-02-24 Matsushita Electric Ind Co Ltd 通話装置
WO2012049986A1 (ja) 2010-10-12 2012-04-19 日本電気株式会社 信号処理装置、信号処理方法、並びに信号処理プログラム

Also Published As

Publication number Publication date
KR102436302B1 (ko) 2022-08-25
JP2021132400A (ja) 2021-09-09
CN111736797A (zh) 2020-10-02
CN111736797B (zh) 2024-04-05
KR20210068332A (ko) 2021-06-09

Similar Documents

Publication Publication Date Title
US9916840B1 (en) Delay estimation for acoustic echo cancellation
US8213635B2 (en) Keystroke sound suppression
JP7209674B2 (ja) 音声認識方法、音声認識装置、電子機器、コンピュータ可読記憶媒体及びプログラム
US11893988B2 (en) Speech control method, electronic device, and storage medium
US10529331B2 (en) Suppressing key phrase detection in generated audio using self-trigger detector
US11631420B2 (en) Voice pickup method for intelligent rearview mirror, electronic device and storage medium
EP3866166B1 (en) Method and apparatus for predicting mouth-shape feature, electronic device, storage medium and computer program product
JP2022006159A (ja) 情報を処理するための方法及び装置、電子デバイス、コンピュータ可読記憶媒体及びコンピュータプログラム
WO2023197933A1 (zh) 信号处理方法、装置、电子设备及介质
JP2022185114A (ja) エコー検出
US20180137874A1 (en) Dynamic pitch adjustment of inbound audio to improve speech recognition
JP7300478B2 (ja) 負の遅延時間の検出方法、装置、電子機器及び記憶媒体
US11462227B2 (en) Method for determining delay between signals, apparatus, device and storage medium
CN115665319B (zh) 基于无线耳机的应用控制方法、装置、设备以及存储介质
US20220044049A1 (en) Method, apparatus, device and storage medium for determining displayed recognized text
JP7162040B2 (ja) エコー遅延検出方法、装置、プログラム及び非一時的コンピュータ読み取り可能な記憶媒体
CN111724805A (zh) 用于处理信息的方法和装置
CN113593619B (zh) 用于录制音频的方法、装置、设备和介质
JP7420857B2 (ja) スマートバックミラー用の遅延推定方法、装置および電子機器
US10796709B1 (en) Acoustic echo cancellation bypass
CN112114886B (zh) 误唤醒音频的获取方法和装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210520

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20210531

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20211101

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20220407

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220704

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220906

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220913

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20220916

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20220926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221220

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230306

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230619

R150 Certificate of patent or registration of utility model

Ref document number: 7300478

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150