JP5284477B2 - 音声データの伝送にエラーがある際のエラー隠蔽方法 - Google Patents
音声データの伝送にエラーがある際のエラー隠蔽方法 Download PDFInfo
- Publication number
- JP5284477B2 JP5284477B2 JP2011529523A JP2011529523A JP5284477B2 JP 5284477 B2 JP5284477 B2 JP 5284477B2 JP 2011529523 A JP2011529523 A JP 2011529523A JP 2011529523 A JP2011529523 A JP 2011529523A JP 5284477 B2 JP5284477 B2 JP 5284477B2
- Authority
- JP
- Japan
- Prior art keywords
- audio signal
- signal
- frame
- received
- signal frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/93—Discriminating between voiced and unvoiced parts of speech signals
Landscapes
- Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Noise Elimination (AREA)
Description
発明の利点
これに対して、独立請求項の特徴を備えた本発明による方法は、代替音声信号フレームの音声信号を評価するために、この代替音声信号フレームの音声信号が、無声音声信号を有する、受信した音声信号フレームに基づき形成される場合には、音声信号のより良好な信号品質が達成されるという利点を有する。このことは、受信した音声信号フレームの無声音声信号に関して、少なくとも1つの代替音声信号フレームの音声信号がノイズ信号を用いて形成されることによって達成される。ノイズ信号は、一義的な基本周波数を有していない信号である。有利には、所定の値領域内に均等分布しているランダム信号がノイズ信号として使用される。
図5には、本発明による方法の有利な実施形態が示されている。事前に受信した音声信号フレーム50の音声信号は、線形予測解析を用いて線形予測係数を検出するユニット62に供給され、これによって線形予測係数51が取得される。線形予測係数51と、受信した音声信号フレーム50の音声信号とを用いることにより、線形予測解析フィルタ61は残存信号52を形成する。音声信号が有声であるか無声であるかを判定する修正判定ユニット83は、従来技術において行われているように残存信号52に基づいて判定を行うのではなく、受信した音声信号フレーム50の音声信号に基づき判定を行う。さらに、受信した音声信号フレーム50の音声信号に依存して、文献[3]から公知である修正基本周波数検出ユニット84を用いて、修正基本周波数74が取得される。修正判定ユニット83による有声であるか無声であるかの修正判定結果73に依存して、残存信号52および修正基本周波数74に基づき修正被評価残存信号75を形成する形成ユニット65への残存信号52の第1の切り替えが行われるか、または、エネルギ算出ユニット85への残存信号52の切り替えが行われる。受信した音声信号フレーム50の音声信号が無声であると識別されるという修正判定結果73が出された場合には、残存信号がエネルギ算出ユニット85へと供給されるように切り替えが行われる。有声信号であると判定された場合には、残存信号52が形成ユニット65へと供給されるように切り替えが行われる。形成ユニット65は修正基本周波数74および残存信号52に基づき、修正被評価残存信号75を形成する。基本周波数および残存信号に基づいてどのように形成が行われるかは文献[1]、[2]から公知である。無声信号の場合には、エネルギ算出ユニット85は残存信号52から増幅係数77を算出し、この増幅係数77は乗算ユニット87において、ノイズ発生器86によって形成されるノイズ信号76と乗算される。受信した音声信号フレーム50の音声信号が無声であると判定された場合に、この乗算によって修正被評価ノイズ信号75が形成される。
第1に、正規化された自己相関関数ζ(x(n))が第1の閾値thr1を上回る場合、すなわちζ(x(n))>thr1の場合、また、
第2に、ゼロ通過率zcr(x(n))が第2の閾値thr2を下回る場合、すなわちzcr(x(n))<thr2の場合、
に有声信号x(n)であると判定される。
この実施例にしたがい、部分フレーム201〜204の存在する信号エネルギの最小値E=min{E1,E2,E3,E4}が検出されると、有利には、スケーリング係数ないし増幅係数77として√Eが選定されるようにノイズ信号76r(n)がスケーリングされる。したがって有利には、受信した音声信号フレーム50が無声音声信号の場合には
[1] E. Gunduzhan and K. Momtahan, "Linear prediction based packet loss concealment algorithm for PCM coded speech," IEEE Transactions on Speech and Audio Processing, vol. 9, no. 8, pp. 778-785, 2001.
[2] ANSI Recommendation T1.521a-2000 (Annex B), "Packet Loss Concealment for use with ITU-T Recommendation G.711," July 2000.
[3] J. Paulus, Codierung breitbandiger Sprachsignale bei niedriger Datenrate. Dissertation, IND, RWTH Aachen, Templergraben 55, 52056 Aachen, 1997.
[4] P. Vary, U. Heute, W. Hess, Digitale Sprachsignalverarbeitung, B. G. Teubner Verlag, Stuttgart, 1998, ISBN 3-519-06165-1
Claims (8)
- 音声信号(11)の出力方法であって、
音声信号フレーム(1,3)を受信して、出力すべき前記音声信号(11)を形成するために所定の順序で使用し、
受信すべき少なくとも1つの音声信号フレーム(2)が受信されない場合には、受信しなかった該少なくとも1つの音声信号フレーム(2)の代わりに少なくとも1つの代替音声信号フレーム(100)を使用し、
該少なくとも1つの代替音声信号フレーム(100)を、事前に受信した少なくとも1つの音声信号フレーム(1)に依存して形成する、音声信号(11)の出力方法において、
前記事前に受信した少なくとも1つの音声信号フレーム(1)が無声音声信号を有する場合には、前記少なくとも1つの代替音声信号フレーム(100)の音声信号をノイズ信号を用いて形成し、
前記事前に受信した少なくとも1つの音声信号フレーム(1)の音声信号を線形予測フィルタによってフィルタリングし、スケーリング係数(77)をフィルタリングされた音声信号(52)の信号エネルギに依存して決定し、
前記フィルタリングされた音声信号(52)を、それぞれ部分音声信号を有するそれぞれの部分フレームに分割し、各部分音声信号ごとにそれぞれの信号エネルギを決定し、それぞれの信号エネルギのうち最小値を有する信号エネルギに依存して前記スケーリング係数(77)を決定することを特徴とする、音声信号(11)の出力方法。 - 前記事前に受信した少なくとも1つの音声信号フレーム(1)が有声音声信号を有する場合には、前記少なくとも1つの代替音声信号フレーム(100)の音声信号を基本周波数信号を用いて形成する、請求項1記載の方法。
- 前記事前に受信した少なくとも1つの音声信号フレーム(1)の音声信号の正規化された自己相関関数およびゼロ通過率に依存して、前記事前に受信した少なくとも1つの音声信号フレーム(1)が有声音声信号を有するか無声音声信号を有するかを判定する、請求項2記載の方法。
- 前記正規化された自己相関関数が第1の所定の閾値を上回り、かつ、前記ゼロ通過率が第2の所定の閾値を下回る場合には、前記事前に受信した少なくとも1つの音声信号フレーム(1)の音声信号を有声音声信号と判定する、請求項3記載の方法。
- 前記ノイズ信号(75)として、前記スケーリング係数(77)と乗算された、均等分布するノイズ信号(76)を使用する、請求項1から4までのいずれか1項記載の方法。
- 音声信号を出力するための制御装置(1000)であって、
第1のインタフェース(1001)を有し、該第1のインタフェース(1001)を介して前記制御装置(1000)は音声信号フレームを受信し、
計算ユニット(1003)を有し、該計算ユニット(1003)は受信した音声信号フレームを、出力すべき前記音声信号を形成するために所定の順序で使用し、
第2のインタフェース(1002)を有し、該第2のインタフェース(1002)を介して前記制御装置(1000)は音声信号を出力し、
受信すべき少なくとも1つの音声信号フレームが受信されない場合には、受信しなかった該少なくとも1つの音声信号フレームの代わりに少なくとも1つの代替音声信号フレームを使用し、
前記計算ユニット(1003)は、前記少なくとも1つの代替音声信号フレームを、事前に受信した少なくとも1つの音声信号フレームに依存して形成する、音声信号を出力するための制御装置(1000)において、
前記事前に受信した少なくとも1つの音声信号フレームが無声音声信号を有する場合には、前記計算ユニット(1003)は前記少なくとも1つの代替音声信号フレームの音声信号をノイズ信号を用いて形成し、
前記事前に受信した少なくとも1つの音声信号フレーム(1)の音声信号を線形予測フィルタによってフィルタリングし、スケーリング係数(77)をフィルタリングされた音声信号(52)の信号エネルギに依存して決定し、
前記フィルタリングされた音声信号(52)を、それぞれ部分音声信号を有するそれぞれの部分フレームに分割し、各部分音声信号ごとにそれぞれの信号エネルギを決定し、それぞれの信号エネルギのうち最小値を有する信号エネルギに依存して前記スケーリング係数(77)を決定することを特徴とする、音声信号を出力するための制御装置。 - 前記事前に受信した少なくとも1つの音声信号フレームが有声音声信号を有する場合には、前記計算ユニット(1003)は、前記少なくとも1つの代替音声信号フレームの音声信号を基本周波数信号を用いて形成する、請求項6記載の制御装置。
- 前記制御装置(1000)はノイズ信号および基本周波数信号のうちの少なくとも一方を提供するメモリユニット(1005)を有する、請求項7記載の制御装置。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102008042579.6 | 2008-10-02 | ||
| DE102008042579.6A DE102008042579B4 (de) | 2008-10-02 | 2008-10-02 | Verfahren zur Fehlerverdeckung bei fehlerhafter Übertragung von Sprachdaten |
| PCT/EP2009/062527 WO2010037713A1 (de) | 2008-10-02 | 2009-09-28 | Verfahren zur fehlerverdeckung bei fehlerhafter übertragung von sprachdaten |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2012504779A JP2012504779A (ja) | 2012-02-23 |
| JP5284477B2 true JP5284477B2 (ja) | 2013-09-11 |
Family
ID=41491479
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2011529523A Active JP5284477B2 (ja) | 2008-10-02 | 2009-09-28 | 音声データの伝送にエラーがある際のエラー隠蔽方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US8612218B2 (ja) |
| EP (1) | EP2345028A1 (ja) |
| JP (1) | JP5284477B2 (ja) |
| CN (1) | CN102171753B (ja) |
| DE (1) | DE102008042579B4 (ja) |
| WO (1) | WO2010037713A1 (ja) |
Families Citing this family (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2012110448A1 (en) | 2011-02-14 | 2012-08-23 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus and method for coding a portion of an audio signal using a transient detection and a quality result |
| KR101699898B1 (ko) | 2011-02-14 | 2017-01-25 | 프라운호퍼 게젤샤프트 쭈르 푀르데룽 데어 안겐반텐 포르슝 에. 베. | 스펙트럼 영역에서 디코딩된 오디오 신호를 처리하기 위한 방법 및 장치 |
| TWI564882B (zh) | 2011-02-14 | 2017-01-01 | 弗勞恩霍夫爾協會 | 利用重疊變換之資訊信號表示技術(一) |
| EP2676267B1 (en) | 2011-02-14 | 2017-07-19 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Encoding and decoding of pulse positions of tracks of an audio signal |
| MY165853A (en) | 2011-02-14 | 2018-05-18 | Fraunhofer Ges Forschung | Linear prediction based coding scheme using spectral domain noise shaping |
| BR112013020324B8 (pt) * | 2011-02-14 | 2022-02-08 | Fraunhofer Ges Forschung | Aparelho e método para supressão de erro em fala unificada de baixo atraso e codificação de áudio |
| CN107068156B (zh) | 2011-10-21 | 2021-03-30 | 三星电子株式会社 | 帧错误隐藏方法和设备以及音频解码方法和设备 |
| CN103489448A (zh) * | 2013-09-03 | 2014-01-01 | 广州日滨科技发展有限公司 | 语音数据处理方法及系统 |
| PT3285254T (pt) | 2013-10-31 | 2019-07-09 | Fraunhofer Ges Forschung | Descodificador de áudio e método para fornecer uma informação de áudio descodificada utilizando uma ocultação de erro com base num sinal de excitação no domínio de tempo |
| PT3063759T (pt) | 2013-10-31 | 2018-03-22 | Fraunhofer Ges Forschung | Descodificador de áudio e método para fornecer uma informação de áudio descodificada utilizando uma dissimulação de erros que modifica um sinal de excitação de domínio de tempo |
| EP2922054A1 (en) | 2014-03-19 | 2015-09-23 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus, method and corresponding computer program for generating an error concealment signal using an adaptive noise estimation |
| EP2922055A1 (en) | 2014-03-19 | 2015-09-23 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus, method and corresponding computer program for generating an error concealment signal using individual replacement LPC representations for individual codebook information |
| EP2922056A1 (en) * | 2014-03-19 | 2015-09-23 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Apparatus, method and corresponding computer program for generating an error concealment signal using power compensation |
| US10475466B2 (en) | 2014-07-17 | 2019-11-12 | Ford Global Technologies, Llc | Adaptive vehicle state-based hands-free phone noise reduction with learning capability |
| US20160019890A1 (en) * | 2014-07-17 | 2016-01-21 | Ford Global Technologies, Llc | Vehicle State-Based Hands-Free Phone Noise Reduction With Learning Capability |
| US20240105197A1 (en) * | 2021-02-12 | 2024-03-28 | Visa International Service Association | Method and System for Enabling Speaker De-Identification in Public Audio Data by Leveraging Adversarial Perturbation |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP0076233B1 (de) * | 1981-09-24 | 1985-09-11 | GRETAG Aktiengesellschaft | Verfahren und Vorrichtung zur redundanzvermindernden digitalen Sprachverarbeitung |
| JP3328642B2 (ja) * | 1993-08-17 | 2002-09-30 | 三菱電機株式会社 | 音声判別装置及び音声判別方法 |
| JP3687181B2 (ja) * | 1996-04-15 | 2005-08-24 | ソニー株式会社 | 有声音/無声音判定方法及び装置、並びに音声符号化方法 |
| JPH1091194A (ja) * | 1996-09-18 | 1998-04-10 | Sony Corp | 音声復号化方法及び装置 |
| TW326070B (en) * | 1996-12-19 | 1998-02-01 | Holtek Microelectronics Inc | The estimation method of the impulse gain for coding vocoder |
| CA2388439A1 (en) * | 2002-05-31 | 2003-11-30 | Voiceage Corporation | A method and device for efficient frame erasure concealment in linear predictive based speech codecs |
| US7411985B2 (en) * | 2003-03-21 | 2008-08-12 | Lucent Technologies Inc. | Low-complexity packet loss concealment method for voice-over-IP speech transmission |
| US7930176B2 (en) | 2005-05-20 | 2011-04-19 | Broadcom Corporation | Packet loss concealment for block-independent speech codecs |
| US7831421B2 (en) | 2005-05-31 | 2010-11-09 | Microsoft Corporation | Robust decoder |
| US8255207B2 (en) * | 2005-12-28 | 2012-08-28 | Voiceage Corporation | Method and device for efficient frame erasure concealment in speech codecs |
| CN101155140A (zh) * | 2006-10-01 | 2008-04-02 | 华为技术有限公司 | 音频流错误隐藏的方法、装置和系统 |
| CN101232347B (zh) * | 2007-01-23 | 2011-01-12 | 联芯科技有限公司 | 语音传输的方法及amr系统 |
| US8121835B2 (en) * | 2007-03-21 | 2012-02-21 | Texas Instruments Incorporated | Automatic level control of speech signals |
-
2008
- 2008-10-02 DE DE102008042579.6A patent/DE102008042579B4/de active Active
-
2009
- 2009-09-28 WO PCT/EP2009/062527 patent/WO2010037713A1/de not_active Ceased
- 2009-09-28 CN CN2009801391495A patent/CN102171753B/zh active Active
- 2009-09-28 US US13/121,820 patent/US8612218B2/en active Active
- 2009-09-28 EP EP09783486A patent/EP2345028A1/de not_active Withdrawn
- 2009-09-28 JP JP2011529523A patent/JP5284477B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| WO2010037713A1 (de) | 2010-04-08 |
| US8612218B2 (en) | 2013-12-17 |
| DE102008042579A1 (de) | 2010-04-08 |
| CN102171753A (zh) | 2011-08-31 |
| DE102008042579B4 (de) | 2020-07-23 |
| JP2012504779A (ja) | 2012-02-23 |
| CN102171753B (zh) | 2013-07-17 |
| US20110218801A1 (en) | 2011-09-08 |
| EP2345028A1 (de) | 2011-07-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5284477B2 (ja) | 音声データの伝送にエラーがある際のエラー隠蔽方法 | |
| KR970001166B1 (ko) | 언어 처리 방법 및 장치 | |
| JP3963850B2 (ja) | 音声区間検出装置 | |
| CN103854649B (zh) | 一种变换域的丢帧补偿方法及装置 | |
| US8185384B2 (en) | Signal pitch period estimation | |
| JP2002516420A (ja) | 音声コーダ | |
| JPWO2010070840A1 (ja) | 音声検出装置、音声検出プログラムおよびパラメータ調整方法 | |
| KR101648290B1 (ko) | 컴포트 노이즈의 생성 | |
| WO2017084545A1 (zh) | 一种语音丢包补偿的方法及系统 | |
| JP4320033B2 (ja) | 音声パケット送信方法、音声パケット送信装置、および音声パケット送信プログラムとそれを記録した記録媒体 | |
| JP2006189907A (ja) | 信号の音声活動を検知する方法と、この方法の実施装置を含む音声信号コーダ | |
| CN101542593A (zh) | 语音波形内插装置及方法 | |
| TW201923746A (zh) | 編碼及解碼音訊信號之技術 | |
| US6865529B2 (en) | Method of estimating the pitch of a speech signal using an average distance between peaks, use of the method, and a device adapted therefor | |
| JP6728142B2 (ja) | デジタルオーディオ信号におけるプレエコーを識別し、減衰させる方法及び装置 | |
| US20020010576A1 (en) | A method and device for estimating the pitch of a speech signal using a binary signal | |
| JP5782402B2 (ja) | 音声品質客観評価装置及び方法 | |
| US20140303980A1 (en) | System and method for audio kymographic diagnostics | |
| CN102903364A (zh) | 一种进行语音自适应非连续传输的方法及装置 | |
| CN111383643A (zh) | 一种音频丢包隐藏方法、装置及蓝牙接收机 | |
| US20010029447A1 (en) | Method of estimating the pitch of a speech signal using previous estimates, use of the method, and a device adapted therefor | |
| WO1995020216A1 (en) | Method and apparatus for indicating the emotional state of a person | |
| EP1143414A1 (en) | Estimating the pitch of a speech signal using previous estimates | |
| JP3584001B2 (ja) | 音響信号分析方法、音響信号分析装置、音響信号分析プログラム、音響信号分析プログラムを記憶したコンピュータが読取り可能な記憶媒体 | |
| EP1143413A1 (en) | Estimating the pitch of a speech signal using an average distance between peaks |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120719 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120801 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121026 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130430 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130529 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5284477 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
