WO2015064346A1 - 音声信号処理装置、音声信号処理方法、及び音声信号処理プログラム - Google Patents

音声信号処理装置、音声信号処理方法、及び音声信号処理プログラム Download PDF

Info

Publication number
WO2015064346A1
WO2015064346A1 PCT/JP2014/077215 JP2014077215W WO2015064346A1 WO 2015064346 A1 WO2015064346 A1 WO 2015064346A1 JP 2014077215 W JP2014077215 W JP 2014077215W WO 2015064346 A1 WO2015064346 A1 WO 2015064346A1
Authority
WO
WIPO (PCT)
Prior art keywords
isf
discontinuity
lsf
signal processing
audio signal
Prior art date
Application number
PCT/JP2014/077215
Other languages
English (en)
French (fr)
Inventor
公孝 堤
菊入　圭
山口　貴史
Original Assignee
株式会社Ｎｔｔドコモ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CA2918715A priority Critical patent/CA2918715C/en
Priority to RU2016120629A priority patent/RU2651234C2/ru
Priority to MX2016005162A priority patent/MX347234B/es
Priority to KR1020197030949A priority patent/KR102155618B1/ko
Priority to BR112016003291-8A priority patent/BR112016003291B1/pt
Priority to EP19167229.4A priority patent/EP3528247B1/en
Priority to CN201910588565.9A priority patent/CN110164456B/zh
Priority to KR1020177032708A priority patent/KR101978997B1/ko
Priority to CN201910588808.9A priority patent/CN110176239B/zh
Priority to KR1020177020417A priority patent/KR101798635B1/ko
Priority to CN201480041188.2A priority patent/CN105393303B/zh
Priority to EP14857728.1A priority patent/EP3065134B1/en
Priority to KR1020197009868A priority patent/KR102036704B1/ko
Priority to DK14857728.1T priority patent/DK3065134T3/da
Priority to CN201910588824.8A priority patent/CN110265045B/zh
Priority to AU2014341476A priority patent/AU2014341476B2/en
Priority to CN201910588571.4A priority patent/CN110164457B/zh
Application filed by 株式会社Ｎｔｔドコモ filed Critical 株式会社Ｎｔｔドコモ
Priority to PL14857728T priority patent/PL3065134T3/pl
Priority to SG11201600542VA priority patent/SG11201600542VA/en
Priority to ES14857728T priority patent/ES2732440T3/es
Priority to EP19167220.3A priority patent/EP3528246A1/en
Priority to EP19167283.1A priority patent/EP3528248A1/en
Priority to KR1020167002244A priority patent/KR101764234B1/ko
Priority to BR122017020760-1A priority patent/BR122017020760B1/pt
Publication of WO2015064346A1 publication Critical patent/WO2015064346A1/ja
Priority to US15/141,346 priority patent/US9799344B2/en
Priority to HK16111241.6A priority patent/HK1223188A1/zh
Priority to AU2017204606A priority patent/AU2017204606B2/en
Priority to US15/706,474 priority patent/US10152982B2/en
Priority to US16/163,118 priority patent/US10621999B2/en
Priority to AU2018274861A priority patent/AU2018274861B2/en
Priority to US16/844,653 priority patent/US11270715B2/en
Priority to AU2020294314A priority patent/AU2020294314B2/en
Priority to AU2021290404A priority patent/AU2021290404B2/en
Priority to US17/575,321 priority patent/US11749291B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/09—Long term prediction, i.e. removing periodical redundancies, e.g. by using adaptive codebook or pitch predictor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/12—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a code excitation, e.g. in code excited linear prediction [CELP] vocoders
    • G10L19/135—Vector sum excited linear prediction [VSELP]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0078—Avoidance of errors by organising the transmitted data in a format specifically designed to deal with errors, e.g. location
    • H04L1/0085—Formatting with cells
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/06—Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
    • G10L19/07—Line spectrum pair [LSP] vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L2019/0001—Codebooks
    • G10L2019/0011—Long term prediction filters, i.e. pitch estimation

Definitions

  • the ISF-ISP converter 122A in the LP coefficient calculator 122 follows the following formula: ISP parameters (Step S3 in FIG. 5).
  • C is a predetermined constant.
  • the operations of the post filter 134, the synthesis filter 135, the adaptive codebook calculation unit 136, and the excitation vector synthesis unit 137 are the same as the operations when the packet is normally received.
  • the constituent elements other than the normalized prediction residual adjustment unit 138 are the same as those in the conventional technique described above, and therefore only the normalized prediction residual adjustment unit 138 will be described below.
  • An audio signal processing device encodes a discontinuity estimator that estimates discontinuity that occurs in a voice packet that is normally received first after packet loss and auxiliary information related to the discontinuity. If the discontinuity estimation is not performed by the auxiliary information encoder to be converted and the discontinuity estimator, the past quantized ISF / LSF residual parameter is used for ISF / LSF quantization in the frame, and the discontinuity estimation is performed.
  • An ISF / LSF quantizer that avoids using past quantized ISF / LSF residual parameters for ISF / LSF quantization in the frame when the unit estimates discontinuity.
  • An audio signal processing program generates a concealed ISF / LSF parameter that is concealment information related to an ISF / LSF parameter, and an ISF / LSF quantizer that quantizes the ISF / LSF parameter.
  • the packet Voice signal uses the distance between the ISF / LSF concealer, the quantized ISF / LSF parameter obtained in the quantization process of the ISF / LSF quantizer, and the concealed ISF / LSF parameter generated by the ISF / LSF concealer, the packet Voice signal to operate as a discontinuity estimator that estimates discontinuity that occurs in the first normally received voice packet after loss and an auxiliary information encoder that encodes auxiliary information related to the discontinuity It is a processing program.
  • An audio signal processing program includes an auxiliary information decoder that decodes and outputs auxiliary information related to discontinuity that occurs in an audio packet that is normally received first after a packet loss, If the discontinuity corrector that corrects the discontinuity of the decoded speech and the discontinuity is not estimated by the output of the auxiliary information decoder, the ISF / LSF calculation of the past quantized ISF / LSF residual parameter in the current frame In the case where the discontinuity is estimated by the output of the auxiliary information decoder, an ISF / LSF decoder that avoids using past quantized ISF / LSF residual parameters for ISF / LSF calculation in the frame, Is an audio signal processing program for operating as above.
  • the speech signal processing apparatus Since the speech signal processing apparatus according to the first embodiment has the same configuration as the speech decoder 1 of FIG. 1 described above and is characterized by the speech code decoding unit, the speech code decoding unit will be described below.
  • the ISF decoding unit 120 performs the same operation as in the conventional technique (step S12 in FIG. 10).
  • the gain adjustment unit 121X reads information about whether or not the gain change exceeds the threshold value from the control signal, and outputs the predetermined gain g on to the gain multiplication unit 121Y when the gain change exceeds the threshold value. To do. On the other hand, when the gain change does not exceed the threshold value, the gain adjustment unit 121X outputs a predetermined gain g off to the gain multiplication unit 121Y. Such an operation of the gain adjusting unit 121X corresponds to step S18 in FIG.
  • the gain multiplication unit 121Y multiplies the synthesized signal output from the synthesis filter 128 by the gain g on or the gain g off (step S19 in FIG. 12), and outputs the obtained decoded signal.
  • FIG. 13 shows a functional configuration example of the speech code decoder 12B
  • FIG. 14 shows a functional configuration example related to the LP coefficient calculation processing
  • FIG. 15 shows a flow of the LP coefficient calculation processing.
  • the speech code decoding unit 12B of FIG. 13 has a discontinuity detection unit 129 added to the configuration of FIG. 3 described above.
  • the interval obtained by equally dividing the ISF / LSF parameter up to a predetermined dimension is the interval between each element of the ISF / LSF parameter that is given to guarantee the stability of the synthesis filter.
  • the ISF encoding unit 212 calculates the ISF code, and outputs the quantized ISF parameter obtained in the encoding process to the discontinuity determining unit 213, the ISF concealing unit 214, and the ISF-LP converting unit 215. To do.
  • the LP coefficient is obtained by the processing of the ISF-ISP conversion unit 122A, the ISP interpolation unit 122B, and the ISP-LPC conversion unit 122C using the ISF parameter obtained as described above, as in the first embodiment.
  • steps S50 to S400 are repeated until the end of communication (YES in step S500).
  • the stability processing unit 121 performs the same processing as when no discontinuity is detected regardless of the result of discontinuity detection.
  • the stability processing unit 121 performs the same processing as when discontinuity is detected.
  • the computer C10 stores a program stored in a reading device C12 such as a flexible disk drive device, a CD-ROM drive device, a DVD drive device, a working memory (RAM) C14, and a recording medium M.
  • a reading device C12 such as a flexible disk drive device, a CD-ROM drive device, a DVD drive device, a working memory (RAM) C14, and a recording medium M.
  • CPU central processing unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Stereo-Broadcasting Methods (AREA)
  • Input Circuits Of Receivers And Coupling Of Receivers And Audio Equipment (AREA)
  • Time-Division Multiplex Systems (AREA)
  • Circuits Of Receivers In General (AREA)

Abstract

　音声信号処理装置は、パケットロスが起こった後に最初に正常に受信した音声パケットに対して、音声パケット復号の結果得られる復号音声の振幅が急激に大きくなることにより生じる不連続性の推定を行う不連続推定器と、復号音声の不連続性を修正する不連続修正器と、を備える。

Description

音声信号処理装置、音声信号処理方法、及び音声信号処理プログラム
　本発明は、音声信号を処理する音声信号処理装置、音声信号処理方法、及び音声信号処理プログラムに関する。
　ＩＰ（Internet　Protocol）電話のように、音声信号を符号化及びパケット化してインターネット網で伝送する際には、ネットワークの輻輳等が原因でパケットが失われることがある（以下、この現象を「パケットロス」と言う）。パケットロスが発生すると、必要な音声符号が失われるため音声復号ができず音切れが発生する。パケットロスにより生じる音切れを防止する技術として、音声パケットロス隠蔽技術がある。音声パケットロス隠蔽技術は、パケットロスを検出し、ロスしたパケットに対応する擬似的な音声信号（以下、「隠蔽信号」）を生成する。
　音声符号化手法として、符号化器・復号器の内部状態を更新しながら音声符号化を行う手法を用いている場合には、本来受信するはずの符号化パラメータが得られないため、音声パケットロス隠蔽技術は、擬似的に生成したパラメータにより復号器の内部状態更新も行う。
　符号化器・復号器の内部状態を更新しながら音声符号化を行う手法として、CELP（Code　Excited　Linear　Prediction）符号化が広く用いられている。CELP符号化では、自己回帰モデルを仮定し、全極型合成フィルタa(i)によって励振信号e(n)をフィルタリングすることで音声信号を合成する。すなわち、次式に従い音声信号s(n)を合成する。a(i)は線形予測係数（LP（Linear　Prediction）係数）であり、次数としてP=16などの値を用いる。
Figure JPOXMLDOC01-appb-M000001
　CELP符号化では、線形予測係数を数学的に等価に表現したISF（Immittance　Spectral　Frequency）パラメータや、過去の励振信号を内部状態としてもつ。パケットロスが起こった場合、これらを擬似的に生成するため、本来であれば復号により得られていたパラメータとの間で乖離が起こる。パラメータの乖離によって起こる合成音声の不整合は、受聴者からは雑音と知覚され、主観的な品質を大きく損ねる。
　以下、音声符号化手法にCELP符号化を用いた場合を例に、音声パケットロス隠蔽を行う音声復号器の構成及び動作について説明する。
　音声復号器の構成図及び動作を図１、図２に示す。図１に示すように、音声復号器１は、パケットロス検出部１１、音声符号復号部１２、隠蔽信号生成部１３、及び内部状態バッファ１４を備える。
　パケットロス検出部１１は、音声パケットを正常に受信した場合には、制御信号、及び音声パケットに含まれる音声符号を音声符号復号部１２に送る（正常受信：図２のステップＳ１００でＹＥＳの場合）。その後、音声符号復号部１２は、後述するように、音声符号の復号及び内部状態更新を行う（図２のステップＳ２００、Ｓ４００）。一方、パケットロス検出部１１は、音声パケットが正常に受信できなかった場合には、隠蔽信号生成部１３に制御信号を送る（パケットロス：図２のステップＳ１００でＮＯの場合）。その後、隠蔽信号生成部１３は、後述するように、隠蔽信号の生成及び内部状態更新を行う（図２のステップＳ３００、Ｓ４００）。図２のステップＳ１００～Ｓ４００の処理は通信終了まで（ステップＳ５００でＹＥＳと判断されるまで）繰り返される。
　音声符号は、少なくとも符号化されたISFパラメータ
Figure JPOXMLDOC01-appb-M000002
 、符号化された第一から第四サブフレームのピッチラグTj p、第一から第四サブフレームの符号化された適応符号帳ゲインgj p、第一から第四サブフレームの符号化された固定符号帳ゲインgj c、第一から第四サブフレームの符号化された固定符号帳ベクトルcj(n)を含む。ISFパラメータの代わりに数学的に等価な表現であるLSF（line　spectral　frequency）パラメータを用いてもよい。以下の議論では、ISFパラメータを用いた説明を行うが、LSFパラメータを用いた場合も同じ議論が成り立つ。
　内部状態バッファには、過去のISFパラメータ
Figure JPOXMLDOC01-appb-M000003
 及び
Figure JPOXMLDOC01-appb-M000004
 の等価表現であるISP（Immittance　Spectral　Pair）パラメータ
Figure JPOXMLDOC01-appb-M000005
 、ISF残差パラメータ
Figure JPOXMLDOC01-appb-M000006
 、過去のピッチラグTj p、過去の適応符号帳ゲインgj p、過去の固定符号帳ゲインgj c、適応符号帳u(n)を含む。それぞれ過去何サブフレーム分のパラメータを含むかは設計方針による。本明細書では、１フレームが４サブフレームを含むことを仮定するが、設計方針により他の値としてもよい。
　＜正常受信の場合＞
　図３には音声符号復号部１２の機能構成例を示す。この図３に示すように、音声符号復号部１２は、ISF復号部１２０、安定性処理部１２１、LP係数算出部１２２、適応符号帳算出部１２３、固定符号帳復号部１２４、ゲイン復号部１２５、励振ベクトル合成部１２６、ポストフィルタ１２７、及び合成フィルタ１２８を備える。ただし、ポストフィルタ１２７は必須の構成要素ではない。なお、図３では、説明の便宜上、音声符号復号部１２内に内部状態バッファ１４を二点鎖線で示しているが、この内部状態バッファ１４は、音声符号復号部１２の内部に含まれるものではなく、図１に示す内部状態バッファ１４である。これ以降の音声符号復号部の構成図でも同様である。
　LP係数算出部１２２の構成図を図４に、符号化されたISFパラメータからLP係数を算出する処理フローを図５に、それぞれ示す。図４に示すように、LP係数算出部１２２は、ISF-ISP変換部１２２Ａ、ISP補間部１２２Ｂ、及びISP-LPC変換部１２２Ｃを備える。
　まず、符号化されたISFパラメータからLP係数を算出する処理（図５）に関連する機能構成及び動作について説明する。
　ISF復号部１２０は、符号化されたISFパラメータを復号してISF残差パラメータ
Figure JPOXMLDOC01-appb-M000007
 を求め、ISFパラメータ
Figure JPOXMLDOC01-appb-M000008
 を次式に従い算出する（図５のステップＳ１）。ここで、meaniは、事前に学習等で求めた平均ベクトルである。
Figure JPOXMLDOC01-appb-M000009
　なお、ここでは、ISFパラメータの算出にMA予測を用いる例について述べたが、以下のようにAR予測を用いてISFパラメータの算出を行うような構成としてもよい。ここで、直前フレームのISFパラメータを
Figure JPOXMLDOC01-appb-M000010
 、AR予測の重み係数をρiとした。
Figure JPOXMLDOC01-appb-M000011
　安定性処理部１２１は、フィルタの安定性を確保するためにISFパラメータの各要素間に50Hz以上の間隔をあけるよう、次式に従う処理を行う（図５のステップＳ２）。ISFパラメータは、音声スペクトル包絡の形状を線スペクトルで表現したものであり、互いの距離が近づく程、スペクトルのピークが大きくなり共振が起こる。そのため、スペクトルのピークでのゲインが大きくなりすぎないよう、安定性確保の処理が必要となる。ここで、min_distは最小のISF間隔であり、isf_minは、min_distの間隔を確保するために必要なISFの最小値である。isf_minは、隣のISFの値にmin_distの間隔を加算することにより順次更新を行う。一方、isf_maxは、min_distの間隔を確保するために必要なISFの最大値である。isf_maxは、隣のISFの値からmin_distの間隔を減算することにより順次更新を行う。
Figure JPOXMLDOC01-appb-M000012
　LP係数算出部１２２内のISF-ISP変換部１２２Ａは、次式に従い
Figure JPOXMLDOC01-appb-M000013
 をISPパラメータ
Figure JPOXMLDOC01-appb-M000014
 に変換する（図５のステップＳ３）。ここで、Cは事前に定めた定数である。
Figure JPOXMLDOC01-appb-M000015
　ISP補間部１２２Ｂは、内部状態バッファ１４に含まれる過去のISPパラメータ
Figure JPOXMLDOC01-appb-M000016
 と、上記ISPパラメータ
Figure JPOXMLDOC01-appb-M000017
 から、以下の式に従いサブフレーム毎のISPパラメータを算出する（図５のステップＳ４）。補間にあたっては、別の係数を用いてもよい。
Figure JPOXMLDOC01-appb-M000018
　ISP-LPC変換部１２２Ｃは、サブフレーム毎のISPパラメータをLP係数
Figure JPOXMLDOC01-appb-M000019
 に変換する（図５のステップＳ５）。具体的変換手順として、非特許文献１に記載の処理手順を用いることができる。ここで、先読み信号に含まれるサブフレームの数を４としたが、サブフレームの数は設計方針により変更してもよい。
　次に、音声符号復号部１２におけるその他の構成及び動作について説明する。
　適応符号帳算出部１２３は、符号化されたピッチラグを復号して、第一から第四サブフレームのピッチラグTj pを算出する。次に、適応符号帳算出部１２３は、適応符号帳u(n)を用いて次式に従い、サブフレーム毎に適応符号帳ベクトルを算出する。適応符号帳ベクトルは、適応符号帳u(n)をFIRフィルタInt(i)により補間することで算出する。ここで、適応符号帳の長さをNadaptとした。補間に用いるフィルタInt(i)は、事前に定めた長さ2l+1のFIRフィルタであり、L’はサブフレームのサンプル数である。補間フィルタInt(i)を用いることにより、ピッチラグを小数点以下の精度まで利用することができる。補間フィルタの詳細については、非特許文献１記載の方法を用いることができる。
Figure JPOXMLDOC01-appb-M000020
　固定符号帳復号部１２４は、符号化された固定符号帳ベクトルを復号して、第一から第四サブフレームの固定符号帳ベクトルcj(n)を取得する。
　ゲイン復号部１２５は、符号化された適応符号帳ゲイン及び符号化された固定符号帳ゲインを復号して、第一から第四サブフレームの適応符号帳ゲイン及び固定符号帳ゲインを取得する。例えば、非特許文献１に記載の以下の手法により、適応符号帳ゲイン及び固定符号帳ゲインの復号を行うことができる。非特許文献１記載の以下の手法によれば、AMR-WBのゲイン符号化のようにフレーム間予測を用いないため、パケットロス耐性を高めることができる。
　例えば、ゲイン復号部１２５は、以下の処理フローに従い、固定符号帳ゲインを取得する。
　最初に、ゲイン復号部１２５は、固定符号帳ベクトルのパワーを算出する。ここで、サブフレームの長さをNsとする。
Figure JPOXMLDOC01-appb-M000021
　次に、ゲイン復号部１２５は、ベクトル量子化されたゲインパラメータを復号し、適応符号帳ゲイン
Figure JPOXMLDOC01-appb-M000022
 と量子化固定符号帳ゲイン
Figure JPOXMLDOC01-appb-M000023
 を得る。量子化固定符号帳ゲインと上記固定符号帳ベクトルのパワーから、以下の通り予測固定符号帳ゲインを算出する。
Figure JPOXMLDOC01-appb-M000024
　最後に、ゲイン復号部１２５は、予測係数
Figure JPOXMLDOC01-appb-M000025
 を復号し、予測ゲインに乗算することにより、固定符号帳ゲインを得る。
Figure JPOXMLDOC01-appb-M000026
　励振ベクトル合成部１２６は、次式のように、適応符号帳ベクトルに適応符号帳ゲインを乗算するとともに、固定符号帳ベクトルに固定符号帳ゲインを乗算し、これらの和を求めることにより、励振信号を取得する。
Figure JPOXMLDOC01-appb-M000027
　ポストフィルタ１２７は、励振信号ベクトルに対して、例えば、ピッチ強調、ノイズ強調、低域強調といった後処理を加える。ピッチ強調、ノイズ強調、低域強調は、非特許文献１に記載された手法を用いることができる。
　合成フィルタ１２８は、線形予測逆フィルタリングにより、励振信号を駆動音源とする復号信号を合成する。
Figure JPOXMLDOC01-appb-M000028
　なお、符号化器において、プリエンファシスを行っている場合には、ディエンファシスを行う。
Figure JPOXMLDOC01-appb-M000029
　一方、符号化器においてプリエンファシスを行っていない場合には、ディエンファシスを行わない。
　以下、内部状態更新に関する動作を説明する。
　LP係数算出部１２２は、パケットロス時のパラメータ補間のために、ISFパラメータの内部状態を次式で算出されるベクトルにより更新する。
Figure JPOXMLDOC01-appb-M000030
　ここで、ωi (-j)はバッファに格納されたｊフレーム前のISFパラメータである。ωi Cは事前に学習等で求めた発話区間でのISFパラメータである。βは定数であり、例えば0.75のような値とすることができるが、これには限られない。ωi C、βは、例えば非特許文献１記載のISFコンシールメントのように、符号化対象フレームの性質を表すインデクスにより変化させてもよい。
　さらに、LP係数算出部１２２は、次式に従いISF残差パラメータの内部状態も更新する。
Figure JPOXMLDOC01-appb-M000031
　励振ベクトル合成部１２６は、以下の式に従い、励振信号ベクトルにより内部状態を更新する。
Figure JPOXMLDOC01-appb-M000032
　さらに、励振ベクトル合成部１２６は、ゲインパラメータの内部状態を次式により更新する。
Figure JPOXMLDOC01-appb-M000033
　適応符号帳算出部１２３は、ピッチラグのパラメータの内部状態を次式により更新する。
Figure JPOXMLDOC01-appb-M000034
 なお、ここでは、(－２≦ｊ＜Ｍｌａ)とするが、ｊの範囲として設計方針により異なる値を選択してもよい。
　＜パケットロスの場合＞
　図６には、隠蔽信号生成部１３の機能構成例を示す。この図６に示すように、隠蔽信号生成部１３は、LP係数補間部１３０、ピッチラグ補間部１３１、ゲイン補間部１３２、雑音信号生成部１３３、ポストフィルタ１３４、合成フィルタ１３５、適応符号帳算出部１３６、及び励振ベクトル合成部１３７を備える。ただし、ポストフィルタ１３４は必須の構成要素ではない。
　LP係数補間部１３０は、
Figure JPOXMLDOC01-appb-M000035
 を次式により算出する。なお、ωi (-j)は、バッファに格納されたｊフレーム前のISFパラメータである。
Figure JPOXMLDOC01-appb-M000036
 ここで、
Figure JPOXMLDOC01-appb-M000037
 はパケットを正常に受信した際に算出されたISFパラメータの内部状態である。αも定数であり、0.9のような値とすることができるが、これに限定されない。αは、例えば非特許文献１記載のISFコンシールメントのように、符号化対象フレームの性質を表すインデクスにより変化させてもよい。
　ISFパラメータからLP係数を得る手順は、正常にパケットを受信した場合と同様である。
　ピッチラグ補間部１３１は、ピッチラグに関する内部状態パラメータ
Figure JPOXMLDOC01-appb-M000038
 を用いて、ピッチラグの予測値
Figure JPOXMLDOC01-appb-M000039
 を算出する。具体的な処理手順として、非特許文献１の手法を用いることができる。
　ゲイン補間部１３２は、固定符号帳ゲインの補間のために、非特許文献１に記載の以下の式に従う手法を用いることができる。
Figure JPOXMLDOC01-appb-M000040
　雑音信号生成部１３３は、固定符号帳ベクトルと同じ長さの白色雑音を生成し、固定符号帳ベクトルとして代用する。
　ポストフィルタ１３４、合成フィルタ１３５、適応符号帳算出部１３６及び励振ベクトル合成部１３７の動作は、前述した正常にパケットを受信した場合の動作と同様である。
　内部状態更新は、ISF残差パラメータを除き、正常にパケットを受信した場合と同様である。ISF残差パラメータの更新は、LP係数補間部１３０により、次式に従い行われる。
Figure JPOXMLDOC01-appb-M000041
国際公開2002/035520号公報 国際公開2008/108080号公報
ITU-T　Recommendation　G.718、2008年6月
　上記の通り、CELP符号化は内部状態を持つため、パケットロス時に補間により得られたパラメータと、本来復号に用いるべきパラメータとの乖離により音質の劣化が起こる。特にISFパラメータは、フレーム内・フレーム間での予測符号化が行われるため、パケットロスによる影響がパケットロス復帰後にも継続する課題がある。
　より具体的には、音声の開始部分付近で起こったパケットロスから復帰した最初のフレームにおいて、急激にパワーが上昇する課題が確認されている。これは、励振信号のパワーが高くなる音声の開始部分において、パケットロス時の補間処理により得られたISF係数から算出したLP係数のインパルス応答が、本来復号器が想定しているよりも高い利得を持つことにより引き起こされ、主観品質上不快な不連続音として知覚される。
　特許文献１の方法は、ロスしたフレームに対して補間したISF係数を生成するが、ロスから復帰した最初のフレームについては、通常の復号によりISFパラメータを生成するため、上記急激なパワーの上昇を抑えることができない。
　一方、特許文献２の方法では、符号化側で求めたゲイン調整用パラメータ（正規化予測残差パワー）を伝送し、復号側でのパワー調整に用いることで、パケットロスしたフレームの励振信号のパワーを抑え、急激なパワーの上昇を防止することができる。
　図７には、特許文献２の技術に相当する音声復号器１Ｘの機能構成例を、図８には、隠蔽信号生成部１３Ｘの機能構成例をそれぞれ示す。特許文献２において、音声パケットは、従来手法において述べたパラメータに加えて、少なくとも正規化予測残差パワーの補助情報を含む。
　音声信号生成部１Ｘが備える正規化予測残差パワー復号部１５は、音声パケットから正規化予測残差パワーの補助情報を復号して、参照正規化予測残差パワーを算出し、隠蔽信号生成部１３Ｘに出力する。
　隠蔽信号生成部１３Ｘの構成要素のうち、正規化予測残差調整部１３８以外の構成要素は、前述した従来技術と同じであるので、以下では正規化予測残差調整部１３８についてのみ述べる。
　正規化予測残差調整部１３８は、LP係数補間部１３０が出力したLP係数から正規化予測残差パワーを算出する。次に、正規化予測残差調整部１３８は、正規化予測残差パワーと参照正規化予測残差パワーを用いて、合成フィルタゲイン調整係数を算出する。最後に、正規化予測残差調整部１３８は、合成フィルタゲイン調整係数を励振信号に乗算して、合成フィルタ１３５に出力する。
　上記の特許文献２の技術によれば、パケットロス時の隠蔽信号のパワーを正常受信時と同様に抑えることができるものの、低ビットレート音声符号化においては、上記ゲイン調整用パラメータの伝送に必要なビットレートを確保するのが困難である。また、隠蔽信号生成部における処理であるため、リカバリフレームにおいてISFパラメータの不一致により引き起こされるパワーの急激な変化には対応することが困難である。
　そこで、本発明は、音声開始時点でのパケットロスから復帰した際に起こりうる不連続音を低減し、主観品質を改善することを目的とする。
　本発明の一実施形態に係る音声信号処理装置は、パケットロスが起こった後に最初に正常に受信した音声パケットに対して、音声パケット復号の結果得られる復号音声の振幅が急激に大きくなることにより生じる不連続性の推定を行う不連続推定器と、復号音声の不連続性を修正する不連続修正器と、を備える。
　上記の不連続推定器は、復号音声の不連続性を、励振信号のパワーにより推定してもよい。
　また、上記の不連続推定器は、復号音声の不連続性を、励振信号算出に用いる量子化された符号帳ゲインにより推定してもよい。
　上記の音声信号処理装置は、符号化器より伝送された不連続性に関する補助情報を復号する補助情報復号器、をさらに備え、上記の不連続推定器は、補助情報復号器が補助情報符号を復号して出力する不連続性に関する補助情報を用いて、復号音声の不連続性を推定してもよい。
　上記の不連続修正器は、不連続性の推定結果に応じて、ISFパラメータ又はLSFパラメータ（以下「ISF/LSFパラメータ」と表記する）を修正してもよい。
　より具体的には、上記の不連続修正器は、合成フィルタの安定性保証のために与えるISF/LSFパラメータの各要素間の間隔を、不連続性の推定結果に応じて変化させてもよい。
　このとき、上記の不連続修正器は、合成フィルタの安定性保証のために与えるISF/LSFパラメータの各要素間の間隔として、安定性保証のために通常与える間隔よりも大きな間隔を与えてもよい。
　また、上記の不連続修正器は、予め定めた次元までのISF/LSFパラメータを等分して得られる間隔を、合成フィルタの安定性保証のために与えるISF/LSFパラメータの各要素間の間隔として用いてもよい。
　さらに、上記の不連続修正器は、予め定めたベクトルにより、ISF/LSFパラメータの一部もしくは全部を置き換えてもよい。
　本発明の一実施形態に係る音声信号処理装置は、ISF/LSFパラメータを量子化するISF/LSF量子化器と、ISF/LSFパラメータに関する隠蔽情報である隠蔽ISF/LSFパラメータを生成するISF/LSF隠蔽器と、前記ISF/LSF量子化器の量子化過程で得られる量子化ISF/LSFパラメータと前記ISF/LSF隠蔽器が生成する隠蔽ISF/LSFパラメータとの距離を用いて、パケットロスが起こった後に最初に正常に受信した音声パケットに生じる不連続性を推定する不連続推定器と、不連続性に関する補助情報を符号化する補助情報符号化器と、を備える。
　本発明の一実施形態に係る音声信号処理装置は、パケットロスが起こった後に最初に正常に受信した音声パケットに生じる不連続性を推定する不連続推定器と、不連続性に関する補助情報を符号化する補助情報符号化器と、前記不連続推定器が不連続性を推定しない場合は、過去の量子化ISF/LSF残差パラメータを当該フレームにおけるISF/LSF量子化に用い、前記不連続推定器が不連続性を推定した場合は、過去の量子化ISF/LSF残差パラメータを当該フレームにおけるISF/LSF量子化に用いることを回避するISF/LSF量子化器と、を備える。
　本発明の一実施形態に係る音声信号処理装置は、パケットロスが起こった後に最初に正常に受信した音声パケットに生じる不連続性に関する補助情報を復号し出力する補助情報復号器と、復号音声の不連続性を修正する不連続修正器と、前記補助情報復号器の出力により不連続性を推定しない場合は、過去の量子化ISF/LSF残差パラメータを当該フレームにおけるISF/LSF算出に用い、前記補助情報復号器の出力により不連続性を推定した場合は、過去の量子化ISF/LSF残差パラメータを当該フレームにおけるISF/LSF算出に用いることを回避するISF/LSF復号器と、を備える。
　音声信号処理装置は、過去の所定数のフレームのパケット受信状態を判定する受信状態判定部、をさらに備え、不連続修正器は、不連続性の推定結果に加え、パケット受信状態の判定結果も基礎として、不連続性の修正を行う構成を採用してもよい。
　さて、本発明の一実施形態に係る音声信号処理装置は、音声信号処理方法に係る発明、及び音声信号処理プログラムに係る発明として捉えることもでき、以下のように記述することができる。
　本発明の一実施形態に係る音声信号処理方法は、音声信号処理装置により実行される音声信号処理方法であって、パケットロスが起こった後に最初に正常に受信した音声パケットに対して、音声パケット復号の結果得られる復号音声の振幅が急激に大きくなることにより生じる不連続性の推定を行うステップと、復号音声の不連続性を修正するステップと、を備える。
　本発明の一実施形態に係る音声信号処理方法は、音声信号処理装置により実行される音声信号処理方法であって、ISF/LSFパラメータを量子化するステップと、ISF/LSFパラメータに関する隠蔽情報である隠蔽ISF/LSFパラメータを生成するステップと、前記ISF/LSFパラメータの量子化過程で得られる量子化ISF/LSFパラメータと生成された隠蔽ISF/LSFパラメータとの距離を用いて、パケットロスが起こった後に最初に正常に受信した音声パケットに生じる不連続性を推定するステップと、不連続性に関する補助情報を符号化するステップと、を備える。
　本発明の一実施形態に係る音声信号処理方法は、音声信号処理装置により実行される音声信号処理方法であって、パケットロスが起こった後に最初に正常に受信した音声パケットに生じる不連続性を推定するステップと、不連続性に関する補助情報を符号化するステップと、不連続性が推定されない場合は、過去の量子化ISF/LSF残差パラメータを当該フレームにおけるISF/LSF量子化に用い、不連続性が推定された場合は、過去の量子化ISF/LSF残差パラメータを当該フレームにおけるISF/LSF量子化に用いることを回避するステップと、を備える。
　本発明の一実施形態に係る音声信号処理方法は、音声信号処理装置により実行される音声信号処理方法であって、パケットロスが起こった後に最初に正常に受信した音声パケットに生じる不連続性に関する補助情報を復号し出力するステップと、復号音声の不連続性を修正するステップと、前記補助情報が不連続性の推定を示さない場合は、過去の量子化ISF/LSF残差パラメータを当該フレームにおけるISF/LSF算出に用い、前記補助情報が不連続性の推定を示す場合は、過去の量子化ISF/LSF残差パラメータを当該フレームにおけるISF/LSF算出に用いることを回避するステップと、を備える。
　本発明の一実施形態に係る音声信号処理プログラムは、コンピュータを、パケットロスが起こった後に最初に正常に受信した音声パケットに対して、音声パケット復号の結果得られる復号音声の振幅が急激に大きくなることにより生じる不連続性の推定を行う不連続推定器と、復号音声の不連続性を修正する不連続修正器、として動作させるための音声信号処理プログラムである。
　本発明の一実施形態に係る音声信号処理プログラムは、コンピュータを、ISF/LSFパラメータを量子化するISF/LSF量子化器と、ISF/LSFパラメータに関する隠蔽情報である隠蔽ISF/LSFパラメータを生成するISF/LSF隠蔽器と、前記ISF/LSF量子化器の量子化過程で得られる量子化ISF/LSFパラメータと前記ISF/LSF隠蔽器が生成する隠蔽ISF/LSFパラメータとの距離を用いて、パケットロスが起こった後に最初に正常に受信した音声パケットに生じる不連続性を推定する不連続推定器と、不連続性に関する補助情報を符号化する補助情報符号化器、として動作させるための音声信号処理プログラムである。
　本発明の一実施形態に係る音声信号処理プログラムは、コンピュータを、パケットロスが起こった後に最初に正常に受信した音声パケットに生じる不連続性を推定する不連続推定器と、不連続性に関する補助情報を符号化する補助情報符号化器と、前記不連続推定器が不連続性を推定しない場合は、過去の量子化ISF/LSF残差パラメータを当該フレームにおけるISF/LSF量子化に用い、前記不連続推定器が不連続性を推定した場合は、過去の量子化ISF/LSF残差パラメータを当該フレームにおけるISF/LSF量子化に用いることを回避するISF/LSF量子化器、として動作させるための音声信号処理プログラムである。
　本発明の一実施形態に係る音声信号処理プログラムは、コンピュータを、パケットロスが起こった後に最初に正常に受信した音声パケットに生じる不連続性に関する補助情報を復号し出力する補助情報復号器と、復号音声の不連続性を修正する不連続修正器と、前記補助情報復号器の出力により不連続性を推定しない場合は、過去の量子化ISF/LSF残差パラメータを当該フレームにおけるISF/LSF算出に用い、前記補助情報復号器の出力により不連続性を推定した場合は、過去の量子化ISF/LSF残差パラメータを当該フレームにおけるISF/LSF算出に用いることを回避するISF/LSF復号器、として動作させるための音声信号処理プログラムである。
　以上のような本発明によれば、音声開始時点でのパケットロスから復帰した際に起こりうる上記不連続音を低減し、主観品質を改善することができる。
音声復号器の構成図である。 音声復号器の処理フローである。 音声符号復号部の機能構成図である。 LP係数算出部の機能構成図である。 LP係数を算出する処理フローである。 隠蔽信号生成部の機能構成図である。 特許文献２の音声復号器の構成図である。 特許文献２の隠蔽信号生成部の機能構成図である。 第１実施形態における音声符号復号部の機能構成図である。 第１実施形態におけるLP係数算出部の処理フローである。 第１実施形態における音声符号復号部の機能構成図である。 第１実施形態変形例１における第２安定性処理部の処理フローである。 第２実施形態における音声符号復号部の機能構成図である。 第２実施形態におけるLP係数算出部の機能構成図である。 第２実施形態におけるLP係数算出の処理フローである。 第４実施形態における音声符号化器の構成図である。 第４実施形態における音声符号化器の構成図である。 第４実施形態におけるLP分析・符号化器の構成図である。 第４実施形態におけるLP分析・符号化器の処理フローである。 第４実施形態における音声符号復号部の機能構成図である。 第４実施形態におけるLP係数算出部の処理フローである。 第５実施形態におけるLP分析・符号化器の構成図である。 第５実施形態におけるLP分析・符号化器の処理フローである。 第４実施形態における音声符号復号部の機能構成図である。 第５実施形態におけるLP係数算出部の処理フローである。 第７実施形態における音声復号器の構成図である。 第７実施形態における音声復号器の処理フローである。 第７実施形態における音声符号復号部の機能構成図である。 第７実施形態におけるLP係数算出の処理フローである。 コンピュータのハードウェア構成例を示す図である。 コンピュータの外観図である。 （ａ）、（ｂ）、（ｃ）および（ｄ）は音声信号処理プログラムのさまざまな構成例を示す図である。
　以下、図面を用いて、本発明に係る音声信号処理装置、音声信号処理方法、及び音声信号処理プログラムの好適な実施形態について詳細に説明する。なお、図面の説明においては同一要素には同一符号を付し、重複する説明を省略する。
　［第１実施形態］
　第１実施形態における音声信号処理装置は、前述した図１の音声復号器１と同様の構成を備え、音声符号復号部に特徴があるため、以下、音声符号復号部について説明する。
　図９には第１実施形態における音声符号復号部１２Ａの機能構成図を、図１０にはLP係数算出処理のフロー図を、それぞれ示す。図９の音声符号復号部１２Ａは、前述した図３の構成に対し、不連続検出部１２９が追加されている。従来技術との差異は、LP係数算出処理のみであるため、ここではLP係数算出処理に関わる各部の動作について述べる。
　不連続検出部１２９は、復号して得られた固定符号帳ゲインgc 0、及び内部状態に含まれる固定符号帳ゲインgc -1を参照し、次式に従いゲインの変化と閾値とを比較する（図１０のステップＳ１１）。
Figure JPOXMLDOC01-appb-M000042
　ゲインの変化が閾値を越える場合、不連続発生を検出し（以下、単に「不連続を検出し」ともいう）、不連続発生の検出結果に係る制御信号を安定性処理部１２１に出力する。
　なお、ゲインの変化と閾値との比較にあたっては、次式を用いても良い。
Figure JPOXMLDOC01-appb-M000043
　さらに、現フレームに含まれる第１から第４サブフレームの固定符号帳ゲインのうち最大のものをgc (c)、内部状態に含まれる固定符号帳ゲインのうち最小のものをgc (p)として、次式によりゲインの変化と閾値との比較を行ってもよい。
Figure JPOXMLDOC01-appb-M000044
　当然、次式を用いてもよい。
Figure JPOXMLDOC01-appb-M000045
　第１実施形態の上記の例では、直前フレーム（ロストフレーム）の第４サブフレームの固定符号帳ゲインgc -1と、現フレームの第１サブフレームの固定符号帳ゲインgc 0を用いて不連続検出を行う例を示したが、内部状態に含まれる固定符号帳ゲイン及び現フレームに含まれる固定符号帳ゲインについて、それぞれ平均値を算出した上で、ゲインの変化と閾値との比較を行うようにしてもよい。
　ISF復号部１２０は、従来技術と同様の動作を行う（図１０のステップＳ１２）。
　安定性処理部１２１は、不連続検出部１２９が不連続を検出した場合、以下の処理によりISFパラメータを修正する（図１０のステップＳ１３）。
　最初に、安定性処理部１２１は、内部状態バッファ１４に記憶されたISFパラメータ
Figure JPOXMLDOC01-appb-M000046
 について、各要素間に通常よりＭ-1倍の間隔をあける処理を行う。通常よりも非常に大きな間隔を与えることによりスペクトル包絡における過大なピークとディップを抑制する効果を与える。ここで、min_distは最小のISF間隔であり、isf_minは、min_distの間隔を確保するために必要なISFの最小値である。isf_minは、隣のISFの値にmin_distの間隔を加算することにより順次更新を行う。一方、isf_maxは、min_distの間隔を確保するために必要なISFの最大値である。isf_maxは、隣のISFの値からmin_distの間隔を減算することにより順次更新を行う。
Figure JPOXMLDOC01-appb-M000047
　次に、安定性処理部１２１は、現フレームのISFパラメータについて、各要素間に通常よりＭ0倍の間隔をあける処理を行う。ここでは、１＜Ｍ0＜Ｍ-1とするが、Ｍ-1あるいはＭ0のいずれか一方を１とし、他方を１より大きな値に設定してもよい。
Figure JPOXMLDOC01-appb-M000048
　また、安定性処理部１２１は、不連続検出器が不連続を検出しない場合、通常の復号過程で実施するのと同様に、以下の処理を行う。
Figure JPOXMLDOC01-appb-M000049
　不連続を検出した場合の要素間の最小の間隔はISFの周波数に応じて変えてもよい。不連続を検出した場合の要素間の最小の間隔は、通常の復号処理の最小の要素間の間隔と異なっていれば良い。
　LP係数算出部１２２内のISF-ISP変換部１２２Ａは、次式に従い、ISFパラメータ
Figure JPOXMLDOC01-appb-M000050
 をそれぞれ、ISPパラメータ
Figure JPOXMLDOC01-appb-M000051
 に変換する（図１０のステップＳ１４）。ここで、Cは事前に定めた定数である。
Figure JPOXMLDOC01-appb-M000052
　ISP補間部１２２Ｂは、過去のISPパラメータ
Figure JPOXMLDOC01-appb-M000053
 と、上記ISPパラメータ
Figure JPOXMLDOC01-appb-M000054
 から、以下の式に従い、サブフレーム毎のISPパラメータを算出する（図１０のステップＳ１５）。補間にあたっては、別の係数を用いてもよい。
Figure JPOXMLDOC01-appb-M000055
　ISP-LPC変換部１２２Ｃは、サブフレーム毎のISPパラメータをLP係数
Figure JPOXMLDOC01-appb-M000056
 に変換する（図１０のステップＳ１６）。ここで、先読み信号に含まれるサブフレームの数を４としたが、サブフレームの数は設計方針により変更してもよい。具体的変換手順として、非特許文献１に記載の処理手順を用いることができる。
　さらに、ISF-ISP変換部１２２Ａは、内部状態バッファ１４に記憶されたISFパラメータ
Figure JPOXMLDOC01-appb-M000057
 を次式に従い更新する。
Figure JPOXMLDOC01-appb-M000058
 このとき、不連続が検出された場合でも、ISF-ISP変換部１２２Ａは、以下の手順を実施することにより、ISFパラメータの算出結果を用いて、内部状態バッファに記憶されたISFパラメータ
Figure JPOXMLDOC01-appb-M000059
 を更新してもよい。
Figure JPOXMLDOC01-appb-M000060
　以上の第１実施形態のように、復号音声の不連続性は、励振信号算出に用いる量子化された符号帳ゲインによって推定することができ、また、不連続性の推定結果に応じて、ISF/LSFパラメータ（例えば合成フィルタの安定性保証のために与えるISF/LSFパラメータの各要素間の間隔）を修正することができる。これにより、音声開始時点でのパケットロスから復帰した際に起こりうる不連続音を低減し、主観品質を改善することができる。
　[第１実施形態の変形例]
　図１１には、第１実施形態の変形例に係る音声符号復号部１２Ｓの機能構成図を示す。図３の従来技術の構成との差異は、不連続検出部１２９及び第２安定性処理部１２１Ｓのみであるため、これらの動作について述べる。第２安定性処理部１２１Ｓは、ゲイン調整部１２１Ｘ及びゲイン乗算部１２１Ｙを備えており、第２安定性処理部１２１Ｓの処理フローは図１２に示す。
　不連続検出部１２９は、第１実施形態の不連続検出部１２９と同様にして、復号して得られた固定符号帳ゲインgc 0及び内部状態に含まれる固定符号帳ゲインgc -1を参照し、ゲインの変化と閾値とを比較する。そして、不連続検出部１２９は、ゲインの変化が閾値を越えたか否かに関する情報を含む制御信号を、ゲイン調整部１２１Ｘに送る。
　ゲイン調整部１２１Ｘは、ゲインの変化が閾値を越えたか否かに関する情報を制御信号から読み出し、ゲインの変化が閾値を越えた場合には、事前に定めたゲインgonをゲイン乗算部１２１Ｙに出力する。一方、ゲイン調整部１２１Ｘは、ゲインの変化が閾値を越えていない場合は、事前に定めたゲインgoffをゲイン乗算部１２１Ｙに出力する。このようなゲイン調整部１２１Ｘの動作は図１２のステップＳ１８に対応する。
　ゲイン乗算部１２１Ｙは、合成フィルタ１２８が出力する合成信号に上記ゲインgon又はゲインgoffを乗算し（図１２のステップＳ１９）、得られた復号信号を出力する。
　ここで、LP係数算出部１２２からLP係数またはISFパラメータを出力して、第２安定性処理部１２１Ｓに入力する構成（図１１にてLP係数算出部１２２からゲイン調整部１２１Ｘへの点線で示す構成）にしてもよい。この場合、乗算するべきゲインは、LP係数算出部１２２で算出したLP係数またはISFパラメータを用いて決定される。
　以上の変形例のように、音声符号復号部１２Ｓに第２安定性処理部１２１Ｓを追加し、ゲインの変化が閾値を越えたか否かに応じてゲインを調整することで、適正な復号信号を得ることができる。
　なお、第２安定性処理部１２１Ｓは、上記算出したゲインを励振信号に乗算し、合成フィルタ１２８に出力してもよい。
　［第２実施形態］
　第２実施形態における音声信号処理装置は、前述した図１の音声復号器１と同様の構成を備え、音声符号復号部に特徴があるため、以下、音声符号復号部について説明する。図１３には音声符号復号部１２Ｂの機能構成例を、図１４にはLP係数の算出処理に係る機能構成例を、図１５にはLP係数の算出処理のフローを、それぞれ示す。図１３の音声符号復号部１２Ｂは、前述した図３の構成に対し、不連続検出部１２９が追加されている。
　ISF復号部１２０は、従来技術と同様にしてISFパラメータを算出する（図１５のステップＳ２１）。
　安定性処理部１２１は、従来技術と同様にして、フィルタの安定性を確保するためにISFパラメータ
Figure JPOXMLDOC01-appb-M000061
 の各要素間に50Hz以上の間隔をあけるよう処理を行う（図１５のステップＳ２２）。
　ISF-ISP変換部１２２Ａは、第１実施形態と同様にして、安定性処理部１２１が出力したISFパラメータをISPパラメータに変換する（図１５のステップＳ２３）。
　ISP補間部１２２Ｂは、第１実施形態と同様にして、過去のISPパラメータ
Figure JPOXMLDOC01-appb-M000062
 と、ISF-ISP変換部１２２Ａによる変換で得られたISPパラメータ
Figure JPOXMLDOC01-appb-M000063
 から、サブフレーム毎のISPパラメータを算出する（図１５のステップＳ２４）。
　ISP-LPC変換部１２２Ｃは、第１実施形態と同様にして、サブフレーム毎のISPパラメータをLP係数
Figure JPOXMLDOC01-appb-M000064
 に変換する（図１５のステップＳ２５）。ここで、先読み信号に含まれるサブフレームの数を４としたが、サブフレームの数は設計方針により変更してもよい。
　内部状態バッファ１４は、新たなISFパラメータによって、過去に記憶したISFパラメータを更新する。
　不連続検出部１２９は、パケットロスしたフレームにおける第４サブフレームのLP係数を内部状態バッファ１４から読み出し、パケットロスしたフレームにおける第４サブフレームのLP係数のインパルス応答のパワーを算出する。パケットロスしたフレームにおける第４サブフレームのLP係数は、パケットロス時に図６の隠蔽信号生成部１３に含まれるLP係数補間部１３０が出力して内部状態バッファ１４に蓄積した係数を用いることができる。
Figure JPOXMLDOC01-appb-M000065
　そして、不連続検出部１２９は、例えば以下の式により不連続を検出する（図１５のステップＳ２６）。
Figure JPOXMLDOC01-appb-M000066
　ゲインの変化が閾値を越えない場合（図１５のステップＳ２７でＮＯの場合）、不連続検出部１２９は不連続発生を検出せず、ISP-LPC変換部１２２ＣからLP係数を出力して処理を終了する。一方、ゲインの変化が閾値を越える場合（図１５のステップＳ２７でＹＥＳの場合）、不連続検出部１２９は、不連続発生を検出し、不連続発生の検出結果に係る制御信号を安定性処理部１２１に送る。制御信号を受け取った場合、安定性処理部１２１は、第１実施形態と同様にして、ISFパラメータを修正する（図１５のステップＳ２８）。以下、ISF-ISP変換部１２２Ａ、ISP補間部１２２Ｂ、及びISP-LPC変換部１２２Ｃの動作（図１５のステップＳ２９、Ｓ２Ａ、Ｓ２Ｂ）は、上記と同様である。
　以上の第２実施形態のように、復号音声の不連続性は、励振信号のパワーによって推定することができ、第１実施形態と同様に、不連続音を低減し主観品質を改善することができる。
　[第３実施形態]
　不連続を検出した際に、別の方法によりISFパラメータを修正してもよい。第３実施形態は、安定性処理部１２１のみが第１実施形態と異なるので、安定性処理部１２１の動作のみについて述べる。
　不連続検出部１２９が不連続を検出した場合、安定性処理部１２１は、以下の処理を行いISFパラメータを修正する。
　内部状態バッファ１４に記憶されたISFパラメータ
Figure JPOXMLDOC01-appb-M000067
 について、安定性処理部１２１は、低次P’次元（0＜P’≦P）までのISFパラメータを次式により置き換える。ここで、
Figure JPOXMLDOC01-appb-M000068
 とする。
Figure JPOXMLDOC01-appb-M000069
　また、安定性処理部１２１は、次のように事前に学習により得られたP’次元ベクトルで低次P’次元のISFパラメータを上書きしてもよい。
Figure JPOXMLDOC01-appb-M000070
　次に、現フレームのISFパラメータについて、安定性処理部１２１は、第１実施形態のように各要素間に通常よりＭ0倍の間隔をあける処理を行ってもよいし、次式に従い決定してもよい。ここで、
Figure JPOXMLDOC01-appb-M000071
 とする。
Figure JPOXMLDOC01-appb-M000072
　また、安定性処理部１２１は、事前に学習したP’次元ベクトルで上書きしてもよい。
Figure JPOXMLDOC01-appb-M000073
　さらには、上記P’次元ベクトルは復号過程で学習されてもよく、例えば、
Figure JPOXMLDOC01-appb-M000074
 としてもよい。ただし、復号開始時のフレームにおいてはωi -1を予め決められたP’次元ベクトルωi initとしてもよい。
　内部状態バッファ１４は、新たなISFパラメータによって、過去に記憶したISFパラメータを更新する。
　以上の第３実施形態のように、予め定めた次元までのISF/LSFパラメータを等分して得られる間隔を、合成フィルタの安定性保証のために与えるISF/LSFパラメータの各要素間の間隔として用いることができ、第１、第２実施形態と同様に、不連続音を低減し主観品質を改善することができる。
　［第４実施形態］
　第４実施形態では、符号化側が、不連続の発生を検出して、不連続判定符号（検出結果を示す符号）を音声符号に含めて復号側へ伝送し、復号側が、音声符号に含まれる不連続判定符号に基づいて安定性処理の処理内容を決定する実施形態を説明する。
　（符号化側について）
　図１６に符号化器２の機能構成例を、図１７に符号化器２における処理のフロー図を示す。図１６に示すように、符号化器２は、LP分析・符号化部２１、残差符号化部２２、及び符号多重化部２３を備える。
　このうちLP分析・符号化部２１の機能構成例を図１８に、LP分析・符号化部２１における処理のフロー図を図１９に示す。図１８に示すように、LP分析・符号化部２１は、LP分析部２１０、LP-ISF変換部２１１、ISF符号化部２１２、不連続判定部２１３、ISF隠蔽部２１４、ISF-LP変換部２１５、及びISFバッファ２１６を備える。
　LP分析・符号化部２１において、LP分析部２１０は、入力信号に対して線形予測分析を行い、線形予測係数を求める（図１７のステップＴ４１、図１８のステップＵ４１）。線形予測係数の算出に当たっては、音声信号から自己相関関数を算出した上で、レビンソン・ダービン法等を用いることができる。
　LP-ISF変換部２１１は、第１実施形態と同様にして、算出した線形予測係数をISFパラメータに変換する（ステップＴ４２、Ｕ４２）。線形予測係数からISFパラメータへの変換には、非特許文献に記載の方法を用いてもよい。
　ISF符号化部２１２は、ISFパラメータを事前に定めた方法により符号化してISF符号を算出し（ステップＴ４３、Ｕ４３）、符号化の過程で得られる量子化ISFパラメータを、不連続判定部２１３、ISF隠蔽部２１４及びISF-LP変換部２１５に出力する（ステップＵ４７）。ここで、量子化ISFパラメータは、ISF符号を逆量子化して得られるISFパラメータと等しい。符号化の方法としてベクトル符号化や直前フレームのISF及び事前に学習により定めた平均ベクトルからの誤差ベクトルをベクトル量子化等により符号化してもよい。
　不連続判定部２１３は、不連続判定部２１３が内蔵する内部バッファ（不図示）に格納された不連続判定フラグを符号化して、得られた不連続判定符号を出力する（ステップＵ４７）。また、不連続判定部２１３は、ISFバッファ２１６から読み出した隠蔽ISFパラメータ
Figure JPOXMLDOC01-appb-M000075
 と、量子化ISFパラメータ
Figure JPOXMLDOC01-appb-M000076
 を用いて、次式に従い不連続の判定を行い（ステップＴ４４、Ｕ４６）、その判定結果を不連続判定部２１３の内部バッファに格納する。ここで、Thresωは事前に定めた閾値、P’は次式を満たす整数である（0＜P’≦P）。
Figure JPOXMLDOC01-appb-M000077
　ここでは、ISFパラメータ同士のユークリッド距離を用いて不連続判定を行う例を述べたが、別の方法により不連続判定を行ってもよい。
　ISF隠蔽部２１４は、デコーダ側のISF隠蔽部と同様の処理により、量子化ISFパラメータから隠蔽ISFパラメータを算出して、得られた隠蔽ISFパラメータをISFバッファ２１６に出力する（ステップＵ４４、Ｕ４５）。ISF隠蔽処理の処理手順は、デコーダ側のパケットロス隠蔽部と同じ処理であれば、どんな方法でもよい。
　ISF-LP変換部２１５は、上記量子化ISFパラメータを変換して量子化線形予測係数を算出し、得られた量子化線形予測係数を残差符号化部２２へ出力する（ステップＴ４５）。ISFパラメータを量子化線形予測係数に変換する方法としては、非特許文献に記載の方法を用いてもよい。
　残差符号化部２２は、量子化線形予測係数を用いて音声信号をフィルタリングし、残差信号を算出する（ステップＴ４６）。
　次に、残差符号化部２２は、残差信号を、CELP又はTCX（Transform　Coded　Excitation）を用いる符号化手段、CELPとTCXとを切り替えて用いる符号化手段等により符号化し、残差符号を出力する（ステップＴ４７）。残差符号化部２２の処理は、本発明とは関連性が低いので、説明を省略する。
　符号多重化部２３は、ISF符号、不連続判定符号、及び残差符号を所定の順序でまとめて、得られた音声符号を出力する（ステップＴ４８）。
　（復号側について）
　第４実施形態における音声信号処理装置は、前述した図１の音声復号器１と同様の構成を備え、音声符号復号部に特徴があるため、以下、音声符号復号部について説明する。図２０には音声符号復号部１２Ｄの機能構成例を、図２１にはLP係数の算出処理のフローを、それぞれ示す。図２０の音声符号復号部１２Ｄは、前述した図３の構成に対し、不連続検出部１２９が追加されている。
　ISF復号部１２０は、ISF符号を復号して安定性処理部１２１及び内部状態バッファ１４に出力する（図２１のステップＳ４１）。
　不連続検出部１２９は、不連続判定符号を復号し、得られた不連続検出結果を安定性処理部１２１に出力する（図２１のステップＳ４２）。
　安定性処理部１２１は、不連続検出結果に応じた安定性処理を行う（図２１のステップＳ４３）。安定性処理部の処理手順は、第１実施形態及び第３実施形態と同様の方法を用いることができる。
　なお、安定性処理部１２１は、不連続判定符号から得られた不連続検出結果に加えて、音声符号に含まれている他のパラメータも基礎として、以下のように安定性処理を行ってもよい。例えば、安定性処理部１２１は、ISF安定度stabを次式に従い算出し、ISF安定度が閾値を越える場合には、たとえ不連続判定符号から不連続が検出された旨の不連続検出結果が得られていても、不連続が検出されていないかのように安定性処理を行う構成にしてもよい。ここで、Cは事前に定めた定数である。
Figure JPOXMLDOC01-appb-M000078
　LP係数算出部１２２内のISF-ISP変換部１２２Ａは、第１実施形態と同様の処理手順によりISFパラメータをISPパラメータに変換する（図２１のステップＳ４４）。
　ISP補間部１２２Ｂは、第１実施形態と同様の処理手順によりサブフレーム毎のISPパラメータを算出する（図２１のステップＳ４５）。
　ISP-LPC変換部１２２Ｃは、第１実施形態と同様の処理手順により、サブフレーム毎に算出したISPパラメータをLPCパラメータに変換する（図２１のステップＳ４６）。
　以上のような第４実施形態では、符号化側において、不連続判定（一例として、隠蔽ISFパラメータと量子化ISFパラメータ同士のユークリッド距離を用いた不連続判定）を行い、その判定結果に関する補助情報を符号化して復号側へ出力し、復号側において、復号して得られた補助情報を用いて不連続性の推定を行う。このように符号化側と復号側とで連携しながら、符号化側での不連続判定結果に応じた適切な処理を実行することができる。
　［第５実施形態］
　（符号化側について）
　符号化器の機能構成は、第４実施形態に係る図１６の機能構成と同じであり、符号化器の処理フローは、第４実施形態に係る図１７の処理フローと同じである。ここでは、第４実施形態とは異なる第５実施形態におけるLP分析・符号化部について述べる。
　図２２にLP分析・符号化部の機能構成例を、図２３にLP分析・符号化部の処理フローを示す。図２２に示すように、LP分析・符号化部２１Ｓは、LP分析部２１０、LP-ISF変換部２１１、ISF符号化部２１２、不連続判定部２１３、ISF隠蔽部２１４、ISF-LP変換部２１５、及びISFバッファ２１６を備える。
　このようなLP分析・符号化部２１Ｓにおいて、LP分析部２１０は、第４実施形態と同様の処理により、入力信号に対して線形予測分析を行い、線形予測係数を求める（図２３のステップＵ５１）。
　LP-ISF変換部２１１は、第４実施形態と同様の処理により、算出した線形予測係数をISFパラメータに変換する（図２３のステップＵ５２）。線形予測係数からISFパラメータへの変換には、非特許文献に記載の方法を用いてもよい。
　ISF符号化部２１２は、不連続判定部２１３の内部バッファ（不図示）に格納された不連続判定フラグを読み出す（図２３のステップＵ５３）。
　＜不連続判定フラグが不連続の検出を表す場合＞
　ISF符号化部２１２は、次式で算出されるISF残差パラメータriをベクトル量子化してISF符号を算出する（図２３のステップＵ５４）。ここで、LP-ISF変換部で算出したISFパラメータをωi、事前に学習で求めた平均ベクトルをmeaniとした。
Figure JPOXMLDOC01-appb-M000079
　次に、ISF符号化部２１２は、ISF残差パラメータriを量子化して得られた量子化ISF残差パラメータ
Figure JPOXMLDOC01-appb-M000080
 を用いてISF残差パラメータバッファを次式に従い更新する（図２３のステップＵ５５）。
Figure JPOXMLDOC01-appb-M000081
　＜不連続判定フラグが不連続の検出を表さない場合＞
　ISF符号化部２１２は、次式で算出されるISF残差パラメータriをベクトル量子化してISF符号を算出する（図２３のステップＵ５４）。ここで、直前のフレームで復号により得られたISF残差パラメータを
Figure JPOXMLDOC01-appb-M000082
 とした。
Figure JPOXMLDOC01-appb-M000083
　次に、ISF符号化部２１２は、ISF残差パラメータriを量子化して得られた量子化ISF残差パラメータ
Figure JPOXMLDOC01-appb-M000084
 を用いて、ISF残差パラメータバッファを次式に従い更新する（図２３のステップＵ５５）。
Figure JPOXMLDOC01-appb-M000085
　以上の手順により、ISF符号化部２１２は、ISF符号を算出し、符号化の過程で得られる量子化ISFパラメータを、不連続判定部２１３、ISF隠蔽部２１４及びISF-LP変換部２１５に出力する。
　ISF隠蔽部２１４は、第４実施形態と同様、デコーダ側のISF隠蔽部と同様の処理により、量子化ISFパラメータから隠蔽ISFパラメータを算出して、ISFバッファ２１６に出力する（図２３のステップＵ５６、Ｕ５８）。ISF隠蔽処理の処理手順は、デコーダ側のパケットロス隠蔽部と同じ処理であれば、どんな方法でもよい。
　不連続判定部２１３は、第４実施形態と同様の処理により、不連続の判定を行い、判定結果を不連続判定部２１３の内部バッファ（不図示）に格納する（図２３のステップＵ５７）。
　ISF-LP変換部２１５は、第４実施形態と同様にして、上記量子化ISFパラメータを変換して、量子化線形予測係数を算出し、残差符号化部２２（図１６）へ出力する（図２３のステップＵ５８）。
　（復号側について）
　第５実施形態における音声信号処理装置は、前述した図１の音声復号器１と同様の構成を備え、音声符号復号部に特徴があるため、以下、音声符号復号部について説明する。図２４には音声符号復号部１２Ｅの機能構成例を、図２５にはLP係数の算出処理のフローを、それぞれ示す。図２４の音声符号復号部１２Ｅは、前述した図３の構成に対し、不連続検出部１２９が追加されている。
　不連続検出部１２９は、不連続判定符号を復号し、得られた不連続判定フラグをISF復号部１２０へ出力する（図２５のステップＳ５１）。
　ISF復号部１２０は、不連続判定フラグの値に応じて、次の通りISFパラメータを算出し、ISFパラメータを安定性処理部１２１及び内部状態バッファ１４に出力する（図２５のステップＳ５２）。
　＜不連続判定フラグが不連続の検出を表す場合＞
　ISF復号部１２０は、ISF符号を復号して得られる量子化ISF残差パラメータを
Figure JPOXMLDOC01-appb-M000086
 、事前に学習で求めた平均ベクトルをmeaniとして、次式に従い量子化ISFパラメータ
Figure JPOXMLDOC01-appb-M000087
 を求める。
Figure JPOXMLDOC01-appb-M000088
　次に、ISF復号部１２０は、内部状態バッファ１４に記憶されたISF残差パラメータを次式に従い更新する。
Figure JPOXMLDOC01-appb-M000089
　＜不連続判定フラグが不連続の検出を表さない場合＞
　ISF復号部１２０は、直前のフレームで復号により得られたISF残差パラメータ
Figure JPOXMLDOC01-appb-M000090
 を内部状態バッファ１４から読み出し、
得られたISF残差パラメータ
Figure JPOXMLDOC01-appb-M000091
 、事前に学習で求めた平均ベクトルmeani、及びISF符号を復号して得られる量子化ISF残差パラメータ
Figure JPOXMLDOC01-appb-M000092
 から、次式に従い量子化ISFパラメータ
Figure JPOXMLDOC01-appb-M000093
 を求める。
Figure JPOXMLDOC01-appb-M000094
　次に、ISF復号部１２０は、内部状態バッファ１４に記憶されたISF残差パラメータを次式に従い更新する。
Figure JPOXMLDOC01-appb-M000095
　安定性処理部１２１は、第１実施形態で述べた不連続が検出されない場合と同様の処理を行う（図２５のステップＳ５３）。
　LP係数算出部１２２内のISF-ISP変換部１２２Ａは、第１実施形態と同様の処理手順によりISFパラメータをISPパラメータに変換する（図２５のステップＳ５４）。
　ISP補間部１２２Ｂは、第１実施形態と同様の処理手順によりサブフレーム毎のISPパラメータを算出する（図２５のステップＳ５５）。
　ISP-LPC変換部１２２Ｃは、第１実施形態と同様の処理手順により、サブフレーム毎に算出したISPパラメータをLPCパラメータに変換する（図２５のステップＳ５６）。
　以上のような第５実施形態では、符号化側において、不連続判定フラグが不連続の検出を表さない場合に、直前のフレームで復号により得られたISF残差パラメータを使用してISF残差パラメータのベクトル量子化を行い、一方、不連続判定フラグが不連続の検出を表す場合には、直前のフレームで復号により得られたISF残差パラメータの使用を回避する。同様に、復号側において、不連続判定フラグが不連続の検出を表さない場合に、直前のフレームで復号により得られたISF残差パラメータを使用して量子化ISFパラメータを算出し、一方、不連続判定フラグが不連続の検出を表す場合には、直前のフレームで復号により得られたISF残差パラメータの使用を回避する。このように符号化側と復号側とで連携しながら、不連続判定結果に応じた適切な処理を実行することができる。
　［第６実施形態］
　上記第１～第５実施形態は組み合わせてもよい。例えば、第４実施形態に記載のとおり、復号側において、符号化側からの音声符号に含まれる不連続判定符号を復号して不連続を検出し、不連続が検出された場合に、以下のとおり実施してもよい。
　内部状態バッファに記憶されたISFパラメータ
Figure JPOXMLDOC01-appb-M000096
 については、第３実施形態に記載のとおり、低次P’次元（0＜P’≦P）までのISFパラメータを次式により置き換える。
Figure JPOXMLDOC01-appb-M000097
　一方、現フレームのISFパラメータについては、第５実施形態に記載のとおり、次式に従って算出する。
Figure JPOXMLDOC01-appb-M000098
　以降、上記により求められたISFパラメータを用いて、第１実施形態と同様に、ISF-ISP変換部１２２Ａ、ISP補間部１２２Ｂ、ISP-LPC変換部１２２Ｃの処理によりLP係数を求める。
　上記のように第１～第５実施形態を任意に組み合わせた態様も有効である。
　［第７実施形態］
　上記第１～第６実施形態及び変形例において、復号側におけるフレームロスの状況（例えば、単一フレームロスか連続フレームロスかといった状況）を加味してもよい。なお、第７実施形態では、不連続検出については、例えば音声符号に含まれる不連続判定符号を復号した結果を用いて不連続検出すればよく、その方法は上記に限定されない。
　第７実施形態における音声信号処理装置は、前述した図１の音声復号器１と同様の構成を備え、音声符号復号部に特徴があるため、以下、音声符号復号部について説明する。
　図２６には第７実施形態に係る音声復号器１Ｓの構成例を、図２７には音声復号器における処理のフロー図を、それぞれ示す。図２６に示すように、音声復号器１Ｓは、前述した音声符号復号部１２Ｇ、隠蔽信号生成部１３、及び内部状態バッファ１４に加え、過去数フレームにおけるパケット受信状態を判定しパケットロス履歴を記憶する受信状態判定部１６を備える。
　受信状態判定部１６は、パケット受信状態を判定し、判定結果に基づきパケットロス履歴情報を更新する（図２７のステップＳ５０）。
　パケットロスが検出された場合（ステップＳ１００でＮＯの場合）、受信状態判定部１６は、当該フレームのパケットロス検出結果を隠蔽信号生成部１３に出力し、隠蔽信号生成部１３は前述した隠蔽信号の生成及び内部状態の更新を行う（ステップＳ３００、Ｓ４００）。なお、隠蔽信号生成部１３も、パケットロス履歴情報をパラメータの補間等に利用してもよい。
　一方、パケットロスが検出されなかった場合（ステップＳ１００でＹＥＳの場合）、受信状態判定部１６は、当該フレームのパケットロス検出結果を含むパケットロス履歴情報と、受信パケットに含まれる音声符号とを、音声符号復号部１２に出力し、音声符号復号部１２は前述した音声符号の復号及び内部状態の更新を行う（ステップＳ２００、Ｓ４００）。
　以後、ステップＳ５０～Ｓ４００の処理は通信終了まで（ステップＳ５００でＹＥＳと判断されるまで）繰り返される。
　図２８には、音声符号復号部１２Ｇの機能構成例を、図２９には、LP係数の算出処理のフロー図を示す。ここでは、パケットロス履歴情報をLP係数算出部１２２にのみ用いる例について述べるが、他の構成要素にパケットロス履歴情報を入力して用いる構成としてもよい。
　音声符号復号部１２Ｇでは、LP係数の算出処理に係る構成以外の構成については、第１実施形態と同様であるので、以下、LP係数の算出処理に係る構成及び動作について述べる。
　ISF復号部１２０は、第１実施形態と同様にしてISF符号を復号してISFパラメータを安定性処理部１２１へ出力する（図２９のステップＳ７１）。
　不連続検出部１２９は、パケットロス履歴情報を参照して受信状態を判定する（ステップＳ７２）。不連続検出部１２９は、例えば、３フレーム前はパケットロス、２フレーム前は正常受信、１フレーム前はパケットロス、といったような特定の受信パターンを予め記憶しておき、該当する受信パターンが現れた場合に、受信状態フラグをオフにし、それ以外の場合は受信状態フラグをオンにするよう設計してもよい。
　また、不連続検出部１２９は、前述した第１～第６実施形態のいずれかの方法と同様に、不連続検出を行う。
　そして、安定性処理部１２１は、例えば以下のように、受信状態フラグおよび不連続検出の結果に応じて安定性処理を行う（ステップＳ７３）。
　受信状態フラグがオフの場合、安定性処理部１２１は、不連続検出の結果の如何を問わず、不連続が検出されなかった場合と同様の処理を行う。
　一方、受信状態フラグがオンで且つ不連続検出の結果、不連続が検出されなかった場合、安定性処理部１２１は、不連続が検出されなかった場合と同様の処理を行う。
　さらに、受信状態フラグがオンで且つ不連続検出の結果、不連続が検出された場合、安定性処理部１２１は、不連続が検出された場合と同様の処理を行う。
　以後、LP係数算出部１２２内のISF-ISP変換部１２２Ａ、ISP補間部１２２Ｂ、及びISP-LPC変換部１２２Ｃの動作（ステップＳ７４～Ｓ７６）は、第１実施形態と同様である。
　以上のような第７実施形態では、不連続検出の結果と受信状態フラグの状態とに応じた安定性処理を行うことで、フレームロスの状況（例えば、単一フレームロスか連続フレームロスかといった状況）を加味した、より精度の良い処理を実行できる。
　［音声信号処理プログラムについて］
　以下、コンピュータを、本発明に係る音声信号処理装置として動作させる音声信号処理プログラムについて説明する。
　図３２は、音声信号処理プログラムのさまざまな構成例を示す図である。図３０は、コンピュータのハードウェア構成例を示す図であり、図３１は、コンピュータの外観図である。図３２（ａ）～（ｄ）にそれぞれ示す音声信号処理プログラムＰ１～Ｐ４（以下「音声信号処理プログラムＰ」と総称する）は、図３１および図３２に示すコンピュータＣ１０を音声信号処理装置として動作させることができる。なお、本明細書にて説明する音声信号処理プログラムＰは、図３１および図３２に示すようなコンピュータに限定されず、携帯電話、携帯情報端末、携帯型パーソナルコンピュータといった任意の情報処理装置を、当該音声信号処理プログラムＰに従って動作させることができる。
　音声信号処理プログラムＰは、記録媒体Ｍに格納されて提供され得る。なお、記録媒体Ｍとしては、フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ、あるいはＲＯＭ等の記録媒体、あるいは半導体メモリ等が例示される。
　図３０に示すように、コンピュータＣ１０は、フレキシブルディスクドライブ装置、ＣＤ－ＲＯＭドライブ装置、ＤＶＤドライブ装置等の読み取り装置Ｃ１２と、作業用メモリ（ＲＡＭ）Ｃ１４と、記録媒体Ｍに記憶されたプログラムを記憶するメモリＣ１６と、ディスプレイＣ１８と、入力装置であるマウスＣ２０及びキーボードＣ２２と、データ等の送受信を行うための通信装置Ｃ２４と、プログラムの実行を制御する中央演算部（ＣＰＵ）Ｃ２６とを備える。
　コンピュータＣ１０は、記録媒体Ｍが読み取り装置Ｃ１２に挿入されると、記録媒体Ｍに格納された音声信号処理プログラムＰに読み取り装置Ｃ１２からアクセス可能になり、音声信号処理プログラムＰによって音声信号処理装置として動作することが可能になる。
　音声信号処理プログラムＰは、図３１に示すように、搬送波に重畳されたコンピュータデータ信号Ｗとしてネットワークを介して提供されるものであってもよい。この場合、コンピュータＣ１０は、通信装置Ｃ２４によって受信した音声信号処理プログラムＰをメモリＣ１６に格納し、音声信号処理プログラムＰを実行することができる。
　音声信号処理プログラムＰは、図３２（ａ）～（ｄ）に示すさまざまな構成を採りうる。これらは、特許請求の範囲に記載した音声信号処理プログラムに係る請求項１８～２１の構成にそれぞれ対応する。例えば、図３２（ａ）に示す音声信号処理プログラムＰ１は、不連続推定モジュールＰ１１、および不連続修正モジュールＰ１２を備える。図３２（ｂ）に示す音声信号処理プログラムＰ２は、ISF/LSF量子化モジュールＰ２１、ISF/LSF隠蔽モジュールＰ２２、不連続推定モジュールＰ２３、および補助情報符号化モジュールＰ２４を備える。図３２（ｃ）に示す音声信号処理プログラムＰ３は、不連続推定モジュールＰ３１、補助情報符号化モジュールＰ３２、およびISF/LSF量子化モジュールＰ３３を備える。図３２（ｄ）に示す音声信号処理プログラムＰ４は、補助情報復号モジュールＰ４１、不連続修正モジュールＰ４２、およびISF/LSF復号モジュールＰ４３を備える。
　以上説明したさまざまな実施形態によって、音声開始時点でのパケットロスから復帰した際に起こりうる不連続音を低減し、主観品質を改善することができる。
　発明の１つ目の特徴である安定性処理部は、パケットロス後に最初に正常に受信したパケットにおいて不連続が検出された場合に、例えばISFパラメータの各要素間に与える間隔を通常よりも大きくとることで、LP係数の利得が大きくなりすぎることを防ぐことができる。LP係数の利得と励振信号のパワーがともに増加することを防ぐことができるので、合成信号の不連続を軽減し、主観品質劣化を低減する。また、安定性処理部は、LP係数等を利用して算出したゲインを合成信号に乗算することにより合成信号の不連続性を軽減してもよい。
　また、発明の２つ目の特徴である不連続検出器は、パケットロス後に最初に正常に受信したパケットに含まれる励振信号のゲインを監視し、励振信号のゲインにおいて一定以上増加が起こるパケットについて不連続性を推定する。
　１、１Ｓ、１Ｘ…音声復号器、１１…パケットロス検出部、１２、１２Ａ、１２Ｂ、１２Ｄ、１２Ｅ、１２Ｇ、１２Ｓ…音声符号復号部、１３、１３Ｘ…隠蔽信号生成部、１４…内部状態バッファ、１５…正規化予測残差パワー復号部、１６…受信状態判定部、２１、２１Ｓ…分析・符号化部、２２…残差符号化部、２３…符号多重化部、１２０…ISF復号部、１２１、１２１Ｓ…安定性処理部、１２１Ｘ…ゲイン調整部、１２１Ｙ…ゲイン乗算部、１２２…LP係数算出部、１２２Ａ…ISF-ISP変換部、１２２Ｂ…ISP補間部、１２２Ｃ…ISP-LPC変換部、１２３…適応符号帳算出部、１２４…固定符号帳復号部、１２５…ゲイン復号部、１２６…励振ベクトル合成部、１２７…ポストフィルタ、１２８…合成フィルタ、１２９…不連続検出部、１３０…LP係数補間部、１３１…ピッチラグ補間部、１３２…ゲイン補間部、１３３…雑音信号生成部、１３４…ポストフィルタ、１３５…合成フィルタ、１３６…適応符号帳算出部、１３７…励振ベクトル合成部、１３８…正規化予測残差調整部、２１０…LP分析部、２１１…LP-ISF変換部、２１２…ISF符号化部、２１３…不連続判定部、２１４…ISF隠蔽部、２１５…ISF-LP変換部、２１６…ISFバッファ、Ｃ１０…コンピュータ、Ｃ１２…読み取り装置、Ｃ１４…作業用メモリ、Ｃ１６…メモリ、Ｃ１８…ディスプレイ、Ｃ２０…マウス、Ｃ２２…キーボード、Ｃ２４…通信装置、Ｃ２６…ＣＰＵ、Ｍ…記録媒体、Ｐ１～Ｐ４…音声信号処理プログラム、Ｐ１１…不連続推定モジュール、Ｐ１２…不連続修正モジュール、Ｐ２１…ISF/LSF量子化モジュール、Ｐ２２…ISF/LSF隠蔽モジュール、Ｐ２３…不連続推定モジュール、Ｐ２４…補助情報符号化モジュール、Ｐ３１…不連続推定モジュール、Ｐ３２…補助情報符号化モジュール、Ｐ３３…ISF/LSF量子化モジュール、Ｐ４１…補助情報復号モジュール、Ｐ４２…不連続修正モジュール、Ｐ４３…ISF/LSF復号モジュール、Ｗ…コンピュータデータ信号。
 

Claims (21)

  1. 　パケットロスが起こった後に最初に正常に受信した音声パケットに対して、音声パケット復号の結果得られる復号音声の振幅が急激に大きくなることにより生じる不連続性の推定を行う不連続推定器と、
    　復号音声の不連続性を修正する不連続修正器と、
    　を備える音声信号処理装置。
  2. 　前記不連続推定器は、前記復号音声の不連続性を、励振信号のパワーにより推定する、請求項１に記載の音声信号処理装置。
  3. 　前記不連続推定器は、前記復号音声の不連続性を、励振信号算出に用いる量子化された符号帳ゲインにより推定する、請求項１に記載の音声信号処理装置。
  4. 　前記音声信号処理装置は、符号化器より伝送された不連続性に関する補助情報を復号する補助情報復号器、をさらに備え、
    　前記不連続推定器は、前記補助情報復号器が補助情報符号を復号して出力する不連続性に関する補助情報を用いて、前記復号音声の不連続性を推定する、
    　請求項１に記載の音声信号処理装置。
  5. 　前記不連続修正器は、不連続性の推定結果に応じてISF/LSFパラメータを修正する、請求項１～４の何れか一項に記載の音声信号処理装置。
  6. 　前記不連続修正器は、合成フィルタの安定性保証のために与えるISF/LSFパラメータの各要素間の間隔を、前記不連続性の推定結果に応じて変化させる、請求項５に記載の音声信号処理装置。
  7. 　前記不連続修正器は、前記合成フィルタの安定性保証のために与えるISF/LSFパラメータの各要素間の間隔として、安定性保証のために通常与える間隔よりも大きな間隔を与える、請求項６に記載の音声信号処理装置。
  8. 　前記不連続修正器は、予め定めた次元までのISF/LSFパラメータを等分して得られる間隔を、前記合成フィルタの安定性保証のために与えるISF/LSFパラメータの各要素間の間隔として用いる、請求項６に記載の音声信号処理装置。
  9. 　前記不連続修正器は、予め定めたベクトルにより、ISF/LSFパラメータの一部もしくは全部を置き換える、請求項６に記載の音声信号処理装置。
  10. 　ISF/LSFパラメータを量子化するISF/LSF量子化器と、
    　ISF/LSFパラメータに関する隠蔽情報である隠蔽ISF/LSFパラメータを生成するISF/LSF隠蔽器と、
    　前記ISF/LSF量子化器の量子化過程で得られる量子化ISF/LSFパラメータと前記ISF/LSF隠蔽器が生成する隠蔽ISF/LSFパラメータとの距離を用いて、パケットロスが起こった後に最初に正常に受信した音声パケットに生じる不連続性を推定する不連続推定器と、
    　不連続性に関する補助情報を符号化する補助情報符号化器と、
    　を備える音声信号処理装置。
  11. 　パケットロスが起こった後に最初に正常に受信した音声パケットに生じる不連続性を推定する不連続推定器と、
    　不連続性に関する補助情報を符号化する補助情報符号化器と、
    　前記不連続推定器が不連続性を推定しない場合は、過去の量子化ISF/LSF残差パラメータを当該フレームにおけるISF/LSF量子化に用い、前記不連続推定器が不連続性を推定した場合は、過去の量子化ISF/LSF残差パラメータを当該フレームにおけるISF/LSF量子化に用いることを回避するISF/LSF量子化器と、
    　を備える音声信号処理装置。
  12. 　パケットロスが起こった後に最初に正常に受信した音声パケットに生じる不連続性に関する補助情報を復号し出力する補助情報復号器と、
    　復号音声の不連続性を修正する不連続修正器と、
    　前記補助情報復号器の出力により不連続性を推定しない場合は、過去の量子化ISF/LSF残差パラメータを当該フレームにおけるISF/LSF算出に用い、前記補助情報復号器の出力により不連続性を推定した場合は、過去の量子化ISF/LSF残差パラメータを当該フレームにおけるISF/LSF算出に用いることを回避するISF/LSF復号器と、
    　を備える音声信号処理装置。
  13. 　前記音声信号処理装置は、過去の所定数のフレームのパケット受信状態を判定する受信状態判定部、をさらに備え、
    　前記不連続修正器は、不連続性の推定結果に加え、前記パケット受信状態の判定結果も基礎として、不連続性の修正を行う、
    　請求項１～９および１２の何れか一項に記載の音声信号処理装置。
  14. 　音声信号処理装置により実行される音声信号処理方法であって、
    　パケットロスが起こった後に最初に正常に受信した音声パケットに対して、音声パケット復号の結果得られる復号音声の振幅が急激に大きくなることにより生じる不連続性の推定を行うステップと、
    　復号音声の不連続性を修正するステップと、
    　を備える音声信号処理方法。
  15. 　音声信号処理装置により実行される音声信号処理方法であって、
    　ISF/LSFパラメータを量子化するステップと、
    　ISF/LSFパラメータに関する隠蔽情報である隠蔽ISF/LSFパラメータを生成するステップと、
    　前記ISF/LSFパラメータの量子化過程で得られる量子化ISF/LSFパラメータと生成された隠蔽ISF/LSFパラメータとの距離を用いて、パケットロスが起こった後に最初に正常に受信した音声パケットに生じる不連続性を推定するステップと、
    　不連続性に関する補助情報を符号化するステップと、
    　を備える音声信号処理方法。
  16. 　音声信号処理装置により実行される音声信号処理方法であって、
    　パケットロスが起こった後に最初に正常に受信した音声パケットに生じる不連続性を推定するステップと、
    　不連続性に関する補助情報を符号化するステップと、
    　不連続性が推定されない場合は、過去の量子化ISF/LSF残差パラメータを当該フレームにおけるISF/LSF量子化に用い、不連続性が推定された場合は、過去の量子化ISF/LSF残差パラメータを当該フレームにおけるISF/LSF量子化に用いることを回避するステップと、
    　を備える音声信号処理方法。
  17. 　音声信号処理装置により実行される音声信号処理方法であって、
    　パケットロスが起こった後に最初に正常に受信した音声パケットに生じる不連続性に関する補助情報を復号し出力するステップと、
    　復号音声の不連続性を修正するステップと、
    　前記補助情報が不連続性の推定を示さない場合は、過去の量子化ISF/LSF残差パラメータを当該フレームにおけるISF/LSF算出に用い、前記補助情報が不連続性の推定を示す場合は、過去の量子化ISF/LSF残差パラメータを当該フレームにおけるISF/LSF算出に用いることを回避するステップと、
    　を備える音声信号処理方法。
  18. 　コンピュータを、
    　パケットロスが起こった後に最初に正常に受信した音声パケットに対して、音声パケット復号の結果得られる復号音声の振幅が急激に大きくなることにより生じる不連続性の推定を行う不連続推定器と、
    　復号音声の不連続性を修正する不連続修正器、
    　として動作させるための音声信号処理プログラム。
  19. 　コンピュータを、
    　ISF/LSFパラメータを量子化するISF/LSF量子化器と、
    　ISF/LSFパラメータに関する隠蔽情報である隠蔽ISF/LSFパラメータを生成するISF/LSF隠蔽器と、
    　前記ISF/LSF量子化器の量子化過程で得られる量子化ISF/LSFパラメータと前記ISF/LSF隠蔽器が生成する隠蔽ISF/LSFパラメータとの距離を用いて、パケットロスが起こった後に最初に正常に受信した音声パケットに生じる不連続性を推定する不連続推定器と、
    　不連続性に関する補助情報を符号化する補助情報符号化器、
    　として動作させるための音声信号処理プログラム。
  20. 　コンピュータを、
    　パケットロスが起こった後に最初に正常に受信した音声パケットに生じる不連続性を推定する不連続推定器と、
    　不連続性に関する補助情報を符号化する補助情報符号化器と、
    　前記不連続推定器が不連続性を推定しない場合は、過去の量子化ISF/LSF残差パラメータを当該フレームにおけるISF/LSF量子化に用い、前記不連続推定器が不連続性を推定した場合は、過去の量子化ISF/LSF残差パラメータを当該フレームにおけるISF/LSF量子化に用いることを回避するISF/LSF量子化器、
    　として動作させるための音声信号処理プログラム。
  21. 　コンピュータを、
    　パケットロスが起こった後に最初に正常に受信した音声パケットに生じる不連続性に関する補助情報を復号し出力する補助情報復号器と、
    　復号音声の不連続性を修正する不連続修正器と、
    　前記補助情報復号器の出力により不連続性を推定しない場合は、過去の量子化ISF/LSF残差パラメータを当該フレームにおけるISF/LSF算出に用い、前記補助情報復号器の出力により不連続性を推定した場合は、過去の量子化ISF/LSF残差パラメータを当該フレームにおけるISF/LSF算出に用いることを回避するISF/LSF復号器、
    　として動作させるための音声信号処理プログラム。
     
PCT/JP2014/077215 2013-10-29 2014-10-10 音声信号処理装置、音声信号処理方法、及び音声信号処理プログラム WO2015064346A1 (ja)

Priority Applications (34)

Application Number Priority Date Filing Date Title
PL14857728T PL3065134T3 (pl) 2013-10-29 2014-10-10 Urządzenie do przetwarzania sygnału mowy, sposób przetwarzania sygnału mowy i program do przetwarzania sygnału mowy
CN201910588571.4A CN110164457B (zh) 2013-10-29 2014-10-10 音频信号处理装置、音频信号处理方法
RU2016120629A RU2651234C2 (ru) 2013-10-29 2014-10-10 Устройство обработки аудиосигнала, способ обработки аудиосигнала и программа обработки аудиосигнала
BR112016003291-8A BR112016003291B1 (pt) 2013-10-29 2014-10-10 Dispositivos e métodos de processamento de sinal de áudio
EP19167229.4A EP3528247B1 (en) 2013-10-29 2014-10-10 Audio signal processing device, audio signal processing method, and audio signal processing program
CN201910588565.9A CN110164456B (zh) 2013-10-29 2014-10-10 音频信号处理装置、音频信号处理方法及存储介质
KR1020177032708A KR101978997B1 (ko) 2013-10-29 2014-10-10 음성 신호 처리 장치, 음성 신호 처리 방법 및 음성 신호 처리 프로그램
CN201910588808.9A CN110176239B (zh) 2013-10-29 2014-10-10 音频信号处理装置、音频信号处理方法
KR1020177020417A KR101798635B1 (ko) 2013-10-29 2014-10-10 음성 신호 처리 장치, 음성 신호 처리 방법 및 음성 신호 처리 프로그램
CN201480041188.2A CN105393303B (zh) 2013-10-29 2014-10-10 音频信号处理装置、音频信号处理方法及音频信号处理程序
EP14857728.1A EP3065134B1 (en) 2013-10-29 2014-10-10 Speech signal processing device, speech signal processing method, and speech signal processing program
KR1020197009868A KR102036704B1 (ko) 2013-10-29 2014-10-10 음성 신호 처리 장치, 음성 신호 처리 방법 및 음성 신호 처리 프로그램
DK14857728.1T DK3065134T3 (da) 2013-10-29 2014-10-10 Talesignalbehandlingsindretning, talesignalbehandlingsfremgangsmåde og talesignalbehandlingsprogram
CN201910588824.8A CN110265045B (zh) 2013-10-29 2014-10-10 音频信号处理装置
AU2014341476A AU2014341476B2 (en) 2013-10-29 2014-10-10 Audio signal processing device, audio signal processing method, and audio signal processing program
MX2016005162A MX347234B (es) 2013-10-29 2014-10-10 Dispositivo procesador de señales de audio, método de procesamiento de señales de audio, y programa de procesamiento de señales de audio.
KR1020197030949A KR102155618B1 (ko) 2013-10-29 2014-10-10 음성 신호 처리 장치, 음성 신호 처리 방법 및 음성 신호 처리 프로그램
CA2918715A CA2918715C (en) 2013-10-29 2014-10-10 Audio signal processing device and audio signal processing method for mitigating sudden increase in amplitude of decoded audio
SG11201600542VA SG11201600542VA (en) 2013-10-29 2014-10-10 Audio signal processing device, audio signal processing method, and audio signal processingprogram
ES14857728T ES2732440T3 (es) 2013-10-29 2014-10-10 Dispositivo de procesamiento de señales de habla, método de procesamiento de señales de habla y programa de procesamiento de señales de habla
EP19167220.3A EP3528246A1 (en) 2013-10-29 2014-10-10 Audio signal processing device, audio signal processing method, and audio signal processing program
EP19167283.1A EP3528248A1 (en) 2013-10-29 2014-10-10 Audio signal processing device, audio signal processing method, and audio signal processing program
KR1020167002244A KR101764234B1 (ko) 2013-10-29 2014-10-10 음성 신호 처리 장치, 음성 신호 처리 방법 및 음성 신호 처리 프로그램
BR122017020760-1A BR122017020760B1 (pt) 2013-10-29 2014-10-10 Dispositivo de processamento de sinal de áudio e método de processamento de sinal de áudio
US15/141,346 US9799344B2 (en) 2013-10-29 2016-04-28 Audio signal processing system for discontinuity correction
HK16111241.6A HK1223188A1 (zh) 2013-10-29 2016-09-23 語音信號處理裝置、語音信號處理方法、和語音信號處理程序
AU2017204606A AU2017204606B2 (en) 2013-10-29 2017-07-06 Audio signal processing device, audio signal processing method, and audio signal processing program
US15/706,474 US10152982B2 (en) 2013-10-29 2017-09-15 Audio signal processing device, audio signal processing method, and audio signal processing program
US16/163,118 US10621999B2 (en) 2013-10-29 2018-10-17 Audio signal processing device, audio signal processing method, and audio signal processing program
AU2018274861A AU2018274861B2 (en) 2013-10-29 2018-12-04 Audio signal processing device, audio signal processing method, and audio signal processing program
US16/844,653 US11270715B2 (en) 2013-10-29 2020-04-09 Audio signal discontinuity processing system
AU2020294314A AU2020294314B2 (en) 2013-10-29 2020-12-24 Audio signal processing device, audio signal processing method, and audio signal processing program
AU2021290404A AU2021290404B2 (en) 2013-10-29 2021-12-29 Audio signal processing device, audio signal processing method, and audio signal processing program
US17/575,321 US11749291B2 (en) 2013-10-29 2022-01-13 Audio signal discontinuity correction processing system

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013224120A JP5981408B2 (ja) 2013-10-29 2013-10-29 音声信号処理装置、音声信号処理方法、及び音声信号処理プログラム
JP2013-224120 2013-10-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/141,346 Continuation US9799344B2 (en) 2013-10-29 2016-04-28 Audio signal processing system for discontinuity correction

Publications (1)

Publication Number Publication Date
WO2015064346A1 true WO2015064346A1 (ja) 2015-05-07

Family

ID=53003956

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/077215 WO2015064346A1 (ja) 2013-10-29 2014-10-10 音声信号処理装置、音声信号処理方法、及び音声信号処理プログラム

Country Status (21)

Country Link
US (5) US9799344B2 (ja)
EP (4) EP3528247B1 (ja)
JP (1) JP5981408B2 (ja)
KR (5) KR101798635B1 (ja)
CN (6) CN110164458A (ja)
AU (5) AU2014341476B2 (ja)
BR (2) BR112016003291B1 (ja)
CA (4) CA3168576A1 (ja)
DK (2) DK3065134T3 (ja)
ES (2) ES2732440T3 (ja)
FI (1) FI3528247T3 (ja)
HK (1) HK1223188A1 (ja)
HU (1) HUE063871T2 (ja)
MX (1) MX347234B (ja)
MY (3) MY179197A (ja)
PL (2) PL3065134T3 (ja)
PT (2) PT3528247T (ja)
RU (5) RU2651234C2 (ja)
SG (1) SG11201600542VA (ja)
TR (1) TR201909126T4 (ja)
WO (1) WO2015064346A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5981408B2 (ja) 2013-10-29 2016-08-31 株式会社Ｎｔｔドコモ 音声信号処理装置、音声信号処理方法、及び音声信号処理プログラム
JP6914390B2 (ja) * 2018-06-06 2021-08-04 株式会社Ｎｔｔドコモ 音声信号処理方法
CN110111805B (zh) * 2019-04-29 2021-10-29 北京声智科技有限公司 远场语音交互中的自动增益控制方法、装置及可读存储介质
CN114613372B (zh) * 2022-02-21 2022-10-18 北京富通亚讯网络信息技术有限公司 一种音频传输抗丢包的错误隐藏技术方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001228896A (ja) * 2000-02-14 2001-08-24 Iwatsu Electric Co Ltd 欠落音声パケットの代替置換方式
WO2002035520A2 (en) 2000-10-23 2002-05-02 Nokia Corporation Improved spectral parameter substitution for the frame error concealment in a speech decoder
WO2008108080A1 (ja) 2007-03-02 2008-09-12 Panasonic Corporation 音声符号化装置及び音声復号装置
WO2008111158A1 (ja) * 2007-03-12 2008-09-18 Fujitsu Limited 音声波形補間装置および方法
JP2010511201A (ja) * 2006-11-28 2010-04-08 サムスン エレクトロニクス カンパニー リミテッド フレームエラー隠匿方法及び装置、これを利用した復号化方法及び装置
JP2012113235A (ja) * 2010-11-26 2012-06-14 Ntt Docomo Inc 隠蔽信号生成装置、隠蔽信号生成方法および隠蔽信号生成プログラム

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970011728B1 (ko) * 1994-12-21 1997-07-14 김광호 음향신호의 에러은닉방법 및 그 장치
US6178317B1 (en) * 1997-10-09 2001-01-23 Ibiquity Digital Corporation System and method for mitigating intermittent interruptions in an audio radio broadcast system
US6775649B1 (en) * 1999-09-01 2004-08-10 Texas Instruments Incorporated Concealment of frame erasures for speech transmission and storage system and method
AU7486200A (en) * 1999-09-22 2001-04-24 Conexant Systems, Inc. Multimode speech encoder
CA2290037A1 (en) * 1999-11-18 2001-05-18 Voiceage Corporation Gain-smoothing amplifier device and method in codecs for wideband speech and audio signals
EP1199709A1 (en) * 2000-10-20 2002-04-24 Telefonaktiebolaget Lm Ericsson Error Concealment in relation to decoding of encoded acoustic signals
US7590525B2 (en) * 2001-08-17 2009-09-15 Broadcom Corporation Frame erasure concealment for predictive speech coding based on extrapolation of speech waveform
CA2388439A1 (en) * 2002-05-31 2003-11-30 Voiceage Corporation A method and device for efficient frame erasure concealment in linear predictive based speech codecs
KR100587953B1 (ko) * 2003-12-26 2006-06-08 한국전자통신연구원 대역-분할 광대역 음성 코덱에서의 고대역 오류 은닉 장치 및 그를 이용한 비트스트림 복호화 시스템
JP4445328B2 (ja) * 2004-05-24 2010-04-07 パナソニック株式会社 音声・楽音復号化装置および音声・楽音復号化方法
KR100723409B1 (ko) * 2005-07-27 2007-05-30 삼성전자주식회사 프레임 소거 은닉장치 및 방법, 및 이를 이용한 음성복호화 방법 및 장치
ATE527833T1 (de) * 2006-05-04 2011-10-15 Lg Electronics Inc Verbesserung von stereo-audiosignalen mittels neuabmischung
US8798172B2 (en) * 2006-05-16 2014-08-05 Samsung Electronics Co., Ltd. Method and apparatus to conceal error in decoded audio signal
CN101496095B (zh) * 2006-07-31 2012-11-21 高通股份有限公司 用于信号变化检测的系统、方法及设备
US8260609B2 (en) * 2006-07-31 2012-09-04 Qualcomm Incorporated Systems, methods, and apparatus for wideband encoding and decoding of inactive frames
US7796626B2 (en) * 2006-09-26 2010-09-14 Nokia Corporation Supporting a decoding of frames
BRPI0721490A2 (pt) * 2006-11-10 2014-07-01 Panasonic Corp Dispositivo de decodificação de parâmetro, dispositivo de codificação de parâmetro e método de decodificação de parâmetro.
KR101291193B1 (ko) * 2006-11-30 2013-07-31 삼성전자주식회사 프레임 오류은닉방법
RU2422922C1 (ru) * 2007-06-08 2011-06-27 Долби Лэборетериз Лайсенсинг Корпорейшн Гибридное извлечение аудиоканалов объемного звука посредством управляемого объединения компонент сигналов окружения и компонент матрично-декодируемых сигналов
CN100524462C (zh) * 2007-09-15 2009-08-05 华为技术有限公司 对高带信号进行帧错误隐藏的方法及装置
US8527265B2 (en) * 2007-10-22 2013-09-03 Qualcomm Incorporated Low-complexity encoding/decoding of quantized MDCT spectrum in scalable speech and audio codecs
JP4977157B2 (ja) * 2009-03-06 2012-07-18 株式会社エヌ・ティ・ティ・ドコモ 音信号符号化方法、音信号復号方法、符号化装置、復号装置、音信号処理システム、音信号符号化プログラム、及び、音信号復号プログラム
CN101958119B (zh) * 2009-07-16 2012-02-29 中兴通讯股份有限公司 一种改进的离散余弦变换域音频丢帧补偿器和补偿方法
CA2801362A1 (en) * 2010-06-21 2011-12-29 Panasonic Corporation Decoding device, encoding device, and methods for same
CN101894558A (zh) * 2010-08-04 2010-11-24 华为技术有限公司 丢帧恢复方法、设备以及语音增强方法、设备和系统
WO2012070370A1 (ja) * 2010-11-22 2012-05-31 株式会社エヌ・ティ・ティ・ドコモ 音声符号化装置、方法およびプログラム、並びに、音声復号装置、方法およびプログラム
JP5981408B2 (ja) * 2013-10-29 2016-08-31 株式会社Ｎｔｔドコモ 音声信号処理装置、音声信号処理方法、及び音声信号処理プログラム
EP3483883A1 (en) * 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio coding and decoding with selective postfiltering

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001228896A (ja) * 2000-02-14 2001-08-24 Iwatsu Electric Co Ltd 欠落音声パケットの代替置換方式
WO2002035520A2 (en) 2000-10-23 2002-05-02 Nokia Corporation Improved spectral parameter substitution for the frame error concealment in a speech decoder
JP2010511201A (ja) * 2006-11-28 2010-04-08 サムスン エレクトロニクス カンパニー リミテッド フレームエラー隠匿方法及び装置、これを利用した復号化方法及び装置
WO2008108080A1 (ja) 2007-03-02 2008-09-12 Panasonic Corporation 音声符号化装置及び音声復号装置
WO2008111158A1 (ja) * 2007-03-12 2008-09-18 Fujitsu Limited 音声波形補間装置および方法
JP2012113235A (ja) * 2010-11-26 2012-06-14 Ntt Docomo Inc 隠蔽信号生成装置、隠蔽信号生成方法および隠蔽信号生成プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ITU-T RECOMMENDATION G718, June 2008 (2008-06-01)

Also Published As

Publication number Publication date
RU2707727C1 (ru) 2019-11-28
PT3528247T (pt) 2023-09-29
CA3081225A1 (en) 2015-05-07
PL3065134T3 (pl) 2019-09-30
EP3065134A4 (en) 2016-09-07
KR20190121884A (ko) 2019-10-28
BR112016003291B1 (pt) 2022-02-15
CN110164457B (zh) 2023-01-03
EP3528246A1 (en) 2019-08-21
RU2651234C2 (ru) 2018-04-18
CA3081225C (en) 2022-10-04
RU2682927C2 (ru) 2019-03-22
AU2014341476B2 (en) 2017-05-25
HUE063871T2 (hu) 2024-02-28
MX347234B (es) 2017-04-19
KR102036704B1 (ko) 2019-10-25
MX2016005162A (es) 2016-07-05
EP3065134B1 (en) 2019-05-29
RU2016120629A (ru) 2017-12-05
SG11201600542VA (en) 2016-02-26
KR102155618B1 (ko) 2020-09-14
RU2680748C1 (ru) 2019-02-26
DK3065134T3 (da) 2019-06-24
CN110164458A (zh) 2019-08-23
BR112016003291A8 (pt) 2020-02-04
AU2020294314B2 (en) 2021-10-21
FI3528247T3 (fi) 2023-10-02
US9799344B2 (en) 2017-10-24
RU2018112250A (ru) 2019-03-01
MY191135A (en) 2022-05-31
BR122017020760B1 (pt) 2022-02-15
US11270715B2 (en) 2022-03-08
MY191134A (en) 2022-05-31
PL3528247T3 (pl) 2024-02-19
AU2021290404B2 (en) 2023-07-20
KR20190040084A (ko) 2019-04-16
CN105393303B (zh) 2019-07-16
CN110164456B (zh) 2023-11-14
JP2015087456A (ja) 2015-05-07
KR20170127076A (ko) 2017-11-20
PT3065134T (pt) 2019-07-04
US20200234723A1 (en) 2020-07-23
KR101764234B1 (ko) 2017-08-03
US20180068669A1 (en) 2018-03-08
KR20160025000A (ko) 2016-03-07
EP3065134A1 (en) 2016-09-07
HK1223188A1 (zh) 2017-07-21
AU2021290404A1 (en) 2022-02-03
CN110176239A (zh) 2019-08-27
CA3168576A1 (en) 2015-05-07
AU2014341476A1 (en) 2016-02-18
RU2701075C1 (ru) 2019-09-24
AU2018274861A1 (en) 2018-12-20
CN105393303A (zh) 2016-03-09
EP3528247B1 (en) 2023-09-06
AU2017204606B2 (en) 2018-09-06
JP5981408B2 (ja) 2016-08-31
US20220139411A1 (en) 2022-05-05
EP3528247A1 (en) 2019-08-21
AU2018274861B2 (en) 2020-11-26
CA3002931A1 (en) 2015-05-07
TR201909126T4 (tr) 2019-07-22
CN110265045A (zh) 2019-09-20
ES2732440T3 (es) 2019-11-22
KR101978997B1 (ko) 2019-05-15
CA3002931C (en) 2020-07-14
KR20170087544A (ko) 2017-07-28
CN110164457A (zh) 2019-08-23
US10152982B2 (en) 2018-12-11
ES2959667T3 (es) 2024-02-27
CN110176239B (zh) 2023-01-03
KR101798635B1 (ko) 2017-11-16
CA2918715A1 (en) 2015-05-07
US20190051313A1 (en) 2019-02-14
EP3528248A1 (en) 2019-08-21
CN110265045B (zh) 2023-11-14
AU2017204606A1 (en) 2017-07-27
RU2018112250A3 (ja) 2019-03-01
US20160240202A1 (en) 2016-08-18
MY179197A (en) 2020-10-30
CN110164456A (zh) 2019-08-23
US10621999B2 (en) 2020-04-14
CA2918715C (en) 2018-06-12
US11749291B2 (en) 2023-09-05
AU2020294314A1 (en) 2021-02-11
DK3528247T3 (da) 2023-10-02

Similar Documents

Publication Publication Date Title
RU2701075C1 (ru) Устройство обработки аудиосигнала, способ обработки аудиосигнала и программа обработки аудиосигнала
JP6914390B2 (ja) 音声信号処理方法
JP6352487B2 (ja) 音声信号処理方法及び音声信号処理装置
JP6133454B2 (ja) 音声信号処理方法及び音声信号処理装置
JP6691169B2 (ja) 音声信号処理方法及び音声信号処理装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201480041188.2

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14857728

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2918715

Country of ref document: CA

REEP Request for entry into the european phase

Ref document number: 2014857728

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014857728

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 20167002244

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 122017020760

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 2014341476

Country of ref document: AU

Date of ref document: 20141010

Kind code of ref document: A

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112016003291

Country of ref document: BR

WWE Wipo information: entry into national phase

Ref document number: MX/A/2016/005162

Country of ref document: MX

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2016120629

Country of ref document: RU

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 112016003291

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20160217