KR102155618B1 - 음성 신호 처리 장치, 음성 신호 처리 방법 및 음성 신호 처리 프로그램 - Google Patents

음성 신호 처리 장치, 음성 신호 처리 방법 및 음성 신호 처리 프로그램 Download PDF

Info

Publication number
KR102155618B1
KR102155618B1 KR1020197030949A KR20197030949A KR102155618B1 KR 102155618 B1 KR102155618 B1 KR 102155618B1 KR 1020197030949 A KR1020197030949 A KR 1020197030949A KR 20197030949 A KR20197030949 A KR 20197030949A KR 102155618 B1 KR102155618 B1 KR 102155618B1
Authority
KR
South Korea
Prior art keywords
isf
unit
discontinuity
parameter
equation
Prior art date
Application number
KR1020197030949A
Other languages
English (en)
Other versions
KR20190121884A (ko
Inventor
기미타카 쓰쓰미
게이 기쿠이리
아쓰시 야마구치
Original Assignee
가부시키가이샤 엔.티.티.도코모
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 엔.티.티.도코모 filed Critical 가부시키가이샤 엔.티.티.도코모
Publication of KR20190121884A publication Critical patent/KR20190121884A/ko
Application granted granted Critical
Publication of KR102155618B1 publication Critical patent/KR102155618B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/005—Correction of errors induced by the transmission channel, if related to the coding algorithm
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/06—Determination or coding of the spectral characteristics, e.g. of the short-term prediction coefficients
    • G10L19/07—Line spectrum pair [LSP] vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/09—Long term prediction, i.e. removing periodical redundancies, e.g. by using adaptive codebook or pitch predictor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/08—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters
    • G10L19/12—Determination or coding of the excitation function; Determination or coding of the long-term prediction parameters the excitation function being a code excitation, e.g. in code excited linear prediction [CELP] vocoders
    • G10L19/135—Vector sum excited linear prediction [VSELP]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L1/00—Arrangements for detecting or preventing errors in the information received
    • H04L1/0078—Avoidance of errors by organising the transmitted data in a format specifically designed to deal with errors, e.g. location
    • H04L1/0085—Formatting with cells
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L2019/0001—Codebooks
    • G10L2019/0011—Long term prediction filters, i.e. pitch estimation

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Quality & Reliability (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)
  • Stereo-Broadcasting Methods (AREA)
  • Input Circuits Of Receivers And Coupling Of Receivers And Audio Equipment (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)
  • Circuits Of Receivers In General (AREA)
  • Time-Division Multiplex Systems (AREA)

Abstract

음성 신호 처리 장치는, 패킷 손실이 발생한 후에 최초에 정상으로 수신한 음성 패킷에 대하여, 음성 패킷 복호의 결과 얻어지는 복호 음성의 진폭이 급격하게 커지는 것에 의해 생기는 불연속성의 추정을 행하는 불연속 추정기와, 복호 음성의 불연속성을 수정하는 불연속 수정기를 구비한다.

Description

음성 신호 처리 장치, 음성 신호 처리 방법 및 음성 신호 처리 프로그램{SPEECH SIGNAL PROCESSING DEVICE, SPEECH SIGNAL PROCESSING METHOD, AND SPEECH SIGNAL PROCESSING PROGRAM}
본 발명은, 음성 신호를 처리하는 음성 신호 처리 장치, 음성 신호 처리 방법 및 음성 신호 처리 프로그램에 관한 것이다.
IP(Internet Protocol) 전화와 같이, 음성 신호를 부호화 및 패킷화하여 인터넷망으로 전송할 때는, 네트워크의 폭주 등이 원인으로 패킷이 손실되는 경우가 있다(이하, 이 현상을 「패킷 손실」이라고 함). 패킷 손실이 발생하면, 필요한 음성 부호가 없어지기 때문에 음성 복호를 하지 못하여 음절(音切)이 발생한다. 패킷 손실에 의해 생기는 음절을 방지하는 기술로서, 음성 패킷 손실 은폐 기술이 있다. 음성 패킷 손실 은폐 기술은, 패킷 손실을 검출하고, 손실된 패킷에 대응하는 의사적(擬似的)인 음성 신호(이하, 「은폐 신호」)를 생성한다.
음성 부호화 방법으로서, 부호화기·복호기의 내부 상태를 갱신하면서 음성 부호화를 행하는 방법을 이용하고 있는 경우에는, 본래 수신해야 할 부호화 파라미터를 얻을 수 없기 때문에, 음성 패킷 손실 은폐 기술은, 의사적으로 생성한 파라미터에 의해 복호기의 내부 상태 갱신도 행한다.
부호화기·복호기의 내부 상태를 갱신하면서 음성 부호화를 행하는 방법으로서, CELP(Code Excited Linear Prediction) 부호화가 널리 사용되고 있다. CELP 부호화에서는, 자체 회귀 모델을 가정하고, 전체 극형(極形) 합성 필터 a(i)에 의해 여진(勵振) 신호 e(n)를 필터링함으로써 음성 신호를 합성한다. 즉, 다음 식에 따라 음성 신호 s(n)를 합성한다. a(i)는 선형 예측 계수[LP(Linear Prediction) 계수]이며, 차수(次數)로서 P=16 등의 값을 사용한다.
[수식 1]
Figure 112019107021421-pat00001
CELP 부호화에서는, 선형 예측 계수를 수학적으로 등가(等價)로 표현한 ISF(I㎜ittance Spectral Frequency) 파라미터나, 과거의 여진 신호를 내부 상태로 서 가진다. 패킷 손실이 일어났을 경우, 이들을 의사적으로 생성하므로, 본래이면 복호에 의해 얻어지고 있었던 파라미터와의 사이에서 괴리(乖離)가 생긴다. 파라미터의 괴리에 의해 생기는 합성 음성의 부정합(不整合)은, 수청자(受聽者)로부터는 잡음으로 지각되어 주관적인 품질을 크게 해친다.
이하, 음성 부호화 방법에 CELP 부호화를 사용한 경우를 예로, 음성 패킷 손실 은폐를 행하는 음성 복호기의 구성 및 동작에 대하여 설명한다.
음성 복호기의 구성도 및 동작을 도 1, 도 2에 나타낸다. 도 1에 나타낸 바와 같이, 음성 복호기(1)는, 패킷 손실 검출부(11), 음성 부호 복호부(12), 은폐 신호 생성부(13), 및 내부 상태 버퍼(14)를 구비한다.
패킷 손실 검출부(11)는, 음성 패킷을 정상(正常)으로 수신한 경우에는, 제어 신호, 및 음성 패킷에 포함되는 음성 부호를 음성 부호 복호부(12)에 보낸다(정상 수신: 도 2의 스텝 S100에서 YES의 경우). 그 후, 음성 부호 복호부(12)는, 후술하는 바와 같이, 음성 부호의 복호 및 내부 상태 갱신을 행한다(도 2의 스텝 S200, S400). 한편, 패킷 손실 검출부(11)는, 음성 패킷을 정상으로 수신할 수 없었던 경우에는, 은폐 신호 생성부(13)에 제어 신호를 보낸다(패킷 손실: 도 2의 스텝 S100에서 NO의 경우). 그 후, 은폐 신호 생성부(13)는, 후술하는 바와 같이, 은폐 신호의 생성 및 내부 상태 갱신을 행한다(도 2의 스텝 S300, S400). 도 2의 스텝 S100∼S400의 처리는 통신 종료까지(스텝 S500에서 YES라고 판단될 때까지) 반복된다.
음성 부호는, 적어도 부호화된 ISF 파라미터
[수식 2]
Figure 112019107021421-pat00002
, 부호화된 제1 내지 제4 서브 프레임의 피치 래그(pitch lag) Tj p, 제1 내지 제4 서브 프레임의 부호화된 적응 코드북(code book) 게인 gj p, 제1 내지 제4 서브 프레임의 부호화된 고정 코드북 게인 gj c, 제1 내지 제4 서브 프레임의 부호화된 고정 코드북 벡터 cj(n)를 포함한다. ISF 파라미터 대신에 수학적으로 등가의 표현인 LSF(line spectral frequency) 파라미터를 사용해도 된다. 이하의 논의에서는, ISF 파라미터를 사용한 설명을 행하지만, LSF 파라미터를 사용한 경우도 같은 논의가 성립된다.
내부 상태 버퍼에는, 과거의 ISF 파라미터
[수식 3]
Figure 112019107021421-pat00003
및
[수식 4]
Figure 112019107021421-pat00004
의 등가 표현인 ISP(I㎜ittance Spectral Pair) 파라미터
[수식 5]
Figure 112019107021421-pat00005
, ISF 잔차(殘差; residual) 파라미터
[수식 6]
Figure 112019107021421-pat00006
, 과거의 피치 래그 Tj p, 과거의 적응 코드북 게인 gj p, 과거의 고정 코드북 게인 gj c, 적응 코드북 u(n)를 포함한다. 각각 과거 어떤 서브 프레임분의 파라미터를 포함할 것인지는 설계 방침에 의한다. 본 명세서에서는, 1프레임이 4서브 프레임을 포함하는 것을 가정하지만, 설계 방침에 따라 다른 값으로 해도 된다.
<정상 수신의 경우>
도 3에는 음성 부호 복호부(12)의 기능 구성예를 나타낸다. 이 도 3에 나타낸 바와 같이, 음성 부호 복호부(12)는, ISF 복호부(120), 안정성 처리부(121), LP 계수 산출부(122), 적응 코드북 산출부(123), 고정 코드북 복호부(124), 게인 복호부(125), 여진 벡터 합성부(126), 포스트 필터(127), 및 합성 필터(128)를 구비한다. 단, 포스트 필터(127)는 필수적인 구성 요소는 아니다. 그리고, 도 3에서는, 설명의 편의 상, 음성 부호 복호부(12) 내에 내부 상태 버퍼(14)를 2점 쇄선으로 나타내고 있지만, 이 내부 상태 버퍼(14)는, 음성 부호 복호부(12)의 내부에 포함되는 것이 아니고, 도 1에 나타낸 내부 상태 버퍼(14)이다. 이 이후의 음성 부호 복호부의 구성도에서도 마찬가지이다.
LP 계수 산출부(122)의 구성도를 도 4에, 부호화된 ISF 파라미터로부터 LP 계수를 산출하는 처리 플로우를 도 5에, 각각 나타낸다. 도 4에 나타낸 바와 같이, LP 계수 산출부(122)는, ISF―ISP 변환부(122A), ISP 보간부(122B), 및 ISP―LPC 변환부(122C)를 구비한다.
먼저, 부호화된 ISF 파라미터로부터 LP 계수를 산출하는 처리(도 5)와 관련된 기능 구성 및 동작에 대하여 설명한다.
ISF 복호부(120)는, 부호화된 ISF 파라미터를 복호하여 ISF 잔차 파라미터
[수식 7]
Figure 112019107021421-pat00007
을 구하고, ISF 파라미터
[수식 8]
Figure 112019107021421-pat00008
을 다음 식에 따라 산출한다(도 5의 스텝 S1). 여기서, meani는, 사전에 학습 등으로 구한 평균 벡터이다.
[수식 9]
Figure 112019107021421-pat00009
그리고, 여기서는, ISF 파라미터의 산출에 MA 예측을 사용하는 예에 대하여 기술하였으나, 다음과 같이 AR 예측을 사용하여 ISF 파라미터의 산출을 행하도록 한 구성으로 해도 된다. 여기서, 직전 프레임의 ISF 파라미터를
[수식 10]
Figure 112019107021421-pat00010
, AR 예측의 가중치 계수를 ρi로 하였다.
[수식 11]
Figure 112019107021421-pat00011
안정성 처리부(121)는, 필터의 안정성을 확보하기 위해 ISF 파라미터의 각각의 요소(要素) 사이에 50Hz 이상의 간격을 두도록, 다음 식에 따르는 처리를 행한다(도 5의 스텝 S2). ISF 파라미터는, 음성 스펙트럼 포락(包絡)의 형상을 선(線)스펙트럼으로 표현한 것이며, 서로의 거리가 가까워질수록, 스펙트럼의 피크가 커져 공진(共振)이 일어난다. 그러므로, 스펙트럼의 피크에서의 게인이 너무 커지지 않도록, 안정성 확보의 처리가 필요로 한다. 여기서, min_dist는 최소의 ISF 간격이며, isf_min은, min_dist의 간격을 확보하기 위해 필요한 ISF의 최소값이다. isf_min은, 인접한 ISF의 값에 min_dist의 간격을 가산함으로써 순차적으로 갱신을 행한다. 한편, isf_max는, min_dist의 간격을 확보하기 위해 필요한 ISF의 최대값이다. isf_max는, 인접한 ISF의 값으로부터 min_dist의 간격을 감산함으로써 순차적으로 갱신을 행한다.
[수식 12]
Figure 112019107021421-pat00012
LP 계수 산출부(122) 내의 ISF―ISP 변환부(122A)는, 다음 식에 따라
[수식 13]
Figure 112019107021421-pat00013
을 ISP 파라미터
[수식 14]
Figure 112019107021421-pat00014
로 변환한다(도 5의 스텝 S3). 여기서, C는 사전에 정한 상수(常數)이다.
[수식 15]
Figure 112019107021421-pat00015
ISP 보간부(122B)는, 내부 상태 버퍼(14)에 포함되는 과거의 ISP 파라미터
[수식 16]
Figure 112019107021421-pat00016
와, 상기 ISP 파라미터
[수식 17]
Figure 112019107021421-pat00017
로부터, 이하의 식에 따라 서브 프레임마다의 ISP 파라미터를 산출한다(도 5의 스텝 S4). 보간에 있어서는, 다른 계수를 사용해도 된다.
[수식 18]
Figure 112019107021421-pat00018
ISP―LPC 변환부(122C)는, 서브 프레임마다의 ISP 파라미터를 LP 계수
[수식 19]
Figure 112019107021421-pat00019
로 변환한다(도 5의 스텝 S5). 구체적 변환 수순으로서, 비특허 문헌 1에 기재된 처리 수순을 사용할 수 있다. 여기서, 예측 신호에 포함되는 서브 프레임의 수를 4로 하였으나, 서브 프레임의 수는 설계 방침에 따라 변경해도 된다.
다음에, 음성 부호 복호부(12)에서의 그 외의 구성 및 동작에 대하여 설명한다.
적응 코드북 산출부(123)는, 부호화된 피치 래그(pitch lag)를 복호하여, 제1 내지 제4 서브 프레임의 피치 래그를 산출한다. 다음에, 적응 코드북 산출부(123)는, 적응 코드북 u(n)를 사용하여 다음 식에 따라, 서브 프레임마다 적응 코드북 벡터를 산출한다. 적응 코드북 벡터는, 적응 코드북 u(n)를 FIR 필터 Int(i)에 의해 보간함으로써 산출한다. 여기서, 적응 코드북의 길이를 Nadapt로 하였다. 보간에 사용하는 필터 Int(i)는, 사전에 정한 길이 2l＋1의 FIR 필터이며, L'는 서브 프레임의 샘플수이다. 보간 필터 Int(i)를 사용함으로써, 피치 래그를 소수점 이하의 정밀도까지 이용할 수 있다. 보간 필터의 상세한 것에 대해서는, 비특허 문헌 1에 기재된 방법을 이용할 수 있다.
[수식 20]
Figure 112019107021421-pat00020
고정 코드북 복호부(124)는, 부호화된 고정 코드북 벡터를 복호하여, 제1 내지 제4 서브 프레임의 고정 코드북 벡터 cj(n)를 취득한다.
게인 복호부(125)는, 부호화된 적응 코드북 게인 및 부호화된 고정 코드북 게인을 복호하여, 제1 내지 제4 서브 프레임의 적응 코드북 게인 및 고정 코드북 게인을 취득한다. 예를 들면, 비특허 문헌 1에 기재된 이하의 방법에 의해, 적응 코드북 게인 및 고정 코드북 게인의 복호를 행할 수 있다. 비특허 문헌 1에 기재된 이하의 방법에 의하면, AMR―WB의 게인 부호화와 같이 프레임 간 예측을 이용하지 않기 때문에, 패킷 손실 내성(耐性)을 높일 수 있다.
예를 들면, 게인 복호부(125)는, 이하의 처리 플로우에 따라, 고정 코드북 게인을 취득한다.
최초에, 게인 복호부(125)는, 고정 코드북 벡터의 파워를 산출한다. 여기서, 서브 프레임의 길이를 Ns로 한다.
[수식 21]
Figure 112019107021421-pat00021
다음에, 게인 복호부(125)는, 벡터 양자화된 게인 파라미터를 복호하고, 적응 코드북 게인
[수식 22]
Figure 112019107021421-pat00022
와 양자화 고정 코드북 게인
[수식 23]
Figure 112019107021421-pat00023
을 얻는다. 양자화 고정 코드북 게인과 상기 고정 코드북 벡터의 파워로부터, 이하와 같이 예측 고정 코드북 게인을 산출한다.
[수식 24]
Figure 112019107021421-pat00024
마지막으로, 게인 복호부(125)는, 예측 계수
[수식 25]
Figure 112019107021421-pat00025
을 복호하고, 예측 게인에 곱함으로써, 고정 코드북 게인을 얻는다.
[수식 26]
Figure 112019107021421-pat00026
여진 벡터 합성부(126)는, 다음 식과 같이, 적응 코드북 벡터에 적응 코드북 게인을 곱하는 동시에, 고정 코드북 벡터에 고정 코드북 게인을 곱하고, 이들의 합을 구함으로써, 여진 신호를 취득한다.
[수식 27]
Figure 112019107021421-pat00027
포스트 필터(127)는, 여진 신호 벡터에 대하여, 예를 들면, 피치 강조, 노이즈 강조, 저역 강조라는 후처리를 가한다. 피치 강조, 노이즈 강조, 저역 강조는, 비특허 문헌 1에 기재된 방법을 이용할 수 있다.
합성 필터(128)는, 선형 예측역 필터링에 의해, 여진 신호를 구동 음원으로 하는 복호 신호를 합성한다.
[수식 28]
Figure 112019107021421-pat00028
그리고, 부호화기에 있어서, 프리엠퍼시스(pre-emphasis)를 행하고 있는 경우에는, 디엠퍼시스(de-emphasis)를 행한다.
[수식 29]
Figure 112019107021421-pat00029
한편, 부호화기에 있어서 프리엠퍼시스를 행하지 않을 경우에는, 디엠퍼시스를 행하지 않는다.
이하, 내부 상태 갱신에 관한 동작을 설명한다.
LP 계수 산출부(122)는, 패킷 손실 시의 파라미터 보간을 위해, ISF 파라미터의 내부 상태를 다음 식으로 산출되는 벡터에 의해 갱신한다.
[수식 30]
Figure 112019107021421-pat00030
여기서, ωi(―j)는 버퍼에 저장된 j 프레임 전의 ISF 파라미터이다. ωi C는 사전에 학습 등으로 구한 송화 구간에서의 ISF 파라미터이다. β는 상수이며, 예를 들면, 0.75와 같은 값으로 할 수 있지만, 이에는 한정되지 않는다. ωi C, β는, 예를 들면, 비특허 문헌 1에 기재된 ISF 은폐(concealment)와 같이, 부호화 대상 프레임의 성질을 나타내는 인덱스에 따라 변화시켜도 된다.
또한, LP 계수 산출부(122)는, 다음 식에 따라 ISF 잔차 파라미터의 내부 상태도 갱신한다.
[수식 31]
Figure 112019107021421-pat00031
여진 벡터 합성부(126)는, 이하의 식에 따라, 여진 신호 벡터에 의해 내부 상태를 갱신한다.
[수식 32]
Figure 112019107021421-pat00032
또한, 여진 벡터 합성부(126)는, 게인 파라미터의 내부 상태를 다음 식에 의해 갱신한다.
[수식 33]
Figure 112019107021421-pat00033
적응 코드북 산출부(123)는, 피치 래그의 파라미터의 내부 상태를 다음 식에 의해 갱신한다.
[수식 34]
Figure 112019107021421-pat00034
그리고, 여기서는, (―2≤j<Mla)로 하지만, j의 범위로 하여 설계 방침에 따라 상이한 값을 선택해도 된다.
<패킷 손실의 경우>
도 6에는, 은폐 신호 생성부(13)의 기능 구성예를 나타낸다. 이 도 6에 나타낸 바와 같이, 은폐 신호 생성부(13)는, LP 계수 보간부(130), 피치 래그 보간부(131), 게인 보간부(132), 잡음 신호 생성부(133), 포스트 필터(134), 합성 필터(135), 적응 코드북 산출부(136), 및 여진 벡터 합성부(137)를 구비한다. 단, 포스트 필터(134)는 필수적인 구성 요소는 아니다.
LP 계수 보간부(130)는,
[수식 35]
Figure 112019107021421-pat00035
을 다음 식에 의해 산출한다. 그리고, ωi(―j)는, 버퍼에 저장된 j 프레임 전의 ISF 파라미터이다.
[수식 36]
Figure 112019107021421-pat00036
여기서,
[수식 37]
Figure 112019107021421-pat00037
는 패킷을 정상으로 수신했을 때 산출된 ISF 파라미터의 내부 상태이다. α도 상수이며, 0.9와 같은 값으로 할 수 있지만, 이에 한정되지 않는다. α는, 예를 들면, 비특허 문헌 1에 기재된 ISF 은폐와 같이, 부호화 대상 프레임의 성질을 나타내는 인덱스에 따라 변화시켜도 된다.
ISF 파라미터로부터 LP 계수를 얻는 수순은, 정상으로 패킷을 수신한 경우와 마찬가지이다.
피치 래그 보간부(131)는, 피치 래그에 관한 내부 상태 파라미터
[수식 38]
Figure 112019107021421-pat00038
를 사용하여, 피치 래그의 예측값
[수식 39]
Figure 112019107021421-pat00039
를 산출한다. 구체적인 처리 수순으로서, 비특허 문헌 1의 방법을 이용할 수 있다.
게인 보간부(132)는, 고정 코드북 게인의 보간을 위해, 비특허 문헌 1에 기재된 이하의 식에 따르는 방법을 이용할 수 있다.
[수식 40]
Figure 112019107021421-pat00040
잡음 신호 생성부(133)는, 고정 코드북 벡터와 같은 길이의 백색 잡음을 생성하고, 고정 코드북 벡터로서 대용한다.
포스트 필터(134), 합성 필터(135), 적응 코드북 산출부(136) 및 여진 벡터 합성부(137)의 동작은, 전술한 정상으로 패킷을 수신한 경우의 동작과 마찬가지이다.
내부 상태 갱신은, ISF 잔차 파라미터를 제외하고, 정상으로 패킷을 수신한 경우와 마찬가지이다. ISF 잔차 파라미터의 갱신은, LP 계수 보간부(130)에 의해, 다음 식에 따라 행해진다.
[수식 41]
Figure 112019107021421-pat00041
국제 공개 제2002/035520호 공보 국제 공개 제2008/108080호 공보
ITU―T Reco㎜endation G.718, 2008년 6월
상기한 바와 같이, CELP 부호화는 내부 상태를 가지기 때문에, 패킷 손실 시에 보간에 의해 얻어진 파라미터와 본래 복호에 사용할 파라미터와의 괴리에 의해 음질의 열화가 일어난다. 특히, ISF 파라미터는, 프레임 내·프레임 간에서의 예측 부호화가 행해지므로, 패킷 손실에 의한 영향이 패킷 손실 복귀 후에도 계속되는 문제가 있다.
보다 구체적으로는, 음성의 개시 부분 부근에서 일어난 패킷 손실로부터 복귀된 최초의 프레임에 있어서, 급격하게 파워가 상승하는 문제가 확인되어 있다. 이것은, 여진 신호의 파워가 높아지는 음성의 개시 부분에 있어서, 패킷 손실 시의 보간 처리에 의해 얻어진 ISF 계수로부터 산출한 LP 계수의 임펄스(impulse) 응답이, 본래 복호기가 상정하고 있는 것보다 높은 이득을 가지는 것에 의해 끌어올려, 주관 품질 상 불쾌한 불연속음으로서 지각된다.
특허 문헌 1의 방법은, 손실된 프레임에 대하여 보간한 ISF 계수를 생성하지만, 손실로부터 복귀된 최초의 프레임에 대해서는, 통상의 복호에 의해 ISF 파라미터를 생성하므로, 상기 급격한 파워의 상승을 억제할 수 없다.
한편, 특허 문헌 2의 방법에서는, 부호화측에서 구한 게인 조정용 파라미터(정규화 예측 잔차 파워)를 전송하고, 복호측에서의 파워 조정에 사용함으로써, 패킷 손실된 프레임의 여진 신호의 파워를 억제하여, 급격한 파워의 상승을 방지할 수 있다.
도 7에는, 특허 문헌 2의 기술에 상당하는 음성 복호기(1X)의 기능 구성예를, 도 8에는, 은폐 신호 생성부(13X)의 기능 구성예를 각각 나타낸다. 특허 문헌 2에 있어서, 음성 패킷은, 종래 방법에 있어서 설명한 파라미터에 더하여, 적어도 정규화 예측 잔차 파워의 보조 정보를 포함한다.
음성 신호 생성부(1X)가 구비하는 정규화 예측 잔차 파워 복호부(15)는, 음성 패킷으로부터 정규화 예측 잔차 파워의 보조 정보를 복호하여, 참조 정규화 예측 잔차 파워를 산출하고, 은폐 신호 생성부(13X)에 출력한다.
은폐 신호 생성부(13X)의 구성 요소 중, 정규화 예측 잔차 조정부(138) 이외의 구성 요소는, 전술한 종래 기술과 같으므로, 이하에서는 정규화 예측 잔차 조정부(138)에 대하여만 설명한다.
정규화 예측 잔차 조정부(138)는, LP 계수 보간부(130)가 출력한 LP 계수로부터 정규화 예측 잔차 파워를 산출한다. 다음에, 정규화 예측 잔차 조정부(138)는, 정규화 예측 잔차 파워와 참조 정규화 예측 잔차 파워를 사용하여, 합성 필터 게인 조정 계수를 산출한다. 마지막으로, 정규화 예측 잔차 조정부(138)는, 합성 필터 게인 조정 계수를 여진 신호에 곱하여, 합성 필터(135)에 출력한다.
상기한 특허 문헌 2의 기술에 의하면, 패킷 손실 시의 은폐 신호의 파워를 정상 수신 시와 마찬가지로 억제할 수 있지만, 저비트 레이트 음성 부호화에 있어서는, 상기 게인 조정용 파라미터의 전송에 필요한 비트 레이트를 확보하는 것이 곤란하다. 또한, 은폐 신호 생성부에서의 처리이므로, 리커버리 프레임에 있어서 ISF 파라미터의 불일치에 의해 일으켜지는 파워의 급격한 변화에는 대응하는 것이 곤란하다.
그래서, 본 발명은, 음성 개시 시점에서의 패킷 손실로부터 복귀했을 때 일어날 수 있는 불연속음을 저감하여, 주관 품질을 개선하는 것을 목적으로 한다.
본 발명의 일실시형태에 관한 음성 신호 처리 장치는, 패킷 손실이 발생한 후에 최초에 정상으로 수신한 음성 패킷에 대하여, 음성 패킷 복호의 결과 얻어지는 복호 음성의 진폭이 급격하게 커지는 것에 의해 생기는 불연속성의 추정을 행하는 불연속 추정기와 복호 음성의 불연속성을 수정하는 불연속 수정기(修正器)를 구비한다.
상기한 불연속 추정기는, 복호 음성의 불연속성을, 여진 신호의 파워에 의해 추정해도 된다.
또한, 상기한 불연속 추정기는, 복호 음성의 불연속성을, 여진 신호의 산출에 사용하는 양자화된 코드북 게인에 의해 추정해도 된다.
상기한 음성 신호 처리 장치는, 부호화기로부터 전송된 불연속성에 관한 보조 정보를 복호하는 보조 정보 복호기를 더 포함하고, 상기한 불연속 추정기는, 보조 정보 복호기가 보조 정보 부호를 복호하여 출력하는 불연속성에 관한 보조 정보를 사용하여, 복호 음성의 불연속성을 추정해도 된다.
상기한 불연속 수정기는, 불연속성의 추정 결과에 따라, ISF 파라미터 또는 LSF 파라미터(이하 「ISF/LSF 파라미터」라고 표기함)를 수정해도 된다.
보다 구체적으로는, 상기한 불연속 수정기는, 합성 필터의 안정성 보증을 위해 부여하는 ISF/LSF 파라미터의 각각의 요소 사이의 간격을, 불연속성의 추정 결과에 따라 변화시켜도 된다.
이 때, 상기한 불연속 수정기는, 합성 필터의 안정성 보증을 위해 부여하는 ISF/LSF 파라미터의 각각의 요소 사이의 간격으로서, 안정성 보증을 위해 통상 부여하는 간격보다 큰 간격을 부여해도 된다.
또한, 상기한 불연속 수정기는, 미리 정한 차원까지의 ISF/LSF 파라미터를 등분하여 얻어지는 간격을, 합성 필터의 안정성 보증을 위해 부여하는 ISF/LSF 파라미터의 각각의 요소 사이의 간격으로서 사용해도 된다.
또한, 상기한 불연속 수정기는, 미리 정한 벡터에 의해, ISF/LSF 파라미터의 일부 또는 전부를 치환해도 된다.
본 발명의 일실시형태에 관한 음성 신호 처리 장치는, ISF/LSF 파라미터를 양자화하는 ISF/LSF 양자화기와, ISF/LSF 파라미터에 관한 은폐 정보인 은폐 ISF/LSF 파라미터를 생성하는 ISF/LSF 은폐기와, 상기 ISF/LSF 양자화기의 양자화 과정에서 얻어지는 양자화 ISF/LSF 파라미터와 상기 ISF/LSF 은폐기가 생성하는 은폐 ISF/LSF 파라미터와의 거리를 이용하여, 패킷 손실이 발생한 후에 최초에 정상으로 수신한 음성 패킷에 생기는 불연속성을 추정하는 불연속 추정기와, 불연속성에 관한 보조 정보를 부호화하는 보조 정보 부호화기를 구비한다.
본 발명의 일실시형태에 관한 음성 신호 처리 장치는, 패킷 손실이 발생한 후에 최초에 정상으로 수신한 음성 패킷에 생기는 불연속성을 추정하는 불연속 추정기와, 불연속성에 관한 보조 정보를 부호화하는 보조 정보 부호화기와, 상기 불연속 추정기가 불연속성을 추정하지 않을 경우에는, 과거의 양자화 ISF/LSF 잔차 파라미터를 상기 프레임에서의 ISF/LSF 양자화에 사용하고, 상기 불연속 추정기가 불연속성을 추정한 경우에는, 과거의 양자화 ISF/LSF 잔차 파라미터를 상기 프레임에서의 ISF/LSF 양자화에 사용하는 것을 회피하는 ISF/LSF 양자화기를 구비한다.
본 발명의 일실시형태에 관한 음성 신호 처리 장치는, 패킷 손실이 발생한 후에 최초에 정상으로 수신한 음성 패킷에 생기는 불연속성에 관한 보조 정보를 복호하여 출력하는 보조 정보 복호기와, 복호 음성의 불연속성을 수정하는 불연속 수정기와, 상기 보조 정보 복호기의 출력에 의해 불연속성을 추정하지 않을 경우에는, 과거의 양자화 ISF/LSF 잔차 파라미터를 상기 프레임에서의 ISF/LSF 산출에 사용하고, 상기 보조 정보 복호기의 출력에 의해 불연속성을 추정한 경우에는, 과거의 양자화 ISF/LSF 잔차 파라미터를 상기 프레임에서의 ISF/LSF 산출에 사용하는 것을 회피하는 ISF/LSF 복호기를 구비한다.
음성 신호 처리 장치는, 과거의 소정수의 프레임의 패킷 수신 상태를 판정하는 수신 상태 판정부를 더 포함하고, 불연속 수정기는, 불연속성의 추정 결과에 더하여, 패킷 수신 상태의 판정 결과도 기초로 하여, 불연속성의 수정을 행하는 구성을 채용해도 된다.
그런데, 본 발명의 일실시형태에 관한 음성 신호 처리 장치는, 음성 신호 처리 방법에 관한 발명, 및 음성 신호 처리 프로그램에 관한 발명으로서 파악할 수도 있고, 다음과 같이 기술(記述)할 수 있다.
본 발명의 일실시형태에 관한 음성 신호 처리 방법은, 음성 신호 처리 장치에 의해 실행되는 음성 신호 처리 방법으로서, 패킷 손실이 발생한 후에 최초에 정상으로 수신한 음성 패킷에 대하여, 음성 패킷 복호의 결과 얻어지는 복호 음성의 진폭이 급격하게 커지는 것에 의해 생기는 불연속성의 추정을 행하는 스텝과, 복호 음성의 불연속성을 수정하는 스텝을 포함한다.
본 발명의 일실시형태에 관한 음성 신호 처리 방법은, 음성 신호 처리 장치에 의해 실행되는 음성 신호 처리 방법으로서, ISF/LSF 파라미터를 양자화하는 스텝과, ISF/LSF 파라미터에 관한 은폐 정보인 은폐 ISF/LSF 파라미터를 생성하는 스텝과, 상기 ISF/LSF 파라미터의 양자화 과정에서 얻어지는 양자화 ISF/LSF 파라미터와 생성된 은폐 ISF/LSF 파라미터와의 거리를 이용하여, 패킷 손실이 발생한 후에 최초에 정상으로 수신한 음성 패킷에 생기는 불연속성을 추정하는 스텝과, 불연속성에 관한 보조 정보를 부호화하는 스텝을 포함한다.
본 발명의 일실시형태에 관한 음성 신호 처리 방법은, 음성 신호 처리 장치에 의해 실행되는 음성 신호 처리 방법으로서, 패킷 손실이 발생한 후에 최초에 정상으로 수신한 음성 패킷에 생기는 불연속성을 추정하는 스텝과, 불연속성에 관한 보조 정보를 부호화하는 스텝과, 불연속성이 추정되지 않을 경우에는, 과거의 양자화 ISF/LSF 잔차 파라미터를 상기 프레임에서의 ISF/LSF 양자화에 사용하고, 불연속성이 추정된 경우에는, 과거의 양자화 ISF/LSF 잔차 파라미터를 상기 프레임에서의 ISF/LSF 양자화에 사용하는 것을 회피하는 스텝을 포함한다.
본 발명의 일실시형태에 관한 음성 신호 처리 방법은, 음성 신호 처리 장치에 의해 실행되는 음성 신호 처리 방법으로서, 패킷 손실이 발생한 후에 최초에 정상으로 수신한 음성 패킷에 생기는 불연속성에 관한 보조 정보를 복호하여 출력하는 스텝과, 복호 음성의 불연속성을 수정하는 스텝과, 상기 보조 정보가 불연속성의 추정을 나타내지 않을 경우에는, 과거의 양자화 ISF/LSF 잔차 파라미터를 상기 프레임에서의 ISF/LSF 산출에 사용하고, 상기 보조 정보가 불연속성의 추정을 나타내는 경우에는, 과거의 양자화 ISF/LSF 잔차 파라미터를 상기 프레임에서의 ISF/LSF 산출에 사용하는 것을 회피하는 스텝을 포함한다.
본 발명의 일실시형태에 관한 음성 신호 처리 프로그램은, 컴퓨터로 하여금, 패킷 손실이 발생한 후에 최초에 정상으로 수신한 음성 패킷에 대하여, 음성 패킷 복호의 결과 얻어지는 복호 음성의 진폭이 급격하게 커지는 것에 의해 생기는 불연속성의 추정을 행하는 불연속 추정기와, 복호 음성의 불연속성을 수정하는 불연속 수정기로서 동작시키기 위한 음성 신호 처리 프로그램이다.
본 발명의 일실시형태에 관한 음성 신호 처리 프로그램은, 컴퓨터로 하여금, ISF/LSF 파라미터를 양자화하는 ISF/LSF 양자화기와, ISF/LSF 파라미터에 관한 은폐 정보인 은폐 ISF/LSF 파라미터를 생성하는 ISF/LSF 은폐기와, 상기 ISF/LSF 양자화기의 양자화 과정에서 얻어지는 양자화 ISF/LSF 파라미터와 상기 ISF/LSF 은폐기가 생성하는 은폐 ISF/LSF 파라미터와의 거리를 이용하여, 패킷 손실이 발생한 후에 최초에 정상으로 수신한 음성 패킷에 생기는 불연속성을 추정하는 불연속 추정기와, 불연속성에 관한 보조 정보를 부호화하는 보조 정보 부호화기로서 동작시키기 위한 음성 신호 처리 프로그램이다.
본 발명의 일실시형태에 관한 음성 신호 처리 프로그램은, 컴퓨터로 하여금, 패킷 손실이 발생한 후에 최초에 정상으로 수신한 음성 패킷에 생기는 불연속성을 추정하는 불연속 추정기와, 불연속성에 관한 보조 정보를 부호화하는 보조 정보 부호화기와, 상기 불연속 추정기가 불연속성을 추정하지 않을 경우에는, 과거의 양자화 ISF/LSF 잔차 파라미터를 상기 프레임에서의 ISF/LSF 양자화에 사용하고, 상기 불연속 추정기가 불연속성을 추정한 경우에는, 과거의 양자화 ISF/LSF 잔차 파라미터를 상기 프레임에서의 ISF/LSF 양자화에 사용하는 것을 회피하는 ISF/LSF 양자화기로서 동작시키기 위한 음성 신호 처리 프로그램이다.
본 발명의 일실시형태에 관한 음성 신호 처리 프로그램은, 컴퓨터로 하여금, 패킷 손실이 발생한 후에 최초에 정상으로 수신한 음성 패킷에 생기는 불연속성에 관한 보조 정보를 복호하여 출력하는 보조 정보 복호기와, 복호 음성의 불연속성을 수정하는 불연속 수정기와, 상기 보조 정보 복호기의 출력에 의해 불연속성을 추정하지 않을 경우에는, 과거의 양자화 ISF/LSF 잔차 파라미터를 상기 프레임에서의 ISF/LSF 산출에 사용하고, 상기 보조 정보 복호기의 출력에 의해 불연속성을 추정한 경우에는, 과거의 양자화 ISF/LSF 잔차 파라미터를 상기 프레임에서의 ISF/LSF 산출에 사용하는 것을 회피하는 ISF/LSF 복호기로서 동작시키기 위한 음성 신호 처리 프로그램이다.
이상과 같은 본 발명에 의하면, 음성 개시 시점에서의 패킷 손실로부터 복귀했을 때 일어날 수 있는 상기 불연속음을 저감하여, 주관 품질을 개선할 수 있다.
도 1은 음성 복호기의 구성도이다.
도 2는 음성 복호기의 처리 플로우이다.
도 3은 음성 부호 복호부의 기능 구성도이다.
도 4는 LP 계수 산출부의 기능 구성도이다.
도 5는 LP 계수를 산출하는 처리 플로우이다.
도 6은 은폐 신호 생성부의 기능 구성도이다.
도 7은 특허 문헌 2의 음성 복호기의 구성도이다.
도 8은 특허 문헌 2의 은폐 신호 생성부의 기능 구성도이다.
도 9는 제1 실시형태에 있어서의 음성 부호 복호부의 기능 구성도이다.
도 10은 제1 실시형태에 있어서의 LP 계수 산출부의 처리 플로우이다.
도 11은 제1 실시형태에 있어서의 음성 부호 복호부의 기능 구성도이다.
도 12는 제1 실시형태의 변형예 1에서의 제2 안정성 처리부의 처리 플로우이다.
도 13은 제2 실시형태에 있어서의 음성 부호 복호부의 기능 구성도이다.
도 14는 제2 실시형태에 있어서의 LP 계수 산출부의 기능 구성도이다.
도 15는 제2 실시형태에 있어서의 LP 계수 산출의 처리 플로우이다.
도 16은 제4 실시형태에 있어서의 음성 부호화기의 구성도이다.
도 17은 제4 실시형태에 있어서의 음성 부호화기의 구성도이다.
도 18은 제4 실시형태에 있어서의 LP 분석·부호화기의 구성도이다.
도 19는 제4 실시형태에 있어서의 LP 분석·부호화기의 처리 플로우이다.
도 20은 제4 실시형태에 있어서의 음성 부호 복호부의 기능 구성도이다.
도 21은 제4 실시형태에 있어서의 LP 계수 산출부의 처리 플로우이다.
도 22는 제5 실시형태에 있어서의 LP 분석·부호화기의 구성도이다.
도 23은 제5 실시형태에 있어서의 LP 분석·부호화기의 처리 플로우이다.
도 24는 제4 실시형태에 있어서의 음성 부호 복호부의 기능 구성도이다.
도 25는 제5 실시형태에 있어서의 LP 계수 산출부의 처리 플로우이다.
도 26은 제7 실시형태에 있어서의 음성 복호기의 구성도이다.
도 27은 제7 실시형태에 있어서의 음성 복호기의 처리 플로우이다.
도 28은 제7 실시형태에 있어서의 음성 부호 복호부의 기능 구성도이다.
도 29는 제7 실시형태에 있어서의 LP 계수 산출의 처리 플로우이다.
도 30은 컴퓨터의 하드웨어 구성예를 나타낸 도면이다.
도 31은 컴퓨터의 외관도이다.
도 32의 (a), (b), (c) 및 (d)는 음성 신호 처리 프로그램의 다양한 구성예를 나타낸 도면이다.
이하, 도면을 참조하여, 본 발명에 관한 음성 신호 처리 장치, 음성 신호 처리 방법 및 음성 신호 처리 프로그램의 바람직한 실시형태에 대하여 상세하게 설명한다. 그리고, 도면의 설명에 있어서는 동일 요소에는 동일 부호를 부여하고, 중복되는 설명을 생략한다.
[제1 실시형태]
제1 실시형태에 있어서의 음성 신호 처리 장치는, 전술한 도 1의 음성 복호기(1)와 마찬가지의 구성을 구비하고, 음성 부호 복호부에 특징이 있으므로, 이하, 음성 부호 복호부에 대하여 설명한다.
도 9에는 제1 실시형태에 있어서의 음성 부호 복호부(12A)의 기능 구성도를, 도 10에는 LP 계수 산출 처리의 플로우차트를, 각각 나타낸다. 도 9의 음성 부호 복호부(12A)는, 전술한 도 3의 구성에 대하여, 불연속 검출부(129)가 추가되어 있다. 종래 기술과의 차이는, LP 계수 산출 처리만이므로, 여기서는 LP 계수 산출 처리와 관련된 각 부의 동작에 대하여 설명한다.
불연속 검출부(129)는, 복호하여 얻어진 고정 코드북 게인 gc 0, 및 내부 상태에 포함되는 고정 코드북 게인 gc ―1을 참조하고, 다음 식에 따라 게인의 변화와 임계값을 비교한다(도 10의 스텝 S11).
[수식 42]
Figure 112019107021421-pat00042
게인의 변화가 임계값을 초과하는 경우, 불연속 발생을 검출하고(이하, 단지 「불연속을 검출하고」라고도 함), 불연속 발생의 검출 결과에 관한 제어 신호를 안정성 처리부(121)에 출력한다.
그리고, 게인의 변화와 임계값과의 비교에 있어서는, 다음 식을 이용해도 된다.
[수식 43]
Figure 112019107021421-pat00043
또한, 현프레임에 포함되는 제1 내지 제4 서브 프레임의 고정 코드북 게인 중 최대의 것을 gc (c), 내부 상태에 포함되는 고정 코드북 게인 중 최소의 것을 gc (p)로서, 다음 식에 의해 게인의 변화와 임계값과의 비교를 행해도 된다.
[수식 44]
Figure 112019107021421-pat00044
당연히, 다음 식을 이용해도 된다.
[수식 45]
Figure 112019107021421-pat00045
제1 실시형태의 상기한 예에서는, 직전 프레임(손실된 프레임)의 제4 서브 프레임의 고정 코드북 게인 gc ―1과, 현프레임의 제1 서브 프레임의 고정 코드북 게인 gc 0을 사용하여 불연속 검출을 행하는 예를 나타냈으나, 내부 상태에 포함되는 고정 코드북 게인 및 현프레임에 포함되는 고정 코드북 게인에 대하여, 각각 평균값을 산출한 후, 게인의 변화와 임계값과의 비교를 행하도록 해도 된다.
ISF 복호부(120)는, 종래 기술과 마찬가지의 동작을 행한다(도 10의 스텝 S12).
안정성 처리부(121)는, 불연속 검출부(129)가 불연속을 검출한 경우, 이하의 처리에 의해 ISF 파라미터를 수정한다(도 10의 스텝 S13).
최초에, 안정성 처리부(121)는, 내부 상태 버퍼(14)에 기억된 ISF 파라미터
[수식 46]
Figure 112019107021421-pat00046
에 대하여, 각각의 요소 사이에 통상보다 M―1배의 간격을 두고 처리를 행한다. 통상보다 매우 큰 간격을 부여함으로써 스펙트럼 포락에서의 과대한 피크와 딥핑(dipping)을 억제하는 효과를 부여한다. 여기서, min_dist는 최소의 ISF 간격이고, isf_min은, min_dist의 간격을 확보하기 위해 필요한 ISF의 최소값이다. isf_min은, 인접한 ISF의 값에 min_dist의 간격을 가산함으로써 순차적으로 갱신을 행한다. 한편, isf_max는, min_dist의 간격을 확보하기 위해 필요한 ISF의 최대값이다. isf_max는, 인접한 ISF의 값으로부터 min_dist의 간격을 감산함으로써 순차적으로 갱신을 행한다.
[수식 47]
Figure 112019107021421-pat00047
다음에, 안정성 처리부(121)는, 현프레임의 ISF 파라미터에 대하여, 각각의 요소 사이에 통상보다 M0배의 간격을 두고 처리를 행한다. 여기서는, 1<M0<M―1로 하지만, M―1 또는 M0 중 어느 한쪽을 1로 하고, 다른 쪽을 1보다 큰 값으로 설정해도 된다.
[수식 48]
Figure 112019107021421-pat00048
또한, 안정성 처리부(121)는, 불연속 검출기가 불연속을 검출하지 않을 경우, 통상의 복호 과정에서 실시하는 것과 마찬가지로, 이하의 처리를 행한다.
[수식 49]
Figure 112019107021421-pat00049
불연속을 검출한 경우의 요소 사이의 최소의 간격은 ISF의 주파수에 따라 바꾸어도 된다. 불연속을 검출한 경우의 요소 사이의 최소의 간격은, 통상의 복호 처리의 최소의 요소 사이의 간격과 상이하게 되어 있으면 된다.
LP 계수 산출부(122) 내의 ISF―ISP 변환부(122A)는, 다음 식에 따라, ISF 파라미터
[수식 50]
Figure 112019107021421-pat00050
를 각각, ISP 파라미터
[수식 51]
Figure 112019107021421-pat00051
로 변환한다(도 10의 스텝 S14). 여기서, C는 사전에 정한 상수이다.
[수식 52]
Figure 112019107021421-pat00052
ISP 보간부(122B)는, 과거의 ISP 파라미터
[수식 53]
Figure 112019107021421-pat00053
와, 상기 ISP 파라미터
[수식 54]
Figure 112019107021421-pat00054
로부터, 이하의 식에 따라, 서브 프레임마다의 ISP 파라미터를 산출한다(도 10의 스텝 S15). 보간에 있어서는, 다른 계수를 사용해도 된다.
[수식 55]
Figure 112019107021421-pat00055
ISP―LPC 변환부(122C)는, 서브 프레임마다의 ISP 파라미터를 LP 계수
[수식 56]
Figure 112019107021421-pat00056
로 변환한다(도 10의 스텝 S16). 여기서, 예측 신호에 포함되는 서브 프레임의 수를 4로 하였으나, 서브 프레임의 수는 설계 방침에 따라 변경해도 된다. 구체적 변환 수순으로서, 비특허 문헌 1에 기재된 처리 수순을 사용할 수 있다.
또한, ISF―ISP 변환부(122A)는, 내부 상태 버퍼(14)에 기억된 ISF 파라미터
[수식 57]
Figure 112019107021421-pat00057
를 다음 식에 따라 갱신한다.
[수식 58]
Figure 112019107021421-pat00058
이 때, 불연속이 검출된 경우라도, ISF―ISP 변환부(122A)는, 이하의 수순을 행함으로써, ISF 파라미터의 산출 결과를 사용하여, 내부 상태 버퍼에 기억된 ISF 파라미터
[수식 59]
Figure 112019107021421-pat00059
를 갱신해도 된다.
[수식 60]
Figure 112019107021421-pat00060
이상의 제1 실시형태와 같이, 복호 음성의 불연속성은, 여진 신호의 산출에 사용하는 양자화된 코드북 게인에 의해 추정할 수 있고, 또한 불연속성의 추정 결과에 따라, ISF/LSF 파라미터(예를 들면, 합성 필터의 안정성 보증을 위해 부여하는 ISF/LSF 파라미터의 각각의 요소 사이의 간격)를 수정할 수 있다. 이로써, 음성 개시 시점에서의 패킷 손실로부터 복귀했을 때 일어날 수 있는 불연속음을 저감하여, 주관 품질을 개선할 수 있다.
[제1 실시형태의 변형예]
도 11에는, 제1 실시형태의 변형예에 관한 음성 부호 복호부(12S)의 기능 구성도를 나타낸다. 도 3의 종래 기술의 구성과의 차이는, 불연속 검출부(129) 및 제2 안정성 처리부(121S)뿐이므로, 이들 동작에 대하여 설명한다. 제2 안정성 처리부(121S)는, 게인 조정부(121X) 및 게인 승산부(121Y)를 구비하고 있고, 제2 안정성 처리부(121S)의 처리 플로우는 도 12에 나타낸다.
불연속 검출부(129)는, 제1 실시형태의 불연속 검출부(129)와 마찬가지로 하여, 복호하여 얻어진 고정 코드북 게인 gc 0 및 내부 상태에 포함되는 고정 코드북 게인 gc ―1을 참조하고, 게인의 변화와 임계값을 비교한다. 그리고, 불연속 검출부(129)는, 게인의 변화가 임계값을 넘었는지의 여부에 관한 정보를 포함하는 제어 신호를, 게인 조정부(121X)에 보낸다.
게인 조정부(121X)는, 게인의 변화가 임계값을 넘었는지의 여부에 관한 정보를 제어 신호로부터 판독하고, 게인의 변화가 임계값을 넘었을 경우에는, 사전에 정한 게인 gon을 게인 승산부(121Y)에 출력한다. 한편, 게인 조정부(121X)는, 게인의 변화가 임계값을 초과하지 않을 경우에는, 사전에 정한 게인 goff를 게인 승산부(121Y)에 출력한다. 이와 같은 게인 조정부(121X)의 동작은 도 12의 스텝 S18에 대응한다.
게인 승산부(121Y)는, 합성 필터(128)가 출력하는 합성 신호에 상기 게인 gon 또는 게인 goff를 곱하고(도 12의 스텝 S19), 얻어진 복호 신호를 출력한다.
여기서, LP 계수 산출부(122)로부터 LP 계수 또는 ISF 파라미터를 출력하여, 제2 안정성 처리부(121S)에 입력하는 구성[도 11에 의해 LP 계수 산출부(122)로부터 게인 조정부(121X)에 대한 점선으로 나타내는 구성]으로 해도 된다. 이 경우, 곱하려는 게인은, LP 계수 산출부(122)에서 산출한 LP 계수 또는 ISF 파라미터를 사용하여 결정된다.
이상의 변형예와 같이, 음성 부호 복호부(12S)에 제2 안정성 처리부(121S)를 추가하고, 게인의 변화가 임계값을 넘었는지의 여부에 따라 게인을 조정함으로써, 적정한 복호 신호를 얻을 수 있다.
그리고, 제2 안정성 처리부(121S)는, 상기 산출한 게인을 여진 신호에 곱하고, 합성 필터(128)에 출력해도 된다.
[제2 실시형태]
제2 실시형태에 있어서의 음성 신호 처리 장치는, 전술한 도 1의 음성 복호기(1)와 마찬가지의 구성을 구비하고, 음성 부호 복호부에 특징이 있으므로, 이하, 음성 부호 복호부에 대하여 설명한다. 도 13에는 음성 부호 복호부(12B)의 기능 구성예를, 도 14에는 LP 계수의 산출 처리에 관한 기능 구성예를, 도 15에는 LP 계수의 산출 처리의 플로우를, 각각 나타낸다. 도 13의 음성 부호 복호부(12B)는, 전술한 도 3의 구성에 대하여, 불연속 검출부(129)가 추가되어 있다.
ISF 복호부(120)는, 종래 기술와 마찬가지로 하여 ISF 파라미터를 산출한다(도 15의 스텝 S21).
안정성 처리부(121)는, 종래 기술와 마찬가지로 하여, 필터의 안정성을 확보하기 위해 ISF 파라미터
[수식 61]
Figure 112019107021421-pat00061
의 각각의 요소 사이에 50Hz 이상의 간격을 두도록 처리를 행한다(도 15의 스텝 S22).
ISF―ISP 변환부(122A)는, 제1 실시형태와 마찬가지로 하여, 안정성 처리부(121)가 출력한 ISF 파라미터를 ISP 파라미터로 변환한다(도 15의 스텝 S23).
ISP 보간부(122B)는, 제1 실시형태와 마찬가지로 하여, 과거의 ISP 파라미터
[수식 62]
Figure 112019107021421-pat00062
라고 ISF―ISP 변환부(122A)에 의한 변환에 의해 얻어진 ISP 파라미터
[수식 63]
Figure 112019107021421-pat00063
로부터, 서브 프레임마다의 ISP 파라미터를 산출한다(도 15의 스텝 S24).
ISP―LPC 변환부(122C)는, 제1 실시형태와 마찬가지로 하여, 서브 프레임마다의 ISP 파라미터를 LP 계수
[수식 64]
Figure 112019107021421-pat00064
로 변환한다(도 15의 스텝 S25). 여기서, 예측 신호에 포함되는 서브 프레임의 수를 4로 하였으나, 서브 프레임의 수는 설계 방침에 따라 변경해도 된다.
내부 상태 버퍼(14)는, 새로운 ISF 파라미터에 의해, 과거에 기억한 ISF 파라미터를 갱신한다.
불연속 검출부(129)는, 패킷 손실된 프레임에서의 제4 서브 프레임의 LP 계수를 내부 상태 버퍼(14)로부터 판독하고, 패킷 손실된 프레임에서의 제4 서브 프레임의 LP 계수의 임펄스 응답의 파워를 산출한다. 패킷 손실된 프레임에서의 제4 서브 프레임의 LP 계수는, 패킷 손실 시에 도 6의 은폐 신호 생성부(13)에 포함되는 LP 계수 보간부(130)가 출력하여 내부 상태 버퍼(14)에 축적된 계수를 사용할 수 있다.
[수식 65]
Figure 112019107021421-pat00065
그리고, 불연속 검출부(129)는, 예를 들면, 이하의 식에 의해 불연속을 검출한다(도 15의 스텝 S26).
[수식 66]
Figure 112019107021421-pat00066
게인의 변화가 임계값을 넘지 않을 경우(도 15의 스텝 S27에서 NO의 경우), 불연속 검출부(129)는 불연속 발생을 검출하지 않고, ISP―LPC 변환부(122C)로부터 LP 계수를 출력하여 처리를 종료한다. 한편, 게인의 변화가 임계값을 초과하는 경우(도 15의 스텝 S27에서 YES의 경우), 불연속 검출부(129)는, 불연속 발생을 검출하고, 불연속 발생의 검출 결과에 관한 제어 신호를 안정성 처리부(121)에 보낸다. 제어 신호를 수취한 경우, 안정성 처리부(121)는, 제1 실시형태와 마찬가지로 하여, ISF 파라미터를 수정한다(도 15의 스텝 S28). 이하, ISF―ISP 변환부(122A), ISP 보간부(122B), 및 ISP―LPC 변환부(122C)의 동작(도 15의 스텝 S29, S2A, S2B)은, 상기와 마찬가지이다.
이상의 제2 실시형태와 같이, 복호 음성의 불연속성은, 여진 신호의 파워에 의해 추정할 수 있어, 제1 실시형태와 마찬가지로, 불연속음을 저감하여 주관 품질을 개선할 수 있다.
[제3 실시형태]
불연속을 검출했을 때, 다른 방법에 의해 ISF 파라미터를 수정해도 된다. 제3 실시형태는, 안정성 처리부(121)만이 제1 실시형태와 다르므로, 안정성 처리부(121)의 동작만에 대하여 설명한다.
불연속 검출부(129)가 불연속을 검출한 경우, 안정성 처리부(121)는, 이하의 처리를 행하여 ISF 파라미터를 수정한다.
내부 상태 버퍼(14)에 기억된 ISF 파라미터
[수식 67]
Figure 112019107021421-pat00067
에 대하여, 안정성 처리부(121)는, 저차(低次) P'차원(0<P'≤P)까지의 ISF 파라미터를 다음 식에 의해 치환한다. 여기서,
[수식 68]
Figure 112019107021421-pat00068
로 한다.
[수식 69]
Figure 112019107021421-pat00069
또한, 안정성 처리부(121)는, 다음과 같이 사전에 학습에 의해 얻어진 P'차원 벡터로 저차 P'차원의 ISF 파라미터를 재기입해도 된다.
[수식 70]
Figure 112019107021421-pat00070
다음에, 현프레임의 ISF 파라미터에 대하여, 안정성 처리부(121)는, 제1 실시형태와 같이 각각의 요소 사이에 통상보다 M0배의 간격을 두고 처리를 행해도 되고, 다음 식에 따라 결정해도 된다. 여기서,
[수식 71]
Figure 112019107021421-pat00071
로 한다.
[수식 72]
Figure 112019107021421-pat00072
또한, 안정성 처리부(121)는, 사전에 학습한 P'차원 벡터로 재기입해도 된다.
[수식 73]
Figure 112019107021421-pat00073
또한, 상기 P'차원 벡터는 복호 과정에서 학습되어도 되고, 예를 들면,
[수식 74]
Figure 112019107021421-pat00074
로 해도 된다. 단, 복호 개시 시의 프레임에 있어서는 ωi ―1을 미리 결정된 P'차원 벡터 ωi init로 해도 된다.
내부 상태 버퍼(14)는, 새로운 ISF 파라미터에 의해, 과거에 기억한 ISF 파라미터를 갱신한다.
이상의 제3 실시형태와 같이, 미리 정한 차원까지의 ISF/LSF 파라미터를 등분하여 얻어지는 간격을, 합성 필터의 안정성 보증을 위해 부여하는 ISF/LSF 파라미터의 각각의 요소 사이의 간격으로서 사용할 수 있고, 제1, 제2 실시형태와 마찬가지로, 불연속음을 저감하여 주관 품질을 개선할 수 있다.
[제4 실시형태]
제4 실시형태에서는, 부호화측이, 불연속의 발생을 검출하여, 불연속 판정 부호(검출 결과를 나타낸 부호)를 음성 부호에 포함하여 복호측으로 전송하고, 복호측이, 음성 부호에 포함되는 불연속 판정 부호에 기초하여 안정성 처리의 처리 내용을 결정하는 실시형태를 설명한다.
(부호화측에 대하여)
도 16에 부호화기(2)의 기능 구성예를, 도 17에 부호화기(2)에서의 처리의 플로우차트를 나타낸다. 도 16에 나타낸 바와 같이, 부호화기(2)는, LP 분석·부호화부(21), 잔차 부호화부(22), 및 부호 다중화부(23)를 구비한다.
이 중 LP 분석·부호화부(21)의 기능 구성예를 도 18에, LP 분석·부호화부(21)에서의 처리의 플로우차트를 도 19에 나타낸다. 도 18에 나타낸 바와 같이, LP 분석·부호화부(21)는, LP 분석부(210), LP―ISF 변환부(211), ISF 부호화부(212), 불연속 판정부(213), ISF 은폐부(214), ISF―LP 변환부(215), 및 ISF 버퍼(216)를 구비한다.
LP 분석·부호화부(21)에 있어서, LP 분석부(210)는, 입력 신호에 대하여 선형 예측 분석을 행하고, 선형 예측 계수를 구한다(도 17의 스텝 T41, 도 18의 스텝 U41). 선형 예측 계수의 산출에 있어서는, 음성 신호로부터 자체 상관 함수를 산출한 후, 레빈손·터빈법 등을 이용할 수 있다.
LP―ISF 변환부(211)는, 제1 실시형태와 마찬가지로 하여, 산출한 선형 예측 계수를 ISF 파라미터로 변환한다(스텝 T42, U42). 선형 예측 계수로부터 ISF 파라미터로의 변환에는, 비특허 문헌에 기재된 방법을 이용해도 된다.
ISF 부호화부(212)는, ISF 파라미터를 사전에 정한 방법에 의해 부호화하여 ISF 부호를 산출하고(스텝 T43, U43), 부호화의 과정에서 얻어지는 양자화 ISF 파라미터를, 불연속 판정부(213), ISF 은폐부(214) 및 ISF―LP 변환부(215)에 출력한다(스텝 U47). 여기서, 양자화 ISF 파라미터는, ISF 부호를 역양자화하여 얻어지는 ISF 파라미터와 같다. 부호화 방법으로서 벡터 부호화나 직전 프레임의 ISF 및 사전에 학습에 의해 정한 평균 벡터로부터의 오차 벡터를 벡터 양자화 등에 의해 부호화해도 된다.
불연속 판정부(213)는, 불연속 판정부(213)가 내장하는 내부 버퍼(도시하지 않음)에 저장된 불연속 판정 플래그(flag)를 부호화하여, 얻어진 불연속 판정 부호를 출력한다(스텝 U47). 또한, 불연속 판정부(213)는, ISF 버퍼(216)로부터 판독한 은폐 ISF 파라미터
[수식 75]
Figure 112019107021421-pat00075
라고 양자화 ISF 파라미터
[수식 76]
Figure 112019107021421-pat00076
를 사용하여, 다음 식에 따라 불연속의 판정을 행하고(스텝 T44, U46), 그 판정 결과를 불연속 판정부(213)의 내부 버퍼에 저장한다. 여기서, Thresω는 사전에 정한 임계값, P'는 다음 식을 만족시키는 정수(整數)이다(0<P'≤P).
[수식 77]
Figure 112019107021421-pat00077
여기서는, ISF 파라미터끼리의 유클리드(euclid) 거리를 이용하여 불연속 판정을 행하는 예를 기술하였으나, 다른 방법에 의해 불연속 판정을 행해도 된다.
ISF 은폐부(214)는, 디코더측의 ISF 은폐부와 마찬가지의 처리에 의해, 양자화 ISF 파라미터로부터 은폐 ISF 파라미터를 산출하여, 얻어진 은폐 ISF 파라미터를 ISF 버퍼(216)에 출력한다(스텝 U44, U45). ISF 은폐 처리의 처리 수순은, 디코더측의 패킷 손실 은폐부와 같은 처리라면, 어떤 방법이라도 된다.
ISF―LP 변환부(215)는, 상기 양자화 ISF 파라미터를 변환하여 양자화 선형 예측 계수를 산출하고, 얻어진 양자화 선형 예측 계수를 잔차 부호화부(22)에 출력한다(스텝 T45). ISF 파라미터를 양자화 선형 예측 계수로 변환하는 방법으로서는, 비특허 문헌에 기재된 방법을 이용해도 된다.
잔차 부호화부(22)는, 양자화 선형 예측 계수를 사용하여 음성 신호를 필터링하고, 잔차 신호를 산출한다(스텝 T46).
다음에, 잔차 부호화부(22)는, 잔차 신호를, CELP 또는 TCX(Transform Coded Excitation)를 사용하는 부호화 수단, CELP와 TCX를 전환하여 사용하는 부호화 수단 등에 의해 부호화하고, 잔차 부호를 출력한다(스텝 T47). 잔차 부호화부(22)의 처리는, 본 발명과는 관련성이 낮으므로, 설명을 생략한다.
부호 다중화부(23)는, ISF 부호, 불연속 판정 부호, 및 잔차 부호를 소정의 순서로 모아서, 얻어진 음성 부호를 출력한다(스텝 T48).
(복호측에 대하여)
제4 실시형태에 있어서의 음성 신호 처리 장치는, 전술한 도 1의 음성 복호기(1)와 마찬가지의 구성을 구비하고, 음성 부호 복호부에 특징이 있으므로, 이하, 음성 부호 복호부에 대하여 설명한다. 도 20에는 음성 부호 복호부(12D)의 기능 구성예를, 도 21에는 LP 계수의 산출 처리의 플로우를, 각각 나타낸다. 도 20의 음성 부호 복호부(12D)는, 전술한 도 3의 구성에 대하여, 불연속 검출부(129)가 추가되어 있다.
ISF 복호부(120)는, ISF 부호를 복호하여 안정성 처리부(121) 및 내부 상태 버퍼(14)에 출력한다(도 21의 스텝 S41).
불연속 검출부(129)는, 불연속 판정 부호를 복호하고, 얻어진 불연속 검출 결과를 안정성 처리부(121)에 출력한다(도 21의 스텝 S42).
안정성 처리부(121)는, 불연속 검출 결과에 따른 안정성 처리를 행한다(도 21의 스텝 S43). 안정성 처리부의 처리 수순은, 제1 실시형태 및 제3 실시형태와 마찬가지의 방법을 이용할 수 있다.
그리고, 안정성 처리부(121)는, 불연속 판정 부호로부터 얻어진 불연속 검출 결과에 더하여, 음성 부호에 포함되어 있는 다른 파라미터도 기초로 하여, 다음과 같이 안정성 처리를 행해도 된다. 예를 들면, 안정성 처리부(121)는, ISF 안정도 stab를 다음 식에 따라 산출하고, ISF 안정도가 임계값을 초과하는 경우에는, 비록 불연속 판정 부호로부터 불연속이 검출된 취지의 불연속 검출 결과가 얻어져 있어도, 불연속이 검출되어 있지 않은지와 같이 안정성 처리를 행하는 구성으로 해도 된다. 여기서, C는 사전에 정한 상수이다.
[수식 78]
Figure 112019107021421-pat00078
LP 계수 산출부(122) 내의 ISF―ISP 변환부(122A)는, 제1 실시형태와 마찬가지의 처리 수순에 따라 ISF 파라미터를 ISP 파라미터로 변환한다(도 21의 스텝 S44).
ISP 보간부(122B)는, 제1 실시형태와 마찬가지의 처리 수순에 따라 서브 프레임마다의 ISP 파라미터를 산출한다(도 21의 스텝 S45).
ISP―LPC 변환부(122C)는, 제1 실시형태와 마찬가지의 처리 수순에 따라, 서브 프레임마다 산출한 ISP 파라미터를 LPC 파라미터로 변환한다(도 21의 스텝 S46).
이상과 같은 제4 실시형태에서는, 부호화측에 있어서, 불연속 판정(일례로서, 은폐 ISF 파라미터와 양자화 ISF 파라미터끼리의 유클리드 거리를 이용한 불연속 판정)을 행하고, 그 판정 결과에 관한 보조 정보를 부호화하여 복호측으로 출력하고, 복호측에 있어서, 복호하여 얻어진 보조 정보를 사용하여 불연속성의 추정을 행한다. 이와 같이 부호화측과 복호측에 의해 제휴하면서, 부호화측에서의 불연속 판정 결과에 따른 적절한 처리를 실행할 수 있다.
[제5 실시형태]
(부호화측에 대하여)
부호화기의 기능 구성은, 제4 실시형태에 관한 도 16의 기능 구성과 같으며, 부호화기의 처리 플로우는, 제4 실시형태에 관한 도 17의 처리 플로우와 같다. 여기서는, 제4 실시형태와는 상이한 제5 실시형태에 있어서의 LP 분석·부호화부에 대하여 설명한다.
도 22에 LP 분석·부호화부의 기능 구성예를, 도 23에 LP 분석·부호화부의 처리 플로우를 나타낸다. 도 22에 나타낸 바와 같이, LP 분석·부호화부(21S)는, LP 분석부(210), LP―ISF 변환부(211), ISF 부호화부(212), 불연속 판정부(213), ISF 은폐부(214), ISF―LP 변환부(215), 및 ISF 버퍼(216)를 구비한다.
이와 같은 LP 분석·부호화부(21S)에 있어서, LP 분석부(210)는, 제4 실시형태와 마찬가지의 처리에 의해, 입력 신호에 대하여 선형 예측 분석을 행하고, 선형 예측 계수를 구한다(도 23의 스텝 U51).
LP―ISF 변환부(211)는, 제4 실시형태와 마찬가지의 처리에 의해, 산출한 선형 예측 계수를 ISF 파라미터로 변환한다(도 23의 스텝 U52). 선형 예측 계수로부터 ISF 파라미터로의 변환에는, 비특허 문헌에 기재된 방법을 이용해도 된다.
ISF 부호화부(212)는, 불연속 판정부(213)의 내부 버퍼(도시하지 않음)에 저장된 불연속 판정 플래그를 판독한다(도 23의 스텝 U53).
<불연속 판정 플래그가 불연속의 검출을 나타내는 경우>
ISF 부호화부(212)는, 다음 식으로 산출되는 ISF 잔차 파라미터 ri를 벡터 양자화하여 ISF 부호를 산출한다(도 23의 스텝 U54). 여기서, LP―ISF 변환부에 의해 산출한 ISF 파라미터를 ωi, 사전에 학습에 의해 구한 평균 벡터를 meani로 하였다.
[수식 79]
Figure 112019107021421-pat00079
다음에, ISF 부호화부(212)는, ISF 잔차 파라미터 ri를 양자화하여 얻어진 양자화 ISF 잔차 파라미터
[수식 80]
Figure 112019107021421-pat00080
를 사용하여 ISF 잔차 파라미터 버퍼를 다음 식에 따라 갱신한다(도 23의 스텝 U55).
[수식 81]
Figure 112019107021421-pat00081
<불연속 판정 플래그가 불연속의 검출을 나타내지 않는 경우>
ISF 부호화부(212)는, 다음 식으로 산출되는 ISF 잔차 파라미터 ri를 벡터 양자화하여 ISF 부호를 산출한다(도 23의 스텝 U54). 여기서, 직전의 프레임에서 복호에 의해 얻어진 ISF 잔차 파라미터를
[수식 82]
Figure 112019107021421-pat00082
으로 하였다.
[수식 83]
Figure 112019107021421-pat00083
다음에, ISF 부호화부(212)는, ISF 잔차 파라미터 ri를 양자화하여 얻어진 양자화 ISF 잔차 파라미터
[수식 84]
Figure 112019107021421-pat00084
를 사용하여, ISF 잔차 파라미터 버퍼를 다음 식에 따라 갱신한다(도 23의 스텝 U55).
[수식 85]
Figure 112019107021421-pat00085
이상의 수순에 따라, ISF 부호화부(212)는, ISF 부호를 산출하고, 부호화의 과정에서 얻어지는 양자화 ISF 파라미터를, 불연속 판정부(213), ISF 은폐부(214) 및 ISF―LP 변환부(215)에 출력한다.
ISF 은폐부(214)는, 제4 실시형태와 마찬가지로, 디코더측의 ISF 은폐부와 마찬가지의 처리에 의해, 양자화 ISF 파라미터로부터 은폐 ISF 파라미터를 산출하여, ISF 버퍼(216)에 출력한다(도 23의 스텝 U56, U58). ISF 은폐 처리의 처리 수순은, 디코더측의 패킷 손실 은폐부와 같은 처리이면, 어떤 방법이라도 된다.
불연속 판정부(213)는, 제4 실시형태와 마찬가지의 처리에 의해, 불연속의 판정을 행하고, 판정 결과를 불연속 판정부(213)의 내부 버퍼(도시하지 않음)에 저장한다(도 23의 스텝 U57).
ISF―LP 변환부(215)는, 제4 실시형태와 마찬가지로 하여, 상기 양자화 ISF 파라미터를 변환하여, 양자화 선형 예측 계수를 산출하고, 잔차 부호화부(22)(도 16)에 출력한다(도 23의 스텝 U58).
(복호측에 대하여)
제5 실시형태에 있어서의 음성 신호 처리 장치는, 전술한 도 1의 음성 복호기(1)와 마찬가지의 구성을 구비하고, 음성 부호 복호부에 특징이 있으므로, 이하, 음성 부호 복호부에 대하여 설명한다. 도 24에는 음성 부호 복호부(12E)의 기능 구성예를, 도 25에는 LP 계수의 산출 처리의 플로우를, 각각 나타낸다. 도 24의 음성 부호 복호부(12E)는, 전술한 도 3의 구성에 대하여, 불연속 검출부(129)가 추가되어 있다.
불연속 검출부(129)는, 불연속 판정 부호를 복호하고, 얻어진 불연속 판정 플래그를 ISF 복호부(120)에 출력한다(도 25의 스텝 S51).
ISF 복호부(120)는, 불연속 판정 플래그의 값에 따라, 다음과 같이 ISF 파라미터를 산출하고, ISF 파라미터를 안정성 처리부(121) 및 내부 상태 버퍼(14)에 출력한다(도 25의 스텝 S52).
<불연속 판정 플래그가 불연속의 검출을 나타내는 경우>
ISF 복호부(120)는, ISF 부호를 복호하여 얻어지는 양자화 ISF 잔차 파라미터를
[수식 86]
Figure 112019107021421-pat00086
, 사전에 학습으로 구한 평균 벡터를 meani로 하여, 다음 식에 따라 양자화 ISF 파라미터
[수식 87]
Figure 112019107021421-pat00087
를 구한다.
[수식 88]
Figure 112019107021421-pat00088
다음에, ISF 복호부(120)는, 내부 상태 버퍼(14)에 기억된 ISF 잔차 파라미터를 다음 식에 따라 갱신한다.
[수식 89]
Figure 112019107021421-pat00089
<불연속 판정 플래그가 불연속의 검출을 나타내지 않는 경우>
ISF 복호부(120)는, 직전의 프레임에서 복호에 의해 얻어진 ISF 잔차 파라미터
[수식 90]
Figure 112019107021421-pat00090
를 내부 상태 버퍼(14)로부터 판독하고,
얻어진 ISF 잔차 파라미터
[수식 91]
Figure 112019107021421-pat00091
, 사전에 학습으로 구한 평균 벡터 meani, 및 ISF 부호를 복호하여 얻어지는 양자화 ISF 잔차 파라미터
[수식 92]
Figure 112019107021421-pat00092
로부터, 다음 식에 따라 양자화 ISF 파라미터
[수식 93]
Figure 112019107021421-pat00093
를 구한다.
[수식 94]
Figure 112019107021421-pat00094
다음에, ISF 복호부(120)는, 내부 상태 버퍼(14)에 기억된 ISF 잔차 파라미터를 다음 식에 따라 갱신한다.
[수식 95]
Figure 112019107021421-pat00095
안정성 처리부(121)는, 제1 실시형태에서 설명한 불연속이 검출되지 않은 경우와 동일한 처리를 행한다(도 25의 스텝 S53).
LP 계수 산출부(122) 내의 ISF―ISP 변환부(122A)는, 제1 실시형태와 마찬가지의 처리 수순에 따라 ISF 파라미터를 ISP 파라미터로 변환한다(도 25의 스텝 S54).
ISP 보간부(122B)는, 제1 실시형태와 마찬가지의 처리 수순에 따라 서브 프레임마다의 ISP 파라미터를 산출한다(도 25의 스텝 S55).
ISP―LPC 변환부(122C)는, 제1 실시형태와 마찬가지의 처리 수순에 따라, 서브 프레임마다 산출한 ISP 파라미터를 LPC 파라미터로 변환한다(도 25의 스텝 S56).
이상과 같은 제5 실시형태에서는, 부호화측에 있어서, 불연속 판정 플래그가 불연속의 검출을 나타내지 않는 경우에, 직전의 프레임에서 복호에 의해 얻어진 ISF 잔차 파라미터를 사용하여 ISF 잔차 파라미터의 벡터 양자화를 행하고, 한편, 불연속 판정 플래그가 불연속의 검출을 나타내는 경우에는, 직전의 프레임에서 복호에 의해 얻어진 ISF 잔차 파라미터의 사용을 회피한다. 마찬가지로, 복호측에 있어서, 불연속 판정 플래그가 불연속의 검출을 나타내지 않는 경우에, 직전의 프레임에서 복호에 의해 얻어진 ISF 잔차 파라미터를 사용하여 양자화 ISF 파라미터를 산출하고, 한편, 불연속 판정 플래그가 불연속의 검출을 나타내는 경우에는, 직전의 프레임에서 복호에 의해 얻어진 ISF 잔차 파라미터의 사용을 회피한다. 이와 같이 부호화측과 복호측에 의해 제휴하면서, 불연속 판정 결과에 따른 적절한 처리를 실행할 수 있다.
[제6 실시형태]
상기 제1∼제5 실시형태는 조합시켜도 된다. 예를 들면, 제4 실시형태에 기재된 바와 같이, 복호측에 있어서, 부호화측으로부터의 음성 부호에 포함되는 불연속 판정 부호를 복호하여 불연속을 검출하고, 불연속이 검출된 경우에, 이하와 같이 실시해도 된다.
내부 상태 버퍼에 기억된 ISF 파라미터
[수식 96]
Figure 112019107021421-pat00096
에 대해서는, 제3 실시형태에 기재된 통과하여, 저차 P'차원(0<P'≤P)까지의 ISF 파라미터를 다음 식에 의해 치환한다.
[수식 97]
Figure 112019107021421-pat00097
한편, 현프레임의 ISF 파라미터에 대해서는, 제5 실시형태에 기재된 통과하여, 다음 식에 따라 산출한다.
[수식 98]
Figure 112019107021421-pat00098
이후, 상기에 의해 구해진 ISF 파라미터를 사용하여, 제1 실시형태와 마찬가지로, ISF―ISP 변환부(122A), ISP 보간부(122B), ISP―LPC 변환부(122C)의 처리에 의해 LP 계수를 구한다.
상기한 바와 같이 제1∼제5 실시형태를 임의로 조합한 태양(態樣)도 유효하다.
[제7 실시 형태]
상기 제1∼제6 실시형태 및 변형예에 있어서, 복호측에서의 프레임 손실의 상황(예를 들면, 단일 프레임 손실인지 연속 프레임 손실인지라는 상황)을 가미(加味)해도 된다. 그리고, 제7 실시형태에서는, 불연속 검출에 대해서는, 예를 들면, 음성 부호에 포함되는 불연속 판정 부호를 복호한 결과를 사용하여 불연속 검출하면 되고, 그 방법은 상기에 한정되지 않는다.
제7 실시형태에 있어서의 음성 신호 처리 장치는, 전술한 도 1의 음성 복호기(1)와 마찬가지의 구성을 구비하고, 음성 부호 복호부에 특징이 있으므로, 이하, 음성 부호 복호부에 대하여 설명한다.
도 26에는 제7 실시형태에 관한 음성 복호기(1S)의 구성예를, 도 27에는 음성 복호기에서의 처리의 플로우차트를, 각각 나타낸다. 도 26에 나타낸 바와 같이, 음성 복호기(1S)는, 전술한 음성 부호 복호부(12G), 은폐 신호 생성부(13), 및 내부 상태 버퍼(14)에 더하여, 과거 수프레임에서의 패킷 수신 상태를 판정하고 패킷 손실 이력을 기억하는 수신 상태 판정부(16)를 구비한다.
수신 상태 판정부(16)는, 패킷 수신 상태를 판정하고, 판정 결과에 따라 패킷 손실 이력 정보를 갱신한다(도 27의 스텝 S50).
패킷 손실이 검출된 경우(스텝 S100에서 NO의 경우), 수신 상태 판정부(16)는, 상기 프레임의 패킷 손실 검출 결과를 은폐 신호 생성부(13)에 출력하고, 은폐 신호 생성부(13)는 전술한 은폐 신호의 생성 및 내부 상태의 갱신을 행한다(스텝 S300, S400). 그리고, 은폐 신호 생성부(13)도, 패킷 손실 이력 정보를 파라미터의 보간 등에 이용해도 된다.
한편, 패킷 손실이 검출되지 않은 경우(스텝 S100에서 YES의 경우), 수신 상태 판정부(16)는, 상기 프레임의 패킷 손실 검출 결과를 포함하는 패킷 손실 이력 정보와, 수신 패킷에 포함되는 음성 부호를, 음성 부호 복호부(12)에 출력하고, 음성 부호 복호부(12)는 전술한 음성 부호의 복호 및 내부 상태의 갱신을 행한다(스텝 S200, S400).
이후, 스텝 S50∼S400의 처리는 통신 종료까지(스텝 S500에서 YES라고 판단될 때까지) 반복된다.
도 28에는, 음성 부호 복호부(12G)의 기능 구성예를, 도 29에는, LP 계수의 산출 처리의 플로우차트를 나타낸다. 여기서는, 패킷 손실 이력 정보를 LP 계수 산출부(122)에만 사용하는 예에 대하여 설명하지만, 다른 구성 요소에 패킷 손실 이력 정보를 입력하여 사용하는 구성으로 해도 된다.
음성 부호 복호부(12G)에서는, LP 계수의 산출 처리에 관한 구성 이외의 구성에 대해서는, 제1 실시형태와 마찬가지이므로, 이하, LP 계수의 산출 처리에 관한 구성 및 동작에 대하여 설명한다.
ISF 복호부(120)는, 제1 실시형태와 마찬가지로 하여 ISF 부호를 복호하여 ISF 파라미터를 안정성 처리부(121)에 출력한다(도 29의 스텝 S71).
불연속 검출부(129)는, 패킷 손실 이력 정보를 참조하여 수신 상태를 판정한다(스텝 S72). 불연속 검출부(129)는, 예를 들면, 3프레임 전은 패킷 손실, 2프레임 전은 정상 수신, 1프레임 전은 패킷 손실, 이라는 같은 특정한 수신 패턴을 미리 기억해 두고, 해당하는 수신 패턴이 나타났을 경우에, 수신 상태 플래그를 오프로 하여, 그 이외의 경우에는 수신 상태 플래그를 온으로 하도록 설계해도 된다.
또한, 불연속 검출부(129)는, 전술한 제1∼제6 실시형태 중 어느 하나의 방법과 마찬가지로, 불연속 검출을 행한다.
그리고, 안정성 처리부(121)는, 예를 들면, 다음과 같이, 수신 상태 플래그 및 불연속 검출의 결과에 따라 안정성 처리를 행한다(스텝 S73).
수신 상태 플래그가 오프의 경우, 안정성 처리부(121)는, 불연속 검출의 결과의 여하를 불문하고, 불연속이 검출되지 않은 경우와 동일한 처리를 행한다.
한편, 수신 상태 플래그가 온이며 또한 불연속 검출의 결과, 불연속이 검출되지 않은 경우, 안정성 처리부(121)는, 불연속이 검출되지 않은 경우와 동일한 처리를 행한다.
또한, 수신 상태 플래그가 온이며 또한 불연속 검출의 결과, 불연속이 검출된 경우, 안정성 처리부(121)는, 불연속이 검출된 경우와 동일한 처리를 행한다.
이후, LP 계수 산출부(122) 내의 ISF―ISP 변환부(122A), ISP 보간부(122B), 및 ISP―LPC 변환부(122C)의 동작(스텝 S74∼S76)은, 제1 실시형태와 같다.
이상과 같은 제7 실시형태에서는, 불연속 검출의 결과와 수신 상태 플래그의 상태로 따른 안정성 처리를 행함으로써, 프레임 손실의 상황(예를 들면, 단일 프레임 손실인지 연속 프레임 손실인지라는 상황)을 가미한, 더욱 양호한 정밀도의 처리를 실행할 수 있다.
[음성 신호 처리 프로그램에 대하여]
이하, 컴퓨터로 하여금, 본 발명에 관한 음성 신호 처리 장치로서 동작시키는 음성 신호 처리 프로그램에 대하여 설명한다.
도 32는, 음성 신호 처리 프로그램의 다양한 구성예를 나타낸 도면이다. 도 30은, 컴퓨터의 하드웨어 구성예를 나타낸 도면이며, 도 31은, 컴퓨터의 외관도이다. 도 32의 (a)∼(d)에 각각 나타내는 음성 신호 처리 프로그램 P1∼P4(이하 「음성 신호 처리 프로그램 P」라고 총칭함)은, 도 31 및 도 32에 나타낸 컴퓨터(C10)를 음성 신호 처리 장치로서 동작시키는 것이 가능하다. 그리고, 본 명세서에 의해 설명하는 음성 신호 처리 프로그램 P는, 도 31 및 도 32에 나타낸 바와 같은 컴퓨터에 한정되지 않고, 휴대 전화기, 휴대 정보 단말기, 휴대형 퍼스널 컴퓨터라는 임의의 정보 처리 장치를, 상기 음성 신호 처리 프로그램 P에 따라 동작시키는 것이 가능하다.
음성 신호 처리 프로그램 P는, 기록 매체(M)에 저장되어 제공될 수 있다. 그리고, 기록 매체(M)로서는, 플렉시블 디스크, CD―ROM, DVD, 또는 ROM 등의 기록 매체, 또는 반도체 메모리 등이 예시된다.
도 30에 나타낸 바와 같이, 컴퓨터(C10)는, 플렉시블 디스크 드라이브 장치, CD―ROM 드라이브 장치, DVD 드라이브 장치 등의 판독 장치(C12)와, 작업용 메모리(RAM)(C14)와, 기록 매체(M)에 기억된 프로그램을 기억하는 메모리(C16)와, 디스플레이(C18)와, 입력 장치인 마우스(C20) 및 키보드(C22)와, 데이터 등의 송수신을 행하기 위한 통신 장치(C24)와, 프로그램의 실행을 제어하는 중앙 연산부(CPU)(C26)를 구비한다.
컴퓨터(C10)는, 기록 매체(M)가 판독 장치(C12)에 삽입되면, 기록 매체(M)에 저장된 음성 신호 처리 프로그램 P에 판독 장치(C12)로부터 액세스 가능해져, 음성 신호 처리 프로그램 P에 의해 음성 신호 처리 장치로서 동작하는 것이 가능하게 된다.
음성 신호 처리 프로그램 P는, 도 31에 나타낸 바와 같이, 반송파(搬送波)에 중첩된 컴퓨터 데이터 신호(W)로서 네트워크를 통하여 제공되는 것이라도 된다. 이 경우, 컴퓨터(C10)는, 통신 장치(C24)에 의해 수신한 음성 신호 처리 프로그램 P를 메모리(C16)에 저장하고, 음성 신호 처리 프로그램 P를 실행할 수 있다.
음성 신호 처리 프로그램 P는, 도 32의 (a)∼(d)에 나타낸 다양한 구성을 채용한다. 이들은, 특허 청구의 범위에 기재한 음성 신호 처리 프로그램에 관한 청구항 18∼21의 구성에 각각 대응한다. 예를 들면, 도 32의 (a)에 나타낸 음성 신호 처리 프로그램 P1은, 불연속 추정 모듈(P11), 및 불연속 수정 모듈(P12)을 구비한다. 도 32의 (b)에 나타낸 음성 신호 처리 프로그램 P2는, ISF/LSF 양자화 모듈(P21), ISF/LSF 은폐 모듈(P22), 불연속 추정 모듈(P23), 및 보조 정보 부호화 모듈(P24)을 구비한다. 도 32의 (c)에 나타낸 음성 신호 처리 프로그램 P3는, 불연속 추정 모듈(P31), 보조 정보 부호화 모듈(P32), 및 ISF/LSF 양자화 모듈(P33)을 구비한다. 도 32의 (d)에 나타낸 음성 신호 처리 프로그램 P4는, 보조 정보 복호 모듈(P41), 불연속 수정 모듈(P42), 및 ISF/LSF 복호 모듈(P43)을 구비한다.
이상 설명한 다양한 실시형태에 따라서, 음성 개시 시점에서의 패킷 손실로부터 복귀했을 때 일어날 수 있는 불연속음을 저감하고, 주관 품질을 개선할 수 있다.
본 발명의 1번째의 특징인 안정성 처리부는, 패킷 손실 후에 최초에 정상으로 수신한 패킷에 있어서 불연속이 검출된 경우에, 예를 들면, ISF 파라미터의 각각의 요소 사이에 부여하는 간격을 통상보다 크게 취함으로써, LP 계수의 이득이 너무 커지는 것을 방지할 수 있다. LP 계수의 이득과 여진 신호의 파워가 모두 증가하는 것을 방지할 수 있으므로, 합성 신호의 불연속을 경감하고, 주관 품질 열화를 저감한다. 또한, 안정성 처리부는, LP 계수 등을 이용하여 산출한 게인을 합성 신호에 곱함으로써 합성 신호의 불연속성을 경감해도 된다.
또한, 본 발명의 2번째 특징인 불연속 검출기는, 패킷 손실 후에 최초에 정상으로 수신한 패킷에 포함되는 여진 신호의 게인을 감시하고, 여진 신호의 게인에 있어서 일정 이상 증가가 일어나는 패킷에 대하여 불연속성을 추정한다.
1, 1S, 1X…음성 복호기, 11…패킷 손실 검출부, 12, 12A, 12B, 12D, 12E, 12G, 12S…음성 부호 복호부, 13, 13X…은폐 신호 생성부, 14…내부 상태 버퍼, 15…정규화 예측 잔차 파워 복호부, 16…수신 상태 판정부, 21, 21S…분석·부호화부, 22…잔차 부호화부, 23…부호 다중화부, 120…ISF 복호부, 121, 121S…안정성 처리부, 121X…게인 조정부, 121Y…게인 승산부, 122…LP 계수 산출부, 122A…ISF―ISP 변환부, 122B…ISP 보간부, 122C…ISP―LPC 변환부, 123…적응 코드북 산출부, 124…고정 코드북 복호부, 125…게인 복호부, 126…여진 벡터 합성부, 127…포스트 필터, 128…합성 필터, 129…불연속 검출부, 130…LP 계수 보간부, 131…피치 래그 보간부, 132…게인 보간부, 133…잡음 신호 생성부, 134…포스트 필터, 135…합성 필터, 136…적응 코드북 산출부, 137…여진 벡터 합성부, 138…정규화 예측 잔차 조정부, 210…LP 분석부, 211…LP―ISF 변환부, 212…ISF 부호화부, 213…불연속 판정부, 214…ISF 은폐부, 215…ISF―LP 변환부, 216…ISF 버퍼, C10…컴퓨터, C12…판독 장치, C14…작업용 메모리, C16…메모리, C18…디스플레이, C20…마우스, C22…키보드, C24…통신 장치, C26…CPU, M…기록 매체, P1∼P4…음성 신호 처리 프로그램, P11…불연속 추정 모듈, P12…불연속 수정 모듈, P21…ISF/LSF 양자화 모듈, P22…ISF/LSF 은폐 모듈, P23…불연속 추정 모듈, P24…보조 정보 부호화 모듈, P31…불연속 추정 모듈, P32…보조 정보 부호화 모듈, P33…ISF/LSF 양자화 모듈, P41…보조 정보 복호 모듈, P42…불연속 수정 모듈, P43…ISF/LSF 복호 모듈, W…컴퓨터 데이터 신호.

Claims (1)

  1. 음성 신호 처리 장치에 의해 실행되는 음성 신호 처리 방법으로서,
    패킷 손실이 발생한 이후에 최초로 정상으로 수신한 음성 패킷에 대해, 음성 패킷 복호의 결과로 얻어지는 복호 음성의 진폭이 급격하게 커지는 것에 의해 발생하는 불연속성의 추정을 수행하는 단계; 및
    복호 음성의 불연속성을 수정하는 단계
    를 포함하고,
    상기 복호 음성의 불연속성을 수정하는 단계는, 상기 불연속성의 추정을 수행하는 단계에 있어서 불연속으로 추정된 음성 패킷에 기초하여, 패킷이 손실된 프레임에 대응하는 ISF/LSF 파라미터의 각 요소들 사이의 간격을 동등하게 설정하는 것인,
    음성 신호 처리 방법.
KR1020197030949A 2013-10-29 2014-10-10 음성 신호 처리 장치, 음성 신호 처리 방법 및 음성 신호 처리 프로그램 KR102155618B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013224120A JP5981408B2 (ja) 2013-10-29 2013-10-29 音声信号処理装置、音声信号処理方法、及び音声信号処理プログラム
JPJP-P-2013-224120 2013-10-29
PCT/JP2014/077215 WO2015064346A1 (ja) 2013-10-29 2014-10-10 音声信号処理装置、音声信号処理方法、及び音声信号処理プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020197009868A Division KR102036704B1 (ko) 2013-10-29 2014-10-10 음성 신호 처리 장치, 음성 신호 처리 방법 및 음성 신호 처리 프로그램

Publications (2)

Publication Number Publication Date
KR20190121884A KR20190121884A (ko) 2019-10-28
KR102155618B1 true KR102155618B1 (ko) 2020-09-14

Family

ID=53003956

Family Applications (5)

Application Number Title Priority Date Filing Date
KR1020197009868A KR102036704B1 (ko) 2013-10-29 2014-10-10 음성 신호 처리 장치, 음성 신호 처리 방법 및 음성 신호 처리 프로그램
KR1020197030949A KR102155618B1 (ko) 2013-10-29 2014-10-10 음성 신호 처리 장치, 음성 신호 처리 방법 및 음성 신호 처리 프로그램
KR1020177032708A KR101978997B1 (ko) 2013-10-29 2014-10-10 음성 신호 처리 장치, 음성 신호 처리 방법 및 음성 신호 처리 프로그램
KR1020177020417A KR101798635B1 (ko) 2013-10-29 2014-10-10 음성 신호 처리 장치, 음성 신호 처리 방법 및 음성 신호 처리 프로그램
KR1020167002244A KR101764234B1 (ko) 2013-10-29 2014-10-10 음성 신호 처리 장치, 음성 신호 처리 방법 및 음성 신호 처리 프로그램

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020197009868A KR102036704B1 (ko) 2013-10-29 2014-10-10 음성 신호 처리 장치, 음성 신호 처리 방법 및 음성 신호 처리 프로그램

Family Applications After (3)

Application Number Title Priority Date Filing Date
KR1020177032708A KR101978997B1 (ko) 2013-10-29 2014-10-10 음성 신호 처리 장치, 음성 신호 처리 방법 및 음성 신호 처리 프로그램
KR1020177020417A KR101798635B1 (ko) 2013-10-29 2014-10-10 음성 신호 처리 장치, 음성 신호 처리 방법 및 음성 신호 처리 프로그램
KR1020167002244A KR101764234B1 (ko) 2013-10-29 2014-10-10 음성 신호 처리 장치, 음성 신호 처리 방법 및 음성 신호 처리 프로그램

Country Status (21)

Country Link
US (5) US9799344B2 (ko)
EP (5) EP3065134B1 (ko)
JP (1) JP5981408B2 (ko)
KR (5) KR102036704B1 (ko)
CN (6) CN110176239B (ko)
AU (5) AU2014341476B2 (ko)
BR (2) BR122017020760B1 (ko)
CA (4) CA3081225C (ko)
DK (3) DK3528247T3 (ko)
ES (2) ES2732440T3 (ko)
FI (2) FI3528247T3 (ko)
HK (1) HK1223188A1 (ko)
HU (1) HUE063871T2 (ko)
MX (1) MX347234B (ko)
MY (3) MY179197A (ko)
PL (2) PL3065134T3 (ko)
PT (3) PT3065134T (ko)
RU (5) RU2651234C2 (ko)
SG (1) SG11201600542VA (ko)
TR (1) TR201909126T4 (ko)
WO (1) WO2015064346A1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5981408B2 (ja) * 2013-10-29 2016-08-31 株式会社Ｎｔｔドコモ 音声信号処理装置、音声信号処理方法、及び音声信号処理プログラム
JP6914390B2 (ja) * 2018-06-06 2021-08-04 株式会社Ｎｔｔドコモ 音声信号処理方法
CN110111805B (zh) * 2019-04-29 2021-10-29 北京声智科技有限公司 远场语音交互中的自动增益控制方法、装置及可读存储介质
FR3100061B1 (fr) * 2019-08-22 2021-07-30 Thales Sa Procede de determination d'une distance de vol d'un aeronef sur un segment de discontinuite, procede de determination d'une trajectoire, produit programme d'ordinateur et module de determination associes
CN114613372B (zh) * 2022-02-21 2022-10-18 北京富通亚讯网络信息技术有限公司 一种音频传输抗丢包的错误隐藏技术方法

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970011728B1 (ko) * 1994-12-21 1997-07-14 김광호 음향신호의 에러은닉방법 및 그 장치
US6178317B1 (en) * 1997-10-09 2001-01-23 Ibiquity Digital Corporation System and method for mitigating intermittent interruptions in an audio radio broadcast system
US6775649B1 (en) * 1999-09-01 2004-08-10 Texas Instruments Incorporated Concealment of frame erasures for speech transmission and storage system and method
AU7486200A (en) * 1999-09-22 2001-04-24 Conexant Systems, Inc. Multimode speech encoder
CA2290037A1 (en) * 1999-11-18 2001-05-18 Voiceage Corporation Gain-smoothing amplifier device and method in codecs for wideband speech and audio signals
JP2001228896A (ja) * 2000-02-14 2001-08-24 Iwatsu Electric Co Ltd 欠落音声パケットの代替置換方式
EP1199709A1 (en) * 2000-10-20 2002-04-24 Telefonaktiebolaget Lm Ericsson Error Concealment in relation to decoding of encoded acoustic signals
US7031926B2 (en) 2000-10-23 2006-04-18 Nokia Corporation Spectral parameter substitution for the frame error concealment in a speech decoder
US7590525B2 (en) * 2001-08-17 2009-09-15 Broadcom Corporation Frame erasure concealment for predictive speech coding based on extrapolation of speech waveform
CA2388439A1 (en) * 2002-05-31 2003-11-30 Voiceage Corporation A method and device for efficient frame erasure concealment in linear predictive based speech codecs
KR100587953B1 (ko) * 2003-12-26 2006-06-08 한국전자통신연구원 대역-분할 광대역 음성 코덱에서의 고대역 오류 은닉 장치 및 그를 이용한 비트스트림 복호화 시스템
JP4445328B2 (ja) * 2004-05-24 2010-04-07 パナソニック株式会社 音声・楽音復号化装置および音声・楽音復号化方法
KR100723409B1 (ko) * 2005-07-27 2007-05-30 삼성전자주식회사 프레임 소거 은닉장치 및 방법, 및 이를 이용한 음성복호화 방법 및 장치
EP1853092B1 (en) * 2006-05-04 2011-10-05 LG Electronics, Inc. Enhancing stereo audio with remix capability
US8798172B2 (en) * 2006-05-16 2014-08-05 Samsung Electronics Co., Ltd. Method and apparatus to conceal error in decoded audio signal
TWI467979B (zh) * 2006-07-31 2015-01-01 Qualcomm Inc 用於信號改變偵測之系統、方法及裝置
US8260609B2 (en) * 2006-07-31 2012-09-04 Qualcomm Incorporated Systems, methods, and apparatus for wideband encoding and decoding of inactive frames
US7796626B2 (en) * 2006-09-26 2010-09-14 Nokia Corporation Supporting a decoding of frames
KR20090076964A (ko) 2006-11-10 2009-07-13 파나소닉 주식회사 파라미터 복호 장치, 파라미터 부호화 장치 및 파라미터 복호 방법
KR100862662B1 (ko) * 2006-11-28 2008-10-10 삼성전자주식회사 프레임 오류 은닉 방법 및 장치, 이를 이용한 오디오 신호복호화 방법 및 장치
KR101291193B1 (ko) * 2006-11-30 2013-07-31 삼성전자주식회사 프레임 오류은닉방법
BRPI0808200A8 (pt) 2007-03-02 2017-09-12 Panasonic Corp Dispositivo de codificação de áudio e dispositivo de decodificação de áudio
CN101542593B (zh) * 2007-03-12 2013-04-17 富士通株式会社 语音波形内插装置及方法
JP5021809B2 (ja) * 2007-06-08 2012-09-12 ドルビー ラボラトリーズ ライセンシング コーポレイション アンビエンス信号成分とマトリックスデコードされた信号成分とを制御可能に結合することによるサラウンドサウンドオーディオチャンネルのハイブリッド導出
CN100524462C (zh) * 2007-09-15 2009-08-05 华为技术有限公司 对高带信号进行帧错误隐藏的方法及装置
US8527265B2 (en) * 2007-10-22 2013-09-03 Qualcomm Incorporated Low-complexity encoding/decoding of quantized MDCT spectrum in scalable speech and audio codecs
JP4977157B2 (ja) * 2009-03-06 2012-07-18 株式会社エヌ・ティ・ティ・ドコモ 音信号符号化方法、音信号復号方法、符号化装置、復号装置、音信号処理システム、音信号符号化プログラム、及び、音信号復号プログラム
CN101958119B (zh) * 2009-07-16 2012-02-29 中兴通讯股份有限公司 一种改进的离散余弦变换域音频丢帧补偿器和补偿方法
WO2011161886A1 (ja) * 2010-06-21 2011-12-29 パナソニック株式会社 復号装置、符号化装置およびこれらの方法
CN101894558A (zh) * 2010-08-04 2010-11-24 华为技术有限公司 丢帧恢复方法、设备以及语音增强方法、设备和系统
EP3518234B1 (en) * 2010-11-22 2023-11-29 NTT DoCoMo, Inc. Audio encoding device and method
JP5694745B2 (ja) * 2010-11-26 2015-04-01 株式会社Ｎｔｔドコモ 隠蔽信号生成装置、隠蔽信号生成方法および隠蔽信号生成プログラム
JP5981408B2 (ja) * 2013-10-29 2016-08-31 株式会社Ｎｔｔドコモ 音声信号処理装置、音声信号処理方法、及び音声信号処理プログラム
EP3483883A1 (en) * 2017-11-10 2019-05-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio coding and decoding with selective postfiltering

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Audio codec processing functions, Extended Adaptive Multi-Rate - Wideband (AMR-WB+) codec. 3GPP TS 26.290 version 7.0.0 Release 7, 2007.03.

Also Published As

Publication number Publication date
EP3528248A1 (en) 2019-08-21
AU2014341476B2 (en) 2017-05-25
BR112016003291A8 (pt) 2020-02-04
EP3528248B8 (en) 2024-09-18
RU2018112250A (ru) 2019-03-01
CN110265045B (zh) 2023-11-14
AU2018274861B2 (en) 2020-11-26
BR122017020760B1 (pt) 2022-02-15
CN110164458A (zh) 2019-08-23
RU2016120629A (ru) 2017-12-05
PL3065134T3 (pl) 2019-09-30
KR20190040084A (ko) 2019-04-16
AU2021290404B2 (en) 2023-07-20
EP3528246A1 (en) 2019-08-21
AU2017204606B2 (en) 2018-09-06
PL3528247T3 (pl) 2024-02-19
US11749291B2 (en) 2023-09-05
US20190051313A1 (en) 2019-02-14
EP4398504A2 (en) 2024-07-10
MX2016005162A (es) 2016-07-05
EP3065134A1 (en) 2016-09-07
PT3528248T (pt) 2024-08-29
EP3528248B1 (en) 2024-08-07
KR20170087544A (ko) 2017-07-28
US9799344B2 (en) 2017-10-24
KR20190121884A (ko) 2019-10-28
CA3002931A1 (en) 2015-05-07
RU2651234C2 (ru) 2018-04-18
DK3528247T3 (da) 2023-10-02
ES2959667T3 (es) 2024-02-27
US20160240202A1 (en) 2016-08-18
AU2017204606A1 (en) 2017-07-27
EP3528247A1 (en) 2019-08-21
KR20170127076A (ko) 2017-11-20
CN110176239A (zh) 2019-08-27
JP2015087456A (ja) 2015-05-07
CA2918715C (en) 2018-06-12
JP5981408B2 (ja) 2016-08-31
DK3065134T3 (da) 2019-06-24
KR101798635B1 (ko) 2017-11-16
CN110176239B (zh) 2023-01-03
CN110164456B (zh) 2023-11-14
PT3065134T (pt) 2019-07-04
RU2701075C1 (ru) 2019-09-24
US10621999B2 (en) 2020-04-14
CA3168576A1 (en) 2015-05-07
CN105393303B (zh) 2019-07-16
MX347234B (es) 2017-04-19
DK3528248T3 (da) 2024-09-09
FI3528248T3 (fi) 2024-09-03
RU2018112250A3 (ko) 2019-03-01
WO2015064346A1 (ja) 2015-05-07
KR101978997B1 (ko) 2019-05-15
FI3528247T3 (fi) 2023-10-02
RU2707727C1 (ru) 2019-11-28
BR112016003291B1 (pt) 2022-02-15
US10152982B2 (en) 2018-12-11
PT3528247T (pt) 2023-09-29
MY191135A (en) 2022-05-31
ES2732440T3 (es) 2019-11-22
EP3065134B1 (en) 2019-05-29
AU2020294314B2 (en) 2021-10-21
US11270715B2 (en) 2022-03-08
CA2918715A1 (en) 2015-05-07
CN110164457B (zh) 2023-01-03
US20220139411A1 (en) 2022-05-05
CN105393303A (zh) 2016-03-09
EP3528247B1 (en) 2023-09-06
EP4398504A3 (en) 2024-10-02
AU2021290404A1 (en) 2022-02-03
US20200234723A1 (en) 2020-07-23
HUE063871T2 (hu) 2024-02-28
RU2682927C2 (ru) 2019-03-22
US20180068669A1 (en) 2018-03-08
KR102036704B1 (ko) 2019-10-25
CN110164457A (zh) 2019-08-23
CA3002931C (en) 2020-07-14
MY179197A (en) 2020-10-30
EP3065134A4 (en) 2016-09-07
SG11201600542VA (en) 2016-02-26
MY191134A (en) 2022-05-31
AU2014341476A1 (en) 2016-02-18
AU2020294314A1 (en) 2021-02-11
CA3081225C (en) 2022-10-04
CN110164456A (zh) 2019-08-23
KR20160025000A (ko) 2016-03-07
KR101764234B1 (ko) 2017-08-03
HK1223188A1 (zh) 2017-07-21
TR201909126T4 (tr) 2019-07-22
RU2680748C1 (ru) 2019-02-26
CA3081225A1 (en) 2015-05-07
AU2018274861A1 (en) 2018-12-20
CN110265045A (zh) 2019-09-20

Similar Documents

Publication Publication Date Title
RU2701075C1 (ru) Устройство обработки аудиосигнала, способ обработки аудиосигнала и программа обработки аудиосигнала
JP6914390B2 (ja) 音声信号処理方法
JP6691169B2 (ja) 音声信号処理方法及び音声信号処理装置
JP6352487B2 (ja) 音声信号処理方法及び音声信号処理装置
JP6133454B2 (ja) 音声信号処理方法及び音声信号処理装置

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant