KR20010087391A - 시간 동기식 파형 보간법을 이용한 피치 프로토타입파형으로부터의 음성 합성 - Google Patents
시간 동기식 파형 보간법을 이용한 피치 프로토타입파형으로부터의 음성 합성 Download PDFInfo
- Publication number
- KR20010087391A KR20010087391A KR1020017005971A KR20017005971A KR20010087391A KR 20010087391 A KR20010087391 A KR 20010087391A KR 1020017005971 A KR1020017005971 A KR 1020017005971A KR 20017005971 A KR20017005971 A KR 20017005971A KR 20010087391 A KR20010087391 A KR 20010087391A
- Authority
- KR
- South Korea
- Prior art keywords
- prototype
- pitch
- frame
- dimensional
- signal
- Prior art date
Links
- 238000003786 synthesis reaction Methods 0.000 title description 21
- 230000015572 biosynthetic process Effects 0.000 title description 10
- 238000000034 method Methods 0.000 claims abstract description 57
- 230000010363 phase shift Effects 0.000 claims abstract description 14
- 238000000605 extraction Methods 0.000 claims abstract description 10
- 238000005259 measurement Methods 0.000 claims abstract description 10
- 230000001360 synchronised effect Effects 0.000 claims abstract description 9
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 9
- 238000012952 Resampling Methods 0.000 claims description 10
- 238000012805 post-processing Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 abstract 1
- 238000004458 analytical method Methods 0.000 description 12
- 230000006870 function Effects 0.000 description 10
- 238000013139 quantization Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000006835 compression Effects 0.000 description 3
- 238000007906 compression Methods 0.000 description 3
- 230000000737 periodic effect Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000001308 synthesis method Methods 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012887 quadratic function Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
- G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
- G10L19/0204—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders using subband decomposition
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/27—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the analysis technique
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Signal Processing (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Spectroscopy & Molecular Physics (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
시간 동기식 파형 보간법(TWSI)에 의해 피치 프로토타입 파형들로부터 음성을 합성하는 방법에 있어서, 하나 이상의 피치 프로토타입들은 음성 신호 또는 잉여 신호 (300) 로부터 추출된다. 이 추출 공정은, 상기 프로토타입이 경계에서 최소 에너지를 갖도록 수행된다. 각각의 프로토타입은, 원래 신호와 시간 동기하도록 원형으로 시프트된다. 선형 위상편이는 각각의 추출된 프로토타입에 이전 추출된 프로토타입들에 대해 적용되어, 연속 추출된 프로토타입들 (302) 간의 교차 상관을 최대화하게 된다. 2차원 프로토타입-전개면은 모든 샘플 포인트 (303) 에 프로토타입들을 언샘플링함으로써 구성된다. 이 2차원 프로토타입-전개면은, 추출된 프로토타입들 (305) 에 더해진 위상편이와 피치 래그로부터 계산된 조각적으로 연속인 3차원 위상 윤곽 함수에 의해 정의되는 샘플 포인트를 갖는 1차원, 합성된 신호 프레임을 생성하기 위해, 리샘플링된다. 전-처리 필터는, 현재 프레임에 대해 다른 알고리듬을 위하여 TWSI 기술을 포기할건지의 여부를 판정하는데 이용된다. 후-선택 성능측정은, TWSI 알고리듬이 적절하게 수행되는지의 여부를 판정하기 위해 소정의 스레시홀드와 비교하여 구할 수 있다.
Description
발명의 배경
Ⅰ. 발명의 분야
본 발명은, 통상적으로 음성 처리분야에 관한 것으로, 더욱 자세하게는, 시간 동기식 파형 보간법(TWSI)에 의한 피치 프로토타입 파형들로부터 음성을 합성하는 방법 및 장치에 관한 것이다.
Ⅱ. 배경기술
디지털 기술에 의한 음성 송신은 상용되고 있으며, 특히 장거리 및 디지털 무선 전화 애플리케이션에서 널리 이용되고 있다. 따라서, 이로 인해, 재구성된 음성의 감도를 유지하면서 채널 상에서 전송될 수 있는 최소량의 정보를 결정하는 데에 관심이 집중되고 있다. 단지 샘플링과 디지털화에 의해 음성을 송신하는 경우, 종래 아날로그 전화기의 음성 품질을 달성하기 위해서는 초당 64 킬로비트(kbps) 정도의 데이터 레이트가 요구된다. 그러나, 음성 분석 후, 수신기에서의 적절한 코딩, 송신, 및 재합성을 이용하면, 이 데이터 레이트에서의 현저한 저감을 달성할 수 있게 된다.
인간 음성 생성 모델과 관련된 변수들을 추출하여 음성을 압축하는 기술들을이용하는 장치들은, 소위 음성 코더로 지칭된다. 음성 코더는, 입력된 음성 신호를 시간 블록들 또는 분석 프레임들로 분할한다. 통상적으로, 음성 코더는 인코더 및 디코더, 또는 코덱을 구비한다. 이 인코더는, 입력된 음성 프레임을 분석하여 소정의 관련 변수들을 추출한 후, 이 변수들을 2진 표시, 예를 들어, 비트들의 세트 또는 2진 데이터 패킷으로 양자화한다. 이 데이터 패킷은, 통신 채널 상에서 수신기 및 디코더로 송신된다. 이 디코더는, 데이터 패킷들을 처리하고, 그들을 양자화하여, 변수들을 생성한 후, 양자화되지 않은 변수들을 이용하여 음성 프레임들을 재합성한다.
음성 코더의 기능은, 음성 고유의 나머지(redundancy)들 모두를 제거함으로써 계수화된 음성 신호를 낮은 비트레이트의 신호로 압축하는 것이다. 이 디지털 압축은, 입력 음성 프레임을 한 세트의 변수들로 표시하고 양자화를 이용하여 이 변수들을 한 세트의 비트로 표시함으로써, 달성된다. 입력 음성 프레임이 다수의 비트들 (Ni) 을 가지며 음성 코더에 의해 생성된 데이터 패킷이 다수의 비트들 (No) 을 갖는 경우, 음성 코더에 의해 달성되는 압축 팩터는, Cr = Ni/No 로 된다. 문제점은, 목표 압축 팩터를 달성하면서 디코딩된 음성을 고품질 음성으로 유지하는 것이다. 음성 코더의 성능은, (1) 음성 모델, 또는 상술한 분석 및 합성 처리의 조합이 얼마나 잘 수행하는지와, (2) 프레임당 No 의 목표 비트레이트로 변수 양자화처리가 얼마나 잘 수행되는지에 따라, 달라지게 된다. 따라서, 음성 모델의 목표는, 음성 신호의 본질, 즉 목표 음성 품질을, 각 프레임당 작은 세트의 변수들로 포착하는 것이다.
음성 코더는, 그 모델이 시간 영역의 모델인 경우, 시간 영역 코더로 지칭된다. 널리 공지된 예로는, 여기서 참조하며 L.B. 라비너 및 R.W. 샤퍼의 음성 신호의 디지털 처리 396 - 453 페이지(1978년)에 설명된 코드 여기 선형 예측(CELP)코더가 있다. CELP 코더에 있어서, 음성 신호내의 단기 상관 또는 리던던시(나머지)는, 선형 예측(LP)분석에 의해 제거되어, 단기 포르만트 필터의 계수를 찾게 된다. 이 단기 예측 필터를 입력된 음성 프레임에 적용하여, LP 잉여 신호를 생성하고, 이 신호는 장기 예측 필터 변수들과 후속하는 확률 코드북으로 더 모델링되고 양자화된다. 따라서, CELP 코딩은, 시간 영역 음성 파형의 인코딩을, LP 단기 필터 계수의 인코딩과 LP 잉여의 인코딩의 개별 작업으로 분할하게 된다. 그 목적은, 입력 음성 파형과 상당히 닮은 합성된 출력 음성 파형을 생성하는 것이다. 시간 영역 파형을 정확하게 보존하기 위해, 이 CELP 코더는 잉여 프레임을 더 작은 블록들, 또는 서브 프레임으로 더 분할하고, 각 서브 프레임에 대해 분석-합성 방법을 계속 진행하게 된다. 각 서브 프레임을 양자화하는 데에는 많은 변수들을 필요로 하므로, 상기 방법은 프레임당 상당히 많은 개수의 비트들 (No) 을 필요로 하게 된다. 통상적으로, CELP 코더는, 프레임당 이용가능한 개수의 비트들 (No) 이 8 kbps 이상의 비트레이트를 코딩하기에 충분한 경우, 상당히 양호한 품질을 전송하게 된다.
파형 보간법(WI)은, 최근의 음성 코딩 기술로서, 각 음성 프레임에 대해 M 개의 프로토타입 파형들을 추출하고 이용가능한 비트들로 인코딩한다. 출력 음성은, 소정의 종래 파형 보간법 기술에 의해 디코딩된 프로토타입 파형들로부터 합성된다. 각종 WI 기술들은, 여기서 참조하며 W. 바스티앙 클레인과 제스퍼 하겐의 음성 코딩 및 합성 176 - 205 페이지(1995년)에 설명되어 있다. 또한, 종래 WI 기술들은, 여기서 참조한 미국 특허 제 5,517,595 호 공보에도 설명되어 있다. 그러나, 이와 같은 종래 WI 기술들에서는, 정확한 결과를 얻기 위해 프레임당 하나 이상의 프로토타입 파형을 추출하는 것이 필요하다. 또한, 재구성된 파형의 시간 동기성을 제공하기 위한 메커니즘도 존재하지 않는다. 이러한 이유로, 합성된 출력 WI 파형은, 원래 입력 파형과 정합하는 것을 보장할 수 없게 된다.
근래, (예를 들어, 2.4 내지 4 kbps 이하의)중간내지 낮은 비트 레이트로 동작하는 고품질 음성 코더를 개발하려는 강한 상업적 필요성과 연구에 대한 관심이 고조되고 있다. 애플리케이션 분야는, 무선 전화, 위성 통신, 인터넷 전화, 각종 멀티미디어 및 음성 스트리밍 애플리케이션들, 음성 메일,및 다른 음성 저장시스템을 포함한다. 그 원동력은, 고용량에 대한 필요성과 패킷 로스 상황하에서의 강건한 성능에 대한 요구 때문이다. 최근의 각종 음성 코딩 표준화 노력들은, 낮은 레이트의 음성 코딩 알고리듬의 연구와 개발을 촉진하는 다른 직접적인 구동력이 된다. 낮은 레이트의 음성 코더는, 허용가능한 애플리케이션 대역폭당, 더 많은 채널들, 또는 사용자들을 생성하고, 적당한 채널 코딩의 추가층과 결합된 낮은 레이트의 음성 코더는, 코더 규격들의 전체적인 비트-버짓을 만족시킬 수 있으며 채널 에러 조건하에서 강건한 성능을 전달할 수 있게 된다.
그러나, 낮은 비트 레이트(4 kbps 이하)에서, CELP 코더 등의 시간 영역 코더들은, 제한된 개수의 이용가능 비트들로 인해, 고품질 및 강건한 성능을 유지할 수 없게 된다. 낮은 비트 레이트에서, 제한된 코드북 공간은, 종래 시간 영역 코더의 파형 매칭 능력을 잘라내므로, 더 높은 레이트의 상업적인 애플리케이션에서 성공적으로 배치되게 된다.
낮은 비트 레이트로 효율적으로 음성을 인코딩하는 하나의 효율적인 기술로는 멀티모드 코딩이 있다. 멀티모드 코더는 서로 다른 모드들, 또는 인코딩-디코딩 알고리듬들을 서로 다른 형태의 입력 음성 프레임들에 적용한다. 각각의 모드, 또는 인코딩-디코딩 처리는, 가장 효율적인 방법으로 (예를 들어, 음성, 비음성, 또는 배경 잡음 등의)소정 형태의 음성 세그먼트를 표시하도록 맞춤된다. 외부의 모드 판정 메커니즘은, 입력 음성 프레임을 검사하고 이 프레임에 어떤 모드를 적용할건지에 관한 결정을 한다. 통상적으로, 모드 판정은, 입력 프레임으로부터 다수의 변수들을 추출하고 어느 모드를 적용할건지에 관해 결정하기 위해 그 변수들을 평가함으로써, 오픈 루프 방식으로 수행된다. 따라서, 이 모드 판정은, 출력 음성의 정확한 조건, 예를 들어 음성 품질 또는 소정의 다른 성능 측정의 관점에서 출력음성이 입력음성과 얼마나 유사한지를, 미리 알지 못한 상태로 수행된다. 음성 코덱에 대한 예시적인 오픈 루프 모드 판정은, 본 발명의 양수인에게 양도되며 미국 특허 제 5,414,796 호 공보에 설명되며 여기서 참조하고 있다.
멀티모드 코딩으로는, 각 프레임에 대해 동일 개수의 비트들 (No) 을 이용한 고정 레이트, 또는 서로 다른 모드에 대해 서로 다른 비트 레이트가 이용되는 가변 레이트 등이 있다. 가변 레이트 코딩의 목적은, 목표 품질을 얻는데 적당한 레벨로 코덱 변수들을 인코딩하는 데 필요한 비트량만을 이용하는 것이다. 따라서, 고정 레이트의 목표 음성품질 이상의 코더를, 가변 비트 레이트(VBR)기술을 이용하여 상당히 더 낮아진 평균 레이트로 얻을 수 있게 된다. 예시적인 가변 레이트 음성 코더는 본 발명의 양수인에게 양도된 미국 특허 제 5,414,796 호 공보에 설명되며, 여기서 참조하고 있다.
음성으로된 음성 세그먼트들은, 이 세그먼트들이, 주기성의 기본 주파수 또는 피치가 시간에 따라 변할 때 그 길이 (L(n)) 도 변하게 되는 피치 프로토타입들, 또는 작은 세그먼트들로 분할될 수 있으므로, 준-주기적으로 지칭된다. 이와 같은 세그먼트들, 또는 피치 프로토타입들은, 상당히 높은 정도의 상관성을 가지므로, 서로 상당히 유사하게 된다. 이는 특히 인접한 피치 프로토타입들에 더 적용된다. 낮은 평균 레이트로 고품질 음성을 전송하는 효율적인 멀티모드 VBR 코더 설계시, 낮은 레이트의 모드로 준-주기적 음성 세그먼트들을 표시하는 것이 바람직하다.
준-주기적 음성 세그먼트를 표시하는, 음성 모델, 또는 분석-합성 방법을 제공하는 것이 바람직하다. 또한, 고품질 합성을 제공함으로써, 고품질 음성으로 음성을 생성하는 모델을 설계하는 것은 더욱 바람직하다. 적은 세트의 비트들로 인코딩할 수 있도록, 상기 모델이 적은 세트의 변수들을 갖는 것이 바람직하다. 따라서, 인코딩에 필요한 최소량의 비트를 요구하면서 고품질 음성 합성을 제공하는 음성 세그먼트들을 위한 시간 동기식 파형 보간법에 대한 필요성이 존재하게 된다.
발명의 개요
본 발명의 목적은, 인코딩에 필요한 최소량의 비트를 요구하면서 고품질 음성 합성을 제공하는 음성으로된 음성 세그먼트를 위한 시간 동기식 파형 보간법을 제공하는 것이다. 따라서, 본 발명의 일 태양에서, 시간 동기식 파형 보간법에 의해 피치 프로토타입 파형으로부터 음성을 합성하는 방법은, 신호로부터 프레임당 적어도 하나의 피치 프로토타입을 추출하는 단계; 추출된 피치 프로토타입을 이전에 추출된 피치 프로토타입에 대해 위상편이를 적용하는 단계; 프레임내의 각 샘플 포인트에 대해 피치 프로토타입을 업샘플링하는 단계; 2차원 프로토타입-전개면을 구성하는 단계; 및 1차원 합성된 신호 프레임을 생성하기 위해 2차원면을 리샘플링하는 단계를 포함하며, 이 리샘플링 포인트들은 조각적으로 연속인 3차원 위상 윤곽(contour)함수에 의해 정의되며, 이 위상 윤곽 함수는, 피치 래그와 추출된 피치 프로토타입에 더해진 얼라인먼트 위상편이로부터 계산되는 것이 바람직하다.
본 발명의 다른 태양에서는, 시간 동기식 파형 보간법에 의해 피치 프로토타입 파형으로부터 음성을 합성하는 장치는, 신호로부터 프레임당 적어도 하나의 피치 프로토타입을 추출하는 수단; 추출된 피치 프로토타입을 이전에 추출된 피치 프로토타입에 대해 위상편이를 적용하는 수단; 프레임내의 각 샘플 포인트에 대해 피치 프로토타입을 업샘플링하는 수단; 2차원 프로토타입-전개면을 구성하는 수단; 및 1차원 합성된 신호 프레임을 생성하기 위해 2차원면을 리샘플링하는 수단을 포함하며, 이 리샘플링 포인트들은 조각적으로 연속인 3차원 위상 윤곽(contour)함수에 의해 정의되며, 이 위상 윤곽 함수는, 피치 래그와 추출된 피치 프로토타입에더해진 얼라인먼트 위상편이로부터 계산되는 것이 바람직하다.
본 발명의 다른 태양에서, 시간 동기식 파형 보간법에 의해 피치 프로토타입 파형으로부터 음성을 합성하는 장치는, 신호로부터 프레임당 적어도 하나의 피치 프로토타입을 추출하도록 구성된 모듈; 추출된 피치 프로토타입을 이전에 추출된 피치 프로토타입에 대해 위상편이를 적용하도록 구성된 모듈; 프레임내에의 각 샘플 포인트에 대해 피치 프로토타입을 업샘플링하도록 구성된 모듈; 2차원 프로토타입-전개면을 구성하도록 구성된 모듈; 및 1차원 합성된 신호 프레임을 생성하기 위해 2차원면을 리샘플링하도록 구성된 모듈을 포함하며, 이 리샘플링 포인트들은 조각적으로 연속인 3차원 위상 윤곽(contour)함수에 의해 정의되며, 이 위상 윤곽 함수는, 피치 래그와 추출된 피치 프로토타입에 더해진 얼라인먼트 위상편이로부터 계산되는 것이 바람직하다.
도면들의 간단한 설명
도 1 은 음성 코더에 의해 각 말단에서 종료된 통신 채널의 블록도이다.
도 2 는 인코더의 블록도이다.
도 3 은 디코더의 블록도이다.
도 4A 내지 도 4C 는 신호 진폭 대 이산 시간 인덱스, 추출된 프로토타입 진폭 대 이산 시간 인덱스, 및 TWSI 재구성된 신호 진폭 대 이산 시간 인덱스를 각각 나타낸 그래프이다.
도 5 는 시간동기식 파형 보간법(TWSI)에 의해 피치 프로토타입 파형들로부터 음성을 합성하기 위한 장치를 나타낸 기능 블록도이다.
도 6A 는 둘러싸인 3차원 위상 윤곽 대 이산 시간 인덱스의 그래프이고, 도 6B 는 재구성된 음성 신호 진폭 대 도 6A 의 중첩된 그래프의 2차원면 그래프이다.
도 7 은 풀린 2차 및 3차 위상 윤곽 대 이산 시간 인덱스의 그래프이다.
바람직한 실시예들의 상세한 설명
도 1 에서, 제 1 디코더 (10) 는 계수화된 음성 샘플들 (s(n)) 을 수신하고, 이 샘플들 (s(n)) 을 인코딩하여 송신 매체 (12) 또는 통신 채널 (12) 상에서 제 1 디코더 (14) 로 송신한다. 디코더 (14) 는, 인코딩된 음성 샘플들을 디코딩하여 출력 음성 신호 (ssynth(n)) 를 합성하게 된다. 반대 방향으로의 송신을 위해, 제 2 인코더 (16) 는 계수화된 음성 샘플들 (s(n)) 을 인코딩하고, 이 음성 샘플들 (s(n)) 은 통신 채널 (18) 상에서 송신된다. 제 2 디코더 (20) 는 인코딩된 샘플들을 수신하고 디코딩하여, 합성된 출력 음성 신호 (ssynth(n)) 를 생성하게 된다.
음성 샘플들 (s(n)) 은, 예를 들어 펄스코드 변조(PCM), 압신된 μ-law, 또는 A-law 등을 포함하는 당해 기술분야에서 널리 공지된 각종 방법들 중 소정의 방법에 따라 계수화되고 양자화된 음성 신호를 표시한다. 당해 기술분야에서 널리 공지된 바와 같이, 음성 샘플들 (s(n)) 은 입력 데이터의 프레임들로 조직되고, 각 프레임은 소정 개수의 계수화된 음성 샘플들 (s(n)) 을 구비하게 된다. 예시적인 실시예에서는, 8 kHz 의 샘플링 속도가 이용되므로, 각각의 20 ms 프레임은 160 샘플들을 구비하게 된다. 아래에 설명되는 실시예들에서, 바람직하게는,데이터 송신 속도는, 프레임-프레임 기준으로 8 kbps(풀 레이트) 내지 4 kbps(하프 레이트) 내지 2 kbps(1/4 레이트) 내지 1 kbps(1/8 레이트)로 변화될 수도 있다. 데이터 송신 속도를 변화시키는 것은, 비교적 적은 음성 정보를 포함한 프레임들에 대해 낮은 비트 속도를 선택적으로 이용할 수 있으므로, 바람직하게 된다. 당해 기술분야에서 숙련된 당업자들이 쉽게 알 수 있는 바와 같이, 다른 샘플링 속도, 프레임 크기, 및 데이터 송신 속도를 이용할 수도 있다.
제 1 인코더 (10) 및 제 2 인코더 (20) 는, 함께 제 1 음성 코더, 또는 음성 코덱을 구비한다. 이와 유사하게, 제 2 인코더 (16) 및 제 1 디코더 (14) 는 제 2 음성 코더를 구비한다. 당해 기술분야에서 숙련된 당업자들은, 이 음성 코더들을, 디지털 신호 처리기(DSP), 주문형 집적회로(ASIC), 이산 게이트 로직, 펌웨어, 또는 소정의 종래 프로그램 가능 모듈 및 마이크로프로세서로 구현할 수 있음을 알 수 있다. 소프트웨어 모듈은, 당해 기술분야에서 공지되어 있는 RAM 메모리, 플래시 메모리, 레지스터, 또는 임의의 다른 형태의 기록가능 저장매체에 상주하게 된다. 다른 방법으로는, 임의의 종래 프로세서, 제어기, 또는 상태 머신은, 마이크로프로세서로 대체될 수도 있다. 음성 코딩을 위해 특별히 설계된 예시적인 ASIC 들은, 본 발명의 양수인에게 양도되며 여기서 참조한 미국 특허 제 5,727,123 호 공보와, 본 발명의 양수인에게 양도되며 여기서 참조한 발명의 명칭이 "보코더 에이직"인 1994년 2월 16일 출원된 미국 특허출원 일련번호 제 08/197,417 호에 설명되어 있다.
도 2 에서, 음성 코더에서 이용될 수도 있는 인코더 (100) 는, 모드 판정 모듈 (102), 피치 추정 모듈 (104), LP 분석 모듈 (106), LP 분석 필터(108), LP 양자화 모듈 (110), 및 잉여 양자화 모듈 (112) 을 포함한다. 입력 음성 프레임들 (s(n)) 은 모드 판정 모듈 (102), 피치 추정 모듈 (104), LP 분석 모듈 (106), LP 분석 필터(108) 에 제공된다. 이 모드 판정 유닛 (102) 은, 각 입력 음성 프레임 (s(n)) 의 주기성에 기초하여 모드 인덱스 (IM) 및 모드 (M) 을 생성한다. 주기성에 따라 음성 프레임들을 분류하는 각종 방법들은, 본 발명의 양수인에게 양도되며 여기서 참조한 발명의 명칭이 "저감된 레이트 가변 레이트 보코딩을 수행하기 위한 방법 및 장치"인 1997년 3월 11일 출원된 미국 특허출원 일련번호 제 08/815,354 호에 설명되어 있다. 또한, 이와 같은 방법들은, 미국 전기통신 공업협회 잠정표준인 TIA/EIA IS-127 및 TIA/EIA IS-733 에도 병합되어 있다.
피치 추정 모듈 (104) 은, 각각의 입력 음성 프레임 (s(n)) 에 기초하여 피치 인덱스 (II) 및 래그값 (Po) 을 생성한다. LP 분석 모듈 (106) 은, 각각의 입력 음성 프레임 (s(n)) 상에서 선형 예측 분석을 수행하여 LP 변수 () 를 생성하게 된다. 이 LP 변수 () 는 LP 양자화 모듈 (110) 에 제공된다. 또한, 이 LP 양자화 모듈 (110) 은 모드 (M) 을 수신한다. 이 LP 양자화 모듈 (110) 은 LP 인덱스 (ILP) 및 양자화된 LP 변수 () 를 생성한다. 이 LP 분석 필터 (108) 는, 입력 음성 프레임 (s(n)) 에 더해 양자화된 LP 변수 () 를 수신한다. 이 LP 분석 필터 (108) 는, LP 잉여 신호 R[n] 을 생성하며, 이는 입력 음성 프레임 (s(n)) 과 양자화된 선형 예측 변수 () 간의 오차를 나타낸다. LP 잉여R[n], 모드 (M), 및 양자화된 LP 변수 () 는, 잉여 양자화 테이블에 제공된다. 이들 값들에 기초하여, 잉여 양자화 모듈 (112) 은, 잉여 인덱스 (IR) 및 양자화된 잉여 신호를 생성하게 된다.
도 3 에서, 음성 코더에 이용될 수 있는 디코더 (200) 는, LP 변수 디코딩 오듈 (202), 잉여 디코딩 모듈 (204), 모드 판정 모듈 (206), 및 LP 합성 필터 (208) 를 포함한다. 모드 판정 모듈 (206) 은 모드 인덱스 (IM) 를 수신하고 디코딩하여, 그로부터 모드 (M) 를 생성하게 된다. LP 변수 디코딩 모듈 (202) 은 모드 (M) 및 LP 인덱스 (ILP) 를 수신한다. 이 LP 변수 디코딩 모듈 (202) 은, 수신된 값들을 디코딩하여 양자화된 LP 변수 () 를 생성한다. 잉여 디코딩 모듈 (204) 은, 잉여 인덱스 (IR), 피치 인덱스 (IP), 및 모드 인덱스 (IM) 를 수신한다. 이 잉여 디코딩 모듈 (204) 은, 수신된 값들을 디코딩하여, 양자화된 잉여 신호를 생성한다. 양자화된 잉여 신호와 양자화된 LP 변수 () 는 LP 합성 필터 (208) 에 제공되어, 그로부터 디코딩된 출력 음성 신호 () 를 합성하게 된다.
도 2 의 인코더 (100) 및 도 3 의 디코더의 각종 모듈들의 동작과 구현은, 당해 기술분야에서 널리 공지되어 있다. 예시적인 인코더 및 예시적인 디코더는, 여기서 참조하고 있는 미국 특허 제 5,414,796 호 공보에 설명되어 있다.
일 실시예에서, 준-주기성 음성 세그먼트들은, 현재 음성 프레임 (Scur) 으로부터 피치 프로토타입 파형들을 추출하고 시간 동기식 파형 보간법(TWSI)에 의해 피치 프로토타입 파형들로부터의 현재 음성 프레임을 합성함으로써 모델링된다. 단지 M 개의 피치 프로토타입 파형들 (Wm) 만을 추출하여 유지함으로써(여기서, m = 1,2,...M 이고, 각각의 피치 프로토타입 파형 (Wm) 은 길이 (Lcur) 를 가지며, Lcur 은 현재 음성 프레임 (Scur) 로부터의 현재 피치 주기이다), 인코딩되는 정보량을 N 개의 샘플들로부터 M 과 Lcur 샘플들의 곱으로 저감시키게 된다. 이 개수 M 은, 소정의 값 "1" 이거나 또는 피치 래그에 기초한 소정의 이산값일 수도 있다. 재구성된 음성 신호가 너무 주기적으로 되는 것을 방지하기 위해 작은 값의 "Lcur" 에 대해 더 큰 값 "M" 이 종종 요구된다. 예시적인 실시예에서, 피치 래그가 "60" 이상인 경우, M 은 "1" 로 설정된다. 그렇지 않은 경우, M 은 "2" 로 설정된다. M 개의 현재 프로토타입들과 최종 피치 프로토타입 (Wo) 은, 이전 프레임으로부터 Lo 의 길이를 가지며, 아래에 더욱 상세하게 설명되는 TWSI 기술을 이용하여 현재 음성 프레임의 모델 표시 (Scur_model) 를 재생성하는데 이용된다. 동일한 길이 (Lcur) 를 갖는 현재 프로토타입들 (Wm) 을 선택하는 다른 방법으로서, 현재 프로토타입들 (Wm) 은 그 대신 Lm 의 길이를 가질 수도 있으며, 여기서 로컬 피치 주기 (Lm) 는, 관련된 이산 시간 위치 (nm) 에서 진정한 피치 주기를 추정하거나, 또는 현재 피치 (Lcur) 와 마지막 피치 주기 (Lo) 간에서 소정의 종래 보간법 기술을 적용함으로써, 추정될 수 있다. 이 보간법 기술로는, 예를 들어 간단한 선형 보간법을 이용할 수도 있다.
여기서, 시간 인덱스 (nm) 은 m 번째 세그먼트의 중간위치이며, m = 1,2,...,M 으로 된다.
상기 관계식들은 도 4A 내지 도 4C 의 그래프에 도시되어 있다. 신호 진폭 대 이산 시간 인덱스(예를 들어, 샘플 개수)를 나타내는 도 4A 에서, 프레임 길이 (N) 는 프레임당 샘플 개수를 나타낸다. 도시된 예시적인 실시예에서, N 은 160 으로 된다. 값들 (Lcur(프레임내의 현재 피치 주기)과, Lo(이전 프레임에서의 최종 피치 주기)) 또한 도시되어 있다. 신호 진폭은, 소망하는 대로 음성 신호 진폭이거나 잉여 신호 진폭일 수 있다. M = 1 인 경우에 대한 프로토타입 진폭 대 이산 시간 인덱스를 나타내는 도 4B 에는, 값들 (Wcur(현재 프로토타입)과, Wo(이전 프레임에서의 최종 프로토타입) 이 도시되어 있다. 도 4C 의 그래프는, TWSI 합성 후 재구성된 신호 (Scur_model) 의 진폭 대 이산 시간 인덱스를 나타낸다.
바람직하게는, 상기 보간식에서 중간 위치들 (nm) 은, 인접한 중간 위치들 간의 거리가 거의 동일하도록 선택된다. 예를 들어, M = 3, N = 160, Lo = 40, 이고 Lcur = 42 인 경우, n0= -20 이고 n3= 139 이므로, n1= 33 이며 n2= 86 으로 되고, 인접한 세그먼트들 간의 거리는 [139-(-20)/3], 또는 "53" 으로 된다.
현재 프레임 (Wm) 의 최종 프로토타입은, 현재 프레임의 최종 Lcur 샘플들을 선택하여 추출된다. 다른 중간 프로토타입들 (Wm) 은, 중간 위치 (nm) 주위의 (Lm)/2 개의 샘플들을 선택하여 추출된다.
프로토타입 추출은, 각각의 프로토타입 (Wm) 에 대해 Dm 의 동적 시프트를 허용함으로써 더 미세화되므로, 범위 {nm- 0.5*Lm - Dm, nm+ 0.5*Lm + Dm} 로부터 소정의 Lm 개 샘플들을 선택하여 프로토타입을 구성할 수 있게 된다. 프로토타입 경계에서는 높은 에너지 세그먼트들을 피하는 것이 바람직하다. 값 (Dm) 은 m 이상에서 가변적이거나, 각각의 프로토타입에 대해 고정될 수 있다.
넌제로 동적 시프트 Dm 은, 추출된 프로토타입들 (Wm) 과 원래 신호간의 시간 동기성을 항상 파괴함을 알 수 있다. 상기 문제에 대한 하나의 간단한 해결방법은, 프로토타입 (Wm) 에 프로토타입 시프트를 적용하여 동적 시프트가 초래하는 오프셋을 보정하는 것이다. 예를 들어, 동적 시프트가 제로로 설정되면, 프로토타입 추출은 시간 인덱스 n = 100 에서 시작한다. 한편, Dm 이 적용되면, 프로토타입 추출은 n = 98 에서 시작된다. 프로토타입과 원래 신호간의 시간 동기성을 유지하기 위해, 프로토타입이 추출된 후, 이 프로토타입을 2개의 샘플들씩(예를 들어, 100 내지 98 샘플들) 오른쪽으로 원형으로 시프트될 수 있다.
프레임 경계에서의 부정합을 방지하기 위해서는, 합성된 음성의 시간 동기성을 유지하는 것이 중요하다. 따라서, 분석-합성 처리로 합성된 음성은 입력 음성과 양호하게 정합되는 것이 바람직하다. 일 실시예에서, 상기 목적은, 아래에 설명하는 바와 같이, 위상 트랙의 경계값들을 정교하게 제어함으로써 달성된다. 또한, 시간 동기성은, 선형-예측-기반 멀티모드 음성 코더에서 특히 더 중요하므로, 하나의 모드에서는 CELP 로 되고 다른 모드에서는 프로토타입-기반 분석-합성으로 될 수 있다. CELP 로 코딩된 프레임의 경우, 시간-정렬 또는 시간-동기성없이 프로토타입-기반 방법으로 이전 프레임을 코딩하면, CELP 의 분석-합성 파형 매칭파워는 동력화될 수 없다. 지나간 파형에서 시간 동기성이 파괴되면, 메모리가 시간 동기성 부족으로 인해 원래 음성과 정합되지 않으므로, CELP 는 예측용 메모리에 의존할 수 없게 된다.
도 5 의 블록도는, 일 실시예에 따라 TWSI 를 갖는 음성 합성용 장치를 나타낸다. 길이 (L1, L2,...,LM) 의 크기 N, M 프로토타입들 (W1, W2,...,WM) 의 프레임으로 시작하는 것은, 블록 (300) 에서 추출된다. 추출 처리에서, 각각의 추출 상에서 동적 시프트를 이용하여, 프로토타입 경계에서의 높은 에너지를 피하게 된다. 다음에, 각각의 추출된 프로토타입에는 적절한 프로토타입 시프트를 적용하여 추출된 프로토타입들과 대응하는 원래 신호의 세그먼트간의 시간 동기성을 최대화하게 된다. m 번째 프로토타입 (Wm) 은 k 샘플 개수에 의해 인덱스되는 LM 개의 샘플들을 가지며, 여기서 k = 1,2,...,Lm 으로 된다. 이 인덱스 k 는 정규화될 수 있으며 "0" 내지 "2_" 의 범위에 있는 새로운 위상 인덱스로 리맵핑될 수 있다. 블록 (301) 에서, 피치 추정 및 보간법을 이용하여 피치 래그를 생성하게 된다.
프로토타입들의 종료점 위치는 n1, n2,..., nM으로 라벨링되며, 여기서, n1< n2<...<nM= N 으로 된다. 이하, 이 프로토타입은 다음과 같이 그들의 종료점 위치에 따라 표시된다.
X(n0,_) 는 이전 프레임내에서 첫번째 추출된 프로토타입을 나타내며, X(n0,_) 는 L0의 길이를 갖는다. 또한, {n1, n2,..., nM} 은 현재 프레임 상에서 동일하게 분산될 수도 있고, 분산되지 않을 수도 있다
블록 (302) 에서,얼라인먼트 처리가 수행되며, 위상편이 "_" 는 각각의 프로토타입 X 에 적용되므로, 연속된 프로토타입들은 최대로 정합되게 된다.
특히,
여기서, W 는 정합된 버전의 X 를 나타내며, 얼라인먼트 시프트 "_" 는,
에 의해 계산될 수 있다.
Z[X, W] 는 X 와 W 간의 교차 상관을 나타낸다.
M 개의 프로토타입들은, 소정의 종래 보간기술에 의해 블록 (303) 내에서 N 개의 프로토타입들로 언샘플링된다. 이 보간 기술로는, 예를 들어, 간단한 선형 보간법을 이용할 수도 있다.
N 개의 프로토타입들의 세트 (W(ni,_); 여기서, i = 1,2,...,N) 는, 도 6B 에 도시된 바와 같이, 2차원(2-D)프로토타입-전개면을 형성한다.
블록 (304) 은 위상 트랙의 계산을 수행한다. 파형 보간법에 있어서, 위상 트랙 "_[N]" 은, 2-D 프로토타입-전개면을 다시 1-D 신호로 변환하는데 이용된다. 통상적으로, 이와 같은 위상 윤곽은, 다음과 같이 보간된 주파수값들을 이용하여 샘플-바이-샘플 방식으로 계산된다.
여기서, n = 1,2,...,N 으로 된다. 주파수 윤곽 F[n] 은, 보간된 피치 트랙을 이용하여 계산될 수 있으며, 더욱 자세하게는, F[n] = 1/L[n] 이며, L[n] 은 {L1,L2,...,LM} 의 보간된 버젼을 나타낸다. 통상적으로, 상기 위상 윤곽 함수는, 최종값 (-_-[N]) 이 아니라 초기 위상값 (-_-[0]) 을 이용하여 프레임당 한 번 구해진다. 또한, 위상 윤곽 함수는, 얼라인먼트 처리로부터 발생하는 위상편이 "_" 를 고려하지 않는다. 이러한 이유로, 재구성된 파형이 원래 신호와 시간 동기되는 것을 보장할 수 없게 된다. 주파수 윤곽이 시간 상에서 선형으로 전개한다고 가정하면, 결과로서 생성된 위상 트랙 "_[n]" 은 시간 인덱스 (n) 의 2차 함수로 된다.
도 5 의 실시예에 있어서, 초기 및 최종 경계 위상 값들이 얼라인먼트 시프트 값들과 근접하게 정합되는 조각적인(piecewise) 방식으로, 위상 윤곽을 재구성하는 것이 바람직하다. 현재 프레임 (n_, n_,...,n_p) 내의 p 시간 인스턴스에서 시간 동기성이 보존되는 것이 바람직하며, 여기서 n_<n_<,...,<n_p이며 αi∈{1,2,...,M}, i = 1,2,...,p 로 된다. 결과로서 생성된 "_[n]"(여기서, n = 1,2,...,N) 은, 다음과 같이 기재될 수 있는 조각적으로 연속인 위상함수로 이루어진다.
통상적으로 n_p는 nM으로 설정되어, 전체 프레임에 대해 _[n] 을 계산할 수 있음을 알 수 있다(여기서 n = 1,2,...,N). 각각의 조각적으로 연속인 위상함수의 계수들 {a,b,c,d} 은, 초기 및 최종 피치 래그 (Lαi-1및 Lαi) 각각과, 초기 및 최종 얼라인먼트 시프트 (Ψαi-1및 Ψαi) 의 4개의 경계 조건들에 의해 계산될 수 있다.
및
여기서, i = 1,2,...,p 로 된다. 얼라인먼트 시프트 "_" 가 얻어지므로,모듈로 2_ 팩터 ζ는, 결과로서 생성된 위상함수가 최대로 평탄화되도록 위상시프트를 언랩(unwrap)하는데 이용된다.
여기서, i = 1,2,...,p 이며 라운드 함수 [x] 는 x 에 가장 근접한 정수를 찾게 된다. 예를 들어, 라운드 [1.4] 는 "1" 로 된다.
예시적인 언랩핑된 위상 트랙은, M=p=1 이며 L0= 40, LM= 46 인 경우에 대해, 도 7 에 도시되어 있다. (점선으로 도시된 종래의 2차 위상 윤곽과 접합되는 것과는 반대로)다음의 3차 위상 윤곽은 프레임 경계에서 음성 (Scur) 의 원래 프레임과 합성된 파형 (Scur_model) 과의 시간 동기성을 보장하게 된다.
블록 (305) 에서, 1차(1-D) 시간영역 파형은 2-D 면으로부터 형성된다. 합성된 파형들 (Scur_model[n]) 은 다음과 같이 형성되며, 여기서 n = 1,2,...,N 으로 된다.
도식적으로 보면, 상기 변환은 도 6B 에 도시된 것과 같이, 2-D 면 상의 도 6A 에 도시된 랩핑된 위상트랙을 중첩하는 것과 동일하게 된다. (위상 트랙이 2-D 면과 만나는)교차점의 위상축에 수직인 면 상으로의 투영은 "Scur_model[n]" 으로 된다.
일 실시예에서, 프로토타입 추출과 TWSI 기반 분석-합성의 처리는, 음성 영역에 적용된다. 프로토타입 추출과 TWSI 기반 분석-합성의 처리는, 상술한 음성 영역 뿐만 아니라 LP 잉여 영역에도 적용된다.
일 실시예에서, 피치-프로토타입-기반, 분석-합성 모델은, 현재 프레임이 "주기적으로 충분한지"를 판정하는 전-선택 처리 후 적용된다. 추출된 인접 프로토타입들 (Wm및 Wm+1) 간의 주기성 (PFm) 은 다음과 같이 계산될 수 있다:
여기서, Lmax는 [Lm, Lm+1] 이며, 프로토타입들 (Wm및 Wm+1) 의 최대 길이로 된다.
주기성 (PFm) 의 M 개의 세트들은, 현재 프레임의 프로토타입들이 상당히 유사한지, 또는 현재 프레임이 상당히 주기적인지를 판정하기 위해 한 세트의 스레시홀드와 비교될 수 있다. 이 주기성 (PFm) 세트의 평균값을 소정의 스레시홀드와 비교하여 상기 결정에 도달하는 것이 바람직하다. 현재 프레임이 충분히 주기적이지 않은 경우, (예를 들어, 피치-프로토타입 기반이 아닌)다른 높은 레이트의 알고리듬을 대신 이용하여 현재 프레임을 인코딩할 수도 있다.
일 실시예에서, 후-선택 필터는 성능을 평가하는데 적용될 수도 있다. 따라서, 현재 프레임을 피치-프로토타입-기반, 분석-합성 모드로 인코딩한 후, 그 성능이 충분히 양호한지에 관해 판정하게 된다. 이 판정은, 예를 들어, PSNR등의 품질 측정을 구함으로써 수행되며, 여기서, PSNR 은 다음과 같이 정의된다.
여기서, x[n] = h[n]*R[n] 이며, e(n) = h[n]*qR[n] 이고, "*" 는 컨벌루션 또는 필터링 연산을 나타내며, h(n) 은 지각적으로 가중된 LP 필터이고, R[n] 은 원래 음성 나머지(잉여)이며, qR[n] 은 피치-프로토타입-기반, 분석-합성 모드에 의해 얻어진 나머지이다. PSNR 에 대한 상기 등식은, 피치-프로토타입-기반, 분석-합성 인코딩이 LP 잉여 신호에 적용되는 경우 유효하게 된다. 한편, 피치-프로토타입-기반, 분석-합성 기술이 LP 잉여 대신 원래 음성 프레임에 적용되는 경우, 이 PSNR 은 다음과 같이 정의된다.
여기서, x[n] 은 원래 음성 프레임이고, e[n] 은 피치-프로토타입-기반 분석-합성 기술에 의해 모델링된 음성 신호이며, w[n] 은 지각 가중인자이다. 어느 경우이든지, 이 PNSR 은 소정의 스레시홀드 이하인 경우, 이 프레임은 분석-합성 기술에는 적합하지 않고, 그 대신 상이한 더 높은 비트 레이트 알고리듬을 이용하여 현재 프레임을 포착할 수도 있다. 당해 기술분야에서 숙련된 당업자라면, 알고리듬 성능에 관한 후-처리 판정에 상술한 예시적인 PSNR 측정을 포함한 소정의 종래 성능 측정을 이용할 수도 있음을 알 수 있다.
이상, 본 발명의 바람직한 실시예들을 설명하였다. 그러나, 당해 기술분야에서 숙련된 당업자들은, 본 발명의 범위 및 정신으로부터 일탈함이 없이 그 안에 개시된 실시예들을 변형할 수도 있음을 알 수 있다. 따라서, 본 발명은 다음의 청구항들에 의해서만 한정되게 된다.
Claims (24)
- 시간 동기식 파형 보간법에 의해 피치 프로토타입 파형들로부터 음성을 합성하는 방법으로서,신호로부터 프레임당 적어도 하나의 피치 프로토타입을 추출하는 단계;이전 추출된 피치 프로토타입에 대해 상기 추출된 피치 프로토타입에 위상편이를 적용하는 단계;상기 프레임내의 각각의 샘플 포인트에 대해 피치 프로토타입을 업샘플링하는 단계;2차원 프로토타입-전개면을 구성하는 단계; 및1차원 합성된 신호 프레임을 생성하기 위해 상기 2차원면을 리샘플링하는 단계를 포함하고,상기 리샘플링 포인트들은 조각적으로(piecewise) 연속인 3차원 위상 윤곽 함수에 의해 정의되며, 상기 위상 윤곽 함수는 추출된 피치 프로토타입에 더해진 얼라인먼트 위상편이와 피치 래그로부터 계산되는 것을 특징으로 하는 방법.
- 제 1 항에 있어서,상기 신호는 음성 신호를 포함하는 것을 특징으로 하는 방법.
- 제 1 항에 있어서,상기 신호는 잉여 신호를 포함하는 것을 특징으로 하는 방법.
- 제 1 항에 있어서,상기 최종 피치 프로토타입 파형은 이전 프레임의 래그 샘플들을 포함하는 것을 특징으로 하는 방법.
- 제 1 항에 있어서,남아있는 단계들을 수행할는지의 여부를 판정하기 위해 현재 프레임의 주기성을 계산하는 단계를 더 포함하는 것을 특징으로 하는 방법.
- 제 1 항에 있어서,후-처리 성능 측정을 구하는 단계 및 상기 후-처리 성능 측정을 소정의 스레시홀드와 비교하는 단계를 더 포함하는 것을 특징으로 하는 방법.
- 제 1 항에 있어서,상기 추출단계는 단지 하나의 피치 프로토타입만을 추출하는 단계를 포함하는 것을 특징으로 하는 방법.
- 제 1 항에 있어서,상기 추출단계는 소정 개수의 피치 프로토타입들을 추출하는 단계를 포함하고, 상기 개수는 피치 래그의 함수인 것을 특징으로 하는 방법.
- 시간 동기식 파형 보간법에 의해 피치 프로토타입 파형들로부터 음성을 합성하는 장치로서,신호로부터 프레임당 적어도 하나의 피치 프로토타입을 추출하는 수단;이전 추출된 피치 프로토타입에 대해 상기 추출된 피치 프로토타입에 위상편이를 적용하는 수단;상기 프레임내의 각각의 샘플 포인트에 대해 피치 프로토타입을 업샘플링하는 수단;2차원 프로토타입-전개면을 구성하는 수단; 및1차원 합성된 신호 프레임을 생성하기 위해 상기 2차원면을 리샘플링하는 수단을 구비하고,상기 리샘플링 포인트들은 조각적으로 연속인 3차원 위상 윤곽 함수에 의해 정의되며, 상기 위상 윤곽 함수는 추출된 피치 프로토타입에 더해진 얼라인먼트 위상편이와 피치 래그로부터 계산되는 것을 특징으로 하는 장치.
- 제 9 항에 있어서,상기 신호는 음성 신호를 포함하는 것을 특징으로 하는 장치.
- 제 9 항에 있어서,상기 신호는 잉여 신호를 포함하는 것을 특징으로 하는 장치.
- 제 9 항에 있어서,상기 최종 피치 프로토타입 파형은 이전 프레임의 래그 샘플들을 포함하는 것을 특징으로 하는 장치.
- 제 9 항에 있어서,현재 프레임의 주기성을 계산하는 수단을 더 구비하는 것을 특징으로 하는 장치.
- 제 9 항에 있어서,후-처리 성능 측정을 구하는 수단 및 상기 후-처리 성능 측정을 소정의 스레시홀드와 비교하는 수단를 더 구비하는 것을 특징으로 하는 장치.
- 제 9 항에 있어서,상기 추출수단은 단지 하나의 피치 프로토타입만을 추출하는 수단을 구비하는 것을 특징으로 하는 장치.
- 제 9 항에 있어서,상기 추출수단은 소정 개수의 피치 프로토타입들을 추출하는 수단을 구비하고, 상기 개수는 피치 래그의 함수인 것을 특징으로 하는 장치.
- 시간 동기식 파형 보간법에 의해 피치 프로토타입 파형들로부터 음성을 합성하는 장치로서,신호로부터 프레임당 적어도 하나의 피치 프로토타입을 추출하도록 구성된 모듈;이전 추출된 피치 프로토타입에 대해 상기 추출된 피치 프로토타입에 위상편이를 적용하도록 구성된 모듈;상기 프레임내의 각각의 샘플 포인트에 대해 피치 프로토타입을 업샘플링하도록 구성된 모듈;2차원 프로토타입-전개면을 구성하도록 구성된 모듈; 및1차원 합성된 신호 프레임을 생성하기 위해 상기 2차원면을 리샘플링하도록 구성된 모듈을 구비하고,상기 리샘플링 포인트들은 조각적으로 연속인 3차원 위상 윤곽 함수에 의해 정의되며, 상기 위상 윤곽 함수는 추출된 피치 프로토타입에 더해진 얼라인먼트 위상편이와 피치 래그로부터 계산되는 것을 특징으로 하는 장치.
- 제 17 항에 있어서,상기 신호는 음성 신호를 포함하는 것을 특징으로 하는 장치.
- 제 17 항에 있어서,상기 신호는 잉여 신호를 포함하는 것을 특징으로 하는 장치.
- 제 17 항에 있어서,상기 최종 피치 프로토타입 파형은 이전 프레임의 래그 샘플들을 포함하는 것을 특징으로 하는 장치.
- 제 17 항에 있어서,현재 프레임의 주기성을 계산하도록 구성된 모듈을 더 구비하는 것을 특징으로 하는 장치.
- 제 17 항에 있어서,후-처리 성능 측정을 구하여 상기 후-처리 성능 측정을 소정의 스레시홀드와 비교하도록 구성된 모듈을 더 구비하는 것을 특징으로 하는 장치.
- 제 17 항에 있어서,적어도 하나의 피치 프로토타입을 추출하도록 구성된 모듈은 단지 하나의 피치 프로토타입만을 추출하도록 구성된 모듈을 구비하는 것을 특징으로 하는 장치.
- 제 17 항에 있어서,적어도 하나의 피치 프로토타입을 추출하도록 구성된 모듈은 소정 개수의 피치 프로토타입들을 추출하도록 구성된 모듈을 구비하고, 상기 개수는 피치 래그의 함수인 것을 특징으로 하는 장치.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/191,631 | 1998-11-13 | ||
US09/191,631 US6754630B2 (en) | 1998-11-13 | 1998-11-13 | Synthesis of speech from pitch prototype waveforms by time-synchronous waveform interpolation |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20010087391A true KR20010087391A (ko) | 2001-09-15 |
KR100603167B1 KR100603167B1 (ko) | 2006-07-24 |
Family
ID=22706259
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020017005971A KR100603167B1 (ko) | 1998-11-13 | 1999-11-12 | 시간 동기식 파형 보간법을 이용한 피치 프로토타입파형으로부터의 음성 합성 |
Country Status (9)
Country | Link |
---|---|
US (1) | US6754630B2 (ko) |
EP (1) | EP1131816B1 (ko) |
JP (1) | JP4489959B2 (ko) |
KR (1) | KR100603167B1 (ko) |
CN (1) | CN100380443C (ko) |
AU (1) | AU1721100A (ko) |
DE (1) | DE69924280T2 (ko) |
HK (1) | HK1043856B (ko) |
WO (1) | WO2000030073A1 (ko) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230080557A (ko) | 2021-11-30 | 2023-06-07 | 고남욱 | 보이스 교정 시스템 |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6397175B1 (en) * | 1999-07-19 | 2002-05-28 | Qualcomm Incorporated | Method and apparatus for subsampling phase spectrum information |
JP4747434B2 (ja) * | 2001-04-18 | 2011-08-17 | 日本電気株式会社 | 音声合成方法、音声合成装置、半導体装置及び音声合成プログラム |
US20040220801A1 (en) * | 2001-08-31 | 2004-11-04 | Yasushi Sato | Pitch waveform signal generating apparatus, pitch waveform signal generation method and program |
JP4407305B2 (ja) * | 2003-02-17 | 2010-02-03 | 株式会社ケンウッド | ピッチ波形信号分割装置、音声信号圧縮装置、音声合成装置、ピッチ波形信号分割方法、音声信号圧縮方法、音声合成方法、記録媒体及びプログラム |
GB2398981B (en) * | 2003-02-27 | 2005-09-14 | Motorola Inc | Speech communication unit and method for synthesising speech therein |
US7720231B2 (en) * | 2003-09-29 | 2010-05-18 | Koninklijke Philips Electronics N.V. | Encoding audio signals |
EP1904816A4 (en) * | 2005-07-18 | 2014-12-24 | Diego Giuseppe Tognola | METHOD AND SYSTEM FOR PROCESSING SIGNALS |
KR100735246B1 (ko) * | 2005-09-12 | 2007-07-03 | 삼성전자주식회사 | 오디오 신호 전송 장치 및 방법 |
KR101019936B1 (ko) * | 2005-12-02 | 2011-03-09 | 퀄컴 인코포레이티드 | 음성 파형의 정렬을 위한 시스템, 방법, 및 장치 |
US8090573B2 (en) * | 2006-01-20 | 2012-01-03 | Qualcomm Incorporated | Selection of encoding modes and/or encoding rates for speech compression with open loop re-decision |
US8346544B2 (en) * | 2006-01-20 | 2013-01-01 | Qualcomm Incorporated | Selection of encoding modes and/or encoding rates for speech compression with closed loop re-decision |
US8032369B2 (en) * | 2006-01-20 | 2011-10-04 | Qualcomm Incorporated | Arbitrary average data rates for variable rate coders |
US7899667B2 (en) * | 2006-06-19 | 2011-03-01 | Electronics And Telecommunications Research Institute | Waveform interpolation speech coding apparatus and method for reducing complexity thereof |
US9653088B2 (en) * | 2007-06-13 | 2017-05-16 | Qualcomm Incorporated | Systems, methods, and apparatus for signal encoding using pitch-regularizing and non-pitch-regularizing coding |
US8406898B2 (en) * | 2007-09-27 | 2013-03-26 | Cardiac Pacemakers, Inc. | Implantable lead with an electrostimulation capacitor |
CN101556795B (zh) * | 2008-04-09 | 2012-07-18 | 展讯通信(上海)有限公司 | 计算语音基音频率的方法及设备 |
US8768690B2 (en) | 2008-06-20 | 2014-07-01 | Qualcomm Incorporated | Coding scheme selection for low-bit-rate applications |
US20090319263A1 (en) * | 2008-06-20 | 2009-12-24 | Qualcomm Incorporated | Coding of transitional speech frames for low-bit-rate applications |
US20090319261A1 (en) * | 2008-06-20 | 2009-12-24 | Qualcomm Incorporated | Coding of transitional speech frames for low-bit-rate applications |
FR3001593A1 (fr) * | 2013-01-31 | 2014-08-01 | France Telecom | Correction perfectionnee de perte de trame au decodage d'un signal. |
CN113066472B (zh) * | 2019-12-13 | 2024-05-31 | 科大讯飞股份有限公司 | 合成语音处理方法及相关装置 |
CN112634934B (zh) * | 2020-12-21 | 2024-06-25 | 北京声智科技有限公司 | 语音检测方法及装置 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4214125A (en) * | 1977-01-21 | 1980-07-22 | Forrest S. Mozer | Method and apparatus for speech synthesizing |
US4926488A (en) * | 1987-07-09 | 1990-05-15 | International Business Machines Corporation | Normalization of speech by adaptive labelling |
CA2483322C (en) | 1991-06-11 | 2008-09-23 | Qualcomm Incorporated | Error masking in a variable rate vocoder |
US5884253A (en) * | 1992-04-09 | 1999-03-16 | Lucent Technologies, Inc. | Prototype waveform speech coding with interpolation of pitch, pitch-period waveforms, and synthesis filter |
JP2903986B2 (ja) * | 1993-12-22 | 1999-06-14 | 日本電気株式会社 | 波形合成方法及びその装置 |
US5517595A (en) | 1994-02-08 | 1996-05-14 | At&T Corp. | Decomposition in noise and periodic signal waveforms in waveform interpolation |
US5903866A (en) | 1997-03-10 | 1999-05-11 | Lucent Technologies Inc. | Waveform interpolation speech coding using splines |
WO1999010719A1 (en) * | 1997-08-29 | 1999-03-04 | The Regents Of The University Of California | Method and apparatus for hybrid coding of speech at 4kbps |
US6456964B2 (en) * | 1998-12-21 | 2002-09-24 | Qualcomm, Incorporated | Encoding of periodic speech using prototype waveforms |
-
1998
- 1998-11-13 US US09/191,631 patent/US6754630B2/en not_active Expired - Fee Related
-
1999
- 1999-11-12 EP EP99960311A patent/EP1131816B1/en not_active Expired - Lifetime
- 1999-11-12 AU AU17211/00A patent/AU1721100A/en not_active Abandoned
- 1999-11-12 CN CNB99815489XA patent/CN100380443C/zh not_active Expired - Fee Related
- 1999-11-12 WO PCT/US1999/026849 patent/WO2000030073A1/en active IP Right Grant
- 1999-11-12 KR KR1020017005971A patent/KR100603167B1/ko not_active IP Right Cessation
- 1999-11-12 DE DE69924280T patent/DE69924280T2/de not_active Expired - Lifetime
- 1999-11-12 JP JP2000583002A patent/JP4489959B2/ja not_active Expired - Fee Related
-
2002
- 2002-07-25 HK HK02105488.6A patent/HK1043856B/zh not_active IP Right Cessation
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20230080557A (ko) | 2021-11-30 | 2023-06-07 | 고남욱 | 보이스 교정 시스템 |
Also Published As
Publication number | Publication date |
---|---|
JP4489959B2 (ja) | 2010-06-23 |
DE69924280T2 (de) | 2006-03-30 |
HK1043856A1 (en) | 2002-09-27 |
US20010051873A1 (en) | 2001-12-13 |
US6754630B2 (en) | 2004-06-22 |
HK1043856B (zh) | 2008-12-24 |
EP1131816A1 (en) | 2001-09-12 |
JP2003501675A (ja) | 2003-01-14 |
KR100603167B1 (ko) | 2006-07-24 |
DE69924280D1 (de) | 2005-04-21 |
CN100380443C (zh) | 2008-04-09 |
CN1348582A (zh) | 2002-05-08 |
WO2000030073A1 (en) | 2000-05-25 |
AU1721100A (en) | 2000-06-05 |
EP1131816B1 (en) | 2005-03-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100603167B1 (ko) | 시간 동기식 파형 보간법을 이용한 피치 프로토타입파형으로부터의 음성 합성 | |
KR100873836B1 (ko) | Celp 트랜스코딩 | |
US7222069B2 (en) | Voice code conversion apparatus | |
JP4927257B2 (ja) | 可変レートスピーチ符号化 | |
EP1062661B1 (en) | Speech coding | |
EP1129450B1 (en) | Low bit-rate coding of unvoiced segments of speech | |
WO2001061687A1 (en) | Wideband speech codec using different sampling rates | |
JP4874464B2 (ja) | 遷移音声フレームのマルチパルス補間的符号化 | |
JPH0850500A (ja) | 音声エンコーダ及び音声デコーダ、並びに音声符号化方法及び音声復号化方法 | |
EP1204968B1 (en) | Method and apparatus for subsampling phase spectrum information | |
US7684978B2 (en) | Apparatus and method for transcoding between CELP type codecs having different bandwidths | |
CA2293165A1 (en) | Method for transmitting data in wireless speech channels | |
EP1397655A1 (en) | Method and device for coding speech in analysis-by-synthesis speech coders | |
Drygajilo | Speech Coding Techniques and Standards |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20130628 Year of fee payment: 8 |
|
FPAY | Annual fee payment |
Payment date: 20140627 Year of fee payment: 9 |
|
FPAY | Annual fee payment |
Payment date: 20160629 Year of fee payment: 11 |
|
LAPS | Lapse due to unpaid annual fee |